CN117237902B - 基于深度学习的机器人物体识别系统 - Google Patents
基于深度学习的机器人物体识别系统 Download PDFInfo
- Publication number
- CN117237902B CN117237902B CN202311515781.3A CN202311515781A CN117237902B CN 117237902 B CN117237902 B CN 117237902B CN 202311515781 A CN202311515781 A CN 202311515781A CN 117237902 B CN117237902 B CN 117237902B
- Authority
- CN
- China
- Prior art keywords
- ground
- point
- points
- point cloud
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013136 deep learning model Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 9
- 230000007613 environmental effect Effects 0.000 claims abstract description 9
- 238000012423 maintenance Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013100 final test Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的机器人物体识别系统，具体涉及机器学习技术领域，包括数据采集模块、数据处理模块、模型构建模块、模型训练模块、模型维护模块，以及物体识别模块；通过数据处理模块，从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理；通过模型构建模块，用于物体识别任务；通过模型维护模块，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；通过物体识别模块，根据用户上传的数据，基于深度学习模型提取出特征，与数据库中的物体特征进行匹配，从而实现对物体的识别；通过各模块的协同工作，实现对物体的高精度和高鲁棒性的识别，提高了物体识别的效果和应用范围。
Description
技术领域
本发明涉及机器学习技术领域，更具体地说，本发明涉及基于深度学习的机器人物体识别系统。
背景技术
随着科技的发展，机器人在各个领域的应用越来越广泛，如工业生产、家庭服务、医疗健康等。
在现有的机器人物体识别系统中，视觉图像和激光点云数据的处理通常被分开进行，首先，视觉图像经过去噪处理后，再与激光点云数据进行关联；这种方法的缺点是，由于视觉图像和激光点云数据是分开处理的，可能会导致两者之间的信息丢失或不匹配；此外，现有的物体识别方法通常依赖于传统的机器学习模型，这些模型在处理复杂的物体识别任务时，可能会遇到识别精度不高的问题。
发明内容
为了克服现有技术的上述缺陷，本发明提供基于深度学习的机器人物体识别系统，通过数据采集模块同时获取视觉图像和激光点云数据，确保了两者之间的信息不会丢失或不匹配，并为后续处理提供了基础数据；通过数据处理模块，从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理；通过模型构建模块，用于物体识别任务；通过模型训练模块，不断调整模型参数以提高模型的识别精度；通过模型维护模块，将模型部署到实际应用中后，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；通过物体识别模块，根据用户上传的数据，基于深度学习模型提取出特征，与数据库中的物体特征进行匹配，从而实现对物体的识别；通过各模块的协同工作，可以实现对物体的高精度和高鲁棒性的识别，提高了物体识别的效果和应用范围，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于深度学习的机器人物体识别系统，包括：
数据采集模块：用于利用深度摄像头、激光雷达采集机器人工作环境中的视觉图像和激光点云数据，并将其传输至数据处理模块；
数据处理模块包括视觉图像处理单元和点云数据处理单元；所述视觉图像处理单元用于对采集到的视觉图像进行去噪、归一化处理操作；所述点云数据处理单元用于从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理，将其传输至模型构建模块；
模型构建模块：用于接收数据处理模块传输的数据，根据实际需求选择卷积神经网络深度学习模型，用于物体识别任务；
模型训练模块：用于使用测试集对经过训练和优化的模型进行最终的测试，通过不断调整模型参数以提高模型的识别精度；
模型维护模块：用于将模型部署到实际应用中后，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；
物体识别模块：用于将深度学习模型提取的特征与数据库中的物体特征进行匹配，从而实现对物体的识别。
在一个优选的实施方式中，所述点云数据处理单元的具体处理过程为：
A1、利用激光点云数据的高度信息进行初步分割，具体是指设定一个阈值，将高于这个阈值的点视为非地面点，将低于这个阈值的点视为地面点；所述高度信息具体是指每个点云包含的三维坐标中的Z轴数据；
A2、提取非地面点的法向量、曲率特征，对非地面点进行筛选，将不符合预期的非地面点剔除；
A3、对地面点进行平面参数拟合，以获得更准确的地面模型；
A4、获取密集度差值、激光反射强度，计算约束因子用于对地面点进行进一步的约束识别，根据新的特征值η和约束因子C，计算地面点云分类系数，从而实现对地面物体的分类。
在一个优选的实施方式中，所述提取非地面点的法向量、曲率特征，对非地面点进行筛选，将不符合预期的非地面点剔除，具体处理过程如下：
A21、使用估计法线函数来获取每个非地面点的法向量；首先对包含该点的近邻点进行拟合，形成一个邻域平面，然后对平面上的点进行主成分分析，并找出与最小特征值对应的特征向量；
A22、利用曲率估计函数获取每个非地面点的曲率值；通过计算每个点的单位法向量和近邻点的坐标，进一步构建出该点的局部邻域坐标系，然后根据此坐标系来估计点处的法向曲率；具体对于地面点云中的每个点p，假设其附近有m个近邻点，qi为点p的第i个近邻点，设定正交坐标系{p，X，Y，N}为点p的局部坐标系L，N表示点p的单位法向量，X和Y表示局部坐标系L中的两个正交轴，用于描述点p的局部形状，M表示点p的第i个近邻点的法向量，通过公式估计点p处的法向曲率：；
A23、根据上述获取的法向量和法向曲率特征，对非地面点进行筛选；将不符合预期的非地面点剔除，保留与地面实际法向量相近且曲率特征明显的点。
在一个优选的实施方式中，所述根据上述获取的法向量和法向曲率特征，对非地面点进行筛选的处理过程如下：
A231、计算每个非地面点的法向量与地面实际法向量之间的差异值；其差异值计算公式为：，其中/>表示非地面点的法向量v1与地面实际法向量v2之间的夹角，/>表示向量的点积，根据夹角的定义，/>的值越小，表示两个向量越接近，/>的值越大，表示两个向量差异越大；
根据预先设定的差异阈值，若差异值大于差异阈值，则表示非地面点的法向量与地面实际法向量之间的差异值不符合预期，需要将对应非地面点剔除，反之则保留；
A232、结合保留的非地面点的差异值和法向曲率值，计算一个新的特征值；其计算公式为：。
在一个优选的实施方式中，所述对地面点进行平面参数拟合，以获得更准确的地面模型，其处理过程如下：
A31、采用平面方程j1x+j2y+j3z+j4=0；其中j1、j2、j3和j4表示平面参数，x，y，z表示点在平面上对应的坐标；
A32、根据保留的地面点的坐标值，计算每个点的平面参数；
A33、使用最小二乘法来优化平面参数，使得所有保留的地面点到拟合平面的距离之和最小；
A34、获取最优的平面参数后，使用这些参数来表示拟合平面的方程；
A35、将拟合平面与原始地面点进行比较，以评估拟合的准确性。
在一个优选的实施方式中，所述获取密集度差值、激光反射强度，计算约束因子用于对地面点进行进一步的约束识别，根据新的特征值η和约束因子C，计算地面点云分类系数，从而实现对地面物体的分类；其处理过程如下：
A41、根据地面点云数据，计算地面密集度获取密集度差值，使用激光扫描仪的接收装置获取激光反射强度；
A42、根据高度信息、密集度差值、激光反射强度，计算约束因子；其约束因子的计算公式为：
，其中，C表示约束因子的值，Δh表示该点相对于周围邻域的高度变化，/>表示该点相对于周围邻域的密集度差值，I表示该点的激光反射强度；λ表示影响因子，包括天气因素、环境因素；参数α、b和β是用于调节影响力的系数，参数w1、w2和w3是各项影响因素的权重系数；
A43、根据新的特征值η和约束因子C，计算地面点云分类系数：；
A44、通过将地面点云分类系数，与预先设定的分类系数阈值进行比较，用于对地面点进行分类；如果/>大于分类系数阈值，则将该点判定为地面物体；反之，如果/>小于分类系数阈值，则将该点判定为非地面物体。
在一个优选的实施方式中，所述根据地面点云数据，计算地面密集度获取密集度差值，使用激光扫描仪的接收装置获取激光反射强度；其处理过程如下：
A411、根据地面点云数据，使用邻域中点的数量计算各地面点云的地面密集度，其计算公式为：，其中/>表示第i个地面点云的地面密集度，Ls表示邻域中点的数量，即表示以某个点为中心，在半径为r的球形区域内的点的数量；所述地面密集度反映了某一区域内点云的点密集程度，可以用于描述地面平整度特征；
A412、将每相邻2个地面点云的地面密集度进行密集度差值计算，；
A413、使用激光扫描仪的接收装置获取激光反射强度。
在一个优选的实施方式中，所述物体识别模块的具体处理过程为：
D1、获取用户上传的视觉图像和激光点云数据，将其传输至数据处理模块，并利用已经训练好的深度学习模型提取特征；
D2、使用欧式距离方法计算提取的特征，与数据库中存储的物体特征之间的相似性，将提取的特征与数据库中存储的物体特征进行匹配；所述欧式距离的计算公式为：，其中/>表示向量U-F的模，欧氏距离表示两个向量在空间中的直线距离，距离越短表示两个向量越接近，距离越长表示两个向量差异越大，将提取的特征和数据库中存储的物体特征的欧式距离值，按照从小到大进行匹配得到匹配结果；
D3、基于匹配结果，计算其置信度Zx：，其中sc表示特征匹配对应的得分，/>表示所有类别得分的累加和，e为指数函数；
D4、根据预先设定的置信度阈值ZX，判断匹配结果是否达到认可的置信度水平；若Zx≤ZX则表示匹配结果没有达到认可的置信度水平，若Zx>ZX则表示匹配结果达到认可的置信度水平，根据认可的匹配结果，确定用户上传的视觉图像和激光点云数据中所包含的物体类别；
D5、根据识别结果，将物体类别信息输出给用户。
本发明的技术效果和优点：
本发明通过数据采集模块同时获取视觉图像和激光点云数据，确保了两者之间的信息不会丢失或不匹配，并为后续处理提供了基础数据；通过数据处理模块，将采集到的视觉图像进行去噪处理，从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理，使得数据能够更适合进行后续的分析和处理；通过模型构建模块，选择卷积神经网络深度学习模型，用于物体识别任务；通过模型训练模块，用测试集对经过训练和优化的模型进行最终的测试，通过不断调整模型参数以提高模型的识别精度；通过模型维护模块，将模型部署到实际应用中后，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；通过物体识别模块，根据用户上传的数据，基于深度学习模型提取出特征，与数据库中的物体特征进行匹配，从而实现对物体的识别；通过各模块的协同工作，可以实现对物体的高精度和高鲁棒性的识别，提高了物体识别的效果和应用范围。
附图说明
图1为本发明的整体结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1所示的基于深度学习的机器人物体识别系统，包括数据采集模块、数据处理模块、模型构建模块、模型训练模块、模型维护模块，以及物体识别模块；
所述数据采集模块用于利用深度摄像头、激光雷达采集机器人工作环境中的视觉图像和激光点云数据，并将其传输至数据处理模块；
所述数据处理模块包括视觉图像处理单元和点云数据处理单元；所述视觉图像处理单元用于对采集到的视觉图像进行去噪、归一化处理操作；所述点云数据处理单元用于从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理，将其传输至模型构建模块；所述去噪、归一化处理属于现有技术手段，因此本实施例未做出具体说明；
本实施需要具体说明的是，所述点云数据处理单元的具体处理过程为：
A1、利用激光点云数据的高度信息进行初步分割，具体是指设定一个阈值，将高于这个阈值的点视为非地面点，将低于这个阈值的点视为地面点；所述高度信息具体是指每个点云包含的三维坐标中的Z轴数据；其中设定的阈值，可依据具体情况具体设定，本实施例不对具体数据做具体限定；
A2、提取非地面点的法向量、曲率特征，对非地面点进行筛选，将不符合预期的非地面点剔除；具体处理过程如下：
A21、使用估计法线函数来获取每个非地面点的法向量；首先对包含该点的近邻点进行拟合，形成一个邻域平面，然后对平面上的点进行主成分分析，并找出与最小特征值对应的特征向量；其中特征向量为点的法向量；所述主成分分析属于现有技术手段，因此本实施例未做出具体说明；
A22、利用曲率估计函数获取每个非地面点的曲率值；通过计算每个点的单位法向量和近邻点的坐标，进一步构建出该点的局部邻域坐标系，然后根据此坐标系来估计点处的法向曲率；具体对于地面点云中的每个点p，假设其附近有m个近邻点，qi为点p的第i个近邻点，设定正交坐标系{p，X，Y，N}为点p的局部坐标系L，N表示点p的单位法向量，X和Y表示局部坐标系L中的两个正交轴，用于描述点p的局部形状，M表示点p的第i个近邻点的法向量，通过公式估计点p处的法向曲率：；
A23、根据上述获取的法向量和法向曲率特征，对非地面点进行筛选；将不符合预期的非地面点剔除，保留与地面实际法向量相近且曲率特征明显的点，有助于提升后续处理的准确性；其处理过程如下：
A231、计算每个非地面点的法向量与地面实际法向量之间的差异值；其差异值计算公式为：，其中/>表示非地面点的法向量v1与地面实际法向量v2之间的夹角，/>表示向量的点积，根据夹角的定义，/>的值越小，表示两个向量越接近，/>的值越大，表示两个向量差异越大；
根据预先设定的差异阈值，若差异值大于差异阈值，则表示非地面点的法向量与地面实际法向量之间的差异值不符合预期，需要将对应非地面点剔除，反之则保留；所述预先设定的差异阈值可以根据具体情况进行调整，以控制筛选出的点的数量和质量；其中最终保留下来的点，即为与地面实际法向量相近且法向曲率特征明显的点，这些点可以用于后续的分析和处理；
A232、结合保留的非地面点的差异值和法向曲率值，计算一个新的特征值；其计算公式为：，这个新特征值结合了法向曲率和差异值的信息，能够更好地区分不同的地物类型，提供更丰富的信息用于后续的数据分析、机器学习或图像处理任务中；
A3、对地面点进行平面参数拟合，以获得更准确的地面模型；其处理过程如下：
A31、采用平面方程j1x+j2y+j3z+j4=0；其中j1、j2、j3和j4表示平面参数，x，y，z表示点在平面上对应的坐标；
A32、根据保留的地面点的坐标值，计算每个点的平面参数；
A33、使用最小二乘法来优化平面参数，使得所有保留的地面点到拟合平面的距离之和最小；所述最小二乘法属于现有技术手段，因此本实施例未做出具体说明；
A34、获取最优的平面参数后，使用这些参数来表示拟合平面的方程；
A35、将拟合平面与原始地面点进行比较，以评估拟合的准确性；
A4、获取密集度差值、激光反射强度，计算约束因子用于对地面点进行进一步的约束识别，根据新的特征值η和约束因子C，计算地面点云分类系数，从而实现对地面物体的分类；其处理过程如下：
A41、根据地面点云数据，计算地面密集度获取密集度差值，使用激光扫描仪的接收装置获取激光反射强度；其处理过程如下：
A411、根据地面点云数据，使用邻域中点的数量计算各地面点云的地面密集度，其计算公式为：，其中/>表示第i个地面点云的地面密集度，Ls表示邻域中点的数量，即表示以某个点为中心，在半径为r的球形区域内的点的数量；所述地面密集度反映了某一区域内点云的点密集程度，可以用于描述地面平整度特征；
A412、将每相邻2个地面点云的地面密集度进行密集度差值计算，；
A413、使用激光扫描仪的接收装置获取激光反射强度；所述激光扫描仪的接收装置，采集到的是目标物体表面回波的强度，这个强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量和激光波长因素有关；
A42、根据高度信息、密集度差值、激光反射强度，计算约束因子；其约束因子的计算公式为：
，其中，C表示约束因子的值，Δh表示该点相对于周围邻域的高度变化，/>表示该点相对于周围邻域的密集度差值，I表示该点的激光反射强度；λ表示影响因子，包括天气因素、环境因素；参数α、b和β是用于调节影响力的系数，较大的α和b值将增加高度变化和密集度差值在约束因子中的权重，较小的β值将减少激光反射强度在约束因子中的权重；参数w1、w2和w3是各项影响因素的权重系数，用于平衡不同因素之间的重要性，这些权重系数可以根据具体应用和数据特点进行调整；
A43、根据新的特征值η和约束因子C，计算地面点云分类系数：；
A44、通过将地面点云分类系数，与预先设定的分类系数阈值进行比较，用于对地面点进行分类；如果/>大于分类系数阈值，则将该点判定为地面物体；反之，如果/>小于分类系数阈值，则将该点判定为非地面物体；其中预先设定的分类系数阈值，可依据具体情况具体设定，本实施例不对具体数据做具体限定；
所述模型构建模块用于接收数据处理模块传输的数据，根据实际需求选择卷积神经网络深度学习模型，用于物体识别任务；
本实施需要具体说明的是，所述模型构建模块的具体处理过程为：
B1、将数据处理模块传输的数据划分为训练集、验证集和测试集；
B2、选择PointNet卷积神经网络架构进行物体识别任务的模型设计；
B3、使用训练集对模型进行训练，采用随机梯度下降优化算法，结合交叉熵损失函数进行模型参数的更新，通过迭代训练来优化模型的权重和偏置；所述随机梯度下降优化算法、交叉熵损失函数，属于现有技术手段，因此本实施例未做出具体说明；
使用验证集对训练得到的模型进行评估，计算模型在验证集上的准确率、精确率、召回率指标，以评估模型的性能和泛化能力；
所述准确率AC的计算公式为：，所述精确率JQ的计算公式为：/>，所述召回率ZH的计算公式为：/>；其中TP表示真正例，TN表示真负例，FP表示假正例，FN表示假负例；
将准确率、精确率和召回率指标分别与其对应阈值指标进行对比判断，若准确率、精确率和召回率指标皆大于其对应阈值指标，则表示模型的性能满足需求；反之，则重新进行训练；所述阈值指标可依据历史准确率、历史精确率和历史召回率指标进行设定；
所述模型训练模块用于使用测试集对经过训练和优化的模型进行最终的测试，通过不断调整模型参数以提高模型的识别精度；
所述模型维护模块用于将模型部署到实际应用中后，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；
本实施需要具体说明的是，所述模型维护模块的具体处理过程为：
C1、通过实际应用中的用户反馈、监控数据，收集模型在实际环境中的表现和性能信息；所述用户反馈包括用户对识别结果的评价、误判或漏判的情况，以及识别速度；所述监控数据包括模型在不同场景下的运行状态、输入输出数据；
C2、对收集到的数据进行分析和诊断，发现模型存在的问题；所述模型存在的问题包括性能下降、误判率增加；具体的分析和诊断方法是比较模型在不同时间段或不同环境下的准确率、召回率和精确率；如果发现性能下降或误判率增加，进一步分析导致问题的原因，例如数据偏差、模型过拟合；
C3、基于分析结果，对模型进行持续的更新和优化，涉及重新训练模型、调整模型参数、增加新的训练数据操作；所述重新训练模型，具体使用更多的训练数据、调整训练策略来重新训练模型，以提高性能；所述调整模型参数，具体根据分析结果，对模型的结构或超参数进行调整，如增加或减少网络层数、改变激活函数，以及调整权重初始化，以改善模型性能和鲁棒性；所述增加新的训练数据，具体根据分析结果，如果发现模型在某些情况下表现不佳，可以收集更多的样本数据来增加训练数据集的覆盖范围，提高模型的泛化能力；
C4、将经过更新和优化的模型部署到实际应用环境中，替换原有的模型，并确保系统平稳过渡和无缝更新；
所述物体识别模块用于将深度学习模型提取的特征与数据库中的物体特征进行匹配，从而实现对物体的识别；
本实施需要具体说明的是，所述物体识别模块的具体处理过程为：
D1、获取用户上传的视觉图像和激光点云数据，将其传输至数据处理模块，并利用已经训练好的深度学习模型提取特征；
D2、使用欧式距离方法计算提取的特征，与数据库中存储的物体特征之间的相似性，将提取的特征与数据库中存储的物体特征进行匹配；所述欧式距离的计算公式为：，其中/>表示向量U-F的模，欧氏距离表示两个向量在空间中的直线距离，距离越短表示两个向量越接近，距离越长表示两个向量差异越大，将提取的特征和数据库中存储的物体特征的欧式距离值，按照从小到大进行匹配得到匹配结果；
D3、基于匹配结果，计算其置信度Zx：，其中sc表示特征匹配对应的得分，/>表示所有类别得分的累加和，e为指数函数；
D4、根据预先设定的置信度阈值ZX，判断匹配结果是否达到认可的置信度水平；若Zx≤ZX则表示匹配结果没有达到认可的置信度水平，若Zx>ZX则表示匹配结果达到认可的置信度水平，根据认可的匹配结果，确定用户上传的视觉图像和激光点云数据中所包含的物体类别；其中预先设定的置信度阈值ZX，可依据具体情况具体设定，本实施例不对具体数据做具体限定；
D5、根据识别结果，将物体类别信息输出给用户。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (2)
1.基于深度学习的机器人物体识别系统，其特征在于：包括：
数据采集模块：用于利用深度摄像头、激光雷达采集机器人工作环境中的视觉图像和激光点云数据，并将其传输至数据处理模块；
数据处理模块包括视觉图像处理单元和点云数据处理单元；所述视觉图像处理单元用于对采集到的视觉图像进行去噪、归一化处理操作；所述点云数据处理单元用于从激光点云数据中分割出地面点云数据，对地面点云数据进行分析处理，将其传输至模型构建模块；
模型构建模块：用于接收数据处理模块传输的数据，根据实际需求选择卷积神经网络深度学习模型，用于物体识别任务；
模型训练模块：用于使用测试集对经过训练和优化的模型进行最终的测试，通过不断调整模型参数以提高模型的识别精度；
模型维护模块：用于将模型部署到实际应用中后，对模型进行持续的维护和更新，以适应环境变化和提高识别效果；
物体识别模块：用于将深度学习模型提取的特征与数据库中的物体特征进行匹配，从而实现对物体的识别；
所述点云数据处理单元的具体处理过程为：
A1、利用激光点云数据的高度信息进行初步分割，具体是指设定一个阈值，将高于这个阈值的点视为非地面点，将低于这个阈值的点视为地面点；所述高度信息具体是指每个点云包含的三维坐标中的Z轴数据；
A2、提取非地面点的法向量、曲率特征，对非地面点进行筛选，将不符合预期的非地面点剔除；
A3、对地面点进行平面参数拟合，以获得更准确的地面模型；
A4、获取密集度差值、激光反射强度，计算约束因子用于对地面点进行进一步的约束识别，根据新的特征值η和约束因子C，计算地面点云分类系数，从而实现对地面物体的分类；
所述提取非地面点的法向量、曲率特征，对非地面点进行筛选，将不符合预期的非地面点剔除，具体处理过程如下：
A21、使用估计法线函数来获取每个非地面点的法向量；首先对包含该点的近邻点进行拟合，形成一个邻域平面，然后对平面上的点进行主成分分析，并找出与最小特征值对应的特征向量；
A22、利用曲率估计函数获取每个非地面点的曲率值；通过计算每个点的单位法向量和近邻点的坐标，进一步构建出该点的局部邻域坐标系，然后根据此坐标系来估计点处的法向曲率；具体对于地面点云中的每个点p，假设其附近有m个近邻点，qi为点p的第i个近邻点，设定正交坐标系{p，X，Y，N}为点p的局部坐标系L，N表示点p的单位法向量，X和Y表示局部坐标系L中的两个正交轴，用于描述点p的局部形状，M表示点p的第i个近邻点的法向量，通过公式估计点p处的法向曲率：；
A23、根据上述获取的法向量和法向曲率特征，对非地面点进行筛选；将不符合预期的非地面点剔除，保留与地面实际法向量相近且曲率特征明显的点；
所述根据上述获取的法向量和法向曲率特征，对非地面点进行筛选的处理过程如下：
A231、计算每个非地面点的法向量与地面实际法向量之间的差异值；其差异值计算公式为：，其中/>表示非地面点的法向量v1与地面实际法向量v2之间的夹角，/>表示向量的点积，根据夹角的定义，/>的值越小，表示两个向量越接近，/>的值越大，表示两个向量差异越大；
根据预先设定的差异阈值，若差异值大于差异阈值，则表示非地面点的法向量与地面实际法向量之间的差异值不符合预期，需要将对应非地面点剔除，反之则保留；
A232、结合保留的非地面点的差异值和法向曲率值，计算一个新的特征值；其计算公式为：；
所述对地面点进行平面参数拟合，以获得更准确的地面模型，其处理过程如下：
A31、采用平面方程j1x+j2y+j3z+j4=0；其中j1、j2、j3和j4表示平面参数，x，y，z表示点在平面上对应的坐标；
A32、根据保留的地面点的坐标值，计算每个点的平面参数；
A33、使用最小二乘法来优化平面参数，使得所有保留的地面点到拟合平面的距离之和最小；
A34、获取最优的平面参数后，使用这些参数来表示拟合平面的方程；
A35、将拟合平面与原始地面点进行比较，以评估拟合的准确性；
所述获取密集度差值、激光反射强度，计算约束因子用于对地面点进行进一步的约束识别，根据新的特征值η和约束因子C，计算地面点云分类系数，从而实现对地面物体的分类；其处理过程如下：
A41、根据地面点云数据，计算地面密集度获取密集度差值，使用激光扫描仪的接收装置获取激光反射强度；
A42、根据高度信息、密集度差值、激光反射强度，计算约束因子；其约束因子的计算公式为：
，其中，C表示约束因子的值，Δh表示该点相对于周围邻域的高度变化，/>表示该点相对于周围邻域的密集度差值，I表示该点的激光反射强度；λ表示影响因子，包括天气因素、环境因素；参数α、b和β是用于调节影响力的系数，参数w1、w2和w3是各项影响因素的权重系数；
A43、根据新的特征值η和约束因子C，计算地面点云分类系数：；
A44、通过将地面点云分类系数，与预先设定的分类系数阈值进行比较，用于对地面点进行分类；如果/>大于分类系数阈值，则将该点判定为地面物体；反之，如果/>小于分类系数阈值，则将该点判定为非地面物体；
所述根据地面点云数据，计算地面密集度获取密集度差值，使用激光扫描仪的接收装置获取激光反射强度；其处理过程如下：
A411、根据地面点云数据，使用邻域中点的数量计算各地面点云的地面密集度，其计算公式为：，其中/>表示第i个地面点云的地面密集度，Ls表示邻域中点的数量，即表示以某个点为中心，在半径为r的球形区域内的点的数量；所述地面密集度反映了某一区域内点云的点密集程度，可以用于描述地面平整度特征；
A412、将每相邻2个地面点云的地面密集度进行密集度差值计算，/>；
A413、使用激光扫描仪的接收装置获取激光反射强度。
2.根据权利要求1所述的基于深度学习的机器人物体识别系统，其特征在于：所述物体识别模块的具体处理过程为：
D1、获取用户上传的视觉图像和激光点云数据，将其传输至数据处理模块，并利用已经训练好的深度学习模型提取特征；
D2、使用欧式距离方法计算提取的特征，与数据库中存储的物体特征之间的相似性，将提取的特征与数据库中存储的物体特征进行匹配；所述欧式距离的计算公式为：，其中/>表示向量U-F的模，欧氏距离表示两个向量在空间中的直线距离，距离越短表示两个向量越接近，距离越长表示两个向量差异越大，将提取的特征和数据库中存储的物体特征的欧式距离值，按照从小到大进行匹配得到匹配结果；
D3、基于匹配结果，计算其置信度Zx：，其中sc表示特征匹配对应的得分，表示所有类别得分的累加和，e为指数函数；
D4、根据预先设定的置信度阈值ZX，判断匹配结果是否达到认可的置信度水平；若Zx≤ZX则表示匹配结果没有达到认可的置信度水平，若Zx>ZX则表示匹配结果达到认可的置信度水平，根据认可的匹配结果，确定用户上传的视觉图像和激光点云数据中所包含的物体类别；
D5、根据识别结果，将物体类别信息输出给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515781.3A CN117237902B (zh) | 2023-11-15 | 2023-11-15 | 基于深度学习的机器人物体识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515781.3A CN117237902B (zh) | 2023-11-15 | 2023-11-15 | 基于深度学习的机器人物体识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237902A CN117237902A (zh) | 2023-12-15 |
| CN117237902B true CN117237902B (zh) | 2024-01-26 |
Family
ID=89091598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311515781.3A Active CN117237902B (zh) | 2023-11-15 | 2023-11-15 | 基于深度学习的机器人物体识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237902B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994461B (zh) * | 2024-04-02 | 2024-06-11 | 济南市勘察测绘研究院 | 一种基于激光点云数据的地表三维模型构建方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463872A (zh) * | 2014-12-10 | 2015-03-25 | 武汉大学 | 基于车载LiDAR点云数据的分类方法 |
| CN107424189A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的球、圆柱、椭圆锥模型识别方法 |
| CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
| CN110175576A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种结合激光点云数据的行驶车辆视觉检测方法 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
| CN114463338A (zh) * | 2022-01-07 | 2022-05-10 | 武汉大学 | 一种基于图割与后处理的建筑物激光脚点自动提取方法 |
| CN114488194A (zh) * | 2022-01-21 | 2022-05-13 | 常州大学 | 一种智能驾驶车辆结构化道路下目标检测识别方法 |
| CN114612795A (zh) * | 2022-03-02 | 2022-06-10 | 南京理工大学 | 基于激光雷达点云的路面场景目标识别方法 |
| CN116342621A (zh) * | 2023-03-27 | 2023-06-27 | 中山大学 | 基于空间运动目标三维重构的几何参数辨识方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539881B (zh) * | 2020-04-16 | 2021-07-13 | 南京航空航天大学 | 一种基于深度学习的航空零部件点云去噪方法 |
| CN114013449B (zh) * | 2021-11-02 | 2023-11-03 | 阿波罗智能技术(北京)有限公司 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
-
2023
- 2023-11-15 CN CN202311515781.3A patent/CN117237902B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463872A (zh) * | 2014-12-10 | 2015-03-25 | 武汉大学 | 基于车载LiDAR点云数据的分类方法 |
| CN107424189A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的球、圆柱、椭圆锥模型识别方法 |
| CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
| CN110175576A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种结合激光点云数据的行驶车辆视觉检测方法 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
| CN114463338A (zh) * | 2022-01-07 | 2022-05-10 | 武汉大学 | 一种基于图割与后处理的建筑物激光脚点自动提取方法 |
| CN114488194A (zh) * | 2022-01-21 | 2022-05-13 | 常州大学 | 一种智能驾驶车辆结构化道路下目标检测识别方法 |
| CN114612795A (zh) * | 2022-03-02 | 2022-06-10 | 南京理工大学 | 基于激光雷达点云的路面场景目标识别方法 |
| CN116342621A (zh) * | 2023-03-27 | 2023-06-27 | 中山大学 | 基于空间运动目标三维重构的几何参数辨识方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Visual inspection of complex mechanical assemblies based on Siamese networks for 3D point clouds;Dosljak, V 等;Proceedings of SPIE;全文 * |
| 基于点云数据的三维目标识别和模型分割方法;牛辰庚;刘玉杰;李宗民;李华;;图学学报(第02期);全文 * |
| 基于空间相似聚类的点云数据分割方法研究与实验;马进全;李玉忠;穆文龙;;地理信息世界(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237902A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN109800648B (zh) | 基于人脸关键点校正的人脸检测识别方法及装置 | |
| CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
| CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
| CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
| CN112434643A (zh) | 低慢小目标的分类识别方法 | |
| CN117237902B (zh) | 基于深度学习的机器人物体识别系统 | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN114266977A (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
| CN112802005A (zh) | 一种基于改进Mask RCNN的汽车表面擦伤检测方法 | |
| CN114548253A (zh) | 一种基于图像识别及动态匹配的数字孪生模型构建系统 | |
| CN111160405B (zh) | 一种基于深度学习的发动机滑油磨粒识别方法 | |
| CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
| CN116386120A (zh) | 一种无感监控管理系统 | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 | |
| CN116486480A (zh) | 一种基于点云的人体跌倒检测方法及装置 | |
| CN113316080B (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 | |
| CN115797804A (zh) | 一种基于不平衡时序航空飞行数据的异常检测方法 | |
| CN113673534B (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
| Kästner et al. | A bayesian approach to learning 3d representations of dynamic environments | |
| CN112634367A (zh) | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |