CN110930456A - 基于pcl点云库的钣金零件的三维立体识别及定位方法 - Google Patents
基于pcl点云库的钣金零件的三维立体识别及定位方法 Download PDFInfo
- Publication number
- CN110930456A CN110930456A CN201911267621.5A CN201911267621A CN110930456A CN 110930456 A CN110930456 A CN 110930456A CN 201911267621 A CN201911267621 A CN 201911267621A CN 110930456 A CN110930456 A CN 110930456A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- sheet metal
- library
- feature
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000002184 metal Substances 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 102100021766 E3 ubiquitin-protein ligase RNF138 Human genes 0.000 description 1
- 101001106980 Homo sapiens E3 ubiquitin-protein ligase RNF138 Proteins 0.000 description 1
- 101000961846 Homo sapiens Nuclear prelamin A recognition factor Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于PCL点云库的钣金零件的三维立体识别及定位方法，包括：获取整体钣金零件的操作台的三维场景点云，并进行分割，形成每个钣金零件的点云聚类；计算每个点云聚类的局部特征描述子和全局特征描述子；对每个点云聚类的局部特征和全局特征特征描述子进行特征级融合，得到融合特征向量；将融合特征向量输入至预先训练完成的SVM分类器中进行分类；求解点云聚类到点云模型粗配准的初始配准变换矩阵；确定符合点云聚类到点云模型预设配准精度的精准变换矩阵，根据精准变换矩阵确定每个钣金零件的位姿信息结果。通过本发明的技术方案，规避了二维图像识别的不准确性，大大提高了识别效率和定位精度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于PCL点云库的钣金零件的三维立体识别及定位方法。
背景技术
目前，基于图像的物体识别已经有很多研究成果，但是二维图像的成像过程是从三维空间映射到二维空间的，这个过程会丢失大量的信息，而且一个无法忽视的事实就是，最好的计算机视觉系统应该是面向三维世界的。随着自动化程度的提高，工业零件的检测、抓取以及处理对计算机视觉系统的要求已经越来越高，因此基于二维图像的物体识别无法满足要求。三维点云数据的获取已经非常快捷，同时由于三维点云数据的采集不受光照影响，规避了二维图像遇到光照、姿态等问题，因此基于点云数据的三维物体识别也引起了人们的重视。
获取三维点云的方式可以分为两大类：接触式测量和非接触式测量。接触式测量通过将传感头接触被测物体的表面来获取物体表面的三维数据，常见的方法有坐标测量机法和机械手臂法。非接触式测量的方法主要是基于光学原理、声学原理等进行数据采集，将一定的物理量通过适当的算法转换为被测物体表面的三维坐标点。
已有的三维点云物体识别方法多是通过分析/提取物体的特征点几何属性、形状属性、结构属性或者多种属性的组合灯特征进行对比、学习，从而完成物体的识别与分类。根据所利用特征的不同，已有的三维点云物体识别方法可以分为4类：基于局部特征的物体识别方法，基于全局特征的物体识别方法、基于图匹配的物体识别方法以及基于机器学习的物体识别方法。基于全局特征的方法需要先对点云场景进行预分割，将潜在的物体对象分割成点云聚类，点云分割的常见方法有基于随机采样一致性分割，欧式距离聚类分割、区域生长分割，基于最小割的分割等方法。分割之后将整个物体和模型编码为一组全局特征，然后进行分类。典型的点云全局特征有视点直方图(VFH)、聚类视点特征直方图(CVFH)、OUR-CVFH、ESF、GFPFH、GRSD等。基于局部特征方法不需要对场景进行分割，
首先提取场景和模型的关键点，然后在每个关键点的一个领域内计算一个局部的特征描述符，用所有关键点的描述符代表这一个点云场景或者模型，然后用每一个模型的特征描述符集去匹配场景的特征描述符集合，找到拓扑一致的匹配聚类作为候选结果，最后再对所有候选集进行假设检验得到最终的识别结果。主流的点云局部特征有点特征直方图(PFH)、快速点特征直方图(FPFH)、方向直方图特征(SHOT)、RSD、3DSC、USC、NARF、RoPS、TnSI等。
发明内容
针对上述问题中的至少之一，本发明提供了一种基于PCL点云库的钣金零件的三维立体识别及定位方法，通过对场景点云利用多维特征向量进行描述，并利用训练完成的SVM分类器进行分类与识别，并通过配准算法确定点云聚类相对于点云模型的位姿及空间坐标，实现对每个点云聚类对应的钣金零件在三维场景中的定位，不需要逐一重建所有钣金零件的场景点云即可实现具体定位信息，规避了二维图像识别的不准确性，大大提高了识别效率和定位精度。
为实现上述目的，本发明提供了一种基于PCL点云库的钣金零件的三维立体识别及定位方法，包括：获取整体钣金零件的操作台的三维场景点云，并对所述三维场景点云进行分割，形成每个钣金零件的点云聚类；计算每个所述点云聚类的局部特征描述子和全局特征描述子；对每个所述点云聚类的局部特征描述子和全局特征特征描述子进行特征级融合，得到融合特征向量；将所述融合特征向量输入至预先训练完成的SVM分类器中进行分类；通过采样一致性初始匹配算法求解所述点云聚类到点云模型粗配准的初始配准变换矩阵；通过迭代最近点算法确定符合点云聚类到点云模型预设配准精度的精准变换矩阵，根据所述精准变换矩阵确定每个所述钣金零件的位姿信息结果。
在上述技术方案中，优选地，所述SVM分类器的预先训练方法包括：载入钣金零件的三维点云模型库中的点云模型；对该点云模型进行均匀采样和关键点提取；计算每个关键点的局部特征描述子和全局特征描述子；将所述模型局部特征子和全局特征描述子进行特征级融合得到融合特征向量；确定SVM的核函数，并将所述融合特征向量通过SVM的学习实现对所述点云模型的类型学习和分类。
在上述技术方案中，优选地，所述SVM分类器采用以高斯核函数与多项式核函数进行凸组合构成的组合核函数，所述SVM分类器采用“一对多”的分类器方法以将多个类别转化为两类。
在上述技术方案中，优选地，计算局部特征描述子和全局特征描述子的计算方法为：利用PCL点云库的NormalEstimationOMP类，通过设置输入点云及k邻域搜索阈值，计算点云法线；利用PCL点云库的UniformSample类，通过输入点云及搜索半径，对该点云进行滤波和关键点提取；利用PCL点云库的features模块，通过输入提取的关键点、点云法线和点云聚类，计算该点云聚类的局部特征描述子和全局特征描述子。
在上述技术方案中，优选地，对局部特征描述子和全局特征描述子进行特征级融合以得到融合特征向量的具体方法包括：利用聚类算法得到视觉单词库，根据每个特征描述子到所述视觉单词库的欧氏距离将该特征描述子映射至距离最短的视觉单词中；统计每个视觉单词在特征描述子中出现的频数，利用BoW模型分别得到所述局部特征描述子和所述全局特征描述子对应的BoW特征向量；将所述局部特征描述子和所述全局特征描述子对应的BoW特征向量进行特征级融合得到融合特征向量。
在上述技术方案中，优选地，将所述融合特征向量输入至预先训练完成的SVM分类器中进行分类具体包括：将所述融合特征向量输入至所述SVM分类器中进行分类与识别；确定所述点云聚类所对应的三维点云模型库中的点云模型类别。
在上述技术方案中，优选地，所述通过采样一致性初始匹配算法求解所述点云聚类到点云模型粗配准的初始配准变换矩阵具体包括：通过采样一致性初始匹配算法SAC-IA将点云聚类旋转至与点云模型大致重合状态，得到初始配准变换矩阵和位移坐标。
在上述技术方案中，优选地，所述通过迭代最近点算法确定符合点云聚类到点云模型预设配准精度的精准变换矩阵并根据所述精准变换矩阵确定每个所述钣金零件的位姿信息结果具体包括：利用迭代最近点算法ICP进行多次迭代，直至所述点云聚类与所述点云模型的对应匹配点重合度符合预设配准精度或达到最大迭代次数时确定所述精准变换矩阵；通过所述精准变换矩阵确定旋转矩阵和平移向量，作为所述点云聚类相对于所述点云模型的位姿信息。
在上述技术方案中，优选地，对整体钣金零件的操作台的三维场景点云进行分割形成每个钣金零件的点云聚类的具体过程包括：采用随机采样一致性分割算法将所述三维场景点云中地面以下点云分割去除，保留地面以上的零件点云；采用欧式聚类分割算法将零件点云分割为独立的每个钣金零件的点云聚类。
在上述技术方案中，优选地，在获取整体钣金零件的操作台的三维场景点云后且进行分割前，利用滤波器对所述三维场景点云进行滤波。
与现有技术相比，本发明的有益效果为：利用三维点云作为数据对飞机钣金件进行分类与识别，首先可以规避二维图像识别所带来的不准确性，二维图像对于光照、颜色和角度等问题比较敏感，有很多零件的微小差别在二维图像上无法体现，所以需要依靠三维识别，而三维点云的采集又比较方便且不会受到光照等影响。其次，如果对操作台上的零件一一重建并获取点云将会耗费巨大的时间，因此重建整个零件操作台场景并获得场景点云，然后再对场景点云做分割得到一个一个零件点云聚类，这样将大大提高效率，并且可以帮助得到零件点云聚类再场景中的具体位置信息，实现定位。对点云聚类提取全局特征描述子VFH和局部特征描述子FPFH，用全局特征和局部特征混合的新特征向量对点云模型进行描述，全局特征的优点在于计算简单，但是对于噪声和遮挡比较敏感，局部特征描述能力强，有较好的鲁棒性，但是组成比较复杂，通过选择合适的特征融合策略将局部特征和全局特征进行特征级融合，可以结合两种特征的优势。关于合适的SVM核函数的选择，高斯核函数可用来针对局部特征，局部学习能力较强，多项式核函数可针对全局特征，具有较强的提取样本的全局特性能力，泛化能力较强，本发明结合这两个核函数的优势，将高斯核函数和多项式核函数进行组合，提出新的核函数，从而提高SVM分类器的分类效果，结合支持向量机的方法对零件点云进行离线分类训练，得到相关的分类器，在构造SVM分类器的时候，本发明将构造一对多分类器，且分类器的个数为点云模型种类数，因为点云模型样本的属性及特征比较集中，所以SVM分类器比较少，训练起来比较容易，且速度也比较快，也有较高的精度，同时离线训练也是为了加速在线识别时的速度和精度。本发明在进行ICP精配准之前加入粗配准环节，可以加快配准速度，更快的得到点云聚类的位姿信息。
附图说明
图1为本发明一种实施例公开的基于PCL点云库的钣金零件的三维立体识别及定位方法的流程示意图；
图2为本发明一种实施例公开的特征级融合的流程示意图；
图3为本发明一种实施例公开的SVM分类器的设计示意图；
图4为本发明一种实施例公开的SVM分类器的分类流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
本发明用到的硬件设备有PC机一台；辅助工具有VS2015，PCL点云库，libsvm开源库。
如图1所示，本发明提供一种基于PCL点云库的钣金零件的三维立体识别及定位方法，本方法分为离线部分和在线部分，以下以民机钣金零件为例，对该三维立体识别及定位方法进行具体说明。
离线部分包括以下步骤：
步骤1、载入三维点云模型库中的点云模型
这里需要对民机钣金零件建立点云模型库，利用PCL点云库中的io模块，实现对点云pcd文件的读取。
步骤2、对点云模型进行均匀采样和关键点提取
关键点也称为兴趣点，是3D点云上的可以通过定义检测标准来获取的具有稳定性，区别性的点集，关键点的数量相比于原始点云或图像的数据量减小很多，与特征描述子结合在一起，组成关键点描述子用来形成原始数据的表示，而且不失代表性和描述性，从而加快了后续的识别，追踪等对数据的处理了速度。利用PCL点云库的UniformSample类，输入点云，设置搜索半径，对点云进行滤波和关键点提取。
步骤3、计算关键点的全局特征描述子FPFH
作为优选，特征提取方法可用PCL点云库中feature模块实现，可以使用全局特征提取方法得到视点直方图全局特征描述子VFH，使用局部特征的提取方法得到快速特征点直方图特征描述子FPFH。
FPFH，即快速点特征直方图，顾名思义，它是从PFH特征演变而来。对于实时性要求比较高的应用，点特征直方图(PFH)的计算成为一个重要的制约因素。快速点特征直方图是PFH的简化形式，降低了计算的时间复杂度，同时具备良好的识别效果。默认的FPFH使用11个统计子区间，分别计算特征直方图然后组成了一个33浮点数元素的特征向量，并将结果保存在pcl::FPFHSignature33点类型中，使用类pcl::FPFHEstimation进行计算。
步骤4、计算关键点的局部特征描述子VFH
VFH，即视点特征直方图，源于局部特征描述子FPFH。FPFH的优势在于它的获取速度和识别能力，但是为了使我们构造的特征保持缩放不变性的同时,还要能够区分不同的姿态，在进行计算的时候需要考虑加入视点信息。在PCL中利用点云类型pcl::VFHSignature308来存储表示，使用类pcl::VFHEstimation来进行计算。
步骤5、对以上两个描述子进行特征级融合后，形成新的特征描述子，实现对点云模型的描述
利用KMeans++算法得到物体视觉单词库，根据每个特征描述子到视觉单词库的欧式距离将该描述子映射到距离最短的视觉单词中，统计每个视觉单词在特征描述子中出现的频数，得到特征向量，这里将采用物体识别中经典的统计学模型BoW模型统计物体特征向量分布，每个点云模型由一个局部BoW多维特征向量和一个全局BoW多维特征向量描述，将两个向量进行特征级融合得到新的多维向量用来描述点云模型。
具体地，取K＝300.利用KMeans++聚类算法得到的K个聚类中心称为视觉单词库，然后根据每个特征描述子到视觉单词库的欧式距离将该描述子映射到距离最短的视觉单词中，统计每个视觉单词在特征描述子中出现的频数，得到FPFH和VFH对应的BoW特征向量，分别记为BoWFPFH和BoWVFH，融合特征为
特征级融合流程如图2所示。
步骤6、为SVM选择合适的核函数，利用新得出的特征向量通过SVM的学习，实现对点云模型的类型学习、分类
SVM算法的分类结果与支持向量机核函数的选择有着密切的关系。所以如何选择核函数是很重要的，多项式核函数是一种可以将低维的输入空间映射到高维的特征空间的核函数，具有全局性好的优点，即便是距离较远的两个数据点也有可能会对核函数产生一定的影响。多项式核函数的泛化能力较强。高斯核函数，也称为径向基(RBF)核函数，能有效的阻扰输入数据中的噪声，是一种经典的鲁棒径向基核。在与相当的小领域内的样本距离受到其影响，远远大于的样本距离的，其值就会逐渐趋于零。因此，RBF核的收敛域较宽，对高维、大样本数据有较好的学习能力，所以把RBF核函数称为局部核函数。由于高斯核函数是一种具有较强的局部学习能力的核函数，它具有较强的插值能力。同时也比较适合处理样本数据中的局部特性。而与高斯核函数相对比，多项式核函数尽管不太具有较好的插值能力，但是具有较强的提取样本数据的全局特性能力。本发明结合两种核函数各自的优势，将RBF核函数与多项式核函数进行凸组合，提出并设计了一个新的组合核函数，并将之用于SVM，完成点云的分类，核函数公式如下：
式中，λ1+λ2＝1，0≤λ1≤1，0≤λ2≤1。
针对SVM分类器，本发明采用构造“一对多”的分类器方法，将多个类别转化为两类来实现。训练数据时依次把某个类别的样本数据归为一种类别，其余的样本数据归为另一种类别，如A类分类器会将点云聚类分为A类或者非A类。因此分类K个类别的样本数据则需要构造出K个SVM分类器。分类时未知样本被分类为具有最大分类函数值的那个类别。分类器的设计图如图3所示。
在线部分包括以下步骤：
步骤1、载入三维场景点云
这里将利用PCL点云库中的io模块，实现对点云pcd文件的读取。
步骤2、对场景点云进行分割，得到各个点云聚类
获取了场景点云后，首先需要对场景点云进行滤波，将多余的点云或者离群的点云过滤掉，这里可以利用PCL点云库中的filter模块实现滤波。对于场景点云的分割，本发明采用两种分割算法，首先是针对地面点云和非地面点云的分割，采用随机采样一致性分割算法，可以将地面去除，只留下地面之上的多个零件点云。接着采用欧式聚类分割算法，将地面之上的点云分割成一个一个独立的零件点云，得到点云聚类并保存成一个一个pcd文件。
步骤3、计算点云聚类的法线
利用PCL点云库的NormalEstimationOMP类，首先设置k邻域搜索阈值，然后设置要输入点云，最后计算点云法线。
步骤4、对点云聚类进行均匀采样和关键点提取
这里利用PCL点云库的UniformSample类，输入点云，设置搜索半径，对点云进行滤波和关键点提取。
步骤5、计算关键点的全局特征描述子和局部特征描述子
利用PCL的features模块，输入步骤4所得的点云聚类的关键点，输入点云聚类的法线，输入点云聚类，计算点云聚类的局部特征描述子FPFH和全局特征描述子VFH。
步骤6、根据步骤4获取的点云类聚的全局特征描述子和局部特征描述子实现特征级融合，得到新的特征向量，实现物体的描述。详细流程如图2所示。
步骤7、将新的特征向量输入SVM分类器中，通过分类器得到最终的分类
新的特征向量将通过多个SVM分类器，分类器将会把非地面点云聚类进一步分类为某一类的钣金零件，如图4的整体分类流程，先经过第一个SVM分类器m1，可以得出这个点云聚类是否是第一类，如果是，则识别完成，如果不是，将归为其他类别，继续进入下一个SVM分类器中。直到走完所有的SVM分类器，就会得到此点云聚类的类型，如果还是没有识别出来，则归入其他类别。
步骤8、求解初始配准变换矩阵，完成点云聚类到点云模型的粗配准
通过简单快速的采样一致性初始匹配算法SAC-IA将点云聚类旋转至与点云模型大致重合的状态，主要目的是为了使精配准开始前得到一个理想的初始状态并得到初始配准的变换矩阵。
步骤9、完成点云聚类到点云模型的精配准，获得精准变化矩阵
通过利用迭代最近点算法ICP，多次迭代去寻找点云聚类和点云模型的对应匹配点对，直到两个点云集合之间的重合度大于提前设置好的精度或者达到了最大迭代次数，最后的旋转矩阵与平移向量就是整个点云配准的最后的位姿信息结果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，包括：
获取整体钣金零件的操作台的三维场景点云，并对所述三维场景点云进行分割，形成每个钣金零件的点云聚类；
计算每个所述点云聚类的局部特征描述子和全局特征描述子；
对每个所述点云聚类的局部特征描述子和全局特征特征描述子进行特征级融合，得到融合特征向量；
将所述融合特征向量输入至预先训练完成的SVM分类器中进行分类；
通过采样一致性初始匹配算法求解所述点云聚类到点云模型粗配准的初始配准变换矩阵；
通过迭代最近点算法确定符合点云聚类到点云模型预设配准精度的精准变换矩阵，根据所述精准变换矩阵确定每个所述钣金零件的位姿信息结果。
2.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，所述SVM分类器的预先训练方法包括：
载入钣金零件的三维点云模型库中的点云模型；
对该点云模型进行均匀采样和关键点提取；
计算每个关键点的局部特征描述子和全局特征描述子；
将所述模型局部特征子和全局特征描述子进行特征级融合得到融合特征向量；
确定SVM的核函数，并将所述融合特征向量通过SVM的学习实现对所述点云模型的类型学习和分类。
3.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，所述SVM分类器采用以高斯核函数与多项式核函数进行凸组合构成的组合核函数，所述SVM分类器采用“一对多”的分类器方法以将多个类别转化为两类。
4.根据权利要求1或2所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，计算局部特征描述子和全局特征描述子的计算方法为：
利用PCL点云库的NormalEstimationOMP类，通过设置输入点云及k邻域搜索阈值，计算点云法线；
利用PCL点云库的UniformSample类，通过输入点云及搜索半径，对该点云进行滤波和关键点提取；
利用PCL点云库的features模块，通过输入提取的关键点、点云法线和点云聚类，计算该点云聚类的局部特征描述子和全局特征描述子。
5.根据权利要求1或2所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，对局部特征描述子和全局特征描述子进行特征级融合以得到融合特征向量的具体方法包括：
利用聚类算法得到视觉单词库，根据每个特征描述子到所述视觉单词库的欧氏距离将该特征描述子映射至距离最短的视觉单词中；
统计每个视觉单词在特征描述子中出现的频数，利用BoW模型分别得到所述局部特征描述子和所述全局特征描述子对应的BoW特征向量；
将所述局部特征描述子和所述全局特征描述子对应的BoW特征向量进行特征级融合得到融合特征向量。
6.根据权利要求2所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，将所述融合特征向量输入至预先训练完成的SVM分类器中进行分类具体包括：
将所述融合特征向量输入至所述SVM分类器中进行分类与识别；
确定所述点云聚类所对应的三维点云模型库中的点云模型类别。
7.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，所述通过采样一致性初始匹配算法求解所述点云聚类到点云模型粗配准的初始配准变换矩阵具体包括：
通过采样一致性初始匹配算法SAC-IA将点云聚类旋转至与点云模型大致重合状态，得到初始配准变换矩阵和位移坐标。
8.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，所述通过迭代最近点算法确定符合点云聚类到点云模型预设配准精度的精准变换矩阵并根据所述精准变换矩阵确定每个所述钣金零件的位姿信息结果具体包括：
利用迭代最近点算法ICP进行多次迭代，直至所述点云聚类与所述点云模型的对应匹配点重合度符合预设配准精度或达到最大迭代次数时确定所述精准变换矩阵；
通过所述精准变换矩阵确定旋转矩阵和平移向量，作为所述点云聚类相对于所述点云模型的位姿信息。
9.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，对整体钣金零件的操作台的三维场景点云进行分割形成每个钣金零件的点云聚类的具体过程包括：
采用随机采样一致性分割算法将所述三维场景点云中地面以下点云分割去除，保留地面以上的零件点云；
采用欧式聚类分割算法将零件点云分割为独立的每个钣金零件的点云聚类。
10.根据权利要求1所述的基于PCL点云库的钣金零件的三维立体识别及定位方法，其特征在于，在获取整体钣金零件的操作台的三维场景点云后且进行分割前，利用滤波器对所述三维场景点云进行滤波。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911267621.5A CN110930456A (zh) | 2019-12-11 | 2019-12-11 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911267621.5A CN110930456A (zh) | 2019-12-11 | 2019-12-11 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110930456A true CN110930456A (zh) | 2020-03-27 |
Family
ID=69860041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911267621.5A Pending CN110930456A (zh) | 2019-12-11 | 2019-12-11 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930456A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN111986258A (zh) * | 2020-08-24 | 2020-11-24 | 华中科技大学 | 基于点云法矢方向聚类伺服的机器人定位控制方法及系统 |
| CN112561974A (zh) * | 2020-12-31 | 2021-03-26 | 南京理工大学智能计算成像研究院有限公司 | 一种基于pcl的360°三维人头点云配准方法 |
| CN112669385A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
| CN113192054A (zh) * | 2021-05-20 | 2021-07-30 | 清华大学天津高端装备研究院 | 基于2-3d视觉融合的繁杂零件检测与定位的方法及系统 |
| CN113378626A (zh) * | 2021-04-22 | 2021-09-10 | 北京铁科首钢轨道技术股份有限公司 | 弹条视觉抓取方法 |
| CN113408651A (zh) * | 2021-07-12 | 2021-09-17 | 厦门大学 | 基于局部判别性增强的无监督三维物体分类方法 |
| CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| KR20180114608A (ko) * | 2017-04-11 | 2018-10-19 | 주식회사 엘지화학 | 버 검사 시스템 및 방법 |
| CN109511361A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种农田专用除草机器人及其控制方法 |
| CN110322492A (zh) * | 2019-07-03 | 2019-10-11 | 西北工业大学 | 一种基于全局优化的空间目标三维点云配准方法 |
-
2019
- 2019-12-11 CN CN201911267621.5A patent/CN110930456A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| KR20180114608A (ko) * | 2017-04-11 | 2018-10-19 | 주식회사 엘지화학 | 버 검사 시스템 및 방법 |
| CN109511361A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种农田专用除草机器人及其控制方法 |
| CN110322492A (zh) * | 2019-07-03 | 2019-10-11 | 西北工业大学 | 一种基于全局优化的空间目标三维点云配准方法 |
Non-Patent Citations (7)
| Title |
|---|
| KHALED M. ALHAMZI等: "3D Object Recognition Based on Local and Global Features Using Point Cloud Library", 《INTERNATIONAL JOURNAL OF ADVANCEMENTS IN COMPUTING TECHNOLOG 》, vol. 7, no. 3, pages 43 - 54 * |
| 刘苗苗: "基于2D和3D SIFT特征融合的一般物体识别算法研究", 《CNKI优秀硕士学位论文全文库（信息科技辑）》 * |
| 刘苗苗: "基于2D和3D SIFT特征融合的一般物体识别算法研究", 《CNKI优秀硕士学位论文全文库（信息科技辑）》, 15 August 2016 (2016-08-15), pages 3 - 1 * |
| 徐青青: "基于机器视觉的工业机器人智能分拣系统设计", 《仪表技术与传感器》 * |
| 徐青青: "基于机器视觉的工业机器人智能分拣系统设计", 《仪表技术与传感器》, 15 August 2019 (2019-08-15), pages 4 * |
| 毕程: "基于点云的喷漆机器人对汽车保险杠识别", 《CNKI优秀硕士学位论文全文库（信息科技辑）》 * |
| 毕程: "基于点云的喷漆机器人对汽车保险杠识别", 《CNKI优秀硕士学位论文全文库（信息科技辑）》, 15 February 2018 (2018-02-15), pages 9 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN111915677B (zh) * | 2020-07-08 | 2023-11-17 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN111986258A (zh) * | 2020-08-24 | 2020-11-24 | 华中科技大学 | 基于点云法矢方向聚类伺服的机器人定位控制方法及系统 |
| CN111986258B (zh) * | 2020-08-24 | 2022-05-31 | 华中科技大学 | 基于点云法矢方向聚类伺服的机器人定位控制方法及系统 |
| CN112561974A (zh) * | 2020-12-31 | 2021-03-26 | 南京理工大学智能计算成像研究院有限公司 | 一种基于pcl的360°三维人头点云配准方法 |
| CN112669385A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
| CN112669385B (zh) * | 2020-12-31 | 2023-06-13 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
| CN113378626A (zh) * | 2021-04-22 | 2021-09-10 | 北京铁科首钢轨道技术股份有限公司 | 弹条视觉抓取方法 |
| CN113192054B (zh) * | 2021-05-20 | 2023-04-28 | 清华大学天津高端装备研究院 | 基于2-3d视觉融合的繁杂零件检测与定位的方法及系统 |
| CN113192054A (zh) * | 2021-05-20 | 2021-07-30 | 清华大学天津高端装备研究院 | 基于2-3d视觉融合的繁杂零件检测与定位的方法及系统 |
| CN113408651A (zh) * | 2021-07-12 | 2021-09-17 | 厦门大学 | 基于局部判别性增强的无监督三维物体分类方法 |
| CN113408651B (zh) * | 2021-07-12 | 2024-01-23 | 厦门大学 | 基于局部判别性增强的无监督三维物体分类方法 |
| CN114783068B (zh) * | 2022-06-16 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
| CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930456A (zh) | 基于pcl点云库的钣金零件的三维立体识别及定位方法 | |
| EP2385483B1 (en) | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform | |
| CN107742102B (zh) | 一种基于深度传感器的手势识别方法 | |
| US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
| JP5705147B2 (ja) | 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法 | |
| Alsmadi et al. | Fish recognition based on robust features extraction from size and shape measurements using neural network | |
| Guo et al. | Efficient center voting for object detection and 6D pose estimation in 3D point cloud | |
| US9189855B2 (en) | Three dimensional close interactions | |
| CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
| Zhou et al. | A computationally efficient approach to 3d ear recognition employing local and holistic features | |
| CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
| CN114972459A (zh) | 一种基于低维点云局部特征描述符的点云配准方法 | |
| CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
| Arvanitis et al. | Broad-to-narrow registration and identification of 3D objects in partially scanned and cluttered point clouds | |
| CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
| Quan et al. | Polynomial local shape descriptor on interest points for 3D part-in-whole matching | |
| CN117495891B (zh) | 点云边缘检测方法、装置和电子设备 | |
| CN105139013A (zh) | 一种融合形状特征和兴趣点的物体识别方法 | |
| Juang et al. | Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations | |
| Zhou et al. | Histograms of Gaussian normal distribution for 3D feature matching in cluttered scenes | |
| CN106951873B (zh) | 一种遥感图像目标识别方法 | |
| Liu et al. | Robust 3-d object recognition via view-specific constraint | |
| Efraty et al. | Pose invariant facial component-landmark detection | |
| Rozsa et al. | Exploring in partial views: Prediction of 3D shapes from partial scans | |
| Liu et al. | A Point Cloud Matching Algorithm Based on Multiscale Point Pair Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240202 |
|
| AD01 | Patent right deemed abandoned |