CN116309847A - 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 - Google Patents
一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 Download PDFInfo
- Publication number
- CN116309847A CN116309847A CN202310486189.9A CN202310486189A CN116309847A CN 116309847 A CN116309847 A CN 116309847A CN 202310486189 A CN202310486189 A CN 202310486189A CN 116309847 A CN116309847 A CN 116309847A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- workpiece
- dimensional
- point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000009499 grossing Methods 0.000 claims abstract description 20
- 238000000926 separation method Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，以深度图像为处理对象，经背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来，利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn‑Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到工件的精确位姿，该方法解决了二维图像检测精度差和三维点云配准速度慢的问题，使得堆叠工件识别在不需要大量训练数据的前提下具有良好的精度和实时性。
Description
技术领域
本发明涉及机器视觉技术和工业生产领域，具体涉及一种基于二维图像和三维点云结合的堆叠工件位姿估计方法。
背景技术
伴随着工业4.0时代的到来，工业机械臂被广泛的应用于各领域之中，如铣床加工，箱体堆垛，金属切割，玻璃传送等，解放了人类劳动力，缓解了人口日渐老龄化所带来的劳动力短缺、人力成本增加等问题，给生产生活带来了极大的便捷性。
工件的识别抓取是工业机械臂生产应用的重要领域，通过工业相机采集图像数据，经处理后识别出工件的类型、位姿等信息，由机械臂实现目标的抓取操作。然而，机械臂抓取的工作环境日益复杂，多为非结构化场景，存在目标排布紧密、姿态复杂多变、堆叠、遮挡等问题，这给机械臂的精准抓取造成了极大的困难。目前，针对工件的堆叠遮挡问题，工业生产中多采用振动台或人工摆放的方式来实现工件的分散，降低识别抓取的难度，但该方式带来了额外的设备及人力支出，因此一种直接针对堆叠工件的识别方法是十分有必要的。
当前，堆叠工件的识别方法主要分为二维图像检测、三维点云配准和深度学习，三种方法优缺点明显。二维图像检测的识别类型主要集中于平面型工件，技术成熟，识别速度快，但缺失高度信息，使得抓取精度受限；三维点云配准则具有较高的识别抓取精度，但其数据量庞大，运算速度慢，实时性较差；深度学习具有优于前两者的识别效率和准确度，但需要通过大量数据的训练作为可靠识别的保障。
发明内容
针对现有技术中存在的不足，本发明提供了一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，解决二维图像检测精度差和三维点云配准速度慢的问题，使得堆叠工件识别在不需要大量训练数据的前提下具有良好的精度和实时性。
本发明是通过以下技术手段实现上述技术目的的。
一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，以深度图像为处理对象，进行背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来；利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn-Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到各工件的精确位姿。
上述方案中，包括工件二维图像分割、三维点云数据生成、点云数据预处理、用于模板匹配的模型点云生成、工件点云特征提取、工件点云特征匹配和工件点云位姿估计；
所述工件二维图像分割，以相机采集的深度图为处理对象，经过背景分离、孔洞填充、噪声点去除、连通域分析后，提取各工件所在区域和二维像素坐标，实现工件二维图像的分割；
所述三维点云数据生成，基于二维图像像素坐标和三维空间坐标之间的映射关系，实现二维图像数据向三维点云数据的转化；
所述点云数据预处理，包括点云下采样、点云滤波和点云表面平滑，用于处理所生成点云数据的缺陷，提高点云数据的质量；
所述模型点云的生成，通过相机多角度采集工件图像，经由工件二维图像分割、三维点云数据生成和点云数据预处理得到工件多角度的点云数据，根据采集角度拼接生成完整点云，作为模板匹配的模型点云；
所述工件点云特征提取，对工件点云提取关键点，根据关键点周边数据点的分布情况建立FPFH特征描述，作为点云配准的依据；
所述工件点云特征匹配，采用改进的Kuhn-Munkres算法实现点云特征点的配对；
所述工件点云位姿估计，根据几何约束性对特征匹配得到的点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，进一步采用ICP最近点迭代求解工件点云的精确位姿。
上述方案中，所述映射关系，为二维像素坐标到三维空间坐标的转换矩阵，矩阵元素的数值为标定后相机的内参参数。
上述方案中，所述点云下采样，采用体素下采样算法划分体素空间单元，取空间单元内各数据点的平均坐标为采样点坐标，减少点云数据量，降低点云密度；所述点云滤波，采用半径滤波算法检索指定半径内的近邻点数目，删除数目小于设定阈值的离散点；所述点云表面平滑，采用移动最小二乘(MLS)法对点云局部表面进行曲面拟合，对跳变数据点进行坐标值修复，平滑点云表面的起伏波动，降低数据表面的粗糙度。
上述方案中，所述关键点提取，采用均匀采样算法每隔固定空间距离抽取数据点，作为工件点云的特征点。
上述方案中，所述改进的Kuhn-Munkres算法，以模型点云与待识别点云关键点特征描述距离范数最接近的K点作为待匹配点对，以距离范数的倒数表示各匹配点对权重，利用Kuhn-Munkres算法原理求解带权二分图权重和最大的最优匹配，以此实现点云特征匹配。
上述方案中，所述相机为三维相机，用于采集工件的深度图像。
上述方案中，所述背景分离，通过灰度分布直方图确定合适阈值，采用阈值分割方式去除识别场景中无用的背景信息；所述孔洞填充，用于填补工件图像中像素点灰度值为0的孔洞，采用孔洞像素点相邻窗口内像素的平均灰度值进行填充；所述噪声点去除，采用形态学开运算删除背景分离无法去除的部分灰度值异常像素点；所述连通域分析，用于在图像中寻找出彼此互相独立的区域并将其标记出来，并根据标记查找提取出不同工件所在的区域以及其二维像素坐标。
上述方案中，具体包括以下步骤：
第一步，三维相机标定，按照相机生产商推荐的标定方法对相机进行标定，矫正相机的径向和切向畸变，获得相机的内外参数，以相机内参参数{fx,fy,cx,cy}生成二维像素坐标到三维空间坐标的转换矩阵；
第二步，模型点云生成，使用三维相机采集工件各个角度的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从采集图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，最后根据采集角度拼接生成完整点云，得到模板匹配的模型点云；
第三步，模型点云特征提取，采用均匀采样提取模型点云的关键点，对点云中每个关键点建立FPFH特征描述，作为特征匹配的模板数据；
第四步，工件点云生成，使用三维相机采集堆叠工件场景的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从场景图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，得到识别场景中各工件点云；
第五步，工件点云特征提取，对各工件点云采用均匀采样提取关键点，并对点云中每个关键点建立FPFH特征描述；
第六步，工件点云特征匹配，以FPFH特征描述为计算依据，求取模型点云特征点在工件点云中距离范数最接近的K个特征点，作为待匹配的特征点对，以距离范数的倒数表示各匹配点对的权重，利用Kuhn-Munkres算法原理求解最优的匹配方案，生成模型点云与工件点云之间的特征匹配点对；
第七步，工件点云位姿估计，根据几何约束关系对匹配得到的特征点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，采用ICP最近点迭代，使模型点云与工件点云匹配重合，通过这一过程得到的转换矩阵求解工件的精确位姿。
本发明具有有益效果：
本发明以深度图像为处理主体，经过背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理流程，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来，利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn-Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到工件的精确位姿，该方法结合二维图像检测和三维点云配准两者的优点，解决了二维图像检测精度差和三维点云配准速度慢的问题，使用二维图像处理方法实现堆叠工件快速分割，并对三维点云配准中的特征匹配算法进行改进，使得配准精度进一步提高，完成了不需要大量训练数据前提下具有良好精度和实时性的堆叠工件识别。
附图说明
图1为本发明基于二维图像和三维点云结合的堆叠工件位姿估计方法流程图；
图2为识别场景中工件二维图像分割流程示意图；
图3为工件点云数据预处理流程示意图；
图4为Kuhn-Munkres算法原理示意图；
图5为改进Kuhn-Munkres算法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
结合附图1所示，一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，分为离线、在线两部分，包括工件二维图像分割、三维点云数据生成、点云数据预处理、用于模板匹配的模型点云生成、工件点云特征提取、工件点云特征匹配、工件点云位姿估计。离线部分，本发明通过相机多角度采集工件图像，经由工件二维图像分割、三维点云数据生成和点云数据预处理得到工件多角度的点云数据，根据采集角度拼接生成作为模板匹配的模型点云，对模型点云提取关键点并建立FPFH特征描述，作为点云配准的依据。工件在线识别过程中，使用三维相机采集堆叠工件场景的图像数据，通过工件二维图像分割、三维点云数据生成和点云数据预处理得到识别场景中各工件点云，对工件点云提取关键点，建立FPFH特征描述，通过点云特征匹配得到最优的匹配方案，生成模型点云与工件点云之间的特征匹配点对，对得到的匹配点对求解转换矩阵，可以得到工件点云的精确位姿。
结合附图1、2所示，所述识别场景中工件的二维图像分割，以相机采集的深度图为处理主体，包括背景分离、孔洞填充、噪声点去除、连通域分析，通过以上过程提取各工件所在区域及二维像素坐标，实现工件二维图像的分割。所述背景分离以深度图的灰度分布直方图确定合适阈值，通过阈值分割方式去除识别场景中无用的背景信息；所述孔洞填充采用孔洞像素点相邻窗口内像素的平均灰度值对图像中孔洞进行填补；所述噪声点去除采用形态学开运算删除背景分离无法去除的灰度值异常像素点；所述连通域分析在图像中寻找出彼此互相独立的区域并将其标记出来，根据标记查找提取不同工件所在区域及其二维像素坐标。
结合附图1、2所示，所述三维点云数据生成由二维图像分割得到的各工件像素坐标转化而来，转换矩阵元素的数值为标定后相机的内参参数{fx,fy,cx,cy}，二维像素坐标与三维空间坐标之间转换关系的矩阵形式为：
其中，(X,Y,Z)为点云的三维空间坐标，(u,v)为图像的像素坐标，(cx,cy)为图像的中心点坐标，fx＝f/Sx，fy＝f/Sy，f为相机的焦距，Sx和Sy分别为图像传感器物理尺寸的比例系数，一般为像素对应尺寸数值的倒数。
如图1、3所示，所述点云数据预处理，包括点云下采样、点云滤波和点云表面平滑，用于处理所生成点云数据的缺陷，提高点云数据的质量，其中点云下采样采用体素下采样算法划分体素空间单元，取空间单元内各数据点的平均坐标为采样点坐标，以此减少点云数据量，降低点云密度；所述点云滤波采用半径滤波算法检索指定半径内的近邻点数目，删除数目小于设定阈值的离散点；所述点云表面平滑，采用移动最小二乘(MLS)法对点云局部表面进行曲面拟合，对跳变数据点进行坐标值修复，平滑点云表面的起伏波动，降低数据表面的粗糙度。
结合附图4所示，所述Kuhn-Munkres算法用于求解二分图的匹配问题，图中每条匹配路径具有相应的权重值，不具有匹配性的路径权重值为0，算法通过不断回溯的方式查找出权重值之和最大的匹配方案。
结合附图1、4、5所示，所述改进的Kuhn-Munkres算法，以FPFH特征描述为计算依据，求取模型点云特征点在工件点云中距离范数最接近的K个特征点，作为待匹配的特征点对，以其距离范数的倒数表示各匹配点对的权重，利用Kuhn-Munkres算法原理求解满足权重之和最大的最佳匹配方案，生成模型点云与工件点云之间的特征匹配点对。算法以模型和工件点云的FPFH特征描述为输入；根据输入的尺寸大小设置权重值矩阵的尺寸，其中m为模型点云特征描述尺寸，n为工件点云特征描述尺寸，初始化权重值矩阵，并设置距离阈值dist；循环提取工件点云中各点的特征描述，在模型点云特征描述中查找距离最近的K个点，组成K对待匹配路径，并记录每对距离数值neigh_dists；根据neigh_dists数值筛选待匹配路径，小于设定阈值者为Kuhn-Munkres的匹配路径；取neigh_dists数值的倒数作为算法匹配路径的权重值，neigh_dists数值越小，权重值越大，表示两者相似度越高；根据所设置匹配路径与权重值执行Kuhn-Munkres算法，求解满足权重之和最大的最佳匹配方案。
一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，具体包括以下步骤：
第一步，三维相机标定，按照相机生产商推荐的标定方法对相机进行标定，矫正相机的径向和切向畸变，获得相机的内外参数，以相机内参参数{fx,fy,cx,cy}生成二维像素坐标到三维空间坐标的转换矩阵；
第二步，模型点云生成，使用三维相机采集工件各个角度的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析后，从采集图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，最后根据采集角度拼接生成完整点云，得到模板匹配的模型点云；
第三步，模型点云特征提取，采用均匀采样提取模型点云的关键点，对点云中每个关键点建立FPFH特征描述，作为特征匹配的模板数据；
第四步，工件点云生成，使用三维相机采集堆叠工件场景的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析后，从采集图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，得到识别场景中各工件点云；
第五步，工件点云特征提取，对各工件点云采用均匀采样提取关键点，并对各点云中每个关键点建立FPFH特征描述；
第六步，工件点云特征匹配，以FPFH特征描述为计算依据，求取模型点云特征点在工件点云中特征描述距离范数最近的K个特征点，作为待匹配的特征点对，以点对特征描述距离范数的的倒数表示各匹配点对的权重，利用Kuhn-Munkres算法原理求解满足权重之和最大的最佳匹配方案；
第七步，工件点云位姿估计，根据几何约束关系对匹配得到的特征点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，采用ICP最近点迭代，使模型点云与工件点云匹配重合，通过这一过程得到的转换矩阵求解工件的精确位姿。
本发明以深度图像为处理主体，经过背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理流程，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来，利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn-Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到工件的精确位姿，该方法结合二维图像检测和三维点云配准两者的优点，解决了二维图像检测精度差和三维点云配准速度慢的问题，使用二维图像处理方法实现堆叠工件快速分割，并对三维点云配准中的特征匹配算法进行改进，使得配准精度进一步提高，完成了不需要大量训练数据前提下具有良好精度和实时性的堆叠工件识别。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，以深度图像为处理对象，进行背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来；利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn-Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到各工件的精确位姿。
2.根据权利要求1所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，包括工件二维图像分割、三维点云数据生成、点云数据预处理、用于模板匹配的模型点云生成、工件点云特征提取、工件点云特征匹配和工件点云位姿估计；
所述工件二维图像分割，以相机采集的深度图为处理对象，经过背景分离、孔洞填充、噪声点去除、连通域分析后，提取各工件所在区域和二维像素坐标，实现工件二维图像的分割；
所述三维点云数据生成，基于二维图像像素坐标和三维空间坐标之间的映射关系，实现二维图像数据向三维点云数据的转化；
所述点云数据预处理，包括点云下采样、点云滤波和点云表面平滑，用于处理所生成点云数据的缺陷，提高点云数据的质量；
所述模型点云的生成，通过相机多角度采集工件图像，经由工件二维图像分割、三维点云数据生成和点云数据预处理得到工件多角度的点云数据，根据采集角度拼接生成完整点云，作为模板匹配的模型点云；
所述工件点云特征提取，对工件点云提取关键点，根据关键点周边数据点的分布情况建立FPFH特征描述，作为点云配准的依据；
所述工件点云特征匹配，采用改进的Kuhn-Munkres算法实现点云特征点的配对；
所述工件点云位姿估计，根据几何约束性对特征匹配得到的点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，进一步采用ICP最近点迭代求解工件点云的精确位姿。
3.根据权利要求1或者2任一项所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述映射关系，为二维像素坐标到三维空间坐标的转换矩阵，矩阵元素的数值为标定后相机的内参参数。
4.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述点云下采样，采用体素下采样算法划分体素空间单元，取空间单元内各数据点的平均坐标为采样点坐标，减少点云数据量，降低点云密度；所述点云滤波，采用半径滤波算法检索指定半径内的近邻点数目，删除数目小于设定阈值的离散点；所述点云表面平滑，采用移动最小二乘(MLS)法对点云局部表面进行曲面拟合，对跳变数据点进行坐标值修复，平滑点云表面的起伏波动，降低数据表面的粗糙度。
5.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述关键点提取，采用均匀采样算法每隔固定空间距离抽取数据点，作为工件点云的特征点。
6.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述改进的Kuhn-Munkres算法，以模型点云与待识别点云关键点特征描述距离范数最接近的K点作为待匹配点对，以距离范数的倒数表示各匹配点对权重，利用Kuhn-Munkres算法原理求解带权二分图权重和最大的最优匹配，以此实现点云特征匹配。
7.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述相机为三维相机，用于采集工件的深度图像。
8.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述背景分离，通过灰度分布直方图确定合适阈值，采用阈值分割方式去除识别场景中无用的背景信息；所述孔洞填充，用于填补工件图像中像素点灰度值为0的孔洞，采用孔洞像素点相邻窗口内像素的平均灰度值进行填充；所述噪声点去除，采用形态学开运算删除背景分离无法去除的部分灰度值异常像素点；所述连通域分析，用于在图像中寻找出彼此互相独立的区域并将其标记出来，并根据标记查找提取出不同工件所在的区域以及其二维像素坐标。
9.根据权利要求1或者2任一项所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，具体包括以下步骤：
第一步，三维相机标定，按照相机生产商推荐的标定方法对相机进行标定，矫正相机的径向和切向畸变，获得相机的内外参数，以相机内参参数{fx,fy,cx,cy}生成二维像素坐标到三维空间坐标的转换矩阵；
第二步，模型点云生成，使用三维相机采集工件各个角度的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从采集图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，最后根据采集角度拼接生成完整点云，得到模板匹配的模型点云；
第三步，模型点云特征提取，采用均匀采样提取模型点云的关键点，对点云中每个关键点建立FPFH特征描述，作为特征匹配的模板数据；
第四步，工件点云生成，使用三维相机采集堆叠工件场景的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从场景图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，得到识别场景中各工件点云；
第五步，工件点云特征提取，对各工件点云采用均匀采样提取关键点，并对点云中每个关键点建立FPFH特征描述；
第六步，工件点云特征匹配，以FPFH特征描述为计算依据，求取模型点云特征点在工件点云中距离范数最接近的K个特征点，作为待匹配的特征点对，以距离范数的倒数表示各匹配点对的权重，利用Kuhn-Munkres算法原理求解最优的匹配方案，生成模型点云与工件点云之间的特征匹配点对；
第七步，工件点云位姿估计，根据几何约束关系对匹配得到的特征点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，采用ICP最近点迭代，使模型点云与工件点云匹配重合，通过这一过程得到的转换矩阵求解工件的精确位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310486189.9A CN116309847A (zh) | 2023-04-28 | 2023-04-28 | 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310486189.9A CN116309847A (zh) | 2023-04-28 | 2023-04-28 | 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309847A true CN116309847A (zh) | 2023-06-23 |
Family
ID=86794269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310486189.9A Pending CN116309847A (zh) | 2023-04-28 | 2023-04-28 | 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309847A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703895A (zh) * | 2023-08-02 | 2023-09-05 | 杭州灵西机器人智能科技有限公司 | 基于生成对抗网络的小样本3d视觉检测方法及其系统 |
| CN116797625A (zh) * | 2023-07-20 | 2023-09-22 | 无锡埃姆维工业控制设备有限公司 | 一种单目三维工件位姿估计方法 |
| CN117370592A (zh) * | 2023-10-10 | 2024-01-09 | 重庆荟奇安科技有限公司 | 一种基于机器学习的零件相似性识别方法 |
-
2023
- 2023-04-28 CN CN202310486189.9A patent/CN116309847A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797625A (zh) * | 2023-07-20 | 2023-09-22 | 无锡埃姆维工业控制设备有限公司 | 一种单目三维工件位姿估计方法 |
| CN116797625B (zh) * | 2023-07-20 | 2024-04-19 | 无锡埃姆维工业控制设备有限公司 | 一种单目三维工件位姿估计方法 |
| CN116703895A (zh) * | 2023-08-02 | 2023-09-05 | 杭州灵西机器人智能科技有限公司 | 基于生成对抗网络的小样本3d视觉检测方法及其系统 |
| CN116703895B (zh) * | 2023-08-02 | 2023-11-21 | 杭州灵西机器人智能科技有限公司 | 基于生成对抗网络的小样本3d视觉检测方法及其系统 |
| CN117370592A (zh) * | 2023-10-10 | 2024-01-09 | 重庆荟奇安科技有限公司 | 一种基于机器学习的零件相似性识别方法 |
| CN117370592B (zh) * | 2023-10-10 | 2024-04-26 | 重庆荟奇安科技有限公司 | 一种基于机器学习的零件相似性识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116309847A (zh) | 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 | |
| CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
| CN108107444B (zh) | 基于激光数据的变电站异物识别方法 | |
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
| CN108830831B (zh) | 一种基于改进surf匹配的锌浮选泡沫自然速度特征提取方法 | |
| CN111402330B (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
| CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
| CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
| CN113538486A (zh) | 一种提高汽车钣金工件的识别与定位精度的方法 | |
| CN110895683B (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
| CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
| CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
| CN115147833A (zh) | 一种零部件位姿识别方法及系统 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN108182704A (zh) | 基于形状上下文特征的定位方法 | |
| CN110766782A (zh) | 基于多无人机视觉协同的大型施工场景实时重构方法 | |
| CN115471682A (zh) | 一种基于SIFT融合ResNet50的图像匹配方法 | |
| CN107895166B (zh) | 基于特征描述子的几何哈希法实现目标鲁棒识别的方法 | |
| Zou et al. | Path voting based pavement crack detection from laser range images | |
| CN110675442B (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| CN114463425B (zh) | 一种基于概率Hough直线检测的工件表面无特征点定位方法 | |
| CN109829459B (zh) | 基于改进ransac的视觉定位方法 | |
| CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |