CN115147833A - 一种零部件位姿识别方法及系统 - Google Patents

一种零部件位姿识别方法及系统 Download PDF

Info

Publication number
CN115147833A
CN115147833A CN202210877843.4A CN202210877843A CN115147833A CN 115147833 A CN115147833 A CN 115147833A CN 202210877843 A CN202210877843 A CN 202210877843A CN 115147833 A CN115147833 A CN 115147833A
Authority
CN
China
Prior art keywords
point cloud
registration
point
pair
cloud set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210877843.4A
Other languages
English (en)
Inventor
闫俊涛
吴自然
吴桂初
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueqing Institute Of Industry Wenzhou University
Original Assignee
Yueqing Institute Of Industry Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yueqing Institute Of Industry Wenzhou University filed Critical Yueqing Institute Of Industry Wenzhou University
Priority to CN202210877843.4A priority Critical patent/CN115147833A/zh
Publication of CN115147833A publication Critical patent/CN115147833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种零部件位姿识别方法及系统，所述方法包括如下步骤：对待配准的零部件的三维模型进行点云采样；采用3D点云相机拍摄待识别场景的点云信息；对场景点云集合进行聚类和分割，得到多个候选点云集合；选取与源点云集合配准度最高的候选点云集合作为目标点云集合；采用SAC‑IA算法点云粗配准；采用KD‑tree搜索算法和ICP算法进行点云精配准；基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。本发明基于3D点云，并配合聚类和分割、SAC‑IA算法、KD‑tree搜索算法和ICP算法实现微小型零部件的位姿识别。

Description

一种零部件位姿识别方法及系统
技术领域
本发明涉及3D视觉识别技术领域，特别是涉及一种零部件位姿识别方法及系统。
背景技术
随着制造业的不断发展，工业自动化、装配柔性化需求的不断增加，目前在基于机器视觉的自动装配领域，用的比较多的是基于普通的RGB相机的2D视觉处理方案，对于如图1所示的小型断路器的部分零部件，属于微小型零部件，其具有种类多样化、表面及边缘特征不清晰等特点，在2D视觉方案中识别其准确位姿的难度较大。
发明内容
有鉴于此，本发明提供了一种零部件位姿识别方法及系统，以实现微小型零部件的位姿识别，为实现柔性装配提供视觉支持。
为实现上述目的，本发明提供了如下方案：
一种零部件位姿识别方法，所述方法包括如下步骤：
对待配准的零部件的三维模型进行点云采样，获得源点云集合；
采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；
对场景点云集合进行聚类和分割，得到多个候选点云集合；
选取与源点云集合配准度最高的候选点云集合作为目标点云集合；
采用SAC-IA(Sample Consensus Initial Aligment，采样一致性初始配准算法)算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云；
采用KD-tree(K-dimensional tree，K维树)搜索算法和ICP(terative ClosestPointe迭代最近点算法)算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数；
基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
可选的，所述采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，具体包括：
在所述源点云集合中选取预设个数的源点云，作为采样点；
采用近邻搜索算法分别确定所述目标点云集合中与每个所述采样点FPFH(FastPoint Feature Histograms，快速点特征直方图)特征相差最小的场景点云，分别与每个所述采样点组成粗配准点对；
采用RANSAC(Random Sample Consensus，随机抽样一致性算法)算法对所述粗配准点进行优化，获得优化后的粗配准点对；
基于优化后的粗配准点对，确定使距离误差和函数的值最小的变换参数，作为粗配准变换参数；
基于所述粗配准变换参数对源点云集合进行变换，得到粗配准点云集合。
可选的，所述距离误差和函数为：
Figure BDA0003763238160000021
Figure BDA0003763238160000022
其中，Huber表示距离误差和函数，n表示采样点的个数，H(li)表示第i个优化后的粗配准点对的距离误差；li表示第i个粗配准点对中的采样点基于当前的变换参数变换后的点云与第i个粗配准点对中的场景点云的距离；ml表示预设定值。
可选的，所述采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数，具体包括：
采用KD-tree搜索算法分别确定粗配准点云集合中与所述目标点云集合中每个场景点云欧氏距离最小的点云，组成精配准点云对；
采用RANSAC算法对所述精配准点云对进行优化，获得优化后的精配准点云对；
基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数。
可选的，所述基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数，具体包括：
初始化迭代次数k的数值为0；
基于优化后的精配准点对，优化求解如下目标函数，确定使所述目标函数最小时的旋转矩阵和平移矩阵，作为第k次迭代的旋转矩阵和平移矩阵；
Figure BDA0003763238160000031
其中，f表示目标函数，N表示优化后的精配准点对的数量，gj表示第j个优化后的精配准点对中的场景点云，
Figure BDA0003763238160000032
表示第j个优化后的精配准点对中的粗配准点云经第k次变换后的点云；Rk和Tk分别表示第k次迭代的旋转矩阵和平移矩阵；
基于第k次迭代的旋转矩阵和平移矩阵，利用如下公式对第k次变换后的点云进行变换，获得第k+1次变换后的点云；
Figure BDA0003763238160000033
判断是否满足迭代结束条件，获得判断结果；
若所述判断结果表示否，则令迭代次数的数值增加1，返回步骤“基于优化后的精配准点对，优化求解如下目标函数，确定使所述目标函数最小时的旋转矩阵和平移矩阵，作为第k次迭代的旋转矩阵和平移矩阵”；
若所述判断结果表示是，则基于每次迭代的旋转矩阵和平移矩阵，确定由粗配准点云集合中的粗配准点云变换到第k+1次变换后的点云的总的旋转矩阵和平移矩阵，作为精配准参数。
可选的，所述迭代结束条件为：满足公式dk<E、dk+1-dk<e和k>＝kmax中的至少一个；
其中，
Figure BDA0003763238160000041
dk和dk+1分别表示第k次迭代和第k+1次迭代后的均方差；E表示均方差阈值，e表示均方差变化阈值，kmax表示迭代次数阈值。
一种零部件位姿识别系统，所述系统包括：
三维模型采样模块，用于对待配准的零部件的三维模型进行点云采样，获得源点云集合；
场景点云获取模块，用于采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；
聚类和分割模块，用于对场景点云集合进行聚类和分割，得到多个候选点云集合；
目标点云集合选取模块，用于选取与源点云集合配准度最高的候选点云集合作为目标点云集合；
粗配准模块，用于采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云；
精配准模块，用于采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数；
位姿识别模块，用于基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
可选的，所述粗配准模块，具体包括：
采样点选取子模块，用于在所述源点云集合中选取预设个数的源点云，作为采样点；
粗配准点对确定子模块，用于采用近邻搜索算法分别确定所述目标点云集合中与每个所述采样点FPFH特征相差最小的场景点云，分别与每个所述采样点组成粗配准点对；
粗配准点对优化子模块，用于采用RANSAC算法对所述粗配准点进行优化，获得优化后的粗配准点对；
粗配准变换参数确定子模块，用于基于优化后的粗配准点对，确定使距离误差和函数的值最小的变换参数，作为粗配准变换参数；
变换子模块，用于基于所述粗配准变换参数对源点云集合进行变换，得到粗配准点云集合。
可选的，所述距离误差和函数为：
Figure BDA0003763238160000051
Figure BDA0003763238160000052
其中，Huber表示距离误差和函数，n表示采样点的个数，H(li)表示第i个优化后的粗配准点对的距离误差；li表示第i个粗配准点对中的采样点基于当前的变换参数变换后的点云与第i个粗配准点对中的场景点云的距离；ml表示预设定值。
可选的，所述精配准模块，具体包括：
精配准点云对确定子模块，用于采用KD-tree搜索算法分别确定粗配准点云集合中与所述目标点云集合中每个场景点云欧氏距离最小的点云，组成精配准点云对；
精配准点云对优化子模块，用于采用RANSAC算法对所述精配准点云对进行优化，获得优化后的精配准点云对；
精配准子模块，用于基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种零部件位姿识别方法及系统，所述方法包括如下步骤：对待配准的零部件的三维模型进行点云采样，获得源点云集合；采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；对场景点云集合进行聚类和分割，得到多个候选点云集合；选取与源点云集合配准度最高的候选点云集合作为目标点云集合；采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云；采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数；基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。本发明基于3D点云，并配合聚类和分割、SAC-IA算法、KD-tree搜索算法和ICP算法实现微小型零部件的位姿识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的微小型零部件的示例图；
图2为本发明实施例提供的一种零部件位姿识别方法的原理图；
图3为本发明实施例提供的零部件位姿识别方法的流程图；
图4为本发明实施例提供的3D视觉识别系统示意图；
图5为本发明实施例提供的三维模型采样后的曲面点云模型示意图；
图6为本发明实施例提供的待识别区域的场景点云信息示意图；
图7为本发明实施例提供的模型与场景点云粗配准结果示意图；
图8为本发明实施例提供的模型与场景点云精配准结果示意图；
图9为本发明实施例提供的模型与点云配准的交互界面示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种零部件位姿识别方法及系统，以实现微小型零部件的位姿识别，为实现柔性装配提供视觉支持。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图2和3所示，本发明实施例1提供一种零部件位姿识别方法，所述方法包括如下步骤：
步骤101，对待配准的零部件的三维模型进行点云采样，获得源点云集合。
为了完成3D点云匹配，本发明实施例1首先对三维模型进行预处理，三维模型预处理是针对现有的模型点云对场景点云的匹配提出的一种零件三维模型对场景点云的匹配，三维模型具有更丰富的信息特征，实际场景中为了实现点云与点云的匹配，在匹配之前需要将三维模型通过采样的方式，以3D点云相机的精度作为采样间距，将其转换为相应的曲面点云模型，相比于传统的模型点云，通过三维模型采样后的曲面点云模型的点云信息更完整，特征更丰富，更利于提高后续的点云匹配精度；同时由于经过采样后的三维模型同时具有单个零件的所有表面信息，因此对于一个场景下有多种零件以及一种零件的任意姿态都能够准确匹配其种类和位姿。
步骤102，采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合。所述场景点云获取及预处理中场景点云获取是通过高精度3D点云相机获取待匹配区域点云信息。
步骤103，对场景点云集合进行聚类和分割，得到多个候选点云集合。
本发明步骤103是对场景点云集合预处理的过程，预处理是为了避免全局匹配，提高匹配效率，在匹配之前对场景点云进行滤波、聚类、分割，获得候选匹配区域，后续在匹配的过程中只需对候选匹配区域进行匹配，极大的提高了匹配效率。
步骤104，选取与源点云集合配准度最高的候选点云集合作为目标点云集合。实例性的步骤103中的配准度可采用步骤105中的距离误差和函数进行计算。具体步骤为：对于每个候选点云集合，首先基于FPFH特征进行配准点对的选取，然后基于距离误差和函数优化计算距离误差和函数的值，作为配准度。
步骤105，采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云。
所述点云粗配准采用的是ISS(Intrinsic Shape Signatures，内部形状描述子算法)点云特征提取，FPFH算子对特征进行描述，然后基于FPFH描述的特征采用SAC-IA算法对曲面点云模型与场景点云进行点云粗配准。SAC-IA算法进行点云粗配准的原理及步骤如下：
Step1：按条件选取采样点；从待匹配的源点云中选取n个采样点，同时为了确保每个采样点的FPFH特征的差异性，各个采样点之间的距离要大于设定的阈值。
Step2：搜索对应点对集；根据采样点的FPFH特征，在目标点云中通过近邻搜索算法找到目标点云与源点云FPFH特征相差最小的点对，并采用RANSAC(Random SampleConsensus，随机抽样一致算法)算法去除错误点对，得到优化后的特征相似的点对集。
Step3：获取最优变换参数；首先根据step2中获得的对应点对集求得其变换参数，之后根据变换后的点云与目标点云的距离差的和函数来评估匹配的效果，通常采用Huber函数表示距离误差的和函数。
Figure BDA0003763238160000081
Figure BDA0003763238160000082
其中，ml为预设定值，li为第i个对应点对经过变换后的距离误差，从所有的变换中找到使误差函数取得最小值时的变换作为变换参数进行粗配准。
步骤106，采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数。
所述点云精配准采用的是在经典ICP的基础上加入了KD-tree优化搜索过程提高搜索效率，通过KD-tree获得源点云与目标点云欧氏距离最近的点对集，同时引入RANSAC去除错误匹配点对，优化点搜索算法KD-tree获得的点对集，进一步提高ICP算法的匹配的精度,可以有效解决经典ICP算法可能出现的局部最优的问题。
假设源点云为S＝{s1,s2,s3,…sm},其中m为源点云的数量,目标点云G{g1,g2,g3,…gN},其中N为目标点云的数量；每次迭代的均方误差的阈值用E表示，相邻两次迭代的均方误差差值的阈值用e表示，优化循环的最大迭代次数用kmax表示。其中点云精配准的优化迭代过程如下：
Step1：获取优化后的对应点对集；通过KD-tree搜索算法，对目标点云集G中的每个点gj搜索与源点云集S中对应的欧氏距离最近的点sj获得初步的对应点对集，然后对该点对集进行RANSAC算法操作去除误差较大的错误匹配点对，最终得到优化后的对应点对集{(sj，gj)|j<N}。
Step2：根据Step1获得的点对集求解变换参数R、T；以目标函数f(R,T)取最小值为优化目标，获得变换参数R、T。f(R,T)公式如下：
Figure BDA0003763238160000091
Step3：通过Step2获得的变换参数Rk和Tk更新粗配准点云；粗配准点云更新公式如下，其中k为迭代次数，
Figure BDA0003763238160000092
为更新前的点云，
Figure BDA0003763238160000093
为本次更新后的点云。
Figure BDA0003763238160000094
Step4：迭代计算阈值判断；按照如下公式计算本次迭代后的均方误差dk和dk+1，然后判断是否满足任何一个阈值条件(dk<E、dk+1-dk<e、k>＝kmax)，如果满足任一条件,则迭代停止，否则继续上述迭代过程。
Figure BDA0003763238160000101
Figure BDA0003763238160000102
Step5：迭代优化结束后的点云配准；以最后一次迭代的结果作为最优匹配，并获得此时的变换参数R、T，源点云依据此变换参数变换后配准到目标点云，完成最终的点云配准。
步骤107，基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
配准结果可视化渲染，所述配准结果可视化渲染是将初始位置和姿态的零件的三维模型基于点云精配准后得到的旋转平移矩阵进行相应的变换，与目标点云进行拟合渲染，从而直观的显示出匹配的结果。
实施例2
本发明实施例2提供一种零部件位姿识别系统，所述系统包括：
三维模型采样模块，用于对待配准的零部件的三维模型进行点云采样，获得源点云集合；
场景点云获取模块，用于采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；
聚类和分割模块，用于对场景点云集合进行聚类和分割，得到多个候选点云集合；
目标点云集合选取模块，用于选取与源点云集合配准度最高的候选点云集合作为目标点云集合；
粗配准模块，用于采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云。
所述粗配准模块，具体包括：采样点选取子模块，用于在所述源点云集合中选取预设个数的源点云，作为采样点；粗配准点对确定子模块，用于采用近邻搜索算法分别确定所述目标点云集合中与每个所述采样点FPFH特征相差最小的场景点云，分别与每个所述采样点组成粗配准点对；粗配准点对优化子模块，用于采用RANSAC算法对所述粗配准点进行优化，获得优化后的粗配准点对；粗配准变换参数确定子模块，用于基于优化后的粗配准点对，确定使距离误差和函数的值最小的变换参数，作为粗配准变换参数；变换子模块，用于基于所述粗配准变换参数对源点云集合进行变换，得到粗配准点云集合。
所述距离误差和函数为：
Figure BDA0003763238160000111
Figure BDA0003763238160000112
其中，Huber表示距离误差和函数，n表示采样点的个数，H(li)表示第i个优化后的粗配准点对的距离误差；li表示第i个粗配准点对中的采样点基于当前的变换参数变换后的点云与第i个粗配准点对中的场景点云的距离；ml表示预设定值。
精配准模块，用于采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数。
所述精配准模块，具体包括：精配准点云对确定子模块，用于采用KD-tree搜索算法分别确定粗配准点云集合中与所述目标点云集合中每个场景点云欧氏距离最小的点云，组成精配准点云对；精配准点云对优化子模块，用于采用RANSAC算法对所述精配准点云对进行优化，获得优化后的精配准点云对；精配准子模块，用于基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数。
位姿识别模块，用于基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
实施例3
为了说明本发明实施例1中的方法和实施例2中的系统的具体实施例方式，本发明实施例3提供了如下示例。
如图4所示，3D视觉识别系统示意图，该系统主要由零件托盘、精度为0.055mm的PhoXi 3D Scanner XS 3D点云相机、主机PC三部分构成，3D点云相机用于采集零件托盘上零件的点云信息，然后将该信息传输到主机PC，主机PC通过本文提出的一系列的点云处理算法，得到零件的三维模型与零件托盘上相应零件的点云配准信息。
如图3所示，基于3D模型与点云配准的小型断路器零部件位姿识别的方法及系统的模块化处理流程图，从整体结构上分为预处理、粗配准、精配准、可视化四个部分。其中预处理又包括三维模型采样以及场景点云获取、滤波、聚类、分割等操作，如图5所示是以小型断路器零件之一手柄为例，显示了对三维模型采样后得到的曲面点云模型效果对照，其中图5中的(a)图为三维模型示例图，图5中的(b)图为采样后得到的曲面点云模型示例图。如图6所示是通过3D点云相机获取的待识别区域的场景点云信息；粗配准包含了对点云进行特征提取的ISS算子、对提取的特征进行描述的FPFH算子以及进行粗配准的SAC-IA算法，如图7所示是手柄模型与场景点云进行粗配准得到的匹配效果图，从图中可以看出粗配准过程使模型匹配到了近似的位姿和方向，但是还是存在一些误差；精配准包含了优化搜索过程提高搜索效率的KD-tree、对不满足条件的错误点对进行剔除的RANSAC算法以及最终进行精配准的ICP算法，如图8所示是在图7粗配准的结果之上进一步优化迭代后的模型与场景点云的精确配准效果图，由图中的模型拟合效果可以得看出无论是在位置还是方向角度上都得到了比粗配准更加精确的结果。
如图9所示，模型与点云匹配的交互界面，该界面中包含了模型的选择、3D相机的选择以及匹配结果和三维模型与目标点云的匹配效果，图中阴影部分的小立方体部分即为本次匹配的效果，同时本次匹配获得的R、T参数经过转化得到的位置和旋转角度分别由图中的Position和Orientation所示。
如表1和表2所示，零件种类位姿识别对照表，经过多次重复实验表明本文提出的方法具有良好的匹配效果，其中旋转角度的配准偏差在±0.5°以内，坐标的配准偏差在±0.2mm以内。
表1旋转角度对照表
Figure BDA0003763238160000131
表2夹取点坐标对照表
Figure BDA0003763238160000132
与现有技术相比，本发明中小型断路器零部件位姿识别方法针对现有的模型点云对场景点云的匹配提出的一种零件三维模型对场景点云的匹配，相比于传统的模型点云，通过三维模型采样后的曲面点云模型的点云信息更完整，特征更丰富，更利于提高后续的点云匹配精度；同时由于经过采样后的三维模型同时具有单个零件的所有表面信息，因此对于一个场景下有多种零件以及一种零件的任意姿态都能够准确匹配其种类和位姿；场景点云获取及预处理通过获取高精度点云信息以及点云预处理保证了点云的精度和匹配的效率；点云粗配准是基于匹配效率和准确度的综合考虑，采用ISS、FPFH、SAC-IA多算子复合使用的方式进行点云粗配准；点云精配准在ICP的基础上加入了KD-tree优化搜索过程提高搜索效率，通过KD-tree获得源点云与目标点云欧氏距离最近的点对集，同时引入RANSAC去除错误匹配点对，优化点搜索算法KD-tree获得的点对集，进一步提高ICP算法的匹配的精度,可以有效解决经典ICP算法可能出现的局部最优的问题；配准结果可视化渲染是将三维模型由初始位置转换到点云匹配目标位置，使匹配效果更直观。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种零部件位姿识别方法，其特征在于，所述方法包括如下步骤：
对待配准的零部件的三维模型进行点云采样，获得源点云集合；
采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；
对场景点云集合进行聚类和分割，得到多个候选点云集合；
选取与源点云集合配准度最高的候选点云集合作为目标点云集合；
采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云；
采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数；
基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
2.根据权利要求1所述的零部件位姿识别方法，其特征在于，所述采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，具体包括：
在所述源点云集合中选取预设个数的源点云，作为采样点；
采用近邻搜索算法分别确定所述目标点云集合中与每个所述采样点FPFH特征相差最小的场景点云，分别与每个所述采样点组成粗配准点对；
采用RANSAC算法对所述粗配准点进行优化，获得优化后的粗配准点对；
基于优化后的粗配准点对，确定使距离误差和函数的值最小的变换参数，作为粗配准变换参数；
基于所述粗配准变换参数对源点云集合进行变换，得到粗配准点云集合。
3.根据权利要求2所述的零部件位姿识别方法，其特征在于，所述距离误差和函数为：
Figure FDA0003763238150000021
Figure FDA0003763238150000022
其中，Huber表示距离误差和函数，n表示采样点的个数，H(li)表示第i个优化后的粗配准点对的距离误差；li表示第i个粗配准点对中的采样点基于当前的变换参数变换后的点云与第i个粗配准点对中的场景点云的距离；ml表示预设定值。
4.根据权利要求1所述的零部件位姿识别方法，其特征在于，所述采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数，具体包括：
采用KD-tree搜索算法分别确定粗配准点云集合中与所述目标点云集合中每个场景点云欧氏距离最小的点云，组成精配准点云对；
采用RANSAC算法对所述精配准点云对进行优化，获得优化后的精配准点云对；
基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数。
5.根据权利要求4所述的零部件位姿识别方法，其特征在于，所述基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数，具体包括：
初始化迭代次数k的数值为0；
基于优化后的精配准点对，优化求解如下目标函数，确定使所述目标函数最小时的旋转矩阵和平移矩阵，作为第k次迭代的旋转矩阵和平移矩阵；
Figure FDA0003763238150000023
其中，f表示目标函数，N表示优化后的精配准点对的数量，gj表示第j个优化后的精配准点对中的场景点云，
Figure FDA0003763238150000024
表示第j个优化后的精配准点对中的粗配准点云经第k次变换后的点云；Rk和Tk分别表示第k次迭代的旋转矩阵和平移矩阵；
基于第k次迭代的旋转矩阵和平移矩阵，利用如下公式对第k次变换后的点云进行变换，获得第k+1次变换后的点云；
Figure FDA0003763238150000031
判断是否满足迭代结束条件，获得判断结果；
若所述判断结果表示否，则令迭代次数的数值增加1，返回步骤“基于优化后的精配准点对，优化求解如下目标函数，确定使所述目标函数最小时的旋转矩阵和平移矩阵，作为第k次迭代的旋转矩阵和平移矩阵”；
若所述判断结果表示是，则基于每次迭代的旋转矩阵和平移矩阵，确定由粗配准点云集合中的粗配准点云变换到第k+1次变换后的点云的总的旋转矩阵和平移矩阵，作为精配准参数。
6.根据权利要求5所述的零部件位姿识别方法，其特征在于，所述迭代结束条件为：满足公式dk<E、dk+1-dk<e和k>＝kmax中的至少一个；
其中，
Figure FDA0003763238150000032
dk和dk+1分别表示第k次迭代和第k+1次迭代后的均方差；E表示均方差阈值，e表示均方差变化阈值，kmax表示迭代次数阈值，gi表示第i个优化后的精配准点对中的场景点云。
7.一种零部件位姿识别系统，其特征在于，所述系统包括：
三维模型采样模块，用于对待配准的零部件的三维模型进行点云采样，获得源点云集合；
场景点云获取模块，用于采用3D点云相机拍摄待识别场景的点云信息，构建场景点云集合；
聚类和分割模块，用于对场景点云集合进行聚类和分割，得到多个候选点云集合；
目标点云集合选取模块，用于选取与源点云集合配准度最高的候选点云集合作为目标点云集合；
粗配准模块，用于采用SAC-IA算法对源点云集合和目标点云集合进行点云粗配准，获得粗配准点云集合，所述粗配准点云集合中包含多个粗配准点云，所述粗配准点云为源点云集合中的源点云基于粗配准变换参数转换后的点云；
精配准模块，用于采用KD-tree搜索算法和ICP算法对粗配准点云集合和目标点云集合进行点云精配准，获得精配准变换参数；
位姿识别模块，用于基于所述精配准变换参数对所述三维模型进行变换，并将变换后的三维模型与所述目标点云集合进行拟合渲染，得到零部件在所述待识别场景下的位姿识别结果。
8.根据权利要求7所述的零部件位姿识别系统，其特征在于，所述粗配准模块，具体包括：
采样点选取子模块，用于在所述源点云集合中选取预设个数的源点云，作为采样点；
粗配准点对确定子模块，用于采用近邻搜索算法分别确定所述目标点云集合中与每个所述采样点FPFH特征相差最小的场景点云，分别与每个所述采样点组成粗配准点对；
粗配准点对优化子模块，用于采用RANSAC算法对所述粗配准点进行优化，获得优化后的粗配准点对；
粗配准变换参数确定子模块，用于基于优化后的粗配准点对，确定使距离误差和函数的值最小的变换参数，作为粗配准变换参数；
变换子模块，用于基于所述粗配准变换参数对源点云集合进行变换，得到粗配准点云集合。
9.根据权利要求8所述的零部件位姿识别系统，其特征在于，所述距离误差和函数为：
Figure FDA0003763238150000041
Figure FDA0003763238150000042
其中，Huber表示距离误差和函数，n表示采样点的个数，H(li)表示第i个优化后的粗配准点对的距离误差；li表示第i个粗配准点对中的采样点基于当前的变换参数变换后的点云与第i个粗配准点对中的场景点云的距离；ml表示预设定值。
10.根据权利要求7所述的零部件位姿识别系统，其特征在于，所述精配准模块，具体包括：
精配准点云对确定子模块，用于采用KD-tree搜索算法分别确定粗配准点云集合中与所述目标点云集合中每个场景点云欧氏距离最小的点云，组成精配准点云对；
精配准点云对优化子模块，用于采用RANSAC算法对所述精配准点云对进行优化，获得优化后的精配准点云对；
精配准子模块，用于基于优化后的精配准点对，采用ICP算法进行点云精配准，获得精配准变换参数。
CN202210877843.4A 2022-07-25 2022-07-25 一种零部件位姿识别方法及系统 Pending CN115147833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210877843.4A CN115147833A (zh) 2022-07-25 2022-07-25 一种零部件位姿识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210877843.4A CN115147833A (zh) 2022-07-25 2022-07-25 一种零部件位姿识别方法及系统

Publications (1)

Publication Number Publication Date
CN115147833A true CN115147833A (zh) 2022-10-04

Family

ID=83413926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210877843.4A Pending CN115147833A (zh) 2022-07-25 2022-07-25 一种零部件位姿识别方法及系统

Country Status (1)

Country Link
CN (1) CN115147833A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578524A (zh) * 2022-12-09 2023-01-06 华东交通大学 红外三维重构方法、系统、存储介质及计算机设备
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116342666A (zh) * 2023-02-10 2023-06-27 西安电子科技大学 基于多形式优化的三维点云配准方法及电子设备
CN116468762A (zh) * 2023-04-17 2023-07-21 南京邮电大学 一种变电站点云配准方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254857A1 (en) * 2014-03-10 2015-09-10 Sony Corporation Image processing system with registration mechanism and method of operation thereof
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN110889243A (zh) * 2019-12-20 2020-03-17 南京航空航天大学 一种基于深度相机的飞机油箱三维重建方法与检测方法
CN110930456A (zh) * 2019-12-11 2020-03-27 北京工业大学 基于pcl点云库的钣金零件的三维立体识别及定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254857A1 (en) * 2014-03-10 2015-09-10 Sony Corporation Image processing system with registration mechanism and method of operation thereof
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN110930456A (zh) * 2019-12-11 2020-03-27 北京工业大学 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN110889243A (zh) * 2019-12-20 2020-03-17 南京航空航天大学 一种基于深度相机的飞机油箱三维重建方法与检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578524A (zh) * 2022-12-09 2023-01-06 华东交通大学 红外三维重构方法、系统、存储介质及计算机设备
CN115578524B (zh) * 2022-12-09 2023-03-31 华东交通大学 红外三维重构方法、系统、存储介质及计算机设备
CN116342666A (zh) * 2023-02-10 2023-06-27 西安电子科技大学 基于多形式优化的三维点云配准方法及电子设备
CN116342666B (zh) * 2023-02-10 2024-03-19 西安电子科技大学 基于多形式优化的三维点云配准方法及电子设备
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116310452B (zh) * 2023-02-16 2024-03-19 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116468762A (zh) * 2023-04-17 2023-07-21 南京邮电大学 一种变电站点云配准方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN115147833A (zh) 一种零部件位姿识别方法及系统
CN114170279B (zh) 一种基于激光扫描的点云配准方法
CN107886528B (zh) 基于点云的配电线路作业场景三维重建方法
CN105427317B (zh) 一种适用于多视角自动化配准多站地面激光点云数据的方法
CN112348864B (zh) 一种融合线激光轮廓特征的三维点云自动配准方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN109272523A (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN113538486B (zh) 一种提高汽车钣金工件的识别与定位精度的方法
CN108376408A (zh) 一种基于曲率特征的三维点云数据快速加权配准方法
CN114972459B (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN108133191A (zh) 一种适用于室内环境的实时物体识别方法
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN110097598B (zh) 一种基于pvfh特征的三维物体位姿估计方法
CN111179321A (zh) 一种基于模板匹配的点云配准方法
CN116309847A (zh) 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法
CN114694134A (zh) 一种基于深度相机点云数据的托盘识别和定位方法
CN114463396B (zh) 一种利用平面形状和拓扑图投票的点云配准方法
CN114492619A (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN111553410B (zh) 基于关键点局部曲面特征直方图和空间关系的点云识别方法
CN113313200B (zh) 一种基于法向约束的点云精匹配方法
CN107784656B (zh) 一种基于几何要素的零件点云分割方法
CN117745780A (zh) 一种基于孤立簇去除的室外大场景3d点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination