CN116188540A - 一种基于点云信息的目标识别和位姿估计方法 - Google Patents

一种基于点云信息的目标识别和位姿估计方法 Download PDF

Info

Publication number
CN116188540A
CN116188540A CN202310115717.XA CN202310115717A CN116188540A CN 116188540 A CN116188540 A CN 116188540A CN 202310115717 A CN202310115717 A CN 202310115717A CN 116188540 A CN116188540 A CN 116188540A
Authority
CN
China
Prior art keywords
point cloud
point
normal vector
grabbed
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310115717.XA
Other languages
English (en)
Inventor
李勇
王国熹
王平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310115717.XA priority Critical patent/CN116188540A/zh
Publication of CN116188540A publication Critical patent/CN116188540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于点云信息的目标识别和位姿估计方法，属于计算机视觉领域，包括以下步骤：S1：利用深度相机采集待抓取物体多个视角下的点云信息，存放在模板数据库中；S2：对获取的点云信息进行预处理，提取待抓取物的点云数据；S3：计算待抓取物点云的法向量及法向量夹角，获取特征点并进行特征点匹配，根据匹配结果确定与待抓取物进行点云配准的模型；S4：采用RANSAC进行点云的粗配准，再基于方向向量改进的ICP进行点云的精配准，通过法向量阈值剔除ICP配准过程中错误匹配的点对，确定物体的位姿信息。

Description

一种基于点云信息的目标识别和位姿估计方法
技术领域
本发明属于计算机视觉领域，涉及一种基于点云信息的目标识别和位姿估计方法。
背景技术
随着机器人技术的持续发展，机械臂广泛应用于制造业，常用于搬运、分拣、上下料等多个方面，代替人工从事场景危险的工作或者顶替密集型、重复性高的动作，多场景、多任务的需求使得机械臂抓取技术面临着众多的挑战。目前，使用最为广泛的还是带有示教功能的机械臂，它以其操作简单、入门快、定位精准等特点广泛应用于各行各业，该机械臂基于人工视觉先验知识为基础，通过固定位置，采用编程以及拖动示教的方式提前设定抓取点位置实现机械臂的自动抓取，只能重新编辑程序或者重新示教的方式实现功能，一旦抓取点的位置变化或者存在障碍物，机械臂无法完成任务，因此这种方法存在泛化能力差，灵活性差的缺点。
发明内容
有鉴于此，本发明的目的在于提供一种基于点云信息的目标识别与位姿估计方案，应用于机械臂自主抓取的引导控制，来解决传统机械臂对固定抓取点位依赖性强，抗干扰能力差的问题，结合机械视觉，充分利用点云承载的信息，引导控制机械臂，提高自动化水平，降低成本。
为达到上述目的，本发明提供如下技术方案：
一种基于点云信息的目标识别和位姿估计方法，包括以下步骤：
S1：利用深度相机采集待抓取物体多个视角下的点云信息，存放在模板数据库中；
S2：对获取的点云信息进行预处理，提取待抓取物的点云数据；
S3：计算待抓取物点云的法向量及法向量夹角，获取特征点并进行特征点匹配，根据匹配结果确定与待抓取物进行点云配准的模型；
S4：采用RANSAC进行点云的粗配准，再基于方向向量改进的ICP进行点云的精配准，通过法向量阈值剔除ICP配准过程中错误匹配的点对，确定物体的位姿信息。
进一步，步骤S2中，具体包括以下步骤：
S21：将深度相机获取的点云信息进行直通滤波去除冗余背景信息；
S22：将直通滤波后的点云进行体素滤波，保留关键特征的同时对点云进行稀疏化处理；
S23：将经过体素滤波后的点云数据集采用RANSAC算法进行点云平面分割，从而将待抓取物与所在平面进行分离；
S24：将点云平面分割后的点云数据集进行统计分析滤波，去除分割载物台留下的离群点。
进一步，步骤S3具体包括以下步骤：
S31：基于局部表面拟合的方法进行法向量估计，对点云中的每个扫描点p，搜索到与其最近邻的K个相邻点，计算其最小二乘意义上的局部平面P，表示为：
Figure BDA0004078493720000021
式中，
Figure BDA0004078493720000022
为平面P的法向量，d为P到坐标原点的距离，该公式表示由k个最近点pi拟合出的平面的法向量即为当前扫描点的法向量；
S32：根据计算得到的点云法向量，求取其法向量夹角；
S33：设定阈值，满足阈值即为特征点，计算其FPFH特征描述子；
S34：通过FPFH特征描述子获取特征点对应匹配关系，选定模板库中与待抓取物匹配点对数量最多的模型进行点云配准。
进一步，步骤S4中所述采用RANSAC进行点云的粗配准，具体包括：
S411：根据步骤S3获取的匹配点对，选择待抓取物点云P中n≥3个随机采样点及其在Q中的对应点；
S412：使用n个采样对应来估计假设变换
Figure BDA0004078493720000023
S413：将假设变换
Figure BDA0004078493720000024
运用于源点云P；
S414：通过欧式距离阈值，在变换后的源点云P和目标点云Q之间的空间最近邻搜索来寻找内点，如果内点的数量太少，回到步骤S411；
S415：使用内点对应关系重新估计假设转换
Figure BDA0004078493720000025
S416：计算内点对应点对之间的距离
Figure BDA0004078493720000026
如果距离达到目前为止的最小值，则/>
Figure BDA0004078493720000027
作为最终的转换。
进一步，步骤S4中所述基于方向向量改进的ICP进行点云的精配准，具体包括以下步骤：
S421：对点集A中每个点Pai施加变换T0，得到Pai′；
S422：从点集B中寻找距离点Pai′最近的点Pbi，形成对应的点对；
S423：判断是否满足法向量夹角阈值，剔除错误匹配点对；
S424：求解最优变换
Figure BDA0004078493720000031
S425：根据前后两次的迭代误差以及迭代次数等条件判断是否收敛，则输出结果：T＝ΔT*T0，否则T0＝ΔT*T0，重复步骤S421。
本发明的有益效果在于：采取RANSAC与基于法向量改进的ICP算法，提高位姿估计精度，该发明位姿特征明显，处理快速，硬件成本低，引导精度高。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明应用于机械臂的工作流程；
图2为本发明应用于机械臂的系统框架图；
图3为本发明识别流程图；
图4为本发明位姿估计流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图4，本发明所述的提供一种基于点云信息的目标识别和位姿估计方法用于机械臂抓取的引导控制，通过深度相机获取的场景点云信息，通过预处理获取待抓取物的点云信息，之后求取特征点进行特征点匹配，通过RNASAC与基于方向向量改进的ICP确定待抓取物的位姿以及抓取点，引导机械臂进行抓取，提高机械臂自主抓取的精度与准确性。
本发明主要用于机械臂自主抓取控制，主要硬件组成包括深度相机，主控制器以及工业6自由度机械臂。
作为本发明一优选实施例，主要包括以下步骤：
步骤1，采用眼在手上即深度相机固定于机械臂末端执行器，实现手眼标定。
步骤11，将深度相机固定于机械臂末端执行器，标定板放置于固定位置。
步骤12，移动机械臂末端，从不同角度拍摄n张标定板图片，此时深度相机与机械臂末端之间的坐标转换关系不变，标定板与机械臂底座之间的坐标转换关系不变，因此有：
Figure BDA0004078493720000041
/>
Figure BDA0004078493720000042
令
Figure BDA0004078493720000043
上式可转化为：
Bi(Xi)-1Ai＝Bj(Xj)-1Aj
由于Xi与Yi分别为两个位姿下的手眼关系，其具有不变的性质，上式可转换为：
Ai(Aj)-1X＝X(Bi)-1Bj
令A＝Ai(Aj)-1，B＝(Bi)-1Bj，则手眼关系可表示为：
AX＝XB
根据上述公式从而求解出变换矩阵X，得到待抓取物在相机坐标系到机械臂基坐标系下的变换关系。
步骤2，通过深度相机采集待抓取物多个角度的点云信息，创建待抓取物多视角的点云模板数据库。
步骤3，进行场景点云信息的预处理。
步骤31，将深度相机采集的点云数据通过直通滤波，去除冗余的背景信息。
步骤32，通过体素滤波，在保留关键特征的同时对点云数据进行稀疏化处理，降低点云数量。
步骤33，采用点云平面分割，将待抓取物与载物台平面相分离，获得待抓取物体的点云信息。
步骤35，通过统计分析滤波，去除分割载物体台后留下的离群点。
步骤4，进行特征点匹配，获取对应的特征点对数量。
步骤41，求取点云法向量以及法向量夹角，基于局部表面拟合的方法进行法向量估计，点云的采样表面处处光滑的情况下，任何点的局部领域都可以用平面进行拟合，对点云中的每个扫描点p，搜索到与其最近邻的K个相邻点，然后计算其最小二乘意义上的局部平面P，此平面可表示为：
Figure BDA0004078493720000051
式中，
Figure BDA0004078493720000052
为平面P的法向量，d为P到坐标原点的距离，该公式表示由k个最近点pi拟合出的平面的法向量即为当前扫描点的法向量；
步骤42，根据计算得到的点云法向量，求取其法向量夹角。
步骤43，设定阈值，满足阈值即为特征点，计算其FPFH特征描述子。
步骤44，根据FPFH特征描述子获取特征点对应匹配关系，得到匹配特征点对个数。选定模板库中与待抓取物匹配点对数量最多的模型进行点云配准。
步骤5，进行点云配准，求取待抓取物到模板的坐标变换矩阵，获得待抓取物的位姿信息以及抓取点坐标。
步骤51，在模板库中标记出物体的抓取点位p1。
步骤52，根据待抓取物点云信息求取点云法向量以及法向量夹角，满足阈值则为特征点，计算特征点FPFH特征描述子。
步骤53，采用RANSAC完成粗配准。步骤53具体包括：
(1)根据步骤4获取的特征点匹配关系，找到源点云P中n≥3个随机采样点及其在Q中的对应点。
(2)使用n个采样对应来估计假设变换
Figure BDA0004078493720000053
(3)将假设运用于源点云P。
(4)通过欧式距离阈值，在变换后的源点云P和目标点云Q之间的空间最近邻搜索来寻找内点，如果内点的数量太少，回到步骤(1)。
(5)使用内点对应关系重新估计假设转换
Figure BDA0004078493720000061
(6)计算内点对应点对之间的距离
Figure BDA0004078493720000062
如果距离达到目前为止的最小值，则/>
Figure BDA0004078493720000063
作为最终的转换。
步骤54，采用方向向量约束的ICP完成精配准，步骤54具体包括：
(1)对点集A中每个点Pai施加变换T0，得到Pai′；
(2)从点集B中寻找距离点Pai′最近的点Pbi，形成对应的点对；
(3)判断是否满足法向量夹角阈值，剔除错误匹配点对；
(4)求解最优变换
Figure BDA0004078493720000064
(5)根据前后两次的迭代误差以及迭代次数等条件判断是否收敛，则输出结果：
T＝ΔT*T0，否则T0＝ΔT*T0，重复步骤(1)。
步骤55，根据得到的坐标转换关系求取待抓取物的对应抓取点位P2。
步骤6，根据生成的抓取点坐标以及待抓取物位姿引导机械臂进行抓取。
本实施案例可以应用在机械臂分拣、码垛等场景。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于点云信息的目标识别和位姿估计方法，其特征在于：包括以下步骤：
S1：利用深度相机采集待抓取物体多个视角下的点云信息，存放在模板数据库中；
S2：对获取的点云信息进行预处理，提取待抓取物的点云数据；
S3：计算待抓取物点云的法向量及法向量夹角，获取特征点并进行特征点匹配，根据匹配结果确定与待抓取物进行点云配准的模型；
S4：采用RANSAC进行点云的粗配准，再基于方向向量改进的ICP进行点云的精配准，通过法向量阈值剔除ICP配准过程中错误匹配的点对，确定物体的位姿信息。
2.根据权利要求1所述的基于点云信息的目标识别和位姿估计方法，其特征在于：步骤S2中，具体包括以下步骤：
S21：将深度相机获取的点云信息进行直通滤波去除冗余背景信息；
S22：将直通滤波后的点云进行体素滤波，保留关键特征的同时对点云进行稀疏化处理；
S23：将经过体素滤波后的点云数据集采用RANSAC算法进行点云平面分割，从而将待抓取物与所在平面进行分离；
S24：将点云平面分割后的点云数据集进行统计分析滤波，去除分割载物台留下的离群点。
3.根据权利要求1所述的基于点云信息的目标识别和位姿估计方法，其特征在于：步骤S3具体包括以下步骤：
S31：基于局部表面拟合的方法进行法向量估计，对点云中的每个扫描点p，搜索到与其最近邻的K个相邻点，计算其最小二乘意义上的局部平面P，表示为：
Figure FDA0004078493710000011
式中，
Figure FDA0004078493710000012
为平面P的法向量，d为P到坐标原点的距离，该公式表示由k个最近点pi拟合出的平面的法向量即为当前扫描点的法向量；
S32：根据计算得到的点云法向量，求取其法向量夹角；
S33：设定阈值，满足阈值即为特征点，计算其FPFH特征描述子；
S34：通过FPFH特征描述子获取特征点对应匹配关系，选定模板库中与待抓取物匹配点对数量最多的模型进行点云配准。
4.根据权利要求1所述的基于点云信息的目标识别和位姿估计方法，其特征在于：步骤S4中所述采用RANSAC进行点云的粗配准，具体包括：
S411：根据步骤S3获取的匹配点对，选择待抓取物点云P中n≥3个随机采样点及其在Q中的对应点；
S412：使用n个采样对应来估计假设变换
Figure FDA0004078493710000021
S413：将假设变换
Figure FDA0004078493710000022
运用于源点云P；
S414：通过欧式距离阈值，在变换后的源点云P和目标点云Q之间的空间最近邻搜索来寻找内点，如果内点的数量太少，回到步骤S411；
S415：使用内点对应关系重新估计假设转换
Figure FDA0004078493710000023
/>
S416：计算内点对应点对之间的距离
Figure FDA0004078493710000024
如果距离达到目前为止的最小值，则/>
Figure FDA0004078493710000025
作为最终的转换。
5.根据权利要求1所述的基于点云信息的目标识别和位姿估计方法，其特征在于：步骤S4中所述基于方向向量改进的ICP进行点云的精配准，具体包括以下步骤：
S421：对点集A中每个点Pai施加变换T0，得到Pai′；
S422：从点集B中寻找距离点Pai′最近的点Pbi，形成对应的点对；
S423：判断是否满足法向量夹角阈值，剔除错误匹配点对；
S424：求解最优变换
Figure FDA0004078493710000026
S425：根据前后两次的迭代误差以及迭代次数等条件判断是否收敛，则输出结果：T＝ΔT*T0，否则T0＝ΔT*T0，重复步骤S421。
CN202310115717.XA 2023-02-15 2023-02-15 一种基于点云信息的目标识别和位姿估计方法 Pending CN116188540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310115717.XA CN116188540A (zh) 2023-02-15 2023-02-15 一种基于点云信息的目标识别和位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310115717.XA CN116188540A (zh) 2023-02-15 2023-02-15 一种基于点云信息的目标识别和位姿估计方法

Publications (1)

Publication Number Publication Date
CN116188540A true CN116188540A (zh) 2023-05-30

Family

ID=86445746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310115717.XA Pending CN116188540A (zh) 2023-02-15 2023-02-15 一种基于点云信息的目标识别和位姿估计方法

Country Status (1)

Country Link
CN (1) CN116188540A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704035A (zh) * 2023-06-28 2023-09-05 北京迁移科技有限公司 工件位姿识别方法、电子设备、存储介质及抓取系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704035A (zh) * 2023-06-28 2023-09-05 北京迁移科技有限公司 工件位姿识别方法、电子设备、存储介质及抓取系统
CN116704035B (zh) * 2023-06-28 2023-11-07 北京迁移科技有限公司 工件位姿识别方法、电子设备、存储介质及抓取系统

Similar Documents

Publication Publication Date Title
CN110648361B (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
Li et al. RGB-D SLAM in dynamic environments using static point weighting
CN113409384B (zh) 一种目标物体的位姿估计方法和系统、机器人
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN107813310A (zh) 一种基于双目视觉多手势机器人控制方法
CN112233181A (zh) 6d位姿识别的方法、装置及计算机存储介质
CN111784655B (zh) 一种水下机器人回收定位方法
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
Yan et al. Fast object pose estimation using adaptive threshold for bin-picking
CN113496525A (zh) 通过2d相机的3d姿态估计
CN112560704B (zh) 一种多特征融合的视觉识别方法及系统
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
Chen et al. Random bin picking with multi-view image acquisition and cad-based pose estimation
CN116188540A (zh) 一种基于点云信息的目标识别和位姿估计方法
Boughorbel et al. Laser ranging and video imaging for bin picking
Dune et al. One click focus with eye-in-hand/eye-to-hand cooperation
CN114913346A (zh) 一种基于产品颜色及形状识别的智能分拣系统及方法
Li et al. Mobile robot action based on QR code identification
Chen et al. Stereo-based 3D localization for grasping known objects with a robotic arm system
CN113496526A (zh) 通过多个2d相机的3d姿态检测
Fontana et al. A comparative assessment of parcel box detection algorithms for industrial applications
CN112720449A (zh) 一种机器人定位装置及其控制系统
Adrian et al. Dfbvs: Deep feature-based visual servo
Zhu et al. Autonomous removal of perspective distortion for robotic elevator button recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination