CN110443199A - 一种基于二维几何轮廓的点云姿态识别方法 - Google Patents

一种基于二维几何轮廓的点云姿态识别方法 Download PDF

Info

Publication number
CN110443199A
CN110443199A CN201910721163.1A CN201910721163A CN110443199A CN 110443199 A CN110443199 A CN 110443199A CN 201910721163 A CN201910721163 A CN 201910721163A CN 110443199 A CN110443199 A CN 110443199A
Authority
CN
China
Prior art keywords
point cloud
dimensional
profile
plane
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910721163.1A
Other languages
English (en)
Other versions
CN110443199B (zh
Inventor
柳宁
王高
李德平
徐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
University of Jinan
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201910721163.1A priority Critical patent/CN110443199B/zh
Publication of CN110443199A publication Critical patent/CN110443199A/zh
Application granted granted Critical
Publication of CN110443199B publication Critical patent/CN110443199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二维几何轮廓的点云姿态识别方法，该方法的步骤包括：获取场景的三维点云、二维图片、以及由二维图片转换到三维点云所对应的单应性映射矩阵；从二维图片中提取目标物体二维轮廓；对目标物体二维轮廓进行几何特征检测，提取得到具有几何形状特征的轮廓；通过单应性矩阵将具有几何形状特征的轮廓转换为三维点云；根据几何轮廓转换后的三维点云信息，提取场景的三维点云对应的感兴趣区域点云；提取感兴趣区域点云中的平面；估计平面的法线，将平面的中心坐标设置为姿态的位置信息，将平面的法线设置为姿态的方向信息。本发明结合了由几何模型构成的物体抓取位置的特性，消除了姿态信息的冗余，提高了识别效率。

Description

一种基于二维几何轮廓的点云姿态识别方法
技术领域
本发明涉及3D视觉识别技术领域，具体涉及一种基于二维几何轮廓的点云姿态识别方法。
背景技术
在3D视觉识别领域中，点云姿态识别是重要的研究方向，现有的姿态识别方法可以分为全局特征匹配、局部特征匹配和位姿投票，其中，全局特征是描述一个点云整体特征的描述符，用全局特征进行姿态识别一般都要预先对场景点云进行分割，因此该方法的识别效果也被分割方法的优劣所局限；局部特征是描述点云一部分点的特征的描述符，一个点云一般有许多个局部特征，用局部特征进行姿态识别一般都要对点云进行关键点的提取，因此该方法的识别效果也与关键点的提取效果有关；位姿投票是一种建立特征哈希表然后进行投票的方法，该方法不用预先进行点云分割和关键点提取，但是计算复杂度较高，耗时长；
在Bin-picking系统中，抓取对象往往是由几何模型构成的物体，对于这些物体，机器臂抓取的位置往往是物体表面的一个平面，现有的姿态识别方法并没有运用到由几何模型构成的物体抓取位置的特性，这就造成了识别结果信息的冗余，从而降低了识别效率。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于二维几何轮廓的点云姿态识别方法，结合了由几何模型构成的物体抓取位置的特性，消除了姿态信息的冗余，提高了识别效率。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于二维几何轮廓的点云姿态识别方法，包括下述步骤：
S1：获取场景的三维点云Cs、二维图片Is以及由二维图片Is转换到场景三维点云Cs所对应的单应性映射矩阵T；
S2：从二维图片Is中提取目标物体二维轮廓；
S3：对目标物体二维轮廓进行几何特征检测，提取得到具有几何形状特征的轮廓Ig；
S4：通过单应性映射矩阵T将具有几何形状特征的轮廓Ig转换为三维点云Cg；
S5：根据几何轮廓转换后的三维点云Cg信息，从场景的三维点云Cs提取感兴趣区域点云Cin；
S6：提取点云Cin中的平面P；
S7：通过K邻域拟合平面估计平面P的法线N；
S8：将点云Cin的中心坐标设置为姿态的位置信息，将平面P的法线N设置为姿态的方向信息。
作为优选的技术方案，步骤S1所述单应性映射矩阵T采用张正友标定法标定计算得到。
作为优选的技术方案，步骤S3中所述提取得到具有几何形状特征的轮廓，所述几何形状包括线形、圆形、椭圆形、三角形或平行四边形中的任意一种或多种。
作为优选的技术方案，所述线形的检测采用霍夫变换方法进行检测。
作为优选的技术方案，所述圆形和椭圆形的检测采用拟合圆形方法进行检测。
作为优选的技术方案，步骤S5中所述提取场景的三维点云Cs对应的感兴趣区域点云Cin，步骤包括：
S51：计算几何轮廓转换后的三维点云Cg中所有点的最大X轴坐标和最小X轴坐标，分别标记为Xmax和Xmin，并计算最大Y轴坐标和最小Y轴坐标，标记为Ymax和Ymin；
S52：设场景的三维点云Cs中任意点的X轴坐标为xi，Y轴坐标为yi，判断场景的三维点云Cs每个点是否同时满足下列条件：
将所有满足条件的点提取出来，构成点云Cin。
作为优选的技术方案，步骤S6所述的提取点云Cin中的平面P，所述提取的方法采用最小二乘法、RANSAC或霍夫变换中的任意一种方法。
作为优选的技术方案，步骤S7所述通过K邻域拟合平面估计平面P的法线N，具体步骤为：采用最小二乘法拟合平面P，获得平面P的参数特征，将垂直于平面P指向视点的垂线方向设置为法线N。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用二维几何轮廓和三维点云相结合的技术方案，解决了三维物体快速识别的技术问题，消除了姿态信息的冗余，提高三维物体识别效率。
附图说明
图1为本实施例基于二维几何轮廓的点云姿态识别方法的流程示意图；
图2为本实施例基于二维几何轮廓的点云姿态识别方法的二维轮廓提取的前后对比示意图；
图3为本实施例基于二维几何轮廓的点云姿态识别方法的二维轮廓的几何特征检测结果；
图4为本实施例基于二维几何轮廓的点云姿态识别方法的姿态识别结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本发明提供一种基于二维几何轮廓的点云姿态识别方法，包括下述步骤：
S1：采用3D相机获取场景的三维点云Cs、二维图片Is以及由二维图片Is转换到三维点云Cs所对应的单应性映射矩阵T；
在本实施例中，单应性映射矩阵T包括3D相机标定得到的内参数矩阵(只与相机自身参数有关)和外参数矩阵，通过张正友标定法标定后，可以求出单应性映射矩阵T；
S2：如图2所示，从二维图片Is中提取目标物体二维轮廓；
在本实施例中，二维轮廓的提取方式包括但不限于Canny，差分、霍夫变换等方法，
S3：对目标物体二维轮廓进行几何特征检测，提取到具有几何形状特征的轮廓；
在本实施例中，对二维轮廓进行几何特征检测后，提取的几何形状包括线形、圆形、椭圆形、三角形、平行四边形等，几何形状特征包括但不限于上述几种，在本实施例中，线形的检测可以利用霍夫变换实现，圆和椭圆形的检测可以通过拟合圆形实现；
如图3所示，在杂乱的圆形零件堆叠场景中，圆形的零件表面因为视角问题变为了椭圆，所以只要在场景图片中检测到椭圆轮廓，就可以确定零件的位置；
S4：利用步骤S1的单应性映射矩阵T，将步骤S3中从二维图片Is提取的几何形状特征轮廓转为三维点云Cg，即将二维图片中几何形状的像素通过一个单应性映射矩阵T转为三维空间坐标(即三维点云)；
S5：根据几何轮廓转换后的三维点云Cg信息，从场景的三维点云Cs提取感兴趣区域点云Cin；
提取点云区域的方法包括以下步骤：
S51：计算几何轮廓转换后的三维点云Cg中所有点的最大X轴坐标和最小X轴坐标，分别标记为Xmax和Xmin，并计算最大Y轴坐标和最小Y轴坐标，标记为Ymax和Ymin；
S52：设场景的三维点云Cs任意点的X轴坐标为xi，Y轴坐标为yi，判断场景的三维点云Cs每个点是否同时满足下列条件：
将所有满足该条件的点提取出来，构成一个点云Cin；
S6：提取点云Cin中的平面P，具体的，提取方法有很多种，常用的方法有最小二乘法，RANSAC，霍普变换等，通过最小拟合平面或RANSAC等方法就能实现；
S7：通过K邻域拟合平面估计平面P的法线N，具体实施方法包括：采用最小二乘法拟合平面，获得平面的参数特征，将垂直于平面指向视点的垂线方向作为法线；
S8：将点云Cin的中心坐标作为6自由度姿态中的位置信息，将P的法线N作为6自由度姿态中的方向信息，如图4所示，法线的方向和平面的中心即为抓取的姿态，在本实施例中，点云Cin中心坐标通过平均对应维度的值得到。
本实施例基于由几何模型构成的物体抓取位置的特性，采用二维几何轮廓和三维点云相结合，实现了对三维物体的快速识别，消除了姿态信息的冗余，提高了识别效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于二维几何轮廓的点云姿态识别方法，其特征在于，包括下述步骤：
S1：获取场景的三维点云Cs、二维图片Is以及由二维图片Is转换到场景三维点云Cs所对应的单应性映射矩阵T；
S2：从二维图片Is中提取目标物体二维轮廓；
S3：对目标物体二维轮廓进行几何特征检测，提取得到具有几何形状特征的轮廓Ig；
S4：通过单应性映射矩阵T将具有几何形状特征的轮廓Ig转换为三维点云Cg；
S5：根据几何轮廓转换后的三维点云Cg信息，从场景三维点云Cs提取感兴趣区域点云Cin；
S6：提取点云Cin中的平面P；
S7：通过K邻域拟合平面估计平面P的法线N；
S8：将点云Cin的中心坐标设置为姿态的位置信息，将平面P的法线N设置为姿态的方向信息。
2.根据权利要求1所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，步骤S1所述单应性映射矩阵T采用张正友标定法标定计算得到。
3.根据权利要求1所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，步骤S3中所述提取得到具有几何形状特征的轮廓，所述几何形状包括线形、圆形、椭圆形、三角形或平行四边形中的任意一种或多种。
4.根据权利要求3所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，所述线形的检测采用霍夫变换方法进行检测。
5.根据权利要求3所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，所述圆形和椭圆形的检测采用拟合圆形方法进行检测。
6.根据权利要求1所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，步骤S5中所述从场景三维点云Cs提取感兴趣区域点云Cin，步骤包括：
S51：计算几何轮廓转换后的三维点云Cg中所有点的最大X轴坐标和最小X轴坐标，分别标记为Xmax和Xmin，并计算最大Y轴坐标和最小Y轴坐标，标记为Ymax和Ymin；
S52：设场景的三维点云Cs中任意点的X轴坐标为xi，Y轴坐标为yi，判断场景的三维点云Cs每个点是否同时满足下列条件：
将所有满足条件的点提取出来，构成点云Cin。
7.根据权利要求1所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，步骤S6所述的提取点云Cin中的平面P，所述提取的方法采用最小二乘法、RANSAC或霍夫变换中的任意一种方法。
8.根据权利要求1所述的基于二维几何轮廓的点云姿态识别方法，其特征在于，步骤S7所述通过K邻域拟合平面估计平面P的法线N，具体步骤为：采用最小二乘法拟合平面P，获得平面P的参数特征，将垂直于平面P指向视点的垂线方向设置为法线N。
CN201910721163.1A 2019-08-06 2019-08-06 一种基于二维几何轮廓的点云姿态识别方法 Active CN110443199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910721163.1A CN110443199B (zh) 2019-08-06 2019-08-06 一种基于二维几何轮廓的点云姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910721163.1A CN110443199B (zh) 2019-08-06 2019-08-06 一种基于二维几何轮廓的点云姿态识别方法

Publications (2)

Publication Number Publication Date
CN110443199A true CN110443199A (zh) 2019-11-12
CN110443199B CN110443199B (zh) 2021-10-15

Family

ID=68433398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910721163.1A Active CN110443199B (zh) 2019-08-06 2019-08-06 一种基于二维几何轮廓的点云姿态识别方法

Country Status (1)

Country Link
CN (1) CN110443199B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置
CN110991383A (zh) * 2019-12-13 2020-04-10 江苏迪伦智能科技有限公司 一种多相机联合的周界区域人员定位方法
CN111144315A (zh) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 目标检测方法、装置、电子设备和可读存储介质
CN111716358A (zh) * 2020-06-23 2020-09-29 北京如影智能科技有限公司 一种控制机械臂的方法及装置
CN113344769A (zh) * 2021-04-20 2021-09-03 梅卡曼德（北京）机器人科技有限公司 基于机器视觉的物品3d图像信息获取方法、装置、介质
CN115423933A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115423934A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN116494253A (zh) * 2023-06-27 2023-07-28 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682477A (zh) * 2012-05-16 2012-09-19 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
US20170104969A1 (en) * 2015-10-08 2017-04-13 Fujitsu Limited Apparatus, method and non-transitory computer-readable storage medium
WO2017120897A1 (zh) * 2016-01-15 2017-07-20 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
CN107589720A (zh) * 2017-09-11 2018-01-16 大连理工大学 一种等效平面交叉耦合控制方法
CN108932746A (zh) * 2018-05-21 2018-12-04 电子科技大学 一种人体三维动画关节皮肤变形方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682477A (zh) * 2012-05-16 2012-09-19 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
US20170104969A1 (en) * 2015-10-08 2017-04-13 Fujitsu Limited Apparatus, method and non-transitory computer-readable storage medium
WO2017120897A1 (zh) * 2016-01-15 2017-07-20 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
CN107589720A (zh) * 2017-09-11 2018-01-16 大连理工大学 一种等效平面交叉耦合控制方法
CN108932746A (zh) * 2018-05-21 2018-12-04 电子科技大学 一种人体三维动画关节皮肤变形方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARGARITA KHOKHLOVA 等: "3D Point Cloud Descriptor for Posture Recognition", 《IN PROCEEDINGS OF THE 13TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS (VISIGRAPP 2018)》 *
孙晓鹏 等: "3D 点云形状特征的二维主流形描述", 《软件学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930424B (zh) * 2019-12-06 2023-04-18 深圳大学 器官轮廓分析方法及装置
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置
CN110991383A (zh) * 2019-12-13 2020-04-10 江苏迪伦智能科技有限公司 一种多相机联合的周界区域人员定位方法
CN110991383B (zh) * 2019-12-13 2023-10-24 江苏迪伦智能科技有限公司 一种多相机联合的周界区域人员定位方法
CN111144315A (zh) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 目标检测方法、装置、电子设备和可读存储介质
CN111716358A (zh) * 2020-06-23 2020-09-29 北京如影智能科技有限公司 一种控制机械臂的方法及装置
CN113344769A (zh) * 2021-04-20 2021-09-03 梅卡曼德（北京）机器人科技有限公司 基于机器视觉的物品3d图像信息获取方法、装置、介质
CN115423934A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115423933B (zh) * 2022-08-12 2023-09-29 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115423933A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115423934B (zh) * 2022-08-12 2024-03-08 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN116494253A (zh) * 2023-06-27 2023-07-28 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统
CN116494253B (zh) * 2023-06-27 2023-09-19 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取系统

Also Published As

Publication number Publication date
CN110443199B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN110443199A (zh) 一种基于二维几何轮廓的点云姿态识别方法
US9940756B2 (en) Silhouette-based object and texture alignment, systems and methods
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN104573634A (zh) 一种三维人脸识别方法
CN108052912A (zh) 一种基于矩傅里叶描述子的立体面像识别方法
WO2018170695A1 (zh) 一种表观特征的描述属性识别方法及装置
CN109493384A (zh) 相机位姿估计方法、系统、设备及存储介质
Kim et al. A novel line matching method based on intersection context
JP2015032256A (ja) 画像処理装置およびそのデータベース構築装置
Arbeiter et al. Efficient segmentation and surface classification of range images
TW201120802A (en) Human face model construction method
CN105069781B (zh) 一种显著目标的空间三维定位方法
Islam et al. A new feature-based image registration algorithm
Wang et al. Multi-surface hydraulic valve block technique hole plug inspection from monocular image
Hachiuma et al. Recognition and pose estimation of primitive shapes from depth images for spatial augmented reality
Teng et al. Surface-based general 3D object detection and pose estimation
Ullah et al. A Robust Convolutional Neural Network for 6D Object Pose Estimation from RGB Image with Distance Regularization Voting Loss
Fäulhammer et al. Multi-view hypotheses transfer for enhanced object recognition in clutter
CN116721109B (zh) 一种双目视觉图像半全局匹配方法
Yang et al. Pose estimation of daily containers for a life-support robot
Yang et al. A multi-stage 6D object pose estimation method of texture-less objects based on sparse line features
Wang et al. An image registration algorithm based on features point and cluster
CN112580496B (zh) 结合人脸关键点检测的人脸相对姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant