CN110097598B - 一种基于pvfh特征的三维物体位姿估计方法 - Google Patents

一种基于pvfh特征的三维物体位姿估计方法 Download PDF

Info

Publication number
CN110097598B
CN110097598B CN201910289406.9A CN201910289406A CN110097598B CN 110097598 B CN110097598 B CN 110097598B CN 201910289406 A CN201910289406 A CN 201910289406A CN 110097598 B CN110097598 B CN 110097598B
Authority
CN
China
Prior art keywords
point cloud
pvfh
point
features
estimation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910289406.9A
Other languages
English (en)
Other versions
CN110097598A (zh
Inventor
柳宁
王高
李德平
徐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201910289406.9A priority Critical patent/CN110097598B/zh
Publication of CN110097598A publication Critical patent/CN110097598A/zh
Application granted granted Critical
Publication of CN110097598B publication Critical patent/CN110097598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于PVFH特征的三维物体位姿估计方法，本发明涉及三维点云物体位姿估计方法。本发明提出一种改进的全局特征描述符PVFH，利用该描述符实现三维点云物体位姿估计。在离线阶段从CAD模型渲染得到多个视角的点云，并提取部分点云的PVFH特征建立模型库。在在线识别阶段从场景分割出点云物体，然后提取被识别物体的PVFH特征，与模型库进行特征匹配获得粗匹配的位姿，最后用ICP算法进行优化得到精确的姿态。本发明克服了传统全局特征描述符无法识别旋转对称或镜像对称物体的缺点，鲁棒性高。

Description

一种基于PVFH特征的三维物体位姿估计方法
技术领域
本发明属于三维点云物体识别领域，特别涉及一种基于全局特征匹配的三维物体位姿估计方法，该方法可应用于Bin-picking系统。
背景技术
在Bin-picking系统中，要求物体的姿态识别方法具有识别准确率高和识别速度快的特点，以能够满足机器臂的快速实时抓取的工作要求。虽然在三维点云物体识别领域，物体的姿态识别有很多种方法(基于局部特征匹配、基于模板匹配)，但是其中大多数方法的识别准确率和识别速度都无法满足机器臂的快速实时抓取的需求。
全局特征是表征一个点云物体整体特征的描述符，可以用来做姿态估计，而且识别速度优于其他方法。目前现有的全局特征描述符有VFH(Rusu R B,Bradski G,ThibauxR,et al.Fast 3d recognition and pose using the viewpoint feature histogram[C]//2010IEEE/RSJ International Conference on Intelligent Robots andSystems.IEEE,2010:2155-2162.)，CVFH以及OUR-CVFH等。这些描述符用来三维点云物体识别时虽然识别速度较快，但是存在如下的缺陷：无法识别旋转对称或镜像对称物体。因此基于现有全局特征匹配的物体识别方法对这类物体的识别准确率很低，鲁棒性不高，难以广泛应用于Bin-picking系统。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于PVFH特征的三维物体位姿估计方法，该方法的鲁棒性较高，并且识别速度能够满足Bin-picking系统的实时需求。
本发明的目的通过以下的技术方案实现：一种基于PVFH特征的三维物体位姿估计方法，包括步骤：
(1)离线训练阶段：对CAD模型在不同视角方向上进行渲染，获得CAD模型多个视角的点云；提取所有视角点云的PVFH特征(Partion Viewpoint Feature Histograms,即分区视点特征直方图)，根据特征建立特征模型库；所述PVFH特征的构造步骤：
步骤一：将单个物体点云切割成若干等分小点云。
步骤二：对步骤一中切割的每一个小点云提取视点方向特征和FPFH特征。
步骤三：按固定的顺序将步骤二提取的每一个小点云的视点方向特征和FPFH特征融合在同一个特征直方图，即为PVFH特征。
(2)在线识别阶段：获取当前场景点云，预处理后对其分割得到被识别物体，提取被识别物体的PVFH特征，将所述特征与特征模型库进行特征匹配获得匹配的姿态。
本发明提出一种改进的全局特征描述符PVFH，该方法克服了传统全局特征描述符无法识别旋转对称或镜像对称物体的缺点，鲁棒性高。
优选的，对CAD模型在不同视角方向上进行渲染，获得CAD模型多个视角的点云，方法是：在三维空间中，构建一个包含整个CAD模型的正二十面体；在正二十面体每个面的中心或者顶点架设一个虚拟相机，每个相机代表一个视角；用虚拟相机对模型进行渲染，从而得到该视角的点云。
更进一步的，在得到所述视角的点云后，将每一个视角点云绕着z轴，以一定的角度步长进行多次旋转，每次旋转的结果作为新的姿态加入特征模型库。从而模型库中的视角姿态样本。
优选的，获得CAD模型多个视角的点云后，对视角点云进行优化以提高视角点云与场景物体的匹配程度，方法是：根据场景点云预处理后采用的分割方法，对每一个视角点云执行相同的分割方法，再将各个视角点云的分割结果代替原本的视角点云。
优先的，PVFH特征构造方法的单个物体点云包括完整物体点云和部分物体点云。
优先的，PVFH特征构造方法的切割方法包括四等分、六等分、八等分等。
更进一步，PVFH特征构造的切割方法，首先计算出识别对象点云的最大外接长方体，沿着最长边切割成若干等份，然后沿着第二长边切割成若干等份。
优先的，PVFH特征构造方法的视点方向特征和FPFH特征融合顺序为：每一个小点云的FPFH特征并排融合在一起，放在特征直方图的左边，每一个小点云的视点方向特征融合在特征直方图的最右边。
优选的，在线识别阶段，对当前场景点云进行预处理包括截断滤波、降采样等。
优选的，对预处理后的场景点云进行分割，分割方法采用欧式聚类分割或者区域生长分割。
优选的，将所述特征与特征模型库进行特征匹配，将匹配度最高的视角点云作为对象对应的姿态。
更进一步的，将匹配度最高的视角点云作为粗姿态，再采用ICP算法对该粗姿态进行优化，得到精确的姿态。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提出一种全局特征的描述符PVFH。PVFH克服了传统的全局特征描述符无法识别旋转对称或镜像对称物体的缺陷。通过采用该PVFH描述符进行姿态识别，使得识别方法克服了传统全局特征描述符无法识别旋转对称或镜像对称物体的缺点，鲁棒性和识别速度都能够满足Bin-picking系统的需求。
附图说明
图1为本实施例识别方法的流程图。
图2为本实施例识别方法区域生长分割之前和之后的视角点云的优化示意图。
图3为本实施例识别方法中视点方向分量的构造原理图。
图4为本实施例识别方法中FPFH分量的构造原理图。
图5为本实施例识别方法中点云外接长方体示意图。
图6为本实施例识别方法中点云四等分的示意图。
图7为本实施例识别方法中PVFH的直方图实例。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
请参阅图1，其为本发明的三维物体姿态识别方法的流程图，该方法包括离线训练阶段和在线识别阶段。在线识别阶段是离线训练阶段完成后进行的。下面结合图2-7，对两个阶段的各个步骤进行详细的说明。
一、离线训练阶段
该阶段主要目的是构建特征模型库，用于后续在线识别阶段的特征匹配。包括以下步骤：
S1：对CAD模型在不同视角方向上进行渲染，获得CAD模型多个视角的点云。获取步骤：
S11：在三维空间中，构建一个包含整个CAD模型的正二十面体。
S12：在正二十面体每个面的中心或者顶点架设一个虚拟相机，每个相机代表一个视角。
S13：用虚拟相机对模型进行渲染，从而得到该视角的点云。
S14：将每一个视角点云绕着z轴，以一定的角度、步长进行多次旋转，每次旋转的结果作为新的姿态加入模型库。比如，要获得涵盖全部姿态的960个不同视角的点云，首先经过正二十面体的虚拟渲染获得80个视角点云，再将每个视角点云绕着z轴旋转30度，旋转12次，每次旋转得到的结果作为新的姿态加入模型库。最终就获得了960个视角点云。
S2：根据场景点云的分割方法优化视角点云，提高视角点云与场景物体的匹配程度。具体的，视角点云的优化方法是对每一个视角点云执行与场景点云分割相同的分割方法，如果场景点云采用欧式聚类分割，就需要对视角点云进行欧式聚类分割，再将分割结果替换原本的视角点云。比如，对于大多数零件的堆叠情况，对场景点云采用区域生长分割的方法，所以需要对视角点云也进行区域生长分割。具体的例子如图2所示，图中的示例零件是圆形+圆柱零件，通过对视角点云进行区域生长分割，将圆柱形面移除，剩下圆形面替换掉原本的视角点云。在场景点云的分割中，我们分割到的也往往只有一个圆形面，所以这样能够保证特征库与场景分割对象的匹配程度，从而提高姿态识别成功率。
S3：提取所有优化后的视角点云的PVFH。PVFH在构建时，包括步骤：
S31：对点云按一定规则进行了若干等分，比如进行四等分，六等分，八等分等等。这里用四等分的实例对原理进行说明。首先，如图3所示，计算出识别对象点云的最大外接长方体。然后分别连接与xy平面平行的平面对边中点，在图4中用中心的交叉连线表示。如此就将点云划分成四个大小一致的点云，中心的交叉线为xy平面上的分界线，将点云分割为大小相等的四个部分，从左上到右下分别标记为Partion1，Partion2，Partion3，Partion4。
S32：对Partion1，Partion2，Partion3，Partion4这些等分后的点云提取视点方向分量。如图5所示，视点方向分量只有一种特征描述，就是视点方向与各个点法线之间的夹角。pi为物体点云上的一个点，vp为视点，ni为点云上各个点的法线，α为该点视角方向与法线的夹角。vp-pi为视点方向，该方向与ni的夹角α就构成了视点方向分量。α的计算公式如下：
Figure BDA0002024413430000051
S33：对Partion1、Partion2、Partion3、Partion4这些等分后的点云提取FPFH分量。FPFH也叫快速点特征直方图，在PVFH中，FPFH分量的计算原理是统计点云质心对于其他所有点的点特征。如图6所示，c为点云的质心，p1～p11这11个点代表点云中的其他点。
设nc为质心c的法线，pi代表点云的第i个点，ni代表pi的法线，以pi为原点，构建一个ui vi wi坐标系，其中
ui＝nc
Figure BDA0002024413430000052
wi＝nc×vi
则质心c对于点云中所有点的点特征可以计算出来：
αi＝vi·ni
Figure BDA0002024413430000053
Figure BDA0002024413430000054
di＝|pi-c|
则αi、φi、θi和di就是了FPFH的四个特征值。
S34:按固定的顺序分别将Partion1、Partion2、Partion3和Partion4提取到的视点方向分量和FPFH分量，统计在直方图上。如图7所示，这里用一种实例进行说明。在直方图上，特征的排列顺序依次是Partion1～Partion4的FPFH特征，Partion1～Partion4的视点方向特征。如果是在特征维数为308维的空间上进行特征统计，则将每个FPFH特征的统计区间大小设定为20，每个视点方向分量的特征统计区间大小设定为17，这样加起来刚好满足308维特征。按照这种区间划分方式从左到右依次排列Partion1、Partion2、Partion3、Partion4的FPFH分量，再排列相应的视点分量。最终统计得到的直方图就是PVFH特征。
S4：将所有视角点云的PVFH存储为特征模型库，供在线识别阶段使用。
二、在线识别阶段
在该阶段，包括以下步骤：
S5：通过点云采集设备获取到场景点云。
S6：对场景点云进行预处理，包括截断滤波，降采样等。
S7：对预处理后的点云进行分割，分割结果即为被识别对象。具体的，分割的方法有许多种，一般采用欧式聚类分割或者区域生长分割。欧式聚类分割速度快，但是鲁棒性不高，易受噪声干扰。区域生长分割虽然比欧式聚类分割慢一点，但是鲁棒性较高，可以满足大多数物体场景的分割要求。可以根据场景的不同情况选择最适合的方法进行分割。
S8：提取被识别对象的PVFH。具体的，提取PVFH的方法参照离线训练阶段的S3步骤。
S9：将分割结果的PVFH特征跟特征模型库中所有视角点云的PVFH特征进行匹配，找到匹配度最高的视角点云即为该对象对应的粗姿态。
S10：最后用ICP算法对粗姿态进行优化，得到精确的姿态信息。
本实施例所述三维物体姿态识别方法，具有识别准确率高，鲁棒性高的优点，能够满足Bin-picking系统的实时需求，可在机器人分拣等领域可得到广泛的推广应用。
可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于PVFH特征的三维物体位姿估计方法，其特征在于PVFH特征的构建，PVFH特征的构建步骤如下：
步骤一：将单个物体点云切割成若干等分小点云；
步骤二：对步骤一中切割的每一个小点云提取视点方向特征和FPFH特征；
步骤三：将步骤二提取的每一个小点云的FPFH特征并排融合在一起，放在特征直方图的左边，每一个小点云的视点方向特征融合在同个特征直方图的最右边，即为PVFH特征；
步骤一所述的单个物体点云包括完整物体点云和部分物体点云；
步骤一所述的切割方法，包括步骤：首先计算出单个物体点云的最大外接长方体，沿着最长边切割成若干等份，然后沿着第二长边切割成若干等份。
2.根据权利要求1所述的基于PVFH特征的三维物体位姿估计方法，其特征在于：步骤一所述的切割方法包括四等分、六等分、八等分。
CN201910289406.9A 2019-04-11 2019-04-11 一种基于pvfh特征的三维物体位姿估计方法 Active CN110097598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910289406.9A CN110097598B (zh) 2019-04-11 2019-04-11 一种基于pvfh特征的三维物体位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910289406.9A CN110097598B (zh) 2019-04-11 2019-04-11 一种基于pvfh特征的三维物体位姿估计方法

Publications (2)

Publication Number Publication Date
CN110097598A CN110097598A (zh) 2019-08-06
CN110097598B true CN110097598B (zh) 2021-09-07

Family

ID=67444698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910289406.9A Active CN110097598B (zh) 2019-04-11 2019-04-11 一种基于pvfh特征的三维物体位姿估计方法

Country Status (1)

Country Link
CN (1) CN110097598B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634161B (zh) * 2019-08-30 2023-05-05 哈尔滨工业大学（深圳） 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN110706285A (zh) * 2019-10-08 2020-01-17 中国人民解放军陆军工程大学 基于cad模型的物体位姿预测方法
CN113021333A (zh) * 2019-12-25 2021-06-25 沈阳新松机器人自动化股份有限公司 一种物体的抓取方法、系统及终端设备
CN113191207B (zh) * 2021-04-08 2022-12-02 华中科技大学 一种基于多视角特征的工件识别方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156778A (zh) * 2015-02-04 2016-11-23 通用汽车环球科技运作有限责任公司 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN106529394A (zh) * 2016-09-19 2017-03-22 广东工业大学 一种室内场景物体同时识别与建模方法
CN106934372A (zh) * 2017-03-13 2017-07-07 哈尔滨工业大学 基于传统vfh描述子加入颜色信息的点云分类方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108388902A (zh) * 2018-02-12 2018-08-10 山东大学 结合全局框架点与局部shot特征的复合3d描述子构建方法
CN108764157A (zh) * 2018-05-30 2018-11-06 湖北大学 基于法向量高斯分布的建筑物激光脚点提取方法及系统
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156778A (zh) * 2015-02-04 2016-11-23 通用汽车环球科技运作有限责任公司 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN106529394A (zh) * 2016-09-19 2017-03-22 广东工业大学 一种室内场景物体同时识别与建模方法
CN106934372A (zh) * 2017-03-13 2017-07-07 哈尔滨工业大学 基于传统vfh描述子加入颜色信息的点云分类方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108388902A (zh) * 2018-02-12 2018-08-10 山东大学 结合全局框架点与局部shot特征的复合3d描述子构建方法
CN108764157A (zh) * 2018-05-30 2018-11-06 湖北大学 基于法向量高斯分布的建筑物激光脚点提取方法及系统
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VFH-Color and Deep Belief Network for 3D Point Cloud Recognition;Nabila Zrira 等;《Pattern Recognition and Image Analysis》;20170623;第445-452页 *
一种视点直方图特征优化的点云目标识别算法;杜靖远 等;《河南科技大学学报( 自然科学版)》;20181031;第45-51页 *

Also Published As

Publication number Publication date
CN110097598A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097598B (zh) 一种基于pvfh特征的三维物体位姿估计方法
Lim et al. Real-time image-based 6-dof localization in large-scale environments
Choi et al. Voting-based pose estimation for robotic assembly using a 3D sensor
CN107886528B (zh) 基于点云的配电线路作业场景三维重建方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
Aldoma et al. CAD-model recognition and 6DOF pose estimation using 3D cues
Makhal et al. Grasping unknown objects in clutter by superquadric representation
Azad et al. 6-DoF model-based tracking of arbitrarily shaped 3D objects
CN108022262A (zh) 一种基于点的邻域重心向量特征的点云配准方法
CN106023183B (zh) 一种实时的直线段匹配方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
Mateo et al. Visual perception for the 3D recognition of geometric pieces in robotic manipulation
Chen et al. Survey on 6D pose estimation of rigid object
CN111028345A (zh) 一种港口场景下圆形管道的自动识别与对接方法
Han et al. Sq-slam: Monocular semantic slam based on superquadric object representation
CN115147433A (zh) 点云配准方法
Liu et al. Robust 3-d object recognition via view-specific constraint
CN117036653A (zh) 基于超体素聚类的点云分割方法及系统
Wang et al. 6D pose estimation from point cloud using an improved point pair features method
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Miyake et al. 3D Pose Estimation for the Object with Knowing Color Symbol by Using Correspondence Grouping Algorithm
Han et al. Ellipsoid fitting using variable sample consensus and two-ellipsoid-bounding-counting for locating Lingwu long Jujubes in a natural environment
CN114897974A (zh) 一种目标物空间定位方法、系统、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant