CN112356019A - 一种用于灵巧手抓取的目标物体形体分析方法及装置 - Google Patents

Abstract

本发明涉及一种用于灵巧手抓取的目标物体形体分析方法及装置。本发明首先获取目标物体的原始点云数据；基于超体聚类，对点云进行过分割，将目标物体的点云数据划分成多个小块；其次，依据扩展凸性准则判断各个超体之间的凹凸性关系；然后，基于所述凹凸性关系，使用基于约束平面切割方法对目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多个部分；最后，运用基于评价函数评估的算法，函数的评价标准采用距离误差和算法，将点云区块拟合为球体、圆柱体或者长方体。本发明将不规则的复杂物体简化为一些基本形体的组合，这对提高灵巧手抓取策略的可行性以及降低分析的复杂度具有重要的意义。

Description

一种用于灵巧手抓取的目标物体形体分析方法及装置

技术领域

本发明涉及智能机器人的抓取规划技术领域，尤其涉及一种用于智能机 器人灵巧手抓取的目标物体形体分析方法及装置。

背景技术

当前，工业机器人的发展程度成熟，主要应用与工厂车间内的制造业， 无法实现自主识别、规划、运动，其智能化程度普遍较低。而机器人的另一 发展方向，智能机器人，相对处于大力发展阶段，这也是各国学者、研究机 构重点研究的方向。智能机器人出现使机器人的应用从工厂车间迈向了非制 造领域，例如空间维护、服务、医疗、农牧业等。与工业机器人对比，智能 机器人的使用环境具有复杂性和不确定性，这就需要智能机器人有自主识 别、规划、操作等功能。从二十世纪六十年代开始，机器人迅猛发展，但是 在智能机器人领域，却是近些年来才开始有越来越多的学者专家迈入研究。 与人手一样灵活精细的灵巧手是智能机器人的核心部件。灵巧手具有非常精 细化的机械结构，因此很大程度上提高灵巧手的操作性能，但是另一方面也 使得灵巧手的控制更为复杂。

由于灵巧手抓取模式的多样性和非结构化环境的复杂性，导致对目标物 体的抓取规划变得非常复杂，而灵巧手的抓取很大程度上是基于目标物体外 部形状。

鉴于此针对灵巧手抓取规划中的抓取分析，提出一种目标形体分析方法 具有十分重要的意义。

名词解释：

超体：元素为“体”的集合，其实质就是方块。

超体素(Supervoxel)：一种由体素数据组成的集合，是在三维空间内具 有一定语义感知信息的原子体积的三维网格的子集，类似于二维图像上的超 像素。

体素(Voxel)：体积元素(Volume pixel)的简称，是数据位于三维空间 内规则网格上的最小单位，体素，其物理意义类似于二维图像像素在三维空 间上的推广，是一组均匀分布、位于正交网格中心的立方体的集合。

发明内容

本发明针对现有技术中存在的技术问题，提供一种用于智能机器人灵巧 手抓取的目标物体形体分析方法及装置，用于灵巧手抓取规划中的目标形体 分析，用于辅助灵巧手的抓取规划，提高灵巧手抓取规划性能，增强灵巧手 的应用能力。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种用于灵巧手抓取的目标物体形体分析方法， 包括以下步骤：

S1，获取目标物体的原始点云数据；基于超体聚类，对点云进行过分割， 将目标物体的点云数据划分成多个小块；

S2，依据扩展凸性准则判断各个超体之间的凹凸性关系；

S3，基于所述凹凸性关系，使用基于约束平面切割方法对目标物体的点 云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多个部分；

S4，运用基于评价函数评估的算法，函数的评价标准采用距离误差和算 法，将点云区块拟合为球体、圆柱体或者长方体。

进一步的，所述的依据扩展凸性准则判断各个超体之间的凹凸性关系， 具体根据下式进行判断：

式中，

x₁、x₂分别为两个体素的质心向量，n₁、n₂为两个 体素的表面法向量。

进一步的，所述的基于所述凹凸关系，使用基于约束平面切割方法对目 标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多 个部分，包括：

S301，将邻接图转换为欧几里得边缘云，其中每个点代表邻接图中的一 条边；

S302，引入样本一致性算法——RANSAC算法，在方向加权下形成一 个估计模型，对所述欧几里得边缘云进行几何约束分区；

S303，给定位于模型支持区域内的一组边缘点P_m，使用等于超体素的种 子大小的聚类阈值对所有边缘点进行欧式聚类；使用

表示第n个聚类 中的点集，根据欧式聚类结果进行局部约束切割。

进一步的，所述的运用基于评价函数评估的算法，函数的评价标准采用 距离差和算法，将点云区块拟合为球体、圆柱体或者长方体，包括：

针对球体拟合，设Q为若干点(x_i,y_i,z_i)的点集，q_i为其中任意一点，n为 点集中点的数量；通过计算Q中每一点到拟合球体表面的欧几里得距离来判 断球体拟合的程度，利用PCL点云库已有的算法实现球体的拟合，获得最 优球体的圆心c(c_x,c_y,c_z)以及半径r；

利用每分割区块所有点到拟合圆心的误差之和作为评价函数；具体公式 如下：

进一步的，针对圆柱体拟合，利用PCL点云库已有的算法拟合最佳的 圆柱体，获得中心轴线的中点坐标v₀，长度d_z，圆柱半径r，并利用Q中所 有点距离圆柱表面的欧式距离的误差和作为评价函数；具体公式如下：

式中，θ表示点云Q上的一点q_i与v₀的连线和中心轴n_a之间的夹角，θ_d表 示v₀与两底面圆边界的连线和中心轴线n_a的夹角；L_z为圆柱体评价函数。

进一步的，针对长方体拟合，通过对点云进行OBB包围盒处理来拟合 长方体，并通过如下评价函数对拟合的长方体评价：

式中：k表示长方体中互不平行的3个面的编号；u_0k表示长方体中心点 C₀与物体点云中任意一点的连线同面k的交点；

利用u_0k与l_k的4个棱角线的距离来判断u_0k是否在处于面l_k中，d_0k表示长 方体中心点C₀与点云Q中任意一点q_i连线的交点同相互平行的两个面l_k、l_k2的距离，θ_k为中心点C₀与点云任意一点q_i连线同面l_k、l_k2的夹角。

本发明的有益效果是：将不规则的复杂物体简化为一些基本形体的组 合，利用基于凹凸性分割将被抓取物体3D数据点分割为各个区块，依据最 优拟合算法将各部分拟合为球体、圆柱体或长方体中的一种。这对提高灵巧 手抓取策略的可行性以及降低分析的复杂度具有重要的意义。

第二方面，本发明提供一种用于灵巧手抓取的目标物体形体分析装置， 包括：

聚类分割模块，用于获取目标物体的原始点云数据，并基于超体聚类， 对点云进行过分割，将目标物体的点云数据划分成多个小块；

凹凸性关系判断模块，依据扩展凸性准则判断各个超体之间的凹凸性关 系；

半全局分割模块，基于所述凹凸性关系，使用基于约束平面切割方法对 目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为 多个部分；

拟合模块，运用基于评价函数评估的算法，函数的评价标准采用距离误 差和算法，将点云区块拟合为基本形体。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，从而实 现本发明第一方面所述的一种用于灵巧手抓取的目标物体形体分析方法。

第四方面，本发明提供一种非暂态计算机可读存储介质，该存储介质中 存储有用于实现本发明第一方面所述所述的一种用于灵巧手抓取的目标物 体形体分析方法的计算机软件程序。

附图说明

图1为本发明一实施例中一种用于灵巧手抓取的目标形体分析方法的流 程图；

图2为本发明一实施例中的凹凸性判定原理图；

图3(a)图3(b)图3(c)为本发明一实施例中一种用于灵巧手抓取的目标形 体分析方法的不同类型目标物体分割的结果图。

图4(a)图4(b)图4(c)为本发明一实施例中一种用于灵巧手抓取的目标形 体分析方法的最终形体拟合的结果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本 发明，并非用于限定本发明的范围。

实施例1

本发明实施例揭示一种用于灵巧手抓取规划中的目标形体分析的方法， 图1为本发明一实例中目标形体分析流程图，在本发明中，所述的方法包括 以下步骤：

步骤S1：获取目标物体的原始点云数据。

步骤S2：基于超体聚类的过分割。超体聚类的目的是对点云进行过分 割，将目标物体点云化成很多没有实际物理意义的小块，为凹凸性的判定做 好基础。

步骤S3：凹凸关系判定。凹凸关系依据扩展凸性准则(Extended convexitycriterion，CC)作为判断的标准，判断各个超体之间的凹凸性关系。

步骤S4：基于约束平面切割(Constrained Planar Cuts,CPC)的目标点 云分割。在获得凹凸性之后，使用CPC半全局分割对目标点云进行分割， 将物体点云从凹槽分割为多个部分。考虑到切割的目的是为了简化目标模 型，而不是确切意义上的分割目标模型，因此，在参数设定上，应避免小区 块切割的生成。

步骤S5：基于评价函数的最优形状拟合。运用基于评价函数评估的算 法，函数的评价标准采用距离差和算法，将点云区块拟合为球体、圆柱体或 者长方体。

1)首先根据逆向三维重建或者其它手段获得物体的3D点云图像。

2)基于超体聚类的过分割。超体聚类的目的是对点云进行过分割，将 目标物体点云化成很多没有实际物理意义的小块。

3)凹凸关系判定。凹凸关系依据扩展凸性准则(Extended convexity criterion，CC)作为判断的标准，CC的核心是利用相邻两片区域中心的连 线与各区域的法向量形成的夹角α来判断，如图2所示，如果α₁＞α₂则两片 区域的关系为凹，如果α₁＜α₂则两片区域的关系为凸。接比较α是比较复杂 的，可以引入法向量和体素质心向量来简化这个过程如公式(5)到(7)所示， 如果式子(5)成立，那么为凸，如果式子(7)成立，则为凹。

n₁·d-n₂·d≥0 (5)

式中：

n₁·d-n₂·d＜0 (7)

式中：x为体素质心向量；n为体素表面法向量。

4)基于CPC的目标点云分割。在获得凹凸性之后，使用CPC半全局分 割对目标点云进行分割。具体操作步骤如下：

4.1)获得欧几里得边缘云(Euclideanedge cloud，EEC)。应在连接超体 素的边缘处切割物体，因此，首先将邻接图转换为欧几里得边缘云，其中每 个点代表邻接图中的一条边。如图2所示，点坐标设置为其连接的超体素的 平均值(x₁,x₂)。通过点坐标的超体素平均值，结合公式(6)，计算d，将d 和超级体素的法线之间的角度(n₁,n₂)利用公式(5)(7)来进行凹凸关系 判断。另外，这些点与两个超级体素的法线之间的角度(n₁,n₂)一起保持了 d的方向。

4.2)几何约束分区。使用EEC几何约束的划分模型来搜索可能的切割。 为了找到要切割的平面，引入一个局部约束、方向加权的样本一致性算法 (RANSAC)，RANSAC算法在方向加权下，形成一个估计模型，排除“局 外点”，这时存在边缘点云，并将其应用于边缘云。

4.3)局部约束切割。尽管算法可以使用将多个部分分开的凹面，但这有 时会导致具有强凹面的区域引起整体切割，从而将物体的凸出部分分开。为 防止这种过度分割，将切割限制在局部凹面附近。给定位于模型支持区域内 的一组边缘点P_m，首先使用等于超体素的种子大小的聚类阈值对所有边缘点 进行欧氏聚类。使用

表示第n个聚类中的点集，使其在本地群集而不 是P_m上切割。

4.4)考虑到切割的目的是为了简化目标模型，而不是确切意义上的分割 目标模型，因此，在参数设定上，应避免小区块切割的生成。获得的分割结 果如图3(a)图3(b)图3(c)所示。

5)基本形体的最优拟合

5.1)球体拟合。球体拟合的参数是球心c(c_x,c_y,c_z)和半径r。设Q为若干 点(x_i,y_i,z_i)的点集，q_i为其中任意一点，n为点集中点的数量。

判断球体拟合的程度是计算Q中每一点到拟合球体表面的欧几里得距 离。利用PCL点云库已有的算法实现球体的拟合，获得最优球体的圆心 c(c_x,c_y,c_z)以及半径r。

利用每个分割区块所有点到拟合圆心的误差之和作为评价函数，如公式 (1)所示。

5.2)圆柱体拟合。目前用多使用最小二乘法实现圆柱的拟合，核心思想 是使离散点到圆柱中轴线的距离与拟合圆柱的半径差和达到最小。圆柱体的 关键参数有圆柱体中心轴方向、中心轴位置、中心轴长度、圆柱体半径。

同样利用PCL点云库已有的算法拟合最佳的圆柱体，获得中心轴线的 中点坐标v₀，长度d_z，圆柱半径r，同样利用Q中所有点距离圆柱表面的欧 式距离的差和作为评价函数。值得注意的是需要判断点是在柱面上，还是在 端面上。θ表示点云Q上的一点q_i与v₀的连线和中心轴n_a之间的夹角，θ_d表 示v₀与两底面圆边界的连线和中心轴线n_a的夹角。如果θ＞θ_d，则点在柱面上， 否则点在端面上。获得的评价函数L_z如公式(2)-(3)所示。

式中：L_z为圆柱体评价函数。

5.3)长方体拟合。长方体的拟合过程比较复杂，因此，这里引入包围盒 进行简化。通过对点云进行OBB(Orientedbounding box)包围盒处理来拟 合长方体。利用包围盒处理会使最终的拟合结果完全包围原始点云。

通过如下评价函数L_c对拟合的长方体评价如公式(4)所示。

式中：k表示长方体中互不平行的3个面的编号；u_0k表示长方体中心点 C₀与物体点云中任意一点的连线同面k的交点。

利用u_0k与l_k的4个棱角线的距离来判断u_0k是否在处于面l_k中，d_0k表示长 方体中心点C₀与点云Q中任意一点q_i连线的交点同相互平行的两个面l_k、l_k2的距离，θ_k为中心点C₀与点云任意一点q_i连线同面l_k、l_k2的夹角。

经过以上方法到球体、圆柱体、长方体的基于距离差和的评价函数，然 后对每块点云区域依次拟合出三种基本形体，再根据评价函数，分别选取拟 合评价函数值L最小的拟合结果最为最优的拟合形体。最后对三种目标物体 进行形体分析得到最终的结果如图4(a)图4(b)图4(c)所示。

实施例2

本发明实施例提供一种用于灵巧手抓取的目标物体形体分析装置，包 括：

聚类分割模块，用于获取目标物体的原始点云数据，并基于超体聚类， 对点云进行过分割，将目标物体的点云数据划分成多个小块；

凹凸性关系判断模块，依据扩展凸性准则判断各个超体之间的凹凸性关 系；

半全局分割模块，基于所述凹凸性关系，使用基于约束平面切割方法对 目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为 多个部分；

拟合模块，运用基于评价函数评估的算法，函数的评价标准采用距离误 差和算法，将点云区块拟合为基本形体。

需要说明的是，实施例1中所述的方法可以通过计算机软件程序实现， 基于此，本发明实施例还提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，从而实 现本发明实施例1所述的一种用于灵巧手抓取的目标物体形体分析方法。

同时还需说明的是，计算机软件程序中的逻辑指令可以通过软件功能单 元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读 取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对 现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得 一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发 明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、 移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (10)

1.一种用于灵巧手抓取的目标物体形体分析方法，其特征在于，包括以下步骤：

S1，获取目标物体的原始点云数据；基于超体聚类，对点云进行过分割，将目标物体的点云数据划分成多个小块；

S2，依据扩展凸性准则判断各个超体之间的凹凸性关系；

S3，基于所述凹凸性关系，使用基于约束平面切割方法对目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多个部分；

S4，运用基于评价函数评估的算法，函数的评价标准采用距离误差和算法，将点云区块拟合为基本形体。

2.根据权利要求1所述的方法，其特征在于，所述的依据扩展凸性准则判断各个超体之间的凹凸性关系，具体根据下式进行判断：

式中，

x₁、x₂分别为两个体素的质心向量，n₁、n₂为两个体素的表面法向量。

3.根据权利要求1所述的方法，其特征在于，所述的基于所述凹凸关系，使用基于约束平面切割方法对目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多个部分，包括：

S301，将邻接图转换为欧几里得边缘云，其中每个点代表邻接图中的一条边；

S302，引入样本一致性算法——RANSAC算法，在方向加权下形成一个估计模型，对所述欧几里得边缘云进行几何约束分区；

S303，给定位于模型支持区域内的一组边缘点P_m，使用等于超体素的种子大小的聚类阈值对所有边缘点进行欧式聚类；使用

表示第n个聚类中的点集，根据欧式聚类结果进行局部约束切割。

4.根据权利要求1所述的方法，其特征在于，步骤S4中所述的基本形体包括球体、圆柱体和长方体。

5.根据权利要求4所述的方法，其特征在于，所述的运用基于评价函数评估的算法，函数的评价标准采用距离差和算法，将点云区块拟合为基本形体，包括：

针对球体拟合，设Q为若干点(x_i,y_i,z_i)的点集，q_i为其中任意一点，n为点集中点的数量；通过计算Q中每一点到拟合球体表面的欧几里得距离来判断球体拟合的程度，利用PCL点云库已有的算法实现球体的拟合，获得最优球体的圆心c(c_x,c_y,c_z)以及半径r；

利用每分割区块所有点到拟合圆心的误差之和作为评价函数；具体公式如下：

6.根据权利要求4所述的方法，其特征在于，所述的运用基于评价函数评估的算法，函数的评价标准采用距离差和算法，将点云区块拟合为基本形体，包括：

针对圆柱体拟合，设Q为若干点(x_i,y_i,z_i)的点集，q_i为其中任意一点，n为点集中点的数量；利用PCL点云库已有的算法拟合最佳的圆柱体，获得中心轴线的中点坐标v₀，长度d_z，圆柱半径r，并利用Q中所有点距离圆柱表面的欧式距离的误差和作为评价函数；具体公式如下：

式中，θ表示点云Q上的一点q_i与v₀的连线和中心轴n_a之间的夹角，θ_d表示v₀与两底面圆边界的连线和中心轴线n_a的夹角；L_z为圆柱体评价函数。

7.根据权利要求4所述的方法，其特征在于，所述的运用基于评价函数评估的算法，函数的评价标准采用距离差和算法，将点云区块拟合为基本形体，包括：

针对长方体拟合，通过对点云进行OBB包围盒处理来拟合长方体，并通过如下评价函数对拟合的长方体评价：

式中：k表示长方体中互不平行的3个面的编号；u_0k表示长方体中心点C₀与物体点云中任意一点的连线同面k的交点；

利用u_0k与l_k的4个棱角线的距离来判断u_0k是否在处于面l_k中，d_0k表示长方体中心点C₀与点云Q中任意一点q_i连线的交点同相互平行的两个面l_k、l_k2的距离，θ_k为中心点C₀与点云任意一点q_i连线同面l_k、l_k2的夹角。

8.一种用于灵巧手抓取的目标物体形体分析装置，其特征在于，包括：

聚类分割模块，用于获取目标物体的原始点云数据，并基于超体聚类，对点云进行过分割，将目标物体的点云数据划分成多个小块；

凹凸性关系判断模块，依据扩展凸性准则判断各个超体之间的凹凸性关系；

半全局分割模块，基于所述凹凸性关系，使用基于约束平面切割方法对目标物体的点云数据进行半全局分割，将目标物体的点云数据从凹槽分割为多个部分；

拟合模块，运用基于评价函数评估的算法，函数的评价标准采用距离误差和算法，将点云区块拟合为基本形体。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，从而实现权利要求1-7任一项所述的一种用于灵巧手抓取的目标物体形体分析方法。

10.一种非暂态计算机可读存储介质，其特征在于，该存储介质中存储有用于实现权利要求1-7任一项所述的一种用于灵巧手抓取的目标物体形体分析方法的计算机软件程序。

Images