CN109859208A

CN109859208A - 基于凹凸性和rsd特征的场景分割与目标建模方法

Info

Publication number: CN109859208A
Application number: CN201910003667.XA
Authority: CN
Inventors: 陈国华; 王耀增; 张爱军; 邢健; 康敬欣; 李季; 余洋洋
Original assignee: Beijing University of Chemical Technology
Current assignee: Beijing University of Chemical Technology
Priority date: 2019-01-03
Filing date: 2019-01-03
Publication date: 2019-06-07

Abstract

基于凹凸性和RSD特征的场景分割与目标提取方法，属于计算机视觉技术领域。本发明包括：步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波；步骤2，将场景点云基于超体聚类过分割；步骤3，在步骤2得到的超体聚类基础上利用LCCP方法基于凹凸性再聚类完成场景分割；根据分割后的场景点云目标物体的RSD(Radius‑based Surface Descriptor)几何特征对目标物体进行建模。实验结果表明，本发明能够有效地解决任意场景中目标物体建模问题。本方法是一种无学习方法，具有计算费时少，场合适用性强的优点。

Description

基于凹凸性和RSD特征的场景分割与目标建模方法

技术领域

本发明属于计算机视觉技术领域，涉及适用于机器人在任意场景中的抓取，可用于无人驾驶、无人机、深空探测、水下机器人等领域。

背景技术

随着科学技术的发展，机器人越来越智能，当前机器人追求自主性和高智能性。机器人在未知环境执行自主性或者智能性任务时，需要对所处环境进行理解，需要像人大脑一样识别和理解当前视野或环境中存在的物体和对象，感知自己所处的环境。图像分割技术是让机器人对环境具有感知和识别能力的关键技术。随着激光三维测距技术的快速发展，出现了很多能够采集三维空间场景中三维信息的三维摄像机，以前针对二维图像的分割方法很难适用于基于三维信息的图像分割，因此，更多研究者逐渐投入到基于三维空间信息的图像技术研究中。为了让智能移动机器人感知所处环境或识别视野场景中物体对象，同时也为了对场景中的物体进行抓取，三维分割并将目标物体建模的研究实现具有巨大的现实意义，未来发展前景十分可观。

场景分割与目标建模算法在机器人手眼协同系统中具有举足轻重的作用，其主要是将机器人利用摄像头所看到的场景进行物体层次的分割，再将所要抓取的目标物体进行三维建模以便于后续的机器人抓取。完善相关的算法，解决相关的算法一直以来存在着很大的挑战。传统点云分割算法常采用两类方法：基于识别的方法和基于无监督性的方法。对于基于识别的方法，数据库中有一些可用的物体模型。这类的许多先进方法通过将提取的特征与存储在数据库中的场景相匹配来执行物体的分割。它们强烈依赖于检测测试场景和存储模型之间的重复性的、可靠的和描述性特征，以及相应的准确特征，当场景点云数量较大时，算法执行起来需要大量的时间和计算。此外，基于识别的方法仅限于数据库中可用的对象模型的分割。相比之下，基于无监督的方法能够在视觉复杂的情况下没有任何关于对象或场景的先验信息来分离各种各样的对象。这些方法在物体孤立的情况下表现得很好但不能分开堆叠的物体。另一类算法使用基于学习的方法结合条件随机场和马尔科夫随机场的优化去处理分割问题，但它们的高计算运行限制了在实际应用中的使用。以上方法的不足之处都极大地影响了后续目标物体建模，影响机器人对目标物体的抓取。

发明内容

本发明的目的在于针对上述场景分割方法中的不足,为了更好地实现机器人在场景中对目标物体的抓取，提出新的场景中抓取目标建模方法，以提高场景中目标物体建模速度以及方法的适用性；

本发明的技术方案为一种基于凹凸性和RSD特征场景中抓取目标建模方法，包括如下步骤：

1.基于凹凸性和RSD特征的场景分割与目标建模方法，其特征在于，包括如下步骤：

步骤1，利用Realsense以及PCL获取场景点云并进行半径滤波去噪；

步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据(1)

公式来控制超体素聚类过程，将整个空间划分开；

式中R_seed是种子的距离，D_c是表示颜色上的差异，D_n表示法线上的差异，D_s表示点距离上的差异。w_c表示颜色差异在超体素相似度中的权重，w_s表示点距离差异在相似度中的权重，w_n表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，w_c＝w_n＝0.3，w_s＝0.4；

步骤2，在步骤1得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割。原理图如图7所示；凸度标准CC如(2)式所示，

邻超体素分别为p_i，p_j，其质心分别为x₁，x₂，n₁，n₂是垂直于界面的法向量，α₁是n₁与x₁-x₂的夹角，α₂是n₂与x₁-x₂的夹角，β是法向量之间的角度。对于具有低曲率的小的凹面，都应该视为凸的并在分割中合并，这种情况它们具有非常相似的法向量，为了弥补RGB-D数据的噪声造成的偏差，因此引入一个很小的阈值β_Thresh，当β＝∠(n₁，n₂)＝│α₁-α₂│＝cos^-1(n₁·n₂)<β_Thresh＝10°，同样认为超体之间是凸连接的。

两个超体素表面之间不连续时，判断连接是凸或凹是没有意义的。如图所示，使用连接质心的向量d和两个法向量的叉积s＝n₁×n₂，θ角越接近90°，则两个超体素的表面是连接的，θ角越接近0°，则两个超体素的表面是不连接的。为了识别这种无效连接，提出一个补充标准SC，引入阈值θ_Thresh，同样，(p₁,p₂)是两个相邻的超体素，β是法向量的角度，β_off是噪声引入的偏差。我们用软化阶梯方程来求得θ_Thresh[β(n₁，n₂)]，δ是第一阶梯的系数，是d与s的实际立体角度，θ_Thresh[β(n₁，n₂)]是二维投影角度。θ(p₁,p₂)取d和s时间小于180°的那个角：

θ(p₁,p₂)＝min[∠(d,s),∠(d,-s)]＝

min[∠(d,s),180°-∠(d,s)] (3)

软化阶梯函数：

SC(p_i,p_j):＝有效,θ(p₁,p₂)＞θ_Thresh[β(n₁，n₂)]

＝无效其他

(5)

实验导出θ_Thresh(β)＝60°，β_off＝25°andδ＝0.25

步骤6，根据分割后的场景点云目标物体的RSD(Radius-based SurfaceDescriptor)特征选择几何模板参数对目标物体进行建模或直接对回转体进行建模，在一个几何基元上面，原始点和领域内一个点之间的距离d还有两个点法线之间的角度α,根据公式6得到两点拟合曲线的曲率圆半径。一个点与领域点拟合出所有曲线对应的所有曲率半径，我们取其中的最小曲率半径与最大曲率半径(r_min,r_max)便是这一点的RSD特征值，不同的几何基元有不同的RSD特征值。

附图说明

图1是本发明的流程图；

图2是本发明实施例中Realsense捕获场景点云示意图；

图3是本发明实施例中场景点云超体聚类图；其中a盒子b苹果c瓶子

图4是本发明实施例中局部凸连接分割图；其中a盒子b苹果c瓶子

图5是本发明实施例中场景中目标物体拟合图；其中a盒子b苹果c瓶子

图6是本发明实施例中目标物体三角化建模图。其中a盒子b苹果c瓶子

图7凹凸关系几何关系原理图，其中左：凸连接几何关系右：凹连接几何关系

图8奇异点判据几何关系原理图

图9曲率半径求解几何原理图

具体实施方式

下面将结合附图对本发明技术方案作进一步说明。

步骤1，利用PCL点云库、Realsense Grabber软件包、Relasense SDK、RealsenseSR300驱动、Realsense RS300设备获取场景点云图；

步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据(1)公式来控制超体素聚类过程，将整个空间划分开；

式中(R_seed＝0.01m)是种子的距离，D_c是表示颜色上的差异，D_n表示法线上的差异，D_s表示点距离上的差异。w_c表示颜色差异在超体素相似度中的权重，w_s表示点距离差异在相似度中的权重，w_n表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，w_c＝w_n＝0.3，w_s＝0.4。种方法本质上是对局部的一种总结，纹理，颜色，材质类似的部分会被自动分割为一块，这对后续的识别工作是有利的。

步骤3，在步骤2得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割。原理图如图7所示；凸度标准CC如(2)式所示，

邻超体素分别为p_i，p_j，其质心分别为x₁，x₂，n₁，n₂是垂直于界面的法向量，α₁是n₁与x₁-x₂的夹角，α₂是n₂与x₁-x₂的夹角，β是法向量之间的角度。对于具有低曲率的小的凹面，都应该视为凸的并在分割中合并。种情况它们具有非常相似的法向量，为了弥补RGB-D数据的噪声造成的偏差，因此引入一个很小的阈值β_Thresh，当β＝∠(n₁，n₂)＝│α₁-α₂│＝cos^-1(n₁-n₂)<β_Thresh＝10°同样认为超体之间是凸连接的。

当两个超体素表面之间不连续时，判断连接是凸或凹是没有意义的。如图所示，使用连接质心的向量d和两个法向量的叉积s＝n₁×n₂，θ角越接近90°，则两个超体素的表面是连接的，θ角越接近0°，则两个超体素的表面是不连接的。为了识别这种无效连接，提出一个补充标准SC，引入阈值θ_Thresh，同样，(p₁,p₂)是两个相邻的超体素，β是法向量的角度，β_off是噪声引入的偏差。我们用软化阶梯方程来求得θ_Thresh[β(n₁，n₂)]，δ是第一阶梯的系数，是d与s的实际立体角度，θ_Thresh[β(n₁，n₂)]是二维投影角度。θ(p₁,p₁，p₂)取d和s时间小于180°的那个角。：

θ(p₁,p₂)＝min[∠(d,s),∠(d,-s)]＝

min[∠(d,s),180°-∠(d,s)]

(3)

软化阶梯函数：

SC(p_i,p_j):＝有效,θ(p₁,p₂)＞θ_Thresh[β(n₁，n₂)]

＝无效其他

(5)

实验导出θ_Thresh[β(n₁，n₂)]＝60°，β_off＝25°andδ＝0.25

步骤6，根据分割后的场景点云目标物体的RSD(Radius-based SurfaceDescriptor)特征选择几何模板参数对目标物体进行建模或直接对回转体进行建模。一个点与领域点拟合出所有曲线对应的所有曲率半径，我们取其中的最小曲率半径与最大曲率半径(r_min,r_max)便是这一点的RSD特征值，不同的几何基元有不同的RSD特征值。：

不同的几何基元具有不同的RSD特征值。

本发明的效果以及RSD特征值的获取如下:

1.实验条件：

在CPU为i7-7700HQ，内存8GB DDR4，GPU为NVIDIA GTX1070，WINDOWS10系统上使用VS2015、PCL1.8.0和Realsense摄像头进行实验。

2.实验内容

使用Richtsfeld等在2012年提出的对象分割数据库(OSDv0.2)。它由111个放置在桌子上的对象的场景组成。所有场景都包含多个对象，这些对象主要是盒状或圆柱形。

得出的各几何基元RSD特征值如下：

在超体聚类，局部凸连接将场景分割之后，根据各集合基元RSD特征值利用随机采样一致性(RANSAC)去拟合场景中的目标物体,如图所示。

整个过程各参数设置如表1所示：

利用本发明中的场景分割方法、Richtsfeld等、Uckermann等的方法进行比较，表2列出了比较后的结果。

方法	WOV/％	fp/％	fn/％	F<sub>os</sub>/％	F<sub>US</sub>/％
						本文方法	93	1.7	7.2	4.3	3.7
Richtsfeld	89	3.0	7.4	6.4	5.2
						Uckermann	84	4.2	9.2	8.1	7.7

从表1的实验结果可以看出，提出的基于点云的场景分割方法的分割效果较优于Richtsfeld等、Uckermann等的方法，进一步提高了物体分割的精确性。

场景分割之后利用数据集实验总结的各几何基元RSD特征值对目标物体进行建模，部分如图所示。

场景	方盒子	瓶子	苹果	成功率
					场景1	51/49	51/42	51/44	88.24％
场景2	29/25	29/15	29/23	72.41％
					场景3	20/16	20/15	20/17	80％
总	100/90	100/72	100/84	82％

Claims

步骤2，在去噪后的场景点云基础之上进行超体聚类过分割，根据公式(1)来控制超体素聚类过程，将整个空间划分开；

式中R_seed是种子的距离，D_c是表示颜色上的差异，D_n表示法线上的差异，D_s表示点距离上的差异；w_c表示颜色差异在超体素相似度中的权重，w_s表示点距离差异在相似度中的权重，w_n表示法线上的差异在相似度中的权重，相似度定义了应该属于种子点的粒子并聚拢在种子点周围形成超体素，w_c＝w_n＝0.3，w_s＝0.4；

步骤3，在步骤2得到的超体聚类基础之上基于凹凸性再聚类进行局部凸连接分割，完成场景分割；凸度标准CC如式(2)所示，

邻超体素分别为p_i，p_j，其质心分别为x₁，x₂，n₁，n₂是垂直于界面的法向量，α₁是n₁与x₁-x₂的夹角，α₂是n₂与x₁-x₂的夹角，β是法向量之间的角度；引入阈值β_Thresh，当β＝∠(n₁，n₂)＝│α₁-α₂│＝cos^-1(n₁·n₂)<β_Thresh＝10°，认为超体之间是凸连接的；

步骤4，使用连接质心的向量d和两个法向量的叉积s＝n₁×n₂，引入阈值θ_Thresh；同样，(p₁,p₂)是两个相邻的超体素，β是法向量的角度，β_off是噪声引入的偏差；用软化阶梯方程来求得θ_Thresh[β(n₁，n₂)]，δ是第一阶梯的系数，是d与s的实际立体角度，θ_Thresh[β(n₁，n₂)]是二维投影角度；θ(p₁,p₂)取d和s时间小于180°的那个角；

θ(p₁,p₂)＝min[∠(d,s),∠(d,-s)]＝

min[∠(d,s),180°-∠(d,s)] (3)

软化阶梯函数

SC(p_i,p_j):＝有效,θ(p₁,p₂)＞θ_Thresh[β(n₁，n₂)]

＝无效其他 (5)

其中θ_Thresh[β(n₁，n₂)]＝60°，β_off＝25°andδ＝0.25；

步骤5，根据分割后的场景点云目标物体的RSD特征选择几何模板参数对目标物体进行建模或直接对回转体进行建模，在一个几何基元上面，原始点和领域内一个点之间的距离d还有两个点法线之间的角度α根据公式(6)得到两点拟合曲线的曲率圆半径；一个点与领域点拟合出所有曲线对应的所有曲率半径r，取其中的最小曲率半径与最大曲率半径(r_min,r_max)便是这一点的RSD特征值，不同的几何基元有不同的RSD特征值；

2.如权利要求1所述的基于凹凸性和RSD特征的场景分割与目标建模方法，其特征在于：几何模板参数对目标物体建模是基于模板采样一致性，回转体建模是基于随机采样一致性。