CN114972377A - 基于移动最小二乘法与超体素的3d点云分割方法和装置 - Google Patents

Abstract

本发明公开了基于移动最小二乘法与超体素的3D点云分割方法和装置，其分为3个模块：预处理模块，超体素生成模块，超体素融合模块。预处理模块对3D点云数据进行背景去除及降噪。超体素生成模块利用基于移动最小二乘法的超体素分割方法将预处理后的点云数据分割成优化超体素块。超体素融合模块，通过超体素邻接关系图，相邻体素根据自适应融合多特征相似性进行增长融合，得到最终实例分割结果。本发明方法结合移动最小二乘法，有效去除工业环境下的点云粘连，提高了分割准确率，同时对点云的数据简化效果减少了后续配准等操作时间。

Description

基于移动最小二乘法与超体素的3D点云分割方法和装置

技术领域

本发明涉及三维点云处理技术领域，特别是指一种基于移动最小二乘法与超体素的3D点云分割方法和装置。

背景技术

工业机器人是融合多学科、多领域的先进技术，是一个国家科技发展水平和国民经济现代化、信息化的重要标志。此外，工业机器人已广泛应用于各种自动化操作，如自动化分拣、装配、焊接、磨削等。视觉系统在机器人应用中的作用则是测量、识别及定位目标物体，为工业机器人提供目标物体的类型及位姿信息。三维视觉系统由于其能获取更多目标物的位姿，深度或物体表面点云等信息，逐渐被应用于工业机器人中。

三维分割作为三维视觉系统的一部分，其分割结果将影响到工业机器人应用的精度。三维点云分割方法包括传统点级聚类方法、基于深度学习的分割方法。基于深度学习的分割方法需要大量的训练数据，而三维标注数据的获取远比二维数据耗费人力，不适合在工程中应用。工程多采用点级聚类方法，包括欧式聚类、区域生长分割算法等，但对于大数据量的点云，这些方法计算消耗大，效率较低。且对于工业应用中易出现的点云粘连现象容易造成分割不准确。

发明内容

本发明的主要目的在于克服现有技术的工业机器人应用中，由于场景复杂性，多个相似物体杂乱堆叠、三维相机拍摄角度导致的点云粘连，而点云粘连会导致点云分割结果不稳定，不准确的上述缺陷，提出一种基于移动最小二乘法与超体素的3D点云分割方法和装置，有效去除点云粘连现象，提高分割准确率。

本发明采用如下技术方案：

一种基于移动最小二乘法与超体素的3D点云分割方法,应用于去除工业机器人中的点云粘连，其特征在于，包括如下步骤：

步骤1：获取工业机器人提供的目标物体的点云数据；

步骤2：对点云数据进行点云背景去除及去除明显离群点；

步骤3：通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素；

步骤4：以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割并输出实例分割结果。

优选的，步骤2具体包括如下：

步骤2.1：使用RANSAC平面分割算法去除点云数据的平面背景；

步骤2.2：使用统计滤波器对点云数据进行显著离群点去除。

优选的，步骤3中，分成的所述体素为立方体体素，边长为R_voxel，每个立方体内所有点的质心将代替原来的点云，成为简化后的体素点云，实现体素化处理，体素V的质心坐标表示为：

其中n为体素V中包含点个数。

优选的，步骤3中，所述不合格的种子体素是指该种子体素周围的体素不足，即在给定搜索范围内，该种子体素没有足够的体素包围；设定种子体素分辨率为R_seed，搜索范围为

足够的包围体素数量min_n计算公式如下：

优选的，步骤3中，所述体素间的特征距离S具体为

R_seed为预设的种子分辨率,用于限制超体素生长范围，即式中用最大范围

限制超体素生长至其相邻超体素质心，S_s为空间距离特征：

S_n为法向量特征：

与

分别是两个不同体素i,的法向量，λ与μ则是为空间距离特征和法向量特征分配权重的参数；(x_i，y_i，z_i)为体素i的坐标，(x_j，y_j，z_j)为体素j的坐标。

优选的，步骤3中，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，具体步骤为：

首先，对拟合范围r的点p_i，计算其局部近似超平面

其中，x为超平面H上的点，

表示三维空间实数点集，n为超平面的法失，q为p_i的领域点，即p_i以r为半径的K邻域包围球内的点；H应使下列能量函数最小：

E＝∑w(‖p_i-q‖)[n^T-n^Tq]²

其中，w(‖p_i-q‖)为权重函数；

其次，利用移动最小二乘法拟合该局部区域，拟合方程为：

l(x,y)＝[1,x,y,x²,xy,y²]^T

其中，x，y为拟合曲面方程点的空间位置，l(x,y)为拟合函数的基函数，l^T(x,y)为基函数的转置,α_i(x)是l(x,y)第i项l_i(x,y)的系数向量函数,α(x)为系数矩阵；假设q_i为p_i到H的正交投影，则h_i＝‖p_i-p‖是p_i在H上的高度，在拟合过程旨在最小化下列目标函数：

J＝∑w(‖p_i-q‖)[f(x,y)-h_i]²

可得移动最小二乘拟合曲面上p_i对应的点P_i ^*

P_i ^*＝q_i+f(0,0)·n

最后，将拟合范围内所有的点替换成其拟合曲面上的点p_i ^*，完成移动最小二乘法曲面拟合投影。

优选的，步骤4中，计算相邻超体素的自适应融合多特征相似性距离，具体步骤为：

假设两个相邻超体素p_s、p_t，质心分别为x_s、x_t，法向量分别为

两质心连线方向上的单位向量为

则描述两相邻体素位置关系的特征距离δ_D，几何关系的特征距离δ_G计算公式分别如下：

δ_D(p_s,p_t)＝‖x_t-x_s‖

结合凹凸性判断对几何特征距离进行修正，若超体素面片经判断为有效凸性连接，则几何特征距离减半，即

再进行归一化处理：

δ(p_s,p_t)＝T_G(δ_G(p_s,p_t))+T_D(δ_D(p_s,p_t))

其中T_G(δ)、T_D(δ)是将两特征归一到0-1范围的转换函数；假设δ_G、δ_D具有未知分布，且分别具有未知均值μ_G、μ_D，定义自适应参数λ，转换函数T_G(δ)、T_D(δ)为：

T_G(δ)＝(1-λ)δ

T_D(δ)＝λδ

由此可得两相邻超体素的自适应融合多特征相似性距离δ(p_s,p_t)。

优选的，两相邻超体素的凹凸性判断具体步骤为：

假设α_s、α_t分别是法向量

与两质心连线

的夹角，

为两法向量

的叉积，θ是叉积

与

的夹角，则

一种基于移动最小二乘法与超体素的3D点云分割装置，其特征在于，包括如下：

数据获取模块，用于获取工业机器人提供的目标物体的点云数据；

预处理模块，用于对点云数据进行点云背景去除及去除明显离群点

超体素生成模块，用于通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素；

超体素融合模块，用于以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1)本发明在过分割过程，采用移动最小二乘法曲面拟合来优化生成的超体素块，有效去除点云粘连现象，提高分割准确率。

2)本发明基于超体素的实例分割算法，对点云数据有简化效果，在工业应用中能节省点云后续配准、位姿估计等操作的计算、时间消耗。

附图说明

图1是本发明方法流程图；

图2使示范例经过预处理后的效果图；

图3是凹凸性判断准则说明图；

图4是点云粘连去除范例；

图5是点云实例分割结果范例。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明中，对于术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于描述中，采用了“上”、“下”、“左”、“右”、“前”和“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

另外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

参见图1，一种基于移动最小二乘法与超体素的3D点云分割方法，去除工业机器人应用中，由于场景复杂性，多个相似物体杂乱堆叠及三维相机拍摄角度导致的点云粘连。包括如下步骤：

步骤1：获取工业机器人提供的目标物体的点云数据，其可包括目标物的位姿，深度或物体表面点云等信息。

步骤2：对点云数据进行点云背景去除及去除明显离群点。具体包括如下：

步骤2.1：使用RANSAC平面分割算法去除点云数据的平面背景；

步骤2.2：使用统计滤波器对点云数据进行显著离群点去除。

经过该步骤处理后的效果图如图2所示。

步骤3：通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素。

该步骤中，通过八叉树分成的体素为立方体体素，边长为R_voxel，每个立方体内所有点的质心将代替原来的点云，成为简化后的体素点云，实现体素化处理，体素V的质心坐标表示为：

其中n为体素V中包含点个数。

其中，对于筛除不合格的种子体素，不合格的种子体素是指该种子体素周围的体素不足，即在给定搜索范围内，该种子体素没有足够的体素包围；设定种子体素分辨率为R_seed，搜索范围为

足够的包围体素数量min_n计算公式如下：

只有在搜索范围内，包围体素数量符合n>min_n的种子体素被保留下来成为初始种子体素。

进一步的，计算体素间的特征距离S，根据体素间的特征距离S进行区域生长，形成初始超体素。体素间的特征距离S为：

R_seed为预设的种子分辨率,用于限制超体素生长范围，即式中用最大范围

限制超体素生长至其相邻超体素质心，S_s为空间距离特征：

S_n为法向量特征：

与

分别是两个不同体素i,的法向量，λ与μ则是为空间距离特征和法向量特征分配权重的参数；(x_i，y_i，z_i)为体素i的坐标，(x_j，y_j，z_j)为体素j的坐标。

即对空间距离特征和法向量特征进行归一化处理，可得到体素间特征相似性即体素间的特征距离S。

进一步的，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，具体步骤为：

首先，对拟合范围r的点p_i，计算其局部近似超平面

其中，x为超平面H上的点，

表示三维空间实数点集，n为超平面的法失，q为p_i的领域点，即p_i以r为半径的K邻域包围球内的点；H应使下列能量函数最小：

E＝∑w(‖p_i-q‖)[n^T-n^Tq]²

其中，w(‖p_i-q‖)为权重函数，保证随着领域点q与p_i的距离增加，其对E的影响变小；

其次，利用移动最小二乘法拟合该局部区域，拟合方程为：

l(x,y)＝[1,x,y,x²,xy,y²]^T

其中，x，y为拟合曲面方程点的空间位置，l(x,y)为拟合函数的基函数，l^T(x,y)为基函数的转置,α_i(x)是l(x,y)第i项l_i(x,y)的系数向量函数，α(x)为系数矩阵；假设q_i为p_i到H的正交投影，则h_i＝‖p_i-q‖是p_i在H其上的高度，在拟合过程旨在最小化下列目标函数：

J＝∑w(‖p_i-q‖)[f(x,y)-h_i]²

可得移动最小二乘拟合曲面上p_i对应的点P_i ^*

P_i ^*＝q_i+f(0,0)·n

最后，将拟合范围内所有的点替换成其拟合曲面上的点P_i ^*，完成移动最小二乘法曲面拟合投影。

步骤4，以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割并输出实例分割结果。

该步骤中，计算相邻超体素的自适应融合多特征相似性距离，具体步骤为：

假设两个相邻超体素p_s、p_t，质心分别为x_s、x_t，法向量分别为

两质心连线方向上的单位向量为

则描述两相邻体素位置关系的特征距离δ_D，几何关系的特征距离δ_G计算公式分别如下：

δ_D(p_s,p_t)＝‖x_t-x_s‖

考虑到基于凹凸性分割算法中，两相邻面片为凸性连接时，为同一物体的可能性更大，因此结合凹凸性判断对几何特征距离进行修正，参见图3，两相邻超体素的凹凸性判断具体步骤为：

假设α_s、α_t分别是法向量

与两质心连线

的夹角，

为两法向量

的叉积，θ是叉积

与

的夹角，则

判断两向量超体素是否为有效凸连接，若超体素面片经判断为有效凸性连接，则几何特征距离减半，即

对两个特征距离进行归一化处理，得到两相邻超体素的自适应融合多特征相似性距离δ(p_s,p_t)：

δ(p_s,p_t)＝T_G(δ_G(p_s,p_t))+T_D(δ_D(p_s,p_t))

其中T_G(δ)、T_D(δ)是将两特征归一到0-1范围的转换函数，不同场景能设置不同的转换函数，因此为了适应不同场景应用需求，本发明加入了自适应策略；假设δ_G、δ_D具有未知分布，且分别具有未知均值μ_G、μ_D，定义自适应参数λ，转换函数T_G(δ)、T_D(δ)为：

T_G(δ)＝(1-λ)δ

T_D(δ)＝λδ

由此可得两相邻超体素的自适应融合多特征相似性距离v(p_s,p_t)。

该步骤中，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割。如图4为点云粘连去除范例，图5是三种工件点云实例分割结果范例。

本发明还提出一种基于移动最小二乘法与超体素的3D点云分割装置，采用上述的一种基于移动最小二乘法与超体素的3D点云分割方法，包括如下：

数据获取模块，用于获取工业机器人提供的目标物体的点云数据；

预处理模块，用于对点云数据进行点云背景去除及去除明显离群点

超体素生成模块，用于通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素；

超体素融合模块，用于以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割并输出实例分割结果。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种基于移动最小二乘法与超体素的3D点云分割方法,应用于去除工业机器人中的点云粘连，其特征在于，包括如下步骤：

步骤1：获取工业机器人提供的目标物体的点云数据；

步骤2：对点云数据进行点云背景去除及去除明显离群点；

步骤3：通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素；

步骤4：以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割并输出实例分割结果。

2.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤2具体包括如下：

步骤2.1：使用RANSAC平面分割算法去除点云数据的平面背景；

步骤2.2：使用统计滤波器对点云数据进行显著离群点去除。

3.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤3中，分成的所述体素为立方体体素，边长为R_voxel，每个立方体内所有点的质心将代替原来的点云，成为简化后的体素点云，实现体素化处理，体素V的质心坐标表示为：

其中n为体素V中包含点个数。

4.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤3中，所述不合格的种子体素是指该种子体素周围的体素不足，即在给定搜索范围内，该种子体素没有足够的体素包围；设定种子体素分辨率为R_seed，搜索范围为

足够的包围体素数量min_n计算公式如下：

5.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤3中，所述体素间的特征距离S具体为：

R_seed为预设的种子分辨率，用于限制超体素生长范围，即式中用最大范围

限制超体素生长至其相邻超体素质心，S_s为空间距离特征：

S_n为法向量特征：

与

分别是两个不同体素i，j的法向量，λ与μ则是为空间距离特征和法向量特征分配权重的参数；(x_i，y_i，z_i)为体素i的坐标，(x_j，y_j，z_j)为体素j的坐标。

6.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤3中，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，具体步骤为：

首先，对拟合范围r的点p_i，计算其局部近似超平面

其中，x为超平面H上的点，

表示三维空间实数点集，n为超平面的法失，q为p_i的领域点，即p_i以r为半径的K邻域包围球内的点；H应使下列能量函数最小：

E＝∑w(||p_i-q||)[n^T-n^Tq]²

其中，w(||p_i-q||)为权重函数；

其次，利用移动最小二乘法拟合该局部区域，拟合方程为：

l(x，y)＝[1，x，y，x²，xy，y²]^T

其中，x，y为拟合曲面方程点的空间位置，l(x，y)为拟合函数的基函数，l^T(x，y)为基函数的转置，α_i(x)是l(x，y)第i项l_i(x，y)的系数向量函数，a(x)为系数矩阵；假设q_i为p_i到H的正交投影，则h_i＝||p_i-q||是p_i在H上的高度，在拟合过程旨在最小化下列目标函数：

J＝∑w(||p_i-q||)[f(x，y)-h_i]²

可得移动最小二乘拟合曲面上p_i对应的点P_i ^*

P_i ^*＝q_i+f(0，0)·n

最后，将拟合范围内所有的点替换成其拟合曲面上的点P_i ^*，完成移动最小二乘法曲面拟合投影。

7.如权利要求1所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：步骤4中，计算相邻超体素的自适应融合多特征相似性距离，具体步骤为：

假设两个相邻超体素p_s、p_t，质心分别为x_s、x_t，法向量分别为

两质心连线方向上的单位向量为

则描述两相邻体素位置关系的特征距离δ_D，几何关系的特征距离δ_G计算公式分别如下：

δ_D(p_s，p_t)＝||x_t-x_s||

结合凹凸性判断对几何特征距离进行修正，若超体素面片经判断为有效凸性连接，则几何特征距离减半，即

再进行归一化处理：

δ(p_s，p_t)＝T_G(δ_G(p_s，p_t))+T_D(δ_D(p_s，p_t))

其中T_G(δ)、T_D(δ)是将两特征归一到0-1范围的转换函数；假设δ_G、δ_D具有未知分布，且分别具有未知均值μ_G、μ_D，定义自适应参数λ，转换函数T_G(δ)、T_D(δ)为：

T_G(δ)＝(1-λ)δ

T_D(δ)＝λδ

由此可得两相邻超体素的自适应融合多特征相似性距离δ(p_s，p_t)。

8.如权利要求7所述的一种基于移动最小二乘法与超体素的3D点云分割方法，其特征在于：两相邻超体素的凹凸性判断具体步骤为：

假设α_s、α_t分别是法向量

与两质心连线

的夹角，

为两法向量

的叉积，θ是叉积

与

的夹角，则

9.一种基于移动最小二乘法与超体素的3D点云分割装置，其特征在于，包括如下：

数据获取模块，用于获取工业机器人提供的目标物体的点云数据；

预处理模块，用于对点云数据进行点云背景去除及去除明显离群点

超体素生成模块，用于通过八叉树对处理后的点云数据进行体素化处理，分成大小相同的体素，以最接近预设超体素分辨率网格中心的体素作为种子体素，并筛除不合格的种子体素，根据体素间的特征距离S进行区域生长，形成初始超体素，使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化，重新分配种子点，二次聚类，形成最终的优化超体素；

超体素融合模块，用于以超体素为基本单元，计算相邻超体素的自适应融合多特征相似性，根据特征距离阈值判断是否进行融合，融合特征距离小于阈值的相邻超体素，最终完成点云实例分割。

Images