CN109781003B - 一种结构光视觉系统的下一最佳测量位姿确定方法 - Google Patents

Abstract

本发明针对机器人视觉自动测量中下一最佳测量位姿确定问题，公开了一种新颖的结构光视觉系统的下一最佳测量位姿确定方法。该方法首先采用结构光双目视觉测量系统获得被测物体的深度图像和三维点云，通过深度图像快速获取被测物体的边缘与密度聚类分析区域。基于密度聚类方法判定物体边缘区域三维形貌的复杂程度，结合视场大小确定子区域权重，从而获得深度图上下一视场最佳移动方向。采用趋势面分析法预测下一最佳测量位姿的空间范围。为避免边缘局部复杂程度对趋势面的影响，以深度图像上的测量视场为中心获得趋势面分析全局区域，并快速获得中心趋势线以确定出下一最佳测量位姿。

Description

一种结构光视觉系统的下一最佳测量位姿确定方法

技术领域

本发明涉及机器人自动测量方法，特别是指一种一种结构光视觉系统的下一最佳测量位姿确定方法。

背景技术

结构光三维测量技术已经得到了广泛的应用，然而在实际测量中，受限于系统测量视场范围和物体复杂程度等原因，对大尺寸或者表面形貌较为复杂的物体，一次测量难以获得物体完整的形貌，需要从不同角度多次测量并拼合才能获得完整的物体。被测物体越复杂或者其尺寸与视场大小之间的比例越大，则需要测量次数就越多，甚至达到成千上百次。如此繁重的测量任务使得自动测量变得非常重要，而下一个最佳测量位姿的确定是实现自动测量的前提与关键所在，也是三维重建、机器人导航、自动装配等领域亟待解决的难题之一。

在对未知模型的自动测量中，为了每次获得尽可能多的点云信息，需要根据当前信息判断下一最佳测量位姿。何炳蔚等在论文“线激光三维测量仪中视觉传感器规划方法研究”(中国激光，2010,37(6):1618-1625.)中提出可视空间与极限面相结合的视点规划策略来确定下一最佳视点的位置。张世辉等在论文“基于深度图像利用遮挡信息确定下一最佳观测方位”(计算机学报，2015，38(12)，P2450-2463)中从消除被测物体的自遮挡区域入手，确定下一最优视点。在二维深度图像中识别已测得数据中的自遮挡区域，计算可消除自遮挡区域的视点，并结合遮挡区域的向量和面积构建下一最佳观测方位的模型。随后利用梯度下降法寻优求得模型的最优解确定下一最优视点。

综上所述，虽然目前对自动三维测量中下一最优视点的确定方法已有所研究，取得了一定成果，但资料报道并不多，涉及的关键技术亟待进一步研究。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种新颖的结构光视觉系统的下一最佳测量位姿确定方法。

本发明采用如下技术方案：

一种结构光视觉系统的下一最佳测量位姿确定方法，其特征在于，包括如下步骤：

A1、获取被测物体初始位置的深度图像和三维点云；

A2、通过深度图像获取被测物体的边缘，根据有效测量范围确定下一最佳位姿判定所需的区域；

A3、对区域内三维点云进行密度聚类，依据密度与三维形貌复杂程度关系，获得各个子区域的复杂系数；

A4、结合视场大小优化各个子区域权重，从而确定深度图上最佳移动方向；

A5、以测量视场为中心，结合深度图像获得趋势面，分析全局区域以及中心趋势线，从而确定出下一最佳测量位姿。

所述A2包括如下：

首先，在深度图像上采用Canny算子边缘提取法快速识别出物体的边缘；再采用区域宽度t的计算方法确定所述区域，公式如下：

其中a为视场长度，b为视场宽度，

表示将面积转化为矩形平均宽度，S为有效测量区域面积，c为边缘区域面积与有效区域面积之比，k₁为轮廓修正系数，

l为有效测量区域长度。

所述A3包括如下：设待聚类的点集为data＝{x₁，x₂，...，x_n}，令I_data＝{1，2，…，n}为相应的指标集，n为总点数，则点x_i的局部密度系数ρ_i即各个子区域的复杂系数计算公式为：

其中d_ij为点x_i和x_j之间的欧式距离，d_c为截断距离，设定

i与j属于I_data的下标，函数

所述A4中，以当前测量视场中心与密度最大聚类中心的连线作为所述最佳移动方向，具体如下：当前视场中心与下一视场中心的距离为R，

其中，x为X轴坐标,k为两视场中心连线的斜率。

考虑各个区域权重引入评估值δ，评估值δ最大的方向即为所述最佳移动方向：

δ＝∑ω_i

其中ω_i表示子区域权重，根据

求得，l_i表示各个聚类中心离当前测量视场中心在移动方向上的距离。

所述A5具体包括如下：

A5.1、在深度图像上，以当前测量视场中心为原点，以最佳移动方向重叠视场大小为约束，快速获得趋势面分析全场区域，利用深度图像像素与三维点云对应关系，获取趋势面拟合所需三维数据；

A5.2、采用该三维数据来拟合趋势面，数学模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

其中a₀，a₁，a₂，a₃，a₄，a₅为多项式系数，x、y为各个三维点的XY平面坐标值；

A5.3、根据深度图像快速获得最佳移动方向上通过视场中心与聚类中心的三维点云数据，并拟合出空间平面，该平面与趋势面相交确定一条空间曲线，该空间平面的方程为：

Ax+By+Cz+D＝0

其中A、B、C、D为空间平面拟合系数，x、y、z为各个三维点的三个坐标值；

A5.4、记当前测量视场中心点为P_A(x_A，y_A，z_A)，下一个测量中心轴与预测趋势面的交点为P_B(x_B，y_B，z_B)即下一最佳测量视场中心，点P_B可由以下方程组求出：

R_k为P_A和P_B之间的三维欧式距离，求出P_B在趋势面上的法向，在该法向方向上计算离点P_B为物距L的点P_P(x_p，y_p，z_p)，该点P_P即为所述下一最佳测量位姿。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)充分利用深度图像进行边缘识别、区域划分、趋势面分析全场区域与中心趋势线提取等算法的实现，具有计算量小、效率高的优点；

(2)建立三维点云密度与复杂程度的关系，以密度聚类方法快速获悉物体表面复杂程度，降低了数据处理难度；

(3)结合视场大小与重叠区域要求，确定聚类姿区域权重，进一步优化了下一最佳视场移动的方向，为算法的稳定性提供了保证。

(4)以深度图像为中介，结合最佳移动方向上视场大小约束，获得了趋势面分析全场区域，避免陷入局部表面信息拟合导致预测未知区域与实际不符。

附图说明

图1是本发明的流程图；

图2是本发明胡巴深度图像；

图3是本发明胡巴边缘区域三维点云图；

图4是本发明胡巴密度聚类区域图；

图5是本发明最佳移动方向示意图；

图6是本发明下一最佳观测方位确定图；

图7是本发明胡巴整体视点图；

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明提出一种结构光视觉系统的下一最佳测量位姿确定方法，以胡巴模型测量为例，参见图2。整体过程流程图如图1所示，具体步骤如下：

A1、通过结构光视觉测量系统获得初始位置被测物体的深度图像和三维点云；

本例中采用结构光双目视觉系统对胡巴进行机器人自动测量。测量系统由两个工业相机和一个数字投影仪组成。测量方式基于双目视差原理，采用格雷码与相移光栅相结合的方法进行立体匹配。可测量区域为左、右摄像机、投影仪的公共区域，通过立体匹配可以获得该视角下的深度图像和三维点云。

A2、通过深度图像获取被测物体的边缘，根据有效测量范围确定下一最佳位姿判定所需的区域，参见图3、图4,。

首先在深度图像上采用Canny算子边缘提取法快速识别出物体的边缘；然后考虑视场大小、有效测量区域、物体形状等因素，提出了在边缘提取一定的区域作为聚类分析的区域，其区域宽度t的计算方法，公式如下：

其中a为视场长度，b为视场宽度，

表示将面积转化为矩形平均宽度，S为有效测量区域面积，c为边缘区域面积与有效区域面积之比，根据实验经验一般取10％-20％，k₁为轮廓修正系数，根据有效测量区域长度l与有效测量区域面积S计算，即

为理想情况正方形有效测量区域的周长。

A3、对区域内三维点云进行密度聚类，依据密度与三维形貌复杂程度关系，获得各个子区域的复杂系数；

设待聚类的点集为data＝{x₁，x₂，...，x_n}，令I_data＝{1，2，...，n}为相应的指标集，n为总点数，则点x_i的局部密度系数ρ_i，可用与点x_i之间距离小于d_c的数据点个数表示，其计算公式为：

其中d_ij为点x_i和x_j之间的欧式距离，d_c为截断距离，根据2.1区域划分原则，设定

i与j属于I_data的下标，函数χ(x)为

根据式(2)可以求出各个聚类区域密度系数ρ_i，即各个子区域的复杂系数。过程如下：将局部密度值进行排序，以密度值最大的点作为第一个聚类中心，依次对聚类数据点进行整理。若某个数据点与之前聚类中心距离小于2*d_c时，则点属于该聚类中心，如此重复直到所有的点迭代完成。

A4、结合视场大小优化各个子区域权重，从而确定深度图上最佳移动方向，参见图5。

通过上述聚类密度分析，可以获得最佳移动方向，即以当前视场中心与密度最大聚类中心的连线作为下一测量最佳移动方向。其移动距离根据所需的视场重叠区域比重τ决定，一般取视场大小的20％。设测量视场长为a，宽为b，当前视场中心与下一视场中心的距离为R，根据以下方程：

可计算得

其中，x为X轴坐标,k为两视场中心连线的斜率。

考虑各个区域权重引入评估值δ：

δ＝∑ω_i (5)

其中ω_i表示子区域权重，根据

求得，l_i表示各个聚类中心离当前视场中心在移动方向上的距离，ρ_i表示聚类子区域的密度。

评估值δ最大的方向即为所求的下一最佳视场移动方向。

A5.1、以测量视场为中心，结合深度图像获得趋势面分析全局区域以及中心趋势线，从而确定出下一最佳测量系统的位姿。

具体过程为：

A5.2、于上述最佳视场移动方向的分析，采用在深度图像上，以当前视场中心(即图像中心)为原点，以最佳移动方向重叠视场大小为约束(取重叠区域比重τ＝10％，)，快速获得趋势面分析全场区域，利用深度图像像素与三维点云对应关系，获取趋势面拟合所需三维数据；

A5.3、采用其来拟合趋势面，数学模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y² (6)

其中a₀，a₁，a₂，a₃，a₄，a₅为待定的多项式系数，x、y为各个三维点的XY平面坐标值。通过回归分析，运用最小二乘法使得残差平方和最小，从而确定多项式系数。

A5.4、利用深度图像信息可以快速获得最佳移动方向上通过视场中心与聚类中心的三维点云数据，并拟合出空间平面，该平面与趋势面相交确定一条空间曲线，下一最佳测量位置应位于这条空间曲线上。设空间平面的方程为：

Ax+By+Cz+D＝0 (7)

其中A、B、C、D为空间平面拟合系数，x、y、z为各个三维点的三个坐标值。

A5.5、记当前测量中心点为P_A(x_A，y_A，z_A)，下一个测量中心轴与预测趋势面的交点为P_B(x_A，y_A，z_A)(即下一最佳测量视场中心)，两者之间的三维欧式距离为R_k。R_k根据测量系统视场大小以及需要的重叠区域确定，如图7所示。则点P_B可由以下方程组求出：

最佳测量系统方向应该垂直于待测平面，因此只要求出P_B点在趋势面上的法向，则测量系统轴向正好与趋势面法向相反。在法向方向上计算离点P_B为物距L的点P_P(x_p，y_p，z_p)，该点即为所求的下一最佳测量位置，参见图6、图7，物距为被测物体离测量系统的距离。重复上述过程对胡巴模型进行自动测量，通过6个最佳测量位置的测量可以获得较为完整的模型三维点云数据。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (4)

1.一种结构光视觉系统的下一最佳测量位姿确定方法，其特征在于，包括如下步骤：

A1、获取被测物体初始位置的深度图像和三维点云；

A2、通过深度图像获取被测物体的边缘，根据有效测量范围确定下一最佳位姿判定所需的区域；

A3、对区域内三维点云进行密度聚类，依据密度与三维形貌复杂程度关系，获得各个子区域的复杂系数；

A4、结合视场大小优化各个子区域权重，从而确定深度图上最佳移动方向；

A5、以测量视场为中心，结合深度图像获得趋势面，分析全局区域以及中心趋势线，从而确定出下一最佳测量位姿；该步骤具体包括如下：

A5.1、在深度图像上，以当前测量视场中心为原点，以最佳移动方向重叠视场大小为约束，快速获得趋势面分析全场区域，利用深度图像像素与三维点云对应关系，获取趋势面拟合所需三维数据；

A5.2、采用该三维数据来拟合趋势面，数学模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

其中a₀，a₁，a₂，a₃，a₄，a₅为多项式系数，x、y为各个三维点的XY平面坐标值；

A5.3、根据深度图像快速获得最佳移动方向上通过视场中心与聚类中心的三维点云数据，并拟合出空间平面，该平面与趋势面相交确定一条空间曲线，该空间平面的方程为：

Ax+By+Cz+D＝0

其中A、B、C、D为空间平面拟合系数，x、y、z为各个三维点的三个坐标值；

A5.4、记当前测量视场中心点为P_A(x_A，y_A，z_A)，下一个测量中心轴与预测趋势面的交点为P_B(x_B，y_B，z_B)即下一最佳测量视场中心，点P_B可由以下方程组求出：

R_k为P_A和P_B之间的三维欧式距离，求出P_B在趋势面上的法向，在该法向方向上计算离点P_B为物距L的点P_P(x_p，y_p，z_p)，该点P_P即为所述下一最佳测量位姿。

2.如权利要求1所述的一种结构光视觉系统的下一最佳测量位姿确定方法，其特征在于，所述A2包括如下：

首先，在深度图像上采用Canny算子边缘提取法快速识别出物体的边缘；再采用区域宽度t的计算方法确定所述区域，公式如下：

其中a为视场长度，b为视场宽度，

表示将面积转化为矩形平均宽度，S为有效测量区域面积，c为边缘区域面积与有效区域面积之比，k₁为轮廓修正系数，

l为有效测量区域长度。

3.如权利要求2所述的一种结构光视觉系统的下一最佳测量位姿确定方法，其特征在于，所述A3包括如下：设待聚类的点集为data＝{x₁，x₂，...，x_n}，令I_data＝{1，2，…，n}为相应的指标集，n为总点数，则点x_i的局部密度系数ρ_i即各个子区域的复杂系数计算公式为：

其中d_ij为点x_i和x_j之间的欧式距离，d_c为截断距离，设定

i与j属于I_data的下标，函数

4.如权利要求3所述的一种结构光视觉系统的下一最佳测量位姿确定方法，其特征在于，所述A4中，以当前测量视场中心与密度最大聚类中心的连线作为所述最佳移动方向，具体如下：当前视场中心与下一视场中心的距离为R，

其中，x为X轴坐标，k为两视场中心连线的斜率；

考虑各个区域权重引入评估值δ，评估值δ最大的方向即为所述最佳移动方向：

δ＝∑ω_i

其中ω_i表示子区域权重，根据

求得，l_i表示各个聚类中心离当前测量视场中心在移动方向上的距离。

Images