CN109377562B - 一种自动三维测量的视点规划方法 - Google Patents

Abstract

本发明公开了一种自动三维测量的视点规划方法，属于计算机视觉领域，针对小型未知模型物体的自动化测量问题，提出了结合二维深度图像和趋势面分析的视点规划方法；该方法通过二维深度图像划分当前视角下的点云数据，利用深度图像与三维点云的对应关系获得区域数据，并对各个区域分别采用趋势面分析的方法预估未知曲面的趋势，以拟合误差为依据确定下一最优视点在当前视角下的方向；通过深度图像获取最优方向上测量位置曲线，结合视点约束条件，确定出传感器(测量系统)下一最佳测量空间位置。

Description

一种自动三维测量的视点规划方法

技术领域

本发明涉及属于计算机视觉技术领域，涉及基于面结构光的自动三维测量方法，特别是对未知模型物体自动测量的视点规划方法。

背景技术

随着计算机科学技术的快速发展，结构光三维测量因速度快、成本低、精度较好等优势在众多领域得到了广泛的应用。但由于系统测量视场范围有限、复杂物体自身遮挡等原因，单次测量难以获得物体完整的形貌，需要从不同角度、多次测量并拼合不同才能获得完整的物体数据。对于复杂的测量对象，通常需要进行几十次甚至多达千次的测量。目前，大部分测量都是通过单视角自动测量、人工观测判断、移动设备或物体到下一合适位置再测量、自动拼接、重复测量直至完成物体的整体测量。该过程耗时、费工，测量质量无法保证。因此实现物体自动三维测量具有十分重要的意义。本发明旨在解决小型未知模型物体自动三维测量的视点规划问题。

根据被测对象的模型是否已知，将视点规划分为已知模型的视点规划和未知模型的视点规划。已知模型的视点规划方法基于被测物体的CAD模型展开，在已知模型的条件下规划视点测量的次序和位置，保证视点轨迹和测量位置最佳。而未知模型的视点规划则是分析当前测量已经获取的三维信息，通过一定的判断准则，预估下一个最佳的测量方位，逐步完成整个物体的测量。而对未知模型的视点规划是当前亟待解决的问题。Kriegel在其博士学位论文“Autonomous 3D modeling of unknown objects for active sceneexploration”基于在部分已测的数据中检测未匹配的边缘，分析识别其边界并将其分为左、右、底部和顶部四组。检测到边界边缘时，采用趋势面分析计算邻近二次曲面，对曲面的表达式求导可计算表面法矢，从而确定后续测量的方向。根据设置的重叠大小约束确定传感器移动的远近，下一次测量的实际中心位于距边界边缘的限定距离处。张世辉等在学术期刊《计算机学报》2015，38(12)，P2450-2463“基于深度图像利用遮挡信息确定下一最佳观测方位”中从消除被测物体的自遮挡区域入手，确定下一最优视点。在二维深度图像中识别已测得数据中的自遮挡区域，计算可消除自遮挡区域的视点，并结合遮挡区域的向量和面积构建下一最佳观测方位的模型。随后利用梯度下降法寻优求得模型的最优解确定下一最优视点。

综上所述，虽然目前对未知模型物体的自动三维测量已有所研究，取得了一定成果，但资料报道并不多，涉及的关键技术亟待进一步研究。

发明内容

本发明的目的在于克服现有技术之不足，提出对小型未知模型物体三维测量视点规划的方法，以实现自动三维测量。

本发明解决其技术问题所采用的技术方案是：

一种自动三维测量的视点规划方法，通过二维深度图像划分当前视角下的点云数据，各个区域中分别对三维点云采用趋势面分析的方法预估未知曲面的趋势，并根据趋势面分析结果确定下一最优视点在当前视角下的方向；通过深度图像获取最优方向上已知测量点云数据，通过拟合曲线并结合设定的视点下一最优视点的约束条件，确定出传感器(面结构光测量系统)下一最佳观测测量的空间位置。

具体的，所述视点规划方法包括：

A1、通过传感器获得初始状态下物体的点云数据，同时生成相应的二维深度图像；

A2、根据测量原理，建立图像像素与三维点云的对应关系，通过包围盒算法查找深度图像中的物体，以包围盒的中心位置为中心，将图像中被测物体分为八个区域直接作为候选的传感器移动方向；

A3、分别对所划分的八个区域的三维点云数据采用二次多项式进行趋势面分析，将趋势面拟合误差最小方向定为最佳方向，即传感器下一移动的方向；

A4、根据趋势面分析所得的结果，结合前后两个视角测量数据所需的重叠约束和传感器视场大小约束确定移动的距离。

优选的，步骤A2中区域划分的方法为：通过包围盒方法确定当前视角测量数据的深度图像中物体的区域，直接基于深度图像对区域进行划分。

优选的，步骤A3中采用二次多项式对每个区域进行趋势面分析的方法具体如下：

令二次趋势面模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

其中，a₀,a₁,…,a₅为待定的多项式系数，对于该区域的点云数据P_i(x_i,y_i,z_i)，i＝1,2,…,N；

记：

其中，X为多项式变量组成的矩阵，Z为已知曲面样本实际观测值所组成的矩阵，A为所求的待定系数组成的矩阵；根据最小二乘拟合，各矩阵之间的关系为：

X^TXA＝X^TZ

即:

最终获得的待定系数矩阵为：

A＝(X^TX)^-1X^TZ。

优选的，步骤A4中根据重叠约束和传感器视场大小约束确定移动的距离，具体包括：

A41、沿传感器移动方向提取深度图像点，得到图像上的一条直线，获得该直线所对应的点云数据则是一段空间曲线；

A42、利用最小二乘拟合出该通过该空间曲线的平面表达式方法为：

平面方程的表达式如下：

记：

则：

z＝a₀x+a₁y+a₂

假设对于提取的n(n≥3)个角点其坐标值为

(x_i,y_i,z_i),i＝0,1,…,n-1

采用最小二乘法拟合平面方程，则方程系数应使下式取得最小值：

要使得S取值最小，应满足S对各系数导数为0，即：

进一步的，如下：

整理得：

表示成矩阵方程形式为：

求解上述线形性方程组，得：a₀、a₁和a₂，即得到所拟合平面方程；

A43、在深度图像上沿传感器移动反方向设置一点A，点A到边界距离为d，d根据重叠区域大小要求决定；下一个视角摄像机视线与预估表面的交点C到点A的三维欧氏距离限定为R，距离R根据传感器视场大小确定；空间中应满足如下方程式：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

A44、根据上述可得如下非线性方程组：

利用牛顿迭代法，解非线性方程组：

设

令

则Jacobi矩阵为：

牛顿迭代公式为：

将其展开得：

本发明与现有相关技术相比，具有以下优点：

(1)本发明根据深度图像直接划分区域，具有计算量小、效率高的优点；

(2)本发明利用深度图像获得最优方向上的空间曲线，结合整体趋势面获得下一视点空间方向，效率高；

(3)本发明结合视场大小与重叠区域要求，获取下一最优视点的空间位置，完成下一最优视点的确定，以获得完整的三维模型。

以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种自动三维测量的视点规划方法不局限于实施例。

附图说明

图1是本发明的流程图；

图2是本发明结构光双目视觉系统布置图；

图3是本发明对深度图像区域划分方式；

图4是本发明下一最优视点结构示意图；

图5是本发明深度图像按移动方向提取出的直线；

图6是本发明深度图像上直线所对应的空间曲线。

具体实施方式

本发明实施例的传感器以结构光双目视觉测量系统为例进行测量，整体过程流程图参见图1所示，具体步骤如下：

A1、通过结构光测量系统获得初始状态下物体的点云数据，同时生成相应的二维深度图像；

结构光双目视觉系统采用两个工业相机和一个数字投影仪组成。测量方式基于双目视差原理，采用格雷码与相移光栅相结合的方法进行立体匹配。可测量区域为左摄像机视场、投影仪在物体上投射区域以及右摄像机视场所包含的公共区域。为增大公共区域，双目测量系统采用如图2所示的方式布置。

A2、采用索引法检测并滤除离群点，即设置点在空间中的搜索半径为R，同时设置一个阈值M。对于每一个空间点Pi，搜索其在半径为R的空间中近邻点，记近邻点个数为n。判断若n<M，则点Pi为离群点，在点云数据中将该点删除；

参见图3所示，通过包围盒算法查找二维深度图像中的物体，以包围盒的中心位置为中心，将图像中被测物体分为八个区域。传感器初始位置人为选定，将向未知区域均分为八个方向作为候选的传感器(面结构光测量系统)移动方向，传感器的移动方向从这八个方向选取，这八个方向对应着已知表面的八个区域；

A3、分别对所划分的八个区域采用二次多项式进行趋势面分析，将趋势面表达式拟合程度最佳的方向确定为传感器移动的方向；

假设二次趋势面模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

其中，a0,a1...a4,a5为待定的多项式系数。对于该区域的点云数据Pi(xi,yi,zi)，i＝1,2,....N。

记：

其中，X为多项式变量组成的矩阵，Z为已知曲面样本实际观测值所组成的矩阵，A为所求的待定系数组成的矩阵。根据最小二乘拟合，各矩阵之间的关系为：

X^TXA＝X^TZ

即:

最终所求的待定系数矩阵为：

A＝(X^TX)^-1X^TZ

A4、根据趋势面分析所得的趋势面表达式，结合前后两个视角测量数据所需的重叠约束和面结构光测量系统视场大小约束确定移动的距离，结果参见图4所示，并将面结构光测量系统移动到对应的位置上；具体包括：

A41、延沿传感器移动方向提取深度图像点，得到图像上的一条直线，参见图5所示，该直线所对应的点云数据则是一段空间曲线，参见图6所示；

A42、利用最小二乘拟合出该通过该空间曲线的平面表达式方法为：

平面方程的一般表达式为：

记：

则：

z＝a₀x+a₁y+a₂

假设对于提取的n(n≥3)个角点其坐标值为：

(x_i,y_i,z_i),i＝0,1,…,n-1

采用最小二乘法拟合平面方程，则方程系数应使得下式取得最小值：

要使得S取值最小，应满足S对各系数导数为0，即：

即：

整理得：

表示成矩阵方程形式为：

求解上述线形性方程组，得：a₀、a₁和a₂，即得到所拟合平面方程。

A43、在深度图像上沿传感器移动反方向设置一点A，点A到边界距离为d。下一个视角摄像机视线与预估表面的交点C到点A的三维欧氏距离限定为R。距离R根据测量系统视场大小确定。空间中应满足如下方程式：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

A44、根据上述可得如下非线性方程组：

利用牛顿迭代法，解非线性方程组。设：

令

则Jacobi矩阵为：

牛顿迭代公式为：

将其展开得：

A45、测量系统获取新视点下物体点云数据以及相应的二维深度图像，通过旋转和平移将新获取的点云数据变换到初始坐标系上，完成前后点云数据的拼合；

A46、判断被测物体是否测量完整，若测量完整则结束测量过程，否则转到步骤2。

以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种自动三维测量的视点规划方法，其特征在于，包括：

A1、通过传感器获得初始状态下物体的点云数据，同时生成相应的二维深度图像；

A2、根据测量原理，建立图像像素与三维点云的对应关系，通过包围盒算法查找深度图像中的物体，以包围盒的中心位置为中心，将图像中被测物体分为八个区域直接作为候选的传感器移动方向；

A3、分别对所划分的八个区域的三维点云数据采用二次多项式进行趋势面分析，将趋势面拟合误差最小方向定为最佳方向，即传感器下一移动的方向；

A4、根据趋势面分析所得的结果，结合前后两个视角测量数据所需的重叠约束和传感器视场大小约束确定移动的距离，包括：

A41、沿传感器移动方向提取深度图像点，得到图像上的一条直线，获得该直线所对应的点云数据空间曲线；

A42、利用最小二乘法拟合出该通过该空间曲线的平面表达式；

A43、在深度图像上沿传感器移动反方向设置一点A’，点A’到边界距离为d，d根据重叠区域大小要求决定；下一个视角摄像机视线与预估表面的交点C’到点A’的三维欧氏距离限定为R，距离R根据测传感器视场大小确定；空间中满足如下方程式：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²

其中，x₀、y₀、z₀为提取的角点坐标值；

A44、根据上述方程式得到非线性方程组，利用牛顿迭代法解非线性方程组；

A45、测量系统获取新视点下物体点云数据以及相应的二维深度图像，通过旋转和平移将新获取的点云数据变换到初始坐标系上，完成前后点云数据的拼合；

A46、判断被测物体是否测量完整，若测量完整则结束测量过程，否则转到步骤A2。

2.根据权利要求1所述的自动三维测量的视点规划方法，其特征在于，步骤A2中区域划分的方法为：通过包围盒方法确定当前视角测量数据的深度图像中物体的区域，直接基于深度图像对区域进行划分。

3.根据权利要求1所述的自动三维测量的视点规划方法，其特征在于，步骤A3中采用二次多项式对每个区域进行趋势面分析的方法具体如下：

令二次趋势面模型为：

z＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

其中a₀,a₁,…,a₅为待定的多项式系数，对于该区域的点云数据P_i(x_i,y_i,z_i)，i＝1,2,…,n；

记：

其中，X为多项式变量组成的矩阵，Z为已知曲面样本实际观测值所组成的矩阵，A为所求的待定系数组成的矩阵；根据最小二乘拟合，各矩阵之间的关系为：

X^TXA＝X^TZ

即:

最终获得的待定系数矩阵为：

A＝(X^TX)^-1X^TZ。

4.根据权利要求1所述的自动三维测量的视点规划方法，其特征在于，步骤A42具体包括：

A42、利用最小二乘法拟合出通过该空间曲线的平面表达式方法为：

平面方程的表达式如下：

记：

则：

z＝a₀x+a₁y+a₂

对于提取的n个角点其坐标值为

(x_i,y_i,z_i),i＝0,1,…,n-1

其中，n≥3；

采用最小二乘法拟合平面方程，则方程系数应使下式取得最小值：

要使得S取值最小，应满足S对各系数导数为0，即：

进一步的，如下：

整理得：

表示成矩阵方程形式为：

求解线性方程组，得：a₀、a₁和a₂，即得到所拟合平面方程；

步骤A44具体包括：

A44、根据方程式得到如下非线性方程组：

利用牛顿迭代法，解非线性方程组：

设

令

则Jacobi矩阵为：

牛顿迭代公式为：

将其展开得：

Images