CN111028280A - 井字结构光相机系统及进行目标有尺度三维重建的方法 - Google Patents

Abstract

本发明公开了一种井字结构光相机系统及进行目标有尺度三维重建的方法，属于计算机视觉领域；本发明系统将井字结构光发射器和单目工业相机相结合，可以重建出目标的有尺度三维点云；三维点云的重建主要包含以下步骤：1、井字结构光相机系统参数标定；2、井字标记的图像识别；3、尺度因子估计和优化；获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。

Description

井字结构光相机系统及进行目标有尺度三维重建的方法

技术领域

本发明涉及计算机视觉中的三维重建领域，具体涉及一种井字结构光相机系统及进行目标有尺度三维重建的方法。

背景技术

三维重建技术是计算机视觉中最为热门和经典的研究方向，其有多种多样的手段和方法，其中，单目多视图重建法在空间非合作目标远距离三维重建中得到了越来越广泛的应用，因为其设备简单、功耗低、不受基线限制、适用于远距离的重建，且重建的点云包含颜色、纹理信息，有利于后续的应用。

相机拍摄时获得的是目标物体或场景在特定角度下的二维图像，目标图像缺少真实的深度信息，所以利用单目重建仅仅可以获得归一化的三维模型，模型不能反应目标的真实大小。而缺少尺度的三维模型没有太大的应用价值，例如在远距离场景下得到非合作目标的归一化三维模型，在中距离场景下，无法利用归一化三维模型信息得到非合作目标的运动和位置信息。通常单目相机会配置更复杂的深度相机得到所需的尺寸信息，但是这些深度相机在远距离下同样无法有效工作。因此有必要找到一种结构简单、功耗低、体积小的设备，去获得远距离非合作目标的尺寸信息。

发明内容

为了获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小，本发明设计了一种井字结构光相机系统及进行目标有尺度三维重建的方法，可以得到具有真实尺寸的目标三维模型。

为了达到上述目的，本发明采用的技术方案是：

一种井字结构光相机系统，由一个工业相机和一个井字结构光发射器组合而成，所述工业相机和井字结构光发射器平行放置，井字结构光发射器由两个直流十字结构光发射器组装而成，其中每个直流十字结构光发射器照射目标都会在目标表面产生十字标记，两个直流十字结构光发射器的组装关系使得一起同时照射目标时，目标表面两个十字标记相互交叉会形成井字标记。

使用该系统进行目标有尺度三维重建的方法，其具体步骤如下：

步骤1：井字结构光相机系统参数标定：对井字结构光相机系统进行参数标定，确定井字结构光发射器在工业相机坐标系下的位置以及结构光光线的方向向量，在标定过程中固定好井字结构光相机系统，保持其空间位置不动，以标定板为辅助工具标定井字结构光相机系统，前后不断移动标定板，那么井字结构光会在标定板上投射出多个井字标记，拟合所有井字标记的左上方十字交叉点得到井字结构光光线的空间直线方程。

由于在标定过程中会受到标定板的精度、井字结构光相机系统震动的影响，求解的十字交叉点坐标容易出现较大误差，即出现局外点，本发明将最大互相关熵准则和空间直线的拟合相结合。具体结合方法为：

对于空间直线，其标准式方程为：

转化为：

设

那么空间直线表示为：

空间直线的误差形式为：

式中：i表示第i个十字交叉点，Z_i、XY_i表示第i个十字交叉点三维坐标形成的矩阵。所以目标函数为：

式中：θ＝[a b c d]，Z表示由i个Z_i组成的矩阵，XY表示由i个XY_i组成的矩阵。本发明利用最大互相关熵准则转换该目标函数为：

式中N表示十字交叉点的个数，e_j表示误差矩阵中的第j个元素。

σ表示高斯核带宽；通过不断地迭代求解该目标函数得到θ＝[a，b，c，d]^T的值，利用a，b，c，d的值得到直线的未知参数[x₀，y₀，z₀，A，B，C]，用公式

求得拟合直线与工业相机坐标系XOY平面的交点；交点坐标P_XOY和井字结构光光线的空间直线方向向量D_L＝[A，B，C]^T为井字结构光相机系统的参数标定结果；标定结果受外界影响小；

步骤2：井字标记的图像识别：井字标记图像识别的目的为得到十字交叉点的像素坐标，包括两个步骤：

1.候选区域的检测

井字标记的成像小，为了减小后续操作的时间复杂性，本发明首先进行候选区域的检测。井字标记在图像中亮度高且属于连通域，且结构光本身和汉字有一定的相似性，所以本发明利用字符检测常用的最大极值稳定区域算法进行候选区域检测，该算法能够检测出多个候选区域。算法具体使用方法为：用工业相机拍摄带有井字标记的目标，将拍摄得到的彩色图像转为灰度图像，作为最大极值稳定区域算法的输入，该算法的检测函数拟合不规则的区域为椭圆区域，所以本发明在使用该算法时根据井字标记的形状和大小对不符合条件的区域进行剔除处理：

(1)利用椭圆长短轴的长度剔除大小不合适的椭圆。

(2)椭圆离心率需要小于阈值，离心率较大，那么椭圆较为扁平，不符合井字区域的特征。

(3)为方便后续处理，得到椭圆区域的外接矩形框。计算两两矩形框的重叠率，并用二阶矩阵的形式表示，将重叠率小于阈值的位置设为零。将二阶矩阵转化为图，节点代表矩形框，所有非零重叠率的矩形框具有连接关系，然后利用图的连接分量将多个重叠的矩形框合并。

经过上述剔除处理，仅有少数的候选区域被保留；

2.井字标记的图像识别

对步骤2中1步骤得到的候选区域进行二值化处理，处理后的候选区域被定义为一个矩阵，每个元素的值为0或者1，由于井字标记有光晕，也就是井字标记中的直线会有宽度，采用Zhang-Suen细化算法对二值化后的候选区域进行细化处理，应用Zhang-Suen细化算法时，直接将二值化后的候选区域作为算法输入，输出为细化后的候选区域；

采用LSD直线检测算法检测井字标记中的四条直线：该算法具体使用方法为：将细化后的候选区域作为LSD直线检测算法输入，输出为一系列线段检测结果，为了得到井字标记的左上方十字交叉点坐标，本发明首先对LSD直线检测结果进行直线合并，并用井字的几何性质识别井字标记，几何性质描述为：

(1)井字标记有两组平行直线。

(2)对于某组平行直线中的一条直线，和另一组平行直线都垂直。

(3)井字标记的四个交叉点形成四边形，其长宽比确定。

利用几何性质能够识别图像中的井字标记，并且得到井字标记的左上方十字交叉点坐标。

步骤3：尺度因子估计与优化：

利用井字标记左上方十字交叉点在工业相机坐标系下的无尺度三维坐标以及有尺度三维坐标估计出尺度因子。井字标记左上方十字交叉点无尺度三维坐标的获得方法为：对步骤2中得到的井字标记左上方十字交叉点坐标，以其邻域为候选块，在下一位姿的图像中进行模板匹配，将十字交叉点像素坐标以及匹配块坐标加入特征点对中，使用单目多视图重建技术得到十字交叉点在工业相机坐标系下的无尺度三维坐标。

井字标记左上方十字交叉点有尺度三维坐标的获得方法为：井字标记的重建。具体为：将井字结构光照射到目标物体表面，利用步骤1得到井字结构光发射器在相机坐标系XOY平面的交点坐标P_XOY以及井字结构光光线的空间直线方程方向向量D_L，利用步骤2得到井字标记的左上方十字交叉点M在工业相机C中的像素点坐标m₁，那么光心线的方向向量D_C便确定，则根据三角测量的原理，利用光心线的方向向量D_C和井字结构光光线的方向向量D_L能够得到十字交叉点在对应相机坐标系下的真实三维坐标。

用井字结构光相机系统在不同的角度、不同的姿态下拍摄目标物体，在各个姿态下，分别得到井字标记左上方十字交叉点在各自相机坐标系下的有尺度三维坐标和无尺度三维坐标，能够得到多个尺度因子，由于误差的原因，这些尺度因子不尽相同，计算多个尺度因子的均值作为最终的全局尺度因子。

本发明利用光束法平差优化得到全局尺度因子：具体方法为：假设利用多个尺度因子的均值得到的全局尺度因子为k，那么将该全局尺度因子加入光束法平差，目标函数为：

式中：s为全局尺度因子的倒数，即s＝1/k；P为投影矩阵，P＝K[R|T]，其中K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵；m为重建三维点的总个数；n为图像的总个数；X′_j＝[X′_j，y′_j，z′_j]为重建出的第j个三维点的有尺度坐标；x_ij＝[u_ij，v_ij，1]表示第j个三维点在第i个图像上的真实像素坐标；v_ij表示如果第j个三维点在第i张图片有投影点则v_ij为1，否则v_ij为0。多次迭代最小化目标函数，当达到最小迭代误差或者到达最大迭代次数时输出最优参数，也就是最优尺度因子，获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。

本发明的有益效果如下：

本发明结构简单，使用单个工业相机和井字结构光发射器。工业相机具有稳定高效、采集图像快的特点，而且使用方便，用千兆规格的网线和电脑相连即可采集图像。同时井字结构光发射器组装简单，由于用直流十字结构光发射器照射目标可以在目标表面产生十字标记，将两个直流十字结构光发射器组装在一起同时照射目标，目标表面两个十字标记相互交叉能够形成井字标记，这样就组装成了一个井字结构光发射器。将井字标记作为检测对象，既易于和目标本身特征区分，又易于检测。

本发明不仅能够实现目标三维重建，而且重建结果具有较高精度的尺度信息，克服了用现有单目重建技术重建出的三维模型缺少尺度信息的缺陷。

标定井字结构光相机系统时，本发明将最大互相关熵准则和直线拟合相结合，能够准确拟合出结构光照射方向的直线方程，克服了传统直线拟合方法易受外点影响，鲁棒性差的缺陷。

计算尺度因子时，本发明利用光束法平差优化全局尺度因子，克服了尺度因子易受外点影响的缺陷，增强了鲁棒性。

附图说明

图1为本发明硬件结构图。

图2为有尺度重建关键步骤图。

图3为井字结构光标定原理图。

图4为井字标记图像识别步骤图。

图5为井字标记识别结果图。

图6为尺度因子估计和优化流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明的硬件结构图如图1所示，一种井字结构光相机系统由一个工业相机和一个井字结构光发射器组合而成，所述工业相机和井字结构光发射器平行放置，井字结构光发射器由两个直流十字结构光发射器组装而成，其中每个直流十字结构光发射器照射目标都会在目标表面产生十字标记，两个直流十字结构光发射器组装在一起同时照射目标，目标表面两个十字标记相互交叉会形成井字标记。

使用该系统进行有尺度三维重建步骤如图2所示，包含步骤如下：

步骤1：井字结构光相机参数标定；

步骤2：井字标记的图像识别；

步骤3：尺度因子估计与优化；

步骤1的具体实现步骤为：

井字结构光相机参数标定原理图如图3所示，固定好井字结构光相机系统，保持其空间位置不动，以标定板为辅助工具标定结构光相机系统，前后不断移动标定板，那么井字结构光会在标定板上投射出多个井字标记，拟合所有井字标记中的左上方十字交叉点得到井字结构光光线的空间直线方程。

由于在标定过程中会受到标定板的精度、井字结构光相机系统震动的影响，求解的十字交叉点坐标容易出现较大误差，即出现局外点，因此将最大互相关熵准则和空间直线的拟合相结合。具体使用方法为：

对于空间直线，其标准式方程为：

可转化为：

设

那么空间直线表示为：

空间直线的误差形式为：

式中：i表示第i个十字交叉点，Z_i、XY_i表示第i个十字交叉点三维坐标形成的矩阵。所以目标函数为：

式中：θ＝[a b c d]，Z表示由i个Z_i组成的矩阵，XY表示由i个XY_i组成的矩阵。本发明利用最大互相关熵准则转换该目标函数为：

式中N表示十字交叉点的个数，e_j表示误差矩阵中的第j个元素。

σ表示高斯核带宽；通过不断地迭代求解该目标函数得到θ＝[a，b，c，d]^T的值，利用a，b，c，d的值得到直线的未知参数[x₀，y₀，z₀，A，B，C]，用公式

求得拟合直线与工业相机坐标系XOY平面的交点；交点坐标P_XOY和井字结构光光线的空间直线方向向量D_L＝[A，B，C]^T为井字结构光相机系统的参数标定结果；标定结果受外界影响小；

步骤2的目的是为得到井字交叉点的像素坐标，井字标记识别过程如图4所示，包括两个步骤：

1.候选区域的检测

井字标记的成像小，为了减小后续操作的时间复杂性，本发明首先进行候选区域的检测。井字标记在图像中亮度高且属于连通域，且结构光本身和汉字有一定的相似性，所以本发明利用字符检测常用的最大极值稳定区域算法进行候选区域检测，该算法能够检测出多个候选区域。具体使用方法为：用工业相机拍摄带有井字标记的目标，将拍摄得到的彩色图像转为灰度图像，作为最大极值稳定区域算法的输入，该算法的检测函数拟合不规则的区域为椭圆区域，所以本发明在使用该算法时根据井字标记的形状和大小对不符合条件的区域进行剔除处理：

(1)利用椭圆长短轴的长度剔除大小不符合的椭圆。

(2)椭圆离心率需要小于阈值，离心率较大，那么椭圆较为扁平，不符合井字区域的特征。

(3)为方便后续处理，得到椭圆区域的外接矩形框。计算两两矩形框的重叠率，并用二阶矩阵的形式表示，将重叠率小于阈值的位置设为零。将二维矩阵转化为图，节点代表矩形框，所有非零重叠率的矩形框具有连接关系，然后利用图的连接分量将多个重叠的矩形框合并。

经过上述剔除处理步骤，仅有少数的候选区域被保留。

2.井字标记的图像识别

对步骤2中1步骤得到的候选区域进行二值化处理，处理后的候选区域被定义为一个矩阵，每个元素的值为0或者1，由于井字标记有光晕，也就是井字标记中的直线会有宽度，本发明采用Zhang-Suen细化算法对二值化后的候选区域进行细化处理，应用Zhang-Suen细化算法时，直接将二值化后的候选区域作为算法输入，输出为细化后的候选区域。

采用LSD直线检测算法检测井字标记中的四条直线。具体使用为：将细化后的候选区域作为LSD直线检测算法输入，输出为一系列线段检测结果，为了得到井字标记的左上方十字交叉点坐标，本发明首先对LSD直线检测结果进行直线合并，并用井字的几何性质识别井字标记，几何性质描述为：

(1)井字标记有两组平行直线。

(2)对于某组平行直线中的一条直线，和另一组平行直线都垂直。

(3)井字标记的四个交叉点形成四边形，其长宽比确定。

利用几何性质能够识别图像中的井字标记，并且得到井字标记的左上方十字交叉点坐标。

识别结果如图5所示。

步骤3的具体实现步骤为：

尺度因子估计流程如图6所示，利用井字标记左上方十字交叉点在工业相机坐标系下的无尺度三维坐标以及有尺度三维坐标估计出尺度因子。井字标记左上方十字交叉点无尺度三维坐标的获得方法为：对步骤2中得到的井字标记左上方十字交叉点坐标，以其邻域为候选块，在下一位姿的图像中进行模板匹配，将十字交叉点像素坐标以及匹配块坐标加入特征点对中，使用单目多视图重建技术得到十字交叉点在工业相机坐标系下的无尺度三维坐标。

井字标记左上方十字交叉点有尺度三维坐标的获得方法为：井字标记的重建。具体为：将井字结构光照射到目标物体表面，利用步骤1得到井字结构光发射器在相机坐标系XOY平面的交点坐标P_XOY以及井字结构光光线的空间直线方程方向向量D_L，利用步骤2得到井字标记的左上方十字交叉点M在工业相机C中的像素点坐标m₁，那么光心线的方向向量D_C便确定，则根据三角测量的原理，利用光心线的方向向量D_C和井字结构光光线的方向向量D_L能够得到十字交叉点在对应相机坐标系下的真实三维坐标。

用井字结构光相机系统在不同的角度、不同的姿态下拍摄目标物体，在各个姿态下，分别得到井字标记左上方十字交叉点在各自相机坐标系下的有尺度三维坐标和无尺度三维坐标，能够得到多个尺度因子，由于误差的原因，这些尺度因子不尽相同，计算多个尺度因子的均值作为最终的全局尺度因子。

本发明利用光束法平差优化得到全局尺度因子。具体方法为：假设利用多个尺度因子的均值得到的全局尺度因子为k，那么将该全局尺度因子加入光束法平差，目标函数为：

式中：s为全局尺度因子的倒数，即s＝1/k；P为投影矩阵，P＝K[R|T]，其中K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵；m为重建三维点的总个数；n为图像的总个数；X′_j＝[X′_j，y′_j，z′_j]为重建出的第j个三维点的有尺度坐标；x_ij＝[u_ij，v_ij，1]表示第j个三维点在第i个图像上的真实像素坐标；v_ij表示如果第j个三维点在第i张图片有投影点则v_ij为1，否则v_ij为0。多次迭代最小化目标函数，当达到最小迭代误差或者到达最大迭代次数时输出最优参数，也就是最优尺度因子，获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。

Claims (2)

1.一种井字结构光相机系统，其特征在于：由一个工业相机和一个井字结构光发射器组合而成，所述工业相机和井字结构光发射器平行放置，井字结构光发射器由两个直流十字结构光发射器组装而成，其中每个直流十字结构光发射器照射目标都会在目标表面产生十字标记，两个直流十字结构光发射器的组装关系使得一起同时照射目标时，目标表面两个十字标记相互交叉形成井字标记。

2.权利要求1的井字结构光相机系统进行目标有尺度三维重建的方法，其特征在于：具体步骤如下：

步骤1：井字结构光相机系统参数标定：对井字结构光相机系统进行参数标定，确定井字结构光发射器在工业相机坐标系下的位置以及结构光光线的方向向量，在标定过程中固定好井字结构光相机系统，保持其空间位置不动，以标定板为辅助工具标定井字结构光相机系统，前后不断移动标定板，那么井字结构光会在标定板上投射出多个井字标记，拟合所有井字标记的左上方十字交叉点得到井字结构光光线的空间直线方程；

由于在标定过程中会受到标定板的精度、井字结构光相机系统震动的影响，求解的十字交叉点坐标容易出现较大误差，即出现局外点，因此将最大互相关熵准则和空间直线的拟合相结合；具体结合方法为：

对于空间直线，其标准式方程为：

转化为：

设

那么空间直线表示为：

空间直线的误差形式为：

式中：i表示第i个十字交叉点，Z_i、XY_i表示第i个十字交叉点三维坐标形成的矩阵；所以目标函数为：

式中：θ＝[a b c d],Z表示由i个Z_i组成的矩阵，XY表示由i个XY_i组成的矩阵；利用最大互相关熵准则转换该目标函数为：

式中N表示十字交叉点的个数，e_j表示误差矩阵中的第j个元素，σ表示高斯核带宽；通过不断地迭代求解该目标函数得到θ＝[a,b,c,d]^T的值，利用a,b,c,d的值得到直线的未知参数[x₀,y₀,z₀,A,B,C]，用公式

求得拟合直线与工业相机坐标系XOY平面的交点；交点坐标P_XOY和井字结构光光线的空间直线方向向量D_L＝[A,B,C]^T为井字结构光相机系统的参数标定结果；标定结果受外界影响小；

步骤2：井字标记的图像识别：井字标记图像识别的目的为得到十字交叉点的像素坐标，包括两个步骤：

1.候选区域的检测

井字标记的成像小，为了减小后续操作的时间复杂性，首先进行候选区域的检测；井字标记在图像中亮度高且属于连通域，且结构光本身和汉字有一定的相似性，所以利用字符检测常用的最大极值稳定区域算法进行候选区域检测，该算法能够检测出多个候选区域；算法具体使用方法为：用工业相机拍摄带有井字标记的目标，将拍摄得到的彩色图像转为灰度图像，作为最大极值稳定区域算法的输入，该算法的检测函数拟合不规则的区域为椭圆区域，所以在使用该算法时根据井字标记的形状和大小对不符合条件的区域进行剔除处理：

(1)利用椭圆长短轴的长度剔除大小不合适的椭圆；

(2)椭圆离心率需要小于阈值，离心率较大，那么椭圆较为扁平，不符合井字区域的特征；

(3)为方便后续处理，得到椭圆区域的外接矩形框；计算两两矩形框的重叠率，并用二阶矩阵的形式表示，将重叠率小于阈值的位置设为零；将二阶矩阵转化为图，节点代表矩形框，所有非零重叠率的矩形框具有连接关系，然后利用图的连接分量将多个重叠的矩形框合并；

经过上述剔除处理，仅有少数的候选区域被保留；

2.井字标记的图像识别

对步骤2中1步骤得到的候选区域进行二值化处理，处理后的候选区域被定义为一个矩阵，每个元素的值为0或者1，由于井字标记有光晕，也就是井字标记中的直线会有宽度，采用Zhang-Suen细化算法对二值化后的候选区域进行细化处理，应用Zhang-Suen细化算法时，直接将二值化后的候选区域作为算法输入，输出为细化后的候选区域；

采用LSD直线检测算法检测井字标记中的四条直线；该算法具体使用方法为：将细化后的候选区域作为LSD直线检测算法输入，输出为一系列线段检测结果，为了得到井字标记的左上方十字交叉点坐标，首先对LSD直线检测结果进行直线合并，并用井字的几何性质识别井字标记，几何性质描述为：

(1)井字标记有两组平行直线；

(2)对于某组平行直线中的一条直线，和另一组平行直线都垂直；

(3)井字标记的四个交叉点形成四边形，其长宽比确定；

利用几何性质能够识别图像中的井字标记，并且得到井字标记的左上方十字交叉点坐标；

步骤3：尺度因子估计与优化

利用井字标记左上方十字交叉点在工业相机坐标系下的无尺度三维坐标以及有尺度三维坐标估计出尺度因子；井字标记左上方十字交叉点无尺度三维坐标的获得方法为：对步骤2中得到的井字标记左上方十字交叉点坐标，以其邻域为候选块，在下一位姿的图像中进行模板匹配，将十字交叉点像素坐标以及匹配块坐标加入特征点对中，使用单目多视图重建技术得到十字交叉点在工业相机坐标系下的无尺度三维坐标；

井字标记左上方十字交叉点有尺度三维坐标的获得方法为：井字标记的重建；具体为：将井字结构光照射到目标物体表面，利用步骤1得到井字结构光发射器在工业相机坐标系XOY平面的交点坐标P_XOY以及井字结构光光线的空间直线方程方向向量D_L，利用步骤2得到井字标记的左上方十字交叉点M在工业相机C中的像素点坐标m₁，那么光心线的方向向量D_C便确定，则根据三角测量的原理，利用光心线的方向向量D_C和井字结构光光线的方向向量D_L能够得到十字交叉点在对应相机坐标系下的真实三维坐标；

用井字结构光相机系统在不同的角度、不同的姿态下拍摄目标物体，在各个姿态下，分别得到井字标记左上方十字交叉点在各自相机坐标系下的有尺度三维坐标和无尺度三维坐标，能够得到多个尺度因子，由于误差的原因，这些尺度因子不尽相同，计算多个尺度因子的均值作为最终的全局尺度因子；

利用光束法平差优化得到的全局尺度因子；具体方法为：

假设利用多个尺度因子的均值得到的全局尺度因子为k,那么将该全局尺度因子加入光束法平差，目标函数为：

式中：s为全局尺度因子的倒数，即s＝1/k；P为投影矩阵，P＝K[R|T]，其中K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵；m为重建三维点的总个数；n为图像的总个数；X′_j＝[X′_j,y′_j,z′_j]为重建出的第j个三维点的有尺度坐标；x_ij＝[u_ij,v_ij,1]表示第j个三维点在第i个图像上的真实像素坐标；v_ij表示如果第j个三维点在第i张图片有投影点则v_ij为1，否则v_ij为0；多次迭代最小化目标函数，当达到最小迭代误差或者到达最大迭代次数时输出最优参数，也就是最优尺度因子，获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。

Images