CN103714571A - 一种基于摄影测量的单像机三维重建方法 - Google Patents

Abstract

本发明公开了一种基于摄影测量的单像机三维重建方法，用于工业制造中零部件表面关键点的三维坐标重建，包括以下步骤：第一步，制备测量背景板；第二步，测量背景板三维数据；第三步，制备散斑特征；第四步，采集图像；第五步，编码标志点检测；第六步，求解像机内外参数；第七步，三维重建。本发明采用单像机实现工件表面轮廓的三维重建，设备成本较低，具有非接触测量、测量精度高等特点。

Description

一种基于摄影测量的单像机三维重建方法

技术领域

本发明涉及光学测量技术，特别涉及一种基于摄影测量的单像机三维重建方法。

背景技术

三维重建是近年来计算机视觉技术与计算机图形学技术相结合而产生的一门先进的光学测量技术，由两幅或多幅二维图像恢复出物体三维结构信息，它是透视成像的逆过程。三维重建在工业领域应用十分广泛，如制造业与逆向工程等。

现有基于计算机视觉的三维重建方法大致可分为二类：立体视觉方法和运动恢复结构(structure from motion)方法。其中立体视觉方法采用二个或多个摄像机，通过立体匹配求得视差，根据三角测量原理来恢复空间点的三维信息。而运动恢复结构的方法往往采用自标定技术，只需从单个摄像机拍摄的图像序列中即可直接恢复出摄像机运动和场景结构。但由于自标定的稳定性以及对场景的依赖等原因，目前基于运动恢复结构方法的三维重建精度还不高。在摄像机内部参数已知的情况下，运动恢复结构方法与立体视觉方法相比精度差的主要原因是摄像机外参数求解的精度较差。如果能够比较精确地求解出单目序列图像拍摄时摄像机的外参数，那么它也可以达到和传统立体视觉同样的精度。目前基于运动恢复结构方法的三维重建的缺点在于：(1)摄像机外参数求解的精度不高，并且受标定参考物制造精度的影响较大；(2)操作比较复杂。

发明内容

为了克服现有技术的不足，本发明提供了一种基于摄影测量的单像机三维重建方法，该方法仅需一个像机，可用于工业制造中零部件表面关键点的三维坐标重建。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于摄影测量的单像机三维重建方法，其特征在于，包括下述步骤：

第一步，制备测量背景板：在背景板表面设置若干个均匀分布的环形编码标志点，编码标志点带有环形的编码环，作为其ID识别标志；

第二步，测量背景板三维数据：采用高精度工业近景摄影测量系统，计算背景板表面编码标志点在预定坐标系下的三维空间坐标；

第三步，制备散斑特征：根据测量要求(测量幅面、像机分辨率等)在待测工件表面进行散斑特征制备，为重建待测工件表面三维轮廓做准备；

第四步，采集图像：将待测工件放置到背景板前方50～80mm处，采用单个像机拍摄不同视角的、同时包括被测件和背景板的两幅图像I₁和I₂；

第五步，检测编码标志点：对第四步采集的两幅图像I₁和I₂进行降噪预处理，然后识别和定位背景板上的编码标志点，获得它们的图像坐标，并检测每个编码标志点的ID编码值；

第六步，求解像机内外参数：采用像机标定方法获得像机的内参数，并根据第五步得到的编码标志点检测结果，采用摄影测量空间后方交会原理，求解得到像机的外参数R₁、t₁和R₂、t₂，以及像机在拍摄图像I₂时相对拍摄图像I₁时的旋转矩阵R_1,2和旋转向量t_1,2,

其中R，t为摄像机的外参数矩阵，分别定义摄像机在三维空间的姿态和位置；旋转矩阵R_1,2和旋转向量t_1,2分别为：

$R_{\mathrm{1,2}}=R_1{R}_2^{-1}---\left(1\right)$

$t_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2---\left(2\right)$

第七步，进行三维重建：首先，在图像的散斑区域，选定计算范围采用数字图像相关法进行图像相关匹配；然后，根据三角测量原理，以拍摄图像I₁时像机位置为原点建立坐标系，并结合第六步求解的旋转矩阵R_1,2和旋转向量t_1,2以及图像匹配结果，重建被测工件表面的三维轮廓信息。

本发明方法具有以下优点：

(1)由于本发明方法使用光学测量方式，是一种非接触测量方法。

(2)与传统的立体视觉方法相比，该方法只需要用一个相机，构建设备的成本较低。

(3)由于本发明方法简单易操作，操作技术要求不高。

(4)由于本发明方法中制备散斑特征工作简单，测量效率较高。

附图说明

图1本发明操作步骤流程图；

图2本发明方法背景板示意图；

图3本发明背景板三维数据测量结果显示；

图4本发明方法像机拍摄方位示意图；

图5像机在两个位置拍摄的图像；

图6本发明方法标准圆柱三维轮廓测量结果；

图7本发明方法圆柱点云拟合结果。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

本发明所需的硬件包括1个像机、1个背景板、编码标志点1套和计算机1台。本发明提出的基于摄影测量的单像机三维重建方法，具体操作步骤如图1所示。

第一步，制备测量背景板：在背景板表面设置若干个均匀分布的环形编码标志点；编码标志点带有环形的编码环，作为其ID识别标志。背景板可以使用一个长宽均为400mm的方形平板，其制备要求：表面尽可能平整，标志点离散布满整个表面，如图2所示。作为选择，也可以在平整的白色墙面上选定一块区域，直接粘贴若干个均匀分布的圆形编码标志点构建一个简单的背景板。

第二步，测量背景板三维数据：采用高精度工业近景摄影测量系统(也可以使用其它三坐标测量设备)，计算背景板表面编码标志点在预定坐标系下的三维空间坐标，如图3所示。一次测量结果可以多次使用。测量背景板三维数据属于现有技术。作为示例，可以使用文献“Exp1oitation ofphotogrammetry measurement system”(D.-h.Zhang，J.Liang，C.Guo，et a1.Optical Engineering，2010)中的具体测量流程。

第三步，制备散斑特征：根据测量要求(测量幅面、像机分辨率等)在待测工件表面进行散斑特征制备，为重建待测工件表面三维轮廓做准备。优选地，散斑特征制备要求：(a)散斑颗粒应随机分布；(b)散斑特征对比度应明显，即对比度大于预定阈值；(c)制备的散斑区域应大于待测区域。

第四步，采集图像：将待测工件放置到背景板前方50～80mm处，采用一个像机拍摄不同视角的、同时包括被测件和背景板的两幅图像I₁和I₂，像机的拍摄方位如图4所示。优选地，图像采集要求：(a)保证采集过程中光源稳定，采集的图像清晰度应大于预定阈值；(b)拍摄两幅图像时像机两个方位的相对视角在25～35°；(c)所采集的两幅图像中编码标志点的个数均不少于5个。本实施例采集的两幅图像如图5所示。

第五步，检测编码标志点：对第四步采集的两幅图像进行降噪预处理，然后识别和定位背景板上的编码标志点，获得它们的图像坐标，并检测每个编码标志点的ID编码值。

第六步，求解像机内外参数：采用像机标定方法获得像机的内参数A；并根据第五步得到的编码标志点检测结果，采用摄影测量空间后方交会原理，求解得到像机的外参数R₁、t₁和R₂、t₂，其中R，t为摄像机的外参数矩阵，又称为图像的外方位元素，它们分别定义了摄像机在三维空间的姿态和位置。进一步地，得到像机拍摄图像I₂时相对拍摄图像I₁时的旋转矩阵R_1,2和旋转向量t_1,2分别为：

$R_{\mathrm{1,2}}=R_1{R}_2^{-1}---\left(1\right)$

$t_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2---\left(2\right)$

其中，像机内参数标定方法属于现有技术，作为示例，本实施例中可以采用文献“大视场多像机视频测量系统的全局标定.”(胡浩，梁晋，唐正宗，等.光学精密工程，2012)所提出的像机标定方法。

第七步，进行三维重建：首先，在图像的散斑区域，选定计算范围采用数字图像相关法进行图像相关匹配；然后，根据三角测量原理，以拍摄图像I₁时像机位置为原点建立坐标系，并结合第六步求解的旋转矩阵R_1,2和旋转向量t_1,2以及图像匹配结果，重建被测工件表面的三维轮廓信息。

匹配完毕后，对于任意一个变形状态的左右两幅图像，采用如下式所示的成像模型进行三维重建，以被测表面某一待测点的三维坐标(X，Y，Z)计算为例：

$\left[\begin{array}{ccc}{a}_{11}-u_1{a}_{31}& a_{12}-u_1{a}_{32}& a_{13}-u_1{a}_{33}\\ a_{21}-v_1{a}_{31}& a_{22}-v_1{a}_{32}& a_{23}-v_1{a}_{33}\\ b_{11}-u_2{b}_{31}& b_{12}-u_2{b}_{32}& b_{13}-u_2{b}_{33}\\ b_{21}-v_2{b}_{31}& b_{22}-v_2{b}_{32}& b_{23}-v_2{b}_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{u}_1{a}_{34}-a_{14}\\ v_1{a}_{34}-a_{24}\\ u_2{a}_{34}-b_{14}\\ v_2{a}_{34}-b_{24}\end{array}\right]---\left(3\right)$

上式中，(X，Y，Z)为待测点的三维空间坐标，(u₁，v₁)为待测点在图像I₁中的像坐标，(u₂,v₂)为待测点在图像I₂中的像坐标，a_i,j，b_i,j分别为两幅图像投影矩阵M₁，M₂的元素。4个方程解算3个未知数，利用最小二乘法即可计算出最优解，从而得到被测表面所有待测点的三维空间坐标。

其中，投影钜阵根据标定得到的相机内、外参数确定：

$M_1=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\end{array}\right]=A\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]---\left(4\right)$

$M_2=\begin{array}{}\end{array}\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\end{array}\right]=A\left[\begin{array}{cc}{R}_{\mathrm{1,2}}& t_{\mathrm{1,2}}\end{array}\right]---\left(5\right)$

其中， $A=\left[\begin{array}{ccc}\mathrm{\α}& s& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right],$ 为像机内部参数矩阵，其中u₀，v₀是图像主点(光轴与图像平面的交点)坐标，α，β分别为X和Y方向上的采样频率，即单位长度的像素个数，s表示因图像坐标系的两个坐标轴由于之间不互相正交而引出的倾斜因子。

优选地，三维重建要求：计算三维重建的重投影误差，剔除误差超过预定阈值的点。

本发明使用一高精度标准圆柱体进行表面轮廓测量实验，用于测量精度的验证，该标准圆柱的标称直径为100.005mm。最终测得的标准圆柱表面点云如图6所示，将测得的点云导入到逆向工程软件Imageware进行拟合(图7)，得到圆柱体的直径为100.085mm，与标称值相比基本一致，相对误差小于0.1mm。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于摄影测量的单像机三维重建方法，用于工业制造中零部件表面关键点的三维坐标重建，所述方法包括以下步骤：

第一步，制备测量背景板：在背景板表面设置若干个均匀分布的环形编码标志点，编码标志点带有环形的编码环，作为其ID识别标志；

第二步，测量背景板三维数据：采用高精度工业近景摄影测量系统，计算背景板表面编码标志点在预定坐标系下的三维空间坐标；

第三步，制备散斑特征：根据测量要求(测量幅面、像机分辨率等)在待测工件表面进行散斑特征制备，为重建待测工件表面三维轮廓做准备；

第四步，采集图像：将待测工件放置到背景板前方50～80mm处，采用单个像机拍摄不同视角的、同时包括被测件和背景板的两幅图像I₁和I₂；

第五步，检测编码标志点：对第四步采集的两幅图像I₁和I₂进行降噪预处理，然后识别和定位背景板上的编码标志点，获得它们的图像坐标，并检测每个编码标志点的ID编码值；

第六步，求解像机内外参数：采用像机标定方法获得像机的内参数，并根据第五步得到的编码标志点检测结果，采用摄影测量空间后方交会原理，求解得到像机的外参数R₁、t₁和R₂、t₂，以及像机在拍摄图像I₂时相对拍摄图像I₁时的旋转矩阵R_1,2和旋转向量t_1,2,其中R，t为摄像机的外参数矩阵，分别定义摄像机在三维空间的姿态和位置，旋转矩阵R_1,2和旋转向量t_1,2分别为：

$R_{\mathrm{1,2}}=R_1{R}_2^{-1}$

$t_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2$

第七步，进行三维重建：首先，在图像的散斑区域，选定计算范围采用数字图像相关法进行图像相关匹配；然后，根据三角测量原理，以拍摄图像I₁时像机位置为原点建立坐标系，并结合第六步求解的旋转矩阵R_1,2和旋转向量t_1,2以及图像匹配结果，重建被测工件表面的三维轮廓信息。

2.如权利要求1所述的基于摄影测量的单像机三维重建方法，其中，所述第三步中制备的散斑特征满足：(a)散斑颗粒随机分布；(b)散斑特征对比度大于预定阈值；(c)制备的散斑区域大于待测区域。

3.如权利要求1所述的基于摄影测量的单像机三维重建方法，其中，所述第四步中采集的图像满足：(a)图像清晰度大于预定阈值；(b)优选的，拍摄图像I₁和I₂时像机两个方位的相对视角在25°～35°；(c)所采集的两幅图像I₁和I₂中编码标志点的个数均不少于5个。

4.如权利要求1所述的基于摄影测量的单像机三维重建方法，其中，所述第七步采用如下式所示的成像模型对被测工件表面的待测点(X，Y，z)进行重建：

$\left[\begin{array}{ccc}{a}_{11}-u_1{a}_{31}& a_{12}-u_1{a}_{32}& a_{13}-u_1{a}_{33}\\ a_{21}-v_1{a}_{31}& a_{22}-v_1{a}_{32}& a_{23}-v_1{a}_{33}\\ b_{11}-u_2{b}_{31}& b_{12}-u_2{b}_{32}& b_{13}-u_2{b}_{33}\\ b_{21}-v_2{b}_{31}& b_{22}-v_2{b}_{32}& b_{23}-v_2{b}_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{u}_1{a}_{34}-a_{14}\\ v_1{a}_{34}-a_{24}\\ u_2{a}_{34}-b_{14}\\ v_2{a}_{34}-b_{24}\end{array}\right]$

上式中，(X，Y，Z)为待测点的三维空间坐标，(u₁，v₁)为待测点在图像I₁中的像坐标，(u₂，v₂)为待测点在图像I₂中的像坐标，a_i,j，b_i,j分别为两幅图像I₁和I₂投影矩阵M₁，M₂的元素。

5.如权利要求4所述的基于摄影测量的单像机三维重建方法，其中，投影矩阵M₁，M₂如下：

$M_1=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\end{array}\right]=A\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$

$M_2=\begin{array}{}\end{array}\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\end{array}\right]=A\left[\begin{array}{cc}{R}_{\mathrm{1,2}}& t_{\mathrm{1,2}}\end{array}\right]$

其中， $A=\left[\begin{array}{ccc}\mathrm{\α}& s& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right],$ 为像机内部参数矩阵，其中u₀，v₀是图像主点，即光轴与图像平面的交点的坐标，α，β分别为X和Y方向上的采样频率，即单位长度的像素个数，s表示因图像坐标系的两个坐标轴之间不互相正交而引出的倾斜因子。

Images