CN105654547A - 三维重建方法 - Google Patents

Abstract

本发明提供了一种三维重建方法，包括：对排列在不同空间位置处的至少2个相机采集单元中的每个相机采集单元采集到的同一对象的图像进行特征点提取；以及针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值。基于该深度值，可以通过计算而非估计确定整个物体在每个相机采集单元中的深度范围，并将此深度范围作为后续基于匹配代价空间构建的(双)多视重建方法的深度搜索范围，达到更好的重建效果。

Description

三维重建方法

技术领域

本发明属于三维采集、重建领域，具体涉及一种三维重建方法。更具体地，本发明涉及一种基于准确深度范围预测的非接触三维重建方法。

背景技术

三维重建技术按照重建方法可以分为基于光场采集和基于图像采集的三维重建技术，其中前者通过记录光源发出的光线经过被采集对象表面漫反射进入采集装置的方向信息(s，t)和在采集装置镜头上成像的位置信息(x，y)，以复原被采集对象表面光场的形式进行重建；后者通过每个相机在空间中的相互位置关系，将被采集对象上的点在不同相机采集到的图像上的位置匹配起来计算出该点到采集单元镜头的距离(z)，再结合其在二维图像上的位置(x，y)得到该点空间中的三维位置信息(x，y，z)。传统的重建算法只使用对象上的特征点按照上述方法进行重建，则重建结果只包含这些点的深度信息，整个三维模型比较稀疏，重建结果的应用会受到影响；而近年来类似DTAM(DenseTrackingandMapping)的稠密重建算法对图像上包括特征点在内的所有的像素点进行匹配，并通过预设的深度范围和范围内每个深度对应的匹配差异建立每个像素点的匹配差异的代价空间，并建立目标函数全局优化出使每个点匹配差异达到最小时的深度作为该点的实际深度值，继而计算出该点的三维坐标完成重建。

相比于传统的重建方法，稠密重建算法并不完全依赖特征点，而是通过深度值范围和目标函数的合理选取充分利用图像中所有像素参与重建，得到的点云稠密的三维重建模型也可以应用在更多的领域。但是，当深度范围与被采集对象实际离镜头距离偏差较大时，会对该点的代价空间计算造成影响，导致最终重建结果与实际不符。

发明内容

本发明主要针对上述稠密三维重建方法的深度搜索范围选择问题，设计出一种基于准确深度范围预测的非接触三维重建方法，通过若干个(至少2个)在空间中任意排列的相机采集单元，对各自视场内的被采集对象表面进行采集，将数据传回图形工作站后进行三维重建，得到与被采集对象真实物理尺寸一致的数字模型。本发明中相机采集单元之间的位置在采集图像时相对固定，因此可以通过棋盘格标定板预先获取这些相机采集单元镜头的内参数以及它们之间的外参数；通过每个相机采集单元采集到的图像先通过提取特征点的方法计算出其离各个采集单元镜头中心的距离，再根据这些距离给出深度搜索范围。基于该深度搜索范围，可以使用基于全局优化的三维重建算法得到稠密三维点云数据。

本发明提供了一种三维重建方法，包括：对排列在不同空间位置处的至少2个相机采集单元中的每个相机采集单元采集到的同一对象的图像进行特征点提取；以及针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值。

可选地，使用Harris角点检测法、SIFT角点检测法、或Fast-Corner角点检测法进行特征点提取。

可选地，使用张正友的基于黑白棋盘格标定板的标定方法来标定每个相机采集单元的内参数K_i和外参数rt_i，所述内参数K_i和外参数rt_i分别通过以下两式表示：

$K_i=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]$

${\mathrm{rt}}_i=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}{r}_i& t_i\\ 0& 1\end{array}\right]$

其中：

i是相机采集单元的编号；

第i个相机采集单元内参数K_i中分别为该相机采集单元在x、y方向上的焦距；分别为该相机采集单元主点和成像芯片中心在x、y方向上的偏移，其中主点指该相机采集单元主光轴和成像面的交点，其中x、y方向分别为该相机采集单元图像的水平和垂直方向；

第i个相机采集单元外参数rt_i中的3*3矩阵r_i表示该相机采集单元相对于标定板上特定参照点的旋转程度，rt_i中的3*1矩阵t_i表示该相机采集单元相对于标定板上相同参照点的偏移程度。

可选地，采集图像坐标系是以图像中心为原点，以图像平面构成的二维坐标系；相机采集单元坐标系是以相机采集单元主点为坐标原点，以成像平面上的平面以及与该平面垂直的光轴构成的右手三维坐标系，特征点在相机采集单元坐标系中的深度值是该特征点与相应成像平面的垂直距离。

可选地，针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值包括：

定义：

$RT={\mathrm{rt}}_i\·{\mathrm{rt}}_{ref}^{-1}=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]\·{\left[\begin{array}{cccc}{r}_{x{0}_{ref}}& r_{y{0}_{ref}}& r_{z{0}_{ref}}& t_{x_{ref}}\\ r_{x{1}_{ref}}& r_{y{1}_{ref}}& r_{z{1}_{ref}}& t_{y_{ref}}\\ r_{x{2}_{ref}}& r_{y{2}_{ref}}& r_{z{2}_{ref}}& t_{z_{ref}}\\ 0& 0& 0& 1\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\\ 0& 0& 0& 1\end{array}\right]$

定义：

$DRT=K_i\⊗RT=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{KRT}}_{00}& {\mathrm{KRT}}_{01}& {\mathrm{KRT}}_{02}& {\mathrm{KRT}}_{03}\\ {\mathrm{KRT}}_{10}& {\mathrm{KRT}}_{11}& {\mathrm{KRT}}_{12}& {\mathrm{KRT}}_{13}\\ {\mathrm{KRT}}_{20}& {\mathrm{KRT}}_{21}& {\mathrm{KRT}}_{22}& {\mathrm{KRT}}_{23}\end{array}\right]$

其中：ref是相机采集单元的编号，i≠ref；

针对每个包括第ref个相机采集单元和第i个相机采集单元的相机采集单元对，求解：

$\left\{\begin{array}{c}{Z}_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\·u_i+{\mathrm{KRT}}_{03}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\·{\mathrm{KRT}}_{00}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\·{\mathrm{KRT}}_{01}-{\mathrm{KRT}}_{02}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\·{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\·{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\·u_i}\\ Z_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\·v_i+{\mathrm{KRT}}_{13}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\·{\mathrm{KRT}}_{10}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\·{\mathrm{KRT}}_{11}-{\mathrm{KRT}}_{12}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\·{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\·{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\·v_i}\end{array}\right.$

其中：u_ref和v_ref分别是该特征点在第ref个相机采集单元的采集图像坐标系中的坐标，u_i和v_i分别是该特征点在第i个相机采集单元的采集图像坐标系中的坐标；以及

将求解得到的该特征点的所有Z_cref值，根据最小二乘法得到该特征点在第ref个相机采集单元坐标系中的深度值。

可选地，针对每个相机采集单元，根据整个对象的所有P个特征点在该相机采集单元坐标系中的深度值确定整个对象在该相机采集单元坐标系中的深度范围 $d_{\min }=Min\left(Z_{{\mathrm{cref}}_j}\right),d_{\max }=Max\left(Z_{{\mathrm{cref}}_j}\right),(0<j\&le;P),$ 将此深度范围作为后续基于匹配代价空间构建的双/多视重建方法的深度搜索范围。

本发明还提供了一种三维重建系统。

附图说明

图1为本发明实施例中使用的相机阵列采集装置俯视图。

图2为本发明实施例中被采集对象表面特征点在不同相机采集单元中成像示意图。

图3为本发明实施例中深度范围选取示意图。

具体实施方式

下面对本发明的实施例做详细说明，给出了详细的实施方式和具体的计算流程，但本发明的保护范围不限于下述的实施例。

1.三维重建系统硬件设计：以图1所示一种包含5个相机采集单元的相机采集阵列101为例说明本发明中给出的系统硬件设计：相机采集阵列101中自左向右排列相机采集单元102、104、106、108、110，其对应镜头分别为103、105、107、109和111。相机采集单元102、104、106、108、110通过数据传输系统112将采集的图像数据通过数据传输协议(例如，TCP/IP，UDP，USB，1394等)传到图形工作站113上，以便三维重建软件系统可以对被采集对象114进行深度范围预测、基于全局优化的三维重建等过程，最终得到包含稠密点云数据的被采集对象三维重建模型。

本发明中的相机采集阵列101在采集之前位置固定，在采集过程中不发生位移和旋转。图2以相机采集阵列101中5个相机采集单元里最左边的相机采集单元102及其镜头103、中间的相机采集单元106及其镜头107、最右边的相机采集单元110及其镜头111为例：其采集到的图像分别为201、202以及203，这些图像通过数据总线104经过传输系统201以USB方式传输到图形工作站202上，相机采集阵列101同时还可以传回一些图像识别信息，使图形工作站113将接收的图像与采集该图像的相机采集单元及采集位置对应起来。被采集对象114表面的三个点204、205、206在以上三幅图中分别为207、208、209，210、211、212以及213、214、215。

2.三维重建系统软件设计：本发明中设计的图像重建系统以软件的形式运行在图形工作站113上。对相机采集阵列101上每个预先固定好的相机采集单元(其成像模型为小孔成像模型)进行内、外参数的标定。标定方法例如可以采用张正友的基于黑白棋盘格的标定方法，即将5个相机采集单元对一幅黑白棋盘格图像标定板进行拍摄，每次拍摄后改变黑白棋盘格的位置(每次拍摄后棋盘格的移动和旋转不局限于一个平面内)，拍摄至少10次以上后将5个相机采集单元采集到的图像作为输入参数使用张正友的标定算法可以同时得到5个相机采集单元镜头的内、外参数。其中表征镜头焦距等属性的内参数K_i以及表征相机之间空间位置变化关系的外参数rt_i分别通过以下两式表示：

$K_i=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right],(i=0,1,2,3,4)$

${\mathrm{rt}}_i=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}{r}_i& t_i\\ 0& 1\end{array}\right],(i=0,1,2,3,4)$

上式第i个相机采集单元内参数K_i中分别为该相机采集单元在x，y方向上的焦距；分别为该相机采集单元主点和成像芯片中心在x，y方向上的偏移，其中主点指该相机采集单元主光轴和成像面的交点。

上式中第i个相机采集单元外参数rt_i中的3*3矩阵r_i表示该相机采集单元相对于标定板上某个参照点(一般是以棋盘格左上角的角点为参照点)的旋转程度；rt_i中的3*1矩阵t_i表示该相机采集单元相对于标定板上相同参照点的偏移程度。

这样，对于被采集对象114表面的某点，需要得到其在第ref(ref为相机编号，在本示例中，0≤ref＜5)个相机采集单元坐标系(以相机采集单元主点为坐标原点，以成像平面上的平面坐标以及与该平面垂直的光轴构成的右手三维坐标系)下的坐标以完成重建；而可以分别和该点在采集图像坐标系(以图像中心为原点，以图像平面构成的二维坐标)下的坐标(u_ref，v_ref，1)^T、以及该点在世界坐标系(以标定内、外参数时选取的参照点为原点，以标定板平面和过参照点垂直于标定板平面的轴构成的右手三维坐标系)下的坐标(X_w，Y_w，Z_w，1)^T通过第ref个相机采集单元的内、外参数通过下面两式联系起来：

${(u_{ref},v_{ref},1)}^T=\frac{K_{ref}}{Z_c}{(X_{c_{ref}},Y_{c_{ref}},Z_{c_{ref}})}^T$

${(X_{c_{ref}},Y_{c_{ref}},Z_{c_{ref}},1)}^T={\mathrm{rt}}_{ref}{(X_w,Y_w,Z_w,1)}^T$

其中，特征点在相机采集单元坐标系中的深度值是该特征点与相应成像平面的垂直距离。

联立上面两式则又可以将该点在采集图像坐标系中的坐标(u_ref，v_ref，1)^T和该点在世界坐标系中的坐标(X_w，Y_w，Z_w，1)^T通过第ref个相机采集单元的内、外参数以及该点在相机坐标系中的深度值直接联系起来(由于K_ref是3*3矩阵，而rt_i是4*4矩阵，为了满足矩阵乘法的定义，自定义*运算符号表示前者与后者矩阵中前三列组成的子矩阵相乘)：

${(u_{ref},v_{ref},1)}^T=\frac{K_{ref}*{\mathrm{rt}}_{ref}}{Z_{c_{ref}}}{(X_w,Y_w,Z_w,1)}^T$

这样，如果该点还被相机采集阵列101中其他4个相机采集单元采集到，那么该点在那4幅采集图像上的齐次坐标(u_i，v_i，1)^T可以按照上式分别表示为：

${(u_i,v_i,1)}^T=\frac{K_i*{\mathrm{rt}}_i}{Z_{c_i}}{(X_w,Y_w,Z_w,1)}^T,(0\&le;i\&NotEqual;ref<5)$

将上面两式联立后可以得到相同点在不同相机采集单元采集图像中的像素坐标之间通过涉及的相机各自的内参数和相互之间外参数联系在一起的关系式(此时为3*4矩阵，而为3*1矩阵，为了满足矩阵乘法的定义，自定义运算符表示将3*1矩阵扩充为4*1矩阵，并将“1”设为其第4列的唯一元素，之后再和前者相乘)：

$(K_i*({\mathrm{rt}}_i\&CenterDot;{\mathrm{rt}}_{ref}^{-1}\left)\right)\&CircleTimes;(K_{ref}^{-1}\&CenterDot;{\left(u_{ref},v_{ref},1\right)}^T\&CenterDot;Z_{c_{ref}})=Z_{c_i}{(u_i,v_i,1)}^T,(0\&le;i\&NotEqual;ref<5)$

上式中即为待求点的深度值。现有的算法直接对上式建立目标函数，即通过将选取为一定范围内若干离散值 $Z_{c_{ref}}=d_j,(D_{\min }\&le;d_j\&le;D_{\max },0<j<M),$ 其中D_min、D_max分别为深度搜索范围的上、下限，M为总搜索次数；将代入上式即得第ref个相机采集单元采集图像上的坐标(u_ref，v_ref，1)^T在其他4幅采集图像上的坐标映射点(u_i，v_i，1)^T；如果假设I(u，v，1)^T为图像上一点(u，v，1)^T的像素值，那么使得||I_ref(u_ref，v_ref，1)^T-I_i(u_i，v_i，1)^T||全局最小的即为该点最有可能的深度，最终求出即为该点三维坐标，推广到图像上每个点，即得到被采集对象114表面的稠密三维点云。

由上面步骤可以看到，的范围选取对最后的重建结果有很大的影响，如果范围选取不当，那么最后的目标函数优化出的全局最小值对应的深度值可能与实际相差很大，甚至无法优化出全局最小值，因此本发明并不假设的范围，而是首先利用5幅采集图像通过SIFT或其他特征点选取方法找到被采集对象表面的特征点在所有采集图中的对应像素点坐标。如图2所示，被采集对象114表面204、205、206在每幅采集图中的特征点(仅以三幅图为例)分别为：207、208、209，210、211、212以及213、214、215。即上式中已知(u_ref，v_ref，1)^T、(u_i，v_i，1)^T，此时将内、外参数中各个元素代入其中，为了表示方便，定义中间变量：

$RT={\mathrm{rt}}_i\&CenterDot;{\mathrm{rt}}_{ref}^{-1}=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]\&CenterDot;{\left[\begin{array}{cccc}{r}_{x{0}_{ref}}& r_{y{0}_{ref}}& r_{z{0}_{ref}}& t_{x_{ref}}\\ r_{x{1}_{ref}}& r_{y{1}_{ref}}& r_{z{1}_{ref}}& t_{y_{ref}}\\ r_{x{2}_{ref}}& r_{y{2}_{ref}}& r_{z{2}_{ref}}& t_{z_{ref}}\\ 0& 0& 0& 1\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\\ 0& 0& 0& 1\end{array}\right]$

其中定义一种矩阵乘法，将前面定义的3*3内参数矩阵和上面求得的4*4矩阵的前三行进行矩阵相乘，得到：

$DRT=K_i\&CircleTimes;RT=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{KRT}}_{00}& {\mathrm{KRT}}_{01}& {\mathrm{KRT}}_{02}& {\mathrm{KRT}}_{03}\\ {\mathrm{KRT}}_{10}& {\mathrm{KRT}}_{11}& {\mathrm{KRT}}_{12}& {\mathrm{KRT}}_{13}\\ {\mathrm{KRT}}_{20}& {\mathrm{KRT}}_{21}& {\mathrm{KRT}}_{22}& {\mathrm{KRT}}_{23}\end{array}\right]$

最终代入上面已经推得的等式关系：

$(K_i*({\mathrm{rt}}_i\&CenterDot;{\mathrm{rt}}_{ref}^{-1}\left)\right)\&CircleTimes;(K_{ref}^{-1}\&CenterDot;{\left(u_{ref},v_{ref},1\right)}^T\&CenterDot;Z_{c_{ref}})=Z_{c_i}{(u_i,v_i,1)}^T,(0\&le;i\&NotEqual;ref<5)$

其中KRT包含了K_i，rt_i，rt_ref的已知量，K_ref也为已知量，是未知量。将已知量代入上式可以得到关于值的两个求解表达式：

$\left\{\begin{array}{c}{Z}_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;u_i+{\mathrm{KRT}}_{03}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{00}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{01}-{\mathrm{KRT}}_{02}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;u_i}\\ Z_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;v_i+{\mathrm{KRT}}_{13}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{10}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{11}-{\mathrm{KRT}}_{12}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;v_i}\end{array}\right.$

理想情况下，上面两个求解表达式的结果应该相同，但标定、采集等环节的噪声等对计算的干扰会使每次计算的结果相异。考虑到对于每一对点(u_ref，v_ref，1)^T、(u_i，v_i，1)^T都可以提供以上两个求解表达式，而相机采集矩阵101中共有5个相机采集单元，因此对于一个特征点，最多可以提供8组方程进行求解，故可以采用最小二乘法求解Z_ref以尽量减少之前标定这些已知量产生的误差。

根据这些特征点在被采集对象表面的空间分布情况，就可以比较合理的给出三维重建算法的深度范围。针对每个相机采集单元，根据所有P个特征点在该相机采集单元坐标系中的深度值确定整个对象在该相机采集单元坐标系中的深度范围 $d_{\min }=Min\left(Z_{{\mathrm{cref}}_j}\right),d_{\max }=Max\left(Z_{{\mathrm{cref}}_j}\right),(0<j\&le;P),$ 将此深度范围作为后续基于匹配代价空间构建的双/多视重建方法的深度搜索范围

在本示例中，假设相机采集单元106为上面讨论中的第ref个相机ref＝2，其余在图3中没有画出的相机分别为上面讨论中的第i个相机(i＝0，1，3，4)。相机采集单元106与被采集对象114空间位置关系如图3所示，其中被采集对象114表面离相机采集单元106的镜头107从近到远的特征点依次为207、208以及209。按照上面方法通过5幅采集图像可以分别得到这三个特征点的深度值d₁＜d₂＜d₃，那么可以为三维重建算法设定搜索范围：

(d_min，d_max)(d_min＝d₁≤d_j≤d_max＝d₃，0≤j＜M)

此时可以保证在给定深度范围(d_min，d_max)中选取的M个离散深度值中肯定存在最接近该点真实深度的值；而且按照本发明的方法有针对性的设置深度搜索范围可以减少深度搜索范围的长度，在每个深度值间隔不变的情况下减少选取数量M。如果不经过本发明提供的深度预测的情况下为了保证正确的深度值可以被选中，往往给出含有余量的较大范围(D_min≤d_j≤D_max，0≤j＜M)，而本发明准确预测深度范围为(D_min≤d_min≤d_j≤d_max≤D_max，0≤j＜M)，那么对于原来的范围，每个深度值之间的搜索间隔为：

$\mathrm{\&Delta;}=\frac{D_{\max }-D_{\min }}{M}=d_j-d_{j-1},0<j<M$

而在本发明的搜索范围中，如果保持该间隔不变，则只需要选取N个值进行计算：

$N=\frac{d_3-d_1}{\mathrm{\&Delta;}}=\frac{d_{\max }-d_{\min }}{D_{\max }-D_{\min }}\&CenterDot;M\&le;M$

从而加快整个算法的速度。在后续的基于代价空间全局优化算法中，对于第ref个图像上的某个像素点通过深度搜素范围内每个d_j都可以在其他图像上找到一个对应的像素点这两者之间的差异表示值(可以是像素值之差的绝对值等多种表述方式)，这二维图像中每个像素又可以通过深度搜索范围有一系列和搜索空间中每个深度值d_j对应的差异表示值即整个图像除了二维的像素值外还多了一个差异值的维度，其整体被称之为代价匹配空间。在多有差异值中，与最小差异值对应的深度值d_depth即为该像素点真实的深度值。这里也可以看出，合适的深度搜索范围可以使深度值d_depth的求取更加精确。

上述实施例详细阐述了本发明声明的一种基于准确深度范围预测的非接触三维重建方法的软、硬件设计，通过深度信息的准确预测，改进了基于全局优化的稠密三维采集重建方式中对深度搜索范围的选取，同时还可以提高了三维重建的算法速度。

Claims (12)

1.一种三维重建方法，包括：

对排列在不同空间位置处的至少2个相机采集单元中的每个相机采集单元采集到的同一对象的图像进行特征点提取；以及

针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值。

2.根据权利要求1所述的方法，其中，使用Harris角点检测法、SIFT角点检测法、或Fast-Corner角点检测法进行特征点提取。

3.根据权利要求1所述的方法，其中，使用张正友的基于黑白棋盘格标定板的标定方法来标定每个相机采集单元的内参数K_i和外参数rt_i，所述内参数K_i和外参数rt_i分别通过以下两式表示：

$K_i=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]$

${\mathrm{rt}}_i=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}{r}_i& t_i\\ 0& 1\end{array}\right]$

其中：

i是相机采集单元的编号；

第i个相机采集单元内参数K_i中分别为该相机采集单元在x、y方向上的焦距；分别为该相机采集单元主点和成像芯片中心在x、y方向上的偏移，其中主点指该相机采集单元主光轴和成像面的交点，其中x、y方向分别为该相机采集单元图像的水平和垂直方向；

第i个相机采集单元外参数rt_i中的3*3矩阵r_i表示该相机采集单元相对于标定板上特定参照点的旋转程度，rt_i中的3*1矩阵t_i表示该相机采集单元相对于标定板上相同参照点的偏移程度。

4.根据权利要求1所述的方法，其中：

采集图像坐标系是以图像中心为原点，以图像平面构成的二维坐标系；

相机采集单元坐标系是以相机采集单元主点为坐标原点，以成像平面上的平面以及与该平面垂直的光轴构成的右手三维坐标系，特征点在相机采集单元坐标系中的深度值是该特征点与相应成像平面的垂直距离。

5.根据权利要求3所述的方法，其中，针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值包括：

定义：

$RT={\mathrm{rt}}_i\&CenterDot;{\mathrm{rt}}_{ref}^{-1}=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]\&CenterDot;{\left[\begin{array}{cccc}{r}_{x{0}_{ref}}& r_{y{0}_{ref}}& r_{z{0}_{ref}}& t_{x_{ref}}\\ r_{x{1}_{ref}}& r_{y{1}_{ref}}& r_{z{1}_{ref}}& t_{y_{ref}}\\ r_{x{2}_{ref}}& r_{y{2}_{ref}}& r_{z{2}_{ref}}& t_{z_{ref}}\\ 0& 0& 0& 1\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{\mathrm{11}}& {\mathrm{RT}}_{\mathrm{12}}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{\mathrm{21}}& {\mathrm{RT}}_{\mathrm{22}}& {\mathrm{RT}}_{23}\\ 0& 0& 0& 1\end{array}\right]$

定义：

$KRT=K_i\&CircleTimes;RT=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{KRT}}_{00}& {\mathrm{KRT}}_{01}& {\mathrm{KRT}}_{02}& {\mathrm{KRT}}_{03}\\ {\mathrm{KRT}}_{10}& {\mathrm{KRT}}_{11}& {\mathrm{KRT}}_{12}& {\mathrm{KRT}}_{13}\\ {\mathrm{KRT}}_{20}& {\mathrm{KRT}}_{21}& {\mathrm{KRT}}_{22}& {\mathrm{KRT}}_{23}\end{array}\right]$

其中：ref是相机采集单元的编号，i≠ref；

针对每个包括第ref个相机采集单元和第i个相机采集单元的相机采集单元对，求解：

$\left\{\begin{array}{c}{Z}_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;u_i+{\mathrm{KRT}}_{03}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{00}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{01}-{\mathrm{KRT}}_{02}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;u_i}\\ Z_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;v_i+{\mathrm{KRT}}_{13}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{10}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{11}-{\mathrm{KRT}}_{12}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;v_i}\end{array}\right.$

其中：u_ref和v_ref分别是该特征点在第ref个相机采集单元的采集图像坐标系中的坐标，u_i和v_i分别是该特征点在第i个相机采集单元的采集图像坐标系中的坐标；以及

将求解得到的该特征点的所有Z_cref值，根据最小二乘法得到该特征点在第ref个相机采集单元坐标系中的深度值。

6.根据权利要求5所述的方法，还包括：

针对每个相机采集单元，根据整个对象的所有P个特征点在该相机采集单元坐标系中的深度值确定整个对象在该相机采集单元坐标系中的深度范围 $d_{\min }=Min\left(Z_{{\mathrm{cref}}_i}\right),d_{\max }=Max\left(Z_{{\mathrm{cref}}_j}\right),(0<j\&le;P),$ 将此深度范围作为后续基于匹配代价空间构建的双/多视重建方法的深度搜索范围。

7.一种三维重建系统，包括：

用于对排列在不同空间位置处的至少2个相机采集单元中的每个相机采集单元采集到的同一对象的图像进行特征点提取的系统；以及

用于针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值的系统。

8.根据权利要求7所述的系统，其中，使用Harris角点检测法、SIFT角点检测法、或Fast-Corner角点检测法进行特征点提取。

9.根据权利要求7所述的系统，其中，使用张正友的基于黑白棋盘格标定板的标定方法来标定每个相机采集单元的内参数K_i和外参数rt_i，所述内参数K_i和外参数rt_i分别通过以下两式表示：

$K_i=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]$

${\mathrm{rt}}_i=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}{r}_i& t_i\\ 0& 1\end{array}\right]$

其中：

i是相机采集单元的编号；

第i个相机采集单元内参数K_i中分别为该相机采集单元在x、y方向上的焦距；分别为该相机采集单元主点和成像芯片中心在x、y方向上的偏移，其中主点指该相机采集单元主光轴和成像面的交点，其中x、y方向分别为该相机采集单元图像的水平和垂直方向；

第i个相机采集单元外参数rt_i中的3*3矩阵r_i表示该相机采集单元相对于标定板上特定参照点的旋转程度，rt_i中的3*1矩阵t_i表示该相机采集单元相对于标定板上相同参照点的偏移程度。

10.根据权利要求7所述的系统，其中：

采集图像坐标系是以图像中心为原点，以图像平面构成的二维坐标系；

相机采集单元坐标系是以相机采集单元主点为坐标原点，以成像平面上的平面以及与该平面垂直的光轴构成的右手三维坐标系，特征点在相机采集单元坐标系中的深度值是该特征点与相应成像平面的垂直距离。

11.根据权利要求9所述的系统，其中，用于针对每个特征点，依据每个相机采集单元的内、外参数以及该特征点在所有相机采集单元的采集图像坐标系之间的对应关系，得到该特征点在每个相机采集单元坐标系中的深度值的装置包括执行以下操作的装置：

定义：

$RT={\mathrm{rt}}_i\&CenterDot;{\mathrm{rt}}_{ref}^{-1}=\left[\begin{array}{cccc}{r}_{x{0}_i}& r_{y{0}_i}& r_{z{0}_i}& t_{x_i}\\ r_{x{1}_i}& r_{y{1}_i}& r_{z{1}_i}& t_{y_i}\\ r_{x{2}_i}& r_{y{2}_i}& r_{z{2}_i}& t_{z_i}\\ 0& 0& 0& 1\end{array}\right]\&CenterDot;{\left[\begin{array}{cccc}{r}_{x{0}_{ref}}& r_{y{0}_{ref}}& r_{z{0}_{ref}}& t_{x_{ref}}\\ r_{x{1}_{ref}}& r_{y{1}_{ref}}& r_{z{1}_{ref}}& t_{y_{ref}}\\ r_{x{2}_{ref}}& r_{y{2}_{ref}}& r_{z{2}_{ref}}& t_{z_{ref}}\\ 0& 0& 0& 1\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{\mathrm{11}}& {\mathrm{RT}}_{\mathrm{12}}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{\mathrm{21}}& {\mathrm{RT}}_{\mathrm{22}}& {\mathrm{RT}}_{23}\\ 0& 0& 0& 1\end{array}\right]$

定义：

$KRT=K_i\&CircleTimes;RT=\left[\begin{array}{ccc}{f}_{x_i}& 0& C_{x_i}\\ 0& f_{y_i}& C_{y_i}\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}{\mathrm{RT}}_{00}& {\mathrm{RT}}_{01}& {\mathrm{RT}}_{02}& {\mathrm{RT}}_{03}\\ {\mathrm{RT}}_{10}& {\mathrm{RT}}_{11}& {\mathrm{RT}}_{12}& {\mathrm{RT}}_{13}\\ {\mathrm{RT}}_{20}& {\mathrm{RT}}_{21}& {\mathrm{RT}}_{22}& {\mathrm{RT}}_{23}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{KRT}}_{00}& {\mathrm{KRT}}_{01}& {\mathrm{KRT}}_{02}& {\mathrm{KRT}}_{03}\\ {\mathrm{KRT}}_{10}& {\mathrm{KRT}}_{11}& {\mathrm{KRT}}_{12}& {\mathrm{KRT}}_{13}\\ {\mathrm{KRT}}_{20}& {\mathrm{KRT}}_{21}& {\mathrm{KRT}}_{22}& {\mathrm{KRT}}_{23}\end{array}\right]$

其中：ref是相机采集单元的编号，0≤i≠ref≤3；

针对每个包括第ref个相机采集单元和第i个相机采集单元的相机采集单元对，求解：

$\left\{\begin{array}{c}{Z}_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;u_i+{\mathrm{KRT}}_{03}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{00}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{01}-{\mathrm{KRT}}_{02}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;u_i}\\ Z_{c_{ref}}=\frac{{\mathrm{KRT}}_{23}\&CenterDot;v_i+{\mathrm{KRT}}_{13}}{\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{10}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{11}-{\mathrm{KRT}}_{12}+(\frac{u_{ref}-c_{x_{ref}}}{f_{x_{ref}}}\&CenterDot;{\mathrm{KRT}}_{20}+\frac{v_{ref}-c_{y_{ref}}}{f_{y_{ref}}}\&CenterDot;{\mathrm{KRT}}_{21}-{\mathrm{KRT}}_{22})\&CenterDot;v_i}\end{array}\right.$

其中：u_ref和v_ref分别是该特征点在第ref个相机采集单元的采集图像坐标系中的坐标，u_i和v_i分别是该特征点在第i个相机采集单元的采集图像坐标系中的坐标；以及

将求解得到的该特征点的所有Z_cref值，根据最小二乘法得到该特征点在第ref个相机采集单元坐标系中的深度值。

12.根据权利要求11所述的系统，还包括：

针对每个相机采集单元，根据整个对象的所有P个特征点在该相机采集单元坐标系中的深度值确定整个对象在该相机采集单元坐标系中的深度范围 $d_{\min }=Min\left(Z_{{\mathrm{cref}}_j}\right),d_{\max }=Max\left(Z_{{\mathrm{cref}}_j}\right),(0<j\&le;P),$ 将此深度范围作为后续基于匹配代价空间构建的双/多视重建方法的深度搜索范围。