CN103279982A - 鲁棒的快速高深度分辨率的散斑三维重建方法 - Google Patents

Abstract

本发明公开了一种鲁棒的快速高深度分辨率的散斑三维重建的方法，包括如下步骤：读入场景散斑图像；采用分块的方法，初步估计场景图像各区域的大约纵深值，对与所述参考图像库中的参考图像的相关值高于相关阈值的区域直接用该参考图像的深度值作为该区域的深度值；逐点计算场景图像中各点与所述参考图像库中的参考图像对应点的相关值，并获得最大相关值对应的最大相关参考图像上对应点及其多个邻域点的相关值以及所述多个邻域点的位移值；利用所述参考图像对应点及其多个邻域点的相关值以及所述多个邻域点的位移值进行横向插值和纵向插值，并融合插值结果，得到场景图像中所述各点的精确的深度值，进而得到鲁棒的高深度分辨率的三维重建结果。

Description

鲁棒的快速高深度分辨率的散斑三维重建方法

技术领域

本发明涉及图像处理、三维图像重建、计算机视觉等技术领域，更具体而言，涉及一种利用散斑图案进行场景三维重建的方法。

背景技术

在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。

目前三维重建领域已开发出了多种技术，例如激光成像雷达、激光测量机法、结构光法、计算机立体视觉法等。其中计算机立体视觉法是一种传统的三维重建深度图获取方法，包括单目和双目立体视觉法。

双目立体视觉方法使用两台摄像机从两个视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差转换为深度。该方法的不足之处是运算量很大，无法保证实时重建，且重建效果依赖于基线间的距离。

单目视觉方法是使用一台摄像机进行三维重建的方法，通过获取单视点的单幅或多幅图像的二维特征推导出深度信息。该方法也存在一些缺点：重建效果依赖特征点的密集程度，对特征点较少的弱纹理场景的重建效果不太好。

传统的立体视觉方法往往不能保证重建准确性和实时性的平衡，如何实时准确地重建场景图像是一个重要课题。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是提出鲁棒的快速高深度分辨率的散斑三维重建方法，以解决现有的重建技术深度分辨率低和实时性不佳的问题。

(二)技术方案

本发明提出一种鲁棒的快速高深度分辨率的散斑三维重建方法，所述散斑是红外发射装置通过光源扩散装置后形成的带有深度信息的图案，该重建方法包括如下步骤：

步骤1、读入场景散斑图像，所述场景图像覆盖的深度在参考图像库能够表征的深度范围内；

步骤2、采用分块的方法，初步估计场景图像各区域的大约纵深值，对与所述参考图像库中的参考图像的相关值高于相关阈值的区域直接用该参考图像的深度值作为该区域的深度值；

步骤3、对于未确定深度值的区域，逐点计算场景图像中各点与所述参考图像库中的参考图像对应点的相关值，并获得最大相关值对应的最大相关参考图像上对应点及其多个邻域点之间的相关值以及所述多个邻域点的位移值；

步骤4、利用所述参考图像对应点及其多个邻域点之间的相关值以及所述多个邻域点的位移值进行横向插值和纵向插值，并融合插值结果，得到场景图像中所述各点的精确的深度值，进而得到鲁棒的高深度分辨率的场景散斑图像的三维重建结果。

(三)有益效果

本发明利用散斑图案携带深度信息的特点，用得到的场景散斑图像与参考图像做相关寻求匹配点得到深度的方法得到三维重建的结果，采用由粗到细的定位方法，先宏观分块定位图像各区域的大约纵深，然后微观从亚像素精度级别定位各点的深度，两者结合保证了快速高深度分辨率的重建效果。为了保证算法的鲁棒性，我们分别采用横向插值和纵向插值的方法对深度进行精确定位，同时对匹配不好的边缘点用区域推演的方法补充得到其深度值。

附图说明

图1是本发明所提出的鲁棒的快速高深度分辨率的三维重建方法的流程图；

图2是本发明分块深度初步估计步骤的主流程图；

图3是本发明逐点计算相关性步骤的主流程图；

图4是本发明逐点计算相关性步骤中与2*tras_y+1幅参考图像计算相关性步骤的流程图；

图5是本发明横向插值和区域推演步骤的主流程图；

图6是本发明横向插值和区域推演步骤中位移值亚像素定位步骤的流程图；

图7是本发明横向插值和区域推演步骤中三角测量步骤的原理图；

图8是本发明横向插值和区域推演步骤中区域推演步骤的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出了本发明中利用散斑图案进行三维重建的方法流程图。如图1所示，所述方法具体包括以下步骤：

步骤1、读入场景散斑图像，所述场景图像覆盖的深度在参考图像库能够表征的深度范围内。

所述场景散斑图像是激光光源出射的散斑图案投射到物体上，经物体反射后由CCD相机接收得到的。参考图像库中的图像则是激光光源出射的散斑图案投射到深度已知的平面上，经平面反射后由CCD相机接收获得。

所述散斑图案是由于相干光源通过不均匀媒介时，强度随机分布产生的。高度相干的激光光源照射到光源投射器(扩散板)后，光被发散射出，且具有随机相位，这些光束相互局部干涉，在光被同相散射的位置出现较亮的点，光的相位相反的位置出现较暗的点，形成散斑。不同深度位置处的散斑是完全不一样的。因此场景散斑图像记录了场景中的深度变化信息。

本发明中用相机在一定深度范围内等间隔的采集红外发射装置的散斑图案作为参考图像，所述红外发射装置包括激光光源和光源投射器，所述参考图像库中每幅参考图像唯一的确定了该参考图像位置处的散斑信息。

散斑图案的平均轴向尺寸为：

δZ＝λ*(D/φ)²

其中，λ为激光光源的波长，φ为激光光源发出光束的直径尺寸，D为光源投射器和物体之间的距离。也就是说，离光源不同距离处的斑纹图案在δZ以下的短距离内高度相关，轴向间隔大于δZ的表面上的各斑纹图案不相关。

相机光心与所述激光光源光心须在同一水平线上的位置。为避免干扰，采用的相机安装滤波片，滤除除红外光波段外的其他光线的影响。采集参考散斑图案的间隔应该不大于散斑平均轴向尺寸δZ。在拍摄参考散斑图像时，在一定深度范围内，以一个固定间距逐次移动照射了参考散斑图案的反射屏，这里反射屏用来反射这些散斑信息，然后用相机采集得到一系列散斑参考图像，每一张参考图像都包含一个深度值信息。且根据z＝b*f/doff，每一副参考图像对应一个视差值，即doff值。该公式中z代表深度值，b代表相机和光源间的基线距离，f为相机焦距。

步骤2、对场景散斑图像通过分块的方式进行深度初步估计。

采用图像处理中的相关性算法，将场景散斑图像与具有深度信息的参考图像做相关，通过寻求匹配点的视差，结合三角测量来确定场景散斑图像的各点深度值。

本发明中采用分块的方法，即将场景散斑图像分成多块与参考图像的对应区域做相关，一旦发现存在相关性很高的区域，即可直接确定出该区域的深度值，这样可减少后续的进一步计算，大大提高重建速度。同时，每次分块与参考图像做相关后，都能够确定出各块的大约纵深值，这样在下次分块后计算相关时，不必再和所有参考图像做相关计算，只需要搜索与每一块深度对应的参考图像的前后几幅图像即可，这样在保证重建质量的同时大大减少了运算量，提高了重建速度。

图2示出了本发明中将场景散斑图像通过分块进行深度初步估计的方法流程图。如图2所示，所述对场景散斑图像通过分块进行深度初步估计具体包括如下步骤：

步骤201、设定每次分块求相关时的参考图像搜索范围矩阵TRAS。该行矩阵的每一项记录了每次分块完毕，各块计算相关时需要搜索的参考图像的数量。所述参考图像搜索范围矩阵TRAS为递减矩阵，首项为最接近参考图像中图像数目的一半的整数值，矩阵中的元素数为分块的次数，矩阵中各元素为经过一次分块后，之后各次分块为确定该块深度值计算相关时，在已经计算得到的与该块最相关的参考图像的前后搜索的参考图像的数量。例如TRAS＝[30，25，20，15，10]，表示第一次分块计算相关时，每块前后各搜索30幅参考图像，第二次前后各搜索25幅。

步骤202、初次分块时，将场景图像划分为一定大小的N块。

本发明优选实施例中将场景图像视为一个大区域块，划分为2*2的4块。假设待重建场景图像的宽为sy个像素，高为sx个像素，将此大小为sy*sx的场景图像横向二均分、纵向二均分，分为四个大小为sy/2*sx/2的区域块。若sy为奇数时，规定取靠上区域的结束行为第(sy+1)/2行，取靠下的区域的起始行为第(sy-1)/2行；若sx为奇数时，取靠左区域的结束行为第(sx+1)/2，取靠右区域的起始列为第(sx-1)/2列。再次分块时，将每一块按照上述规则横向二均分、纵向二均分，分为2*2的4块。

步骤203、确定参考图像的搜索范围，指定初次分块后各块计算相关的搜索范围为所有参考图像。

为了获得较准确的计算结果，首次分为4块后，各块应该和所有参考图像做相关计算，确保能够恢复具有和参考图像标定的深度空间对应的纵深范围的物体图像。

步骤204、每一块与指定范围参考图像对应块计算相关性。确定该块的大约纵深值。

所谓参考图像的指定范围即为上述确定的计算相关的参考图像的搜索范围。所谓对应块，即为参考图像上与物体图像上各块位置相同、大小相等的区域。

采用的相关性计算方法为归一化互相关算法(ZNCC)，其原理为对图像上大小为m*n的窗口矩阵I和J，其中矩阵I和J的元素为相应窗口中的像素灰度值，其相关函数具体计算方法如下：

$r(I,J)=\frac{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}(I_{\mathrm{mn}}-\stackrel{\‾}{I})(J_{\mathrm{mn}}-\stackrel{\‾}{J})}{\sqrt{\left(\underset{m}{\mathrm{\Σ}}{\underset{n}{\mathrm{\Σ}}(I_{\mathrm{mn}}-\stackrel{\‾}{I})}^2\right)\left(\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{(J_{\mathrm{mn}}-\stackrel{\‾}{J})}^2\right)}}---\left(1\right)$

其中，

为I矩阵的灰度平均值，

为J矩阵的灰度平均值，I为参考散斑图像上的像素灰度值矩阵，J为场景散斑图像上的像素灰度值矩阵。相关值越高，相关性越强。

该算法的快速计算公式是这样的

$r(I,J)=\frac{(N*S_{\mathrm{IJ}}-S_I*S_J)}{\sqrt{(N*S_{\mathrm{II}}-S_I^2)*(N*S_{\mathrm{JJ}}-S_J^2)}}---\left(2\right)$

其中，N为矩阵I和J中的所有元素数目，即m*n。

S_I＝ΣI，S_J＝ΣJ，S_II＝ΣI²，S_IJ＝ΣI*J，S_JJ＝ΣJ²，

本发明中取场景散斑图像的各块为I矩阵，取搜索范围内的一系列参考图像对应位置、对应大小的块为J矩阵，依次计算每一块与各参考图像相应块的相关性，将最大相关值记录为场景散斑图像块的相关值，并将与此相关值对应的参考图像的深度作为该块的大约纵深值。

步骤205、判断各块相关值是否高于相关阈值。相关值低于相关阈值转步骤206，否则转步骤209。

步骤206、确定下次计算相关的参考图像搜索范围，继续分块。

经过上述分块处理及相关性计算，各块已确定了自己的大约纵深值Z₀，根据分块次数i及步骤201中设定每次分块求相关时的参考图像搜索范围矩阵TRAS，确定各块下次计算相关的参考图像深度搜索范围为[Z₀-TRAS(i)：Z₀+TRAS(i)]，即下次只需在物体大约纵深周围搜索2*TRAS(i)张参考图像，其中TRAS(i)表示第i轮分块后，单向搜索计算相关的参考图像数量。

步骤207、判断块的尺寸是否足够小，如果已达到设定的最小尺寸值，则分块结束，否则转步骤208继续分块。

本发明一优选实施例中设定块尺寸的最小值为20*20，即当每一块的行数或者列数不大于20(包括20*20)时，分块结束。

步骤208、将当前场景散斑图像的块进一步细分。即再次分块时，将之前的每块都分成一定大小的N块。分块完毕，转步骤204。

步骤209、对相关值高于相关阈值的块，直接确定场景散斑图像在该块的深度值为其大约纵深值。

步骤3、对于未确定深度值的块，逐点计算相关性。

根据各块的纵深值，逐点求相关，为精确计算各点的深度值提供待求信息。

图3示出了本发明中逐点计算相关性步骤的流程图。如图3所示，该步骤具体实施方案如下：

步骤301、滤除非散斑点。图像上的阴影区域不包含散斑信息，因此在利用散斑计算相关性前，首先将这样的点滤除。即将小于灰度阈值的点确定为非散斑阴影区域，将其深度值设定为默认值。

步骤302、在图像上按照自左向右、从上到下的顺序选择一点，判断该点的深度是否已经确定，若已经确定则转步骤304，否则执行步骤303。

经过步骤2的分块深度初步估计，对相关值足够高的块已经确定了其深度，则其该块上的像素点的深度也已经确定。

步骤303、将当前点和所在块的大约纵深值对应的参考图像的前后2*tras_y+1幅图像做相关，并记录当前点与最大相关值对应的参考图像上的点及其左右范围内预定数量的点的相关值以及这些相关值对应的整像素位移值，这里tras_y即为本轮分块过程中，单向搜索计算相关的参考图像数量，根据步骤206确定其大小。

所述前后2*tras_y+1幅图像是指参考图像库中，深度上和当前点所在块的大约纵深对应的参考图像连续的图像。

图4示出了本发明中逐点计算相关性步骤中与2*tras_y+1幅参考图像计算相关性步骤的流程图。如图4所示，该步骤具体实施方式如下：

步骤3031、当前点与2*tras_y+1幅参考图像中的首幅参考图像对应点的左右2*tras_x+1个对称点计算相关性，记录最大相关值，其中，tras_x为选定的首幅参考图像上单向拟计算相关的点的数量。

所述首幅图像是指2*tras_y+1幅参考图像中深度最小的图像。所述2*tras_x+1个对称点是指参考图像上与待求深度点对应位置点的左、右各tras_x个点。记录所求2*tras_x+1个相关值的最大值。

步骤3032、当前点与指定参考图像中下一幅图像对称点左右2*tras_x+1个对称点计算相关，记录最大相关值。所述下一幅参考图像是指与刚计算过相关的参考图像深度最接近的参考图像库中的图像。

步骤3033、判断最大相关值是否高于之前的最大相关值，若是，则转步骤3034，否则转步骤3035。

步骤3034、记录相关值最大的参考图像上所求的2*tras_x+1个对称点的相关值，及这一系列相关值对应的整像素位移值。

所述整像素位移值，为场景图像上的点与计算相关时的参考图像上的2*tras_x+1个点的像素坐标差值。

步骤3035、判断当前点是否已经和所有2*tras_y+1幅参考图像做相关运算。若否，转步骤3032继续和下一幅参考图像做相关运算，否则结束。

步骤304、判断是否存在还没计算相关性的点。若存在则转步骤302继续计算该点的相关性，否则说明逐点计算相关求深度结束。

步骤4、对于未确定深度值的块，进行横向插值和区域推演。其中横向插值包括通过位移值亚像素定位和三角测量组合精确确定场景图像中各点的深度，区域推演是为了使边缘重建的更合理有效。

图5示出了本发明中横向插值和区域推演步骤的具体方法流程图。如图5所示，该步骤具体按如下方式执行：

步骤401、位移值亚像素定位。

图6示出了本发明中位移值亚像素定位步骤的具体方法流程图。如图6所示，所述位移值亚像素定位步骤具体包括如下步骤：

步骤4011、对于未确定深度值的点，对所述左右2*tras_x+1个整像素位移值和相关系数进行横向多项式插值。

设经过步骤3，对应场景图像上的每一个点，在相关性最高的参考图像上已经计算得到了2*tras_x+1个点与其的相关值，并且记录了这些点的坐标信息及整像素位移值。本发明中对这2*tras_x+1个点的整像素位移值和相关值进行多项式插值，得到亚像素级别的位移值，结合后续的三角测量，可以提高三维重建的精度。

多项式插值的具体做法如下：

对场景图像上的A(x，y)点，在相关性最高的参考图像上已计算得到了点：(x-tras_x，y)，(x-(tras_x-1)，y)，...，(x，y)，(x+1，y)，(x+2，y)，...，(x+(tras_x-1)，y)，(x+tras，y)处2*tras_x+1个相关值，分别为r₁，r₂，...r_{2*tras_x+1}，上述各点相应的横向位移值为：kd₁＝-tras_x，kd₂＝-(tras_x-1)，...，kd_{tras_x+1}＝0，...，kd_{2*tras_x}＝tras_x-1，kd_{2*tras_x+1}＝tras_x。

设位移值为自变量kd，其和相关值r的函数关系为：

r(kd)＝a₀+a₁*kd+a₂*kd²+......+a_{2*tras_x+1}*kd^2*tras_x+1且r(kd)满足

r_i＝f(kd_i)，i＝1，2，......，2*tras_x+1

这样得到了含有2*tras_x+1个未知数a₀，a₁，......，a_{2*tras_x+1}的2*tras_x+1个等式，求解这个方程组，即可拟合出相关值r和位移值kd_i之间的关系曲线。

步骤4012、计算亚像素位移值。

采用对以kd为自变量的相关函数r求导的方法，寻求导数为零的kd值，即为使得函数r_{2*tras_x+1}(kd)取得最大值的kd_亚值，即所拟合出的相关值r和位移值kd_i之间的关系曲线的最高点对应的kd，就是图像上的点在横向的亚像素位移，记录最大相关值r(kd_亚)。

步骤402、判断上一步骤中求出的最大相关值是否大于步骤205所述相关阈值。若高于相关阈值，转步骤403，否则执行步骤404。如果最大相关值高于所述相关阈值，则说明该点与参考图像匹配成功，可以通过后续的三角测量、深度融合等步骤确定深度。否则，说明该点可能是边缘点，不能在参考图像上找到和该点匹配较好的点，该点的深度只能通过后续区域推演的方式获得。

步骤403、三角测量。对相关值高于所述相关阈值的点，根据得到的亚像素位移值，结合参考图像的深度信息，可以通过三角测量的方法计算该点的深度值。三角测量是双目视觉测量的重要方法。

图7示出了本发明中三角测量步骤的具体原理图。如图7所示，三角测量的具体原理如下：

图7(a)是双目立体匹配系统中两摄像模块观察空间中同一点A的情况，Ol、Or分别为两摄像模块的光心。两个摄像机的成像平面xl yl(左平面)、xr yr(右平面)处于同一平面并且与Z轴垂直，焦距相等，光心Ol、Or处于X轴，处于平行对准状态。

图7(b)是A点在X Z平面上的投影图。Axl、Axr分别为点A(Xa，Ya，Za)在左右摄像机成像平面中的投影，称为成像点对，也即在匹配过程中所寻找的在左右两幅图像上代表空间同一点的匹配点对。根据摄像机透射投影模型，可以求出A点坐标z：

z＝b*f/doff

其中：doff＝Axl-Axr，为点A在两摄像机中成像所形成的视差，z就是A点所在参考平面到摄像机光心的距离，即附图中A到Ol的距离。b为两摄像机光心之间的距离，f为摄像机的焦距(doff和f的单位为像素)。各参考图像的深度值z是已知的，则根据上述公式得到各参考图像的doff值，每一个doff唯一的确定一个深度。

在本发明基于散斑的重建系统中，左边的摄像机是真实存在的，右面摄像机被替换为所述红外发射装置，右成像平面虚拟存在。

假设相关计算得到照射了散斑图案的场景图像上A′点与参考图像上的点A最相似，说明A′和A在同一个散斑的纵向尺寸内，即该两点在红外出射装置的同一条出射光线上，则Axr′＝Axr。A′点的视差为：

d＝Axl′-Axr＝Axl+kd-Axr＝doff+kd

此处，kd为根据相关计算得到的A′相对于A点的亚像素位移，kd＝Axl′-Axl。可见当A′相对于参考平面前移时，z变小，kd为正值，成像点在左相机上右移(即距中心更远)；反之，kd为负值。

此时场景散斑图像上的A′点的深度为：

z＝b*f/(doff+kd)，

其中，doff为亚像素位移值对应的参考图像的视差值，z为横向插值求得的待求场景散斑图像上的空间点A′的深度值，记为Z1，对应的最大相关值为R1。

步骤404、区域推演。对于相关值低于所述相关阈值的点，将其假设为边界点，用区域推演的方式确定这样的点的深度。

图8示出了本发明中区域推演步骤的具体流程图。如图8所示，所述区域推演具体包括如下步骤：

步骤4041、判定相关值是否大于一个较低的相关阈值，如果是则转步骤4042，否则转步骤4044。所述较低的相关阈值小于之前设定的相关阈值；

步骤4042、对相关值高于所述较低的相关阈值的点，判断其距离上一个有效点的距离是否小于2个像素；

步骤4043、若距离小于2个像素，则说明该点距离上一有效点较近，且其自身的匹配结果也比较好，其很有可能是处于区域边缘的点，因此使用上一有效深度值代替该点的深度值。所述上一有效点是指与该点相邻的相关值高于相关阈值的点。所述有效深度是指上一有效点对应的深度。

步骤4044、对所述相关值低于所述较低相关阈值或者所述相关值高于所述较低相关阈值但是距离上一有效点较远的点，很有可能是周围深度变化极为剧烈的点，因此将其深度设为默认深度。

步骤405、判断是否所有点插值完毕，若否，则转401继续计算，否则说明横向插值完毕，结束。

步骤5、纵向插值。对步骤3中得到的A点前后2*tras_y+1张参考图像的相关峰值，并按照与步骤401相同的方法进行纵向多项式插值。

2*tras_y+1张参考图像对应2*tras_y+1个深度值，对这些深度值按照步骤401的方法进行纵向多项式插值，得到以深度值为自变量，以相关值为因变量的函数。再用求导的方法，得到使得相关值最大的深度值。至此，求得了A′点纵向插值得到的深度值，设为Z2，对应的最大相关值为R2。

步骤6、深度融合，进而得到鲁棒的高深度分辨率的场景散斑图像的三维重建结果。

将步骤4横向插值得到的深度Z1和步骤5得到的纵向插值的深度Z2，采用加权的方法进行深度融合，将其相关值作为权值，得到场景图像上点的最终深度值，具体实现方式如下：

$Z=\frac{R1}{R1+R2}*Z1+\frac{R2}{R1+R2}*Z2$

至此，将横向插值和纵向插值的结果进行了深度融合，从而能够得到精确鲁棒的深度定位。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种鲁棒的快速高深度分辨率的散斑三维重建方法，其特征在于，包括如下步骤：

步骤1、读入场景散斑图像，所述场景图像覆盖的深度在参考图像库能够表征的深度范围内；

步骤2、采用分块的方法，初步估计场景图像各区域的大约纵深值，对与所述参考图像库中的参考图像的相关值高于相关阈值的区域直接用该参考图像的深度值作为该区域的深度值；

步骤3、对于未确定深度值的区域，逐点计算场景图像中各点与所述参考图像库中的参考图像对应点的相关值，并获得最大相关值对应的最大相关参考图像上对应点及其多个邻域点之间的相关值以及所述多个邻域点的位移值；

步骤4、利用所述参考图像对应点及其多个邻域点之间的相关值以及所述多个邻域点的位移值进行横向插值和纵向插值，并融合插值结果，得到场景图像中所述各点的精确的深度值，进而得到鲁棒的高深度分辨率的场景散斑图像的三维重建结果。

2.如权利要求1所述的方法，其特征在于，步骤2中如下估计场景图像各区域的大约纵深值：

计算场景图像中各区域与所述参考图像库中各参考图像相应区域之间的相关性，将相关性最高的参考图像的深度值作为该场景图像区域的大约纵深值；

其中，所述相关值是采用零均值归一化互相关(ZNCC)的方法计算得到的。

3.如权利要求1所述的方法，其特征在于，步骤2具体包括如下步骤：

步骤201、将场景图像划分为一定大小的多个区域，并设定初次求相关性时计算范围为所述参考图像库中所有参考图像，所述参考图像库中的参考图像按其深度值顺序排列；

步骤202、计算场景图像中的每一区域与计算范围内的参考图像相应区域的相关性，确定最大相关值为场景图像中该区域的相关值，且对应的参考图像深度值为场景图像中该区域的大约纵深值；

步骤203、判断场景图像中每一区域的相关值是否低于预定的相关阈值，如果低于则转步骤204，否则转步骤207；

步骤204、确定下次分区域计算相关性的计算范围，该计算范围为相应区域的大约纵深值前后一定范围内的参考图像；

步骤205、判断场景图像中每一区域的尺寸是否小于预定尺寸，如果小于则结束，否则转步骤206；

步骤206、将场景图像中的每一区域再次划分为大小一定的多个区域，并转步骤202；

步骤207、对于相关值高于所述相关阈值的区域，直接确定所述场景图像中该区域的深度值为其大约纵深值。

4.如权利要求3所述的方法，其特征在于，所述相关性采用零均值归一化互相关算法计算：

$r(I,J)=\frac{(N*S_{\mathrm{IJ}}-S_I*S_J)}{\sqrt{(N*S_{\mathrm{II}}-S_I^2)*(N*S_{\mathrm{JJ}}-S_J^2)}}$

其中，I和J分别为场景图像和参考图像相应区域中的像素灰度值矩阵，r(I，J)为两区域的相关值，N为所述区域中的像素数目，且

S_I＝∑I，S_J＝∑J，S_II＝∑I²，S_IJ＝∑I*J，

S_JJ＝ΣJ²。

5.如权利要求1所述的方法，其特征在于，步骤3具体包括：

步骤301、滤除非散斑点；

步骤302、对于未确定其深度值的区域，选择其中未做相关的点作为当前点，并将其与该区域的大约纵深值对应的前后一定范围内的参考图像上的相应点做相关，并获得最大相关值对应的参考图像上的对应点及其多个邻域点的相关值以及所述多个邻域点的位移值；

步骤303、判断是否还存在未计算相关性的点，若存在则返回步骤302，否则结束计算。

6.如权利要求5所述的方法，其特征在于，步骤302具体包括：

步骤3021、当前点与所述前后一定范围内的首幅参考图像上的相应点及其多个邻域点做相关，获得最大相关值，作为当前最大相关值；

步骤3022、当前点与所述前后一定范围内的下一幅参考图像上的相应点及其多个邻域点做相关，获得最大相关值；

步骤3023、比较所获得的最大相关值是否大于当前最大相关值，若是则更新当前最大相关值，并转步骤3022，直至与所述前后一定范围内的所有参考图像做完相关运算，否则转步骤3023；

步骤3024、确定当前最大相关值对应参考图像为最大相关参考图像，并获得最大相关参考图像上相应点及其多个邻域点的相关值和所述多个邻域点的位移值。

7.如权利要求1所述的方法，其特征在于，步骤4具体包括：

步骤401、对于未确定深度值的点，进行横向插值和区域推演运算，获得该点的横向位移值，并根据三角测量的方法根据所述横向位移值计算得到该点横向插值深度值结果；

步骤402、对于未确定深度值的点，进行纵向插值，获得该点纵向插值深度值结果；

步骤403、利用该点横向插值深度值结果和纵向插值深度值结果，融合得到该点的深度值。

8.如权利要求7所述的方法，其特征在于，步骤401具体包括：

步骤4011、建立所述未确定深度值点的最大相关参考图像上相应点及其多个邻域点的相关值与所述多个邻域点的横向位移值之间的拟合曲线；

步骤4012、根据所述拟合曲线获得使得相关值最大的横向位移值作为所述未确定深度值的点的亚像素级别的横向位移值，并记录此时的最大相关值；

步骤4013、判断所述最大相关值是否大于预定的第一相关阈值，若大于则转步骤4014，否则转步骤4015；

步骤4014、通过三角测量法获得该点的横向插值深度值结果；

步骤4015、通过区域推演的方法获得该点的横向插值深度值结果。

9.如权利要求7所述的方法，其特征在于，步骤402具体包括：

步骤4021、建立所述未确定深度值的点在每幅参考图像上计算相关的最大相关值与所述参考图像的深度值之间的拟合曲线；

步骤4022、根据所述拟合曲线获得使得相关值最大的深度值作为所述未确定深度值的点的纵向插值深度值结果，并记录此时的最大相关值。

10.如权利要求8所述的方法，其特征在于，步骤4011中，所述拟合曲线用如下函数表示：

r(kd)＝a₀+a₁*kd+a₂*kd²+......+a_{2*tras_x+1}*kd^2*tras_x+1且r(kd)满足

r_i＝f(kd_i)，i＝1，2，.....，2*tras_x+1；

其中，r_i为相应点及其邻域点的相关值，2*tras_x+1为所述相应点及其邻域点的数目，Kd_i为相应点及其邻域点的位移值，所述相应点的位移值为0，a₀，a₁，......，a_{2*tras_x+1}为待定系数；

步骤4012中通过对r_i＝f(kd_i)求导，导数为0时对应的相关值为最大相关值，相应的位移值为所述未确定深度值点的亚像素级别的横向位移值。

11.如权利要求8所述的方法，其特征在于，步骤4014中通过下式计算该点的横向插值深度值结果：

Z1＝b*f/(doff+kd)

其中，所述Z1为横向插值深度值结果，b为获取场景散斑图像的摄像机和光源发射器间的基线距离，f为摄像机的焦距，doff为与所述未确定深度值点的最大相关值相对应的参考图像的视差，kd为计算得到的所述未确定深度值点的的亚像素级别的横向位移值。

12.如权利要求8所述的方法，其特征在于，步骤4015具体包括：

步骤40151、判断该点的最大相关值是否大于第二相关阈值，若是则转步骤40152，否则转步骤40154；

步骤40152、判断该点距离上一个已确定深度值的有效点的距离是否小于预定个像素，若小于则转步骤40153，否则转步骤40154；

步骤40153、以所述有效点的深度值作为该点的横向插值深度值结果；

步骤40154、将该点的横向插值深度值结果设定为默认值。

13.如权利要求7所述的方法，其特征在于，步骤403中如下融合得到该点的深度值：

$Z=\frac{R1}{R1+R2}*Z1+\frac{R2}{R1+R2}*Z2$

其中，Z表示该点的深度值，R1表示横向插值得到的最大相关值，R2表示纵向插值得到的最大相关值，Z1表示横向插值得到的该点的横向插值深度值结果，Z2表示纵向插值得到的该点的纵向插值深度值结果。

Images