CN101582171B - 一种创建深度图的方法及装置 - Google Patents

Abstract

本发明公开了一种创建深度图的方法及装置，属于计算机领域。所述方法包括：计算参考图像的像素点的侯选深度值；根据所述参考图像和所述参考图像的相邻图像，创建所述像素点的打分函数；根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值；存储所述深度值得到所述参考图像的深度图。所述装置包括：计算模块、创建模块、确定模块和存储模块。通过本发明创建的深度图的图像的轮廓清晰，提高了深度图的准确性。

Description

一种创建深度图的方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种创建深度图的方法及装置。 

背景技术

立体视觉就是建立多幅图像之间的对应关系，从而提取所拍摄的场景的几何信息。在立体视觉领域里，深度图扮演着重要的角色，深度图是一张存储深度值的图像。在立体视觉领域的多摄像机系统(系统中的摄像机的数目多于两个)中，深度图得到了广泛的应用，所以如何创建多摄像机系统的深度图是立体视觉领域的一项重要的技术。 

目前采用以下的方法创建多摄像机系统的深度图，具体为：对多摄像机系统拍摄的每张图像进行“过分割”，得到每张图像的若干个分割块，然后通过“由粗到细”的方法计算每个分割块的DSD(disparity space distribution，视差空间分布)，根据每个分割块的DSD，并对每个分割块施加视差的平滑约束，计算得到每张图像的深度图。 

在实现本发明的过程中，发明人发现现有技术至少存在以下问题： 

采用目前的创建深度图的方法创建的深度图，由于深度图中的图像的轮廓比较模糊，因而导致深度图的准确性较低。 

发明内容

为了提高深度图的准确性，本发明实施例提供了一种创建深度图的方法及装置。所述技术方案如下： 

一种创建深度图的方法，所述方法包括： 

在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样点； 

计算所述采样点到所述摄像机的距离； 

根据所述采样点的距离，计算所述像素点的侯选深度值； 

将所述采样点投影在所述参考图像的相邻图像，得到投影点； 

根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC； 

以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的NCC函数； 

将所述相邻图像的NCC函数进行融合，得到所述像素点的打分函数； 

根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值； 

存储所述深度值得到所述参考图像的深度图。 

所述根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC，具体包括： 

建立所述像素点的图像窗口与所述投影点的图像窗口； 

根据所述像素点的图像窗口与所述投影点的图像窗口，计算所述投影点与所述像素点之间的NCC。 

一种创建深度图的装置，所述装置包括计算模块、创建模块、确定模块和存储模块： 

所述计算模块包括采样单元、第一计算单元和第二计算单元； 

所述采样单元，用于在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样点； 

所述第一计算单元，用于计算所述采样点到所述摄像机的距离； 

所述第二计算单元，用于根据所述采样点的距离，计算所述像素点的侯选深度值； 

所述创建模块包括投影单元、第三计算单元、创建单元和融合单元； 

所述投影单元，用于将所述采样点投影在所述参考图像的相邻图像，得到投影点； 

所述第三计算单元，用于根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC； 

所述创建单元，用于以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的NCC函数； 

所述融合单元，用于将所述相邻图像的NCC函数进行融合，得到所述像素 点的打分函数； 

所述确定模块，用于根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值； 

所述存储模块，用于存储所述深度值得到所述参考图像的深度图。 

所述第三计算单元具体包括： 

建立子单元，用于建立所述像素点的图像窗口与所述投影点的图像窗口； 

计算子单元，用于根据所述像素点的图像窗口与所述投影点的图像窗口，计算所述投影点与所述像素点之间的NCC。 

通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的打分函数，根据打分函数，通过信念传播模型确定出参考图像的像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。 

附图说明

图1是本发明实施例提供的一种创建深度图的方法流程图； 

图2是本发明实施例提供的一种创建深度图的方法详细流程图； 

图3是本发明实施例提供的一种创建深度图的装置示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。 

实施例1 

如图1所示，本发明实施例提供了一种创建深度的方法，包括： 

步骤101：计算参考图像的像素点的侯选深度值； 

其中，计算参考图像的像素点的侯选深度值的详细过程参见实施例2的步骤201-204，在此不再赘述。 

步骤102：根据参考图像和参考图像的相邻图像，创建参考图像中的该像素点的打分函数； 

其中，如何创建参考图像中的该像素点的打分函数的详细过程参见实施例2的步骤205-210，在此不再赘述。 

其中，重复的按照步骤101-102得到参考图像中的剩下每个像素点的侯选深度值和打分函数。 

步骤103：根据参考图像中的每个像素点的打分函数和灰度值，利用信念传播模型从每个像素点的侯选深度值中确定每个像素点的深度值； 

步骤104：存储每个像素点的深度值得到参考图像的深度图。 

在本发明实施例，通过计算参考图像的像素点的候选深度值，根据参考图像和参考图像的相邻图像，创建参考图像的每个像素点的打分函数，根据每个像素点的打分函数和灰度值，通过信念传播模型确定出参考图像的每个像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。 

实施例2 

如图2所示，本发明实施例提供了一种创建深度图的方法，包括： 

步骤201：利用多视角几何的原理，针对参考图像的一个像素点，在该像素点与采集该参考图像的摄像机的光心连线的延长线上，在物体离该摄像机的最近距离Z_min与最远距离Z_max之间，等间隔采样，得到若干个采样点； 

其中，多摄像机系统(摄像机至少为三个)在不同的角度对同一物体进行摄像，得到同一物体在不同角度的图像，在这些图像中，左右各存在N个相邻图像的图像可以作为参考图像，其中，N为事先设置的数值。例如，对于有6个摄像机从左到右依次采集了A、B、C、D、E和F六张图像，设置N的取值为2，其中，只有图像C和图像D的左右相邻的图像的个数各为两个，所以可以选择图像C和图像D作为参考图像。 

其中，在本实施例中采样间隔表示为interval，其大小是事先设置的数值，所以采样点的个数为 

其中，在本实施例中使用参考图像的左右相邻图像可以解决遮挡问题(occlusion problem)。在参考图像的某一侧的相邻图像里因为遮挡部分信息，使该侧相邻的图像中不存在参考图像中的被遮挡的信息，但在另一侧的相邻图像 中一定存在该部分遮挡的信息。因此使用参考图像的左右两侧的相邻图像，可以解决遮挡问题，从而提高本实施例创建深度图的准确性。 

步骤202：根据公式(1)，计算每个采样点到该摄像机的距离； 

Z_k＝Z_min+k×interval(k＝0，1..，K)……(1) 

其中，k表示第k个采样点，Z_k表示第k个采样点到该摄像机的距离。 

步骤203：针对一个采样点，根据该采样点到摄像机的距离，将该采样点投影到参考图像的左侧N张相邻图像和右侧N张相邻图像，得到该采样点在2N张相邻图像中的投影点；其中，该采样点在每张相邻图像中对应一个投影点； 

例如，步骤201中的A、B、C、D、E和F六张图像，假设，参考图像为图像C，将采样点投影在图像C的左侧两张相邻图像和右侧两张相邻图像，即将采样点投影在图像A、B、D和E。 

步骤204：根据该采样点到摄像机的距离，通过公式(2)计算出该采样点的深度值d，将该深度值d称为参考图像中的该像素点的一个侯选深度值； 

$d=\frac{255\×Z_{\min }\×\left(\frac{Z_{\max }-1}{Z_k}\right)}{Z_{\max }-Z_{\min }}(k=\mathrm{0,1},...,K)......\left(2\right)$

其中，由于该采样点在每张相邻图像中存在一个投影点，所以每张相邻图像中的该采样点的投影点与该采样点对应的侯选深度值之间存在对应关系。 

其中，重复的按照步骤203和步骤204两步，将剩下的每个采样点投影在2N张相邻图像中，得到所有的投影点，计算每个采样点的深度值，得到该像素点的所有候选深度值和相邻图像中的每个投影点与侯选深度值的对应关系。 

步骤205：在参考图像中，以该像素点为中心建立该像素点的图像窗口； 

具体地，在参考图像中，以该像素点为中心扩展成一个大小为X且形状为正方形的像素块，将该像素块称为该像素点的图像窗口； 

其中，X是事先设置的数值，X的取值必须是寄数，通常取值为5、7、9或11等。 

步骤206：针对一张相邻图像，在该相邻图像中，以该相邻图像中的每个投影点为中心，为每个投影点建立自身的图像窗口； 

具体地，在该张相邻图像中，针对该相邻图像中的一个投影点，以该投影点为中心，扩展成一个大小为X且形状为正方形的像素块，将该像素块称为该 投影点的图像窗口，按上述方法为该相邻图像中剩下的每个投影点建立一个图像窗口。 

其中，步骤205与步骤206不分先后，也可以同时进行。 

步骤207：根据该像素点的图像窗口与该相邻图像中每个投影点的图像窗口，通过公式(3)计算该相邻图像中的每个投影点与该像素点之间的NCC(Normalized Cross Correlation，归一化互相关值)值，其中，由于在该张相邻图像中的每个投影点对应一个侯选深度值，所以计算出的每个投影点与参考图像的该像素点之间的NCC值对应一个侯选深度值； 

$\mathrm{NCC}=\frac{\underset{i}{\mathrm{\Σ}}(I_{1i}-{\stackrel{\‾}{I}}_1)(I_{2i}-{\stackrel{\‾}{I}}_2)}{\sqrt{\underset{i}{\mathrm{\Σ}}{(I_{1i}-{\stackrel{\‾}{I}}_1)}^2\underset{i}{\mathrm{\Σ}}{(I_{2i}-{\stackrel{\‾}{I}}_2)}^2+1}}......\left(3\right)$

其中，I_1i代表参考图像中的该像素点的图像窗口中的各像素点的灰度值， 

代表参考图像中的该像素点的图像窗口中的所有像素点的灰度值的平均值，I_2i代表相邻图像中的一个投影点的图像窗口中的各个像素点的灰度值， 

代表该投影点的图像窗口中的所有像素点的灰度值的平均值。 

其中，图像中的每个像素点都有自身的灰度值。另外，需要说明的是：当摄像机采集的图像为彩色图像时，首先应将彩色图像进行转换，使图像中的每个像素点都有自身的灰度值。 

步骤208：根据该相邻图像中的每个投影点与参考图像中的该像素点之间的NCC值与侯选深度值的对应关系，为该相邻图像创建一个自变量为侯选深度值且从变量为NCC值的NCC(d)函数； 

步骤209：从该相邻图像中的每个投影点与参考图像中的该投影点之间的NCC值与侯选深度值对应关系中，挑选该张相邻图像的NCC(d)函数的极大值对应的侯选深度值d_max； 

其中，重复地按照步骤206-209得出剩下2N-1张相邻图像的NCC(d)函数的极大值对应的深度值。 

步骤210：根据NCC(d)函数的极大值对应的深度值，通过现有的“图像一致性计算方法”，将2N张相邻图像的NCC(d)函数进行融合，得到参考图像中的该像素点的一个打分函数S(d)； 

其中，通过现有的“图像一致性计算方法”融合的打分函数S(d)如公式(4) 所示： 

$S\left(d\right)=\underset{j\∈N}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\mathrm{NCC}}_j\left(d_{\max }\right)W(d-d_{\max })......\left(4\right)$

其中，d为参考图像中的该像素点的侯选深度值，NCC_j代表由第j(j＝1，2，...，2N)张相邻图像所计算得到的NCC(d)函数。d_max代表使得NCC_j函数达到极大值时对应的侯选深度值，W是一个高斯内核(Gaussian kernel)。 

其中，能使S(d)值越大的侯选深度值，越有可能成为该像素点的深度值。 

其中，完成此步骤后，得到该像素点的打分函数S(d)和该像素点的侯选深度值，重复的按步骤201-210得到参考图像中的剩下每个像素点的打分函数S(d)和自身的侯选深度值。 

其中，在本实施例中将参考图像的左右相邻图像的NCC(d)函数融合成一个打分函数S(d)，融合了相邻图像中的信息，使得创建的深度图中的图像的轮廓清晰，提高了深度图的准确性。 

步骤211：根据参考图像中的每个像素点的打分函数和灰度值，通过现有的BP(信念传播，Belief Propagation)模型从每个像素点的侯选深度值中，确定每个像素点的深度值； 

其中，BP模型的能量函数如公式(5)所示： 

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{D}_p\left(d_p\right)+\underset{(p,q)\∈N}{\mathrm{\Σ}}V(d_p,d_q)......\left(5\right)$

其中，p为参考图像中的一个像素点，q为参考图像中像素点p相邻的像素点，且像素点p与像素点q满足四领域的关系；d_p和d_q分别为像素点p和像素点q的候选深度值；P为参考图像的所有像素点的集合，N为参考图像中所有相邻的两像素点的集合；D_p(d_p)为数据项，V(d_p，d_q)平滑项，数据项用于从每个像素点的侯选深度值中确定每个像素点的最有可能的深度值，平滑项用于保证每个像素点深度值与周围像素点深度值的连续性。 

其中，在本实施例中配置的数据项D_p(d_p)如公式(6)所示： 

D_p(d_p)＝beta×min((2N-S(d_p))²，dataMax)......(6) 

其中，dataMax为截断值，beta为调整比例的参数，其中，dataMax和beta都是人为设置的经验值。 

dataMax可以使数据项对无纹理区域的像素点不起作用，无纹理区域的像素 点的打分值较低，其中，无纹理区域是像素点的像素值没有变化的区域，无纹理区域的每个像素点的打分值小于 

对于无纹理区域的像素点可以通过调整参数dataMax，使得数据项D_p(d_p)为恒定值beta×dataMax，如此使得数据项对无纹理区域的像素点不起作用。 

在本实施例中配置的光滑项V(d_p，d_q)如公式(7)所示： 

$V(d_p,d_q)=\left\{\begin{array}{cc}0& \mathrm{at\; color\; discontinuities}\\ {(d_p-d_q)}^2\mathrm{else}& \end{array}\right.......\left(7\right)$

其中，在配置V(d_p，d_q)时，采用像素点p的侯深度值与像素点q的侯选深度值差的平方形式即(d_p-d_q)²的形式，可以将像素点p的侯选深度值与像素点q的侯选深度值加上二次约束，使得深度值的过渡更加平滑。另外，在配置V(d_p，d_q)时，还引入了参考图像的颜色，目的是解决深度值不连续的问题。当深度值不连续时，V(d_p，d_q)值等于零。 

其中，在本实施例中，假设，深度值不连续只可能发生在参考图像中的颜色不连续区域，也就是说，对于参考图像中的颜色不连续区域，不应该加上平滑项的深度值连续性约束，使BP模型在这些不连续的区域上停止信息传播；而对于其他区域，需要施加平滑项的深度值连续性约束。 

其中，相邻的两个像素点的灰度值相差较大，则这两个像素点的颜色不连续，BP模型根据上述假设，判断像素点p与像素点p的灰度值的差的绝对值是否大于或等于设置的阈值Diff_color，如果是，则认为像素点p与像素点q之间的颜色不连续，并将平滑项V(d_p，d_q)的值置为0，其中，Diff_color为通过实验得到的经验值。 

其中，在本实施例中将参考图像中的每个像素点的S(d)和灰度值输入到BP模型中，BP模型将每个像素点的打分函数S(d)带入能量函数E(d)，得到每个像素点的能量函数E(d)，根据每个像素点与其相邻的像素点的灰度值，确定能量函数E(d)的平滑项值，从每个像素点的侯选深度值中确定出能使自身的E(d)函数值达到最小时对应的侯选深度值作为自身的深度值，将每个像素点的深度值输出。 

步骤212：将参考图像中的每个像素点的深度值存入图像文件中，得到参考图像的深度图。 

在本发明实施例，通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的打分函数，根据打分函数，通过BP模型确定出参考图像的像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。 

实施例3 

如图3所示，本发明实施例提供了一种创建深度图的装置，包括： 

计算模块301，用于计算参考图像中的像素点的侯选深度值； 

创建模块302，用于根据参考图像和参考图像的相邻图像，创建该像素点的打分函数； 

其中，重复地利用计算模块301和创建模块302得到参考图像中剩下的每个像素点的侯选深度值和打分函数。 

确定模块303，用于根据每个像素点的打分函数和灰度值，利用信念传播模型从每个像素点的侯选深度值中确定每个像素点的深度值； 

存储模块304，用于存储每个像素点的深度值得到参考图像的深度图。 

其中，计算模块301具体包括： 

采样单元，用于在参考图像的该像素点与摄像机的光心连线的延长线上进行采样，得到采样点； 

第一计算单元，用于计算采样点到摄像机的距离； 

第二计算单元，用于根据采样点的距离，计算该像素点的侯选深度值； 

创建模块302具体包括： 

投影单元，用于将采样点投影在参考图像的相邻图像，得到投影点； 

第三计算单元，用于根据参考图像中的该像素点与投影点，计算投影点与参考图像中的该像素点之间的NCC值； 

创建单元，用于以该像素点的侯选深度值为自变量，以投影点与参考图像中的该像素点之间的NCC值为从变量创建相邻图像的NCC函数； 

融合单元，用于将相邻图像的NCC函数进行融合，得到该像素点的打分函数。 

第三计算单元具体包括： 

建立子单元，用于建立该像素点的图像窗口与投影点的图像窗口； 

计算子单元，用于根据该像素点的图像窗口与投影点的图像窗口，计算投影点与该像素点之间的NCC。 

在本发明实施例，通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的打分函数，根据打分函数，通过BP模型确定出参考图像的像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。 

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。 

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (4)

1.一种创建深度图的方法，其特征在于，所述方法包括：

在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样点；

计算所述采样点到所述摄像机的距离；

根据所述采样点的距离，计算所述像素点的侯选深度值；

将所述采样点投影在所述参考图像的相邻图像，得到投影点；

根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC；

以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的NCC函数；

将所述相邻图像的NCC函数进行融合，得到所述像素点的打分函数；

根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值；

存储所述深度值得到所述参考图像的深度图。

2.如权利要求1所述的方法，其特征在于，所述根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC，具体包括：

建立所述像素点的图像窗口与所述投影点的图像窗口；

根据所述像素点的图像窗口与所述投影点的图像窗口，计算所述投影点与所述像素点之间的NCC。

3.一种创建深度图的装置，其特征在于，所述装置包括计算模块、创建模块、确定模块和存储模块：

所述计算模块包括采样单元、第一计算单元和第二计算单元；

所述采样单元，用于在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样点；

所述第一计算单元，用于计算所述采样点到所述摄像机的距离；

所述第二计算单元，用于根据所述采样点的距离，计算所述像素点的侯选 深度值；

所述创建模块包括投影单元、第三计算单元、创建单元和融合单元；

所述投影单元，用于将所述采样点投影在所述参考图像的相邻图像，得到投影点；

所述第三计算单元，用于根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC；

所述创建单元，用于以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的NCC函数；

所述融合单元，用于将所述相邻图像的NCC函数进行融合，得到所述像素点的打分函数；

所述确定模块，用于根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值；

所述存储模块，用于存储所述深度值得到所述参考图像的深度图。

4.如权利要求3所述的装置，其特征在于，所述第三计算单元具体包括：

建立子单元，用于建立所述像素点的图像窗口与所述投影点的图像窗口；

计算子单元，用于根据所述像素点的图像窗口与所述投影点的图像窗口，计算所述投影点与所述像素点之间的NCC。 

Images