CN103268608B - 基于近红外激光散斑的深度估计方法及装置 - Google Patents

Abstract

本发明涉及图像深度计算技术领域，具体涉及一种基于近红外激光散斑的深度估计方法及装置。本发明所提供的基于近红外激光散斑的深度估计方法，通过对目标散斑图进行预处理，从目标散斑图中去除环境光照的影响，从而增加了深度估计的准确性；通过利用二进制特征描述散斑，有效的抵消了目标散斑图和参考散斑图之间亮度和对比度的巨大差异；通过快速的信息扩散，能够高效的进行深度估计，同时，由于增加了目标散斑图中散斑分布较少的区域的视差信息，可以使深度估计的结果更加全面准确。

Description

基于近红外激光散斑的深度估计方法及装置

技术领域

本发明涉及图像深度计算技术领域，具体涉及一种基于近红外激光散斑的深度估计方法及装置。

背景技术

从图像中恢复深度信息是计算机视觉领域的一个基础问题，近些年得到了越来越多的关注并且取得了巨大的进展。深度传感器在自动驾驶、工业生产中的外形测量、生物医学成像、计算机场景理解以及娱乐设备等各个领域得到了日益广泛的应用。根据是否使用受控的照明，现有技术中的深度计算系统可以分为被动深度估计系统和主动深度估计系统两种。

被动深度估计系统采用双目立体视觉的理论；用两个平行放置的相机同时拍摄场景图像，通过对两幅图像进行匹配从而得到视差值，进而通过换算得到深度值。然而被动系统的准确度严重依赖于场景的纹理和光照条件；如果场景中存在纹理不明显的区域，或者场景照明不利于匹配，都会严重影响深度估计的准确度。

主动深度估计系统则是利用投影机等设备将固定模式的光线投射到场景中，从而克服深度估计对场景的纹理和光照条件的依赖性。传统的主动深度估计系统使用普通数字投影机将固定模式的光线投射到场景中，然后利用双目立体视觉的方法进行深度估计；其缺点是普通数字投影机投射出的可见光与环境光混杂在一起，不利于进行匹配；同时，可见光会对人的视觉感知产生影响，影响用户体验；并且，该类深度估计系统通常体积庞大，不利于系统集成。

近些年，利用激光散斑的主动深度估计逐渐被人们所重视，由于激光的模式在不同深度下基本不变，所以可以只用一个单独的相机拍摄图像，与预先存储的参考散斑图进行匹配从而估计深度。在此基础上发展出了采用红外激光散斑的主动深度估计系统，其主要是利用激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑；通过将得到的目标红外激光散斑图与预先存储的参考散斑图匹配，进行深度估计。由于近红外激光不为人类视觉感知，并且对眼睛无伤害，利用近红外激光散斑的主动深度估计方法得到了越来越多的关注。

现有技术中，基于近红外激光散斑的深度估计方法通常没有考虑环境光照对深度估计准确度的影响，造成深度估计的结果存在误差；并且，由于参考散斑图是预先存储的，其亮度和对比度与实时采集的场景图像存在巨大的差异，现有基于激光散斑的主动深度估计方法没有充分考虑其影响；同时，对于散斑分布较少的区域，例如边界部分，深度估计常常是不够准确的，因此得到的深度估计结果可能存在片面性。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种不受环境光照影响、对亮度和对比度差异鲁棒并且能够快速全面进行深度估计的基于近红外激光散斑的深度估计方法；进一步的，本发明还提供了一种实现上述基于近红外激光散斑的深度估计方法的装置。

（二）技术方案

本发明技术方案如下：

一种基于近红外激光散斑的深度估计方法，包括步骤：

S1.对目标散斑图进行预处理；

S2.在预处理后的目标散斑图中选取可靠散斑；

S3.将包含可靠散斑的目标散斑图进行网格划分；

S4.对于每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型；

S5.根据所述概率图模型，将每个网格与参考散斑图进行匹配；

S6.将匹配得到的视差值转换为深度值。

优选的，所述步骤S1包括：

根据环境光照的权值计算环境光照的强度；

从目标散斑图的灰度值中去除所述环境光照的强度。

优选的，所述步骤S2包括：

选取可靠性大于阈值的散斑为可靠散斑；所述可靠性由匹配代价、匹配可信度以及左右一致性度量。

优选的，所述步骤S2中，利用二进制特征描述预处理后的目标散斑图中每一个散斑。

优选的，对于每个散斑，所述匹配代价为该散斑与参考散斑图中散斑的汉明距离；所述匹配可信度为该散斑的最佳匹配代价与次最佳匹配代价之间的绝对误差；所述左右一致性为该散斑在参考散斑图中的最佳匹配散斑与该最佳匹配散斑在目标散斑图中的最佳匹配散斑之间的误差。

优选的，所述步骤S4中：

对于每个网格，以该网格中所有可靠散斑的视差值以及该网格四邻域网格中所有可靠散斑的视差值为候选视差值。

优选的，在参考散斑图中，该网格的最佳匹配散斑的极线上的所有散斑组成集合O^r；

该网格的所有候选视差值组成集合D；

根据所述集合以及集合D构建概率图模型。

优选的，所述步骤S5与步骤S6之间还包括：

判断匹配得到的视差值是否满足预设条件：

是，则将匹配得到的视差值转换为深度值；

否，该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并跳转至步骤S4。

优选的，所述信息扩散包括：

设置阈值条件；

在该网格的邻域网格的候选视差值满足所述阈值条件时，则该网格接受其邻域网格的候选视差值。

本发明还提供了一种实现上述任意一种基于近红外激光散斑的深度估计方法的装置：

一种基于近红外激光散斑的深度估计装置，包括：

预处理模块，用于从目标散斑图中去除环境光照的影响；

可靠散斑提取模块，用于在预处理后的目标散斑图中选取可靠散斑；

网格划分模块，用于将包含可靠散斑的目标散斑图进行网格划分；

概率图模型构建模块，用于对每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型；

匹配模块，用于根据所述概率图模型，将每个网格与参考散斑图进行匹配；

判断反馈模块，在匹配得到的视差值满足预设条件时，将匹配得到的视差值转换为深度值；在匹配得到的视差值不满足预设条件时，该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并将更新后的候选视差值反馈至概率图模型构建模块。

（三）有益效果

本发明所提供的基于近红外激光散斑的深度估计方法，通过对目标散斑图进行预处理，从目标散斑图中去除环境光照的影响，从而增加了深度估计的准确性；通过利用二进制特征描述散斑，有效的抵消了目标散斑图和参考散斑图之间亮度和对比度的巨大差异；通过快速的信息扩散，能够高效的进行深度估计，同时，由于增加了目标散斑图中散斑分布较少的区域的视差信息，可以使深度估计的结果更加全面准确。

附图说明

图1是本发明实施例中基于近红外激光散斑的深度估计方法的流程示意图；

图2中是目标散斑图的一个局部示意图；

图3是图2中A区域的局部放大图；

图4是图2中B区域的局部放大图；

图5是本发明实施例中网格划分的示意图；

图6是本发明实施例中的概率图模型示意图；

图7是本发明实施例中网格间信息传递的示意图；

图8是本发明实施例中基于近红外激光散斑的深度估计装置的模块示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

流程图如图1中所示的一种基于近红外激光散斑的深度估计方法，主要包括步骤：

S1.对目标散斑图进行预处理；该步骤主要包括，根据环境光照的权值计算环境光照的强度，从目标散斑图的灰度值中去除环境光照的强度，得到包含纯粹散斑的目标散斑图；本实施例中，该步骤具体为：

图2中所示为目标散斑图的一个局部示意图，图3是图2中A区域的局部放大图；图4是图2中B区域的局部放大图，其中每个网格代表一个像素；图3以及图4中的每个网格内部的数字代表该像素的灰度值。通过图3以及图4的对比可以看出，区域内的最低灰度值（图3中的18～36以及图4中的21～39）与散斑的亮度（图3中的47以及图4中的85、98、104、111）和密集程度不相关，可以认为灰度值相对较低的部分是环境光照强度。如果区域内的灰度值从小到大排列为X₁,X₂,...,X_i；i=1,...,N，则我们通过以下公式来计算环境光照的强度 ${\hat{i}}_g(u,v):$

${\hat{i}}_g(u,v)=\frac{{\mathrm{\Σ}}_{k=1}^N{w}_k{X}_k}{{\mathrm{\Σ}}_{k=1}^N{w}_k},$

其中，w_k为权值；权值w_k定义为：

$w_k=\frac{2}{1+\exp \left(\mathrm{\λ}{(X_k-X_1)}^2\right)}$

其中，λ为一常数参数。

根据上述权值的定义，可以看出灰度值越高则权重越小。

将环境光照强度从目标散斑图的灰度值i(u,v)中减去就得到了散斑的强度即：

${\hat{i}}_d(u,v)=i(u,v)-{\hat{i}}_g(u,v).$

S2.在预处理后的目标散斑图中选取能够鲁棒匹配的可靠散斑；该步骤中主要是选取可靠性大于阈值的散斑为可靠散斑；可靠性由匹配代价、匹配可信度以及左右一致性度量。本实施例中，该步骤具体为：

在包含纯粹散斑的目标散斑图，利用CENSUS二进制特征描述每一个点；由于CENSUS二进制特征的非参数特性，使得该描述方法可以有效抵消目标散斑图和参考散斑图之间亮度和对比度的巨大差异；二进制特征的距离采用汉明距离来度量；汉明距离为两个字符串对应位置的字符不同的个数。

在此基础上，将能够可靠匹配即可靠性大于阈值的散斑作为可靠散斑。可靠性一般靠匹配代价、匹配可信度以及左右一致性来度量：对于每个目标散斑图中的一个散斑，匹配代价即二进制特征描述的该散斑和参考散斑图中散斑间的汉明距离；匹配可信度即该散斑在参考散斑图中最佳匹配时的代价与次最佳匹配时的代价之间的绝对误差；左右一致性是指该散斑在参考散斑图中的最佳匹配散斑与该最佳匹配散斑在目标散斑图中的最佳匹配散斑之间位置的误差。如果某个散斑的匹配代价、匹配可信度和左右一致性都满足一定的要求，即可靠性大于阈值，则认定该散斑为可靠匹配的，被选取为可靠散斑。

S3.在得到可靠散斑之后，将包含可靠散斑的目标散斑图进行网格划分。如图5中所示，将包含可靠散斑的目标散斑图划分为M行N列的网格，一般情况下每个网格中都包含一定数量的可靠散斑。

S4.对于每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型；本实施例中，该步骤具体为：

对于每个网格，将该网格作为中心网格，以该网格中包含的所有可靠散斑的视差值，以及该网格四邻域网格中所有可靠散斑的视差值，集合起来作为中心网格的候选视差值，称这种相互提供信息的方式为交叉支持，如图5中以粗线标示出的网格所示。

在此基础上，假设在目标散斑图中的某个待匹配网格为o，这个网格的所有候选视差值组成一个集合D={dc₁,...,dc_m,...,dc_M},dc_m∈N，在参考散斑图中所有处于待匹配网格o的最佳匹配散斑的基线上的所有散斑组成一个集合根据集合O^r以及集合D，构建如图6中所示的概率图模型；根据该概率图模型，集合D与待匹配网格o，是条件独立的，同时集合O^r的每个分量之间也是条件独立的。

S5.对于每一个网格，根据概率图模型对该网格与参考散斑图进行匹配；本实施例中，该步骤具体为：

给定d_m和o，则联合概率可以分解为：

$p(d_m,o,o_n^r,D)=p\left(o_n^r\right|o,d_m,D)p\left(d_m\right|o,D)p(o,D)$

$\∝p\left(o_n^r\right|o,d_m)p\left(d_m\right|D)$

其中，p(d_m|D)是先验概率，是似然项。

先验概率p(d_m|D)以混合高斯模型建模如下：

$p\left(d_m\right|D)\text{\∝}\underset{\mathrm{dc}\∈D}{\mathrm{\Σ}}\exp (-\frac{{(d_m-\mathrm{dc})}^2}{{2\mathrm{\σ}}^2})$

似然项以拉普拉斯分布建模如下：

$p\left(o_n^r\right|o,d_m)\∝\left\{\begin{array}{cc}\exp (-\mathrm{\β}\·D_f(f,f_n^r)& \mathrm{if}{d}_m=d_n\\ \mathrm{\ϵ}& \mathrm{otherwise}\end{array}\right.$

其中，ε是一个无穷小的整数；

则视差值可以通过最大化以下联合概率进行估计：

$\hat{d}=\underset{d_m}{\arg \max }p\left(d_m\right|o,O^r,D)$

该联合概率可以分解为：

p(d_m|o，O^r，D)∝p(d_m，o，O^r，D)

∝p(O^r|o，d_m)p(d_m|D)

根据条件独立假设，p(O^r|ο,d_m)可以进一步分解为：

$p\left(O^r\right|o,d_m)=\underset{n=1}{\overset{N}{\mathrm{\Π}}}p\left(o_n^r\right|o,d_m)$

将各个分解形式代入该联合概率表达式中并求取负对数可以得到能量函数：

$E\left(d\right)=\mathrm{\β}\·D_f(f,f^r\left(d\right))-\log \left[\underset{\mathrm{dc}\∈D}{\mathrm{\Σ}}\exp (-\frac{{(d-\mathrm{dc})}^2}{{2\mathrm{\σ}}^2})\right]+C$

其中C是一个与ε有关的常数，β为一常数参数；

则视差值可以通过最小化该能量函数求解获得。

在匹配获得视差值后，判断匹配得到的视差值是否满足预设条件：

若满足预设条件，则将匹配得到的视差值转换为深度值；

若不满足预设条件，则该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并跳转至步骤S4。

图7中示出了视差信息扩散的过程，网格内的数字代表该网格的候选视差值。为了让可靠散斑较少的网格能获得足够多的视差信息，我们在网格之间迭代的进行信息扩散。消息的传递是靠选择新的可靠散斑来进行的；如果某个待匹配网格从相邻的网格获得了视差信息并且该视差值的匹配能量足够低，可信度足够高，即满足下式：

$\left\{\begin{array}{ccc}E\left(\hat{d}\right)& <& {\mathrm{TH}}_E\\ \mathrm{Conf}\left(\hat{d}\right)& >& T{H}_{\mathrm{Conf}}\end{array}\right.$

其中，TH_E为匹配能量阈值，TH_Conf为可信度阈值；

则将该视差值作为该待匹配网格的候选视差值，此时称这条视差信息被该网格接受，否则称该视差信息被拒绝。如果视差信息被接受，则在下一次迭代时，该视差信息将被这个网格传递给它的相邻网格，称这个过程为信息扩散。在信息扩散过程中，匹配程度越高的散斑会越早被选为可靠散斑，而经过几次迭代之后，剩下的散斑可能都达不到被选取为可靠散斑的阈值要求。为了让信息扩散过程持续下去，在迭代过程中对阈值进行如下的动态放宽设置，即令：

TH_E＝TH_E+ΔTH_E

TH_Conf=TH_Conf-ΔTH_Conf

通过这种策略，信息能够在网格之间高效的传递。每一次迭代过程中信息扩散的距离为一个网格的尺寸，信息的最终扩散距离取决于网格大小和迭代次数。

S6.最后将匹配得到的视差值转换为深度值。

本实施例中还提供了一种实现上述基于近红外激光散斑的深度估计方法的装置；基于近红外激光散斑的深度估计装置，如图8中所示，包括：

预处理模块，用于从目标散斑图中去除环境光照的影响；

可靠散斑提取模块，用于在预处理后的目标散斑图中选取可靠散斑；

网格划分模块，用于将包含可靠散斑的目标散斑图进行网格划分；

概率图模型构建模块，用于对每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型；

匹配模块，用于根据概率图模型，将每个网格与参考散斑图进行匹配；

判断反馈模块，在匹配得到的视差值满足预设条件时，将匹配得到的视差值转换为深度值；在匹配得到的视差值不满足预设条件时，该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并将更新后的候选视差值反馈至概率图模型构建模块。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (8)

1.一种基于近红外激光散斑的深度估计方法，其特征在于，包括步骤：

S1.对目标散斑图进行预处理；

S2.在预处理后的目标散斑图中选取可靠散斑；

S3.将包含可靠散斑的目标散斑图进行网格划分；

S4.对于每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型，

其中，对于每个网格，以该网格中所有可靠散斑的视差值以及该网格四邻域网格中所有可靠散斑的视差值为候选视差值；

在参考散斑图中，该网格的最佳匹配散斑的基线上的所有散斑组成集合O^r；该网格的所有候选视差值组成集合D；根据所述集合O^r以及集合D构建概率图模型；

S5.根据所述概率图模型，将每个网格与参考散斑图进行匹配；

S6.将匹配得到的视差值转换为深度值。

2.根据权利要求1所述的深度估计方法，其特征在于，所述步骤S1包括：

根据环境光照的权值计算环境光照的强度；

从目标散斑图的灰度值中去除所述环境光照的强度。

3.根据权利要求1或2所述的深度估计方法，其特征在于，所述步骤S2包括：

选取可靠性大于阈值的散斑为可靠散斑；所述可靠性由匹配代价、匹配可信度以及左右一致性度量。

4.根据权利要求3所述的深度估计方法，其特征在于，所述步骤S2中，利用二进制特征描述预处理后的目标散斑图中每一个散斑。

5.根据权利要求4所述的深度估计方法，其特征在于，对于每个散斑，所述匹配代价为该散斑与参考散斑图中散斑的汉明距离；所述匹配可信度为该散斑的最佳匹配代价与次最佳匹配代价之间的绝对误差；所述左右一致性为该散斑在参考散斑图中的最佳匹配散斑与该最佳匹配散斑在目标散斑图中的最佳匹配散斑之间位置的误差。

6.根据权利要求1所述的深度估计方法，其特征在于，所述步骤S5与步骤S6之间还包括：

判断匹配得到的视差值是否满足预设条件：

是，则将匹配得到的视差值转换为深度值；

否，该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并跳转至步骤S4。

7.根据权利要求6所述的深度估计方法，其特征在于，所述信息扩散包括：

设置阈值条件；

在该网格的邻域网格的候选视差值满足所述阈值条件时，则该网格接受其邻域网格的候选视差值。

8.一种基于近红外激光散斑的深度估计装置，其特征在于，包括：

预处理模块，用于从目标散斑图中去除环境光照的影响；

可靠散斑提取模块，用于在预处理后的目标散斑图中选取可靠散斑；

网格划分模块，用于将包含可靠散斑的目标散斑图进行网格划分；

概率图模型构建模块，用于对每个网格，结合参考散斑图以及该网格的候选视差值构建概率图模型；

匹配模块，用于根据所述概率图模型，将每个网格与参考散斑图进行匹配；

判断反馈模块，在匹配得到的视差值满足预设条件时，将匹配得到的视差值转换为深度值；在匹配得到的视差值不满足预设条件时，该网格的邻域网格对该网格进行信息扩散，更新候选视差值，并将更新后的候选视差值反馈至概率图模型构建模块。