CN104899882A - 一种复杂场景的深度获取方法 - Google Patents

Abstract

本发明公开了一种复杂场景的深度获取方法，其能够提高获取深度图像的精度，进一步提高鲁棒性。这种复杂场景的深度获取方法，包括步骤：(a)利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案；(b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物体被投射编码结构光图案调制后的图像；(c)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在投射前后的偏移量；(d)利用偏移量计算匹配点的深度值,实现待测物体的深度数据获取。

Description

一种复杂场景的深度获取方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种复杂场景的深度获取方法，主要适用于多待测物体之间深度相差较大的复杂场景。

背景技术

基于结构光(Structured Light Illumination，SLI)深度获取方法是一种非接触、主动式方法，因其原理简单、精度高、鲁棒性高而广泛用于各种场景深度获取。但是由于受限于光学器件本身的限制以及待测物体本身反射、结构纹理复杂等原因，导致此方法存在深度获取速度及精度无法匹配的问题，很难同时满足需求。为了解决这个问题，研究人员提出了很多编码方法。根据编码方法及投射方式的不同可以分为时间复用编码方法、空间复用编码方法和时空复用编码方法。

激光散斑(Laser Speckle)作为空间复用编码结构光的一种，利用光学原理来生成随机散斑点投射到待测物体表面，经过图像分析等手段对表面形成的纹理进行解码得出特征点(散斑)的位置偏移量，最终根据三角测量原理利用偏移量计算得到待测物体深度数据。其解码过程需要检测图像中的每个特征光斑的位置和大小，利用散斑点局部相异性进行解码，不仅计算复杂度高，分辨率与精度仍然较低。比如微软KINECT体感数据采集设备利用light coding技术，用的激光散斑获取人体深度数据方法。

但是，现有基于散斑结构光进行深度获取存在方法在编码散斑模式存在一个显而易见的缺陷：均未认识到测量的深度的精度依赖于散斑的密度和散斑图像的信噪比；散斑图像的信噪比与散斑的大小、待测物体深度是相关的。尤其当场景中存在深度距离相差比较大的待测物体的时，无法运用单密度结构光散斑模式计算得到每个待测物体较精确的深度数据。

发明内容

本发明的技术解决问题是：克服现有单密度获取复杂场景深度数据不精确等技术的不足，提供一种新的复杂场景的深度获取方法，其能保证提高获场景深度图像的数据精度的同时，进一步提高鲁棒性。

本发明的技术解决方案是：

(a)设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案；

(b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物体被投射编码结构光图案调制后的图像；

(c)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在投射前后的偏移量；

(d)利用偏移量计算匹配点的深度值,实现待测物体的深度数据获取。

本发明将所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配特征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差，所以能够提高获取深度图像的精度，进一步提高鲁棒性。

附图说明

图1示出了根据本发明的系统方案的物理原型。

图2是基于散斑计算待测物体深度的示意图。

图3是多密度自适应结构光生成的流程示意图

具体实施方式

这种复杂场景的深度获取方法主要包含以下几个步骤：

(1)最佳的散斑密度模式与待测目标实际深度相关，利用公式(3)设计不同实际深度对应的不同的密度的结构光图案模式：P₀,P₁,…,P_M；

k(r)＝round{[sin(2πr/T)+1]*α+1}   (3)

其中r表示行序，k(r)表示每行的密码，α是一个控制k(r)为范围在1,2…N的整数的标量因子，T为行数。

(2)投射步骤(1)生成的M幅密度不同的激光散斑图案P₀,P₁,…,P_M，相应得到M幅待测物体调制图像I₀,I₁,…,I_M,利用公式(1)生成P_t：

(3)根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像R₀,R₁,…,R_M；并利用投影坐标系与相机坐标系转换关系，求解得到公式(1)中投影坐标系下区域因子B_t在相机坐标系下的相对区域因子B′_t；

(4)利用步骤(3)和公式(2)得到的B′_t生成P_t相对应的参考图像R_t；

(5)对每一个子区域运用特征点(散斑)匹配算法进行匹配操作，到结构光图案与被投射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量ΔL_t；

(6)根据步骤(5)的偏移量ΔL_t，估算待测物体的深度图。

本发明将公式(1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制后图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差，所以能够提高获取深度图像的精度，进一步提高鲁棒性。

以下对本发明进行更详细的说明。

基于结构光深度获取方法是将特定编码的结构光图案通过投影仪等光发射设备投射到待测物体上，并用与光发射设备成一定角度的相机拍摄记录下待测物体被投射图案调制的后图像，通过匹配算法找到投射结构光图案与记录下的调制图案的对应点，最后根据三角测距原理计算得到待测物体的深度，本文系统方案的物理原型如图1所示。

将整个过程抽象成数学模型，如图2所示。针对单密度模式，在理想状态下，待测物体深度和偏移量关系的数学表达式如下：

$\mathrm{\ΔD}=\frac{\mathrm{\ΔD}\×\mathrm{\ΔL}}{S+\mathrm{\ΔL}}---\left(4\right)$

其中ΔD是待测物体离参考平面的距离，ΔL是待测点与参考图像上的对应参考点的偏移量。在测量系统中激光发射器与相机之间的基值S远远大于偏移量ΔL，则公式(4)等价于公式(5):

$\mathrm{\ΔD}=\frac{D\×\mathrm{\ΔL}}{S+\mathrm{\ΔL}}\≈\frac{D}{S}\×\mathrm{\ΔL}=\mathrm{\ω}\×\mathrm{\ΔL}---\left(5\right)$

其中ω＝D/S，在本系统模型中是一常数，ΔD与ΔL成正比关系，因此深度图像的距离分辨率取决于图像的分辨率。

另外根据小孔成像原理，可以得出公式(6)表示的ΔL与实际成像距离的关系：

$\mathrm{\ΔL}=\frac{\mathrm{Length}\left(\mathrm{CCD}\right)}{\mathrm{row}\×\mathrm{col}}\×\frac{D}{f}---\left(6\right)$

其中f是拍摄所用相机的焦距，是一个常数；row×col是成像分辨率大小；D为可测距离。进一步由公式(5)、(6)得：

$\mathrm{\ΔD}=\frac{D}{S}\×\frac{\mathrm{Length}\left(\mathrm{CCD}\right)}{\mathrm{row}\×\mathrm{col}}\×\frac{D}{f}---\left(7\right)$

由公式(7)可以进一步得出结论：深度图像的空间分辨率与散斑的颗粒度和图像特征点(散斑)匹配的精度相关。

不失一般性，单密度模式情况下，假设为待测物体t时刻测得的深度值，D_t为待测物体真实的深度值，P₀是单密度散斑图，f₀是匹配算法，则此时D_t与数学关系模型如下：

${\hat{D}}_t=f_0(P_0,D_t)---\left(8\right)$

由上述模式可知，单密度散斑结构光在任何时刻都使用相同模式的投射图案，没有考虑投身结构光的散斑密度受D_t决定这个事实。对于复杂场景中存在深度差相对较大的待测物体时，无法提升测量深度的精度。因此，需要将单密度散斑结构光拓展成多密度自适应的散斑结构光。

假设在一定范围内，对于复杂场景中不同的深度的待测物体则对应不同的密度的散斑结构光模式，用P_t表示，t>1，则对于某一个时刻t，最佳的真实距离与测量深度则可以表示如下：

${\hat{D}}_t=f_t(P_t,D_t),t>1---\left(9\right)$

在基于结构光进行深度计算时，一般满足的假设条件就是待测物体深度数据在时间上是连续的，所以可以用前一时刻得到的来选择此时的最佳散斑密度模式，即

${\hat{D}}_t=f_t\left(P_t\right|{\hat{D}}_{t-1},D_t),t>1---\left(10\right)$

相同的原理，我们可以对一个复杂场景不同深度的待测对象利用最佳散斑密度模式提升深度精度，最终的散斑密度模式如下所表示：

${\hat{D}}_t=f_t\left(P_t\right|{\hat{D}}_{t-1},...{\hat{D}}_0,D_t),t>1---\left(11\right)$

复杂场景中会存在两个及两个以上不同深度的待测物体，每个待测物体及相邻区域均采用上述的方法进行投射图案的自适应融合生成。然而，我们希望最终是投射的是不同实际距离区域对应不同密度的混合结构光图案，因此需要进去各t时刻的P_t进行区域分割操作。这里我们根据各个区域一定的深度值作为阈值，进行投射图案无重叠区域分割，得到场景各个部分最佳局部投射图案，即公式(1)所示：

将公式(1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制后图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配特征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。我们采用多密度散斑图像匹配方法来提高匹配的准确性。

多密度结构解码算法：

①根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像R₀,R₁,…,R_M；

②投射M幅密度不同的激光散斑P₀,P₁,…,P_M，得到M幅待测物体调制图像I₀,I₁,…,I_M,利用公式(1)生成P_t：

③求解得到公式(10)中投影坐标系下区域因子B_t在相机坐标系下的相对区域因子B′_t；

④利用B′_t用公式(2)生成P_t相对应的参考图像R_t；

⑤对每一个子区域运用特征点(散斑)匹配算法进行匹配操作计算特征点(散斑)的偏移量ΔL_t；

⑥根据⑤的结果估算待测物体的深度图。

利用距离与散斑最佳密度之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差，复杂场景深度精度有明显的提升。

本发明中的提议已经被整合到高精度非接触式体感数据采集仪深度获取部分，运用多密度自适应结构光，进行高精度深度获取，充分考虑了深度图像的空间分辨率与散斑的颗粒度和图像特征点匹配的精度相关特性，运用局部渐近匹配方法，进一步提高匹配准确度，减少误差，提高深度图像精度。从主观来说，本提议所得深度图从测量范围、测量精度都比用单密度散斑结构光获取深度图像更好。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种复杂场景的深度获取方法，其特征在于：包括以下步骤：

(a)利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案；

(b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物体被投射编码结构光图案调制后的图像；

(c)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在投射前后的偏移量；

(d)利用偏移量计算匹配点的深度值,实现待测物体的深度数据获取。

2.根据权利要求1所述的一种复杂场景的深度获取方法，其特征在于：

(1)根据最佳的散斑密度模式与待测目标实际深度相关性，设计不同实际深度对应的不同的密度的结构光图案模式：

P₀,P₁,…,P_M；

(2)投射M幅密度不同的激光散斑图案P₀,P₁,…,P_M，利用公式(1)生成混合密度投射图案P_t

$P_t=\underset{t=1}{\overset{M}{\mathrm{\Σ}}}{P}_{{\hat{D}}_t}{B}_t---\left(1\right)$

其中，代表局部所对应的最佳密度投射结构光图案，B_t为局部区域因子，其所在坐标系为投影坐标系，控制最终组成不重叠的投射单帧投射散斑结构光图案；

(3)根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像R₀,R₁,…,R_M；并利用投影坐标系与相机坐标系转换关系，求解得到公式(1)中投影坐标系下区域因子B_t在相机坐标系下的相对区域因子B′_t；

(4)利用步骤(3)得到的B′_t生成P_t相对应的参考图像R_t；

$R_4=\underset{t=1}{\overset{M}{\mathrm{\Σ}}}{R}_{{\hat{D}}_t}{B}_t^{\′}---\left(2\right)$

(5)对每一个子区域运用特征点(散斑)匹配算法进行匹配操作，到结构光图案与被投射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量ΔL_t；

(6)根据步骤(5)的偏移量ΔL_t，估算待测物体的深度图。

3.根据权利要求1所述的复杂场景的深度获取方法，其特征在于：投射的混合多密度散斑模式的设计与相应对应多密度参考图像的生成。