CN103778643B - 一种实时生成目标深度信息的方法及其装置 - Google Patents

Abstract

本发明提供一种实时生成目标深度信息的方法，步骤为：获取视野内目标的目标衍射离散光斑图序列；得到多个原始的第一帧目标深度图；比较每一个原始的第一帧目标深度图与其对应的参考衍射离散光斑图已知深度的偏离值，选取偏离值最小时对应区域的深度信息，以此获得优化的第一帧目标深度图；使用参考衍射离散光斑图区块，与第二帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到第二帧目标深度图；得到后一帧目标深度图。还提供一种使用上述实时生成目标深度信息的方法的装置。有益效果：实时获取与视野内人或其他目标相距的距离，实时更新深度信息，应用于运动捕捉系统或机器视觉系统等，以作为具体应用系统的信息输入。

Description

一种实时生成目标深度信息的方法及其装置

技术领域

本发明涉及图像处理技术，特别是一种实时生成目标深度信息的方法及其装置。

背景技术

随着3D技术的发展，立体显示、机器视觉、卫星遥感等方面的技术应用越来越多地需要获取场景的深度信息。目前，深度相机能够获取相机视野内目标的深度信息。

深度相机主要有三种架构，分别是双目立体视觉法、飞行时间法（TOF）和结构光法。双目立体视觉法使用两个镜头的立体视觉来获得关于对象的表面与相机之间的距离的深度信息。飞行时间法使用雷达测量的原理进行三维场景深度的测量，相机发射主动光波照射三维场景，光波经三维场景反射后回到深度相机，根据光波的发射时间和反射光波的接收时间之间的时间差(也即，相位差)获取三维场景的深度信息。

现有的深度相机，获得的深度信息的精确度随着到目标的距离增加而快速地降低，并且精度还取决于目标的表面状态，所以难以获得精确的深度信息。同时，现有的深度相机还存在以下缺陷：

（1）、深度信息生成速度较慢，无法真正实现实时获取；

（2）、所得深度信息的精度达不到理想的精度效果，对边缘处理不好，例如目标深度数据不连续的地方；

（3）、应用场景，测量范围太局限，不能满足一些应用的需要。

发明内容

为了解决上述现有的技术问题，本发明提供一种实时生成目标深度信息的方法及其装置，能够实时获取与视野内人或其他目标相距的距离，并且实时更新深度信息，从而应用于运动捕捉系统或机器视觉系统等，以作为军事、娱乐、智能家居、体育或医学等方面的具体应用系统的信息输入。

本发明解决上述现有的技术问题，提供一种实时生成目标深度信息的方法，具体步骤为：

S1：获取视野内目标的目标衍射离散光斑图序列；该目标衍射离散光斑图序列包括第一帧目标衍射离散光斑图和第二帧目标衍射离散光斑图；

S2：调用预存储的深度信息已知的多个参考衍射离散光斑图，分别与第一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到对应的多个原始的第一帧目标深度图；比较每一个原始的第一帧目标深度图与其对应的参考衍射离散光斑图已知深度的偏离值，选取偏离值最小时对应区域的深度信息，以此获得优化的第一帧目标深度图；

S3：调用优化的第一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的第一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与第二帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到第二帧目标深度图；

S4：对于目标衍射离散光斑图序列的后续帧目标衍射离散光斑图，调用前一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的前一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与后一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到后一帧目标深度图。

本发明更进一步的改进如下所述。

包括采集深度信息已知的参考衍射离散光斑图；一光屏垂直于摄像机的光轴设置，摄像机获取已知深度信息的光屏上的衍射离散光斑图，作为一参考衍射离散光斑图。

沿着光轴方向，设置多个采集位置，获得深度信息已知的多个参考衍射离散光斑图。

衍射离散光斑互相关处理使用的位移形函数、搜索函数、互相关函数分别为

$\left\{\begin{array}{c}{x}^{\′}=x+u+\frac{\∂u}{\∂x}\mathrm{\Δx}+\frac{\∂u}{\∂y}\mathrm{\Δy}\\ y^{\′}=x+v+\frac{\∂v}{\∂x}\mathrm{\Δx}+\frac{\∂v}{\∂y}\mathrm{\Δy}\end{array}\right.$

其中（x，y）表示参考衍射离散光斑图子区的任一点；

（xˊ，yˊ）表示目标衍射离散光斑图子区的任一点；

u、v、和表示参考衍射离散光斑图子区中心点的位移量和导数；

$S=1-\frac{\mathrm{\Σ\Σ}[f(x,y)\·g(x+u,y+v)]}{{[\mathrm{\Σ\Σ}{f}^2(x,y)\·\mathrm{\Σ\Σ}{g}^2(x+u,y+v)]}^{\frac{1}{2}}}$

其中，f为参考图像子区的灰度函数；g为目标图像子区的灰度函数；x，y表示参考图像子区的像素在参考图像中的坐标；x+u，y+v表示目标图像子区的像素在目标图像中的坐标；S为最终的相关系数；

$S=1-\frac{{\left\{\mathrm{\&Sigma;\&Sigma;}\right\{[f(x,y)-<f>]\&CenterDot;[g(x^{\&prime;},y^{\&prime;})-<g>]\left\}\right\}}^2}{\mathrm{\&Sigma;\&Sigma;}{[f(x,y)-<f>]}^2\&CenterDot;\mathrm{\&Sigma;\&Sigma;}{[g(x^{\&prime;},y^{\&prime;})-<g>]}^2}$

其中，S为最终的互相关系数，S=0相关，S=1不相关；

f为参考衍射离散光斑图像子区内的图像灰度函数，g为目标衍射离散光斑图像子区内的图像灰度函数，<f>和<g>表示f和g在匹配区域内的系统平均值。

在步骤S1中，获取视野内目标的目标衍射离散光斑图序列之后，对该目标衍射离散光斑图进行预处理。

所述预处理为使用降噪、插值法、中值滤波法或区块划分法进行处理。

本发明解决上述现有的技术问题，提供一种使用实时生成目标深度信息的方法的装置，包括主体，还包括激光器、衍射光学元件、摄像机、图像处理模块和存储器；所述摄像机与所述图像处理模块连接，所述图像处理模块与所述存储器连接；所述激光器发出的激光穿透所述衍射光学元件后照明视野中的目标；所述摄像机获取视野中的目标衍射离散光斑图，并发送至所述图像处理模块；所述图像处理模块对所述目标衍射离散光斑图和所述存储器内预存储的参考衍射离散光斑图进行衍射离散光斑互相关匹配处理，以生成目标的深度信息。

本发明更进一步的改进如下所述。

还包括窄带通滤波片，所述窄带通滤波片置于所述摄像机的镜头前。

所述激光器与所述衍射光学元件构成衍射离散光斑发生器。

所述激光器为单模激光器或多模激光器。

相较于现有技术，本发明的有益效果是：能够实时获取与视野内人或其他目标相距的距离，并且实时更新深度信息，从而应用于运动捕捉系统或机器视觉系统等，以作为军事、娱乐、智能家居、体育或医学等方面的具体应用系统的信息输入。采用多模激光器，降低了装置成本，采用单片光学衍射元件，提高了光学系统稳定性。

附图说明

图1为本发明实时生成目标深度信息的方法的流程图。

图2为采集参考衍射离散光斑图的结构示意图。

图3为本发明装置的模块示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

如图1至图3所示，一种实时生成目标深度信息的方法，具体步骤为：

S1：获取视野内目标的目标衍射离散光斑图序列；该目标衍射离散光斑图序列包括第一帧目标衍射离散光斑图和第二帧目标衍射离散光斑图，还包括连续的后续帧目标衍射离散光斑图；

S2：调用预存储的深度信息已知的多个参考衍射离散光斑图，假设该多个参考衍射离散光斑图的数量为N，那么，分别与第一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到对应的N个原始的第一帧目标深度图；比较每一个原始的第一帧目标深度图与其对应的参考衍射离散光斑图已知深度的偏离值，在N个偏离值中选取偏离值最小的区域的深度信息，以此获得优化的第一帧目标深度图；

S3：调用优化的第一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的第一帧目标深度图区块，以及对应的参考衍射离散光斑图区块，该参考衍射离散光斑图区块能够为单一的区块，也能够为复数个区块的集合；使用该参考衍射离散光斑图区块，即使用单一的区块，或者使用复数个区块的集合，与第二帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到第二帧目标深度图；在该步骤中，划分的第一帧参考衍射离散光斑图区块能够映射到接下的第二帧衍射离散光斑图，进行相同的划分。

S4：对于目标衍射离散光斑图序列的后续帧目标衍射离散光斑图，调用前一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的前一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与后一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到后一帧目标深度图。在该步骤中，划分的前一帧参考衍射离散光斑图区块能够映射到接下的后一帧衍射离散光斑图，进行相同的划分。

如果实时生成的目标深度信息对外输出，那么，还包括步骤S5：优化的第一帧目标深度图、第二帧目标深度图及后续帧目标深度图的输出。对偏离值进行自适应阈值设定，从处理第二帧目标深度衍射离散光斑图开始，每一帧目标深度图的生成都进行一次自适应阈值设定。自适应阈值设定即对应每一幅参考衍射离散光斑图设定一个阈值，使得划分出的目标深度图区块构成原来完整的一幅深度图。

本发明亦包括步骤：采集深度信息已知的参考衍射离散光斑图，该步骤在S1之前。一光屏12垂直于摄像机13的光轴设置，摄像机13获取已知深度信息的光屏12上的衍射离散光斑图，作为一参考衍射离散光斑图。沿着光轴方向，设置多个采集位置，获得深度信息已知的多个参考衍射离散光斑图。一般情况下，设置的间距越小、参考衍射离散光斑图越密集，那么生成的目标深度信息精度越高。

本发明采用的衍射离散光斑互相关处理使用的位移形函数、搜索函数、互相关函数分别为

$\left\{\begin{array}{c}{x}^{\&prime;}=x+u+\frac{\&PartialD;u}{\&PartialD;x}\mathrm{\&Delta;x}+\frac{\&PartialD;u}{\&PartialD;y}\mathrm{\&Delta;y}\\ y^{\&prime;}=x+v+\frac{\&PartialD;v}{\&PartialD;x}\mathrm{\&Delta;x}+\frac{\&PartialD;v}{\&PartialD;y}\mathrm{\&Delta;y}\end{array}\right.$

其中（x，y）表示参考衍射离散光斑图子区的任一点；

（xˊ，yˊ）表示目标衍射离散光斑图子区的任一点；

u、v、和表示参考衍射离散光斑图子区中心点的位移量和导数；

$S=1-\frac{\mathrm{\&Sigma;\&Sigma;}[f(x,y)\&CenterDot;g(x+u,y+v)]}{{[\mathrm{\&Sigma;\&Sigma;}{f}^2(x,y)\&CenterDot;\mathrm{\&Sigma;\&Sigma;}{g}^2(x+u,y+v)]}^{\frac{1}{2}}}$

其中，f为参考图像子区的灰度函数；g为目标图像子区的灰度函数；x，y表示参考图像子区的像素在参考图像中的坐标；x+u，y+v表示目标图像子区的像素在目标图像中的坐标；S为最终的相关系数；

$S=1-\frac{{\left\{\mathrm{\&Sigma;\&Sigma;}\right\{[f(x,y)-<f>]\&CenterDot;[g(x^{\&prime;},y^{\&prime;})-<g>]\left\}\right\}}^2}{\mathrm{\&Sigma;\&Sigma;}{[f(x,y)-<f>]}^2\&CenterDot;\mathrm{\&Sigma;\&Sigma;}{[g(x^{\&prime;},y^{\&prime;})-<g>]}^2}$

其中，S为最终的互相关系数，S=0相关，S=1不相关；

f为参考衍射离散光斑图像子区内的图像灰度函数，g为目标衍射离散光斑图像子区内的图像灰度函数，<f>和<g>表示f和g在匹配区域内的系统平均值。

为了提高生成的目标深度信息的精度效果，改善边缘处理效果，例如目标深度数据不连续的地方，在步骤S1中，获取视野内目标的目标衍射离散光斑图序列之后，对该目标衍射离散光斑图进行预处理，即使用降噪、插值法、中值滤波法或区块划分法进行处理，除此之外，亦能够使用本领域悉知的其它预处理方法进行处理。

如图1至图3所示，本发明提供一种使用实时生成目标深度信息的方法的装置，包括主体16、激光器、衍射光学元件112、摄像机13、图像处理模块14和存储器15。主体16提供安装基础。摄像机13与图像处理模块14连接，图像处理模块14与存储器15连接。激光器发出的激光穿透衍射光学元件112后照明视野中的目标；摄像机13获取视野中的目标衍射离散光斑图，并发送至图像处理模块14；图像处理模块14对目标衍射离散光斑图和存储器15内预存储的参考衍射离散光斑图进行衍射离散光斑互相关匹配处理，以生成目标的深度信息。

本发明还包括窄带通滤波片，该窄带通滤波片置于摄像机13的镜头前，让激光衍射离散光斑的中心波段通过，滤除其它波段的光，从而减少环境光的影响，使得在室内较暗的环境或室外较亮的环境下，均能正常工作。

本发明的激光器与衍射光学元件112构成衍射离散光斑发生器11，该激光器为单模激光器或多模激光器111，当为多模激光器111时能够降低生产成本。

本发明能够实时获取与视野内人或其他目标相距的距离，并且实时更新深度信息，从而应用于运动捕捉系统或机器视觉系统等，以作为军事、娱乐、智能家居、体育或医学等方面的具体应用系统的信息输入。采用多模激光器111，降低了装置成本，采用单片光学衍射元件，提高了光学系统稳定性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种实时生成目标深度信息的方法，其特征在于：具体步骤为：

S1：获取视野内目标的目标衍射离散光斑图序列；该目标衍射离散光斑图序列包括第一帧目标衍射离散光斑图和第二帧目标衍射离散光斑图；

S2：调用预存储的深度信息已知的多个参考衍射离散光斑图，分别与第一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到对应的多个原始的第一帧目标深度图；比较每一个原始的第一帧目标深度图与其对应的参考衍射离散光斑图已知深度的偏离值，选取偏离值最小时对应区域的深度信息，以此获得优化的第一帧目标深度图；

S3：调用优化的第一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的第一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与第二帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到第二帧目标深度图；

S4：对于目标衍射离散光斑图序列的后续帧目标衍射离散光斑图，调用前一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的前一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与后一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到后一帧目标深度图；

在步骤S3和S4中的自适应阈值设定是对应每一幅参考衍射离散光斑图设定一个阈值，使得划分出的目标深度图区块构成原来完整的一幅深度图。

2.根据权利要求1所述的实时生成目标深度信息的方法，其特征在于：包括采集深度信息已知的参考衍射离散光斑图；一光屏垂直于摄像机的光轴设置，摄像机获取已知深度信息的光屏上的衍射离散光斑图，作为一参考衍射离散光斑图。

3.根据权利要求2所述的实时生成目标深度信息的方法，其特征在于：沿着光轴方向，设置多个采集位置，获得深度信息已知的多个参考衍射离散光斑图。

4.根据权利要求1所述的实时生成目标深度信息的方法，其特征在于：衍射离散光斑互相关处理使用的位移形函数、搜索函数、互相关函数分别为

其中(x，y)表示参考衍射离散光斑图子区的任一点；

(xˊ，yˊ)表示目标衍射离散光斑图子区的任一点；

u、v、和表示参考衍射离散光斑图子区中心点的位移量和导数；

$S=1-\frac{\mathrm{\&Sigma;}\mathrm{\&Sigma;}\&lsqb;f(x,y)\&CenterDot;g(x+u,y+v)\&rsqb;}{{\&lsqb;{\mathrm{\&Sigma;\&Sigma;f}}^2(x,y)\&CenterDot;{\mathrm{\&Sigma;\&Sigma;g}}^2(x+u,y+v)\&rsqb;}^{\frac{1}{2}}}$

其中，f为参考图像子区的灰度函数；g为目标图像子区的灰度函数；x，y表示参考图像子区的像素在参考图像中的坐标；x+u，y+v表示目标图像子区的像素在目标图像中的坐标；S为最终的相关系数；

$S=1-\frac{{\left\{\mathrm{\&Sigma;}\mathrm{\&Sigma;}\right\{\&lsqb;f(x,y)-<f>\&rsqb;\&CenterDot;\&lsqb;g(x^{\&prime;},y^{\&prime;})-<g>\&rsqb;\left\}\right\}}^2}{\mathrm{\&Sigma;}\mathrm{\&Sigma;}{\&lsqb;f(x,y)-<f>\&rsqb;}^2\&CenterDot;\mathrm{\&Sigma;}\mathrm{\&Sigma;}{\&lsqb;g(x^{\&prime;},y^{\&prime;})-<g>\&rsqb;}^2}$

其中，S为最终的互相关系数，S＝0相关，S＝1不相关；

f为参考衍射离散光斑图像子区内的图像灰度函数，g为目标衍射离散光斑图像子区内的图像灰度函数，<f>和<g>表示f和g在匹配区域内的系统平均值。

5.根据权利要求1所述的实时生成目标深度信息的方法，其特征在于：在步骤S1中，获取视野内目标的目标衍射离散光斑图序列之后，对该目标衍射离散光斑图进行预处理。

6.根据权利要求5所述的实时生成目标深度信息的方法，其特征在于：所述预处理为使用降噪、插值法、中值滤波法或区块划分法进行处理。

7.一种使用权利要求1至6任意一项所述实时生成目标深度信息的方法的装置，包括主体，其特征在于：还包括激光器、衍射光学元件、摄像机、图像处理模块和存储器；所述摄像机与所述图像处理模块连接，所述图像处理模块与所述存储器连接；

所述激光器发出的激光穿透所述衍射光学元件后照明视野中的目标；

所述摄像机获取视野中的目标衍射离散光斑图，并发送至所述图像处理模块；

所述图像处理模块对所述目标衍射离散光斑图和所述存储器内预存储的参考衍射离散光斑图进行衍射离散光斑互相关匹配处理，以生成目标的深度信息。

8.根据权利要求7所述的使用实时生成目标深度信息的方法的装置，其特征在于：还包括窄带通滤波片，所述窄带通滤波片置于所述摄像机的镜头前。

9.根据权利要求7所述的使用实时生成目标深度信息的方法的装置，其特征在于：所述激光器与所述衍射光学元件构成衍射离散光斑发生器。

10.根据权利要求7所述的使用实时生成目标深度信息的方法的装置，其特征在于：所述激光器为单模激光器或多模激光器。