CN106954058B - 深度图像获取系统和方法 - Google Patents

Abstract

本发明公开了一种深度图像获取系统和方法。所述深度图像获取系统包括：光学投影单元，包括至少两个光学投影仪；所述至少两个光学投影仪用于发射各自波长的结构光图像；图像采集单元，包括滤光片和图像传感器；处理器单元，用于接收光学图像，并将其处理得到深度图像。本发明的有益效果为：提供一种深度图像获取系统和方法，光学投影单元用于发射至少两个波长的结构光图像；利用图像采集单元实现不同波长图像的同步采集，处理器单元获取所述光学图像并处理得到没有视差的深度图像，深度图像可以分别对应不同角度的深度图像以消除单幅深度图像产生的阴影问题，也可以分别对应不同距离的深度图像以实现更大深度范围的测量。

Description

深度图像获取系统和方法

技术领域

本发明涉及光学投影及测量技术领域，尤其涉及一种深度图像获取系统和方法。

背景技术

深度相机可以用来获取物体的深度图像，进一步可以进行3D建模、骨架提取等，在3D测量以及人机交互等领域有着非常广泛的应用。结构光深度相机作为深度相机的一种，由于其成本低、成像分辨率高等优势目前应用最为广泛，尽管如此，仍存在一些问题。深度相机的测量范围有限，并且测量精度会随着测量距离呈指数下降；目前普通使用的单投影模组加单成像相机组成的深度相机的深度图像往往有阴影区域。深度相机获取的深度图像存在这些问题对深度相机的应用产生负面的影响，特别是对测量范围、测量精度等有较高要求的应用。

发明内容

本发明为了解决现有技术中不能获取深度信息的阴影区域以及测量精度随着测量距离急剧加大的问题，提供一种深度图像获取系统和方法。

为解决上述问题，本发明采用如下技术方案：

一种深度图像获取系统，包括：

光学投影单元，包括至少两个光学投影仪；所述至少两个光学投影仪用于发射各自波长的结构光图像；

图像采集单元，包括滤光片和图像传感器；所述滤光片包括至少两个滤光片单元分别允许通过所述至少两个光学投影仪发射出的光；所述图像传感器用于接收通过所述滤光片的光转换成光学图像并将所述光学图像传送给处理器单元；

处理器单元，用于接收所述光学图像，并将其计算得到深度图像。

优选地，还包括存储单元，用于存储所述深度图像。

优选地，所述处理器单元包括:一个或多个处理器；存储器；以及一个或多个程序，其被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：接收所述光学图像；将所述光学图像计算出所述至少两个投影仪对应的结构光图像；利用所述至少两个结构光图像计算出对应的深度图像。

优选地，所述处理器单元还用于控制所述光学投影单元的投影和/或所述图像采集单元进行图像采集。

优选地，所述至少两个结构光图像在波长、光强、图案密度方面，至少有一个方面不同。

优选地，所述至少两个光学投影仪与所述图像采集单元设置在同一平面；所述至少两个光学投影仪与所述图像采集单元之间的距离不同。

优选地，所述光学投影仪光源为VCSEL阵列激光。

一种采用以上任一所述的深度图像获取系统获取深度图像的方法，包括以下步骤：

S1:利用光学投影单元的至少两个光学投影仪分别向目标空间发射各自波长的结构光图像；

S2:利用图像采集单元获取光学图像并将所述光学图像传送给处理器单元；

S3:利用处理器单元接收所述光学图像并进行计算获取所述深度图像。

优选地，步骤S3中所述获取深度图像的方法包括利用三角法原理计算出各像素的深度值。

优选地，步骤S3中获取所述深度图像包括所述处理器单元融合所述至少两个深度图像得到合并深度图像。

优选地，所述融合包括：以所述至少两个深度图像中的任意一个深度图像为参照深度图像，用所述至少两个深度图像中剩下的深度图像中的有效深度值取代所述参照深度图像中相应的深度值，所述有效深度值指的是所述参照深度图像中像素值为空洞而所述剩下的深度图像中不为空洞的像素上的深度值。

优选地，所述融合包括：将所述至少两个深度图像中对应像素值加权平均后的像素值作为融合后深度图像的像素值。

优选地，所述融合包括：利用所述至少两个深度图像中所述对应像素值计算亚像素的像素值以提高深度图像的分辨率。

一种计算机可读存储介质，其存储有与深度图像获取设备结合使用的计算机程序，所述计算机程序被处理器执行以上任一所述方法。

本发明的有益效果为：提供一种深度图像获取系统，光学投影单元用于发射至少两个波长的结构光图像；利用图像采集单元实现不同波长图像的同步采集，处理器单元获取所述光学图像并处理得到没有视差的深度图像，深度图像可以分别对应不同角度的深度图像以消除单幅深度图像产生的阴影问题，也可以分别对应不同距离的深度图像以实现更大深度范围的测量。

附图说明

图1是本发明实施例1的图像获取系统置于移动设备中的示意图。

图2是本发明实施例2的深度图像获取系统示意图。

图3是本发明实施例1和2的图像采集单元示意图。

图4是本发明实施例3的图像采集单元的滤光片单元的示意图。

图5是本发明实施例4的处理器单元处理图像过程示意图。

图6是本发明实施例1、2、3和4的获取深度图像的方法示意图。

其中，1-第一光学投影仪、2-图像采集单元、21-滤光片单元、22-图像传感器单元、3-第二光学投影仪、4-移动设备、5-处理器单元、6-光线、7-透镜。

具体实施方式

下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

实施例1

如图1所示，是本发明实施例的图像获取系统置于移动设备中的示意图，是本发明所述的深度图像获取系统作为移动设备内置单元的具体应用。深度图像获取系统作为一个嵌入式单元器件被嵌入到移动设备4中，包括第一光学投影仪1、图像采集单元2、第二光学投影仪3，所应用的处理器为移动设备中的AP处理器。在本实施例中，所述的移动设备4是手机；深度图像获取系统嵌入的位置是移动设备4的顶端，第一光学投影仪1、图像采集单元2、第二光学投影仪3设置在同一平面；所述至少两个光学投影仪与所述图像采集单元之间的距离不同。嵌入图像获取系统的移动设备4可以用于获取目标的深度图像，进一步的可以用来进行3D扫描、3D建模、3D识别等应用。在本实施例的一些变通实施例中，上述移动设备4还可以是PAD、计算机、智能电视等；嵌入的位置也可以是其他部位，比如侧面、底端、背面等。

如图6所示，本实施例嵌入图像获取系统的移动设备4获取深度图像的方法包括如下步骤：

(1)所述第一光学投影仪1用于发射第一波长的第一结构光图像，所述第二光学投影仪3用于发射第二波长的第二结构光图像；所述第一波长和第二波长为不同波长的红外光；所述第一结构光图像和所述第二结构光图像的光强不同；所述第一结构光图像和所述第二结构光图像的图案密度不同。

其中，在本实施例的一些变通实施例中，结构光图像可以是比如红外、紫外光图像；结构光的种类也较多，比如散斑、条纹等；第一光学投影仪1和第二光学投影仪3的光源可以为VCSEL阵列激光。

第一光学投影仪1、图像采集单元2、第二光学投影仪3被配置在同一条基线上，第一光学投影仪1和第二光学投影仪3可以分别位于图像采集单元2的两侧，且第一光学投影仪1与图像采集单元2之间的距离要大于第二光学投影仪3与图像采集单元2之间的距离。

在本实施例的一些变通实施例中，第一光学投影仪1、图像采集单元2、第二光学投影仪3相互之间的位置可以不做限定；或者其他所述第一光学投影仪1和所述第二光学投影仪3到所述图像采集单元2的距离不同设置。

(2)如图3所示，所述图像采集单元2包括滤光片单元21和图像传感器单元22；所述滤光片单元21包括第一滤光片单元和第二滤光片单元并分别允许通过所述第一波长和第二波长的光；所述图像传感器单元22用于获取光学图像并将所述光学图像传送给处理器单元。空间中的点通过光线6经由透镜7聚焦后成像在图像传感器的像素上，图像传感器用于将光强转化成对应的数字信号。深度图像获取系统中的图像采集单元2只有一个，用于同步采集第一光学投影仪1和第二光学投影仪3的结构光图像。

在本实施例的变通实施例中，图像传感器可以是CMOS或CCD。

(3)本实施例中所用的处理器单元为移动设备4中的AP处理器用于接收所述光学图像，并将其处理、计算得到深度图像。

在本实施例的一些变通实施例中，处理器单元也可以包括多个处理器，比如由专门用于深度获取的专用SOC芯片以及移动设备中的AP处理器，其中专用SOC芯片用于计算深度图像，而AP处理器则可以用于图像融合等功能。

所述处理器单元包括:一个或多个处理器；存储器；以及一个或多个程序，其被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：接收所述光学图像；将所述光学图像计算出第一结构光图像和第二结构光图像；利用第一波长结构光图像计算出第一深度图像，利用第二波长结构光图像计算出第二深度图像。

所述处理器单元还用于控制所述光学投影单元的投影和所述图像采集单元进行图像采集。

在本实施例的变通实施例中，所述处理器单元还用于控制所述光学投影单元的投影或所述图像采集单元进行图像采集。

所述深度图像通过对计算所述结构光图像与参考结构光图像之间个像素的偏离值，并根据偏离值利用三角法原理计算出各像素的深度值；所述参考结构光图像是预先在于所述图像采集单元已知距离上的平面上采集的所述结构光图像。

所述处理器单元的计算程序还用于融合所述第一深度图像与所述第二深度图像得到第三深度图像。

所述融合包括：以所述第一或第二深度图像为参照，用所述第二或第一深度图像中的有效深度值取代所述第一或第二深度图像中相应的深度值，所述有效深度值指的是第一或第二深度图像中像素值为空洞而第二或第一深度图像中不为空洞的像素上的深度值。

所述融合包括：将所述第一深度图像与所述第二深度图像中对应像素值加权平均后的像素值作为融合后深度图像的像素值。

所述融合包括：利用所述第一深度图像与所述第二深度图像中所述对应像素值计算亚像素的像素值以提高深度图像的分辨率。

上述所述处理器单元处理、计算获取所述深度图像的方法，根据实际需要，可以全部采用也可以部分采用。

实施例2

如图2所示，是本实施例的深度图像获取系统的示意图。深度图像获取系统为独立的设备，包括第一光学投影仪1、图像采集单元2、第二光学投影仪3和处理器单元5。

如图6所示，深度图像获取系统获取深度图像的方法包括如下步骤：

(1)光学投影单元包括第一光学投影仪1和第二光学投影仪3；所述第一光学投影仪1用于发射第一波长的第一结构光图像，所述第二光学投影仪3用于发射第二波长的第二结构光图像；

(2)图像采集单元2包括滤光片单元21和图像传感器单元22；所述滤光片单元21包括第一滤光片单元和第二滤光片单元并分别允许通过所述第一波长和第二波长的光；所述图像传感器单元22用于获取光学图像并将所述光学图像传送给处理器单元；

(3)处理器单元5用于接收所述光学图像，并将其处理、计算得到深度图像。

不同于实施例1，本实施例中深度图像获取系统作为独立设备，通过接口与其他设备连接用于输出/输入数据，这里的接口为USB接口。在本实施例中，深度图像获取系统还包括存储单元，用于存储获取的深度图像。

在本实施例的变通实施例中，输出/输入数据还可以通过其他类型的接口、WIFI等。

实施例3

如图4所示，是本发明实施例的图像采集单元的滤光片单元的示意图。普通的RGB相机采用的拜尔滤光片，滤光片拥有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片分别有用于通过红光、绿光以及蓝光的滤光单元，且考虑到人眼对绿光更加敏感，因而三者的比例为R(25％):G(50％):B(25％)。而本实施例中，深度图像获取系统包括第一光学投影仪1、图像采集单元2、第二光学投影仪3和处理器单元5。其中，图像采集单元2的滤光片单元21由两个部分构成，其中IR1与IR2代表波长不同的两种红外光，IR1对应的像素将可以采集到IR1波长的红外图像，IR2对应的像素将采集到IR2波长的红外图像。第一光学投影仪1发射IR1红外光,第二光学投影仪3用于发射IR2红外结构光，因此图像传感器22上同时记录了含有第一光学投影仪1和第二光学投影仪3所发射的结构光信息。由于每一种信息都只占有部分的像素，在本实施例中两种信息的比例为1:1，需要通过插值的方式恢复每个像素上的另一种分量的强度信息，从而最终实现同步获取完整的第一结构光图像与第二结构光图像。插值采用加权平均的方法。

在本实施例的变通实施例中，可以采用其他插值的方法，由于为已有技术因而在这里不加以详述。

如图6所示，是本实施例深度图像获取系统获取深度图像的方法。

在本实施例的变通实施例中，存在一种计算机可读存储介质，其存储有与深度图像获取设备结合使用的计算机程序，所述计算机程序被处理器执行以实现本发明所述的任一所述方法。

在本实施例的变通实施例中，第一光学投影仪1与第二光学投影仪3分别发射近、远红外光，因此滤光片的IR1、IR2则分别用于获取近红外图像及远红外图像。需要注意的是，在本发明的其他变通实施例中，可能采用任何其他波长的组合及应用。

实施例4

如图5所示，是根据本发明的一个实施例的处理器单元处理图像的示意图。深度图像获取系统包括第一光学投影仪1、图像采集单元2、第二光学投影仪3和处理器单元5。所述处理器单元5理所述光学图像的方法包括：由所述光学图像计算出第一结构光图像和第二结构光图像；获取所述的深度图像包括：利用第一波长结构光图像计算出第一深度图像；利用第二波长结构光图像计算出第二深度图像。

首先由图像传感器22包含两种波长(如近红外、远红外光)的光学图像；其次将该光学图像输出到处理器单元5，由处理器单元5将该光学图像一分为二，即包含第一光学投影仪1发射的结构光信息的第一结构光图像以及包含第二光学投影仪3发射的结构光信息的第二结构光图像；其中结构光图像将进一步由处理器单元计算得到第一与第二深度图像；最后将第一与第二深度图像融合成第三深度图像并输出；第一深度图像与第二深度图像也可以单独进行输出。

由结构光图像计算深度图像的原理即为结构光三角法原理。以散斑图像为例，预先需要对采集一幅已知深度平面上的结构光图像为参考图像，然后处理器单元5利用当前获取的结构光图像与参考图像，通过图像匹配算法计算各个像素的偏离值(变形)，最后利用三角法原理可以计算出深度，计算公式如下：

其中，Z_D指三维空间点距离采集模组的深度值，即待求的深度数据，B是采集相机与结构光投影仪之间的距离，Z₀为参考图像离采集模组的深度值，f为采集相机中透镜的焦距。

根据光学投影仪配置的不同，上述图像处理的具体方法也有区别。

如图6所示，是本实施例深度图像获取系统获取深度图像的方法。

在本实施例的一种变通实施方式中，第一光学投影仪1所投影的结构光图案强度及密度均大于第二光学投影仪3，另外第一光学投影仪1与所述图像采集单元2之间的距离也大于第二光学投影仪，这样配置的目的在于，第一结构光图像将可以包含更远距离的目标图像，同时对于远距离的目标拥有更好的结构光特征，由此针对较远距离的物体，可以由处理器单元5获取更加准确的第一深度信息；而第二结构光图像仅能获取近距离的第二深度信息，对于远距离的深度信息可能会出现空洞等现象。由于第一结构光图像与第二结构光图像是由同一个图像传感器获取的，因而二者之间没有视差，因此得到的第一深度图像与第二深度图像之间的像素也是一一对应的，根据前述第一深度图像中较远距离物体的深度信息更加准确可靠，而第二深度图像中较近距离物体的深度信息更加准确可靠，因此可以将这两幅深度图像进行融合。

一种融合方式为:首先选取一个深度阈值，对于每个像素，判断第一深度图像与第二深度图像中的该像素值是否达到所述深度阈值，若低于该阈值，则选取第二深度图像中的像素值作为该像素的像素值，反之则选取第一深度图像。经过该融合后可以得到第三深度图像，第三深度图像中的各像素将拥有比第一及第二深度图像更高的精度。

另一种融合方式为：选择一个加权平均方案，即通过该加权平均方案将第一深度图像与第二深度图像中对应的像素进行加权平均得到精度更高的第三深度图像。加权系数可以是个变量，比如对于近距离的物体，第二深度图像中的像素值将拥有更高的权重。

再一种融合方式为：创建一个比当前采集相机传感器分辩率更高的图像，根据第一深度图像与第二深度图像中的像素逐个计算创建图像中各个像素的像素值，最终可以获取更高分辩率的深度图像。举例来说，以第一深度图像为参考图像，结合第二深度图像来计算第一深度图像的1/2,1/4等亚像素的值，从而提高深度图像的分辨率。

在另一个实施例中，第一光学投影仪1与第二光学投影仪3分别位于图像采集单元2的两侧，对于某一被物体，可能会出现以下现象，即第一深度图像中物体左侧的部分区域的深度信息无法获取，而第二深度图像中物体右侧的部分区域的深度信息无法获取。这一现象在由单个光学投影仪以及单个图像采集单元组成的深度相机中普遍存在，原因是由于物体由于凸起导致凸起一侧无法被光学投影仪照射到，类似于光学照明中的阴影区域。针对这一情形，就可以将第一深度图像与第二深度图像进行像素值互补，互补后的第三深度图像中就不会出现深度信息为空的阴影区域。

在实施例1、2、3或4的一些变通实施例中，图像获取系统可以根据实际需要包括多个光学投影仪，比如三个或四个等；所述光学投影仪的在空间设置没有具体限制，其应用跟上述实施例本质原理相同，因此不再赘述。需要注意的是，光学投影仪数量的不同以及具体设置方式的不同；与其对应的图像采集单元的滤光片数量会有不同，最终目的是保证所有光学投影仪投射出的光均可以通过滤光片，并由图像传感器用于接收所有通过滤光片的光转换成光学图像并将所述光学图像传送给处理器单元；相应的处理器单元获取光学图像并计算得到的各个结构光图像对应的深度图像，并可以进一步进行深度图像的融合，深度图像的数量不同其具体的融合方式会略有不同，但都属于本发明所保护的范围；使用本发明所述的深度图像获取系统和方法，根据需要不同设置多个光学投影仪的图像发射多个波长的结构光图像；利用图像采集单元实现不同波长图像的同步采集，处理器单元获取所述光学图像并处理得到没有视差的深度图像，深度图像可以分别对应不同角度的深度图像以消除单幅深度图像产生的阴影问题，也可以分别对应不同距离的深度图像以实现更大深度范围的测量，针对具体问题的其他方面的具体应用也应视为本发明所保护的范围。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (14)

1.一种深度图像获取系统，其特征在于，包括：

光学投影单元，包括至少两个光学投影仪；所述至少两个光学投影仪用于发射各自波长的结构光图像；

图像采集单元，包括滤光片和图像传感器；所述滤光片包括至少两个滤光片单元分别允许通过所述至少两个光学投影仪发射出的光；所述图像传感器用于接收通过所述滤光片的光转换成光学图像并将所述光学图像传送给处理器单元；

处理器单元，用于接收所述光学图像，并根据所述光学图像计算出与所述结构光图像对应的深度图像；

或，用于接收所述光学图像，并根据所述光学图像计算出与所述结构光图像对应的深度图像，将至少两个与所述结构光图像对应的深度图像融合成一幅深度图像。

2.如权利要求1所述的深度图像获取系统，其特征在于，还包括存储单元，用于存储所述深度图像。

3.如权利要求1所述的深度图像获取系统，其特征在于，所述处理器单元包括:一个或多个处理器；存储器；以及一个或多个程序，其被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：接收所述光学图像；将所述光学图像计算出所述至少两个投影仪对应的结构光图像；利用所述至少两个结构光图像计算出对应的深度图像。

4.如权利要求1所述的深度图像获取系统，其特征在于，所述处理器单元还用于控制所述光学投影单元的投影和/或所述图像采集单元进行图像采集。

5.如权利要求1所述的深度图像获取系统，其特征在于，所述至少两个结构光图像在波长、光强、图案密度方面，至少有一个方面不同。

6.如权利要求1所述的深度图像获取系统，其特征在于，所述至少两个光学投影仪与所述图像采集单元设置在同一平面；所述至少两个光学投影仪与所述图像采集单元之间的距离不同。

7.如权利要求1所述的深度图像获取系统，其特征在于，所述光学投影仪光源为VCSEL阵列激光。

8.一种采用如权利要求1-7任一所述的深度图像获取系统获取深度图像的方法，包括以下步骤：

S1:利用光学投影单元的至少两个光学投影仪分别向目标空间发射各自波长的结构光图像；

S2:利用图像采集单元获取光学图像并将所述光学图像传送给处理器单元；

S3:利用处理器单元接收所述光学图像并进行计算获取所述深度图像。

9.如权利要求8所述的获取深度图像的方法，其特征在于，步骤S3中所述获取深度图像的方法包括利用三角法原理计算出各像素的深度值。

10.如权利要求8所述的获取深度图像的方法，其特征在于，步骤S3中获取所述深度图像包括所述处理器单元融合所述至少两个深度图像得到合并深度图像。

11.如权利要求10所述的获取深度图像的方法，其特征在于，所述融合包括：以所述至少两个深度图像中的任意一个深度图像为参照深度图像，用所述至少两个深度图像中剩下的深度图像中的有效深度值取代所述参照深度图像中相应的深度值，所述有效深度值指的是所述参照深度图像中像素值为空洞而所述剩下的深度图像中不为空洞的像素上的深度值。

12.如权利要求10所述的获取深度图像的方法，其特征在于，所述融合包括：将所述至少两个深度图像中对应像素值加权平均后的像素值作为融合后深度图像的像素值。

13.如权利要求10所述的获取深度图像的方法，其特征在于，所述融合包括：利用所述至少两个深度图像中对应像素值计算亚像素的像素值以提高深度图像的分辨率。

14.一种计算机可读存储介质，其存储有与深度图像获取设备结合使用的计算机程序，所述计算机程序被处理器执行以实现权利要求8-13任一所述方法。