CN108269238A - 深度图像采集装置和深度图像采集系统及其图像处理方法 - Google Patents

Abstract

一深度图像采集装置和深度图像采集系统及其图像处理方法，其中所述深度图像采集系统包括：至少两红外成像单元；至少一彩色成像单元；一散斑投射单元和一图像处理单元，在工作的过程中，所述散斑投射单元投射红外光，所述两红外成像单元接收目标物体反射的红外光，得到两红外图像，所述彩色成像单元采集RGB图像，各所述红外图像和所述RGB图像被传送至所述图像处理单元，所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像，以提高传统深度图像的分辨率和清晰度。

Description

深度图像采集装置和深度图像采集系统及其图像处理方法

技术领域

本发明涉及图形采集、处理领域，更进一步，涉及一深度图像采集装置和深度图像采集系统及其图像处理方法，其将RGB图像与深度图像融合。

背景技术

随着光学测量以及计算机视觉的发展，光学三维测量技术逐渐成熟，已逐渐应用在手势控制、3D建模、汽车雷达以及机器人视觉系统等领域，也成为当前光学领域中的热点。

红外散斑双目深度技术是诸多光学三维测量技术中表现较为突出的一种技术。其基本原理是红外投射器发射出固定编码的红外光由被测物体反射后被红外相机捕获，从而计算得出被测物体与红外散斑双目深度相机的距离。与其光学三维测量技术相比，红外散斑双目深度技术具有计算量小、实时性强、精度适中等优点。

但是基于传统双目深度图像采集的基本原理，现有的红外散斑双目深度相机采集的图像都是灰度图像，并不是彩色图像。也就是说，这种方式得到的图像并不能像通常的平面图像一样通过彩色图像再现被测物体。这种方式虽然获得深度信息，具有空间立体感，但是损失了色彩信息，得到的图像的分辨率较低，图像的清晰度较差。这种效果使得用户体验较差，因此也限制了红外散斑双目深度相机的应用范围。

发明内容

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中所述深度图像采集装置采集RGB图像和深度图像，将RGB图像和深度图像融合。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中所述深度图像采集装置包括至少一彩色成像单元，以便于采集RGB图像。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中所述深度图像采集装置包括两红外成像单元和一散斑投射单元，以便于相互配合采集得到深度图像。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中在图像处理的过程中，先将两红外成像单元采集的红外图像处理得到深度图像，而后将深度图像和RGB图像进行融合处理，从而得到高精度彩色深度图像。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中所述深度图像融合了RGB图像信息，提高了双目深度图像的分辨率，提高了图像的清晰度。

本发明的一个目的在于提供一深度图像采集装置和深度图像处理处理系统及其处理方法，其中所述两红外成像单元和所述散斑投射单元以及采集成像单元同步工作，从而提高采样精度。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中在图像处理的过程中，先对各红外成像单元采集的图像各自进行去噪处理，而后再合成深度图像，从而提高合成的深度图像的精度。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中在图像处理的过程中，对RGB图像进行去噪处理，以提高图像精度。

本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法，其中通过融合后的深度图弥补了传统双目深度图在光滑平面的测试缺陷。

为了实现以上至少一发明目的，本发明的一方面提供一深度图像采集系统，其包括：至少两红外成像单元；至少一彩色成像单元；一散斑投射单元；和一图像处理单元，在工作的过程中，所述散斑投射单元投射红外光，所述两红外成像单元接收目标物体反射的红外光，得到两红外图像，所述彩色成像单元采集RGB图像，各所述红外图像和所述RGB图像被传送至所述图像处理单元，所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元将两所述红外单元处理合成一深度图像，再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。

根据一些实施例，所述的深度图像采集系统，其中所述两红外成像单元向所述图像处理单元输出Bayer格式视频图像。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元将所述两红外图像进行去噪处理后合成所述深度图像。

根据一些实施例，所述的深度图像采集系统，其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元对所述RGB图像去噪处理后，将所述RGB图像和所述两红外图像融合。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元被设置有至少一输出接口，以便于通信连接于一电子设备，输出所述彩色深度图像。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元向所述两红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号，同步所述红外成像单元、所述彩色成像单元和所述散斑投射单元。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，先将所述深度图像坐标依据公式：[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到所述RGB图像形成深度种子，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，通过获取公式di＝kd*dd+kc*dc中最小的n个值，寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

根据一些实施例，所述的深度图像采集系统，其中所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

根据一些实施例，所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，根据选取的种子计算每个像素的深度：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

本发明的另一方面提供一深度图像采集装置，其包括：两红外摄像模块；一彩色摄像模块；一散斑投射器；一处理器；和一壳体，其中所述两红外摄像模块、所述彩色摄像模块和所述散斑投射模块被安装于所述壳体，以便于通过所述壳体提供固定位置，所述处理器被设置于所述壳体内，所述散斑投射器配合所述两红外摄像模块采集两红外图像，所述彩色摄像模块采集RGB图像，所述处理器将所述两红外图像和所述RGB图像融合得到一彩色深度图像。

根据一些实施例，所述的深度图像采集装置，其中所述两红外摄像模块对称分布于所述散斑投射器两侧。

根据一些实施例，所述的深度图像采集装置，其中一所述红外摄像模块和所述彩色摄像模块被集成设置。

根据一些实施例，所述的深度图像采集装置，其中所述深度图像采集装置包括一输出接口，被设置于所述壳体，所述输出接口通信连接于所处处理器，以便于通过所述输出接口通信连接于一电子设备。

根据一些实施例，所述的深度图像采集装置，其中所述处理器将两所述红外单元处理合成一深度图像，再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。

根据一些实施例，所述的深度图像采集装置，其中所述两所述红外摄像模块向所述处理器输出Bayer格式视频图像。

根据一些实施例，所述的深度图像采集装置，其中所述处理器将所述两红外图像进行去噪处理后合成所述深度图像。

根据一些实施例，所述的深度图像采集装置，其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。

根据一些实施例，所述的深度图像采集装置，其中所述处理器对所述RGB图像去噪处理后，将所述RGB图像和所述两红外图像融合。

根据一些实施例，所述的深度图像采集装置，其中所述处理器被设置有至少一输出接口，以便于通信连接于一电子设备，输出所述彩色深度图像。

根据一些实施例，所述的深度图像采集装置，其中所述处理器向所述两红外摄像模块、所述彩色摄像模块、所述散斑投射器传送同步信号，同步所述红外摄像模块、所述彩色摄像模块和所述散斑投射器。

根据一些实施例，所述的深度图像采集装置，其中所述处理器在融合图像的过程中，先将所述深度图像坐标依据公式：[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到所述RGB图像形成深度种子，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

根据一些实施例，所述的深度图像采集装置，其中所述处理器在融合图像的过程中，通过获取公式di＝kd*dd+kc*dc中最小的n个值，寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

根据一些实施例，所述的深度图像采集装置，其中所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

根据一些实施例，所述的深度图像采集装置，其中所述处理器在融合图像的过程中，根据选取的种子计算每个像素的深度：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

本发明的另一方面提供一深度图像处理方法，其包括步骤：

(A)采集至少一RGB图像；

(B)采集至少一深度图像；和

(C)融合所述RGB图像和所述深度图像形成一彩色深度图像。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(A)包括步骤：对所述RGB图像进行去噪处理，从而得到高质量的所述RGB图像。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(B)包括步骤：获取至少两红外图像，将所述两红外图像合成所述深度图像。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(B)包括步骤：对所述两红外图像进行去噪处理。

根据一些实施例，所述的深度图像处理方法，其中所述步骤红外图像为Bayer格式视频图像。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(C)中包括步骤：

(C1)将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子；

(C2)寻找RGB图像中每个像素与之距离最近的n个种子；和

(C3)根据选取的种子计算每个像素的深度。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(C1)中的映射公式为：[u,v,1]＝M*[R|T]*[X,Y,Z]，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(C2)中所述距离包括空间距离与色彩距离。

根据一些实施例，所述的深度图像处理方法，其中所述步骤(C2)为寻找di＝kd*dd+kc*dc最小的n个值，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

根据一些实施例，所述的深度图像处理方法，其中所述深度的计算公式为：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

附图说明

图1是根据本发明的一个优选实施例深度图像采集系统的工作原理框图。

图2是根据本发明的上述优选实施例的深度图像采集系统具体实施方式的工作原理图。

图3是根据本发明的上述优选实施例的深度图像采集系统深度图像和RGB图像融合方法框图。

图4A，4B是根据本发明的一个优选实施例的深度图像采集装置。

图5是根据本发明的上述优选实施例的深度图像处理方法框图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

参照图1至图3，根据本发明的第一个优选实施例的深度图像采集系统100，所述深度图像采集系统100分别采集深度图像和彩色图像，将深度图像和彩色图像进行融合，得到彩色深度图像(RGB-D图像)，可以被应用于不同的设备以及不同领域，比如深度相机、手势控制、3D建模、汽车雷达以及机器人视觉等领域。

所述深度图像采集系统100包括至少两红外成像单元101、至少一彩色成像单元102、一散斑投射单元103和一图像处理单元104。所述两红外成像单元101、所述彩色成像单元102以及所述散斑投射单元103通信连接于所述图像处理单元104。

所述两红外成像单元101用于和所散斑投射单元103相配合采集深度图像。所述彩色成像单元102采集用于采集RGB图像。所述图像处理单元104用于处理图像信息。具体地，在工作的过程中，所述散斑投射单元103投射红外散斑至一目标物体上，所述两红外成像单元101获取具有红外散斑特征的实时红外图像。所述彩色成像单元102获取目标物体的彩色图像。所述红外图像和所述彩色图像被传送至所述图像处理单元104，所述图像处理单元104将所述红外图像处理得到深度图像，进而将所述深度图像和所述彩色图像相融合得到RGB-D图像。

更具体地，所述散斑投射单元103向目标物体投射红外散斑光线，并且提供补充照明。所述彩色成像单元102的RGB图像传感器感光作用后，进行光电转换，向所述图像处理单元104输出RGB图像。所述两红外成像单元101的IR图像传感器响应被所述物体反射的所述散斑投射单元103投射的红外散斑光线，进行感光作用，向所述图像处理单元104输出Bayer格式的图像信息。所述图像处理单元104先将所述两所述红外成像单元101的红外图像进行处理，合成高精度的深度图像，再将深度图像和所述彩色成像单元102输出的所述RGB图像进行融合处理得到RGB-D图像。

举例地，所述两红外成像单元101可以为两红外摄像模组，所述彩色成像单元102可以为一自然光摄像模组，所述散斑投射单元103可以为一红外衍射散斑投射器，所述图像处理单元104可以一嵌入式处理器。

值得一提的是，对于传统的双目深度相机，通常只能采集深度图像，深度图像再现只是灰度图像，并不具有色彩信息，但是只有灰度信息的深度图像的分辨率较低、图像的清晰度较差，且对于一些光滑平面的图像采集效果更差。而根据本发明将采集的彩色图像融合于深度图像，得到带有色彩信息的深度图像，即RGB-D图像，从而提高了深度图像的分辨率，提高图像的清晰度，且弥补了传统的深度图像采集在光滑平面的缺陷，为使用者提供更加良好的用户体验。

进一步，所述图像处理单元104设置有一输出接口105，比如USB和MIPI接口，从而可以通过所述输出接口105将所述RGB-D图像输出。如，通过所述USB接口将所述图像采集系统连接于一电子设备，比如台式电脑、笔记本电脑、平板电脑、个人数字处理器、手机设备、可穿戴设备、汽车控制台、体感游戏设备等，从而通过所述电子设备实现图像的再现，且配合所述电子设备工作。

所述图像处理单元104向所述两红外成像单元101和所述彩色成像单元102传送控制信号，以控制所述两红外成像单元101和所述彩色成像单元102工作，比如控制所述两红外成像单元101和所述彩色成像单元102采集各自采集图像信息，并且将采集的红外图像信息和所述彩色图像信息传送至所述图像处理单元104。所述图像处理单元104向所述两红外成像单元101、所述彩色成像单元102以及所述散斑投射单元103传送同步信号，以同步所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103，提高图像采集精度。也就是说，在所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103工作之前，先对所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103进行信号同步。

如图3所示，所述图像处理单元104将所述深度图像和所述彩色图像融合方法示意图。在图像融合的过程中，先将所述两红外成像单元101采集的红外图像进行去噪处理，即，对深度图像1和深度图像2进行去噪处理，去除深度与临近像素均存在较大差异的像素，去除差异后再红外图像进行合成，形成高精度的深度图像。

进一步，所述图像处理单元104对所述RGB图像进行去噪处理，提高图像质量。

进一步，所述图像处理单元104将合成的双目深度数据[X,Y,Z]，根据公式[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到RGB图中形成深度种子。其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

进一步，RGB图像中的每个像素寻找与之空间距离与彩色距离最小的n个种子，即di＝kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

根据选取的种子计算所述像素的深度：D＝D1*q1+…+Dn*qn。其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

由此，通过所述图像处理单元104的处理作用，得到彩色深度图像，即RGB-D图像。

参照图4A和4B，根据本发明的上述实施例，本发明提供一深度图像采集装置10，其包括两红外摄像模块11、一彩色摄像模块12、一散斑投射器13和一处理器14。所述两红外摄像模块11用于获取红外图像，所述彩色摄像模块12用于获取RGB图像，所述散斑投射器13用于投射红外散斑光线，所述处理器14用于处理图像信息。

本发明的这个实施例中，所述深度图像采集装置10包括一壳体16，所述两红外摄像模块11和所述彩色采集摄像模块12以及所述散斑投射器13分别被安装于所述壳体16，以便于通过所述壳体16提供固定位置，使得所述两红外摄像模块11、所述彩色摄像模块12所述散斑投射器13被稳定固定。所述处理器14被设置于所述壳体16内。

所述两红外摄像模块11分别被设置于所述散斑投射器13的两侧。特别地，所述两红外摄像模块11对称地设置于所述散斑投射器13的两侧。当然，在本发明的其他实施例中，所述两红外成像模块和所述散斑投射器13还可以是其他布局。

在本发明的这个实施例中，所述彩色摄像模块12和其中一所述红外摄像模块11集成设置。也就是说，所述采集成像模块和所述红外摄像模块11集成一个模块，位于同一位置。

进一步，所述处理器14为一集成线路板，被设置于所述壳体16的内部，以保护所述处理器14。

所述深度图像采集装置10被设有至少一输出接口15，比如USB和MIPI接口，从而可以通过所述输出接口15将所述RGB-D图像输出。如，通过所述USB接口将所述图像采集系统连接于一电子设备，比如台式电脑、笔记本电脑、平板电脑、个人数字处理器14、手机设备、可穿戴设备、汽车控制台等，从而通过所述电子设备实现图像的再现，且配合所述电子设备工作。所述输出接口15通信连接于所述图像处理器14。

在所述深度图像采集装置10工作的过程中，所述散斑投射器13投射红外散斑至一目标物体上，所述两红外摄像模块11获取具有红外散斑特征的实时红外图像。所述彩色摄像模块12获取目标物体的彩色图像。所述红外图像和所述彩色图像被传送至所述处理器14，所述处理器14将所述红外图像处理得到深度图像，进而将所述深度图像和所述彩色图像相融合得到RGB-D图像。

具体地，所述散斑投射器13向目标物体投射红外散斑光线，并且提供补充照明。所述彩色摄像模块12的RGB图像传感器感光作用后，进行光电转换，向所述图像处理单元14输出RGB图像。所述两红外摄像模块11的IR图像传感器响应被所述物体反射的所述散斑投射器13投射的红外散斑光线，进行感光作用，向所述处理器14输出Bayer格式的图像信息。所述处理器14先将所述两红外摄像模块11的红外图像进行处理，合成高精度的深度图像，再将深度图像和所述彩色摄像模块12输出的所述RGB图像进行融合处理。

值得一提的是，在传统的双目深度图像相机中，通常只能采集深度图像，而深度图像再现只是灰度图像，并不具有色彩信息，而只有灰度信息的深度图像的分辨率较低、图像的清晰度较差，且对于一些光滑平面的图像采集效果更差。而根据本发明的深度图像采集装置，将采集的彩色图像融合于深度图像，得到带有色彩信息的深度图像，即RGB-D图像，从而提高了深度图像的分辨率，提高图像的清晰度，且弥补了传统的深度图像采集在光滑平面的缺陷，为使用者提供更加良好的用户体验。

所述处理器14向所述两红外摄像模块11和所述彩色摄像模块12传送控制信号，以控制所述两红外摄像模块11和所述彩色摄像模块12工作，比如控制所述两红外摄像模块11和所述彩色摄像模块12采集各自采集图像信息，并且将采集的红外图像信息和所述彩色图像信息传送至所述处理器14。所述处理器14向所述两红外摄像模块11、所述彩色摄像模块12以及所述散斑投射器13传送同步信号，以同步所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13，提高图像采集精度。也就是说，在所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13工作之前，先对所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13进行信号同步。

参照图3，所述处理器14在图像融合的过程中，先将所述两红外摄像模块11采集的红外图像进行去噪处理，即，对深度图像1和深度图像2进行去噪处理，去除深度与临近像素均存在较大差异的像素，去除差异后再红外图像进行合成，形成高精度的深度图像。

进一步，所述处理器14对所述RGB图像进行去噪处理，提高图像质量。

进一步，所述处理器14将合成的双目深度数据[X,Y,Z]，根据公式[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到RGB图中形成深度种子。其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

进一步，RGB图像中的每个像素寻找与之空间距离与彩色距离最小的n个种子，即di＝kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

根据选取的种子计算所述像素的深度：D＝D1*q1+…+Dn*qn。其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

由此，通过所述处理器14的处理作用，得到彩色深度图像，即RGB-D图像。

参照图5，根据本发明的上述实施例，本发明提供一深度图像处理方法1000，所述方法1000包括步骤：

1001：采集至少一RGB图像；

1002：采集至少一深度图像；和

1003：融合所述RGB图像与所述深度图像形成一彩色深度图像。

其中所述步骤1001中包括步骤：对所述RGB图像进行去噪处理，从而得到高质量的所述RGB图像。

其中所述步骤1002中包括步骤：获取至少两红外图像，将所述两红外图像合成所述深度图像。

进一步，所述步骤1002中包括步骤：对所述两红外图像分别进行去噪处理。所述去噪处理为：去除深度与临近像素存在较大差异的像素。

其中所述步骤1002中，所述红外图像为Bayer格式视频图像。

其中在所述步骤1003中包括步骤：

10031：将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子；

10032：寻找RGB图像中每个像素与之距离最近的n个种子；和

10033：根据选取的种子计算每个像素的深度。

其中所述步骤10031中的映射公式为：[u,v,1]＝M*[R|T]*[X,Y,Z]。

其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

其中所述步骤10032中的所述距离包括空间距离与色彩距离。

所述步骤10032即为寻找di＝kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子

其中所述步骤10033中，计算公式为：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (37)

1.一深度图像采集系统，其特征在于，包括：

至少两红外成像单元；

至少一彩色成像单元；

一散斑投射单元；和

一图像处理单元，在工作的过程中，所述散斑投射单元投射红外光，所述两红外成像单元接收目标物体反射的红外光，得到两红外图像，所述彩色成像单元采集RGB图像，各所述红外图像和所述RGB图像被传送至所述图像处理单元，所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像。

2.根据权利要求1所述的深度图像采集系统，其中所述图像处理单元将两所述红外单元处理合成一深度图像，再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。

3.根据权利要求2所述的深度图像采集系统，其中所述两红外成像单元向所述图像处理单元输出Bayer格式视频图像。

4.根据权利要求2所述的深度图像采集系统，其中所述图像处理单元将所述两红外图像进行去噪处理后合成所述深度图像。

5.根据权利要求4所述的深度图像采集系统，其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。

6.根据权利要求1所述的深度图像采集系统，其中所述图像处理单元对所述RGB图像去噪处理后，将所述RGB图像和所述两红外图像融合。

7.根据权利要求1所述的深度图像采集系统，其中所述图像处理单元被设置有至少一输出接口，以便于通信连接于一电子设备，输出所述彩色深度图像。

8.根据权利要求1所述的深度图像采集系统，其中所述图像处理单元向所述两红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号，同步所述红外成像单元、所述彩色成像单元和所述散斑投射单元。

9.根据权利要求1至8任一所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，先将所述深度图像坐标依据公式：[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到所述RGB图像形成深度种子，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

10.根据权利要求9所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，通过获取公式di＝kd*dd+kc*dc中最小的n个值，寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

11.根据权利要求10所述的深度图像采集系统，其中所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

12.根据权利要求10所述的深度图像采集系统，其中所述图像处理单元在融合图像的过程中，根据选取的种子计算每个像素的深度：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

13.一深度图像采集装置，其特征在于，包括：

两红外摄像模块；

一彩色摄像模块；

一散斑投射器；

一处理器；和

一壳体，其中所述两红外摄像模块、所述彩色摄像模块和所述散斑投射模块被安装于所述壳体，以便于通过所述壳体提供固定位置，所述处理器被设置于所述壳体内，所述散斑投射器配合所述两红外摄像模块采集两红外图像，所述彩色摄像模块采集RGB图像，所述处理器将所述两红外图像和所述RGB图像融合得到一彩色深度图像。

14.根据权利要求13所述的深度图像采集装置，其中所述两红外摄像模块对称分布于所述散斑投射器两侧。

15.根据权利要求13所述的深度图像采集装置，其中一所述红外摄像模块和所述彩色摄像模块被集成设置。

16.根据权利要求13所述的深度图像采集装置，其中所述深度图像采集装置包括一输出接口，被设置于所述壳体，所述输出接口通信连接于所处处理器，以便于通过所述输出接口通信连接于一电子设备。

17.根据权利要求13所述的深度图像采集装置，其中所述处理器将两所述红外单元处理合成一深度图像，再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。

18.根据权利要求13所述的深度图像采集装置，其中所述两所述红外摄像模块向所述处理器输出Bayer格式视频图像。

19.根据权利要求17所述的深度图像采集装置，其中所述处理器将所述两红外图像进行去噪处理后合成所述深度图像。

20.根据权利要求19所述的深度图像采集装置，其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。

21.根据权利要求13所述的深度图像采集装置，其中所述处理器对所述RGB图像去噪处理后，将所述RGB图像和所述两红外图像融合。

22.根据权利要求13所述的深度图像采集装置，其中所述处理器被设置有至少一输出接口，以便于通信连接于一电子设备，输出所述彩色深度图像。

23.根据权利要求13所述的深度图像采集装置，其中所述处理器向所述两红外摄像模块、所述彩色摄像模块、所述散斑投射器传送同步信号，同步所述红外摄像模块、所述彩色摄像模块和所述散斑投射器。

24.根据权利要求13至23任一所述的深度图像采集装置，其中所述处理器在融合图像的过程中，先将所述深度图像坐标依据公式：[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到所述RGB图像形成深度种子，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

25.根据权利要求24所述的深度图像采集装置，其中所述处理器在融合图像的过程中，通过获取公式di＝kd*dd+kc*dc中最小的n个值，寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

26.根据权利要求25所述的深度图像采集装置，其中所述像素与选取的种子的最短路径中不包含飞点，否则舍弃当前种子寻找下一种子。

27.根据权利要求25所述的深度图像采集装置，其中所述处理器在融合图像的过程中，根据选取的种子计算每个像素的深度：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。

28.一深度图像处理方法，其特征在于，包括步骤：

(A)采集至少一RGB图像；

(B)采集至少一深度图像；和

(C)融合所述RGB图像和所述深度图像形成一彩色深度图像。

29.根据权利要求28所述的深度图像处理方法，其中所述步骤(A)包括步骤：对所述RGB图像进行去噪处理，从而得到高质量的所述RGB图像。

30.根据权利要求28所述的深度图像处理方法，其中所述步骤(B)包括步骤：获取至少两红外图像，将所述两红外图像合成所述深度图像。

31.根据权利要求28所述的深度图像处理方法，其中所述步骤(B)包括步骤：对所述两红外图像进行去噪处理。

32.根据权利要求28所述的深度图像处理方法，其中所述步骤红外图像为Bayer格式视频图像。

33.根据权利要求28至32任一所述的深度图像处理方法，其中所述步骤(C)中包括步骤：

(C1)将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子；

(C2)寻找RGB图像中每个像素与之距离最近的n个种子；和

(C3)根据选取的种子计算每个像素的深度。

34.根据权利要求33所述的深度图像处理方法，其中所述步骤(C1)中的映射公式为：[u,v,1]＝M*[R|T]*[X,Y,Z]，其中u,v为RGB图像中的坐标，[X,Y,Z]为红外散斑双目深度图合成的数据，R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵，M为RGB相机内参。

35.根据权利要求33所述的深度图像处理方法，其中所述步骤(C2)中所述距离包括空间距离与色彩距离。

36.根据权利要求35所述的深度图像处理方法，其中所述步骤(C2)为寻找di＝kd*dd+kc*dc最小的n个值，其中dd与dc分别为空间距离及彩色距离，参数kd、kc与n为可调参数。

37.根据权利要求33所述的深度图像处理方法，其中所述深度的计算公式为：D＝D1*q1+…+Dn*qn，其中D为所述像素深度，D1…Dn为最近n个种子的深度，qi为(1/di)/((1/d1)+…+(1/dn))。