CN109905691A - 深度图像采集装置和深度图像采集系统及其图像处理方法 - Google Patents

Abstract

本发明公开了一深度图像采集装置和深度图像采集系统及其深度图像处理方法，其中所述深度图像处理方法在获得一被测目标的深度图像和彩色图像后，分别对所述深度图像和所述彩色图像进行降噪处理，然后再融合所述深度图像和所述彩色图像，以得到所述被测目标的彩色深度图像，从而更真实地还原所述被测目标的特征。

Description

深度图像采集装置和深度图像采集系统及其图像处理方法

技术领域

本发明涉及一图形采集、处理领域，尤其涉及一深度图像采集装置和深度图像采集系统及其深度图像处理方法，其中所述深度图像处理方法能够将彩色图像和深度图像进行融合，以还原真实被测物体的特征。

背景技术

随着光学测量以及计算机视觉的发展，光学三维测量技术逐渐成熟，并逐渐被应用于人类生产生活的各个领域，例如无人机的自动跟踪和避障，增强现实(AugmentedReality)、虚拟现实(Virtual Reality)、无人驾驶辅助系统，3D建模等。

飞行时间法(Time Of Flight,TOF)深度测量技术是诸多光学三维测量技术中表现较为突出的一种技术，其基本原理是通过测量仪器发出的激光脉冲从发射到接收的时间间隔t(常被称为脉冲测距法)或激光往返被测物体一次所产生的相位变化(相位差测距法)来计算被测目标(或被测目标检测区域)至TOF深度测量设备之间的距离。与其他光学三维测量技术相比，TOF深度感知技术具有稳定性好，实时性强、精度适中等优点。

然而，基于传统的TOF深度图像采集装置的成像原理，现有的TOF深度图像装置所采集的图像仅包括被测物体的灰度信息和距离信息。也就是说，现有的TOF深度图像装置所采集的图像为灰度图像，并不是彩色图像。因此，通过这样方式得到的图像虽然能够获取被测物体的深度信息，具有空间立体感，但是由于损失了色彩信息，导致其并不能像通常的平面图像清晰地再现被测物体的特征，即，真实被测物体的还原度不够。

此外，现有的TOF深度图像采集装置获取的深度图像分辨率较低，通常存在诸多飞点(像素深度值与临近像素深度值均存在较大差异的像素)或异常值，导致图像成像质量差。这种成像效果，用户的体验较差，因此现有TOF深度图像采集装置的应用范围颇受局限。

发明内容

本发明的主要目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中所述深度图像采集装置采集被测目标的彩色图像和深度图像，并将经过处理后的彩色图像和深度图像进行融合，以更为真实地展现被测目标的特征。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中所述深度图像采集装置包括至少一RGB成像模块，以供采集被测目标的彩色图像。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中所述深度图像采集装置包括一TOF成像模块，以供采集被测目标的深度图像。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中在图像处理的过程中，对所述TOF成像模块所采集的深度图像进行处理以获取被测目标的深度信息图像，并将深度信息图像和彩色图像进行融合，以获取被测物体的彩色深度图像。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中在图像处理的过程中，对所述TOF成像模块所采集的深度图像进行降噪处理，以去除该深度图像中的飞点或异常值，藉由此，提高融合的所述彩色深度图像的视觉效果。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中通过非线性插值的方式赋值预处理阶段中所去除的飞点或异常值，以提高所述深度图像的分辨率，进而提高图像融合效果。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中在图像处理的过程中，对所述RGB成像模块所采集的彩色图像进行降噪处理，以提高图像融合效果。

本发明的另一目的在于提供一深度图像采集装置和深度图像采集系统及其图像处理方法，其中所述TOF成像模块和所述RGB成像模块被设置同步工作，以使得TOF成像模块和所述RGB成像模块所采集的图像数据同步，提升深度融合数据的准确性。

通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。

依本发明，前述以及其它目的和优势可以通过一深度图像采集系统，其包括：一光源发射单元，一TOF成像单元，至少一彩色成像单元和一图像处理单元，其中在工作过程中，所述光源发射单元发射出具有一特定波段的激光波至一被测目标，所述TOF成像单元接收来自被测目标反射的激光以获取一深度图像，所述彩色成像单元采集被测目标的一彩色图像，所述处理单元可通信地连接于所述TOF成像单元和所述彩色成像单元，以对所述彩色图像和所述深度图像进行处理，并进行融合以得到一彩色深度图像。

根据本发明的另一方面，本发明还提供了一深度图像采集装置，其包括，一光源发射模块，一TOF成像模块，一RGB成像模块，一处理器和一壳体，其中所述光源发射模块，所述TOF成像模块，所述RGB成像模块安装于所述壳体，所述处理器被设置于所述壳体内，且可通信地连接于所述TOF成像模块和所述RGB成像模块，其中所述光源发射模块配合所述TOF成像模块用以采集被测目标的一深度图像，所述RGB成像模块用以采集被测目标的一彩色图像，所述处理器对所述深度图像和所述彩色图像进行处理，并进行融合以得到被测目标的一彩色深度图像。

根据本发明的另一方面，本发明还提供一深度图像处理方法，其包括步骤：

采集至少一彩色图像；

采集至少一深度图像；和

融合所述彩色图像和所述深度图像以得到一彩色深度图像。

依本发明的另一个方面，本发明进一步提供一深度图像处理方法，其用于获得一被测目标的一彩色深度图像，其中所述深度图像处理方法包括如下步骤：

(a)分别获得所述被测目标的一深度图像和一彩色图像；

(b)分别对所述深度图像和所述彩色图像进行降噪；以及

(c)融合所述深度图像和所述彩色图像，以得到所述彩色深度图像。

根据本发明的一个实施例，在所述步骤(a)中，以一TOF成像单元拍摄所述被测目标的方式获得所述深度图像，和以一彩色成像单元拍摄所述被测目标的方式获得所述彩色图像。

根据本发明的一个实施例，在所述步骤(a)中，以所述TOF成像单元和所述彩色成像单元同步地拍摄所述被测目标的方式藉由所述TOF成像单元获得所述深度图像和所述彩色成像单元获得所述彩色图像。

根据本发明的一个实施例，在上述方法中，进一步包括步骤：

检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步，若所述TOF成像单元和所述彩色成像单元的工作状态同步，则允许所述TOF成像单元和所述彩色成像单元拍摄所述被测目标，若所述TOF成像单元和所述彩色成像单元的工作状态不同步，则提供一同步控制信号，以在所述同步控制信号被执行时同步所述TOF成像单元和所述彩色成像单元的工作状态。

根据本发明的一个实施例，在所述步骤检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步中，进一步包括步骤：

获取所述TOF成像模块获得的所述深度图像的时间戳；

获取所述彩色成像模块获得的所述彩色图像的时间戳；

判断所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔是否小于临界值，若所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔小于临界值，则所述TOF成像单元和所述彩色成像单元的工作状态同步，否则所述TOF成像单元和所述彩色成像单元的工作状态不同步。

根据本发明的一个实施例，在所述步骤(b)中，进一步包括步骤：

检测所述深度图像中存在的飞点数据或异常值；和

去除所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

根据本发明的一个实施例，在所述步骤(b)中，进一步包括步骤：

检测所述深度图像中存在的飞点数据或异常值；和

赋值所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

根据本发明的一个实施例，在所述步骤(c)中，进一步包括步骤：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

根据本发明的一个实施例，在所述步骤对应所述彩色图像和所述深度图像的坐标系中，进一步包括步骤：

将所述深度图像的像素坐标系上的像素点转化为物理坐标系上的点；

将物理坐标系上的点转化成TOF成像单元坐标系上的点；

将TOF成像单元坐标系上的点转化成彩色成像单元坐标系上的点；以及

把彩色成像单元坐标系上的点转化成所述彩色像素坐标系上的点。

依本发明的另一个方面，本发明进一步提供一深度图像采集系统，其用于获得一被测目标的一彩色深度图像，其中所述深度图像采集系统包括：

一TOF成像单元，其中所述TOF成像单元用于获得所述被测目标的一深度图像；

一彩色成像单元，其中所述彩色成像单元用于获得所述被测目标的一彩色图像；以及

一图像处理单元，其中所述TOF成像单元和所述彩色成像单元分别被可通信地连接于所述图像处理单元，其中所述图像处理单元以所述图像处理单元控制所述TOF成像单元和所述彩色成像单元的工作状态的方式藉由所述TOF成像单元和所述彩色成像单元同步地获得所述被测目标的所述深度图像和所述彩色图像，并且所述图像处理单元对所述深度图像和所述彩色图像进行融合后得到所述彩色深度图像。

根据本发明的一个实施例，所述图像处理单元包括一优化单元和分别被可通信地连接于所述优化单元的一深度转化单元和一图像合成单元，所述深度转化单元被可通信地连接于所述TOF成像单元，所述彩色成像单元被可通信地连接于所述图像合成单元，其中所述深度转化单元将所述深度图像转化为一深度信息图像，和所述优化单元对所述深度信息图像进行降噪和插值，其中所述图像合成单元对被优化后的所述深度信息图像和所述彩色图像进行融合后得到所述彩色深度图像。

根据本发明的一个实施例，所述图像处理单元进一步包括一降噪单元，其中所述降噪单元被可通信地连接于所述彩色成像单元和所述图像合成单元，其中所述降噪单元对所述彩色图像进行降噪处理。

根据本发明的一个实施例，所述图像处理单元被配置为：

检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步，若所述TOF成像单元和所述彩色成像单元的工作状态同步，则允许所述TOF成像单元和所述彩色成像单元拍摄所述被测目标，若所述TOF成像单元和所述彩色成像单元的工作状态不同步，则提供一同步控制信号，以在所述同步控制信号被执行时同步所述TOF成像单元和所述彩色成像单元的工作状态。

根据本发明的一个实施例，所述图像处理单元进一步被配置为：

获取所述TOF成像模块获得的所述深度图像的时间戳；

获取所述彩色成像模块获得的所述彩色图像的时间戳；

判断所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔是否小于临界值，若所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔小于临界值，则所述TOF成像单元和所述彩色成像单元的工作状态同步，否则所述TOF成像单元和所述彩色成像单元的工作状态不同步。

根据本发明的一个实施例，所述优化单元被配置为：

检测所述深度图像中存在的飞点数据或异常值；和

去除所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

根据本发明的一个实施例，所述优化单元被配置为：

检测所述深度图像中存在的飞点数据或异常值；和

赋值所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

根据本发明的一个实施例，所述图像合成单元被配置为：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

根据本发明的一个实施例，所述图像合成单元进一步被配置为：

将所述深度图像的像素坐标系上的像素点转化为物理坐标系上的点；

将物理坐标系上的点转化成TOF成像单元坐标系上的点；

将TOF成像单元坐标系上的点转化成彩色成像单元坐标系上的点；以及

把彩色成像单元坐标系上的点转化成所述彩色像素坐标系上的点。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明一较佳实施例的一深度图像采集系统的框图示意图。

图2是根据上述本发明较佳实施例的所述深度图像采集系统的同步控制一光源发射单元，一TOF成像单元和一彩色成像单元的框图示意图。

图3是根据上述本发明较佳实施例的的所述深度采集系统的图像处理框图示意图。

图4是根据本发明另一较佳实施例的一深度图像采集装置的示意图。

图5是根据上述本发明较佳实施例的所述深度图像采集装置的标定过程框图示意图。

图6是根据上述本发明较佳实施例的的所述深度图像采集装置的同步控制框图示意图。

图7是根据上述本发明较佳实施例的一图像处理方法的框图示意图。

图8是根据上述本发明较佳实施例的所述图像处理方法的另一框图示意图。

图9是根据上述本发明较佳实施例的所述图像处理方法的又一框图示意图。

图10是根据上述本发明较佳实施例的所述图像处理方法的对应坐标系的步骤框图示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一或多个”，即在一实施例中，一元件的数量可以为一，而在另外的实施例中，所述元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参照图1至图3，依据本发明的一第一优选实施例的一深度图像采集系统被阐明，其中所述深度图像采集系统分别采集被测目标的一深度图像和一彩色图像，并将所述深度图像和所述彩色图像进行融合，得到一彩色深度图像(RGB-D图像)，从而更为真实地展现所述被测目标的特征。所述深度图像采集系统可被应用于不同的设备和不同领域，例如，深度相机，手势控制，3D建模，汽车雷达以及机器人视觉等领域。

如图1所示，所述深度图像采集系统包括一光源发射单元10，一TOF成像单元20，至少一彩色成像单元30和一图像处理单元40，其中所述光源发射单元10和所述TOF成像单元20相配合以采集被测目标的一深度图像，所述彩色成像单元30用以采集被测目标的一彩色图像，所述图像处理单元40可通信地连接于所述TOF成像单元20和所述彩色成像单元30，以用于处理所述深度图像和所述彩色图像，例如所述图像处理单元40能够从所述TOF成像单元20获取所述深度图像和从所述彩色成像单元30获取所述彩色图像，并对所述深度图像和所述彩色图像进行融合，以更为真实地展现所述被测目标的特征。

在工作过程中，所述光源发射单元10发射出一预设波长的激光至被测目标，所述TOF成像单元20接收来自被测目标所反射的激光，以获取被测目标的所述深度图像。同时，所述彩色成像模块采集被测目标的所述彩色图像。进一步地，被测目标的所述深度图像和所述彩色图像被传输至所述图像处理单元40，所述图像处理单元40对所述深度图像和所述彩色图像进行相应处理，并进行融合以得到所述彩色深度图像。可以理解的是，所述彩色深度图像能够更为真实地展现所述被测目标的特征。

更具体地说，所述光源发射单元10用以产生具有一预设波长的激光至被测目标，所述TOF成像单元20被设置能够接收由被测目标所发射的激光，并通过脉冲测距法或相位差测距法生成被测目标的深度图像。本领域的技术人员知晓，所述TOF成像单元20所生成的深度图像数据仅为被测目标的深度信息初始数据，需进行进一步地处理方可获得被测目标的深度信息数据。相应地，所述深度图像数据被传输至所述图像处理单元40。同时，所述彩色成像单元30的感光元件在感光作用后，进行光电反应，并向所述图像处理单元40输出被测目标的彩色图像数据。至此，被测目标的所述深度图像和被测目标的所述彩色图像皆汇集于所述图像处理单元40，所述图像处理单元40先对所述TOF成像单元20所获取的深度图像进行处理，以提取被测目标的深度信息数据，再将该深度信息数据和所述彩色成像单元30所输出的所述彩色图像进行融合处理，以得到所述彩色深度图像。

值得一提的是，传统的TOF深度相机，通常只能采集被测目标的深度图像，而由于深度图像仅包括被测目标的灰度信息和距离信息。因此，通过这样方式得到的深度图像虽然具有空间立体感，但是由于损失了色彩信息，导致其并不能像通常的平面图像清晰地再现被测物体的特征，即，真实被测物体的还原度不够。同时，只有灰度信息的深度图像的分辨率较低，图像的清晰度较差，可视效果差。而在本发明中，将采集的彩色图像融合于深度图像，得到被测目标的带有色彩信息的深度图像，通过这样的方式，不仅使得深度图像具有空间立体感，且增加了被测目标的色彩信息，有效地提升了被测目标特征的还原度，为使用者提供了更好的用户体验。

进一步地，所述图像处理单元40设置有一输出接口60，比如但不限于USB接口、MIPI接口，从而可通过所述输出接口60将所述彩色深度图像输出至一电子设备80，并进一步地通过该电子设备80的显示装置实现图像再现，例如可以通过所述电子设备80的显示屏显示所述彩色深度图像。本领域的技术人员应容易想到，所述输出接口60还可被实施为一无线传输接口，例如Wi-Fi数据接口，以通过无线的方式将所述彩色深度图像传输至该电子设备。该电子设备80举例但不限于智能手机、智能手环、台式电脑、笔记本电脑、平板电脑、个人数字处理器、移动电子设备、可穿戴设备、汽车控制台、体感游戏设备等。值得一提的是，该电子设备80可进一步地基于所接收的所述彩色深度图像数据进行相应的应用开发，以实现电子设备的功能扩展。

在本发明的另一些实施例中，所述图像信息采集系统自身集成有一显示单元70，其中所述显示单元70可通信地连接于所述图像处理单元40，以显示所述彩色深度图像数据。例如所述显示单元70以被可通信地连接于所述电子设备80的方式在所述电子设备80的显示屏上显示所述图像处理单元40得到的所述彩色深度图像。

为了确保融合数据的准确性，需确保所述TOF成像单元20和所述彩色成像单元30所采集的数据同步。因此，在所述光源发射单元10，所述TOF成像单元20和所述彩色成像单元30工作之前，需先对所述TOF成像单元20和所述彩色成像单元30进行信号同步测试和调整。更具体地说，所述图像处理单元40先对所述TOF成像单元20和所述彩色成像单元30所采集的所述深度图像和所述彩色图像的时间戳进行分析判断，以判定所述TOF成像单元20和所述彩色成像单元30是否同步。如果所述彩色图像和所述深度图像的时间戳间隔小于临界值，则判定所述TOF成像单元20和所述彩色成像单元30满足同步采集的性能。相反地，如果所述彩色图像和所述深度图像的时间戳间隔大于临界值，则所述图像处理单元40会发送一同步控制信号，以同步所述TOF成像单元20和所述彩色成像单元30。

如图3所示的是所述图像处理单元40将所述深度图像和所述彩色图像进行融合的方法示意图。在图像融合的过程中，先分别对所述TOF成像单元20所提供的的所述深度图像和所述彩色成像单元30所提供的所述彩色图像进行预处理。具体地，如前所述，由于所述TOF成像单元20所提供的所述深度图像仅为被测目标深度信息的原始数据，需进一步地对所述深度图像进行解析才能获得被测目标的深度信息。相应地，所述图像处理单元40包括一深度转化单元41，所述深度转化单元41依据载入的深度解析算法，对所述深度图像进行解析以获取所述被测目标的深度信息图像。也就是说，所述深度转化单元41能够被可通信地连接于所述TOF成像单元20，以使所述深度转化单元41能够从所述TOF成像单元20获得所述深度图像，并对所述深度图像进行深度解析而预处理所述深度图像。

需要指出的是，由于受各种成像因素的影响(例如拍摄的环境，TOF成像单元20自身的局限等)，所述TOF成像单元20的成像质量不高，导致后续获得的所述深度信息图像中会存有许多异常值或飞点数据(像素深度值与临近像素深度值均存在较大差异的像素)。因此，为了提高后续图像融合的视觉效果，需对所述深度转化单元41所获取的所述深度信息图像进行优化处理。具体地，先对所述深度信息图像进行降噪处理，以去除所述深度信息图像中的异常值或飞点数据。进一步，对所述深度图进行插值处理以重新赋值或替换所述深度信息图像中的异常值或飞点数据，以提高所述深度信息图像的解析度。相应地，所述图像处理单元40还包括一优化单元42，所述优化单元42可通信地连接于所述深度转化单元41，以对所述深度转化单元41所提供的所述深度信息进行降噪和插值处理，提高TOF深度图像的最终分辨率。

类似地，所述彩色成像单元30所获取的所述彩色图像，同样由于受各种成像因素的影响，其成像质量并不是很高。因此，在进行图像融合之前，需进一步地对所述彩色图像进行降噪处理，以提高所述彩色图像的解析度。相应地，所述图像处理单元40还包括一降噪单元43，所述降噪单元43可通信地连接于所述彩色成像单元30，以对通过所述彩色成像单元30所采集的彩色图像进行降噪处理。本领域的技术人员应知晓，对彩色图像的降噪处理为公知技术，在本发明中不再过多赘述。

进一步地，在完成对所述TOF深度图像和所述彩色图像进行预处理以得到优化的深度信息图像和彩色图像之后，开始进行图像融合。相应地，所述图像处理单元40还包括一图像合成单元44，其中所述图像合成单元44被可通信地连接于所述优化单元42和所述降噪单元43，其中所述图像合成单元44用以合成优化的深度信息图像和彩色图像以得到所述彩色深度图像。更具体地说，由于所述TOF成像单元20和所述彩色成像单元30被设置同步工作，且所述成像单元和所述彩色成像单元30的物理位置按照预设的设计进行布置。因此，只需将所述彩色图像和所述深度信息图像进行坐标系统一，使得所述彩色图像的像素点的坐标能与所述深度信息的像素点的坐标一一对应，便可实现所述彩色图像和所述深度信息的融合以得到所述彩色深度图像

具体地，在本发明的该优选实施例中，首先，根据像素坐标系与物理坐标系件的转化关系和TOF成像单元20的内参数，将所述深度信息图像的像素坐标系上的像素点转化为物理坐标系上的点。其次，根据物理坐标系和相机(TOF成像单元20)坐标系的转化关系，将物体坐标系上的点转化成相机坐标系上的点。然后根据所述TOF成像单元20和所述彩色成像单元30之间的旋转矩阵和平移矩阵，将相机坐标系上的点转化成RGB相机(彩色成像单元)坐标系上的点。之后，根据RGB相机的内参数，把RGB相机坐标系上的点转化成所述彩色图像坐标系上的点。此时，所述彩色图像和所述深度信息的数据点坐标分别一一映射，从而只需将所述彩色图像的各像素点的值赋值于完成坐标转化的所述深度信息图像，便实现了所述彩色图像和所述深度图像的融合以得到所述彩色深度图像。

本领域的技术人员应容易想到，类似地，可根据所述彩色图像的像素坐标系与物理坐标系，物理坐标系与RGB相机坐标系、所述TOF成像单元20和所述彩色成像单元30之间的旋转矩阵和平移矩阵，以及TOF成像单元20的内参数，将所述彩色图像上的像素点坐标转化为所述深度信息的坐标系上的点。从而，所述深度信息和所述彩色图像的数据点坐标分别一一映射，从而只需将所述深度信息的各像素点的值赋值于完成坐标转化的所述彩色图像，便实现了所述彩色图像和所述深度图像的融合以得到所述彩色深度图像。此坐标转化过程为上述过程的逆过程。

由此，通过所述图像处理单元40的处理作用，得到所述彩色深度图像，即彩色深度图像。

如图4所示，本发明还提供了一深度图像采集装置，其包括一光源发射模块11，一TOF成像模块21，至少一RGB成像模块31和一处理器45，其中所述光源发射模块11和所述TOF成像模块21相配合以采集被测目标的一深度图像，所述RGB成像模块31用以采集被测目标的一彩色图像，所述处理器45可通信地连接于所述TOF成像模块21和所述RGB成像模块31，以用于处理所述深度图像和所述彩色图像。.

在本发明的该优选实施例中，所述深度图像采集装置还包括一壳体51，其中所述光源发射模块11，所述TOF成像模块21和所述RGB成像模块31分别被安装于所述壳体51、以通过所述壳体51限定所述光源发射模块11，所述TOF成像模块21和所述RGB成像模块31之间的相对位置关系。所述处理器45设置于所述壳体51内，且可通信地连接于所述TOF成像模块21，所述光源发射模块11和所述RGB成像模块31。

特别地，根据TOF成像原理可知，所述光源发射模块11邻近地设置于所述TOF成像模块21，通过这样的布局可使得所述光源模块至被测目标之间所形成的发射光路，与被测目标至所述TOF成像模块21所形成的接收光路之间尽可能地平行且相近地设置，从而可减少由于发射光路和接收光路路径不同所产生的误差，提高所述深度图像的成像质量。同时，所述RGB成像模块31以一预设距离间隔地设置于所述TOF成像模块21的一侧。应领会的是，优选地，所述RGB成像模块31邻近地设置于所述TOF成像模块21的一侧，以使得所述TOF成像模块21和所述RGB成像模块31具有相同的拍摄位，以提高所述深度图像和所述彩色图像之间的数据一致性，降低后续图像融合的难度。应领会的是，由于所述深度图形采集装置的布局要求，所述深度图像采集装置的尺寸相对较小，以使得所述深度图像采集装置更利于模块化设计，且具有更广的应用范围。

在本发明的该优选实施例中，所述光源发射模块11被实施为一垂直腔面发射器(VCSEL)，其包括一激光发射器，所述激光发射器在供电之后被激发以发射一预设波长的激光。值得一提的是，在本发明另外的实施例中，所述光源发射模块11还可被实施为一LED发光器，其包括一LED发光体，以所述LED发光体被导通之后激发，发射一预设波长的光波。相应地，所述TOF成像模块21包括一TOF传感器，所述传感器被设置能够接收来自被测目标的反射的激光，并通过光电反应生成感应信号。应领会的是，此时生成的感应信号仅为被测目标深度图像的原始数据，需对其进行进一步地解析处理，方能得到被测目标的深度信息。

进一步地，所述处理器45为一集成电路板，被设置于所述壳体51的内部，以保护所述处理器45。应领会的是，所述光源发射模块11，所述TOF成像模块21和所述RGB成像模块31皆电性地连接于所述处理器45，以通过所述处理器45控制所述光源发射模块11，所述TOF成像模块21和所述RGB成像模块31的工作模式和工作状态。

进一步地，所述深度图像采集装置还包括一输出端口61，比如USB接口、MIPI接口，所述输出接口60可通信地连接于所述处理器45，从而通过所述是输出接口60将所述彩色深度图像输出一电子设备，并进一步地通过该电子设备的显示装置实现图像再现。本领域的技术人员应容易想到，所述输出接口60还可被实施为一无线传输接口，例如Wi-Fi数据接口，以通过无线的方式将所述彩色深度图像传输至该电子设备。该电子设备举例但不限于台式电脑、笔记本电脑、平板电脑、个人数字处理器45、移动电子设备、可穿戴设备、汽车控制台、体感游戏设备等。值得一提的是，该电子设备可进一步地基于所接收的所述彩色深度图像数据进行相应的应用开发，从而实现该电子设备的功能扩展。

应领会的是，所述深度图像采集装置自身同样可集成一显示模块71，所述显示模块71可通信地连接于所述处理器45，以显示所述彩色深度图像信息。此时，所述深度图像采集装置具有深度图像采集功能，深度图像处理功能和深度图像显示功能。

在所述深度图像采集装置工作过程中，所述光源发射模块11被激发以产生一具有预设波长的激光至被测目标，所述TOF成像模块21被设置用以接收由被测目标所发射的激光，并通过光电反应生成被测目标的深度图像。相应地，所述深度图像数据被传输至所述处理器45。同时，所述RGB成像模块31的感光元件在感光作用后，进行光电反应，并向所述处理器45输出被测目标的彩色图像数据。至此，被测目标的所述深度图像和所述彩色图像皆汇集于所述处理器45，所述处理器45先对所述TOF成像模块21所获取的所述深度图像进行处理，以提取被测目标的深度信息数据，再将该深度信息数据和所述彩色图像进行融合以得到所述彩色深度图像。

值得一提的是，传统的TOF深度相机，通常只能采集被测目标的深度图像，而由于深度图像仅包括被测目标的灰度信息和距离信息。因此，通过这样方式得到的深度图像虽然具有空间立体感，但是由于损失了色彩信息，导致其并不能像通常的平面图像清晰地再现被测物体的特征，即，真实被测物体的还原度不够。同时，只有灰度信息的深度图像的分辨率较低，图像的清晰度较差，可视效果差。而在本发明中，将采集的彩色图像融合于深度图像，得到被测目标的带有色彩信息的深度图像，通过这样的方式，不仅使得深度图像具有空间立体感，且增加了被测目标的色彩信息，有效地提升了被测目标特征的还原度，为使用者提供了更好的用户体验。

值得一提的是，在所述深度图像采集装置工作之前，需先对所述深度图像采集装置进行标定，以确保图像融合过程中所需的参数满足预设要求。如图5所示的是所述深度图像采集装置的标定过程示意图。首先，读取存放于所述处理器45的标定数据，该标定数据包括TOF成像模块21和RGB成像模块间的旋转矩阵、平移矩阵及两个成像模块的内参数。之后，再对读取到的标定数据进行序列号校验。本领域的技术人员应知晓，在实际生产中，每个深度图像采集装置都具有独一无二的序列号，也就是说，每份标定数据对于每个设备来讲都具有一致性。如果序列号的校验结果不正确，则需通过上位机将标定数据重新烧录到标定数据存储单元中。若正确，仍需要进行CRC(循环冗余校验)校验，其原因在于，标定数据长时间存放在标定数据存储单元中可能会存在数据丢失的现象。因此，为了保证数据的正确性对其进行CRC校验是非常有必要的。同样，若CRC校验不正确，则需通过上位机重新烧录。

进一步地，为了确保融合数据的准确性，需确保所述TOF成像模块21和所述彩色成像单元30所采集的数据同步。因此，在所述光源发射模块11，所述TOF成像模块21和所述RGB成像模块31工作之前，还需先对所述TOF成像模块21和所述RGB成像模块31进行同步测试和调试。

更具体地说，所述处理器45先对所述TOF成像模块21和所述RGB成像模块31所采集的所述深度图像和所述彩色图像的时间戳进行分析判断，以判定所述TOF成像模块21和所述RGB成像模块31是否同步。如果所述彩色图像和所述深度图像的时间戳间隔小于临界值，则判定所述TOF成像模块21和所述RGB成像模块31满足同步采集的性能。如果所述彩色图像和所述深度图像的时间戳间隔大于临界值，则所述处理器45会发送一同步控制信号，以同步所述TOF成像模块21和所述RGB成像模块31。例如，假设所述TOF成像模块21和所述RGB成像模块31都是以每秒30帧的速度进行采集，那么所述处理器45便检测所述深度图像帧和所述彩色图像帧之间的时间戳是否小于33ms,若满足，则判定所述TOF成像模块21和所述RGB成像模块31所采集的数据同步。若不满足，则进行相应的调整直至满足要求。

如图7至如图10所示的是所述处理器45将所述深度图像和所述彩色图像进行融合的方法示意图。在图像融合的过程中，先分别对所述TOF成像模块21所提供的的所述深度图像和所述RGB成像模块31所提供的所述彩色图像进行预处理。具体地，如前所述，由于所述TOF成像模块21所提供的所述深度图像仅为被测目标深度信息的原始数据，需进一步地对所述深度图像进行解析才能获得被测目标的深度信息。相应地，所述处理器45包括一深度转化模块，所述深度转化模块依据载入的深度信息解析算法，对所述深度图像进行解析以获取所述被测目标的深度信息。

需要指出的是，由于受各种成像因素的影响(例如拍摄的环境，TOF成像模块21自身的局限等)，所述TOF成像模块21的成像质量不高，导致后续获得的所述深度信息中会存有许多异常值或飞点数据(像素深度值与临近像素深度值均存在较大差异的像素)。因此，为了提高后续图像融合的视觉效果，还需对所述深度转化模块所获取的所述深度信息进行优化处理。具体地说，先对所述深度信息进行降噪处理，以去除所述深度信息中的异常值或飞点数据。进一步，对所述深度图进行插值处理以重新赋值或替换所述深度信息中的异常值或飞点数据，以提高所述深度信息的解析度。相应地，所述处理器45还包括一优化模块，所述优化模块可通通地连接于所述深度转化模块，以对所述深度转化模块所提供的的所述深度信息进行降噪和插值处理，提高TOF深度图像的最终分辨率。

类似地，所述RGB成像模块31所获取的所述彩色图像，同样由于受各种成像因素的影响，导致其成像质量并不是很高。因此，在进行图像融合之前，需进一步地对所述彩色图像进行降噪处理，以提高所述彩色图像的解析度。本领域的技术人员应知晓，对彩色图像的降噪处理为公知技术，在本发明中不再过多赘述。

进一步地，在完成对所述TOF深度图像和所述彩色图像进行预处理以得到优化的深度信息和彩色图像信息之后，开始进行图像融合以获得所述彩色深度图像数据。更具体地说，由于所述TOF成像模块21和所述RGB成像模块31被设置同步工作，且所述成像单元和所述RGB成像模块31的物理位置按照预设的设计进行布置。因此，只需将所述彩色图像和所述深度信息图像进行坐标系统一，以使得所述彩色图像的像素点的坐标能与所述深度信息的像素点坐标一一对应或者使得所述深度信息的像素点坐标能与所述彩色图像的像素点坐标一一对应，便可实现所述彩色图像和所述深度信息的融合以得到所述彩色深度图像

更具体地说，首先，根据像素坐标系与物理坐标系间的转化关系和TOF成像模块21的内参数，将所述深度信息的像素坐标系上的像素点转化为物理坐标系上的点。其次，根据物理坐标系和相机(TOF成像模块21)坐标系的转化关系，将物体坐标系上的点转化成相机坐标系上的点。然后根据所述TOF成像模块21和所述RGB成像模块31之间的旋转矩阵和平移矩阵，将相机坐标系上的点转化成RGB相机(RGB成像模块31)坐标系上的点。之后，根据RGB相机的内参数，把RGB相机坐标系上的点转化成所述彩色图像坐标系上的点。此时，所述彩色图像和所述深度信息的数据点坐标分别一一映射，从而只需将所述彩色图像的各像素点的值赋值于完成坐标转化的所述深度图像，便实现了所述彩色图像和所述深度图像的融合以得到所述彩色深度图像。

值得一提的而是，上述图像融合过程中所需的参数：例如所述TOF成像模块21和所述RGB成像模块31的内参数，或所述TOF成像模块21和所述RGB成像模块31之间的旋转矩阵和平移矩阵等，皆存储于所述标定数据存储单元中。

同样地，本领域的技术人员应容易想到，可根据所述彩色图像的像素坐标系与物理坐标系，物理坐标系与RGB相机坐标系、所述TOF成像模块21和所述RGB成像模块31之间的旋转矩阵和平移矩阵，以及TOF成像模块21的内参数，将所述彩色图像上的像素点坐标转化为所述深度信息的坐标系上的点。从而，所述深度信息和所述彩色图像的数据点坐标分别一一映射。因此，只需将所述深度信息的各像素点的值赋值于完成坐标转化的所述彩色图像，便实现了所述彩色图像和所述深度图像的融合以得到所述彩色深度图像。应领会的是，此坐标转化过程为上述过程的逆过程。

参照附图7，根据本发明的上述实施例，本发明还提供一深度图像处理方法，其中所述方法包括步骤：

采集一被测目标的深度图像；

采集至少一被测目标的彩色图像；和

融合所述彩色图像和所述深度图像以得到一彩色深度图像(彩色深度图像)。

参考附图8，所述融合图像的步骤进一步地包括步骤：

解析所述深度图像以获取被测目标的深度信息图像；和

优化所述深度信息图像。

其中所述优化所述深度信息图像的步骤，还包括步骤：

对所述深度信息进行降噪处理，其中所述降噪处理为：去除异常值或飞点数据(像素深度值与临近像素深度值均存在较大差异的像素)；和

对所述深度信息进行插值处理，其中所述插值处理为：重新赋值或替换所述深度信息中的异常值或飞点数据；

相应地，所述融合图像的步骤还包括步骤：对所述彩色图像进行降噪处理。

在对所述彩色图像和所述深度图像进行相应的处理之后，还是进入图像融合阶段，其中所述图像融合步骤还包括步骤：

对应所述彩色图像和所述深度信息图像的坐标系；和

将彩色图像像素点一一对应地赋值于所述深度信息图像的各像素点，以得到所述彩色深度图像。

参考附图9和图10，特别地，所述对应坐标系的步骤还包括步骤：

将所述深度信息图像的像素坐标系上的像素点转化为物理坐标系上的点；

将物理坐标系上的点转化成TOF成像模块21坐标系上的点；

将TOF成像模块21坐标系上的点转化成RGB成像模块31坐标系上的点；以及

把RGB成像模块31坐标系上的点转化成所述RGB像素坐标系上的点。

值得一提的是，为了确保融合数据的准确性，需确保所述TOF成像模块21和所述彩色成像单元30所采集的数据同步。

相应地，所述深度图像处理方法还包括步骤：

同步所述TOF成像模块21和所述RGB成像模块31。

依本发明的另一个方面，本发明进一步提供一深度图像处理方法，其用于获得一被测目标的一彩色深度图像，其中所述深度图像处理方法包括如下步骤：

(a)分别获得所述被测目标的一深度图像和一彩色图像；

(b)分别对所述深度图像和所述彩色图像进行降噪；以及

(c)融合所述深度图像和所述彩色图像，以得到所述彩色深度图像。

由此可以看到本发明目的可被充分有效完成。用于解释本发明功能和结构原理的所述实施例已被充分说明和描述，且本发明不受基于这些实施例原理基础上的改变的限制。因此，本发明包括涵盖在附属权利要求书要求范围和精神之内的所有修改。

Claims (20)

1.一深度图像处理方法，其用于获得一被测目标的一彩色深度图像，其特征在于，所述深度图像处理方法包括如下步骤：

(a)分别获得该被测目标的一深度图像和一彩色图像；

(b)分别对所述深度图像和所述彩色图像进行降噪；以及

(c)融合所述深度图像和所述彩色图像，以得到所述彩色深度图像。

2.根据权利要求1所述的深度图像处理方法，其中在所述步骤(a)中，以一TOF成像单元拍摄所述被测目标的方式获得所述深度图像，和以一彩色成像单元拍摄所述被测目标的方式获得所述彩色图像。

3.根据权利要求2所述的深度图像处理方法，其中在所述步骤(a)中，以所述TOF成像单元和所述彩色成像单元同步地拍摄所述被测目标的方式藉由所述TOF成像单元获得所述深度图像和所述彩色成像单元获得所述彩色图像。

4.根据权利要求3所述的深度图像处理方法，其中在上述方法中，进一步包括步骤：

检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步，若所述TOF成像单元和所述彩色成像单元的工作状态同步，则允许所述TOF成像单元和所述彩色成像单元拍摄所述被测目标，若所述TOF成像单元和所述彩色成像单元的工作状态不同步，则提供一同步控制信号，以在所述同步控制信号被执行时同步所述TOF成像单元和所述彩色成像单元的工作状态。

5.根据权利要求4所述的深度图像处理方法，其中在所述步骤检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步中，进一步包括步骤：

获取所述TOF成像模块获得的所述深度图像的时间戳；

获取所述彩色成像模块获得的所述彩色图像的时间戳；

判断所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔是否小于临界值，若所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔小于临界值，则所述TOF成像单元和所述彩色成像单元的工作状态同步，否则所述TOF成像单元和所述彩色成像单元的工作状态不同步。

6.根据权利要求1至5中任一所述的深度图像处理方法，其中在所述步骤(b)中，进一步包括步骤：

检测所述深度图像中存在的飞点数据或异常值；和

去除所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

7.根据权利要求1至5中任一所述的深度图像处理方法，其中在所述步骤(b)中，进一步包括步骤：

检测所述深度图像中存在的飞点数据或异常值；和

赋值所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

8.根据权利要求1至5中任一所述的深度图像处理方法，其中在所述步骤(c)中，进一步包括步骤：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

9.根据权利要求6所述的深度图像处理方法，其中在所述步骤(c)中，进一步包括步骤：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

10.根据权利要求7所述的深度图像处理方法，其中在所述步骤(c)中，进一步包括步骤：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

11.根据权利要求8至10所述的深度图像处理方法，其中在所述步骤对应所述彩色图像和所述深度图像的坐标系中，进一步包括步骤：

将所述深度图像的像素坐标系上的像素点转化为物理坐标系上的点；

将物理坐标系上的点转化成TOF成像单元坐标系上的点；

将TOF成像单元坐标系上的点转化成彩色成像单元坐标系上的点；以及

把彩色成像单元坐标系上的点转化成所述彩色像素坐标系上的点。

12.一深度图像采集系统，其用于获得一被测目标的一彩色深度图像，其特征在于，包括：

一TOF成像单元，其中所述TOF成像单元用于获得该被测目标的一深度图像；

一彩色成像单元，其中所述彩色成像单元用于获得所述被测目标的一彩色图像；以及

一图像处理单元，其中所述TOF成像单元和所述彩色成像单元分别被可通信地连接于所述图像处理单元，其中所述图像处理单元以所述图像处理单元控制所述TOF成像单元和所述彩色成像单元的工作状态的方式藉由所述TOF成像单元和所述彩色成像单元同步地获得所述被测目标的所述深度图像和所述彩色图像，并且所述图像处理单元对所述深度图像和所述彩色图像进行融合后得到所述彩色深度图像。

13.根据权利要求12所述的深度图像采集系统，其中所述图像处理单元包括一优化单元和分别被可通信地连接于所述优化单元的一深度转化单元和一图像合成单元，所述深度转化单元被可通信地连接于所述TOF成像单元，所述彩色成像单元被可通信地连接于所述图像合成单元，其中所述深度转化单元将所述深度图像转化为一深度信息图像，和所述优化单元对所述深度信息图像进行降噪和插值，其中所述图像合成单元对被优化后的所述深度信息图像和所述彩色图像进行融合后得到所述彩色深度图像。

14.根据权利要求13所述的深度图像采集系统，其中所述图像处理单元进一步包括一降噪单元，其中所述降噪单元被可通信地连接于所述彩色成像单元和所述图像合成单元，其中所述降噪单元对所述彩色图像进行降噪处理。

15.根据权利要求11至14中任一所述的深度图像采集系统，其中所述图像处理单元被配置为：

检测所述TOF成像单元和所述彩色成像单元的工作状态是否同步，若所述TOF成像单元和所述彩色成像单元的工作状态同步，则允许所述TOF成像单元和所述彩色成像单元拍摄所述被测目标，若所述TOF成像单元和所述彩色成像单元的工作状态不同步，则提供一同步控制信号，以在所述同步控制信号被执行时同步所述TOF成像单元和所述彩色成像单元的工作状态。

16.根据权利要求15所述的深度图像采集系统，其中所述图像处理单元进一步被配置为：

获取所述TOF成像模块获得的所述深度图像的时间戳；

获取所述彩色成像模块获得的所述彩色图像的时间戳；

判断所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔是否小于临界值，若所述TOF成像模块获得的所述深度图像的时间戳和所述彩色成像模块获得的所述彩色图像的时间戳的时间戳间隔小于临界值，则所述TOF成像单元和所述彩色成像单元的工作状态同步，否则所述TOF成像单元和所述彩色成像单元的工作状态不同步。

17.根据权利要求13所述的深度图像采集系统，其中所述优化单元被配置为：

检测所述深度图像中存在的飞点数据或异常值；和

去除所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

18.根据权利要求13所述的深度图像采集系统，其中所述优化单元被配置为：

检测所述深度图像中存在的飞点数据或异常值；和

赋值所述深度图像中存在的飞点数据或异常值，以对所述深度图像进行降噪。

19.根据权利要求13、14或18中任一所述的深度图像采集系统，其中所述图像合成单元被配置为：

对应所述彩色图像和所述深度图像的坐标系；和

将所述彩色图像的像素点分别对应地赋值于所述深度图像的像素点，以得到所述彩色深度图像。

20.根据权利要求19所述的深度图像采集系统，其中所述图像合成单元进一步被配置为：

将所述深度图像的像素坐标系上的像素点转化为物理坐标系上的点；

将物理坐标系上的点转化成TOF成像单元坐标系上的点；

将TOF成像单元坐标系上的点转化成彩色成像单元坐标系上的点；以及

把彩色成像单元坐标系上的点转化成所述彩色像素坐标系上的点。