CN105491307B

CN105491307B - 深度传感系统

Info

Publication number: CN105491307B
Application number: CN201410538969.4A
Authority: CN
Inventors: 阳光
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2014-10-13
Filing date: 2014-10-13
Publication date: 2019-06-25
Anticipated expiration: 2034-10-13
Also published as: CN105491307A

Abstract

一种深度传感系统，包括：第一发光单元，用作第一光源；第二发光单元，用作第二光源；第一传感单元，用于感测经被测对象反射的光，以采集至少一个第一图像数据；第二传感单元，用于感测经被测对象反射的光，以采集至少一个第二图像数据；以及处理单元，用于基于所述至少一个第一图像数据以及所述至少一个第二图像数据，导出所述被测对象的深度信息，其中所述第一发光单元和所述第二发光单元相对于所述第一传感单元和所述第二传感单元配置在不同位置，所述第一发光单元以及第二发光单元以预设的定时照射所述被测对象。

Description

深度传感系统

技术领域

本发明涉及图像处理的领域，更具体地，本发明涉及一种深度传感系统。

背景技术

实时深度相机能够确定与该相机的视野内的人类或其它对象相距的距离，并且基于该相机的帧速率来基本实时地更新该距离。这样的深度相机可以在运动捕获系统中例如用于获取关于物理空间中的人体或者其他主体的位置和移动的数据，并且可以将该数据用作到计算系统中的应用的输入。目前已经存在多种应用，诸如用于军事、娱乐、体育和医学的目的。

通常，目前已知的深度相机中的深度传感系统采用单个用于照明视野的发光单元，以及两个用于感测来自视野的光以形成图像的图像传感器。然而，由于单个发光单元受限于诸如光照条件、表面纹理和色彩、以及遮挡可能性等问题，导致对于目标对象提取的精度不够，难以获得精确目标对象精确的深度信息。如果对目标对象不做提取，只靠两个图像传感器的匹配算法，则由于计算量非常大，导致深度信息提取过程非常慢，难以实现实时地更新。

因此，希望提供一种深度传感系统和深度传感方法，其能够快速并且精确地实现对于视野内目标对象的深度信息提取。

发明内容

为了解决现有技术中的上述技术问题，根据本发明的一方面，提供一种深度传感系统，包括：第一发光单元，用作第一光源；第二发光单元，用作第二光源；第一传感单元，用于感测经被测对象反射的光，以采集至少一个第一图像数据；第二传感单元，用于感测经被测对象反射的光，以采集至少一个第二图像数据；以及处理单元，用于基于所述至少一个第一图像数据以及所述至少一个第二图像数据，导出所述被测对象的深度信息，其中所述第一发光单元和所述第二发光单元相对于所述第一传感单元和所述第二传感单元配置在不同位置，所述第一发光单元以及第二发光单元以预设的定时照射所述被测对象。

此外，根据本发明的一个实施例，其中所述第一传感单元以及所述第二传感单元设置在所述第一发光单元以及所述第二发光单元之间。

此外，根据本发明的一个实施例，其中所述深度传感系统，还包括：至少一个第三发光单元，用作第三光源；其中，所述第一发光单元、所述第二发光单元和所述第三发光单元相对于所述第一传感单元和所述第二传感单元配置在不同位置，所述第一发光单元、第二发光单元以及第三发光单元以预设的定时照射所述被测对象。

此外，根据本发明的一个实施例，其中所述第三发光单元设置在所述第一传感单元以及所述第二传感单元之间。

此外，根据本发明的一个实施例，其中所述第一发光单元、所述第二发光单元以及所述第三发光单元发射的光具有不同的波段，并且所述第一发光单元、第二发光单元和所述第三发光单元分别同时发光。

此外，根据本发明的一个实施例，其中所述处理单元基于所述第一传感单元和所述第二传感单元获取的第一图像数据以及第二图像数据，获取对应于所述第一发光单元、第二发光单元和所述第三发光单元中至少两个的图像数据，以确定所述被测对象的特征。

此外，根据本发明的一个实施例，其中所述第一发光单元、第二发光单元和所述第三发光单元顺序地发光。

此外，根据本发明的一个实施例，其中所述处理单元基于所述第一传感单元和所述第二传感单元分别获取的、对应于所述第一发光单元、第二发光单元和所述第三发光单元中至少两个的图像数据，确定所述被测对象的特征。

附图说明

图1是图解根据本发明一个实施例的深度传感系统的示意图；

图2A和2B是图解根据本发明实施例的深度传感系统获取图像的示意图；以及

图3是图解根据本发明另一个实施例的深度传感系统的示意图。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

图1是图解根据本发明一个实施例的深度传感系统的示意图。这里，根据本发明实施例的深度传感系统可以应用到诸如智能手机、平板电脑、笔记本电脑、智能电视之类的电子设备上。

如图1所示，根据本发明实施例的深度传感系统可以包括第一发光单元11、第二发光单元12、第一传感单元21、第二传感单元22以及处理单元3。

例如，第一发光单元11和第二发光单元12可以是诸如LED灯之类的点光源。根据本发明的实施例，第一发光单元11和第二发光单元12分别用作深度传感系统的第一光源以及第二光源。

第一传感单元21和第二传感单元22可以由任意的感光元件(如，CMOS、CCD)实现，第一传感单元21和第二传感单元22可以用作电子设备的摄像头模块，并且可以采集图像。根据本发明的实施例，在电子设备启动对象深度检测模式的情况下，第一传感单元21可以感测经被测对象(如，手)反射的光以采集至少一个图像数据，而第二传感单元22可以感测经被测对象反射的光，以采集至少一个图像数据。这里，为了进行区分，将第一传感单元21采集的图像数据称为第一图像数据，而将将第二传感单元22采集的图像数据称为第二图像数据。另外，电子设备启动的对象深度检测模式可以由预设的应用(如，深度相机应用、名片识别应用)或条件(激活体感模式)激活。

处理单元3可以由任意的处理器或微处理器实现。例如，处理单元3可以是专用于对象深度检测的处理器，或者可以由应用了深度传感系统的电子设备的处理器基于预设的程序实现。根据本发明的实施例，处理单元3可以基于第一传感单元21和第二传感单元22所采集的至少一个第一图像数据以及至少一个第二图像数据来导出被测对象的深度信息。

根据本发明的实施例，第一发光单元11和第二发光单元12相对于第一传感单元21和第二传感单元22配置在不同位置上。此外，第一发光单元11以及第二发光单元12还以预设的定时照射被测对象。

下面将对根据本发明实施例的深度传感系统采集图像并对所获取的图像进行分析的过程进行描述。图2A和2B是图解根据本发明实施例深度传感系统获取图像的示意图。

如图2A和2B所示，第一传感单元21以及第二传感单元22设置在第一发光单元11以及第二发光单元12之间，即，第一发光单元11以及第二发光单元12设置在第一传感单元21以及第二传感单元22两侧。此外，第一发光单元11以及第二发光单元12顺序地发光。

在第一发光单元11发光期间，第一传感单元21以及第二传感单元22可以分别获取对应于第一发光单元11的第一图像数据以及第二图像数据。在第二发光单元12发光期间，第一传感单元21以及第二传感单元22可以分别获取对应于第二发光单元12的第一图像数据以及第二图像数据。

然后，处理单元3可以对上述图像数据进行分析以确定被测对象的特征。这里，被测对象的特征可以包括被测对象的纹理、轮廓、色彩等特征信息。

根据本发明的一个实施例，处理单元3可以对第一传感单元21以及第二传感单元22中任意一个采集的、对应于第一发光单元11以及第二发光单元12的第一图像数据或对应于第一发光单元11以及第二发光单元12的第二图像数据进行图像处理以确定被测对象的特征。

例如，处理单元3可以对第一传感单元21采集的、对应于第一发光单元11以及第二发光单元12的第一图像数据进行整合(如，基于预设的权重计算两幅图像数据的加权和)以产生新的图像数据，并且基于该图像数据确定被测对象的特征。在这种情况下，由于第一发光单元11以及第二发光单元12相对于第一传感单元21以及第二传感单元22位置不同(在本实施例中位于第一传感单元21以及第二传感单元22两侧)，因此以不同角度的光照射被测对象可以有效地降低被测对象由于起伏或形状所导致的光遮挡问题，由此处理单元3可以基于新的图像数据确定被测对象的轮廓特征。此外，由于第一发光单元11以及第二发光单元位置不同，被测对象的表面纹理或色彩会针对不同方向的光源产生不同的反射光，因此处理单元3还可以基于任意的识别技术对第一传感单元21采集的、对应于第一发光单元11以及第二发光单元12的第一图像数据进行比较以进一步确定被测对象的表面纹理或色彩。

这里，需要注意的是，处理单元3可以执行上述处理中的任意一种和多种来确定被测对象的特征。在确定了被测对象的特征之后，处理单元3可以基于所确定的被测对象的特征来确定被测对象在第一传感单元21和/或第二传感单元22所采集的图像中的范围，并且基于该范围(而不是所有的图像数据)执行被测对象相对于电子设备的距离的深度检测处理。这里，处理单元3可以采用任意的基于双传感单元的深度检测技术来检测被测对象的深度，并且这里不对该深度检测处理进行详细描述。

在上面描述了基于第一传感单元21采集的、对应于第一发光单元11以及第二发光单元12的第一图像数据进行图像处理的情况，显然处理单元3还可以基于第二传感单元22采集的、对应于第一发光单元11以及第二发光单元12的第二图像数据进行类似的图像处理以确定被测对象的特征。

根据上述多个实施例，可以通过不同位置的光源照射被测对象来获得更多的被测对象的特征信息以精确地确定被测对象的范围，并仅基于该范围执行被测对象的深度检测处理，由此能够大大减少深度检测处理的运算量，并且可以提高被测对象的判断精确度。

在上面描述了第一发光单元11以及第二发光单元12顺序发光的情况。另外，根据本发明的另一个实施例，第一发光单元11以及第二发光单元12还可以同时发光。在这种情况下，第一发光单元11以及第二发光单元12可以是能够发射不同波长的光的光源。在这种情况下，第一发光单元11以及第二发光单元12同时发光时，第一传感单元21和第二传感单元22分别同时采集对应于第一发光单元11以及第二发光单元12的第一图像数据和第二图像数据。

在这种情况下，处理单元3可以对第一传感单元21和第二传感单元22采集的第一图像数据和第二图像数据进行过滤处理以产生对应于第一发光单元11的图像数据以及对应于第二发光单元12的图像数据。具体地，处理单元3可以分别基于第一发光单元11发射的光的波长以及第二发光单元12发射的光的波长对第一图像数据和第二图像数据进行滤色处理以获得第一传感单元21采集的对应于第一发光单元11的图像数据、第一传感单元21采集的对应于第二发光单元12的图像数据、第二传感单元22采集的对应于第二发光单元12的图像数据以及第二传感单元22采集的对应于第二发光单元12的图像数据。

然后，处理单元3可以基于上述图像数据进行与之前描述类似的图像处理以确定被测对象的特征，从而基于所确定的被测对象的特征来确定被测对象在第一传感单元21和/或第二传感单元22所采集的图像中的范围，并且基于该范围执行被测对象相对于电子设备的距离的深度检测处理。

通过上述方式，通过第一发光单元11和第二发光单元12同时发光，可以减少图像采集的时间，从而能够进一步加快被测对象的深度检测过程。

此外，根据本发明的另一个实施例，处理单元3还可以根据第一传感单元21和第二传感单元22采集的对应于第一发光单元11的图像数据中所确定的被测对象的范围检测被测对象相对于电子设备的距离，并且根据第一传感单元21和第二传感单元22采集的对应于第二发光单元12的图像数据中所确定的被测对象的范围检测被测对象相对于电子设备的距离，然后基于上述两个距离进一步确定被测对象相对于电子设备的距离(如，加权平均)，由此进一步减少计算误差。

在上面描述了深度传感系统具有两个发光单元的情况。然而，本发明不限于此。根据本发明的另一个实施例，如图3所示，深度传感系统还可以包括第三发光单元13，其用作第三光源。这里，第一发光单元11、第二发光单元12和第三发光单元13相对于第一传感单元21和第二传感单元22配置在不同位置。例如，第三发光单元13可以设置在第一传感单元21以及第二传感单元22之间。另外，在检测被测对象的深度时，第一发光单元11、第二发光单元12以及第三发光单元13可以以预设的定时照射被测对象。在这种情况下，处理单元3可以对第一传感单元21以及第二传感单元22获取的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的至少两个的图像数据进行图像处理以确定被测对象的特征。

具体地，与之前的描述类似，第一发光单元11、第二发光单元12以及第三发光单元13可以顺序地发光。

在第一发光单元11发光期间，第一传感单元21以及第二传感单元22可以分别获取对应于第一发光单元11的第一图像数据以及第二图像数据。在第二发光单元12发光期间，第一传感单元21以及第二传感单元22可以分别获取对应于第二发光单元12的第一图像数据以及第二图像数据。在第三发光单元13发光期间，第一传感单元21以及第二传感单元22可以分别获取对应于第三发光单元13的第一图像数据以及第二图像数据。

然后，处理单元3可以对第一传感单元21以及第二传感单元22中任意一个采集的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的第一图像数据或对应于第一发光单元11、第二发光单元12以及第三发光单元13的第二图像数据进行图像处理以确定被测对象的特征。

例如，处理单元3可以对第一传感单元21采集的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的第一图像数据进行整合(如，基于预设的权重计算三幅图像数据的加权和)以产生新的图像数据，并且基于该图像数据确定被测对象的特征。在这种情况下，由于第一发光单元11、第二发光单元12以及第三发光单元13相对于第一传感单元21以及第二传感单元22位置彼此不同，因此以更多角度的光照射被测对象可以进一步降低被测对象由于起伏或形状所导致的光遮挡问题，由此处理单元3可以更容易地基于新的图像数据确定被测对象的轮廓特征。此外，由于第一发光单元11、第二发光单元12以及第三发光单元13位置彼此不同，被测对象的表面纹理或色彩会针对不同方向的光源产生不同的反射光并且在三个光源的照射下其表面纹理或色彩的细节会更清楚地体现出来，因此处理单元3还可以对第一传感单元21采集的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的第一图像数据进行比较以进一步确定被测对象的表面纹理或色彩。

这里，需要注意的是，处理单元3可以执行上述处理中的任意一种和多种来确定被测对象的特征。在确定了被测对象的特征之后，处理单元3可以基于所确定的被测对象的特征来确定被测对象在第一传感单元21和/或第二传感单元22所采集的图像中的范围，并且基于该范围执行被测对象相对于电子设备的距离的深度检测处理。

在上面描述了基于第一传感单元21采集的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的第一图像数据进行图像处理的情况，显然处理单元3还可以基于第二传感单元22采集的、对应于第一发光单元11、第二发光单元12以及第三发光单元13的第二图像数据进行类似的图像处理以确定被测对象的特征。

通过上述方式，可以通过更多位置的光源照射被测对象来获得更多的被测对象的特征信息以更精确地确定被测对象的范围，并仅基于该范围执行被测对象的深度检测处理，由此能够进一步减少深度检测处理的运算量，并且可以进一步提高被测对象的判断精确度。

在上面描述了第一发光单元11、第二发光单元12以及第三发光单元13顺序发光的情况。另外，根据本发明的另一个实施例，第一发光单元11、第二发光单元12以及第三发光单元13还可以同时发光。在这种情况下，第一发光单元11、第二发光单元12以及第三发光单元13可以是能够发射不同波长的光的光源。在这种情况下，在第一发光单元11、第二发光单元12以及第三发光单元13同时发光时，第一传感单元21和第二传感单元22分别同时采集对应于第一发光单元11、第二发光单元12以及第三发光单元13的第一图像数据和第二图像数据。

在这种情况下，处理单元3可以对第一传感单元21和第二传感单元22采集的第一图像数据和第二图像数据进行过滤处理以产生对应于第一发光单元11的图像数据、对应于第二发光单元12的图像数据以及对应于第三发光单元13的图像数据。具体地，处理单元3可以分别基于第一发光单元11发射的光的波长、第二发光单元12发射的光的波长以及第三发光单元13发射的光的波长对第一图像数据和第二图像数据进行滤色处理以获得第一传感单元21采集的对应于第一发光单元11的图像数据、第一传感单元21采集的对应于第二发光单元12的图像数据、第一传感单元21采集的对应于第三发光单元13的图像数据、第二传感单元22采集的对应于第二发光单元12的图像数据以及第二传感单元22采集的对应于第二发光单元12的图像数据、第二传感单元22采集的对应于第三发光单元13的图像数据。

通过上述方式，通过第一发光单元11、第二发光单元12以及第三发光单元13同时发光，可以减少图像采集的时间，从而能够进一步加快被测对象的深度检测过程。

在上面描述了第一发光单元11、第二发光单元12以及第三发光单元13顺序发光以及第一发光单元11、第二发光单元12以及第三发光单元13同时发光的情况。然而，本发明不限于此，第一发光单元11、第二发光单元12以及第三发光单元13中的任意两个可以顺序发光，或者第一发光单元11、第二发光单元12以及第三发光单元13中的任意两个同时发光，在这种情况下，处理单元3可以对第一传感单元21以及第二传感单元22获取的、对应于第一发光单元11、第二发光单元12以及第三发光单元13中的至少两个的图像数据进行图像处理以确定被测对象的特征。

具体地，例如，第一发光单元11、第二发光单元12以及第三发光单元13中的第一发光单元11以及第二发光单元12可以顺序发光或者可以同时发光，在这种情况下，处理单元3可以对第一传感单元21以及第二传感单元22获取的、对应于第一发光单元11、第二发光单元12的第一图像数据或对应于第一发光单元11、第二发光单元12的第二图像数据进行图像处理以确定被测对象的特征并基于该特定确定被测对象的范围，并且基于该范围执行被测对象相对于电子设备的距离的深度检测处理。此时，由于在被测对象相对于电子设备的距离较大的情况下，其处理单元3计算出的距离的误差对后续处理影响很小，因此如果基于深度检测处理确定被测对象的距离大于一预设阈值(如，0.5米或1米)，则不再点亮第三发光单元13。此外，如果基于深度检测处理确定被测对象的距离小于或等于一预设阈值，则点亮第三发光单元13。此时，处理单元3可以基于第一传感单元21以及第二传感单元22获取的、对应于第三发光单元13的第一图像数据和第二图像数据来进一步检测被测对象相对于电子设备的距离以减小误差。

另外，根据本发明的另一个实施例，第三发光单元13可以是发射具有结构图案的结构光的红外光源。在本实施例中，除了RGB像素之外，可以在第一传感单元21以及第二传感单元22中还排列能够检测红外光的像素。在这种情况下，当第三发光单元13发射结构光时，第一传感单元21以及第二传感单元22可以采集被测对象反射的结构光所形成的图像数据，并且处理单元3可以基于该图像数据确定被测对象的距离。此时，处理单元3可以将所确定的距离与在处理单元3基于第一发光单元11、第二发光单元12发光而获取的图像数据确定的距离进行整合(加权平均)或比较，以进一步减少计算误差。

在上面描述了本发明的各个实施例，需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种深度传感系统，包括：

第一发光单元，用作第一光源；

第二发光单元，用作第二光源；

第一传感单元，用于感测经被测对象反射的光，以采集至少一个第一图像数据；

第二传感单元，用于感测经被测对象反射的光，以采集至少一个第二图像数据；以及

处理单元，用于基于所述第一传感单元获取的、对应于所述第一发光单元或所述第二发光单元的图像数据以及所述第二传感单元获取的、对应于所述第一发光单元或所述第二发光单元的图像数据，导出所述被测对象的深度信息，

其中所述第一发光单元和所述第二发光单元相对于所述第一传感单元和所述第二传感单元配置在不同位置，所述第一发光单元以及第二发光单元以预设的定时照射所述被测对象。

2.如权利要求1所述的深度传感系统，其中

所述第一传感单元以及所述第二传感单元设置在所述第一发光单元以及所述第二发光单元之间。

3.如权利要求2所述的深度传感系统，还包括：

至少一个第三发光单元，用作第三光源；

其中，所述第一发光单元、所述第二发光单元和所述第三发光单元相对于所述第一传感单元和所述第二传感单元配置在不同位置，所述第一发光单元、第二发光单元以及第三发光单元以预设的定时照射所述被测对象。

4.如权利要求3所述的深度传感系统，其中

所述第三发光单元设置在所述第一传感单元以及所述第二传感单元之间。

5.如权利要求3所述的深度传感系统，其中

所述第一发光单元、所述第二发光单元以及所述第三发光单元发射的光具有不同的波段，并且所述第一发光单元、第二发光单元和所述第三发光单元中的至少两个同时发光，所述处理单元对所述第一图像数据和所述第二图像数据进行过滤处理以产生对应于第一发光单元的图像数据、对应于第二发光单元的图像数据以及对应于第三发光单元的图像数据中的至少两个。

6.如权利要求3所述的深度传感系统，其中

所述第一发光单元、第二发光单元和所述第三发光单元中的至少两个顺序地发光。

7.如权利要求5或6所述的深度传感系统，其中

所述处理单元基于对应于第一发光单元的图像数据、对应于第二发光单元的图像数据以及对应于第三发光单元的图像数据中的至少两个，确定所述被测对象的特征。