CN109978932A - 利用结构光获取检测对象的深度信息的系统和方法 - Google Patents

Abstract

本发明提出了一种利用结构光获取检测对象的深度信息的系统。该系统包括：二维成像装置，用于采集检测对象的二维图像信息；控制器，用于识别二维成像装置所采集的二维图像信息中的特征区域并确定所述特征区域的位置，并且根据所识别的特征区域和所确定的特征区域的位置确定结构光的特征；以及投影装置，将具有所述特征的结构光投影至检测对象，以获取检测对象的深度信息。本发明还提出了一种利用结构光获取检测对象的深度信息的方法。

Description

利用结构光获取检测对象的深度信息的系统和方法

技术领域

本申请涉及结构光机器视觉感知领域，更具体地，本申请涉及一种利用结构光获取检测对象的深度信息的系统和方法，以通过识别检测对象的特征区域来动态地控制结构光的特征进行投影。

背景技术

在现有的结构光投影领域中，结构光投影通常是将光学图案(波长在940nm左右的点、线或者条纹等形式的光学信息)投影在检测对象上，从而给检测对象施加光学特征信息。在投影过程中，为了保证识别准确性，需要以较高的强度以及较多的光线进行投影。但是，由于检测对象在高强度的结构光投影下可能会受到损害，尤其是当检测对象为人脸时，长时间高强度的投影会对人的眼睛造成一定的损害。

另外一方面，在对检测对象的特征区域进行投影时，检测对象的特征区域在不同的结构光投影下可能呈现不一样的效果。因此，固定的投影方式会造成检测对象特征区域上的光学特征信息无法满足使用者的各项例如精度、速度的需求，同时也无法满足对于某些检测对象的安全要求。

发明内容

为此，本发明提出了一种动态地调整或控制结构光的特征来获取检测对象的深度信息的系统和方法。首先对检测对象进行图像采集后，再识别检测对象的特征区域，然后在投影时控制该特征区域的投影强度。

根据本发明的一个方面，提出了一种利用结构光获取检测对象的深度信息的系统。该系统可包括：成像装置，用于采集检测对象的图像信息；控制器，用于识别成像装置所采集的图像信息中的特征区域并确定所述特征区域在所述图像信息中的位置，并且根据所识别的特征区域和所确定的所述特征区域在所述图像信息中的位置确定结构光的特征；以及投影装置，用于将具有所述特征的结构光投影至检测对象，以使所述成像装置获取检测对象的深度信息。

根据本发明的一个实施方式，所述二维成像装置可以预定时间间隔周期性地采集所述检测对象的二维图像信息，并且所述控制器可根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置周期性地确定投影的所述结构光的特征。

根据本发明的一个实施方式，投影装置可根据由控制器所确定的结构光的特征发射具有不同强度、角度、图案、波段和/或占空比的结构光。例如，增大或者减小发射的结构光的投影强度、将结构光切换为不同图案的光学信息、增加或者减少发射结构光的光源数量、旋转光源的角度以及切换发射结构光的光源的波段等。

根据本发明的一个实施方式，当识别到检测对象例如为虹膜时，投影装置向检测对象(虹膜)发射强度和占空比增大的结构光；当识别到检测对象例如为眼睛时，所述投影装置发射强度和占空比减小的结构光；以及当识别到检测对象例如为人脸时，所述投影装置发射具有线结构光图案的结构光等。

根据本发明的一个实施方式，投影装置可包括：衬底；设置在所述衬底上以发射光线的光学发射器阵列；以及安装在衬底之上的光学器件。衬底例如由半导体材料制成。光学器件可将由光学发射器阵列发射的光线投射至检测对象。

根据本发明的一个实施方式，成像装置可包括：用于对光线进行过滤和聚焦的滤光聚光元件；以及用于对通过滤光聚光元件的光线进行成像以获取图像信息的成像组件。

根据本发明的另一方面，提出了一种利用结构光获取检测对象的深度信息的方法。该方法可包括：采集检测对象的图像信息；识别所述图像信息中的特征区域，并确定所述特征区域在所述图像信息中的位置；根据所识别的特征区域和所确定的所述特征区域在所述图像信息中的位置确定结构光的特征；将具有所述特征的结构光投影至所述检测对象以获取检测对象的深度信息。

根据本发明的一个实施方式，其中，所述二维图像信息以预定时间间隔周期性地采集，并且根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置周期性地确定结构光的特征。

根据本发明的一个实施方式，采集检测对象的二维图像信息包括利用RGB模组和/或IR模组对所述检测对象进行成像，以获取所述检测对象的二维图像信息。

根据本发明的一个实施方式，将所述结构光投影至检测对象可包括根据所确定的结构光的特征发射具有不同强度、角度、图案、波段和/或占空比的结构光。例如，可增大或者减小发射的结构光的投影强度、将结构光切换为不同图案的光学信息、增加或者减少发射结构光的光源数量、旋转光源的角度以及切换发射结构光的光源的波段等。

根据本发明的一个实施方式，结构光的不同图案例如可包括当不限于点结构光图案、线结构光图案、条纹式结构光图案、面结构光图案等。

根据本发明的一个实施方式，当识别到检测对象为虹膜时，将具有所述特征的结构光投影至检测对象包括将强度和占空比增大的结构光投射至检测对象；当识别到检测对象为眼睛时，将具有所述特征的结构光投影至检测对象包括将强度和占空比减小的投影光源投射至检测对象；以及当识别到检测对象为人脸，将具有所述特征的结构光投影至检测对象包括将具有所述线结构光图案的投影光源投射至检测对象等。

附图说明

以下参照附图来提供对本发明构思的进一步理解，附图示出了本发明构思的示例性实施方式，并且应当理解这些实施方式仅应以说明性而绝非限制性的方式来解释，在整个说明书中，相同的附图标记指示相同的元件。在附图中：

图1示出了根据本发明的实施方式的利用结构光获取检测对象的深度信息的系统的示意性框图；

图2示出了根据本发明的实施方式的利用结构光获取检测对象的深度信息的方法的示意性流程图；

图3示出了根据本发明的另一实施方式的利用结构光获取检测对象的深度信息的方法的示意性流程图；以及

图4示出了根据本发明的又一实施方式的利用结构光获取检测对象的深度信息的方法的示意性流程图。

具体实施方式

在以下描述中，出于解释的目的，阐述了诸多特定细节以提供对各种示例性实施方式的透彻理解。然而，应当理解，可在没有这些特定细节的情况下实施各种示例性实施方式。

本文中所使用的术语是用于描述特定实施方式的目的而非旨在进行限制。当在本说明书中使用时，术语“包含”、“包含有”、“包括”和/或“包括有”表示存在所描述的特征、整数、步骤、操作、元件、部件和/或其组合，但并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在。

本文参考示例性实施方式的示意图来描述示例性实施方式。本文公开的示例性实施方式不应被解释为限于具体示出的形状，而是包括能够实现相同功能的各种等效结构。附图中所示的位置本质上是示意性的，并且它们的形状并不旨在示出装置的实际形状，并且不旨在进行限制。

出于描述目的，本文中可使用空间相对术语(诸如，“之上”、“之下”、“下部”、“上部”等)并由此描述图中所示出的一个元件或特征相对于另一个(另一些)元件或特征的关系。但是应当理解，这些描述并不意味着一个元件直接设置在另一个元件上，其也可能存在中间元件或特征。

除非另有限定，否则本文使用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的普通技术人员的通常理解相同的含义。诸如常用词典中定义的术语应被解释为具有与其在相关领域的语境下的含义一致的含义，并且将不以理想化或过度正式的意义来解释，除非本文明确地如此定义。

以下参考附图来对本申请的各个方面进行更详细的说明。

图1示出了根据本发明的实施方式的利用结构光获取检测对象的深度信息的系统100的示意性框图，以及图2示出了根据本发明的实施方式的利用结构光获取检测对象的深度信息的方法1000的示意性流程图。

如图1所示，系统100可包括用于采集检测对象40的图像信息的二维成像装置10、控制器20和投影装置30，其中，控制器20可用于识别由二维成像装置10所采集的图像信息中的特征区域并确定采集的特征区域的在所采集的图像信息中的位置，并且根据所识别的特征区域和所确定的特征区域的位置确定结构光的特征，投影装置30用于将所确定的特征的结构光投影至检测对象40，以能够更精确地获取到检测对象40的深度信息。

根据本申请的实施方式的系统100能够通过动态地调整或控制结构光的投影特征以在避免结构光对检测对象40造成影响的同时更好地获取到检测对象的特征区域。

在本申请的示例性实施方式中，结构光投影装置等将光学信息投射给检测对象40，二维成像设备10对检测对象40以预定时间间隔周期性地进行拍摄，接着利用适当的图像处理和模式识别方法对拍摄后的二维图像信息进行一系列的处理来得到检测对象40的特征区域，并根据检测对象40的特征区域动态地控制投影装置30发射的结构光来获取关于检测对象40的深度信息。由于在投影过程中对检测对象40的特征区域进行了额外的结构光强度的控制，从而使得识别的速度和精度等提高。对投影装置30的结构光的控制例如包括但不限于：增大或者减小结构光的投影强度、将结构光切换为不同图案的光学信息、增加或者减少发射结构光的光源数量、旋转光源的角度以及切换发射结构光的光源的波段等。

根据示例性实施方式，投影装置30可包括衬底、设置在衬底上以发射光线的光学发射器阵列以及安装在衬底之上的光学器件。光学器件可将由光学发射器阵列发射的光线以受控的强度或图案等投射至检测对象40。通常，衬底例如可以由半导体材料制成。应当理解，投影装置30可以为现有技术中已知的任何适当的结构而不限于以上所述。

图1中所示的二维成像装置10可包括：用于对由投影装置发射的结构光进行过滤和聚焦的滤光聚光元件以及用于对通过滤光聚光元件的结构光进行成像以获取图像信息的成像组件。成像组件可以为RGB模组和/或IR模组。

在结构光投影装置每次开始投影之前，先通过二维成像装置(即，RGB模组或者IR模组)进行拍摄。也即是说，先通过二维成像装置以预定时间间隔周期性地采集检测对象的二维图像信息，然后利用控制器根据所识别的特征区域和所确定的特征区域在二维图像信息中的位置周期性地确定投影的结构光的特征。由于眼睛在脸部中具有明显的特征区域，因此能够保证在每次进行结构光投影开始前均能确定检测对象中是否存在眼睛。应当理解，此处的RGB模组也就是常规的彩色照相机，IR模组可以为能够实现红外拍摄的模组。

应理解，投影装置并非持续进行投影，而是投影一段时间后停止，然后再次进行投影，这个过程通常被称作投影装置的占空比。由于投影装置的工作周期存在停止时间，在该停止时间内，可能出现检测对象发生改变或者检测对象的特征部分发生移动的变化。因此在投影时，可以先预设一个时间，在该时间后，再次单独进行RGB或者IR模组的拍摄以识别检测对象是否发生变化。因为眼睛在人脸中具有明显的区别特征，因此从RGB模组中识别出人脸中的眼睛的方式已经高度成熟。在本申请的实施方式中，先对检测对象中的眼睛进行识别后，输出与眼睛对应的特征区域在检测对象中的位置。在投影装置进行投影时，先通过二维成像装置和相应的图像处理方法对特征区域进行判断，从而能够在进行投影时预估好检测对象在环境中所处的位置和检测对象中的特征区域的位置。该种方式的有益效果在于，通过提前预设检测对象在环境中的位置，能够加快在深度图像中对检测对象的位置的识别。

在检测对象可能发生变化的情况下，通过二维成像装置识别不同时刻的检测对象中的特征区域，然后对不同时刻所获取的二维图像进行处理以确定所获取的二维图像中较可能为人体的移动物体。该过程类似于人眼聚焦在移动物体上的过程，即，通过持续地跟踪检测对于的特征区域的变化(例如，人体的移动)。应注意，该过程可通过更优化的预处理来缩短响应时间。此外，预先确定所获取的二维图像中的特征区域可进一步缩短响应时间。

在本申请中，通过利用二维成像装置(RGB模组或者IR模组)以预定间隔周期地获取检测对象的二维图像并对所获取的二维图像进行识别，从而确定二维图像中的特征区域以及这些特征区域在二维图像中的位置，此外，还可相应地确定特征检测对象的变化情况，并根据所确定的特征区域和位置来动态地调整投影至检测对象的结构光，以获取检测对象的深度信息。

如图2所示，本申请公开的控制结构光的投影特征大体上包括以下步骤：利用成像装置10采集检测对象40的图像信息S1001；识别所采集的图像信息中的特征区域，并确定该特征区域的位置S1002；根据所识别的特征区域和所确定的特征区域的位置，确定结构光的特征S1003；利用投影装置30将具有所确定的特征的结构光投影至检测对象40，以获取检测对象40的深度信息S1004。在步骤S1002中，特征区域的识别可以采用常规的图像处理和模式识别方法，为了不必要地混淆本发明的主旨，在本文中不再赘述。

在本申请的第一示例性实施方式中，该成像装置10可以配置为用于虹膜的图像采集装置。虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的可见的环状组织，在一定频率的近红外光下，虹膜色素可呈现出丰富的纹理信息，如斑点条纹、细纹、冠状、隐窝等生理细节特征。在虹膜图像采集过程中，由于外界环境光线的干扰，人的虹膜需要在特定的光线的映衬下才会较为明显地显现具有特征作用的特征区域。因此在投影过程中，需要对投影装置的结构光进行强度以及占空比的控制来使虹膜中的特征区域尽可能丰富清晰地显现。例如，在采集东方人的虹膜纹理时，可采用波长为800nm以上的近红外光源，以获得清晰的虹膜图像。因此，在使用结构光进行投影时，选择不同波长的光线进行投影可以实现对检测对象的特征区域例如虹膜图像采集的清晰化。

在该实施方式中，假设应用场景为检测对象的虹膜。在识别到检测对象为虹膜后，对投影装置发射的结构光的光照强度和占空比(投影装置在一个周期内的投影时长)进行适当的变化，例如，在本实施例中，提高投影装置的投影强度和投影时的占空比，使得检测对象的虹膜纹理特征更加清晰，从而确保接收到的虹膜信息的准确性。

识别虹膜特征区域的步骤例如可参考图3所示的以下步骤：对检测对象的图像信息进行拍摄S2001，拍摄的信息可以是施加光学信息后的检测对象的图像或者是未对检测对象施加光学信息后的图像；对特征区域(在本实施方式中为虹膜)进行识别和判断S2002；将结构光调整为具有更高强度、更高占空比或者更多数量的光线进行投影S2003。

在完成上述步骤后，利用调整后的结构光进行投影能够提高对检测对象的特征区域(例如，虹膜)的识别精确度并且能够丰富图像信息中有关特征区域的信息。与现有技术中直接对虹膜拍摄后进行识别的方法相比，该实施方式的方法可以获得虹膜中更丰富的特征区域，从而提高识别虹膜的精度。

在本申请的第二示例性实施方式中，在结构光投影装置对检测对象进行光学信息的投影时，通常主要利用940nm左右的近红外光进行投影。由于外界环境中的这部分波段的光线比较少，因此采集图像时的干扰会比较不明显。但是当这部分波段的光线对检测对象的特征区域诸如人的眼睛等进行长时间高强度的照射时，光线自带的光热效应会对眼睛造成刺激(例如眼睛晶状体聚焦后的热效应)，从而对检测对象造成损害。因此在这种情况下需要降低投影装置的结构光强度以及减小投影装置的结构光占空比(投影装置在一个周期内投影的时长)，以尽可能减少对检测对象的损害。

在检测对象为使用者的眼睛时，识别检测对象的特征区域的过程可参考图4所示的下述步骤：对检测对象的图像信息(例如检测对象的眼睛)进行拍摄S3001(拍摄的信息可以是施加光学信息后的检测对象的图像或者是未对检测对象施加光学信息后的图像)；采集所拍摄的图像信息S3002；识别和判断所采集的图像信息中的特征区域S3003(在本实施例中特征区域为检测对象的眼睛)；在识别到检测对象为人的眼睛时，选择对检测对象更加安全的投影方式S3004，例如降低投影装置的投影强度以及减小投影时结构光的占空比。

在本申请的第三示例性实施方式中，在结构光投影装置对检测对象进行光学信息的投影时，由于散斑结构光投影的光点以及接收装置接收后的图像信息需要完成像素级别的点与点的匹配，才能实现对复杂形状和检测对象的细节的补充。也就是说如果能够切换投影不同图案的光学信息就可以实现对检测对象的特征区域的更加精密的测量。

然而，本领域技术人员应当理解，上述实施方式仅是本申请的示例性实施方式而不是对本申请进行限制。因此，检测对象不限于眼睛、虹膜等，也可以是植物、静物、外界环境等。成像装置可通过识别到的检测对象的具体特征来确定需要发射的结构光的特征。例如但并非限制，当识别到检测对象为诸如眼睛等易受损害的目标时，可以降低结构光的强度进行拍摄，而当检测对象为外界环境或静物等不易受光损坏的目标时，可以增大结构光的强度来拍摄更多细节。因此，根据本申请的实施方式，可通过识别到的检测对象的特征区域而动态地调整结构光的特征，以针对不同的特征区域发射具有不同特征的结构光。

举例而言，在本实施方式中，假如主要测量对象为人脸时，在结构光的设计过程中，常常需要加大对五官(例如，人脸中的眼、鼻、口等)的光点数量的密度，使得在人脸识别中更具有特征的眼、鼻、口的采样率更高，这样的做法使得深度数据的真实性更强。但是即便如此依然无法实现像素级点对点的匹配。因此，如果能够将散斑结构光切换成线结构光或者面结构光便能够获取更高精度的深度数据。因此在本实施方式中，在识别到检测对象的特征区域例如为人的头发的情况下，可以选择以线结构光图案进行投影以获得更加精确深度数据。

也就是说，散斑这类光点式结构光测量方法需要对检测对象中的每一个点进行测量，图像获取和图像处理需要的时间随着光点数量的增加而变长，因此很难做到在短时间内完成图像的测量。但是如果在检测到了特征区域后以线结构光图案代替点结构光图案，则能够大大减少图像获取和图像处理的时间。

在另一示例性实施方式中，本申请还公开了一种控制结构光投影强度的系统。该系统可包括用于向外界发射结构光的投影装置、用于对外界环境进行拍摄的成像装置、用于执行计算操作的处理装置、用于对结构光的投影强度进行控制的控制装置以及用于向各个装置提供动力的驱动装置。

应当理解，外界环境应包括至少一个检测对象。在本实施方式中处理装置例如可以为移动终端的中央处理器。驱动装置例如可以为电池。

本申请的上述各实施方式中的系统和方法可集成在各种移动终端中进行使用。

此外，在本实施方式中，投影装置例如可以为光学衍射元件和激光发射器，其中光学衍射元件例如可以为DOE，激光发射器例如可以为垂直腔面发射器(vcsel)。投影装置可被控制以增大或者减少局部的结构光投影强度和投影的光线数量。投影单元可设置为点结构光图案，在使用中只需要将该投影装置(点结构光图案)中的某些点光源设置为以较暗的方式进行投影，以避免使用者眼睛受到损害，便可以保证投影时的光线信息的完整性。在某些情况下，还可以直接关闭某些点光源，以在不对特征区域进行投影的情况下，采集检测对象的其余部分的光学特征信息。

综上所述，在本申请实施方式中，通过根据检测对象的特征区域动态地调整结构光的强度来对检测对象进行投影，提高了使用结构光投影时的可控性、减少了结构光投影时的使用功率并节约了能源。此外，本申请的实施方式能够保证在识别到检测对象的特征区域时选择以更佳的方式进行投影，特别是当检测对象为人时，能够以避开人眼的方式进行投影，从而降低甚至消除对人体造成的危害。

以上参照附图对本申请的示例性实施方式进行了描述。本领域技术人员应该理解，上述实施方式仅是为了说明的目的而所举的示例，而不是用来限制本申请的范围。本申请的范围将由所附权利要求书以及其任何和所有等效物、包括其特征的任何组合的全部宽度给出。凡在本申请的教导和权利要求保护范围下所作的任何修改、等同替换等，均应包含在本申请要求保护的范围内。

Claims (19)

1.利用结构光获取检测对象的深度信息的系统，包括：

二维成像装置，用于采集所述检测对象的二维图像信息；

控制器，用于识别所述二维成像装置所采集的所述二维图像信息中的特征区域并确定所述特征区域在所述二维图像信息中的位置，并且根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置，确定投影的所述结构光的特征；以及

投影装置，用于将具有所述特征的结构光投影至所述检测对象，以获取所述检测对象的深度信息。

2.如权利要求1所述的系统，其中，所述二维成像装置以预定时间间隔周期性地采集所述检测对象的二维图像信息，并且所述控制器根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置周期性地确定投影的所述结构光的特征。

3.如权利要求1所述的系统，其中，所述投影装置根据所述控制器所确定的所述结构光的特征发射具有不同强度、角度、图案、波段和/或占空比的结构光。

4.如权利要求3所述的系统，其中，所述结构光的预定图案包括点结构光图案、线结构光图案和面结构光图案。

5.如权利要求3所述的系统，其中，所述检测对象为虹膜，所述投影装置向所述虹膜投影强度和占空比增大的结构光。

6.如权利要求3所述的系统，其中，所述检测对象为眼睛，所述投影装置发射强度和占空比减小的结构光。

7.如权利要求3所述的系统，其中，所述检测对象为人脸，所述投影装置发射具有线结构光图案的结构光。

8.如权利要求1所述的系统，其中，所述投影装置包括：

衬底；

光学发射器阵列，设置在所述衬底上以发射光线；以及

光学器件，安装在所述衬底之上，并将由所述光学发射器阵列发射的光线投射至所述检测对象。

9.如权利要求8所述的系统，其中，所述衬底为半导体衬底。

10.如权利要求1所述的系统，其中，所述二维成像装置包括：

滤光聚光元件，用于对光线进行过滤和聚焦；以及

成像组件，用于对通过所述滤光聚光元件的光线进行成像，以获取图像信息。

11.如权利要求10所述的系统，其中，所述成像组件包括RGB模组和/或IR模组。

12.一种利用结构光获取检测对象的深度信息的方法，包括：

采集检测对象的二维图像信息；

识别所述二维图像信息中的特征区域，并确定所述特征区域在所述二维图像信息中的位置；

根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置，确定结构光的特征；

将具有所述特征的结构光投影至所述检测对象；以及

获取所述检测对象的深度信息。

13.如权利要求10所述的方法，其中，所述二维图像信息以预定时间间隔周期性地采集，并且根据所识别的特征区域和所确定的所述特征区域在所述二维图像信息中的位置，周期性地确定结构光的特征。

14.如权利要求12所述的方法，其中，采集所述检测对象的二维图像信息包括利用RGB模组和/或IR模组对所述检测对象进行成像，以获取所述检测对象的二维图像信息。

15.如权利要求12所述的方法，其中，将所述结构光投影至所述检测对象包括根据所确定的所述结构光的特征发射具有不同强度、角度、图案、波段和/或占空比的结构光。

16.如权利要求15所述的方法，其中，所述结构光的不同图案包括点结构光图案、线结构光图案和面结构光图案。

17.如权利要求15所述的方法，其中，所述检测对象为虹膜，将具有所述特征的结构光投影至所述检测对象包括将强度和占空比增大的结构光投射至所述检测对象。

18.如权利要求15所述的方法，其中，所述检测对象为眼睛，将具有所述特征的结构光投影至所述检测对象包括将强度和占空比减小的投影光源投射至所述检测对象。

19.如权利要求15所述的方法，其中，所述检测对象为人脸，将具有所述特征的结构光投影至所述检测对象包括将具有所述线结构光图案的投影光源投射至所述检测对象。