CN109831660A - 深度图像获取方法、深度图像获取模组及电子设备 - Google Patents

Abstract

本申请公开了一种深度图像获取方法、深度图像获取模组及电子设备。深度图像获取模组包括第一相机、第二相机、第三相机、光投射器及处理器。第一相机用于拍摄预览图像，处理器根据预览图像获取所述场景的环境亮度。在环境亮度大于预设亮度时，第一相机拍摄场景的可见光图像，第二相机拍摄场景的灰度图像，处理器根据可见光图像和灰度图像计算场景的深度图像。在环境亮度小于预设亮度时，光投射器向场景中投射红外光以形成散斑图案，第二相机拍摄场景的第一散斑图像，第三相机拍摄场景的第二散斑图像，处理器根据第一散斑图像和第二散斑图像计算场景的深度图像。

Description

深度图像获取方法、深度图像获取模组及电子设备

技术领域

本申请涉及三维成像技术领域，特别涉及一种深度图像获取方法、深度图像获取模组及电子设备。

背景技术

电子设备(如手机)上通常装设有结构光深度相机来获取场景的深度图像。结构光深度相机中的光投射器向外界投射红外激光，红外相机接收被外界反射回的红外激光以得到散斑图像，电子设备可以基于散斑图像与预存的参考图像计算场景的深度信息。但在外界环境亮度较高时，红外相机拍摄的散斑图像的信噪比较低，会对深度信息的准确度造成影响。

发明内容

本申请实施方式提供了一种深度图像获取方法、深度图像获取模组及电子设备。

本申请实施方式的深度图像获取模组包括第一相机、第二相机、第三相机、光投射器及处理器。所述第一相机用于拍摄预览图像，所述处理器根据所述预览图像获取所述场景的环境亮度。在所述环境亮度大于预设亮度时，所述第一相机拍摄所述场景的可见光图像，所述第二相机拍摄所述场景的灰度图像，所述处理器根据所述可见光图像和所述灰度图像计算所述场景的深度图像。在所述环境亮度小于所述预设亮度时，所述光投射器向所述场景中投射红外光以形成散斑图案，所述第二相机拍摄所述场景的第一散斑图像，所述第三相机拍摄所述场景的第二散斑图像，所述处理器根据所述第一散斑图像和所述第二散斑图像计算所述场景的深度图像。

本申请实施方式的深度图像获取方法用于深度图像获取模组。所述深度图像获取模组包括第一相机、第二相机、第三相机及光投射器。所述深度图像获取方法包括：拍摄预览图像；根据所述预览图像获取所述场景的环境亮度；在所述环境亮度大于预设亮度时，拍摄所述场景的可见光图像及所述场景的灰度图像；根据所述可见光和所述灰度图像计算所述场景的深度图像；在所述环境亮度小于所述预设亮度时，向所述场景中投射红外光以形成散斑图案；拍摄所述场景的第一散斑图像及所述场景的第二散斑图像；和根据所述第一散斑图像和所述第二散斑图像计算所述场景的深度图像。

本申请实施方式的电子设备包括壳体和上述的深度图像获取模组。所述深度图像获取模组设置在所述壳体上。

本申请实施方式的深度图像获取方法、深度图像获取模组及电子设备在环境亮度较高时采用第一相机和第二相机作为双目相机分别获取可见光图像和灰度图像以计算深度图像，在环境亮度较低时，采用第二相机和第三相机作为双目相机分别获取第一散斑图像和第二散斑图像以计算深度图像。如此，在各种环境亮度下均能获得深度信息准确度较高的深度图像。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1和图2是本申请某些实施方式的电子设备的结构示意图。

图3和图4是本申请某些实施方式的深度图像获取模组的结构示意图。

图5至图11是本申请某些实施方式的深度图像获取方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1，本申请提供一种电子设备100。电子设备100可以是手机、平板电脑、笔记本电脑、游戏机、智能手表、智能手环、头显设备、无人机等。本申请以电子设备100是手机为例进行说明，但电子设备100的具体形式不限于手机。

电子设备100包括壳体20和深度图像获取模组10。深度图像获取模组10设置在壳体20上。壳体20可以作为电子设备100的功能元件的安装载体。壳体20可以为功能元件提供防尘、防摔、防水等保护，功能元件可以是显示屏、受话器、深度图像获取模组10等。

在一个例子中，壳体20包括主体21及可动支架22，可动支架22在驱动装置的驱动下可以相对于主体21运动，例如可动支架22可以相对于主体21滑动，以滑入主体21(如图2所示)或从主体21滑出(如图1所示)。部分功能元件(例如显示屏30)可以安装在主体21上，另一部分功能元件(例如深度图像获取模组10、受话器)可以安装在可动支架22上，可动支架22运动可带动该另一部分功能元件缩回主体21内或从主体21中伸出。壳体20上可以开设有一个或多个采集窗口，深度图像获取模组10与采集窗口对准安装以使深度图像获取模组10能够采集深度信息。深度图像获取模组10可以安装在可动支架22上。用户在需要使用深度图像获取模组10时，可以触发可动支架22从主体21中滑出以带动深度图像获取模组10从主体21中伸出；在不需要使用深度图像获取模组10时，可以触发可动支架22滑入主体21以带动深度图像获取模组10缩回主体21中。

在另一个例子中，壳体20上开设有通孔，通孔可以开设在壳体20的正面或背面，深度图像获取模组10安装在壳体20内并与通孔对准以使深度图像获取模组10能够采集深度信息。

当然，上述例子仅是对壳体20的具体形式的举例，不能理解为对本申请的壳体20的限制。

请再参阅图1，深度图像获取模组10包括第一相机11、第二相机12、第三相机13、光投射器14和一个或多个处理器16。其中，第一相机11可为可见光相机，第一相机11可以接收可见光以拍摄可见光图像。第二相机12和第三相机13可均为设置有双通滤光片的相机，双通滤光片是同时允许可见光和红外光(如850nm波长的红外光、940nm波长的红外光、1350nm波长的红外光等)通过的滤光片。第二相机12和第三相机13可以同时接收可见光和红外光以拍摄灰度图像。光投射器14可以向场景中投射红外光，光投射器14向场景中投射的红外光会形成散斑图案，散斑图案由多个斑点组成。第二相机12和第三相机13可以接收光投射器14投射到场景中并被场景中的物体反射回的红外光以拍摄得到散斑图像，其中，第二相机12拍摄的散斑图像为第一散斑图像，第三相机13拍摄的散斑图像为第二散斑图像。一个或多个处理器16可以控制深度图像获取模组10获取场景的深度图像。处理器16为一个时，第一相机11、第二相机12、第三相机13、光投射器14的开启或关闭可以由这个处理器16来控制，第一相机11、第二相机12、第三相机13获取的图像可以由这个处理器16进一步处理。处理器16为多个时，第一相机11、第二相机12、第三相机13、光投射器14可以各自具有一个处理器，第一相机11、第二相机12、第三相机13、光投射器14的开启或关闭分别由对应的处理器16来控制。第一相机11、第二相机12、第三相机13获取的图像还可以由一个特定的处理器16作进一步处理。在本申请的实施例中，处理器16的个数为一个，这个处理器16可以根据场景的环境亮度的不同控制深度图像获取模组10以不同的方式获取场景的深度图像。

具体地，处理器16首先控制第一相机11拍摄预览图像(可见光图像)，并根据预览图像获取场景的环境亮度。处理器16控制第一相机11拍摄预览图像时，处理器16需要对第一相机11的拍摄参数进行控制以获得成像效果更好的预览图像。其中，拍摄参数包括曝光时间、增益中的至少一种。也即是说，拍摄参数可以仅包括曝光时间；或者，拍摄参数可以仅包括增益；或者，拍摄参数可以同时包括曝光时间和增益。其中，第一相机11成像时，第一相机中11的感光元件感光后输出电信号，电信号会被放大后再输出，增益即为最终输出的电信号的放大倍数。场景的环境亮度与预设亮度的比较方式包括：

(1)在拍摄参数仅包括曝光时间时，处理器16比较第一相机11拍摄预览图像时的实际曝光时间与预设曝光时间的大小，若实际曝光时间大于预设曝光时间，则说明场景的环境亮度小于预设亮度；若实际曝光时间小于或等于预设曝光时间，则说明场景的环境亮度大于或等于预设亮度。

(2)在拍摄参数仅包括增益时，处理器16比较第一相机11拍摄预览图像时的实际增益与预设增益的大小，若实际增益大于预设增益，则说明场景的环境亮度小于预设亮度；若实际增益小于或等于预设增益，则说明场景的环境亮度大于或等于预设亮度。

(3)在拍摄参数同时包括曝光时间和增益时，处理器16比较第一相机11拍摄预览图像时的实际曝光时间与预设曝光时间的大小、以及第一相机11拍摄预览图像时的实际增益与预设增益的大小，若实际曝光时间大于预设曝光时间且实际增益大于预设增益，则判定场景的环境亮度小于预设亮度，否则即判定场景的环境亮度大于或等于预设亮度。

随后，处理器16根据环境亮度的判断结果控制深度图像获取模组10以对应该环境亮度的方式获取场景的深度图像。

若环境亮度大于或等于预设亮度，处理器16控制第一相机11和第二相机12同时开启，当然，处理器16也可控制第一相机11和第三相机13同时开启，本申请以处理器16控制第一相机11和第二相机12同时开启为例进行说明)。第一相机11接收场景中的可见光以拍摄得到可见光图像，第二相机12接收场景中的可见光和红外光以拍摄得到灰度图像，处理器16再根据可见光图像和灰度图像计算场景的深度图像。此时，第一相机11和第二相机12组成双目相机，处理器16可以根据双目相机获取的两张图像来计算深度图像。

具体地，处理器16首先分别对可见光图像和灰度图像做畸变校正，再以第一相机11为基准，对畸变校正后的灰度图像做立体校正以使得畸变校正后的可见光图像与畸变校正后的灰度图像共面行对准，可见光图像和灰度图像共面行对准时，场景中的某一点在可见光图像的投影与在灰度图像上的投影处于同一行。立体校正可以提升可见光图像与灰度图像立体匹配的速度。

随后，处理器16对可见光图像和灰度图像进行立体匹配，再根据立体匹配得到的多对匹配像素对计算出多个深度信息，从而得到深度图像。需要说明的是，在一些实施例中，第一相机11和第二相机12具有相同的分辨率，此时处理器16可以直接对可见光图像和灰度图像进行立体匹配；在另一些实施例中，第一相机11和第二相机12的分辨率不同，一般地，第二相机12的分辨率小于第一相机11的分辨率，此时处理器16需要将可见光图像和灰度图像的分辨率调整到相同后，再对可见光图像和灰度图像进行立体匹配，避免分辨率不同导致立体匹配困难或失败的问题。假设可见光图像具有第一分辨率，灰度图像具有第二分辨率，第一分辨率大于第二分辨率，分辨率调整的方式可以包括两种：(1)对第一分辨率的可见光图像下采样处理得到第二分辨率的可见光图像；(2)对第二分辨率的灰度图像上采样处理得到第一分辨率的灰度图像。分辨率调整的方式可以根据应用场景的不同来选择。例如，当应用场景要求深度信息较多(比如三维场景建模、人脸识别等应用场景)时，采用方式(2)进行分辨率的调整，基于较大的第一分辨率的两张图像计算出的深度图像中的深度信息也较多；当应用场景要求的深度信息较少(比如测距用于避障、深度辅助虚化、深度辅助美颜等应用场景)时，采用方式(1)进行分辨率的调整，基于较小的第二分辨率的两张图像计算出的深度图像中的深度信息也较少。

两张图像的分辨率调整为一致后，处理器16在两张图像中寻找出多对匹配像素对。具体地，处理器16首先在可见光图像中选定一个像素作为待匹配像素，再在灰度图像中寻找与选定的待匹配像素匹配的目标匹配像素，待匹配像素和目标匹配像素组成一对匹配像素对。随后，处理器16根据待匹配像素、目标匹配像素、以及第一相机11与第二相机12的标定参数计算对应这对匹配像素对的深度信息，其中，标定参数包括内参数和外参数。随后，处理器16再在可见光图像中选择另一个像素作为新的待匹配像素，再在灰度图像中寻找与选定的待匹配像素匹配的目标匹配像素，新的待匹配像素与新的目标匹配像素组成一对新的匹配像素对，随后，处理器16根据新的待匹配像素、新的目标匹配像素、以及第一相机11与第二相机12的标定参数计算对应这对新的匹配像素对的深度信息。随后，处理器16再在可见光图像中选择又一个像素作为新的待匹配像素，如此循环往复，直至找到所有的匹配像素对，并根据所有的匹配像素对计算出所有的深度信息，多个深度信息即可形成深度图像。

若环境亮度小于预设亮度，处理器16控制光投射器14开启，并控制第二相机12和第三相机13同时开启。光投射器14开启后向场景中投射红外光，第二相机12接收光投射器14投射到场景中并被场景中的物体反射回的红外光以拍摄得到第一散斑图像，第三相机13接收光投射器14投射到场景中并被场景中的物体反射回的红外光以拍摄得到第二散斑图像。由于第二相机12和第三相机13的分辨率是一致的，因此，处理器16可以直接对第一散斑图像和第二散斑图像进行立体匹配。具体地，处理器16首先在第一散斑图像中选定一个像素作为待匹配像素，再在第二散斑图像中寻找与选定的待匹配像素匹配的目标匹配像素，待匹配像素和目标匹配像素组成一对匹配像素对。随后，处理器16根据待匹配像素、目标匹配像素、以及第二相机12与第三相机13的标定参数计算对应这对匹配像素对的深度信息。随后，处理器16再在第一散斑图像中选择另一个像素作为新的待匹配像素，再在第二散斑图像中寻找与选定的待匹配像素匹配的目标匹配像素，新的待匹配像素与新的目标匹配像素组成一对新的匹配像素对，随后，处理器16根据新的待匹配像素、新的目标匹配像素、以及第二相机12与第三相机13的标定参数计算对应这对新的匹配像素对的深度信息。随后，处理器16再在第一散斑图像中选择又一个像素作为新的待匹配像素，如此循环往复，直至找到所有的匹配像素对，并根据所有的匹配像素对计算出所有的深度信息，多个深度信息即可形成深度图像。

可以理解，获取场景的深度信息可以通过结构光相机或双目相机等实现。目前的双目相机通常均为可见光相机，在环境亮度较高时，两个可见光相机均可以接收到足够的光线，两个可见光相机拍摄的两张可见光图像均较清晰，处理器可以基于较为清晰的两张可见光图像进行立体匹配。但在环境亮度较低时，可见光相机无法接收到的足够的光线，可见光图像的清晰度均较低，处理器基于清晰度较低的两张可见光图像进行立体匹配较为困难，易导致立体匹配出错，进一步导致深度信息的计算出错。另外，结构光相机发射的光通常为红外光，由于环境中也有红外光，在环境亮度较高时，环境中的红外光的强度也较高，会对结构光相机中的红外相机拍摄的散斑图像产生影响，使得散斑图像的信噪比降低，进一步影响计算的深度信息的准确度。

本申请实施方式的深度图像获取模组10和电子设备100在环境亮度较高时采用第一相机11和第二相机12作为双目相机分别获取可见光图像和灰度图像以计算深度图像，在环境亮度较低时，采用第二相机12和第三相机13作为双目相机分别获取第一散斑图像和第二散斑图像以计算深度图像。如此，在各种环境亮度下均能获得深度信息准确度较高的深度图像。

在某些实施方式中，在采用第二相机12和第三相机13获取到场景的深度图像后，处理器16还用于判断深度图像中是否存在缺失深度信息的空白区域，并在深度图像中存在空白区域时，根据空白区域在深度图像中选定预定区域，其中，预定区域包括空白区域，再根据预定区域中的像素的深度信息估计空白区域中的像素的深度信息。

根据多个匹配像素对中的像素计算出来多个深度信息后，处理器16会根据多个匹配像素对的像素坐标及对应每个匹配像素对的深度信息形成深度图像。此时，深度图像中可能有某些区域因为没有对应的匹配像素对而出现深度信息缺失的情况。出现这个情况的原因可能是因为场景中有某些物体的表面过于光滑，导致光投射器14投射到该表面上的斑点出现镜面反射而无法被第二相机12和第三相机13拍摄到，第一散斑图像和第二散斑图像中的对应区域出现斑点的缺失，这个区域就无法找到匹配像素对，也就无法计算深度信息。此时，处理器16在深度图像中选定一个预定区域，缺失了深度信息的空白区域位于这个预定区域内，处理器16即可根据预定区域中多个像素的深度信息来估计空白区域的像素的深度信息，从而将缺失了部分深度信息的深度图像填补完整。其中，处理器16判断深度图像中是否存在空白区域的判断条件可以是判断一个区域中所有像素的深度信息是否均落入一个预定范围(预定范围包括深度为0)内，若一个区域中所有像素的深度信息是否均落入一个预定范围内，则说明这个区域为缺失深度信息的空白区域。

本申请的深度图像获取模组10在环境亮度低时是基于第一散斑图像和第二散斑图像的立体匹配来计算深度图像的。然而，现有的一般是基于散斑图像中的斑点相对于参考图像的斑点的偏移量来计算深度图像的。本申请的深度图像的计算方式与现有的计算方式相比的优势在于：现有的计算方式下，若是场景中存在表面过于光滑的物体，红外相机拍摄的散斑图像中的斑点会出现缺失，而参考图像中的斑点是没有缺失的，此时散斑图像的斑点与参考图像的斑点无法准确匹配，会导致深度信息的计算出错，处理器16也无法分辨出出错的这部分深度信息。而本申请的计算方式中，第一散斑图像和第二散斑图像中的斑点则是匹配的，不会出现因为斑点缺失导致深度信息计算出错的问题。另外，斑点缺失的部分还可以通过估计的方式进行插补，保证深度图像的完整性。

在某些实施方式中，在处理器16根据预定区域中的像素的深度信息估计空白区域中的像素的深度信息前，处理器16可以控制第一相机11拍摄一张场景的可见光图像。随后，处理器16根据可见光图像与深度图像之间的对应关系，在可见光图像中确定出与深度图像的空白区域对应的区域，并对这个区域中的物体进行识别，如此，即可得到深度图像的空白区域的物体类别。随后，处理器16根据物体的类别、可见光图像中对应空白区域的区域的彩色信息以及预定区域中的像素的深度信息这三个因素来共同估计空白区域中的像素的深度信息。可以理解，处理器16根据物体类别以及可见光图像中的这个物体的色彩信息可以大致估计出这个物体的形状和轮廓，而预定区域的像素的深度信息可以大致指示出这个物体在场景中的深度，因此，根据物体的类别、可见光图像中对应空白区域的区域的彩色信息以及预定区域中的像素的深度信息者三个因素估计出的空白区域的像素的深度信息较为准确。

在某些实施方式中，处理器16在获取到深度图像后，可以基于深度图像获取包括场景的深度信息和彩色信息的三维场景图像。

具体地，在环境亮度较高时，由于是采用第一相机11和第二相机12获取深度图像，第一相机11拍摄的可见光图像已经获取到了场景的彩色信息，此时，处理器16可以直接基于深度图像的深度信息和可见光图像的彩色信息获取三维场景图像。

在环境亮度较低时，由于是采用第二相机12和第三相机13获取深度图像，此时还未获取到场景的彩色信息。因此，处理器16首先控制第一相机11开启，第一相机11拍摄场景的可见光图像。随后，处理器16根据第一相机11与第二相机12的标定参数对可见光图像和深度图像做对齐处理。可以理解，深度图像与可见光图像的空间坐标系是不同的，深度图像的空间坐标系的原点位于第二相机12上，而可见光图像的空间坐标系的原点位于第一相机11上，因此，需要对深度图像和可见光图像做对齐处理。可见光图像和深度图像对齐完成后，深度图像上每一个像素点的深度信息可以被映射到可见光图像的对应的像素点上。如此，即可得到一张每个像素点均具有彩色信息和深度信息的三维场景图像。

在某些实施方式中，由于第一相机11和第二相机12的分辨率不同，一般地，第一相机11的分辨率会大于第二相机12的分辨率，因此，在对可见光图像和深度图像做对齐前，处理器16可以先对可见光图像进行下采样处理，以使得可见光图像与深度图像的分辨率一致；或者，处理器16可以对深度图像做下采样处理，以使得深度图像的分辨率与可见光图像的分辨率一致。处理器16可以根据应用场景的不同来对应选择分辨率调整的方式，根据应用场景来选择分辨率的调整方式的具体实施过程与可见光图像和灰度图像做立体匹配前选择分辨率调整的方式的实施过程一致，在此不再赘述。

请参阅图3，在某些实施方式中，第二相机12、第一相机11、光投射器14、第三相机13依次排列，第二相机12的中心、第一相机11的中心、光投射器14的中心及第三相机13的中心位于同一直线上。此时，光投射器14位于第二相机12和第三相机13之间，光投射器14的视场与第二相机12的视场重叠度较高，与第三相机13的视场的重叠度也较高，光投射器14投射到场景的散斑图案可以全被第二相机12拍摄得到，还可以全部被第三相机13拍摄得到，第一散斑图像和第二散斑图像的匹配度更高，深度图像更为完整。第一相机11和第二相机12间隔一定距离并相邻设置，第一相机11和第二相机12间隔一定距离可以防止第一相机11和第二相机12靠太近而发生窜光，二者相邻设置时，在沿着垂直于电子设备100的显示屏30的方向上，第一相机11和第二相机12在较短的距离会有图像信息重叠，进而使得可见光图像与灰度图像的匹配度更高，深度图像更为完整。另外，第二相机12的中心、第一相机11的中心、光投射器14的中心及第三相机13的中心位于同一直线上可以方便深度图像获取模组10设置在电子设备100的壳体20上，尤其是作为深度图像获取模组10设置在壳体20的正面(即显示屏30所在的一面)时，深度图像获取模组10可以为显示屏30腾出更多的空间，可以增大电子设备100的屏占比。

进一步地，在某些实施方式中，深度图像获取模组10还包括泛光灯15，泛光灯15设置在第一相机11与光投射器14之间，第二相机12的中心、第一相机11的中心、泛光灯15的中心、光投射器14的中心及第三相机13的中心位于同一直线上。如此，泛光灯15与光投射器14相邻设置，泛光灯15的视场与投射器的视场的重叠度较高，可以更好地发挥补光作用。

请参阅图4，在某些实施方式中，第二相机12、第一相机11、第三相机13依次排列，第二相机12的中心、第一相机11的中心、第三相机13的中心位于第一直线上，第一相机11的中心与光投射器14的中心位于第二直线上，第一直线与第二直线垂直。此时，第一相机11设置在第二相机12和第三相机13之间，第一相机11与第二相机12和第三相机13均相邻设置，第一相机11可以与第二相机12组成双目相机获取深度图像，还可以与第三相机13组成双目相机获取深度图像。在某些应用场景下，第一相机11与第二相机12获取一张深度图像，第一相机11与第三相机13获取一张深度图像，处理器16再将两张深度图像进行融合，即可得到一张深度信息更多更完整的深度图像。光投射器14设置在第二相机12与第三相机13的连线的垂直平分线的某一位置上，光投射器14的视场与第二相机12的视场的重叠度较高，与第三相机13的视场的重叠度也较高，光投射器14投射到场景的散斑图案可以全被第二相机12拍摄得到，还可以全部被第三相机13拍摄得到，第一散斑图像和第二散斑图像的匹配度更高，深度图像更为完整。

进一步地，在某些实施方式中，深度图像获取模组10还包括泛光灯15，泛光灯15、第一相机11、光投射器14依次排列，泛光灯15的中心、第一相机11的中心、光投射器14的中心位于第二直线上。此时，泛光灯15与光投射器14相对于第一相机11对称设置，泛光灯15的视场与投射器的视场大部分重叠，可以更好地发挥补光作用。

请一并参阅图1和图5，本申请还提供一种深度图像获取方法。深度图像获取方法可以由上述任意一项实施方式所述的深度图像获取模组10实现。深度图像获取方法包括：

01：拍摄预览图像；

02：根据预览图像获取场景的环境亮度；

03：在环境亮度大于预设亮度时，拍摄场景的可见光图像及场景的灰度图像；

04：根据可见光和灰度图像计算场景的深度图像；

05：在环境亮度小于所述预设亮度时，向场景中投射红外光以形成散斑图案；

06：拍摄场景的第一散斑图像及场景的第二散斑图像；和

07：根据第一散斑图像和第二散斑图像计算场景的深度图像。

请再参阅图1，步骤01可以由第一相机11实现，步骤02可以由处理器16实现。步骤03可以由第一相机11和第二相机12实现，也可以由第一相机11和第三相机13实现。步骤04可以由处理器16实现。步骤05可以由光投射器14实现。步骤06可以由第二相机12和第三相机13实现。步骤07可以由处理器16实现。

本申请实施方式的深度图像获取方法在环境亮度较高时采用第一相机11和第二相机12作为双目相机分别获取可见光图像和灰度图像以计算深度图像，在环境亮度较低时，采用第二相机12和第三相机13作为双目相机分别获取第一散斑图像和第二散斑图像以计算深度图像。如此，在各种环境亮度下均能获得深度信息准确度较高的深度图像。

请参阅图6，在某些实施方式中，步骤02包括：

021：根据预览图像的拍摄参数获取场景的环境亮度，拍摄参数包括曝光时间和增益中的至少一种。

请参阅图1，在某些实施方式中，步骤021可以由处理器16实现。

请参阅图7，在某些实施方式中，步骤04包括：

041：在灰度图像中寻找与可见光图像的待匹配像素匹配的目标匹配像素，待匹配像素与目标匹配像素组成匹配像素对；

042：根据待匹配像素、目标匹配像素、以及第一相机11与第二相机12的标定参数计算对应匹配像素对的深度信息；和

043：根据多个匹配像素对的深度信息形成深度图像。

请参阅图1，在某些实施方式中，步骤041、步骤042和步骤043均可以由处理器16实现。

请再参阅图7，在某些实施方式中，可见光图像具有第一分辨率，灰度图像具有第二分辨率，第一分辨率大于第二分辨率。深度图像获取方法在步骤041前还包括：

044：对第一分辨率的可见光图像下采样处理得到第二分辨率的可见光图像。

请参阅图1，在某些实施方式中，步骤044可以由处理器16实现。

请参阅图8，在某些实施方式中，可见光图像具有第一分辨率，灰度图像具有第二分辨率，第一分辨率大于第二分辨率。深度图像获取方法在步骤041前还包括：

045：对第二分辨率的灰度图像上采样处理得到第一分辨率的灰度图像。

请参阅图1，在某些实施方式中，步骤045可以由处理器16实现。

请参阅图9，在某些实施方式中，步骤06包括：

061：在第二散斑图像中寻找与第一散斑图像的待匹配像素匹配的目标匹配像素，待匹配像素与目标匹配像素组成匹配像素对；

062：根据待匹配像素、目标匹配像素、以及第二相机12与第三相机13的标定参数计算对应匹配像素对的深度信息；和

063：根据多个匹配像素对的深度信息形成深度图像。

请参阅图1，在某些实施方式中，步骤061、步骤062和步骤063均可以由处理器16实现。

请再参阅图9，在某些实施方式中，深度图像获取方法在步骤063后还包括：

064：判断深度图像中是否存在缺失深度信息的空白区域；

065：在深度图像中存在空白区域时，根据空白区域在深度图像中选定预定区域，预定区域包括空白区域；和

066：根据预定区域中的像素的深度信息估计空白区域中的像素的深度信息。

请参阅图1，在某些实施方式中，步骤064、步骤065和步骤066均可以由处理器16实现。

请参阅图10，在某些实施方式中，深度图像获取方法在步骤066前还包括：

067：拍摄场景的可见光图像；

步骤066包括：

0661：根据可见光图像识别空白区域的物体类别；

0662：根据物体类别、可见光图像中对应空白区域的区域的彩色信息以及预定区域中的像素的深度信息估计空白区域中的像素的深度信息。

请参阅图1，在某些实施方式中，步骤067可以由第一相机11实现。步骤0661和步骤0662可以由处理器16实现。

请参阅图11，在某些实施方式中，深度图像获取方法在步骤07后还包括：

081：根据第一相机11与第二相机12的标定参数对可见光图像和深度图像做对齐处理；

082：根据对齐处理后的可见光图像和深度图像获取三维场景图像。

请参阅图1，在某些实施方式中，步骤081、步骤082可以由处理器16实现。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种深度图像获取模组，其特征在于，所述深度图像获取模组包括第一相机、第二相机、第三相机、光投射器及处理器，

所述第一相机用于拍摄预览图像，所述处理器根据所述预览图像获取场景的环境亮度；

在所述环境亮度大于预设亮度时，所述第一相机拍摄所述场景的可见光图像，所述第二相机拍摄所述场景的灰度图像，所述处理器根据所述可见光图像和所述灰度图像计算所述场景的深度图像；

在所述环境亮度小于所述预设亮度时，所述光投射器向所述场景中投射红外光以形成散斑图案，所述第二相机拍摄所述场景的第一散斑图像，所述第三相机拍摄所述场景的第二散斑图像，所述处理器根据所述第一散斑图像和所述第二散斑图像计算所述场景的深度图像。

2.根据权利要求1所述的深度图像获取模组，其特征在于，所述处理器根据所述预览图像的拍摄参数获取所述场景的环境亮度，所述拍摄参数包括曝光时间和增益中的至少一种。

3.根据权利要求1所述的深度图像获取模组，其特征在于，在所述环境亮度大于预设亮度时，所述处理器还用于：

在所述灰度图像中寻找与所述可见光图像的待匹配像素匹配的目标匹配像素，所述待匹配像素与所述目标匹配像素组成匹配像素对；

根据所述待匹配像素、所述目标匹配像素、以及所述第一相机与所述第二相机的标定参数计算对应所述匹配像素对的深度信息；和

根据多个所述匹配像素对的深度信息形成所述深度图像。

4.根据权利要求3所述的深度图像获取模组，其特征在于，所述可见光图像具有第一分辨率，所述灰度图像具有第二分辨率，所述第一分辨率大于所述第二分辨率，所述处理器还用于：

对第一分辨率的所述可见光图像下采样处理得到第二分辨率的所述可见光图像。

5.根据权利要求3所述的深度图像获取模组，其特征在于，所述可见光图像具有第一分辨率，所述灰度图像具有第二分辨率，所述第一分辨率大于所述第二分辨率，所述处理器还用于：

对第二分辨率的所述灰度图像上采样处理得到第一分辨率的所述灰度图像。

6.根据权利要求1所述的深度图像获取模组，其特征在于，在所述环境亮度小于预设亮度时，所述处理器还用于：

在所述第二散斑图像中寻找与所述第一散斑图像的待匹配像素匹配的目标匹配像素，所述待匹配像素与所述目标匹配像素组成匹配像素对；

根据所述待匹配像素、所述目标匹配像素、以及所述第二相机与所述第三相机的标定参数计算对应所述匹配像素对的深度信息；和

根据多个所述匹配像素对的深度信息形成所述深度图像。

7.根据权利要求6所述的深度图像获取模组，其特征在于，所述处理器还用于：

判断所述深度图像中是否存在缺失深度信息的空白区域；

在所述深度图像中存在所述空白区域时，根据所述空白区域在所述深度图像中选定预定区域，所述预定区域包括所述空白区域；和

根据所述预定区域中的像素的深度信息估计所述空白区域中的像素的深度信息。

8.根据权利要求6所述的深度图像获取模组，其特征在于，在处理器计算出所述深度图像后，所述第一相机拍摄所述场景的可见光图像；所述处理器还用于：

对所述可见光图像和所述深度图像做对齐处理；和

根据对齐后的所述可见光图像及所述深度图像计算所述可见光图像中每个像素的深度信息以得到三维场景图像。

9.根据权利要求1所述的深度图像获取模组，其特征在于，所述第二相机、所述第一相机、所述光投射器、所述第三相机依次排列，所述第二相机的中心、所述一相机的中心、所述光投射器的中心及所述第三相机的中心位于同一直线上。

10.根据权利要求1所述的深度图像获取模组，其特征在于，所述第二相机、所述第一相机、所述第三相机依次排列，所述第二相机的中心、所述第一相机的中心、所述第三相机的中心位于第一直线上，所述第一相机的中心与所述光投射器的中心位于第二直线上，所述第一直线与所述第二直线垂直。

11.一种深度图像获取方法，用于深度图像获取模组，其特征在于，所述深度图像获取模组包括第一相机、第二相机、第三相机及光投射器；所述深度图像获取方法包括：

拍摄预览图像；

根据所述预览图像获取场景的环境亮度；

在所述环境亮度大于预设亮度时，拍摄所述场景的可见光图像及所述场景的灰度图像；

根据所述可见光和所述灰度图像计算所述场景的深度图像；

在所述环境亮度小于所述预设亮度时，向所述场景中投射红外光以形成散斑图案；

拍摄所述场景的第一散斑图像及所述场景的第二散斑图像；和

根据所述第一散斑图像和所述第二散斑图像计算所述场景的深度图像。

12.一种电子设备，其特征在于，所述电子设备包括：

壳体；和

权利要求1至10任意一项所述的深度图像获取模组，所述深度图像获取模组设置在所述壳体上。