CN109688400A - 电子设备和移动平台 - Google Patents

Abstract

本申请公开了一种电子设备和移动平台。电子设备包括本体和设置在本体上的多个双目相机组件。多个双目相机组件分别位于本体的多个不同方位，每个双目相机组件均包括双目相机，每个双目相机均包括第一相机和第二相机。第一相机用于接收场景中的可见光，第二相机用于接收场景中的可见光。多个双目相机组件中的第一相机曝光以获取多张场景的第一图像，多个双目相机组件中的第二相机曝光以获取多张场景的第二图像，多张第一图像及多张第二图像用于获取全景深度图像。本申请实施方式的电子设备和移动平台中，位于本体的多个不同方位的多个双目相机曝光，以获取全景深度图像，能够一次性获取到较为全面的深度信息。

Description

电子设备和移动平台

技术领域

本申请涉及三维成像技术领域，特别涉及一种电子设备和移动平台。

背景技术

为了使得电子设备的功能更加多样化，电子设备上可以设置有深度图像获取装置，以获取被摄目标的深度图像。然而，目前的深度图像获取装置只能够获取一个方向或一个角度范围内的深度图像，获取到的深度信息较少。

发明内容

本申请实施方式提供了一种电子设备和移动平台。

本申请实施方式的电子设备包括本体和设置在所述本体上的多个双目相机组件，多个所述双目相机组件分别位于所述本体的多个不同方位，每个所述双目相机组件均包括双目相机，每个所述双目相机均包括第一相机和第二相机，所述第一相机用于接收场景中的可见光，所述第二相机用于接收所述场景中的可见光；多个所述双目相机组件中的所述第一相机曝光以获取多张所述场景的第一图像，多个所述双目相机组件中的所述第二相机曝光以获取多张所述场景的第二图像，多张所述第一图像及多张所述第二图像用于获取全景深度图像。

本申请实施方式的移动平台包括本体和设置在所述本体上的多个双目相机组件，多个所述双目相机组件分别位于所述本体的多个不同方位，每个所述双目相机组件均包括双目相机，每个所述双目相机均包括第一相机和第二相机，所述第一相机用于接收场景中的可见光，所述第二相机用于接收所述场景中的可见光；多个所述双目相机组件中的所述第一相机曝光以获取多张所述场景的第一图像，多个所述双目相机组件中的所述第二相机曝光以获取多张所述场景的第二图像，多张所述第一图像及多张所述第二图像用于获取全景深度图像。

本申请实施方式的电子设备和移动平台中，位于本体的多个不同方位的多个双目相机曝光，以获取全景深度图像，能够一次性获取到较为全面的深度信息。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的电子设备的结构示意图。

图2是本申请某些实施方式的电子设备的模块示意图。

图3是本申请某些实施方式的电子设备的应用场景示意图。

图4是本申请某些实施方式的初始深度图像拼接的坐标系示意图。

图5至图9是本申请某些实施方式的电子设备的应用场景示意图。

图10是本申请某些实施方式的电子设备的结构示意图。

图11至图14是本申请某些实施方式的移动平台的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请一并参阅图1和图2，本申请实施方式的电子设备100包括本体10、双目相机组件20和处理器50。

本体10包括多个不同方位。例如图1中，本体10可具有四个不同方位，沿顺时针方向依次为：第一方位、第二方位、第三方位和第四方位，第一方位与第三方位相背，第二方位与第四方位相背。第一方位即为与本体10的右侧对应的方位、第二方位即为与本体10的下方对应的方位、第三方位即为与本体10的左侧对应的方位、第四方位即为与本体10的上方对应的方位。

双目相机组件20设置在本体10上。双目相机组件20的数量可以为多个，多个双目相机组件20分别位于本体10的多个不同方位。具体地，如图1所示，双目相机组件20的数量可为四个，分别为双目相机组件20a、双目相机组件20b、双目相机组件20c和双目相机组件20d。双目相机组件20a设置在第一方位，双目相机组件20b设置在第二方位，双目相机组件20c设置在第三方位，双目相机组件20d设置在第四方位。当然，双目相机组件20的数量也可为八个(或其他任意大于两个的数量，尤其是任意大于四个的数量)，第一方位、第二方位、第三方位和第四方位可各设置两个(或其他数量)双目相机组件20。本申请实施方式以双目相机组件20的数量是四个为例进行说明，可以理解，四个双目相机组件20即可实现获取全景深度图像(全景深度图像指的是该全景深度图像的视场角大于或等于180度，例如，全景深度图像的视场角可为180度、240度、360度、480度、720度等等)，且有利于节省电子设备100的制造成本、以及减小电子设备100的体积和功耗等。本实施方式的电子设备100可以是设置有多个双目相机组件20的手机、平板电脑、笔记本电脑等便携式电子装置，此时，本体10可以为手机机身，平板电脑机身，笔记本电脑机身等。

在一个实施例中，每个双目相机组件20均包括双目相机21，双目相机21包括第一相机22和第二相机23。第一相机22用于接收被摄目标反射的场景中的可见光以形成第一图像，第二相机23用于接收被摄目标反射的场景中的可见光以形成第二图像。同一双目相机21获取的第一图像和第二图像可用于计算初始深度图像。

在一个实施例中，每个双目相机组件20均包括双目相机21和可见光源24，双目相机21包括第一相机22和第二相机23。可见光源24用于向本体10外发射可见光，其中，可见光源24发射出的可见光可以为均匀的面光。第一相机22用于接收被摄目标反射的场景中的可见光以及对应的可见光源24发射的可见光以形成第一图像，第二相机23用于接收被摄目标反射的场景中的可见光以及对应的可见光源24发射的可见光以形成第二图像。同一双目相机21获取的第一图像和第二图像可用于计算初始深度图像。

具体地，第一相机22和第二相机23的视场存在重叠区域，使得第一图像和第二图像中存在多对匹配的像素点对，每对像素点对均包括存在于第一图像中的第一像素点和存在于第二图像中的第二像素点(第一像素点和第二像素点对场景中的同一位置成像)，基于每一对像素点对中的第一像素点和第二像素点之间的视差信息、第一相机22和第二相机23之间的相对位置信息即可计算出与第一像素点和第二像素点对应的深度信息，多对像素点对对应多个深度信息，多个深度信息即可组成对应该双目相机组件20的初始深度图像。其中，像素点对是通过对第一图像和第二图像进行特征匹配得到的。当场景中的环境光的亮度较高，例如大于或等于预定亮度时，拍摄出来的图像画面明亮、效果较好，第一图像和第二图像的特征提取较为容易，第一图像和第二图像之间的特征匹配较为容易，第一像素点和第二像素点之间的匹配也较为准确。但当场景中的环境光的亮度较低，例如小于预定亮度时，拍摄出来的图像画面较暗、效果较差，第一图像和第二图像的特征提取较为困难，第一图像和第二图像之间的特征匹配较为困难，第一像素点和第二像素点之间特征匹配的准确率可能较低，此时，可见光源24可以开启并发射可见光，相当于提高了环境光的亮度，从而可以提升第一像素点和第二像素点之间的特征匹配的准确率。

下面以双目相机组件20同时包括双目相机21和可见光源24为例进行说明，可以理解，当双目相机组件20包括双目相机21而不包括可见光源24时的情况与之类似，在此不一一展开说明。

如图1所示，双目相机组件20a包括双目相机21a和可见光源24a，双目相机21a包括第一相机22a和第二相机23a；双目相机组件20b包括双目相机21b和可见光源24b，双目相机21b包括第一相机22b和第二相机23b；双目相机组件20c包括双目相机21c和可见光源24c，双目相机21c包括第一相机22c和第二相机23c；双目相机组件20d包括双目相机21d和可见光源24d，双目相机21d包括第一相机22d和第二相机23d。可见光源24a、可见光源24b、可见光源24c和可见光源24d分别用于向本体10外第一方位、第二方位、第三方位和第四方位发射可见光，双目相机21a、双目相机21b、双目相机21c和双目相机21d分别用于接收第一方位的被摄目标反射的场景中的可见光及可见光源24a发射的可见光、第二方位的被摄目标反射的场景中的可见光及可见光源24b发射的可见光、第三方位的被摄目标反射的场景中的可见光及可见光源24c发射的可见光、第四方位的被摄目标反射的场景中的可见光及可见光源24d发射的可见光。双目相机21a获取的第一图像和第二图像可以用于计算第一方位的被摄物体的深度信息以得到第一方位的初始深度图像，双目相机21b获取的第一图像和第二图像可以用于计算第二方位的被摄物体的深度信息以得到第二方位的初始深度图像，双目相机21c获取的第一图像和第二图像可以用于计算第三方位的被摄物体的深度信息以得到第三方位的初始深度图像，双目相机21d获取的第一图像和第二图像可以用于计算第四方位的被摄物体的深度信息以得到第四方位的初始深度图像，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。

每个第一相机22、每个第二相机23及每个可见光源24的视场角均为80度～100度中的任意值。其中，第一相机22和第二相机23组成的双目相机21的视场角与第一相机22或第二相机23的视场角相等或者略小于第一相机22或第二相机23的视场角。下面以第一相机22的视场角为例进行说明，第二相机23及可见光源24的视场角可以与对应的第一相机22的视场角相同或近似相同，在此不重复说明。

在一个实施例中，第一相机22a、第一相机22b、第一相机22c和第一相机22d的视场角均为80度。当第一相机22的视场角不超过80度时，镜头畸变较小，获取的第一图像质量较好，从而得到的初始深度图像和全景深度图像质量也较好，且能够获取到较为准确的深度信息。

在一个实施例中，第一相机22a、第一相机22b、第一相机22c和第一相机22d的视场角之和等于360度。具体地，第一相机22a、第一相机22b、第一相机22c和第一相机22d的视场角可以均为90度，且四个第一相机22相互之间的视场角互不交叠，以实现获取360度或近似360度的全景深度图像。或者，第一相机22a的视场角可为80度、第一相机22b的视场角为100度、第一相机22c的视场角为80度、第一相机22d的视场角为100度等，四个第一相机22通过角度互补实现获取360度或近似360度的全景深度图像。

在一个实施例中，第一相机22a、第一相机22b、第一相机22c和第一相机22d的视场角之和大于360度，四个第一相机22中的至少两个第一相机22相互之间的视场角交叠。具体地，第一相机22a、第一相机22b、第一相机22c和第一相机22d的视场角可以均为100度，四个第一相机22两两之间的视场角相互交叠。在获取全景深度图像时，可以先识别四个初始深度图像的边缘交叠部分，再将四个初始深度图像拼接为360度的全景深度图像。由于四个第一相机22两两之间的视场角相互交叠，可以确保获取的全景深度图像覆盖本体10外360度的深度信息。

当然，每个第一相机22(及每个第二相机23和每个可见光源24)的视场角的具体数值并不限于上述举例，本领域的技术人员可以根据需要将第一相机22(及每个第二相机23和每个可见光源24)的视场角设定为80度～100度之间的任意数值，例如：第一相机22的视场角为80度、82度、84度、86度、90度、92度、94度、96度、98度、100度或任意二者之间的任意值，第二相机23的视场角为80度、82度、84度、86度、90度、92度、94度、96度、98度、100度或任意二者之间的任意值，可见光源24的视场角为80度、82度、84度、86度、90度、92度、94度、96度、98度、100度或任意二者之间的任意值，在此不作限制。

在一个例子中，每个双目相机组件20中的第一相机22和第二相机23同时曝光，并且多个双目相机组件20中的第一相机22和第二相机23均同时曝光以获取全景深度图像，与此同时，多个双目相机组件20中的可见光源24可以同时发射可见光。具体地，可见光源24a、可见光源24b、可见光源24c和可见光源24d同时发射可见光，双目相机21a、双目相机21b、双目相机21c和双目相机21d同时曝光。由于多个可见光源24同时发射可见光，多个双目相机21同时曝光，在根据多个双目相机21采集的第一图像和第二图像获取得到对应的多张初始深度图像时，多张初始深度图像具有相同的时效性，能够反映本体10外同一时刻各个方位显示的画面，即同一时刻的全景深度图像。

请参阅图2，多个双目相机组件20均与处理器30连接。具体地，每个双目相机组件20中的第一相机22、第二相机23及可见光源24均与处理器30连接。其中，处理器30的个数可为一个或多个。处理器30的个数为一个时，多个双目相机组件20中的第一相机22、第二相机23及可见光源24均与该处理器30连接。处理器30的个数为多个时，每个处理器30对应一个双目相机组件20，每个处理器30与对应的双目相机组件20中的第一相机22、第二相机23及可见光源24连接。在本申请的具体实施例中，处理器30的个数为一个。相比于设置多个处理器30而言，一个处理器30的成本较低、且占据电子设备的空间较小。

处理器30可通过驱动电路驱动多个可见光源24同时发射可见光。处理器30还可以给每个双目相机21中的第一相机22和第二相机23提供接收可见光的时钟信息以使得第一相机22曝光获取第一图像、第二相机24曝光获取第二图像。处理器30还可以处理多张第一图像和多张第二图像得到多张初始深度图像。例如，处理器30依次处理双目相机21a获取的第一图像和第二图像得到初始深度图像P1、处理双目相机21b获取的第一图像和第二图像得到初始深度图像P2、处理双目相机21c获取的第一图像和第二图像得到初始深度图像P3、处理双目相机21d获取的第一图像和第二图像得到初始深度图像P4(如图3的上部分所示)。处理器30还可以对每一张初始深度图像进行片面化、畸变校正、自校准等算法处理，以提高初始深度图像的质量。

请参阅图3，在一个实施例中，处理器30用于根据双目相机21的视场角将多张初始深度图像合成为一帧全景深度图像。

具体地，请结合图1，以本体10的中心为圆心O，以横轴线为X轴，以纵轴线为Y轴建立直角坐标系XOY，在该直角坐标系XOY中，双目相机21a的视场位于45度～315度之间(顺时针旋转，后同)，双目相机21b的视场位于315度～225度之间，双目相机21c的视场位于225度～135度之间，双目相机21d的视场位于135度～45度之间，则处理器30根据四个双目相机21的视场角将初始深度图像P1、初始深度图像P2、初始深度图像P3、初始深度图像P4依次拼接为一帧360度的全景深度图像P1234，以便深度信息的使用。

处理器40处理每一个双目相机21获取的第一图像和第二图像得到的初始深度图像中，每个像素的深度信息为对应方位的被摄目标与该方位上的双目相机21之间的距离。即，初始深度图像P1中每个像素的深度信息为第一方位的被摄目标与双目相机21a之间的距离；初始深度图像P2中每个像素的深度信息为第二方位的被摄目标与双目相机21b之间的距离；初始深度图像P3中每个像素的深度信息为第三方位的被摄目标与双目相机21c之间的距离；初始深度图像P4中每个像素的深度信息为第四方位的被摄目标与双目相机21d之间的距离。在将多个方位的多张初始深度图像拼接为一帧360度的全景深度图像的过程中，首先要将每张初始深度图像中每个像素的深度信息转化成统一化深度信息，统一化深度信息表示各个方位的各个被摄目标与某个基准位置的距离。深度信息转化为统一化深度信息后，方便处理器30根据统一化深度信息做初始深度图像的拼接。

具体地，选择一个基准坐标系，基准坐标系可以是以某一个方位的双目相机21中的第一相机22或第二相机23的图像坐标系作为基准坐标系，也可以是选择其他的坐标系作为基准坐标系。以图4为例，以x_o-y_o-z_o坐标系为基准坐标系。图4所示的坐标系x_a-y_a-z_a为第一相机22a的图像坐标系，坐标系x_b-y_b-z_b为第一相机22b的图像坐标系，坐标系x_c-y_c-z_c为第一相机22c的图像坐标系，坐标系x_d-y_d-z_d为第一相机22d的图像坐标系。处理器30根据坐标系x_a-y_a-z_a与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P1中每个像素的深度信息转换为统一化深度信息，根据坐标系x_b-y_b-z_b与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P2中每个像素的深度信息转换为统一化深度信息，根据坐标系x_c-y_c-z_c与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P3中每个像素的深度信息转换为统一化深度信息；根据坐标系x_d-y_d-z_d与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P4中每个像素的深度信息转换为统一化深度信息。

深度信息转化完成后，多张初始深度图像位于一个统一的基准坐标系下，每一张初始深度图像的一个像素点对应一个坐标(x_o,y_o,z_o)，那么可以通过坐标匹配做初始深度图像的拼接。例如，在初始深度图像P1中某一个像素点P_a的坐标为(x_o1,y_o1,z_o1)，在初始深度图像P2中某一个像素点P_b的坐标也为(x_o1,y_o1,z_o1)，由于P_a和P_b在当前的基准坐标系下具有相同的坐标值，则说明像素点P_a与像素点P_b实际上为同一个点，初始深度图像P1和初始深度图像P2拼接时，像素点P_a需要和像素点P_b重合。如此处理器30即可通过坐标的匹配关系进行多张初始深度图像的拼接，并得到360度的全景深度图像。

需要说明的是，基于坐标的匹配关系进行初始深度图像的拼接要求初始深度图像的分辨率需要大于一个预设分辨率。可以理解，如果初始深度图像的分辨率较低，则坐标(x_o,y_o,z_o)的精确度也会相对较低，此时，直接根据坐标进行匹配，可能出现P_a点和P_b点实际上没有重合，而是相差一个偏移量offset，且offset的值超过误差界限值的问题。如果图像的分辨率较高，则坐标(x_o,y_o,z_o)的精确度也会相对较高，此时，直接根据坐标进行匹配，即使P_a点和P_b点实际上没有重合，相差一个偏移量offset，但offset的值也会小于误差界限值，即处于误差允许的范围内，不会对初始深度图像的拼接造成太大影响。

可以理解，后续实施方式均可采用上述方式将两个或两个以上的初始深度图像进行拼接或合成，不再一一说明。

请参阅图2，处理器30还可以将多张初始深度图像与对应的多张第一图像合成为三维场景图像以进行显示供用户观看，或者将多张初始深度图像与对应的多张第二图像合成为三维场景图像以进行显示供用户观看。例如，多张第一图像分别为第一图像V1、第一图像V2、第一图像V3和第一图像V4。则处理器30分别将初始深度图像P1与第一图像V1合成、将初始深度图像P2与第一图像V2合成、将初始深度图像P3与第一图像V3合成、将初始深度图像P4与第一图像V4合成，再将合成后的四张图像进行拼接得到一帧360度的三维场景图像。或者，处理器30先将初始深度图像P1、初始深度图像P2、初始深度图像P3和初始深度图像P4拼接得到一帧360度的全景深度图像，并将第一图像V1、第一图像V2、第一图像V3和第一图像V4拼接得到一帧360度的全景可见光图像；再将全景深度图像与全景可见光图像合成为360度的三维场景图像。

请参阅图5，在一个实施例中，处理器30用于根据多张初始深度图像及多张第一图像识别被摄目标。

具体地，处理器30分别根据初始深度图像P1和第一图像V1识别第一方位的被摄目标、根据初始深度图像P2和第一图像V2识别第二方位的被摄目标、根据初始深度图像P3和第一图像V3识别第三方位的被摄目标、根据初始深度图像P4和第一图像V4识别第四方位的被摄目标。

当识别被摄目标为进行人脸识别时，处理器30根据初始深度图像和第一图像进行人脸识别的过程可如下：

首先，根据第一图像进行人脸检测确定目标人脸区域。由于第一图像包括有场景的细节信息，在获取到第一图像之后，可以根据第一图像进行人脸检测，从而检测出第一图像中是否包含人脸。若第一图像中包含人脸，则提取第一图像中人脸所在的目标人脸区域。

然后，根据初始深度图像对目标人脸区域进行活体检测处理。由于每个初始深度图像和第一图像是对应的，初始深度图像中包括有对应的第一图像的深度信息，因此，可以根据初始深度图像获取与目标人脸区域对应的深度信息。进一步地，由于活体人脸是立体的，而例如图片、屏幕等显示的人脸则是平面的，因此，可以根据获取的目标人脸区域的深度信息判断目标人脸区域是立体还是平面的，从而对目标人脸区域进行活体检测。

若活体检测成功，则获取目标人脸区域对应的目标人脸属性参数，并根据目标人脸属性参数对第一图像中的目标人脸区域进行人脸匹配处理，得到人脸匹配结果。目标人脸属性参数是指可以表征目标人脸的属性的参数，根据目标人脸属性参数可以对目标人脸进行识别和匹配处理。目标人脸属性参数包括但不限于为人脸偏转角度、人脸亮度参数、五官参数、肤质参数、几何特征参数等。电子设备100可以预先存储用于匹配的人脸属性参数。在获取到目标人脸属性参数之后，就可以将目标人脸属性参数与预先存储的人脸属性参数进行比较。若目标人脸属性参数与预先存储的人脸属性参数匹配，则人脸识别通过。

需要指出的是，处理器30根据初始深度图像和第一图像进行人脸识别的具体过程并不限于此，例如处理器30还可以根据初始深度图像辅助检测人脸轮廓，以提高人脸识别精度等。

请参阅图5和图6，处理器30还用于在根据多张第一图像或多张第二图像及多张初始深度图像识别被摄目标失败时，根据双目相机21的视场角将至少两张初始深度图像合成为一帧合并深度图像，将至少两张第一图像或至少两张第二图像合成为一帧合并场景图像，并根据合并深度图像和合并场景图像识别被摄目标。

具体地，图5和图6所示的实施例中，由于每个双目相机组件20的双目相机21的视场角有限，可能存在人脸的一半位于初始深度图像P2、另一半位于初始深度图像P3的情形，处理器30将初始深度图像P2和初始深度图像P3合成为一帧合并深度图像P23，并对应将第一图像V2和第一图像V3合成为一帧合并场景图像V23，以重新根据合并深度图像P23和合并场景图像V23识别被摄目标。

可以理解，当被摄目标同时分布在更多张初始深度图像中时，处理器30可以将更多张初始深度图像(对应不同方位)合成为一帧合并深度图像，并对应将更多个第一图像(对应不同方位)合成为一帧合并场景图像，以重新识别被摄目标。

请参阅图7和图8，在一个实施例中，处理器30用于根据多张初始深度图像判断被摄目标与电子设备100之间的距离变化。

具体地，每个双目相机21均可以多次获取第一图像和第二图像。例如，在第一时刻t₁，双目相机21a、双目相机21b、双目相机21c和双目相机21d均获取第一图像和第二图像，处理器30依次处理多张第一图像和多张第二深度图像得到初始深度图像P11、初始深度图像P21、初始深度图像P31、初始深度图像P41；在第二时刻t₂，双目相机21a、双目相机21b、双目相机21c和双目相机21d均获取第一图像和第二图像，处理器30依次处理多张第一图像和多张第二深度图像初始深度图像P12、初始深度图像P22、初始深度图像P32、初始深度图像P42。然后，处理器30分别根据初始深度图像P11和初始深度图像P12判断第一方位的被摄目标与电子设备100之间的距离变化、根据初始深度图像P21和初始深度图像P22判断第二方位的被摄目标与电子设备100之间的距离变化、根据初始深度图像P31和初始深度图像P32判断第三方位的被摄目标与电子设备100之间的距离变化、根据初始深度图像P41和初始深度图像P42判断第四方位的被摄目标与电子设备100之间的距离变化。

可以理解，由于初始深度图像中包括有被摄目标的深度信息，因此，处理器30可以根据多个连续时刻的深度信息变化判断对应方位的被摄目标与电子设备100之间的距离变化。

请参阅图9，处理器30还用于在根据多张初始深度图像判断距离变化失败时，根据双目相机21的视场角将至少两张初始深度图像合成为一帧合并深度图像，处理器30连续执行合成步骤以得到多帧连续的合并深度图像，并根据多帧合并深度图像判断距离变化。

具体地，图9所示的实施例中，由于每个双目相机组件20的双目相机21的视场角有限，可能存在人脸的一半位于初始深度图像P21、另一半位于初始深度图像P31的情形，处理器30将第一时刻t₁的初始深度图像P21和初始深度图像P31合成为一帧合并深度图像P231，并对应将第二时刻t₂的初始深度图像P22和初始深度图像P32合成为一帧合并深度图像P232，然后根据合并后的这两帧合并深度图像P231和P232重新判断距离变化。

可以理解，当被摄目标同时分布在更多张初始深度图像中时，处理器30可以将更多张初始深度图像(对应不同方位)合成为一帧合并深度图像，并针对多个时刻连续执行该合成步骤。

请参阅图8，当根据多个初始深度图像判断距离变化为距离减小时，或者根据多帧合并深度图像判断距离变化为距离减小时，处理器30会提高从至少一个双目相机组件20中的双目相机21获取用以判断距离变化的初始深度图像的帧率。

可以理解，当被摄目标与电子设备100之间的距离减小时，电子设备100无法预判该距离减小是否存在危险性，因此，处理器30可提高从至少一个双目相机21获取用以判断距离变化的初始深度图像的帧率，以更加密切的关注该距离变化。具体地，当判断某一个方位对应的距离减小时，处理器30可提高从该方位的双目相机21获取用以判断距离变化的初始深度图像的帧率。

例如，在第一时刻t₁，处理器30获得初始深度图像P11、初始深度图像P21、初始深度图像P31、初始深度图像P41；在第二时刻t₂，处理器30获得初始深度图像P12、初始深度图像P22、初始深度图像P32、初始深度图像P42；在第三时刻t₃，处理器30获得初始深度图像P13、初始深度图像P23、初始深度图像P33、初始深度图像P43；在第四时刻t₄，处理器30获得初始深度图像P14、初始深度图像P24、初始深度图像P34、初始深度图像P44。

在正常情况下，处理器30选取初始深度图像P11和初始深度图像P14判断第一方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P21和初始深度图像P24判断第二方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P31和初始深度图像P34判断第三方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P41和初始深度图像P44判断第四方位的被摄目标与电子设备100之间的距离变化。处理器30在各个方位采集初始深度图像的帧率均为每间隔两帧采集一帧，即每三帧选取一帧。

当根据初始深度图像P11和初始深度图像P14判断出第一方位对应的距离减小时，处理器30则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化。处理器30采集第一方位的初始深度图像的帧率变为每间隔一帧采集一帧，即每两帧选取一帧。而其他方位的帧率保持不变，即处理器30仍选取初始深度图像P21和初始深度图像P24判断距离变化；选取初始深度图像P31和初始深度图像P34判断距离变化；选取初始深度图像P41和初始深度图像P44判断距离变化。

当根据初始深度图像P11和初始深度图像P14判断出第一方位对应的距离减小，同时根据初始深度图像P21和初始深度图像P24判断出第二方位对应的距离减小时，处理器30则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化，选取初始深度图像P21和初始深度图像P23判断第二方位的被摄目标与电子设备100之间的距离变化，处理器30采集第一方位和第二方位的初始深度图像的帧率变为每间隔一帧采集一帧，即每两帧选取一帧。而其他方位的帧率保持不变，即处理器30仍选取初始深度图像P31和初始深度图像P34判断第三方位的被摄目标与电子设备100之间的距离变化；选取初始深度图像P41和初始深度图像P44判断第四方位的被摄目标与电子设备100之间的距离变化。

当然，处理器30也可以在判断出任一个方位对应的距离减小时，提高从每个双目相机21获取用以判断距离变化的初始深度图像的帧率。即：当根据初始深度图像P11和初始深度图像P14判断出第一方位的被摄目标与电子设备100之间的距离减小时，处理器30则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P21和初始深度图像P23判断第二方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P31和初始深度图像P33判断第三方位的被摄目标与电子设备100之间的距离变化、及选取初始深度图像P41和初始深度图像P43判断第四方位的被摄目标与电子设备100之间的距离变化。

处理器30还可以在距离减小时，结合第一图像或第二图像来判断该距离变化。具体地，处理器30先根据第一图像或第二图像识别被摄目标，然后再根据多个时刻的初始深度图像判断距离变化，从而针对不同的被摄目标与不同的距离控制电子设备100执行不同的操作。

需要说明的是，本实施方式的电子设备100还可以作为一个外置终端，固定安装或可拆卸安装在例如手机、平板电脑、笔记本电脑等便携式电子装置上使用外，还可固定安装在车辆本体(如图6和图7所示)、无人机机身、机器人本体或船舶本体等可移动物体上使用。具体使用时，当电子设备100如前所述根据多个初始深度图像合成为一帧全景深度图像，全景深度图像可以用于三维建模、即时定位与地图构建(simultaneous localization andmapping，SLAM)、增强现实显示。当电子设备100如前所述识别被摄目标时，则可应用于便携式电子装置的人脸识别解锁、支付，或应用于机器人、车辆、无人机、船舶等的避障。当电子设备100如前所述判断被摄目标与电子设备100之间的距离变化时，则可应用于机器人、车辆、无人机、船舶等自动行驶、物体追踪等。

请参阅图10，在某些实施方式中，当双目相机组件20的数量为两个时，两个双目相机组件20分别为双目相机组件20a和双目相机组件20b。双目相机组件20a设置在第四方位，双目相机组件20b设置在第二方位。双目相机组件20a包括双目相机21a和可见光源24a，双目相机21a包括第一相机22a和第二相机23a。双目相机组件20b包括双目相机21b和可见光源24b，双目相机21b包括第一相机22b和第二相机23b。每个双目相机组件20中的可见光源24的视场角均为180度～200度，每个双目相机组件20中的第一相机22的视场角均为180度～200度，每个双目相机组件20中的第二相机23的视场角均为180度～200度。以第一相机22为例，第一相机22的视场角可为180度、182度、183.5度、185度、188度、189度、190度、191度、193度、194度、196度、197度、198度、199度、200度等。第二相机23及可见光源24的视场角可以与对应的第一相机22的视场角相同或近似相同，在此不重复说明。上述基于四个双目相机组件20进行示例说明的多个实施方式均适用于双目相机组件20的数量为两个的情形，在此不再展开说明。

请参阅图2和图11，本申请实施方式还提供一种移动平台300。移动平台300包括本体10和设置在本体10上的多个双目相机组件20。多个双目相机组件20分别位于本体10的多个不同方位。每个双目相机组件20均包括双目相机21和可见光源24，每个双目相机21均包括第一相机22和第二相机23。可见光源24用于向本体10发射可见光，可见光形成可见光。第一相机22用于接收场景中的可见光以及可见光源24发射的可见光。第二相机23用于接收场景中的可见光以及可见光源24发射的可见光。多个可见光源24向本体10外发射可见光，多个双目相机组件20中的第一相机22曝光以获取多张场景的第一图像，多个双目相机组件20中的第二相机23曝光以获取多张场景的第二图像。多张第一图像及多张第二图像用于获取全景深度图像。

具体地，本体10可以为车辆本体、无人机机身、机器人本体或船舶本体。

请参阅图11，当本体10为车辆本体时，多个双目相机组件20的数量为四个，四个双目相机组件20分别安装在车辆本体的四侧，例如，车头、车尾、车身左侧、车身右侧。车辆本体可以带动多个双目相机组件20在道路上移动，构建行进路线上的360度全景深度图像，以作为参考地图等；或者获取多个不同方位的初始深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制车辆本体加速、减速、停车、绕行等，实现无人驾驶避障，例如，在车辆在道路上移动时，若识别到被摄目标与车辆的距离减小且被摄目标为道路上的凹坑，则车辆以第一加速度减速，若识别到被摄目标与车辆的距离减小且被摄目标为人，则车辆以第二加速度减速，其中第一加速度的绝对值小于第二加速度的绝对值。如此，在距离减小时根据不同的被摄目标执行不同的操作，可以使得车辆更加智能化。

请参阅图12，当本体10为无人机机身时，多个双目相机组件20的数量为四个，四个双目相机组件20分别安装在无人机机身的前、后、左、右四侧，或者安装在无人机机身上搭载的云台的前、后、左、右四侧。无人机机身可以带动多个双目相机组件20在空中飞行，以进行航拍、巡检等，无人机可将获取的全景深度图像传回给地面控制端，也可直接进行SLAM。多个双目相机组件20可实现无人机加速、减速、停止、避障、物体追踪。

请参阅图13，当本体10为机器人本体时，例如扫地机器人，多个双目相机组件20的数量为四个，四个双目相机组件20分别安装在机器人本体的前、后、左、右四侧。机器人本体可以带动多个双目相机组件20在家中运动，获取多个不同方位的初始深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制机器人本体运动，实现机器人清除垃圾、避障等。

请参阅图14，当本体10为船舶本体时，多个双目相机组件20的数量为四个，四个双目相机组件20分别安装在船舶本体的前、后、左、右四侧。船舶本体可以带动双目相机组件20运动，获取多个不同方位的初始深度图像，从而在恶劣环境(例如起雾环境下)准确地识别被摄目标、判断被摄目标与移动平台300之间的距离变化，提高海上航行的安全性等。

本申请实施方式的移动平台300为能够独立移动的平台，多个双目相机组件20安装在移动平台300的本体10上，以获取全景深度图像。而本申请实施方式的电子设备100本身一般不能够独立移动，电子设备100可进一步搭载于类似于移动平台300等能够移动的装置上，从而帮助该装置获取全景深度图像。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种电子设备，其特征在于，所述电子设备包括：

本体；和

设置在所述本体上的多个双目相机组件，多个所述双目相机组件分别位于所述本体的多个不同方位，每个所述双目相机组件均包括双目相机，每个所述双目相机均包括第一相机和第二相机，所述第一相机用于接收场景中的可见光，所述第二相机用于接收所述场景中的可见光；

多个所述双目相机组件中的所述第一相机曝光以获取多张所述场景的第一图像，多个所述双目相机组件中的所述第二相机曝光以获取多张所述场景的第二图像，多张所述第一图像及多张所述第二图像用于获取全景深度图像。

2.根据权利要求1所述的电子设备，其特征在于，每个所述双目相机组件还包括可见光源，所述可见光源用于向所述本体外发射可见光；

所述第一相机用于接收场景中的可见光以及所述可见光源发射的可见光，所述第二相机用于接收所述场景中的可见光以及所述可见光源发射的可见光；

当多个所述可见光源向所述本体外发射可见光时，多个所述双目相机组件中的所述第一相机曝光以获取多张所述场景的第一图像，多个所述双目相机组件中的所述第二相机曝光以获取多张所述场景的第二图像。

3.根据权利要求2所述的电子设备，其特征在于，所述可见光源发射的可见光为均匀的面光，所述可见光源在所述场景的环境光亮度小于预定亮度时开启。

4.根据权利要求1所述的电子设备，其特征在于，所述双目相机组件包括四个，每个所述双目相机组件中的所述第一相机和所述第二相机的视场角均为80～100度；或者

所述双目相机组件包括两个，每个所述双目相机组件中的所述第一相机和所述第二相机的视场角均为180度～200度。

5.根据权利要求2所述的电子设备，其特征在于，所述双目相机组件包括四个，每个所述双目相机组件中的所述第一相机和所述第二相机的视场角均为80～100度，每个所述双目相机组件中的所述可见光源的视场角也为80度～100度；或者

所述双目相机组件包括两个，每个所述双目相机组件中的所述第一相机和所述第二相机的视场角均为180度～200度，每个所述双目相机组件中的所述可见光源的视场角也为180度～200度。

6.根据权利要求1或2所述的电子设备，其特征在于，每个所述双目相机组件中的所述第一相机和所述第二相机同时曝光，多个所述双目相机组件中的所述双目相机同时曝光。

7.根据权利要求1或2所述的电子设备，其特征在于，所述电子设备还包括处理器，每个所述双目相机组件均与所述处理器连接，所述处理器用于处理每个所述双目相机组件的所述第一相机获取的所述第一图像和所述第二相机获取的所述第二图像得到初始深度图像，并用于根据所述双目相机的视场角将多张所述深度图像合成为一帧所述全景深度图像。

8.根据权利要求1或2所述的电子设备，其特征在于，所述电子设备还包括处理器，每个所述双目相机组件均与所述处理器连接，所述处理器用于处理每个所述双目相机组件的所述第一相机获取的所述第一图像和所述第二相机获取的所述第二图像得到初始深度图像，并用于根据多张所述第一图像或所述第二图像以及多张所述初始深度图像识别所述场景中的被摄目标。

9.根据权利要求8所述的电子设备，其特征在于，所述处理器还用于在根据多张所述第一图像或所述第二图像以及多张所述初始深度图像识别所述被摄目标失败时，根据所述双目相机的视场角将至少两张所述初始深度图像合成为一帧合并深度图像，将至少两张所述第一图像或至少两张所述第二图像合成为一帧合并场景图像，并根据所述合并深度图像和所述合并场景图像识别所述被摄目标。

10.根据权利要求1或2所述的电子设备，其特征在于，所述电子设备还包括处理器，每个所述双目相机组件均与所述处理器连接，所述处理器用于处理每个所述双目相机组件的所述第一相机多次获取的多张所述第一图像和所述第二相机多次获取的多张所述第二图像得到多张初始深度图像，并用于根据多张所述初始深度图像判断所述场景中的被摄目标与所述电子设备之间的距离变化。

11.根据权利要求10所述的电子设备，其特征在于，所述处理器还用于在根据多张所述初始深度图像判断所述被摄目标与所述电子设备之间的距离变化失败时，根据所述双目相机的视场角将至少两张所述初始深度图像合成为一帧合并深度图像，并连续执行合成步骤以得到多帧连续的所述合并深度图像，并根据多帧所述合并深度图像判断所述距离变化。

12.根据权利要求10或11所述的电子设备，其特征在于，所述处理器还用于在判断所述距离变化为距离减小时，提高从至少一个所述双目相机组件中的所述双目相机获取用以判断所述距离变化的初始深度图像的帧率。

13.一种移动平台，其特征在于，所述移动平台包括：

本体；和

设置在所述本体上的多个双目相机组件，多个所述双目相机组件分别位于所述本体的多个不同方位，每个所述双目相机组件均包括双目相机，每个所述双目相机均包括第一相机和第二相机，所述第一相机用于接收场景中的可见光，所述第二相机用于接收所述场景中的可见光；

多个所述双目相机组件中的所述第一相机曝光以获取多张所述场景的第一图像，多个所述双目相机组件中的所述第二相机曝光以获取多张所述场景的第二图像，多张所述第一图像及多张所述第二图像用于获取全景深度图像。

14.根据权利要求13所述的移动平台，其特征在于，所述本体为车辆本体、无人机机身、机器人本体或船舶本体。