CN109756660A - 电子设备和移动平台 - Google Patents

Abstract

本申请公开了一种电子设备和移动平台。电子设备包括本体和设置在本体上的多个结构光组件。多个结构光组件分别位于本体的多个不同方位。每个结构光组件均包括结构光投射器和结构光摄像头。每个结构光投射器及每个结构光摄像头的视场角均为180度～200度中的任意值。结构光投射器用于向本体外投射激光图案，结构光摄像头用于采集被摄目标反射的对应的结构光投射器投射的激光图案。多个结构光组件中的结构光投射器同时投射激光，多个结构光组件中的结构光摄像头同时曝光以获取全景深度图像。本申请的电子设备，位于本体的多个不同方位的多个结构光投射器同时投射激光，多个结构光摄像头同时曝光以获取全景深度图像，能够一次性获取到较为全面的深度信息。

Description

电子设备和移动平台

技术领域

本申请涉及图像采集技术领域，更具体而言，涉及一种电子设备和移动平台。

背景技术

为了使得电子设备的功能更加多样化，电子设备上可以设置有深度图像获取装置，以获取被摄目标的深度图像。然而，目前的深度图像获取装置只能够获取一个方向或一个角度范围内的深度图像，获取到的深度信息较少。

发明内容

本申请实施方式提供一种电子设备和移动平台。

本申请实施方式的电子设备包括本体和设置在所述本体上的多个结构光组件，多个所述结构光组件分别位于所述本体的多个不同方位，每个所述结构光组件均包括结构光投射器和结构光摄像头，每个所述结构光投射器及每个所述结构光摄像头的视场角均为180度～200度中的任意值，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的对应的所述结构光投射器投射的所述激光图案；多个所述结构光组件中的所述结构光投射器同时投射激光，多个所述结构光组件中的所述结构光摄像头同时曝光，以获取全景深度图像。

本申请实施方式的移动平台包括本体和设置在所述本体上的多个结构光组件，多个所述结构光组件分别位于所述本体的多个不同方位，每个所述结构光组件均包括结构光投射器和结构光摄像头，每个所述结构光投射器及每个所述结构光摄像头的视场角均为180度～200度中的任意值，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的对应的所述结构光投射器投射的所述激光图案；多个所述结构光组件中的所述结构光投射器同时投射激光，多个所述结构光组件中的所述结构光摄像头同时曝光，以获取全景深度图像。

本申请实施方式的电子设备和移动平台中，位于本体的多个不同方位的多个结构光投射器同时投射激光图案，多个结构光摄像头同时曝光，以获取全景深度图像，能够一次性获取到较为全面的深度信息。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的电子设备的结构示意图；

图2是本申请某些实施方式的电子设备的模块示意图；

图3是本申请某些实施方式的结构光组件的结构光投射器的结构示意图；

图4至图6是本申请某些实施方式的结构光投射器的光源的结构示意图；

图7是本申请某些实施方式的结构光投射器的衍射光学元件的立体结构示意图；

图8是本申请某些实施方式的结构光投射器的衍射光学元件的剖视图；

图9是本申请某些实施方式的结构光投射器的衍射光学元件的平面结构示意图；

图10是本申请某些实施方式的电子设备的应用场景示意图；

图11是本申请某些实施方式的初始深度图像拼接的坐标系示意图；

图12至图16是本申请某些实施方式的电子设备的应用场景示意图；

图17至图20是本申请某些实施方式的移动平台的结构示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

请一并参阅图1和图2，本申请实施方式的电子设备100包括本体10、结构光组件20、摄像头组件30、微处理器40和应用处理器50。

本体10包括多个不同方位。例如图1中，本体10可具有四个不同方位，沿顺时针方向依次为：第一方位、第二方位、第三方位和第四方位，第一方位与第三方位相背，第二方位与第四方位相背。第一方位即为与本体10的上方对应的方位、第二方位即为与本体10的右侧对应的方位、第三方位即为与本体10的下方对应的方位、第四方位即为与本体10的左侧对应的方位。

结构光组件20设置在本体10上。结构光组件20的数量可以为多个，多个结构光组件20分别位于本体10的多个不同方位。具体地，结构光组件20的数量可为两个，分别为结构光组件20a和结构光组件20b。结构光组件20a设置在第一方位，结构光组件20b设置在第三方位。当然，结构光组件20的数量也可以为四个(或其他任意大于两个的数量)，另外的两个结构光组件20可以分别设置在第二方位和第四方位。本申请实施方式以结构光组件20的数量是两个为例进行说明，可以理解，两个结构光组件20即可实现获取全景深度图像(全景深度图像指的是该全景深度图像的视场角大于或等于180度，例如，全景深度图像的视场角可为180度、240度、360度、480度、720度等等)，有利于节省电子设备100的制造成本、以及减小电子设备100的体积和功耗等。本实施方式的电子设备100可以是设置有多个结构光组件20的手机、平板电脑、笔记本电脑等便携式电子装置，此时，本体10可以为手机机身，平板电脑机身，笔记本电脑机身等。对于厚度要求较高的电子设备100，如手机来说，由于手机要求机身厚度较薄，因而机身的侧边通常无法安装结构光组件20，那么采用两个结构光组件20来获取全景深度图像的设置可以解决上述问题，此时两个结构光组件20可以分别安装在手机机身的正面和背面上。另外，两个结构光组件20即可获取全景深度图像的方式也有利于减小全景深度图像的计算量。相比于设置飞行时间组件获取全景深度图像而言，结构光组件20获取的全景深度图像分辨率较高，在三维场景或人体等的建模中使用分辨率较高的深度图像可以提高建模的三维场景与实际场景之间的匹配度、提高建模的三维人体与实际人体之间的匹配度等。

每个结构光组件20均包括结构光投射器22和结构光摄像头24。结构光投射器22用于向本体10外投射激光图案，结构光摄像头24用于采集被摄目标反射的对应的结构光投射器22投射的激光图案。具体地，结构光组件20a包括结构光投射器22a和结构光摄像头24a，结构光组件20b包括结构光投射器22b和结构光摄像头24b。结构光投射器22a、结构光投射器22b分别用于向本体10外第一方位、第三方位投射激光图案，结构光摄像头24a、结构光摄像头24b分别用于采集第一方位的被摄目标反射的结构光投射器22a投射的激光图案、第三方位的被摄目标反射的结构光投射器22b投射的激光图案，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。

两个结构光组件20中的结构光投射器22同时投射激光图案，与之对应的，两个结构光组件20中的结构光摄像头24同时曝光，以获取全景深度图像。具体地，结构光投射器22a、结构光投射器22b同时投射激光图案，结构光摄像头24a、结构光摄像头24b同时曝光。由于两个结构光投射器22同时投射激光图案，两个结构光摄像头24同时曝光，在根据两个结构光摄像头24采集的激光图案获取得到对应的多张初始深度图像时，两张初始深度图像具有相同的时效性，能够反映本体10外同一时刻各个方位显示的画面，即同一时刻的全景深度图像。

每个结构光投射器22及每个结构光摄像头24的视场角均为180度～200度中的任意值。下面以结构光摄像头24的视场角为例进行说明，结构光投射器22的视场角可以与对应的结构光摄像头24的视场角相同或近似相同，在此不重复说明。

在一个实施例中，结构光摄像头24a和结构光摄像头24b的视场角均为180度。结构光摄像头24的视场角较小时，镜头畸变也较小，获取的初始深度图像质量较好，从而得到的全景深度图像质量也较好，且能够获取到较为准确的深度信息。

在一个实施例中，结构光摄像头24a和结构光摄像头24b的视场角之和等于360度。具体地，结构光摄像头24a和结构光摄像头24b的视场角可以均为180度，且两个结构光摄像头24相互之间的视场角互不交叠，以实现获取360度或近似360度的全景深度图像。或者，结构光摄像头24a的视场角可为180度、结构光摄像头24b的视场角为200度等，两个结构光摄像头24通过角度互补实现获取360度或近似360度的全景深度图像。

在一个实施例中，结构光摄像头24a和结构光摄像头24b的视场角之和大于360度，两个结构光摄像头24相互之间的视场角交叠。具体地，结构光摄像头24a和结构光摄像头24b的视场角可以均为200度，两个结构光摄像头24之间的视场角相互交叠。在获取全景深度图像时，可以先识别两张初始深度图像的边缘交叠部分，再将两张初始深度图像拼接为360度的全景深度图像。由于两个结构光摄像头24之间的视场角相互交叠，可以确保获取的全景深度图像覆盖本体10外360度的深度信息。

当然，每个结构光摄像头24(及每个结构光投射器22)的视场角的具体数值并不限于上述举例，本领域的技术人员可以根据需要将结构光摄像头24(及结构光投射器22)的视场角设定为180度～200度之间的任意数值，例如：结构光摄像头24的视场角为180度、181度、185度、187度、190度、195度、196.5度、198度、199度、200度或任意二者之间的任意值，结构光投射器22的视场角为180度、181度、182度、187度、188度、193.2度、195度、200度或任意二者之间的任意值，在此不作限制。

请继续参阅图1和图2，一般情况下，当结构光投射器22a和结构光投射器22b的视场角相互交叠时，结构光投射器22a和结构光投射器22b投射的激光图案相互之间容易造成干扰，因此，为了提高获取的深度信息的准确性，两个结构光投射器22投射的激光图案可以不同，以便于区分和计算初始深度图像。具体地，假设第一方位的结构光投射器22a投射的激光图案为pattern1，第三方位的结构光投射器22b投射的激光图案为pattern3，则需要满足pattern1与pattern3不同。

请参阅图3，每个结构光投射器22包括光源222、准直元件224和衍射光学元件226(Diffractive Optical Elements，DOE)。准直元件224和衍射光学元件226依次设置在光源222的光路上。光源222用于发射激光(例如红外激光，此时，结构光摄像头24为红外摄像头)，准直元件224用于准直光源222发射的激光，衍射光学元件226用于衍射准直元件224准直后的激光以形成用于投射的激光图案。

进一步地，请结合图4，光源222包括衬底2222和设置在衬底2222上的多个发光元件2224。衬底2222可以为半导体衬底，多个发光元件2224可直接设置在衬底2222上；或者，可先利用晶圆级光学工艺在半导体衬底2222上开设一个或多个凹槽，再将多个发光元件2224置于凹槽内。发光元件2224包括点光源发光器件，例如垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，VCSEL)。

准直元件224包括一个或多个透镜，一个或多个透镜共轴依次设置在光源222的发光光路上。透镜可采用玻璃材质制成，以解决环境温度变化时透镜会产生温漂现象的问题；或者，透镜由塑料材质制成，以使得透镜成本较低、便于量产。每个透镜的面型可以为非球面、球面、菲涅尔面、二元光学面中的任意一种。

请结合图7，衍射光学元件226包括衍射本体2262和形成在衍射本体2262上的衍射结构2264。衍射本体2262包括相背的衍射入射面和衍射出射面，衍射结构2264可以形成在衍射入射面上；或者形成在衍射出射面上；或者同时形成在衍射入射面和衍射出射面上。

为了使得两个结构光投射器22投射的激光图案不同，可采用如下实现方式：

一种方式是：在两个结构光投射器22之间，多个发光元件2224的排布、形状、或大小中的至少一种不同，以使得两个结构光投射器22投射的激光图案不同。

具体地，结构光投射器22a与结构光投射器22b在发光元件2224的排布、形状、或大小中的至少一种不同，以使得两个结构光投射器22投射的激光图案不同。例如，请参阅图4，在一个实施方式中，图4(a)表示的是结构光投射器22a的光源222的结构，图4(b)表示的是结构光投射器22b的光源222的结构，结构光投射器22a与结构光投射器22b的发光元件2224的形状不同，则结构光投射器22a投射的激光图案与结构光投射器22b投射的激光图案不同。请参阅图5，在另一个实施方式中，图5(a)表示的是结构光投射器22a的光源222的结构，图5(b)表示的是结构光投射器22b的光源222的结构，结构光投射器22a与结构光投射器22b的发光元件2224的大小不同，则结构光投射器22a投射的激光图案与结构光投射器22b投射的激光图案也不同。请参阅图6，在又一个实施方式中，图6(a)表示的是结构光投射器22a的光源222的结构，图6(b)表示的是结构光投射器22b的光源222的结构，结构光投射器22a与结构光投射器22b的发光元件2224的形状、排布均不相同，则结构光投射器22a投射的激光图案与结构光投射器22b投射的激光图案仍不同。

另外一种方式是：在不同的结构光投射器22之间，衍射结构2264不同，以使得不同的结构光投射器22投射的激光图案不同。

具体地，请参阅图7，结构光投射器22a与结构光投射器22b两者的衍射结构2264均不同，以使得两个结构光投射器22投射的激光图案不同。

请结合图8和图9，衍射结构2264不同可包括：衍射结构2264形成的台阶的深度D、台阶的长度L、台阶的宽度W、台阶的个数中的至少一种不同。当然，衍射结构2264不同也可以是其他形式的结构不同，只需要满足衍射结构2264的不同使得结构光投射器22投射的激光图案不同即可。

需要指出的是，除了上述两种方式外，本领域的技术人员也可以采用其他方式实现每个结构光投射器22投射的激光图案不同，例如，通过在光源222与准直元件224之间增设具有不同透光区域的掩膜等，在此不作限制。

在两个结构光投射器22投射的激光图案不同时，每个结构光组件20对应的参考图像可以是独立标定或者共同标定的。独立标定的情况下，结构光组件20a和结构光组件20b的标定分开进行，结构光组件20a和结构光组件20b无需同时装设在本体10上进行标定。此时，结构光投射器22a投射的激光图案与结构光组件22b投射的激光图案不会重叠，结构光摄像头24a获取的参考图像和结构光摄像头24b获取的参考图像不会相互影响。在共同标定的情况下，结构光组件20a和结构光组件20b同时装设在本体10上进行标定，此时，结构光投射器22a和结构光投射器22b可以同时投射激光图案，结构光摄像头24a获取的参考图像中同时包括结构光投射器22a投射的全部激光图案以及结构光投射器22b投射的部分激光图案，结构光投射器22b获取的参考图像中同时包括结构光投射器22b投射的全部激光图案以及结构光投射器22a投射的部分激光图案。对于结构光摄像头24a获取的参考图像，由于结构光投射器22a投射的激光图案与结构光投射器22b投射的激光图案不同，则可以根据二者图案的差异在参考图像中区分出结构光投射器22a投射的激光图案和结构光投射器22b投射的激光图案，并把结构光投射器22b投射的激光图案的部分滤除，仅利用剩余的结构光投射器22a投射的激光图案作为最终的参考图像。同样地，对于结构光摄像头24b获取的参考图像，由于结构光投射器22a投射的激光图案与结构光投射器22b投射的激光图案不同，则可以根据二者图案的差异在参考图像中区分出结构光投射器22a投射的激光图案和结构光投射器22b投射的激光图案，并把结构光投射器22a投射的激光图案的部分滤除，仅利用剩余的结构光投射器22b投射的激光图案作为最终的参考图像。举例来说，若激光图案的形状不同，具体地，例如为斑点形状不同，则可以根据斑点的形状来区分不同结构光投射器22投射的激光图案的斑点；若激光图案的大小不同，则可以根据斑点的大小来区分不同结构光投射器22投射的激光图案的斑点等等。实际使用时，由于两个结构光投射器22是同时投射激光图案的，两个结构光摄像头24采集激光图案后，微处理器40(图2所示)也需要滤除其余结构光投射器22投射的激光图案中的斑点，仅保留对应的结构光投射器22投射的激光图案中的斑点，并基于这些剩余的斑点与参考图像做深度信息的计算。

当结构光投射器22a和结构光投射器22b投射的激光图案相互之间造成干扰时，结构光投射器22a和结构光投射器22b投射的激光图案也可以是相同的。此时，结构光组件20a对应的参考图像和结构光组件20b对应的参考图像必须共同标定。可以理解，由于结构光投射器22a和结构光投射器22b的视场角相互交叠，结构光摄像头24a会采集到结构光投射器22a投射的全部激光图案以及结构光投射器22b投射的部分激光图案，同样地，结构光摄像头24b会采集到结构光投射器22b投射的全部激光图案以及结构光投射器22a投射的部分激光图案。对于结构光组件20a而言，结构光摄像头24a采集的激光图案中多出来的由结构光投射器22b投射的斑点也可以用于深度信息的计算，对应地，结构光组件20a的参考图像中也应该包含结构光投射器22b投射的斑点；对于结构光组件20b而言，结构光摄像头24b采集的激光图案中多出来的由结构光投射器22a投射的斑点也可以用于深度信息的计算，对应地，结构光组件20b的参考图像中也应该包含结构光投射器22a投射的斑点。因此，在标定结构光组件20a及结构光组件20b的参考图像时，应该将结构光投射器22a和结构光投射器22b同时装设在本体10上并同时投射激光图案，以使得结构光摄像头24a能采集到同时包含结构光投射器22a投射的全部激光图案和结构光投射器22b投射的部分激光图案，结构光摄像头24b能采集到同时包含结构光投射器22b投射的全部激光图案和结构光投射器22a投射的部分激光图案。用于计算深度信息的激光图案的斑点扩充有利于增加深度信息的数量和准确度。

请参阅图1和图2，摄像头组件30设置在本体10上。摄像头组件30的数量可以为多个，每个摄像头组件30对应一个结构光组件20。例如，当结构光组件20的数量为两个时，摄像头组件30的数量也为两个，两个摄像头组件30分别设置在第一方位和第三方位。

多个摄像头组件30均与应用处理器50连接。每个摄像头组件30用于采集被摄目标的场景图像并输出至应用处理器50。本实施方式中，两个摄像头组件30分别用于采集第一方位的被摄目标的场景图像、第三方位的被摄目标的场景图像并分别输出至应用处理器50。可以理解，每个摄像头组件30与对应的结构光组件20的结构光摄像头24的视场角相同或近似相同，以使得每个场景图像能够与对应的初始深度图像能够更好的匹配。

摄像头组件30可以是可见光摄像头32，或者是红外光摄像头34。当摄像头组件30为可见光摄像头32时，场景图像为可见光图像；当摄像头组件30为红外光摄像头34时，场景图像为红外光图像。

请参阅图2，微处理器40可以是处理芯片。微处理器40的数量可以为多个，每个微处理器40对应一个结构光组件20。例如，本实施方式中，结构光组件20的数量为两个，微处理器40的数量也为两个。每个微处理器40与对应的结构光组件20中的结构光投射器22和结构光摄像头24均连接。每个微处理器40可通过驱动电路驱动对应的结构光投射器22投射激光图案，并通过两个微处理器40的控制实现两个结构光投射器22同时投射激光图案。每个微处理器40还用于给对应的结构光摄像头24提供采集激光图案的时钟信息以使得结构光摄像头24曝光，并通过两个微处理器40的控制实现两个结构光摄像头24的同时曝光。每个微处理器40还用于处理对应的结构光摄像头24采集的激光图案得到初始深度图像。例如，两个微处理器40分别处理结构光摄像头24a采集的激光图案得到初始深度图像P1、处理结构光摄像头24b采集的激光图案得到初始深度图像P2(如图10的上部分所示)。每个微处理器40还可以对初始深度图像进行面片化、畸变校正、自校准等算法处理，以提高初始深度图像的质量。

可以理解，微处理器40的数量也可以为一个，此时，微处理器40需要依次处理两个结构光摄像头24采集的激光图案得到初始深度图像。两个微处理器40相对于一个微处理器40而言，处理速度更快，延时较小。

两个微处理器40均与应用处理器50连接，以将初始深度图像传输至应用处理器50。在一个实施例中，微处理器40可通过移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)与应用处理器50连接，具体地，微处理器40通过移动产业处理器接口与应用处理器50的可信执行环境(Trusted Execution Environment，TEE)连接，以将微处理器40中的数据(初始深度图像)直接传输到可信执行环境中，以提高电子设备100内的信息的安全性。其中，可信执行环境中的代码和内存区域都是受访问控制单元控制的，不能被非可信执行环境(Rich Execution Environment，REE)中的程序所访问，可信执行环境和非可信执行环境均可以形成在应用处理器50中。

应用处理器50可以作为电子设备100的系统。应用处理器50可以重置微处理器40、唤醒(wake)微处理器40、纠错(debug)微处理器40等。应用处理器50还可以与电子设备100的多个电子元器件连接并控制该多个电子元器件按照预定的模式运行，例如应用处理器50与可见光摄像头32和红外光摄像头34连接，以控制可见光摄像头32和红外光摄像头34拍摄可见光图像和红外光图像，并处理该可见光图像和红外光图像；当电子设备100包括显示屏时，应用处理器50可以控制显示屏显示预定的画面；应用处理器50还可以控制电子设备100的天线发送或接收预定的数据等。

请参阅图10，在一个实施例中，应用处理器50用于根据结构光摄像头24的视场角将两个微处理器40获取的两张初始深度图像合成为一帧全景深度图像。

具体地，请结合图1和图11，以本体10的中心为圆心O，以横轴线为X轴，以纵轴线为Y轴建立直角坐标系XOY，在该直角坐标系XOY中，结构光摄像头24a的视场位于350度～190度之间(逆时针旋转，后同)，结构光摄像头24b的视场位于170度～10度之间，则应用处理器50根据两个结构光摄像头24的视场角将初始深度图像P1、初始深度图像P2拼接为一帧360度的全景深度图像P12，以便深度信息的使用。

每一个微处理器40处理对应的结构光摄像头24采集的激光图案得到的初始深度图像中，每个像素的深度信息为对应方位的被摄目标与该方位上的结构光摄像头24之间的距离。即，初始深度图像P1中每个像素的深度信息为第一方位的被摄目标与结构光摄像头24a之间的距离；初始深度图像P2中每个像素的深度信息为第三方位的被摄目标与结构光摄像头24b之间的距离。在将多个方位的多张初始深度图像拼接为一帧360度的全景深度图像的过程中，首先要将每张初始深度图像中每个像素的深度信息转化成统一化深度信息，统一化深度信息表示各个方位的各个被摄目标与某个基准位置的距离。深度信息转化为统一化深度信息后，方便应用处理器40根据统一化深度信息做初始深度图像的拼接。

具体地，选择一个基准坐标系，基准坐标系可以是以某一个方位的结构光摄像头24的图像坐标系作为基准坐标系，也可以是选择其他的坐标系作为基准坐标系。以图11为例，以x_o-y_o-z_o坐标系为基准坐标系。图11所示的坐标系x_a-y_a-z_a为结构光摄像头24a的图像坐标系，坐标系x_b-y_b-z_b为结构光摄像头24b的图像坐标系。应用处理器50根据坐标系x_a-y_a-z_a与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P1中每个像素的深度信息转换为统一化深度信息，根据坐标系x_b-y_b-z_b与基准坐标系x_o-y_o-z_o之间的旋转矩阵和平移矩阵将初始深度图像P2中每个像素的深度信息转换为统一化深度信息。

深度信息转化完成后，多张初始深度图像位于一个统一的基准坐标系下，每一张初始深度图像的一个像素点对应一个坐标(x_o,y_o,z_o)，那么可以通过坐标匹配做初始深度图像的拼接。例如，在初始深度图像P1中某一个像素点P_a的坐标为(x_o1,y_o1,z_o1)，在初始深度图像P2中某一个像素点P_b的坐标也为(x_o1,y_o1,z_o1)，由于P_a和P_b在当前的基准坐标系下具有相同的坐标值，则说明像素点P_a与像素点P_b实际上为同一个点，初始深度图像P1和初始深度图像P2拼接时，像素点P_a需要和像素点P_b重合。如此，应用处理器50即可通过坐标的匹配关系进行多张初始深度图像的拼接，并得到360度的全景深度图像。

需要说明的是，基于坐标的匹配关系进行初始深度图像的拼接要求初始深度图像的分辨率需要大于一个预设分辨率。可以理解，如果初始深度图像的分辨率较低，则坐标(x_o,y_o,z_o)的精确度也会相对较低，此时，直接根据坐标进行匹配，可能出现P_a点和P_b点实际上没有重合，而是相差一个偏移量offset，且offset的值超过误差界限值的问题。如果图像的分辨率较高，则坐标(x_o,y_o,z_o)的精确度也会相对较高，此时，直接根据坐标进行匹配，即使P_a点和P_b点实际上没有重合，相差一个偏移量offset，但offset的值也会小于误差界限值，即处于误差允许的范围内，不会对初始深度图像的拼接造成太大影响。

可以理解，后续实施方式均可采用上述方式将两张的初始深度图像进行拼接或合成，不再一一说明。

应用处理器50还可以将两张初始深度图像与对应的两张可见光图像合成为三维场景图像，以进行显示供用户观看。例如，两张可见光图像分别为可见光图像V1和可见光图像V2，则应用处理器50分别将初始深度图像P1与可见光图像V1合成、将初始深度图像P2与可见光图像V2合成，再将合成后的两张图像进行拼接得到一帧360度的三维场景图像。或者，应用处理器50先将初始深度图像P1和初始深度图像P2拼接得到一帧360度的全景深度图像，并将可见光图像V1和可见光图像V2拼接得到一帧360度的全景可见光图像；再将全景深度图像与全景可见光图像合成为360度的三维场景图像。

请参阅图12，在一个实施例中，应用处理器50用于根据两个微处理器40获取的两张初始深度图像及两个摄像头组件30采集的两张场景图像识别被摄目标。

具体地，当场景图像为红外光图像时，两张红外光图像可以分别是红外光图像I1和红外光图像I2。应用处理器50分别根据初始深度图像P1和红外光图像I1识别第一方位的被摄目标、根据初始深度图像P2和红外光图像I2识别第三方位的被摄目标。当场景图像为可见光图像时，两张可见光图像分别是可见光图像V1和可见光图像V2。应用处理器50分别根据初始深度图像P1和可见光图像V1识别第一方位的被摄目标、根据初始深度图像P2和可见光图像V2识别第三方位的被摄目标。

当识别被摄目标为进行人脸识别时，应用处理器50采用红外光图像作为场景图像进行人脸识别准确性更高。应用处理器50根据初始深度图像和红外光图像进行人脸识别的过程可如下：

首先，根据红外光图像进行人脸检测确定目标人脸区域。由于红外光图像包括有场景的细节信息，在获取到红外光图像之后，可以根据红外光图像进行人脸检测，从而检测出红外光图像中是否包含人脸。若红外光图像中包含人脸，则提取红外光图像中人脸所在的目标人脸区域。

然后，根据初始深度图像对目标人脸区域进行活体检测处理。由于每张初始深度图像和红外光图像是对应的，初始深度图像中包括有对应的红外光图像的深度信息，因此，可以根据初始深度图像获取与目标人脸区域对应的深度信息。进一步地，由于活体人脸是立体的，而例如图片、屏幕等显示的人脸则是平面的，因此，可以根据获取的目标人脸区域的深度信息判断目标人脸区域是立体还是平面的，从而对目标人脸区域进行活体检测。

若活体检测成功，则获取目标人脸区域对应的目标人脸属性参数，并根据目标人脸属性参数对红外光图像中的目标人脸区域进行人脸匹配处理，得到人脸匹配结果。目标人脸属性参数是指可以表征目标人脸的属性的参数，根据目标人脸属性参数可以对目标人脸进行识别和匹配处理。目标人脸属性参数包括但不限于为人脸偏转角度、人脸亮度参数、五官参数、肤质参数、几何特征参数等。电子设备100可以预先存储用于匹配的人脸属性参数。在获取到目标人脸属性参数之后，就可以将目标人脸属性参数与预先存储的人脸属性参数进行比较。若目标人脸属性参数与预先存储的人脸属性参数匹配，则人脸识别通过。

需要指出的是，应用处理器50根据初始深度图像和红外光图像进行人脸识别的具体过程并不限于此，例如应用处理器50还可以根据初始深度图像辅助检测人脸轮廓，以提高人脸识别精度等。应用处理器50根据初始深度图像和可见光图像进行人脸识别的过程与应用处理器50根据初始深度图像和红外光图像进行人脸识别的过程类似，在此不再另行阐述。

请参阅图12和图13，应用处理器50还用于在根据两张初始深度图像及两张场景图像识别被摄目标失败时，根据结构光摄像头24的视场角将两个微处理器40获取的两张初始深度图像合成为一帧合并深度图像，将两个摄像头组件30采集的两张场景图像合成为一帧合并场景图像，并根据合并深度图像和合并场景图像识别被摄目标。

具体地，图12和图13所示的实施例中，由于每个结构光组件20的结构光摄像头24的视场角有限，可能存在人脸的一半位于初始深度图像P1、另一半位于初始深度图像P2的情形，应用处理器50将初始深度图像P1和初始深度图像P2合成为一帧合并深度图像P12，并对应将红外光图像I1和红外光图像I2(或可见光图像V1和可见光图像V2)合成为一帧合并场景图像I12(或V12)，以重新根据合并深度图像P12和合并场景图像I12(或V12)识别被摄目标。

请参阅图14和图15，在一个实施例中，应用处理器50用于根据多张初始深度图像判断被摄目标与电子设备100之间的距离变化。

具体地，每个结构光摄像头24均可以多次采集激光图案。例如，在第一时刻，结构光摄像头24a、结构光摄像头24b采集激光图案，两个微处理器40对应得到初始深度图像P11、初始深度图像P21；在第二时刻，结构光摄像头24a、结构光摄像头24b采集激光图案，两个微处理器40对应得到初始深度图像P12、初始深度图像P22。然后，应用处理器50分别根据初始深度图像P11和初始深度图像P12判断第一方位的被摄目标与电子设备100之间的距离变化、根据初始深度图像P21和初始深度图像P22判断第三方位的被摄目标与电子设备100之间的距离变化。

可以理解，由于初始深度图像中包括有被摄目标的深度信息，因此，应用处理器50可以根据多个连续时刻的深度信息变化判断对应方位的被摄目标与电子设备100之间的距离变化。

请参阅图16，应用处理器50还用于在根据多张初始深度图像判断距离变化失败时，根据结构光摄像头24的视场角将两个微处理器40获取的两张初始深度图像合成为一帧合并深度图像，应用处理器50连续执行合成步骤以得到多帧连续的合并深度图像，并根据多帧合并深度图像判断距离变化。

具体地，图16所示的实施例中，由于每个结构光组件20的结构光摄像头24的视场角有限，可能存在人脸的一半位于初始深度图像P11、另一半位于初始深度图像P21的情形，应用处理器50将第一时刻的初始深度图像P11和初始深度图像P21合成为一帧合并深度图像P121，并对应将第二时刻的初始深度图像P12和初始深度图像P22合成为一帧合并深度图像P122，然后根据合并后的这两帧合并深度图像P121和P122重新判断距离变化。

请参阅图15，当根据多张初始深度图像判断距离变化为距离减小时，或者根据多帧合并深度图像判断距离变化为距离减小时，应用处理器50会提高从至少一个微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率。

可以理解，当被摄目标与电子设备100之间的距离减小时，电子设备100无法预判该距离减小是否存在危险性，因此，应用处理器50可提高从至少一个微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率，以更加密切的关注该距离变化。具体地，当判断某一个方位对应的距离减小时，应用处理器50可提高该方位从微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率。

例如，在第一时刻，两个微处理器40分别获得初始深度图像P11、初始深度图像P21；在第二时刻，两个微处理器40分别获得初始深度图像P12、初始深度图像P22；在第三时刻，两个微处理器40分别获得初始深度图像P13、初始深度图像P23；在第四时刻，两个微处理器40分别获得初始深度图像P14、初始深度图像P24。

在正常情况下，应用处理器50选取初始深度图像P11和初始深度图像P14判断第一方位的被摄目标与电子设备100之间的距离变化；选取初始深度图像P21和初始深度图像P24判断第三方位的被摄目标与电子设备100之间的距离变化。应用处理器50在各个方位采集初始深度图像的帧率均为每间隔两帧采集一帧，即每三帧选取一帧。

当根据初始深度图像P11和初始深度图像P14判断出第一方位对应的距离减小时，应用处理器50则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化。应用处理器50采集第一方位的初始深度图像的帧率变为每间隔一帧采集一帧，即每两帧选取一帧。而其他方位的帧率保持不变，即应用处理器50仍选取初始深度图像P21和初始深度图像P24判断距离变化。

当然，应用处理器50也可以在判断出任一个方位对应的距离减小时，提高从每个微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率。即：当根据初始深度图像P11和初始深度图像P14判断出第一方位的被摄目标与电子设备100之间的距离减小时，应用处理器50则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P21和初始深度图像P23判断第三方位的被摄目标与电子设备100之间的距离变化。

应用处理器50还可以在距离减小时，结合可见光图像或红外光图像来判断该距离变化。具体地，应用处理器50先根据可见光图像或红外光图像识别被摄目标，然后再根据多个时刻的初始深度图像判断距离变化，从而针对不同的被摄目标与不同的距离控制电子设备100执行不同的操作。或者，在距离减小时，微处理器40控制提高对应结构光投射器22投射激光及结构光摄像头24曝光的频率等。

需要说明的是，本实施方式的电子设备100还可以作为一个外置终端，固定安装或可拆卸安装在例如手机、平板电脑、笔记本电脑等便携式电子装置上使用外，还可固定安装在车辆本体(如图13和图14所示)、无人机机身、机器人本体或船舶本体等可移动物体上使用。具体使用时，当电子设备100如前所述根据多张初始深度图像合成为一帧全景深度图像，全景深度图像可以用于三维建模、即时定位与地图构建(simultaneous localizationand mapping，SLAM)、增强现实显示。当电子设备100如前所述识别被摄目标时，则可应用于便携式电子装置的人脸识别解锁、支付，或应用于机器人、车辆、无人机、船舶等的避障。当电子设备100如前所述判断被摄目标与电子设备100之间的距离变化时，则可应用于机器人、车辆、无人机、船舶等自动行驶、物体追踪等。

请参阅图2和图17，本申请实施方式还提供一种移动平台300。移动平台300包括本体10和设置在本体10上的多个结构光组件20。多个结构光组件20分别位于本体10的多个不同方位。每个结构光组件20均包括结构光投射器22和结构光摄像头24。每个结构光投射器22及每个结构光摄像头24的视场角均为180度～200度中的任意值。结构光投射器22用于向本体10外投射激光图案，结构光摄像头24用于采集被摄目标反射的对应的结构光投射器22投射的激光图案。多个结构光组件20中的结构光投射器22同时投射激光图案，多个结构光组件20中的结构光摄像头24同时曝光，以获取全景深度图像。

具体地，本体10可以为车辆本体、无人机机身、机器人本体或船舶本体。

请参阅图17，当本体10为车辆本体时，多个结构光组件20的数量为两个，两个结构光组件20分别安装在车辆本体的两侧，例如，安装在车头与车尾，或者，安装在车身右侧与车身左侧。车辆本体可以带动两个结构光组件20在道路上移动，构建行进路线上的360度全景深度图像，以作为参考地图等；或者获取多个不同方位的初始深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制车辆本体加速、减速、停车、绕行等，实现无人驾驶避障，例如，在车辆在道路上移动时，若识别到被摄目标与车辆的距离减小且被摄目标为道路上的凹坑，则车辆以第一加速度减速，若识别到被摄目标与车辆的距离减小且被摄目标为人，则车辆以第二加速度减速，其中第一加速度的绝对值小于第二加速度的绝对值。如此，在距离减小时根据不同的被摄目标执行不同的操作，可以使得车辆更加智能化。

请参阅图18，当本体10为无人机机身时，多个结构光组件20的数量为两个，两个结构光组件20分别安装在无人机机身的相对的两侧，如前、后两侧或左、右两侧等，或者安装在无人机机身上搭载的云台的相对的两侧。无人机机身可以带动多个结构光组件20在空中飞行，以进行航拍、巡检等，无人机可将获取的全景深度图像传回给地面控制端，也可直接进行SLAM。多个结构光组件20可实现无人机加速、减速、停止、避障、物体追踪。

请参阅图19，当本体10为机器人本体时，例如扫地机器人，多个结构光组件20的数量为两个，两个结构光组件20分别安装在机器人本体的相对的两侧。机器人本体可以带动多个结构光组件20在家中运动，获取多个不同方位的初始深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制机器人本体运动，实现机器人清除垃圾、避障等。

请参阅图20，当本体10为船舶本体时，多个结构光组件20的数量为两个，两个结构光组件20分别安装在船舶本体的相对的两侧。船舶本体可以带动结构光组件20运动，获取多个不同方位的初始深度图像，从而在恶劣环境(例如起雾环境下)准确地识别被摄目标、判断被摄目标与移动平台300之间的距离变化，提高海上航行的安全性等。

本申请实施方式的移动平台300为能够独立移动的平台，多个结构光组件20安装在移动平台300的本体10上，以获取全景深度图像。而本申请实施方式的电子设备100本身一般不能够独立移动，电子设备100可进一步搭载于类似于移动平台300等能够移动的装置上，从而帮助该装置获取全景深度图像。

需要指出的是，上述对电子设备100的本体10、结构光组件20、摄像头组件30、微处理器40和应用处理器50的解释说明同样适用于本申请实施方式的移动平台300，在此不再重复说明。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (12)

1.一种电子设备，其特征在于，所述电子设备包括：

本体；和

设置在所述本体上的多个结构光组件，多个所述结构光组件分别位于所述本体的多个不同方位，每个所述结构光组件均包括结构光投射器和结构光摄像头，每个所述结构光投射器及每个所述结构光摄像头的视场角均为180度～200度中的任意值，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的对应的所述结构光投射器投射的所述激光图案；

多个所述结构光组件中的所述结构光投射器同时投射激光，多个所述结构光组件中的所述结构光摄像头同时曝光，以获取全景深度图像。

2.根据权利要求1所述的电子设备，其特征在于，所述结构光组件包括两个，两个所述结构光投射器投射的所述激光图案不同。

3.根据权利要求2所述的电子设备，其特征在于，每个所述结构光投射器均包括多个发光元件；

两个所述结构光投射器中的多个发光元件的排布、形状、或大小中的至少一种不同，以使得两个所述结构光投射器投射的所述激光图案不同。

4.根据权利要求2或3所述的电子设备，其特征在于，每个所述结构光投射器均包括衍射光学元件，所述衍射光学元件包括衍射本体和形成在所述衍射本体上的衍射结构；

两个所述结构光投射器中的所述衍射光学元件的所述衍射结构不同，以使得两个所述结构光投射器投射的所述激光图案不同。

5.根据权利要求2所述的电子设备，其特征在于，所述电子设备还包括应用处理器及两个微处理器，每个所述微处理器对应一个所述结构光组件，两个所述微处理器均与所述应用处理器连接，每个所述微处理器用于处理对应的所述结构光组件的所述结构光摄像头采集的所述激光图案得到初始深度图像并传输至所述应用处理器；所述应用处理器用于根据所述结构光摄像头的视场角将两个所述微处理器获取的所述初始深度图像合成为一帧所述全景深度图像。

6.根据权利要求2所述的电子设备，其特征在于，所述电子设备还包括应用处理器及两个微处理器，每个所述微处理器对应一个所述结构光组件，两个所述微处理器均与所述应用处理器连接，每个所述微处理器用于处理对应的所述结构光组件的所述结构光摄像头采集的所述激光图案得到初始深度图像并传输至所述应用处理器；

所述电子设备还包括设置在所述本体上的两个摄像头组件，每个所述摄像头组件对应一个所述结构光组件，两个所述摄像头组件均与所述应用处理器连接，每个所述摄像头组件用于采集所述被摄目标的场景图像并输出至所述应用处理器；

所述应用处理器用于根据两个所述微处理器获取的两张所述初始深度图像及两个所述摄像头组件采集的两张所述场景图像识别所述被摄目标。

7.根据权利要求6所述的电子设备，其特征在于，所述应用处理器还用于在根据两张所述初始深度图像及两张所述场景图像识别所述被摄目标失败时，根据所述结构光摄像头的视场角将两个所述微处理器获取的两张所述初始深度图像合成为一帧合并深度图像，将两个所述摄像头组件采集的两张所述场景图像合成为一帧合并场景图像，并根据所述合并深度图像和所述合并场景图像识别所述被摄目标。

8.根据权利要求2所述的电子设备，其特征在于，所述电子设备还包括应用处理器及两个微处理器，每个所述微处理器对应一个所述结构光组件，两个所述微处理器均与所述应用处理器连接，每个所述微处理器用于处理对应的所述结构光组件的所述结构光摄像头多次采集的所述激光图案得到多张初始深度图像并传输至所述应用处理器；所述应用处理器用于根据多张所述初始深度图像判断所述被摄目标与所述电子设备之间的距离变化。

9.根据权利要求8所述的电子设备，其特征在于，所述应用处理器还用于在根据多张所述初始深度图像判断所述距离变化失败时，根据所述结构光摄像头的视场角将两个所述微处理器获取的两张所述初始深度图像合成为一帧合并深度图像，所述应用处理器连续执行合成步骤以得到多帧连续的所述合并深度图像，并根据多帧所述合并深度图像判断所述距离变化。

10.根据权利要求8或9所述的电子设备，其特征在于，所述应用处理器还用于在判断所述距离变化为距离减小时，提高从至少一个所述微处理器传输的多张所述初始深度图像中采集用以判断所述距离变化的所述初始深度图像的帧率。

11.一种移动平台，其特征在于，所述移动平台包括：

本体；和

设置在所述本体上的多个结构光组件，多个所述结构光组件分别位于所述本体的多个不同方位，每个所述结构光组件均包括结构光投射器和结构光摄像头，每个所述结构光投射器及每个所述结构光摄像头的视场角均为180度～200度中的任意值，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的对应的所述结构光投射器投射的所述激光图案；

多个所述结构光组件中的所述结构光投射器同时投射激光，多个所述结构光组件中的所述结构光摄像头同时曝光，以获取全景深度图像。

12.根据权利要求11所述的移动平台，其特征在于，所述本体为车辆本体、无人机机身、机器人本体或船舶本体。