CN109862275A - 电子设备和移动平台 - Google Patents
电子设备和移动平台 Download PDFInfo
- Publication number
- CN109862275A CN109862275A CN201910246326.5A CN201910246326A CN109862275A CN 109862275 A CN109862275 A CN 109862275A CN 201910246326 A CN201910246326 A CN 201910246326A CN 109862275 A CN109862275 A CN 109862275A
- Authority
- CN
- China
- Prior art keywords
- flight time
- depth image
- electronic equipment
- optical
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
本申请公开了一种电子设备和移动平台。电子设备包括本体和设置在所述本体上的结构光组件和飞行时间组件。结构光组件包括结构光投射器和结构光摄像头，结构光投射器用于向所述本体外投射激光图案，结构光摄像头用于采集被摄目标反射的结构光投射器投射的激光图案。飞行时间组件包括光发射器和光接收器，光发射器用于向所述本体外发射激光脉冲，光接收器用于接收被摄目标反射的光发射器发射的激光脉冲。结构光组件和飞行时间组件用于获取全景深度图像。本申请实施方式的电子设备和移动平台中，设置在本体上的结构光组件和飞行时间组件相互配合，以获取全景深度图像，能够一次性获取到较为全面的深度信息。
Description
技术领域
本申请涉及图像采集技术领域，更具体而言，涉及一种电子设备和移动平台。
背景技术
为了使得电子设备的功能更加多样化，电子设备上可以设置有深度图像获取装置，以获取被摄目标的深度图像。然而，目前的深度图像获取装置只能够获取一个方向或一个角度范围内的深度图像，获取到的深度信息较少。
发明内容
本申请实施方式提供一种电子设备和移动平台。
本申请实施方式的电子设备包括本体和设置在所述本体上的结构光组件和飞行时间组件。所述结构光组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的所述结构光投射器投射的所述激光图案。所述飞行时间组件包括光发射器和光接收器，所述光发射器用于向所述本体外发射激光脉冲，所述光接收器用于接收被摄目标反射的所述光发射器发射的所述激光脉冲。所述结构光组件和所述飞行时间组件用于获取全景深度图像。
本申请实施方式的移动平台包括本体和设置在所述本体上的结构光组件和飞行时间组件。所述结构光组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的所述结构光投射器投射的所述激光图案。所述飞行时间组件包括光发射器和光接收器，所述光发射器用于向所述本体外发射激光脉冲，所述光接收器用于接收被摄目标反射的所述光发射器发射的所述激光脉冲。所述结构光组件和所述飞行时间组件用于获取全景深度图像。
本申请实施方式的电子设备和移动平台中，设置在本体上的结构光组件和飞行时间组件相互配合，以获取全景深度图像，能够一次性获取到较为全面的深度信息。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的电子设备的模块示意图；
图2至图4是本申请某些实施方式的电子设备的结构示意图；
图5是本申请某些实施方式的电子设备的应用场景示意图；
图6是本申请某些实施方式的结构光组件的结构光投射器的结构示意图；
图7是本申请某些实施方式的结构光投射器的光源的结构示意图；
图8是本申请某些实施方式的结构光投射器的衍射光学元件的立体结构示意图；
图9是本申请某些实施方式的结构光投射器的衍射光学元件的剖视图；
图10是本申请某些实施方式的结构光投射器的衍射光学元件的平面结构示意图；
图11是本申请某些实施方式的初始深度图像拼接的坐标系示意图；
图12至图16是本申请某些实施方式的电子设备的应用场景示意图；
图17是本申请某些实施方式的电子设备的结构示意图；
图18至图22是本申请某些实施方式的移动平台的结构示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请一并参阅图1至图4，本申请实施方式的电子设备100包括本体10、结构光组件20、飞行时间组件30、摄像头组件40、微处理器50和应用处理器60。结构光组件20对于近景(近距离目标，例如深度小于预设深度的被摄目标)具有良好的深度获取能力，即结构光组件20可以用于拍摄近景。飞行时间组件30对于远景(远距离目标，例如深度大于预设深度的被摄目标)具有良好的深度获取能力，即飞行时间组件30可以用于拍摄远景。其中，结构光组件20一般难以获取到远景的深度信息，飞行时间组件30获取到的近景的深度信息的精度较低。
本实施方式的电子设备100可以是手机、平板电脑、笔记本电脑等便携式电子装置，此时，本体10可以为手机机身，平板电脑机身，笔记本电脑机身等。本体10包括多个不同方位。例如图2至图4中，本体10可具有四个不同方位，沿顺时针方向依次为：第一方位、第二方位、第三方位和第四方位，第一方位与第三方位相背，第二方位与第四方位相背。第一方位即为与本体10的上方对应的方位、第二方位即为与本体10的右侧对应的方位、第三方位即为与本体10的下方对应的方位、第四方位即为与本体10的左侧对应的方位。
请参阅图2至图4，在某些实施方式中，结构光组件20和飞行时间组件30设置在本体10上。结构光组件20和飞行时间组件30的数量可以均为多个，结构光组件20和飞行时间组件30的数量可以相同，多个结构光组件20分别位于本体10的多个不同方位，每个飞行时间组件30可以与一个结构光组件20对应，例如每个飞行时间组件30所处方位可以与一个结构光组件20所处方位对应。
在某些实施方式中，结构光组件20的数量可为四个，分别为结构光组件20a、结构光组件20b、结构光组件20c和结构光组件20d，飞行时间组件30的数量也为四个，分别为飞行时间组件30a、飞行时间组件30b、飞行时间组件30c和飞行时间组件30d。结构光组件20a和飞行时间组件30a设置在第一方位，结构光组件20b和飞行时间组件30b设置在第二方位，结构光组件20c和飞行时间组件30c设置在第三方位，结构光组件20d和飞行时间组件30d设置在第四方位。可以理解，四个结构光组件20和四个飞行时间组件30即可实现获取全景深度图像(全景深度图像指的是该全景深度图像的视场角大于或等于180度，例如，全景深度图像的视场角可为180度、240度、360度、480度、720度等等)，且能够利用结构光组件20拍摄近景、利用飞行时间组件30拍摄远景，从而精确地获得各个被摄目标的深度信息。
在某些实施方式中，结构光组件20的数量可为两个，分别为结构光组件20a和结构光组件20c，飞行时间组件30的数量也为两个，分别为飞行时间组件30a和飞行时间组件30c。结构光组件20a和飞行时间组件30a设置在第一方位，结构光组件20c和飞行时间组件30c设置在第三方位。可以理解，两个结构光组件20和两个飞行时间组件30也可实现获取全景深度图像和精确地获得各个被摄目标的深度信息，并且有利于节省电子设备100的制造成本、以及减小电子设备100的体积和功耗等。对于厚度要求较高的电子设备100，如手机来说，由于手机要求机身厚度较薄，因而机身的侧边通常无法安装结构光组件20和飞行时间组件30，那么采用两个结构光组件20和两个飞行时间组件30来获取全景深度图像的设置可以解决上述问题，此时两个结构光组件20和两个飞行时间组件30可以安装在手机机身的正面和背面上。另外，两个结构光组件20和两个飞行时间组件30获取全景深度图像的方式也有利于减小全景深度图像的计算量。
当然，结构光组件20和飞行时间组件30的数量也可以均为八个(或其他任意大于两个的数量)，第一方位、第二方位、第三方位和第四方位均可各设置两个(或其他数量)结构光组件20和两个飞行时间组件30。
每个结构光组件20均包括结构光投射器22和结构光摄像头24。结构光投射器22用于向本体10外投射激光图案，结构光摄像头24用于采集被摄目标反射的对应的结构光投射器22投射的激光图案。
在某些实施方式中，一个结构光组件20包括一个结构光投射器22和一个结构光摄像头24。以图2为例，结构光组件20a包括结构光投射器22a和结构光摄像头24a，结构光组件20c包括结构光投射器22c和结构光摄像头24c。结构光投射器22a和结构光投射器22c分别用于向本体10外第一方位和第三方位投射激光图案，结构光摄像头24a和结构光摄像头24c分别用于采集第一方位的被摄目标反射的结构光投射器22a投射的激光图案、第三方位的被摄目标反射的结构光投射器22c投射的激光图案，从而能够覆盖本体10外的各个不同区域。以图4为例，结构光组件20a包括结构光投射器22a和结构光摄像头24a，结构光组件20b包括结构光投射器22b和结构光摄像头24b，结构光组件20c包括结构光投射器22c和结构光摄像头24c，结构光组件20d包括结构光投射器22d和结构光摄像头24d。结构光投射器22a、结构光投射器22b、结构光投射器22c和结构光投射器22d分别用于向本体10外第一方位、第二方位、第三方位和第四方位投射激光图案，结构光摄像头24a、结构光摄像头24b、结构光摄像头24c和结构光摄像头24d分别用于采集第一方位的被摄目标反射的结构光投射器22a投射的激光图案、第二方位的被摄目标反射的结构光投射器22b投射的激光图案、第三方位的被摄目标反射的结构光投射器22c投射的激光图案、第四方位的被摄目标反射的结构光投射器22d投射的激光图案，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。
在某些实施方式中，一个结构光组件20包括两个结构光投射器22和一个结构光摄像头24，以图3为例，结构光组件20a包括结构光投射器222a、结构光投射器224a和结构光摄像头24a，结构光组件20c包括结构光投射器222c、结构光投射器224c和结构光摄像头24c。结构光投射器222a和结构光投射器224a均用于向本体10外第一方位投射激光图案，结构光投射器222c和结构光投射器224c均用于向本体10外第三方位投射激光图案，结构光摄像头24a用于采集第一方位的被摄目标反射的结构光投射器222a和结构光投射器224a投射的激光图案，结构光摄像头24c用于采集第三方位的被摄目标反射的结构光投射器222c和结构光投射器224c投射的激光图案，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。
每个飞行时间组件30均包括光发射器32和光接收器34。光发射器32用于向本体10外发射激光脉冲，光接收器34用于接收被摄目标反射的对应的光发射器32发射的激光脉冲。每个光发射器32可以包括光源和扩散器。光源用于发射激光(例如红外激光，此时，光接收器34为红外摄像头)，扩散器用于扩散光源发射的激光。
在某些实施方式中，一个飞行时间组件30包括一个光发射器32和一个光接收器34。以图2为例，飞行时间组件30a包括光发射器32a和光接收器34a，飞行时间组件30c包括光发射器32c和光接收器34c。光发射器32a、光发射器32c分别用于向本体10外第一方位、第三方位发射激光脉冲，光接收器34a、光接收器34c分别用于采集第一方位的被摄目标反射的光发射器32a发射的激光脉冲、第三方位的被摄目标反射的光发射器32c发射的激光脉冲，从而能够覆盖本体10外的各个不同区域。以图4为例，飞行时间组件30a包括光发射器32a和光接收器34a，飞行时间组件30b包括光发射器32b和光接收器34b，飞行时间组件30c包括光发射器32c和光接收器34c，飞行时间组件30d包括光发射器32d和光接收器34d。光发射器32a、光发射器32b、光发射器32c和光发射器32d分别用于向本体10外第一方位、第二方位、第三方位和第四方位发射激光脉冲，光接收器34a、光接收器34b、光接收器34c和光接收器34d分别用于采集第一方位的被摄目标反射的光发射器32a发射的激光脉冲、第二方位的被摄目标反射的光发射器32b发射的激光脉冲、第三方位的被摄目标反射的光发射器32c发射的激光脉冲、第四方位的被摄目标反射的光发射器32d发射的激光脉冲，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。
在某些实施方式中，一个飞行时间组件30包括两个光发射器32和一个光接收器34，以图3为例，飞行时间组件30a包括光发射器322a、光发射器324a和光接收器34a，飞行时间组件30c包括光发射器322c、光发射器324c和光接收器34c。光发射器322a和光发射器324a均用于向本体10外第一方位发射激光脉冲，光发射器322c和光发射器324c均用于向本体10外第三方位发射激光脉冲，光接收器34a用于接收第一方位的被摄目标反射的光发射器322a和光发射器324a发射的激光脉冲，光接收器34c用于接收第三方位的被摄目标反射的光发射器322c和光发射器324c发射的激光脉冲，从而能够覆盖本体10外的各个不同区域，相较于现有的需要旋转360度才能获取较为全面的深度信息而言，本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息，执行简单且响应速度迅速。
当电子设备100包括四个结构光组件20和四个飞行时间组件30时，一个结构光组件20可以包括一个结构光投射器22和一个结构光摄像头24，一个飞行时间组件30可以包括一个光发射器32和一个光接收器34，每个结构光投射器22、每个结构光摄像头24、每个光发射器32和每个光接收器34的视场角均可以为80度～120度中的任意值。在一个实施例中，每个结构光投射器22、每个结构光摄像头24、每个光发射器32和每个光接收器34的视场角均为80度～90度中的任意值，例如均为80度。
当电子设备100包括两个结构光组件20和两个飞行时间组件30时，一个结构光组件20可以包括一个结构光投射器22和一个结构光摄像头24，一个飞行时间组件30可以包括一个光发射器32和一个光接收器34，每个结构光投射器22、每个结构光摄像头24、每个光发射器32和每个光接收器34的视场角均可以为180度～200度中的任意值。在一个实施例中，每个结构光投射器22、每个结构光摄像头24、每个光发射器32和每个光接收器34的视场角均为180度。
当电子设备100包括两个结构光组件20和两个飞行时间组件30时，一个结构光组件20可以包括两个结构光投射器22和一个结构光摄像头24，一个飞行时间组件30可以包括两个光发射器32和一个光接收器34，每个结构光投射器22和每个光发射器32的视场角均可以为80度～120度中的任意值，每个结构光摄像头24和每个光接收器34的视场角均可以为180度～200度中的任意值。在一个实施例中，每个结构光投射器22和每个光发射器32的视场角均为80度～90度中的任意值，例如均为80度，每个结构光摄像头24和每个光接收器34的视场角均为180度。
结构光投射器22及光发射器32的视场角较小时，结构光投射器22及光发射器32的制造工艺比较简单，制造成本较低，并且能够提高发射的激光的均匀性。当结构光摄像头24及光接收器34的视场角较小时，镜头畸变较小，获取的深度图像(可以是指飞行时间深度图像和/或结构光深度图像，下同)质量较好，从而得到的全景深度图像质量也较好，且能够获取到较为准确的深度信息。
在一个实施例中，所有结构光投射器22的视场角之和等于360度，所有结构光摄像头24的视场角之和等于360度，所有光发射器32的视场角之和等于360度，所有光接收器34的视场角之和等于360度。多个结构光投射器22的视场角可以互不交叠，多个结构光摄像头24的视场角可以互不交叠，多个光发射器32的视场角可以互不交叠，多个光接收器34的视场角可以互不交叠。以图3为例，结构光投射器222a、结构光投射器224a、结构光投射器222c和结构光投射器224c的视场角可以均为90度，结构光摄像头24a和结构光摄像头24c的视场角可以均为180度，光发射器322a、光发射器324a、光发射器322c和光发射器324c的视场角可以均为90度，光接收器34a和光接收器34c的视场角可以均为180度。多个结构光投射器22的视场角互补、多个结构光摄像头24的视场角互补、多个光发射器32的视场角互补、多个光接收器34的视场角互补，从而实现获取360度或近似360度的全景深度图像。
在一个实施例中，所有结构光投射器22的视场角之和大于360度，所有结构光摄像头24的视场角之和大于360度，所有光发射器32的视场角之和大于360度，所有光接收器34的视场角之和大于360度。多个结构光投射器22中的至少两个结构光投射器22的视场角可以相互交叠，多个结构光摄像头24中的至少两个结构光摄像头24的视场角可以相互交叠，多个光发射器32中的至少两个光发射器32的视场角可以相互交叠，多个光接收器34中的至少两个光接收器34的视场角可以相互交叠。以图3为例，结构光投射器222a、结构光投射器224a、结构光投射器222c和结构光投射器224c的视场角可以均为100度，结构光摄像头24a和结构光摄像头24c的视场角可以均为200度，光发射器322a、光发射器324a、光发射器322c和光发射器324c的视场角可以均为100度，光接收器34a和光接收器34c的视场角可以均为200度。在获取全景深度图像时，可以先识别深度图像的边缘交叠部分，再将深度图像拼接为360度的全景深度图像。由于所有结构光投射器22的视场角之和、所有结构光摄像头24的视场角之和、所有光发射器32的视场角之和、所有光接收器34的视场角之和均大于360度，可以确保获取的全景深度图像覆盖本体10外360度的深度信息。
当然，每个结构光投射器22、每个结构光摄像头24、每个光发射器32及每个光接收器34的视场角的具体数值并不限于上述举例。在视场角设定为80度～120度之间的任意数值时，本领域技术人员可以根据需要设置为80度、82度、84度、86度、90度、92度、94度、96度、98度、104度、120度或任意二者之间的任意值；在视场角设定为180度～200度之间的任意数值时，本领域技术人员可以根据需要设置为180度、181度、182度、187度、188度、193.2度、195度、200度或任意二者之间的任意值，在此不作限制。
本申请实施方式以图2所示的电子设备100为例进行说明，其中，结构光组件20、飞行时间组件30的数量均是两个，一个结构光组件20包括一个结构光投射器22和一个结构光摄像头24，一个飞行时间组件30包括一个光发射器32和一个光接收器34，每个结构光投射器22、每个结构光摄像头24、每个光发射器32和每个光接收器34的视场角均可以为180度～200度中的任意值。当然，本申请实施方式也适用于图3和图4等所示的电子设备100，在此不作限制。
请参阅图1至图4，摄像头组件40设置在本体10上。摄像头组件40的数量可以为多个，每个摄像头组件40对应一个结构光组件20，例如，每个摄像头组件40所处方位与一个结构光组件20所处方位对应。在如图2的实施例中，当结构光组件20的数量为两个时，摄像头组件40的数量也为两个，两个摄像头组件40分别设置在第一方位和第三方位。
多个摄像头组件40均与应用处理器60连接。每个摄像头组件40用于采集被摄目标的场景图像并输出至应用处理器60。本实施方式中，两个摄像头组件40分别用于采集第一方位的被摄目标的场景图像、第三方位的被摄目标的场景图像并分别输出至应用处理器60。可以理解，每个摄像头组件40与对应的结构光组件20的结构光摄像头24的视场角相同或近似相同，以使得每个场景图像与对应的深度图像能够更好的匹配。
摄像头组件40可以是可见光摄像头42，或者是红外光摄像头44。当摄像头组件40为可见光摄像头42时，场景图像为可见光图像；当摄像头组件40为红外光摄像头44时，场景图像为红外光图像。
请参阅图1，微处理器50可以是处理芯片。微处理器50可以与飞行时间组件30中的光发射器32和光接收器34均连接。微处理器50可通过驱动电路驱动光发射器32发射激光，并且还可以用于给光接收器34提供接收激光脉冲的时钟信息以使得光接收器34工作。微处理器50还用于根据飞行时间组件30的光发射器32发射的激光脉冲及光接收器34接收的激光脉冲得到飞行时间深度图像、根据飞行时间深度图像将被摄目标划分为深度大于预设深度的远距离目标和深度小于预设深度的近距离目标、在存在远距离目标时将对应的飞行时间深度图像传输至应用处理器60、在存在近距离目标时启动对应的结构光组件20以获取结构光深度图像并将结构光深度图像传输至应用处理器60。例如，微处理器50分别根据飞行时间组件30a获取得到飞行时间深度图像P1、根据飞行时间组件30c获取得到飞行时间深度图像P2，然后微处理器50将P1和P2中的被摄目标划分为远距离目标和近距离目标(例如图5所示的P1和P2中，虚线表示近距离目标，实线表示远距离目标，此时P1和P2中近距离目标的精度较低、远距离目标的精度较高)，例如P1中存在远距离目标，则微处理器50将P1传输至应用处理器60，P2中存在近距离目标，则微处理器50启动与获取P2的飞行时间组件30c对应的结构光组件20c以获取结构光深度图像P2′并将P2′传输至应用处理器60。在飞行时间深度图像中同时存在近距离目标和远距离目标时，微处理器50可以将该飞行时间深度图像传输至应用处理器60并利用与获取该飞行时间深度图像的飞行深度组件30对应的结构光组件获取对应的结构光深度图像以将结构光深度图像传输至应用处理器60，例如P1中同时存在近距离目标和远距离目标时，微处理器50可以将P1传输至应用处理器60并通过与获取P1的飞行时间组件30a对应的结构光组件20a获取P1′以将P1′传输至应用处理器60。当然，在飞行时间深度图像中同时存在近距离目标和远距离目标时，微处理器50也可以将该飞行时间深度图像传输至应用处理器60、或通过与获取该飞行时间深度图像的飞行深度组件30对应的结构光组件获取对应的结构光深度图像以将结构光深度图像传输至应用处理器60，例如在主要拍摄目标为远距离目标时，微处理器50将该飞行时间深度图像传输至应用处理器60；在主要拍摄目标为近距离目标时，微处理器50通过与获取该飞行时间深度图像的飞行深度组件30对应的结构光组件获取对应的结构光深度图像以将结构光深度图像传输至应用处理器60。微处理器还可以对深度图像进行面片化、畸变校正、自校准等算法处理，以提高深度图像的质量。
相邻的飞行时间组件30之间相邻的光发射器32发射的激光脉冲相互之间容易造成干扰，例如在相邻的两个飞行时间组件30之间的光发射器32的视场角相互交叠时，光发射器32发射的激光脉冲相互之间容易造成干扰。
在某些实施方式中，多个飞行时间组件30同时工作。因此，为了提高获取的深度信息的准确性，相邻的两个飞行时间组件30的相邻的光发射器32发射的激光脉冲的波长可以不同。以图4为例，光发射器32a与光发射器32b发射的激光脉冲的波长可以不同。以图2为例，光发射器32a与光发射器32c发射的激光脉冲的波长可以不同。以图3为例，光发射器322a与光发射器322c发射的激光脉冲的波长可以不同。需要说明的是，同一飞行时间组件30的多个光发射器32相互交叠时对深度信息的获取影响不大，因此，同一飞行时间组件30的多个光发射器32发射的激光脉冲的波长可以相同或不同。在某些实施方式中，多个飞行时间组件30同时工作时，每个飞行时间组件30的光发射器32发射的激光脉冲的波长均不同、或每个光发射器32发射的激光脉冲的波长均不同。由于多个飞行时间组件30同时工作，多个飞行时间组件30获取得到的飞行时间深度图像具有相同的时效性，能够反映本体10外同一时刻各个方位显示的画面。
在某些实施方式中，为了提高获取的深度信息的准确性，相邻的飞行时间组件30的相邻的光发射器32可以分时发射激光脉冲，与之对应的光接收器34也分时工作，以便于获得容易区分和计算的飞行时间深度图像。以图4为例，光发射器32a与光发射器32b可以分时发射激光脉冲。以图2为例，光发射器32a与光发射器32c可以分时发射激光脉冲。以图3为例，光发射器322a与光发射器322c可以分时发射激光脉冲。需要说明的是，同一飞行时间组件30的多个光发射器32相互交叠时对深度信息的获取影响不大，因此，同一飞行时间组件30的多个光发射器32可以同时或分时发射激光脉冲(为了快速地获取飞行时间深度图像和便于对光接收器34的控制，同一飞行时间组件30的多个光发射器32通常同时发射激光脉冲)。在某些实施方式中，不同的飞行时间组件30分时工作。由于每个飞行时间组件30的光接收器34工作时只接收到对应的光发射器32发射的激光脉冲，而不会接收到其他飞行时间组件30的光发射器32发射的激光脉冲，从而可以更好地避免干扰，保证接收的激光脉冲的准确性。在一个实施例中，多个飞行时间组件30的光发射器32依次接续且不间断地发射激光脉冲，光接收器34的曝光时间位于对应的光发射器32发射激光脉冲的时间范围内，如此能够以较高的帧率采集飞行时间深度图像。在另一个实施例中，多个飞行时间组件30的光发射器32依次接续且间隔预定时间发射激光脉冲，多个飞行时间组件30的光接收器34接续且不间断地曝光、或接续且间隔预定时间曝光，如此能以较低的帧率采集飞行时间深度图像以减小电子设备100的功耗。
相邻的结构光组件20之间相邻的结构光投射器22投射的激光图案相互之间容易造成干扰，例如在相邻的两个结构光组件20之间的结构光投射器22的视场角相互交叠时，结构光投射器22投射的激光图案相互之间容易造成干扰。
在某些实施方式中，多个结构光组件20同时工作。因此，为了提高获取的深度信息的准确性，相邻的两个结构光组件20的相邻的结构光投射器22投射的激光图案可以不同。以图4为例，结构光投射器22a与结构光投射器22b投射的激光图案可以不同。以图2为例，结构光投射器22a与结构光投射器22c投射的激光图案可以不同。以图3为例，结构光投射器222a与结构光投射器222c投射的激光图案可以不同。需要说明的是，同一结构光组件20的多个结构光投射器22相互交叠时对深度信息的获取影响不大，因此，同一结构光组件20的多个结构光投射器22投射的激光图案可以相同或不同。在某些实施方式中，多个结构光组件20同时工作时，每个结构光组件20的结构光投射器22投射的激光图案均不同、或每个结构光投射器22投射的激光图案均不同。由于多个结构光组件20同时工作，多个结构光组件20获取得到的飞行时间深度图像具有相同的时效性，能够反映本体10外同一时刻各个方位显示的画面。
请参阅图6，每个结构光投射器22包括光源222、准直元件224和衍射光学元件226(Diffractive Optical Elements，DOE)。准直元件224和衍射光学元件226依次设置在光源222的光路上。光源222用于发射激光(例如红外激光，此时，结构光摄像头24为红外摄像头)，准直元件224用于准直光源222发射的激光，衍射光学元件226用于衍射准直元件224准直后的激光以形成用于投射的激光图案。
进一步地，请结合图7，光源222包括衬底2222和设置在衬底2222上的多个发光元件2224。衬底2222可以为半导体衬底，多个发光元件2224可直接设置在衬底2222上；或者，可先利用晶圆级光学工艺在半导体衬底2222上开设一个或多个凹槽，再将多个发光元件2224置于凹槽内。发光元件2224包括点光源发光器件，例如垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，VCSEL)。
请结合图8，衍射光学元件226包括衍射本体2262和形成在衍射本体2262上的衍射结构2264。衍射本体2262包括相背的衍射入射面和衍射出射面，衍射结构2264可以形成在衍射入射面上；或者形成在衍射出射面上；或者同时形成在衍射入射面和衍射出射面上。
为了使得两个结构光投射器22投射的激光图案不同，可采用如下实现方式：
一种方式是：在不同的结构光投射器22之间，多个发光元件2224的排布、形状、或大小中的至少一种不同，以使得不同的结构光投射器22投射的激光图案不同。
具体地，请参阅图7，图7(a)与图7(b)的发光元件2224的形状不同，图7(a)与图7(c)的发光元件2224的大小不同，图7(c)与图7(b)的发光元件2224的形状和大小均不相同，图7(c)与图7(d)的发光元件2224的排布、形状、大小均不相同，则结构光投射器22投射的激光图案不同。
另外一种方式是：在不同的结构光投射器22之间，衍射结构2264不同，以使得不同的结构光投射器22投射的激光图案不同。
具体地，请结合图9和图10，衍射结构2264不同可包括：衍射结构2264形成的台阶的深度D、台阶的长度L、台阶的宽度W、台阶的个数中的至少一种不同。当然，衍射结构2264不同也可以是其他形式的结构不同，只需要满足衍射结构2264的不同使得结构光投射器22投射的激光图案不同即可。
需要指出的是，除了上述两种方式外，本领域的技术人员也可以采用其他方式实现结构光投射器22投射的激光图案不同，例如，通过在光源222与准直元件224之间增设具有不同透光区域的掩膜等，在此不作限制。
当每个结构光组件20的结构光投射器22投射的激光图案不同时，每个结构光组件20对应的参考图像可以是独立标定或者共同标定的。在独立标定的情况下，各个结构光组件20的标定可分开进行，各个无需同时装设在本体10上进行标定。在共同标定的情况下，各个结构光组件20同时装设在本体10上进行标定。此时，结构光摄像头24可以根据激光图案的不同区分哪些是对应的激光投射器22投射的激光图案，哪些是其他激光投射器22投射的激光图案，从而滤除其他激光投射器22投射的激光图案作为参考图像。在使用过程中，在结构光摄像头24采集激光图案后，也需要滤除其他激光投射器22投射的激光图案并基于剩下的激光图案与参考图像做深度的计算。
在某些实施方式中，为了提高获取的深度信息的准确性，相邻的结构光组件20的相邻的结构光投射器22可以分时投射激光图案，与之对应的结构光摄像头24也分时工作，以便于获得容易区分和计算的结构光深度图像。以图4为例，结构光投射器22a与结构光投射器22b可以分时投射激光图案。以图2为例，结构光投射器22a与结构光投射器22c可以分时投射激光图案。以图3为例，结构光投射器222a与结构光投射器222c可以分时投射激光图案。需要说明的是，同一结构光组件20的多个结构光投射器22相互交叠时对深度信息的获取影响不大，因此，同一结构光组件20的多个结构光投射器22可以同时或分时投射激光图案(为了快速地获取结构光深度图像和便于对结构光摄像头24的控制，同一结构光组件20的多个结构光投射器22通常同时投射激光图案)。在某些实施方式中，不同的结构光组件20分时工作。由于每个结构光组件20的结构光摄像头24工作时只采集到对应的结构光投射器22投射的激光图案，而不会采集到其他结构光组件20的结构光投射器22投射的激光图案，从而可以更好地避免干扰，保证采集的激光图案的准确性。在一个实施例中，多个结构光组件20的结构光投射器22依次接续且不间断地投射激光图案，结构光摄像头24的曝光时间位于对应的结构光投射器22投射激光图案的时间范围内，如此能够以较高的帧率采集结构光深度图像。在另一个实施例中，多个结构光组件20的结构光投射器22依次接续且间隔预定时间投射激光图案，多个结构光组件20的结构光摄像头24接续且不间断地曝光、或接续且间隔预定时间曝光，如此能以较低的帧率采集结构光深度图像以减小电子设备100的功耗。
需要说明的是，为了避免结构光组件20和飞行时间组件30之间的相互干扰，同一方位的结构光组件20和飞行时间组件30分时工作，且相邻方位的结构光组件20和飞行时间组件30也分时工作。在一个实施例中，多个飞行时间组件30在第一时刻同时工作以获得飞行时间深度图像，然后根据飞行时间深度图像确定需要启动的结构光组件20，需要启动的结构光组件20在第二时刻同时工作，第一时刻早于第二时刻。在另一个实施例中，多个飞行时间组件30同时工作以获得飞行时间深度图像，然后根据飞行时间深度图像确定需要启动的结构光组件20，需要启动的结构光组件20分时工作。在又一个实施例中，每个飞行时间组件30分时工作，然后根据飞行时间深度图像确定需要启动的结构光组件20，需要启动的结构光组件20在对应的飞行时间组件30工作完成后启动。在又一个实施例中，每个飞行时间组件30分时工作，然后根据飞行时间深度图像确定需要启动的结构光组件20，需要启动的结构光组件20在所有的飞行时间组件30工作完成后分时启动。当然，飞行时间组件30和结构光组件20也可以根据需要采用其他配合关系，在此不作限制。
除了上述各种实施方式外，本领域技术人员还可以采用其他方式减少结构光组件20和/或飞行时间组件30的干扰，或者也可以在干扰较小时直接忽略该干扰，或者还可以通过一定的算法处理滤除该干扰造成的影响。
在某些实施方式中，微处理器50的数量可以为多个，每个微处理器50对应一个结构光组件20和/或一个飞行时间组件30，例如每个微处理器50与一个结构光组件20和一个飞行时间组件30连接。多个微处理器50均与应用处理器60连接，每个微处理器50用于根据对应的飞行时间组件30的光发射器32发射的激光脉冲及光接收器34接收的激光脉冲得到飞行时间深度图像。多个微处理器50的处理速度更快，延时较小。
在某些实施方式中，微处理器50的数量可以为一个。微处理器50同时对应多个结构光组件20和多个飞行时间组件30，例如微处理器50同时与多个结构光组件20和多个飞行时间组件30连接。微处理器50可用于依次根据多个飞行时间组件30的的光发射器32发射的激光脉冲及光接收器34接收的激光脉冲得到多个飞行时间深度图像。一个微处理器50有利于减小电子设备100的体积，还有利于减少电子设备100的制造成本。
需要说明的是，在多个飞行时间组件30同时工作和/或多个结构光组件20同时工作时，多个微处理器50能够更好地提高处理速度。
在一个实施例中，微处理器50可通过移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)与应用处理器60连接，具体地，微处理器50通过移动产业处理器接口与应用处理器60的可信执行环境(Trusted Execution Environment，TEE)连接，以将微处理器50中的数据(例如深度图像)直接传输到可信执行环境中，以提高电子设备100内的信息的安全性。其中，可信执行环境中的代码和内存区域都是受访问控制单元控制的，不能被非可信执行环境(Rich Execution Environment，REE)中的程序所访问，可信执行环境和非可信执行环境均可以形成在应用处理器60中。
应用处理器60可以作为电子设备100的系统。应用处理器60可以重置微处理器50、唤醒(wake)微处理器50、纠错(debug)微处理器50等。应用处理器60还可以与电子设备100的多个电子元器件连接并控制该多个电子元器件按照预定的模式运行，例如应用处理器60与可见光摄像头42和红外光摄像头44连接，以控制可见光摄像头42和红外光摄像头44拍摄可见光图像和红外光图像，并处理该可见光图像和红外光图像；当电子设备100包括显示屏时，应用处理器60可以控制显示屏显示预定的画面；应用处理器60还可以控制电子设备100的天线发送或接收预定的数据等。
请参阅图1，在一个实施例中，应用处理器60用于根据远距离目标和近距离目标将传输的飞行时间深度图像和结构光深度图像(例如传输的各个方位的飞行时间深度图像和结构光深度图像)合成为一帧全景深度图像。在一个实施例中，应用处理器60可以先将多个方位对应的飞行时间深度图像合成为一帧初始全景深度图像，再利用结构光深度图像的深度信息替换初始全景深度图像中近距离目标的深度信息，从而得到全景深度图像。在另一个实施例中，应用处理器60可以先根据远距离目标和近距离目标将一个方位的飞行时间深度图像和结构光深度图像合成为高精度深度图像(例如利用结构光深度图像中近距离目标的深度信息替换飞行时间深度图像中近距离目标的深度信息)，再将高精度深度图像和其他方位的高精度深度图像(在一个方位只存在远距离目标或近距离目标时，飞行时间深度图像或结构光深度图像就是该方位的高精度深度图像)合并以形成全景深度图像。当然，也可以采用其他的方式将传输的飞行时间深度图像和结构光深度图像合成为一帧全景深度图像，在此不作限制。
具体地，请结合图2和图11，以本体10的中心为圆心O，以横轴线为X轴，以纵轴线为Y轴建立直角坐标系XOY，在该直角坐标系XOY中，结构光摄像头24a的视场位于190度～350度之间(顺时针旋转，后同)，结构光投射器22a的视场位于190度～350度之间，结构光摄像头24c的视场位于10度～170度之间，结构光投射器22c的视场位于10度～170度之间，光接收器34a的视场位于190度～350度之间(顺时针旋转，后同)，光发射器32a的视场位于190度～350度之间，光接收器34c的视场位于10度～170度之间，光发射器32c的视场位于10度～170度之间。在微处理器50将图5所示的飞行时间深度图像P1、P2和结构光深度图像P2′传输至应用处理器60时，应用处理器60可以先将P1和P1′合成为高精度深度图像P11′，再将该高精度深度图像和P2′合成为全景深度图像P11′2′。
各个深度图像的每个像素的深度信息为对应方位的被摄目标与该方位上的深度采集器(光接收器34、结构光摄像头24)之间的距离。在将多个深度图像拼接为一帧全景深度图像的过程中，首先要将每个深度图像中每个像素的深度信息转化成统一化深度信息，统一化深度信息表示各个方位的各个被摄目标与某个基准位置的距离。深度信息转化为统一化深度信息后，方便应用处理器60根据统一化深度信息做深度图像的拼接。
具体地，选择一个基准坐标系，基准坐标系可以是以某一个方位的光接收器34或结构光摄像头24的图像坐标系作为基准坐标系，也可以是选择其他的坐标系作为基准坐标系。以图11为例，以xo-yo-zo坐标系为基准坐标系。图11所示的坐标系xa-ya-za为结构光摄像头24a的图像坐标系，坐标系xc-yc-zc为结构光摄像头24c的图像坐标系。应用处理器60根据坐标系xa-ya-za与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将对应的深度图像中每个像素的深度信息转换为统一化深度信息，根据坐标系xc-yc-zc与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将对应的深度图像中每个像素的深度信息转换为统一化深度信息。
深度信息转化完成后，各个深度图像位于一个统一的基准坐标系下，每个深度图像的一个像素点对应一个坐标(xo，yo，zo)，那么可以通过坐标匹配做深度图像的拼接。例如，在不同深度图像中的两个像素点的坐标相同时，则说明这两个像素点实际上为同一个点，在拼接深度图像时，这两个像素点重合。如此，应用处理器60即可通过坐标的匹配关系进行多个深度图像的拼接，并得到360度的全景深度图像。
需要说明的是，基于坐标的匹配关系进行深度图像的拼接要求深度图像的分辨率需要大于一个预设分辨率。可以理解，如果深度图像的分辨率较低，则坐标(xo，yo，zo)的精确度也会相对较低，此时，直接根据坐标进行匹配，可能出现两个深度图像的同一个像素点没有重合，而是相差一个偏移量offset，且offset的值超过误差界限值的问题。如果图像的分辨率较高，则坐标(xo，yo，zo)的精确度也会相对较高，此时，直接根据坐标进行匹配，即使两个深度图像的同一个像素点没有重合，相差一个偏移量offset，但offset的值也会小于误差界限值，即处于误差允许的范围内，不会对深度图像的拼接造成太大影响。
可以理解，后续实施方式均可采用上述方式将两个或两个以上的深度图像进行拼接或合成，不再一一说明。
应用处理器60还可以将传输的飞行时间深度图像、结构光深度图像与对应的多个可见光图像合成为360度的三维场景图像，以进行显示供用户观看。例如，可以将同个方位的飞行时间深度图像、结构光深度图像和可见光深度图像合成为初始三维场景图像，再将各个方位的初始三维场景图像合成为三维场景图像。又例如，可以将飞行时间深度图像和结构光深度图像合成为全景深度图像，将多个可见光图像合成为全景可见光图像；再将全景深度图像与全景可见光图像合成为三维场景图像。
请参阅图12，在一个实施例中，应用处理器60用于根据传输的飞行时间深度图像、结构光深度图像和摄像头组件40采集的场景图像识别被摄目标。
具体地，当场景图像为红外光图像时，应用处理器60可以根据各个方位的飞行时间深度图像、结构光深度图像和红外光图像识别被摄物体。当场景图像为可见光图像时，应用处理器60分别根据各个方位的飞行时间深度图像、结构光深度图像和可见光图像识别被摄物体。
当识别被摄目标为进行人脸识别时，应用处理器60采用红外光图像作为场景图像进行人脸识别准确性更高。应用处理器60根据飞行时间深度图像、结构光深度图像和红外光图像进行人脸识别的过程可如下：
首先，根据红外光图像进行人脸检测确定目标人脸区域。由于红外光图像包括有场景的细节信息，在获取到红外光图像之后，可以根据红外光图像进行人脸检测，从而检测出红外光图像中是否包含人脸。若红外光图像中包含人脸，则提取红外光图像中人脸所在的目标人脸区域。
然后，根据飞行时间深度图像和结构光深度图像对目标人脸区域进行活体检测处理。在目标人脸区域的深度大于预设深度时，采用飞行时间深度图像对目标人脸区域进行活体检测处理；在目标人脸区域的深度小于预设深度时，采用结构光深度图像对目标人脸区域进行活体检测处理，如此，不管目标人脸区域的深度是大还是小，都能采用精度更高的深度图像的深度信息进行活体检测处理。由于对应的深度图像中包括有红外光图像的深度信息，因此，可以根据对应的深度图像获取目标人脸区域的深度信息。进一步地，由于活体人脸是立体的，而例如图片、屏幕等显示的人脸则是平面的，因此，可以根据获取的目标人脸区域的深度信息判断目标人脸区域是立体还是平面的，从而对目标人脸区域进行活体检测。
若活体检测成功，则获取目标人脸区域对应的目标人脸属性参数，并根据目标人脸属性参数对红外光图像中的目标人脸区域进行人脸匹配处理，得到人脸匹配结果。目标人脸属性参数是指可以表征目标人脸的属性的参数，根据目标人脸属性参数可以对目标人脸进行识别和匹配处理。目标人脸属性参数包括但不限于为人脸偏转角度、人脸亮度参数、五官参数、肤质参数、几何特征参数等。电子设备100可以预先存储用于匹配的人脸属性参数。在获取到目标人脸属性参数之后，就可以将目标人脸属性参数与预先存储的人脸属性参数进行比较。若目标人脸属性参数与预先存储的人脸属性参数匹配，则人脸识别通过。
需要指出的是，应用处理器60根据飞行时间深度图像、结构光深度图像和红外光图像进行人脸识别的具体过程并不限于此，例如应用处理器60还可以根据飞行时间深度图像、结构光深度图像辅助检测人脸轮廓，以提高人脸识别精度等。应用处理器60根据飞行时间深度图像、结构光深度图像和可见光图像进行人脸识别的过程与应用处理器60根据飞行时间深度图像、结构光深度图像和红外光图像进行人脸识别的过程类似，在此不再另行阐述。
请参阅图12和图13，应用处理器60还用于在根据传输的飞行时间深度图像、结构光深度图像和场景图像识别被摄目标失败时，根据远距离目标和近距离目标将传输的飞行时间深度图像、结构光深度图像合成为一帧合并深度图像，将多个场景图像合成为一帧合并场景图像，并根据合并深度图像和合并场景图像识别被摄目标。
具体地，图12和图13所示的实施例中，由于同一方位的飞行时间组件30和结构光组件20的视场角有限，可能存在人脸的一半位于其中一个方位对应的深度图像P1、另一半位于另一个方位对应的深度图像P2的情形，应用处理器60将深度图像P1和深度图像P2合成为一帧合并深度图像P12，并对应将多个红外光图像(或多个可见光图像)合成为一帧合并场景图像，以重新根据合并深度图像P12和合并场景图像识别被摄目标。
请参阅图14和图15，在一个实施例中，应用处理器60用于根据传输的飞行时间深度图像和结构光深度图像判断被摄目标与电子设备100之间的距离变化。
具体地，每个方位的飞行时间组件30和结构光组件20可以多次工作以得到同个方位的多个深度图像。例如，在第一时刻t1时，其中一个方位d1的深度获取组件(飞行时间组件30和/或结构光组件20)获取深度图像P11，在第二时刻t2时，该方位d1的深度获取组件获取深度图像P12；在第一时刻t1时，另外一个方位d2的深度获取组件获取深度图像P21，在第二时刻t2时，该方位d2的深度获取组件获取深度图像P22。然后，应用处理器60可以根据深度图像P11和P12判断方位d1的被摄目标与电子设备100之间的距离变化，根据深度图像P21和P22判断方位d2的被摄目标与电子设备100之间的距离变化。可以理解，由于深度图像中包括有被摄目标的深度信息，因此，应用处理器60可以根据多个连续时刻的深度信息变化判断对应方位的被摄目标与电子设备100之间的距离变化。
请参阅图16，应用处理器60还用于在根据传输的飞行时间深度图像和结构光深度图像判断距离变化失败时，根据远距离目标和近距离目标将传输的各个方位的飞行时间深度图像和结构光深度图像合成为一帧合并深度图像，应用处理器60连续执行合成步骤以得到多帧连续的合并深度图像，并根据多帧合并深度图像判断距离变化。
具体地，图16所示的实施例中，由于同一方位的飞行时间组件30和结构光组件20的视场角有限，可能存在人脸的一半位于其中一个方位对应的深度图像P11中、另一半位于另一个方位对应的深度图像P21中的情形，应用处理器60将深度图像P11和P21合成为一帧合并深度图像P121，并对应将深度图像P12和P22合成为一帧合并深度图像P122，然后根据合并后的这两帧合并深度图像P121和P122重新判断距离变化。
请参阅图15，当根据多个深度图像判断距离变化为距离减小时，或者根据多帧合并深度图像判断距离变化为距离减小时，应用处理器60会提高从微处理器50传输的飞行时间深度图像和结构光深度图像中采集用以判断距离变化的深度图像的帧率。其中，在判断距离变化为距离减小时，可以采用结构光组件20获取的结构光深度图像进行距离变化的跟踪，由于结构光组件20在被摄目标的距离较近时(小于预设深度)的精度较高，因此能够更准确地获知被摄目标的距离变化。
可以理解，当被摄目标与电子设备100之间的距离减小时，电子设备100无法预判该距离减小是否存在危险性，因此，应用处理器60可提高从至少一个微处理器50传输的多个深度图像中采集用以判断距离变化的深度图像的帧率，以更加密切的关注该距离变化。具体地，当判断某一个方位对应的距离减小时，应用处理器60可提高从微处理器50传输的该方位的多个深度图像中采集用以判断距离变化的深度图像的帧率。
例如，微处理器50依次获得某个方位的多个深度图像Pa、Pb、Pc、Pd，在正常情况下，应用处理器选取Pa和Pd判断该方位的被摄目标与电子设备100之间的距离变化，应用处理器60在该方位采集深度图像的帧率为每间隔两帧采集一帧，即每三帧选取一帧。当该方位的被摄目标与电子设备100之间的距离减小时，应用处理器60可以选取Pa和Pc判断该方位的被摄目标与电子设备100之间的距离变化，应用处理器60在该方位采集深度图像的帧率变为每间隔一帧采集一帧，即每两帧选取一帧，此时其他方位的帧率可以保持不变，也可以跟随变化。
应用处理器60还可以在距离减小时，结合可见光图像或红外光图像来判断该距离变化。具体地，应用处理器60先根据可见光图像或红外光图像识别被摄目标，然后再根据多个时刻的深度图像判断距离变化，从而针对不同的被摄目标与不同的距离控制电子设备100执行不同的操作。或者，在距离减小时，微处理器50控制提高对应的结构光组件20和飞行时间组件30的工作频率等。
请参阅图17，在某些实施方式中，结构光组件20和飞行时间组件30设置在本体10上。电子设备100包括至少一个结构光组件20和至少一个飞行时间组件30，结构光组件20和飞行时间组件30位于本体10的不同方位。在一个实施例中，本体10的一个方位只设置一个结构光组件20或一个飞行时间组件30，例如第一方位设置一个结构光组件20、第三方位设置一个飞行时间组件30。结构光组件20的结构光投射器22和结构光摄像头24的视场角、飞行时间组件30的光发射器32和光接收器34的视场角可以设置为80度～200度中的任意值，例如80度～90度中的任意值、80度～120度中的任意值、180度～200度中的任意值等，其中，一个结构光组件20可以包括一个或两个结构光投射器22和一个结构光摄像头24，一个飞行时间组件30可以包括一个或两个光发射器32和一个光接收器34。利用结构光组件20获取结构光深度图像，由于结构光组件20对于近景具有良好的深度获取能力，因此，例如将结构光组件20设置在电子设备100的前置摄像头中，结构光组件20可以用于辅助用户自拍(自拍时一般用户距离电子设备100较近)；利用飞行时间组件30获取飞行时间深度图像，由于飞行时间组件30对于远景具有良好的深度获取能力，因此，例如将飞行时间组件30设置在电子设备100的后置摄像头中，飞行时间组件30可以用于辅助用户拍摄物体(用户采用后置摄像头拍摄物体时，一般物体离电子设备100较远)。在某些实施方式中，结构光组件20和飞行时间组件30的视场角不相互交叠，例如结构光投射器22、结构光摄像头24、光发射器32和光接收器34的视场角均为90度，此时，结构光组件20和飞行时间组件30可以同时启动，从而获得不同方位的结构光深度图像和飞行时间深度图像。结构光深度图像和飞行时间深度图像可以进行融合以形成全景深度图像。
需要说明的是，本实施方式的电子设备100还可以作为一个外置终端，固定安装或可拆卸安装在例如手机、平板电脑、笔记本电脑等便携式电子装置上使用外，还可固定安装在车辆本体(如图13和图14所示)、无人机机身、机器人本体或船舶本体等可移动物体上使用。具体使用时，当电子设备100如前所述根据多个深度图像合成为一帧全景深度图像，全景深度图像可以用于三维建模、即时定位与地图构建(simultaneous localization andmapping，SLAM)、增强现实显示。当电子设备100如前所述识别被摄目标时，则可应用于便携式电子装置的人脸识别解锁、支付，或应用于机器人、车辆、无人机、船舶等的避障。当电子设备100如前所述判断被摄目标与电子设备100之间的距离变化时，则可应用于机器人、车辆、无人机、船舶等自动行驶、物体追踪等。
请参阅图1和图18，本申请实施方式还提供一种移动平台300。移动平台300包括本体10和设置在本体10上的结构光组件20和飞行时间组件30。结构光组件20包括结构光投射器22和结构光摄像头24。结构光投射器22用于向本体10外投射激光图案，结构光摄像头24用于采集被摄目标反射的结构光投射器22投射的激光图案。飞行时间组件30包括光发射器32和光接收器34。光发射器32用于向本体10外发射激光脉冲，光接收器34用于接收被摄目标反射的光发射器32发射的激光脉冲。结构光组件20和飞行时间组件30用于获取全景深度图像。
具体地，本体10可以为车辆本体、无人机机身、机器人本体或船舶本体。
请参阅图18，当本体10为车辆本体时，结构光组件20和飞行时间组件30的数量可以均为多个，例如均为两个，两个结构光组件20分别安装在车辆本体的两侧，两个飞行时间组件30分别安装在车辆本体的两侧，例如，车头和车尾，或者，安装在车身左侧和车身右侧。车辆本体可以带动两个结构光组件20和两个飞行时间组件30在道路上移动，构建行进路线上的360度全景深度图像，以作为参考地图等；或者获取两个不同方位的深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制车辆本体加速、减速、停车、绕行等，实现无人驾驶避障，例如，在车辆在道路上移动时，若识别到被摄目标与车辆的距离减小且被摄目标为道路上的凹坑，则车辆以第一加速度减速，若识别到被摄目标与车辆的距离减小且被摄目标为人，则车辆以第二加速度减速，其中第一加速度的绝对值小于第二加速度的绝对值。如此，在距离减小时根据不同的被摄目标执行不同的操作，可以使得车辆更加智能化。
请参阅图19，在另一个实施例中，当本体10为车辆本体时，结构光组件20和飞行时间组件30的数量均为一个，其中结构光组件20可以设置在车辆的尾部，例如通过结构光组件20辅助倒车或判断后面车辆的靠近以防追尾(倒车或追尾时，外部物体距离车辆的尾部较近，由于结构光组件20对于近景具有良好的深度获取能力，此时获取的深度信息精度更高)；飞行时间组件30可以设置在车辆的头部，例如通过飞行时间组件30判断前面车辆的距离以对当前车辆进行自动控制(正常驾驶情况下，当前车辆与前面车辆的距离较远，由于飞行时间组件30对于远景具有良好的深度获取能力，此时获取的深度信息精度更高)。
请参阅图20，当本体10为无人机机身时，结构光组件20和飞行时间组件30的数量可以均为多个，例如均为两个，两个结构光组件20分别安装在无人机机身的相对的两侧，两个飞行时间组件30分别安装在无人机机身的相对的两侧，如前、后两侧或左、右两侧等，或者安装在无人机机身上搭载的云台的相对的两侧。无人机机身可以带动多个结构光组件20和飞行时间组件30在空中飞行，以进行航拍、巡检等，无人机可将获取的全景深度图像传回给地面控制端，也可直接进行SLAM。多个结构光组件20和飞行时间组件30可实现无人机加速、减速、停止、避障、物体追踪。
请参阅图21，当本体10为机器人本体时，例如扫地机器人，结构光组件20和飞行时间组件30的数量可以均为多个，例如均为两个，两个结构光组件20分别安装在机器人本体的相对两侧，两个飞行时间组件30分别安装在机器人本体的相对两侧。机器人本体可以带动多个结构光组件20和飞行时间组件30在家中运动，获取多个不同方位的深度图像，以识别被摄目标、判断被摄目标与移动平台300之间的距离变化，从而控制机器人本体运动，实现机器人清除垃圾、避障等。
请参阅图22，当本体10为船舶本体时，结构光组件20和飞行时间组件30的数量可以均为多个，例如均为两个，两个结构光组件20分别安装在船舶本体的相对的两侧，两个飞行时间组件30分别安装在船舶本体的相对的两侧。船舶本体可以带动多个结构光组件20和飞行时间组件30运动，获取多个不同方位的深度图像，从而在恶劣环境(例如起雾环境下)准确地识别被摄目标、判断被摄目标与移动平台300之间的距离变化，提高海上航行的安全性等。
本申请实施方式的移动平台300为能够独立移动的平台，结构光组件20和飞行时间组件30安装在移动平台300的本体10上，以获取全景深度图像。而本申请实施方式的电子设备100本身一般不能够独立移动，电子设备100可进一步搭载于类似于移动平台300等能够移动的装置上，从而帮助该装置获取全景深度图像。
需要指出的是，上述对电子设备100的本体10、结构光组件20、飞行时间组件30、摄像头组件40、微处理器50和应用处理器60的解释说明同样适用于本申请实施方式的移动平台300，在此不再重复说明。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
Claims (16)
1.一种电子设备，其特征在于，所述电子设备包括：
本体；和
设置在所述本体上的结构光组件和飞行时间组件；所述结构光组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的所述结构光投射器投射的所述激光图案；所述飞行时间组件包括光发射器和光接收器，所述光发射器用于向所述本体外发射激光脉冲，所述光接收器用于接收被摄目标反射的所述光发射器发射的所述激光脉冲；
所述结构光组件和所述飞行时间组件用于获取全景深度图像。
2.根据权利要求1所述的电子设备，其特征在于，所述电子设备包括多个所述结构光组件和多个所述飞行时间组件，多个所述结构光组件分别位于所述本体的多个不同方位，每个所述飞行时间组件与一个所述结构光组件对应。
3.根据权利要求2所述的电子设备，其特征在于，所述电子设备包括四个所述结构光组件和四个所述飞行时间组件，每个所述结构光投射器、每个所述结构光摄像头、每个所述光发射器及每个所述光接收器的视场角均为80度～120度中的任意值。
4.根据权利要求2所述的电子设备，其特征在于，所述电子设备包括两个所述结构光组件和两个所述飞行时间组件，每个所述结构光投射器、每个所述结构光摄像头、每个所述光发射器及每个所述光接收器的视场角均为180度～200度中的任意值。
5.根据权利要求2所述的电子设备，其特征在于，所述电子设备包括两个所述结构光组件和两个所述飞行时间组件，每个所述结构光组件包括两个所述结构光投射器和一个所述结构光摄像头，每个所述飞行时间组件包括两个所述光发射器和一个所述光接收器，每个所述结构光投射器及每个所述光发射器的视场角均为80度～120度中的任意值，每个所述结构光摄像头及每个所述光接收器的视场角均为180度～200度中的任意值。
6.根据权利要求2至5中任意一项所述的电子设备，其特征在于，所述电子设备还包括应用处理器及微处理器，所述微处理器与所述应用处理器连接，所述微处理器用于根据所述飞行时间组件的所述光发射器发射的所述激光脉冲及所述光接收器接收的所述激光脉冲得到飞行时间深度图像、根据所述飞行时间深度图像将被摄目标划分为深度大于预设深度的远距离目标和深度小于预设深度的近距离目标、在存在所述远距离目标时将对应的所述飞行时间深度图像传输至所述应用处理器、在存在所述近距离目标时启动对应的所述结构光组件以获取结构光深度图像并将所述结构光深度图像传输至所述应用处理器。
7.根据权利要求6所述的电子设备，其特征在于，所述应用处理器用于根据所述远距离目标和所述近距离目标将传输的所述飞行时间深度图像和所述结构光深度图像合成为一帧所述全景深度图像。
8.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括设置在所述本体上的多个摄像头组件，每个所述摄像头组件与一个所述结构光组件对应，多个所述摄像头组件均与所述应用处理器连接，每个所述摄像头组件用于采集被摄目标的场景图像并传输至所述应用处理器；
所述应用处理器用于根据传输的所述飞行时间深度图像、所述结构光深度图像和所述场景图像识别被摄目标。
9.根据权利要求8所述的电子设备，其特征在于，所述应用处理器还用于在根据传输的所述飞行时间深度图像、所述结构光深度图像和所述场景图像识别被摄目标失败时，根据所述远距离目标和所述近距离目标将传输的所述飞行时间深度图像和所述结构光深度图像合成为一帧合并深度图像，将多个所述场景图像合成为一帧合并场景图像，并根据所述合并深度图像和所述合并场景图像识别被摄目标。
10.根据权利要求6所述的电子设备，其特征在于，所述应用处理器用于根据传输的所述飞行时间深度图像和所述结构光深度图像判断被摄目标与所述电子设备之间的距离变化。
11.根据权利要求10所述的电子设备，其特征在于，所述应用处理器还用于在根据传输的所述飞行时间深度图像和所述结构光深度图像判断被摄目标与所述电子设备之间的距离变化失败时，根据所述远距离目标和所述近距离目标将传输的所述飞行时间深度图像和所述结构光深度图像合成为一帧合并深度图像，所述应用处理器连续执行合成步骤以得到多帧连续的所述合并深度图像，并根据多帧所述合并深度图像判断所述距离变化。
12.根据权利要求10所述的电子设备，其特征在于，所述应用处理器还用于在判断所述距离变化为距离减小时，提高从所述微处理器传输的所述飞行时间深度图像和所述结构光深度图像中采集用以判断所述距离变化的所述飞行时间深度图像和所述结构光深度图像的帧率。
13.根据权利要求1所述的电子设备，其特征在于，所述电子设备包括至少一个所述结构光组件和至少一个所述飞行时间组件，所述结构光组件和所述飞行时间组件位于所述本体的不同方位。
14.根据权利要求13所述的电子设备，其特征在于，所述结构光组件用于获取结构光深度图像，所述飞行时间组件用于获取飞行时间深度图像，所述结构光图像和所述飞行时间深度图像用于共同形成所述全景深度图像。
15.一种移动平台，其特征在于，所述移动平台包括：
本体；和
设置在所述本体上的结构光组件和飞行时间组件；所述结构光组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述本体外投射激光图案，所述结构光摄像头用于采集被摄目标反射的所述结构光投射器投射的所述激光图案；所述飞行时间组件包括光发射器和光接收器，所述光发射器用于向所述本体外发射激光脉冲，所述光接收器用于接收被摄目标反射的所述光发射器发射的所述激光脉冲；
所述结构光组件和所述飞行时间组件用于获取全景深度图像。
16.根据权利要求15所述的移动平台，其特征在于，所述本体为车辆本体、无人机机身、机器人本体或船舶本体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910246326.5A CN109862275A (zh) | 2019-03-28 | 2019-03-28 | 电子设备和移动平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910246326.5A CN109862275A (zh) | 2019-03-28 | 2019-03-28 | 电子设备和移动平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109862275A true CN109862275A (zh) | 2019-06-07 |
Family
ID=66902379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910246326.5A Pending CN109862275A (zh) | 2019-03-28 | 2019-03-28 | 电子设备和移动平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109862275A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223380A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 融合航拍与地面视角图像的场景建模方法、系统、装置 |
| CN110596720A (zh) * | 2019-08-19 | 2019-12-20 | 深圳奥锐达科技有限公司 | 距离测量系统 |
| CN110855997A (zh) * | 2019-11-06 | 2020-02-28 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN111031278A (zh) * | 2019-11-25 | 2020-04-17 | 广州恒龙信息技术有限公司 | 一种基于结构光和tof的监控方法和系统 |
| CN111654606A (zh) * | 2020-06-04 | 2020-09-11 | 小狗电器互联网科技（北京）股份有限公司 | 结构光装置 |
| CN111722240A (zh) * | 2020-06-29 | 2020-09-29 | 维沃移动通信有限公司 | 电子设备、对象跟踪方法及装置 |
| CN112068144A (zh) * | 2019-06-11 | 2020-12-11 | 深圳市光鉴科技有限公司 | 光投射系统及3d成像装置 |
| CN112066907A (zh) * | 2019-06-11 | 2020-12-11 | 深圳市光鉴科技有限公司 | 深度成像装置 |
| CN112101065A (zh) * | 2019-06-17 | 2020-12-18 | 北京七鑫易维科技有限公司 | 一种基于激光器的眼球追踪方法以及终端设备 |
| CN116320746A (zh) * | 2023-05-16 | 2023-06-23 | 武汉昊一源科技有限公司 | Tof对焦装置、对焦方法及拍摄设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136358A1 (en) * | 2011-11-29 | 2013-05-30 | Microsoft Corporation | Foreground subject detection |
| US20140211193A1 (en) * | 2012-09-24 | 2014-07-31 | Alces Technology, Inc. | Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator |
| CN106461783A (zh) * | 2014-06-20 | 2017-02-22 | 高通股份有限公司 | 使用时间共享的自动的多个深度相机同步 |
| CN107263480A (zh) * | 2017-07-21 | 2017-10-20 | 深圳市萨斯智能科技有限公司 | 一种机器人操作方法和机器人 |
| CN107393011A (zh) * | 2017-06-07 | 2017-11-24 | 武汉科技大学 | 一种基于多结构光视觉技术的快速三维虚拟试衣系统和方法 |
| US20180139431A1 (en) * | 2012-02-24 | 2018-05-17 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
| CN108200315A (zh) * | 2017-12-29 | 2018-06-22 | 合肥泰禾光电科技股份有限公司 | 一种深度相机及深度相机系统 |
| CN108471487A (zh) * | 2017-02-23 | 2018-08-31 | 钰立微电子股份有限公司 | 产生全景深度图像的图像装置及相关图像装置 |
| CN108632597A (zh) * | 2018-05-06 | 2018-10-09 | Oppo广东移动通信有限公司 | 三维视频通信方法及系统、电子装置和可读存储介质 |
| CN108769649A (zh) * | 2018-06-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
| CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
| CN109360150A (zh) * | 2018-09-27 | 2019-02-19 | 轻客小觅智能科技（北京）有限公司 | 一种基于深度相机的全景深度图的拼接方法及装置 |
-
2019
- 2019-03-28 CN CN201910246326.5A patent/CN109862275A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136358A1 (en) * | 2011-11-29 | 2013-05-30 | Microsoft Corporation | Foreground subject detection |
| US20180139431A1 (en) * | 2012-02-24 | 2018-05-17 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
| US20140211193A1 (en) * | 2012-09-24 | 2014-07-31 | Alces Technology, Inc. | Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator |
| CN106461783A (zh) * | 2014-06-20 | 2017-02-22 | 高通股份有限公司 | 使用时间共享的自动的多个深度相机同步 |
| CN108471487A (zh) * | 2017-02-23 | 2018-08-31 | 钰立微电子股份有限公司 | 产生全景深度图像的图像装置及相关图像装置 |
| CN107393011A (zh) * | 2017-06-07 | 2017-11-24 | 武汉科技大学 | 一种基于多结构光视觉技术的快速三维虚拟试衣系统和方法 |
| CN107263480A (zh) * | 2017-07-21 | 2017-10-20 | 深圳市萨斯智能科技有限公司 | 一种机器人操作方法和机器人 |
| CN108200315A (zh) * | 2017-12-29 | 2018-06-22 | 合肥泰禾光电科技股份有限公司 | 一种深度相机及深度相机系统 |
| CN108632597A (zh) * | 2018-05-06 | 2018-10-09 | Oppo广东移动通信有限公司 | 三维视频通信方法及系统、电子装置和可读存储介质 |
| CN108769649A (zh) * | 2018-06-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
| CN109360150A (zh) * | 2018-09-27 | 2019-02-19 | 轻客小觅智能科技（北京）有限公司 | 一种基于深度相机的全景深度图的拼接方法及装置 |
| CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223380B (zh) * | 2019-06-11 | 2021-04-23 | 中国科学院自动化研究所 | 融合航拍与地面视角图像的场景建模方法、系统、装置 |
| CN112066907A (zh) * | 2019-06-11 | 2020-12-11 | 深圳市光鉴科技有限公司 | 深度成像装置 |
| CN112066907B (zh) * | 2019-06-11 | 2022-12-23 | 深圳市光鉴科技有限公司 | 深度成像装置 |
| CN110223380A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 融合航拍与地面视角图像的场景建模方法、系统、装置 |
| CN112068144A (zh) * | 2019-06-11 | 2020-12-11 | 深圳市光鉴科技有限公司 | 光投射系统及3d成像装置 |
| CN112101065A (zh) * | 2019-06-17 | 2020-12-18 | 北京七鑫易维科技有限公司 | 一种基于激光器的眼球追踪方法以及终端设备 |
| CN110596720A (zh) * | 2019-08-19 | 2019-12-20 | 深圳奥锐达科技有限公司 | 距离测量系统 |
| CN110855997A (zh) * | 2019-11-06 | 2020-02-28 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN110855997B (zh) * | 2019-11-06 | 2023-03-28 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN111031278A (zh) * | 2019-11-25 | 2020-04-17 | 广州恒龙信息技术有限公司 | 一种基于结构光和tof的监控方法和系统 |
| CN111654606A (zh) * | 2020-06-04 | 2020-09-11 | 小狗电器互联网科技（北京）股份有限公司 | 结构光装置 |
| CN111654606B (zh) * | 2020-06-04 | 2024-04-09 | 北京小狗吸尘器集团股份有限公司 | 结构光装置 |
| CN111722240A (zh) * | 2020-06-29 | 2020-09-29 | 维沃移动通信有限公司 | 电子设备、对象跟踪方法及装置 |
| CN111722240B (zh) * | 2020-06-29 | 2023-07-21 | 维沃移动通信有限公司 | 电子设备、对象跟踪方法及装置 |
| CN116320746A (zh) * | 2023-05-16 | 2023-06-23 | 武汉昊一源科技有限公司 | Tof对焦装置、对焦方法及拍摄设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109862275A (zh) | 电子设备和移动平台 | |
| CN110572630B (zh) | 三维图像拍摄系统、方法、装置、设备以及存储介质 | |
| CN108027441A (zh) | 混合模式深度检测 | |
| CN109831660A (zh) | 深度图像获取方法、深度图像获取模组及电子设备 | |
| CN109618108A (zh) | 电子设备和移动平台 | |
| JP7376618B2 (ja) | 電子機器の制御方法及び電子機器 | |
| US11999480B2 (en) | Flight control system for unmanned aerial vehicle and topography measuring system | |
| CN107783353A (zh) | 用于捕捉立体影像的装置及系统 | |
| CN108399596A (zh) | 深度图像引擎及深度图像计算方法 | |
| US11763425B2 (en) | High resolution time-of-flight depth imaging | |
| CN109688400A (zh) | 电子设备和移动平台 | |
| US20240179416A1 (en) | Systems and methods for capturing and generating panoramic three-dimensional models and images | |
| US20240127566A1 (en) | Photography apparatus and method, electronic device, and storage medium | |
| CN109660731B (zh) | 电子设备和移动平台 | |
| CN109587304B (zh) | 电子设备和移动平台 | |
| CN109788172A (zh) | 电子设备和移动平台 | |
| CN109803089A (zh) | 电子设备和移动平台 | |
| CN109618085A (zh) | 电子设备和移动平台 | |
| CN109587303B (zh) | 电子设备和移动平台 | |
| CN109788195B (zh) | 电子设备和移动平台 | |
| CN109660733B (zh) | 电子设备和移动平台 | |
| CN110012280A (zh) | 用于vslam系统的tof模组及vslam计算方法 | |
| US20220046177A1 (en) | Control device, camera device, movable object, control method, and program | |
| CN109756660A (zh) | 电子设备和移动平台 | |
| CN109788196B (zh) | 电子设备和移动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |