CN108769649A - 深度处理器和三维图像设备 - Google Patents

Abstract

本发明公开一种深度处理器和三维图像设备。深度处理器包括至少两个用于接收第一图像的输入端口、用于供来自输入端口的部分或全部第一图像通过的输入开关器、用于对经输入开关器输出的第一图像进行处理以输出第二图像的数据处理引擎和至少一个用于将第二图像输出至主体设备的输出端口。输入开关器与输入端口连接。数据处理引擎与输入开关器连接。输出端口与数据处理引擎连接。第一图像至少包括由结构光深度相机采集的结构光图像以及由飞行时间深度相机采集的飞行时间图像。第二图像至少包括结构光深度图像和飞行时间深度图像。本发明实施方式的深度处理器可连接多种外围设备，并针对多种输入数据进行处理，有较高的集成度和普适性。

Description

深度处理器和三维图像设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种深度处理器和三维图像设备。

背景技术

深度相机可以获取场景中各物体的深度信息。现有的深度相机包括结构光深度相机、飞行时间深度相机以及双目立体视觉深度相机等。在不同的设备以及应用场景中，对深度相机的性能要求也不相同，往往需要根据具体应用进行专门定制，如此导致深度相机的普适性较低。另外，目前多数设备仅装设一种深度相机，不能适应场景的变化，影响深度信息的获取精度。

发明内容

本发明的实施例提供了一种深度处理器和三维图像设备。

本发明实施方式的深度处理器包括至少两个输入端口、输入开关器、数据处理引擎和至少一个输出端口。所述输入端口用于接收第一图像，所述第一图像至少包括由结构光深度相机采集的结构光图像以及由飞行时间深度相机采集的飞行时间图像。所述输入开关器与所述输入端口连接，用于供来自所述输入端口的部分或全部第一图像通过。所述数据处理引擎与所述输入开关器连接，用于对经由所述输入开关器输出的第一图像进行处理以输出第二图像，所述第二图像至少包括深度图像，所述深度图像至少包括结构光深度图像和飞行时间深度图像。所述输出端口与所述数据处理引擎连接，用于将所述第二图像输出至主体设备。

本发明实施方式的三维图像设备包括上述的深度处理器、结构光深度相机和飞行时间深度相机。所述结构光深度相机包括第一投射器和第一图像采集器，所述第一图像采集器用于采集由所述第一投射器投射到目标空间中的结构光图像。所述飞行时间深度相机包括第二投射器和第二图像采集器，所述第二图像采集器用于接收所述第二投射器投射到目标空间且被目标空间中的物体反射回的红外光。

本发明实施方式的深度处理器和三维图像设备，深度处理器可以连接多种类型的外围设备，并且可以针对多种外围设备的输入数据进行处理，具有较高的集成度和普适性，可以适用于多种不同类型的三维图像设备以及各种应用场景。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的深度处理器的原理框图。

图2是本发明某些实施方式的基于飞行时间获取深度信息的原理示意图。

图3是本发明某些实施方式的深度处理器的细节结构图。

图4是本发明某些实施方式的三维图像设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种深度处理器100。深度处理器100包括输入端口10、输入开关器20、数据处理引擎30和输出端口50，输入端口10与输入开关器20连接，输入开关器20与数据处理引擎30连接，数据处理引擎30与输出端口50连接。

其中，输入端口10的个数为多个，例如，可以为2个、3个、4个、5个、7个、10个等等。每个输入端口10可与一个外围设备连接，以接收外围设备采集的数据。例如，在本发明的具体实施例中，输入端口10与外围设备连接以接收外围设备采集的第一图像，第一图像包括结构光图像和飞行时间图像。

具体地，一个外围设备是结构光深度相机210，结构光深度相机210由第一投射器211和第一图像采集器212组成。第一投射器211向目标空间中投射结构光图案(例如，红外激光图案等)，投射出去的结构光图案会被目标空间中的物体调制，第一图像采集器212(例如，红外摄像头等)拍摄经物体调制后的结构光图像。第一图像采集器212与第一输入端口11连接，第一输入端口11接收第一图像采集器212采集的结构光图像。结构光图像经由第一输入端口11传输到数据处理引擎30中进行处理。数据处理引擎30包括结构光深度处理引擎31，结构光深度处理引擎31根据结构光图像和参考图像计算结构光深度图像(即第二图像包括结构光深度图像)。其中，参考图像由第一图像采集器212采集，第一投射器211向已知距离的平面上投射结构光图案，第一图像采集器212采集由已知距离的平面调制的结构光图案，如此，采集得到参考图像并存储在存储器70中。存储器70为非易失性存储器70(例如，闪存等)。存储器70可以被包含在深度处理器100中，也可以作为外围设备通过存储接口71与深度处理器100连接。存储器70作为外围设备时，可以通过输入开关器20与数据处理引擎30连接，此时参考图像经由输入开关器20传输到数据处理引擎30中，或者也可不通过输入开关器20直接与数据处理引擎30连接，此时参考图像直接传输到数据处理引擎30中。由于结构光图像与参考图像对应的各像素之间存在横向偏移，因此，结构光深度处理引擎31接收由输入开关器20传送的结构光图像，并利用参考图像读取器90从存储器70中读取参考图像，再将结构光图像和参考图像进行偏移量的计算以计算出结构光图像中各像素对应的空间点距离结构光深度相机210的深度信息，最终得到结构光深度图像。

一个外围设备是飞行时间深度相机220。飞行时间深度相机220由第二投射器221和第二图像采集器222组成。飞行时间深度相机220通过探测光脉冲的飞行(往返)时间来得到目标空间中的物体与飞行时间深度相机220的距离。飞行时间深度相机220获取距离的方式通常包括直接获取和间接获取两种方式。直接获取方式下，第二投射器221向目标空间中发射红外光，第二投射器221向目标空间中发射红外光的发射时间点会被记录，第二图像采集器222在发射时间点同步开启以接收由目标空间中的物体反射回的红外光，第二图像采集器222接收到物体反射回的红外光的接收时间点也会被记录。根据发射时间点和接收时间点之间的时间差即可计算出目标空间中的物体与飞行时间深度相机220的距离。间接获取方式下，第二投射器221向目标空间中发射方波脉冲调制的红外光，第二图像采集器222采集一个或多个完整的脉冲周期下的红外光。其中，第二图像采集器222中的每个像素都由一个感光器件组成，感光器件可以将接收到的红外光转换为电流。感光器件连接着多个高频开关，可以把电流导入不同的可以存储电荷的电容里，如此，通过控制高频开关的开启和关闭，将接收到的一个或多个完整的脉冲周期下的红外光分为两个部分，根据这两个部分的红外光对应的电流即可算出物体与飞行时间深度相机220的距离，例如，如图2所示，由两个部分的红外光积累的电荷量分别为Q1和Q2，一个脉冲的周期为T，则红外光在目标空间中的传播时间则对应的距离其中，c为光速。在本发明的具体实施例中，采用间接获取的方式计算上述距离。第二图像采集器222将接收到的红外光生成电流信号输出形成飞行时间图像，其中，飞行时间图像中的每一个像素都包含两部分的电流数据。第二图像采集器222与第二输入端口12连接，第二输入端口12接收第二图像采集器222采集的飞行时间图像。数据处理引擎30还包括飞行时间深度处理引擎32。飞行时间深度处理引擎32从第二输入端口12接收飞行时间图像，再根据飞行时间图像计算出物体与飞行时间深度相机220的距离，从而得到飞行时间深度图像(即第二图像包括飞行时间深度图像)。

输出端口50的个数可以为一个或多个，例如，可以为1个、2个、3个、4个、5个、7个、10个等等。输出端口50为一个时，多种类型的第二图像可以分别输出，例如分别输出结构光深度图像和飞行时间深度图像。输出端口50为多个时，多种类型的第二图像可以同时输出。例如，第一输出端口51输出结构光深度图像，第二输出端口52输出飞行时间深度图像等。

本发明实施方式的深度处理器100可以连接多种类型的外围设备，并且可以针对多种外围设备的输入数据进行处理，具有较高的集成度和普适性，可以适用于多种不同类型的设备以及各种应用场景。例如，将本发明的深度处理器100装配在手机上时，深度处理器100可以同时连接结构光深度相机210和飞行时间深度相机220。由于结构光深度相机210对于近距离的深度信息的获取精度较高，飞行时间深度相机220对于远距离的深度信息的获取精度较高，则可以将结构光深度相机210作为前置设备进行三维人脸解锁等，可以将飞行时间深度相机220作为后置设备进行场景的三维建模等。此时，由于深度处理器100可以同时连接结构光深度相机210和飞行时间深度相机220，且可以同时处理结构光图像得到结构光深度图像、处理飞行时间图像得到飞行时间深度图像，就无需设置专门处理结构光图像的处理器以及专门处理飞行时间图像的处理器，提升了深度处理器100的集成度，减小了对手机的放置空间的占用。

请再参阅图1，在某些实施方式中，可见光相机230也可作为外围设备连接到深度处理器100。可见光相机230用于采集可见光图像。可见光相机230与第三输入端口13连接，可见光相机230采集的可见光图像经由第三输入端口13传输至数据处理引擎30。数据处理引擎30还包括可见光图像处理引擎33。可见光图像处理引擎33可以对可见光图像做去噪、格式转换等处理。进一步地，可见光图像处理引擎33还可以用于处理可见光图像以识别可见光图像中拍摄面积小于预设面积的物体。具体地，可见光图像处理引擎33采用边缘检测算法(例如，Sobel边缘检测算法、拉普拉斯算法、Canny边缘检测算法等)检测可见光图像中各物体的边缘，再基于闭合的边缘曲线计算各物体对应的拍摄面积的大小(可无需识别出物体的类别)。在拍摄面积小于预设面积时，说明该物体在目标空间中对应的体积也是较小的。此时，如果采用的是结构光深度相机210获取目标空间中的物体的深度信息，由于第一投射器211投射出的结构光图案是散斑图案，散斑图案投射到目标空间中后可能无法覆盖所有存在于目标空间中的物体(光斑之间存在空隙，尤其是体积较小的物体可能有部分区域恰好处在空隙中，该部分区域就不会被光斑照射到，甚至是较小物体恰好完全处在空隙中而不会被光斑照射到)，如此将会导致计算出的未被散斑图案覆盖到的物体的深度信息精度不高，甚至是完全检测不到其深度。因此，数据处理引擎30还包括修正引擎35，修正引擎35与结构光深度处理引擎31、飞行时间深度处理引擎32以及可见光图像处理引擎33均相连接。修正引擎35从可见光图像处理引擎33处获取可见光图像处理引擎33处理可见光图像得到的拍摄面积小于预设面积的物体对应的一个或多个像素，从结构光深度处理引擎31处获取结构光深度图像，从飞行时间深度处理引擎32处获取飞行时间深度图像，根据一个或多个像素和飞行时间深度图像对结构光深度图像中深度信息精度较低的像素进行深度信息的修正。具体地，修正引擎35首先对可见光图像、结构光深度图像和飞行时间深度图像三幅图像做对齐，使得可见光图像、结构光深度图像和飞行时间深度图像三幅图像具有相同的视场。随后，基于处理可见光图像中拍摄面积小于预设面积的物体得到的一个或多个像素(此处称为第一像素)，在飞行时间深度图像中找到与这些第一像素一一对应的第二像素。随后，基于在飞行时间深度图像中的第二像素在结构光深度图像中找到与第二像素一一对应的第三像素，并利用第二像素的深度信息替换掉第三像素的深度信息以对结构光深度图像做深度信息修正，从而提升结构光深度图像的深度信息的精确度。

请再参阅图1，在某些实施方式中，深度处理器100还包括连接于数据处理引擎30与输出端口50之间的输出开关器40。输出开关器40用于供全部或部分的第二图像通过以输出至主体设备。其中，主体设备可以是手机、平板电脑、笔记本电脑、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、虚拟现实设备等。第二图像包括结构光深度图像、飞行时间深度图像和可见光图像。输出开关器40根据主体设备的需求，可以单独输出结构光深度图像、单独输出飞行时间深度图像或单独输出可见光图像，也可同时输出结构光深度图像和飞行时间深度图像、同时输出结构光图像和可见光图像、或同时输出飞行时间深度图像和可见光图像，还可同时输出结构光深度图像、飞行时间深度图像和可见光图像。

请再参阅图1，在某些实施方式中，深度处理器100还包括至少一条总线，总线负责各个部分之间的数据传输，以及对外围设备(如第一投射器211、第二投射器221、第一图像采集器212、第二图像采集器222、可见光图像相机230等)的开关、功率控制等。如图1所示，在本发明的具体实施例中，深度处理器100具有两条总线：第一总线设备61和第二总线设备62。其中，第一总线设备61可采用APB总线，第二总线设备62可采用高性能AHB总线，两总线之间通过APB桥63连接。具体地，第一总线设备61通过I2C来控制外围设备的同步触发，或者通过脉宽调制器PWM来控制外围设备的功率。第二总线设备62连接有控制单元80，控制单元80通过第二总线设备62对输入开关器20接口、输出开关器40的接口以及外围设备的接口等进行管理。例如控制单元80根据实际应用需要通过第二总线设备62控制输入开关器20选择需要的第一图像输入到数据处理引擎30，控制单元80根据实际应用需要通过第二总线设备62控制输出开关器40有选择地输出第二图像等。

在某些实施方式中，第一总线设备61还用于基于主体设备需求的深度图像类型控制对应需求的外围设备的开启。可以理解的是，某些主体设备可能无法兼容处理或显示多种深度相机获取的深度图像。此时，主体设备可以传送自己能够处理或显示的深度图像对应的深度相机类型到第一总线设备61，第一总线设备61基于主体设备的需求控制对应该需求的深度相机的开启。如此，可以进一步提升深度处理器100的兼容性和普适性。

当然，在某些实施方式中，数据处理引擎30还包括图像转换引擎34。在主体设备无法兼容处理或显示多种深度相机获取的深度图像时，此时可以对获取的深度图像进行处理以转换成主体设备可以处理或显示的深度图像的类型，其中，处理包括视椎体、分辨率等参数的调整。例如，某一主体设备仅能处理或显示结构光深度相机210获取的结构光图像，无法处理或显示飞行时间深度相机220获取的飞行时间深度图像。在对某个目标空间进行三维建模时，受限于结构光深度相机210的视场，仅使用结构光深度相机210无法一次性获取到目标空间中物体的深度信息，此时可以借助飞行时间深度相机220辅助获取剩余部分的物体的深度信息。但基于主体设备无法处理或显示飞行时间深度相机220获取的飞行时间深度图像的特殊性，此时就可以采用图像转换引擎34将飞行时间深度图像进行视椎体、分辨率等参数的转换，得到另一幅结构光深度图像。如此，输出两幅结构光深度图像至主体设备以供主体设备做进一步的处理。如此，可以提升深度处理器100的兼容性和普适性。

图3为深度处理器100的一种示例性细节架构示意图。深度处理器100可在一块半导体基底上设置各个功能元件，并通过布线将各个功能元件之间进行连接。深度处理器100对外通过多个引脚实现连接，引脚根据功能被设置成不同的端口种类，比如输入端口10、输出端口50等，可以采用SVP、MIPI、USB、DVI、HDMI、BNC、RJ-45等类型的接口。其他种类接口的传输在此不做赘述。

如图1和图3所示，深度处理器100设置有三个输入端口10，均为MIPI接口，在其他实施方式中也可以包括DVP接口，可以分别与第一图像采集器212、第二图像采集器222及可见光图像相机230连接。每个输入端口10从与之连接的图像采集器上接收不同类型的第一图像。MIPI接口由MIPI D-PHY物理层接口以及二代摄像头高速串行接口CSI-2两部分构成，其中，在D-PHY给出了数据传输在物理层上的定义，CSI-2的结构一般由组/解包层、协议层以及通道管理层组成，根据数据在三个层级之间的传输路线，CSI-2可以分为CSI-2RX接收端以及CSI-2TX发送端。在输入端口10中应为CSI-2RX接收端以接收第一图像，在输出端口50中应为CSI-2TX发送端以将第二图像传送到主体设备上等。

输入开关器20连接于MIPI输入接口和数据处理引擎30之间。输入开关器20的作用是针对各种不同的应用情形选择性地让MIPI输入接口的数据经过，此外还将通过的数据传输至数据处理引擎30。

数据处理引擎30中的各引擎均连接至输出开关器40，通过输出开关器40再连接至输出端口50。输出开关器40与各引擎连接后，可以根据当前应用选择性地从数据处理引擎30接收第二图像。第二图像再经由MIPI输出接口向外输出。具体地，可经由CSI-2TXController以及MIPI D-PHY向外输出。此处由CSI-2TX Controller以及MIPI D-PHY组成的MIPI输出接口可以为一个或多个。

数据处理引擎30中各处理引擎输出的第二图像可以传输到USB FIFO中。USB FIFO可以起到数据缓冲的作用，同时将各种数据打包后经由AHB总线传到USB接口并输出到三维图像设备200。USB接口包括USB控制器以及USB PHY(物理层)接口，当USB FIFO中的数据准备好后，USB控制器访问AHB总线来读取准备好的数据包。

请参阅图4，本发明还提供一种三维图像设备200。三维图像设备200包括上述任意一项实施方式所述的深度处理器100、上述的结构光深度相机210以及上述的飞行时间深度相机220。

其中，三维设备可以是上述的主体设备，例如，手机、平板电脑、笔记本电脑、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、虚拟现实设备等。

三维图像设备200还包括应用处理器240，应用处理器240与深度处理器100的输出端口50连接。应用处理器240可以利用深度图像进行三维重构、人体姿势识别和动作识别以及物品识别中的至少一种。

例如，应用处理器240从深度处理器100中获取结构光深度图像和可见光图像，并基于结构光深度图像建立目标空间的三维模型，基于可见光图像对该三维模型进行色彩填充以得到目标空间的彩色的三维模型。

再例如，应用处理器240从深度处理器100中获取结构光深度图像和可见光图像，首先基于可见光图像识别出人脸，再结合结构光深度图像携带的深度信息在可见光图像中识别出整个人体，以使人体的识别更为准确。

再例如，应用处理器240从深度处理器100中获取飞行时间深度图像和可见光图像，首先利用边缘检测算法处理可见光图像以获取可见光图像中各物体的边缘线条，再结合飞行时间深度图像携带的深度信息对各物体的边缘进行修正，从而提取出可见光图像中的各个物体，最后利用训练好的用于物体识别的深度学习模型识别出各个物体的具体类别。

本发明实施方式的深度处理器100和三维图像设备200，深度处理器100可以连接多种类型的外围设备，并且可以针对多种外围设备的输入数据进行处理，具有较高的集成度和普适性，可以适用于多种不同类型的三维图像设备200以及各种应用场景。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度处理器，其特征在于，包括：

至少两个输入端口，所述输入端口用于接收第一图像，所述第一图像至少包括由结构光深度相机采集的结构光图像以及由飞行时间深度相机采集的飞行时间图像；

输入开关器，所述输入开关器与所述输入端口连接，用于供来自所述输入端口的部分或全部第一图像通过；

数据处理引擎，所述数据处理引擎与所述输入开关器连接，用于对经由所述输入开关器输出的第一图像进行处理以输出第二图像，所述第二图像至少包括深度图像，所述深度图像至少包括结构光深度图像和飞行时间深度图像；和

至少一个输出端口，所述输出端口与所述数据处理引擎连接，用于将所述第二图像输出至主体设备。

2.根据权利要求1所述的深度处理器，其特征在于，所述深度处理器还包括连接于所述数据处理引擎与所述输出端口之间的输出开关器，所述输出开关器用于供全部或部分所述第二图像通过以输出至所述主体设备。

3.根据权利要求1所述的深度处理器，其特征在于，所述数据处理引擎包括结构光深度处理引擎，所述结构光深度处理引擎用于基于参考图像和所述结构光图像计算所述结构光深度图像。

4.根据权利要求1所述的深度处理器，其特征在于，所述数据处理引擎包括飞行时间处理引擎，所述飞行时间深度处理引擎用于根据所述飞行时间图像计算所述飞行时间深度图像。

5.根据权利要求1所述的深度处理器，其特征在于，所述第一图像还包括由可见光相机采集的可见光图像，所述数据处理引擎还包括可见光图像处理引擎，所述可见光图像处理引擎用于处理所述可见光图像以识别所述可见光图像中拍摄面积小于预设面积的物体。

6.根据权利要求5所述的深度处理器，其特征在于，所述深度处理引擎还包括修正引擎，所述修正引擎用于利用所述飞行时间深度图像修正所述结构光深度图像中与所述物体对应的像素的深度信息。

7.根据权利要求2所述的深度处理器，其特征在于，所述深度处理器还包括第一总线设备和第二总线设备，所述第一总线设备用于控制与所述深度处理器连接的外围设备，并通过桥连接至所述第二总线设备；

所述第二总线设备连接有控制单元，所述控制单元用于通过所述第二总线设备对所述输入开关器的接口、所述输出开关器的接口以及所述外围设备的接口进行管理。

8.根据权利要求7所述的深度处理器，其特征在于，所述第一总线设备还用于基于所述主体设备需求的深度图像类型控制对应所述需求的外围设备的开启。

9.一种三维图像设备，其特征在于，包括：

权利要求1至8任意一项所述的深度处理器；

结构光深度相机，所述结构光深度相机包括第一投射器和第一图像采集器，所述第一图像采集器用于采集由所述第一投射器投射到目标空间中的结构光图像；和

飞行时间深度相机，所述飞行时间深度相机包括第二投射器和第二图像采集器，所述第二图像采集器用于接收所述第二投射器投射到目标空间且被目标空间中的物体反射回的红外光。

10.根据权利要求9所述的三维图像设备，其特征在于，所述三维图像设备还包括应用处理器，所述应用处理器与所述输出端口连接，所述应用处理器包括用于利用所述深度图像进行三维重构、人体姿势和动作识别以及物品识别中的至少一种。