CN108833888B - 深度处理器和三维图像设备 - Google Patents

Abstract

本发明公开了一种深度处理器和三维图像设备。深度处理器包括至少两个接收第一图像和检测电信号的输入端口、供检测电信号及部分或全部第一图像通过的输入开关器、用于处理第一图像得到第二图像以及处理检测电信号得到判定结果的数据处理引擎和至少一个用于输出第二图像和判定结果的输出端口。输入开关器与输入端口连接。数据处理引擎与输入开关器连接。输出端口与数据处理引擎连接。第一图像至少包括由结构光深度相机采集的结构光图像，检测电信号至少包括由脱落检测电路输出的检测电信号。本发明实施方式的深度处理器将脱落检测电路作为外围设备接入，如此，深度处理器除了处理结构光图像之外还能进行防脱落检测的判定，集成度更高，功能更完善。

Description

深度处理器和三维图像设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种深度处理器和三维图像设备。

背景技术

深度相机可以获取场景中各物体的深度信息。深度相机采集的图像通常由特定的处理器进行处理。并且，在不同的和设备以及应用场景中，对深度相机的性能要求也不相同，此时往往需要根据具体应用进行专门定制处理器，如此导致处理器的集成度较低，功能较为单一。

发明内容

本发明的实施例提供了一种深度处理器和三维图像设备。

本发明实施方式的深度处理器包括至少两个输入端口、输入开关器、数据处理引擎和至少一个输出端口。所述输入端口用于接收第一图像和检测电信号，所述第一图像至少包括由结构光深度相机采集的结构光图像，所述检测电信号至少包括由脱落检测电路输出的检测电信号。所述输入开关器与所述输入端口连接，用于供来自所述输入端口的部分或全部第一图像通过，以及供所述检测电信号通过。所述数据处理引擎与所述输入开关器连接，用于对经由所述输入开关器输出的第一图像进行处理以输出第二图像，以及对根据所述检测电信号进行所述结构光深度相机的保护盖脱落检测的判定，所述第二图像至少包括深度图像。所述输出端口与所述数据处理引擎连接，用于将所述第二图像和判定结果输出至主体设备。

本发明实施方式的三维图像设备包括上述的深度处理器、结构光深度相机和检测电路。所述结构光深度相机包括结构光投射器和结构光图像采集器，所述结构光图像采集器用于采集由所述结构光投射器投射到目标空间中的结构光图像。所述检测电路用于输出检测电信号，所述检测电信号用于判定所述结构光深度相机的保护盖是否脱落。

本发明实施方式的深度处理器和三维图像设备，将脱落检测电路作为一个外围设备接入到深度处理器中。如此，深度处理器除了处理结构光图像之外，还能进行防脱落检测的判定，深度处理器的集成度更高，功能更完善。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的深度处理器的原理框图。

图2是本发明某些实施方式的结构光投射器的立体示意图。

图3是本发明某些实施方式的脱落检测电路的工作原理示意图。

图4是本发明某些实施方式的结构光投射器的立体示意图。

图5是本发明某些实施方式的脱落检测电路的工作原理示意图。

图6是本发明某些实施方式的结构光投射器的结构示意图。

图7是本发明某些实施方式的基于飞行时间获取深度信息的原理示意图。

图8是本发明某些实施方式的深度处理器的细节结构图。

图9是本发明某些实施方式的三维图像设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种深度处理器100。深度处理器100包括输入端口10、输入开关器20、数据处理引擎30和输出端口50，输入端口10与输入开关器20连接，输入开关器20与数据处理引擎30连接，数据处理引擎30与输出端口50连接。

其中，输入端口10的个数为多个，例如，可以为2个、3个、4个、5个、7个、10个等等。每个输入端口10可与一个外围设备连接，以接收外围设备采集的数据。例如，在本发明的具体实施例中，输入端口10与外围设备连接以接收外围设备采集的第一图像，输入端口10还与外围设备连接以接收外围设备输出的检测电信号。

具体地，一个外围设备是结构光深度相机210，结构光深度相机210由结构光投射器211和结构光图像采集器212组成。结构光投射器211向目标空间中投射结构光图案(例如，红外激光图案等)，投射出去的结构光图案会被目标空间中的物体调制，结构光图像采集器212(例如，红外摄像头等)拍摄经物体调制后的结构光图像。结构光图像采集器212与第一输入端口11连接，第一输入端口11接收结构光图像采集器212采集的结构光图像。结构光图像经由第一输入端口11传输到数据处理引擎30中进行处理。数据处理引擎30包括结构光深度处理引擎31，结构光深度处理引擎31根据结构光图像和参考图像计算结构光深度图像(即第二图像包括结构光深度图像)。其中，参考图像由结构光图像采集器212采集，结构光投射器211向已知距离的平面上投射结构光图案，结构光图像采集器212采集由已知距离的平面调制的结构光图案，如此，采集得到参考图像并存储在存储器70中。存储器70为非易失性存储器70(例如，闪存等)。存储器70可以被包含在深度处理器100中，也可以作为外围设备通过存储接口71与深度处理器100连接。存储器70作为外围设备时，可以通过输入开关器20与数据处理引擎30连接，此时参考图像经由输入开关器20传输到数据处理引擎30中，或者也可不通过输入开关器20直接与数据处理引擎30连接，此时参考图像直接传输到数据处理引擎30中。由于结构光图像与参考图像对应的各像素之间存在横向偏移，因此，结构光深度处理引擎31接收由输入开关器20传送的结构光图像，并利用参考图像读取器90从存储器70中读取参考图像，再将结构光图像和参考图像进行偏移量的计算以计算出结构光图像中各像素对应的空间点距离结构光深度相机210的深度信息，最终得到结构光深度图像。

一个外围设备是脱落检测电路220。如图2和图3所示，脱落检测电路220设置在结构光投射器211上，脱落检测电路220可以输出检测电信号以用于检测结构光深度相机210的保护盖201是否脱落。数据处理引擎30还包括检测电信号处理引擎32。检测电信号处理引擎32用于判断检测电信号是否位于预设范围内，并在检测电信号不在预设范围内时确定保护盖201脱落。

具体地，请一并参阅图2及图3，结构光投射器211包括基板组件204、镜筒203、准直元件205、衍射光学元件202、保护盖201。镜筒203设置在基板组件204上，衍射光学元件202设置在镜筒203内。保护盖201与镜筒203结合并遮挡衍射光学元件202。脱落检测电路220包括第一电极板2001、第二电极板2002、连接线路2124、电阻元件2123及检测器件2122，第一电极板2001、第二电极板2002、连接线路2124、电阻元件2123及检测器件2122形成检测回路。第一电极板2001设置在镜筒203上，第二电极板2002设置在保护盖201上并与第一电极板2001间隔相对。第一电极板2001与第二电极板2002共同组成检测电容2121。连接线路2124形成在基板组件204及镜筒203上。连接线路2124包括第一连接子线路21241和第二连接子线路21242，第一连接子线路21241形成在基板组件204及镜筒203上，第一连接子线路21241的一端与第一电极板2001连接，另一端与第二输入端口12连接，第二连接子线路21242也形成在基板组件204及镜筒203上，第二连接子线路21242的一端与第二电极板2002连接，另一端与深度处理器100的第一总线设备61(图1所示)连接。电阻元件2123连接在连接线路2124中并与检测电容2121串联，电阻元件2123可以为电阻。检测器件2122连接在连接线路2124中，当检测器件2122为电压表时，检测器件2122与电阻元件2123并联并用于检测电阻元件2123两端的电流；当检测器件2122为电流表时，检测器件2122与电阻元件2123串联并用于检测流经电阻元件2123的电流。

其中，第一电极板2001和第二电极板2002由导电材料制成，例如，第一电极板2001和第二电极板2002的材料可包括镍、钯、银、钽、碳素材料、金属氧化物、导电聚合物。保护盖201可以由导电材料制成，此时保护盖201可以作为第二电极板2002。根据公式：C＝εS/d，及Q＝CU，其中，C为检测电容2121的大小，ε为第一电极板2001与第二电极板2002之间的介电常数，S为第一电极板2001与第二电极板2002之间正对的面积，d为第一电极板2001与第二电极板2002之间的距离，Q为检测电容2121上的电荷量，U为第一电极板2001与第二电极板2002之间的电压。当保护盖201未从镜筒203上脱落时，检测器件2122检测不到电压或电流，说明没有电流流经电阻元件2123，进而说明检测电容2121的电容量没有变化，此时没有检测电信号的输出，即检测电信号处于预设范围内，则检测电信号处理引擎32根据检测电信号判定保护盖201未从镜筒203上脱落。当保护盖201从镜筒203上脱落时，第一电极板2001与第二电极板2002之间的距离变大，使检测电容2121的电容变小，从而使检测电容2121发生放电，此时，检测器件2122检测到的电压或电流会发生变化，说明有电流流出电阻元件2123，进而说明检测电容2121的电容量发生变化，对应输出的检测电信号会发生变化，若检测电信号的变化超过预定范围，则检测电信号处理引擎32根据检测电信号的变化即可确定保护盖201与镜筒203脱落。一般地，由于保护盖201用于将衍射光学元件202限制在镜筒203内，因此，当保护盖201从镜筒203上脱落时，衍射光学元件202很大程度上也会从镜筒203上脱落，因此，当保护盖201从镜筒203上脱落时，则结构光投射器211投射出的光线不经过衍射光学元件202的衰减作用，出射的光线的强度较强，若用户恰好在做人脸识别，则会损伤用户的眼睛。因此，在基于脱落检测电路220输出的检测电信号判定保护盖201脱落时，则判断衍射光学元件202也脱落(换言之，检测到保护盖201从镜筒203上脱落时，间接得出衍射光学元件202也脱落)。此时，可以关闭结构光投射器211，相较于直接检测到衍射光学元件202脱落后结构光投射器211才停止发出激光而言，将安全保障进行了提前，提高了保护用户使用结构光投射器211的安全性。

输出端口50的个数可以为一个或多个，例如，可以为1个、2个、3个、4个、5个、7个、10个等等。输出端口50为一个时，第二图像和判定结果可以分别输出，例如分别输出第二图像和判定结果。输出端口50为多个时，第二图像和判定结果可以同时输出。例如，第一输出端口51输出第二图像，第二输出端口52输出判定结果等。

可以理解，目前通常采用特定的处理器处理结构光图像和参考图像以得到深度图像。在结构光投射器211增加检测电路时，检测电路输出的检测电信号通常需要连接到其他处理器上进行处理，而不能直接连接到处理结构光图像和参考图像以得到深度图像的特定处理器上进行处理。如此，导致针对结构光图像进行处理的特定处理器的集成度较低，不利于其余功能的开发。

本发明实施方式的深度处理器100，将脱落检测电路220作为一个外围设备接入到深度处理器100中。如此，深度处理器100除了处理结构光图像之外，还能进行防脱落检测的判定，深度处理器100的集成度更高，功能更完善。

请一并参阅图4和图5，在某些实施方式中，脱落检测电路220包括压力传感器2125、连接电路2126、电阻元件2123和检测器件2122，压力传感器2125、连接电路2126、电阻元件2123和检测器件2122形成检测回路。压力传感器2125可以是压阻式压力传感器(应变片)、压电式压力传感器等。压力传感器2125设置在镜筒203与保护盖201之间并受到压力。连接电路2126形成在基板组件204及镜筒203上。连接电路2126包括第一连接子电路21261和第二连接子电路21262。第一连接子电路21261形成在基板组件204及镜筒203上，第一连接子电路21261的一端与压力传感器2125的一端连接，另一端与第二输入端口12连接，第二连接子电路21262也形成在基板组件204及镜筒203上，第二连接子电路21262的一端与压力传感器2125的另一端连接，第二连接子电路21262的另一端与深度处理器100的第一总线设备61连接。电阻元件2123连接在连接电路2126中并与压力传感器2125串联，电阻元件2123可以为电阻。检测器件2122连接在连接电路2126中，当检测器件2122为电压表时，检测器件2122与电阻元件2123并联并用于检测电阻元件2123两端的电压；当检测器件2122为电流表时，检测器件2122与电阻元件2123串联并用于检测流经电阻元件2123的电流。

在保护盖201与镜筒203结合时，压力传感器2125被保护盖201夹持在镜筒203上并受到夹持力(即压力)。当保护盖201从镜筒203上脱落时，保护盖201释放(脱离)压力传感器2125，从而使压力传感器2125不受到夹持力，此时压力传感器2125发生变化(例如，电阻变大或变小)，并使脱落检测电路220输出的检测电信号发生变化。检测电信号处理引擎32根据检测电信号的变化判定保护盖201脱落。例如，当保护盖201与镜筒203结合并将压力传感器2125夹持在保护盖201与镜筒203之间时，压力传感器2125受到压力并发生变形，此时压力传感器2125的电阻为R1，当保护盖201从镜筒203上脱落时，压力传感器2125受到的压力变为零，此时压力传感器2125的电阻为R2，并且R2与R1不相等，检测器件2122检测到的电压或电流会发生变化，即脱落检测电路220输出的检测电信号发生变化，若检测电信号的变化超过预定范围，则检测电信号处理引擎32根据检测电信号的变化判定保护盖201脱落。当保护盖201未从镜筒203上脱落时，压力传感器2125受到压力，此时压力传感器2125的电阻为R3，一般地，R3与R1是相等的，检测器件2122未检测到电压或电流的变化，即脱落检测电路220输出的检测电信号未发生变化，则检测电信号处理引擎32根据检测电信号的变化判定保护盖201未脱落。一般地，由于保护盖201用于将衍射光学元件202限制在镜筒203内，因此，当保护盖201从镜筒203上脱落时，衍射光学元件202很大程度上也会从镜筒203上脱落，因此，当保护盖201从镜筒203上脱落时，则结构光投射器211投射出的光线不经过衍射光学元件202的衰减作用，出射的光线的强度较强，若用户恰好在做人脸识别，则会损伤用户的眼睛。因此，在基于脱落检测电路220输出的检测电信号判定保护盖201脱落时，则判断衍射光学元件202也脱落(换言之，检测到保护盖201从镜筒203上脱落时，间接得出衍射光学元件202也脱落)。此时，可以关闭结构光投射器211，相较于直接检测到衍射光学元件202脱落后结构光投射器211才停止发出激光而言，将安全保障进行了提前，提高了保护用户使用结构光投射器211的安全性。

请参阅图6，在某些实施方式中，保护盖201包括保护顶壁2011和自保护顶壁2011的周缘延伸的保护侧壁2012。保护侧壁2012与镜筒203结合，保护顶壁2011可限制衍射光学元件202的位置。脱落检测电路220包括发射器2127和接收器2128。发射器2127和接收器2128中的至少一个设置在保护侧壁2012上，另外一个设置在基板组件204上。例如，发射器2127设置在保护侧壁2012上，接收器2128设置在基板组件204上；或者，发射器2127设置在基板组件204上，接收器2128设置在保护侧壁2012上。发射器2127和接收器2128相对设置。发射器2127用于发射检测信号，接收器2128用于接收由发射器2127发射的检测信号。检测信号可以为光信号，比如红外光；检测信号也可以是超声波信号。在一个例子中，发射器2127为红外发光二极管，接收器2128为红外光接收器2128。脱落检测电路220工作时，发射器2127朝接收器2128发射检测信号，接收器2128接收发射器2127发射的检测信号并形成检测电信号输出。若检测电信号在预定范围内时，则可判断当前发射器2127及接收器2128的相对位置没有发生较大的改变，由此确定保护盖201与基板组件204的相对位置没有发生较大的改变，进一步认为保护盖201未脱落。若检测电信号超出预定范围，则判断当前发射器2127与接收器2128的相对位置发生了较大改变，由此确定保护盖201与基板组件204的相对位置发生了较大的改变，进一步认为保护盖201脱落。一般地，由于保护盖201用于将衍射光学元件202限制在镜筒203内，因此，当保护盖201从镜筒203上脱落时，衍射光学元件202很大程度上也会从镜筒203上脱落，因此，当保护盖201从镜筒203上脱落时，则结构光投射器211投射出的光线不经过衍射光学元件202的衰减作用，出射的光线的强度较强，若用户恰好在做人脸识别，则会损伤用户的眼睛。因此，在基于脱落检测电路220输出的检测电信号判定保护盖201脱落时，则判断衍射光学元件202也脱落(换言之，检测到保护盖201从镜筒203上脱落时，间接得出衍射光学元件202也脱落)。此时，可以关闭结构光投射器211，相较于直接检测到衍射光学元件202脱落后结构光投射器211才停止发出激光而言，将安全保障进行了提前，提高了保护用户使用结构光投射器211的安全性。

请再参阅图1，在某些实施方式中，可见光相机230也可作为外围设备连接到深度处理器100。可见光相机230用于采集可见光图像(即第一图像包括可见光图像)。可见光相机230与第三输入端口13连接。可见光采集的可见光图像经由第三输入端口13传输至数据处理引擎30。数据处理引擎30还包括可见光图像处理引擎33。可见光图像处理引擎33可以对可见光图像做去噪、格式转换等处理。

进一步地，如图1所示，在某些实施方式中，数据处理引擎30还包括双目深度处理引擎34。双目深度处理引擎34可以接收第一输入端口11输入的红外图像(即第一图像包括红外图像)以及第三输入端口13输入的可见光图像，其中，红外图像是在结构光投射器211关闭的情况下由结构光图像采集器212采集得到的。双目深度处理引擎34可以基于红外图像和可见光图像两幅图像计算得到目标空间中的物体的深度信息，即双目深度图像。通常，在目标空间的环境亮度较暗(例如小于预设亮度值)时，深度图像由结构光深度处理引擎31进行计算，在目标空间的环境亮度较亮(例如大于或等于预设亮度值)时，深度图像由双目深度处理引擎34进行计算。可以理解，环境亮度较亮时，环境光中的红外成分较多，由于结构光投射器211发出的激光通常为红外光，环境光中的红外光可能会对结构光图像采集器212采集的结构光图像产生影响，进一步地导致深度图像的计算精度不高。而环境光亮度较亮时，可见光相机230采集的可见光图像和结构光图像采集器212采集的红外图像均较清晰，可以利用三角测量的方式计算目标空间中物体的深度信息。

请再参阅图1，在某些实施方式中，飞行时间深度相机250也可以作为外围设备连接到深度处理器100。飞行时间深度相机250由飞行时间投射器251和飞行时间图像采集器252组成。飞行时间深度相机250通过探测光脉冲的飞行(往返)时间来得到目标空间中的物体与飞行时间深度相机250的距离。飞行时间深度相机250获取距离的方式通常包括直接获取和间接获取两种方式。直接获取方式下，飞行时间投射器251向目标空间中发射红外光，飞行时间投射器251向目标空间中发射红外光的发射时间点会被记录，飞行时间图像采集器252在发射时间点同步开启以接收由目标空间中的物体反射回的红外光，飞行时间图像采集器252接收到物体反射回的红外光的接收时间点也会被记录。根据发射时间点和接收时间点之间的时间差即可计算出目标空间中的物体与飞行时间深度相机250的距离。间接获取方式下，飞行时间投射器251向目标空间中发射方波脉冲调制的红外光，飞行时间图像采集器252采集一个或多个完整的脉冲周期下的红外光。其中，飞行时间图像采集器252中的每个像素都由一个感光器件组成，感光器件可以将接收到的红外光转换为电流。感光器件连接着多个高频开关，可以把电流导入不同的可以存储电荷的电容里，如此，通过控制高频开关的开启和关闭，将接收到的一个或多个完整的脉冲周期下的红外光分为两个部分，根据这两个部分的红外光对应的电流即可算出物体与飞行时间深度相机250的距离，例如，如图7所示，由两个部分的红外光积累的电荷量分别为Q1和Q2，一个脉冲的周期为T，则红外光在目标空间中的传播时间

则对应的距离

其中，c为光速。在本发明的具体实施例中，采用间接获取的方式计算上述距离。飞行时间图像采集器252将接收到的红外光生成电流信号输出形成飞行时间图像，其中，飞行时间图像中的每一个像素都包含两部分的电流数据。飞行时间图像采集器252与第四输入端口14连接，第四输入端口14接收飞行时间图像采集器252采集的飞行时间图像。数据处理引擎30还包括飞行时间深度处理引擎35。飞行时间深度处理引擎35从第四输入端口14接收飞行时间图像，再根据飞行时间图像计算出物体与飞行时间深度相机250的距离，从而得到飞行时间深度图像(即第二图像包括飞行时间深度图像)。

如此，深度处理器100可以连接多种类型的外围设备，并且可以针对多种外围设备的输入数据进行处理，具有较高的集成度和普适性，可以适用于多种不同类型的设备以及各种应用场景。例如，将本发明的深度处理器100装配在手机上时，深度处理器100可以同时连接结构光深度相机210和飞行时间深度相机250。由于结构光深度相机210对于近距离的深度信息的获取精度较高，飞行时间深度相机250对于远距离的深度信息的获取精度较高，则可以将结构光深度相机210作为前置设备进行三维人脸解锁等，可以将飞行时间深度相机250作为后置设备进行场景的三维建模等。此时，由于深度处理器100可以同时连接结构光深度相机210和飞行时间深度相机250，且可以同时处理结构光图像得到结构光深度图像、处理飞行时间图像得到飞行时间深度图像，就无需设置专门处理结构光图像的处理器以及专门处理飞行时间图像的处理器，提升了深度处理器100的集成度，减小了对手机的放置空间的占用。

请再参阅图1，在某些实施方式中，可见光图像处理引擎33还可以用于处理可见光图像以识别可见光图像中拍摄面积小于预设面积的物体。具体地，可见光图像处理引擎33采用边缘检测算法(例如，Sobel边缘检测算法、拉普拉斯算法、Canny边缘检测算法等)检测可见光图像中各物体的边缘，再基于闭合的边缘曲线计算各物体对应的拍摄面积的大小(可无需识别出物体的类别)。在拍摄面积小于预设面积时，说明该物体在目标空间中对应的体积也是较小的。此时，如果采用的是结构光深度相机210获取目标空间中的物体的深度信息，由于结构光投射器211投射出的结构光图案是散斑图案，散斑图案投射到目标空间中后可能无法覆盖所有存在于目标空间中的物体(光斑之间存在空隙，尤其是体积较小的物体可能有部分区域恰好处在空隙中，该部分区域就不会被光斑照射到，甚至是较小物体恰好完全处在空隙中而不会被光斑照射到)，如此将会导致计算出的未被散斑图案覆盖到的物体的深度信息精度不高，甚至是完全检测不到其深度。因此，数据处理引擎30还包括修正引擎37，修正引擎37与结构光深度处理引擎31、飞行时间深度处理引擎35以及可见光图像处理引擎33均相连接。修正引擎37从可见光图像处理引擎33处获取可见光图像处理引擎33处理可见光图像得到的拍摄面积小于预设面积的物体对应的一个或多个像素，从结构光深度处理引擎31处获取结构光深度图像，从飞行时间深度处理引擎35处获取飞行时间深度图像，根据一个或多个像素和飞行时间深度图像对结构光深度图像中深度信息精度较低的像素进行深度信息的修正。具体地，修正引擎37首先对可见光图像、结构光深度图像和飞行时间深度图像三幅图像做对齐，使得可见光图像、结构光深度图像和飞行时间深度图像三幅图像具有相同的视场。随后，基于处理可见光图像中拍摄面积小于预设面积的物体得到的一个或多个像素(此处称为第一像素)，在飞行时间深度图像中找到与这些第一像素一一对应的第二像素。随后，基于在飞行时间深度图像中的第二像素在结构光深度图像中找到与第二像素一一对应的第三像素，并利用第二像素的深度信息替换掉第三像素的深度信息以对结构光深度图像做深度信息修正，从而提升结构光深度图像的深度信息的精确度。

请再参阅图1，在某些实施方式中，深度处理器100还包括连接于数据处理引擎30与输出端口50之间的输出开关器40。输出开关器40用于供基于检测电信号得到的判定结果、以及全部或部分的第二图像通过以输出至主体设备。其中，主体设备可以是手机、平板电脑、笔记本电脑、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、虚拟现实设备等。第二图像包括结构光深度图像、双目深度图像、可见光深度图像和飞行时间深度图像。输出开关器40根据主体设备的需求，可以单独输出结构光深度图像、单独输出双目深度图像、单独输出可见光图像或单独输出飞行时间深度图像，也可同时输出结构光深度图像和双目深度图像、同时输出结构光图像和可见光图像、或同时输出双目深度图像和飞行时间深度图像，还可同时输出结构光深度图像、双目深度图像、可见光图像和飞行时间深度图像等。

请再参阅图1，在某些实施方式中，深度处理器100还包括至少一条总线，总线负责各个部分之间的数据传输，以及对外围设备(如结构光投射器211、结构光图像采集器212、脱落检测电路220、可见光相机230、飞行时间投射器251、飞行时间图像采集器252等)的开关、功率控制等。如图8所示，在本发明的具体实施例中，深度处理器100具有两条总线：第一总线设备61和第二总线设备62。其中，第一总线设备61可采用APB总线，第二总线设备62可采用高性能AHB总线，两总线之间通过APB桥63连接。具体地，第一总线设备61通过I2C来控制外围设备的同步触发，或者通过脉宽调制器PWM来控制外围设备的功率。第二总线设备62连接有控制单元80，控制单元80通过第二总线设备62对输入开关器20接口、输出开关器40的接口以及外围设备的接口等进行管理。例如控制单元80根据实际应用需要通过第二总线设备62控制输入开关器20选择需要的第一图像输入到数据处理引擎30，控制单元80根据实际应用需要通过第二总线设备62控制输出开关器40有选择地输出第二图像等。

在某些实施方式中，主体设备通过第一总线设备61控制外围设备的开启。例如，在环境亮度较低时，主体设备通过第一总线设备61控制结构光深度相机210的开启，以利用结构光深度相机210获取目标空间中物体的深度信息。在环境亮度较高时，主体设备通过第一总线设备61控制结构光图像采集器212和可见光相机230开启，以利用双目立体视觉方法获取目标空间中物体的深度信息。

在某些实施方式中，第一总线设备61还用于基于主体设备需求的深度图像类型控制对应需求的外围设备的开启。可以理解的是，某些主体设备可能无法兼容处理或显示多种深度相机获取的深度图像。此时，主体设备可以传送自己能够处理或显示的深度图像对应的深度相机类型到第一总线设备61，第一总线设备61基于主体设备的需求控制对应该需求的深度相机的开启。如此，可以进一步提升深度处理器100的兼容性和普适性。

当然，在某些实施方式中，数据处理引擎30还包括图像转换引擎36。在主体设备无法兼容处理或显示多种深度相机获取的深度图像时，此时可以对获取的深度图像进行处理以转换成主体设备可以处理或显示的深度图像的类型，其中，处理包括视椎体、分辨率等参数的调整。例如，某一主体设备仅能处理或显示结构光深度相机210获取的结构光图像，无法处理或显示飞行时间深度相机250获取的飞行时间深度图像。在对某个目标空间进行三维建模时，受限于结构光深度相机210的视场，仅使用结构光深度相机210无法一次性获取到目标空间中物体的深度信息，此时可以借助飞行时间深度相机250辅助获取剩余部分的物体的深度信息。但基于主体设备无法处理或显示飞行时间深度相机250获取的飞行时间深度图像的特殊性，此时就可以采用图像转换引擎36将飞行时间深度图像进行视椎体、分辨率等参数的转换，得到另一幅结构光深度图像。如此，输出两幅结构光深度图像至主体设备以供主体设备做进一步的处理。如此，可以提升深度处理器100的兼容性和普适性。

在某些实施方式中，在保护盖201脱落时，主体设备通过第一总线设备61控制结构光投射器211关闭。如此，及时关闭结构光投射器211，避免对用户的眼睛产生伤害。

图8为深度处理器100的一种示例性细节架构示意图。深度处理器100可在一块半导体基底上设置各个功能元件，并通过布线将各个功能元件之间进行连接。深度处理器100对外通过多个引脚实现连接，引脚根据功能被设置成不同的端口种类，比如输入端口10、输出端口50等，可以采用SVP、MIPI、USB、DVI、HDMI、BNC、RJ-45等类型的接口。其他种类接口的传输在此不做赘述。

如图1和图8所示，深度处理器100设置有三个输入端口10，均为MIPI接口，在其他实施方式中也可以包括DVP接口，可以分别与结构光图像采集器212、脱落检测电路220、可见光相机30及飞行时间图像采集器252连接。每个输入端口10从与之连接的外围设备上接收第一图像以及检测电信号。MIPI接口由MIPI D-PHY物理层接口以及二代摄像头高速串行接口CSI-2两部分构成，其中，在D-PHY给出了数据传输在物理层上的定义，CSI-2的结构一般由组/解包层、协议层以及通道管理层组成，根据数据在三个层级之间的传输路线，CSI-2可以分为CSI-2RX接收端以及CSI-2TX发送端。在输入端口10中应为CSI-2RX接收端以接收第一图像和检测电信号，在输出端口50中应为CSI-2TX发送端以将第二图像及判定结果传送到主体设备上等。

输入开关器20连接于MIPI输入接口和数据处理引擎30之间。输入开关器20的作用是针对各种不同的应用情形选择性地让MIPI输入接口的数据经过，此外还将通过的数据传输至数据处理引擎30。

数据处理引擎30中的各引擎均连接至输出开关器40，通过输出开关器40再连接至输出端口50。输出开关器40与各引擎连接后，可以根据当前应用选择性地从数据处理引擎30接收第二图像和检测电信号。第二图像和检测电信还再经由MIPI输出接口向外输出。具体地，可经由CSI-2TX Controller以及MIPI D-PHY向外输出。此处由CSI-2TX Controller以及MIPI D-PHY组成的MIPI输出接口可以为一个或多个。

数据处理引擎30中各处理引擎输出的第二图像可以传输到USB FIFO中。USB FIFO可以起到数据缓冲的作用，同时将各种数据打包后经由AHB总线传到USB接口并输出到三维图像设备200。USB接口包括USB控制器以及USB PHY(物理层)接口，当USB FIFO中的数据准备好后，USB控制器访问AHB总线来读取准备好的数据包。

请参阅图9，本发明还提供一种三维图像设备200。三维图像设备200包括上述任意一项实施方式所述的深度处理器100、上述的结构光深度相机210、上述任意一项实施方式所述的脱落检测电路220以及上述任意一项实施方式所述的飞行时间深度相机250。

其中，三维设备可以是上述的主体设备，例如，手机、平板电脑、笔记本电脑、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、虚拟现实设备等。

三维图像设备200还包括应用处理器240，应用处理器240与深度处理器100的输出端口50连接。应用处理器240可以利用深度图像进行三维重构、人体姿势识别和动作识别以及物品识别中的至少一种。

例如，应用处理器240从深度处理器100中获取结构光深度图像和可见光图像，并基于结构光深度图像建立目标空间的三维模型，基于可见光图像对该三维模型进行色彩填充以得到目标空间的彩色的三维模型。

再例如，应用处理器240从深度处理器100中获取双目深度图像和可见光图像，首先基于可见光图像识别出人脸，再结合双目深度图像携带的深度信息在可见光图像中识别出整个人体，以使人体的识别更为准确。

再例如，应用处理器240从深度处理器100中获取飞行时间深度图像和可见光图像，首先利用边缘检测算法处理可见光图像以获取可见光图像中各物体的边缘线条，再结合飞行时间深度图像携带的深度信息对各物体的边缘进行修正，从而提取出可见光图像中的各个物体，最后利用训练好的用于物体识别的深度学习模型识别出各个物体的具体类别。

本发明实施方式的深度处理器100和三维图像设备200，将脱落检测电路220作为一个外围设备接入到深度处理器100中。如此，深度处理器100除了处理结构光图像之外，还能进行防脱落检测的判定，深度处理器100的集成度更高，功能更完善。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种深度处理器，其特征在于，包括：

至少两个输入端口，所述输入端口用于接收第一图像和检测电信号，所述第一图像至少包括由结构光深度相机采集的结构光图像、由飞行时间深度相机采集的飞行时间图像、以及由可见光相机采集的可见光图像，所述检测电信号至少包括由脱落检测电路输出的检测电信号；

输入开关器，所述输入开关器与所述输入端口连接，用于供来自所述输入端口的部分或全部第一图像通过，以及供所述检测电信号通过；

数据处理引擎，所述数据处理引擎与所述输入开关器连接，用于对经由所述输入开关器输出的第一图像进行处理以输出第二图像，以及对根据所述检测电信号进行所述结构光深度相机的保护盖脱落检测的判定，所述第二图像至少包括结构光深度图像和飞行时间深度图像，所述数据处理引擎包括修正引擎，所述修正引擎用于利用所述飞行时间深度图像修正所述结构光图像中与物体对应的像素的深度信息，所述物体为所述可见光图像中拍摄面积小于预设面积的物体；和

至少一个输出端口，所述输出端口与所述数据处理引擎连接，用于将所述第二图像和判定结果输出至主体设备。

2.根据权利要求1所述的深度处理器，其特征在于，所述深度处理器还包括连接于所述数据处理引擎与所述输出端口之间的输出开关器，所述输出开关器用于供所述判定结果、以及全部或部分所述第二图像通过以输出至所述主体设备。

3.根据权利要求1所述的深度处理器，其特征在于，所述数据处理引擎包括结构光深度处理引擎，所述结构光深度处理引擎用于基于参考图像和所述结构光图像计算所述结构光深度图像。

4.根据权利要求1所述的深度处理器，其特征在于，所述数据处理引擎包括检测电信号处理引擎，所述检测电信号处理引擎用于判断所述检测电信号是否位于预设范围内，并在所述检测电信号不在所述预设范围内时确定所述保护盖脱落。

5.根据权利要求1所述的深度处理器，其特征在于，所述结构光深度相机包括结构光投射器，所述结构光投射器包括镜筒和所述保护盖，所述脱落检测电路包括第一电极板和第二电极板，所述第一电极板设置在所述镜筒上，所述第二电极板设置在所述保护盖上并与所述第一电极板间隔相对，所述第二电极板与所述第一电极板共同组成检测电容。

6.根据权利要求1所述的深度处理器，其特征在于，所述结构光深度相机包括结构光投射器，所述结构光投射器包括镜筒和所述保护盖，所述脱落检测电路包括压力传感器和连接电路，所述压力传感器设置在所述镜筒与所述保护盖之间并受到压力，所述压力传感器连接在所述连接电路中并能够形成检测回路。

7.根据权利要求1所述的深度处理器，其特征在于，所述结构光深度相机包括结构光投射器，所述结构光投射器包括基板组件、设置在所述基板组件上的镜筒、以及所述保护盖，所述保护盖包括保护顶壁和自所述保护顶壁的周缘延伸的保护侧壁，所述脱落检测电路包括发射器和接收器，所述发射器和所述接收器中的一个设置在所述保护侧壁上，另外一个设置在所述基板组件上，所述发射器和所述接收器相对设置以形成所述脱落检测电路。

8.根据权利要求2所述的深度处理器，其特征在于，所述深度处理器还包括第一总线设备和第二总线设备，所述第一总线设备用于控制与所述深度处理器连接的外围设备，并通过桥连接至所述第二总线设备；

所述第二总线设备连接有控制单元，所述控制单元用于通过所述第二总线设备对所述输入开关器的接口、所述输出开关器的接口以及所述外围设备的接口进行管理。

9.根据权利要求8所述的深度处理器，其特征在于，所述结构光深度相机包括结构光投射器，在所述保护盖脱落时，所述主体设备通过所述第一总线设备控制所述结构光投射器关闭。

10.一种三维图像设备，其特征在于，包括：

权利要求1至9任意一项所述的深度处理器；

结构光深度相机，所述结构光深度相机包括结构光投射器和结构光图像采集器，所述结构光图像采集器用于采集由所述结构光投射器投射到目标空间中的结构光图像；和

脱落检测电路，所述脱落检测电路用于输出检测电信号，所述检测电信号用于判定所述结构光深度相机的保护盖是否脱落。

11.根据权利要求10所述的三维图像设备，其特征在于，所述三维图像设备还包括应用处理器，所述应用处理器与所述输出端口连接，所述应用处理器包括用于利用所述深度图像进行三维重构、人体姿势和动作识别以及物品识别中的至少一种。

Images