CN209676383U - 深度相机模组、深度相机、移动终端以及成像装置 - Google Patents

Abstract

本申请提供深度相机模组、深度相机、移动终端以及成像装置，深度相机模组包括：光源发射组件，其用于向空间中发射光线；TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于采集结构光深度图；第二图像采集模块，其用于采集TOF深度图；控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定采集方式采集图像信息；图像处理模块，其连接TOF传感器，其用于根据设定规则将结构光深度图和TOF深度图融合为输出深度图。本申请能够提升了被测物体的深度信息的测量的准确性，能够适用于更加复杂的环境，使得产品适用范围更为广泛。

Description

深度相机模组、深度相机、移动终端以及成像装置

技术领域

本申请涉及图像处理领域，尤其涉及深度相机模组、深度相机、移动终端以及成像装置。

背景技术

现有技术中，3D摄像头通常由多个摄像头+深度传感器组成，3D摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息，即对象的三维位置及尺寸信息。3D摄像头的应用比较广泛，能够实现实时三维信息采集，为消费电子终端加上了物体感知功能，从而引入多个“痛点型应用场景”，例如人机交互、人脸识别、三维建模、AR、安防和辅助驾驶等领域。

目前获取3D影像的主流技术包括TOF技术以及结构光3D成像技术。具体如下：TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法 3D成像，是通过给目标连续发送光脉冲或调制光源，然后用传感器接收从物体返回的光，通过探测光脉冲或调制光源的飞行(往返)时间来得到目标物距离。现有的TOF技术包括直接TOF技术跟间接TOF技术，直接TOF技术也就是脉冲调制，是由与发射光脉冲产生器同步的高精度计数器开始，探测到从目标返回的光信号后，计数器停止计时，然后直接记录往返所需要的时间T，在结合光速就可以计算出所拍摄的物体的距离。间接TOF技术也就是连续波调制，是传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离。

结构光(Structured light)：通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。根据编码图案不同一般有条纹结构光、编码结构光、散斑结构光。较成熟的技术使用是散斑结构光，散斑就是激光照射到粗糙物体或穿透毛玻璃后随机形成的衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源标定，通过对比标定平面的光斑分布，就能精确计算出当前物体距离相机的距离。

但是，如果通过TOF技术来获取3D影像存在近距离的精度比较低，对黑色物体和低反射率的物体存在测量缺陷的问题，而通过结构光来获取3D影像则存在精度随着测量距离的增大会梯度下降，并且极易受到光照影响的问题。因此，无论采用TOF技术还是结构光3D成像技术都存在各自的缺陷。

实用新型内容

本申请提供一种深度相机模组、深度相机、移动终端以及成像装置，能够在解决现在获取3D影像采用TOF技术时存在近距离精度低对黑色物体和低反射率物体存在测量缺陷以及采用结构光3D成像技术测量精度随着距离的增大又会梯度下降的问题。

根据本申请的第一方面，本申请提供一种深度相机模组，深度相机模组包括：光源发射组件，其用于向空间中发射光线；TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于采集结构光深度图；第二图像采集模块，其用于采集TOF深度图；控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定采集方式采集图像信息；图像处理模块，其连接TOF传感器，其用于根据设定规则将结构光深度图和TOF深度图融合为输出深度图。

优选地，光源发射组件包括结构光发射器，结构光发射器向空间发出结构光并在外部物体上形成结构光图案；TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的结构光图案并根据结构光图案计算得出结构光深度图；第二图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的调制光线并根据调制光线采集TOF深度图；控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定方式采集图像信息；图像处理模块，其连接TOF传感器，其用于根据设定规则将结构光深度图和TOF 深度图进行融合。

优选地，光源发射组件包括结构光发射器和激光发射器，结构光发射器发出结构光并在外部物体上形成结构光图案，激光发射器发出调制激光；TOF传感器，其用于接收并根据外部物体反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的结构光图案并根据结构光图案计算得出结构光深度图；第二图像采集模块，其用于接收外部物体表面反射的激光发射器发射的调制光线并根据调制光线采集TOF深度图；控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定方式采集图像信息；图像处理模块，其用于根据设定规则将结构光深度图和TOF深度图进行融合。

优选地，设定规则包括设置当要融合的输出深度图的深度值小于设定值时，将结构光深度图的深度值小于设定值所对应的深度信息作为输出深度图的第一深度信息，当要融合的输出深度图的深度值大于设定值时，将TOF深度图中的深度值大于或等于设定值所对应的深度信息作为输出深度图的第二深度信息，将第一深度信息和第二深度信息进行融合输出为输出深度图的深度信息。

优选地，设定规则包括设置当要融合的输出深度图的深度值小于第一设定值时，将结构光深度图中的深度值小于设定值所对应的深度信息作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于第一设定值以及小于等于第二设定值时，将结构光深度图中的深度值大于第一设定值以及小于第二设定值所对应的深度信息乘以第一设定系数，TOF深度图的深度值中大于第一设定值以及小于第二设定值所对应的深度信息乘以第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的深度值大于设定值所对应的深度信息作为输出深度图的第三深度信息；将第一深度信息、第二深度信息和第三深度信息进行融合输出为输出深度图的深度信息。

优选地，当第二图像采集模块进行图像采集时，控制结构光发射器发出的结构光中光斑的亮度是非光斑部分的亮度的1.5-2.5倍之间。

优选地，图像处理模块还包括：图像补偿单元，其用于对TOF深度图通过 DRNU标定补偿算法进行补偿。

优选地，设定采集方式包括：间隔触发TOF传感器采集结构光深度图和TOF 深度图。

根据本申请的第二方面，本申请提供一种深度相机，其包括如上所述的深度相机模组。

根据本申请的第三方面，本申请提供一种移动终端，其包括如上所述的深度相机模组。

根据本申请的第四方面，本申请提供一种成像装置，其包括如上所述的深度相机。

根据本申请的第五方面，本申请提供一种深度图获取方法，方法包括：控制光源发射组件工作使其向空间中发射光线，其中，光源发射组件包括至少一结构光发射器；接收并根据反射回来的光线采集图像信息，其中，按照设定采集方式采集结构光深度图信息和TOF深度图信息；按照设定规则将结构光深度图信息和TOF深度图信息进行融合为输出深度图。

根据本申请的第六方面，本申请提供一种深度相机模组的形成方法，方法包括：设置光源发射组件，其用于向空间中发射光线；设置TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于采集结构光深度图；第二图像采集模块，其用于采集TOF深度图；设置控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定采集方式采集图像信息；设置图像处理模块，其连接TOF传感器，其用于根据设定规则将结构光深度图和TOF深度图融合为输出深度图。

本申请的有益效果在于：通过设置光源发射组件向空间中发射光线，TOF 传感器接收并根据反射回来的光线采集图像信息，TOF传感器按照设定采集方式采集结构光深度图以及TOF深度图，然后根据设定规则将结构光深度图和 TOF深度图融合为输出深度图，这样就能够充分结合TOF技术跟结构光技术的优势，弥补的各自的缺陷，克服了结构光的远距离数据不可信的缺陷，也提升了TOF技术在近距离内的测量精度，克服了TOF技术在近距离内对黑色物体和低反射率的物体存在测量缺陷，使最终的输出深度图的精度得到了很大的提高，抗干扰性也有所增强，能够适用于更加复杂的环境，使得产品适用范围更为广泛。

附图说明

图1是本申请第一实施例中深度相机模组的原理图；

图2是本申请第二实施例中深度相机模组的原理图；

图3是本申请第三实施例中深度相机模组的原理图；

图4是采用结构光技术或者TOF技术时与采用本申请的技术方案的误差分析示意图；

图5是本申请第六实施例中深度图获取方法的流程图；

图6是本申请第七实施例中深度相机模组的形成方法的流程图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本申请的构思是：通过结合TOF深度图以及结构光深度图的特点，在近距离范围使用结构光深度图的深度信息和远离距离范围使用TOF深度图的深度信息，将TOF深度图和结构光深度图的数据进行结合能够使得输出深度图的精度有了极大的提高，抗干扰性也有所增强。

实施例一：

请参阅图1，深度相机模组包括：光源发射组件101、TOF传感器102、控制模块103以及图像处理模块104。

光源发射组件101，其用于向空间中发射光线。TOF传感器102，其用于接收并根据反射回来的光线采集图像信息，其包括：第一图像采集模块，其用于采集结构光深度图；第二图像采集模块，其用于采集TOF深度图。控制模块103，其连接并控制光源发射组件101以及TOF传感器102工作，其用于控制TOF传感器102按照设定采集方式采集图像信息。图像处理模块104，其连接TOF传感器102，其用于根据设定规则将结构光深度图和TOF深度图融合为输出深度图。

本实施例中，设定采集方式包括：间隔触发TOF传感器102采集结构光深度图和TOF深度图。具体是，因为TOF图像传感器支持灰度图(2D图)和深度图(3D图)的时分复用模式，例如第一帧采集2D图，第二至五帧采集4个相位图合成1个3D图，即“2D->DCS1->DCS2->DCS3->DCS4”，TOF sensor 的2D帧数可以任意配置，因此，也可以配置成“三帧2D图、四帧相位图”，即“2D1->2D2->2D3->DCS1->DCS2->DCS3->DCS4”。利用TOF传感器102这一属性，可以配置TOF传感器采集的第一帧为采集结构光深度图，采集的第二至第五帧为采集四个相位图，将该四个相位图合成1个3D图，也可以配置TOF 传感器首先采集多帧结构光深度图，然后用四帧分别采集四个相位图以合成3D 图，当采集到的是多帧结构光深度图时，可以将该写结构光深度图的数据进行平均作为要进行融合的结构光深度图使用，或者任意选择其中一帧作为进行融合的结构光深度图使用。

本实施例中，设定规则包括设置当要融合的输出深度图的深度信息小于设定值时，将结构光深度图的深度值小于或等于设定值所对应的深度信息作为输出深度图的第一深度信息，当要融合的输出深度图的深度信息大于设定值时，将TOF深度图中的深度值大于或等于设定值所对应的深度信息作为输出深度图的第二深度信息，将第一深度信息和第二深度信息进行融合输出为输出深度图的深度信息。

下面结合图1来对本申请的工作原理进行说明。

控制模块103控制光源发射组件101向空间中发射光线，控制TOF传感器 102接收空间中的物体反射回来的光线并根据接收到的反射回来的光线采集图像信息，具体是，触发TOF传感器102在第一帧图像中采集结构光深度图，触发TOF传感器102在第二帧至第五帧采集四个相位图，并将这四个相位图形成为TOF深度图。图像处理模块104根据设定规则将结构光深度图和TOF深度图进行融合为输出深度图，具体是，设置一个设定值，当要融合的输出深度图的深度值小于设定值时，将结构光深度图的深度值小于或等于设定值所对应的深度信息作为输出深度图的第一深度信息，当要融合的输出深度图的深度值大于设定值时，将TOF深度图的深度值大于或等于设定值所对应的深度信息作为输出深度图的第二深度信息。

实施例二：

请参阅图2，深度相机模组包括：光源发射组件、TOF传感器202、控制模块203以及图像处理模块204。

光源发射组件包括结构光发射器201，结构光发射器201向空间发出结构光在外部物体上形成结构光图案。TOF传感器202，其用于接收并根据反射回来的光源采集图像信息，其包括：第一图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的结构光图案并根据结构光图案计算得出所述结构光深度图；第二图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的调制光线并根据所述调制光线采集TOF深度图；控制模块203，其连接并控制光源发射组件以及TOF传感器202工作，其用于控制TOF传感器202按照设定方式采集图像信息；图像处理模块204，其连接TOF传感器202，其用于根据设定规则将结构光深度图和TOF深度图进行融合。

本实施例中，结构光发射器201发出的结构光为散斑结构光。因为激光散斑是由无规则散射体被相干光照射产生的，通过统计方法的研究，可以认识到散斑的强度分布、对比度和散斑运动规律等特点，这种散斑具有高度的随机性，而且随着距离的不同会出现不同的图案，也就是说，在同一空间中任何两个地方的散斑图案都不相同。只要在空间中打上这样的结构光然后加以相机记录就让整个空间都像是被做了标记，然后把一个物体放入这个空间后只需要从物体的散斑图案变化就可以知道这个物体的具体位置。

因此，第一图像采集模块采集结构光深度图的具体方式是：首先通过摄像头进行标定，每隔设定距离就选取一个参考平面，这样可以标定保存N幅作为参考散斑图像，当真正进行测量的时候，将获取到的散斑图像与保存下来的参考散斑图像依次做互相关运算，进而得到N幅相关度图像。而空间中的物体存在的位置，会在相关图像上会显示出峰值，把这些峰值叠加在一起，再经过插值运算后就会得到整个场景的三维形状了，其中N越大，精度越高。将通过第一图像采集模块获得采集到的结构光深度图的深度信息记录为D_str。

第二图像采集模块采集TOF深度图的具体方式是：通过控制第二图像采集模块中的传输晶体管与调制光线的相位关系，采集在四个相位：0°、90°、180°、 270°的光生电荷，再由电荷量转换为相位，通过相位、激光频率和光速的关系计算出偏移角度进一步计算出深度值。

进一步地，可以设置第二图像采集模块中的像素单元具有第一电压信号输出模块以及第二电压信号输出模块，因此，第一积分阶段，像素单元接收到空间中的物体接收到调制光线后反射回来的反射光线时，获取第一电压信号输出模块输出的电压为反射光线在相位为0°时的电压信号PSH0，获取第二电压信号输出模块输出的电压信号为反射光线在相位为180°时的电压信号PSH1；第二积分阶段，像素单元再次接收到反射光线后，获取第一电压信号输出模块输出的电压为反射光线在相位为90°时的电压信号PSH2，获取第二电压信号输出模块输出的电压为反射光线在相位为270°时的电压信号PSH3。

根据公式：其中Distance 是深度值，c是光速、f是调制频率、Δα是发射光线的偏移角，PHS0，PHS1， PHS2，PHS3分别是0°，90°，180°，270°的光生电荷信号。将通过第二图像采集模块获得的TOF深度图的深度信息记录为D_tof。

进一步地，当第二图像采集模块进行图像采集时，控制结构光发射器201 发出的结构光中光斑的亮度是非光斑部分的亮度的1.5-2.5倍之间。如果非光斑部分的亮度比较低的话，则形成的TOF深度图的深度数据置信度比较低，所以要对结构光中的光斑亮度和非光斑亮度的比例进行调整。

进一步地，图像处理模块204还包括：图像补偿单元，其用于对TOF深度图通过DRNU(Distance Response Non-Uniformity of the sensor，传感器不均匀性的距离响应)标定补偿算法进行补偿。因为通过第二图像采集模块进行采集的时候，结构光发射器是发射带有散斑结构的调制光线，所以TOF深度图中可能会出现一些斑点的亮度比其它地方的亮度更亮，因此需要通过补偿算法来进行补偿调整，从而降低误差。

本实施例中，设定采集方式包括：间隔触发TOF传感器202采集结构光深度图和TOF深度图。具体是，因为TOF图像传感器支持灰度图(2D图)和深度图(3D图)的时分复用模式，例如第一帧采集2D图，第二至五帧采集4个相位图合成1个3D图，即“2D->DCS1->DCS2->DCS3->DCS4”，TOF sensor 的2D帧数可以任意配置，因此，也可以配置成“三帧2D图、四帧相位图”，即“2D1->2D2->2D3->DCS1->DCS2->DCS3->DCS4”。利用TOF传感器202这一属性，可以配置TOF传感器采集的第一帧为采集结构光深度图，采集的第二至第五帧为采集四个相位图，将该四个相位图合成1个3D图，也可以配置TOF 传感器202首先采集多帧结构光深度图，然后用四帧分别采集四个相位图以合成3D图，当采集到的是多帧结构光深度图时，可以将该写结构光深度图的数据进行平均作为要进行融合的结构光深度图使用，或者任意选择其中一帧作为进行融合的结构光深度图使用。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息D_str作为输出深度图的第一深度信息，当要融合的输出深度图的深度值大于设定值时，将TOF深度图中的深度值大于或等于设定值所对应的深度信息D_tof作为输出深度图的第二深度信息，将第一深度信息和第二深度信息进行融合输出为输出深度图的深度信息。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于第一设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息D_str作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于第一设定值以及小于等于第二设定值时，将结构光深度图中的深度值大于第一设定值以及小于第二设定值所对应的深度信息D_str乘以第一设定系数，TOF深度图的深度值中大于第一设定值以及小于第二设定值所对应的深度信息D_tof乘以第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的深度值大于设定值所对应的深度信息D_tof作为输出深度图的第三深度信息；将第一深度信息、第二深度信息和第三深度信息进行融合输出为输出深度图的深度信息。

因为TOF深度图的精度在0-5米的范围内变化不大，相对精度大概在5-10 毫米，而结构光深度图在30到120cm内可以实现毫米级别的景深信息检测，在大于1.2米以外精度会梯度下降，所以结合两者的特点，在小于1.2米的地方采用结构光深度图中的数据，在大于1.2米的地方采用TOF深度图。

进一步地，本实施例中可以设置三个距离范围段，其中，第一设定值为0.8 米，第二设定值为1.2米，则设置当要融合的输出深度图的深度值小于0.8米时，将结构光深度图中的深度值小于或等于0.8米所对应的深度信息D_str作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于0.8米以及小于等于1.2米时，将结构光深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_str乘以a，TOF深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_tof乘以(1-a)，其中，a为第一系数，(1-a)为第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的大于1.2米的深度信息D_tof作为输出深度图的第三深度信息。具体可以参考如下公式：

其中

因此，在1.2米以内采用结构光的测距数据，1.2米以外采用TOF技术的测距数据，这样就能够获得新的输出深度图。新的输出深度图具有以下优点：1、提升了TOF深度图在1.2米内的精度，利了结构光在近距离高精度的特性，克服了TOF传感器202在1.2米内对黑色物体和低反射率的物体存在测量缺陷。2、同时克服了结构光深度图的远距离数据不可信的缺陷，大大提升了结构光1.2m 到5m的精度。

请参阅图4，可以看到整体误差得到了极大的优化，综合利用TOF深度图和结构光深度图的特点，基本上在1.2米的范围内的误差与采用结构光的误差一致，在1.2米范围以外与采用TOF技术的误差一致，这就既克服了结构光深度图在远距离数据不可信的缺陷，也克服了TOF深度图近距离的缺陷。

下面结合图2和图4来对本实施例的工作原理进行说明。

控制模块203控制结构光发射器201向空间中发射散斑结构光，控制TOF 传感器202接收空间中的物体反射回来的光线并根据接收到的反射回来的光线采集图像信息。

触发TOF传感器202在第一帧图像中采集结构光深度图，触发TOF传感器 202在第二帧至第五帧采集四个相位图，并将这四个相位图形成为TOF深度图。

采集结构光深度图的具体方式是通过获取到的散斑图像与预先保存的参考散斑图像进行互相关运算得到相关度图像，将相关度图像中的峰值进行叠加，再经过插值运算后就能够得到结构光深度图。采集TOF深度图时，控制结构光发射器201发出的结构光中光斑部分的亮度是非光斑部分的亮度的1.5-2.5倍之间。而采集TOF深度图的方式是，通过控制像素的传输晶体管和调制光线的相位关系，采集四个相位：0°、90°、180°、270°的光生电荷后，再由电荷量转换为相位，通过相位、激光频率和光速的关系计算出偏移角度进一步计算出深度值。进一步地，可以对TOF深度图的非光斑部分通过DRNU标定补偿算法进行补偿。

采集结构光深度图和TOF深度图的方式请参考上面实施例的描述，这里不再重复。

图像处理模块204根据设定规则将结构光深度图和TOF深度图进行融合为输出深度图。具体是，可以设置设定数量的设定值，比如设置第一设定值0.8米，第二设定值1.2米，划分为三个距离范围段，将输出深度图中小于0.8米的深度值采用结构光深度图中小于0.8米的深度信息D_str，将输出深度图中大于等于0.8 米以及小于等于1.2米的深度值采用结构光深度图中和TOF深度图中大于等于 0.8米以及小于等于1.2米的深度信息，将输出深度图中大于1.2米的深度值采用TOF深度图中大于1.2米的深度信息D_tof。具体的图像融合过程可参考上面的描述，这里不再重复。

实施例三：

请参阅图3，深度相机模组包括：光源发射组件、TOF传感器303、控制模块304以及图像处理模块305。

光源发射组件包括结构光发射器301和激光发射器302，结构光发射器发出结构光并在外部物体上形成结构光图案，激光发射器302发出调制激光。TOF 传感器303，其用于接收并根据外部物体反射回来的光源采集图像信息，其包括：第一图像采集模块，其用于接收外部物体表面反射的结构光发射器发射的结构光图案并根据结构光图案计算得出结构光深度图；第二图像采集模块，其用于接收外部物体表面反射的激光发射器发射的调制光线并根据调制光线采集TOF 深度图；控制模块304，其连接并控制光源发射组件以及TOF传感器303工作，其用于控制TOF传感器303按照设定方式采集图像信息；图像处理模块305，其用于根据设定规则将结构光深度图和TOF深度图进行融合。

本实施例中，结构光发射器301发出的结构光为散斑结构光。因为激光散斑是由无规则散射体被相干光照射产生的，通过统计方法的研究，可以认识到散斑的强度分布、对比度和散斑运动规律等特点，这种散斑具有高度的随机性，而且随着距离的不同会出现不同的图案，也就是说，在同一空间中任何两个地方的散斑图案都不相同。只要在空间中打上这样的结构光然后加以相机记录就让整个空间都像是被做了标记，然后把一个物体放入这个空间后只需要从物体的散斑图案变化就可以知道这个物体的具体位置。

因此，第一图像采集模块采集结构光深度图的具体方式是：首先通过摄像头进行标定，每隔设定距离就选取一个参考平面，这样可以标定保存N幅作为参考散斑图像，当真正进行测量的时候，将获取到的散斑图像与保存下来的参考散斑图像依次做互相关运算，进而得到N幅相关度图像。而空间中的物体存在的位置，会在相关图像上会显示出峰值，把这些峰值叠加在一起，再经过插值运算后就会得到整个场景的三维形状了，其中N越大，精度越高。将通过第一图像采集模块采集到的结构光深度图的深度信息记录为D_str

本实施例中，激光发射器302为垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，简称VCSEL)。因此，第二图像采集模块采集TOF深度图的方式可以是：通过控制像素的传输晶体管与调制光线的相位关系，通过采集在四个相位：0°、90°、180°、270°的光生电荷，再由电荷量转换为相位，通过相位、激光频率和光速的关系计算出偏移角度进一步计算出深度值。

进一步地，可以设置第二图像采集模块中的像素单元具有第一电压信号输出模块以及第二电压信号输出模块，因此，第一积分阶段，像素单元接收到空间中的物体接收到调制光线后反射回来的反射光线后，获取第一电压信号输出模块输出的电压为反射光线在相位为0°时的电压信号PSH0，获取第二电压信号输出模块输出的电压信号为反射光线在相位为180°时的电压信号PSH1；第二积分阶段，像素单元再次接收到反射光线后，获取第一电压信号输出模块输出的电压为反射光线在相位为90°时的电压信号PSH2，获取第二电压信号输出模块输出的电压为反射光线在相位为270°时的电压信号PSH3。

根据公式：其中Distance是深度值，c是光速、f是调制频率、Δα是发射光线的偏移角，PHS0，PHS1， PHS2，PHS3分别是0°，90°，180°，270°的光生电荷信号。将通过第二图像采集模块获得的TOF深度图的深度信息记录为D_tof。

本实施例中，设定采集方式包括：间隔触发TOF传感器303采集结构光深度图和TOF深度图。具体是，因为TOF图像传感器支持灰度图(2D图)和深度图(3D图)的时分复用模式，例如第一帧采集2D图，第二至五帧采集4个相位图合成1个3D图，即“2D->DCS1->DCS2->DCS3->DCS4”，TOF sensor 的2D帧数可以任意配置，因此，也可以配置成“三帧2D图、四帧相位图”，即“2D1->2D2->2D3->DCS1->DCS2->DCS3->DCS4”。利用TOF传感器303这一属性，可以配置TOF传感器303采集的第一帧为采集结构光深度图，采集的第二至第五帧为采集四个相位图，将该四个相位图合成1个3D图，也可以配置 TOF传感器首先采集多帧结构光深度图，然后用四帧分别采集四个相位图以合成3D图，当采集到的是多帧结构光深度图时，可以将该写结构光深度图的数据进行平均作为要进行融合的结构光深度图使用，或者任意选择其中一帧作为进行融合的结构光深度图使用。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息D_str作为输出深度图的第一深度信息，当要融合的输出深度图的深度值大于设定值时，将TOF深度图中的深度值大于或等于设定值所对应的深度信息D_tof作为输出深度图的第二深度信息，将第一深度信息和第二深度信息进行融合输出为输出深度图的深度信息。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于第一设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息D_str作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于第一设定值以及小于等于第二设定值时，将结构光深度图中的深度值大于第一设定值以及小于第二设定值所对应的深度信息D_str乘以第一设定系数，TOF深度图的深度值中大于第一设定值以及小于第二设定值所对应的深度信息D_tof乘以第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的深度值大于设定值所对应的深度信息D_tof作为输出深度图的第三深度信息；将第一深度信息、第二深度信息和第三深度信息进行融合输出为输出深度图的深度信息。

因为TOF深度图的精度在0-5米的范围内变化不大，相对精度大概在5-10 毫米，而结构光深度图在30到120cm内可以实现毫米级别的景深信息检测，在大于1.2米以外精度会梯度下降，所以结合两者的特点，在小于1.2米的地方采用结构光深度图中的数据，在大于1.2米的地方采用TOF深度图。

进一步地，本实施例中可以设置三个距离范围段，其中，第一设定值为0.8 米，第二设定值为1.2米，则设置当要融合的输出深度图的深度值小于0.8米时，将结构光深度图中的深度值小于或等于0.8米所对应的深度信息D_str作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于0.8米以及小于等于1.2米时，将结构光深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_str乘以a，TOF深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_tof乘以(1-a)，其中，a为第一系数，(1-a)为第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的大于1.2米的深度信息D_tof作为输出深度图的第三深度信息。具体可以参考如下公式：

其中

因此，在1.2米以内采用结构光的测距数据，1.2米以外采用TOF技术的测距数据，这样就能够获得新的输出深度图。新的输出深度图具有以下优点：1、提升了TOF深度图在1.2米内的精度，利了结构光在近距离高精度的特性，克服了TOF传感器303在1.2米内对黑色物体和低反射率的物体存在测量缺陷。2、同时克服了结构光深度图的远距离数据不可信的缺陷，大大提升了结构光1.2m 到5m的精度。

请参阅图4，可以看到整体误差得到了极大的优化，综合利用TOF深度图和结构光深度图的特点，基本上在1.2米的范围内的误差与采用结构光的误差一致，在1.2米范围以外与采用TOF技术的误差一致，这就既克服了结构光深度图在远距离数据不可信的缺陷，也克服了TOF深度图近距离的缺陷。

下面结合图3和图4来对本实施例的工作原理进行说明。

控制模块304控制结构光发射器301向空间中发射散斑结构光，控制TOF 传感器303接收空间中的物体反射回来的光线并根据接收到的反射回来的光线采集结构光深度图，控制激光发射器302向空间中发射调制激光，控制TOF传感器303接收空间中的物体反射回来的光线并根据接收到的反射回来的光线采集TOF深度图。

触发TOF传感器303在第一帧图像中采集结构光深度图，触发TOF传感器 303在第二帧至第五帧采集四个相位图，并将这四个相位图形成为TOF深度图。

采集结构光深度图的具体方式是通过获取到的散斑图像与预先保存的参考散斑图像进行互相关运算得到相关度图像，将相关度图像中的峰值进行叠加，再经过插值运算后就能够得到结构光深度图。而采集TOF深度图的方式是，通过控制像素的传输晶体管和调制光线的相位关系，采集四个相位：0°、90°、180°、 270°的光生电荷后，再由电荷量转换为相位，通过相位、激光频率和光速的关系计算出偏移角度进一步计算出深度值。

采集结构光深度图和TOF深度图的方式请参考上面实施例的描述，这里不再重复。

图像处理模块305根据设定规则将结构光深度图和TOF深度图进行融合为输出深度图。具体是，可以设置设定数量的设定值，比如设置第一设定值0.8米，第二设定值1.2米，划分为三个距离范围段，将输出深度图中小于0.8米的深度值采用结构光深度图中的深度值小于0.8米所对应的深度信息D_str，将输出深度图中的深度值大于等于0.8米以及小于等于1.2米的深度值采用结构光深度图中和TOF深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息，将输出深度图中的深度值大于1.2米的深度值采用TOF深度图中大于1.2 米所对应的深度信息D_tof。具体的图像融合过程可参考上面的描述，这里不再重复。

实施例四：

本申请提出一种深度相机，其包括上所述的深度相机模组。

实施例五：

本申请提出一种移动终端，其包括上所述的深度相机模组。

实施例六：

请参阅图5，本申请还提出一种深度图获取方法，方法包括：

步骤S601：控制光源发射组件工作使其向空间中发射光线，其中，光源发射组件包括至少一结构光发射器。

本实施例中，光源发射组件包括结构光发射器，结构光发射器发出的结构光为散斑结构光并且在外部物体上形成结构光图案。

在其它实施例中，光源发射组件包括结构光发射器和激光发射器。激光发射器为垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，简称 VCSEL)。

步骤S602：接收并根据反射回来的光线采集图像信息，其中，按照设定采集方式采集结构光深度图信息和TOF深度图信息。

本实施例中，设定采集方式包括：间隔触发TOF传感器采集结构光深度图和TOF深度图。具体是，因为TOF图像传感器支持灰度图(2D图)和深度图 (3D图)的时分复用模式，例如第一帧采集2D图，第二至五帧采集4个相位图合成1个3D图，即“2D->DCS1->DCS2->DCS3->DCS4”，TOF sensor的2D 帧数可以任意配置，因此，也可以配置成“三帧2D图、四帧相位图”，即“2D1->2D2->2D3->DCS1->DCS2->DCS3->DCS4”。利用TOF传感器这一属性，可以配置TOF传感器采集的第一帧为采集结构光深度图，采集的第二至第五帧为采集四个相位图，将该四个相位图合成1个3D图，也可以配置TOF传感器首先采集多帧结构光深度图，然后用四帧分别采集四个相位图以合成3D图，当采集到的是多帧结构光深度图时，可以将该写结构光深度图的数据进行平均作为要进行融合的结构光深度图使用，或者任意选择其中一帧作为进行融合的结构光深度图使用。

本实施例中，当光源发射组件包括结构光发射器时，则第一图像采集模块采集结构光深度图的具体方式是：首先通过摄像头进行标定，每隔设定距离就选取一个参考平面，这样可以标定保存N幅作为参考散斑图像，当真正进行测量的时候，将获取到的散斑图像与保存下来的参考散斑图像依次做互相关运算，进而得到N幅相关度图像。而空间中的物体存在的位置，会在相关图像上会显示出峰值，把这些峰值叠加在一起，再经过插值运算后就会得到整个场景的三维形状了，其中N越大，精度越高。将通过第一图像采集模块获得采集到的结构光深度图的深度信息记录为D_str。

当第二图像采集模块进行图像采集时，控制结构光发射器发出的结构光中光斑的亮度是非光斑部分的亮度的1.5-2.5倍之间。第二图像采集模块采集TOF 深度图的方式可以是：通过控制像素的传输晶体管与结构光的相位关系，通过采集在四个相位：0°、90°、180°、270°的光生电荷，再由电荷量转换为相位，通过相位、激光频率和光速的关系计算出偏移角度进一步计算出深度值。另外，还可以通过对TOF深度图中部分通过DRNU标定补偿算法进行补偿。

在其他实施例中，当光源发射组件包括结构光发射器和激光发射器时，则第一图像采集模块采集结构光深度图与上面的描述一样，而第二图像采集模块采集TOF深度图的方式则无须再调整光斑与分光斑部分的亮度，因为直接使用的是激光发射器。

进一步地，可以设置第二图像采集模块中的像素单元具有第一电压信号输出模块以及第二电压信号输出模块，因此，第一积分阶段，像素单元接收到空间中的物体接收到后反射回来的反射光线时，获取第一电压信号输出模块输出的电压为反射光线在相位为0°时的电压信号PSH0，获取第二电压信号输出模块输出的电压信号为反射光线在相位为180°时的电压信号PSH1；第二积分阶段，像素单元再次接收到反射光线后，获取第一电压信号输出模块输出的电压为反射光线在相位为90°时的电压信号PSH2，获取第二电压信号输出模块输出的电压为反射光线在相位为270°时的电压信号PSH3。

根据公式：其中Distance是深度值，c是光速、f是调制频率、Δα是发射光线的偏移角，PHS0，PHS1， PHS2，PHS3分别是0°，90°，180°，270°的光生电荷信号。将通过第二图像采集模块获得的TOF深度图的深度信息记录为TOF传感器202的深度信息 D_tof。

步骤S603：按照设定规则将结构光深度图信息和TOF深度图信息进行融合为输出深度图。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息作为输出深度图的第一深度信息，当要融合的输出深度图的深度值大于设定值时，将 TOF深度图中的深度值大于或等于设定值所对应的深度信息作为输出深度图的第二深度信息，将第一深度信息和第二深度信息进行融合输出为输出深度图的深度信息。

本实施例中，设定规则包括设置当要融合的输出深度图的深度值小于第一设定值时，将结构光深度图中的深度值小于或等于设定值所对应的深度信息作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于第一设定值以及小于等于第二设定值时，将结构光深度图中的深度值大于第一设定值以及小于第二设定值所对应的深度信息乘以第一设定系数，TOF深度图的深度值中大于第一设定值以及小于第二设定值所对应的深度信息乘以第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的深度值大于设定值所对应的深度信息作为输出深度图的第三深度信息；将第一深度信息、第二深度信息和第三深度信息进行融合输出为输出深度图的深度信息。因为TOF深度图的精度在0-5米的范围内变化不大，相对精度大概在5-10毫米，而结构光深度图在30到120cm 内可以实现毫米级别的景深信息检测，在大于1.2米以外精度会梯度下降，所以结合两者的特点，在小于1.2米的地方采用结构光深度图中的数据，在大于1.2 米的地方采用TOF深度图。

进一步地，本实施例中可以设置三个距离范围段，其中，第一设定值为0.8 米，第二设定值为1.2米，则设置当要融合的输出深度图的深度值小于0.8米时，将结构光深度图中的深度值小于或等于0.8米所对应的深度信息D_str作为输出深度图的第一深度信息；当要融合的输出深度图的深度值大于等于0.8米以及小于等于1.2米时，将结构光深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_str乘以a，TOF深度图中的深度值大于等于0.8米以及小于等于1.2米所对应的深度信息D_tof乘以(1-a)，其中，a为第一系数，(1-a)为第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的输出深度图的深度值大于第二设定值时，将TOF深度图中的大于1.2米的深度信息D_tof作为输出深度图的第三深度信息。具体可以参考如下公式：

其中

实施例七：

请参阅图6，本申请提出一种深度相机模组的形成方法，方法包括：

S701：设置光源发射组件，其用于向空间中发射光线；

S702：设置TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：

第一图像采集模块，其用于采集结构光深度图；

第二图像采集模块，其用于采集TOF深度图；

S703：设置控制模块，其连接并控制光源发射组件以及TOF传感器工作，其用于控制TOF传感器按照设定采集方式采集图像信息；

S704：设置图像处理模块，其连接TOF传感器，其用于根据设定规则将结构光深度图和TOF深度图融合为输出深度图。

实施例八：

本申请提供一种成像装置，其包括如上所述的深度相机。

本申请的有益效果在于：通过设置光源发射组件向空间中发射光线，TOF 传感器接收并根据反射回来的光线采集图像信息，TOF传感器按照设定采集方式采集结构光深度图以及TOF深度图，然后根据设定规则将结构光深度图和 TOF深度图融合为输出深度图，这样就能够充分结合TOF技术跟结构光技术的优势，弥补的各自的缺陷，克服了结构光的远距离数据不可信的缺陷，也提升了TOF技术在近距离内的测量精度，克服了TOF技术在近距离内对黑色物体和低反射率的物体存在测量缺陷，使最终的输出深度图的精度得到了很大的提高，抗干扰性也有所增强，能够适用于更加复杂的环境，使得产品适用范围更为广泛。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (11)

1.一种深度相机模组，其特征在于，所述深度相机模组包括：

光源发射组件，其用于向空间中发射光线；

TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：

第一图像采集模块，其用于采集结构光深度图；

第二图像采集模块，其用于采集TOF深度图；

控制模块，其连接并控制所述光源发射组件以及TOF传感器工作，其用于控制所述TOF传感器按照设定采集方式采集图像信息；

图像处理模块，其连接所述TOF传感器，其用于根据设定规则将所述结构光深度图和TOF深度图融合为输出深度图。

2.如权利要求1所述的深度相机模组，其特征在于，所述光源发射组件包括结构光发射器，所述结构光发射器向空间发射光线并在外部物体上形成结构光图案；

TOF传感器，其用于接收并根据反射回来的光线采集图像信息，其包括：

第一图像采集模块，其用于接收外部物体表面反射的所述结构光发射器发射的结构光图案并根据所述结构光图案计算得出所述结构光深度图；

第二图像采集模块，其用于接收外部物体表面反射的所述结构光发射的调制光线并根据所述调制光线采集所述TOF深度图；

控制模块，其连接并控制所述光源发射组件以及TOF传感器工作，其用于控制所述TOF传感器按照设定方式采集图像信息；

图像处理模块，其连接所述TOF传感器，其用于根据设定规则将所述结构光深度图和TOF深度图进行融合。

3.如权利要求1所述的深度相机模组，其特征在于，所述光源发射组件包括结构光发射器和激光发射器，所述结构光发射器发出结构光并在外部物体上形成结构光图案，所述激光发射器发出调制激光；

TOF传感器，其用于接收并根据外部物体反射回来的光线采集图像信息，其包括：

第一图像采集模块，其用于接收外部物体表面反射的所述结构光发射器发射的结构光图案并根据所述结构光图案计算得出所述结构光深度图；

第二图像采集模块，其用于接收外部物体表面反射的所述激光发射器发射的调制光线并根据所述调制光线采集所述TOF深度图；

控制模块，其连接并控制所述光源发射组件以及TOF传感器工作，其用于控制所述TOF传感器按照设定方式采集图像信息；

图像处理模块，其用于根据设定规则将所述结构光深度图和TOF深度图进行融合。

4.如权利要求1所述的深度相机模组，其特征在于，所述设定规则包括设置当要融合的所述输出深度图的深度值小于设定值时，将所述结构光深度图的深度值小于所述设定值所对应的深度信息作为所述输出深度图的第一深度信息，当要融合的所述输出深度图的深度值大于设定值时，将所述TOF深度图中的深度值大于或等于所述设定值所对应的深度信息作为所述输出深度图的第二深度信息，将所述第一深度信息和第二深度信息进行融合输出为所述输出深度图的深度信息。

5.如权利要求4所述的深度相机模组，其特征在于，所述设定规则包括设置当要融合的所述输出深度图的深度值小于第一设定值时，将所述结构光深度图中的深度值小于所述设定值所对应的深度信息作为所述输出深度图的第一深度信息；当要融合的所述输出深度图的深度值大于等于所述第一设定值以及小于等于第二设定值时，将所述结构光深度图中的深度值大于所述第一设定值以及小于第二设定值所对应的深度信息乘以第一设定系数，所述TOF深度图的深度值中大于所述第一设定值以及小于第二设定值所对应的深度信息乘以第二系数，将两者的运算结果进行相加作为第二深度信息；当要融合的所述输出深度图的深度值大于所述第二设定值时，将所述TOF深度图中的深度值大于所述设定值所对应的深度信息作为所述输出深度图的第三深度信息；将所述第一深度信息、第二深度信息和第三深度信息进行融合输出为所述输出深度图的深度信息。

6.如权利要求2所述的深度相机模组，其特征在于，当所述第二图像采集模块进行图像采集时，控制结构光发射器发出的结构光中光斑的亮度是非光斑部分的亮度的1.5-2.5倍之间。

7.如权利要求2所述的深度相机模组，其特征在于，所述图像处理模块还包括：图像补偿单元，其用于对TOF深度图通过DRNU标定补偿算法进行补偿。

8.如权利要求1所述的深度相机模组，其特征在于，所述设定采集方式包括：间隔触发所述TOF传感器采集结构光深度图和TOF深度图。

9.一种深度相机，其特征在于，其包括如权利要求1至8任意一项所述的深度相机模组。

10.一种移动终端，其特征在于，其包括如权利要求1至8任意一项所述的深度相机模组。

11.一种成像装置，其特征在于，其包括如权利要求9所述的深度相机。