CN110007289B - 一种基于飞行时间深度相机的运动伪差减小方法 - Google Patents

Abstract

本发明公开了一种基于飞行时间深度相机的运动伪差减小方法，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块并进行数据存储处理的控制模块。所述运动伪差减小方法包括如下步骤：S1、所述光发射模块向外发射光线；S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。本发明通过减小数据传输过程带来的不同帧曝光的时间差，减少运动情况下物体边缘出现的伪差现象。

Description

一种基于飞行时间深度相机的运动伪差减小方法

技术领域

本发明涉及深度测量相机技术领域，特别是一种在运动情况下使用的基于飞行时间深度相机的运动伪差减小方法。

背景技术

近年来，深度相机越来越多的应用于人脸识别、流量统计、行车导航、行车避障、工业件检测和物体扫描等领域。市场上的深度相机采用的技术可分为双目、飞行时间法(TOF)和结构光三类。TOF深度相机是通过测量光从相机发出到经过物体反射回相机的时间来确定物体到相机的距离。TOF深度相机按照其测距原理，可分为连续波调制TOF(CVM_TOF)和脉冲TOF(P_TOF)。CVM_TOF先发送一束连续的调制光，通过测量返回光和发送光的相位差，计算飞行时间，进一步确定物体距离。P_TOF发射光脉冲到物体上，通过测量返回的光脉冲计算飞行时间，进一步确定物体距离。TOF深度相机采用最为直接的方式测量物体距离，以最小的计算资源获得良好的深度信息。TOF深度相机的帧率较高，非常适用于运动场景。然而TOF深度相机需要采集若干幅相关时间图来计算一幅深度图，当运动速度较快时物体的边缘会出现严重的运动伪差现象。

为减小TOF深度相机的运动伪差，一种方法是对若干幅相关时间图做图像匹配，将同一物体移动到相同的图像位置上，再进行深度计算，然而此方法算法复杂度较高，图像匹配的准度也有限；另一种方法是利用若干幅相关时间图的约束规则，将物体边缘不匹配的点去掉，但是此种方法不能完全去除运动伪差现象，同时会将有效点去除。

解决或者降低TOF深度相机的运动伪差，对于TOF深度相机应用于物体相对运动的场景有着重大意义。

发明内容

本发明的目的是提出一种基于飞行时间深度相机的运动伪差减小方法；通过对飞行时间深度相机传感芯片感光区域分割，各区域时间相关帧分别采集，有效减少运动伪差。

本发明的目的是通过以下技术方案实现的：

一种基于飞行时间深度相机的运动伪差减小方法，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块，并进行数据存储和数据处理的控制模块；所述运动伪差减小方法包括如下步骤：

S1、所述光发射模块向外发射光线；

S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；

S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；

其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。

进一步的，步骤S2中，所述传感模块的传感阵列由所述控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。

进一步的，步骤S1中，所述光发射模块由控制模块调节光发射功率和频率，且向外发射光线的照明范围至少包含所述传感模块曝光区域的视场范围。

进一步的，所述控制模块包括传感控制单元、照明控制单元、数据采集单元、数据缓存单元、数据计算单元和数据发送单元；

所述传感控制单元用于控制传感模块芯片上电顺序、配置芯片寄存器和读取芯片工作温度；

所述照明控制单元用于控制光发射模块照明的开启或关闭、调节光发射功率和频率；

所述数据采集单元用于采集传感模块芯片不同曝光区域的各相关时间图、工作温度数据；

所述数据缓存单元用于存储数据采集单元采集的相关时间图数据；

所述数据计算单元用于对采集到的各相关时间图进行拼接和深度计算；

所述数据发送单元用于发送计算好的数据。

进一步的，步骤S3还包括，所述控制模块读取传感模块的芯片工作温度，并基于温度补偿系数对计算的深度图进行补偿。

进一步的，步骤S3具体包括：

S31、所述控制模块分别存储由传感模块的不同区域获取的相关时间图，其中每个区域获取的相关时间图包括若干相关时间帧数据；

S32、所述控制模块计算存储的各相关时间帧数据，得到相关时间偏移图，并根据初始相关时间偏移计算深度图；

S33、所述控制模块根据温度补偿系数，对深度图进行补偿；

S34、所述控制模块根据距离标定结果对补偿后的深度图进行距离校正。

进一步的，步骤S3还包括：

S35、所述控制模块根据传感模块的镜头内参，将所述校正后的深度图转到传感模块相机的相机坐标系下；

S36、所述控制模块根据传感模块的镜头外参，将所述相机坐标系下的深度图转到世界坐标系下。

进一步的，步骤S3中，所述控制模块在对各相关时间帧数据进行计算时，先对相关时间帧进行拼接得到完整的相关时间图，再根据不同时间偏移的完整相关时间帧进行深度计算得到完整的深度图；

或者，先对传感模块各区域不同时间偏移的相关时间帧进行深度计算得到各区域的深度帧，再对这些深度帧做拼接得到完整的深度图。

由于采用了以上所述技术方案，本发明具有如下优点：

1)传感模块成像区域分多个区域采集，减少了各个区域内若干相关时间图采集的时间差，能有效降低运动伪差的情况；

2)各个区域采集的图像拼接之后能够合成完整的深度图像，不会造成信息的丢失，同样适用于静态物体的测量；

3)光发射模块的发射光功率可调，可适用于不同距离和不同光反射率的物体测量。

本发明的其它优点、目标特征在某种程度上将在下文的说明书中说明，并且在某种程度上，基于对下文的研究，本领域技术人员可以从本发明的实践中得到教导。本发明的目的和优点可以通过下文的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明中的深度相机包括的三大模块连接示意图。

图2为本发明中传感模块的传感阵列第一种区域分割实施例的示意图。

图3为本发明中传感模块的传感阵列第二种区域分割实施例的示意图。

图4为本发明中控制模块处理得到深度图的第一种实施例的流程示意图。

图5为本发明中控制模块处理得到深度图的第二种实施例的流程示意图。

具体实施方式

为了更好的理解，在以下的描述中将参照附图进一步更详细地解释本发明。

实施例1

如图1所示，本发明的第一个实施例中，飞行时间深度相机包括相互连接的光发射模块、传感模块和控制模块。光发射模块向外发射调制光线；传感模块接收来自接收范围内物体的反射光线；控制模块控制光发射模块的开启/关断和传感模块的工作状态，以及接收传感模块的光线信号，并处理该光线信号得到物体与深度相机的距离。

本实施的基于上述飞行时间深度相机的运动伪差减小方法包括如下步骤：

第一步、飞行时间深度相机的光发射模块向外发射光线。

作为一种优选实施方式，光发射模块由控制模块调节光发射功率和频率，调节范围根据使用场景确定；发射光线的区域大于或等于传感模块接收光线区域，且发射光线在区域内分布均匀或较为均匀。

第二步，飞行时间深度相机的传感模块接收来自目标物体的反射光线信号生成相关时间图，其中，传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。

可选的，本实施例中，传感模块的传感阵列由控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。

在一种优选实施方式中，如图2所示，传感模块的传感阵列从中间向上下两侧分割为若干曝光区域。

或者，在另一种优选实施方式中，如图3所示，传感模块的传感阵列上到下划分为若干曝光区域。

值得注意的是，图2和图3所示仅作为更清楚的展示区域划分的效果，本发明所指区域划分方法，不只是如上所示的两种方式，还包括其它任意将整块区域划分为较小区域组合的划分方式。

采用上述方式，传感模块成像区域分多个区域采集，减少了各个区域内若干相关时间图采集的时间差，能有效降低运动伪差的情况。并且，传感模块上传感芯片的曝光区域越小，数据传输带来的同一区域内不同相关时间帧的时间延时越小，运动导致的伪差就越小。

第三步，飞行时间深度相机的控制模块处理所述相关时间图，通过深度计算生成深度图。

本实施例中，控制模块具体包括传感控制单元、照明控制单元、数据采集单元、数据缓存单元、数据计算单元和数据发送单元。其中，

传感控制单元用于控制传感模块芯片上电顺序、配置芯片寄存器和读取芯片工作温度；

照明控制单元用于控制光发射模块照明的开启或关闭、调节光发射功率和频率；

数据采集单元用于采集传感模块芯片不同曝光区域的各相关时间图、工作温度数据；

数据缓存单元用于存储数据采集单元采集的相关时间图数据；

数据计算单元用于对采集到的各相关时间图进行拼接和深度计算；

数据发送单元用于发送计算好的数据。

具体的，控制模块处理数据包括如下步骤：

1、控制模块分别存储由传感模块的不同区域获取的相关时间图，其中每个区域获取的相关时间图包括若干相关时间帧数据；

2、控制模块计算存储的各相关时间帧数据，得到相关时间偏移图，并根据初始相关时间偏移计算深度图；

3、控制模块根据温度补偿系数，对深度图进行补偿；

4、控制模块根据距离标定结果对补偿后的深度图进行距离校正。

作为进一步的优选实施方案，上述过程还包括控制模块读取传感模块的芯片工作温度，并基于温度补偿系数对计算的深度图进行补偿。

作为一种优选实施方案，控制模块在对各相关时间帧数据进行计算时，先对相关时间帧进行拼接得到完整的相关时间图，再根据不同时间偏移的完整相关时间帧进行深度计算得到完整的深度图。

或者，作为另一种优选实施方案，控制模块在对各相关时间帧数据进行计算时，先对传感模块各区域不同时间偏移的相关时间帧进行深度计算得到各区域的深度帧，再对这些深度帧做拼接得到完整的深度图。

下面结合具体实施过程进行进一步详细说明。

如图2所示，传感模块传感芯片的曝光区域大小和区域位置的改变由控制模块进行控制，传感模块的传感阵列从中间向上下两侧分割为若干曝光区域。

控制模块对传感模块采集到的相位数据进行处理，具体步骤为：

(1)控制模块采集传感模块上传感芯片反馈的若干相关时间数据，分别存储；之后计算缓存的相关时间数据，得到相关时间偏移图，并根据实际的调制和解调频率计算深度图；

(2)控制模块根据温度补偿系数，对深度图进行补偿；

(3)控制模块根据距离标定结果对所述补偿后的深度图进行校正；

(4)控制模块根据传感模块的镜头内参，将所述校正后的深度图转到传感模块相机的相机坐标系下；

(5)控制模块根据传感模块的镜头外参，将所述相机坐标系下的深度图转到世界坐标系下；

(6)控制模块发送所述转换后的世界坐标系下的深度图像数据。

如图4所示，所述控制模块获取相关时间图进行深度计算的步骤为：

(1)控制模块控制传感芯片传感阵列第一个区域为有效区域，获取计算一幅深度图所需要的若干相关时间图，计算当前区域深度计算后，将深度数据存储至区域一的存储空间；

(2)控制模块控制传感芯片传感阵列第二个区域为有效区域，获取计算一幅深度图所需要的若干相关时间图，计算当前区域深度计算后，将深度数据存储至区域二的存储空间；

(3)按照所述(1)、(2)规律，控制模块依次控制传感芯片传感阵列各个分割区域为有效区域，获取相关时间图后计算深度并存储到相应位置；

(4)当全部区域图像获取并计算完成后便得到一幅完整的深度图像。

优选的，所述的深度值计算包括深度值校正，含有温度补偿、深度标定校正、环境光抑制和多路径发射消除。

实施例2

本发明的第二个实施例侧重于从飞行时间深度相机来进一步说明本发明的运动伪差减小方法。

作为一种优选实施方案，本实施例中，深度相机的光发射模块包括若干发光源和光源驱动模块；发光源由光源驱动模块驱动，按照预设辐射角度向外发射光线；光源驱动模块由控制模块控制开启和关断，驱动信号由传感模块产生。

进一步优选的，本实施例中，深度相机的光发射模块的发光源优先选择半导体发光器件，且光发射模块含有温度传感芯片，可将光发射模块温度传送给控制模块。

作为一种优选实施方案，本实施例中，深度相机的传感模块具体包括电源模块、飞行时间传感芯片和相机镜头。其中，电源模块为飞行时间传感器提供稳定的供电电源；相机镜头限制通过光线波长，允许光发射模块发射的光线通过，屏蔽其它光线；飞行时间传感芯片将接收的光信号转为电信号，采集的信号统一发送给控制模块。

进一步优选的，本实施例中，深度相机的传感模块的传感芯片内部含有温度感知单元，根据飞行时间传感芯片送出的数据计算的深度数据可根据温度数据进行补偿。

在另外的实施例中，如果传感芯片内部不含温度感知单元，也可以可外置温度传感器置于传感芯片附近。

下面结合具体实施方式进行进一步详细说明。

在下文的描述中，陈诉多个具体细节以提供对实施例的透彻理解。相关领域的技术人员应清楚的认识到，本实施例所描述的技术可用于实践而不需一或多个特定细节，或可使用其他方法、材料、组件等。

在一个具体本实施例中，控制模块使用FPGA作为主要控制器，搭载USB3.0芯片和DDR2芯片使用。FPGA控制着系统的电源和工作状态，连接着各个模块进行数据的交互，同时也对数据进行计算和处理。USB3.0芯片用于系统向外发送计算好的深度图像数据，同时也用于接收外部下发命令。DDR2芯片用于缓存图像数据，在计算需要的时候提供数据。

在本实施例中，控制模块通过IIC线控制传感模块的传感芯片。IIC线结构简单、速度快，非常适合传输控制命令。传感模块通过并行数据接口将数据传输给控制模块，同时给出数据同步信号和数据有效信号，供控制模块接收有效数据。

在本实施例中，传感模块电源使能由控制模块提供，控制模块按照规定的上电要求控制传感模块的上电顺序。传感模块上的飞行时间传感芯片是一种CVM_TOF芯片，通过送出若干相关时间图用于计算深度图。本实施例使用的飞行时间传感器内置了温度传感器，控制模块可通过IIC读取温度寄存器的值，得到芯片工作温度之后，可对深度数据进行温度补偿。

在本实施例中，传感模块传感芯片上配置的镜头为大光圈窄带镀膜镜头，一方面能够接收更多的发射光，一方面能屏蔽其他杂光。

在本实施例中，光发射模块的发光源为LD型发光管，发射光为近红外光。驱动信号由传感模块提供，光发射模块发射光为预定的调制光。

在本实施例中，飞行时间传感芯片的传感阵列有效区域可由控制模块控制。

如图3所示，在本实施例中，飞行时间传感芯片的传感阵列有效区域可改变。首先，控制模块控制区域1内传感单元有效，传感芯片送出区域1内的若干幅相关时间图；其次，控制模块控制区域2内传感单元有效，传感芯片送出区域2内的若干幅相关时间图；按照如此的规律，逐步选择各个区域有效，获得相应的相关时间图，直至获得全部区域的数据。传感芯片将数据传给控制模块，进一步做相关时间图的拼接。

如图5所示，控制模块完成相关时间图的拼接和深度图的计算。

在本实施例中，控制模块接收的数据先缓存在DDR2芯片当中，FPGA将DDR2的内存进行划分，开辟若干足够存储相关时间图的内存，将不同的相关时间图和不同的区域按预定位置保存。

在本实施例中，控制模块接收数据之后，先行判断此数据属于哪个区域和哪个相关时间图，再对应生成保存数据的地址，DDR2芯片将按照给定的地址将数据保存在对应的位置上。当全部区域数据获取并保存完成之后，将获得若干幅完整的相关时间图，进一步可以计算出完整的深度图像。

在本实施例中，深度计算模块计算的具体步骤为：

(1)根据采集的若干幅相关时间图计算初始深度图像；

(2)根据读取传感模块传感芯片的温度对初始深度图进行补偿，得到温度补偿后的深度图；

(3)根据深度标定的结果，对温度补偿后的深度图进行深度值的映射，得到真实的反应物体到相机距离的深度图。

在本实施例中，最后计算得到的深度图数据由USB3.0芯片发送。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (7)

1.一种基于飞行时间深度相机的运动伪差减小方法，其特征在于，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块，并进行数据存储和数据处理的控制模块；

所述运动伪差减小方法包括如下步骤：

S1、所述光发射模块向外发射光线；

S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图，其中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图；

S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；具体包括：

S31、所述控制模块分别存储由传感模块的不同区域获取的相关时间图，其中每个区域获取的相关时间图包括若干相关时间帧数据；

S32、所述控制模块计算存储的各相关时间帧数据，得到相关时间偏移图，并根据初始相关时间偏移计算深度图；

S33、所述控制模块根据温度补偿系数，对深度图进行补偿；

S34、所述控制模块根据距离标定结果对补偿后的深度图进行距离校正。

2.如权利要求1所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S2中，所述传感模块的传感阵列由所述控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。

3.如权利要求1所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S1中，所述光发射模块由控制模块调节光发射功率和频率，且向外发射光线的照明范围至少包含所述传感模块曝光区域的视场范围。

4.如权利要求1-3任一项所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，

所述控制模块包括传感控制单元、照明控制单元、数据采集单元、数据缓存单元、数据计算单元和数据发送单元；

所述传感控制单元用于控制传感模块芯片上电顺序、配置芯片寄存器和读取芯片工作温度；

所述照明控制单元用于控制光发射模块照明的开启或关闭、调节光发射功率和频率；

所述数据采集单元用于采集传感模块芯片不同曝光区域的各相关时间图、工作温度数据；

所述数据缓存单元用于存储数据采集单元采集的相关时间图数据；

所述数据计算单元用于对采集到的各相关时间图进行拼接和深度计算；

所述数据发送单元用于发送计算好的数据。

5.如权利要求4所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S3还包括，所述控制模块读取传感模块的芯片工作温度，并基于温度补偿系数对计算的深度图进行补偿。

6.如权利要求5所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S3还包括：

S35、所述控制模块根据传感模块的镜头内参，将所述校正后的深度图转到传感模块相机的相机坐标系下；

S36、所述控制模块根据传感模块的镜头外参，将所述相机坐标系下的深度图转到世界坐标系下。

7.如权利要求5或6所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S3中，所述控制模块在对各相关时间帧数据进行计算时，先对相关时间帧进行拼接得到完整的相关时间图，再根据不同时间偏移的完整相关时间帧进行深度计算得到完整的深度图；

或者，先对传感模块各区域不同时间偏移的相关时间帧进行深度计算得到各区域的深度帧，再对这些深度帧做拼接得到完整的深度图。

Images