CN113052886A - 一种采用双目原理的双tof相机深度信息获取方法 - Google Patents

Abstract

本发明提供的一种采用双目原理的双TOF相机深度信息获取方法，涉及图像处理技术，通过对左TOF深度图和右TOF深度图进行处理，获取TOF深度图，对TOF深度图进行降噪处理，获取初始深度图，并根据左TOF光强灰度图和右TOF光强灰度图获取视差图像；基于TOF深度图获取TOF深度图可信度权重函数，基于视差图像获取立体匹配深度图，并获取立体匹配深度图的可信度权重函数；基于TOF深度图可信度权重函数和立体匹配深度图可信度权重函数对TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像的技术方案，无需联合标定，简化流程，成本较低，且使得TOF深度相机与双目立体匹配测得的深度能够实现优势互补，从而获得更加精确的深度信息。

Description

一种采用双目原理的双TOF相机深度信息获取方法

技术领域

本发明涉及图像处理技术，尤其涉及一种采用双目原理的双TOF相机深度信息获取方法。

背景技术

目前，TOF相机技术应用越来越多，原理是TOF相机主动发射调制光源到被测物体表面，调制光被物体反射后再被TOF相机捕获，通过计算调制光源由发出到捕获期间的时间差或相位差得到物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(Pulsed TOF)，通过相位差计算距离的方法称为连续波法(Continuous-Wave TOF)。脉冲法中直接测量时间差，这对系统时钟要求非常高，比如1毫米的精度只需要6.6皮秒，因而连续波法更常被使用。

然而，TOF相机由于自身成像原因及外界环境干扰等，在低反射率区域测量误差大，目前，存在TOF相机和双目相机融合获取图像信息的方法，然后这种方法需要进行联合标定，流程繁琐，成本较高。

发明内容

本发明实施例提供一种采用双目原理的双TOF相机深度信息获取方法，无需联合标定，成本较低。

本发明实施例的第一方面，提供一种采用双目原理的双TOF相机深度信息获取方法，包括：

基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；

对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像；

基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数；

基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像。

可选地，在第一方面的一种可能实现方式中，所述对所述TOF深度图进行降噪处理，获取初始深度图，包括：

根据高斯滤波模型对所述TOF深度图进行降噪处理，获取所述初始深度图，其中，所述高斯滤波模型包括：

其中，σ为标准差，x,y为高斯核坐标，G为高斯核新值。

可选地，在第一方面的一种可能实现方式中，所述基于所述TOF深度图获取TOF深度图可信度权重函数，包括：

获取TOF深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，σ为TOF相机测得深度值的标准偏差；

对所述初始可信度权重函数进行归一化处理，获取所述TOF深度图可信度权重函数，所述TOF深度图可信度权重函数包括：

其中，rt为TOF深度图归一化后的可信度权重函数。

可选地，在第一方面的一种可能实现方式中，所述获取所述立体匹配深度图的可信度权重函数，包括：

获取立体匹配深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，

为立体匹配图像像素点的最小匹配代价函数值，

为次小匹配代价函数值。

对所述初始可信度权重函数进行归一化处理，获取所述立体匹配深度图的可信度权重函数，所述可信度权重函数包括：

可选地，在第一方面的一种可能实现方式中，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，包括：

对Census变换模型和SAD局部立体匹配模型进行融合处理，获取第二匹配代价函数；

基于所述第二匹配代价函数对所述左TOF光强灰度图和所述右TOF光强灰度图进行局部立体匹配处理，获取所述视差图像；

其中，所述Census变换模型为：

所述SAD局部立体匹配模型的第一匹配代价函数为：

所述第二匹配代价函数为：

C(p,d)＝ρ(C_census(p,d),λ_census)+ρ(C_SAD(p,d),λ_SAD)

其中，

式中，I_p代表窗口中心像素灰度值，I_q代表邻域像素灰度值，N_p代表中心像素p的邻域，Il代表左目图像像素值，I_r代表右目图像像素值，n、m代表窗口大小，u代表像素点横坐标，i代表横坐标偏移量，v代表像素点纵坐标，j代表纵坐标偏移量，d代表视差，C(p,d)代表点p在视差为d时的匹配代价，λ代表匹配模型融合权值。

可选地，在第一方面的一种可能实现方式中，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，还包括：

基于所述TOF深度图对所述视差图像进行辅助配准。

可选地，在第一方面的一种可能实现方式中，所述TOF深度图对应像素点的可信度函数为：

其中，W(x,y)代表像素点(x,y)的可信权重，A代表该点光强，Amin代表最小可信光强值，Amax代表最大可信光强值。

所述基于所述TOF深度图对所述视差图像进行辅助配准，包括：

当所述TOF深度图对应像素点的可信度为1时，使用该像素点的深度值对视差图像进行辅助配准。

可选地，在第一方面的一种可能实现方式中，所述基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像，包括：

基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数获取最终权重函数，所述最终权重函数包括：

w_t＝1-w_s

其中，w_s为立体匹配深度图的权重，w_t为TOF深度图的权重；

基于所述最终权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取所述目标深度图像。

本发明提供的一种采用双目原理的双TOF相机深度信息获取方法，通过基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像；基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数；基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像的技术方案，无需联合标定，简化流程，成本较低，且使得TOF深度相机与双目立体匹配测得的深度能够实现优势互补，从而获得更加精确的深度信息。

附图说明

图1是本发明实施例提供的一种采用双目原理的双TOF相机深度信息获取方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

参见图1，是本发明实施例提供的一种采用双目原理的双TOF相机深度信息获取方法的流程示意图，图1所示方法的执行主体可以是软件和/或硬件装置。本申请的执行主体可以包括但不限于以下中的至少一个：用户设备、网络设备等。其中，用户设备可以包括但不限于计算机、智能手机、个人数字助理(Personal Digital Assistant，简称：PDA)及上述提及的电子设备等。网络设备可以包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。本实施例对此不做限制。包括步骤S101至步骤S104，具体如下：

S101，基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图。

具体地，获取目标深度图像，需要先利用左TOF相机和右右TOF相机采集图像，然后对采集到的图像进行处理。

S102，对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像。

具体地，在获取TOF深度图时，可以以左TOF深度图作为参考深度图像，与左TOF灰度图作为双目参考视觉图像相对应来获取，在获取到TOF深度图后，对TOF深度图进行降噪处理，获取初始深度图。

在一些实施例中，可以根据高斯滤波模型对所述TOF深度图进行降噪处理，获取所述初始深度图，其中，所述高斯滤波模型包括：

其中，σ为标准差，x,y为高斯核坐标，G为高斯核新值。

在实际应用中，TOF深度测量的信噪比和曝光时间相关，曝光时间过长或者过短，都会造成信噪比的降低，因此需要控制曝光时间在正确的区间内，通过对接收到的图像的光强幅度值的平均值进行判断，实现TOF相机曝光时间的自适应调节，从而保证合适的曝光时间，提高信噪比，实现系统噪声的降低。

其中，获取视差图像，可以是对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，具体如下：

对Census变换模型和SAD局部立体匹配模型进行融合处理，获取第二匹配代价函数；

基于所述第二匹配代价函数对所述左TOF光强灰度图和所述右TOF光强灰度图进行局部立体匹配处理，获取所述视差图像；

其中，所述Census变换模型为：

所述SAD局部立体匹配模型的第一匹配代价函数为：

所述第二匹配代价函数为：

C(p,d)＝ρ(C_census(p,d),λ_census)+ρ(C_SAD(p,d),λ_SAD)

其中，

式中，I_p代表窗口中心像素灰度值，I_q代表邻域像素灰度值，N_p代表中心像素p的邻域，Il代表左目图像像素值，I_r代表右目图像像素值，n、m代表窗口大小，u代表像素点横坐标，i代表横坐标偏移量，v代表像素点纵坐标，j代表纵坐标偏移量，d代表视差，C(p,d)代表点p在视差为d时的匹配代价，λ代表匹配模型融合权值。

可以理解的是，在双目立体匹配的过程中，首先获得的是双目的视差图像，深度图像根据视差图像计算而来，正是因为左右目图像视差的存在，双目系统才能够获得目标的深度信息。在光轴平行的双目视觉系统中，物体在左右图像的投影的x坐标存在一个差值，这个差值即为视差。因此，双目立体匹配成功匹配左目图像与右目图像对应的像素点之后，便可计算得出视差图像。

其中，考虑到算法的复杂度以及实时性等因素，采用复杂度低、易于实时处理的局部立体匹配算法，并采用Census变换与SAD(绝对差值和)融合的方法实现局部立体匹配。Census变换保留了窗口中像素的位置特征，并且对亮度变化有较强鲁棒性，SAD局部立体匹配是将左右匹配窗口中各像素对应点绝对误差累积求和，即得到匹配代价。

S103，基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数。

具体地，所述基于所述TOF深度图获取TOF深度图可信度权重函数，包括：

获取TOF深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，σ为TOF相机测得深度值的标准偏差，其中，标准偏差越大，代表此处深度值可信度越低。

对所述初始可信度权重函数进行归一化处理，获取所述TOF深度图可信度权重函数，所述TOF深度图可信度权重函数包括：

其中，rt为TOF深度图归一化后的可信度权重函数，得到归一化后的可信度权重函数，从而能够准确反映不同深度图的可信度函数值之间的敏感程度。

所述获取所述立体匹配深度图的可信度权重函数，包括：

获取立体匹配深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，

为立体匹配图像像素点的最小匹配代价函数值，

为次小匹配代价函数值。

越接近

说明此处有多个相似的最小匹配代价，则匹配越容易出现误差，所以可信度权重函数值越小。相反，则可信度权重函数值越大。

对所述初始可信度权重函数进行归一化处理，获取所述立体匹配深度图的可信度权重函数，所述可信度权重函数包括：

得到归一化后的可信度权重函数，从而能够准确反映不同深度图的可信度函数值之间的敏感程度。

S104，基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像。

具体地，基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数获取最终权重函数，所述最终权重函数包括：

w_t＝1-w_s

其中，w_s为立体匹配深度图的权重，w_t为TOF深度图的权重；

融合后的深度图像的深度值为：

Z＝w_t*Z_t+w_s*Z_s

基于所述最终权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取所述目标深度图像，，使得TOF深度相机与双目立体匹配测得的深度能够实现优势互补，从而获得更加精确的深度信息。

在上述实施例的基础上，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，还包括：基于所述TOF深度图对所述视差图像进行辅助配准。

具体地，TOF相机在低反射区域或折射光较强的反射区域所接收到的信号信噪比较低，深度值的可信度较低，因此，在使用TOF深度图像进行辅助配准之前，需要获取TOF深度图对应像素点的可信度函数，具体为：

其中，W(x,y)代表像素点(x,y)的可信权重，A代表该点光强，Amin代表最小可信光强值，Amax代表最大可信光强值。

所述基于所述TOF深度图对所述视差图像进行辅助配准，包括：当所述TOF深度图对应像素点的可信度为1时，使用该像素点的深度值对视差图像进行辅助配准。

可以理解的是，通过对对应像素点上的光强幅度值与上下阈值进行对比，从而判断该点TOF深度值是否可信，当该像素点接受反射光不足以及过曝时，其深度值均被视为不可信，从而不对该点对应的视差图像进行辅助配准，而当可信度为1时，使用该点的深度值对视差图像进行辅助配准。

进行辅助配准时，假设TOF测得的深度值为Z_t，对应的视差为d_t，深度测量误差为σ，对应的视差极值为：

则

通过将局部立体匹配的视差范围约束在

范围内，从而提高双目局部立体匹配的匹配精度。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种采用双目原理的双TOF相机深度信息获取方法，其特征在于，包括：

基于左TOF相机获取左TOF深度图和左TOF光强灰度图，基于右TOF相机获取右TOF深度图和右TOF光强灰度图；

对所述左TOF深度图和所述右TOF深度图进行处理，获取TOF深度图，对所述TOF深度图进行降噪处理，获取初始深度图，并根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像；

基于所述TOF深度图获取TOF深度图可信度权重函数，基于所述视差图像获取立体匹配深度图，并获取所述立体匹配深度图的可信度权重函数；

基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述TOF深度图进行降噪处理，获取初始深度图，包括：

根据高斯滤波模型对所述TOF深度图进行降噪处理，获取所述初始深度图，其中，所述高斯滤波模型包括：

其中，σ为标准差，x,y为高斯核坐标，G为高斯核新值。

3.根据权利要求1所述的方法，其特征在于，所述基于所述TOF深度图获取TOF深度图可信度权重函数，包括：

获取TOF深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，σ为TOF相机测得深度值的标准偏差；

对所述初始可信度权重函数进行归一化处理，获取所述TOF深度图可信度权重函数，所述TOF深度图可信度权重函数包括：

其中，rt为TOF深度图归一化后的可信度权重函数。

4.根据权利要求3所述的方法，其特征在于，所述获取所述立体匹配深度图的可信度权重函数，包括：

获取立体匹配深度图的初始可信度权重函数，所述初始可信度权重函数包括：

其中，

为立体匹配图像像素点的最小匹配代价函数值，

为次小匹配代价函数值。

对所述初始可信度权重函数进行归一化处理，获取所述立体匹配深度图的可信度权重函数，所述可信度权重函数包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述左TOF光强灰度图和所述右TOF光强灰度图获取视差图像，包括：

对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，包括：

对Census变换模型和SAD局部立体匹配模型进行融合处理，获取第二匹配代价函数；

基于所述第二匹配代价函数对所述左TOF光强灰度图和所述右TOF光强灰度图进行局部立体匹配处理，获取所述视差图像；

其中，所述Census变换模型为：

所述SAD局部立体匹配模型的第一匹配代价函数为：

所述第二匹配代价函数为：

C(p，d)＝ρ(C_census(p，d)，λ_census)+ρ(C_SAD(p，d)，λ_SAD)

其中，

式中，I_p代表窗口中心像素灰度值，I_q代表邻域像素灰度值，N_p代表中心像素p的邻域，Il代表左目图像像素值，I_r代表右目图像像素值，n、m代表窗口大小，u代表像素点横坐标，i代表横坐标偏移量，v代表像素点纵坐标，j代表纵坐标偏移量，d代表视差，C(p,d)代表点p在视差为d时的匹配代价，λ代表匹配模型融合权值。

7.根据权利要求5所述的方法，其特征在于，所述对所述左TOF光强灰度图和所述右TOF光强灰度图进行双目立体视觉匹配处理，获取所述视差图像，还包括：

基于所述TOF深度图对所述视差图像进行辅助配准。

8.根据权利要求7所述的方法，其特征在于，所述TOF深度图对应像素点的可信度函数为：

其中，W(x,y)代表像素点(x,y)的可信权重，A代表该点光强，Amin代表最小可信光强值，Amax代表最大可信光强值。

所述基于所述TOF深度图对所述视差图像进行辅助配准，包括：

当所述TOF深度图对应像素点的可信度为1时，使用该像素点的深度值对视差图像进行辅助配准。

9.根据权利要求4所述的方法，其特征在于，所述基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取目标深度图像，包括：

基于所述TOF深度图可信度权重函数和所述立体匹配深度图可信度权重函数获取最终权重函数，所述最终权重函数包括：

w_t＝1-w_s

其中，w_s为立体匹配深度图的权重，w_t为TOF深度图的权重；

基于所述最终权重函数对所述TOF深度图和立体匹配深度图进行像素级融合处理，获取所述目标深度图像。

Images