CN112073646B - 一种tof相机长短曝光融合的方法及系统 - Google Patents

Abstract

一种TOF相机长短曝光的融合方法及系统，涉及图像数据融合技术领域，解决TOF相机由于“过曝”或“曝光不足”现象而导致的深度信息不完整以及如何保证算法实时性的问题，包括，获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据；获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；在嵌入式计算平台上进行计算，相对于其他方法，该方法计算速度快，相比较其他方法复杂的运算，该方法同时通过距离阈值和幅度值阈值来作为选取条件，能够保证工程应用的实时性。

Description

一种TOF相机长短曝光融合的方法及系统

技术领域

本发明属于图像数据融合技术领域，具体涉及一种TOF相机长短曝光的融合方法及系统。

背景技术

近年来，三维视觉成像技术越来越多的应用于各行各业，其主要技术之一就是TOF(Time of Flight)技术。基于TOF技术的深度相机使用的是主动成像方式，即相机系统向目标发射激光，通过测量传感器接受到目标反射光的时间计算到目标的距离。TOF深度相机具有体积小、误差低、抗干扰性强等特点，并且可以直接输出深度图和幅度图，计算量小，适用于室内外各种场合。

由于TOF相机的成像原理的特性以及测量环境的复杂性，其获取目标对象的深度信息会存在一定的不完整性，从而最终会影响TOF相机的应用。具体表现为，TOF相机会出现“过曝”或“曝光不足”现象，导致幅度数据及深度数据产生异常。如在单一曝光时间下，对于离相机较近的物体、高反射率物体或检测地面的阳光，TOF相机都容易产生“过曝”现象，导致深度值及幅度值数据异常；对于离相机较远的物体，会产生“曝光不足”现象，导致幅度值过低且深度数据不稳定。

现有技术中，申请号为201711170732.5、公开日期为2019年05月28日的中国专利申请《基于TOF成像系统的深度融合方法和TOF相机》，公开了基于TOF成像系统的深度融合方法和TOF相机，具体公开了：获取该目标对象的至少一长曝光数据以及至少一短曝光数据；获取该目标对象的至少一深度数据，其中所述深度数据包括至少一短深度数据以及至少一长深度数据；以及融合所述短深度数据值以及所述长深度数据值，以获取该目标对象的至少一融合数据。所述深度融合方法基于目标对象的深度信息融合所述目标对象的图像，以获取所述目标对象的完整的深度信息。

然而，由于上述中国发明专利申请的深度融合方法的计算量大、方法繁琐，且该方案并未解决TOF相机由于“过曝”或“曝光不足”现象而导致的深度信息不完整的问题，同时该方案无法保证算法的实时性。

发明内容

本发明的目的在于如何解决TOF相机由于“过曝”或“曝光不足”现象而导致的深度信息不完整以及如何保证算法实时性的问题。

本发明是通过以下技术方案解决上述技术问题的：

一种TOF相机长短曝光融合的方法，包括如下步骤：

步骤1：获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据，所述一帧长曝光数据和一帧短曝光数据均包含深度数据、幅度数据；具体为：

(1a)固定调制频率，设置一个TOF相机长曝光时间，并保存到TOF相机参数表a中；

(1b)固定调制频率，设置一个TOF相机短曝光时间，并保存到TOF相机参数表b中；

(1c)将TOF相机参数表置为参数表a，获取一帧长曝光数据；所述长曝光数据包含一帧深度数据LD和一帧幅度数据LA；

(1d)将TOF相机参数表切换到参数表b，获取一帧短曝光数据；所述短曝光数据包含一帧深度数据SD和一帧幅度数据SA；

步骤2：对步骤1中获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；具体为：

(2a)判断长曝光深度数据LD或短曝光深度数据SD坐标像素值是否小于深度阈值TD1；如果长曝光深度数据LD或短曝光深度数据SD坐标像素值小于深度阈值TD1，则跳转到步骤(2b),否则跳转到步骤(2c)；

(2b)判断短曝光幅度数据SA坐标像素值是否大于幅度阈值TA1,如果短曝光幅度数据SA坐标像素值大于幅度阈值TA1，则跳转到步骤(2d)，否则跳转到步骤(2c)；

(2c)判断长曝光幅度数据LA坐标像素值是否大于短曝光幅度数据LA坐标像素值SA，如果长曝光幅度数据LA坐标像素值大于短曝光幅度数据SA坐标像素值，则跳转到步骤(2e),否则跳转到步骤(2d)；

(2d)短曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

(2e)长曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

步骤3：获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；重复步骤(2a)到步骤(2e)，直到所有像素坐标的深度值和幅度值完成融合，最终得到融合后一帧完整的深度数据和幅度数据。

针对现有技术中深度融合方法的计算量大、方法繁琐的问题，通过选取合适的距离阈值和幅度值阈值，直接通过组合阈值来判断应该选取长曝光还是短曝光的数据来作为最终输出的数据，这种判断方法简单高效，避免复杂的运算；不仅能够保证TOF相机适用于复杂的场景，而且能够满足数据融合过程中的计算速度要求；针对现有技术中由于“过曝”或“曝光不足”现象而导致的深度信息不完整的问题，通过采用长短曝光融合的方式，可兼容近距离和远距离的测试场景，使用长短曝光融合的方式所有场景下相机都会产生2帧数据，每帧数据包括深度图和幅度图，通过选取合适的距离阈值和幅度值阈值，将这2帧数据进行融合最终输出一帧完整的数据。

作为本发明技术方案的进一步改进，所述的TOF相机分辨率为240*320，所述的固定调制频率为40MHz。

作为本发明技术方案的进一步改进，所述步骤(1a)中设置一个TOF相机长曝光时间具体为：固定调制频率，根据该调制频率下量程的最大测试距离，逐渐增大曝光时间，直到目标物体白墙离TOF相机为最大测试距离时不产生“曝光不足”现象为止。

作为本发明技术方案的进一步改进，所述的“曝光不足”现象的判断方法为：通过判断目标物体白墙中心像素点幅度值是否小于50，如果小于50，则存在“曝光不足”现象。

作为本发明技术方案的进一步改进，所述步骤(1b)中设置一TOF相机短曝光时间具体为：固定调制频率，确定该调制频率下最小盲区距离，逐渐减小曝光时间，直到目标物体白墙离TOF相机在最小盲区距离处不产生“过曝”现象为止。

作为本发明技术方案的进一步改进，所述的最大测试距离为3.74m。

作为本发明技术方案的进一步改进，所述的最小盲区距离为20cm。

作为本发明技术方案的进一步改进，深度阈值TD1选取为85cm。

作为本发明技术方案的进一步改进，幅度阈值TA1选取为350。

一种TOF相机长短曝光融合的系统，包括：

数据获取模块，用于获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据，所述一帧长曝光数据和一帧短曝光数据均包含深度数据、幅度数据；

所述的数据获取的方法为：

(1a)固定调制频率，设置一个TOF相机长曝光时间，并保存到TOF相机参数表a中；

(1b)固定调制频率，设置一个TOF相机短曝光时间，并保存到TOF相机参数表b中；

(1c)将TOF相机参数表置为参数表a，获取一帧长曝光数据；所述长曝光数据包含一帧深度数据LD和一帧幅度数据LA；

(1d)将TOF相机参数表切换到参数表b，获取一帧短曝光数据；所述短曝光数据包含一帧深度数据SD和一帧幅度数据SA；

目标对象数据选择模块，用于对所述的数据获取模块中获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；

所述的目标对象数据选择的方法为：

(2a)判断长曝光深度数据LD或短曝光深度数据SD坐标像素值是否小于深度阈值TD1；如果长曝光深度数据LD或短曝光深度数据SD坐标像素值小于深度阈值TD1，则跳转到步骤(2b),否则跳转到步骤(2c)；

(2b)判断短曝光幅度数据SA坐标像素值是否大于幅度阈值TA1,如果短曝光幅度数据SA坐标像素值大于幅度阈值TA1，则跳转到步骤(2d)，否则跳转到步骤(2c)；

(2c)判断长曝光幅度数据LA坐标像素值是否大于短曝光幅度数据LA坐标像素值SA，如果长曝光幅度数据LA坐标像素值大于短曝光幅度数据SA坐标像素值，则跳转到步骤(2e),否则跳转到步骤(2d)；

(2d)短曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

(2e)长曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

目标对象完整信息获取模块，用于获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；

所述的目标对象完整信息获取的方法为：

重复步骤(2a)到步骤(2e)，直到所有像素坐标的深度值和幅度值完成融合，最终得到融合后一帧完整的深度数据和幅度数据。

本发明的优点在于：

(1)针对现有技术中深度融合方法的计算量大、方法繁琐的问题，通过选取合适的距离阈值和幅度值阈值，直接通过组合阈值来判断应该选取长曝光还是短曝光的数据来作为最终输出的数据，这种判断方法简单高效，避免复杂的运算；不仅能够保证TOF相机适用于复杂的场景，而且能够满足数据融合过程中的计算速度要求；针对现有技术中由于“过曝”或“曝光不足”现象而导致的深度信息不完整的问题，通过采用长短曝光融合的方式，可兼容近距离和远距离的测试场景，使用长短曝光融合的方式所有场景下相机都会产生2帧数据，每帧数据包括深度图和幅度图，通过选取合适的距离阈值和幅度值阈值，将这2帧数据进行融合最终输出一帧完整的数据。

(2)能够使ToF相机具有高动态的测量范围，同时兼顾较小的盲区和较远的测试距离，使ToF相机能够适应更复杂的场景；同时，在嵌入式计算平台上进行计算，相对于其他方法，该方法计算速度快，相比较其他方法复杂的运算，该方法同时通过距离阈值和幅度值阈值来作为选取条件，能够保证工程应用的实时性。

附图说明

图1是本发明实施例的长短曝光融合过程的流程图；

图2是本发明实施例的近距离处测得的一帧长曝光原始图像数据；

图3是本发明实施例的近距离处测得的一帧短曝光原始图像数据；

图4是本发明实施例的长短曝光融合后的图像数据。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：

实施例一

如图1所示，一种TOF相机长短曝光融合的方法，包括如下步骤：

步骤1：获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据，所述一帧长曝光数据和一帧短曝光数据均包含深度数据、幅度数据；优选地，所采用的TOF相机分辨率为240*320。

所述步骤1中获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据包括以下步骤：

(1a)固定调制频率40MHz，设置一个TOF相机长曝光时间，并保存到TOF相机参数表a中；

(1b)固定调制频率40MHz，设置一个TOF相机短曝光时间，并保存到TOF相机参数表b中；

(1c)将TOF相机参数表置为参数表a，获取一帧长曝光数据。其中，所述长曝光数据包含一帧深度数据LD和一帧幅度数据LA；获取的一帧长曝光原始数据如图2所示；

(1d)将TOF相机参数表切换到参数表b，获取一帧短曝光数据。其中，所述短曝光数据包含一帧深度数据SD和一帧幅度数据SA；获取的一帧短曝光原始数据如图3所示。

所述步骤(1a)中设置一个TOF相机长曝光时间具体为：固定调制频率为40MHz，根据该调制频率下量程的最大测试距离3.74m，逐渐增大曝光时间，直到目标物体白墙离TOF相机3.74m不产生“曝光不足”现象。通过判断目标物体白墙中心像素点幅度值是否小于50，如果小于50，那么则存在“曝光不足”现象。优选地，该调制频率下根据测试最终选择积分时间为1200us。

所述步骤(1b)中设置一TOF相机短曝光时间具体为：固定调制频率为40MHz，优选地，该调制频率下最小盲区距离约为20cm，逐渐减小曝光时间，直到目标物体白墙离TOF相机20cm处不产生“过曝”现象。

步骤2：对步骤1中获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；具体为：

(2a)判断长曝光深度数据LD或短曝光深度数据SD坐标像素值是否小于深度阈值TD1；如果长曝光深度数据LD或短曝光深度数据SD坐标像素值小于深度阈值TD1，则跳转到步骤(2b),否则跳转到步骤(2c)；优选地，该调制频率下，深度阈值TD1选取为85cm；

(2b)判断短曝光幅度数据SA坐标像素值是否大于幅度阈值TA1,如果短曝光幅度数据SA坐标像素值大于幅度阈值TA1，则跳转到步骤(2d)，否则跳转到步骤(2c)；优选地，该调制频率下，幅度阈值TA1选取为350。

(2c)判断长曝光幅度数据LA坐标像素值是否大于短曝光幅度数据LA坐标像素值SA，如果长曝光幅度数据LA坐标像素值大于短曝光幅度数据SA坐标像素值，则跳转到步骤(2e),否则跳转到步骤(2d)；

(2d)短曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

(2e)长曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据。

步骤3：获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；重复步骤(2a)到步骤(2e),直到所有像素坐标的深度值和幅度值完成融合，最终得到融合后一帧完整的深度数据和幅度数据；长短曝光融合后的效果图如图4所示。

本发明针对现有技术中深度融合方法的计算量大、方法繁琐的问题，通过选取合适的距离阈值和幅度值阈值，直接通过组合阈值来判断应该选取长曝光还是短曝光的数据来作为最终输出的数据，这种判断方法简单高效，避免复杂的运算；不仅能够保证TOF相机适用于复杂的场景，而且能够满足数据融合过程中的计算速度要求。

本发明针对现有技术中由于“过曝”或“曝光不足”现象而导致的深度信息不完整的问题，通过采用长短曝光融合的方式，可兼容近距离和远距离的测试场景。一般相机在近距离适合使用短曝光，使用长曝光会导致过曝。远距离适合使用长曝光，短曝光会产生曝光不足。(如果使用单一曝光，能做到最小盲区很小时无法保证较远的测试距离，能保证最远测试距离时，最小盲区就会变得很大，为了兼顾又有最小盲区又有很远的测试距离，使用长短曝光融合的方式。)相机无法进行动态曝光，那么使用长短曝光融合的方式所有场景下相机都会产生2帧数据，每帧数据包括深度图和幅度图，通过选取合适的距离阈值和幅度值阈值，将这2帧数据进行融合最终输出一帧完整的数据。

本发明的方法能够使ToF相机具有高动态的测量范围，同时兼顾较小的盲区和较远的测试距离，使ToF相机能够适应更复杂的场景。同时，在嵌入式计算平台上进行计算，相对于其他方法，该方法计算速度快，相比较其他方法复杂的运算，该方法同时通过距离阈值和幅度值阈值来作为选取条件，能够保证工程应用的实时性。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种TOF相机长短曝光融合的方法，其特征在于，包括如下步骤：

步骤1：获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据，所述一帧长曝光数据和一帧短曝光数据均包含深度数据、幅度数据；具体为：

(1a)固定调制频率，设置一个TOF相机长曝光时间，并保存到TOF相机参数表a中；

所述设置一个TOF相机长曝光时间具体为：固定调制频率，根据该调制频率下量程的最大测试距离，逐渐增大曝光时间，直到目标物体白墙离TOF相机为最大测试距离时不产生“曝光不足”现象为止；

(1b)固定调制频率，设置一个TOF相机短曝光时间，并保存到TOF相机参数表b中；

所述设置一TOF相机短曝光时间具体为：固定调制频率，确定该调制频率下最小盲区距离，逐渐减小曝光时间，直到目标物体白墙离TOF相机在最小盲区距离处不产生“过曝”现象为止；

(1c)将TOF相机参数表置为参数表a，获取一帧长曝光数据；所述长曝光数据包含一帧深度数据LD和一帧幅度数据LA；

(1d)将TOF相机参数表切换到参数表b，获取一帧短曝光数据；所述短曝光数据包含一帧深度数据SD和一帧幅度数据SA；

步骤2：对步骤1中获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；具体为：

(2a)判断长曝光深度数据LD或短曝光深度数据SD坐标像素值是否小于深度阈值TD1；如果长曝光深度数据LD或短曝光深度数据SD坐标像素值小于深度阈值TD1，则跳转到步骤(2b),否则跳转到步骤(2c)；

(2b)判断短曝光幅度数据SA坐标像素值是否大于幅度阈值TA1,如果短曝光幅度数据SA坐标像素值大于幅度阈值TA1，则跳转到步骤(2d)，否则跳转到步骤(2c)；

(2c)判断长曝光幅度数据LA坐标像素值是否大于短曝光幅度数据LA坐标像素值SA，如果长曝光幅度数据LA坐标像素值大于短曝光幅度数据SA坐标像素值，则跳转到步骤(2e),否则跳转到步骤(2d)；

(2d)短曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

(2e)长曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

步骤3：获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；重复步骤(2a)到步骤(2e)，直到所有像素坐标的深度值和幅度值完成融合，最终得到融合后一帧完整的深度数据和幅度数据。

2.根据权利要求1所述的一种TOF相机长短曝光融合的方法，其特征在于，所述的TOF相机分辨率为240*320，所述的固定调制频率为40MHz。

3.根据权利要求1所述的一种TOF相机长短曝光融合的方法，其特征在于，所述的“曝光不足”现象的判断方法为：通过判断目标物体白墙中心像素点幅度值是否小于50，如果小于50，则存在“曝光不足”现象。

4.根据权利要求1所述的一种TOF相机长短曝光融合的方法，其特征在于，所述的最大测试距离为3.74m。

5.根据权利要求1所述的一种TOF相机长短曝光融合的方法，其特征在于，所述的最小盲区距离为20cm。

6.根据权利要求2所述的一种TOF相机长短曝光融合的方法，其特征在于，深度阈值TD1选取为85cm。

7.根据权利要求2所述的一种TOF相机长短曝光融合的方法，其特征在于，幅度阈值TA1选取为350。

8.一种TOF相机长短曝光融合的系统，其特征在于，包括：

数据获取模块，用于获取TOF相机固定频率下目标对象的一帧长曝光数据和一帧短曝光数据，所述一帧长曝光数据和一帧短曝光数据均包含深度数据、幅度数据；

所述的数据获取的方法为：

(1a)固定调制频率，设置一个TOF相机长曝光时间，并保存到TOF相机参数表a中；

所述设置一个TOF相机长曝光时间具体为：固定调制频率，根据该调制频率下量程的最大测试距离，逐渐增大曝光时间，直到目标物体白墙离TOF相机为最大测试距离时不产生“曝光不足”现象为止；

(1b)固定调制频率，设置一个TOF相机短曝光时间，并保存到TOF相机参数表b中；

所述设置一TOF相机短曝光时间具体为：固定调制频率，确定该调制频率下最小盲区距离，逐渐减小曝光时间，直到目标物体白墙离TOF相机在最小盲区距离处不产生“过曝”现象为止；

(1c)将TOF相机参数表置为参数表a，获取一帧长曝光数据；所述长曝光数据包含一帧深度数据LD和一帧幅度数据LA；

(1d)将TOF相机参数表切换到参数表b，获取一帧短曝光数据；所述短曝光数据包含一帧深度数据SD和一帧幅度数据SA；

目标对象数据选择模块，用于对所述的数据获取模块中获取数据所有对应坐标的像素值进行相关阈值判断，选择合适的深度值和幅度值作为目标对象数据；

所述的目标对象数据选择的方法为：

(2a)判断长曝光深度数据LD或短曝光深度数据SD坐标像素值是否小于深度阈值TD1；如果长曝光深度数据LD或短曝光深度数据SD坐标像素值小于深度阈值TD1，则跳转到步骤(2b),否则跳转到步骤(2c)；

(2b)判断短曝光幅度数据SA坐标像素值是否大于幅度阈值TA1,如果短曝光幅度数据SA坐标像素值大于幅度阈值TA1，则跳转到步骤(2d)，否则跳转到步骤(2c)；

(2c)判断长曝光幅度数据LA坐标像素值是否大于短曝光幅度数据LA坐标像素值SA，如果长曝光幅度数据LA坐标像素值大于短曝光幅度数据SA坐标像素值，则跳转到步骤(2e),否则跳转到步骤(2d)；

(2d)短曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

(2e)长曝光深度数据LD和幅度数据LA坐标像素值作为目标对象数据；

目标对象完整信息获取模块，用于获取所有像素坐标的融合后目标对象完整的深度信息和幅度信息；

所述的目标对象完整信息获取的方法为：

重复步骤(2a)到步骤(2e)，直到所有像素坐标的深度值和幅度值完成融合，最终得到融合后一帧完整的深度数据和幅度数据。

Images