CN111935424B - 一种tof模块的积分时间自适应调节方法及其控制系统 - Google Patents

Abstract

本发明公开了一种TOF模块的积分时间自适应调节方法，用于TOF模块在不同工作环境下自适应调节积分时间，方法包括：结合预先设置的校准信息和当前曝光环境，TOF模块进行积分时间的自适应调节;其中，所述预先设置的校准信息是TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行校准所获取的信息；预先选择的采样区域是预先从红外光强度图像中选择出的限定区域。本发明还公开了一种自适应调节积分时间的TOF控制系统。本发明可以根据TOF模块实际工作环境自适应调节曝光效果最佳时的积分时间，从而获得高质量的深度数据，具有较高灵活性，解决了现有技术获取深度图像信息存在过曝光或欠曝光的问题。

Description

一种TOF模块的积分时间自适应调节方法及其控制系统

技术领域

本发明涉及TOF传感器技术领域，具体涉及一种TOF模块的积分时间自适应调节方法及其控制系统。

背景技术

近年来，基于TOF模块获取深度图像的方法应用范围越来越广。TOF传感技术在无人机飞行避障、人机交互、手势识别、机器定位、智能导航、人物体检测和工业自动化等领域得到广泛应用。但是目前利用TOF传感器获取深度图像的过程中，通常存在过曝光或欠曝光的情况导致获取的深度图像质量较差，影响进一步获取三维空间位置信息的精确度。

发明内容

为解决上述问题，本发明提供了一种TOF模块的积分时间自适应调节方法，提高了TOF模块采集深度图像的效率和准确度。本发明的具体技术方案如下：

一种TOF模块的积分时间自适应调节方法，其特征在于，所述调节方法包括如下步骤：结合预先设置的校准信息和当前曝光环境，TOF模块进行积分时间的自适应调节；其中，所述预先设置的校准信息是TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行校准所获取的信息；所述预先选择的采样区域是预先从红外光强度图像中选择出的限定区域。该调节方法使得TOF模块能够在不同的环境下通过自适应调节积分时间快速获取曝光效果最佳时的深度数据。

进一步地，所述TOF模块进行积分时间自适应调节具体包含如下步骤：采集实时红外光强度图，计算当前红外光强度图中采样区域内强度中值IR_real；根据当前红外光强度图中采样区域内强度中值IR_real和当前积分时间Integration_time在标准曲线中对应的标准强度中值IR_standard，计算缩放系数Scale_factor；基于校准信息中的曝光效果最佳时的强度中值IR_best、积分时间Integration_time与强度中值IR_mid的标准曲线关系式以及缩放系数Scale_factor，计算曝光效果最佳时的积分时间Integration_time_best；TOF模块基于曝光效果最佳时的积分时间Integration_time_best对自身积分时间做出调整。该自适应调节步骤基于校准信息和TOF模块当前所处工作环境信息计算曝光效果最佳时的积分时间并根据曝光效果最佳时的积分时间对TOF模块当前积分时间做出调整从而获得高质量的深度图像。

进一步地，所述缩放系数Scale_factor是指当前积分时间在标准曲线关系式中对应的标准强度中值IR_standard和当前红外光强度图中采样区域内强度中值IR_real的比值的n次幂。所述缩放系数的作用是TOF模块通过利用缩放系数使得标准测试环境下获得的标准曲线关系式能在不同工作环境下作为参考关系式。

进一步地，所述曝光效果最佳时的积分时间通过将预先选择的曝光效果最佳时的强度中值IR_best和当前缩放系数Scale_factor的乘积作为IR_mid代入标准曲线关系式中获得。本发明具有快速获得曝光效果最佳时的积分时间的技术效果，通过校准信息中预先选择的曝光效果最佳时的强度中值IR_best和缩放系数的乘积可当做当前工作环境曝光效果最佳时的强度中值，利用标准曲线关系式代入当前工作环境曝光效果最佳时的强度中值即可快速获得当前工作环境曝光效果最佳时的积分时间。

进一步地，基于对深度图像的需求，从红外光强度图像中选择出符合功能需求的限定区域作为采样区域。本发明可根据TOF模块应用产品的具体功能需求不同，对所述红外光强度图像中的采样区域进行定制化限定，具有高度灵活性。

进一步地，基于对深度图像的需求，从红外光强度图像中选择出符合功能需求的限定区域作为采样区域。

进一步地，所述TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行模块校准的具体步骤包括：当所述TOF模块被设置于标准测试环境中时，通过调节积分时间，控制所述TOF模块在预设积分时间范围内采集随积分时间改变而变换的红外光强度图；基于采集的红外光强度图和预先选择的采样区域，计算红外光强度图中采样区域内强度中值IR_mid并作为校准信息储存于TOF模块；基于积分时间和其对应的强度中值IR_mid进行曲线拟合，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式；通过比较TOF模块采集的深度信息图像和红外光强度图中采样区域内强度中值IR_mid，确定曝光效果最佳时的强度中值IR_best并作为校准信息储存于TOF模块。本发明在标准测试环境下获取TOF模块的校准信息，如：标准曲线关系式和标准测试环境下曝光效果最佳时的红外光强度中值等，获取的校准信息可用于校准TOF模块在不同工作环境下的曝光效果最佳时的积分时间，以此达到TOF模块自适应调节积分时间的目的，具有高灵活度、高准确性和高效的技术效果。

进一步地，所述校准信息具体包括：预设积分时间范围内不同积分时间对应的红外光强度图；预设积分时间范围内不同积分时间对应的采样区域内红外光强度中值IR_mid；积分时间Integration_time和强度中值IR_mid的标准曲线关系式；曝光效果最佳时的强度中值IR_best。所述校准信息可用于TOF模块不同工作环境下自适应调节积分时间，具有灵活校准的优势。

进一步地，所述TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid进行曲线拟合是指，TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid选择合适的曲线关系式来拟合反映两变量间的关系，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式。

本发明还公开一种自适应调节积分时间的TOF控制系统，用于调节积分时间实现不同环境下采集曝光效果最佳时的深度图像，所述TOF控制系统包括：控制单元，用于获取和储存校准信息，接收实时红外光强度图像，计算当前红外光强度图像中预先选择的采样区域内强度中值IR_mid，基于校准信息和当前实际曝光环境获取最佳曝光效果时的积分时间，控制TOF传感器调节积分时间；TOF传感器，用于采集实时红外光强度图像并传输至控制单元，接收控制单元传输的当前工作环境曝光效果最佳时的积分时间，基于当前工作环境曝光效果最佳时的积分时间调节采集深度图像数据的积分时间,采集深度图像数据。所述控制系统能够在不同工作环境下快速获得高质量的深度数据，不受环境所影响，避免出现过曝光或欠曝光的情况。

进一步地，所述校准信息通过如下步骤获取：所述TOF控制系统处于标准测试环境下；基于TOF传感器的积分时间范围，依次调节积分时间，控制单元采集并储存积分时间和其对应的红外光强度图中采样区域内的红外光强度中值IR_mid；控制单元基于积分时间和其对应的红外光强度中值IR_mid进行曲线拟合，获得并储存积分时间与红外光强度中值的标准曲线关系式；控制单元基于标准测试环境下采集的红外光强度图，获取曝光效果最佳时的红外光强度中值IR_best并储存；所述积分时间与红外光强度中值的标准曲线关系式和曝光效果最佳时的红外光强度中值IR_best作为校准信息储存于TOF控制系统的控制单元中。所述校准信息可用于TOF控制系统在不同工作环境下自适应调节积分时间，具有灵活校准的优势。

附图说明

图1为本发明一种实施例的TOF模块预先校准的流程示意图。

图2为本发明一种实施例的TOF模块的积分时间自适应调节方法的流程示意图。

图3为本发明一种实施例的自适应调节积分时间的TOF控制系统结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。应当理解，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，以下提供的实施例仅用于解释本发明，并不用于限定本发明的范围。

本发明公开一种积分时间自适应调节方法，用于TOF模块的积分时间自适应调节，调节方法具体步骤包括结合预先设置的校准信息和当前曝光环境，TOF模块进行积分时间的自适应调节；其中，所述预先设置的校准信息是TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行校准所获取的信息；所述预先选择的采样区域是预先从红外光强度图像中选择出的限定区域。

具体地，所述TOF模块由红外激光发射器和红外接收器组成；所述采样区域是根据产品功能对深度数据的需求，通过预先选择红外光强度图像中的限定像素点作为采样区域，可以是但不限于红外光强度图像中的下方四十行像素点、红外光强度图像中的上方二十行像素点、红外光强图像右侧十列像素点或全幅红外光强度图像，具体限定像素点作为采样区域可根据产品功能对深度图像数据的需求改变；所述积分时间为TOF模块发射光波脉冲和接收反射光波脉冲的时间。

本发明的一种实施例中，如图2所示，TOF模块进行积分时间自适应调节的步骤具体包括：采集实时红外光强度图，计算当前红外光强度图中采样区域内强度中值IR_real；根据当前红外光强度图中采样区域内强度中值IR_real和当前积分时间Integration_time在标准曲线中对应的标准强度中值IR_standard，计算缩放系数Scale_factor；基于校准信息中的曝光效果最佳时的强度中值IR_best、积分时间Integration_time与强度中值IR_mid的标准曲线关系式以及缩放系数Scale_factor，计算曝光效果最佳时的积分时间Integration_time_best；TOF模块基于曝光效果最佳时的积分时间Integration_time_best对自身积分时间做出调整。

具体地，所述红外光强度图是指拍摄的图像中每个像素点代表红外光强度，所述红外光强度中值是指采样区域内所有像素点的像素值中位数。

本发明的一种实施例中，所述缩放系数Scale_factor是指当前积分时间在标准曲线关系式中对应的标准强度中值IR_standard和当前红外光强度图中采样区域内强度中值IR_real的比值的n次幂。具体地，所述n次幂根据标准曲线关系式决定，可以是但不限于是1次幂或2次幂；由于标准测试环境与TOF模块所处当前实际环境存在差异，通过缩放系数可使得标准曲线关系式能够应用于不同工作环境。

本发明的一种实施例中，所述曝光效果最佳时的积分时间通过将预先选择的曝光效果最佳时的强度中值IR_best和当前缩放系数Scale_factor的乘积作为IR_mid代入标准曲线关系式中获得。具体地，所述预先选择的曝光效果最佳时的强度中值IR_best和当前缩放系数Scale_factor的乘积代表TOF模块当前所处环境的曝光效果最佳时的强度中值；所述标准曲线关系式根据校准信息中标准测试环境下积分时间Integration_time和强度中值IR_mid拟合获得。

本发明的一种实施例中，基于对深度图像的需求，从红外光强度图像中选择出符合功能需求的限定区域作为采样区域。具体地，如果TOF模块安装于扫地机器人上，则从红外光强度图像中选择接近地面的区域作为采样区域，可针对产品不同的功能需求限定红外光强度图像中不同区域作为采样区域，具有高度灵活性。

本发明的一种实施例中，如图1所示，所述TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行模块校准的具体步骤包括：当所述TOF模块被设置于标准测试环境中时，通过调节积分时间，控制所述TOF模块在预设积分时间范围内采集随积分时间改变而变换的红外光强度图；基于采集的红外光强度图和预先选择的采样区域，计算红外光强度图中采样区域内强度中值IR_mid并作为校准信息储存于TOF模块；基于积分时间和其对应的强度中值IR_mid进行曲线拟合，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式；通过比较TOF模块采集的深度信息图像和红外光强度图中采样区域内强度中值IR_mid，确定曝光效果最佳时的强度中值IR_best并作为校准信息储存于TOF模块。

具体地，所述标准测试环境是指空旷、不存在障碍物的环境；所述标准测试环境中调节的积分时间作为基准积分时间，标准测试环境下采样区域内积分时间对应的红外光强度中值IR_mid作为基准强度中值，将基准积分时间和基准强度中值进行拟合处理，获得标准曲线和标准曲线关系式；所述标准曲线关系式是根据基准积分时间和基准强度中值之间关系选择的合适的曲线关系式；所述曝光效果最佳时的强度中值IR_best的确定方式是通过比较不同积分时间条件下对应的不同深度图像的质量，剔除深度图像过曝光和欠曝光等情况，选择质量最优的深度图像对应的积分时间作为曝光效果最佳时的积分时间Integration_time_best，根据曝光效果最佳时的积分时间确定曝光效果最佳时的强度中值IR_best。

本发明的一种实施例中，校准信息具体包括：预设积分时间范围内不同积分时间对应的红外光强度图；预设积分时间范围内不同积分时间对应的采样区域内红外光强度中值IR_mid；积分时间Integration_time和强度中值IR_mid的标准曲线关系式；曝光效果最佳时的强度中值IR_best。

具体地，所述预先储存校准信息能够使TOF模块在不同工作环境下基于标准测试环境下的校准信息计算当前工作环境的相关信息，实现自适应积分时间调节。根据校准信息，TOF模块通过标准曲线关系式即可获取实际曝光效果最佳的强度中值IR_best对应的曝光效果最佳时的积分时间Integration_time_best。

本发明的一种实施例中，所述TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid进行曲线拟合是指，TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid选择合适的曲线关系式来拟合反映两变量间的关系，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式。具体地，所述合适的曲线关系式可以是但不限定于一次直线关系式或二次曲线关系式。

本发明还提供一种自适应调节积分时间的TOF控制系统，用于调节积分时间实现不同环境下采集最佳曝光效果时的深度图像。图3示出本发明的具体实施方式，一种自适应调节积分时间的TOF控制系统结构示意图。所述TOF控制系统包括：所述红外光强度图像是指图像中每一个像素点的像素值代表红外光强度；控制单元，用于获取和储存校准信息，接收TOF传感器实时传输的红外光强度图像，计算当前红外光强度图像中预先选择的采样区域内红外光强度中值IR_mid，基于校准信息和当前实际工作环境获取最佳曝光效果时的积分时间，控制TOF传感器调节积分时间；TOF传感器，用于采集实时红外光强度图像并传输至控制单元，接收控制单元传输的当前工作环境曝光效果最佳时的积分时间，基于当前工作环境曝光效果最佳时的积分时间调节采集深度图像数据的积分时间，采集深度图像数据。

本发明的一种实施例中，所述自适应调节积分时间的TOF控制系统的校准信息通过如下步骤获取：所述TOF控制系统处于标准测试环境下；基于TOF传感器的积分时间范围，依次调节积分时间，控制单元采集并储存积分时间和其对应的红外光强度图中采样区域内的红外光强度中值IR_mid；控制单元基于积分时间和其对应的红外光强度中值IR_mid进行曲线拟合，获取并储存积分时间与红外光强度中值的标准曲线关系式；控制单元基于标准测试环境下采集的红外光强度图，获取曝光效果最佳时的红外光强度中值IR_best并储存。具体地，所述积分时间与红外光强度中值的标准曲线关系式和曝光效果最佳时的红外光强度中值IR_best作为校准信息储存于TOF控制系统的控制单元中。

本发明有益效果为：通过控制TOF模块自适应调节积分时间，解决了TOF传感器获取深度图像过程中存在过曝光或欠曝光的问题，提高了TOF模块的工作效率，提高TOF模块获取深度图像数据的质量，减轻环境对TOF传感器获取深度图像数据的影响。

上述实施例仅仅是本发明一部分实施例，而不是全部实施例，上述的具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。凡在本发明的精神和原则内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种TOF模块的积分时间自适应调节方法，其特征在于，所述调节方法包括如下步骤：

结合预先设置的校准信息和当前曝光环境，TOF模块进行积分时间的自适应调节；

其中，所述预先设置的校准信息是TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行校准所获取的信息；预先选择的采样区域是预先从红外光强度图像中选择出的限定区域；

其中，所述TOF模块进行积分时间自适应调节具体包含如下步骤：

采集实时红外光强度图，计算当前红外光强度图中采样区域内强度中值IR_real；

根据当前红外光强度图中采样区域内强度中值IR_real和当前积分时间Integration_time在标准曲线关系式中对应的标准强度中值IR_standard，计算缩放系数Scale_factor；

基于校准信息中的曝光效果最佳时的强度中值IR_best、积分时间Integration_time与强度中值IR_mid的标准曲线关系式以及缩放系数Scale_factor，计算曝光效果最佳时的积分时间Integration_time_best；

TOF模块基于曝光效果最佳时的积分时间Integration_time_best对自身积分时间做出调整。

2.根据权利要求1所述的积分时间自适应调节方法，其特征在于，所述缩放系数Scale_factor是指当前积分时间在标准曲线关系式中对应的标准强度中值IR_standard和当前红外光强度图中采样区域内强度中值IR_real的比值的n次幂。

3.根据权利要求2所述的积分时间自适应调节方法，其特征在于，所述曝光效果最佳时的积分时间Integration_time_best通过将预先选择的曝光效果最佳时的强度中值IR_best和当前缩放系数Scale_factor的乘积作为IR_mid代入标准曲线关系式中获得。

4.根据权利要求3所述的积分时间自适应调节方法，其特征在于，基于对深度图像的需求，从红外光强度图像中选择出符合功能需求的限定区域作为采样区域。

5.根据权利要求4所述的积分时间自适应调节方法，其特征在于，TOF模块被设置于标准测试环境时，基于预先选择的采样区域进行模块校准的具体步骤包括：

当所述TOF模块被设置于标准测试环境中时，通过调节积分时间，控制所述TOF模块在预设积分时间范围内采集随积分时间改变而变换的红外光强度图；

基于采集的红外光强度图和预先选择的采样区域，计算红外光强度图中采样区域内强度中值IR_mid并作为校准信息储存于TOF模块；

基于积分时间Integration_time和其对应的强度中值IR_mid进行曲线拟合，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式；

通过比较TOF模块采集的深度信息图像和红外光强度图中采样区域内强度中值IR_mid，确定曝光效果最佳时的强度中值IR_best并作为校准信息储存于TOF模块。

6.根据权利要求5所述的积分时间自适应调节方法，其特征在于，所述校准信息具体包括：

预设积分时间范围内不同积分时间对应的红外光强度图；

预设积分时间范围内不同积分时间对应的采样区域内红外光强度中值IR_mid；

积分时间Integration_time和强度中值IR_mid的标准曲线关系式；

曝光效果最佳时的强度中值IR_best。

7.根据权利要求3所述的积分时间自适应调节方法，其特征在于，所述TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid进行曲线拟合是指，TOF模块基于积分时间Integration_time和其对应的强度中值IR_mid选择适当的曲线关系式来拟合反映两变量间的关系，获得积分时间Integration_time和强度中值IR_mid的标准曲线关系式。

8.一种自适应调节积分时间的TOF控制系统，用于调节积分时间实现不同环境下采集曝光效果最佳时的深度图像，执行如权利要求1至7任意一项所述的积分时间自适应调节方法，其特征在于，所述TOF控制系统包括：

控制单元，用于储存校准信息，接收实时红外光强度图像，计算当前红外光强度图像中预先选择的采样区域内强度中值IR_mid，基于校准信息和当前工作环境获取最佳曝光效果时的积分时间并传输至TOF传感器；

TOF传感器，用于采集实时红外光强度图像并传输至控制单元，接收控制单元传输的当前工作环境曝光效果最佳时的积分时间，根据当前工作环境曝光效果最佳时的积分时间调节积分时间，采集深度图像数据；

其中，所述控制单元储存的校准信息通过如下步骤获取：

所述TOF控制系统处于标准测试环境下；

基于TOF传感器的积分时间范围，依次调节积分时间，TOF传感器采集随积分时间改变而变换的红外光强度图像，控制单元接收计算并储存积分时间和其对应的红外光强度中采样区域内的红外光强度中值IR_mid;

控制单元基于积分时间和其对应的红外光强度中值IR_mid进行曲线拟合，获得并储存积分时间Integration_time与强度中值IR_mid的标准曲线关系式；

控制单元基于标准测试环境下采集的红外光强度图，获取曝光效果最佳时的红外光强度中值IR_best并储存；

所述积分时间Integration_time与红外光强度中值IR_mid的标准曲线关系式和曝光效果最佳时的红外光强度中值IR_best作为校准信息储存于TOF控制系统的控制单元中。

Images