CN107959767B - 一种以电视跟踪结果为导向的调焦调光方法 - Google Patents

Abstract

本发明针对传统相机的自动调焦调光方法在电视跟踪中存在的不足，提出了一种新的以电视跟踪结果为导向的全自动调焦调光方法。该方法建立了基于数字图像处理理论，针对目标捕获和目标锁定状态分别采用不同算法的相机调焦调光策略。该策略更有助于电视跟踪。此外为了使图像亮度能快速调到预期值还提出了自适应调节调光步长的公式，同时为了克服目标变化影响调焦精度还将目标特性融入到清晰度评价函数中。

Description

一种以电视跟踪结果为导向的调焦调光方法

技术领域

本发明涉及一种数字图像处理领域，具体的涉及一种适合于电视跟踪的调焦调光方法。

背景技术

电视跟踪是对进入电视视场内的目标进行捕获并锁定，计算出其相对于视场中心的偏差也称脱靶量。在电视跟踪过程由于目标与相机的相对位置不断变化，这会造成目标像点离焦，影响成像的对比度和清晰度，进而影响对目标脱靶量的计算。同时在整个跟踪过程中目标和背景亮度还可能发生变化。所以需要进行实时调光和调焦。由于利用图像处理进行调焦和调光的方法调节范围宽、实时性好，现已成为自动调焦调光的首选。

采用图像处理理论的自动调焦原理为：处理器通过对采集到的每一帧数字图像实时处理，计算图像清晰度值，判断调焦是否准确，目标成像是否清晰，并给出搜索策略控制调焦机构的运行，直到采集到的图像符合对清晰度的使用要求，即完成自动调焦过程。

采用图像处理的自动调光原理为：处理器通过对实时采集到的每一帧图像计算其亮度评价函数，然后与基准值进行比较，以此来控制相机的曝光时间，直到图像亮度符合使用要求，即完成自动调光过程。

基于图像处理理论的自动调光调焦算法较多，但通常都是将图像清晰度以及曝光程度调到观察效果最佳。但对于跟踪设备来说，调光调焦的目的是为识别和分辨目标服务，传统的算法对于当目标焦深与背景相差较大时的调焦，或跟踪弱小目标时的调光都很难适应跟踪处理。因此需要研究一种适合目标识别的调焦调光算法。

发明内容

针对传统相机的自动调焦调光方法在电视跟踪中存在的不足，提出了一种新的以电视跟踪结果为导向的全自动调焦调光方法。该方法基于数字图像处理理论，针对目标捕获和目标锁定状态分别采用不同算法的相机调焦调光策略。该策略更有助于电视跟踪。此外为了使图像亮度能快速调到预期值还提出了自适应调节调光步长的公式，同时为了克服目标变化影响调焦精度还将目标特性融入到清晰度评价函数中。

以下为本发明的调焦调光的具体步骤：

1)进行上电初始化，配置硬件工作模式。以TI公式生产的数字信号处理器TMS320C6416为例，上电初始化需要配置外部存储器的读写速度及位宽，中断方式，串口工作模式等；

2)在步骤1)中的所有硬件工作模式配置完成后，等待场同步信号到来；

3)所述场同步信号到来时，实时采集图像并存储到内存；

4)对采集到的图像进行中值滤波，滤除颗粒噪声，进行中值滤波的滤波模板大小由相机特性决定；

5)计算目标区域中以跟踪结果为导向的感兴趣区域的均值亮度评价函数，同时计算所述感兴趣区域对应的图像清晰度评价函数；

6)对进入电视视场内的目标图像进行捕获并锁定，计算出所述目标图像相对于视场中心的偏差；

7)根据所述均值亮度评价函数、图像清晰度评价函数及所述目标相对于视场中心的偏差，来控制调焦调光方向，得到调焦调光值；

8)将所述调焦调光值输出至相机；

9)调焦调光步骤完成，转到步骤2等待下一个场同步信号到来。

进一步的，所述步骤7)中，通过调整积分时间来调整图像亮度。

进一步的，采取分步调整方法来使亮度逼近预期值，采用公式1的可变步长来加速调光速度：

其中T为本场得到的调光步长，T0为上场调光步长，Mean_本场本场待调光区域的图像均值，Mean_预期值待调光区域的图像预期要调到均值，图像深度值表示图像饱和时的值，如8位图像该值为255。

进一步的，所述步骤5)中，选取灰度差分绝对值之和函数作为图像清晰度评价函数：

其中E为图像清晰度评价函数；α为目标变化的比例系数，M,N分别为图像的宽和高，f(x,y)表示在图像(x,y)点的灰度值。

进一步的，所述步骤7)中，对于目标捕获过程中的控制调焦调光，包括如下步骤：

a1)进行全视场的目标捕获；

a2)如果捕获到所述目标，则同时执行步骤a3)和a4)，若未捕获到所述目标，则同时执行步骤a5)和a6)；

a3)计算所述目标周围区域均值或所述目标区域均值，并所述目标周围区域均值或所述目标区域均值与预期调光均值进行对比并计算差值；按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a4)计算清晰度评价函数，判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；

a5)计算整幅图像平均值，计算本场图像均匀值与预期调光均值的差值，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a6)计算整幅图像的均匀度，并判断均匀度是否小于设定阈值，若小于则计算清晰度评价函数，则判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；若大于，则本场不调焦。

进一步的，所述步骤7)中，对于目标锁定过程中的调焦调光，如下步骤：

b1)首先锁定目标，并计算目标的大小后，对目标进行跟踪，同时执行步骤b2)和步骤b3)至b5)；

b2)根据目标大小计算清晰度评价函数，从而判断上次调焦方向是否正确，如果正确，则按此方向继续调焦，如果不正确，则反方向调焦；

b3)判断跟踪的目标是否暗目标，若是则计算目标周围区域均值；若否，则计算目标区域均值；

b4)计算目标周围区域均值或目标区域均值与预期调光均值的差值；

b5)调光步长不变，且较少的情况下，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间。

本发明中的基于图像处理的自动调焦调光技术具有以下优点：

1、算法简单实用，所以功能都能实时完成；

2、第二调焦调光是以电视跟踪结果为导向，所以，目标跟踪更稳定可靠。

附图说明

图1示意性示出本发明调焦调光的具体步骤。

图2示意性示出本发明目标捕获阶段的调焦调光控制策略方法。

图3示意性示出本发明目标锁定阶段的调焦调光控制策略方法。

具体实施方式

本发明的调焦调光的具体步骤，如图1所示：

1)上电初始化：配置硬件工作模式。具体地，以TI公式生产的数字信号处理器TMS320C6416为例，上电初始化需要配置外部存储器的读写速度及位宽，中断方式，串口工作模式等。

2)当所有硬件工作模式配置完成后，需要等待场同步信号到来，当场同步信号到来表示本场图像已准备好；

3)随后需要实时采集图像并将其存储在内存中；

4)将采集到的图像进行预处理后，对预处理后的图像进行中值滤波，滤除颗粒噪声，进行中值滤波的滤波模板大小根据相机特性决定；

5)随后，需要在目标区域中以跟踪结果为导向的感兴趣区域计算其均值亮度评价函数，并同时将对应图像的清晰度评价函数进行计算；

6)然后，对进入电视视场内的目标图像进行捕获并锁定，计算出其相对于视场中心的偏差也称脱靶量；

7)对调焦调光方向的控制；

8)输出调焦调光值：将步骤7)中计算得到的调焦调光值输出到相机；

9)调焦调光步骤完成。

进一步的，从已有的研究成果可知，图像的亮度和曝光时间成线性关系，因此可通过调整积分时间来调整图像亮度，在目标捕获阶段，由于没有特定的感兴趣区域所以调光是对全局调光，但当锁定目标时，这时就要针对目标区域进行调光。为防止图像闪烁，很难能一次就利用曝光时间将亮度调到预期值，我们采取分步调整方法来使亮度逼近预期值，我们采用公式1的可变步长来加速调光速度。

进一步的，图像清晰度评价函数是自动聚焦过程的唯一度量，其作用就是对图像的相关信息进行计算，所得数值与图像清晰与否直接对应，从而为自动调焦提供判断依据。为了提高速度，降低复杂度，我们选取灰度差分绝对值之和函数作为图像清晰度评价函数：

此函数是计算相邻像素在x方向和y方向上的梯度值的绝对值值和,其中为α目标变化的比例系数，

由公式可知本发明所采用图像清晰度评价函数在不同离焦位置其图像清晰度评价值不同，由评价值构成的调焦评价曲线是单峰,且在极值两边是单调,评价曲线的全局极值就是系统的正焦位置。调焦方向就是寻找评价曲线极值的方向，一般对准一个目标，计算相邻场的评价函数，评价函数增大的方向就是调焦方向。

请参阅图2，对于目标捕获阶段的调焦调光控制策略方法如下：

a1)进行全视场的目标捕获；

a2)如果捕获到所述目标，则同时执行步骤a3)和a4)，若未捕获到所述目标，则同时执行步骤a5)和a6)；

a3)计算所述目标周围区域均值或所述目标区域均值，并所述目标周围区域均值或所述目标区域均值与预期调光均值进行对比并计算差值；按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a4)计算清晰度评价函数，判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；

a5)计算整幅图像平均值，计算本场图像均匀值与预期调光均值的差值，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a6)计算整幅图像的均匀度，并判断均匀度是否小于设定阈值，若小于则计算清晰度评价函数，则判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；若大于，则本场不调焦。

请参阅图3，而对于目标锁定阶段调焦调光控制策略的步骤如下：

b1)首先锁定目标，并计算目标的大小后，对目标进行跟踪，同时执行步骤b2)和步骤b3)至b5)；

b2)根据目标大小计算清晰度评价函数，从而判断上次调焦方向是否正确，如果正确，则按此方向继续调焦，如果不正确，则反方向调焦；

b3)判断跟踪的目标是否暗目标，若是则计算目标周围区域均值；若否，则计算目标区域均值；

b4)计算目标周围区域均值或目标区域均值与预期调光均值的差值；

b5)调光步长不变，且较少的情况下，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间。

本发明中的基于图像处理的自动调焦调光技术具有以下优点：第一，算法简单实用，所以功能都能实时完成，第二调焦调光是以电视跟踪结果为导向，所以，目标跟踪更稳定可靠。

本发明不局限于上述的实施方式，任何人在本发明的启示下都可以得出其他的方法，凡是具有与本申请相同或者相近的技术方案，均落在本发明的保护范围内。

Claims (2)

1.一种以电视跟踪结果为导向的调焦调光方法，其特征在于，所述方法包括步骤：

1)进行上电初始化，配置硬件工作模式；

2)在步骤1)中的所有硬件工作模式配置完成后，等待场同步信号到来；

3)所述场同步信号到来时，实时采集图像并存储；

4)对采集到的图像进行中值滤波，滤除颗粒噪声，进行中值滤波的滤波模板大小由相机特性决定；

5)计算目标区域中以跟踪结果为导向的感兴趣区域的均值亮度评价函数，同时计算所述感兴趣区域对应的图像清晰度评价函数；

6)对进入电视视场内的目标图像进行捕获并锁定，计算出所述目标图像相对于视场中心的偏差；

7)根据所述均值亮度评价函数、图像清晰度评价函数及所述目标图像相对于视场中心的偏差，来控制调焦调光方向，得到调焦调光值；通过调整积分时间来调整图像亮度；采取分步调整方法来使亮度逼近预期值，采用公式1的可变步长来加速调光速度：

其中，T为本场得到的调光步长，T0为上场调光步长，Mean_本场本场待调光区域的图像均值，Mean_预期值待调光区域的图像预期要调到均值，图像深度值表示图像饱和时的值，如8位图像该值为255；

对于目标捕获过程中的控制调焦调光，包括如下步骤：

a1)进行全视场的目标捕获；

a2)如果捕获到所述目标，则同时执行步骤a3)和a4)，若未捕获到所述目标，则同时执行步骤a5)和a6)；

a3)计算目标周围区域均值或目标区域均值，所述目标周围区域均值或所述目标区域均值与预期调光均值进行对比并计算差值；按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a4)计算清晰度评价函数，判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；

a5)计算整幅图像平均值，计算本场图像均匀值与预期调光均值的差值，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

a6)计算整幅图像的均匀度，并判断均匀度是否小于设定阈值，若小于则计算清晰度评价函数，则判断上次调焦方向是否正确，若正确，则按上次调焦方向继续调焦，若不正确，则按所述上次调焦方向的相反方向调焦；若大于，则本场不调焦；

对于目标锁定过程中的调焦调光，如下步骤：

b1)首先锁定目标，并计算目标的大小后，对目标进行跟踪，同时执行步骤b2)和步骤b3)至b5)；

b2)根据目标大小计算清晰度评价函数，从而判断上次调焦方向是否正确，如果正确，则按此方向继续调焦，如果不正确，则反方向调焦；

b3)判断跟踪的目标是否暗目标，若是则计算目标周围区域均值；若否，则计算目标区域均值；

b4)计算目标周围区域均值或目标区域均值与预期调光均值的差值；

b5)调光步长不变，且较少的情况下，按照公式1计算调光步长，并且根据步长*当前曝光时间计算出曝光时间；

8)将所述调焦调光值输出至相机；

9)调焦调光步骤完成。

2.根据权利要求1所述的一种以电视跟踪结果为导向的调焦调光方法，其特征在于：所述步骤5)中，选取灰度差分绝对值之和函数作为图像清晰度评价函数：

其中E为图像清晰度评价函数；α为目标变化的比例系数，M,N分别为图像的宽和高，f(x,y)表示在图像(x,y)点的灰度值。

Images