CN113763432B - 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法 - Google Patents

Abstract

本发明公开的基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，属于计算机视觉与计算机控制领域。本发明通过自适应调节目标跟踪模型，结合APCE目标重新检测机制建立检测—跟踪联合工作机制，有效提升跟踪算法的跟踪精度和稳定性；基于目标区域清晰度自适应更新模型，能够有效提高目标运动速度变化较大与图像模糊情况下的系统跟踪精度；同时本发明结合跟踪稳定性判断条件和YOLOv4目标检测算法，建立目标重检机制，能够解决目标丢失后无法自动重新找回跟踪目标的问题。本发明能够对感兴趣目标进行实时跟踪，主要应用于安防、智能交通及智能拍摄等领域。

Description

基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法

技术领域

本发明涉及一种基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，属于计算机视觉与计算机控制领域。

背景技术

近年来，随着计算机视觉技术的飞速发展，目标跟踪算法在安防、智能交通及智能拍摄等领域发挥了重要的应用。尤其在诸如高山滑雪、山地自行车等极限运动的赛事中，受场地与天气限制，拍摄稳定清晰的精彩画面对摄影师提出了巨大的挑战。应用目标跟踪方法驱动云台带动专业摄影机对高速运动员画面进行拍摄可以使传统的体育转播变得简便化、高效化。

目前的目标跟踪方法包括生成式方法和判别式方法，结合深度神经网络的生成式跟踪方法可以准确提取图像特征，跟踪精度较高，但由于这种方法需要对每一帧图像进行目标检测，导致算法运行速度较慢，且在算法运行前需要较长时间的训练，很难应用实际。相比生成类方法，以相关滤波方法为代表的判别式方法不需要预先训练目标特征，此类方法先以初始帧中目标为基准，充分利用了帧间的差异信息，实时学习前后帧中目标的变化情况，很容易实现实时处理的目的。此类方法对简单场景中运动速度变化较慢的目标跟踪效果较好。但是，当运动目标速度变化较快或受遮挡时，该类方法极易发生目标丢失的现象，导致跟踪精度和稳定性下降，同时画面的清晰度也会受到较大的影响。

发明内容

为了解决上述问题，本发明的目的是提供一种基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，该方法通过自适应调节目标跟踪模型，结合APCE目标重新检测机制建立检测—跟踪联合工作机制，有效提升跟踪算法的跟踪精度和稳定性；基于目标区域清晰度自适应更新模型，能够有效提高目标运动速度变化较大与图像模糊情况下的系统跟踪精度；同时本发明结合跟踪稳定性判断条件和YOLOv4目标检测算法，建立目标重检机制，能够解决目标丢失后无法自动重新找回跟踪目标的问题。

本发明的目的是通过下述技术方案实现的。

本发明公开的基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，包括如下步骤：

步骤一、使用目标检测方法对视频内容进行检测，得到候选的待跟踪目标及目标区域，通过比较候选目标的置信度得分与预设阈值T_detect对候选目标进行筛选，将筛选得到的n个待跟踪目标组成目标集D＝{D₁，D₂，…，Di，…，Dn}，其中，Di表示第i个待跟踪目标；同时存储每个目标的中心位置和边界框信息；

步骤二、从步骤一得到的待跟踪目标集合D中确定的跟踪目标，对首帧中所确定的跟踪目标边界框内的信息进行特征提取，将得到特征矩阵作为目标特征模型并对首帧图像中跟踪目标的区域进行计算，得到跟踪目标区域的清晰度C_cur；

从第二帧图像开始，计算前一帧与当前帧目标特征响应矩阵，其中，响应峰值的位置为当前帧目标的中心位置，进一步获取当前帧目标区域内的特征矩阵再通过判断前一帧目标特征矩阵/>与/>变化情况对特征模型/>进行模型更新，以便更好地适应跟踪目标的变化；

其中，l为学习率。

步骤三、将实时更新的学习率l带入式(1)以实现目标特征模型的自适应更新；实时计算当前帧目标区域的图像清晰度C_cur，通过计算C_cur与C_cur-1的差值，调节模型更新的学习率l，提高目标跟踪精度；

其中，C_cur-1表示前一帧目标区域的清晰度值，L_base为基本学习率，T_c为清晰度阈值，若清晰度低于该阈值T_c，则立即使学习率调至0，停止更新目标特征模型，避免模型被污染；

步骤四、采用步骤二得到的目标特征响应矩阵进行计算，得出平均峰值相关能量值APCE；

其中，F_max表示响应峰值，F_min表示响应最低值，F_x,y表示响应图中(x,y)位置的响应值；

当响应峰值小于预先设定的阈值T_{max_respos}且APCE值均小于预先设定的T_APCE时，则跟踪目标受到干扰，保存前一帧图像中目标特征模型M₀，若目标被连续干扰若干帧后，停止更新目标特征模型，同时开启目标重新检测模式，执行步骤五；否则将继续进行步骤二、步骤三所述的目标跟踪。

步骤五、待跟踪目标匹配，通过目标检测算法得到新的待跟踪目标D₁，D₂，D₃，…，D_i。分别计算候选目标特征模型M₁，M₂，M₃，…，M_i。分别计算候选目标特征模型M_i与步骤四中所保存的目标特征模型M₀之间的特征响应矩阵。取峰值响应最大时对应的目标特征模型，并将该模型作为初始跟踪模型，继续执行步骤二所述的跟踪算法。

步骤六、重复步骤二至步骤五，实现基于图像清晰度与跟踪稳定性条件的目标检测跟踪。

有益效果：

1、本发明公开的基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，采用图像清晰度评价函数，用于调节跟踪模型更新的学习率，能够有效缓解由于目标运动速度变化过快目标跟踪算法易受干扰的问题，并使用平均峰值相关能量与特征响应峰值判断模型的置信度，当置信度较低时不再更新模型，启动目标重新检测机制，有效缓解目标易受遮挡干扰导致目标特征模型失效的问题，能够在复杂环境下实现稳定跟踪。

2、本发明公开的基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，通过自适应调节目标跟踪模型，结合APCE目标重新检测机制建立检测—跟踪联合工作机制，有效提升跟踪算法的跟踪精度和稳定性；基于目标区域清晰度自适应更新模型，能够有效提高目标运动速度变化较大与图像模糊情况下的系统跟踪精度。

附图说明

图1是本发明公开的基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法的流程图；

图2是本发明的自适应模型更新流程图；

图3是本发明的精度图和成功率图；其中图a为本发明的精度图；图b为本发明的成功率图。

具体实施方式

为了清楚说明本发明提出的技术方案，下面结合附图和具体实施例对本发明进行详细说明。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本实施针对基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，具体实现步骤如下：

步骤1，使用目标检测算法对视频内容进行检测，得到候选的待跟踪目标及目标区域，通过比较候选目标的置信度得分与预设阈值T_detect对候选目标进行筛选，将筛选得到的n个待跟踪目标组成目标集D＝{D₁，D₂，…，Di，…，Dn}，其中，Di表示第i个待跟踪目标；同时存储每个目标的中心位置和边界框信息；

具体地，在本实施例中，使用YOLOv4目标检测算法，对视频图像进行逐帧检测，在每一帧图像上得到候选的待跟踪目标及目标区域，目标区域为矩形。将置信度得分大于所设阈值T_detect的n个待跟踪目标组成目标集D＝{D₁，D₂，…，Di，…，Dn}，其中，Di表示第i个待跟踪目标。同时存储待跟踪目标区域的中心位置与尺寸信息，中心位置集合P＝{P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)，…，P_i(x_i，y_i)}，边界框尺寸集合S＝{S₁(w₁，h₁)，S₂(w₂，h₂)，S₃(w₃，h₃)，…，S_i(w_i，h_i)}，其中，x_i为目标区域中心点像素的横坐标，y_i为目标区域中心点像素的纵坐标，w_i和h_i分别为目标区域的宽度和高度。

此外，在本实施例中，也可按照事先标定好的感兴趣区域检测目标。

步骤2，首先从步骤1得到的待跟踪目标集合D中确定跟踪目标，对首帧中所确定跟踪目标的目标边界框内容进行特征提取，将得到特征矩阵x作为目标特征模型并使用Tenengrad函数对首帧图像中确定跟踪目标的目标区域进行计算，得到目标区域的清晰度C_cur。随后应用相关滤波方法计算首帧与当前帧目标特征响应矩阵，响应峰值的位置为当前帧目标的中心位置，进一步获取当前帧目标区域内的特征矩阵/>再通过判断前一帧目标特征矩阵/>与/>变化情况对特征模型/>进行模型更新，以便更好地适应跟踪目标的变化。

其中，l为学习率。

于本实施例中，对于待跟踪目标，分别提取目标的HOG特征、颜色直方图特征和灰度特征，并将三个特征向量分别列向量化后纵向连接形成其中，HOG表示候选目标的HOG特征，P表示候选目标的颜色直方图特征，Q表示候选目标的灰度特征。并通过相关滤波模板进行计算

f(Z)＝x^Tz (2)

其中，z是下一帧图像的特征矩阵，f(Z)是特征响应矩阵，k^xz是核相关函数，为核相关函数在频域中的表示形式，α为非线性系数在频域中的表示形式，/>表示在频域内计算特征响应矩阵函数。

每次进行相邻帧目标的计算特征响应矩阵函数之后，都要对现有模型进行更新，

其中，为观测模型，l为学习率。

步骤3、自适应更新目标特征模型，实时计算当前帧目标区域的图像清晰度C_cur，通过计算基本清晰度与当前帧清晰度的差值，调节模型更新的学习率。

首先通过Sobel算子提取图像I在水平和垂直方向的梯度值，进一步计算图像清晰度函数Tenengrad值。

其中，Sobel在水平和竖直方向的卷积核分别为G_x、G_y，S(x,y)为点(x,y)处的梯度表达式，n为评价区域像素总数。

接着，通过Tenengrad的值来计算模型的学习率。

其中，l表示当前帧特征模型更新的学习率，C_cur表示当前帧目标区域的清晰度值，C_cur-1表示前一帧目标区域的清晰度值，L_base为基本学习率，T_c为清晰度阈值，若清晰度低于该阈值T_c，则立即使学习率调至0，停止更新目标特征模型，避免模型被污染。

清晰度阈值T_c＝0.5，基本学习率L_base＝0.02。

步骤4、建立目标重新检测机制，结合步骤2计算得到的目标特征响应矩阵进行计算，得出平均峰值相关能量值APCE。

其中，F_max表示响应峰值，F_min表示响应最低值，F_x,y表示响应图中(x,y)位置的响应值。

若最大响应值与APCE值均小于预先设定的阈值T_{max_respos}和T_APCE时，保存前一帧图像中目标特征模型M₀，一旦目标被遮挡连续若干帧后，停止更新目标特征模型，同时开启目标重新检测模式。

步骤5、待跟踪目标匹配，通过YOLOv4目标检测算法得到新的待跟踪目标集合D＝{D₁，D₂，D₃，…，D_i}。计算集合D中所有候选目标的HOG特征、颜色直方图特征和灰度特征，并将各自的三个特征向量分别列向量化后纵向连接形成其中，HOG_i表示第i个候选目标的HOG特征，P_i表示第i个候选目标的颜色直方图特征，Q_i表示第i个候选目标的灰度特征。特征模型集合M＝{M₁，M₂，M₃，…，M_i}。应用相关滤波方法分别计算候选目标特征模型M_i与步骤四中所保存的目标特征模型M₀之间的特征响应矩阵。取峰值响应最大值对应的目标特征模型M_i作为初始跟踪模型，继续执行步骤2所述的跟踪算法对目标进行跟踪。

步骤6、重复步骤2至步骤5，实现基于图像清晰度与跟踪稳定性条件的目标检测跟踪。

本实施例通过结合智能跟踪拍摄系统对高山滑雪运动进行了测试，能够实现对高速滑雪运动员的稳定跟踪拍摄。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法，其特征在于：包括如下步骤，

步骤一、使用目标检测方法对视频内容进行检测，得到候选的待跟踪目标及目标区域，通过比较候选目标的置信度得分与预设阈值T_detect对候选目标进行筛选，将筛选得到的n个待跟踪目标组成目标集D＝{D₁，D₂，…，Di，…，Dn}，其中，Di表示第i个待跟踪目标；同时存储每个目标的中心位置和边界框信息；

步骤二、从步骤一得到的待跟踪目标集合D中确定的跟踪目标，对首帧中所确定的跟踪目标边界框内的信息进行特征提取，将得到特征矩阵作为目标特征模型并对首帧图像中跟踪目标的区域进行计算，得到跟踪目标区域的清晰度C_cur；

从第二帧图像开始，计算前一帧与当前帧目标特征响应矩阵，其中，响应峰值的位置为当前帧目标的中心位置，进一步获取当前帧目标区域内的特征矩阵再通过判断前一帧目标特征矩阵/>与/>变化情况对特征模型/>进行模型更新，以便更好地适应跟踪目标的变化；

其中，l为学习率；

步骤三、将实时更新的学习率l代入式(1)以实现目标特征模型的自适应更新；实时计算当前帧目标区域的图像清晰度C_cur，通过计算C_cur与C_cur-1的差值，调节模型更新的学习率l，提高目标跟踪精度；

其中，C_cur-1表示前一帧目标区域的清晰度值，L_base为基本学习率，T_c为清晰度阈值，若清晰度低于该阈值T_c，则立即使学习率调至0，停止更新目标特征模型，避免模型被污染；

步骤四、采用步骤二得到的目标特征响应矩阵进行计算，得出平均峰值相关能量值APCE；

其中，F_max表示响应峰值，F_min表示响应最低值，F_x,y表示响应图中(x,y)位置的响应值；

当响应峰值小于预先设定的阈值T_{max_respos}且APCE值均小于预先设定的T_APCE时，则跟踪目标受到干扰，保存前一帧图像中目标特征模型M₀，若目标被连续干扰若干帧后，停止更新目标特征模型，同时开启目标重新检测模式，执行步骤五；否则将继续进行步骤二、步骤三所述的目标跟踪；

步骤五、待跟踪目标匹配，通过目标检测算法得到新的待跟踪目标D₁，D₂，D₃，…，D_i；分别计算候选目标特征模型M₁，M₂，M₃，…，M_i；分别计算候选目标特征模型M_i与步骤四中所保存的目标特征模型M₀之间的特征响应矩阵；取峰值响应最大时对应的目标特征模型，并将该模型作为初始跟踪模型，继续执行步骤二所述的跟踪算法；

步骤六、重复步骤二至步骤五，实现基于图像清晰度与跟踪稳定性条件的目标检测跟踪。