CN108257153A - 一种基于方向梯度统计特征的目标跟踪方法 - Google Patents

Abstract

本发明提供了一种基于方向梯度统计特征的目标跟踪方法，包括以下步骤：选取初始目标模板图像并提取方向梯度统计特征；计算初始目标模板图像频域特征；获取搜索区域图像并提取方向梯度统计特征；计算搜索区域图像频域特征；通过频域响应获取跟踪目标更新位置、缩放比例和旋转角度；选取当前目标模板图像并提取方向梯度统计特征；计算当前目标模板图像频域特征；利用当前目标模板图像频域特征更新初始目标模板图像频域特征，对下一帧图像进行目标跟踪。本发明有效减弱了图像亮度、对比度、目标形变、目标旋转等因素的干扰，实现了目标的精确跟踪，同时提高了运算处理速度，从而提高了目标跟踪的实时性。

Description

一种基于方向梯度统计特征的目标跟踪方法

技术领域

本发明涉及特征目标跟踪技术领域，尤其涉及一种基于方向梯度统计特征的目标跟踪方法。

背景技术

复杂背景中的特征目标跟踪一直是图像跟踪中的难点。通常情况下，图像跟踪算法有基于对比度跟踪和基于区域相关匹配的跟踪方法。

对比度跟踪的跟踪方法，是利用目标与背景之间的对比度差别来识别和提取目标信号，从而实现自动跟踪目标的方法。这种跟踪方法依据跟踪参考点的不同可分为：边缘跟踪、形心跟踪、峰值跟踪等，可以跟踪快速目标，对目标姿势变化适应性强，但识别目标的能力差，难以跟踪复杂背景中的目标，只适用于跟踪空中或者水面等背景比较单一的目标。

区域相关匹配的跟踪方法，是一种基于最优化相关理论的图像处理方法，主要用于目标识别、检测以及跟踪。在相关匹配过程中，先选定一个目标特征的模板，通过计算模板与待处理图像区域的相似程度，从而识别出相应的目标，进而在跟踪过程中分析得到当前图像中的图像位置。传统的相关匹配方法有积相关法、减相关法和归一化相关算法。由于这种算法用到目标的全局信息，比如色彩、纹理等，因此具有较高的可信度，但同时有着明显的局限性，比如容易受到图像背景的明暗变化、目标的远近尺度变换、目标的旋转等因素的干扰，而且算法的运算量是非常大的，尽管已经有很多简化、优化的搜索算法，但是遇到特殊情况(高分辨率图像或面积比较大的目标)，算法的实时性很难保证。

发明内容

本发明的目的在于提供一种基于方向梯度统计特征的目标跟踪方法，能够减少图像亮度、对比度、目标形变、目标旋转对图像跟踪的影响，提高目标跟踪的精确度和实时性。

为实现上述目标，本发明采用的技术方案是：

一种基于方向梯度统计特征的目标跟踪方法，其特征在于，包括以下步骤：

A、选取跟踪目标拍摄视频的第一帧图像，根据跟踪目标所在位置截取矩形框图作为初始目标模板图像，并提取初始目标模板图像的方向梯度统计特征；

B、对初始目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到初始目标模板图像频域特征；

C、选取跟踪目标拍摄视频的下一帧图像，将该图像作为原尺寸图像进行尺度和角度变换，将原尺寸图像和变换得到的图像作为搜索区域图像；

D、分别提取各个搜索区域图像的方向梯度统计特征；

E、分别对各个搜索区域图像的方向梯度统计特征进行二维傅里叶变换，得到各个搜索区域图像频域特征；

F、利用各个搜索区域图像频域特征对初始目标模板图像频域特征进行频域响应，选择响应度最高的一个搜索区域图像，找出响应峰值位置，获得跟踪目标的更新位置、尺度变换和角度变换；

G、根据跟踪目标的更新位置、尺度变换和角度变换，在搜索区域图像的响应峰值位置截取矩形框图作为当前目标模板图像，并提取当前目标模板图像的方向梯度统计特征；

H、对当前目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到当前目标模板图像频域特征；

I、利用当前目标模板图像频域特征更新初始目标模板图像频域特征：

F”＝F·(1-λ)-F′·λ；

式中F”为更新后的目标模板图像频域特征，F为初始目标模板图像频域特征，F'为当前目标模板图像频域特征，λ为模板特征更新系数，将更新后的目标模板图像频域特征作为初始目标模板图像频域特征，然后返回步骤C。

所述的步骤D中，搜索区域图像包括原尺寸图像、原尺寸图像正旋转得到的图像、原尺寸图像逆旋转得到的图像、原尺寸图像放大后得到的图像、原尺寸图像放大后正旋转得到的图像、原尺寸图像放大后逆旋转得到的图像、原尺寸图像缩小后得到的图像、原尺寸图像缩小后正旋转得到的图像、原尺寸图像缩小后逆旋转得到的图像。

提取初始目标模板图像、搜索区域图像或者当前目标模板图像的方向梯度统计特征，包括以下步骤：

(1)将初始目标模板图像、搜索区域图像或者当前目标模板图像作为输入图像，将输入图像分为M×N个图像块，每个图像块包含a₁×a₂个图像核，每个图像核包含b₁×b₂个像素点，M、N、a₁、a₂、b₁、b₂均为正整数；

(2)计算各个图像核内每个像素点的X方向梯度和Y方向梯度：

G_x(x,y)＝H(x+1,y)-H(x-1,y)；

G_y(x,y)＝H(x,y+1)-H(x,y-1)；

式中G_x(x,y)为像素点X方向梯度，G_y(x,y)为像素点Y方向梯度，H(x,y)为像素点灰度值，x、y分别为像素点的列坐标和行坐标；

(3)计算各个图像核内每个像素点的方向梯度的幅值G(x,y)：

以原点为中心，将360°的平面平均分为k个角度范围，根据每个像素点的X方向梯度和Y方向梯度将其映射到对应的角度范围内；

(4)统计各个图像核的方向梯度值：针对一个图像核包含的所有像素点，将属于同一个角度范围的像素点的幅值相加，作为当前角度范围的统计值，将不包含任何像素点的角度范围的统计值记为0，然后将k个角度范围的统计值依次排列，形成该图像核的方向梯度值；

(5)统计各个图像块的方向梯度值，并对图像块的方向梯度值归一化：将属于同一个图像块的所有图像核的方向梯度值依次串联起来，得到该图像块的方向梯度值，对该图像块的方向梯度值归一化：

式中h′_i为第i个图像块归一化后的方向梯度值值，h_i为第i个图像块归一化前的方向梯度值，h_i,j为第i个图像块的方向梯度值的第j个分量，R为第i个图像块的方向梯度值的分量个数；

(6)将输入图像的所有图像块的方向梯度值依次串联起来，获得输入图像的方向梯度统计特征。

获得输入图像的方向梯度统计特征后，首先采用汉明窗加权方向梯度统计特征，然后通过主成成分分析对方向梯度统计特征进行降维。

本发明通过对跟踪目标的图像帧进行尺度和角度变换，得到多个搜索区域图像，利用多个搜索区域图像同时对目标模板图像进行相关匹配，不仅降低了由于目标尺度变换、角度变换引起目标失配的概率，而且提高了图像处理速度，减少了运算时间，提高了目标跟踪的实时性；

本发明通过提取目标模板图像和搜索区域图像的方向梯度统计特征，并基于对方向梯度统计特征进行二维傅里叶变换得到的频域特征获取跟踪目标的更新位置、缩放比例和旋转角度，在很大程度上减弱了图像亮度、对比度、噪声变化对图像跟踪的影响，提高了图像跟踪的精度。

附图说明

图1为本发明的流程图；

图2为本发明提取方向梯度统计特征的流程图；

图3为本发明将图像分为图像块和图像核的示意图；

图4为本发明对360°的平面划分角度范围的示意图。

具体实施方式

如图1所示，本发明所述的一种基于方向梯度统计特征的目标跟踪方法，包括以下步骤：

A、选取跟踪目标拍摄视频的第一帧图像，根据跟踪目标所在的位置手动截取适当尺寸的矩形框图作为初始目标模板图像，并提取初始目标模板图像的方向梯度统计特征。

B、对初始目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到初始目标模板图像频域特征。

C、选取跟踪目标拍摄视频的下一帧图像，将该图像作为原尺寸图像进行尺度和角度变换，将原尺寸图像和变换得到的图像作为搜索区域图像。

本发明的搜索区域图像中心都基于初始目标模板图像的中心位置，搜索区域图像共有9个，分别为原尺寸图像、原尺寸图像正旋转得到的图像、原尺寸图像逆旋转得到的图像、原尺寸图像放大后得到的图像、原尺寸图像放大后正旋转得到的图像、原尺寸图像放大后逆旋转得到的图像、原尺寸图像缩小后得到的图像、原尺寸图像缩小后正旋转得到的图像、原尺寸图像缩小后逆旋转得到的图像。其中，对原尺寸图像进行尺度和角度变换时，放大系数、缩小系数以及旋转角度依据拍摄使用的摄像机视频帧率确定，如摄像机视频帧率为50帧/秒，可取放大系数为10.5，缩小系数为0.95，正旋转角度和负旋转角度均为3°，如果使用其他帧率的摄像机视频，可以实验调整以上参数。

D、分别提取各个搜索区域图像的方向梯度统计特征。

E、分别对各个搜索区域图像的方向梯度统计特征进行二维傅里叶变换，得到各个搜索区域图像频域特征。

F、利用各个搜索区域图像频域特征对初始目标模板图像频域特征进行频域响应，选择响应度最高的一个搜索区域图像，找出响应峰值位置，得到跟踪目标的更新位置、尺度变换和角度变换。

当对各个搜索区域图像提取方向梯度统计特征、进行二维傅里叶变换以及进行频域响应时，可以采取并行处理的方式来提高处理速度，最终的响应峰值位置即为跟踪目标的更新位置，而对应的搜索区域图像的缩放比例和旋转角度即为跟踪目标的尺度变换和角度变化。

G、根据跟踪目标的更新位置、尺度变换和角度变换，在搜索区域图像的响应峰值位置截取矩形框图作为当前目标模板图像，并提取当前目标模板图像的方向梯度统计特征。

当选取当前目标模板图像时，首先在搜索区域图像的响应峰值位置截取与初始目标模板图像尺寸一致的矩形框图，然后根据跟踪目标的尺度变换和角度变换对矩形框图进行相应的缩放和旋转。

H、对当前目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到当前目标模板图像频域特征。

I、利用当前目标模板图像频域特征更新初始目标模板图像频域特征：

F”＝F·(1-λ)-F′·λ；

式中F”为更新后的目标模板图像频域特征，F为初始目标模板图像频域特征，F'为当前目标模板图像频域特征，λ为模板特征更新系数，λ的大小可以根据图像中跟踪目标或者背景变化的速度进行调整，经验值一般为0.05。将更新后的目标模板图像频域特征作为初始目标模板图像频域特征，然后返回步骤C，对下一帧图像进行目标跟踪。

如图2所示，本发明提取初始目标模板图像、搜索区域图像或者当前目标模板图像的方向梯度统计特征，包括以下步骤：

(1)将初始目标模板图像、搜索区域图像或者当前目标模板图像作为输入图像，将输入图像分为M×N个图像块，每个图像块包含a₁×a₂个图像核，每个图像核包含b₁×b₂个像素点，M、N、a₁、a₂、b₁、b₂均为正整数。例如，可将初始目标模板图像、搜索区域图像或者当前目标模板图像分为2x2个图像块1，每个图像块包含2x2个图像核2，每个图像核包括4x4个像素点3，如图3所示。

(2)计算各个图像核内每个像素点的X方向梯度和Y方向梯度：

G_x(x,y)＝H(x+1,y)-H(x-1,y)；

G_y(x,y)＝H(x,y+1)-H(x,y-1)；

本发明采用[-1,0,1]和[-1,0,1]^T梯度算子对选取的图像分别做卷积运算，得到各个像素点的X方向梯度和Y方向梯度，式中G_x(x,y)为像素点X方向梯度，G_y(x,y)为像素点Y方向梯度，H(x,y)为像素点灰度值，x、y分别为像素点的列坐标和行坐标。

(3)计算各个图像核内每个像素点的方向梯度矢量：

式中G(x,y)为像素点的方向梯度的幅值，α(x,y)为像素点的方向梯度的角度值。

以原点为中心，将360°的平面平均分为k个角度范围，根据各个像素点的方向梯度的角度值分别将其映射到对应的角度范围内。如图4所示，本实施例以X轴为起始线，将360°的平面平均分为18个角度范围，依次为0角度范围，1角度范围、……，17角度范围。需要说明的是，本发明采用不计算像素点的方向梯度的角度值，而根据每个像素点的X方向梯度和Y方向梯度查找其所属的角度范围，避免了像素点的方向梯度的角度值的计算，大大节省了图像处理的运算量，有效提高了处理速度。

(4)统计各个图像核的方向梯度值：针对一个图像核包含的所有像素点，将属于同一个角度范围的像素点的幅值相加，作为当前角度范围的统计值，将不包含任何像素点的角度范围的统计值记为0，然后将k个角度范围的统计值依次排列，形成图像核的方向梯度值。当将360°的平面平均分为18个角度范围，则每个图像核的方向梯度值均为一个18维向量。

(5)统计各个图像块的方向梯度值，并对图像块的方向梯度值归一化：将属于同一个图像块的所有图像核的方向梯度值依次串联起来，得到该图像块的方向梯度值，对该图像块的方向梯度值归一化：

式中h′_i为第i个图像块的方向梯度值的归一化值，h_i为第i个图像块的方向梯度值，h_i,j为第i个图像块的方向梯度值的第j个分量，R为第i个图像块的方向梯度值的分量个数。本发明通过对图像块的方向梯度值的归一化处理，能够减弱或消除图像亮度、对比度变化对目标跟踪的干扰。

(6)将输入图像的所有图像块的方向梯度值依次串联起来，获得输入图像的方向梯度统计特征。

(7)采用汉明窗加权输入图像的方向梯度统计特征，然后通过主成成分分析对方向梯度统计特征进行降维。

本发明通过汉明窗加权能够提高图像中心部分的特征，减弱图像边缘部分的特征，从而减小背景图像变化对目标跟踪带来的干扰；主成成分分析即PCA降维能够减少对方向梯度统计特征进行二维傅里叶变换的处理时间。

本发明所述的目标跟踪方法有效减弱了图像亮度、对比度、目标形变、目标旋转等因素的干扰，实现了目标的精确跟踪，同时提高了运算处理速度，从而提高了目标跟踪的实时性。

Claims (4)

1.一种基于方向梯度统计特征的目标跟踪方法，其特征在于，包括以下步骤：

A、选取跟踪目标拍摄视频的第一帧图像，根据跟踪目标所在位置截取矩形框图作为初始目标模板图像，并提取初始目标模板图像的方向梯度统计特征；

B、对初始目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到初始目标模板图像频域特征；

C、选取跟踪目标拍摄视频的下一帧图像，将该图像作为原尺寸图像进行尺度和角度变换，将原尺寸图像和变换得到的图像作为搜索区域图像；

D、分别提取各个搜索区域图像的方向梯度统计特征；

E、分别对各个搜索区域图像的方向梯度统计特征进行二维傅里叶变换，得到各个搜索区域图像频域特征；

F、利用各个搜索区域图像频域特征对初始目标模板图像频域特征进行频域响应，选择响应度最高的一个搜索区域图像，找出响应峰值位置，获得跟踪目标的更新位置、尺度变换和角度变换；

G、根据跟踪目标的更新位置、尺度变换和角度变换，在搜索区域图像的响应峰值位置截取矩形框图作为当前目标模板图像，并提取当前目标模板图像的方向梯度统计特征；

H、对当前目标模板图像的方向梯度统计特征进行二维傅里叶变换，得到当前目标模板图像频域特征；

I、利用当前目标模板图像频域特征更新初始目标模板图像频域特征：

F”＝F·(1-λ)-F′·λ；

式中F”为更新后的目标模板图像频域特征，F为初始目标模板图像频域特征，F'为当前目标模板图像频域特征，λ为模板特征更新系数，将更新后的目标模板图像频域特征作为初始目标模板图像频域特征，然后返回步骤C。

2.如权利要求1所述的一种基于方向梯度统计特征的目标跟踪方法，其特征在于：所述的步骤D中，搜索区域图像包括原尺寸图像、原尺寸图像正旋转得到的图像、原尺寸图像逆旋转得到的图像、原尺寸图像放大后得到的图像、原尺寸图像放大后正旋转得到的图像、原尺寸图像放大后逆旋转得到的图像、原尺寸图像缩小后得到的图像、原尺寸图像缩小后正旋转得到的图像、原尺寸图像缩小后逆旋转得到的图像。

3.如权利要求1所述的一种基于方向梯度统计特征的目标跟踪方法，其特征在于，提取初始目标模板图像、搜索区域图像或者当前目标模板图像的方向梯度统计特征，包括以下步骤：

(1)将初始目标模板图像、搜索区域图像或者当前目标模板图像作为输入图像，将输入图像分为M×N个图像块，每个图像块包含a₁×a₂个图像核，每个图像核包含b₁×b₂个像素点，M、N、a₁、a₂、b₁、b₂均为正整数；

(2)计算各个图像核内每个像素点的X方向梯度和Y方向梯度：

G_x(x,y)＝H(x+1,y)-H(x-1,y)；

G_y(x,y)＝H(x,y+1)-H(x,y-1)；

式中G_x(x,y)为像素点X方向梯度，G_y(x,y)为像素点Y方向梯度，H(x,y)为像素点灰度值，x、y分别为像素点的列坐标和行坐标；

(3)计算各个图像核内每个像素点的方向梯度的幅值G(x,y)：

以原点为中心，将360°的平面平均分为k个角度范围，根据每个像素点的X方向梯度和Y方向梯度将其映射到对应的角度范围内；

(4)统计各个图像核的方向梯度值：针对一个图像核包含的所有像素点，将属于同一个角度范围的像素点的幅值相加，作为当前角度范围的统计值，将不包含任何像素点的角度范围的统计值记为0，然后将k个角度范围的统计值依次排列，形成该图像核的方向梯度值；

(5)统计各个图像块的方向梯度值，并对图像块的方向梯度值归一化：将属于同一个图像块的所有图像核的方向梯度值依次串联起来，得到该图像块的方向梯度值，对该图像块的方向梯度值归一化：

式中h′i为第i个图像块归一化后的方向梯度值值，h_i为第i个图像块归一化前的方向梯度值，h_i,j为第i个图像块的方向梯度值的第j个分量，R为第i个图像块的方向梯度值的分量个数；

(6)将输入图像的所有图像块的方向梯度值依次串联起来，获得输入图像的方向梯度统计特征。

4.如权利要求3所述的一种基于方向梯度统计特征的目标跟踪方法，其特征在于：获得输入图像的方向梯度统计特征后，首先采用汉明窗加权方向梯度统计特征，然后通过主成成分分析对方向梯度统计特征进行降维。