CN106570892A - 一种基于边缘增强模板匹配的运动目标主动跟踪方法 - Google Patents

Abstract

一种基于边缘增强模板匹配的运动目标主动跟踪方法，实现步骤为：首先采用改进的跟踪目标选定准则，选定感兴趣目标，并建立目标的灰度模板，启动主动跟踪模式；其次，对目标模板和搜索区域进行高斯平滑、归一化和阈值化处理后，得到边缘增强后的阈值化图像；然后，采用快速傅里叶变换与积分图像快速模板匹配相结合的方法，实现目标的快速定位，并对目标匹配模板进行更新；最后通过对摄像机控制指令进行标定，形成标定指令，进而利用卡尔曼滤波预测目标下一帧的位置并根据标定指令向摄像机发出运动控制指令，控制云台运动，实现对目标进行主动跟踪。本发明能够对普通无反馈控制云台进行控制，实现对目标进行主动跟踪。

Description

一种基于边缘增强模板匹配的运动目标主动跟踪方法

技术领域

本发明涉及一种基于边缘增强模板匹配的运动目标主动跟踪方法，适用于PTZ摄像机在目标检测基础上对运动目标在动态背景下进行主动跟踪。

背景技术

运动目标跟踪技术是计算机视觉领域的核心课题之一，具有十分重要的意义和广泛的实用价值。由于PTZ(Pan/Tilt/Zoom，云台全方位(上下、左右)移动及镜头变倍、变焦控制)摄像机的优越性能，近年来PTZ摄像机越来越广泛的应用于计算机视觉领域。PTZ相机旋转、平移、伸缩性能带更广泛的应用范围的同时，对目标检测跟踪也提出了新的问题，包括了图像处理、模式识别、人工智能、自动控制以及计算机应用等相关领域的先进技术和研究成果。运动目标跟踪的实质是一种从图像信号中实时自动识别目标，提取目标的位置信息，自动跟踪目标的技术。PTZ相机主动跟踪系统实现的难点在于动态背景下对目标的持续跟踪和PTZ相机的自动控制。特别是因为PTZ相机旋转、平移、伸缩使得背景图像和前景目标都在运动，这给目标识别和定位带来很大的困难。同时低成本PTZ摄像机的控制难度也成为限制主动跟踪系统实用性的关键因素。传统的目标识别算法不能对运动背景下的目标进行有效的区分。近年来，基于运动补偿和背景拼接技术的主动目标跟踪算法开始应用于PTZ摄像机目标跟踪，但是大多计算量大，难以满足实时性的要求。

发明内容

本发明要解决的技术问题是：克服现有的动态背景运动目标跟踪实时性差，低成本摄像机连续精确控制难度高的问题，提出一种基于边缘增强模板匹配的运动目标主动跟踪方法。

本发明采用的技术方案为：一种基于边缘增强模板匹配的运动目标主动跟踪方法，改进主动跟踪目标选取方法，通过对目标阈值化处理保留大部分边缘信息，进而采用改进的模板匹配方法，实现目标定位和模板更新，利用图像分析和Kalman预测滤波完成云台控制，使目标一直位于镜头中央，实现对目标进行主动跟踪。具体实现步骤为：

(1)球机静止情况下，对实时采集的视频进行运动目标检测并对视野内的所有运动目标进行自动跟踪，通过人工选取感兴趣目标启动主动跟踪模式的具体步骤为：

(11)在球机摄像机静止情况下，采用背景建模方法检测静态视野中的所有运动目标，并对所有运动目标进行跟踪；

(12)对静态背景下跟踪的每个运动目标生成一个目标ID号，将每个目标的前景图像按照目标ID号的大小在当前帧的右侧成列显示；

(13)点击一个感兴趣目标的前景图像，并以选取目标为跟踪对象启动目标主动跟踪模式，对感兴趣目标进行主动跟踪。

(2)在主动跟踪模式下，对选定的感兴趣目标通过自动计算标准差的高斯滤波器对图像进行平滑，经过归一化和阈值化得到目标模板的阈值化图像，实现边缘增强的具体步骤为：

(21)采用一种尺寸为M×M、标准差为σ_w的高斯滤波器实现高斯平滑，得到高斯平滑图像，σ_w的计算公式为

式中M为高斯滤波窗口的大小。

(22)利用Sobel算子对高斯平滑图像进行梯度计算，得到梯度图像E；

(23)对梯度图像E进行归一化，将图像的直方图在0到255的范围内进行拉伸，增强目标和背景的对比度，直方图计算公式为

式中，E_n为归一化后的图像，255是一个像素的最大灰度值，E_max和E_min分别是归一化之前梯度图像E的最大和最小灰度值，i和j为图像的像素坐标；

(24)对归一化后的图像进行阈值化处理，得到边缘增强后的阈值化图像

式中，E_nt(i，j)是阈值化后的图像。

(3)在对目标模板阈值化处理后，采用结合快速傅里叶变换与积分图像的模板匹配方法，使用三种尺度下的缩放模板，实现目标的快速定位，并对目标的匹配模板进行更新，得到最新的自适应更新模板的具体步骤为

(31)目标搜索策略采用整体模板匹配方法，计算目标模板和搜索窗之间的相关系数曲面

式中，t为目标模板，s为搜索窗，m和n为搜索窗左上角的横坐标和纵坐标，K和L分别为模板的宽、高，c为相关系数曲面；

(32)在模板匹配过程中，为适应目标的形状和颜色信息在视频中的不断变化，对目标的匹配模板进行实时自适应加权更新，获得下一帧的目标匹配模板t_n+1

式中，t_n为第n帧模板匹配时子块的灰度值；b_n为子块匹配上的灰度值；t_n+1为第n+1帧模板匹配时子块的灰度值；c_max为匹配上的相关系数；τ_t为所设相关系数阈值；λ为模板更新率。

(4)利用目标质心到图像中心的距离作为反馈，结合卡尔曼滤波预测模型预测出目标在下一帧的位置，计算第一帧的PTZ控制指令，在连续帧中PTZ对目标进行微调跟踪的具体步骤为

(41)对所需缩放倍数z下的球机旋转速度ω全部进行标定，得到旋转速度与整型变量的对应关系；

(42)在初始帧，获取选定目标的初始位置(x，y)，以目标质心到图像中心COI的水平距离d_x和垂直距离d_y为反馈，计算目标质心到图像中心的距离d为

(43)根据目标在当前帧的质心坐标(x，y)、矩形宽高(w，h)和瞬时速度(v_x，v_y)等信息，构造Kalman滤波模型为

X(k)＝[x(k)，y(k)，w(k)，h(k)，v_x(k)，v_x(k)] (7)

Z(k)＝[x(k)，y(k)，w(k)，h(k)]^T (8)

式中，X(k)和Z(k)分别为k时刻的状态量和观测量，x(k)和y(k)分别为运动目标质心的横坐标和纵坐标，w(k)和h(k)分别为运动目标外接矩形的宽和高，v_x(k)和v_y(k)分别为x和y方向的速度分量；

(44)以获得选定目标所在位置(x，y)为基础，利用卡尔曼滤波预测出选定目标在下一帧的位置(p_x，p_y)，进而得到目标与镜头的相对预测位移量(ε_x，ε_y)

(45)根据目标与镜头的相对预测位移量(ε_x，ε_y)以及旋转速度与整型变量的对应关系计算PTZ旋转速度(p，t)为

式中，p为球机上下方向旋转速度控制变量，t为球机左右方向旋转速度控制变量。

在连续视频帧跟踪中，球机控制器将对目标进行微调跟踪，重新计算目标的位移量ε_x＝ε_x+d_x和ε_y＝ε_y+d_y，再通过旋转速度与整型变量的对应关系计算出相应的p和t，控制球机的旋转平移，使目标保持在镜头中央，实现主动跟踪。

本发明与现有技术相比的优点在于：

(1)本发明改进主动跟踪目标选取方法，通过对目标阈值化处理保留大部分边缘信息，进而采用改进的模板匹配方法，实现目标定位和模板更新，利用图像分析和Kalman预测滤波完成云台控制，使目标一直位于镜头中央，实现对目标进行主动跟踪；

(2)本发明通过边缘增强突出目标特征，利用更加方便的目标自动选择机制，采用结合快速傅里叶变换与积分图像的模板匹配方法和模板自适应实时更新完成目标跟踪，同时利用图像分析实现了输出量与输入量的比较，结合Kalman预测滤波，实现对云台的精确控制；

(3)本发明与其它PTZ相机跟踪算法不同在于：本发明首先采用改进的跟踪目标选定准则，选定感兴趣目标，并建立目标的灰度模板，启动主动跟踪模式；其次，对目标模板和搜索区域进行高斯平滑、归一化和阈值化处理后，得到边缘增强后的阈值化图像；然后，采用快速傅里叶变换与积分图像快速模板匹配相结合的方法，实现目标的快速定位，并对目标匹配模板进行更新；最后通过对摄像机控制指令进行标定，形成标定指令，进而利用卡尔曼滤波预测目标下一帧的位置并根据标定指令向摄像机发出PTZ控制指令，控制云台运动，实现对目标进行主动跟踪；而且本发明能够对普通无反馈控制云台进行控制，实现对目标进行主动跟踪。

附图说明

图1为本发明的一种改进的自动选取感兴趣目标，启动主动跟踪模式的示意图；

图2为本发明中的边缘增强原理图；

图3为本发明中的利用图像分析获取PTZ控制反馈信号的原理图；

图4为本发明中的PTZ控制回路原理图；

图5为本发明中的主动目标跟踪效果图。

具体实施方式

本发明具体实现过程如下：

(1)如图1所示，球机静止情况下，对实时采集的视频进行运动目标检测并对视野内的所有运动目标进行自动跟踪，通过人工选取感兴趣目标启动主动跟踪模式的具体步骤为：

(11)在球机静止情况下，采用背景建模方法检测静态视野中的所有运动目标，并对各运动目标进行跟踪；

(12)对静态背景下跟踪的每个运动目标生成一个目标ID号，将每个目标的前景图像按照目标ID号的大小在当前帧的右侧成列显示；

(13)点击一个感兴趣目标的前景图像，并以选取目标为跟踪对象启动目标主动跟踪模式，对感兴趣目标进行主动跟踪。

(2)如图2所示，在主动跟踪模式下，对选定的感兴趣目标利用自动计算标准差的高斯滤波器对图像进行平滑，经过归一化和阈值化得到目标模板的阈值化图像，实现边缘增强的具体步骤为：

(21)采用一种尺寸为M×M、标准差为σ_w的高斯滤波器实现高斯平滑，得到高斯平滑图像，σ_w的计算公式为

式中M为高斯滤波窗口的大小。

(22)利用Sobel算子对高斯平滑图像进行梯度计算，得到梯度图像E；

(23)对梯度图像E进行归一化，将图像的直方图在0到255的范围内进行拉伸，增强目标和背景的对比度，直方图计算公式为

式中，E_n为归一化后的图像，255是一个像素的最大灰度值，E_max和E_min分别是归一化之前梯度图像E的最大和最小灰度值，i和j为图像的像素坐标；

(24)对归一化后的图像进行阈值化处理，得到边缘增强后的阈值化图像

式中，E_nt(i，j)是阈值化后的图像。

(3)在对目标模板阈值化处理后，采用结合快速傅里叶变换与积分图像的模板匹配方法，使用三种尺度下的缩放模板，实现目标的快速定位，并对目标的匹配模板进行更新，得到最新的自适应更新模板的具体步骤为

(31)目标搜索策略采用整体模板匹配方法，计算目标模板和搜索窗之间的相关系数曲面

式中，t为目标模板，s为搜索窗，m和n为搜索窗左上角的横坐标和纵坐标，K和L分别为模板的宽、高，c为相关系数曲面；为提高模板匹配速度，结合快速傅里叶变换和积分图像来分步计算

∑∑s·t＝real[idft(S.T^*)] (5)

式中，S和T分别为s和t经过离散傅里叶变换后的矩阵；符号(*)为矩阵的共轭运算；符号(.)为矩阵的点乘运算；idft(.)为对矩阵进行离散傅里叶反变换；real(.)代表变换后复数矩阵的实数部分；

(32)在模板匹配过程中，为适应目标的形状和颜色信息在视频中的不断变化，对目标的匹配模板进行实时自适应加权更新，获得下一帧的目标匹配模板t_n+1

式中，t_n为第n帧模板匹配时子块的灰度值；b_n为子块匹配上的灰度值；t_n+1为第n+1帧模板匹配时子块的灰度值；c_max为匹配上的相关系数；τ_t为所设相关系数阈值；λ为模板更新率。

(4)如图3和4所示，利用目标质心到图像中心的距离作为反馈，结合卡尔曼滤波预测模型预测出目标在下一帧的位置，计算第一帧的球机控制指令，并在连续帧中球机对目标进行微调跟踪的具体步骤为

(41)对所需缩放倍数z下的球机旋转速度ω全部进行标定，得到旋转速度与整型变量的对应关系，如表1所示；

表1.旋转速度(像素/帧)与整型变量对应表

(42)在初始帧，获取选定目标的初始位置(x，y)，以目标质心到图像中心COI的水平距离d_x和垂直距离d_y为反馈，计算目标质心到图像中心的距离d为

(43)根据目标在当前帧的质心坐标(x，y)、矩形宽高(w，h)和瞬时速度(v_x，v_y)等信息，构造Kalman滤波模型为

X(k)＝[x(k)，y(k)，w(k)，h(k)，v_x(k)，v_x(k)] (8)

Z(k)＝[x(k)，y(k)，w(k)，h(k)]^T (9)

式中，X(k)和Z(k)分别为k时刻的状态量和观测量，x(k)和y(k)分别为运动目标质心的横坐标和纵坐标，w(k)和h(k)分别为运动目标外接矩形的宽和高，v_x(k)和v_y(k)分别为x和y方向的速度分量；

(44)以获得选定目标所在位置(x，y)为基础，利用卡尔曼滤波预测出选定目标在下一帧的位置(p_x，p_y)，进而得到目标与镜头的相对预测位移量(ε_x，ε_y)

(45)根据目标与镜头的相对预测位移量(ε_x，ε_y)以及旋转速度与整型变量的对应关系计算PTZ旋转速度(p，t)为

式中，p为球机上下方向旋转速度控制变量，t为球机左右方向旋转速度控制变量。

在连续视频帧跟踪中，球机将对目标进行微调跟踪，重新计算目标的位移量ε_x＝ε_x+d_x和ε_y＝ε_y+d_y，再通过旋转速度与整型变量的对应关系计算出相应的p和t，控制球机的旋转平移，使目标保持在镜头中央，实现主动跟踪，如图5所示。

总之，本发明通过改进主动目标选择机制，提高了系统的可操作性；采用自动计算标准差最优值的高斯滤波器实现高斯平滑，再经过归一化处理，解决了球机伸缩变焦导致的目标消失和模糊问题；利用结合快速傅里叶变换与积分图像的模板匹配方法和改进的模板更新策略，使用三种尺度下的缩放模板，实现目标的快速准确定位，满足了实时性的要求；利用图像分析数据作为球机控制反馈量，结合Kalman预测滤波实现低成本球机的有效控制，进而完成主动目标跟踪。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于边缘增强模板匹配的运动目标主动跟踪方法，其特征在于实现步骤为：

(1)在球机静止情况下，对实时采集的视频进行运动目标检测并对视野内的所有运动目标进行自动跟踪，通过人工选取感兴趣目标启动主动跟踪模式；

(2)在主动跟踪模式下，对选定的感兴趣目标通过自动计算标准差的高斯滤波器对图像进行平滑，经过归一化和阈值化得到目标模板的阈值化图像；

(3)在对目标模板阈值化处理后，采用结合快速傅里叶变换与积分图像的模板匹配方法，使用缩放比例为0.9、1和1.1三种尺度下的缩放模板，实现目标的快速定位，并对目标的匹配模板进行更新，得到最新的自适应更新模板；

(4)利用自适应更新模板实时监测目标，并以目标质心到图像中心的距离作为球机的反馈，结合卡尔曼滤波预测模型预测出目标在下一帧的位置，计算第一帧的球机控制指令，控制镜头中心对准目，进而在连续帧中对球机输入旋转和扫描指令，控制球机运动，对目标进行跟踪，使目标保持在镜头中心，实现对感兴趣运动目标进行主动跟踪。

2.根据权利要求1所述的基于边缘增强模板匹配的运动目标主动跟踪方法，其特征在于：所述步骤(1)中球机静止情况下，对实时采集的视频进行运动目标检测并对视野内的所有运动目标进行自动跟踪，通过人工选取感兴趣目标启动主动跟踪模式的具体步骤为：

(11)在球机摄像机静止情况下，采用背景建模方法检测静态视野中的所有运动目标，并对所有运动目标进行跟踪；

(21)对静态背景下跟踪的每个运动目标生成一个目标ID号，将每个目标的前景图像按照目标ID号大小在当前帧的右侧成列显示；

(31)手动点击一个感兴趣目标的前景图像启动主动跟踪模式，对感兴趣目标进行主动跟踪。

3.根据权利要求1所述的基于边缘增强模板匹配的运动目标主动跟踪方法，其特征在于：所述步骤(2)中在主动跟踪模式下，对选定的感兴趣目标通过自动计算标准差的高斯滤波器对图像进行平滑，经过归一化和阈值化得到目标模板的阈值化图像，具体步骤为：

(21)采用一种尺寸为M×M、标准差为σ_w的高斯滤波器实现高斯平滑，得到高斯平滑图像，σ_w的计算公式为

${\mathrm{\σ}}_w=0.3\×(\frac{M}{2}-1)+0.8---\left(1\right)$

式中M为高斯滤波窗口的大小。

(22)利用Sobel算子对高斯平滑图像进行梯度计算，得到梯度图像E；

(23)对梯度图像E进行归一化，将图像的直方图在0到255范围内进行拉伸，增强目标和背景的对比度，直方图计算公式为

$E_n=(i,j)=\left[\frac{255}{E_{\max }-E_{\min }}\right][E(i,j)-E_{\min }]---\left(2\right)$

式中，E_n为归一化后的图像，255是一个像素的最大灰度值，E_max和E_min分别是归一化之前梯度图像E的最大和最小灰度值，i和j为图像的像素坐标；

(24)对归一化后的图像进行阈值化处理，得到边缘增强后的阈值化图像

$E_m(i,j)=\left\{\begin{array}{ccc}{E}_n(i,j)& \mathrm{if}& E_n(i,j)\≥80\\ 0& & \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式中，E_nt(i，j)是阈值化后的图像。

4.根据权利要求1所述的基于边缘增强模板匹配的运动目标主动跟踪方法，其特征在于：所述步骤(3)中在对目标模板阈值化处理后，采用结合快速傅里叶变换与积分图像的模板匹配方法，使用三种尺度下的缩放模板，实现目标的快速定位，并对目标的匹配模板进行更新，得到最新的自适应更新模板的具体步骤为

(31)采用整体模板匹配的目标搜索策略，计算目标模板和搜索窗之间的相关系数曲面

$c(m,n)=\frac{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}s(m+i,n+j)t(i,j)}{\sqrt{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{s}^2(m+i,n+j)}\sqrt{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{t}^2(i,j)}}---\left(4\right)$

式中，t为目标模板，s为搜索窗，m和n为搜索窗左上角的横坐标和纵坐标，K和L分别为模板的宽、高，c为相关系数曲面；

(32)在模板匹配过程中，为适应目标的形状和颜色信息在视频中的不断变化，对目标的匹配模板进行实时自适应加权更新，获得下一帧的目标匹配模板t_n+1

$t_{n+1}=\left\{\begin{array}{cc}\mathrm{\λ}{c}_{\max }{b}_n+(1-\mathrm{\λ}{c}_{\max })t_n& \mathrm{if}{c}_{\max }>{\mathrm{\τ}}_i\\ t_n& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

式中，t_n为第n帧模板匹配时子块的灰度值；b_n为子块匹配上的灰度值；t_n+1为第n+1帧模板匹配时子块的灰度值；c_max为匹配上的相关系数；τ_t为所设相关系数阈值；λ为模板更新率。

5.根据权利要求1所述的基于边缘增强模板匹配的运动目标主动跟踪方法，其特征在于：所述步骤(4)中利用目标质心到图像中心的距离作为反馈，结合卡尔曼滤波预测模型预测出目标在下一帧的位置，计算第一帧图像的球机运动控制指令，实现对感兴趣运动目标进行主动跟踪的具体步骤为

(41)对所需缩放倍数z下的球机旋转速度ω全部进行标定，形成标定指令，得到旋转速度与整型变量的对应关系；

(42)在初始帧，获取选定目标的初始位置(x，y)，以目标质心到图像中心的水平距离d_x和垂直距离d_y为反馈，计算目标质心到图像中心的距离d为

$d=\sqrt{d_x^2+d_y^2}---\left(6\right)$

(43)根据目标在当前帧的质心坐标(x，y)、矩形宽高(w，h)和瞬时速度(v_x，v_y)等信息，构造Kalman滤波模型为

X(k)＝[x(k)，y(k)，w(k)，h(k)，v_x(k)，v_x(k)] (7)

Z(k)＝[x(k)，y(k)，w(k)，h(k)]^T (8)

式中，X(k)和Z(k)分别为k时刻的状态量和观测量，x(k)和y(k)分别为运动目标质心的横坐标和纵坐标，w(k)和h(k)分别为运动目标外接矩形的宽和高，v_x(k)和v_y(k)分别为x和y方向的速度分量；

(44)在获得选定目标所在位置(x，y)为基础，利用卡尔曼滤波预测出选定目标在下一帧的位置(p_x，p_y)，进而得到目标与镜头的相对预测位移量(ε_x，ε_y)为

$\left\{\begin{array}{c}{\mathrm{\ϵ}}_x=d_x-(p_x-x)\\ {\mathrm{\ϵ}}_y=d_y-(p_y-y)\end{array}\right.---\left(9\right)$

(45)根据目标与镜头的相对预测位移量(ε_x，ε_y)以及旋转速度与整型变量的对应关系计算球机的旋转速度(p，t)为

$\left\{\begin{array}{c}p=\underset{i}{\arg \min }\left({\left|\right|{\mathrm{\ϵ}}_x-V_i\left|\right|}_{i\∈\left(\mathrm{0,16}\right)}\right)\\ t=\underset{j}{\arg \min }\left({\left|\right|{\mathrm{\ϵ}}_y-V_j\left|\right|}_{j\∈\left(\mathrm{0,16}\right)}\right)\end{array}\right.---\left(10\right)$

式中，p为球机上下方向旋转速度控制变量，t为球机左右方向旋转速度控制变量。

在连续视频帧跟踪中，球机控制器将对目标进行微调跟踪，重新计算目标的位移量ε_x＝ε_x+d_x和ε_y＝ε_y+d_y，再通过旋转速度与整型变量的对应关系计算出相应的p和t，控制球机的旋转平移，使目标保持在镜头中央，实现主动跟踪。