CN103778645B - 一种基于图像的圆形目标实时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于图像的圆形目标实时跟踪方法，用以解决圆形目标由远及近运动时跟踪稳定性不高的问题。该方法步骤为：首先，根据圆形目标的状态方程和观测方程构造Kalman滤波器，将捕获目标获得的圆心坐标及半径作为滤波器的初始状态，建立目标在当前帧中的预测信息，减小搜索范围；其次，根据预测信息构建跟踪框，利用快速霍夫梯度法提取跟踪框中图像进行圆形目标检测，获得当前时刻目标的位置信息；最后，利用新位置作为Kalman滤波过程的观测值来更新滤波参数，更新目标状态估计和误差方差阵。反复进行上述步骤，实现在光照变化和背景混淆场景下快速有效的跟踪圆形目标。

Description

一种基于图像的圆形目标实时跟踪方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像处理技术的圆形目标实时跟踪的方法。

背景技术

基于图像技术的运动目标实时跟踪技术在智能交通系统、安全保护监控、军事目标跟踪方面具有广泛的应用价值。工业现场、军事应用、医学气象等诸多领域往往需要对具有圆形特征的运动物体进行跟踪，以便进一步分析处理。

基于运动参数估计的跟踪方法采用状态空间来描述被跟踪系统的运动特性，而Kalman滤波器能够很好地预测和校正系统的运动状态，是最广泛使用的一种方法。Kalman滤波器的基本思想是，通过系统的历史测量值，则可以建立最大化这些早期测量值的后验概率的系统状态模型。理论上，Kalman滤波器需要三个重要的假设：(1)被建模的系统是线性的；(2)影响测量的噪声属于白噪声；(3)噪声本质上是高斯分布的。但是传统的Kalman滤波器都以匀速或匀加速作为运动目标模型，使得对于运动规律不明显的目标跟踪效果较差。为此，国内外学者对如何改进Kalman滤波器做了进一步的研究，主要围绕运动模型的改进及目标精确定位两方面做了具体研究。针对如何改进Kalman滤波器的运动模型，文献[1]提出了一种无迹卡尔曼滤波器(UKF)，能够描述非线性模型，并使状态随机变量满足高斯分布；文献[2]提出了一种结构卡尔曼滤波器(SKF)，通过将目标分割成若干有意义的子区域，能够可靠的跟踪非刚性物体；文献[3]提出了一种多模型自适应Kalman滤波器改进运动模型；文献[4]提出了一种保持目标推进力与速度方向成固定夹角的运动模型，提高了一般曲线运动的跟踪精度；针对目标精确定位，文献[5]提出了一种基于质心加权的卡尔曼滤波器(CWKF)来优化预测状态；文献[6]利用多层神经网络(MNN)来补偿滤波器的不确定性；文献[7]在利用Kalman滤波器预测目标位置的基础上，通过边缘方向特征进行精确定位；文献[8]利用改进的Mean-Shift算法得到精确的跟踪位置。

在实际中，当圆形目标由远及近运动时，随着目标相对摄像机的距离减小，成像会逐渐增大，目标解算信息会不断改变，如果对每一帧图像进行全局搜索，耗时长，在单帧图像中花费的时间很长，必然会丢失许多其他图像的信息，无法满足实时性的性能要求。针对这个问题，可以利用Kalman滤波器对运动目标当前时刻的运动参数进行估计，从而得到目标可能的位置，减少搜索空间，实现图像处理的快速性；同时，根据圆形目标的特点，在跟踪框内利用快速霍夫梯度法对目标的观测值进行快速提取，进而更新滤波参数。本案即是基于前述思路而产生的。

[1]Zhang Haitao,Dai Gang,Sun Junxin,ZhaoYujiao.UnscentedKalmanfilterand its nonlinear application fortrackinga moving target[J].International Journal for Light and Electron Optics,2013,20,4468-4471.

[2]Jang D S,Jang S W,Choi H I.2D human body tracking with structuralKalman filter[J].Pattern Recognition,2002,35(10):2041-2049.

[3]李晓理,胡广大.基于多模型方法的自适应卡尔曼滤波[J].系统仿真学报,2008,20(3):590-592.

[4]陈礼斌,刘钊.一种新的自适应扩展卡尔曼滤波算法[J].激光与红外,2006,36(3):210-212.

[5]Fu Z,Han Y.Centroid weighted Kalman filter for visual objecttracking[J].Measurement,2012,45(4):650-655.

[6]Takaba K,Iiguni Y,Tokumaru H.An improved tracking Kalman filterusing a multilayered neural network[J].Mathematical and computer modelling,1996,23(1):119-128.

[7]刘惟锦,章毓晋.基于Kalman滤波和边缘直方图的实时目标跟踪[J].清华大学学报:自然科学版,2008,48(7):1104-1107.

[8]周尚波,胡鹏,柳玉炯.基于改进Mean-Shift与自适应Kalman滤波的视频目标跟踪[J].计算机应用,2010(006):1573-1576.

发明内容

本发明所要解决的技术问题是提供一种基于图像的圆形目标实时跟踪方法，当圆形目标距离图像采集设备由远及近运动时，能够通过该方法实时地跟踪目标。

本发明为解决上述技术问题，采用以下技术方案：

一种基于图像的圆形目标实时跟踪方法，其特征在于，包括如下步骤：

步骤(1)，利用CCD阵列的摄像机实时采集圆形目标图像；

步骤(2)，将复杂背景下的原始圆形目标图像进行快速预处理，滤除背景中的部分干扰信息；

步骤(3)，根据圆形目标的状态方程和观测方程构造Kalman滤波器，将首次捕获目标获得的圆心坐标(x₀，y₀)及半径r₀作为滤波器的初始状态，建立圆形目标在当前时刻中的预测信息，减小搜索范围；

步骤(4)，在步骤(3)初始检测的基础上构建跟踪框，利用快速霍夫梯度法提取跟踪框中图像进行圆形目标检测，获得当前时刻目标的观测位置信息；

步骤(5)，利用步骤(4)得到的圆形目标新位置作为Kalman滤波过程的观测值来更新滤波参数，更新目标状态估计和误差方差阵，反复使用步骤(3)，(4)，(5)实现在光照变化和背景混淆场景下快速有效的跟踪圆形目标。

步骤(2)所述的预处理是首先进行彩色空间转换，排除亮度信息的干扰，其次，对图像进行形态学闭运算操作，消除细小孔洞，最后应用双边滤波进行去噪，保持图像边缘信息。

步骤(3)所述构造Kalman滤波器的具体步骤如下：

步骤(31)，将圆形目标坐标的变化率分解为水平方向和垂直方向的变化率，即dx/dt和dy/dt。

步骤(32)，将步骤(1)采集的视频图像序列连续两帧的时间间隔设为ΔT，r为圆形目标半径，用白噪声来表示加速度量，则系统的状态方程为：

表述为矩阵形式为：

式中，Φ_k,k-1为系统的状态转移矩阵，W_k-1＝[w_x,w_y,w_r]^T为系统的过程噪声。

步骤(33)，将k时刻圆形目标的中心坐标(x,y)和半径r作为系统的观测变量，列写系统的观测方程：

式中，H_k为系统的观测矩阵，V_k为系统的观测噪声(白噪声)，Z_k＝(x_k,y_k,r_k)^T。

步骤(35)，选取滤波初值，调节Kalman滤波器的方差阵；由于摄像头跟踪目标过程中，测量误差相对较小，误差主要来源于摄像头抖动等引起的系统误差，则可以假设系统噪声方差矩阵Q_k、量测噪声方差矩阵R_k和初始协方差P₀分别为：0.5*E_6×6，E_3×3，E_6×6。

步骤(36)，根据状态方程和观测方程对Kalman滤波器进行初始化设置；将首次捕获C(x₀,y₀)及r₀作为滤波器的初始状态，对当前时刻的目标进行估计；

步骤(4)所述利用快速霍夫梯度法进行圆形目标精确定位，具体步骤如下：

步骤(41)，以k-1时刻圆形目标中心C(x_k-1,y_k-1)为中心点，2*R_max为边长构建矩形跟踪框，并根据r_k-1的值选取R_min＝k_cr_k-1和R_max＝k_er_k-1；

步骤(42)，对跟踪框内的图像，首先采用自适应阈值分割(OTSU)方法获得二值化图像，其次利用canny算子获取跟踪框内图像的边缘信息；

步骤(43)，对得到的边缘信息，利用Sobel算子计算非零像素点的梯度值和梯度方向；

步骤(44)，首先沿非零像素点梯度的方向和反方向对R_min＜D＜R_max区域内像素点进行累加，累加值记作S_c(x_k,y_k)；其次对S_c(x_k,y_k)进行降序排序，并按照下面两个步骤进行选取当前帧圆形目标中心C(x_k,y_k)：

1)对S_c(x_k,y_k)进行邻域筛选，当且仅当S_c(x_k,y_k)大于等于八个邻域累加值时进行保留：

2)对选取的候选中心C(x_k,y_k)，当且仅当与前一帧圆心坐标C(x_k-1,y_k-1)满足：(x_k-x_k-1)²+(y_k-y_k-1)²＜σ²时，对其进行保留，否则对S_c(x_k,y_k)取值进行降序选取；

步骤(45)，取候选中心C(x_k,y_k)，对中非零像素点与候选中心进行距离解算，并选取最合适的半径值r_k。

步骤(5)所述的利用新位置作为Kalman滤波过程的观测值来更新滤波参数及搜索框的具体步骤如下：

步骤(51)，将观测值C(x_k,y_k)及半径r_k传递给步骤(3)构造的Kalman滤波器，更新目标状态估计和误差方差阵，修正当前时刻的目标中心坐标和尺寸；

步骤(52)，将步骤(51)中修正后的估计值作为初始位置，返回步骤(36)进行下一时刻的目标状态估计；

步骤(53)，反复使用步骤(3)(4)(5)，实现在光照变化和背景混淆场景下圆形目标的稳定跟踪。

本发明从实际应用的角度出发，针对圆形目跟踪的问题，融合快速霍夫梯度法和Kalman滤波算法，实现了基于图像的圆形目标实时跟踪，保证了算法的精确性、执行效率以及实时性，具有广泛的实际应用价值。

附图说明

图1为本发明的流程图；

图2为工业摄像机实时采集的圆形目标示意图；

图3为目标图像预处理效果图；

图4为二维图像像素坐标示意图；

图5为快速霍夫梯度算法示意图；

图6为圆形目标远距情况效果图；

图7为圆形目标近距情况效果图。

具体实施方式

下面，结合附图对本发明的实施例作详细说明：本实施例在以本发明的技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施。

本实施如图1，包括如下步骤：

(1)选用型号为AVT公司的Manta G-125B/C的工业摄像机，该型摄像机在镜头上采用Sony ICX445型号的CCD作为图像传感器，通过千兆以太网传输目标视频图像，图像像素尺寸为768×576，如图2所示，其中由白色外环和黑色内圆组成的圆形物体为本发明的跟踪目标；

(2)对原始图像进行快速预处理，首先进行彩色空间转换，将图像由RGB模型转为HSV模型；其次，对V通道图像进行形态学闭运算操作，消除细小孔洞，最后应用双边滤波进行去噪，保持图像边缘信息。预处理后的目标图像如图3所示。

(3)根据圆形目标的状态方程和观测方程构造Kalman滤波器。将首次捕获目标获得的圆心坐标(x₀，y₀)及半径r₀作为滤波器的初始状态，对当前时刻的目标进行估计，建立目标在当前帧中的预测信息，减小搜索范围。其中，构造Kalman滤波器的步骤具体为：

步骤(31)，自定义二维图像的像素坐标系OXY：如图4以图像左下角顶点为坐标原点，水平向右为X轴正方向，垂直向上为Y轴正方向。将圆形目标坐标的变化率分解为水平方向和垂直方向的变化率，即dx/dt和dy/dt。

步骤(32)，将(1)采集的视频图像序列连续两帧的时间间隔设为ΔT，用白噪声来表示加速度量，则系统的状态方程为：

表述为矩阵形式为：

式中，Φ_k,k-1为系统的状态转移矩阵，W_k-1＝[w_x,w_y,w_r]^T为系统的过程噪声。

步骤(33)，将k时刻圆形目标的中心坐标(x,y)和半径r作为系统的观测变量，列写系统的观测方程：

式中，H_k为系统的观测矩阵，V_k为系统的观测噪声(白噪声)，Z_k＝(x_k,y_k,r_k)^T。

步骤(35)，选取滤波初值，调节Kalman滤波器的方差阵；由于摄像头跟踪目标过程中，测量误差相对较小，误差主要来源于摄像头抖动等引起的系统误差，则可以假设系统噪声方差矩阵Q_k、量测噪声方差矩阵R_k和初始协方差P₀分别为：0.5*E_6×6，E_3×3，E_6×6。

步骤(36)，根据状态方程和观测方程对Kalman滤波器进行初始化设置；将首次捕获的圆形目标中心C(x₀,y₀)及半径r₀作为滤波器的初始状态，对当前时刻的目标进行估计；

(4)在步骤(3)预测位置的基础上，构建跟踪框，利用快速霍夫梯度法提取跟踪框中图像进行圆形目标检测，获得当前时刻目标状态的观测值，如图5所示。具体步骤如下：

步骤(41)，以k-1时刻圆形目标中心C(x_k-1,y_k-1)为中心点，2*R_max为边长构建矩形跟踪框，并根据r_k-1的值选取R_min＝k_cr_k-1和R_max＝k_er_k-1；

步骤(42)，对跟踪框内的图像，首先采用自适应阈值分割(OTSU)方法获得二值化图像，其次利用canny算子获取跟踪框内图像的边缘信息；

步骤(43)，对得到的边缘信息，利用Sobel算子计算x，y方向的导数：

其次计算非零像素点的梯度值和梯度方向：

|G|＝|G_x|+|G_y|

步骤(44)，沿梯度的方向和反方向对R_min＜D＜R_max范围内的像素点进行累加，对点c(x_k,y_k)的累加值记作S_c(x_k,y_k)。对S_c(x_k,y_k)进行降序排序，按照下面两个步骤进行选取：

(1)对S_c(x_k,y_k)进行邻域筛选，当且仅当S_c(x_k,y_k)大于等于八个邻域累加值时进行保留：

(2)对选取的候选中心C(x_k,y_k)，当且仅当与前一帧圆心坐标C(x_k-1,y_k-1)满足：(x_k-x_k-1)²+(y_k-y_k-1)²＜σ²时，对其进行保留，否则返回(1)对S_c(x_k,y_k)取值进行降序选取。

步骤(45)，取当前帧候选中心C(x_k,y_k)，对中非零像素点与候选中心进行距离解算，通过游标步进的方法选取最合适的半径值r_k。游标步进方法具体步骤如下：

①自定义距离变量Dis[n]，初始化步进值start_pos＝0,半径支持度max_count＝0及循环次数k＝0，设定目前半径值为r＝r_k-1。

②记录跟踪框中R_min＜D＜R_max的非零像素点(cx,cy)与圆心C(x_k,y_k)的距离值Dis[n]，并将其按冒泡排序法降序排序。

③取循环量测半径值Dis[k]，若其与Dis[start_pos]差值小于阈值δ，则将对应的max_count加1，并使k减1,并循环进入③；否则进入④。

④取得r为Dis[(start_pos+k)/2],判断|r-r_k-1|＜δ及若满足条件，获取r_k值，结束检测；否则进入③。

(5)利用观测值C(x_k,y_k)及r_k作为Kalman滤波过程的观测值来更新滤波参数，实现目标稳定跟踪，具体步骤如下：

步骤(51)，将C(x_k,y_k)及r_k传递给步骤(3)构造的的Kalman滤波器，更新目标状态估计和误差方差阵，修正当前时刻的目标中心坐标和尺寸；

步骤(52)，将步骤(51)中修正后的估计值作为初始位置，返回步骤(36)进行下一时刻的目标状态估计；

步骤(53)，反复使用(3)(4)(5)，实现在光照变化和背景混淆场景下圆形目标的稳定跟踪。

为了评价本发明提出基于图像的圆形目标实时跟踪方法的性能，进行了仿真试验。在正确性验证试验中，具体试验条件如下：

(1)操控实验平台以不同的速度进行测试；

(2)摄像机在拍摄过程中进行上下左右小范围的角度调整

在不同光照条件下，分别设计三组对照试验，分别统计传统方法与本发明方法对圆形目标稳定跟踪的百分比情况，结果如表1所示。根据表1的实验数据可知，在不同光照环境下，该方法较之传统方法，能更好地实现对圆形目标的稳定跟踪，稳定跟踪的帧数百分比均保持在90％以上。

图6和图7分别为圆形目标远距情况和近距跟踪情况示意图，其中目标跟踪结果用方框描出，中心十字为目标中心标记。

表1 圆形目标跟踪情况统计结果

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种基于图像的圆形目标实时跟踪方法，其特征在于，包括如下步骤：

步骤(1)，利用CCD阵列的摄像机实时采集圆形目标图像；

步骤(2)，将复杂背景下的原始圆形目标图像进行快速预处理，滤除背景中的部分干扰信息；

步骤(3)，根据圆形目标的状态方程和观测方程构造Kalman滤波器，将首次捕获目标获得的圆心坐标(x₀,y₀)及半径r₀作为滤波器的初始状态，建立圆形目标在当前时刻中的预测信息，减小搜索范围；所述构造Kalman滤波器的具体步骤如下：

步骤(31)，自定义二维图像的像素坐标系OXY：以图像左下角顶点为坐标原点，水平向右为X轴正方向，垂直向上为Y轴正方向；将圆形目标坐标的变化率分解为水平方向和垂直方向的变化率，即dx/dt和dy/dt；

步骤(32)，将步骤(1)采集的视频图像序列连续两帧的时间间隔设为ΔT，r为圆形目标半径，用白噪声来表示加速度量，则系统的状态方程为：

$x_k=x_{k-1}+\mathrm{\Δ}T\frac{{\mathrm{dx}}_{k-1}}{dt}$

$y_k=y_{k-1}+\mathrm{\Δ}T\frac{{\mathrm{dy}}_{k-1}}{dt}$

$r_k=r_{k-1}+\mathrm{\Δ}T\frac{{\mathrm{dr}}_{k-1}}{dt}$

${\stackrel{\·}{x}}_k=\frac{{\mathrm{dx}}_{k-1}}{dt}+w_x\mathrm{\Δ}T$

${\stackrel{\·}{y}}_k=\frac{{\mathrm{dy}}_{k-1}}{dt}+w_y\mathrm{\Δ}T$

${\stackrel{\·}{r}}_k=\frac{{\mathrm{dr}}_{k-1}}{dt}+w_r\mathrm{\Δ}T$

表述为矩阵形式为：

式中，Φ_k,k-1为系统的状态转移矩阵，W_k-1＝[w_x,w_y,w_r]^T为系统的过程噪声；

步骤(33)，将k时刻圆形目标的中心坐标(x,y)和半径r作为系统的观测变量，列写系统的观测方程：

式中，H_k为系统的观测矩阵，V_k为系统的观测噪声，即白噪声，Z_k＝(x_k,y_k,r_k)^T；

步骤(35)，选取滤波初值，调节Kalman滤波器的方差阵；由于摄像头跟踪目标过程中，测量误差相对较小，误差主要来源于摄像头抖动等引起的系统误差，则假设系统噪声方差矩阵Q_k、量测噪声方差矩阵R_k和初始协方差P₀分别为：0.5*E_6×6，E_3×3，E_6×6；上述E_6×6，E_3×3，E_6×6为单为矩阵；

步骤(36)，根据状态方程和观测方程对Kalman滤波器进行初始化设置，将首次捕获C(x₀,y₀)及r₀作为滤波器的初始状态，对当前时刻的目标进行估计；

步骤(4)，在步骤(3)初始检测的基础上构建跟踪框，利用快速霍夫梯度法提取跟踪框中图像进行圆形目标检测，获得当前时刻目标的观测位置信息；

步骤(5)，利用步骤(4)得到的圆形目标新位置作为Kalman滤波过程的观测值来更新滤波参数，更新目标状态估计和误差方差阵，反复使用步骤(3)，(4)，(5)实现在光照变化和背景混淆场景下快速有效的跟踪圆形目标。

2.根据权利要求1所述的一种基于图像的圆形目标实时跟踪方法，其特征在于，步骤(2)所述预处理的具体步骤如下：首先进行彩色空间转换，排除亮度信息的干扰，其次进行形态学闭运算操作，消除细小孔洞，最后应用双边滤波进行去噪，保持图像边缘信息。

3.根据权利要求1或2所述的一种基于图像的圆形目标实时跟踪方法，其特征在于，步骤(4)所述利用快速霍夫梯度法获得当前时刻目标的观测位，置信息，其具体步骤如下：

步骤(41)，以k-1时刻圆形目标中心C(x_k-1,y_k-1)为中心点，2*R_max为边长构建矩形跟踪框，并根据r_k-1的值选取R_min＝k_cr_k-1和R_max＝k_er_k-1；

步骤(42)，对跟踪框内的图像，首先采用自适应阈值分割方法获得二值化图像，其次利用canny算子获取跟踪框内图像的边缘信息；

步骤(43)，对得到的边缘信息，利用Sobel算子计算非零像素点的梯度值和梯度方向；

步骤(44)，首先沿非零像素点梯度的方向和反方向对R_min＜D＜R_max区域内像素点进行累加，累加值记作S_c(x_k,y_k)；其次对S_c(x_k,y_k)进行降序排序，并按照下面两个步骤进行选取当前帧圆形目标中心C(x_k,y_k)：

1)对S_c(x_k,y_k)进行邻域筛选，当且仅当S_c(x_k,y_k)大于等于八个邻域累加值时进行保留：

$\mathrm{\Γ}=\frac{S_c(x_k,y_k)}{max\{S_c(x_k\±1,y_k\±1),S_c(x_k,y_k\±1),S_c(x_k\±1,y_k)\}}\≥1;$

2)对选取的候选中心C(x_k,y_k)，当且仅当与前一帧圆心坐标C(x_k-1,y_k-1)关系满足：(x_k-x_k-1)²+(y_k-y_k-1)²＜σ²时，对其进行保留，否则返回(1)对S_c(x_k,y_k)取值进行降序选取；

步骤(45)，取候选中心C(x_k,y_k)，对R_min＜D＜R_max区域内中非零像素点与候选中心进行距离解算，并选取最合适的半径值r_k。

4.根据权利要求3所述的一种基于图像的圆形目标实时跟踪方法，其特征在于，步骤(5)所述利用新位置作为Kalman滤波过程的观测值来更新滤波参数及搜索框的具体步骤如下：

步骤(51)，将观测值C(x_k,y_k)及半径r_k传递给步骤(3)构造的的Kalman滤波器，更新目标状态估计和误差方差阵，修正当前时刻的目标中心坐标和尺寸；

步骤(52)，将步骤(51)中修正后的估计值作为初始位置，返回步骤(36)进行下一时刻的目标状态估计；

步骤(53)，反复使用步骤(3)(4)(5)，实现在光照变化和背景混淆场景下圆形目标的稳定跟踪。