CN104065925B - 功耗低的基于dsp的相关跟踪方法 - Google Patents

Abstract

本发明公开了一种功耗低的基于DSP的相关跟踪方法，本发明的目标跟踪方法采用基于归一化积相关（NProd）的模板匹配算法与遮挡判定、运动预估相结合的方式，通过Kalman运动预估设置搜索中心，采用基于NProd函数的子模板相关矩阵作为匹配度量，在波门中搜索目标；如果子模板之间的相关度误差满足遮挡条件，则中止模板更新，直接采用运动预估值作为最佳匹配位置，直到目标离开遮挡区域。本发明可以对存在复杂背景中的、与背景颜色分布相似的、突然出现大面积遮挡的目标进行有效跟踪，体积小、功耗低，适用性强。

Description

功耗低的基于DSP的相关跟踪方法

本申请是申请号：201310309831.2、申请日：2013.07.22、名称：“基于DSP的相关跟踪方法”的分案申请。

技术领域

本发明涉及一种图像处理技术，具体涉及的是一种基于DSP的目标相关跟踪方法及其装置。

背景技术

基于图像处理的目标跟踪在人机交互、智能视频监控及军事应用等领域具有很多实际应用。但是难点在于如何使跟踪过程具有较强的鲁棒性，因为目标的形状变化及遮挡等情况都会影响跟踪的可靠性。

基于模板匹配的相关跟踪方法是目标跟踪中的一种方法，通过自动检测或人工设定得到包含目标的模板图像，然后采用一定的判定准则即匹配度量函数，在搜索图像中找出最佳匹配位置，从而实现对目标的跟踪。相关跟踪方法具有精度高、跟踪稳定且对背景颜色分布不敏感的优点，但是当目标发生形变或者被遮挡时，跟踪精度会降低甚至跟踪失败。通过对模板进行更新，可以在一定程度上抑制目标形变对跟踪的影响，但是每一帧上的微小误差会随着相对运动过程逐渐积累，从而可能导致目标跟踪点偏离原先瞄准中心越来越远，即模板出现漂移。除此以外还需要特别注意当目标进入遮挡时，如果不立即中止模板更新，会导致遮挡物进入模板，从而对后续跟踪造成严重影响。

现有的技术系统一般难以应对目标遮挡这种突变干扰，为了更加有效地提高相关跟踪的鲁棒性，可以同时从两个方面开展研究：其一，构造更加鲁棒的匹配度量函数；其二，研究合适的模板更新方法。

发明内容

本发明的目的在于提供一种利用可见光图像对存在复杂背景中的，与背景颜色分布相似的，突然出现大面积遮挡的目标进行跟踪，并可以将跟踪图像传送给监视器实时显示，将跟踪结果实时传输给上位机的基于DSP的相关跟踪方法及专用装置。

本发明的技术解决方案是：

一种基于DSP的相关跟踪方法，包括以下步骤：

步骤一：模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV；

步骤二：控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板；

步骤三：根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置；

步骤四：根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门；

步骤五：根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板；

步骤六：如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断；

步骤七：根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当前跟踪情况；

步骤八：数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量等数据通过UART数据传输接口传送给上位机。

一种基于DSP的相关跟踪方法及其装置，包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器，数据传输模块将数据通过UART口传送给上位机。

一种基于DSP的相关跟踪方法及其装置，其视频捕获模块包括视频输入接口、视频解码器，视频显示模块包括视频输出接口、视频编码器，图像跟踪模块包括DSP处理器、电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存，数据传输模块包括调试接口、UART接口，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。

本发明与现有技术相比，具有如下显著优点：

(1)本发明系统能通过可变波门手动选择目标，也可通过预设目标图像信息自动选择目标；

(2)本发明系统采用子模板相关度矩阵匹配算法，相对于一般的相关匹配算法，跟踪的鲁棒性有所提高；

(3)本发明系统采用了基于子模板相关误差的目标遮挡判断算法，可以有效判断目标是否进入遮挡，并结合Kalman滤波运动预估有效提高目标在遮挡情况下的跟踪成功率；

(4)本发明系统单帧处理时间及CPU负载率满足实时跟踪要求，且体积小、功耗低，适用性强，具有新颖性与实用性。

下面结合附图对本发明作进一步详细描述

附图说明

图1是本发明基于DSP的相关跟踪装置的结构示意图。

图2是本发明基于DSP的相关跟踪方法流程图。

具体实施方式

由图1可知，一种基于DSP的相关跟踪方法及其装置，其装置包括视频捕获模块、图像跟踪模块、视频显示模块以及数据传输模块，其中，摄像机1与视频捕获模块相连接，监视器与视频显示模块相连接，上位机通过UART接口与数据传输模块相连接，图像跟踪模块分别与视频捕获模块、视频显示模块及数据传输模块相连接；摄像机将采集的模拟视频信号传送给视频捕获模块，通过视频解码器转换为数字图像信号，传送给图像跟踪模块，图像跟踪模块根据数字图像信号执行相关匹配计算、目标运动预估、目标遮挡判断及模板更新，并将处理后的数字图像信号传送给视频显示模块，将目标跟踪参数传送给数据传输模块，视频显示模块通过视频编码器将数据转换成模拟视频信号传送给监视器13，数据传输模块将数据通过UART口传送给上位机12。

视频捕获模块包括视频输入接口、视频解码器2，视频显示模块包括视频输出接口、视频编码器3，图像跟踪模块包括DSP处理器4、电源电路5、复位电路6、时钟电路7、同步动态存储SDRAM8、非挥发性FLASH内存9，数据传输模块包括调试接口10、UART接口11，其中，DSP处理器分别与电源电路、复位电路、时钟电路、同步动态存储SDRAM、非挥发性FLASH内存、视频解码器、视频编码器、调试接口及UART接口相连接。图像跟踪模块为本系统的核心器件，它对基于可见光模拟视频信号转换而来的数字图像进行处理，计算出目标当前位置，判断目标是否存在遮挡、实现模板更新并在数字图像上叠加波门。本发明的DSP处理器选用DM642芯片，视频解码器选用TVP5150视频解码芯片，视频编码器选用SAA7104视频编码芯片。

由图2可知，一种基于DSP的相关跟踪方法，包括以下步骤：

1.1模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV。

1.2控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号(Y)建立目标模板，或者根据预先存储的图像数据设定目标模板。模板图像的大小在32*32像素到64*64像素之间。

1.3根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置。具体如下：

子模板大小由模板图像大小决定，在8*8像素到16*16像素之间，子模板的数量在16到64之间。将模板图像与实时图像对应区域的图像按同样方式均匀分割成M×N个子模板，在每一个搜索位置按公式(1)计算子模板与子图对应位置子图像的去均值归一化相关系数D_kl(i,j)(0≤D_kl(i,j)≤1，1≤k≤M，1≤l≤N)，得到一个M×N维的相关度量矩阵S，将矩阵S存储在一个数组之中。

$D(u,v)=\frac{\underset{x=u}{\overset{u+m-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+n-1}{\mathrm{\Σ}}}(f(x,y)-{\stackrel{\‾}{f}}_{u,v})(t(x-u,y-v)-\stackrel{\‾}{t})}{\sqrt{\underset{x=u}{\overset{u+m-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+n-1}{\mathrm{\Σ}}}{(f(x,y)-{\stackrel{\‾}{f}}_{u,v})}^2}\sqrt{\underset{x=u}{\overset{u+m-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+n-1}{\mathrm{\Σ}}}{(t(x-u,y-v)-\stackrel{\‾}{t})}^2}}---\left(1\right)$

式中，m，n分别为模板图像的宽与高，f(x,y)为模板图像，t(x-u,y-v)对应于与实际配准位置偏差(u,v)个像素的子图，为模板图像的灰度均值，为子图的灰度均值，D(u,v)是度量函数位置偏移为(u,v)时的匹配度量值。

根据子模板与瞄准中心的距离对相关度矩阵TM进行一次加权修正，修正方法如下：

${\mathrm{TM}}_{w1}=\left[\begin{array}{cccc}{w}_{11}{m}_{11}& w_{12}{m}_{12}& ...& w_{1N}{m}_{1N}\\ w_{21}{m}_{21}& w_{22}{m}_{22}& ...& w_{2N}{m}_{2N}\\ ...& ...& ...& ...\\ w_{M1}{m}_{M1}& w_{M2}{m}_{M2}& ...& w_{\mathrm{MN}}{m}_{\mathrm{MN}}\end{array}\right].$

加权系数w_ij由公式(2)定义：

$w_{\mathrm{ij}}=\frac{\mathrm{MN}-k\left(\right|i-\frac{M}{2}|+|j-\frac{N}{2}\left|\right)}{\mathrm{MN}},i\∈[\mathrm{1,2},...,M],j\∈[\mathrm{1,2},...,N]---\left(1\right)$

式中，k为调节系数，用于调节距离瞄准中心远近对置信度的加权程度。

根据子模板角点密度对相关度矩阵进行二次加权修正，修正方式如下：

${\mathrm{TM}}_{W2}=\left[\begin{array}{cccc}{c}_{11}{m}_{11}& c_{12}{m}_{12}& ...& c_{1N}{m}_{1N}\\ c_{21}{m}_{21}& c_{22}{m}_{22}& ...& c_{2N}{m}_{2N}\\ ...& ...& ...& ...\\ c{w}_{M1}{m}_{M1}& c_{M2}{m}_{M2}& ...& c_{\mathrm{MN}}{m}_{\mathrm{MN}}\end{array}\right].$

加权系数c_ij由公式(3)定义

$c_{\mathrm{ij}}=1+\frac{p_{\mathrm{ij}}}{N_T}.---\left(3\right)$

式中p_ij表示第i行第j列的子模板检测到的角点数，N_T表示整个模板图像中检测到的角点数。

经过两次加权修正后的相关度矩阵为：

${\mathrm{TM}}_W=\left[\begin{array}{cccc}{c}_{11}{w}_{11}{m}_{11}& c_{12}{w}_{12}{m}_{12}& ...& c_{1N}{w_{1N}m}_{1N}\\ c_{21}{w}_{21}{m}_{21}& c_{22}{w}_{22}{m}_{22}& ...& c_{2N}{w}_{2N}{m}_{2N}\\ ...& ...& ...& ...\\ c{w}_{M1}{w}_{M1}{m}_{M1}& c_{M2}{w}_{M2}{m}_{M2}& ...& c_{\mathrm{MN}}{m}_{\mathrm{MN}}{n}_{\mathrm{MN}}\end{array}\right].$

采用公式(4)计相关度矩阵的Frobenius范数数值F_TM(i,j)，将F_TM(i,j)作为模板对应于实时图像搜索位置(i,j)处子图的相关度量数值，最大值F_TMmax(im,jm)即对应搜索图像的最佳匹配位置。

$F_{\mathrm{TM}}(i,j)={\left|\right|{\mathrm{TM}}_W\left|\right|}_F={\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a_{\mathrm{ij}}}^2\right)}^{1/2}.---\left(4\right)$

式中a_ij定义如下：

$a_{\mathrm{ij}}=\frac{(\mathrm{MN}-k\left(\right|i-\frac{M}{2}|+|j-\frac{N}{2}\left|\right))(1+\frac{p_{\mathrm{ij}}}{N_T})\underset{x=u}{\overset{u+M-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+M-1}{\mathrm{\Σ}}}(f(x,y)-{\stackrel{\‾}{f}}_{u,v})(t(x-u,y-v)-\stackrel{\‾}{t})}{\sqrt{\underset{x=u}{\overset{u+M-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+M-1}{\mathrm{\Σ}}}{(f(x,y)-{\stackrel{\‾}{f}}_{u,v})}^2}\sqrt{\underset{x=u}{\overset{u+M-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+M-1}{\mathrm{\Σ}}}{(t(x-u,y-v)-\stackrel{\‾}{t})}^2}}$

1.4根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门，预估方法如下：

系统状态X_k包括xs_k，ys_k以及xv_k，yv_k，分别为目标在图像X轴与Y轴上的位置与速度。二维观测向量Z_k包括xw_k，yw_k，分别表示匹配算法计算出的目标坐标。

根据目标在单位时间间隔内作匀速运动的假设，定义状态转移矩阵Φ、观测矩阵H_k及相互独立的零均值高斯白噪声向量w_k，v_k的协方差矩阵：

$\mathrm{\Φ}=\left[\begin{array}{cccc}1& 0& T& 0\\ 0& 1& 0& T\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$ $H_k=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$ $Q_k=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$ $R_k=\begin{array}{}\end{array}\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

对滤波器进行初始化，将目标初始位置与速度赋给X₀，速度设为0。初始误差协方差P₀设为0，同时记录当前时刻。

将X₀与状态转移矩阵Φ代入状态预测方程，预测当前目标的运动状态将预测的误差记为ΔP_k＝w_k-s_k。将状态转移矩阵Φ与观测矩阵H_k代入误差协方差预测方程，得到新的误差协方差。

以预估的目标坐标为搜索区域中心，当暂时没有得出时先以X_k中的xs_k，ys_k作为搜索中心。按ΔP_k的大小设置搜索波门大小，寻找最佳匹配位置。最佳匹配区域的子图坐标赋给观测向量xw_k，yw_k，从而得到Z_k。代入状态修正方程即可得(xs_k+1,ys_k+1)。

计算滤波器状态增益系数K_k，将Z_k代入状态修正方程，得到经观测修正后的状态向量，并计算修正误差协方差方程。

搜索波门大小采取如下方式设定：

搜索波门宽/高＝2γΔP_k+模板图像宽/高

其中γ为比例系数，取值范围为1～2。

1.5根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板，目标遮挡判断方法如下：

模板共分割为M×N个子模板，T_ij表示第i行第j个子模板，D_ij为T_ij对应子图的基于公式(1)的相关系数值，整个模板的相关系数值为DS，D_ij与DS的差值定义为ΔD_ij，所有ΔD_ij的均值为有

ΔD_ij＝|D_ij-D_S| $\mathrm{\Δ}\stackrel{\‾}{D}=\frac{\mathrm{\Σ\Δ}{D}_{\mathrm{ij}}}{M\×N}$

当且T_ij位于目标模板边缘时，给该子模板置遮挡标记，当被置遮挡标记的子模板个数大于p时，判定目标存在遮挡，模板停止更新。k与p均为遮挡敏感阈值系数，取值越大将对遮挡越不敏感。

如果判断目标不存在遮挡，则根据当前帧的跟踪质量生成权值，结合当前目标模板与候选模板构造新模板实施更新。

更新方程如公式(5)所示：

T_n+1(x,y)＝αT_n(x,y)+βI_n(x,y) (5)

式中T_n(x,y)为当前模板，T_n+1(x,y)为新构造的模板，I_n(x,y)为最佳匹配位置对应的子图，即候选模板，α,β分别是目标模板和候选模板在新模板中所占的比重，有α,β∈[0,1]且α+β＝1。定义β＝max(F_TM(i,j))，即当前帧相关度矩阵范数的最大值。

1.6如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断；

1.7根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当前跟踪情况；

1.8数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量等数据通过UART数据传输接口传送给上位机。

Claims (2)

1.一种功耗低的基于DSP的相关跟踪方法，其特征是：包括以下步骤：

步骤一：模拟视频信号由摄像机的视频输出端连接到视频捕获模块实现视频信号的输入，输入视频信号通过视频解码器转化为数字图像信号，输入信号为标准视频信号，为PAL制式或者NTSC制式，数字图像信号的输出格式为YUV；

步骤二：控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号Y建立目标模板，或者根据预先存储的图像数据设定目标模板；

步骤三：根据所建立的目标模板在波门内搜索目标，采用基于NProd函数的子模板相关矩阵作为匹配度量计算当前模板与目标模板的相似度，取相似度最高的点作为目标最佳匹配位置；

步骤四：根据计算的目标运动轨迹，采用Kalman滤波预估目标在下一帧中的最大可能位置，以该点为中心设置下一帧的搜索波门；

步骤五：根据子模板相关度误差进行目标遮挡判断，如果没有遮挡，取当前最佳匹配位置对应图像数据作为候选模板，与当前目标模板共同构造新模板；

步骤六：如果判断目标存在遮挡，停止模板更新，取Kalman滤波预估点作为下一帧的最佳匹配位置，并将对应图像数据作为候选模板，通过计算其子模板相关度误差进行目标遮挡判断；

步骤七：根据当前帧的目标最佳匹配位置在图像上叠加波门，处理后的数字图像信号输入视频显示模块，通过视频编码器转换为模拟视频信号供给监视器，通过监视器显示当前跟踪情况；

步骤八：数据传输模块将图像跟踪模块计算出的目标实时位置、相关匹配中间参量及目标遮挡判断参量数据通过UART数据传输接口传送给上位机；

步骤四中采用Kalman滤波预估目标在下一帧中的最大可能位置，其预估方法为：

系统状态X_k包括xs_k，ys_k以及xv_k，yv_k，分别为目标在图像X轴与Y轴上的位置与速度；二维观测向量Z_k包括xw_k，yw_k，分别表示匹配算法计算出的目标坐标；

根据目标在单位时间间隔内作匀速运动的假设，定义状态转移矩阵Φ、观测矩阵H_k及相互独立的零均值高斯白噪声向量w_k，v_k的协方差矩阵：

对滤波器进行初始化，将目标初始位置与速度赋给X₀，速度设为0；初始误差协方差P₀设为0，同时记录当前时刻；

将X₀与状态转移矩阵Φ代入状态预测方程，预测当前目标的运动状态将预测的误差记为ΔP_k＝w_k-s_k；将状态转移矩阵Φ与观测矩阵H_k代入误差协方差预测方程，得到新的误差协方差；

以预估的目标坐标为搜索区域中心，当暂时没有得出时先以X_k中的xs_k，ys_k作为搜索中心；按ΔP_k的大小设置搜索波门大小，寻找最佳匹配位置；最佳匹配区域的子图坐标赋给观测向量xw_k，yw_k，从而得到Z_k；代入状态修正方程即可得(xs_k+1,ys_k+1)；

计算滤波器状态增益系数K_k，将Z_k代入状态修正方程，得到经观测修正后的状态向量，并计算修正误差协方差方程；

搜索波门大小采取如下方式设定：

搜索波门宽/高＝2γΔP_k+模板图像宽/高

其中γ为比例系数，取值范围为1～2。

2.根据权利要求1所述的基于DSP的相关跟踪方法，其特征是：步骤二中控制波门位置及大小，手动选择要跟踪的目标，以对应区域的图像亮度信号建立目标模板，或者根据预先存储的图像数据设定目标模板，模板图像的大小在32*32像素到64*64像素之间。