CN101694723B - 一种基于全局匹配相似度函数的实时运动目标跟踪方法 - Google Patents

Abstract

一种基于全局匹配相似度函数的实时运动目标跟踪方法，在实时检测到运动目标的基础上，通过建立改进的颜色直方图模型，增加目标颜色分布的可信度，并根据运动目标的位置、大小和颜色构造运动目标的全局匹配相似度函数，对实时运动目标进行可靠跟踪。具体实现步骤为：首先初始化实时运动目标跟踪的参数；其次，对每个检测到的实时运动目标建立改进的颜色直方图模型；然后，将当前帧检测到的运动目标与先前检测到的运动目标构成待匹配运动目标对，对每个待匹配的运动目标对建立颜色直方图相似度函数，中心位置接近程度函数以及像素点总数接近程度函数；最后，建立全局匹配的相似度函数，对实时运动目标进行跟踪。本发明提高了运动目标跟踪的可靠性，可有效解救目标受到遮挡以及目标融合再分离时的自动关联问题。

Description

一种基于全局匹配相似度函数的实时运动目标跟踪方法

技术领域

本发明涉及一种实时运动目标跟踪方法，特别是一种基于运动目标全局匹配的相似度函数的实时运动目标跟踪方法，适用于对视频中的运动目标进行跟踪。

背景技术

随着经济和科技的发展以及“三股势力”对社会安全稳定的威胁，人们对居住和办公环境的安全性提出了更高的要求；对军民领域中的重点目标和区域的安全运行和防护以及对名胜古迹和文物博物馆的安防提出了更高的要求。对这些重点目标和区域进行监控的常用手段是视频监控，当有目标入侵时系统能及时准确地报警，且误警低是评价系统优劣的关键。运动目标跟踪的可靠性直接影响着对目标行为分析以及进一步采取措施的可靠性和准确性，也是评价智能视频监控系统的一个重要指标。传统方法中常用的运动目标跟踪方法之一是运动目标匹配算法，该算法将当前运动目标与先前运动目标进行匹配，并根据匹配值的大小实现对目标的跟踪。但现有算法主要依靠运动目标的速度，加速度进行跟踪，对于运动方向，运动速度时刻发生变化的目标很难进行跟踪。为解决现有算法的不足，本发明采用运动目标的颜色，大小和位置构造全局相似度函数，以过去一段时间内(本案中取4秒)所出现的目标为先前目标集，利用相似度函数将新出现的目标和先前目标集中的目标进行比较，完成对目标的跟踪，该方法对于运动方向和速度时刻变化的目标具有很好的跟踪效果。

发明内容

本发明要解决的技术问题：克服现有运动目标跟踪匹配算法可靠性低，误警率高的不足，提出一种基于全局匹配相似度函数的实时运动目标跟踪方法。

本发明采用的技术方案为：一种基于全局匹配相似度函数的实时运动目标跟踪方法，在实时检测到运动目标的基础上，通过建立改进的颜色直方图模型，增加目标颜色分布的可信度，并根据运动目标的位置、大小和颜色构造运动目标的全局匹配相似度函数，对实时运动目标进行可靠跟踪。具体实现步骤为：

(1)初始化实时运动目标跟踪的参数包括视频图像的大小，实时运动目标包含像素点数目的最小值N，实时运动目标相似度的阈值T，实时运动目标中心位置接近程度系数α，实时运动目标包含像素点总数的接近程度系数β，实时运动目标颜色直方图的相似程度系数γ；中心位置接近程度函数阈值的增益系数κ；先前目标集时间长度S。

(2)对每个检测到的实时运动目标建立改进的颜色直方图模型的步骤为：

①求实时运动目标中心点坐标的表达式

$\left\{\begin{array}{c}{o}_x=\frac{1}{I}\·\underset{i=1}{\overset{I}{\mathrm{\Σ}}}{\mathrm{\χ}}_x^i\\ o_y=\frac{1}{I}\·\underset{i=1}{\overset{I}{\mathrm{\Σ}}}{\mathrm{\χ}}_y^i\end{array}\right.---\left(1\right)$

式中o_x和o_y分别为实时运动目标中心点的横坐标和纵坐标；I为实时运动目标包含的像素点总数；χ_x ⁱ和χ_y ⁱ分别为目标中第i个像素点的横纵坐标；

②计算实时运动目标中各像素点与目标中心点间距离的表达式

d＝MAX(||χⁱ-o||)        (2)

$r=\frac{\left|\right|{\mathrm{\χ}}^i-o\left|\right|}{d}---\left(3\right)$

式中χⁱ为目标中第i个像素点；o为目标中心点：||χⁱ-o||为像素点χⁱ与中心点o间的距离；d为像素点χⁱ与中心点o间距离的最大值；r为像素点χⁱ与中心点o间距离的规一化值，且0≤r≤1；

③计算实时运动目标中每个像素点的权重函数的表达式

$\mathrm{\&eta;}\left(r\right)=\left\{\begin{array}{cc}1-r^2& r<1\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

式中η(r)为权重函数，远离目标中心的像素点权重较小，靠近目标中心的像素点权重较大；

④计算狄拉克函数，并判断该像素点是否被统计

$\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]=\left\{\begin{array}{cc}1& h\left({\mathrm{\&chi;}}^i\right)-v=0\\ 0& \mathrm{otherwise}\end{array}\right.----\left(5\right)$

式中δ为狄拉克函数；h(χⁱ)为像素点χⁱ对应的像素值；v为被统计的像素值；当δ[h(χⁱ)-v]＝1时，该像素点被统计，否则该像素点不被统计；

⑤计算实时运动目标颜色直方图模型的表达式

${\mathrm{\&omega;}}^v=\frac{1}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)}\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]---\left(6\right)$

式中，ω^v表示像素值为v的像素点在整个目标中所占的比重；

为归一化因子，以确保 $\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}^v=1;$ δ表示ω^v仅统计像素值为v的像素点。

(3)将当前帧检测到的运动目标与先前检测到的运动目标构成待匹配运动目标对，对每个待匹配的运动目标对建立颜色直方图相似度函数，中心位置接近程度函数以及像素点总数接近程度函数的步骤为：

①待匹配运动目标对颜色直方图相似度函数的表达式

待匹配动目标对颜色直方图相似度函数的表达式为

$\mathrm{\&psi;}[\mathrm{\&omega;},\mathrm{\&xi;}]=\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{{\mathrm{\&omega;}}^v{\mathrm{\&xi;}}^v}---\left(7\right)$

式中ω和ξ分别为目标a和b的颜色直方图；m为颜色直方图的维数；ω^v和ξ^v分别为ω和ξ第v个分量的值；

②待匹配的运动目标对中心位置接近程度函数的表达式

$\mathrm{\&phi;}[a,b]=\left\{\begin{array}{cc}\frac{D-d[a,b]}{D}& d[a,b]<D\\ 0& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中 $d[a,b]=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2}$ 为目标a和b中心之间的距离； $D=\mathrm{\&kappa;}\sqrt{S_a+S_b}$ 为d[a，b]的动态阈值；x_a和y_a分别为目标a中心位置的横纵坐标；x_b和y_b分别为目标b中心位置的横纵坐标；κ为增益系数；S_a和S_b分别为目标a和b包含的像素点总数；

③待匹配运动目标包含像素点总数的接近程度的表达式

(4)建立全局匹配的相似度函数，对实时运动目标进行跟踪的步骤为：

①实时运动目标全局匹配的相似度函数的表达式

式中，φ[a，b]为待匹配目标中心位置的接近程度；

为待匹配目标包含像素点总数的接近程度；ψ[ω，ξ]为待匹配目标颜色直方图的相似程度；α(≥0)、β(≥0)和γ(≥0)分别为φ[a，b]、

和ψ[ψ，ξ]的加权系数，且满足α+β+γ＝1；a和b为待匹配的两个目标；

②设当前帧中的所有运动目标构成的集合为当前目标集，记为E；此前一段时间内的所有目标构成的集合为先前目标集，记为F；对E中的任意目标x和F中的任意目标y，利用全局匹配相似度函数计算目标x和y的相似度，找出其中相似度最大的目标对(x，y)，当相似度大于目标相似度阈值T时，则认为匹配成功，即目标x和目标y为同一目标，将x从E中删除，将y从F中删除，然后算法重新计算目标集E和F中剩余目标的相似度，重复上述过程，直至目标集E或F为空集(没有目标)时结束；否则，当相似度不大于目标相似度阈值T时，目标x为新出现的目标。

附图说明

图1为一种基于全局匹配相似度函数的实时运动目标跟踪方的原理流程图；

图2为一种基于全局匹配相似度函数的实时运动目标跟踪方的实现流程图。

具体实施方式

如图1所示，本发明的具体实现步骤如下：

(1)初始化运动目标跟踪的参数有视频图像的大小352×288像素，目标包含像素点数目的最低值N(本实施例取100)，目标相似度的阈值T(本实施例取0.95)，待匹配目标中心位置的接近程度对应的系数α(本实施例取0.3)和待匹配目标包含像素点总数的接近程度对应的系数β(本实施例取0.3)，待匹配目标颜色直方图的相似程度对应的系数γ(本实施例取0.4)，中心位置接近程度函数阈值的增益系数κ(本实施例取10)；先前目标集时间长度S(本实施例取4秒)。

(2)对每个检测到的实时运动目标建立改进的颜色直方图模型的步骤为：

①求实时运动目标中心点坐标的表达式

$\left\{\begin{array}{c}{o}_x=\frac{1}{I}\&CenterDot;\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_x^i\\ o_y=\frac{1}{I}\&CenterDot;\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_y^i\end{array}\right.---\left(1\right)$

式中o_x和o_y分别为实时运动目标中心点的横坐标和纵坐标；I为实时运动目标包含的像素点总数；χ_x ⁱ和χ_y ⁱ分别为目标中第i个像素点的横纵坐标；

②计算实时运动目标中各像素点与目标中心点间距离的表达式

d＝MAX(||χⁱ-o||)        (2)

$r=\frac{\left|\right|{\mathrm{\&chi;}}^i-o\left|\right|}{d}---\left(3\right)$

式中χⁱ为目标中第i个像素点；o为目标中心点；||χⁱ-o||为像素点χⁱ与中心点o间的距离；d为像素点χⁱ与中心点o间距离的最大值；r为像素点χⁱ与中心点o间距离的规一化值，且0≤r≤1；

③计算实时运动目标中每个像素点的权重函数的表达式

$\mathrm{\&eta;}\left(r\right)=\left\{\begin{array}{cc}1-r^2& r<1\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

式中η(r)为权重函数，远离目标中心的像素点权重较小，靠近目标中心的像素点权重较大；

④计算狄拉克函数，并判断该像素点是否被统计

$\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]=\left\{\begin{array}{cc}1& h\left({\mathrm{\&chi;}}^i\right)-v=0\\ 0& \mathrm{otherwise}\end{array}\right.----\left(5\right)$

式中δ为狄拉克函数；h(χⁱ)为像素点χⁱ对应的像素值；v为被统计的像素值；当δ[h(χⁱ)-v]＝1时，该像素点被统计，否则该像素点不被统计；

⑤计算实时运动目标颜色直方图模型的表达式

${\mathrm{\&omega;}}^v=\frac{1}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)}\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]---\left(6\right)$

式中，ω^v表示像素值为v的像素点在整个目标中所占的比重；

为归一化因子，以确保 $\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}^v=1;$ δ表示ω^v仅统计像素值为v的像素点。

(3)将当前帧检测到的运动目标与先前检测到的运动目标构成待匹配运动目标对，对每个待匹配的运动目标对建立颜色直方图相似度函数，中心位置接近程度函数以及像素点总数接近程度函数的步骤为：

①待匹配运动目标对颜色直方图相似度函数的表达式

待匹配动目标对颜色直方图相似度函数的表达式为

$\mathrm{\&psi;}[\mathrm{\&omega;},\mathrm{\&xi;}]=\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{{\mathrm{\&omega;}}^v{\mathrm{\&xi;}}^v}---\left(7\right)$

式中ω和ξ分别为目标a和b的颜色直方图；m为颜色直方图的维数；ω^v和ξ^v分别为ω和ξ第v个分量的值；

②待匹配的运动目标对中心位置接近程度函数的表达式

$\mathrm{\&phi;}[a,b]=\left\{\begin{array}{cc}\frac{D-d[a,b]}{D}& d[a,b]<D\\ 0& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中 $d[a,b]=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2}$ 为目标a和b中心之间的距离； $D=\mathrm{\&kappa;}\sqrt{S_a+S_b}$ 为d[a，b]的动态阈值；x_a和y_a分别为目标a中心位置的横纵坐标；x_b和y_b分别为目标b中心位置的横纵坐标；κ为增益系数；S_a和S_b分别为目标a和b包含的像素点总数；

③待匹配运动目标包含像素点总数的接近程度的表达式

(4)建立全局匹配的相似度函数，对实时运动目标进行跟踪的步骤为：

①实时运动目标全局匹配的相似度函数的表达式

式中，φ[a，b]为待匹配目标中心位置的接近程度；

为待匹配目标包含像素点总数的接近程度；ψ[ω，ξ]为待匹配目标颜色直方图的相似程度；α(≥0)、β(≥0)和γ(≥0)分别为φ[a，b]、

和ψ[ω，ξ]的加权系数，且满足α+β+γ＝1；a和b为待匹配的两个目标；

②利用全局相似度函数进行目标匹配时的具体流程如图2所示，设当前帧中的所有运动目标构成的集合为当前目标集，记为E；此前一段时间内的所有目标构成的集合为先前目标集，记为F。当E中包含m个运动目标，F中包含n个运动目标时，计算E和F中任意两个目标的相似度，共可以得到m*n个相似度，找出其中相似度最大的目标对(x，y)，当相似度大于目标相似度阈值T时，则匹配成功，目标x和目标y为同一目标，然后将x从E中删除，将y从F中删除，执行m--，n--；当m＝n＝0时，当前目标集和先前目标集正好完全匹配，当前帧中既没有新目标出现，也没有先前目标消失。当m＞0，n＝0时，当前帧中出现了m个新目标，但没有先前目标消失；当m＝0，n＞0时，当前帧中有n个先前目标消失，但没有新目标出现；当m＞0，n＞0时，还有目标没有完成匹配，算法重新搜索运动目标集E和F中剩余目标的相似度最大的目标对。否则，认为匹配失败，程序结束，目标集E中剩余的m个目标均为新目标，而目标集F中也有n个先前目标消失。

Claims (4)

1.一种基于全局匹配相似度函数的实时运动目标跟踪方法，其特征在于包括以下步骤：

(1)初始化实时运动目标跟踪的参数；

(2)对每个检测到的实时运动目标建立改进的颜色直方图模型；

(3)将当前帧检测到的运动目标与先前检测到的运动目标构成待匹配运动目标对，对每个待匹配的运动目标对建立颜色直方图相似度函数，中心位置接近程度函数以及像素点总数接近程度函数；

(4)建立全局匹配的相似度函数，对实时运动目标进行跟踪；

所述步骤(3)将当前帧检测到的运动目标与先前检测到的运动目标构成待匹配运动目标对，对每个待匹配的运动目标对建立颜色直方图相似度函数，中心位置接近程度函数以及像素点总数接近程度函数的步骤为：

①待匹配运动目标对颜色直方图相似度函数的表达式

$\mathrm{\&psi;}[\mathrm{\&omega;},\mathrm{\&xi;}]=\underset{v=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{{\mathrm{\&omega;}}^v{\mathrm{\&xi;}}^v}---\left(1\right)$

式中ω和ξ分别为目标a和b的颜色直方图；m为颜色直方图的维数；ω^v和ξ^v分别为ω和ξ第v个分量的值；

②待匹配的运动目标对中心位置接近程度函数的表达式

$\mathrm{\&phi;}[a,b]=\left\{\begin{array}{cc}\frac{D-d[a,b]}{D}& d[a,b]<D\\ 0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中

为目标a和b中心之间的距离；

为d[a，b]的动态阈值；x_a和y_a分别为目标a中心位置的横纵坐标；x_b和y_b分别为目标b中心位置的横纵坐标；κ为增益系数；S_a和S_b分别为目标a和b包含的像素点总数；

③待匹配运动目标对像素点总数接近程度函数的表达式

2.根据权利要求1所述的基于全局匹配相似度函数的实时运动目标跟踪方法，其特征在于：所述步骤(1)中初始化实时运动目标跟踪的参数包括视频图像的大小，实时运动目标包含像素点数目的最小值N，实时运动目标相似度的阈值T，实时运动目标中心位置接近程度系数α，实时运动目标包含像素点总数的接近程度系数β，实时运动目标颜色直方图的相似程度系数γ；中心位置接近程度函数阈值的增益系数κ；先前目标集时间长度S。

3.根据权利要求1所述的基于全局匹配相似度函数的实时运动目标跟踪方法，其特征在于：所述步骤(2)中对每个检测到的实时运动目标建立改进的颜色直方图模型的步骤为：

①求实时运动目标中心点坐标的表达式

$\left\{\begin{array}{c}{o}_x=\frac{1}{I}\&CenterDot;\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_x^i\\ o_y=\frac{1}{I}\&CenterDot;\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_y^i\end{array}\right.---\left(4\right)$

式中o_x和o_y分别为实时运动目标中心点的横坐标和纵坐标；I为实时运动目标包含的像素点总数；

和

分别为目标中第i个像素点的横纵坐标；

②计算实时运动目标中各像素点与目标中心点间距离的表达式

d＝MAX(||χⁱ-o||)    (5)

$r=\frac{\left|\right|{\mathrm{\&chi;}}^i-o\left|\right|}{d}---\left(6\right)$

式中χⁱ为目标中第i个像素点；o为目标中心点；||χⁱ-o||为像素点χⁱ与中心点o间的距离；d为像素点χⁱ与中心点o间距离的最大值；r为像素点χⁱ与中心点o间距离的归一化值，且0≤r≤1；

③计算实时运动目标中每个像素点的权重函数的表达式

$\mathrm{\&eta;}\left(r\right)=\left\{\begin{array}{cc}1-r^2& r<1\\ 0& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

式中η(r)为权重函数，远离目标中心的像素点权重较小，靠近目标中心的像素点权重较大；

④计算狄拉克函数，并判断该像素点是否被统计

$\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]=\left\{\begin{array}{cc}1& h\left({\mathrm{\&chi;}}^i\right)-v=0\\ 0& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中δ为狄拉克函数；h(χⁱ)为像素点χⁱ对应的像素值；v为被统计的像素值；当δ[h(χⁱ)-v]＝1时，该像素点被统计，否则该像素点不被统计；

⑤计算实时运动目标颜色直方图模型的表达式

${\mathrm{\&omega;}}^v=\frac{1}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)}\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\mathrm{\&eta;}\left(r\right)\mathrm{\&delta;}[h\left({\mathrm{\&chi;}}^i\right)-v]---\left(9\right)$

式中，ω^v表示像素值为v的像素点在整个目标中所占的比重；

为归一化因子，以确保

δ表示ω^v仅统计像素值为v的像素点。

4.根据权利要求1所述的基于全局匹配相似度函数的实时运动目标跟踪方法，其特征在于：所述步骤(4)建立全局匹配的相似度函数，对实时运动目标进行跟踪的步骤为：

①实时运动目标全局匹配的相似度函数的表达式

式中，φ[a，b]为待匹配目标对中心位置的接近程度；

为待匹配目标对像素点总数的接近程度；ψ[ω，ξ]为待匹配目标对颜色直方图的相似程度；α、β和γ分别为φ[a，b]、

和ψ[ω，ξ]的加权系数，α≥0、β≥0和γ≥0，且满足α+β+γ＝1；a和b为待匹配的两个目标；

②设当前帧中的所有运动目标构成的集合为当前目标集，记为E；此前一段时间内的所有目标构成的集合为先前目标集，记为F；对E中的任意目标x和F中的任意目标y，利用全局匹配相似度函数计算目标x和y的相似度，找出其中相似度最大的目标对(x，y)，当相似度大于目标相似度阈值T时，则认为匹配成功，即目标x和目标y为同一目标，将x从E中删除，将y从F中删除，然后重新计算目标集E和F中剩余目标的相似度，重复上述过程，直至目标集E或F为空集时结束；否则，当相似度不大于目标相似度阈值T时，目标x为新出现的目标。

Images