CN103065331B - 基于空时域边缘和颜色特征关联的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于空时域边缘和颜色特征关联的目标跟踪方法，包括如下步骤：1)选择被跟踪目标区域；2)提取目标边缘轮廓，并计算边缘方向角；3)沿水平和垂直两正交方向统计边缘-颜色共生特征对，建立目标边缘-颜色关联质心模型；4)选择高置信度边缘-颜色对质心进行概率加权，获得当前帧目标质心转移向量；5)统计相邻帧目标边缘间距离直方图，对相邻帧间匹配成功的距离变化率进行概率加权，获得目标尺度缩放参数。本发明实现了拥挤场景、遮挡和目标尺度变化情况下的目标跟踪，提高了跟踪鲁棒性、准确性和实时性。在视频图像处理领域具有广泛的应用前景，应用于智能视频监控、企业生产自动化、智能机器人等领域。

Description

基于空时域边缘和颜色特征关联的目标跟踪方法

技术领域

本发明涉及视频图像处理领域，特别是涉及视频目标跟踪中一种基于空时域边缘和颜色特征关联的目标跟踪方法。

背景技术

基于视频的运动目标跟踪是计算机智能视频监控领域研究的关键技术之一。目前国内外学者主要关注的问题集中在场景拥挤、遮挡、相似特征场景干扰及目标外观变化等情况下的跟踪鲁棒性、准确性和快速性提高上。

基于目标内容信息的跟踪方法自报道以来，国内外均不断有改进该路线的专利报道，归结大致有三类：1、特征模型描述方法的改进；2、最优目标位置搜索方法的改进；3、目标尺度更新方法的改进。

通常目标特征模型由其仿射运动特征、边缘和颜色统计特征等描述。在现有目标模型中进一步挖掘目标独特的内容信息，采用目标空间域和时间域结构信息及空间结构间关联性描述目标特征模型，其目标描述力高于经典统计特征描述方法。从模型构建上看，目标的空间结构关联性具有区别拥挤背景、相似特征干扰目标的能力，从而有利于在复杂场景中检测和识别被跟踪目标。Zhao Q等在Computer Vision and Image Understanding(2009,113(2):273-290)发表的文章“Amotion observable representation using color correlogram and its applications totracking”中，沿五个方向统计共生颜色对建立相关图，通对经典颜色直方图加入空间信息增强目标描述力，实现了部分遮挡跟踪及运动方向预测。但是该算法较复杂，不适宜推广至大目标和多目标跟踪。

最优目标位置搜索(或目标检测)是目标跟踪的重要过程。文献报道了多种不同目标搜索和匹配方法。不同方法在各自跟踪过程中针对所采用的目标特征模型、被跟踪目标被遮挡、外观模糊、形变等诸多影响因素的不同，均可能据此优化选择适合自身跟踪鲁棒、稳定和实时性提高的搜索和匹配算法。如多目标数据关联算法、Mean shift迭代算法、质心转移算法等。Comaniciu D等在IEEE Transon Pattern Analysis and Machine Intelligence(2003,25(5):564-575)发表的文章“Kernel-based object tracking”提出的基于核直方图的Mean shift算法实时性高，并得到推广，但该算法容易陷入局部极值，从而引起目标定位和尺度更新滞后。

从目标描述机理上看，目标在连续帧间的尺度变化与其自身结构特征变化规律具有必然联系。而国内外有报道邻帧间目标颜色质心距离的变化可较好体现尺度的变化规律。Lee SH等在Optical Engineering Letters(2011,50(9):1-3)发表的文章“Scale-adaptive object tracking using color centroids”首次提出混乱场景中基于颜色质心对描述的目标检测和尺度更新方法，但没有给出严重光照变化下的跟踪实验结果。

发明内容

发明目的：本发明提供一种基于空时域边缘和颜色特征关联的目标跟踪方法，采用颜色空间不均匀量化降低图像分辨率，在提高跟踪系统实时性同时，提高了目标-背景颜色对比度；基于边缘方向角-颜色共生特征建立目标关联质心模型，以优选的共生特征bin质心加权指导目标质心转移过程；并根据相邻帧目标边缘间距离变化规律更新目标尺度，最终实现复杂场景中目标持续、稳定和快速跟踪。

技术方案：基于空时域边缘和颜色特征关联的目标跟踪方法，包括如下步骤：

1.选择待跟踪目标，建立目标区域的紧包围矩形框模型，对目标矩形区域颜色空间进行不均匀量化。

2.对帧间差分算法得到的目标运动区域进行8邻域填充；在经形态学膨胀后得到的新目标运动区域中，利用Canny算子获取目标边缘轮廓；对检测到的有效边缘基于Sobel算子计算边缘方向角，并对边缘方向空间进行均匀量化。

3.沿水平和垂直两正交方向，获取相邻边缘像素坐标和边缘方向角；计算两点中点坐标和中点位置处颜色，建立边缘-颜色间共生关系；统计目标边缘-颜色共生特征质心，建立关联模型。

4.以上一帧中目标最优位置作为当前帧中目标搜索初始点，优选置信度高的边缘-颜色共生特征，并利用其bin质心的概率加权均值计算目标质心转移向量，获得当前帧中目标最优位置。

5.在当前帧目标最优位置处，沿垂直和平行两正交方向统计相邻边缘之间的距离直方图，按从大到小顺序排列直方图峰值，对邻帧间目标边缘距离直方图的前m个峰值进行距离匹配，对匹配成功的距离变化率进行概率加权，获得当前帧目标尺度缩放参数。

本发明采用上述技术方案，具有以下有益效果：

首先，利用颜色分量直方图若干峰值颜色分布确定不均匀量化阈值，有利于在实现颜色空间降维的同时，突出目标区域主颜色特征，增强目标-背景间颜色差异，达到量化-分割的目的；在目标运动区域中选用Canny算子和帧间差分、形态学膨胀检测边缘，有助于在低分辨率场景中提取强、弱边缘，去除背景边缘影响，提高目标特征鉴别力。

其次，不采用逐像素特征统计，仅仅利用目标边缘和与之邻近的颜色特征建立关联特征稀疏描述，既能有效表征目标又有利于提高算法实时性；以当前帧目标边缘-颜色共生特征变化率确定最可能信赖的目标主特征bin值，并利用质心加权进行一步质心转移，提高了跟踪鲁棒性和准确性。

第三，基于邻帧间目标相邻边缘间距直方图峰值匹配，获得目标尺度缩放参数，保证了在目标尺度变大和变小时的正确跟踪。

附图说明

图1为本发明实施例的流程图；

图2(a)为本发明实施例的边缘-颜色共生特征示例中标记的目标区域，用外接矩形框包围；

图2(b)为本发明实施例的边缘-颜色共生特征示例中颜色不均匀量化图和边缘轮廓图融合的结果图；1和2表示水平方向边缘对，3和4表示垂直方向边缘对；圆点表示两个边缘对的中点，该位置颜色与边缘点处方向角构成边缘-颜色共生特征；

图3(a)、图3(b)、图3(c)及图3(d)分别为本发明实施例的分辨率为384×288视频序列的13帧、79帧、94帧和190帧的目标跟踪结果图；

图4为本发明图3视频序列的第1帧和第4帧的沿水平方向的边缘距离直方比较图，其中两距离直方图第1峰值匹配成功，第1帧和第2帧分别对应的距离为4和3；第1帧的第2峰值和第4帧的第3峰值匹配成功，分别对应的距离为9和8。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于空时域边缘和颜色特征关联的目标跟踪方法，具体实施步骤为：

第一，选择被跟踪目标矩形框区域，建立目标区域的紧包围矩形框模型，对目标矩形区域颜色空间进行不均匀量化。不均匀量化具体步骤如下：

(1)确定各颜色分量直方图峰值；

(2)合并峰值邻域的分量颜色bin(箱格)，并用一个给定的灰度级表示；

(3)对所有颜色分量直方图的所有主要峰值重复上述过程；

(4)合并剩余的不属于任何主峰值邻域的bin值，并用一个给定的颜色灰度级表示。

具体为：根据r、g和b颜色分量直方图确定量化间隔[k_s,k_s+1]|_s＝1,...,n，将颜色空间不均匀量化降维。其中k_s＝g_c,s-δ_s,1，k_s+1＝g_c,s+δ_s,2，g_c,s表示第s个颜色分量峰值对应的bin值，δ_s,1和δ_s,2为峰值邻域极限。s的个数由直方图主要波峰数目决定(如：取降维颜色空间n_r×n_g×n_b＝4×4×4)。

第二，利用Canny算子、帧间差分法、8邻域自适应填充和形态学膨胀算子获取目标边缘：利用Sobel算子计算边缘方向角并量化边缘空间到取M₁＝8。E'_FD(x)为对帧间差分结果进行8邻域填充得到的二值区域，经形态学膨胀处理后与Canny算子检测的边缘求交集，以消除背景边缘对目标边缘的影响。x为像素点坐标。

第三，沿水平和垂直两正交方向统计边缘-颜色共生特征对，建立目标边缘-颜色关联质心模型描述。设为沿方向φ的相邻两个边缘点，为两点的中心坐标，则存在两个边缘-颜色共生对，分别为和如图2(a)、图2(b)所示。目标边缘-颜色关联质心模型描述公式为(1)～(4)：

$N_{u,v}=\underset{i,\mathrm{\α},\mathrm{\φ}}{\mathrm{\Σ}}\mathrm{\δ}[\mathrm{\θ}\left(x_{i,\mathrm{\φ}}^{\mathrm{\α}}\right)-u]\mathrm{\δ}[c\left({\stackrel{\‾}{x}}_{i,\mathrm{\φ}}\right)-v_{r,g,b}]---\left(1\right)$

${\hat{x}}_{u,v}=\underset{i,\mathrm{\α},\mathrm{\φ}}{\mathrm{\Σ}}{x}^{\mathrm{\α}}\mathrm{\δ}[\mathrm{\θ}\left(x_{i,\mathrm{\φ}}^{\mathrm{\α}}\right)-u]\mathrm{\δ}[c\left({\stackrel{\_}{x}}_{i,\mathrm{\φ}}\right)-v_{r,g,b}]---\left(2\right)$

$p_{u,v}=\frac{N_{u,v}}{\underset{u,v}{\mathrm{\Σ}}{N}_{u,v}}---\left(3\right)$

$M_{u,v}=\frac{{\hat{x}}_{u,v}}{N_{u,v}}---\left(4\right)$

其中x∈E，u∈{1,2,...,M₁}，v_r,g,b∈{1,2,...,M₂}，M₂＝n_r×n_g×n_b，α＝{1,2},i∈{1,2,...,n_h}。n_h为目标区域中有效像素点的个数。M_u,v和p_u,v分别为共生特征对(u,v)的质心和出现概率。

第四，以上一帧目标最优位置作为当前帧中搜索初始点，根据当前帧中边缘-颜色共生概率变化率判断共生特征的可信赖性。判断公式为：

$L_{u,v}^t=\left\{\begin{array}{cc}1& \mathrm{if}0\≤e_{u,v}^t\≤\mathrm{\γ}\\ 0& \mathrm{else}\end{array}\right.---\left(5\right)$

其中表示特征的可信赖。

以可信赖边缘-颜色共生特征导出目标质心转移向量，公式为：

${\hat{x}}_{\mathrm{shift}}={\hat{x}}^t-{\hat{x}}^{t-1}=\underset{u,v}{\mathrm{\Σ}}(M_{u,v}^t-M_{u,v}^{t-1})p_{u,v}{L}_{u,v}^t---\left(6\right)$

第五，统计相邻帧目标边缘间距离直方图，优选前m个峰值(先对峰值按从大到小排序)进行距离匹配，对匹配成功的距离进行概率加权，计算邻帧目标距离变化率，获得目标尺度缩放参数以实现尺度更新。

设f_l1和f_l2为距离直方图的第l1和l2个峰值概率，l1,l2∈[1,2,...,m]；和为成功匹配的距离对和概率；和分别表示沿方向φ统计的第t帧和t-1帧的第l1和l2个峰值对应的边缘距离。根据公式(7)和(8)分别进行距离匹配和尺度缩放参数计算，以自适应更新目标尺度

$\{{\hat{d}}_{\mathrm{\&phi;},l1}^t,{\hat{d}}_{\mathrm{\&phi;},l2}^{t-1},{\hat{f}}_{\mathrm{\&phi;},l1}^t\}=\left\{\right\{d_{\mathrm{\&phi;},l1}^t,d_{\mathrm{\&phi;},l2}^{t-1},f_{\mathrm{\&phi;},l1}^t\left\}\right||d_{\mathrm{\&phi;},l1}^t-d_{\mathrm{\&phi;},l2}^{t-1}|<\mathrm{\&beta;}\}---\left(7\right)$

$s_{\mathrm{\&phi;}}^t=\underset{l1}{\mathrm{\&Sigma;}}\left(\frac{{\hat{d}}_{\mathrm{\&phi;},l1}^t}{{\hat{d}}_{\mathrm{\&phi;},l2}^{t-1}}\frac{{\hat{f}}_{\mathrm{\&phi;},l1}^t}{\underset{l1}{\mathrm{\&Sigma;}}{\hat{f}}_{\mathrm{\&phi;},l1}^t}\right)---\left(8\right)$

图3(a)、图3(b)、图3(c)、图3(d)和图4(a)、图4(b)体现和说明了边缘距离直方图在邻帧间的变化规律，图3(a)、图3(b)、图3(c)、图3(d)为分辨率为384×288视频序列的13帧、79帧、94帧和190帧的目标跟踪结果图，图4(a)、图4(b)为图3视频序列的第1帧和第4帧的沿水平方向的边缘距离直方比较图。从图4(a)和图4(b)可知，对视频序列的第1帧和第4帧的边缘距离直方图进行比较，目标在第4帧中尺度相比第1帧缩小了，符合实际视频中目标尺度的变化规律。

Claims (5)

1.一种基于空时域边缘和颜色特征关联的目标跟踪方法，其特征在于，

1)选择被跟踪目标区域，对目标矩形区域颜色空间进行不均匀量化；

2)提取目标边缘轮廓，并计算边缘方向角；

3)沿水平和垂直两正交方向统计边缘-颜色共生特征对，建立目标边缘-颜色关联质心模型；

M_u,v和p_u,v分别为共生特征对(u,v)的质心和出现概率，

$N_{u,v}=\underset{i,\mathrm{\&alpha;},\mathrm{\&phi;}}{\mathrm{\&Sigma;}}\mathrm{\&delta;}[\mathrm{\&theta;}\left(x_{i,\mathrm{\&phi;}}^{\mathrm{\&alpha;}}\right)-u]\mathrm{\&delta;}[c\left({\stackrel{\&OverBar;}{x}}_{i,\mathrm{\&phi;}}\right)-v_{r,g,b}]---\left(1\right)$

${\hat{x}}_{u,v}=\underset{i,\mathrm{\&alpha;},\mathrm{\&phi;}}{\mathrm{\&Sigma;}}{x}^{\mathrm{\&alpha;}}\mathrm{\&delta;}[\mathrm{\&theta;}\left(x_{i,\mathrm{\&phi;}}^{\mathrm{\&alpha;}}\right)-u]\mathrm{\&delta;}[c\left({\stackrel{\&OverBar;}{x}}_{i,\mathrm{\&phi;}}\right)-v_{r,g,b}]---\left(2\right)$

$p_{u,v}=\frac{N_{u,v}}{\underset{u,v}{\mathrm{\&Sigma;}}{N}_{u,v}}---\left(3\right)$

$M_{u,v}=\frac{{\hat{x}}_{u,v}}{N_{u,v}}---\left(4\right)$

其中：设目标边缘为E(x)，为沿方向φ的相邻两个边缘点； ${\stackrel{\&OverBar;}{x}}_{\mathrm{\&phi;}}=\frac{1}{2}(x_{\mathrm{\&phi;}}^1+x_{\mathrm{\&phi;}}^2)$ 为两点的中心坐标，和为对应的两个边缘-颜色共生对；x∈E，u∈{1,2,…,M₁}，v_r,g,b∈{1,2,…,M₂}，M₂＝n_r×n_g×n_b，α＝{1,2}；i∈{1,2,…,n_h}，n_h为目标区域中有效像素点的个数；

4)以前一帧目标位置作为搜索初始点，根据当前帧中边缘-颜色共生概率变化率，判断共生特征的可信赖性，以可信赖边缘-颜色共生特征导出目标质心转移向量；

5)统计相邻帧目标边缘间距离直方图，按从大到小取边缘间距离直方图前m个峰值进行距离匹配，取m≤5，对相邻帧间匹配成功的距离变化率进行概率加权，计算邻帧目标距离变化率，获得当前帧目标尺度缩放参数。

2.根据权利要求1所述的基于空时域边缘和颜色特征关联的目标跟踪方法，其特征在于，所述1)中不均匀量化步骤：

(a)确定各颜色分量直方图峰值；

(b)合并峰值邻域的分量颜色bin，并用一个给定的灰度级表示；

(c)对所有颜色分量直方图的所有主要峰值重复上述过程；

(d)合并剩余的不属于任何主峰值邻域的bin值，并用一个给定的颜色灰度级表示。

3.根据权利要求1所述的基于空时域边缘和颜色特征关联的目标跟踪方法，其特征在于，所述2)中使用Canny算子和帧间差分算法检测目标区域，获取目标边缘；利用Sobel算子计算边缘方向角。

4.根据权利要求1所述的基于空时域边缘和颜色特征关联的目标跟踪方法，其特征在于，所述4)实现方法：以前一帧目标最优位置作为当前帧中搜索初始点，根据当前帧中边缘-颜色共生概率变化率判断共生特征的可信赖性，判断公式为：

$L_{u,v}^t=\left\{\begin{array}{cc}1& \mathrm{if}0\&le;e_{u,v}^t\&le;\mathrm{\&gamma;}\\ 0& \mathrm{else}\end{array}\right.---\left(5\right),$ 其中 $L_{u,v}^t=1$ 表示特征的可信赖；

以可信赖边缘-颜色共生特征导出目标质心转移向量，公式为：

${\hat{x}}_{\mathrm{shift}}={\hat{x}}^t-{\hat{x}}^{t-1}=\underset{u,v}{\mathrm{\&Sigma;}}(M_{u,v}^t-M_{u,v}^{t-1})p_{u,v}{L}_{u,v}^t---\left(6\right).$

5.根据权利要求1所述的基于空时域边缘和颜色特征关联的目标跟踪方法，其特征在于，所述5)中，根据公式(7)和(8)分别进行距离匹配和尺度缩放参数计算，以 $h_{\mathrm{\&phi;}}^t=s_{\mathrm{\&phi;}}^t{h}_{\mathrm{\&phi;}}^{t-1}$ 自适应更新目标尺度

$\{{\hat{d}}_{\mathrm{\&phi;},l1}^t,{\hat{d}}_{\mathrm{\&phi;},l2}^{t-1},{\hat{f}}_{\mathrm{\&phi;},l1}^t\}=\left\{\right\{d_{\mathrm{\&phi;},l1}^t,d_{\mathrm{\&phi;},l2}^{t-1},f_{\mathrm{\&phi;},l1}^t\left\}\right||d_{\mathrm{\&phi;},l1}^t-d_{\mathrm{\&phi;},l2}^{t-1}|<\mathrm{\&beta;}\}---\left(7\right)$

$s_{\mathrm{\&phi;}}^t=\underset{l1}{\mathrm{\&Sigma;}}\left(\frac{{\hat{d}}_{\mathrm{\&phi;},l1}^t}{{\hat{d}}_{\mathrm{\&phi;},l2}^{t-1}}\frac{{\hat{f}}_{\mathrm{\&phi;},l1}^t}{\underset{l1}{\mathrm{\&Sigma;}}{\hat{f}}_{\mathrm{\&phi;},l1}^t}\right)---\left(8\right)$

其中：设f_l1和f_l2为距离直方图的第l1和l2个峰值概率，优选前m个峰值，先对峰值按从大到小排序，其中m≤5，l1,l2∈[1,2,…,m]；和为成功匹配的距离对和概率；和分别表示沿方向φ统计的第t帧和t-1帧的第l1和l2个峰值对应的边缘距离。