CN104616317B - 一种视频车辆跟踪有效性验证方法 - Google Patents

Abstract

本发明公开了一种视频车辆跟踪有效性验证方法，其在计算区域灰度协方差矩阵的过程中，只利用了融合像素点的坐标位置信息和灰度值信息的特征向量，且特征向量为3维向量，计算复杂度低；在根据区域图像初始化对应的相关滤波器的过程中，利用了现有的基于自适应相关滤波器的视觉跟踪方法，而该方法的主要计算量为二维傅里叶变换，计算复杂度低；其采用区域灰度协方差矩阵和线性相关滤波器对目标进行描述，并对区域灰度协方差矩阵和线性相关滤波器进行在线更新，使它们对目标表观渐变具有较好的适应能力，从而减少了错误判断的发生，验证结果稳定，且可应用于对实时性要求较高的系统。

Description

一种视频车辆跟踪有效性验证方法

技术领域

本发明涉及一种视频目标跟踪技术，尤其是涉及一种视频车辆跟踪有效性验证方法。

背景技术

视频目标跟踪是计算机视觉领域的一个热门研究方向，已受到国内外研究者和应用领域的重视，其提供了目标的运动状态、速度和轨迹等信息，为上层分析和应用提供了必要数据，因此，其已广泛应用于安防监控、智能交通等系统中。车辆作为一种常见的目标，是上述智能交通系统中的重要感兴趣目标之一。对车辆进行跟踪并记录其运行轨迹，是上述智能交通系统中对目标行为进行分析和判断的必要手段。但是，几乎没有现有的跟踪算法(以下也被称为跟踪器)可以保证，其对某个特定目标的完整运动过程能够准确地跟踪。在实际应用的场景中，车辆之间发生遮挡、车辆表观受外界影响或自身发生渐变等情况时有发生，这些因素容易造成现有的跟踪器出现异常情况，比如目标受到遮挡导致跟踪器无法锁定原目标、跟踪算法由于自身性能原因丢失目标等情况。若出现上述异常情况，则跟踪算法将失效，不能够准确地跟踪，而且将造成智能交通系统的不稳定和分析准确率的下降，例如，在视频电子警察系统中丢失目标的跟踪器很可能在场景中徘徊或者被其他目标带走，造成对违章事件的误判，严重影响了视频电子警察系统的违章抓拍准确率。因此，在实际应用中对跟踪算法的跟踪过程的有效性进行验证非常重要，是保证应用系统准确率的重要技术手段。

近年来国内外学者提出了大量新的跟踪算法，他们将重点放在目标表观模型的自适应更新上，而对跟踪算法的跟踪过程的有效性验证较少涉及。现有的跟踪过程有效性验证方法主要包括两类：第一类为跟踪算法对自身进行验证；第二类为采用独立于原跟踪算法的方法进行验证。第一类方法如经典的均值漂移跟踪方法、基于颜色直方图的粒子滤波跟踪方法，它们可通过计算参考直方图模型与当前候选图像区域直方图的距离来度量两者的差异度，若此差异超过一定阈值则认为跟踪已经失效，然而该方法有两个缺陷：一方面，目标颜色直方图一般是稀疏的，造成直方图距离度量对光照变化非常敏感；另一方面，对直方图的更新一般采用线性加权的方式，但是，实际应用得出该更新方法无法适应目标表观的真实变化，这两个固有缺陷使该方法无法较好衡量候选图像区域与参考目标之间的真实相似度，造成有效性的错误判断，无法适用于实际应用。第二类方法典型的为采用前向-后向跟踪的方法来检测跟踪是否失败，其通过度量序列图像中前向跟踪和后向跟踪产生的目标位置的一致性，来判断跟踪器是否丢失目标，由于该方法需要对视频图像序列进行缓存，执行正向和反向两次跟踪算法，因此对于实时系统，这将大幅增加计算负荷和内存负荷，无法适用于电子警察等实际应用。

发明内容

本发明所要解决的技术问题是提供一种视频车辆跟踪有效性验证方法，其计算复杂度低、有效性验证准确性高，且实时性好。

本发明解决上述技术问题所采用的技术方案为：一种视频车辆跟踪有效性验证方法，其特征在于包括以下步骤：

①对被跟踪车辆进行视频车辆跟踪，将实时获取的跟踪视频中的包含有被跟踪车辆的第一帧图像记为I₁；

②令Ω_cov表示表征被跟踪车辆表观的集合，Ω_cov的初始值为空集；并令A_Traj表示被跟踪车辆轨迹的集合，A_Traj的初始值为空集；

③在I₁上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在I₁中的坐标位置为(x₁,y₁)，且假设该目标矩形区域的分辨率为w₁×h₁；然后从I₁中提取出该目标矩形区域；接着对该目标矩形区域进行缩放处理，使缩放后得到的I₁对应的目标图像的分辨率为再计算I₁对应的目标图像的区域灰度协方差矩阵，记为C₁，最后令Ω_cov＝{(C₁,μ₁)}，并计算I₁对应的目标图像的中心在I₁中的坐标位置，记为p₁，p₁＝(x₁+0.5w₁,y₁+0.5h₁)，之后将p₁作为轨迹点加入A_Traj中，即令A_Traj＝{p₁}；

其中，1≤x₁≤M,1≤y₁≤N，M表示跟踪视频中的每幅图像的宽度，N表示跟踪视频中的每幅图像的高度，w₁和h₁对应表示I₁上的目标矩形区域的宽和高，w₁≤M,h₁≤N，为的转置向量，表示I₁对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示I₁对应的目标图像中的第k个像素点在I₁中的横坐标和纵坐标，k＝1时 表示I₁对应的目标图像中的第k个像素点的灰度值，μ₁表示I₁对应的目标图像中的所有像素点的特征向量的均值向量，

④根据步骤③中标定的目标矩形区域的左上角像素点在I₁中的坐标位置(x₁,y₁)和分辨率w₁×h₁，计算在I₁中待标定的分辨率为2.5w₁×2.5h₁的图像块的左上角像素点的坐标位置，记为(x^*,y^*)，x^*＝int(x₁-0.75w₁+0.5)，y^*＝int(y₁-0.75h₁+0.5)；然后判断(x^*,y^*)是否在I₁外，如果是，则扩展I₁，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块，否则，直接在I₁中标定一个左上角像素点在I₁中的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块；接着提取出该图像块；之后对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X₁，X₁的分辨率为最后采用基于自适应相关滤波器的视觉跟踪方法，根据X₁初始化对应的相关滤波器，记为H₁；其中，int()为取整函数；

⑤获取跟踪视频中的下一帧图像，假设该帧图像为跟踪视频中的第t帧图像，则将第t帧图像定义为当前图像，并记为I_t，其中，2≤t≤T，t的初始值为2，T表示实时获取的跟踪视频中包含的图像的总帧数；

⑥在当前图像I_t上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在当前图像I_t中的坐标位置为(x_t,y_t)，且假设该目标矩形区域的分辨率为w_t×h_t；然后从当前图像I_t中提取出该目标矩形区域；接着对该目标矩形区域进行缩放处理，使缩放后得到的当前图像I_t对应的目标图像的分辨率为其中，1≤x_t≤M,1≤y_t≤N，w_t和h_t对应表示当前图像I_t对应的目标矩形区域的宽和高，w_t≤M,h_t≤N；

⑦根据步骤⑥中标定的目标矩形区域的左上角像素点在I_t中的坐标位置(x_t,y_t)和分辨率w_t×h_t，计算在I_t中待标定的分辨率为2.5w_t×2.5h_t的图像块的左上角像素点的坐标位置，记为(x^*',y^*')，x^*'＝int(x_t-0.75w_t+0.5)，y^*'＝int(y_t-0.75h_t+0.5)；然后判断(x^*',y^*')是否在I_t外，如果是，则扩展I_t，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块，否则，直接在I_t中标定一个左上角像素点在I_t中的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块；接着提取出该图像块；之后对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X_t，X_t的分辨率为再根据相关滤波器理论，将X_t与跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1进行相关计算，得到当前图像I_t对应的空域响应，记为R_t，计算R_t的峰-旁瓣比，记为s_t；最后根据s_t对车辆跟踪有效性进行验证，具体过程为：如果s_t小于设定的第一阈值，则表明出现跟踪失败，终止车辆跟踪；如果s_t大于或等于设定的第一阈值，则当在时域上先于当前图像I_t的图像至少有n帧，且s_t<s_t-1<…<s_t-n成立时，表明出现跟踪失败，终止车辆跟踪；当在时域上先于当前图像I_t的图像少于n帧时，执行步骤⑧；其中，n为一个常数，n≥4，s_t-1表示跟踪视频中的第t-1帧图像对应的空域响应R_t-1的峰-旁瓣比，s_t-n表示跟踪视频中的第t-n帧图像对应的空域响应R_t-n的峰-旁瓣比；

⑧计算当前图像I_t对应的目标图像的区域灰度协方差矩阵，记为C_t，然后判断2≤t≤n是否成立，如果成立，则将(C_t,μ_t)加入Ω_cov中，之后执行步骤⑨，如果不成立，则根据(C_t,μ_t)与Ω_cov中的n个元素对车辆跟踪有效性进行验证，具体过程为：a、计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离；b、找出最小距离对应的元素，假设该元素为(C_m,μ_m)；c、判断最小距离是否大于设定的第二阈值，如果是，则表明出现跟踪失败，终止车辆跟踪；否则，根据(C_t,μ_t)更新(C_m,μ_m)，然后执行步骤⑨；

其中，为的转置向量，表示当前图像I_t对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示当前图像I_t对应的目标图像中的第k个像素点在当前图像I_t中的横坐标和纵坐标，k＝1时 表示当前图像I_t对应的目标图像中的第k个像素点的灰度值，μ_t表示当前图像I_t对应的目标图像中的所有像素点的特征向量的均值向量，m∈[1,n]，n为一个常数，n≥4；

⑨计算当前图像I_t对应的目标图像的中心在当前图像I_t中的坐标位置，记为p_t，p_t＝(x_t+0.5w_t,y_t+0.5h_t)；然后将p_t作为轨迹点加入A_Traj中；再对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常，若车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，若车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪；

⑩判断当前图像I_t是否为跟踪视频中的最后一帧图像，如果是，则结束车辆跟踪有效性验证过程；否则，采用基于自适应相关滤波器的视觉跟踪方法，根据X_t初始化对应的相关滤波器，记为H_t，然后根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t，在H_t更新结束后返回步骤⑤继续执行；其中，int()为取整函数。

该方法中对目标矩形区域和图像块进行缩放处理采用双线性插值方法。

该方法中为64×64。

所述的步骤⑦中设定的第一阈值的取值范围为[5.0,7.0]。

所述的步骤⑧中设定的第二阈值的取值为1.2。

所述的步骤⑧中计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离的过程为：⑧-1、将Ω_cov中的第i个元素中的区域灰度协方差矩阵定义为当前区域灰度协方差矩阵，其中，i的初始值为1，1≤i≤n；⑧-2、将当前区域灰度协方差矩阵记为C_i，然后计算C_t与C_i之间的距离，记为ρ(C_t,C_i)，其中，ln()表示以自然基数e为底的对数函数，λ_j表示矩阵C_t ^-1C_i中的第j个特征值；⑧-3、令i＝i+1，将Ω_cov中的下一个元素中的区域灰度协方差矩阵作为当前区域灰度协方差矩阵，然后返回步骤⑧-2继续执行，直至Ω_cov中的n个元素中的所有区域灰度协方差矩阵处理完毕为止，其中，i＝i+1中的“＝”为赋值符号。

所述的步骤⑧中根据(C_t,μ_t)更新(C_m,μ_m)的具体过程为：令C_m'＝η×C_t+(1-η)×C_m+η×(1-η)×(μ_t-μ_m)(μ_t-μ_m)^T，再令C_m＝C_m'；令μ_m'＝η×μ_t+(1-η)×μ_m，再令μ_m＝μ_m'；其中，η表示更新率，(μ_t-μ_m)^T为(μ_t-μ_m)的转置向量。

所述的步骤⑨中对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常的具体过程为：

⑨-1、判断A_Traj中的轨迹点的总个数是否小于设定的轨迹分析阈值N₁，如果是，则直接执行步骤⑩；否则，执行步骤⑨-2；

⑨-2、从A_Traj中提取出后N₁个轨迹点，并将这N₁个轨迹点组成待分析的轨迹序列；

⑨-3、将待分析的轨迹序列中当前待处理的第a个轨迹点定义为当前轨迹点，其中，a的初始值为1，1≤a≤N₁；

⑨-4、计算当前轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计当前轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则当满足条件的第一个轨迹点为待分析的轨迹序列中的最后一个轨迹点时，执行步骤⑨-7，当满足条件的第一个轨迹点不为待分析的轨迹序列中的最后一个轨迹点时，假设满足条件的第一个轨迹点为待分析的轨迹序列中的第b个轨迹点，之后执行步骤⑨-5；其中，b∈(a,N₁)；

⑨-5、计算第b个轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计第b个轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则假设满足条件的第一个轨迹点为待分析的轨迹序列中的第c个轨迹点，再执行步骤⑨-6；其中，c∈(b,N₁]；

⑨-6、将第a个轨迹点、第b个轨迹点和第c个轨迹点的序号按序组成一个三元组，记为(a,b,c)；然后将(a,b,c)作为一个元素加入集合Ω_Tr中；再令a＝a+1，将待分析的轨迹序列中下一个待处理的轨迹点作为当前轨迹点，之后返回步骤⑨-4继续执行；其中，Ω_Tr的初始值为空集，a＝a+1中的“＝”为赋值符号；

⑨-7、判断Ω_Tr中的元素的个数是否小于3，如果是，则认为车辆轨迹正常，表明跟踪有效，然后执行步骤⑩；否则，执行步骤⑨-8；

⑨-8、计算Ω_Tr中的每个元素对应的三个轨迹点之间的向量夹角，对于Ω_Tr中的任一个元素，假设该元素为(a',b',c')，对应的三个轨迹点分别为p_a',p_b',p_c'，则计算向量与向量之间的向量夹角；然后计算Ω_Tr中的所有元素对应的向量夹角的标准差，如果标准差大于0.7弧度，则认为车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪，如果标准差小于或等于0.7弧度，则认为车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，其中，1≤a'<b'<c'≤N₁。

所述的步骤⑩中根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t的具体过程为：令H_t'＝γ×H_t+(1-γ)×H_t-1，再令H_t＝H_t'，其中，γ表示更新速率。

与现有技术相比，本发明的优点在于：

1)本发明方法在计算区域灰度协方差矩阵的过程中，只利用了融合像素点的坐标位置信息和灰度值信息的特征向量，且特征向量为3维向量，计算复杂度低；在根据区域图像初始化对应的相关滤波器的过程中，利用了现有的基于自适应相关滤波器的视觉跟踪方法，而该方法的主要计算量为二维傅里叶变换，计算复杂度低。

2)本发明方法采用区域灰度协方差矩阵和线性相关滤波器对目标进行描述，并对它们进行在线更新，使它们对目标表观渐变具有较好的适应能力，从而减少了错误判断的发生，相较常用的直方图相似度量方法，本发明方法的目标表观模型更加稳定，对目标表观的渐变具有更好的适应能力；而相比前向-后向跟踪的方法，本发明方法无需缓存视频序列和逆向运行，可应用于对实时性要求较高的系统。

3)本发明方法采用了被跟踪车辆轨迹作为辅助分析来验证跟踪的有效性，简单且高效，在利用线性相关滤波器和区域灰度协方差矩阵失效时，仍可起到补充作用，比如，在人车混杂的十字路口车辆跟踪器容易被交错的行人带走，这类情况易通过分析轨迹快速发现。

4)本发明方法对跟踪算法没有特定的要求，适用于多数现有的视频目标跟踪算法，本发明方法作为一个独立的模块只需要视频图像和跟踪算法返回的目标区域信息，对已有系统的依赖和耦合较少。

附图说明

图1a为本发明方法中处理第一帧I₁的流程框图；

图1b为本发明方法中处理后续帧I_t(t≥2)的流程框图；

图2a为第一个目标在某一时刻的轨迹；

图2b为第一个目标在下一时刻的轨迹；

图2c为第一个目标在再下一时刻的轨迹；

图3a为第二个目标在某一时刻的轨迹；

图3b为第二个目标在下一时刻的轨迹；

图3c为第二个目标在再下一时刻的轨迹；

图4a为第三个目标在某一时刻的轨迹；

图4b为第三个目标在下一时刻的轨迹；

图4c为第三个目标在再下一时刻的轨迹。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种视频车辆跟踪有效性验证方法，其处理第一帧的流程框图如图1a所示，其处理后续帧的流程框图如图1b所示，其包括以下步骤：

①对被跟踪车辆进行视频车辆跟踪，将实时获取的跟踪视频中的包含有被跟踪车辆的第一帧图像记为I₁。

②令Ω_cov表示表征被跟踪车辆表观的集合，Ω_cov的初始值为空集；并令A_Traj表示被跟踪车辆轨迹的集合，A_Traj的初始值为空集。

③在I₁上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在I₁中的坐标位置为(x₁,y₁)，且假设该目标矩形区域的分辨率为w₁×h₁；然后从I₁中提取出该目标矩形区域；接着采用双线性插值方法对该目标矩形区域进行缩放处理，使缩放后得到的I₁对应的目标图像的分辨率为再计算I₁对应的目标图像的区域灰度协方差矩阵，记为C₁，最后令Ω_cov＝{(C₁,μ₁)}，并计算I₁对应的目标图像的中心在I₁中的坐标位置，记为p₁，p₁＝(x₁+0.5w₁,y₁+0.5h₁)，之后将p₁作为轨迹点加入A_Traj中，即令A_Traj＝{p₁}。

其中，1≤x₁≤M,1≤y₁≤N，M表示跟踪视频中的每幅图像的宽度，N表示跟踪视频中的每幅图像的高度，w₁和h₁对应表示I₁上的目标矩形区域的宽和高，w₁≤M,h₁≤N，在具体实施时可取为64×64，为的转置向量，表示I₁对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示I₁对应的目标图像中的第k个像素点在I₁中的横坐标和纵坐标，k＝1时 表示I₁对应的目标图像中的第k个像素点的灰度值，μ₁表示I₁对应的目标图像中的所有像素点的特征向量的均值向量，

④根据步骤③中标定的目标矩形区域的左上角像素点在I₁中的坐标位置(x₁,y₁)和分辨率w₁×h₁，计算在I₁中待标定的分辨率为2.5w₁×2.5h₁的图像块的左上角像素点的坐标位置，记为(x^*,y^*)，x^*＝int(x₁-0.75w₁+0.5)，y^*＝int(y₁-0.75h₁+0.5)；然后判断(x^*,y^*)是否在I₁外，如果是，则扩展I₁，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块(即若该图像块部分超出I₁，则将超出的部分像素点的像素值置为127)，否则，直接在I₁中标定一个左上角像素点在I₁中的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块；接着提取出该图像块；之后采用双线性插值方法对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X₁，X₁的分辨率为即使缩放后得到的I₁对应的区域图像的分辨率为最后采用2010年IEEE计算机视觉与模式识别会议中公开的基于自适应相关滤波器的视觉跟踪方法，根据X₁初始化对应的相关滤波器，记为H₁；其中，int()为取整函数，在具体实施时可取为64×64。

⑤获取跟踪视频中的下一帧图像，假设该帧图像为跟踪视频中的第t帧图像，则将第t帧图像定义为当前图像，并记为I_t，其中，2≤t≤T，t的初始值为2，T表示实时获取的跟踪视频中包含的图像的总帧数。

⑥在当前图像I_t上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在当前图像I_t中的坐标位置为(x_t,y_t)，且假设该目标矩形区域的分辨率为w_t×h_t；然后从当前图像I_t中提取出该目标矩形区域；接着采用双线性插值方法对该目标矩形区域进行缩放处理，使缩放后得到的当前图像I_t对应的目标图像的分辨率为其中，1≤x_t≤M,1≤y_t≤N，w_t和h_t对应表示当前图像I_t对应的目标矩形区域的宽和高，w_t≤M,h_t≤N，在具体实施时可取为64×64。

⑦根据步骤⑥中标定的目标矩形区域的左上角像素点在I_t中的坐标位置(x_t,y_t)和分辨率w_t×h_t，计算在I_t中待标定的分辨率为2.5w_t×2.5h_t的图像块的左上角像素点的坐标位置，记为(x^*',y^*')，x^*'＝int(x_t-0.75w_t+0.5)，y^*'＝int(y_t-0.75h_t+0.5)；然后判断(x^*',y^*')是否在I_t外，如果是，则扩展I_t，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块，否则，直接在I_t中标定一个左上角像素点在I_t中的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块；接着提取出该图像块；之后采用双线性插值方法对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X_t，X_t的分辨率为再根据相关滤波器理论，将X_t与跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1进行相关计算，得到当前图像I_t对应的空域响应，记为R_t，计算R_t的峰-旁瓣比(PSR,Peak-to-Sidelobe Ratio)，记为s_t，峰-旁瓣比描述了响应峰值的显著性；最后根据s_t对车辆跟踪有效性进行验证，具体过程为：如果s_t小于设定的第一阈值，则表明出现跟踪失败，终止车辆跟踪；如果s_t大于或等于设定的第一阈值，则当在时域上先于当前图像I_t的图像至少有n帧，且s_t<s_t-1<…<s_t-n成立时，表明出现跟踪失败，终止车辆跟踪；当在时域上先于当前图像I_t的图像少于n帧时，执行步骤⑧；其中，n为一个常数，n≥4，在实际操作时可取n＝4，s_t-1表示跟踪视频中的第t-1帧图像对应的空域响应R_t-1的峰-旁瓣比，s_t-n表示跟踪视频中的第t-n帧图像对应的空域响应R_t-n的峰-旁瓣比，设定的第一阈值可根据经验确定，在此是在本申请的基础上通过大量实验确定了第一阈值的取值范围为[5.0,7.0]，即可在5.0～7.0间任意取一个值，如取6.5。

⑧计算当前图像I_t对应的目标图像的区域灰度协方差矩阵，记为C_t，然后判断2≤t≤n是否成立，如果成立，则将(C_t,μ_t)加入Ω_cov中，之后执行步骤⑨，如果不成立，则根据(C_t,μ_t)与Ω_cov中的n个元素对车辆跟踪有效性进行验证，具体过程为：a、计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离；b、找出最小距离对应的元素，假设该元素为(C_m,μ_m)；c、判断最小距离是否大于设定的第二阈值，如果是，则表明出现跟踪失败，终止车辆跟踪；否则，根据(C_t,μ_t)更新(C_m,μ_m)，然后执行步骤⑨，其中，在此设定的第二阈值是在本申请的基础上通过大量实验确定的值，取1.2。

其中，为的转置向量，表示当前图像I_t对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示当前图像I_t对应的目标图像中的第k个像素点在当前图像I_t中的横坐标和纵坐标，k＝1时 表示当前图像I_t对应的目标图像中的第k个像素点的灰度值，μ_t表示当前图像I_t对应的目标图像中的所有像素点的特征向量的均值向量，m∈[1,n]，n为一个常数，n≥4，在实际操作时可取n＝4。

在此具体实施例中，步骤⑧中计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离的过程为：⑧-1、将Ω_cov中的第i个元素中的区域灰度协方差矩阵定义为当前区域灰度协方差矩阵，其中，i的初始值为1，1≤i≤n；⑧-2、将当前区域灰度协方差矩阵记为C_i，然后计算C_t与C_i之间的距离，记为ρ(C_t,C_i)，其中，ln()表示以自然基数e为底的对数函数，λ_j表示矩阵C_t ^-1C_i中的第j个特征值；⑧-3、令i＝i+1，将Ω_cov中的下一个元素中的区域灰度协方差矩阵作为当前区域灰度协方差矩阵，然后返回步骤⑧-2继续执行，直至Ω_cov中的n个元素中的所有区域灰度协方差矩阵处理完毕为止，其中，i＝i+1中的“＝”为赋值符号。

在此具体实施例中，步骤⑧中根据(C_t,μ_t)更新(C_m,μ_m)的具体过程为：令C_m'＝η×C_t+(1-η)×C_m+η×(1-η)×(μ_t-μ_m)(μ_t-μ_m)^T，再令C_m＝C_m'；令μ_m'＝η×μ_t+(1-η)×μ_m，再令μ_m＝μ_m'；其中，η表示更新率，在本实施例中取η＝0.2，(μ_t-μ_m)^T为(μ_t-μ_m)的转置向量。

⑨计算当前图像I_t对应的目标图像的中心在当前图像I_t中的坐标位置，记为p_t，p_t＝(x_t+0.5w_t,y_t+0.5h_t)；然后将p_t作为轨迹点加入A_Traj中；再对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常，若车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，若车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪。

在此具体实施例中，步骤⑨中对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常的具体过程为：

⑨-1、判断A_Traj中的轨迹点的总个数是否小于设定的轨迹分析阈值N₁，如果是，则直接执行步骤⑩；否则，执行步骤⑨-2。在此，轨迹分析阈值N₁可取20。

⑨-2、从A_Traj中提取出后N₁个轨迹点，并将这N₁个轨迹点组成待分析的轨迹序列；

⑨-3、将待分析的轨迹序列中当前待处理的第a个轨迹点定义为当前轨迹点，其中，a的初始值为1，1≤a≤N₁。

⑨-4、计算当前轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计当前轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则当满足条件的第一个轨迹点为待分析的轨迹序列中的最后一个轨迹点时，执行步骤⑨-7，当满足条件的第一个轨迹点不为待分析的轨迹序列中的最后一个轨迹点时，假设满足条件的第一个轨迹点为待分析的轨迹序列中的第b个轨迹点，之后执行步骤⑨-5；其中，b∈(a,N₁)，在本实施例中距离判断阈值如可取5，实际上可根据图像的分辨率调整该值。

⑨-5、计算第b个轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计第b个轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则假设满足条件的第一个轨迹点为待分析的轨迹序列中的第c个轨迹点，再执行步骤⑨-6；其中，c∈(b,N₁]，在本实施例中距离判断阈值如可取5，实际上可根据图像的分辨率调整该值。

⑨-6、将第a个轨迹点、第b个轨迹点和第c个轨迹点的序号按序组成一个三元组，记为(a,b,c)；然后将(a,b,c)作为一个元素加入集合Ω_Tr中；再令a＝a+1，将待分析的轨迹序列中下一个待处理的轨迹点作为当前轨迹点，之后返回步骤⑨-4继续执行；其中，Ω_Tr的初始值为空集，a＝a+1中的“＝”为赋值符号。

⑨-7、判断Ω_Tr中的元素的个数是否小于3，如果是，则认为车辆轨迹正常，表明跟踪有效，然后执行步骤⑩；否则，执行步骤⑨-8。

⑨-8、计算Ω_Tr中的每个元素对应的三个轨迹点之间的向量夹角，对于Ω_Tr中的任一个元素，假设该元素为(a',b',c')，对应的三个轨迹点分别为p_a',p_b',p_c'，则计算向量与向量之间的向量夹角；然后计算Ω_Tr中的所有元素对应的向量夹角的标准差，如果标准差大于0.7弧度，则认为车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪，如果标准差小于或等于0.7弧度，则认为车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，其中，1≤a'<b'<c'≤N₁。

⑩判断当前图像I_t是否为跟踪视频中的最后一帧图像，如果是，则结束车辆跟踪有效性验证过程；否则，采用2010年IEEE计算机视觉与模式识别会议中公开的基于自适应相关滤波器的视觉跟踪方法，根据X_t初始化对应的相关滤波器，记为H_t，然后采用线性加权方式，根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t，在H_t更新结束后返回步骤⑤继续执行；其中，int()为取整函数，在具体实施时w×h可取为64×64。

在此具体实施例中，步骤⑩中根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t的具体过程为：令H_t'＝γ×H_t+(1-γ)×H_t-1，再令H_t＝H_t'，其中，γ表示更新速率，在本实施例中取γ＝0.2。

为进一步说明本发明方法的可行性和有效性，对本发明方法进行实验验证。

实验视频选用实际电子警察拍摄的交叉路口视频，视频原始图像分辨率为2592×2048，实际运行的分辨率为648×512，即将原始图像下采样16倍得到。在电子警察系统中，要求对通过路口车辆进行检测，并对车辆进行跟踪，直至其运行超出所需监控的范围。通过对目标车辆运动轨迹的分析判断该车辆是否有违章行为。

本实验利用上述交通视频对车辆跟踪有效性进行验证。图2a至图2c分别给出了一个目标在不同时刻的轨迹，图2a和图2b中目标被正确跟踪，此时，对相关滤波器和区域灰度协方差矩阵集合进行更新。由于视频缺帧和目标运行速度过快的原因，图2c中目标跟踪丢失，此时通过相关计算得到的峰-旁瓣比低于阈值，判断出跟踪异常。

图3a至图3c分别给出了另一个目标在不同时刻的轨迹，图3a和图3b中目标被正确跟踪，此时，对相关滤波器和区域灰度协方差矩阵集合进行更新。图3c中由于目标受局部遮挡被带走，因此无法正确定位，若不终止跟踪行为，则会继续向前方运行直至超出所监控区域，而实际被跟踪车辆此时已右转。上述跟踪行为会导致对车辆行为的误判，在这个例子中会错误触发“不按导向车道行驶”的违章抓拍。在加入对跟踪有效性验证后，通过轨迹分析可以判断出跟踪出现异常，对其进行终止，避免错误抓拍的发生。

图4a至图4c分别给出了第三个目标在不同时刻的轨迹，图4a和图4b中目标被正确跟踪，此时，对相关滤波器和区域灰度协方差矩阵集合进行更新。图4c中目标在等待绿灯放行时，前方小轿车被后方大货车遮挡，此时跟踪逐步丢失目标。若不对跟踪进行终止，则跟踪框将会超出停止线，此时将错误触发“闯红灯”的违章抓拍。在加入对跟踪有效性验证后，通过当前帧的区域灰度协方差矩阵与历史集合的距离计算，判断得到跟踪的异常，将其终止，避免了错误抓拍的发生。

Claims (9)

1.一种视频车辆跟踪有效性验证方法，其特征在于包括以下步骤：

①对被跟踪车辆进行视频车辆跟踪，将实时获取的跟踪视频中的包含有被跟踪车辆的第一帧图像记为I₁；

②令Ω_cov表示表征被跟踪车辆表观的集合，Ω_cov的初始值为空集；并令A_Traj表示被跟踪车辆轨迹的集合，A_Traj的初始值为空集；

③在I₁上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在I₁中的坐标位置为(x₁,y₁)，且假设该目标矩形区域的分辨率为w₁×h₁；然后从I₁中提取出该目标矩形区域；接着对该目标矩形区域进行缩放处理，使缩放后得到的I₁对应的目标图像的分辨率为再计算I₁对应的目标图像的区域灰度协方差矩阵，记为C₁，最后令Ω_cov＝{(C₁,μ₁)}，并计算I₁对应的目标图像的中心在I₁中的坐标位置，记为p₁，p₁＝(x₁+0.5w₁,y₁+0.5h₁)，之后将p₁作为轨迹点加入A_Traj中，即令A_Traj＝{p₁}；

其中，1≤x₁≤M,1≤y₁≤N，M表示跟踪视频中的每幅图像的宽度，N表示跟踪视频中的每幅图像的高度，w₁和h₁对应表示I₁上的目标矩形区域的宽和高，w₁≤M,h₁≤N，为的转置向量，表示I₁对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示I₁对应的目标图像中的第k个像素点在I₁中的横坐标和纵坐标，k＝1时 表示I₁对应的目标图像中的第k个像素点的灰度值，μ₁表示I₁对应的目标图像中的所有像素点的特征向量的均值向量，

④根据步骤③中标定的目标矩形区域的左上角像素点在I₁中的坐标位置(x₁,y₁)和分辨率w₁×h₁，计算在I₁中待标定的分辨率为2.5w₁×2.5h₁的图像块的左上角像素点的坐标位置，记为(x^*,y^*)，x^*＝int(x₁-0.75w₁+0.5)，y^*＝int(y₁-0.75h₁+0.5)；然后判断(x^*,y^*)是否在I₁外，如果是，则扩展I₁，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块，否则，直接在I₁中标定一个左上角像素点在I₁中的坐标位置为(x^*,y^*)且分辨率为2.5w₁×2.5h₁的图像块；接着提取出该图像块；之后对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X₁，X₁的分辨率为最后采用基于自适应相关滤波器的视觉跟踪方法，根据X₁初始化对应的相关滤波器，记为H₁；其中，int()为取整函数；

⑤获取跟踪视频中的下一帧图像，假设该帧图像为跟踪视频中的第t帧图像，则将第t帧图像定义为当前图像，并记为I_t，其中，2≤t≤T，t的初始值为2，T表示实时获取的跟踪视频中包含的图像的总帧数；

⑥在当前图像I_t上标定一个完全包含有被跟踪车辆的目标矩形区域，假设该目标矩形区域的左上角像素点在当前图像I_t中的坐标位置为(x_t,y_t)，且假设该目标矩形区域的分辨率为w_t×h_t；然后从当前图像I_t中提取出该目标矩形区域；接着对该目标矩形区域进行缩放处理，使缩放后得到的当前图像I_t对应的目标图像的分辨率为其中，1≤x_t≤M,1≤y_t≤N，w_t和h_t对应表示当前图像I_t对应的目标矩形区域的宽和高，w_t≤M,h_t≤N；

⑦根据步骤⑥中标定的目标矩形区域的左上角像素点在I_t中的坐标位置(x_t,y_t)和分辨率w_t×h_t，计算在I_t中待标定的分辨率为2.5w_t×2.5h_t的图像块的左上角像素点的坐标位置，记为(x^*',y^*')，x^*'＝int(x_t-0.75w_t+0.5)，y^*'＝int(y_t-0.75h_t+0.5)；然后判断(x^*',y^*')是否在I_t外，如果是，则扩展I_t，并使扩展的像素点的像素值为127，再在扩展的图像中标定一个左上角像素点的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块，否则，直接在I_t中标定一个左上角像素点在I_t中的坐标位置为(x^*',y^*')且分辨率为2.5w_t×2.5h_t的图像块；接着提取出该图像块；之后对该图像块进行缩放处理，得到该图像块对应的区域图像，记为X_t，X_t的分辨率为再根据相关滤波器理论，将X_t与跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1进行相关计算，得到当前图像I_t对应的空域响应，记为R_t，计算R_t的峰-旁瓣比，记为s_t；最后根据s_t对车辆跟踪有效性进行验证，具体过程为：如果s_t小于设定的第一阈值，则表明出现跟踪失败，终止车辆跟踪；如果s_t大于或等于设定的第一阈值，则当在时域上先于当前图像I_t的图像至少有n帧，且s_t<s_t-1<…<s_t-n成立时，表明出现跟踪失败，终止车辆跟踪；当在时域上先于当前图像I_t的图像少于n帧时，执行步骤⑧；其中，n为一个常数，n≥4，s_t-1表示跟踪视频中的第t-1帧图像对应的空域响应R_t-1的峰-旁瓣比，s_t-n表示跟踪视频中的第t-n帧图像对应的空域响应R_t-n的峰-旁瓣比；

⑧计算当前图像I_t对应的目标图像的区域灰度协方差矩阵，记为C_t，然后判断2≤t≤n是否成立，如果成立，则将(C_t,μ_t)加入Ω_cov中，之后执行步骤⑨，如果不成立，则根据(C_t,μ_t)与Ω_cov中的n个元素对车辆跟踪有效性进行验证，具体过程为：a、计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离；b、找出最小距离对应的元素，假设该元素为(C_m,μ_m)；c、判断最小距离是否大于设定的第二阈值，如果是，则表明出现跟踪失败，终止车辆跟踪；否则，根据(C_t,μ_t)更新(C_m,μ_m)，然后执行步骤⑨；

其中，为的转置向量，表示当前图像I_t对应的目标图像中的第k个像素点的特征向量，为的转置向量，和对应表示当前图像I_t对应的目标图像中的第k个像素点在当前图像I_t中的横坐标和纵坐标，k＝1时 表示当前图像I_t对应的目标图像中的第k个像素点的灰度值，μ_t表示当前图像I_t对应的目标图像中的所有像素点的特征向量的均值向量，m∈[1,n]，n为一个常数，n≥4；

⑨计算当前图像I_t对应的目标图像的中心在当前图像I_t中的坐标位置，记为p_t，p_t＝(x_t+0.5w_t,y_t+0.5h_t)；然后将p_t作为轨迹点加入A_Traj中；再对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常，若车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，若车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪；

⑩判断当前图像I_t是否为跟踪视频中的最后一帧图像，如果是，则结束车辆跟踪有效性验证过程；否则，采用基于自适应相关滤波器的视觉跟踪方法，根据X_t初始化对应的相关滤波器，记为H_t，然后根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t，在H_t更新结束后返回步骤⑤继续执行；其中，int()为取整函数。

2.根据权利要求1所述的一种视频车辆跟踪有效性验证方法，其特征在于该方法中对目标矩形区域和图像块进行缩放处理采用双线性插值方法。

3.根据权利要求2所述的一种视频车辆跟踪有效性验证方法，其特征在于该方法中为64×64。

4.根据权利要求3所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑦中设定的第一阈值的取值范围为[5.0,7.0]。

5.根据权利要求4所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑧中设定的第二阈值的取值为1.2。

6.根据权利要求1至5中任一项所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑧中计算C_t与Ω_cov中的每个元素中的区域灰度协方差矩阵之间的距离的过程为：⑧-1、将Ω_cov中的第i个元素中的区域灰度协方差矩阵定义为当前区域灰度协方差矩阵，其中，i的初始值为1，1≤i≤n；⑧-2、将当前区域灰度协方差矩阵记为C_i，然后计算C_t与C_i之间的距离，记为ρ(C_t,C_i)，其中，ln()表示以自然基数e为底的对数函数，λ_j表示矩阵C_t ^-1C_i中的第j个特征值；⑧-3、令i＝i+1，将Ω_cov中的下一个元素中的区域灰度协方差矩阵作为当前区域灰度协方差矩阵，然后返回步骤⑧-2继续执行，直至Ω_cov中的n个元素中的所有区域灰度协方差矩阵处理完毕为止，其中，i＝i+1中的“＝”为赋值符号。

7.根据权利要求6所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑧中根据(C_t,μ_t)更新(C_m,μ_m)的具体过程为：令C_m'＝η×C_t+(1-η)×C_m+η×(1-η)×(μ_t-μ_m)(μ_t-μ_m)^T，再令C_m＝C_m'；令μ_m'＝η×μ_t+(1-η)×μ_m，再令μ_m＝μ_m'；其中，η表示更新率，(μ_t-μ_m)^T为(μ_t-μ_m)的转置向量。

8.根据权利要求7所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑨中对A_Traj中的轨迹点进行分析，判定车辆轨迹是否异常的具体过程为：

⑨-1、判断A_Traj中的轨迹点的总个数是否小于设定的轨迹分析阈值N₁，如果是，则直接执行步骤⑩；否则，执行步骤⑨-2；

⑨-2、从A_Traj中提取出后N₁个轨迹点，并将这N₁个轨迹点组成待分析的轨迹序列；

⑨-3、将待分析的轨迹序列中当前待处理的第a个轨迹点定义为当前轨迹点，其中，a的初始值为1，1≤a≤N₁；

⑨-4、计算当前轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计当前轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则当满足条件的第一个轨迹点为待分析的轨迹序列中的最后一个轨迹点时，执行步骤⑨-7，当满足条件的第一个轨迹点不为待分析的轨迹序列中的最后一个轨迹点时，假设满足条件的第一个轨迹点为待分析的轨迹序列中的第b个轨迹点，之后执行步骤⑨-5；其中，b∈(a,N₁)；

⑨-5、计算第b个轨迹点与位于其后面的各个轨迹点之间的欧式距离；然后统计第b个轨迹点后面的所有轨迹点中满足欧式距离大于距离判断阈值这个条件对应的轨迹点的数目，如果数目为0，即不存在满足条件的轨迹点，则执行步骤⑨-7；如果数目不为0，则假设满足条件的第一个轨迹点为待分析的轨迹序列中的第c个轨迹点，再执行步骤⑨-6；其中，c∈(b,N₁]；

⑨-6、将第a个轨迹点、第b个轨迹点和第c个轨迹点的序号按序组成一个三元组，记为(a,b,c)；然后将(a,b,c)作为一个元素加入集合Ω_Tr中；再令a＝a+1，将待分析的轨迹序列中下一个待处理的轨迹点作为当前轨迹点，之后返回步骤⑨-4继续执行；其中，Ω_Tr的初始值为空集，a＝a+1中的“＝”为赋值符号；

⑨-7、判断Ω_Tr中的元素的个数是否小于3，如果是，则认为车辆轨迹正常，表明跟踪有效，然后执行步骤⑩；否则，执行步骤⑨-8；

⑨-8、计算Ω_Tr中的每个元素对应的三个轨迹点之间的向量夹角，对于Ω_Tr中的任一个元素，假设该元素为(a',b',c')，对应的三个轨迹点分别为p_a',p_b',p_c'，则计算向量与向量之间的向量夹角；然后计算Ω_Tr中的所有元素对应的向量夹角的标准差，如果标准差大于0.7弧度，则认为车辆轨迹异常，表明出现跟踪失败，终止车辆跟踪，如果标准差小于或等于0.7弧度，则认为车辆轨迹正常，表明跟踪有效，之后执行步骤⑩，其中，1≤a'<b'<c'≤N₁。

9.根据权利要求8所述的一种视频车辆跟踪有效性验证方法，其特征在于所述的步骤⑩中根据跟踪视频中的第t-1帧图像对应的相关滤波器H_t-1更新H_t的具体过程为：令H_t'＝γ×H_t+(1-γ)×H_t-1，再令H_t＝H_t'，其中，γ表示更新速率。