CN104700432B

CN104700432B - 一种自适应的粘连车辆分割方法

Info

Publication number: CN104700432B
Application number: CN201510129155.XA
Authority: CN
Inventors: 赵娜; 夏莹杰; 王辉; 谷虹娴
Original assignee: Hangzhou Normal University; Enjoyor Co Ltd
Current assignee: Yinjiang Technology Co.,Ltd.; Hangzhou Normal University
Priority date: 2015-03-24
Filing date: 2015-03-24
Publication date: 2017-11-03
Anticipated expiration: 2035-03-24
Also published as: CN104700432A

Abstract

本发明涉及一种自适应的粘连车辆分割方法，该方法主要步骤包括：(1)利用粘连车辆的轮廓运动向量层，初步分割出粘连车辆的候选区域；(2)根据跟踪所得的历史数据和预测的粘连车辆的位置，进一步分割粘连车辆的候选区域；(3)利用分析所得的互相粘连车辆们的颜色的对比度，最终获得粘连车辆的位置，从而分割出粘连车辆。本发明方法鲁棒性强，可适应大部分的跟踪方法，消除了分割粘连车辆工业应用的障碍，为实现分割粘连车辆提供了一个新的可靠的方法。

Description

一种自适应的粘连车辆分割方法

技术领域

本发明涉及交通视频智能分析领域，尤其涉及一种自适应的粘连车辆分割方法。

背景技术

随着智慧城市的建设，智能交通作为其中重要的一部分，受到了政府的关注。同时，随着智能交通监控系统基于视频的车辆跟踪技术的发展，其也被广泛地运用于城市交通管理当中。

目前，在基于视频的车辆跟踪技术中，一方面，由于前景提取的不完整，导致车辆前景经常会和视频场景中其他事物的前景互相粘连；另一方面，受制于摄像头的视角单一性，图像中的车辆会互相遮挡产生粘连。而这些粘连会对后续的跟踪算法产生不利影响，最终导致车辆跟踪结果不准确，甚至跟踪丢失。同时，高准确性的前景提取方法由于耗时多，从而无法保证车辆跟踪算法的实时性。而现有的车辆粘连分割方法，过多依赖于其所固有的跟踪方法无法独立出来去适应其他分割方法，工业应用性差。因此，如何准确地分割粘连车辆，提高车辆跟踪的准确性和实时性是一个亟待解决的问题。

发明内容

本发明为克服上述的不足之处，目的在于提供一种自适应的粘连车辆分割方法，该方法通过基于运动向量层的分割、基于跟踪数据和运动向量混合层的分割、基于颜色对比度层的分割最终分割出粘连车辆；该方法鲁棒性强，可适应大部分的跟踪方法，消除了分割粘连车辆工业应用的障碍，为实现分割粘连车辆提供了一个新的可靠的方法。

本发明是通过以下技术方案达到上述目的：一种自适应的粘连车辆分割方法，包括如下步骤：

(1)读取视频序列中存在粘连的图像中提取出图像的前景，计算能够包围该前景的前景边界矩形；

(2)从前景中提取轮廓像素，计算提取到轮廓像素的运动向量并对运动向量进行筛选；

(3)利用筛选出的运动向量估计前景边界矩形的中心点和大小，获得初步分割的粘连车辆图像；

(4)分析已跟踪到车辆的轨迹数据并结合步骤(3)结果综合估计前景边界矩形的中心点和大小，获得新的粘连车辆图像；

(5)利用线扫描对步骤(4)得到的粘连车辆图像进行扫描，计算互相粘连区域的颜色分布距离；

(6)根据扫描线所在位置计算出颜色对比度的权重；

(7)根据颜色分布距离和颜色对比度的权重计算出前景边界矩形边界的位置，分割出粘连车辆。

作为优选，所述步骤(1)采用三帧差算法提取图像的前景。

作为优选，所述步骤(2)对运动向量进行筛选的方法如下：

a)舍去向量长度长于标准值或者短于标准的运动向量，标准值为预设的；

b)将360度平均分为9个区间，计算剩余运动向量的角度并统计落在每个区间内的运动向量数量；

c)在9个区间内筛选出运动向量数量最多的2个区间，存留2个区间内的运动向量；删除其余7个区间内的运动向量。

作为优选，所述步骤(3)利用筛选出的运动向量估计前景边界矩形的中心点和大小的方法如下：

1)计算运动向量的平均运动向量并将其作为前景边界矩形中心点的运动向量，从而获得前景边界矩形的中心点；

2)将前景边界矩形平均分为9个块，标记其中具有特殊性的固定位置的4个块并该4个块对应的前景边界矩形的四条边；

3)计算起始点分别在该4个块中的运动向量的平均运动向量坐标；

4)根据平均运动向量坐标分别对4个块对应的前景边界矩形的四条边进行位移，从而获得前景边界矩形的大小，长W_width，高H_height。

作为优选，所述步骤2)的标记方法为设置块所在的行为i,列为j，块为B_i，j，top是前景边界矩形的上边，left是前景边界矩形的左边,right是前景边界矩形的右边，bottom是前景边界矩形的下边。

作为优选，所述步骤(4)利用Kalman滤波算法分析已跟踪到车辆的轨迹数据。

作为优选，所述步骤(4)中结合步骤(3)结果综合估计前景边界矩形的中心点和大小的方法如下：

i)将筛选后运动向量的平均运动向量作为一个运动向量，该运动向量的起点为车辆C_m上一帧图像前景边界矩形的中心点，终点设置为H_center；

ii)将车辆C_m的位置作为P_center，得到车辆C_m在上一帧图像的前景边界矩形的大小，长P_width，高P_height；

iii)综合分析P_a，H_a，其中，a＝{center，width，height},获得最终的前景边界矩形的中心点和大小F_a。

作为优选，所述步骤iii)的综合分析方法公式为F_a＝σP_a+μH_a，(σ、μ为常数)。

作为优选，所述步骤(5)扫描粘连车辆图像的扫描方向由粘连位置的关系决定，如下所示：

A)如果是上下粘连位置关系，则从上至下扫描；

B)如果是左右粘连位置关系，则从左至右扫描；

C)如果是对角线粘连位置关系，则需先从上至下扫描，再从左至右进行扫描。

作为优选，所述步骤(5)计算互相粘连区域的颜色分布距离的公式如下：

s(c,i)＝f(c,i|a)²-f(c,i|b)²

其中，s(c，i)为最终的距离，a,b为互相粘连的区域，i为扫描线的坐标，C为在RGB颜色空间颜色的值。

作为优选，所述步骤(6)计算颜色对比度的权重的公式如下：

其中，w(i)为扫描前坐标为i的权重值，a₁，a₂，b，h1和h2为参数。

作为优选，所述步骤(7)计算前景边界矩形边界的位置的公式如下：

其中，d(i)为前景边界矩形i边界的位置，w(i)为扫描前坐标为i的权重值，s(c，i)为最终的距离。

本发明的有益效果在于：(1)本方法只需提供视频的图片序列和已跟踪到的车辆的历史轨迹，实施简单，适用性广；(2)检测精确度高，可以同时检测分割出车辆和车辆粘连的情况与分割出车辆和背景物体粘连的情况；(3)实现了对粘连的检测、粘连车辆的分割，克服了以往车辆粘连分割难以克服的前景提取不完整等难点；(4)除了分割粘连车辆工业应用的障碍，为实现分割粘连车辆提供了一个新的可靠的方法。

附图说明

图1是本发明方法的流程框图；

图2是本发明一个较佳实施例的视频序列中所读取的一幅粘连图像；图3是本发明一个较佳实施例中粘连图像的前景；

图4是本发明标记4个具有特殊性的固定位置的块和其所对应的前景边界矩形的四条边的框图；

图5是使用本发明方法所分割出的粘连图像。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种自适应的粘连车辆分割方法，包含三次分割过程，基于运动向量层的分割、基于跟踪数据和运动向量混合层的分割、基于颜色对比度层的分割，具体步骤如下：

(1)读取视频序列中存在粘连的一帧图像，如图2所示，为所读取的像素为720*488的视频序列中存在粘连的一帧图像；通过三帧差算法提取该图像的前景，如图3所示，为所读取粘连图像的前景。计算能够包围前景的最小矩形，作为前景边界矩形。

(2)在该帧中，提取粘连前景的轮廓像素，计算提取到轮廓像素的运动向量并对运动向量进行筛选，筛选运动向量的方法如下：舍去长度过长或过短的运动向量；并将360度平均分为9个区间，计算剩余运动向量的角度，并统计其在每个区间中的数量。留下运动向量数最多的两个区间中的运动向量，删除其他7个区间的运动向量。

(3)利用筛选出的运动向量估计前景边界矩形的中心点和大小；首先，计算运动向量的平均向量，将该平均向量作为前景边界矩形中心点的运动向量，获得在当前帧中，该前景边界矩形的中心点。然后，将前景边界矩形平均分为9个块，标记其中的4个具有特殊性的固定位置的块和其所对应的前景边界矩形的四条边。其方法如下，如图4所示：设置块所在的行为i,列为j，块为B_i，j，top是前景边界矩形的上边，left是左边,right是右边，bottom是下边。

计算起始点分别在4个块中的运动向量的平均向量坐标，并分别作为该车前景边界矩形4条边的位移，获得前景边界矩形边的位置和其长W_width，高H_height，从而初步分割粘连车辆。

(4)分析已跟踪到车辆的轨迹数据，利用Kalman滤波算法分析每一辆已跟踪到的车的轨迹。在当前帧中，预测每一辆已跟踪到的车C_m的位置，统计出在前景边界矩形中已跟踪到的车C_m的数量A_n，m＝{1，2，3...A_i}，i＝{1，2，3·k}，k为前景的数量。

在基于运动向量层分割的结果下，综合估计前景边界矩形的中心点和大小。首先，将筛选后运动向量的平均运动向量作为一个运动向量，起点为上一帧中该车的前景边界矩形的中心点，将该运动向量的终点设为H_center。将预测所获得的C_m的位置作为P_center，得到车辆C_m在前一帧的前景边界矩形的大小长P_width，高P_height。通过综合分析P_a，H_a，其中，a＝{center，width，height},获得最终的前景边界矩形的中心点和大小F_a，从而进一步分割该粘连车辆。其中，综合分析的方法为：F_a＝σP_a+μH_a，(σ、μ为常数)。

(5)利用线扫描对步骤(4)得到的粘连车辆图像进行扫描，扫描的方向由粘连位置关系决定：如果是上下粘连位置关系，则从上至下扫描；如果是左右粘连位置关系，则从左至右扫描；如果是对角线粘连位置关系，则需先从上至下扫描，再从左至右进行扫描。

计算互相粘连区域的颜色分布距离；在距离公式中,s(c，i)为最终的距离，a,b为互相粘连的区域，i为扫描线的坐标，c为在RGB颜色空间颜色的值，具体的公式如下：

s(c,i)＝f(c,i|a)²-f(c,i|b)²

(6)根据线所在的位置计算颜色对比度的权重，w(i)为扫描前坐标为i的权重值，a₁，a₂，b，h1和h2为参数，具体公式如下：

(7)根据颜色分布距离和颜色对比度的权重计算出颜色对比度最大的线的位置即为前景边界矩形边界的位置，其中，颜色对比度的计算方法如下：

这样最终就可以分割出粘连车辆，如图5所示，图中的红色矩形框为使用本发明方法所分割后的结果。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims

1.一种自适应的粘连车辆分割方法，其特征在于，包括如下步骤：

(6)根据扫描线所在位置计算出颜色对比度的权重；

(7)根据颜色分布距离和颜色对比度的权重计算出颜色对比度最大的线的位置，即为前景边界矩形边界的位置，分割出粘连车辆。

2.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(1)采用三帧差算法提取图像的前景。

3.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(2)对运动向量进行筛选的方法如下：

4.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(3)利用筛选出的运动向量估计前景边界矩形的中心点和大小的方法如下：

2)将前景边界矩形平均分为9个块，标记其中具有特殊性的固定位置的4个块，并标记该4个块对应的前景边界矩形的四条边；

5.根据权利要求4所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤2)的标记方法为设置块所在的行为i,列为j，块为B_i，j，top是前景边界矩形的上边，left是前景边界矩形的左边,right是前景边界矩形的右边，bottom是前景边界矩形的下边。

6.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(4)利用Kalman滤波算法分析已跟踪到车辆的轨迹数据。

7.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(4)中结合步骤(3)结果综合估计前景边界矩形的中心点和大小的方法如下：

8.根据权利要求7所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤iii)的综合分析方法公式为F_a＝σP_a+μH_a，其中，σ、μ为常数。

9.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(5)扫描粘连车辆图像的扫描方向由粘连位置的关系决定，如下所示：

A)如果是上下粘连位置关系，则从上至下扫描；

B)如果是左右粘连位置关系，则从左至右扫描；

10.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(5)计算互相粘连区域的颜色分布距离的公式如下：

s(c，i)＝f(c，i|a)²-f(c，i|b)²

11.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(6)计算颜色对比度的权重的公式如下：

12.根据权利要求1所述的一种自适应的粘连车辆分割方法，其特征在于，所述步骤(7)计算前景边界矩形边界的位置的公式如下：

<mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>w</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>*</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>c</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <mfrac> <mn>1</mn> <mrow> <msqrt> <mrow> <mn>2</mn> <mi>&pi;</mi> </mrow> </msqrt> <mi>&sigma;</mi> </mrow> </mfrac> <msup> <mi>e</mi> <mfrac> <mrow> <mo>-</mo> <mi>s</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> </mfrac> </msup> <mi>s</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow>