CN104050818A - 基于目标跟踪和特征点匹配的运动车辆测速方法 - Google Patents

Abstract

本发明公开了一种基于目标跟踪和特征点匹配的运动车辆测速方法，属于智能交通领域。本方法主要是：获得当前图像序列Fn；获得当前帧的灰度图像Y(n)；根据背景建模获得当前帧运动车辆的位置信息P_Cur；获得当前帧的运动目标的轨迹信息T；提取特征点，并记录特征点信息；特征点匹配，计算该目标的移动位移，根据相机标定结果进而求得该目标的瞬时行驶速度；根据最终匹配结果，计算待匹配特征点与匹配特征点的尺度变化，进行分析，根据分析结果对算法参数进行更新；求该运动目标的所有的瞬时速度的平均值。本发明可以高效准确地计算出车辆的运动位移，适用于治安卡口系统、闯红灯电子警察系统等系统中。

Description

基于目标跟踪和特征点匹配的运动车辆测速方法

技术领域

本发明属于图像模式识别、视频目标跟踪、智能视频监控和智能交通领域，尤其涉及一种基于目标跟踪和特征点匹配的运动车辆测速方法；

具体地说，本发明涉及一种基于背景建模的前景提取方法、基于最大连通域的运动目标跟踪方法和基于SIFT特征点的改进匹配算法的运动车辆测速方法，适用于治安卡口系统、闯红灯电子警察系统等系统中。

背景技术

随着我国经济的快速发展和社会机动车辆拥有量的急剧增加，涉车事件、案件成几何倍数增长。为了提升社会治安水平，降低涉车事件、案件的发生概率，针对机动车辆的检测和监控技术得到了广泛的研究；基于视频分析的运动车辆速度测量也得到了很大的关注，被广泛应用于治安卡口、闯红灯抓拍等交通场景中。

目前，运动车辆测速的方法根据测速的设备大致可以划分为两类：

一、依赖辅助设备测速

辅助设备主要有：地感线圈；激光和雷达。

地感线圈触发测速，一般在测试车道上安装两个固定距离的地感线圈，根据采集通过两个线圈的时间差和线圈间的距离，计算车辆通过的速度。这种方法需要在车道上切割、埋设感应线圈。由于需要在地下埋设地感线圈，加大了施工难度，提高了安装成本；同时当大车经过时容易对线圈造成损坏，导致维护难度增大。

激光和雷达测速的覆盖范围有限，且设备成本较高。

二、视频测速

相比第一种方法，视频测速具有安装简单，测速范围广，同时可以监控多个车道，易于维护等优势。目前视频测速大致可以分为两类：基于运动轨迹和基于特征点匹配。

基于运动轨迹的算法效率高，实时性好，适合移入到嵌入式设备中，由于算法输出的运动轨迹信息和实际的运动轨迹之间存在误差，导致最终的测速结果存在误差；SIFT特征点匹配算法是常用的一种特征点匹配算法，由于其匹配精度高，鲁棒性强，可以适应目标尺度、角度和位移变化，并且能够克服光照变化的影响，而被广泛应用，但由于该算法的计算复杂度高，实时性不能得到保证。

发明内容

本发明的目的就在于克服现有技术存在的上述缺点和不足，提供一种基于目标跟踪和特征点匹配的运动车辆测速方法。

本发明的目的是这样实现的：

使用背景建模法提取运动目标，运用最大连通域方法确定运动目标的轨迹信息，利用改进的SIFT特征点匹配算法准确地计算运动目标的移动距离，该算法能够在光照突变、强光照射等复杂环境下实现特征点准确匹配，在视频测速的准确率和计算效率上均优于传统方法。

一、测速装置

1、智能网络摄像机(有DSP图像传感器)；

2、网络摄像机(无DSP图像传感器)+工业控制机。

二、测速方法

本方法主要包括一种基于背景建模的车辆定位方法和一种基于改进SIFT特征点匹配方法计算位移矢量的方法。该方法利用背景建模高效地获取运动目标位置，通过最大连通域跟踪方法获取运动目标的轨迹信息，利用多帧之间运动车辆刚体特性的关联性对车身上的特征点进行准确匹配，从而准确地获得监控视频中车辆目标的位移矢量，从而准确的计算车辆行驶速度。

具体地说，本方法包括以下步骤：

第1、获得当前图像序列Fn；

第2、获得当前帧的灰度图像Y(n)；

第3、根据背景建模获得当前帧运动车辆的位置信息P_Cur；

第4、判断上一图像序列是否含有目标序列，是则进入第5步骤，否则跳转到第7步骤；

第5、获得当前帧的运动目标的轨迹信息T；

第6、判断是否需要提取特征点，是则进入第7步骤，否则跳转到第9步骤；

第7、判断目标和图像的比例是否大于阈值，是则进入第8步骤，否则跳转到第9步骤；

第8、提取特征点，并记录特征点信息；

第9、判断是否需要特征点匹配，是则进入第10步骤，否则跳转到第12步骤；

第10、特征点匹配，计算该目标的移动位移，进而求得该目标的瞬时行驶速度；

第11、根据最终匹配结果，计算待匹配特征点与匹配特征点的尺度变化，进行分析，根据分析结果对算法参数进行更新；

第12、判断有运动目标的跟踪算法是否已经结束，是则进入第13步骤，否则跳转到第1步骤；

第13、求该运动目标的所有的瞬时速度的平均值。

与现有技术相比，本发明具有下列优点和有益效果：

①可以高效地获得运动车辆的轨迹信息

利用第2步骤可以快速地得到前后两帧的运动目标，本文中对运动目标的轨迹信息的准确性要求并不高，并不依赖轨迹信息来进行车辆的测速功能，只是运用跟踪信息来实现对运动目标的“标记”作用，因此在这里，简单地计算前后两帧运动目标的重合度，完成前后帧的运动目标匹配，在满足需求的基础上，最大限度地提升了算法效率。

②可以准确地计算出车辆的运动位移

首先运用第2步骤得到运动车辆位置，当运动目标的大小大于设定的阈值之后，对目标内提取特征点，目标大于阈值之后提取特征点，可以保证提取充足的特征点；后续特征点匹配过程，运用图像金字塔算法，克服目标的尺度变化；对特征点进行旋转归一化处理，克服目标发生旋转时带来的匹配困难；在特征点匹配之后根据阈值去掉匹配误差大的特征点，保证了特征点匹配算法的高准确率。

③可以高效地计算出车辆的运动位移

运用特征点匹配算法计算车辆的运动位移，从三个方面提高特征点匹配算法的效率：一、利用运动车辆的前景信息缩小特征点提取和匹配的运算范围；二、通过对特征点匹配之后的结果统计前后特征点的尺度变化，然后根据统计结果进而更新图像金字塔参数，减少图像缩放的层数，减少提取特征点时的计算复杂度；三、通过计算待匹配特征点与匹配特征点在同一特征空间中的距离确定特征点的匹配关系，本发明基于特征矢量角降低特征点在特征空间中的搜索范围，降低特征点匹配算法的计算复杂度。

④可以根据算法结果准确判断当前车辆的行驶状态

根据运动目标的轨迹信息和先验的车道位置信息，可以判断目标是否有压线和违法变道的违章行为，根据速度的方向判断是否逆行，根据速度的大小判断是否超速。

总之，本发明适用于治安卡口系统、闯红灯电子警察系统等系统中。

附图说明

图1是智能网络摄像机的结构方框图；

图2是网络摄像机+工业控制机的结构方框图；

图3是本方法的总体流程图；

图4是相机标定示意图。

图中：

A—智能网络摄像机；

B—网络摄像机；

C—工业控制机，

   C1—实时图片采集，C2—运动车辆轨迹分析，C3—检测结果输出处理；

1—LENS光学镜头；

2—CCD图像传感器；

3—FPGA可编程逻辑处理器；

4—视频捕获预处理器；

5—图像视频编码器；

6—SDRAM存储器；

7—DSP图像处理器；

8—ARM中心处理器。

具体实施方式

下面结合附图和实施例详细说明：

一、测速装置

1、智能网络摄像机(有DSP图像传感器)A

1)总体

如图1，本装置包括LENS光学镜头1、CCD图像传感器2、FPGA可编程逻辑处理器3、视频捕获预处理器4、图像视频编码器5、SDRAM存储器6、DSP图像处理器7、ARM中心处理器8；

LENS光学镜头1和CCD图像传感器2和FPGA可编程逻辑处理器3依次连接，实现图像序列采集功能；

FPGA可编程逻辑处理器3、视频捕获预处理器4、图像视频编码器5和ARM中心处理器8依次连接，实现图像视频编码存储和分发功能；

FPGA可编程逻辑处理器3、SDRAM存储器6、DSP图像处理器7和ARM中心处理器8依次连接，实现对图像序列智能分析功能。

2)主要功能部件

DSP图像处理器7：是主频1Ghz以上的高性能DSP图像处理器，本装置选用TMS320DM64X、TMS320DM81X等系列的DSP处理器。

DSP图像处理器7实现本发明提出的基于目标跟踪和特征点匹配的车辆测速方法，并将视频测速后的信息和分析结果传到ARM中心处理器8。

2、网络摄像机(无DSP图像传感器)B+工业控制机C

1)总体

如图2，本装置包括LENS光学镜头1、CCD图像传感器2、FPGA可编程逻辑处理器3、视频捕获预处理器4、图像视频编码器5、SDRAM存储器6、ARM中心处理器8和工业控制机C；

LENS光学镜头1和CCD图像传感器2和FPGA可编程逻辑处理器3依次连接，实现图像序列采集功能；

FPGA可编程逻辑处理器3、视频捕获预处理器4、图像视频编码器5和ARM中心处理器8依次连接，实现图像视频编码存储和分发功能；

FPGA可编程逻辑处理器3、视频捕获预处理器4、SDRAM存储器6、ARM中心处理器8和工业控制机C依次连接，实现对图像序列智能分析功能。

2)主要功能部件

网络摄像机B+工业控制机C与智能网络摄像机A的主要区别在于：

图片序列处理方法在工业控制机C上实现，而不是在DSP图像处理器7上实现；其他功能与智能网络摄像机A的实现相同。

工业控制机C：为高性能的工业级控制计算机，其主频高达3.0GHz，内存为2G。在工业控制机C中通过图片序列的分析处理技术，实现本发明提出的基于目标跟踪和特征点匹配的车辆测速方法，包括依次交互的实时图片采集C1、运动车辆轨迹分析C2和检测结果输出处理C3。

二、测速方法

如图3，本方法包括下列步骤：

第1、获得当前图像序列Fn-301；

第2、获得当前帧的灰度图像Y(n)-302；

Gray＝0.299×R+0.587×G+0.114×B，

R、G、B是图像Img的第i行第j列上R、G、B颜色分量的值，Gray为第i行第j列上的灰度值；

第3、根据背景建模获得当前帧运动车辆的位置信息P_Cur-303；

第4、判断上一图像序列是否含有目标序列，是则进入第5步骤，否则跳转到第7步骤；

第5、获得当前帧的运动目标的轨迹信息T-305；

A、计算上一帧图像中运动目标和当前帧运动目标的重合区域-305A；

B、根据目标间的重合区域来确定当前帧的目标序列-305B；

第6、判断是否需要提取特征点-306，是则进入第7步骤，否则跳转到第9步骤；

第7、判断目标和图像的比例是否大于阈值-307，是则进入第8步骤，否则跳转到第9步骤；

第8、提取特征点，并记录特征点信息-308；

第9、判断是否需要特征点匹配-309，是则进入第10步骤，否则跳转到第12步骤；

第10、特征点匹配，计算该目标的移动位移，进而求得该目标的瞬时行驶速度-310；

a、将待匹配特征点投射到特征空间中得到128维特征向量，其中第i个特征点的特征向量表示为：

R_i＝(r_i1，r_i2，……r_i128)

b、将匹配特征点投射到特征空间中得到128维特征向量，其中第i个特征点的特征向量表示为：

D_i＝(d_i1，d_i2，……d_i128)

c、特征点R_i与特征点D_i在特征空间中的距离表达为：

$d(R_i,D_i)=\sqrt{\underset{j=1}{\overset{128}{\mathrm{\Σ}}}{(r_{\mathrm{ij}}-d_{\mathrm{ij}})}^2}---\left(1\right)$

特征点R_i与特征点D_i的相似度用d(R_i，D_i)来度量，d(R_i，D_i)的值越小则表示特征点R_i与特征点D_i越相似；

d、要得到匹配的特征点，d(R_i，D_i)需要满足下式，式中ThresHold表示阈值；

第11、根据最终匹配结果，计算待匹配特征点与匹配特征点的尺度变化，进行分析，根据分析结果对算法参数进行更新-311；

A、计算待匹配特征点和匹配特征点任意两点间距离的比值-311A；

B、将结果加入到分析队列中-311B；

C、判断是否更新算法参数-311C，是则进入步骤D-311D，否则跳转到第12步骤-312；

D、更新算法参数-311D；

第12、判断运动目标的跟踪算法是否结束-312，是则进入第13步骤，否则跳转到第1步骤；

第13、求该运动目标所有瞬时速度的平均值-313，该值就是该车辆的实际行驶速度；实际行驶速度v_f由下式表示：

$v_f=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{v}_i---\left(3\right)$

v_i表示车辆瞬时速度，k表示跟踪过程结束后得到的瞬时速度的个数，k不是个定值，会随着实际的跟踪过程的长短发生变化。

三、相机标定示意图

算法结果得到的只是在图像上移动的像素点，需要相机标定来解决图像坐标系和实际物理坐标系的映射关系，进而求得在实际物理坐标系的行驶距离。如图4，完成相机标定，用户只需要输入如下参数即可：H表示相机的高度，D1表示图像的下边缘到相机的水平距离，D2表示图像的上边缘到相机的水平距离。

综上所述，本发明提供了一种基于目标跟踪和特征点匹配的运动车辆测速方法，依赖这两种方法可以准确地计算出车辆的实际行驶速度。

Claims (3)

1.一种基于目标跟踪和特征点匹配的运动车辆测速方法，其特征在于包括

以下步骤：

第1、获得当前图像序列Fn（301）；

第2、获得当前帧的灰度图像Y(n)（302）；

第3、根据背景建模获得当前帧运动车辆的位置信息P_Cur（303）；

第4、判断上一图像序列是否含有目标序列，是则进入第5步骤，否则跳转到第7步骤；

第5、获得当前帧的运动目标的轨迹信息T（305）；

第6、判断是否需要提取特征点（306），是则进入第7步骤，否则跳到第9步骤；

第7、判断目标和图像的比例是否大于阈值（307），是则进入第8步骤，否则跳转到第9步骤； 

第8、提取特征点，并记录特征点信息（308）；

第9、判断是否需要特征点匹配（309），是则进入第10步骤，否则跳转到第12步骤；

第10、特征点匹配，计算该目标的移动位移，进而求得该目标的瞬时行驶速度（310）；

第11、根据最终匹配结果，计算待匹配特征点与匹配特征点的尺度变化，进行分析，根据分析结果对算法参数进行更新（311）；

第12、判断有运动目标的跟踪算法是否已经结束（312），是则进入第13步骤，否则跳转到第1步骤；

第13、求该运动目标的所有的瞬时速度的平均值（313）。

2.按权利要求1所述的运动车辆测速方法，其特征在于所述的第5步骤：

A、计算上一帧图像中运动目标和当前帧运动目标的重合区域（305A）；

B、根据目标间的重合区域来确定当前帧的目标序列（305B）。

3.按权利要求1所述的运动车辆测速方法，其特征在于所述的第11步骤：

A、计算待匹配特征点和匹配特征点任意两点间距离的比值（311A）；

B、将结果加入到分析队列中（311B）；

C、判断是否更新算法参数（311C），是则进入步骤D（311D），否则跳转到第12步骤（312）；

D、更新算法参数（311D）。