CN104063882B - 一种基于双目的车辆视频测速方法 - Google Patents

Abstract

一种基于双目的车辆视频测速方法，包括以下步骤：步骤1、并对采集到的灰度值图像进行滤波处理，得到锐化后的灰度图像；步骤2、对灰度图像提取图像的边缘信息；步骤3、对边缘图像进行凹型模板滤波处理得到处理过的边缘系数图像；步骤4、再对边缘系数图像做差分处理将图像中灰度变化大的点突出来；步骤5、经过上面突出的点并非边缘点，将图像按初始设定的阈值进行二值化处理，达到边缘的精确定位；步骤6、利用边缘检测对原始图像进行更新，然后将更新的图像做二值化处理；步骤7、二值化后提取图像做数学形态学的优化。步骤8、采用占空比来对机动车进行分割识别，对运动车辆的跟踪；步骤9、双目校正车速。

Description

一种基于双目的车辆视频测速方法

技术领域

本发明涉及车辆测速技术领域，具体提供了一种基于双目的车辆视频测速方法。

背景技术

近年来，随着我国道路交通事业的快速发展和人民生活水平的提高，机动车的数量猛增.在给人们带来方便的同时，也带来了众多问题，特别是车辆的违法行为屡见不鲜，道路交通事故频繁发生。

数据显示,机动车保有量并不是世界第一的中国每年在交通事故中丧生的人数却是世界上最高的，连续十年居世界首位。2011年在严格禁止酒驾后,在我国交通事故中共有62387人死亡，而其中三分之二以上的死亡是由于违章驾驶引起的，违章的主要原因是超速和酒驾。因此对机动车进行实时测速，警示驾驶员按章行车非常有必要。

如何有效地监控机动车的超速违法驾驶行为受到了各方的重视，利用高科技来遏制交通违法行为成为很多国家交通部门的首选，智能化道路测速系统作为道路监控系统的一个重要组成部分，不但可以监控道路，更关键的是通过监控可以约束很多司机的超速心理，减少交通事故的发生，在交通安全的管理中发挥着重要的作用。

如何正确判断事故发生的原因是交警在道路交通事故处理中的关键。如果能够准确测知在发生事故时的车辆行驶速度不但可以确定交通事故的性质，还可以此为依据分析事故发生的原因；并且确定事故车辆的行驶速度也是判断交通事故责任的主要依据。

随着科技的发展，各国都在开发智能交通系统,采用视频测速和跟踪是智能交通系统的核心。通过视频测速系统可以实时地了解到道路交通状况，车辆行驶的数据，特别是对超速行驶车辆的记录。尤其是在易发生拥堵和事故多发地段，通过安装视频监控系统，可以及时地了解到道路车辆的数量和行驶速度等各种情况，对一些交通事故的控制和交通分析有着重要的作用。因此，将该视频测速技术改进，提高其准确度，可以在一定程度上减少交通事故的发生，具有广阔的应用前景和巨大的社会效益及经济效益。

最早用于交通测速的是1947年在美国出现在雷达测速仪，1983年之后又将雷达和相机结合进行联合作业，随着科技的发展，出现了很多种测速方式：光电测速、红外线测速、地感线圈测速、微波测速、超声波测速等。

车载测速主要是利用车上放置的数码照相机对超速车辆进行拍照记录，将超速车辆的各种信息如车牌号、行驶的当前速度显示在车载屏幕上，并且自动储存该车辆的各种记录，然后通知前方各监测站口进行拦截处理，这种传统的测速方法主要依靠雷达测速装置。智能测速系统主要有地感线圈测速、雷达测速、微波测速、激光测速、视频测速等。

线圈测速是用多股铜线缠绕制作感应线圈，将测速线圈埋设在要监测的车道或者区域的地下。有车辆通过线圈上方时，会产生感应电流引起线圈的磁场变化，检测器根据车辆经过两个线圈的时间差计算出车辆速度。线圈测速中最常见的是双线圈方式，将两个传感器线圈埋设在不同的位置，由于线圈的埋设距离是固定的，因此用这种方式测量的精度高且成本低，但由于线圈在安装时须进入地下，在施工过程中会影响交通，维护也相对不易，并且线圈的寿命会受到埋设方式的影响，最好是地铺设道路时掩埋，否则路已铺设好了，再挖开埋设线圈会对道路造成破坏。

雷达测速是利用了多普勒第二定律，雷达以固定频率发出持续或间断的雷达波，当雷达和监测的物体之间有相对运动时，雷达接收到的信号和发出的信号会发生频移，出现频率差，利用频率差就可以计算出物体相对雷达的运动速度。雷达测速系统工作时要求正对物体，测量角度偏差不能大于十度，既可用于固定场合也可以用于移动车载方式。雷达测速精度高,安装简便,但是价格较高且产生的辐射对人体有害并且容易被电子狗反检测,检测结果也可能受到相邻车道行驶车辆的干扰.

激光测速原理类似雷达，主要是建立在光波测距的基础上，利用激光对运动物体的多次偏移与测距的时间之比，通过相对差计算出其运动速度，准确性好，精度高。但激光测速也有弱点，一次只能锁定一辆车，数据重复性不好，而且必须有专人操作。

视频检测的系统将高清晰的摄像机安装在车道旁边的电线杆上或者路边，拍摄车辆运动视频，运用图像处理与模式识别方法对接收到的图像序列进行分析，获取图像中车辆在两帧间的位移，从而得到车辆的行驶速度。目前国内外的视频测速系统主要是单目摄像机和双目摄像机水平测速。

进入新世纪以来，三维技术得到了快速的发展，许多国家开始研究将3D技术引入到车辆测速中。在当前硬件体系和科技条件下，基于图像的三维立体系统是一个精密系统，系统对各个部件的精度要求很高。要构建基于图像的三维测量系统，需要具有高精度外参数Rt的对摄像机，或者固定摄像机的位置。高精度不但要求摄像机的分辨率要高而且要求固定摄像机的支架要牢固，当支架受到风吹或外力的作用发生晃动时就会影响检测的结果，且系统需要每隔一段时间就对系统进行重新标定以保证系统精度。且这种系统在进行计算的时候需要进行图像配准，因为算法比较复杂，所用到的数据量也很大，因此图像配准的时间代价通常比较高。此外，要想得到更加精确的数据，只用两台摄像机是无法解决图像的配准问题，至少需要3台以上的摄像机才能从理论上解决图像配准的问题，所以三维重建方案对于道路测速系统而言，是不太现实的。

视频测速系统无需专用测速设备,结构简单,工作的稳定性较高，用于测速的摄像机同时还可以当作监控使用，提高了设备的利用率。不管是单目摄像机还是双目水平摄像机安装在室外，会遇到风吹、日晒、雨淋，在交通流量大的时候过往的车辆会引起摄像机的震动，导致影像模糊或抖动，而且会是长时间处于震动中。这就要求我们的摄像机系统一定是一个鲁棒性强的系统，在双目摄像的情况下两个摄像机要保持相对独立，自行测算车速，通过另一台摄相机来进行修正数据。

视频测速的关键是测量的精度，外部环境的影响经过长期的积累可能会使测量的结果产生很大的偏差。这就需要定期对摄像机的参数进行设定，而且摄像机的精度还可能受到光照风吹的影响，这些都要求有专门的技术人员进行针对性地调度才能达到最佳效果。

虽然视频测速技术受到诸多条件的限制，但它有其突出的优势，如果在使用中避开它的缺陷，充分利用它的优点，再结合其他技术，就可以使它充分发挥作用。

发明内容

本发明的目的在于提供一种基于双目的车辆视频测速方法。

本发明因为采用以上技术方案，所以具备以下有益效果：

一种基于双目的车辆视频测速方法，其特征在于包括以下步骤：

步骤1、采集图像，并对采集到的灰度值图像进行滤波处理，平滑修正边缘，减小运动目标和背景的抖动，得到锐化后的灰度图像；

步骤2、对锐化后的灰度图像用Sobel算子提取图像的边缘信息；

步骤3、对边缘图像进行凹型模板滤波处理去除噪音得到处理过的边缘系数图像；

步骤4、再对边缘系数图像做差分处理将图像中灰度变化大的点突出来；

步骤5、经过上面突出的点并非边缘点，将图像按初始设定的阈值进行二值化处理，达到边缘的精确定位；

步骤6、利用边缘检测对原始图像进行更新，然后将更新的图像做二值化处理；

步骤7、二值化后提取图像做数学形态学的优化，达到清晰检测图像边缘的作用，将与检测目标连通的背景点合并到目标图像中；

步骤8、采用占空比来对机动车进行分割识别，对运动车辆进行跟踪；

采用如下公式进行速度测量：

Δt视为两帧运动图像间的时间间隔；

Δs为实际的车辆移动距离；

步骤9、双目校正车速；

步骤9具体包括以下步骤：H_CAM为摄像机距地面的高度；D_NEAR为图像最近端位置映射到世界坐标中的点距离摄像机的水平距离；D_FAR为图像最远端位置映射到世界坐标中的点距离摄像机的水平距离；O为摄像机的光心；H为图像的成像高度；P_v为检测车辆上一个点，在图像坐标系中的纵坐标上(即图像高度方向)对应点Q_v；dist为点Pv距离摄像机的水平距离；Y为点P_v距离地面的高度；

由世界坐标的数学关系得到：

∠θ＝arctan(D_NEAR/H_CAM) (3-10)

由图像坐标系的数学关系可推出：

可得：

车辆上任意点Pv到摄像机光心连线跟摄像机垂直方向所成的夹角：

由各角间的关系，可得到：

所以车辆到摄像机的水平距离：

dist＝tan∠φ·(_H_CAM-Y) (3-17)

利用上式可以计算车辆在两帧图像中距离摄像机的水平距离d₁，d₂，通过dist＝tan∠φ·(H_CAM-Y)得到，由此得出车辆的行驶速度为:

v＝(d₂-d₁)f (3-18)

f为摄像机的处理器在接收到两帧图像时的频率；

由于d₁到车辆的连线l和行车道不可能平行，设τ为连线和车道间的夹角的角度，根据下面的公式可以得到的速度的正确值：

v'＝v/cosτ (3-19)。

本发明因为采用以上技术方案，所以具备以下有益效果：

1、申请采用的帧差法是将背景的边缘信息融入到传统的差分法中，这样不但可以减少边缘引入的噪声，还不会增加算法复杂度，相当于改进了检测的预处理效果。

2、本申请的图像边缘提取的实质就是确定运动对象和背景的分界线，结合背景边缘的相邻帧差法将图像中大部分噪声去除，特别是可以基本上消除图像边缘的噪声，有利于用形态学的方法继续降噪，而且二次继续降噪中只需计算一次系数图像，不会给系统的计算造成太大的开销。

附图说明

图1为邻帧差法去噪流程图；

图2为序列图像的模板；

图3为腐蚀示意图；

图4为膨胀示意图；

图5为摄像机成像坐标图；

图6为摄像机安装示意图；

图7为双摄像机的架设示意图；

图8为图像分割流程图；

图9为面积缩减搜索跟踪流程图；

图10为第K帧图像；

图11为第K+1帧

图12为改进帧差图像；

图13为腐蚀后效果；

图14为膨胀后效果图；

图15为全方向膨胀流程图；

图16为全方向腐蚀流程图；

图17为sobel算子边缘图像；

图18均值滤波处理后图像灰度；

图19处理前图像灰度；

图20均值滤波流程图。

具体实施方式

改进的帧差法

相邻帧差法容易带有噪声污点，这些污点非常影响检测的结果。从以往的实验数据中可以分析得出这些噪声通常都集中在边缘。运动图像的噪声主要有两种原因产生，一种是背景边缘引入，另外车辆运行时也可能由车辆的边缘引入。

如何去除噪声污染是算法实现的关键。本申请采用的帧差法是将背景的边缘信息融入到传统的差分法中，这样不但可以减少边缘引入的噪声，还不会增加算法复杂度，相当于改进了检测的预处理效果。

算法流程如下图1所示：

在算法的开始阶段，要预先准备好一张没有车辆经过的道路背景图，利用Sobel算子Laplacian算子或者是Robert算子计算出图像边缘。

经过对边缘图像进行凹型模板滤波处理去除噪音得到处理过的边缘系数图像，再对边缘系数图像做差分处理将图像中灰度变化大的点突出来；经过上面突出的点并非边缘点的情况，这就要将图像按初始设定的阈值进行二值化处理，达到边缘的精确定位。

实际图像都会含有噪声，为了提高检测精度就要提高系统的抗噪性，由于噪声点一般聚集在图像的边缘区域，所以要通过滤波去除噪声，本文主要采用了凹型模板滤波去噪。设图像边缘在(x,y)处像素点的灰度值为I(x,y),该处的图像可以用下面的公式来表示：

A(x,y)＝I(x-2,y-2)+I(x+2,y-2)+I(x-2,y+2)+I(x+2,y+2)+2I(x-2,y-1)+2I(x-2,y+1)+2I(x+2,y-1)+2I(x+2,y+1)+2I(x-1,y-2)+2I(x-1,y+2)+2I(x+1,y-2)+2I(x+1,y+2)+3I(x-2,y)+3I(x+2,y)+3I(x,y-2)+3I(x,y+2)+3I(x-1,y-1)+3I(x-1,y+1)+3I(x+1,y-1)+3I(x+1,y+1) (3-1)

序列图像的模板如图2所示：

由于图像边缘象素的会呈现突变和奇异点，会产生较多的噪声，利用边缘检测对原始图像进行更新，然后将更新的图像做二值化处理。

利用边缘算子来提取图像可以减少孤立噪声点对最终图像的影响，但是图像边缘点的方向和幅度变是不样的，所以在形态学处理上存在缺陷：在对图像进行腐蚀过程中如果腐蚀模板较小则很难消除连续噪声；但模板较大则可能彻底改变图像的形状而使图像丢失部分重要像素点。

图像边缘提取的实质就是确定运动对象和背景的分界线，结合背景边缘的相邻帧差法将图像中大部分噪声去除，特别是可以基本上消除图像边缘的噪声，有利于用形态学的方法继续降噪，而且二次继续降噪中只需计算一次系数图像，不会给系统的计算造成太大的开销。

图像的腐蚀和膨胀

数学形态学是科学家们在研究岩石结构时创立的基于集合论的学科，主要通过物质结构间互相作用的数学运算获取物质的本质形态。利用形态学可以对图像进行分析和处理，改善图像的质量，提取图像的几何参数和特征。

经过融合背景的边缘帧差法已经大量减少了图像边缘的噪声，再用形态学中的腐蚀和膨胀对图像进一步地处理，通过滤波消除孤立的噪声，达到优质的降噪结果。

腐蚀在数学形态学运算中的作用是消除目标的边界点或那些无用点，可以将两个细微联通的物体分开。用一个3×3的结构元素(数值为0或者1的矩阵)去扫描采集到的图像中的每一个像素点，将结构元素中的像素和图像中的元素做“AND”操作，这样就可以消除比结构元素小的噪声点，达到消除物体边界噪声的效果。

假如原始二值图像为A(x,y)，模板结构元素为B(x,y)，则对应的腐蚀操作为：那么模板元素B则腐蚀二值图像A产生点集，点集中的点具有以下特点：若将结构元素B的原点移到点(x,y)处结构元素变为B(x,y)，那么B(x,y)的集合就是被腐蚀的结果。

腐蚀过程：将模板元素的原点(0,0)平移到原始二值图像A中的位置(x,y)，若模板元素上的点都被A覆盖，则模板元素中原点所在位置就标记为腐蚀结果，反之则剔除此点。最后遍历A中的所有点，得到就是最终腐蚀结果。

腐蚀示意图如图3所示：

在不同的使用场景，采用的处理算法是有区别的，是因为腐蚀的结果和结构模板元素的选择相关。从二值形态学的角度出发，腐蚀就是消除图像的边界点的操作，对图像内部像素做滤波处理，达到清晰检测图像边缘的作用。腐蚀操作的代码如下：

膨胀是将与检测物体接触的所有点合并到该物体的运算，应用于补充模块分割后的空洞，是腐蚀的对偶操作。设一个二值图像为A(x,y)，对应模板结构元素为B(x,y),膨胀表示为：也就是模板结构元素B对二值图像A的膨胀结果点集表示为：若将B的原点(0,0)平移到(x,y)处得到B(x,y)，那么它与A的交集一定是非空的。

膨胀过程：将模板元素B的原点平移到二值图像A的某个位置上，若B中某点与A中相对应点均为1，则B中原点所在位置就标记为膨胀后结果，反之则剔除此点。最后遍历A中所有点，得到就是膨胀结果。

膨胀示意图如图4所示。

与腐蚀操作类似，膨胀的结果也与模板的选择有关系。从二值形态学的角度来看，膨胀是将与检测目标连通的背景点合并到目标图像中，这样就可填补检测目标图像中的空洞，增大检测目标形成相通的区域。

膨胀操作的代码如下：

图像的开、闭运算是在腐蚀和膨胀的操作。对于二值图像A与模板结构元素B，我们做如下定义：

图像的开运算为：

图像的闭运算为：

开运算就是用结构模板先对图像做腐蚀运算再做膨胀运算，而闭运算则为对图像先做膨胀运算再进行腐蚀运算。开运算的功能是消除图像中特别是图像边缘的离散噪声和毛刺平滑边界，而闭运算则将填充图像内部的空洞，将临近的目标连起来，使图像的边界平滑。连续的进行开闭运算的迭代操作可以使图像的处理效果更好。

模板的选择在开运算中起关键作用，因为开运算都会使用相同的模板元素，这样使得运算不够灵活。选择的模板过大会将使车辆被分割成几段，即便用膨胀也不能恢复原状，模板过小则不能有效消除噪声，会把车窗、车轮和拖箱等分割开。鉴于上述原因，我们将算法做了改进，选择模板较小的腐蚀运算然后做模板较大的膨胀运算，不同的目标选择不同的闭运算。

车辆目标的分割识别

在视频测速中，图像分析技术非常重要，主要是对图标目标中重要区域进行检测，从而获取图像中的重要信息。图像分割是图像分析处理中非常重要的技术，将关键区域从图像中分离出来，可以对目标进一步利用，提取特征进行测量。

图像分割就是把图像分割成区域内特征相同、区域之间不重叠的图像的处理方法。常用的运动图像分割方法主要有三类：一种是利用模式识别对特征空间的特征向量采取聚类的方法，将预处理后的图像或差分图像按照提取的特征向量进行分割。第二种是利用不同运动目标图像的非连通性，对预处理后的二值图像用特征像素点的连通集进行分割；第三种是将图像识别和分割融合一起，先进行图像识别再利用识别的目标特征做进一步的分割。

对于本文的车辆运行图像的分割识别采用结合二值化特征进行，车辆是在车道上行驶的，不可能突然出现在监测屏幕的中间，都是从左侧或右侧区域进入监控屏幕，所以只需要在进入监控屏幕的某边缘区域运行。通常情况下的运动目标识别的特征有：图像轮廓复杂度、图像占空比、图像长宽比等。

一般情况下，车辆的外形都是比较规则的，一般呈长方形，而路过的行人或电动车自行车等外形比较复杂，我们可以利用图像轮廓的形状和面积的代数关系判断当前出现的前景较低是否为车辆。设图像轮廓复杂度为X_l，前景二值化图像的周长为l_f，面积为A_f，则图像轮廓复杂度为：

图像面积与接连图像面积的比值称为图像占空比。当图像的面积达到一定值时就表示有新车辆进入。设占空比为X_d，车辆前景的二值化图像的面积为A_f，接连面积A_c，则占空比的计算公式为：

二值化前景图像的长和宽的比例称作图像的长宽比，通常车辆的长宽比都在1-2.5之间。设图像的长宽比为X_r，前景二值化图像的长为l₁，宽为l_w，那么图像的长宽比为：

由于车辆初入检查区和离开时，都会有部分边无法看到，此时长宽比和轮廓度都会失去意义，因而本文提出先采用占空比来对机动车进行分割识别。

利用上文提到的相邻帧差法对图像进行更新，计算已有的前景图的各种图像信息，将已有的车辆置成背景。从第一帧图像的原始区域遍历各像素点，当搜索到前景点时要先进行判断，当前点为非前景点时还要继续搜索，将所有像素都遍历完后就等待下一帧。在进行判断的模块中，首先对车辆信息进行初始化得到预设值，设车辆长为L_f，宽为W_f，接着在设定值的扩展范围内(L_f+d)*(W_f+d)计算车辆的特征约束，并以此对新到的车辆进行判断。用到车辆的特征主要为：前景图像的占空比、车辆的长宽比及其他相关信息。

设车辆的形心为(xk，yk)，前景的长度为前景的宽度为对前景矩形区域做预处理得到的前景点个数为(W_f,L_f),扩展区域为前景区域周围的“回”字区域，扩展宽度为d，那么占空比为：

前景长宽比为：

利用图像占空比进行车辆分割时，要先沿机动车前景图像的四个方向扩展到可以搜索的最大范围，然后计算图像的占空比，再逐步缩小图像的前景区域，经过多次操作最终得到能包含所有前景点的最小区域。缩减的顺序操作要按照从左车身到车头再由右车身到车头的顺序。随后再利用长宽比进行修正，这个修正主要针对两辆相连进入区域的机动车产生的“粘联”。

当检测到正确的目标后，就要对前后帧中的该车辆进行跟踪和定位。利用当前目标的颜色特征和运动车辆的大小和所在的位置，包括上文提到的轮廓复杂度、占空比和长宽比。在下一帧车辆的运行图像中，用车辆当前的位置坐标初始化要进行的搜索窗口，找到能够匹配的目标就实现了对运动车辆的跟踪。

运动车辆当前的位置和大小就设定为搜索窗口的初始值，在进行搜索时为了节省时间在运动车辆可能会出现的区域附近进行搜索(由于两帧之间时间间隔很短，且机动车通常不会频繁变道和逆行，所以搜索范围并不太大)，这样就可以大大地减少搜寻时间。同时还借助颜色匹配和车辆特征值搜寻目标，在运动目标先进的过程中，因为目标的颜色相对变化不大，所以先根据颜色特征进行追踪的方式具有非常优秀的鲁棒性。

速度测量

在所有的测试方法中，都依据下面的公式：

首先我们对监控视频中的序列图像进行分析，找到这些连续帧的特点：

(1)连续2帧序列图像间的时间间隔是定长的；

(2)连续的2帧序列运动图像间的监测目标的位置会发生相对移动。

所以将Δt视为两帧运动图像间的时间间隔，这个时间是个固定值，可以由摄像机的采集频率获取。Δs则可以根据视频较低序列中运动图像的位移求出实际的车辆移动距离。

考虑到摄像机安装的位置和角度，对车辆的位移模型如下图5所示：

图5中H_CAM为摄像机距地面的高度；D_NEAR为图像最近端位置映射到世界坐标中的点距离摄像机的水平距离；D_FAR为图像最远端位置映射视同儿视世界坐标中的点距离摄像机的水平距离O为摄像机的光心；H为图像的成像高度；P_v为检测车辆上一个点，在图像坐标系中的纵坐标上(即图像高度方向)对应点Q_v；dist为点Pv距离摄像机的水平距离；Y为点P_v距离地面的高度。

由世界坐标的数学关系得到：

∠θ＝arctan(D_NEAR/H_CAM) (3-8)

由图像坐标系的数学关系可推出：

可得：

车辆上任意点Pv到摄像机光心连线跟摄像机垂直方向所成的夹角：

由图中的各角间的关系，可得到：

所以车辆到摄像机的水平距离：

dist＝tan∠φ·(H_CAM-Y) (3-15)

利用上式可以计算了车辆在两帧图像中距离摄像机的水平距离d₁，d₂。由此得出车辆的行驶速度为:

v＝(d₂-d₁)f (3-16)

f为摄像机的处理器在接收到两帧图像时的频率。

如图6所示。

由于d₁到车辆的连线l和行车道不可能平行，设τ为连线和车道间的夹角的角度，根据下面的公式可以得到的速度的正确值：

v′＝v/cosτ (3-17)

双目校正车速

由于一台摄像机遇到的状况会很多，有可能发生停止工作的情况，更有可能发生致命错误，所以本文采取了双目测速。用另一摄像机对当前摄像机测出的数据进行校正，为了提高工作的准备率，本文采用的双目摄像方式与传统方式不同，大众的双目摄像机都是在路边水平架设，而本课题中采用的是竖起架设的双目摄像校正方式。

在现今的理论体系和算法条件下，基于图像的三维重建系统是一个精密系统，系统对精度要求很高，要构建基于图像的测量系统往往需要对摄像机外参数Rt进行高精度标定或使用固化模具固定摄像机位置。而进行高精度标定不但要求摄像机的自标定的精度高，而且整个系统对安装的支架的稳定性有很高的要求，支架的微小的晃动有可能影响监测的结果，并且在系统运行过程中要定期对系统进行维护，重设标定以确保系统的精度稳定。要保持系统的稳定性需要对图像进行配准，配准需要的算法比较复杂而且数据量大，用两台摄像机无法安全解决配准问题，且需要的时间代价太高，所以对于道路监测而言，三维重建方案是不现实的。

安置在道路边的监测系统不但要承受日晒雨淋，关键是风吹和过往车辆引起的震动都会影响系统的稳定性，所以我们对车辆测速的摄像机系统一定要有很强的鲁棒性，摄像机之间是一个相对独立的有限精度的测量系统。即摄像机之间需要相对独立，一台摄像机行计算运行车辆的速度，用另外一台摄像机的计算数据来修正结果。而水平的双目会同时受到该震动的影响，且两台摄像机处于不同的振幅中，使测速的精度有所减低。

经过对影响监测的原因进行分析和论证，我们提出如下图所示的双目摄像测速系统。两台摄像机架设在垂直的位置上，系统对摄像机的架设结构施工要求较低(但仍需在架设摄像机时进行调试和校正)，同时系统的造价也较低。这样可以有效地消除水平双目由于震动影响较大造成测量误差。

图像预处理

图像的预处理是图像正式处理前的准备工作，因为车辆运行图像在采集过程中会受到各种噪声的污染和震动，本文中图像的预处理主要是对采集的灰度值图像进行简单的滤波处理，平滑修正边缘，减小运动目标和背景的抖动。主要对图像采取均值滤波的方法，使得灰度图像得到锐化。具体的均值滤波处理程和一个简单处理例子如图20、图19、图18所示。紧跟着给出算法部分代码。

均值滤波的伪代码如下：

在采集到锐化后的灰度图像后用Sobel算子提取图像的边缘信息。针对刚才给出的例子，处理结果如下图17所示。

图像的二值化

图像的二值化就是将图像上的像素点的灰度值设为0或者255，让整个图像呈现出黑白分明的效果。

在提取到图像的边缘信息后，要用改进相邻帧差法提取差分图像；然后进行二值化处理，二值化后提取图像做数学形态学的优化。本课题中用到的主要形态学运算是腐蚀和膨胀。两种运的作用和操作过程在上节都做了比较详细的介绍，本节就不赘述了。本文选用的是全方向膨胀和全方向腐蚀。

全方向腐蚀：本方案中选取的是3×3的腐蚀结构元素。全方向腐蚀的流程图如下面的流程图16所示。其算法主要是判断每个点左右上下的四个点中是否有存在背景点，若都有背景点，就对当前物体点做腐蚀操作，缩小检测目标。

全方向膨胀：本文采取的是3×3的膨胀结构元素进行膨胀。膨胀的流程图如下图15所示。其关键的操作是判断每个点的左右上下四个点中是否存在目标像素点，基有目标点，则标记当前目标点合并，使运动目标扩展。

经过系统处理得到的结果下图10到12所示：

图12，图13是对图14进行腐蚀和膨胀操作后得到的结果。从图中可以看出在处理后无论是车辆还是噪声毛刺都变大了。从上述图像可以看出，经过这一系列的操作系统比较准确地找到了运动目标。

结合图像识别的目标分割及位置跟踪

检测到运动目标后，结合本课题系统的视频图像特征对运动目标进行识别分割。分割操作如下图8所示：

车辆的特征检测算法主要采用占空比和长宽比对目标进行分割更新和修正：

对该目标的较低位置跟踪算法流程：

先将目标图像的模型由RGB式改为HSV模型。算法为：

max＝max(R,G,B)

min＝min(R,G,B)

if R＝max,H＝(G-B)/(max-min)

if G＝max,H＝2+(B-R)/(max-min)

if B＝max,H＝4+(R-G)/(max-min)

H＝H*60

if H<0,H＝H+360

V＝max(R,G,B)

S＝(max-min)/max

得到HSV颜色空间模型后首先选择初始搜索窗口，初始搜索窗口要能够包含整个跟踪车辆；然后对初始搜索窗口中的所有像素在HSV颜色空间H上的值进行采样，就可以得到图像的色彩直方图，这个直方图就作为寻找追踪的车辆的色彩直方图模型。

在跟踪搜索的过程中，通过比对跟踪目标的直方图模型，能够搜到视频图像中所有可能出现在目标区域的像素，计算出该像素作跟踪车辆像素的概率。经过搜索处理后，可以做出每帧视频图像的跟踪车辆模型的概率分布状况图。

为了便于得到目标图像的直观模型，将将分布图转化为8位的灰度分布图，概率为0的像素点的值设为灰度0，概率为1的像素点的值设为灰度255，其他概率的像素点值也转换成相应比例的灰度值^[41]。这样得到的灰度分布图中，像素越亮的点说明该像素为目标像素的概率越大。在灰度分布图得到车辆目标的位置后，可以用其轮廓值、占空比、长宽比对目标位置进行检验是否符合。

4.4双目车辆测速

在对目标车辆检测追踪检测后，开始对匹配的特征进行测速。

某轿车得到实验结果：

表4.1整体测量比较

表4-4-2某轿车跟踪速度测量

分析上述实验数据可以得出本方法对车辆测速的有效性，误差较小，精度高，可适应用于道路交通的智能监控中。相比于水平的双目车辆测速，竖直双目测速法消除了由于风吹、震动等引起的误差。

Claims (1)

1.一种基于双目的车辆视频测速方法，其特征在于包括以下步骤：

步骤1、采集图像，并对采集到的灰度值图像进行滤波处理，平滑修正边缘，减小运动目标和背景的抖动，得到锐化后的灰度图像；

步骤2、对锐化后的灰度图像用Sobel算子提取图像的边缘信息；

步骤3、对边缘图像进行凹型模板滤波处理去除噪音得到处理过的边缘系数图像；

步骤4、再对边缘系数图像做差分处理将图像中灰度变化大的点突出来；

步骤5、经过上面突出的点并非边缘点，将图像按初始设定的阈值进行二值化处理，达到边缘的精确定位；

步骤6、利用边缘检测对原始图像进行更新，然后将更新的图像做二值化处理；

步骤7、二值化后提取图像做数学形态学的优化，达到清晰检测图像边缘的作用，将与检测目标连通的背景点合并到目标图像中；

步骤8、采用占空比来对机动车进行分割识别，对运动车辆进行跟踪；

采用如下公式进行速度测量：

$V=\frac{\mathrm{\&Delta;}s}{\mathrm{\&Delta;}t}$

Δt视为两帧运动图像间的时间间隔；

Δs为实际的车辆移动距离；

步骤9、双目校正车速；

步骤9具体包括以下步骤：H_CAM为摄像机距地面的高度；D_NEAR为图像最近端位置映射到世界坐标中的点距离摄像机的水平距离；D_FAR为图像最远端位置映射到世界坐标中的点距离摄像机的水平距离；O为摄像机的光心；H为图像的成像高度；P_v为检测车辆上一个点，在图像坐标系中的纵坐标上，即图像高度方向上对应点Q_v；dist为点P_v距离摄像机的水平距离；Y为点P_v距离地面的高度；

由世界坐标系的数学关系得到：

∠θ＝arctan(D_NEAR/H_CAM) (3-10)

由图像坐标系的数学关系可推出：

$\&angle;\mathrm{\&psi;}=\arctan \left(\frac{\left|Q_v{O}^{\&prime;}\right|}{m}\right)---(3-13)$

可得：

$m=\frac{H/2}{tg\&angle;\mathrm{\&omega;}}---(3-14)$

车辆上任意点P_v到摄像机光心连线跟摄像机垂直方向所成的夹角：

$\&angle;\mathrm{\&phi;}=\arctan \left(\frac{dist}{H\_CAM-Y}\right)---(3-15)$

由各角间的关系，可得到：

所以车辆到摄像机的水平距离：

dist＝tan∠φ·(H_CAM-Y) (3-17)

利用公式3-17可以计算车辆在两帧图像中距离摄像机的水平距离d₁，d₂，由此得出车辆的行驶速度为:

v＝(d₂-d₁)f (3-18)

f为摄像机的处理器在接收到两帧图像时的频率；

由于d₁到车辆的连线l和行车道不可能平行，设τ为连线和车道间的夹角的角度，根据下面的公式可以得到的速度的正确值：

v'＝v/cosτ (3-19)。