CN107315095B - 基于视频处理的具有光照适应性的多车辆自动测速方法 - Google Patents

基于视频处理的具有光照适应性的多车辆自动测速方法 Download PDF

Info

Publication number
CN107315095B
CN107315095B CN201710464579.0A CN201710464579A CN107315095B CN 107315095 B CN107315095 B CN 107315095B CN 201710464579 A CN201710464579 A CN 201710464579A CN 107315095 B CN107315095 B CN 107315095B
Authority
CN
China
Prior art keywords
image
vehicle
frame
current
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710464579.0A
Other languages
English (en)
Other versions
CN107315095A (zh
Inventor
遆晓光
张浩鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710464579.0A priority Critical patent/CN107315095B/zh
Publication of CN107315095A publication Critical patent/CN107315095A/zh
Application granted granted Critical
Publication of CN107315095B publication Critical patent/CN107315095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于视频处理的具有光照适应性的多车辆自动测速方法,涉及一种多车辆自动测速方法。本发明为了解决现有的基于双目立体视觉进行车辆测速的方法存在的标定繁琐的问题和对安装精度要求高的问题。本发明首先利用摄像机采集视频图像建立初始背景图像并划定测速区域;然后利用摄像机采集待检测视频图像,提取摄像机所得待检测视频图像的当前帧图像,进行预处理;进行多目标检测得到车辆的位置特征和颜色特征,并利用上一帧图像对应图像检测区域中的车辆位置特征和颜色特征以及当前帧图像对应的车辆位置特征和颜色特征,进行多目标跟踪,并判断目标车辆是否驶出测速区域,并对目标进行测速。本发明适用于多车辆自动测速。

Description

基于视频处理的具有光照适应性的多车辆自动测速方法
技术领域
本发明涉及一种多车辆自动测速方法。
背景技术
随着机动车辆的日益增多,交通管理需要更为高效可行的办法以维持交通秩序。在现有车辆测速系统中,雷达测速、激光测速、线圈测速较为普及,技术也相对成熟;但是,雷达测速价格昂贵且容易被电子狗反侦测,而且雷达测速仪不提供多通道支持,这就是说一个雷达测速仪通常只能对单辆车进行测速,导致雷达测速效率较低;感应线圈测速只能用于固定点监测,测量重复性较低,数据波动性大,且安装感应线圈会对路面有一定破坏;激光测速精度高但数据重复性相当不好。所以相较而言,利用视觉方法进行测速,不用雷达,也无需传感器,只需安装视频摄像头,既能对行驶中的汽车实现精确测速,又能对超速违章车辆进行布控,在车辆测速中更具有潜在优势。基于视觉测速的方法分为:基于双目立体视觉的方法和基于视频图像处理的方法。
基于双目立体视觉的方法采用双目摄像机拍摄道路交通视频图像,利用立体视觉中深度感知的原理,从双目图像中得到目标的视差信息,完成对目标车辆的三维建模,再利用目标车辆的信息进行检测跟踪,通过计算每帧之间目标车辆移动的距离和已知的摄像机帧率获取目标车辆的速度,达到车辆测速的目的。但是,该类方法摄像机标定繁琐,对安装精度要求高,视差匹配和目标分割算法的计算量大,由此得到的车辆检测的实时性和适应性相对较差,实用性低,而且无法在光照较低的时候运行。
发明内容
本发明为了解决现有的基于双目立体视觉进行车辆测速的方法存在的标定繁琐的问题和对安装精度要求高的问题。
基于视频处理的具有光照适应性的多车辆自动测速方法,包括以下步骤:
步骤一、将摄像机固定在单向车道上方,在摄像机对应的单向车道上,人为划定测速起始线、测速终止线和车道左右边界线,将测速起始线、测速终止线和车道左右边界线合围区域定义为测量区域(W×H),宽为W米,长为H米;并将测量区域(W×H)在摄像机所得图像中对应的区域记为图像检测区域(w×h),宽为w个像素,长为h个像素,得到图像中对应的测速起始线对应线、测速终止线对应线和车道左右边界线对应线,以及图像检测区域中对应的测量区域含有车道数量NLine
步骤二、初始化帧数阈值Framebackground、背景迭代更新系数α、摄像机的帧率Fps、增强亮度阈值Tbrightness
摄像机采集视频图像,建立采集图像的初始背景图像;
步骤三、开始进行实时多车辆自动测速,首先摄像机采集待检测视频图像,提取摄像机所得待检测视频图像的当前帧图像;
步骤四、对步骤三得到的当前帧图像进行预处理,得到预处理后图像;
步骤五、利用背景图像和步骤四得到的预处理图像,进行多目标检测得到车辆的位置特征和颜色特征;所述的背景图像包括初始背景图像和更新的背景图像;
步骤六、利用当前帧的上一帧图像对应图像检测区域中的车辆位置特征和颜色特征以及当前帧图像对应的车辆位置特征和颜色特征,进行多目标跟踪,并判断目标车辆是否驶出测速区域,如果目标车辆驶离测速区域,则转入步骤七,否则转入步骤八;
步骤七、利用摄像机帧率和已确定的测量区域范围,对目标进行测速;然后转入步骤八;
步骤八、进行背景模型更新,得到更新的背景图像,转入步骤三。
进一步地,步骤二所述的建立采集图像的初始背景图像的过程包括以下步骤:
针对摄像机采集的视频图像,对当前帧图像进行预处理;然后建立背景图像:
如果当前帧为视频图像的第一帧,则将预处理后得到的第一帧图像I1(i,j)作为第一帧背景图像B1(i,j);否则根据预处理后得到的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),根据下面公式求出当前帧背景图像Bcurrent(i,j),
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标;
然后对帧数进行判断:
如果当前帧数小于或者等于帧数阈值Framebackground,则继续更新当前帧背景图像;如果当前帧数大于帧数阈值Framebackground,将当前帧得到背景图像Bcurrent(i,j)作为初始背景图像。
进一步地,针对摄像机采集的视频图像对当前帧图像进行预处理中所述的对当前帧图像进行预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j);如果图像亮度低于或者等于增强亮度阈值Tbrightness时,对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j)。
进一步地,步骤四所述预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j);如果图像亮度低于或者等于增强亮度阈值Tbrightness时,对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j)。
进一步地,步骤五所述进行多目标检测的过程包括以下步骤:
步骤五(A)、利用步骤四得到的当前帧图像Icurrent(i,j)和当前帧的上一帧的背景图像Bcurrent-1(i,j)得到当前帧差分图像Dcurrent(i,j):
Dcurrent(i,j)=|Icurrent(i,j)-Bcurrent-1(i,j)|
利用最大类间方差法对当前帧差分图像进行二值化处理,得到当前帧二值图像Rcurrent(i,j),再进行形态学运算中的开运算得到当前帧前景图像Fcurrent(i,j);找出当前帧前景图像Fcurrent(i,j)中每一个连通的区域,对每一个连通区域沿其轮廓用最小外接矩形标记出来;
步骤五(B)、根据所述的最小外接矩形,利用宽度约束筛选出车辆:
根据图像检测区域(w×h)和车道数量NLine的关系计算每个车道在图像中宽度
如果将连通区轮廓对应的最小外接矩形宽度长于wLine或者小于0.5wLine,则将连通区轮廓对应的最小外接矩形除去;
步骤五(C)、对保留的矩形进行图像检测区域约束,滤去图像检测区域以外的干扰矩形:
为防止出现滤去图像检测区域边界线上车辆的情况,将图像检测区域扩大;
检测到的外接矩形在扩大后的图像检测区域内,则认为该连通区轮廓内的物体为车辆,连通区轮廓最小外接矩形就是车辆轮廓最小外接矩形,简记为车辆轮廓外接矩形;获取当前帧内各个车辆轮廓外接矩形的大小和中心位置,分别定义为(w0×h0)current和(i0,j0)current,作为对应的位置特征;同时获得车辆轮廓外接矩形内颜色信息作为颜色特征。
进一步地,步骤六所述进行多目标跟踪的过程包括以下步骤:
步骤六(A)、利用步骤五中得到的当前帧的上一帧图像中车辆的轮廓外接矩形大小(w0×h0)current-1和矩形中心位置(i0,j0)current-1,保持当前帧的上一帧图像中车辆轮廓的外接矩形中心不变,将当前帧的上一帧图像中车辆轮廓外接矩形扩大,把扩大的车辆轮廓外接矩形定义为搜索窗口;
步骤六(B)、针对当前帧图像中每个搜索窗口进行车辆检测:
针对当前帧的上一帧图像中某个搜索窗口,在当前帧图像中确定与所述搜索窗口大小相等、位置相同的矩形作为当前帧图像中的检索窗口;
在当前帧图像的检索窗口中进行搜索,如果当前帧图像的检索窗口中存在车辆轮廓外接矩形,那么认为当前帧图像在检索窗口中的车辆轮廓外接矩形所对应的车辆与当前帧的上一帧图像所对应的搜索窗口中的车辆为同一辆车;如果当前帧图像检索窗口中不存在车辆轮廓外接矩形,则与当前帧图像检索窗口对应的当前帧的上一帧图像搜索窗口中的车辆在当前帧图像中已经驶离了图像检测区域;如果前帧图像中存在车辆轮廓外接矩形且不再任何检索窗口中,则该车辆为当前帧图像中新出现的车辆;
步骤六(C)、对于当前帧的上一帧和当前帧对应的同一辆车,利用当前帧的上一帧的彩色图像或者增强后的彩色图像,根据当前帧的上一帧中车辆所对应车辆轮廓外接矩形在搜索窗口中的颜色特征,利用连续自适应均值迁移算法,计算得到该车辆在当前帧中车辆轮廓外接矩形的大小和中心位置;然后将计算得到的该车辆在当前帧中车辆轮廓外接矩形的大小与当前帧中同一车辆车辆轮廓外接矩形大小,选择面积最小的车辆轮廓外接矩形所对应的位置作为当前帧中车辆的最终位置;
针对目标车辆在每帧中车辆的最终位置,如果车辆轮廓外接矩形越过图像检测区域(w×h)的起始线,则记录目标车辆此时的帧数,作为驶入测量区域的帧数Framein;如果车辆轮廓外接矩形越过图像检测区域(w×h)的终止线,则记录目标车辆此时的帧数,作为驶出测量区域的帧数Frameout
进一步地,步骤七所述对目标进行测速的过程包括以下步骤:
利用步骤六中得到的目标车辆驶入测量区域的帧数Framein和驶出测量区域的帧数Frameout,以及测量区域的长度H,进行速度计算,得到目标车辆速度v,计算公式如下:
进一步地,步骤八所述的进行背景模型更新的过程包括以下步骤:
利用步骤四得到的预处理后的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),求出当前帧背景图像Bcurrent(i,j):
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标。
进一步地,步骤五(C)中所述的将图像检测区域扩大的过程如下:
将图像检测区域以图像检测区域中心为基准扩大为(1.2w×1.2h)。
进一步地,步骤六(A)所述的将图像中车辆轮廓外接矩形扩大的过程如下:
将图像中车辆轮廓外接矩形的长度扩大为原来的2倍,宽度扩大为原来的1.3倍。
本发明具有以下有益效果:
1、本发明对摄像头安装精度要求不高,可以适应用各种作业人员实现安装,方便易用;同时本发明也不需要进行繁琐的标定,且实现测速方便。
2、摄像机帧率为40帧每秒时,最高车速为120km/h,实际测量范围为40m情况下,本发明方法测量车速误差小于等于4.2%,满足实际需求,且摄像机帧数越高测量误差越小,车速越小测量误差越小。
3、在光照充足的情况下,本发明方法车辆检测跟踪成功率在95%以上;在光照较差的情况下,本发明方法车辆检测跟踪成功率在80%以上。
4、本发明方法能够对多达10个目标车辆同时进行检测跟踪以及测速。
5、利用处理器为intel i5-3230m,主频2.6GHz的计算机运行,本发明方法每秒处理速度大于40帧,符合实时性要求。
附图说明
图1是具体实施方式一的流程图;
图2是测量区域示意图;
图3是建立图像检测区域的背景图像流程示意图;
图4是具体实施方式五中多目标检测的流程示意图;
图5是测试视频中建立的初始背景图像;
图6是测试视频中车辆检测图像。
具体实施方式
具体实施方式一:结合图1说明本实施方式,
基于视频处理的具有光照适应性的多车辆自动测速方法,包括以下步骤:
步骤一、将摄像机固定在单向车道上方,在摄像机对应的单向车道上,人为划定测速起始线、测速终止线和车道左右边界线,将测速起始线、测速终止线和车道左右边界线合围区域定义为测量区域(W×H),宽为W米,长为H米,如图2所示;并将测量区域(W×H)在摄像机所得图像中对应的区域记为图像检测区域(w×h),宽为w个像素,长为h个像素,得到图像中对应的测速起始线对应线、测速终止线对应线和车道左右边界线对应线,以及图像检测区域中对应的测量区域含有车道数量NLine
步骤二、初始化帧数阈值Framebackground(一般取500)、背景迭代更新系数α(一般取0.01)、摄像机的帧率Fps、增强亮度阈值Tbrightness(一般取80);
摄像机采集视频图像,建立采集图像初始背景图像;建立的初始背景图像,如图5所示。
步骤三、开始进行实时多车辆自动测速,首先摄像机采集待检测视频图像,提取摄像机所得待检测视频图像的当前帧图像;
步骤四、对步骤三得到的当前帧图像进行预处理,得到预处理后图像;
步骤五、利用背景图像和步骤四得到的预处理图像,进行多目标检测得到车辆的位置特征和颜色特征;所述的背景图像包括初始背景图像和更新的背景图像;
步骤六、利用当前帧的上一帧图像对应图像检测区域中的车辆位置特征和颜色特征以及当前帧图像对应的车辆位置特征和颜色特征,进行多目标跟踪,并判断目标车辆是否驶出测速区域,如果目标车辆驶离测速区域,则转入步骤七,否则转入步骤八;
步骤七、利用摄像机帧率和已确定的测量区域范围,对目标进行测速;然后转入步骤八;
步骤八、进行背景模型更新,得到更新的背景图像,转入步骤三。
具体实施方式二:结合图3说明本实施方式,
本实施方式步骤二所述的建立采集图像的初始背景图像的过程包括以下步骤:
针对摄像机采集的视频图像,对当前帧图像进行预处理;然后建立背景图像:
如果当前帧为视频图像的第一帧,则将预处理后得到的第一帧图像I1(i,j)作为第一帧背景图像B1(i,j);否则根据预处理后得到的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),根据下面公式求出当前帧背景图像Bcurrent(i,j),
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标;
然后对帧数进行判断:
如果当前帧数小于或者等于帧数阈值Framebackground,则继续更新当前帧背景图像;如果当前帧数大于帧数阈值Framebackground,将当前帧得到背景图像Bcurrent(i,j)作为初始背景图像。
其他步骤和参数与具体实施方式一相同。
具体实施方式三:
本实施方式针对摄像机采集的视频图像对当前帧图像进行预处理中所述的对当前帧图像进行预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波(一般使用3*3的矩形模版),得到预处理后的图像Icurrent(i,j),其中i,j为图像像素坐标,;如果图像亮度低于或者等于增强亮度阈值Tbrightness时,利用《基于改进暗通道先验的快速低照度图像增强方法》(专利号:ZL20130325849.1)所述的方案对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波(一般使用3*3的矩形模版),得到预处理后的图像Icurrent(i,j)。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四:
本实施方式步骤四所述预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波(一般使用3*3的矩形模版),得到预处理后的图像Icurrent(i,j),其中i,j为图像像素坐标,;如果图像亮度低于或者等于增强亮度阈值Tbrightness时,利用《基于改进暗通道先验的快速低照度图像增强方法》(专利号:ZL20130325849.1)所述的方案对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波(一般使用3*3的矩形模版),得到预处理后的图像Icurrent(i,j)。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五:结合图4说明本实施方式,
本实施方式步骤五所述进行多目标检测的过程包括以下步骤:
步骤五(A)、利用步骤四得到的当前帧图像Icurrent(i,j)和当前帧的上一帧的背景图像Bcurrent-1(i,j)得到当前帧差分图像Dcurrent(i,j):
Dcurrent(i,j)=|Icurrent(i,j)-Bcurrent-1(i,j)|
利用最大类间方差法(OTSU)对当前帧差分图像进行二值化处理,得到当前帧二值图像Rcurrent(i,j),再进行形态学运算中的开运算(一般选取3*3的矩形模版)得到当前帧前景图像Fcurrent(i,j);找出当前帧前景图像Fcurrent(i,j)中每一个连通的区域,对每一个连通区域沿其轮廓用最小外接矩形标记出来;
利用步骤四得到的当前帧图像Icurrent(i,j)和当前帧的上一帧的背景图像Bcurrent-1(i,j)到当前帧差分图像Dcurrent(i,j)的过程中,如果是进行实时多车辆自动测速的第一帧图像,所述的背景图像为步骤二得到的初始背景图像;否则,进行实时多车辆自动测速时所述的背景图像为步骤八所得更新的背景图像;
步骤五(B)、根据所述的最小外接矩形,利用宽度约束筛选出车辆:
根据图像检测区域(w×h)和车道数量NLine的关系计算每个车道在图像中宽度
如果将连通区轮廓对应的最小外接矩形宽度长于wLine或者小于0.5wLine,则将连通区轮廓对应的最小外接矩形除去;
一般车道宽度为3.75m,中小型汽车宽度为1.5m-2.0m,大型汽车宽度为2m,根据车道与车辆的宽度关系,即车道宽度略大于车辆宽度,可以对当前帧前景图像中标记的矩形进行筛选,得到符合宽度条件的矩形;
步骤五(C)、对保留的矩形进行图像检测区域约束,滤去图像检测区域以外的干扰矩形:
为防止出现滤去图像检测区域边界线上车辆的情况,将图像检测区域扩大(一般地,将图像检测区域长度和宽度以图像检测区域中心为对称,扩大的图像检测区域为(1.2w×1.2h));
检测到的外接矩形在扩大后的图像检测区域内,则认为该连通区轮廓内的物体为车辆,连通区轮廓最小外接矩形就是车辆轮廓最小外接矩形,简记为车辆轮廓外接矩形;获取当前帧内各个车辆轮廓外接矩形的大小和中心位置,分别定义为(w0×h0)current和(i0,j0)current,作为对应的位置特征;同时获得车辆轮廓外接矩形内颜色信息作为颜色特征,可以将车辆轮廓外接矩形内像素点的颜色信息作为对应的颜色特征。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六:
本实施方式步骤六所述进行多目标跟踪的过程包括以下步骤:
步骤六(A)、利用步骤五中得到的当前帧的上一帧图像中车辆的轮廓外接矩形大小(w0×h0)current-1和矩形中心位置(i0,j0)current-1,保持当前帧的上一帧图像中车辆轮廓的外接矩形中心不变,将当前帧的上一帧图像中车辆轮廓外接矩形扩大,把扩大的车辆轮廓外接矩形定义为搜索窗口;
根据检测目标的车速,可以通过当前帧的上一帧图像中车辆位置和车辆行驶方向推断出当前帧车辆的大致位置;一般地,中小型汽车长度4m-5m,大型汽车长度8m-12m,如果考虑车速不高于40m/s的情况,摄像机帧频24帧/s,即车辆速度不高于1.7m/帧,即车辆每帧位移不超过车辆长度的0.425倍;所以可以适当的调整车辆外接轮廓矩阵扩大的标准,例如将当前帧的上一帧图像中车辆轮廓外接矩形的长度扩大为原来的2倍,宽度扩大为原来的1.3倍,就可以完成车辆的准确测速;
步骤六(B)、针对当前帧图像中每个搜索窗口进行车辆检测:
针对当前帧的上一帧图像中某个搜索窗口(扩大的车辆轮廓外接矩形),在当前帧图像中确定与所述搜索窗口大小相等、位置相同的矩形作为当前帧图像中的检索窗口;
在当前帧图像的检索窗口中进行搜索,如果当前帧图像的检索窗口中存在车辆轮廓外接矩形,那么认为当前帧图像在检索窗口中的车辆轮廓外接矩形所对应的车辆与当前帧的上一帧图像所对应的搜索窗口中的车辆为同一辆车;如果当前帧图像检索窗口中不存在车辆轮廓外接矩形,则与当前帧图像检索窗口对应的当前帧的上一帧图像搜索窗口中的车辆在当前帧图像中已经驶离了图像检测区域;如果前帧图像中存在车辆轮廓外接矩形且不再任何检索窗口中,则该车辆为当前帧图像中新出现的车辆;
步骤六(C)、对于当前帧的上一帧和当前帧对应的同一辆车,利用当前帧的上一帧的彩色图像或者增强后的彩色图像,根据当前帧的上一帧中车辆所对应车辆轮廓外接矩形在搜索窗口中的颜色特征,利用连续自适应均值迁移算法(Camshift),计算得到该车辆在当前帧中车辆轮廓外接矩形的大小和中心位置;然后将计算得到的该车辆在当前帧中车辆轮廓外接矩形的大小与当前帧中同一车辆车辆轮廓外接矩形(通过步骤五所述方法得到的与当前帧的上一帧中车辆是同一车辆在当前帧内所对应的车辆车辆轮廓外接矩形)大小,选择面积最小的车辆轮廓外接矩形所对应的位置作为当前帧中车辆的最终位置;
针对目标车辆在每帧中车辆的最终位置,如果车辆轮廓外接矩形越过图像检测区域(w×h)的起始线,则记录目标车辆此时的帧数,作为驶入测量区域的帧数Framein;如果车辆轮廓外接矩形越过图像检测区域(w×h)的终止线,则记录目标车辆此时的帧数,作为驶出测量区域的帧数Frameout
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七:
本实施方式步骤七所述对目标进行测速的过程包括以下步骤:
利用步骤六中得到的目标车辆驶入测量区域的帧数Framein和驶出测量区域的帧数Frameout,以及测量区域的长度H,即测量区域的起始线与终止线间的距离H,进行速度计算,得到目标车辆速度v,计算公式如下:
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八:
本实施方式步骤八所述的进行背景模型更新的过程包括以下步骤:
利用步骤四得到的预处理后的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),求出当前帧背景图像Bcurrent(i,j):
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九:
本实施方式步骤五(C)中所述的将图像检测区域扩大的过程如下:
将图像检测区域以图像检测区域中心为基准扩大为(1.2w×1.2h)。
其他步骤和参数与具体实施方式一至八之一相同。
具体实施方式十:
本实施方式步骤六(A)所述的将图像中车辆轮廓外接矩形扩大的过程如下:
将图像中车辆轮廓外接矩形的长度扩大为原来的2倍,宽度扩大为原来的1.3倍。
其他步骤和参数与具体实施方式一至九之一相同。

Claims (10)

1.基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,包括以下步骤:
步骤一、将摄像机固定在单向车道上方,在摄像机对应的单向车道上,人为划定测速起始线、测速终止线和车道左右边界线,将测速起始线、测速终止线和车道左右边界线合围区域定义为测量区域(W×H),宽为W米,长为H米;并将测量区域(W×H)在摄像机所得图像中对应的区域记为图像检测区域(w×h),宽为w个像素,长为h个像素,得到图像中对应的测速起始线对应线、测速终止线对应线和车道左右边界线对应线,以及图像检测区域中对应的测量区域含有车道数量NLine
步骤二、初始化帧数阈值Framebackground、背景迭代更新系数α、摄像机的帧率Fps、增强亮度阈值Tbrightness
摄像机采集视频图像,建立采集图像的初始背景图像;
步骤三、开始进行实时多车辆自动测速,首先摄像机采集待检测视频图像,提取摄像机所得待检测视频图像的当前帧图像;
步骤四、对步骤三得到的当前帧图像进行预处理,得到预处理后图像;
步骤五、利用背景图像和步骤四得到的预处理图像,进行多目标检测得到车辆的位置特征和颜色特征;所述的背景图像包括初始背景图像和更新的背景图像;
步骤六、利用当前帧的上一帧图像对应图像检测区域中的车辆位置特征和颜色特征以及当前帧图像对应的车辆位置特征和颜色特征,进行多目标跟踪,并判断目标车辆是否驶出测速区域,如果目标车辆驶离测速区域,则转入步骤七,否则转入步骤八;
步骤七、利用摄像机帧率和已确定的测量区域范围,对目标进行测速;然后转入步骤八;
步骤八、进行背景模型更新,得到更新的背景图像,转入步骤三。
2.根据权利要求1所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤二所述的建立采集图像的初始背景图像的过程包括以下步骤:
针对摄像机采集的视频图像,对当前帧图像进行预处理;然后建立背景图像:
如果当前帧为视频图像的第一帧,则将预处理后得到的第一帧图像I1(i,j)作为第一帧背景图像B1(i,j);否则根据预处理后得到的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),根据下面公式求出当前帧背景图像Bcurrent(i,j),
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标;
然后对帧数进行判断:
如果当前帧数小于或者等于帧数阈值Framebackground,则继续更新当前帧背景图像;如果当前帧数大于帧数阈值Framebackground,将当前帧得到背景图像Bcurrent(i,j)作为初始背景图像。
3.根据权利要求2所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,针对摄像机采集的视频图像对当前帧图像进行预处理中所述的对当前帧图像进行预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j);如果图像亮度低于或者等于增强亮度阈值Tbrightness时,对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j)。
4.根据权利要求1至3之一所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤四所述预处理的过程包括以下步骤:
如果当前帧图像的亮度高于增强亮度阈值Tbrightness,那么将彩色图像转成灰度图像,再将得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j);如果图像亮度低于或者等于增强亮度阈值Tbrightness时,对彩色图像进行增强,得到增强后彩色图像,再将增强后彩色图像转成灰度图像,最后对得到的灰度图像进行高斯平滑滤波,得到预处理后的图像Icurrent(i,j)。
5.根据权利要求4所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤五所述进行多目标检测的过程包括以下步骤:
步骤五(A)、利用步骤四得到的当前帧图像Icurrent(i,j)和当前帧的上一帧的背景图像Bcurrent-1(i,j)得到当前帧差分图像Dcurrent(i,j):
Dcurrent(i,j)=|Icurrent(i,j)-Bcurrent-1(i,j)|
利用最大类间方差法对当前帧差分图像进行二值化处理,得到当前帧二值图像Rcurrent(i,j),再进行形态学运算中的开运算得到当前帧前景图像Fcurrent(i,j);找出当前帧前景图像Fcurrent(i,j)中每一个连通的区域,对每一个连通区域沿其轮廓用最小外接矩形标记出来;
步骤五(B)、根据所述的最小外接矩形,利用宽度约束筛选出车辆:
根据图像检测区域(w×h)和车道数量NLine的关系计算每个车道在图像中宽度
如果将连通区轮廓对应的最小外接矩形宽度长于wLine或者小于0.5wLine,则将连通区轮廓对应的最小外接矩形除去;
步骤五(C)、对保留的矩形进行图像检测区域约束,滤去图像检测区域以外的干扰矩形:
为防止出现滤去图像检测区域边界线上车辆的情况,将图像检测区域扩大;
检测到的外接矩形在扩大后的图像检测区域内,则认为该连通区轮廓内的物体为车辆,连通区轮廓最小外接矩形就是车辆轮廓最小外接矩形,简记为车辆轮廓外接矩形;获取当前帧内各个车辆轮廓外接矩形的大小和中心位置,分别定义为(w0×h0)current和(i0,j0)current,作为对应的位置特征;同时获得车辆轮廓外接矩形内颜色信息作为颜色特征。
6.根据权利要求5所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤六所述进行多目标跟踪的过程包括以下步骤:
步骤六(A)、利用步骤五中得到的当前帧的上一帧图像中车辆的轮廓外接矩形大小(w0×h0)current-1和矩形中心位置(i0,j0)current-1,保持当前帧的上一帧图像中车辆轮廓的外接矩形中心不变,将当前帧的上一帧图像中车辆轮廓外接矩形扩大,把扩大的车辆轮廓外接矩形定义为搜索窗口;
步骤六(B)、针对当前帧图像中每个搜索窗口进行车辆检测:
针对当前帧的上一帧图像中某个搜索窗口,在当前帧图像中确定与所述搜索窗口大小相等、位置相同的矩形作为当前帧图像中的检索窗口;
在当前帧图像的检索窗口中进行搜索,如果当前帧图像的检索窗口中存在车辆轮廓外接矩形,那么认为当前帧图像在检索窗口中的车辆轮廓外接矩形所对应的车辆与当前帧的上一帧图像所对应的搜索窗口中的车辆为同一辆车;如果当前帧图像检索窗口中不存在车辆轮廓外接矩形,则与当前帧图像检索窗口对应的当前帧的上一帧图像搜索窗口中的车辆在当前帧图像中已经驶离了图像检测区域;如果前帧图像中存在车辆轮廓外接矩形且不再任何检索窗口中,则该车辆为当前帧图像中新出现的车辆;
步骤六(C)、对于当前帧的上一帧和当前帧对应的同一辆车,利用当前帧的上一帧的彩色图像或者增强后的彩色图像,根据当前帧的上一帧中车辆所对应车辆轮廓外接矩形在搜索窗口中的颜色特征,利用连续自适应均值迁移算法,计算得到该车辆在当前帧中车辆轮廓外接矩形的大小和中心位置;然后将计算得到的该车辆在当前帧中车辆轮廓外接矩形的大小与当前帧中同一车辆车辆轮廓外接矩形大小,选择面积最小的车辆轮廓外接矩形所对应的位置作为当前帧中车辆的最终位置;
针对目标车辆在每帧中车辆的最终位置,如果车辆轮廓外接矩形越过图像检测区域(w×h)的起始线,则记录目标车辆此时的帧数,作为驶入测量区域的帧数Framein;如果车辆轮廓外接矩形越过图像检测区域(w×h)的终止线,则记录目标车辆此时的帧数,作为驶出测量区域的帧数Frameout
7.根据权利要求6所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤七所述对目标进行测速的过程包括以下步骤:
利用步骤六中得到的目标车辆驶入测量区域的帧数Framein和驶出测量区域的帧数Frameout,以及测量区域的长度H,进行速度计算,得到目标车辆速度v,计算公式如下:
8.根据权利要求7所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤八所述的进行背景模型更新的过程包括以下步骤:
利用步骤四得到的预处理后的当前帧图像Icurrent(i,j)和当前帧的上一帧背景图像Bcurrent-1(i,j),求出当前帧背景图像Bcurrent(i,j):
Bcurrent(i,j)=αIcurrent(i,j)+(1-α)Bcurrent-1(i,j)
式中,Bcurrent(i,j)为当前帧背景图像,Bcurrent-1(i,j)为当前帧的上一帧背景图像,α为背景迭代更新系数,i,j为图像像素坐标。
9.根据权利要求8所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤五(C)中所述的将图像检测区域扩大的过程如下:
将图像检测区域以图像检测区域中心为基准扩大为(1.2w×1.2h)。
10.根据权利要求9所述基于视频处理的具有光照适应性的多车辆自动测速方法,其特征在于,步骤六(A)所述的将图像中车辆轮廓外接矩形扩大的过程如下:
将图像中车辆轮廓外接矩形的长度扩大为原来的2倍,宽度扩大为原来的1.3倍。
CN201710464579.0A 2017-06-19 2017-06-19 基于视频处理的具有光照适应性的多车辆自动测速方法 Active CN107315095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710464579.0A CN107315095B (zh) 2017-06-19 2017-06-19 基于视频处理的具有光照适应性的多车辆自动测速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464579.0A CN107315095B (zh) 2017-06-19 2017-06-19 基于视频处理的具有光照适应性的多车辆自动测速方法

Publications (2)

Publication Number Publication Date
CN107315095A CN107315095A (zh) 2017-11-03
CN107315095B true CN107315095B (zh) 2019-07-02

Family

ID=60181859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464579.0A Active CN107315095B (zh) 2017-06-19 2017-06-19 基于视频处理的具有光照适应性的多车辆自动测速方法

Country Status (1)

Country Link
CN (1) CN107315095B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022429B (zh) * 2016-11-04 2021-08-27 浙江大华技术股份有限公司 一种车辆检测的方法及装置
CN109030854B (zh) * 2018-06-08 2020-11-10 电子科技大学 一种基于rgb图像的步速测量方法
JP7213158B2 (ja) * 2019-07-09 2023-01-26 株式会社小野測器 状態計測装置及び状態計測方法
CN110532989B (zh) * 2019-09-04 2022-10-14 哈尔滨工业大学 一种海上目标自动探测方法
CN111009012B (zh) * 2019-11-29 2023-07-28 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111914675A (zh) * 2020-07-09 2020-11-10 武汉万集信息技术有限公司 一种车辆轴数确定方法及装置
CN111862511B (zh) * 2020-08-10 2021-08-24 湖南海森格诺信息技术有限公司 基于双目立体视觉的目标入侵检测装置及其方法
CN112133104B (zh) * 2020-08-21 2022-11-01 浙江大华技术股份有限公司 一种车辆信息检测方法、装置、系统及存储介质
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN114527294B (zh) * 2022-04-24 2022-07-26 安徽科大擎天科技有限公司 一种基于单个摄像头的目标速度测量方法
CN116311965A (zh) * 2023-05-19 2023-06-23 青岛海信网络科技股份有限公司 确定车辆行驶速度的方法及装置、电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法
CN101800890A (zh) * 2010-04-08 2010-08-11 北京航空航天大学 一种高速公路监控场景下多车辆视频跟踪方法
CN102810250A (zh) * 2012-07-31 2012-12-05 长安大学 基于视频的多车型交通信息检测方法
CN103456028A (zh) * 2013-08-30 2013-12-18 浙江立元通信技术有限公司 一种运动目标检测方法
CN104504913A (zh) * 2014-12-25 2015-04-08 珠海高凌环境科技有限公司 视频车流检测方法及装置
CN104575003A (zh) * 2013-10-23 2015-04-29 北京交通大学 一种基于道路监控视频的车辆速度检测方法
CN105761504A (zh) * 2016-05-17 2016-07-13 重庆大学 基于非均匀视频图像帧采集的车速实时测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法
CN101800890A (zh) * 2010-04-08 2010-08-11 北京航空航天大学 一种高速公路监控场景下多车辆视频跟踪方法
CN102810250A (zh) * 2012-07-31 2012-12-05 长安大学 基于视频的多车型交通信息检测方法
CN103456028A (zh) * 2013-08-30 2013-12-18 浙江立元通信技术有限公司 一种运动目标检测方法
CN104575003A (zh) * 2013-10-23 2015-04-29 北京交通大学 一种基于道路监控视频的车辆速度检测方法
CN104504913A (zh) * 2014-12-25 2015-04-08 珠海高凌环境科技有限公司 视频车流检测方法及装置
CN105761504A (zh) * 2016-05-17 2016-07-13 重庆大学 基于非均匀视频图像帧采集的车速实时测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于监控视频的运动车辆检测与违章分析;杜厚鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515(第05期);第10、15-30、37-42页
基于运动目标检测与跟踪视频测速算法的研究;王光玲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215(第S2期);第15、18、24、43-44、58、60-67页
视频测速系统中阴影消除及多目标跟踪研究;陈文杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121215(第12期);第5-12、30-31、39-40页

Also Published As

Publication number Publication date
CN107315095A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107315095B (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN1223964C (zh) 用于测量车辆队列长度的装置和方法
CN107392103A (zh) 路面车道线的检测方法及装置、电子设备
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
US20100104137A1 (en) Clear path detection using patch approach
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
CN104063882B (zh) 一种基于双目的车辆视频测速方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN103617412A (zh) 实时车道线检测方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN104657727A (zh) 一种车道线的检测方法
CN102354457A (zh) 基于广义霍夫变换的交通信号灯位置检测方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN110020642A (zh) 一种基于车辆检测的能见度识别方法
CN109543613A (zh) 基于tof成像的车辆行驶速度及车牌识别系统及方法
CN111047879A (zh) 一种车辆超速检测方法
CN117690303B (zh) 一种基于交通数据采集的噪声预警系统、装置及预警方法
CN103679121A (zh) 采用视差图像检测路边的方法及系统
CN103093214B (zh) 一种基于车载红外相机的行人检测方法
CN107122732A (zh) 一种监控场景下高鲁棒性的快速车牌定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant