CN116682268A - 基于机器视觉的便携式城市道路车辆违章稽查系统及方法 - Google Patents
基于机器视觉的便携式城市道路车辆违章稽查系统及方法 Download PDFInfo
- Publication number
- CN116682268A CN116682268A CN202310234734.5A CN202310234734A CN116682268A CN 116682268 A CN116682268 A CN 116682268A CN 202310234734 A CN202310234734 A CN 202310234734A CN 116682268 A CN116682268 A CN 116682268A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- license plate
- line
- boundary
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000007689 inspection Methods 0.000 title claims abstract description 24
- 238000003825 pressing Methods 0.000 claims abstract description 33
- 230000006399 behavior Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010295 mobile communication Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000012447 hatching Effects 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 abstract description 4
- 230000009977 dual effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Analytical Chemistry (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于机器视觉的便携式城市道路车辆违章稽查系统及方法;针对现代交通路况环境的特点,设计了一个便携式城市道路车辆违章稽查系统,基于此系统提出了车辆违章稽查方法,对行驶中或已停车的车辆进行两次检查,行驶中车辆可以不停车进行检查,根据车牌与道路标线的相对位置判定是否违法压线,检测到违法行为实时自动报警,并且设置的前后双摄像头双重检测提高识别准确性,进而提高了拦车的准确性,满足在智能交通管理系统下便携式上路稽查的需要。
Description
技术领域
本发明涉及智能交通管理技术领域,具体涉及基于机器视觉的便携式城市道路车辆违章稽查系统及方法。
背景技术
传统的人工判断、拦路车检效率低下,人均每小时查车不到15台,且稽查人员劳动强度大。同时拦路稽查容易造成交通堵塞,浪费正常车主和乘客的时间。最初的车辆违章稽查系统采用简单的图像处理技术,如边缘检测、形态学运算等,来提取车辆的特征,以检测违章行为。这种方法精度较低,容易受到环境因素的影响。随着摄像头技术的发展和计算机视觉算法的进步,车辆违章稽查系统开始采用视频分析技术,如目标跟踪、物体检测等,来提高违章行为的识别准确率和速度。近年来,深度学习技术的广泛应用使车辆违章稽查系统的性能得到了大幅提升。采用卷积神经网络(CNN)、循环神经网络(RNN)等深度学习模型,可以有效地提取图像和视频中的特征,并实现高精度的车辆和行人识别,同时可以自动学习和适应各种环境和场景,具有很强的鲁棒性和可扩展性。
尽管现有的车辆违章稽查系统采用了先进的图像处理和机器学习算法,但在复杂的交通场景中,如车流密集的路段、交叉口、隧道等,仍然存在误判和漏检的问题。便携式车辆违章稽查系统通常需要对不同的车辆和交通场景进行训练和调整,这对系统的适应性提出了一定的挑战。因此,如何实现上路检查时对行驶中或已停车的车辆进行不停车检查,实时自动报警,成为亟待解决的问题。
发明内容
针对现有技术的不足,本发明提供了基于机器视觉的便携式城市道路车辆违章稽查系统及方法;对行驶中或已停车的车辆进行两次检查,行驶中车辆可以不停车进行检查,根据车牌与道路标线的相对位置判定是否违法压线,检测到违法行为实时自动报警,提高了拦车的准确性,满足在智能交通管理系统下便携式上路稽查的需要。
基于机器视觉的便携式城市道路车辆违章稽查系统,具体包括:数据采集单元、前方车辆跟踪单元、违章识别单元、信息存储与传输单元;各单元具体工作如下:
所述数据采集单元是违章稽查系统的基础,利用其中的前后双摄像头实时获取目标车辆的前后图像,并存储在稽查系统信息存储与传输单元中;预置摄像头基本参数设定后,此单元会进行候选车辆识别区的标定,还设置抓拍频率和自动抓拍;
所述前方车辆跟踪单元首先从系统信息存储与传输单元读取当前的输入图像,然后对其进行包含灰度变化、中值滤波、数学形态学以及二值化的预处理,最后快速监测前方车辆的驶入和跟踪行驶轨迹;对前方车辆运动轨迹跟踪,并利用HSI色彩空间分割地面交通标线与标定,同时分割出汽车车牌区域并通过垂直投影法分割车牌字符,与字符库中字符比较后得到车牌信息;
所述违章识别单元用于判断前方车辆是否存在违章行为,与车辆跟踪模块和视频采集单元的自动抓拍功能联动实现违章行为的判定和取证;预置不同违章行为识别算法的设定,先将当前车牌与数据库中车牌比对判定是否存在违章,再结合地面标线判定当前是否存在违章;违章行为判定取证后将违章现场证据信息上传;
所述信息存储与传输单元用于实现必要的信息存储和信息上传功能;视频信息采用固定时长滚动记录方式,图像采用JPEG格式存储,车辆定位信息来自GPS数据;数据上传利用移动通讯网络,功能设计支持断点自动续传;
基于机器视觉的便携式城市道路车辆违章稽查方法,基于上述基于机器视觉的便携式城市道路车辆违章稽查系统实现,具体过程如下:
步骤1:利用数据采集单元生成车牌集成候选识别区ROI;具体以单目视觉测距法作为测距方法,以前方车辆车牌信息识别的最远距离作为约束条件,结合双摄像头的光学特性参数进行车辆候选识别区域的标定;
打开前后摄像头,获取车辆视频帧;每次从摄像头获取一个视频帧时,需要将其存储到本系统的内存中以便进一步处理;定义目标对象车辆i在视频图像帧中的高度和宽度的像素数量分别为hi和wi,实际高度和宽度分别为Hi和Wi,固定摄像头的安装高度为a,固定摄像头的拍摄画面的上沿和下沿距离摄像头垂直平面的距离分别为b和c,目标到摄像机垂平面的距离为d,视频图像帧在Y轴上的总像素数为N;
摄像头与地面的垂线和摄像下视野线的夹角为α,摄像头与地面的垂线和摄像上视野线的夹角为β,由三角定理得到摄像头的上下拍摄视角β-α,即y的正切值,得到公式如下:
进而得到δ为摄像下视野与摄像头到目标地面点的连线之间的夹角,由三角形相似定理得到Li、δ0i;Li为摄像机到目标顶部的连线与地面垂线与目标本身与地面垂线的距离,δ0i为摄像机到目标顶部的连线与地面垂线的夹角;由三角函数相关定理得到:
由摄像头到目标的透视关系计算得到hi:
在目标的宽度上,即X轴上,目标在地面的投影不会随着角度发生变化,利用上述步骤求得视频图像帧的宽度像素数量wi,确定左右边界;
调节好光学参数在前方车辆最远距离d处拍摄一系列的目标图像,从这些图像中找出符合车牌识别条件的一组图像,综合上述位置最终确定所覆盖的最大区域即为标定的车辆候选识别区域的左右边界,以视频帧中最远距离图像和最近距离图像来标定车辆候选识别区域的上下边界;
步骤2:利用多特征融合技术对前方驶入车辆快速检测与跟踪;具体为采用一种基于局部灰度统计的阈值算法,以车底阴影的特征来确定车辆假设区域,通常路面区域的灰度分布是连续且均匀的,如有车辆闯入,道路与车辆底部交汇处的灰度变化明显;
步骤2.1:从视频图像帧选取路面区域,设定3个尺寸均为50*50的间距为50个像素区域的窗口,并统计出每个窗口的灰度均值μi和方差σi;
步骤2.2:计算剩余n个窗口的灰度均值μ和方差均值σ,公式如下:
步骤2.3:以μ-3σ作为阴影的分割阈值T,利用阈值T对视频帧图像进行二值化处理,小于T的为0,大于等于T的为255;车底阴影分割完成后,还需要在水平阴影线段的基础上建立车辆的感兴趣区域,因为车辆的位置就在阴影区域的正上方,并且阴影的宽度和车辆的宽度认为近似相等;在生成车辆假设区域的过程中,不同的车型宽高比是不一样的,感兴趣区域要尽可能包括全部车辆;前方车辆的远近会导致阴影的水平长度不同;通过透视的原理,设置一个阈值,如果阴影水平长度不在阈值范围内,则视为噪声等干扰,否则保留水平阴影线;对车辆阴影提取并生成车辆假设区域的算法步骤如下:
步骤2.3.1:对车辆阴影的二值化图像,从下到上,从左到右逐行扫描,对任意行,如果符合公式f(x-1,y)-f(x,y)==255&&f(x,y)-f(x+1,y)==0,记为起点x1,如果符合公式f(x,y)-f(x-1,y)==0&&f(x+1,y)-f(x,y)==225,记为终点x2;
步骤2.3.2:阴影的长度L=x2-x1,确定阴影长度阈值范围0.8w<L<1.2w;
步骤2.3.3:合并阴影线,分别向左右两端增加5个像素点,按照车辆宽高比4:3划定车辆的假设区域;
步骤3:基于车载视频系统的车辆车牌定位与字符快速识别技术,包括车牌区域定位、车牌倾斜校正、车牌字符分割和车牌字符识别;
步骤3.1:前后摄像头输入原始图像帧P,并且初始化长宽比例WHRatio和白色像素比例Wratio;
步骤3.2:沿Y轴进行扫描,统计M中每一行蓝色像素点的个数y_bluePX(i,1),得到列向量y_bluePX;
步骤3.3:按照事先假定的阈值y_Threshold和蓝色像素点数y_bluePX确定车牌的上下边界y_boundary1,y_boundary2;先得到列向量y_bluePX中的最大值max(y_bluePX)和它的位置y_max;如果max(y_bluePX)<20,提示车牌定位出错,否则以y_max为基准,分别向上、向下扫描,当y_bluePX<y_threshold时,退出循环,并记录下退出循环时的位置,即车牌的上下边界y_boundary1,y_boundary2;
步骤3.4:沿X轴进行扫描,统计P中每一列蓝色像素点的个数x_bluePX(1,j),得到列向量x_bluePX;
步骤3.5:按照事先假定的阈值x_Threshold和蓝色像素点数x_bluePX确定车牌的左右边界x_boundary1,x_boundary2;原理同步骤3.3,只是获取到列向量x_bluePX中的最大值max(x_bluePX)后,扩大其范围±6*(y_boundary2-y_boundary1),再根据条件执行循环,直到x_bluePX>x_Threshold时跳出循环,并记录下退出循环时的位置即车牌的左右边界x_boundary1,x_boundary2;
步骤3.6:确定了车牌的边界x_boundary1,x_boundary2,y_boundary1,y_boundary2后,统计此区域内的白色像素点数WhitePX,算其和;计算出车牌长宽比,车牌长度为L=y_boundary2-y_boundary1,高度为H=x_boundary2-x_boundary1,则WHRatio=L/H,遍历车牌区域统计出白色像素点数目为WhitePX,则白色像素比例Wratio=WhitePX/(L*H);
步骤3.7:判断Wratio和WHRatio是否满足0.1<=Wratio<=0.5与1.5<=WHRatio<=5这两个条件,如果满足,继续执行,否则,跳到步骤3.3,重新执行,直到满足两个条件;
步骤3.8:分割并输出最终的车牌定位区域N;然后对N进行二值化,并利用垂直投影法分割车牌字符;对应标准车牌分别构建3个模板库:汉字库、数字库、字母库,把切分好的单个归一化字符和库中的字符相匹配,计算公式如下:
D(i,j)为汉明距离,两者之间的匹配程度由D(i,j)决定,D(i,j)越小越匹配;首先,第一个字符选用汉字库,第二个字符选用字母库,其余的字符选用字母和数字组合库;然后,依次把单个归一化字符与库中字符相比较,选取最小值作为最佳匹配结果;
步骤4:车辆压线违章的自动识别;
压线违章的判定归结为便携式图像采集设备所观察到的车辆的几何姿态与交通线违停区域之间的动态位置关系判定问题;若二者之间存在重叠区域则判定为存在停车压线或压黄线违章行为,否者判定为正常行驶;利用图像语义分割方法检测车辆和车道线在图像中的对应区域,然后估计前后轮在车辆区域的位置,并检测车道线的轮廓,最后依据两者是否相交进行压线判断;
步骤4.1:车道线轮廓检测:从视频帧中分离出车道线区域,然后检测出车道线轮廓对应的直线;
步骤4.1.1:利用HSI色彩空间分割地面标线;将前方道路图像从RGB转化为HSI色彩空间,RGB分别为三原色的红色、绿色、蓝色,HIS中的H表示颜色的相位角,S表示颜色的深浅程度,I表示色彩的明亮程度;利用H、S、I三个分量进行分割变换,从而区分出目标和背景;RGB与HSI色彩空间的转换公式如下:
转换完成后,按照如下步骤,将地面标线从图像中分割出来:
Step1:初始化参数,max=max(R,G,B),min=min(R,G,B),med=max-min;
Step2:如果max=min,则H=0;如果max=R&&R>=B,则H=π/3*(G-B)/med+2π/3;
Step3:如果H<=40&&S>=80,则I=1,如果H>40&&S<80,则I=0;
Step4:根据阈值亮度Ⅰ把图像分成白色的点和路面等无关的点两块;
步骤4.1.2:上述步骤将图像分为两块,为了识别出道路标线并求其方程就需要用到Hough变换;将上面公式里的θ设定在[20°,70°]之间;利用Hough变换提取地面道路标线的具体步骤如下:
Step1:将图像空间中的点(x,y)转换成参数空间域(ρ,θ),建立一个空的参数空间H(ρ,θ);以θ为横坐标,固定步长Δθ=2,θ的取值范围是[20°,70°];以ρ为纵坐标,固定步长Δρ=1,ρ的取值范围是
Step2:在含有车道线像素的二值化图像中,找出左半部分图像的所有非零点(x,y),代入公式ρ=xcosθ+ysinθ中,并对参数空间矩阵进行累加,即H(ρ,θ)=H(ρ,θ)+1,完成计算图像的Hough变换;
Step3:找到参数空间的峰值点,设阈值T;通过θ的正负性就判断直线倾斜方向,当θ>0时,直线位于第一象限和第三象限,即为左侧的地面标线;。线段定位为:
L={x1,x2,y1,y2,ρ,θ,n,s}θ∈[20°,70°]
其中,(x1,y1)是线段的起点,(x2,y2)是线段的终点,(ρ,θ)是线段在参数空间中对应的坐标值,n为直线在图像中包含的非零点个数,s代表直线的饱和度,即
Step4:根据n和s的值来判断是否属于有效线段,满足n>20&&s>0.2时为有效线段;
Step5:利用上述方法求出右标线;
步骤4.1.3:车牌与地面标线的位置关系,二维透视成像图如图3所示,xm与xs的差为0时,车辆不可能压线违章,当xm与xs差的绝对值超过阈值时,车辆可能压线违章;
得到地面标线OQ和PQ的直线方程y1=tanαx,y2=tanβx取车牌左右边界x_boundary1、x_boundary2,联立地面标线方程组:
得到方程组的解xs,计算车牌左右边界的中央坐标x的值xm:
判断车牌是否居中于OP,即判断xs和xm的差值是否超过阈值。如果超过阈值就能够说明前方车辆压线违章,则保存相应的违章视频帧;
步骤4.2:车辆前后车牌位置估计:从车牌集成候选识别区ROI中分离出车辆区域,计算目标车辆的前车牌和后车牌分别与地面相对位置;
步骤4.3:车辆压线判断:将车辆前后车牌位置估计结果和车道线轮廓检测结果融合并进行压线判断,具体方法为:若任意一个车牌线段与前后任意一条车道线轮廓对应的直线相对位置异常,则认为车辆压线;否则认为车辆未压线;
步骤5:数据库匹配车牌号综合检索异常情况;
根据步骤4判定,如有违章行为,上传违章视频帧至数据库以备后期查证;若为正常行驶或无违章停车,亦会上传车牌与数据库匹配是否有征费未缴或疑似盗抢车辆;
步骤6:判断当前帧是否为最后一帧图像,如果是则结束稽查过程,否则跳转到下一帧,重复步骤2-步骤6。
与现有技术相比,本发明的有益技术效果如下:
本发明车载前后双摄像头,不需要像监控摄像头那样铺设电缆和电杆等辅助设备,成本相对较低;本发明利用基于车辆前后车牌与道路标线的相对位置估计的方式对目标车辆的压线行为进行两次判断,可以较好的解决视角遮挡带来的误判问题,准确率高,而且只需利用车牌位置信息,实时性亦较好。
附图说明
图1为本发明便携式城市道路车辆违章稽查系统的流程图;
图2为本发明基于车牌位置估计的压线检测方法示意图;
图3为本发明生成的二维透视成像图示意图;
图4为本发明的摄像头成像原理图;
图5为本发明道路标线识别预期实现效果图;
图6为本发明前置摄像头车牌识别预期实现效果图;
图7为本发明后置摄像头车牌识别预期实现效果图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明;
基于机器视觉的便携式城市道路车辆违章稽查系统,具体包括:数据采集单元、前方车辆跟踪单元、违章识别单元、信息存储与传输单元;各单元具体工作如下:
所述数据采集单元是违章稽查系统的基础,利用其中的前后双摄像头实时获取目标车辆的前后图像,并存储在稽查系统信息存储与传输单元中;预置摄像头基本参数设定后,此单元会进行候选车辆识别区的标定,还设置抓拍频率和自动抓拍;
所述前方车辆跟踪单元首先从系统信息存储与传输单元读取当前的输入图像,然后对其进行包含灰度变化、中值滤波、数学形态学以及二值化的预处理,最后快速监测前方车辆的驶入和跟踪行驶轨迹;对前方车辆运动轨迹跟踪,并利用HSI色彩空间分割地面交通标线与标定,同时分割出汽车车牌区域并通过垂直投影法分割车牌字符,与字符库中字符比较后得到车牌信息;
所述违章识别单元用于判断前方车辆是否存在违章行为,与车辆跟踪模块和视频采集单元的自动抓拍功能联动实现违章行为的判定和取证;预置不同违章行为识别算法的设定,先将当前车牌与数据库中车牌比对判定是否存在违章,再结合地面标线判定当前是否存在违章;违章行为判定取证后将违章现场证据信息上传;
所述信息存储与传输单元用于实现必要的信息存储和信息上传功能;视频信息采用固定时长滚动记录方式,图像采用JPEG格式存储,车辆定位信息来自GPS数据;数据上传利用移动通讯网络,功能设计支持断点自动续传;
基于机器视觉的便携式城市道路车辆违章稽查方法,基于上述基于机器视觉的便携式城市道路车辆违章稽查系统实现,如附图1所示,具体过程如下:
步骤1:利用数据采集单元生成车牌集成候选识别区ROI;具体以单目视觉测距法作为测距方法,以前方车辆车牌信息识别的最远距离作为约束条件,结合双摄像头的光学特性参数进行车辆候选识别区域的标定;
打开前后摄像头,获取车辆视频帧;每次从摄像头获取一个视频帧时,需要将其存储到本系统的内存中以便进一步处理;定义目标对象车辆i在视频图像帧中的高度和宽度的像素数量分别为hi和wi,实际高度和宽度分别为Hi和Wi,固定摄像头的安装高度为a,固定摄像头的拍摄画面的上沿和下沿距离摄像头垂直平面的距离分别为b和c,目标到摄像机垂平面的距离为d,视频图像帧在Y轴上的总像素数为N;
摄像头与地面的垂线和摄像下视野线的夹角为α,摄像头与地面的垂线和摄像上视野线的夹角为β,由三角定理得到摄像头的上下拍摄视角β-α,即y的正切值,得到公式如下:
进而得到δ为摄像下视野与摄像头到目标地面点的连线之间的夹角,由三角形相似定理得到Li、δ0i;Li为摄像机到目标顶部的连线与地面垂线与目标本身与地面垂线的距离,δ0i为摄像机到目标顶部的连线与地面垂线的夹角;由三角函数相关定理得到:
由摄像头到目标的透视关系计算得到hi:
在目标的宽度上,即X轴上,目标在地面的投影不会随着角度发生变化,利用上述步骤求得视频图像帧的宽度像素数量wi,确定左右边界;摄像头成像原理如附图4所示;
调节好光学参数在前方车辆最远距离d处拍摄一系列的目标图像,从这些图像中找出符合车牌识别条件的一组图像,综合上述位置最终确定所覆盖的最大区域即为标定的车辆候选识别区域的左右边界,以视频帧中最远距离图像和最近距离图像来标定车辆候选识别区域的上下边界;
步骤2:利用多特征融合技术对前方驶入车辆快速检测与跟踪;具体为采用一种基于局部灰度统计的阈值算法,以车底阴影的特征来确定车辆假设区域,通常路面区域的灰度分布是连续且均匀的,如有车辆闯入,道路与车辆底部交汇处的灰度变化明显;
步骤2.1:从视频图像帧选取路面区域,设定3个尺寸均为50*50的间距为50个像素区域的窗口,并统计出每个窗口的灰度均值μi和方差σi;
步骤2.2:计算剩余n个窗口的灰度均值μ和方差均值σ,公式如下:
步骤2.3:以μ-3σ作为阴影的分割阈值T,利用阈值T对视频帧图像进行二值化处理,小于T的为0,大于等于T的为255;车底阴影分割完成后,还需要在水平阴影线段的基础上建立车辆的感兴趣区域,因为车辆的位置就在阴影区域的正上方,并且阴影的宽度和车辆的宽度认为近似相等;在生成车辆假设区域的过程中,不同的车型宽高比是不一样的,感兴趣区域要尽可能包括全部车辆;前方车辆的远近会导致阴影的水平长度不同;通过透视的原理,设置一个阈值,如果阴影水平长度不在阈值范围内,则视为噪声等干扰,否则保留水平阴影线;对车辆阴影提取并生成车辆假设区域的算法步骤如下:
步骤2.3.1:对车辆阴影的二值化图像,从下到上,从左到右逐行扫描,对任意行,如果符合公式f(x-1,y)-f(x,y)==255&&f(x,y)-f(x+1,y)==0,记为起点x1,如果符合公式f(x,y)-f(x-1,y)==0&&f(x+1,y)-f(x,y)==225,记为终点x2;
步骤2.3.2:阴影的长度L=x2-x1,确定阴影长度阈值范围0.8w<L<1.2w;
步骤2.3.3:合并阴影线,分别向左右两端增加5个像素点,按照车辆宽高比4:3划定车辆的假设区域;
步骤3:基于车载视频系统的车辆车牌定位与字符快速识别技术,包括车牌区域定位、车牌倾斜校正、车牌字符分割和车牌字符识别;
步骤3.1:前后摄像头输入原始图像帧P,并且初始化长宽比例WHRatio和白色像素比例Wratio;
步骤3.2:沿Y轴进行扫描,统计M中每一行蓝色像素点的个数y_bluePX(i,1),得到列向量y_bluePX;
步骤3.3:按照事先假定的阈值y_Threshold和蓝色像素点数y_bluePX确定车牌的上下边界y_boundary1,y_boundary2;先得到列向量y_bluePX中的最大值max(y_bluePX)和它的位置y_max;如果max(y_bluePX)<20,提示车牌定位出错,否则以y_max为基准,分别向上、向下扫描,当y_bluePX<y_threshold时,退出循环,并记录下退出循环时的位置,即车牌的上下边界y_boundary1,y_boundary2;
步骤3.4:沿X轴进行扫描,统计P中每一列蓝色像素点的个数x_bluePX(1,j),得到列向量x_bluePX;
步骤3.5:按照事先假定的阈值x_Threshold和蓝色像素点数x_bluePX确定车牌的左右边界x_boundary1,x_boundary2;原理同步骤3.3,只是获取到列向量x_bluePX中的最大值max(x_bluePX)后,扩大其范围±6*(y_boundary2-y_boundary1),再根据条件执行循环,直到x_bluePX>x_Threshold时跳出循环,并记录下退出循环时的位置即车牌的左右边界x_boundary1,x_boundary2;
步骤3.6:确定了车牌的边界x_boundary1,x_boundary2,y_boundary1,y_boundary2后,统计此区域内的白色像素点数WhitePX,算其和;计算出车牌长宽比,车牌长度为L=y_boundary2-y_boundary1,高度为H=x_boundary2-x_boundary1,则WHRatio=L/H,遍历车牌区域统计出白色像素点数目为WhitePX,则白色像素比例Wratio=WhitePX/(L*H);
步骤3.7:判断Wratio和WHRatio是否满足0.1<=Wratio<=0.5与1.5<=WHRatio<=5这两个条件,如果满足,继续执行,否则,跳到步骤3.3,重新执行,直到满足两个条件;
步骤3.8:分割并输出最终的车牌定位区域N;然后对N进行二值化,并利用垂直投影法分割车牌字符;对应标准车牌分别构建3个模板库:汉字库、数字库、字母库,把切分好的单个归一化字符和库中的字符相匹配,计算公式如下:
D(i,j)为汉明距离,两者之间的匹配程度由D(i,j)决定,D(i,j)越小越匹配;首先,第一个字符选用汉字库,第二个字符选用字母库,其余的字符选用字母和数字组合库;然后,依次把单个归一化字符与库中字符相比较,选取最小值作为最佳匹配结果;
步骤4:车辆压线违章的自动识别;车辆压线违章稽查流程如附图2所示,
压线违章的判定归结为便携式图像采集设备所观察到的车辆的几何姿态与交通线违停区域之间的动态位置关系判定问题;若二者之间存在重叠区域则判定为存在停车压线或压黄线违章行为,否者判定为正常行驶;利用图像语义分割方法检测车辆和车道线在图像中的对应区域,然后估计前后轮在车辆区域的位置,并检测车道线的轮廓,最后依据两者是否相交进行压线判断;
步骤4.1:车道线轮廓检测:从视频帧中分离出车道线区域,然后检测出车道线轮廓对应的直线;车辆压线判定辅助说明透视图如附图3所示;
步骤4.1.1:利用HSI色彩空间分割地面标线;将前方道路图像从RGB转化为HSI色彩空间,RGB分别为三原色的红色、绿色、蓝色,HIS中的H表示颜色的相位角,S表示颜色的深浅程度,I表示色彩的明亮程度;利用H、S、I三个分量进行分割变换,从而区分出目标和背景;RGB与HSI色彩空间的转换公式如下:
转换完成后,按照如下步骤,将地面标线从图像中分割出来:
Step1:初始化参数,max=max(R,G,B),min=min(R,G,B),med=max-min;
Step2:如果max=min,则H=0;如果max=R&&R>=B,则H=π/3*(G-B)/med+2π/3;
Step3:如果H<=40&&S>=80,则I=1,如果H>40&&S<80,则I=0;
Step4:根据阈值亮度Ⅰ把图像分成白色的点和路面等无关的点两块;
步骤4.1.2:上述步骤将图像分为两块,为了识别出道路标线并求其方程就需要用到Hough变换;将上面公式里的θ设定在[20°,70°]之间;利用Hough变换提取地面道路标线的具体步骤如下:
Step1:将图像空间中的点(x,y)转换成参数空间域(ρ,θ),建立一个空的参数空间H(ρ,θ);以θ为横坐标,固定步长Δθ=2,θ的取值范围是[20°,70°];以ρ为纵坐标,固定步长Δρ=1,ρ的取值范围是
Step2:在含有车道线像素的二值化图像中,找出左半部分图像的所有非零点(x,y),代入公式ρ=xcosθ+ysinθ中,并对参数空间矩阵进行累加,即H(ρ,θ)=H(ρ,θ)+1,完成计算图像的Hough变换;
Step3:找到参数空间的峰值点,设阈值T;通过θ的正负性就判断直线倾斜方向,当θ>0时,直线位于第一象限和第三象限,即为左侧的地面标线;。线段定位为:
L={x1,x2,y1,y2,ρ,θ,n,s}θ∈[20°,70°]
其中,(x1,y1)是线段的起点,(x2,y2)是线段的终点,(ρ,θ)是线段在参数空间中对应的坐标值,n为直线在图像中包含的非零点个数,s代表直线的饱和度,即
Step4:根据n和s的值来判断是否属于有效线段,满足n>20&&s>0.2时为有效线段;
Step5:利用上述方法求出右标线;
步骤4.1.3:车牌与地面标线的位置关系,二维透视成像图如图3所示,xm与xs的差为0时,车辆不可能压线违章,当xm与xs差的绝对值超过阈值时,车辆可能压线违章;
得到地面标线OQ和PQ的直线方程y1=tanαx,y2=tanβx取车牌左右边界x_boundary1、x_boundary2,联立地面标线方程组:
得到方程组的解xs,计算车牌左右边界的中央坐标x的值xm:
判断车牌是否居中于OP,即判断xs和xm的差值是否超过阈值。如果超过阈值就能够说明前方车辆压线违章,则保存相应的违章视频帧;
步骤4.2:车辆前后车牌位置估计:从车牌集成候选识别区ROI中分离出车辆区域,计算目标车辆的前车牌和后车牌分别与地面相对位置;
步骤4.3:车辆压线判断:将车辆前后车牌位置估计结果和车道线轮廓检测结果融合并进行压线判断,具体方法为:若任意一个车牌线段与前后任意一条车道线轮廓对应的直线相对位置异常,则认为车辆压线;否则认为车辆未压线;
步骤5:数据库匹配车牌号综合检索异常情况;
根据步骤4判定,如有违章行为,上传违章视频帧至数据库以备后期查证;若为正常行驶或无违章停车,亦会上传车牌与数据库匹配是否有征费未缴或疑似盗抢车辆;
步骤6:判断当前帧是否为最后一帧图像,如果是则结束稽查过程,否则跳转到下一帧,重复步骤2-步骤6。
本发明道路标线识别预期实现效果图,如附图5所示,上方两图分别为前后两个摄像头捕捉到的视频帧,下方两图分别对应上方视频帧提取出的道路标线。
本发明前置摄像头车牌识别预期实现效果图,如附图6所示,图中所见车牌区域已用白色矩形框标出,识别出的字符已在车牌上方标注。
本发明后置摄像头车牌识别预期实现效果图,如附图7所示,图中所见车牌区域已用白色矩形框标出,图中所见车牌识别出的字符已在车牌上方标注。
Claims (8)
1.基于机器视觉的便携式城市道路车辆违章稽查系统,其特征在于,具体包括:数据采集单元、前方车辆跟踪单元、违章识别单元、信息存储与传输单元;各单元具体工作如下:
所述数据采集单元是违章稽查系统的基础,利用其中的前后双摄像头实时获取目标车辆的前后图像,并存储在稽查系统信息存储与传输单元中;预置摄像头基本参数设定后,此单元会进行候选车辆识别区的标定,还设置抓拍频率和自动抓拍;
所述前方车辆跟踪单元首先从系统信息存储与传输单元读取当前的输入图像,然后对其进行包含灰度变化、中值滤波、数学形态学以及二值化的预处理,最后快速监测前方车辆的驶入和跟踪行驶轨迹;对前方车辆运动轨迹跟踪,并利用HSI色彩空间分割地面交通标线与标定,同时分割出汽车车牌区域并通过垂直投影法分割车牌字符,与字符库中字符比较后得到车牌信息;
所述违章识别单元用于判断前方车辆是否存在违章行为,与车辆跟踪模块和视频采集单元的自动抓拍功能联动实现违章行为的判定和取证;预置不同违章行为识别算法的设定,先将当前车牌与数据库中车牌比对判定是否存在违章,再结合地面标线判定当前是否存在违章;违章行为判定取证后将违章现场证据信息上传;
所述信息存储与传输单元用于实现必要的信息存储和信息上传功能;视频信息采用固定时长滚动记录方式,图像采用JPEG格式存储,车辆定位信息来自GPS数据;数据上传利用移动通讯网络,功能设计支持断点自动续传。
2.基于机器视觉的便携式城市道路车辆违章稽查方法,基于上述权利要求1基于机器视觉的便携式城市道路车辆违章稽查系统实现,其特征在于,具体过程如下:
步骤1:利用数据采集单元生成车牌集成候选识别区ROI;具体以单目视觉测距法作为测距方法,以前方车辆车牌信息识别的最远距离作为约束条件,结合双摄像头的光学特性参数进行车辆候选识别区域的标定;
步骤2:利用多特征融合技术对前方驶入车辆快速检测与跟踪;具体为采用一种基于局部灰度统计的阈值算法,以车底阴影的特征来确定车辆假设区域,路面区域的灰度分布是连续且均匀的,如有车辆闯入,道路与车辆底部交汇处的灰度变化明显;
步骤3:基于车载视频系统的车辆车牌定位与字符快速识别技术,包括车牌区域定位、车牌倾斜校正、车牌字符分割和车牌字符识别;
步骤4:车辆压线违章的自动识别;
压线违章的判定归结为便携式图像采集设备所观察到的车辆的几何姿态与交通线违停区域之间的动态位置关系判定问题;若二者之间存在重叠区域则判定为存在停车压线或压黄线违章行为,否者判定为正常行驶;利用图像语义分割方法检测车辆和车道线在图像中的对应区域,然后估计前后轮在车辆区域的位置,并检测车道线的轮廓,最后依据两者是否相交进行压线判断;
步骤5:数据库匹配车牌号综合检索异常情况;
根据步骤4判定,如有违章行为,上传违章视频帧至数据库以备后期查证;若为正常行驶或无违章停车,亦会上传车牌与数据库匹配是否有征费未缴或疑似盗抢车辆;
步骤6:判断当前帧是否为最后一帧图像,如果是则结束稽查过程,否则跳转到下一帧,重复步骤2-步骤6。
3.根据权利要求2所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤1具体为:
打开前后摄像头,获取车辆视频帧;每次从摄像头获取一个视频帧时,需要将其存储到本系统的内存中以便进一步处理;定义目标对象车辆i在视频图像帧中的高度和宽度的像素数量分别为hi和wi,实际高度和宽度分别为Hi和Wi,固定摄像头的安装高度为a,固定摄像头的拍摄画面的上沿和下沿距离摄像头垂直平面的距离分别为b和c,目标到摄像机垂平面的距离为d,视频图像帧在Y轴上的总像素数为N;
摄像头与地面的垂线和摄像下视野线的夹角为α,摄像头与地面的垂线和摄像上视野线的夹角为β,由三角定理得到摄像头的上下拍摄视角β-α,即y的正切值,得到公式如下:
进而得到δ为摄像下视野与摄像头到目标地面点的连线之间的夹角,由三角形相似定理得到Li、δ0i;Li为摄像机到目标顶部的连线与地面垂线与目标本身与地面垂线的距离,δ0i为摄像机到目标顶部的连线与地面垂线的夹角;由三角函数相关定理得到:
由摄像头到目标的透视关系计算得到hi:
在目标的宽度上,即X轴上,目标在地面的投影不会随着角度发生变化,利用上述步骤求得视频图像帧的宽度像素数量wi,确定左右边界;
调节好光学参数在前方车辆最远距离d处拍摄一系列的目标图像,从这些图像中找出符合车牌识别条件的一组图像,综合上述位置最终确定所覆盖的最大区域即为标定的车辆候选识别区域的左右边界,以视频帧中最远距离图像和最近距离图像来标定车辆候选识别区域的上下边界。
4.根据权利要求2所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤2具体为:
步骤2.1:从视频图像帧选取路面区域,设定3个尺寸均为50*50的间距为50个像素区域的窗口,并统计出每个窗口的灰度均值μi和方差σi;
步骤2.2:计算剩余n个窗口的灰度均值μ和方差均值σ,公式如下:
步骤2.3:以μ-3σ作为阴影的分割阈值T,利用阈值T对视频帧图像进行二值化处理,小于T的为0,大于等于T的为255;车底阴影分割完成后,还需要在水平阴影线段的基础上建立车辆的感兴趣区域,因为车辆的位置就在阴影区域的正上方,并且阴影的宽度和车辆的宽度认为近似相等;在生成车辆假设区域的过程中,不同的车型宽高比是不一样的,感兴趣区域要尽可能包括全部车辆;前方车辆的远近会导致阴影的水平长度不同;通过透视的原理,设置一个阈值,如果阴影水平长度不在阈值范围内,则视为噪声等干扰,否则保留水平阴影线。
5.根据权利要求4所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤2.3对车辆阴影提取并生成车辆假设区域的算法步骤如下:
步骤2.3.1:对车辆阴影的二值化图像,从下到上,从左到右逐行扫描,对任意行,如果符合公式f(x-1,y)-f(x,y)==255&&f(x,y)-f(x+1,y)==0,记为起点x1,如果符合公式f(x,y)-f(x-1,y)==0&&f(x+1,y)-f(x,y)==225,记为终点x2;
步骤2.3.2:阴影的长度L=x2-x1,确定阴影长度阈值范围0.8w<L<1.2w;
步骤2.3.3:合并阴影线,分别向左右两端增加5个像素点,按照车辆宽高比4:3划定车辆的假设区域。
6.根据权利要求2所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤3具体为:
步骤3.1:前后摄像头输入原始图像帧P,并且初始化长宽比例WHRatio和白色像素比例Wratio;
步骤3.2:沿Y轴进行扫描,统计M中每一行蓝色像素点的个数y_bluePX(i,1),得到列向量y_bluePX;
步骤3.3:按照事先假定的阈值y_Threshold和蓝色像素点数y_bluePX确定车牌的上下边界y_boundary1,y_boundary2;先得到列向量y_bluePX中的最大值max(y_bluePX)和它的位置y_max;如果max(y_bluePX)<20,提示车牌定位出错,否则以y_max为基准,分别向上、向下扫描,当y_bluePX<y_threshold时,退出循环,并记录下退出循环时的位置,即车牌的上下边界y_boundary1,y_boundary2;
步骤3.4:沿X轴进行扫描,统计P中每一列蓝色像素点的个数x_bluePX(1,j),得到列向量x_bluePX;
步骤3.5:按照事先假定的阈值x_Threshold和蓝色像素点数x_bluePX确定车牌的左右边界x_boundary1,x_boundary2;原理同步骤3.3,只是获取到列向量x_bluePX中的最大值max(x_bluePX)后,扩大其范围±6*(y_boundary2-y_boundary1),再根据条件执行循环,直到x_bluePX>x_Threshold时跳出循环,并记录下退出循环时的位置即车牌的左右边界x_boundary1,x_boundary2;
步骤3.6:确定了车牌的边界x_boundary1,x_boundary2,y_boundary1,y_boundary2后,统计此区域内的白色像素点数WhitePX,算其和;计算出车牌长宽比,车牌长度为L=y_boundary2-y_boundary1,高度为H=x_boundary2-x_boundary1,则WHRatio=L/H,遍历车牌区域统计出白色像素点数目为WhitePX,则白色像素比例Wratio=WhitePX/(L*H);
步骤3.7:判断Wratio和WHRatio是否满足0.1<=Wratio<=0.5与1.5<=WHRatio<=5这两个条件,如果满足,继续执行,否则,跳到步骤3.3,重新执行,直到满足两个条件;
步骤3.8:分割并输出最终的车牌定位区域N;然后对N进行二值化,并利用垂直投影法分割车牌字符;对应标准车牌分别构建3个模板库:汉字库、数字库、字母库,把切分好的单个归一化字符和库中的字符相匹配,计算公式如下:
D(i,j)为汉明距离,两者之间的匹配程度由D(i,j)决定,D(i,j)越小越匹配;首先,第一个字符选用汉字库,第二个字符选用字母库,其余的字符选用字母和数字组合库;然后,依次把单个归一化字符与库中字符相比较,选取最小值作为最佳匹配结果。
7.根据权利要求2所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤4具体为:
步骤4.1:车道线轮廓检测:从视频帧中分离出车道线区域,然后检测出车道线轮廓对应的直线;
步骤4.2:车辆前后车牌位置估计:从车牌集成候选识别区ROI中分离出车辆区域,计算目标车辆的前车牌和后车牌分别与地面相对位置;
步骤4.3:车辆压线判断:将车辆前后车牌位置估计结果和车道线轮廓检测结果融合并进行压线判断,具体方法为:若任意一个车牌线段与前后任意一条车道线轮廓对应的直线相对位置异常,则认为车辆压线;否则认为车辆未压线。
8.根据权利要求7所述的基于机器视觉的便携式城市道路车辆违章稽查方法,其特征在于,步骤4.1具体为:
步骤4.1.1:利用HSI色彩空间分割地面标线;将前方道路图像从RGB转化为HSI色彩空间,RGB分别为三原色的红色、绿色、蓝色,HIS中的H表示颜色的相位角,S表示颜色的深浅程度,I表示色彩的明亮程度;利用H、S、I三个分量进行分割变换,从而区分出目标和背景;RGB与HSI色彩空间的转换公式如下:
转换完成后,按照如下步骤,将地面标线从图像中分割出来:
Step1:初始化参数,max=max(R,G,B),min=min(R,G,B),med=max-min;
Step2:如果max=min,则H=0;如果max=R&&R>=B,则H=π/3*(G-B)/med+2π/3;
Step3:如果H<=40&&S>=80,则I=1,如果H>40&&S<80,则I=0;
Step4:根据阈值亮度Ⅰ把图像分成白色的点和路面等无关的点两块;
步骤4.1.2:上述步骤将图像分为两块,为了识别出道路标线并求其方程就需要用到Hough变换;将上面公式里的θ设定在[20°,70°]之间;利用Hough变换提取地面道路标线的具体步骤如下:
Step1:将图像空间中的点(x,y)转换成参数空间域(ρ,θ),建立一个空的参数空间H(ρ,θ);以θ为横坐标,固定步长Δθ=2,θ的取值范围是[20°,70°];以ρ为纵坐标,固定步长Δρ=1,ρ的取值范围是
Step2:在含有车道线像素的二值化图像中,找出左半部分图像的所有非零点(x,y),代入公式ρ=xcosθ+ysinθ中,并对参数空间矩阵进行累加,即H(ρ,θ)=H(ρ,θ)+1,完成计算图像的Hough变换;
Step3:找到参数空间的峰值点,设阈值T;通过θ的正负性就判断直线倾斜方向,当θ>0时,直线位于第一象限和第三象限,即为左侧的地面标线;线段定位为:
L={x1,x2,y1,y2,ρ,θ,n,s} θ∈[20°,70°]
其中,(x1,y1)是线段的起点,(x2,y2)是线段的终点,(ρ,θ)是线段在参数空间中对应的坐标值,n为直线在图像中包含的非零点个数,s代表直线的饱和度,即
Step4:根据n和s的值来判断是否属于有效线段,满足n>20&&s>0.2时为有效线段;
Step5:利用上述方法求出右标线;
步骤4.1.3:车牌与地面标线的位置关系,二维透视成像图如图3所示,xm与xs的差为0时,车辆不可能压线违章,当xm与xs差的绝对值超过阈值时,车辆可能压线违章;
得到地面标线OQ和PQ的直线方程y1=tanαx,y2=tanβx取车牌左右边界x_boundary1、x_boundary2,联立地面标线方程组:
得到方程组的解xs,计算车牌左右边界的中央坐标x的值xm:
判断车牌是否居中于OP,即判断xs和xm的差值是否超过阈值;如果超过阈值就能够说明前方车辆压线违章,则保存相应的违章视频帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234734.5A CN116682268A (zh) | 2023-03-13 | 2023-03-13 | 基于机器视觉的便携式城市道路车辆违章稽查系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234734.5A CN116682268A (zh) | 2023-03-13 | 2023-03-13 | 基于机器视觉的便携式城市道路车辆违章稽查系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116682268A true CN116682268A (zh) | 2023-09-01 |
Family
ID=87781469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310234734.5A Pending CN116682268A (zh) | 2023-03-13 | 2023-03-13 | 基于机器视觉的便携式城市道路车辆违章稽查系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116682268A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117275124A (zh) * | 2023-11-17 | 2023-12-22 | 山东蓝能智能科技有限公司 | 停车场车牌去污智能识别设备 |
-
2023
- 2023-03-13 CN CN202310234734.5A patent/CN116682268A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117275124A (zh) * | 2023-11-17 | 2023-12-22 | 山东蓝能智能科技有限公司 | 停车场车牌去污智能识别设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Luvizon et al. | A video-based system for vehicle speed measurement in urban roadways | |
CN107688764B (zh) | 检测车辆违章的方法及装置 | |
CN110659539B (zh) | 一种信息处理方法、装置及机器可读存储介质 | |
TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
CN105678285B (zh) | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 | |
CN103824452B (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
US7899211B2 (en) | Object detecting system and object detecting method | |
CN102231236B (zh) | 车辆计数方法和装置 | |
CN109299674B (zh) | 一种基于车灯的隧道违章变道检测方法 | |
CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
US20190370566A1 (en) | Image based lane marking classification | |
CN105718870A (zh) | 自动驾驶中基于前向摄像头的道路标线提取方法 | |
CN104036262B (zh) | 一种lpr车牌筛选识别的方法和系统 | |
CN105741559B (zh) | 一种基于车道线模型的违法占用应急车道检测方法 | |
CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
CN102722704A (zh) | 一种融合视频动态跟踪的车牌识别方法和系统 | |
WO2015089867A1 (zh) | 一种交通违章检测方法 | |
CN102831420B (zh) | 基于颜色信息和随机圆检测的圆形交通标志定位方法 | |
AU2009270324A1 (en) | Detection of vehicles in images of a night time scene | |
KR20200064873A (ko) | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 | |
JP2006329776A (ja) | 車両位置検出方法、並びに車両速度検出方法及び装置 | |
CN105354857B (zh) | 一种有立交桥遮挡的车辆轨迹匹配方法 | |
CN105303157A (zh) | 延伸用于avm停止线检测的检测范围的算法 | |
JP2015064752A (ja) | 車両監視装置、および車両監視方法 | |
CN116682268A (zh) | 基于机器视觉的便携式城市道路车辆违章稽查系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |