CN109522851B - 基于非可见光成像的车辆行驶速度及车牌识别方法 - Google Patents

基于非可见光成像的车辆行驶速度及车牌识别方法 Download PDF

Info

Publication number
CN109522851B
CN109522851B CN201811398087.7A CN201811398087A CN109522851B CN 109522851 B CN109522851 B CN 109522851B CN 201811398087 A CN201811398087 A CN 201811398087A CN 109522851 B CN109522851 B CN 109522851B
Authority
CN
China
Prior art keywords
image
license plate
character
processing computer
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811398087.7A
Other languages
English (en)
Other versions
CN109522851A (zh
Inventor
潘红光
苏涛
黄向东
邓军
柴钰
倪琪
刘杰
赵佳祥
雷心宇
米文毓
薛纪康
王延庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201811398087.7A priority Critical patent/CN109522851B/zh
Publication of CN109522851A publication Critical patent/CN109522851A/zh
Application granted granted Critical
Publication of CN109522851B publication Critical patent/CN109522851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于非可见光成像的车辆行驶速度及车牌识别方法，其采用的车辆行驶速度及车牌识别系统包括安装在道路上方或道路一侧的红外成像设备和设置在监控中心且与红外成像设备通过网络连接并通信的图像处理计算机，待识别车辆的车牌上贴有红外反射膜；其方法包括步骤：一、视频采集及传输；二、车辆行驶速度检测；三、车牌识别。本发明的实现成本低，系统安装维护方便，车辆行驶速度检测精度高，车牌识别精度高，能够对道路交通进行有效管控，减少交通事故，避免了采用可见光进行车辆测速与车牌识别时可见光补光造成光污染和安全隐患，具有良好的经济和社会效益。

Description

基于非可见光成像的车辆行驶速度及车牌识别方法
技术领域
本发明属于视频检测技术领域，具体涉及一种基于非可见光成像的车辆行驶速度及车牌识别方法。
背景技术
当今社会，智能交通系统是道路交通的发展趋势。继续发展和不断完善的可视化智能交通监控系统，为实际应用车辆道路运输基础设施的管理系统奠定了良好的基础。近年来我国智能交通行业快速发展，车辆识别系统作为智能交通的重要组成部门，广泛应于城市的非现场执法中，但是目前车辆识别系统还存在很多问题，传统的车辆识别系统是基于LED补光系统，并采用数码相机与地感线圈联动的方式实现自动拍照的功能，应用成熟且比较稳定。但传统的识别系统缺陷在于：成本高，安装维护不方便，可见光存在安全隐患。例如：杭州市交警支队2015年提出，目前现有系统频射灯补光会造成城市光污染，且容易对司机造成短暂视觉障碍并产生交通隐患；雾天低照度情况下成像质量不佳等暂存问题。鉴于此，利用近红外成像具有目标细节表达清晰、目标识别能力强、可实现隐秘主动成像、可微光夜视探测、对雾霾气候条件和尘烟应用环境适应性强等优点，研究近红外成像技术在车辆识别系统中的应用，设计一种非可见光成像的车辆智能识别系统非常有实际意义。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、实现成本低、安装维护方便的基于非可见光成像的车辆行驶速度及车牌识别系统。
为解决上述技术问题，本发明采用的技术方案是：一种基于非可见光成像的车辆行驶速度及车牌识别系统，包括安装在道路上方或道路一侧的红外成像设备和设置在监控中心且与红外成像设备通过网络连接并通信的图像处理计算机，待识别车辆的车牌上贴有红外反射膜。
上述的基于非可见光成像的车辆行驶速度及车牌识别系统，所述红外反射膜Ta2O5-SiO2红外反射膜。
本发明还提供了一种方法步骤简单、实现方便、车辆行驶速度检测精度高、车牌识别精度高的基于非可见光成像的车辆行驶速度及车牌识别的方法，该方法包括以下步骤：
步骤一、视频采集及传输：当待识别车辆行驶经过红外成像设备的成像区域时，红外成像设备拍摄多帧车辆图像并将拍摄到的多帧车辆图像信号实时传输给图像处理计算机；
步骤二、车辆行驶速度检测：所述图像处理计算机调用车辆行驶速度计算模块对红外成像设备拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度；
步骤三、车牌识别：所述图像处理计算机调用车牌识别模块对多个红外成像设备拍摄的多帧车辆图像进行处理，识别得到车牌字符。
上述的方法，步骤二中所述图像处理计算机调用车辆行驶速度计算模块对红外成像设备拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度的具体过程为：
步骤201、所述图像处理计算机将红外成像设备的成像区域设定为测速区；
步骤202、所述图像处理计算机检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点；
步骤203、所述图像处理计算机调用特征匹配模块提取首帧图像的特征集合和末帧图像的特征集合，并将首帧图像的特征集合和末帧图像的特征集合进行匹配对应，生成一组匹配特征对集合；
步骤204、所述图像处理计算机根据匹配特征对集合，调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系；
步骤205、所述图像处理计算机计算首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间一一对应的位移值，并计算出所有Harris角点的总位移量dT，再根据公式
Figure GDA0002670406690000031
计算得到所有Harris角点的位置平均值dA；其中，首帧图像中的角点(x1,y1)和末帧图像中与角点(x1,y1)对应的角点(x2,y2)之间对应的位移值dr的计算公式为
Figure GDA0002670406690000032
N为首帧图像中与末帧图像中具有一一对应关系的Harris角点的总个数，N的取值为正整数；
步骤206、所述图像处理计算机根据公式
Figure GDA0002670406690000033
计算得到车辆行驶时速v，其中，D为红外成像设备的成像区域对应的车辆行驶实际距离，γ为末帧图像相对于首帧图像移动的帧数，N为帧率。
上述的方法，步骤202中所述图像处理计算机检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点时，对图像I(x,y)中的多个Harris角点的检测过程为：
步骤2021、图像处理计算机根据公式
Figure GDA0002670406690000034
计算图像I(x,y)在x轴方向上的梯度Ix，并根据公式
Figure GDA0002670406690000035
计算图像I(x,y)在y轴方向上的梯度Iy；
步骤2022、图像处理计算机计算每个像素点上的相关矩阵
Figure GDA0002670406690000036
其中，ω(x,y)为加权函数；
步骤2023、图像处理计算机根据公式R＝(ab-c2)-λ(a+b)2计算每个像素点的角点响应值R；其中，λ为经验常数，取值范围为0.04～0.06；
步骤2024、图像处理计算机在图像I(x,y)上中间位置处M×M的正方形范围内寻找角点响应值的极大值点，并将寻找到的角点响应值的极大值点定义为阈值，当像素点的角点响应值R大于阈值时，将该像素点确定为Harris角点。
上述的方法，步骤204中所述图像处理计算机调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配时，将归一化互相关系数C的计算公式定义为：
Figure GDA0002670406690000041
其中，i为x轴方向上运算的窗口大小，-k为x轴方向上运算的窗口的下限，k为x轴方向上运算的窗口的上限，j为y轴方向上运算的窗口大小，-l为y轴方向上运算的窗口的下限，l为y轴方向上运算的窗口的上限，I(u+i,v+j)为首帧图像中的Harris角点I(u,v)在x轴方向上平移i、在y轴方向上平移j；
Figure GDA0002670406690000042
为首帧图像对应窗口内灰度的平均值且
Figure GDA0002670406690000043
I′(u′+i,v′+j)为末帧图像中的Harris角点I′(u′,v′)在x轴方向上平移i、在y轴方向上平移j；
Figure GDA0002670406690000044
为末帧图像对应窗口内灰度的平均值且
Figure GDA0002670406690000045
归一化互相关系数C的计算结果越趋于1，首帧图像中的Harris角点与末帧图像中的Harris角点的相关性越强，通过比较归一化互相关系数C的计算结果，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系。
上述的方法，步骤三中所述图像处理计算机调用车牌识别模块对多个红外成像设备拍摄的多帧车辆图像进行处理，识别得到车牌字符的具体过程为：
步骤301、车辆图像预处理：所述图像处理计算机调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来；
步骤302、车牌识别前处理：所述图像处理计算机调用车牌识别前车牌处理模块对车牌图像依次进行灰度、二值化、均值滤波和腐蚀处理，滤除车牌图像中的噪声干扰；
步骤303、车牌字符分割与识别：所述图像处理计算机调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码。
上述的方法，步骤301中所述图像处理计算机调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来的具体过程为：
步骤3011、灰度处理：所述图像处理计算机对多帧车辆图像分别进行灰度处理，生成灰度直方图；
步骤3012、边缘算子检测：所述图像处理计算机采用Sobel算子对经过步骤3011预处理后的图像进行边缘算子检测处理；
步骤3013、边缘轮廓圆滑处理：所述图像处理计算机调用边缘轮廓圆滑处理模块对经过步骤3012处理后的图像进行边缘轮廓圆滑处理；
步骤3014、车牌定位并切割：所述图像处理计算机调用车牌定位模块对经过步骤3013处理后的图像进行车牌定位，确定出车牌区域，并将车牌图像从原图像中分割出来。
上述的方法，步骤303中所述图像处理计算机调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码的具体过程为：
步骤3031、去边框处理：所述图像处理计算机调用去边框处理模块并采用水平投影法对车牌图像的水平边框做去除处理；
步骤3032、车牌字符分割：所述图像处理计算机调用车牌字符分割模块并采用水平投影法和垂直投影法相结合对车牌字符进行分割；
步骤3033、字符归一化处理：所述图像处理计算机调用字符归一化处理模块并根据公式
Figure GDA0002670406690000051
对分割后的车牌字符进行归一化处理，得到归一化车牌字符；其中，
Figure GDA0002670406690000052
为归一化前的字符图像，
Figure GDA0002670406690000053
为归一化前的字符图像的横坐标，
Figure GDA0002670406690000054
的取值范围为
Figure GDA0002670406690000055
Hold为归一化前的字符高度，
Figure GDA0002670406690000061
为归一化前的字符图像的纵坐标，
Figure GDA0002670406690000062
的取值范围为
Figure GDA0002670406690000063
Wold为归一化前的字符宽度；
Figure GDA0002670406690000064
为归一化后的字符图像，
Figure GDA0002670406690000065
为归一化后的字符图像的横坐标，
Figure GDA0002670406690000066
的取值范围为
Figure GDA0002670406690000067
Hnew为归一化后的字符高度，
Figure GDA0002670406690000068
为归一化后的字符图像的纵坐标，
Figure GDA0002670406690000069
的取值范围为
Figure GDA00026704066900000610
Wnew为归一化后的字符宽度；
步骤3034、车牌字符识别：所述图像处理计算机调用车牌字符识别模块并采用模板匹配法识别出车牌字符。
上述的方法，步骤3034中所述图像处理计算机调用车牌字符识别模块并采用模板匹配法识别出车牌字符时，建立模板库的具体过程是将每一类图像的每一张图片平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，每一张字符图片都有相应的8维向量形成的模板；将待识别的车牌字符图像也平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，确定每个字符图像的8维向量值，求出这个字符的8维向量值和所有模板字符图片的8维向量值的n维欧式空间距离，将其中距离最小的5个模板字符图片保存，筛选出可能解；然后，设置求和变量sum，将待识别的字符图片分别与之前保存的5个模板字符图片逐个像素一一比对，相同sum值加1，sum值最大的那张模板字符图片的类别就是待识别字符的类别，将待识别字符的类别保存，最后将保存的整个车牌待识别字符图片类别按顺序一一输出，完成整个车牌的字符识别；其中，n的取值为正整数。
本发明与现有技术相比具有以下优点：
1、本发明的基于非可见光成像的车辆行驶速度及车牌识别系统，仅采用一台红外成像设备和一台图像处理计算机构成，结构简单，实现成本低，安装维护方便。
2、本发明的基于非可见光成像的车辆行驶速度及车牌识别方法，对车辆行驶速度的识别，不需要复杂和昂贵的硬件，只使用红外成像设备采集的视频信息进行速度测量，红外成像设备安装和维护方便，红外成像设备采集的视频图像通过图像处理计算机处理，就能够得到车辆行驶速度，不受雾天、低照度等的影响。
3、本发明的基于非可见光成像的车辆行驶速度及车牌识别方法，对车辆车牌的识别，不需要复杂和昂贵的硬件，只使用红外成像设备采集的视频信息进行速度测量，红外成像设备安装和维护方便，红外成像设备采集的视频图像通过图像处理计算机处理，就能够得到车牌信息，不受雾天、低照度等的影响。
4、本发明的基于非可见光成像的车辆行驶速度及车牌识别方法，方法步骤简单，实现方便，车辆行驶速度检测精度高，车牌识别精度高。
5、本发明利用近红外成像，具有目标细节表达清晰、目标识别能力强、可实现隐秘主动成像、可微光夜视探测、对雾霾气候条件和尘烟应用环境适应性强等优点，使得本发明的适应性和实用性强。
6、本发明推广使用时，不过多增加成本和预算，能够利用现有道路监控设施进行改造，通过进一步提高测速精度并结合车牌检测对超速违章车辆进行车牌抓拍识别，能够对道路交通进行有效管控，减少交通事故，而且，避免了可见光补光进行车牌抓拍造成的光污染和对司机造成短暂视觉障碍造成的安全隐患，具有良好的经济和社会效益。
综上所述，本发明的实现成本低，系统安装维护方便，车辆行驶速度检测精度高，车牌识别精度高，能够对道路交通进行有效管控，减少交通事故，避免了采用可见光进行车辆测速与车牌识别时可见光补光造成光污染和安全隐患，具有良好的经济和社会效益。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明基于非可见光成像的车辆行驶速度及车牌识别系统的连接关系示意图。
图2为本发明基于非可见光成像的车辆行驶速度及车牌识别方法的方法流程框图。
附图标记说明:
1—红外成像设备； 2—图像处理计算机。
具体实施方式
如图1所示，本发明的基于非可见光成像的车辆行驶速度及车牌识别系统，包括安装在道路上方或道路一侧的红外成像设备1和设置在监控中心且与红外成像设备1通过网络连接并通信的图像处理计算机2，待识别车辆的车牌上贴有红外反射膜。
本实施例中，所述红外反射膜Ta2O5-SiO2红外反射膜。
如图2所示，本发明的基于非可见光成像的车辆行驶速度及车牌识别方法，包括以下步骤：
步骤一、视频采集及传输：当待识别车辆行驶经过红外成像设备1的成像区域时，红外成像设备1拍摄多帧车辆图像并将拍摄到的多帧车辆图像信号实时传输给图像处理计算机2；
步骤二、车辆行驶速度检测：所述图像处理计算机2调用车辆行驶速度计算模块对红外成像设备1拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度；
本实施例中，步骤二中所述图像处理计算机2调用车辆行驶速度计算模块对红外成像设备1拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度的具体过程为：
步骤201、所述图像处理计算机2将红外成像设备1的成像区域设定为测速区；
步骤202、所述图像处理计算机2检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点；
本实施例中，步骤202中所述图像处理计算机2检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点时，对图像I(x,y)中的多个Harris角点的检测过程为：
步骤2021、图像处理计算机2根据公式
Figure GDA0002670406690000091
计算图像I(x,y)在x轴方向上的梯度Ix，并根据公式
Figure GDA0002670406690000092
计算图像I(x,y)在y轴方向上的梯度Iy；
步骤2022、图像处理计算机2计算每个像素点上的相关矩阵
Figure GDA0002670406690000093
其中，ω(x,y)为加权函数；
具体实施时，加权函数ω(x,y)为高斯函数；
步骤2023、图像处理计算机2根据公式R＝(ab-c2)-λ(a+b)2计算每个像素点的角点响应值R；其中，λ为经验常数，取值范围为0.04～0.06；
步骤2024、图像处理计算机2在图像I(x,y)上中间位置处M×M的正方形范围内寻找角点响应值的极大值点，并将寻找到的角点响应值的极大值点定义为阈值，当像素点的角点响应值R大于阈值时，将该像素点确定为Harris角点。
具体实施时，M的取值为小于图像I(x,y)的一半宽度的正数。
步骤203、所述图像处理计算机2调用特征匹配模块提取首帧图像的特征集合和末帧图像的特征集合，并将首帧图像的特征集合和末帧图像的特征集合进行匹配对应，生成一组匹配特征对集合；
具体实施时，对于不同特性图像，选择图像中容易提取并能在一定程度上代表待匹配图像相似性的特征作为匹配依据，能够克服利用图像灰度信息进行图像配准的缺点；特征匹配有速度快、匹配效率高的特点；匹配元素为物体的几何特征，对光照变化不敏感，匹配结果受光照变化影响小，精确度较高。
步骤204、所述图像处理计算机2根据匹配特征对集合，调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系；
本实施例中，步骤204中所述图像处理计算机2调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配时，将归一化互相关系数C的计算公式定义为：
Figure GDA0002670406690000101
其中，i为x轴方向上运算的窗口大小，-k为x轴方向上运算的窗口的下限，k为x轴方向上运算的窗口的上限，j为y轴方向上运算的窗口大小，-l为y轴方向上运算的窗口的下限，l为y轴方向上运算的窗口的上限，I(u+i,v+j)为首帧图像中的Harris角点I(u,v)在x轴方向上平移i、在y轴方向上平移j；
Figure GDA0002670406690000102
为首帧图像对应窗口内灰度的平均值且
Figure GDA0002670406690000103
I′(u′+i,v′+j)为末帧图像中的Harris角点I′(u′,v′)在x轴方向上平移i、在y轴方向上平移j；
Figure GDA0002670406690000107
为末帧图像对应窗口内灰度的平均值且
Figure GDA0002670406690000104
归一化互相关系数C的计算结果越趋于1，首帧图像中的Harris角点与末帧图像中的Harris角点的相关性越强，通过比较归一化互相关系数C的计算结果，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系。
步骤205、所述图像处理计算机2计算首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间一一对应的位移值，并计算出所有Harris角点的总位移量dT，再根据公式
Figure GDA0002670406690000105
计算得到所有Harris角点的位置平均值dA；其中，首帧图像中的角点(x1,y1)和末帧图像中与角点(x1,y1)对应的角点(x2,y2)之间对应的位移值dr的计算公式为
Figure GDA0002670406690000106
N为首帧图像中与末帧图像中具有一一对应关系的Harris角点的总个数，N的取值为正整数；
步骤206、所述图像处理计算机2根据公式
Figure GDA0002670406690000111
计算得到车辆行驶时速v，其中，D为红外成像设备1的成像区域对应的车辆行驶实际距离，γ为末帧图像相对于首帧图像移动的帧数，N为帧率，即每秒红外成像设备1处理的图像帧数。
步骤三、车牌识别：所述图像处理计算机2调用车牌识别模块对多个红外成像设备1拍摄的多帧车辆图像进行处理，识别得到车牌字符。
本实施例中，步骤三中所述图像处理计算机2调用车牌识别模块对多个红外成像设备1拍摄的多帧车辆图像进行处理，识别得到车牌字符的具体过程为：
步骤301、车辆图像预处理：所述图像处理计算机2调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来；
本实施例中，步骤301中所述图像处理计算机2调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来的具体过程为：
步骤3011、灰度处理：所述图像处理计算机2对多帧车辆图像分别进行灰度处理，生成灰度直方图；
由于在车牌识别实际场景应用中，受到各种噪声、照度等工作环境影响和不同红外成像设备1本身因素，避免原始图像数据图像质量不佳，并且所要识别的特征不明显，进行图像预处理的操作，能够有效消除干扰噪声，使图像特征更清晰，为后续车牌识别算法稳定准确工作做保证；
步骤3012、边缘算子检测：所述图像处理计算机2采用Sobel算子对经过步骤3011预处理后的图像进行边缘算子检测处理；
Sobel算子的工作特点是把重心放在接近于卷积模板中心的像素点，利用了像素点横向、纵向相邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测，Sobel算子优势在于对噪声有一定的抑制作用，因此应用在此处，能够为后续车牌识别算法稳定准确工作做保证；
步骤3013、边缘轮廓圆滑处理：所述图像处理计算机2调用边缘轮廓圆滑处理模块对经过步骤3012处理后的图像进行边缘轮廓圆滑处理；
由于车牌识别图像数据源信息比较复杂，因此，通过边缘轮廓圆滑处理，能够移出图像中最小对象来完成车牌的初步定位；
步骤3014、车牌定位并切割：所述图像处理计算机2调用车牌定位模块对经过步骤3013处理后的图像进行车牌定位，确定出车牌区域，并将车牌图像从原图像中分割出来。
具体实施时，将车牌图像从原图像中分割出来采用的方法为：在车牌区域的边界中找出行向量的最大、最小值以及列向量的最大、最小值，这样确定出长方形的四个端点，然后按照四个端点的坐标进行切割，从而将车牌图像从原图像中分割出来。
步骤302、车牌识别前处理：所述图像处理计算机2调用车牌识别前车牌处理模块对车牌图像依次进行灰度、二值化、均值滤波和腐蚀处理，滤除车牌图像中的噪声干扰；
步骤303、车牌字符分割与识别：所述图像处理计算机2调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码。
本实施例中，步骤303中所述图像处理计算机2调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码的具体过程为：
步骤3031、去边框处理：所述图像处理计算机2调用去边框处理模块并采用水平投影法对车牌图像的水平边框做去除处理；
具体实施时，首先对步骤302中得到的车牌二值化图像做水平投影，根据边框的尺寸特征与做水平投影处理后波峰、波谷形态设定一个阈值做水平方向边框的去除处理，根据车牌边框在车牌图像数据的宽度比例关系，选定车牌宽度的1/10作为阈值；然后以水平投影的纵坐标轴中心为起点，分别向上、下两个方向的边缘各自找出小于阈值的投影线，根据投影线调整上、下边界的大小，并对原始图像进行分割处理，时限水平去边框处理；
步骤3032、车牌字符分割：所述图像处理计算机2调用车牌字符分割模块并采用水平投影法和垂直投影法相结合对车牌字符进行分割；
具体实施时，通过水平投影处理，得到字符的高度，再通过计算水平投影图像数据的前S列中所包含平均像素数，计算得出字符高度nHeight；通过垂直投影处理，得到字符间距和字符宽度，并且得到间距的最大值；扫描垂直投影图像的最上两行，计算连续黑色像素点个数和连续白色像素点个数并且求出平均值，分别记做字符间距nSpace、字符宽度nWidth，并将字符间距最大值记为阈值nSpacemaX，根据得出的阈值，进行确定向左、右扫描的起始点，从两个扫描起始点各自向左、右扫描车牌的垂直投影图像，通过上述阈值的大小和某一列上黑色像素的总和来判断字符的边界，右扫描确定五个字符，左扫描确定两个字符；
步骤3033、字符归一化处理：所述图像处理计算机2调用字符归一化处理模块并根据公式
Figure GDA0002670406690000131
对分割后的车牌字符进行归一化处理，得到归一化车牌字符；其中，
Figure GDA0002670406690000132
为归一化前的字符图像，
Figure GDA0002670406690000133
为归一化前的字符图像的横坐标，
Figure GDA0002670406690000134
的取值范围为
Figure GDA0002670406690000135
Hold为归一化前的字符高度，
Figure GDA0002670406690000136
为归一化前的字符图像的纵坐标，
Figure GDA0002670406690000137
的取值范围为
Figure GDA0002670406690000138
Wold为归一化前的字符宽度；
Figure GDA0002670406690000139
为归一化后的字符图像，
Figure GDA00026704066900001310
为归一化后的字符图像的横坐标，
Figure GDA00026704066900001311
的取值范围为
Figure GDA00026704066900001312
Hnew为归一化后的字符高度，
Figure GDA00026704066900001313
为归一化后的字符图像的纵坐标，
Figure GDA00026704066900001314
的取值范围为
Figure GDA00026704066900001315
Wnew为归一化后的字符宽度；
步骤3034、车牌字符识别：所述图像处理计算机2调用车牌字符识别模块并采用模板匹配法识别出车牌字符。
本实施例中，步骤3034中所述图像处理计算机2调用车牌字符识别模块并采用模板匹配法识别出车牌字符时，建立模板库的具体过程是将每一类图像的每一张图片平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，每一张字符图片都有相应的8维向量形成的模板；将待识别的车牌字符图像也平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，确定每个字符图像的8维向量值，求出这个字符的8维向量值和所有模板字符图片的8维向量值的n维欧式空间距离，将其中距离最小的5个模板字符图片保存，筛选出可能解；然后，设置求和变量sum，将待识别的字符图片分别与之前保存的5个模板字符图片逐个像素一一比对，相同sum值加1，sum值最大的那张模板字符图片的类别就是待识别字符的类别，将待识别字符的类别保存，最后将保存的整个车牌待识别字符图片类别按顺序一一输出，完成整个车牌的字符识别；其中，n的取值为正整数。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (8)

1.一种基于非可见光成像的车辆行驶速度及车牌识别方法，其采用的车辆行驶速度及车牌识别系统包括安装在道路上方或道路一侧的红外成像设备(1)和设置在监控中心且与红外成像设备(1)通过网络连接并通信的图像处理计算机(2)，待识别车辆的车牌上贴有红外反射膜；
其特征在于，该方法包括以下步骤：
步骤一、视频采集及传输：当待识别车辆行驶经过红外成像设备(1)的成像区域时，红外成像设备(1)拍摄多帧车辆图像并将拍摄到的多帧车辆图像信号实时传输给图像处理计算机(2)；
步骤二、车辆行驶速度检测：所述图像处理计算机(2)调用车辆行驶速度计算模块对红外成像设备(1)拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度；
步骤二中所述图像处理计算机(2)调用车辆行驶速度计算模块对红外成像设备(1)拍摄的多帧车辆图像进行处理，计算得到车辆行驶速度的具体过程为：
步骤201、所述图像处理计算机(2)将红外成像设备(1)的成像区域设定为测速区；
步骤202、所述图像处理计算机(2)检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点；
步骤203、所述图像处理计算机(2)调用特征匹配模块提取首帧图像的特征集合和末帧图像的特征集合，并将首帧图像的特征集合和末帧图像的特征集合进行匹配对应，生成一组匹配特征对集合；
步骤204、所述图像处理计算机(2)根据匹配特征对集合，调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系；
步骤205、所述图像处理计算机(2)计算首帧图像中的多个Harris 角点和末帧图像中的多个Harris角点之间一一对应的位移值，并计算出所有Harris角点的总位移量dT，再根据公式
Figure FDA0002670406680000021
计算得到所有Harris角点的位置平均值dA；其中，首帧图像中的角点(x1,y1)和末帧图像中与角点(x1,y1)对应的角点(x2,y2)之间对应的位移值dr的计算公式为
Figure FDA0002670406680000022
N为首帧图像中与末帧图像中具有一一对应关系的Harris角点的总个数，N的取值为正整数；
步骤206、所述图像处理计算机(2)根据公式
Figure FDA0002670406680000023
计算得到车辆行驶时速v，其中，D为红外成像设备(1)的成像区域对应的车辆行驶实际距离，γ为末帧图像相对于首帧图像移动的帧数，N为帧率；
步骤三、车牌识别：所述图像处理计算机(2)调用车牌识别模块对多个红外成像设备(1)拍摄的多帧车辆图像进行处理，识别得到车牌字符。
2.按照权利要求1所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：所述红外反射膜Ta2O5-SiO2红外反射膜。
3.按照权利要求1所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤202中所述图像处理计算机(2)检测测速区内首帧图像中的多个Harris角点和末帧图像中的多个Harris角点时，对图像I(x,y)中的多个Harris角点的检测过程为：
步骤2021、图像处理计算机(2)根据公式
Figure FDA0002670406680000024
计算图像I(,x)在x轴方向上的梯度Ix，并根据公式
Figure FDA0002670406680000025
计算图像I(x,y)在y轴方向上的梯度Iy；
步骤2022、图像处理计算机(2)计算每个像素点上的相关矩阵
Figure FDA0002670406680000026
其中，ω(x,y)为加权函数；
步骤2023、图像处理计算机(2)根据公式R＝(ab-c2)-λ(a+b)2计算每个像素点的角点响应值R；其中，λ为经验常数，取值范围为0.04～0.06；
步骤2024、图像处理计算机(2)在图像I(x,y)上中间位置处M×M的正方形范围内寻找角点响应值的极大值点，并将寻找到的角点响应值的极大值点定义为阈值，当像素点的角点响应值R大于阈值时，将该像素点确定为Harris角点。
4.按照权利要求1所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤204中所述图像处理计算机(2)调用角点匹配模块并采用归一化互相关系数法对首帧图像中的多个Harris角点和末帧图像中的多个Harris角点进行角点匹配时，将归一化互相关系数C的计算公式定义为：
Figure FDA0002670406680000031
其中，i为x轴方向上运算的窗口大小，-k为x轴方向上运算的窗口的下限，k为x轴方向上运算的窗口的上限，j为y轴方向上运算的窗口大小，-l为y轴方向上运算的窗口的下限，l为y轴方向上运算的窗口的上限，I(u+i,v+j)为首帧图像中的Harris角点I(u,v)在x轴方向上平移i、在y轴方向上平移j；
Figure FDA0002670406680000032
为首帧图像对应窗口内灰度的平均值且
Figure FDA0002670406680000033
I′(u′+i,v′+j)为末帧图像中的Harris角点I′(u′,v′)在x轴方向上平移i、在y轴方向上平移j；
Figure FDA0002670406680000034
为末帧图像对应窗口内灰度的平均值且
Figure FDA0002670406680000035
归一化互相关系数C的计算结果越趋于1，首帧图像中的Harris角点与末帧图像中的Harris角点的相关性越强，通过比较归一化互相关系数C的计算结果，找出首帧图像中的多个Harris角点和末帧图像中的多个Harris角点之间的一一对应关系。
5.按照权利要求1所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤三中所述图像处理计算机(2)调用车牌识别模块对多个红外成像设备(1)拍摄的多帧车辆图像进行处理，识别得到车牌字符的具体过程为：
步骤301、车辆图像预处理：所述图像处理计算机(2)调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来；
步骤302、车牌识别前处理：所述图像处理计算机(2)调用车牌识别前车牌处理模块对车牌图像依次进行灰度、二值化、均值滤波和腐蚀处理，滤除车牌图像中的噪声干扰；
步骤303、车牌字符分割与识别：所述图像处理计算机(2)调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码。
6.按照权利要求5所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤301中所述图像处理计算机(2)调用车辆图像预处理模块对车辆图像进行预处理，将车牌图像从原图像中分割出来的具体过程为：
步骤3011、灰度处理：所述图像处理计算机(2)对多帧车辆图像分别进行灰度处理，生成灰度直方图；
步骤3012、边缘算子检测：所述图像处理计算机(2)采用Sobel算子对经过步骤3011预处理后的图像进行边缘算子检测处理；
步骤3013、边缘轮廓圆滑处理：所述图像处理计算机(2)调用边缘轮廓圆滑处理模块对经过步骤3012处理后的图像进行边缘轮廓圆滑处理；
步骤3014、车牌定位并切割：所述图像处理计算机(2)调用车牌定位模块对经过步骤3013处理后的图像进行车牌定位，确定出车牌区域，并将车牌图像从原图像中分割出来。
7.按照权利要求5所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤303中所述图像处理计算机(2)调用车牌字符分割与识别模块对车牌字符进行分割与识别，得到车牌号码的具体过程为：
步骤3031、去边框处理：所述图像处理计算机(2)调用去边框处理模块并采用水平投影法对车牌图像的水平边框做去除处理；
步骤3032、车牌字符分割：所述图像处理计算机(2)调用车牌字符分割模块并采用水平投影法和垂直投影法相结合对车牌字符进行分割；
步骤3033、字符归一化处理：所述图像处理计算机(2)调用字符归一化处理模块并根据公式
Figure FDA0002670406680000051
对分割后的车牌字符进行归一化处理，得到归一化车牌字符；其中，
Figure FDA0002670406680000052
为归一化前的字符图像，
Figure FDA0002670406680000053
为归一化前的字符图像的横坐标，
Figure FDA0002670406680000054
的取值范围为
Figure FDA0002670406680000055
Hold为归一化前的字符高度，
Figure FDA0002670406680000056
为归一化前的字符图像的纵坐标，
Figure FDA0002670406680000057
的取值范围为
Figure FDA0002670406680000058
Wold为归一化前的字符宽度；
Figure FDA0002670406680000059
为归一化后的字符图像，
Figure FDA00026704066800000510
为归一化后的字符图像的横坐标，
Figure FDA00026704066800000511
的取值范围为
Figure FDA00026704066800000512
Hnew为归一化后的字符高度，
Figure FDA00026704066800000513
为归一化后的字符图像的纵坐标，
Figure FDA00026704066800000514
的取值范围为
Figure FDA00026704066800000515
Wnew为归一化后的字符宽度；
步骤3034、车牌字符识别：所述图像处理计算机(2)调用车牌字符识别模块并采用模板匹配法识别出车牌字符。
8.按照权利要求7所述的基于非可见光成像的车辆行驶速度及车牌识别方法，其特征在于：步骤3034中所述图像处理计算机(2)调用车牌字符识别模块并采用模板匹配法识别出车牌字符时，建立模板库的具体过程是将每一类图像的每一张图片平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，每一张字符图片都有相应的8维向量形成的模板；将待识别的车牌字符图像也平均分成8份，逐点扫描每一份图片区域，以一维向量的形式记录并保存下这份图像的像素信息，确定每个字符图像的8维向量值，求出这个字符的8维向量值和所有模板字符图片的8维向量值的n维欧式空间距离，将其中距离最小的5个模板字符图片保存，筛选出可能解；然后，设置求和变量sum，将待识别的字符图片分别与之前保存的5个模板字符图片逐个像素一一比对，相同sum值加1，sum值最大的那张模板字符图片的类别就是待识别字符的类别，将待识别字符的类别保存，最后将保存的整个车牌待识别字符图片类别按顺序一一输出，完成整个车牌的字符识别；其中，n的取值为正整数。
CN201811398087.7A 2018-11-22 2018-11-22 基于非可见光成像的车辆行驶速度及车牌识别方法 Active CN109522851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811398087.7A CN109522851B (zh) 2018-11-22 2018-11-22 基于非可见光成像的车辆行驶速度及车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811398087.7A CN109522851B (zh) 2018-11-22 2018-11-22 基于非可见光成像的车辆行驶速度及车牌识别方法

Publications (2)

Publication Number Publication Date
CN109522851A CN109522851A (zh) 2019-03-26
CN109522851B true CN109522851B (zh) 2020-10-30

Family

ID=65778527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811398087.7A Active CN109522851B (zh) 2018-11-22 2018-11-22 基于非可见光成像的车辆行驶速度及车牌识别方法

Country Status (1)

Country Link
CN (1) CN109522851B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085023A (zh) * 2020-09-14 2020-12-15 重庆紫光华山智安科技有限公司 基于红外成像的机动车牌照识别方法、系统、介质及终端
CN113903180B (zh) * 2021-11-17 2022-02-25 四川九通智路科技有限公司 一种高速公路检测车辆超速的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641806B2 (en) * 2013-03-12 2017-05-02 3M Innovative Properties Company Average speed detection with flash illumination
CN104751634B (zh) * 2015-04-22 2017-03-08 贵州大学 高速公路隧道行车图像采集信息的综合应用方法
CN104966071B (zh) * 2015-07-03 2018-07-24 武汉烽火众智数字技术有限责任公司 一种基于红外补光的夜间车牌检测和识别方法以及装置

Also Published As

Publication number Publication date
CN109522851A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN103065138B (zh) 一种机动车牌号的识别方法
Alefs et al. Road sign detection from edge orientation histograms
US20170263139A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
US20100034423A1 (en) System and method for detecting and tracking an object of interest in spatio-temporal space
CN110414355A (zh) 基于视觉的右方位空停车位与泊车过程中车位线检测方法
CN107315095B (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN101030256A (zh) 车辆图像分割方法和装置
CN1801930A (zh) 基于视频内容分析的可疑静止物检测方法
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN111476804B (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN110427979B (zh) 基于K-Means聚类算法的道路水坑识别方法
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN109543613A (zh) 基于tof成像的车辆行驶速度及车牌识别系统及方法
CN109522851B (zh) 基于非可见光成像的车辆行驶速度及车牌识别方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN107122732B (zh) 一种监控场景下高鲁棒性的快速车牌定位方法
CN114648734A (zh) 基于图像处理的摄像机工作异常检测方法
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN117011143A (zh) 一种行车记录仪视频稳像方法及系统
Dong et al. Detection method for vehicles in tunnels based on surveillance images
CN109886120B (zh) 一种斑马线检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant