CN116597432B - 一种基于改进yolov5算法的车牌识别系统 - Google Patents

一种基于改进yolov5算法的车牌识别系统 Download PDF

Info

Publication number
CN116597432B
CN116597432B CN202310575659.9A CN202310575659A CN116597432B CN 116597432 B CN116597432 B CN 116597432B CN 202310575659 A CN202310575659 A CN 202310575659A CN 116597432 B CN116597432 B CN 116597432B
Authority
CN
China
Prior art keywords
license plate
image
module
algorithm
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310575659.9A
Other languages
English (en)
Other versions
CN116597432A (zh
Inventor
蒋中天
刘超
刘雁玲
杨晓峰
沈钰杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202310575659.9A priority Critical patent/CN116597432B/zh
Publication of CN116597432A publication Critical patent/CN116597432A/zh
Application granted granted Critical
Publication of CN116597432B publication Critical patent/CN116597432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于改进yolov5算法的车牌识别系统，包括图像获取模块、图像处理模块、车牌检测模块及车牌识别模块，图像处理模块用于对采集的车牌图像进行预处理；车牌检测模块用于利用改进的yolov5模型对预处理后的车牌图像进行检测，还用于判断车牌图像中是否出现车牌遮挡现象；车牌识别模块用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别，还用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。本发明不仅可以实现对车牌图像的滤波、反光增强及模糊复原处理，而且还可以实现对车牌区域及车牌遮挡现象的检测及识别，同时还可以实现对遮挡车牌和非遮挡车牌的识别，可以有效地提高了车牌的识别准确率。

Description

一种基于改进yolov5算法的车牌识别系统
技术领域
本发明涉及安防监控技术领域，具体来说，涉及一种基于改进yolov5算法的车牌识别系统。
背景技术
随着现代社会经济的快速发展和人们生活水平的提高，汽车作为一种必需品已经走进千家万户。汽车数量的增长在给人们带来便利的同时，也引发了诸如交通堵塞等一系列交通问题。引入智能交通系统能够有效的缓解交通问题，其中对车牌的准确识别是必不可少的环节之一。车辆的车牌号码作为车辆的唯一“身份”标识，其具有重要的识别意义，车牌识别技术可以在车辆不作任何改动的情况下实现汽车“身份”的自动登记及验证，这项技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合中。
目前，传统的车牌识别技术VLPR(Vehicle License Plate Recognition)主要包括前端和后端，前端负责图像采集，需要部署到车辆经过的道路处，对准车辆入口方向并调试好角度和方向。后端负责图像处理与识别结果的处理，其中图像处理的目的在于识别出车牌，主要的识别算法包括车牌的检测和车牌的识别，车牌检测是指从前端采集的图像中定位出车牌所在的位置，可采用灰度检测、边缘检测或者对象检测算法(有锚或者无锚算法)，而车牌识别是其中的关键。因此，为了提高道路车流的车牌识别准确度，本发明提出了一种基于改进yolov5算法的车牌识别系统。
发明内容
针对相关技术中的问题，本发明提出一种基于改进yolov5算法的车牌识别系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于改进yolov5算法的车牌识别系统，该系统包括图像获取模块、图像处理模块、车牌检测模块及车牌识别模块；
其中，图像获取模块用于利用预设的摄像装置采集车辆的车牌图像；
图像处理模块用于对采集的车牌图像进行预处理；
车牌检测模块用于利用改进的yolov5模型对预处理后的车牌图像进行检测，得到包含车牌的区域，还用于判断车牌图像中是否出现车牌遮挡现象；
车牌识别模块用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别，还用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。
进一步的，图像处理模块包括图像滤波模块、反光检测模块、图像增强模块、图像模糊检测模块及图像模糊复原模块；
其中，图像滤波模块用于利用中值滤波算法对采集的车牌图像进行滤波处理；
反光检测模块用于判断滤波后的车牌图像是否存在反光现象，并在出现反光时进行图像增强处理；
图像增强模块用于利用对比度调节算法对存在反光现象的车牌图像进行增强处理；
图像模糊检测模块用于利用预设的图像评价指标实现对车牌图像的模糊检测，并在车牌图像存在模糊时进行复原处理；
图像模糊复原模块用于利用基于贝叶斯原理的非线性图像复原算法对模糊车牌图像进行复原。
进一步的，图像模糊检测模块包括边缘锐度值计算模块、图像评价指标设定模块及图像模糊判断模块；
其中，边缘锐度值计算模块用于利用差分乘积思想结合基于四领域改进的EAV算法计算边缘锐度值；
差分乘积思想结合基于四领域改进的EAV算法的计算公式为：
式中，EAV表示边缘锐度值，f(x,y)表示车牌图像中像素点的灰度值，(x,y)表示坐标点，m和n分别表示车牌图像的长和宽；
图像评价指标设定模块用于利用计算得到的边缘锐度值设定车牌图像的评价指标；
图像模糊判断模块用于利用车牌图像的评价指标实现对车牌图像是否模糊的判断。
进一步的，图像评价指标设定模块在利用计算得到的边缘锐度值设定车牌图像的评价指标时包括：
获取计算得到的边缘锐度值，并绘制边缘锐度值与模糊程度的关系曲线；
通过分析关系曲线的变化来建立量化关系，并结合图像主观评价的分析制定出基于EAV的图像质量评价指标，对车牌图像质量的主观评价进行指标量化。
进一步的，图像模糊复原模块包括模糊尺寸估计模块及图像复原模块；
其中，模糊尺寸估计模块用于利用基于改进的Radon变换和倒谱法实现对车牌图像模糊尺度的估计；
图像复原模块用于利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原。
进一步的，模糊尺寸估计模块包括运动模糊角度估计模块及运动模糊长度估计模块；
其中，运动模糊角度估计模块用于利用基于形态学改进的Radon变换法对车牌图像进行模糊角度估计；
运动模糊长度估计模块用于利用基于多级判断改进的倒谱法对车牌图像进行模糊长度估计。
进一步的，图像复原模块在利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原时包括：
利用基于贝叶斯原理的非线性图像复原算法根据估计的模糊尺度对模糊车牌图像进行复原，并根据预设的迭代次数得到复原的车牌图像；
其中，迭代次数的迭代公式为：
式中，f(x,y)k表示原始清晰车牌图像的第k次迭代估计结果，h(x,y)表示所用到估计出的模糊核，g(x,y)表示运动模糊车牌图像，*表示卷积运算。
进一步的，车牌检测模块包括车牌区域识别模块及车牌遮挡检测模块；
其中，车牌区域识别模块用于利用改进的yolov模型对预处理后的车牌图像进行检测，得到包含车牌的区域；
车牌遮挡检测模块用于基于深度学习技术训练得到遮挡检测模型来实现对车牌图像中是否出现车牌遮挡现象的检测。
进一步的，车牌识别模块包括正常车牌识别模块及遮挡车牌识别模块；
其中，正常车牌识别模块用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别；
遮挡车牌识别模块用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。
进一步的，遮挡车牌识别模块在利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别时包括：
获取处理后的遮挡车牌的图像，并根据该图像获取对应的驾驶员图像；
利用图像识别技术对驾驶员的身份进行识别，并根据该驾驶员的身份信息获取其名下的车牌信息；
利用相似度算法计算遮挡车牌与该驾驶员名下车牌的相似度；
根据预设的车牌相似度阈值判断遮挡车牌是否为该驾驶员名下的车牌，若是，则将该驾驶员名下的已知车牌作为该遮挡车牌的车牌号，若否，则执行下一步：
获取遮挡车牌的车辆图像作为目标车辆，并提取目标车辆的标识信息及目标车辆的当前位置信息；
获取目标车辆预设范围及时间内的车辆图像信息作为样本车辆，并根据相似度算法计算目标车辆与样本车辆之间的第一相似度，再计算目标车辆中驾驶员与样本车辆中驾驶员的第二相似度；
利用预设置信度结合第一相似度及第二相似度计算目标车辆与样本车辆之间的综合相似度，其中，综合相似度＝第一相似度*(1-N)+第二相似度*N，N为预先设定的置信度百分比，其取值范围为50％～90％；
将目标车辆与样本车辆的综合相似度值由高至低进行排序，得到综合相似度值最大的样本车辆即为目标车辆，并根据该样本车辆对应的驾驶员信息分析得到其名下的车牌号，即遮挡的车牌号。
本发明的有益效果为：
1)通过图像获取模块、图像处理模块、图像检测模块及车牌识别模块的配合使用，从而不仅可以在图像处理模块的作用下依次对获取的车牌图像进行滤波、反光增强及模糊复原处理，有效地降低图像噪声、反光及模糊状况对车牌识别的影响，为后续车牌的精确识别提供了有效地保障，而且还可以在车牌检测模块的作用下利用改进的yolov5模型及遮挡检测模型分别实现对车牌区域的识别及车牌遮挡现象的检测，同时还可以在车牌识别模块的作用下利用车牌识别模型及相似度分析算法分别实现对正常车牌图像及遮挡车牌图像中车牌号的识别，相比于传统的车牌识别技术，本发明不仅可以实现对车牌图像的滤波、反光增强及模糊复原处理，而且还可以实现对车牌区域及车牌遮挡现象的检测及识别，同时还可以实现对遮挡车牌和非遮挡车牌的识别，有效地提高了车牌的识别准确率。
2)通过利用差分乘积思想结合基于四领域改进的EAV算法来计算边缘锐度值，并结合设定的图像评价指标实现对车牌图像中运动模糊的有效地检测，从而可以有效地提高模糊检测的灵敏度及效率，通过用基于改进的Radon变换和倒谱法实现对车牌图像模糊尺度的估计，并利用基于贝叶斯原理的非线性图像复原算法对模糊车牌图像进行复原，从而可以有效地提升图像的复原效果。
3)通过利用驾驶员图像的分析可以得到该驾驶员名下对应的车牌信息，并基于该车牌信息与遮挡车牌的相似度比较可以实现对遮挡车牌的初次识别，当初始识别不能实现对遮挡车牌的识别时，则可以利用预设范围及时间内的车辆图像与遮挡车牌图像的相似度比较得到车辆相似度及驾驶员相似度，并结合预设的置信度来实现综合相似度的计算，从而可以基于综合相似度的排序来实现对遮挡车牌号的识别，可以更好地满足于车牌的识别需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于改进yolov5算法的车牌识别系统的结构框图；
图2是根据本发明实施例的一种基于改进yolov5算法的车牌识别系统中图像模糊检测模块的结构框图；
图3是根据本发明实施例的一种基于改进yolov5算法的车牌识别系统中图像模糊复原模块的结构框图。
图中：
1、图像获取模块；2、图像处理模块；21、图像滤波模块；22、反光检测模块；23、图像增强模块；24、图像模糊检测模块；241、边缘锐度值计算模块；242、图像评价指标设定模块；243、图像模糊判断模块；25、图像模糊复原模块；251、模糊尺寸估计模块；2511、运动模糊角度估计模块；2512、运动模糊长度估计模块；252、图像复原模块；3、车牌检测模块；31、车牌区域识别模块；32、车牌遮挡检测模块；4、车牌识别模块；41、正常车牌识别模块；42、遮挡车牌识别模块。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于改进yolov5算法的车牌识别系统。
现结合附图和具体实施方式对本发明进一步说明，如图1-图3所示，根据本发明实施例的基于改进yolov5算法的车牌识别系统，该系统包括图像获取模块1、图像处理模块2、车牌检测模块3及车牌识别模块4。
其中，图像获取模块1用于利用预设的摄像装置采集车辆的车牌图像；
图像处理模块2用于对采集的车牌图像进行预处理。
具体的，图像处理模块2包括图像滤波模块21、反光检测模块22、图像增强模块23、图像模糊检测模块24及图像模糊复原模块25。
其中，图像滤波模块21用于利用中值滤波算法对采集的车牌图像进行滤波处理；
反光检测模块22用于判断滤波后的车牌图像是否存在反光现象，并在出现反光时进行图像增强处理。
判断思路是：采用图像块对整幅图像进行遍历，这里图像块采用边长为25像素点的正方形，在遍历过程中，会对每个图像块中的所有像素进行判断，如果该图像块中的白色像素点占到该图像块总像素点的一半以上，则认为该图像块为反光图像块，并在整幅图像遍历结束后，判断反光图像块的个数，如果反光块数超过图像总块数的1％，则判定该图像存在局部反光。
图像增强模块23用于利用对比度调节算法对存在反光现象的车牌图像进行增强处理。
对比度调节如下：b＝(a-127.5)*tan[(45+44*c)/180*PI]+127.5，其中，a表示输入像素，b表示输出像素，PI表示圆周率，参数c的取值范围为[-1,1]，c的大小决定对比度调节程度。
图像模糊检测模块24用于利用预设的图像评价指标实现对车牌图像的模糊检测，并在车牌图像存在模糊时进行复原处理。
图像模糊检测模块24包括边缘锐度值计算模块241、图像评价指标设定模块242及图像模糊判断模块243。
其中，边缘锐度值计算模块241用于利用差分乘积思想结合基于四领域改进的EAV算法计算边缘锐度值；
差分乘积思想结合基于四领域改进的EAV算法的计算公式为：
式中，EAV表示边缘锐度值，f(x,y)表示车牌图像中像素点的灰度值，(x,y)表示坐标点，m和n分别表示车牌图像的长和宽；
图像评价指标设定模块242用于利用计算得到的边缘锐度值设定车牌图像的评价指标。
图像评价指标设定模块242在利用计算得到的边缘锐度值设定车牌图像的评价指标时包括：
获取计算得到的边缘锐度值，并绘制边缘锐度值与模糊程度的关系曲线；
通过分析关系曲线的变化来建立量化关系，并结合图像主观评价的分析制定出基于EAV的图像质量评价指标(如下表1所示)，对车牌图像质量的主观评价进行指标量化。
表1基于EAV的图像质量评价指标表
主观评价 EAV量化指标
非常清晰 >100
比较清晰 (80,100]
清晰 (40,80]
模糊 (20,40]
比较模糊 (5,20]
严重模糊 (0,5]
图像模糊判断模块243用于利用车牌图像的评价指标实现对车牌图像是否模糊的判断。
图像模糊复原模块25用于利用基于贝叶斯原理的非线性图像复原算法对模糊车牌图像进行复原。
具体的，图像模糊复原模块25包括模糊尺寸估计模块251及图像复原模块252。
其中，模糊尺寸估计模块251用于利用基于改进的Radon变换和倒谱法实现对车牌图像模糊尺度的估计。
模糊尺寸估计模块251包括运动模糊角度估计模块2511及运动模糊长度估计模块2512；
其中，运动模糊角度估计模块2511用于利用基于形态学改进的Radon变换法对车牌图像进行模糊角度估计。
通过观察傅里叶变换频谱图可得，频谱图中除了随模糊角度变化的中央亮条纹外，还会存在以图像中心为原点的十字亮条纹对Radon变换的结果带来干扰，因此采取图像处理算法消除十字亮条纹的影响。在得到傅里叶频谱图后不再立即进行Radon变换，而是首先对频谱图像进行二值化操作，二值化处理后的频谱图像，出现大量的白色小孔，仍存在十字亮条纹的影响，因此，采用形态学处理算法进一步改进。
形态学处理是一种基于数学拓扑的图像处理算法，通过结合多种运算，排除干扰并突出某些特定区域，基本运算有腐蚀、膨胀、开运算和闭运算等常见方法。为了消除二值化后频谱图像中的细小白色孔洞干扰，采用形态学中的开运算，即先腐蚀后膨胀操作。开运算后基本消除了十字亮条纹干扰，保留了与模糊角度相关的中央亮条纹，然后对其在0°～179°范围内进行Radon变换。
运动模糊长度估计模块2512用于利用基于多级判断改进的倒谱法对车牌图像进行模糊长度估计。
倒谱法的计算步骤如下：对运动模糊图像进行灰度化处理；对得到灰度图像进行二维傅里叶变换；对傅里叶变换结果进行压缩操作，得到频谱图；对频谱图进行傅里叶逆变换，得到倒谱域图像；对倒谱域移位操作，是低频成分位于中央，并将其按照顺时针旋转估算出的模糊角度，得到模糊方向水平的倒谱域；然后求出倒谱域图像的每列之和，得到模糊长度的估计曲线，根据曲线负峰值的特性，找出距离最高峰两侧最近的曲线值小于0的点，认为其是左右两个负峰值；得到最高峰两侧的负峰值位置以后，计算出两侧负峰值位置之间的距离除以2，估计出最终的模糊长度。
针对负峰值判断不准的情况，对负峰值判断算法进行了改进，设计了多级判断算法来排除干扰点，算法核心是利用多个阈值来选择负峰值，比如寻找曲线最高峰值左侧的负峰值。
图像复原模块252用于利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原。
图像复原模块252在利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原时包括：
利用基于贝叶斯原理的非线性图像复原算法根据估计的模糊尺度对模糊车牌图像进行复原，并根据预设的迭代次数得到复原的车牌图像；
其中，迭代次数的迭代公式为：
式中，f(x,y)k表示原始清晰车牌图像的第k次迭代估计结果，h(x,y)表示所用到估计出的模糊核，g(x,y)表示运动模糊车牌图像，*表示卷积运算。
车牌检测模块3用于利用改进的yolov5模型对预处理后的车牌图像进行检测，得到包含车牌的区域，还用于判断车牌图像中是否出现车牌遮挡现象。
具体的，车牌检测模块3包括车牌区域识别模块31及车牌遮挡检测模块32；
其中，车牌区域识别模块31用于利用改进的yolov5模型对预处理后的车牌图像进行检测，得到包含车牌的区域。
基于车牌识别在检测速度、模型的大小、可靠性等问题，本实施例以Yolov5的端-端车牌识别方法为框架，通过在车牌定位阶段，在主干网络中加入EPSA注意力机制，增加多尺度检测框可以有效地提高小尺寸车牌的检测能力，增强车牌在复杂背景的识别能力，并引入损失函数α-CloU，提高其预测框结的精度，再通过增加网络的检测尺度，再利用CRNN字符识别模型实现端-端的车牌识别。同时采取车牌模拟的方法以应对中文数据集不足的特点，均衡各个省份车牌的数据集，达到数据增强的目的，提高中文字符识别能力。
而在本实施例中则是利用改进的yolov5模型来实现对对预处理后的车牌图像进行检测，得到包含车牌的区域，其包括以下步骤：
特征提取：将车牌图片输入改进后的Yolov5模型，通过卷积神经网络(CNN)进行特征提取，得到一系列高维特征向量。
目标检测和语义分割：利用改进后的Yolov5的目标检测和语义分割功能，对输入的图片进行检测和分割，找到其中包含车牌的区域并分离车牌和背景。
车牌定位：根据目标检测和语义分割的结果，定位出车牌的位置和大小，并对车牌图片进行裁剪和缩放，得到包含车牌的区域。
车牌遮挡检测模块32用于基于深度学习技术训练得到遮挡检测模型来实现对车牌图像中是否出现车牌遮挡现象的检测。
遮挡检测模型：可以利用深度学习技术，训练一个遮挡检测模型，以实现更加准确的判断。训练数据可以采集不同场景下的车牌图像，包括未遮挡、部分遮挡和完全遮挡的情况，并标注每张图像的遮挡情况。然后使用这些数据训练一个分类模型，以判断车牌是否被遮挡。
车牌识别模块4用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别，还用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。
具体的，车牌识别模块4包括正常车牌识别模块41及遮挡车牌识别模块42；
其中，正常车牌识别模块41用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别。
本实施例中的车牌识别模型由车牌识别模型生成模块生成，所述车牌识别模型生成模块包括：
获取单元，用于从多角度拍摄的多个样本车牌图像中获取多个第一样本字符图像；
标记单元，用于分别对各所述第一样本字符图像中的字符进行标记，以得到标记出所述字符的多个第二样本字符图像；
生成单元，用于基于所述多个第二样本字符图像对所述深度学习网络进行训练，以生成所述车牌识别模型。
遮挡车牌识别模块42用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。
遮挡车牌识别模块42在利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别时包括：
获取处理后的遮挡车牌的图像，并根据该图像获取对应的驾驶员图像；
利用图像识别技术对驾驶员的身份进行识别(主要由驾驶员图像采集、驾驶员人脸检测、驾驶员人脸识别三个步骤实现)，并根据该驾驶员的身份信息获取其名下的车牌信息；
利用相似度算法计算遮挡车牌与该驾驶员名下车牌的相似度，其包括：1)提取车牌特征：遮挡车牌和该驾驶员名下车牌的图像需要进行车牌检测和字符分割，然后提取出每个字符的特征。一般来说，可以使用卷积神经网络(CNN)等深度学习模型对字符进行特征提取。2)计算字符相似度：对于遮挡车牌和该驾驶员名下车牌的每个字符，可以采用相似度算法(如余弦相似度、欧式距离等)计算它们之间的相似度。具体来说，可以将字符的特征向量作为输入，计算它们之间的相似度得分。3)计算总体相似度：对于整个车牌而言，可以将每个字符的相似度得分进行加权平均，作为遮挡车牌与该驾驶员名下车牌的总体相似度得分。权重可以根据实际情况进行设置，例如可以根据车牌中不同字符的重要程度进行加权。
根据预设的车牌相似度阈值判断遮挡车牌是否为该驾驶员名下的车牌，若是，则将该驾驶员名下的已知车牌作为该遮挡车牌的车牌号，若否，则执行下一步：
获取遮挡车牌的车辆图像作为目标车辆，并提取目标车辆的标识信息及目标车辆的当前位置信息；
获取目标车辆预设范围及时间内的车辆图像信息作为样本车辆，并根据相似度算法计算目标车辆与样本车辆之间的第一相似度，再计算目标车辆中驾驶员与样本车辆中驾驶员的第二相似度；
具体的，本实施例中预设范围可以为1公里、2公里、5公里等，优选为2公里，预设时间可以5分钟、10分钟、20分钟、30分钟等，优选为20分钟。
利用预设置信度结合第一相似度及第二相似度计算目标车辆与样本车辆之间的综合相似度，其中，综合相似度＝第一相似度*(1-N)+第二相似度*N，N为预先设定的置信度百分比，其取值范围为50％～90％；
将目标车辆与样本车辆的综合相似度值由高至低进行排序，得到综合相似度值最大的样本车辆即为目标车辆，并根据该样本车辆对应的驾驶员信息分析得到其名下的车牌号，即遮挡的车牌号。
综上所述，借助于本发明的上述技术方案，通过图像获取模块、图像处理模块、图像检测模块及车牌识别模块的配合使用，从而不仅可以在图像处理模块的作用下依次对获取的车牌图像进行滤波、反光增强及模糊复原处理，有效地降低图像噪声、反光及模糊状况对车牌识别的影响，为后续车牌的精确识别提供了有效地保障，而且还可以在车牌检测模块的作用下利用改进的yolov5模型及遮挡检测模型分别实现对车牌区域的识别及车牌遮挡现象的检测，同时还可以在车牌识别模块的作用下利用车牌识别模型及相似度分析算法分别实现对正常车牌图像及遮挡车牌图像中车牌号的识别，相比于传统的车牌识别技术，本发明不仅可以实现对车牌图像的滤波、反光增强及模糊复原处理，而且还可以实现对车牌区域及车牌遮挡现象的检测及识别，同时还可以实现对遮挡车牌和非遮挡车牌的识别，有效地提高了车牌的识别准确率。
此外，通过利用差分乘积思想结合基于四领域改进的EAV算法来计算边缘锐度值，并结合设定的图像评价指标实现对车牌图像中运动模糊的有效地检测，从而可以有效地提高模糊检测的灵敏度及效率，通过用基于改进的Radon变换和倒谱法实现对车牌图像模糊尺度的估计，并利用基于贝叶斯原理的非线性图像复原算法对模糊车牌图像进行复原，从而可以有效地提升图像的复原效果。
此外，通过利用驾驶员图像的分析可以得到该驾驶员名下对应的车牌信息，并基于该车牌信息与遮挡车牌的相似度比较可以实现对遮挡车牌的初次识别，当初始识别不能实现对遮挡车牌的识别时，则可以利用预设范围及时间内的车辆图像与遮挡车牌图像的相似度比较得到车辆相似度及驾驶员相似度，并结合预设的置信度来实现综合相似度的计算，从而可以基于综合相似度的排序来实现对遮挡车牌号的识别，可以更好地满足于车牌的识别需求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进yolov5算法的车牌识别系统，其特征在于，该系统包括图像获取模块(1)、图像处理模块(2)、车牌检测模块(3)及车牌识别模块(4)；
其中，所述图像获取模块(1)用于利用预设的摄像装置采集车辆的车牌图像；
所述图像处理模块(2)用于对采集的车牌图像进行预处理；
所述车牌检测模块(3)用于利用改进的yolov5模型对预处理后的车牌图像进行检测，得到包含车牌的区域，还用于判断车牌图像中是否出现车牌遮挡现象；
所述车牌识别模块(4)用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别，还用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别；
所述改进yolov5算法以yolov5的端-端车牌识别方法为框架，通过在车牌定位阶段，在主干网络中加入EPSA注意力机制，增加多尺度检测框，并引入损失函数α-CloU，再通过增加网络的检测尺度，再利用CRNN字符识别模型实现端-端的车牌识别；
所述利用改进的yolov5模型来实现对对预处理后的车牌图像进行检测，得到包含车牌的区域，包括以下步骤：
特征提取：将车牌图片输入改进后的yolov5模型，通过卷积神经网络进行特征提取，得到一系列高维特征向量；
目标检测和语义分割：利用改进后的yolov5的目标检测和语义分割功能，对输入的图片进行检测和分割，找到其中包含车牌的区域并分离车牌和背景；
车牌定位：根据目标检测和语义分割的结果，定位出车牌的位置和大小，并对车牌图片进行裁剪和缩放，得到包含车牌的区域；
所述图像处理模块(2)包括图像滤波模块(21)、反光检测模块(22)、图像增强模块(23)、图像模糊检测模块(24)及图像模糊复原模块(25)；
其中，所述图像滤波模块(21)用于利用中值滤波算法对采集的车牌图像进行滤波处理；
所述反光检测模块(22)用于判断滤波后的车牌图像是否存在反光现象，并在出现反光时进行图像增强处理；
所述图像增强模块(23)用于利用对比度调节算法对存在反光现象的车牌图像进行增强处理；
所述图像模糊检测模块(24)用于利用预设的图像评价指标实现对车牌图像的模糊检测，并在车牌图像存在模糊时进行复原处理；
所述图像模糊复原模块(25)用于利用基于贝叶斯原理的非线性图像复原算法对模糊车牌图像进行复原；
所述图像模糊检测模块(24)包括边缘锐度值计算模块(241)、图像评价指标设定模块(242)及图像模糊判断模块(243)；
其中，所述边缘锐度值计算模块(241)用于利用差分乘积思想结合基于四领域改进的EAV算法计算边缘锐度值；
所述差分乘积思想结合基于四领域改进的EAV算法的计算公式为：
式中，EAV表示边缘锐度值，f(x,y)表示车牌图像中像素点的灰度值，(x,y)表示坐标点，m和n分别表示车牌图像的长和宽；
所述图像评价指标设定模块(242)用于利用计算得到的边缘锐度值设定车牌图像的评价指标；
所述图像模糊判断模块(243)用于利用车牌图像的评价指标实现对车牌图像是否模糊的判断。
2.根据权利要求1所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述图像评价指标设定模块(242)在利用计算得到的边缘锐度值设定车牌图像的评价指标时包括：
获取计算得到的边缘锐度值，并绘制边缘锐度值与模糊程度的关系曲线；
通过分析关系曲线的变化来建立量化关系，并结合图像主观评价的分析制定出基于EAV的图像质量评价指标，对车牌图像质量的主观评价进行指标量化。
3.根据权利要求2所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述图像模糊复原模块(25)包括模糊尺寸估计模块(251)及图像复原模块(252)；
其中，所述模糊尺寸估计模块(251)用于利用基于改进的Radon变换和倒谱法实现对车牌图像模糊尺度的估计；
所述图像复原模块(252)用于利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原。
4.根据权利要求3所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述模糊尺寸估计模块(251)包括运动模糊角度估计模块(2511)及运动模糊长度估计模块(2512)；
其中，所述运动模糊角度估计模块(2511)用于利用基于形态学改进的Radon变换法对车牌图像进行模糊角度估计；
所述运动模糊长度估计模块(2512)用于利用基于多级判断改进的倒谱法对车牌图像进行模糊长度估计。
5.根据权利要求3所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述图像复原模块(252)在利用基于贝叶斯原理的非线性图像复原算法结合预设的迭代次数选取策略对模糊车牌图像进行复原时包括：
利用基于贝叶斯原理的非线性图像复原算法根据估计的模糊尺度对模糊车牌图像进行复原，并根据预设的迭代次数得到复原的车牌图像；
其中，所述迭代次数的迭代公式为：
式中，f(x,y)k表示原始清晰车牌图像的第k次迭代估计结果，h(x,y)表示所用到估计出的模糊核，g(x,y)表示运动模糊车牌图像，*表示卷积运算。
6.根据权利要求1所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述车牌检测模块(3)包括车牌区域识别模块(31)及车牌遮挡检测模块(32)；
其中，所述车牌区域识别模块(31)用于利用改进的yolov5模型对预处理后的车牌图像进行检测，得到包含车牌的区域；
所述车牌遮挡检测模块(32)用于基于深度学习技术训练得到遮挡检测模型来实现对车牌图像中是否出现车牌遮挡现象的检测。
7.根据权利要求1所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述车牌识别模块(4)包括正常车牌识别模块(41)及遮挡车牌识别模块(42)；
其中，所述正常车牌识别模块(41)用于利用车牌识别模型对预处理后的车牌图像中的车牌号进行识别；
所述遮挡车牌识别模块(42)用于利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别。
8.根据权利要求7所述的一种基于改进yolov5算法的车牌识别系统，其特征在于，所述遮挡车牌识别模块(42)在利用相似度分析算法对遮挡的车牌图像中的车牌号进行识别时包括：
获取处理后的遮挡车牌的图像，并根据该图像获取对应的驾驶员图像；
利用图像识别技术对驾驶员的身份进行识别，并根据该驾驶员的身份信息获取其名下的车牌信息；
利用相似度算法计算遮挡车牌与该驾驶员名下车牌的相似度；
根据预设的车牌相似度阈值判断遮挡车牌是否为该驾驶员名下的车牌，若是，则将该驾驶员名下的已知车牌作为该遮挡车牌的车牌号，若否，则执行下一步：
获取遮挡车牌的车辆图像作为目标车辆，并提取目标车辆的标识信息及目标车辆的当前位置信息；
获取目标车辆预设范围及时间内的车辆图像信息作为样本车辆，并根据相似度算法计算目标车辆与样本车辆之间的第一相似度，再计算目标车辆中驾驶员与样本车辆中驾驶员的第二相似度；
利用预设置信度结合第一相似度及第二相似度计算目标车辆与样本车辆之间的综合相似度，其中，综合相似度＝第一相似度*(1-N)+第二相似度*N，N为预先设定的置信度百分比，其取值范围为50％～90％；
将目标车辆与样本车辆的综合相似度值由高至低进行排序，得到综合相似度值最大的样本车辆即为目标车辆，并根据该样本车辆对应的驾驶员信息分析得到其名下的车牌号，即遮挡的车牌号。
CN202310575659.9A 2023-05-22 2023-05-22 一种基于改进yolov5算法的车牌识别系统 Active CN116597432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310575659.9A CN116597432B (zh) 2023-05-22 2023-05-22 一种基于改进yolov5算法的车牌识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310575659.9A CN116597432B (zh) 2023-05-22 2023-05-22 一种基于改进yolov5算法的车牌识别系统

Publications (2)

Publication Number Publication Date
CN116597432A CN116597432A (zh) 2023-08-15
CN116597432B true CN116597432B (zh) 2023-10-13

Family

ID=87595184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310575659.9A Active CN116597432B (zh) 2023-05-22 2023-05-22 一种基于改进yolov5算法的车牌识别系统

Country Status (1)

Country Link
CN (1) CN116597432B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147858A (zh) * 2011-03-31 2011-08-10 重庆大学 车牌字符识别方法
CN201961260U (zh) * 2011-03-10 2011-09-07 孙志刚 一种电子车牌
KR20150140144A (ko) * 2014-06-05 2015-12-15 창원대학교 산학협력단 고속 주행 차량용 번호판 인식장치
KR20160057059A (ko) * 2014-11-13 2016-05-23 주식회사한맥아이피에스 선택적 선명화를 통한 차량 번호판 인식 방법과 시스템
CN107633251A (zh) * 2017-09-28 2018-01-26 深圳市晟达机械设计有限公司 一种基于图像增强的车辆识别系统
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别系统及其方法
WO2022262013A1 (zh) * 2021-06-15 2022-12-22 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201961260U (zh) * 2011-03-10 2011-09-07 孙志刚 一种电子车牌
CN102147858A (zh) * 2011-03-31 2011-08-10 重庆大学 车牌字符识别方法
KR20150140144A (ko) * 2014-06-05 2015-12-15 창원대학교 산학협력단 고속 주행 차량용 번호판 인식장치
KR20160057059A (ko) * 2014-11-13 2016-05-23 주식회사한맥아이피에스 선택적 선명화를 통한 차량 번호판 인식 방법과 시스템
CN107633251A (zh) * 2017-09-28 2018-01-26 深圳市晟达机械设计有限公司 一种基于图像增强的车辆识别系统
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别系统及其方法
WO2022262013A1 (zh) * 2021-06-15 2022-12-22 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于DSP的图像处理在车牌识别中的应用;马晶;雷勇;涂国强;杨健熙;穆巍;;微计算机信息(第29期);全文 *
基于改进K近邻算法的小型汽车号牌识别系统;马志远;余粟;;软件导刊(第06期);全文 *

Also Published As

Publication number Publication date
CN116597432A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Comelli et al. Optical recognition of motor vehicle license plates
CN104361343B (zh) 车辆类型识别方法及其装置
TWI381321B (zh) 重組多張影像與辨識方法以及影像擷取與辨識系統
CN109035298B (zh) 一种基于黑烟运动特性的黑烟检测与dg计算方法
Khalifa et al. Malaysian Vehicle License Plate Recognition.
Saini et al. Multiwavelet transform based license plate detection
CN109460722B (zh) 一种车牌智能识别方法
CN115861325B (zh) 基于图像数据的悬架弹簧缺陷检测方法及系统
CN106778742B (zh) 一种基于Gabor滤波器背景纹理抑制的车标检测方法
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN106557740A (zh) 一种遥感图像中油库目标的识别方法
CN114387591A (zh) 车牌识别方法、系统、设备及存储介质
Ko et al. License plate surveillance system using weighted template matching
CN111738256A (zh) 基于改进分水岭算法的复合材料ct图像分割方法
Roomi et al. Accurate license plate localization
CN1564600A (zh) 动态场景下的运动物体检测方法
CN114463684A (zh) 一种面向城市高速路网的堵点检测方法
Sulehria et al. Mathematical morphology methodology for extraction of vehicle number plates
CN116597432B (zh) 一种基于改进yolov5算法的车牌识别系统
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN104966064A (zh) 基于视觉的前方行人测距方法
Hung et al. License plate detection based on expanded Haar wavelet transform
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN115359449B (zh) 一种转辙机道岔缺口图像的自动识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant