CN114898353B - 一种基于视频序列图像特征与信息的车牌识别方法 - Google Patents

一种基于视频序列图像特征与信息的车牌识别方法 Download PDF

Info

Publication number
CN114898353B
CN114898353B CN202210820134.2A CN202210820134A CN114898353B CN 114898353 B CN114898353 B CN 114898353B CN 202210820134 A CN202210820134 A CN 202210820134A CN 114898353 B CN114898353 B CN 114898353B
Authority
CN
China
Prior art keywords
license plate
character
information
recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210820134.2A
Other languages
English (en)
Other versions
CN114898353A (zh
Inventor
刘寒松
王永
王国强
刘瑞
翟贵乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210820134.2A priority Critical patent/CN114898353B/zh
Publication of CN114898353A publication Critical patent/CN114898353A/zh
Application granted granted Critical
Publication of CN114898353B publication Critical patent/CN114898353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1475Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明属于车牌识别技术,涉及一种基于视频序列图像特征与信息的车牌识别方法,通过主干网络提取特征后,送入ConvGRU模块,利用前面几帧的特征信息,共同来凸显移动的车牌特征,并将提取的特征送入下一个卷积模块用来提取车牌的四边形信息以及车牌的仿射变换参数,提取的车牌经过放射变换矫正后利用检测算法进行识别,识别出车牌的字符信息及每个字符的置信度,对于每个字符识别结果与前面几帧得到的字符识别结果以及置信度进行比较,取每个字符置信度最大的字符作为当前车牌字符的识别结果,能够大幅度的提升侧方位车牌识别的效果。

Description

一种基于视频序列图像特征与信息的车牌识别方法
技术领域
本发明属于车牌识别技术,涉及一种基于视频序列图像特征与信息的车牌识别方法。
背景技术
随着人工智能与计算机视觉等技术的迅速发展,智慧交通在智慧城市中发挥了重要作用,而车牌识别技术在智慧交通体系中扮演了重要角色,正向的车牌检测与识别技术已经比较成熟,而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差。
现有的大多数的侧方位车牌识别技术都是基于单张图像的,但是单张图像车牌识别存在非常大的问题,从车辆进入摄像头的视野到车辆停止下来中间会经历一个过程,在这个过程中,可能在某个时刻,车牌相对来说比较视角比较好一些,有利于识别,等车辆挺稳后,可能拍摄的角度比较刁钻,不利于车牌的矫正和识别,而且侧方位识别也非常容易受到角度和光照的影响,而且在整个过程中因为存在倾斜角度的原因,每个字符的清晰程序也不同,因此,亟需设计提供一种新型的车牌识别方法,提高侧方位停车场景下车牌识别的精度。
发明内容
为了克服现有侧方位停车场景下,基于单幅图像的车牌识别精度不高的问题,本发明设计提供一种基于视频序列图像特征与信息的车牌识别方法,其中序列图像特征是序列图像通过卷积网络提取的特征,信息是指不同帧的识别结果,能够高精度的实现侧方位停车场景下的车牌识别。
为实现上述目的,本发明通过主干网络提取车牌图像特征后,送入ConvGRU模块,利用前面几帧的特征信息,共同来凸显移动的车牌特征,提取的特征送入下一个卷积模块用来,提取车牌的四边形信息以及车牌的仿射变换参数,提取的车牌经过放射变换矫正后利用检测算法进行识别,识别出车牌的字符信息及每个字符的置信度,对于每个字符识别结果与前面几帧得到的字符识别结果以及置信度进行比较,取每个字符置信度最大的字符作为当前车牌字符的识别结果,如果是单行车牌,从左往右输出的字符结果即为最终的车牌识别结果,如果是双层车牌,从上到下从左往右依次输出字符结果即为双层车牌的识别结果,具体包括如下步骤:
(1)收集侧方位视频桩采集的含有倾斜、畸变车牌的图像,构建车牌数据集,并将数据集划分为训练集、验证集和测试集;
(2)对数据集中图片的尺寸和数值范围进行初始化操作,将处理后的图像输入到主干网络中利用序列图像特征信息进行卷积特征提取,
(3)将步骤(2)提取的特征送入卷积模块用来提取车牌区域和仿射变换的参数,车牌区域和仿射变换的参数利用步骤(1)的数据集进行训练,训练时,车牌区域的能量损失采用Single Shot MultiBox Detector算法中的检测损失来计算,仿射变换的能量损失采用Spatial Transformer Networks中的仿射损失来计算,总的能量损失函数为这两个能量损失函数的和;
(4)根据步骤(3)得到的车牌区域和仿射变换参数,将车牌顶点坐标位置与预设尺寸的车牌坐标进行仿射变换,通过两者的坐标位置仿射变换计算出仿射矩阵后将仿射矩阵作用于从原始图像中通过坐标裁剪的车牌,获得检测并矫正后的车牌图像,再将矫正后的车牌通过Tiny Yolo检测算法检测出当前车牌每个字符并计算出每个识别字符的置信度,取每个字符置信度最大的字符作为当前帧车牌字符的识别结果;
(5)将步骤(4)得到的当前帧的车牌字符识别结果与前面几帧的车牌识别结果进行比对,输出最终识别结果。
进一步的,步骤(1)所述车牌数据集中车牌图像标注车牌的位置以及每个字符的位置,车牌位置为四个顶点的标注,通过四个顶点的位置矫正出对应车牌的水平矩形框的坐标,在矫正后的车牌里面标注每个字符的外框矩形。
进一步的,步骤(2)所述卷积神经网络采用Resnet18作为特征提取网络,提取的特征与视频图像的前一帧提取的特征信息一起送入ConvGRU模块,用于每一帧都是利用了上一帧与当前帧的信息融合,因此当前帧的信息融合了前面所有帧的信息,这样利用序列图像特征信息提取出移动的车牌的特征。
进一步的,步骤(3)所述卷积模块包含六组残差模块和两个平均池化模块,每组残差模块均包括3×3卷积层和PRelu层,其中四组残差模块中每层3×3卷积的数量为64个,另外两组残差模块中每层3×3卷积的数量为128个。
进一步的,步骤(5)中如果车牌为单行车牌,从左往右输出的字符结果即为最终的车牌识别结果,如果是双层车牌,从上到下从左往右依次输出字符结果即为双层车牌的识别结果。
本发明在车牌识别过程中,每隔一段时间采取一张图像进行检测和识别,与视频中的前几帧进行融合处理,通过前后帧的信息来进行车牌的检测、识别以及结果比对;在侧方位停车识别场景中大部分,图像中的大部分物体是静止的,只有少数的车辆和行人是移动的,利用多帧特征信息能够更好的提取停车过程中的车牌信息;另外利用多帧检测的结果进行联合处理,即多个识别结果,每个字符取置信度高的为最终结果,这样也使每个字符的识别精度得到保障,通过信息融合利用了多帧信息进行车牌联合识别。
与现有技术相比,本发明通过主干网络提取特征后,送入ConvGRU模块,利用前面几帧的特征信息,共同来凸显移动的车牌特征,并将提取的特征送入下一个卷积模块用来提取车牌的四边形信息以及车牌的仿射变换参数,提取的车牌经过放射变换矫正后利用检测算法进行识别,识别出车牌的字符信息及每个字符的置信度,对于每个字符识别结果与前面几帧得到的字符识别结果以及置信度进行比较,取每个字符置信度最大的字符作为当前车牌字符的识别结果,能够大幅度的提升侧方位车牌识别的效果。
附图说明
图1为本发明车牌识别的整体网络结构图。
图2为图1中卷积模块的详细结构图。
具体实施方式
下面结合附图并通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本实施例实现车牌识别的整体网络结构图如图1所示,具体包括如下步骤:
(1)数据集构建:
收集侧方位视频桩采集的含有倾斜、畸变等车牌的图像,构建车牌的数据集,并标注车牌的位置以及每个字符的位置,其中车牌位置主要是四个顶点的标注,通过四个顶点的位置可以矫正出对应车牌的水平矩形框的坐标,在矫正后的车牌里面标注每个字符的外框矩形,最后将数据集划分为训练集、验证集和测试集;
(2)基于视频序列帧的图像车牌信息提取:
先对图片的尺寸和数值范围进行初始化操作,再将处理后的图像输入到主干网络中进行卷积特征提取,为了更好的兼顾速度和精度,使用Resnet18作为主干网络进行特征提取,提取的特征与视频图像的前一帧提取的特征信息一起送入ConvGRU模块,因为每一帧都是利用了上一帧与当前帧的信息融合,所以当前帧的信息融合了前面所有帧的信息,这样利用序列图像特征信息可以更好的提取出移动的车牌的特征;
(3)利用卷积模块提取车牌区域和仿射变换参数:
将步骤(2)提取的特征送入卷积模块用来提取车牌区域和仿射变换的参数,卷积模块设计如图2所示,包含六组残差模块和两个平均池化模块,每组残差模块中包括3×3卷积层和PRelu层,六组残差模块中其中四组残差模块中每层3×3卷积的数量为64个,另外两组残差模块中每层3×3卷积的数量为128个;设计好网络结构后,利用步骤(1)的数据集进行训练,训练时,是否有车牌检测的能量损失采用Single Shot MultiBox Detector算法中的检测损失来计算,仿射变换的能量损失采用 Spatial Transformer Networks中的仿射损失来计算,总的能量损失函数为这两个能量损失函数的和;
(4)车牌矫正与识别:
根据步骤(3)得到的车牌区域和仿射变换参数,将车牌顶点坐标位置与预设尺寸的车牌坐标进行仿射变换,通过两者的坐标位置仿射变换就可以计算出仿射矩阵,然后将仿射矩阵作用于从原始图像中通过坐标裁剪的车牌,获得检测并矫正后的车牌图像,矫正后的车牌通过Tiny Yolo检测算法就可以检测出每个字符并计算出每个识别字符的置信度,得到当前帧的车牌识别结果;
(5)当前帧识别的结果与前面帧识别结果进行比对:
将步骤(4)得到的当前帧的车牌识别结果与前面几帧的车牌识别结果进行比对,输出最终识别结果,以单行车牌为例,一般车牌含有七个字符,当期车牌识别出的每个字符按照顺序依次与前面几帧的识别结果的每个字符做比对,如果对应位置的字符相同,则以当前识别出的字符为当前字符的识别结果,如果对应位置的字符与前面帧识别的结果不一样,则以置信度最大的字符作为识别结果。所有字符与前面帧的字符识别结果比对后得到的结果就是最终的车牌识别结果。
本实施例所提供车牌识别方法可以利用在停车过程中车牌的序列信息来进行车牌识别,从而提升侧方位停车场景下的车牌识别的精度。
本文中未详细说明的算法、计算过程和网络结构均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的,因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (1)

1.一种基于视频序列图像特征与信息的车牌识别方法,其特征在于,包括如下步骤:
(1)收集侧方位视频桩采集的含有倾斜、畸变车牌的图像,构建车牌数据集,并将数据集划分为训练集、验证集和测试集;车牌数据集中车牌图像标注车牌的位置以及每个字符的位置,车牌位置为四个顶点的标注,通过四个顶点的位置矫正出对应车牌的水平矩形框的坐标,在矫正后的车牌里面标注每个字符的外框矩形;
(2)对数据集中图片的尺寸和数值范围进行初始化操作,将处理后的图像输入到主干网络中利用序列图像特征信息进行卷积特征提取,其主干网络采用Resnet18作为特征提取网络,提取的特征与视频图像的前一帧提取的特征信息一起送入ConvGRU模块,每一帧均利用上一帧与当前帧的信息融合,当前帧的信息融合了前面所有帧的信息,利用序列图像特征信息提取出移动的车牌的特征;
(3)将步骤(2)提取的特征送入卷积模块用来提取车牌区域和仿射变换的参数,车牌区域和仿射变换的参数利用步骤(1)的数据集进行训练,训练时,车牌区域的能量损失采用Single Shot MultiBox Detector算法中的检测损失来计算,仿射变换的能量损失采用Spatial Transformer Networks中的仿射损失来计算,总的能量损失函数为这两个能量损失函数的和;所述卷积模块包含六组残差模块和两个平均池化模块,每组残差模块均包括3×3卷积层和PRelu层,其中四组残差模块中每层3×3卷积的数量为64个,另外两组残差模块中每层3×3卷积的数量为128个;
(4)根据步骤(3)得到的车牌区域和仿射变换参数,将车牌顶点坐标位置与预设尺寸的车牌坐标进行仿射变换,通过两者的坐标位置仿射变换计算出仿射矩阵后将仿射矩阵作用于从原始图像中通过坐标裁剪的车牌,获得检测并矫正后的车牌图像,再将矫正后的车牌通过Tiny Yolo检测算法检测出当前车牌每个字符并计算出每个识别字符的置信度,取每个字符置信度最大的字符作为当前帧车牌字符的识别结果;
(5)将步骤(4)得到的当前帧的车牌字符识别结果与前面几帧的车牌识别结果进行比对,输出最终识别结果,如果车牌为单行车牌,从左往右输出的字符结果即为最终的车牌识别结果,如果是双层车牌,从上到下从左往右依次输出字符结果即为双层车牌的最终识别结果。
CN202210820134.2A 2022-07-13 2022-07-13 一种基于视频序列图像特征与信息的车牌识别方法 Active CN114898353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210820134.2A CN114898353B (zh) 2022-07-13 2022-07-13 一种基于视频序列图像特征与信息的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210820134.2A CN114898353B (zh) 2022-07-13 2022-07-13 一种基于视频序列图像特征与信息的车牌识别方法

Publications (2)

Publication Number Publication Date
CN114898353A CN114898353A (zh) 2022-08-12
CN114898353B true CN114898353B (zh) 2022-10-25

Family

ID=82729390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210820134.2A Active CN114898353B (zh) 2022-07-13 2022-07-13 一种基于视频序列图像特征与信息的车牌识别方法

Country Status (1)

Country Link
CN (1) CN114898353B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171092B (zh) * 2022-09-08 2022-11-18 松立控股集团股份有限公司 一种基于语义增强的端到端车牌检测方法
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别系统
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN112906643A (zh) * 2021-03-22 2021-06-04 高新兴科技集团股份有限公司 车牌号码识别方法及装置
CN113128507A (zh) * 2021-05-12 2021-07-16 锐捷网络股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990830B2 (en) * 2016-09-13 2021-04-27 Genetec Inc. Auto-calibration of tracking systems
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别系统
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN112906643A (zh) * 2021-03-22 2021-06-04 高新兴科技集团股份有限公司 车牌号码识别方法及装置
CN113128507A (zh) * 2021-05-12 2021-07-16 锐捷网络股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Also Published As

Publication number Publication date
CN114898353A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114898353B (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN101621634B (zh) 动态前景分离的大幅面视频拼接方法
CN114677502B (zh) 一种任意倾斜角度的车牌检测方法
CN111914838B (zh) 一种基于文本行识别的车牌识别方法
CN111178236A (zh) 一种基于深度学习的车位检测方法
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN113673444B (zh) 一种基于角点池化的路口多视角目标检测方法及系统
CN111914795A (zh) 一种航拍图像中旋转目标检测方法
CN112232351B (zh) 一种基于深度神经网络的车牌识别系统
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法
CN114255197A (zh) 一种红外与可见光图像自适应融合对齐方法及系统
CN113128507A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN115376028A (zh) 基于稠密特征点拼接和改进型yolov 5的目标检测方法
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN113221957B (zh) 一种基于Centernet的雷达信息融合特征增强方法
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法
CN116343095A (zh) 一种基于视频拼接的车辆轨迹提取方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant