CN115546776A - 基于卷积神经网络模型的字符分割模式车牌识别方法 - Google Patents

基于卷积神经网络模型的字符分割模式车牌识别方法 Download PDF

Info

Publication number
CN115546776A
CN115546776A CN202211143811.8A CN202211143811A CN115546776A CN 115546776 A CN115546776 A CN 115546776A CN 202211143811 A CN202211143811 A CN 202211143811A CN 115546776 A CN115546776 A CN 115546776A
Authority
CN
China
Prior art keywords
license plate
feature map
lpcr
convolution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211143811.8A
Other languages
English (en)
Inventor
赵池航
化丽茹
苏子钧
石鑫
薛善光
孟玉文
张希庆
吴宇航
马欣怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Hebei Jiaotong Vocational and Technical College
Original Assignee
Southeast University
Hebei Jiaotong Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Hebei Jiaotong Vocational and Technical College filed Critical Southeast University
Priority to CN202211143811.8A priority Critical patent/CN115546776A/zh
Publication of CN115546776A publication Critical patent/CN115546776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公布了基于卷积神经网络模型的字符分割模式车牌识别方法，包括：基于异常天气状况下的高速整车图像，构建高速公路车牌图像集；基于图像比例的方法，对车牌字符进行分割；构建不同字符集的分类卷积神经网络模型，优选Inceptionv3‑LPCR、ResNet50‑LPCR、ResNeXt‑LPCR和MNASNet‑LPCR模型完成车辆号牌识别。本发明的有益效果在于：能够有效对车牌的字符进行分割，构建符合真实高速场景且适用于神经网络学习的车牌图像集，同时选用结构合理的卷积神经网络，完成对车辆牌照的自动识别，提升了车牌识别的准确率与速度，对于车辆的识别有着重要的作用。

Description

基于卷积神经网络模型的字符分割模式车牌识别方法
技术领域
本发明专利涉及智能交通，智慧高速信息感知领域，具体涉及一种基于卷积神经网络模型的字符分割模式车牌识别方法。
背景技术
为提升高速公路运输效率，高速公路不停车收费系统已成为实现高速智慧化和信息化的关键部分，其中高速公路场景中车辆全息信息感知，特别是车辆号牌识别是智慧高速公路不停车收费建设的重要内容之一。但由于高速公路的露天场景特性，存在雨、雪、雾等特殊天气条件，且光线变化显著，车辆行驶速度快等因素都极大的影响了车辆全息信息感知及车辆号牌识别的准确率，因此构建高速公路场景中异常天气条件下车辆全息信息感知模型及车辆号牌识别模型成为高速不停车收费迫切需要解决的问题之一，对构建智慧高速公路体系具有重要的研究意义和应用价值。因此，本文基于异常天气状况下的高速整车图像，研究车牌分割方法与不同字符集的分类卷积神经网络模型，提出了一种基于ResNeXt-LPCR卷积神经网络模型的字符分割模式车辆牌照识别方法，进一步提升了高速公路中车辆牌照的识别效率与识别准确率。
发明内容
发明目的：为了克服现有车辆牌照识别技术中存在的不足，提供一种基于卷积神经网络模型的字符分割模式车牌识别方法，其利用ResNeXt-LPCR卷积神经网络模型的深度学习方法快速且准确地对车牌字符进行识别，给公路场景下不停车收费系统提供了新的车辆感知技术支持。
技术方案：为实现上述目的，本发明提供的基于卷积神经网络模型的字符分割模式车牌识别方法，包括如下步骤：
S1：基于异常天气状况下的高速整车图像，构建高速公路车牌图像集；
S2：基于图像比例的方法，对车牌字符进行分割；
S3：构建不同字符集的分类卷积神经网络模型，优选Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR分类卷积神经网络模型完成车辆号牌的识别。
进一步的，所述步骤S1中基于异常天气状况下的高速整车图像，高速公路车牌图像集的构建方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果。检测内容包括车窗、车脸和车牌，随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。最终构建异常天气条件下高速公路车牌数据集13733幅，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。对筛选后的照片YOLOv3目标检测模型进行车牌区域感知，并对车牌图像进行筛选和整理后，获得异常天气条件下高速公路车牌数据集，包括13733幅图像，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。
进一步的，所述步骤S2中基于图像比例的方法，对车牌字符进行分割的具体步骤如下：
①明确国内现有车牌的宽、高尺寸，明确车牌上每个字符的宽、高尺寸与间隔长度；
②确定现有车牌上的字符数量并选取切割点，按照选取好的切割点计算其具体位置；
③根据车牌宽度W建立每个切割点的具体计算公式。
进一步的，所述步骤S3中构建不同字符集下分类卷积神经网络模型的方法为：基于图像比例分割的方法对车牌图像字符进行切割，同时根据车牌中可能出现的所有单字符，将其分为65类，分别为：0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、云、京、冀、吉、宁、川、新、晋、桂、沪、津、浙、渝、湘、琼、甘、皖、粤、苏、蒙、藏、豫、贵、赣、辽、鄂、闽、陕、青、鲁、黑，并分别输入所搭建的卷积神经网络中进行训练。
进一步的，所述InceptionV3-LPCR由Block1、Block2、Block3、Block4和Block5这五个模块构成，其中模块1包括三个3×3的卷积层和一个最大池化层，模块2包括两个3×3的卷积层和一个最大池化层，模块3由三个Inception Module A结构构成，模块4由一个Inception Module D结构和四个Inception Module B结构构成，模块5由一个InceptionModule E结构和两个Inception Module C结构构成。所述ResNet50-LPCR由五个卷积模块(conv2d)构成，其中第一个卷积模块包括一个7×7的卷积层，第二至五个卷积模块分别包括3个、4个、6个和3个残差单元，每个残差单元均由1×1卷积、3×3卷积、1×1卷积和一个残差连接支路构成。所述ResNeXt卷积神经网络是Resnet网络和Inception网络的结构体，其本质为对于不同的通道采取不同的卷积，即分组卷积。该卷积神经网络由5个卷积模块(conv2d)构成，主要网络结构在ResNet50的基础上，保持第一个卷积模块不动，将第二至第五个卷积模块前两层convolution kernel的数量提升了两倍。所述MNASNet-LPCR卷积神经网络将每个卷积神经网络分为7个模块，每个模块的内部结构相同，但模块间的结构不同，同时采用强化学习的方法来搜索神经网络最优的卷积方式，卷积核大小，跨层连接方式或是每个模块中的层数，每个模块都可视为一个Residual结构，分别由三个卷积层附加一个残差连接组合而成。
进一步的，将所述Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR卷积神经网络提取得到的特征向量分别输入到输出维度设置为65的全连接层中，将特征向量转换为与字符类别数相同的65维特征向量，并采用softmax进行分类，得到该图像在65类上的分布概率，其中最大的概率值对应的类别即为该车牌字符图像预测的类别，最终实现本发明的车辆号牌识别过程。
本发明综合了YOLOv3的目标检测模型、图像比例分割算法和Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR卷积神经网络模型，提出了一种高精度且高效率的车牌识别方法，该方法在通过YOLOv3目标检测获取到车牌区域后，对车牌字符进行合理的切割并构建高速公路车牌图像集，最终选用识别准确率高且识别速度快的ResNeXt-LPCR卷积神经网络模型完成车牌识别。
本发明的有益效果是：能够有效将整车图像中的车牌区域提取出来，并合理切割出车牌上的单个字符，构建适用于卷积神经网络训练的高速公路车牌图像集，实现车辆牌照的识别，为高速公路场景中的车辆全息信息感知提供技术支持。
附图说明
图1为可供使用的清晰车牌图像示例。
图2为我国现行七字车牌尺寸。
图3为车辆比例切割图，其中(a)为完整车牌图像，(b)为比例分割车牌图像。
图4为优化的异常天气条件下高速公路车牌数据集中各类字符数量。
图5为Inceptionv3-LPCR网络模型结构与参数。
图6为ResNet50-LPCR网络模型结构与参数。
图7为ResNeXt网络模型结构与参数。
图8为MNASNet-LPCR网络模型结构与参数。
图9为InceptionV3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR四种模型的识别准确率及时间。
具体实施方式
下面结合附图，进一步阐明本发明，本发明提供的基于卷积神经网络模型的字符分割模式车牌识别方法，下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
S1：基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集。
其具体为：
使用YOLOv3目标检测模型对高速公路上采集到异常天气下的整车图像进行目标检测，以获取多种天气条件下的车辆全息检测结果，检测内容包括车窗、车脸和车牌。随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。最终构建异常天气条件下高速公路车牌数据集13733幅，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。最后，对车牌数据进行整理并对数据标签进行确认，将车牌划分为能够确定车牌号的车牌和不能确定车牌号的车牌，其中能够确定车牌号的共10316幅，不能确定车牌号的3417幅。对于能确定车牌号的图像而言，虽然其在一定程度上存在模糊、雨雪遮挡、对比度低等问题，但能够明确车牌号信息，保留并准备输入神经网络进行训练；对于不能确定车牌号的图像而言，其分辨率过低或者是过于模糊，无法确定完整车牌号信息，尤其无法确定车牌信息中的汉字部分，因此无法确定其标签，这部分车牌应无法进行后续实验，应进行删除，可供使用的清晰车牌图像如图1所示。
S2：基于图像比例的方法，对车牌字符进行分割。
其具体为：
①明确国内现有车牌的宽、高尺寸，明确车牌上每个字符的宽、高尺寸与间隔长度；
由于我国对于各种类型的车牌都有明确标准，且车牌尺寸已知，为了明确研究异常天气情况下车牌识别的研究主题，本文对于多种车牌类型不做讨论，仅对于最普遍的七个字符的蓝底和黄底车牌进行研究。我国现行车牌的尺寸如图2所示，包含七个字符和一个间隔符，其中第一个字符为汉字，第二个字符为英文字母，后五个字符为英文字母与数字的随机排列。标准车牌宽为440毫米，高为140毫米，车牌上每个字符宽为45毫米，高为90毫米，字符的高宽比为2∶1，除第二个字符与第三个字符间隔为34毫米外，其他车牌字符之间的间距固定，为12毫米，左右边界为15.5毫米。
②确定现有车牌上的字符数量并选取切割点，按照选取好的切割点计算其具体位置；
本文对于多种车牌类型不做讨论，仅对于最普遍的七个字符的蓝底和黄底车牌进行研究。为了提升切割的准确程度，最大可能地避免切割到车牌的某个字符上，选取两个字符间隔的中间值作为切割点，按照比例将车牌切割为7个字符，则切割点Z＝[66.5，134.5，202.5，259.5，316.5，375.5]。切割结果样例如图3所示。
③根据车牌宽度W建立每个切割点的具体计算公式。
假设存在车牌的宽为W，则该车牌切割点xi(i＝1，2，3，4，5，6)的计算公式为：
Figure BDA0003854785100000051
S3：构建不同字符集的分类卷积神经网络模型，优选ResNeXt-LPCR模型完成车辆号牌的识别。
其具体为：
根据分割好的所有单字符，将其人工分为65类，分别为：0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、云、京、冀、吉、宁、川、新、晋、桂、沪、津、浙、渝、湘、琼、甘、皖、粤、苏、蒙、藏、豫、贵、赣、辽、鄂、闽、陕、青、鲁、黑，并进行数据统计。统计结果表明数据集中字符数量差异过大，尤其是在汉字字符中数量最多的为鲁，共2164个字符，数量最少的为藏，共5个字符。为降低车牌数据本身的差异性，本文构建的异常天气条件下高速公路车牌数据集时，对数据中汉字字符数量进行筛选。对每个汉字以300个字符为标准，低于300个字符的选取该类汉字的全部车牌；接近300个字符的汉字，若不超过400个字符，则选取该类汉字全部车牌；远多于300个字符的汉字，则该类汉字选取300个车牌。最终优选8170幅车牌图像用于构建优化的异常天气条件下高速公路车牌数据集，并分别输入所搭建的卷积神经网络中进行训练，优化后各字符统计数量如图4所示。
所述步骤S3中构建InceptionV3-LPCR分类卷积神经网络模型的方法为：所述卷积神经网络由Block1、Block2、Block3、Block4和Block5这五个模块构成，其中模块1包括三个3×3的卷积层和一个最大池化层，模块2包括两个3×3的卷积层和一个最大池化层，模块3由三个Inception Module A结构构成，模块4由一个Inception Module D结构和四个Inception Module B结构构成，模块5由一个Inception Module E结构和两个InceptionModule C结构构成。对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，经过模块1后特征图大小为73×73×64，经过模块2后特征图大小为35×35×192，经过模块3后特征图大小为35×35×288，经过模块4后，特征图大小为17×17×768，经过模块5后特征图特征图大小为8×8×2048，又经过核为8的最大池化层和丢弃率为0.5的dropout层，最终输出大小为2048的特征向量，具体的网络与参数结构如图5所示。
进一步的，所述步骤S3中构建ResNet50-LPCR分类卷积神经网络模型的方法为：所述卷积神经网络由五个卷积模块(conv2d)构成，其中第一个卷积模块包括一个7×7的卷积层，第二至五个卷积模块分别包括3个、4个、6个和3个残差单元，每个残差单元均由1×1卷积、3×3卷积、1×1卷积和一个残差连接支路构成。对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，采用步长为2的7×7卷积提取到大小为112×112×64的特征图，采用步长为2的最大池化层后得到大小为56×56×64的特征图，将特征图依次通过第二个卷积模块的3个残差单元，得到56×56×256大小特征图，输入到第三个卷积模块中的一个步长为2的残差单元，得到大小为28×28×512的特征图，然后再经过3个残差单元，得到28×28×512的特征图，输入到第四个卷积模块中的一个步长为2的残差单元，得到大小为14×14×1024的特征图，然后再经过5个残差单元，得到14×14×1024的特征图，输入到第五个卷积模块中的一个步长为2的残差单元，得到大小为7×7×2048的特征图，然后再经过2个残差单元，得到7×7×2048的特征图，最后采用核为7×7的平均池化层将特征图变为1×1×2048维特征向量，具体的网络与参数结构如图6所示。
进一步的，所述步骤S3中构建ResNeXt-LPCR卷积神经网络模型进行车牌的特征提取的方法为：所述卷积神经网络由5个卷积模块(conv2d)构成，主要网络结构在ResNet50的基础上，保持第一个卷积模块不动，将第二至第五个卷积模块前两层convolution kernel的数量提升了两倍。对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，采用conv1中步长为2的7×7卷积得到大小为112×112×64的特征图，输入到conv2中步长为2的最大池化层中，得到56×56×64的特征图，输入到3个组数为32的组卷积中得到56×56×256的特征图，然后输入到conv3中组数为32，其中3×3卷积步长为2的组卷积中，得到28×28×512的特征图，再输入到conv3中组数为32的3个组卷积中，得到特征图大小为28×28×512，输入到conv4中组数为32，其中3×3卷积步长为2的组卷积中，得到14×14×1024的特征图，再输入到conv4中组数为32的5个组卷积中，得到特征图大小为14×14×1024，将特征图输入到conv5中组数为32，其中3×3卷积步长为2的组卷积中，得到7×7×2048的特征图，再输入到conv5中组数为32的2个组卷积中，得到特征图大小为7×7×2048，对7×7×2048的特征图采用核为7×7的平均池化层变为1×1×2048维特征向量，具体的网络与参数结构如图7所示。
进一步的，所述步骤S3中构建MNASNet-LPCR卷积神经网络模型进行车牌的特征提取的方法为：所述卷积神经网络将每个卷积神经网络分为7个模块，每个模块的内部结构相同，但模块间的结构不同，同时采用强化学习的方法来搜索神经网络最优的卷积方式，卷积核大小，跨层连接方式或是每个模块中的层数，每个模块都可视为一个Residual结构，分别由三个卷积层附加一个残差连接组合而成。对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，通过Conv_1得到150×150×32的特征图，将特征图输入到Conv_2中，得到150×150×16的特征图，将特征图输入到Block1的Residual_1结构中，得到75×75×48的特征图，将特征图输入到Block 2的连续2个Residual_2_1结构中，得到75×75×24的特征图，将特征图输入到Block 2的Residual_2_2中，得到38×38×40的特征图，将特征图输入到Block3的连续2个Residual_3中，得到38×38×40的特征图，将特征图输入到Block 4的Residual_4中，得到19×19×80的特征图，将特征图输入到Block5的连续2个Residual_5_1中，得到19×19×80的特征图，将特征图输入到Block 5的Residual_5_2中，得到19×19×96的特征图，将特征图输入到Block 6的Residual_6_1中，得到的19×19×96特征图，将特征图输入到Block 6的Residual_6_2中，得到的10×10×192特征图，将特征图输入到Block 7的连续3个Residual_7_1中，得到10×10×192的特征图，将特征图输入到Block 7的Residual_7_2中，得到10×10×320的特征图，将特征图输入到Conv_3中，得到10×10×1280的特征图，将特征图输入到平均池化层中，采用10×10的核进行池化，得到1×1×1280维特征，将特征图输入到classifier的丢弃率为0.5的dropout层中，得到1×1×1280维特征，具体的网络与参数结构如图8所示。
进一步的，将所述Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR卷积神经网络提取得到的特征向量分别输入到输出维度设置为65的全连接层中，将特征向量转换为与字符类别数相同的65维特征向量，并采用softmax进行分类，得到该图像在65类上的分布概率，其中最大的概率值对应的类别即为该车牌字符图像预测的类别，即可完成车辆号牌的识别过程。
本实例中对Inceptionv3-LPCR模型、ResNet50-LPCR模型、ResNeXt-LPCR模型和MNASNet-LPCR模型实现的分割模式下车牌识别准确率进行实验对比，实验采用图像集的80％用于训练，10％用于验证，10％用于测试，batch size设置为24，学习率设置为0.01。Inceptionv3-LPCR模型、ResNet50-LPCR模型、ResNeXt-LPCR模型和MNASNet-LPCR模型的实验结果如图6所示，对比发现，无论是在训练集、验证集还是测试集上，ResNeXt-LPCR模型的准确率都是最高的，分别达到了99.89％、98.13％和97.74％，并且具有较好的鲁棒性。

Claims (10)

1.基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，包括如下步骤：
S1：基于异常天气状况下的高速整车图像，构建高速公路车牌图像集；
S2：基于图像比例的方法，对车牌字符进行分割；
S3：构建不同字符集的分类卷积神经网络模型，优选Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR分类卷积神经网络模型完成车辆号牌的识别。
2.如权利要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S1中基于异常天气状况下的高速整车图像，高速公路车牌图像集的构建方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果。
3.如权利要求1所述的基于卷积神经网络模型的字符分割模式车辆牌照识别方法，其特征在于，所述步骤S2中基于图像比例的方法，对车牌字符进行分割的具体步骤如下：
①明确国内现有车牌的宽、高尺寸，明确车牌上每个字符的宽、高尺寸与间隔长度；
②确定现有车牌上的字符数量并选取切割点，按照选取好的切割点计算其具体位置；
③根据车牌宽度W建立每个切割点的具体计算公式。
4.如权利要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S3中构建不同字符集下分类卷积神经网络模型的方法为：基于图像比例对车牌字符进行切割，同时根据车牌中可能出现的所有单字符，将其分为65类，分别为：0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、云、京、冀、吉、宁、川、新、晋、桂、沪、津、浙、渝、湘、琼、甘、皖、粤、苏、蒙、藏、豫、贵、赣、辽、鄂、闽、陕、青、鲁、黑，并分别输入所搭建的卷积神经网络中进行训练。
5.如权力要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S3中构建InceptionV3-LPCR分类卷积神经网络模型的方法为：所述InceptionV3-LPCR分类卷积神经网络模型由Block1、Block2、Block3、Block4和Block5这五个模块构成，其中模块1包括三个3×3的卷积层和一个最大池化层，模块2包括两个3×3的卷积层和一个最大池化层，模块3由三个Inception Module A结构构成，模块4由一个Inception Module D结构和四个Inception Module B结构构成，模块5由一个InceptionModule E结构和两个Inception Module C结构构成；对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，经过模块1后特征图大小为73×73×64，经过模块2后特征图大小为35×35×192，经过模块3后特征图大小为35×35×288，经过模块4后，特征图大小为17×17×768，经过模块5后特征图特征图大小为8×8×2048，又经过核为8的最大池化层和丢弃率为0.5的dropout层，最终输出大小为2048的特征向量。
6.如权利要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S3中构建ResNet50-LPCR分类卷积神经网络模型的方法为：所述ResNet50-LPCR分类卷积神经网络模型由五个卷积模块conv2d构成，其中第一个卷积模块包括一个7×7的卷积层，第二至五个卷积模块分别包括3个、4个、6个和3个残差单元，每个残差单元均由1×1卷积、3×3卷积、1×1卷积和一个残差连接支路构成；对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，采用步长为2的7×7卷积提取到大小为112×112×64的特征图，采用步长为2的最大池化层后得到大小为56×56×64的特征图，将特征图依次通过第二个卷积模块的3个残差单元，得到56×56×256大小特征图，输入到第三个卷积模块中的一个步长为2的残差单元，得到大小为28×28×512的特征图，然后再经过3个残差单元，得到28×28×512的特征图，输入到第四个卷积模块中的一个步长为2的残差单元，得到大小为14×14×1024的特征图，然后再经过5个残差单元，得到14×14×1024的特征图，输入到第五个卷积模块中的一个步长为2的残差单元，得到大小为7×7×2048的特征图，然后再经过2个残差单元，得到7×7×2048的特征图，最后采用核为7×7的平均池化层将特征图变为1×1×2048维特征向量。
7.如权利要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S3中构建ResNeXt-LPCR分类卷积神经网络模型进行车牌的特征提取的方法为：所述ResNeXt-LPCR分类卷积神经网络模型由五个卷积模块conv2d构成，主要网络结构在ResNet50的基础上，保持第一个卷积模块不动，将第二至第五个卷积模块前两层convolution kernel的数量提升了两倍；对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，采用conv1中步长为2的7×7卷积得到大小为112×112×64的特征图，输入到conv2中步长为2的最大池化层中，得到56×56×64的特征图，输入到3个组数为32的组卷积中得到56×56×256的特征图，然后输入到conv3中组数为32，其中3×3卷积步长为2的组卷积中，得到28×28×512的特征图，再输入到conv3中组数为32的3个组卷积中，得到特征图大小为28×28×512，输入到conv4中组数为32，其中3×3卷积步长为2的组卷积中，得到14×14×1024的特征图，再输入到conv4中组数为32的5个组卷积中，得到特征图大小为14×14×1024，将特征图输入到conv5中组数为32，其中3×3卷积步长为2的组卷积中，得到7×7×2048的特征图，再输入到conv5中组数为32的2个组卷积中，得到特征图大小为7×7×2048，对7×7×2048的特征图采用核为7×7的平均池化层变为1×1×2048维特征向量。
8.如权利要求1所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，所述步骤S3中构建MNASNet-LPCR分类卷积神经网络模型进行车牌的特征提取的方法为：所述MNASNet-LPCR分类卷积神经网络模型将每个卷积神经网络分为七个模块，每个模块的内部结构相同，但模块间的结构不同，同时采用强化学习的方法来搜索神经网络最优的卷积方式，卷积核大小，跨层连接方式或是每个模块中的层数，每个模块都视为一个Residual结构，分别由三个卷积层附加一个残差连接组合而成；对车牌基于图像比例方法进行单个字符的切割，同时将每个字符图像规格化为299×299×3后输入网络，通过Conv_1得到150×150×32的特征图，将特征图输入到Conv_2中，得到150×150×16的特征图，将特征图输入到Block1的Residual_1结构中，得到75×75×48的特征图，将特征图输入到Block2的连续2个Residual_2_1结构中，得到75×75×24的特征图，将特征图输入到Block 2的Residual_2_2中，得到38×38×40的特征图，将特征图输入到Block 3的连续2个Residual_3中，得到38×38×40的特征图，将特征图输入到Block 4的Residual_4中，得到19×19×80的特征图，将特征图输入到Block5的连续2个Residual_5_1中，得到19×19×80的特征图，将特征图输入到Block 5的Residual_5_2中，得到19×19×96的特征图，将特征图输入到Block6的Residual_6_1中，得到的19×19×96特征图，将特征图输入到Block 6的Residual_6_2中，得到的10×10×192特征图，将特征图输入到Block 7的连续3个Residual_7_1中，得到10×10×192的特征图，将特征图输入到Block 7的Residual_7_2中，得到10×10×320的特征图，将特征图输入到Conv_3中，得到10×10×1280的特征图，将特征图输入到平均池化层中，采用10×10的核进行池化，得到1×1×1280维特征，将特征图输入到classifier的丢弃率为0.5的dropout层中，得到1×1×1280维特征。
9.如权利要求5或6或7或8所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，将所述Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR分类卷积神经网络提取得到的特征向量分别输入到输出维度设置为65的全连接层中，将特征向量转换为与字符类别数相同的65维特征向量，并采用softmax进行分类，得到该图像在65类上的分布概率，其中最大的概率值对应的类别即为该车牌字符图像预测的类别。
10.如权利要求5或6或7或8所述的基于卷积神经网络模型的字符分割模式车牌识别方法，其特征在于，基于图像比例分割的方法获得车牌单个字符图像，规格化后将其输入所述Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR中，最大的概率值对应的类别即为该向量预测的车牌类别，并将获得的单个字符类别按序组合，即获取具体车牌号，完成字符分割模式下车辆号牌的识别；最终对比Inceptionv3-LPCR、ResNet50-LPCR、ResNeXt-LPCR和MNASNet-LPCR这四个分类卷积神经网络的识别准确率，即能选取字符分割模式下的最优车牌识别方法。
CN202211143811.8A 2022-09-20 2022-09-20 基于卷积神经网络模型的字符分割模式车牌识别方法 Pending CN115546776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211143811.8A CN115546776A (zh) 2022-09-20 2022-09-20 基于卷积神经网络模型的字符分割模式车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211143811.8A CN115546776A (zh) 2022-09-20 2022-09-20 基于卷积神经网络模型的字符分割模式车牌识别方法

Publications (1)

Publication Number Publication Date
CN115546776A true CN115546776A (zh) 2022-12-30

Family

ID=84728133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211143811.8A Pending CN115546776A (zh) 2022-09-20 2022-09-20 基于卷积神经网络模型的字符分割模式车牌识别方法

Country Status (1)

Country Link
CN (1) CN115546776A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116890689A (zh) * 2023-09-08 2023-10-17 深圳市瑞凯诺科技有限公司 基于车辆识别的充电控制方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116890689A (zh) * 2023-09-08 2023-10-17 深圳市瑞凯诺科技有限公司 基于车辆识别的充电控制方法、装置、设备及存储介质
CN116890689B (zh) * 2023-09-08 2023-12-12 深圳市瑞凯诺科技有限公司 基于车辆识别的充电控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
Jusoh et al. Application of freeman chain codes: An alternative recognition technique for Malaysian car plates
CN110866430B (zh) 一种车牌识别方法及装置
CN101604381B (zh) 基于多分类支持向量机的车牌字符识别方法
CN108960055B (zh) 一种基于局部线段模式特征的车道线检测方法
CN105868700A (zh) 一种基于监控视频的车型识别与跟踪方法及系统
CN112560670B (zh) 一种基于深度学习的交通标志符号与文本的检测识别方法及装置
CN114898327B (zh) 一种基于轻量化深度学习网络的车辆检测方法
CN112084890A (zh) 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN110991442B (zh) 一种高速公路车牌云端高精准识别方法
CN103679214A (zh) 基于在线面积估计和多特征决策融合的车辆检测方法
CN114463715A (zh) 一种车道线检测方法
CN115546776A (zh) 基于卷积神经网络模型的字符分割模式车牌识别方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN107862341A (zh) 一种车辆检测方法
CN114842285A (zh) 路侧泊位号码识别方法以及装置
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN109190451B (zh) 基于lfp特征的遥感图像车辆检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN110555425A (zh) 一种视频流实时行人检测方法
CN116091964A (zh) 高位视频场景解析方法以及系统
CN116386018A (zh) 车牌字符分类方法以及系统
CN110866435A (zh) 一种自相似性梯度朝向直方图的远红外行人训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination