CN112070176B - 一种免切割的端到端车牌识别方法 - Google Patents

一种免切割的端到端车牌识别方法 Download PDF

Info

Publication number
CN112070176B
CN112070176B CN202010983942.1A CN202010983942A CN112070176B CN 112070176 B CN112070176 B CN 112070176B CN 202010983942 A CN202010983942 A CN 202010983942A CN 112070176 B CN112070176 B CN 112070176B
Authority
CN
China
Prior art keywords
license plate
recognition
character
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010983942.1A
Other languages
English (en)
Other versions
CN112070176A (zh
Inventor
柯逍
曾淦雄
林炳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010983942.1A priority Critical patent/CN112070176B/zh
Publication of CN112070176A publication Critical patent/CN112070176A/zh
Application granted granted Critical
Publication of CN112070176B publication Critical patent/CN112070176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提出一种免切割的端到端车牌识别方法，包括以下步骤；步骤S1：收集车牌识别数据集，构建用于训练所述识别网络的训练集和测试集；步骤S2：设计用于提取车牌字符特征的特征提取模块；同时提取车牌字符本身的特征和该字符在车牌中的分布特征；步骤S3：设计用于恢复模糊车牌的反卷积模块，进一步优化对车牌字符特征的表述；步骤S4：使用特征提取网络与反卷积模块设计识别网络的输出模块；步骤S5：使用训练集标签对识别网络进行训练；当识别网络输出对应的包含字符概率的概率向量时，通过使用贪心算法得到最终的车牌号码；本发明可以只使用卷积神经网络完成车牌号码的识别过程，同时具有免字符切割，端到端识别、免车牌矫正，快速轻量的特征。

Description

一种免切割的端到端车牌识别方法
技术领域
本发明涉及智能交通控制中车牌识别技术领域，尤其是一种免切割的端到端车牌识别方法。
背景技术
车牌号码识别技术(车牌识别)是智能交通管理系统的重要组成环节，通过识别车辆的车牌号码，可以唯一确定车辆信息。车牌号码识别技术具有广泛的应用背景，如停车场管理系统，社区车辆出入管理，校园车辆出入管理等。进一步的随着安防监控系统的逐步使用，对于任意场景下的车牌号码识别的需求，也必然进一步提高。
尽管车牌识别技术已经被应用于现实生活中，但是现有的车牌识别技术以数字图像处理技术为基础，通常需要通过对车牌字符进行字符分割，然后逐个字符进行识别。该方法通常具有很大的局限性，只能使用在特定的场景，需要有固定的拍摄角度与固定的光线条件，因此对于实际应用中，还需要使用包括闪光灯，固定角度摄像机的配合，才能较好的完成识别任务。但是一旦离开这种条件，这个识别方法就会失效，无法正确识别车牌号码。此外，近些年也有使用卷积神经网络进行特征提取，然后输入循环神经网络进行端到端的识别技术。这种新的解决方法固然解决了传统切割字符的问题，但是循环神经网络在识别时通常会借助文本的上下文信息去提高识别率，但是车牌号码的字符是随机生成的，并无上下文联系，导致循环神经网络实际上可能学习到错误的文本信息。同时循环神经网络的训练与计算都要比卷积神经网络来得复杂。另外，这些方法通常在实现车牌识别的过程中，还带有车牌的矫正模块，使得本来旋转、扭曲的车牌变得更加容易进行车牌号码的识别，但是矫正车牌的成本通常比较大，识别速率会大幅下降。
因此，开发一种免字符切割的基于卷积神经网络的识别方法就显得尤为重要。该方法应该同时具有以下特征：1)免字符切割的端到端的识别方法，使得方法可以被更加广泛的场景所使用；2)在无车牌矫正的情况下，实现能商用的车牌号码识别率；3)识别单张车牌的速度应尽可能快，模型大小要尽可能小，使得可以被广泛部署于终端设备中。
发明内容
本发明提出一种免切割的端到端车牌识别方法，可以只使用卷积神经网络完成车牌号码的识别过程，同时具有免字符切割，端到端识别、免车牌矫正，快速轻量的特征。
本发明采用以下技术方案。
一种免切割的端到端车牌识别方法，所述识别方法以识别网络对车牌进行识别，包括以下步骤；
步骤S1：收集车牌识别数据集，构建用于训练所述识别网络的训练集和测试集；
步骤S2：设计用于提取车牌字符特征的特征提取模块；以所述特征提取模块同时提取车牌字符本身的特征和该字符在车牌中的分布特征，用于为后续的字符识别向识别网络提供有效的特征凭据；
步骤S3：设计用于恢复模糊车牌的反卷积模块，以反卷积模块进一步优化对车牌字符特征的表述，通过向识别网络提供优化后的车牌字符特征表述，来提高识别网络的识别准确率；
步骤S4：使用特征提取网络与反卷积模块设计识别网络的输出模块，使所述输出模块可完成字符概率向量的输出，并且可用于CTC损失函数，实现变长车牌的识别，而且能适用于蓝色车牌和新能源车牌；
步骤S5：使用训练集标签对识别网络进行训练，同时使用数据增强技术进一步扩充训练集；在训练完成后，向识别网络输入车牌图片，当识别网络输出对应的包含字符概率的概率向量时，通过使用贪心算法完成最后的序列解码，得到最终的车牌号码。
在所述步骤S1中，包括以下步骤：
S11：收集车牌识别数据集。对车牌进行灰度化，并且将车牌图像尺寸统一为(84，32)。
S12：对没有车牌号码标签的车牌图片进行标注，在标注时不使用字符“I”和“O”。
S13：对所有已经标注标签的数据进行划分，以7:3的比例划分为训练集和测试集。
在所述步骤S2中，包括以下步骤：
S21：设计特征提取模块Feature Block，该模块具有不对称的卷积通路，其特征在于，拥有两个特征提取分支，一条支路负责主特征的提取，是一个数量和卷积核均不对称的结构，第二条支路则实现了一个残差结构，帮助网络更加有效的进行特征表达和训练，设其输入特征为x；
S22：首先输入特征x，经过1×1的卷积核f11，输出f11(x)；再输入卷积核为3×1的卷积f31，输出f31(f11(x))；最后输入卷积核为1×3的卷积f13,得到该支最后的结果f13(f31(f11(x)))；
S23：第二条支路为残差支路；残差支路有助于识别网络更好的进行训练和特征表达；输入特征x,经过1×1卷积f′11，进行维度变化，输出f′11(x)。然后与第一条支路的结果做加运算，公式如下：
fout＝f13(f31(f11(x)))+f′11(x) 公式一。
在所述步骤S3中，包括以下步骤：
S31：设计反卷积模块Deconvolution Block，以融合车牌的低层特征和高层特征，用于恢复模糊车牌的字符特征，将其嵌入于识别网络之中；设输入的低层特征为hl；首先低层特征直接经过1×1卷积
Figure GDA0003537542960000031
进行特征维度变换，得到输出h′l；
S32:其次对低层特征层进行下采样与反卷积过程；hl进行MaxPool操作fmax，得到h l ，随后经过1×1卷积
Figure GDA0003537542960000032
进行特征维度变换，得到h′ l ；对h′ l 进行反卷积操作fdc,得到输出h″l；对h′l和h″l进行相加得到反卷积模块输出fdout。计算公式如下：
Figure GDA0003537542960000033
在所述步骤S4中，包括以下步骤：
S41：设计识别网络的网络结构，固定输入维度为(1，32，84)，经过卷积层Conv1，特征提取Feature Block1，MaxPool3d，特征提取Feature Block2,反卷积DeconvolutionBlock1，MaxPool3d，特征提取层Feature Block3,Dropout,卷积层Conv2，Dropout，卷积层Conv3；最后输出一个维度为(3，17，66)的概率向量P(3，17，66)；即车牌被分为3×17个区域，每个区域预测了该区域接受野范围内的字符概率，共有31个中文字符，24个英文字符，10个数字，以及冗余字符“-”；17则表示最长的预测序列长度。每层后均使用BatchNormalization,和Relu激活函数；
S42：最大化概率输出向量P(3，17，66)。通过对第零维取最大值，得到输出概率向量P(1，17，66)；此时每一列代表着该列的接受野范围内的字符概率预测值。最大化概率输出能够提高识别网络对旋转、扭曲车牌中出现的字符分布的特征提取，使得网络可以不借助RNN网络，就可以很好的进行端到端的车牌识别；具有计算量小，收敛速度快，模型轻量的特点；后续通过解码该向量即可得到最终结果。计算过程为：
P(1，17，66)＝max(P(3，17，66)，dim＝0) 公式三；
其中dim＝0表示在第零维上实现最大值求解。
在所述步骤S5中，包括以下步骤：
S51：使用包括仿射变化、饱和度变化的数据增强方法，增加车牌样本的环境复杂性与识别难度，提高网络的泛化能力；
S52：使用CTC损失函数训练识别网络；
S53:使用贪心搜索解码概率向量并去除重复的字符和冗余的字符；算法流程如下：
S53.1)设Lpred为直接通过贪心搜索获得的解码序列；L′pred为最后的解码序列。
S53.2)Lpred＝arg maxt∈{0，1，2，...，16}P(0，t，66)；获得每列上概率最大的数组下标。即认为每列上概率最大即为最终的预测值；
S53.3)对Lpred去除重复字符和去除冗余字符“-”；得到最后的解码序列；遍历Lpred。设置pre表示前一个字符，cur表示当前字符；当pre不等于cur时，将cur加入L′pred中，相等时则忽略当前字符。直至所有遍历完毕；然后在L′pred中去除冗余字符“-”。最终输出最后的车牌号码L′pred。
与现有技术相比，本发明有以下有益效果：
1、本发明使用免字符切割的端到端识别方法，具有泛化能力好，处理速度快，识别精度高等特点。并且可以同时处理多种类型的车牌，典型如七个字符长度的蓝色车牌和八个字符长度的新能源车牌，同时适用，无需调参。
2、本发明只使用了卷积神经网络，使用定制化的特征提取模块和反卷积模块，使得识别网络可以处理复杂的车牌图片，如旋转、扭曲、黑夜、高光等环境下拍摄的车牌图片。实现了一次训练，多场景适用的效果。
3、本发明的网络模型大小只有1MB，是一个非常轻量的识别网络，处理速度可以达到单张车牌2ms左右。小模型极大的提高了模型的终端部署效率。
本发明在使用中，对输入车牌区域只需进行一般灰度化处理即可，无需其它预处理操作；无需对旋转、扭曲等车牌进行矫正；无需对车牌字符进行切割识别，使用端到端的识别方法；使用纯CNN结构，避免了使用RNN和LSTM训练和计算量大的问题；是一个超轻量的网络模型，若用于GPU环境，处理一张车牌只需要2毫秒左右。本发明使用CTC损失函数解决序列识别问题，并能同时处理蓝色车牌和新能源车牌，对各种环境光、旋转角度下的车牌识别具有很高的鲁棒性，其轻量，计算量少的特点，也非常容易进行终端部署。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明实施例的流程示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。
如图所示，一种免切割的端到端车牌识别方法，所述识别方法以识别网络对车牌进行识别，包括以下步骤；
步骤S1：收集车牌识别数据集，构建用于训练所述识别网络的训练集和测试集；
步骤S2：设计用于提取车牌字符特征的特征提取模块；以所述特征提取模块同时提取车牌字符本身的特征和该字符在车牌中的分布特征，用于为后续的字符识别向识别网络提供有效的特征凭据；
步骤S3：设计用于恢复模糊车牌的反卷积模块，以反卷积模块进一步优化对车牌字符特征的表述，通过向识别网络提供优化后的车牌字符特征表述，来提高识别网络的识别准确率；
步骤S4：使用特征提取网络与反卷积模块设计识别网络的输出模块，使所述输出模块可完成字符概率向量的输出，并且可用于CTC损失函数，实现变长车牌的识别，而且能适用于蓝色车牌和新能源车牌；
步骤S5：使用训练集标签对识别网络进行训练，同时使用数据增强技术进一步扩充训练集；在训练完成后，向识别网络输入车牌图片，当识别网络输出对应的包含字符概率的概率向量时，通过使用贪心算法完成最后的序列解码，得到最终的车牌号码。
在所述步骤S1中，包括以下步骤：
S11：收集车牌识别数据集。对车牌进行灰度化，并且将车牌图像尺寸统一为(84，32)。
S12：对没有车牌号码标签的车牌图片进行标注，在标注时不使用字符“I”和“O”。
S13：对所有已经标注标签的数据进行划分，以7:3的比例划分为训练集和测试集。
在所述步骤S2中，包括以下步骤：
S21：设计特征提取模块FeatureBlock，该模块具有不对称的卷积通路，其特征在于，拥有两个特征提取分支，一条支路负责主特征的提取，是一个数量和卷积核均不对称的结构，第二条支路则实现了一个残差结构，帮助网络更加有效的进行特征表达和训练，设其输入特征为x；
S22：首先输入特征x，经过1×1的卷积核f11，输出f11(x)；再输入卷积核为3×1的卷积f31，输出f31(f11(x))；最后输入卷积核为1×3的卷积f13,得到该支最后的结果f13(f31(f11(x)))；
S23：第二条支路为残差支路；残差支路有助于识别网络更好的进行训练和特征表达；输入特征x,经过1×1卷积f″11，进行维度变化，输出f′11(x)。然后与第一条支路的结果做加运算，公式如下：
fout＝f13(f31(f11(x)))+f′11(x) 公式一。
在所述步骤S3中，包括以下步骤：
S31：设计反卷积模块Deconvolution Block，以融合车牌的低层特征和高层特征，用于恢复模糊车牌的字符特征，将其嵌入于识别网络之中；设输入的低层特征为hl；首先低层特征直接经过1×1卷积
Figure GDA0003537542960000071
进行特征维度变换，得到输出h′l；
S32:其次对低层特征层进行下采样与反卷积过程；hl进行MaxPool操作fmax，得到h l ，随后经过1×1卷积
Figure GDA0003537542960000072
进行特征维度变换，得到h′ l ；对h′ l 进行反卷积操作fdc,得到输出h″l；对h′l和h″l进行相加得到反卷积模块输出fdout。计算公式如下：
Figure GDA0003537542960000073
在所述步骤S4中，包括以下步骤：
S41：设计识别网络的网络结构，固定输入维度为(1，32，84)，经过卷积层Conv1，特征提取Feature Block1，MaxPool3d，特征提取Feature Block2,反卷积DeconvolutionBlock1，MaxPool3d，特征提取层FeatureBlock3,Dropout,卷积层Conv2，Dropout，卷积层Conv3；最后输出一个维度为(3，17，66)的概率向量P(3，17，66)；即车牌被分为3×17个区域，每个区域预测了该区域接受野范围内的字符概率，共有31个中文字符，24个英文字符，10个数字，以及冗余字符“-”；17则表示最长的预测序列长度。每层后均使用Batch Normalization,和Relu激活函数；
本步骤中所述网络结构如表1所示，
表1：
序号 层名称 卷积核个数 尺寸/步长 输出尺寸
0 Conv1 32 3×3/1 32×84×32
1 Feature Block1 64 - 32×84×64
2 MaxPool3d - 1×3×3/2 16×42×2
3 Feature Block2 64 - 16×42×64
4 Deconvolution Block1 128 - 16×42×128
5 MaxPool3d - 1×3×3/2 8×21×64
6 Feature Block3 128 - 8×21×128
7 Dropout - - 8×21×128
8 Conv2 128 3×3/2，1 3×19×128
9 Dropout - - 3×19×128
10 Conv3 66 1×3/1 3×17×66
S42：最大化概率输出向量P(3，17，66)。通过对第零维取最大值，得到输出概率向量P(1，17，66)；此时每一列代表着该列的接受野范围内的字符概率预测值。最大化概率输出能够提高识别网络对旋转、扭曲车牌中出现的字符分布的特征提取，使得网络可以不借助RNN网络，就可以很好的进行端到端的车牌识别；具有计算量小，收敛速度快，模型轻量的特点；后续通过解码该向量即可得到最终结果。计算过程为：
P(1，17，66)＝max(P(3，17，66)，dim＝0) 公式三；
其中dim＝0表示在第零维上实现最大值求解。
在所述步骤S5中，包括以下步骤：
S51：使用包括仿射变化、饱和度变化的数据增强方法，增加车牌样本的环境复杂性与识别难度，提高网络的泛化能力；
S52：使用CTC损失函数训练识别网络；
S53：使用贪心搜索解码概率向量并去除重复的字符和冗余的字符；算法流程如下：
S53.1)设Lpred为直接通过贪心搜索获得的解码序列；L′pred为最后的解码序列。
S53.2)Lpred＝arg maxt∈{0，1，2，...16}P(0，t，66)；获得每列上概率最大的数组下标。即认为每列上概率最大即为最终的预测值；
S53.3)对Lpred去除重复字符和去除冗余字符“-”；得到最后的解码序列；遍历Lpred。设置pre表示前一个字符，cur表示当前字符；当pre不等于cur时，将cur加入L′pred中，相等时则忽略当前字符。直至所有遍历完毕；然后在L′pred中去除冗余字符“-”。最终输出最后的车牌号码L′pred。
本发明通过卷积神经网络和CTC损失实现了一个免切割的端到端的车牌识别方法。该方法通过特征提取模块和反卷积模块，实现了车牌字符的有效特征提取，实现了无需对车牌进行预处理，适用场景多的车牌识别。同时还具有高精度、高速度和小模型的特点。从展示图例可以看出，识别网络能够处理复杂的车牌图片，因此该方法具有较好的鲁棒性和实用性。
以上所述，仅是对本发明的所作的举例说明，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种免切割的端到端车牌识别方法，其特征在于：所述识别方法以识别网络对车牌进行识别，包括以下步骤；
步骤S1：收集车牌识别数据集，构建用于训练所述识别网络的训练集和测试集；
步骤S2：设计用于提取车牌字符特征的特征提取模块；以所述特征提取模块同时提取车牌字符本身的特征和该字符在车牌中的分布特征，用于为后续的字符识别向识别网络提供有效的特征凭据；
步骤S3：设计用于恢复模糊车牌的反卷积模块，以反卷积模块进一步优化对车牌字符特征的表述，通过向识别网络提供优化后的车牌字符特征表述，来提高识别网络的识别准确率；
步骤S4：使用特征提取网络与反卷积模块设计识别网络的输出模块，使所述输出模块完成字符概率向量的输出，并且可用CTC损失函数进行训练；
步骤S5：使用训练集标签对识别网络进行训练，同时使用数据增强技术进一步扩充训练集；在训练完成后，向识别网络输入车牌图片，当识别网络输出对应的包含字符概率的概率向量时，通过使用贪心算法完成最后的序列解码，得到最终的车牌号码；
在所述步骤S2中，包括以下步骤：
S21：设计特征提取模块Feature Block，该模块具有不对称的卷积通路，拥有两个特征提取分支，一条支路负责主特征的提取，是一个数量和卷积核均不对称的结构，第二条支路则实现了一个残差结构，设其输入特征为x；
S22：首先输入特征x，经过1×1的卷积核f11，输出f11(x)；再输入卷积核为3×1的卷积f31，输出f31(f11(x))；最后输入卷积核为1×3的卷积f13，得到该支最后的结果f13(f31(f11(x)))；
S23：第二条支路为残差支路；输入特征x，经过1×1卷积f′11，进行维度变化，输出f′11(x)；然后与第一条支路的结果做加运算，公式如下：
fout＝f13(f31(f11(x)))+f′11(x) 公式一；
在所述步骤S3中，包括以下步骤：
S31：设计反卷积模块Deconvolution Block，以融合车牌的低层特征和高层特征，用于恢复模糊车牌的字符特征，将其嵌入于识别网络之中；设输入的低层特征为hl；首先低层特征直接经过1×1卷积
Figure FDA0003537542950000021
进行特征维度变换，得到输出h′l；
S32：其次对低层特征层进行下采样与反卷积过程；hl进行MaxPool操作fmax，得到h l ，随后经过1×1卷积
Figure FDA0003537542950000022
进行特征维度变换，得到h′l；对h′ l 进行反卷积操作fdc，得到输出h″l；对h′l和h″l进行相加得到反卷积模块输出fdout；计算公式如下：
Figure FDA0003537542950000023
在所述步骤S4中，包括以下步骤：
S41：设计识别网络的网络结构，固定输入维度为(1，32，84)，经过卷积层Conv1，特征提取Feature Block1，MaxPool3d，特征提取Feature Block2，反卷积Deconvolution Block1，MaxPool3d，特征提取层Feature Block3，Dropout，卷积层Conv2，Dropout，卷积层Conv3；最后输出一个维度为(3，17，66)的概率向量P(3，17，66)；即车牌被分为3×17个区域，每个区域预测了该区域接受野内的字符概率，共有31个中文字符，24个英文字符，10个数字，以及冗余字符“-”；17则表示最长的预测序列长度；每层后均使用Batch Normalization，和Relu激活函数；
S42：最大化概率输出向量P(3，17，66)；通过对第零维取最大值，得到输出概率向量P(1，17，66)；此时每一列代表着该列的接受野内的字符概率预测值；通过解码该向量即得到最终结果；计算过程为：
P(1，17，66)＝max(P(3，17，66)，dim＝0) 公式三；
其中dim＝0表示在第零维上实现最大值求解。
2.根据权利要求1所述的一种免切割的端到端车牌识别方法，其特征在于：在所述步骤S1中，包括以下步骤：
S11：收集车牌识别数据集，对车牌进行灰度化，并且将车牌图像尺寸统一为(84，32)；
S12：对没有车牌号码标签的车牌图片进行标注，在标注时不使用字符“I”和“O”；
S13：对所有已经标注标签的数据进行划分，以7∶3的比例划分为训练集和测试集。
3.根据权利要求1所述的一种免切割的端到端车牌识别方法，其特征在于：在所述步骤S5中，包括以下步骤：
S51：使用包括仿射变化、饱和度变化的数据增强方法，增加车牌样本的环境复杂性与识别难度，提高网络的泛化能力；
S52：使用CTC损失函数训练识别网络；
S53：使用贪心搜索解码概率向量并去除重复的字符和冗余的字符；算法流程如下：
S53.1)设Lpred为直接通过贪心搜索获得的解码序列；L′pred为最后的解码序列；
S53.2)Lpred＝arg maxt∈{0，1，2，...16}P(0，t，66)；获得每列上概率最大的数组下标；即认为每列上概率最大即为最终的预测值；
S53.3)对Lpred去除重复字符和去除冗余字符“-”；得到最后的解码序列；遍历Lpred；设置pre表示前一个字符，cur表示当前字符；当pre不等于cur时，将cur加入L′pred中，相等时则忽略当前字符；直至所有遍历完毕；然后在L′pred中去除冗余字符“-”；最终输出最后的车牌号码L′pred。
CN202010983942.1A 2020-09-18 2020-09-18 一种免切割的端到端车牌识别方法 Active CN112070176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010983942.1A CN112070176B (zh) 2020-09-18 2020-09-18 一种免切割的端到端车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010983942.1A CN112070176B (zh) 2020-09-18 2020-09-18 一种免切割的端到端车牌识别方法

Publications (2)

Publication Number Publication Date
CN112070176A CN112070176A (zh) 2020-12-11
CN112070176B true CN112070176B (zh) 2022-05-13

Family

ID=73681149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010983942.1A Active CN112070176B (zh) 2020-09-18 2020-09-18 一种免切割的端到端车牌识别方法

Country Status (1)

Country Link
CN (1) CN112070176B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913515B (zh) * 2021-12-31 2024-04-02 北方工业大学 端到端的车牌识别网络构建方法
CN115909316B (zh) * 2023-02-21 2023-05-19 昆明理工大学 一种面向数据不均匀场景的轻量化端到端车牌识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590774A (zh) * 2017-09-18 2018-01-16 北京邮电大学 一种基于生成对抗网络的车牌清晰化方法及装置
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110188752A (zh) * 2019-05-20 2019-08-30 南京邮电大学 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法
CN111402142A (zh) * 2020-03-25 2020-07-10 中国计量大学 基于深度递归卷积网络的单张图像超分辨率重建方法
CN111401361A (zh) * 2020-03-06 2020-07-10 南京理工大学 一种端到端的轻量级深度车牌识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035149B (zh) * 2018-03-13 2021-07-09 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590774A (zh) * 2017-09-18 2018-01-16 北京邮电大学 一种基于生成对抗网络的车牌清晰化方法及装置
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110188752A (zh) * 2019-05-20 2019-08-30 南京邮电大学 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法
CN111401361A (zh) * 2020-03-06 2020-07-10 南京理工大学 一种端到端的轻量级深度车牌识别方法
CN111402142A (zh) * 2020-03-25 2020-07-10 中国计量大学 基于深度递归卷积网络的单张图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相机抖动的模糊图像的盲复原实现;周同同;《万方数据知识服务平台学位库》;20130715;1-59 *

Also Published As

Publication number Publication date
CN112070176A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN111723645B (zh) 用于同相机内有监督场景的多相机高精度行人重识别方法
Lin et al. Bsn: Boundary sensitive network for temporal action proposal generation
CN108960141B (zh) 基于增强型深度卷积神经网络的行人再识别方法
Qiao et al. Mango: A mask attention guided one-stage scene text spotter
CN107808389B (zh) 基于深度学习的无监督视频分割方法
CN111598182B (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN112070176B (zh) 一种免切割的端到端车牌识别方法
CN109190695B (zh) 一种基于深度卷积神经网络的鱼类图像分类方法
CN110147788B (zh) 一种基于特征增强crnn的金属板带产品标签文字识别方法
CN113222011B (zh) 一种基于原型校正的小样本遥感图像分类方法
Wang et al. Spatial attention for multi-scale feature refinement for object detection
CN110188762B (zh) 中英文混合商户门店名称识别方法、系统、设备及介质
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
US20240087343A1 (en) License plate classification method, license plate classification apparatus, and computer-readable storage medium
CN112364699A (zh) 基于加权损失融合网络的遥感图像分割方法、装置及介质
CN115761764A (zh) 一种基于视觉语言联合推理的中文手写文本行识别方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN114140803A (zh) 基于深度学习的文档单字坐标检测和修正方法及系统
Soh et al. Lightweight single image super-resolution with multi-scale spatial attention networks
CN111985537A (zh) 一种目标图像识别方法、终端、系统和存储介质
Diao et al. Av-maskenhancer: Enhancing video representations through audio-visual masked autoencoder
CN111612063A (zh) 一种图像匹配方法、装置、设备及计算机可读存储介质
CN110070110B (zh) 一种自适应阈值图像匹配方法
CN114048735A (zh) 一种针对手写连写字符串的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant