CN109543753A - 基于自适应模糊修复机制的车牌识别方法 - Google Patents
基于自适应模糊修复机制的车牌识别方法 Download PDFInfo
- Publication number
- CN109543753A CN109543753A CN201811407447.5A CN201811407447A CN109543753A CN 109543753 A CN109543753 A CN 109543753A CN 201811407447 A CN201811407447 A CN 201811407447A CN 109543753 A CN109543753 A CN 109543753A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- module
- training
- license
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 27
- 230000008263 repair mechanism Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 85
- 230000008439 repair process Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 30
- 230000011218 segmentation Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
本发明涉及计算机视觉识别技术领域，提出一种基于自适应模糊修复机制的车牌识别方法，包括以下步骤：搜索并收集车牌识别数据集的图像，构建训练数据集；利用所述训练数据集单独构建与训练车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块；将待识别图像输入车牌检测模块中，对其进行目标特征的切割，得到车牌的坐标信息；输入车牌分类模块中对车牌图像是否发生畸变进行判断；输入车牌修复模块中根据图像的畸变类别对车牌图像进行修复；输入车牌识别模块中对图像进行车牌号码识别。本发明能够实现对任意车牌图像的车牌进行检测、修复和识别，能够有效地定位车牌在图像中的位置，修复发生模糊的车牌图像，有效地识别出图像中的车牌号码。
Description
技术领域
本发明涉及计算机视觉识别技术领域，更具体地，涉及一种基于自适应模糊修复机制的车牌识别方法。
背景技术
今年来，我国机动车消费水平继续保持高位，驾驶人数量仍呈高速增长态势。截至6月底，全国机动车保有量达3.19亿辆，2018年上半年新注册登记机动车达1636万辆，高于去年同期1594万辆的登记量。高速增长的汽车数量给停车场管理、交通监控和公共治安管理等带来了沉重的负担，急需一种新式的智能算法对车辆进行自动化管理，如车牌识别方法。
目前的车牌识别方法大多都是基于传统的机器学习算法，其流程一般为：首先利用车牌的特性对车牌区域进行定位，切割车牌；对车牌中的单个字符按照一定的规则进行分割；对各个字符进行识别，再组合成完整的车牌号码。现有技术中，在车牌定位方面，有研究人员提出了基于颜色特征的定位算法、基于车牌区域频谱特征的定位算法和基于车牌边缘特征的定位算法等用于车牌定位的方法，但是类似这样的传统方法需要人工设定车牌特征，对于极端条件下的车牌无法定位，鲁棒性较差；在车牌字符分割方面，常用的传统方法为基于投影的车牌分割算法、基于模板匹配的字符分割算法和基于聚类分析的字符分割算法，但是这些方法的字符分割操作程序逻辑复杂，执行时间相对较慢，难以实现实时操作；在字符识别方面，常用的传统方法包括基于模板匹配的字符识别算法和基于特征统计匹配算法等，然而这些方法难以准确识别由于外部原因而造成模糊、倾斜或光照不均匀的车牌。
发明内容
本发明为克服上述现有技术所述的车牌无法准确定位、字符分割操作逻辑复杂等至少一种缺陷，提供一种基于自适应模糊修复机制的车牌识别方法，能够有效定位车牌在图像中的位置，修复模糊图像并准确进行识别。
为解决上述技术问题，本发明的技术方案如下：
基于自适应模糊修复机制的车牌识别方法，包括以下步骤：
S1：搜索并收集车牌识别数据集的图像，构建训练数据集；
S2：利用所述训练数据集构建与训练车牌检测模块；
S3：利用所述训练数据集构建与训练车牌分类模块；
S4：利用所述训练数据集构建与训练车牌修复模块；
S5：利用所述训练数据集构建与训练车牌识别模块；
S6：将待识别的车牌图像输入所述车牌检测模块中，车牌检测模块对车牌图像进行目标特征的切割，得到车牌在图像中的坐标信息；
S7：将车牌图像输入所述车牌分类模块中，车牌分类模块对车牌图像是否发生畸变进行判断，若是执行步骤S8，若否执行步骤S9；
S8：将车牌图像输入所述车牌修复模块中，车牌修复模块对车牌图像进行修复；
S9：将车牌图像输入所述车牌识别模块中，车牌识别模块对车牌图像进行车牌号码识别。
本技术方案中，通过构建和训练车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块，组成基于自适应模糊修复机制的车牌识别模型。在车牌识别过程中，依次经过完成训练的车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块，其中车牌检测模块对待识别图像进行车牌定位与分割，然后车牌分类模块对图像是否发生畸变进行判断，若是，则输入车牌修复模块中对图像进行修复，最后输入到车牌识别模块中进行图像车牌号码的识别；若否，则直接输入到车牌识别模块中进行识别。本技术方案能够实现对任意输入测试图像的车牌进行检测、修复和识别，有效地定位车牌在图像中的位置，并极大程度地对模糊图像进行修复，能够更准确地识别测试图像的车牌。
优选地，S2步骤中构建与训练车牌检测模块的具体步骤包括：
S2.1：将训练数据集输入车牌检测模块，将训练数据集通过卷积神经网络提取图像的区域视觉特征；
S2.2：在区域视觉特征的每个位置上放置9个不同长宽比的偏置框；
S2.3：将区域视觉特征输入区域提议网络，输出与预设定偏置框的坐标偏移值和所预测框包含车牌的置信得分；
S2.4：保留置信得分最高的若干个目标框，利用最大值池化操作，根据目标框坐标在区域视觉特征上切割与目标框相同数目的目标特征；
S2.5：将目标特征输入三个独立的全连接层，分别用于提取高层次的语义特征、输出预测的目标特征的类别和输出边界框的偏移值，然后根据预测类别和偏移值对边界框进行修正；
S2.6：将所预测的车牌目标框坐标信息与训练数据集中的坐标信息进行比较，计算分类与回归的损失函数L1，利用梯度反向传播方法对车牌检测模块各层的参数进行更新，所述损失函数L1公式如下：
其中，N为训练的目标框数量，表示交叉熵损失函数，c为所预测各类别的概率，为正确类别的索引；表示回归损失函数，b为预测的目标框坐标值，为正确的坐标值。
优选地，区域提议网络包括三个独立的3×3卷积运算，其中第一个独立的3×3卷积运算用于降低特征的维度，第二个独立的3×3卷积运算用于输出与预设定偏置框的坐标偏移值，第三个独立的3×3卷积运算用于输出所预测框包含车牌的置信得分。
优选地，S3步骤中构建与训练车牌分类模块的的具体步骤包括：
S3.1：将车牌检测模块输出的图像输入车牌分类模块，先对输入图像进行人工标记分类，再通过卷积神经网络提取图像的全局视觉特征；
S3.2：将全局视觉特征输入三个独立的全连接层，分别用于提取高层次语义特征、输出预测的车牌类别和输出车牌畸变程度；
S3.3：将所预测的车牌类别和车牌畸变程度与训练数据集中的信息进行比较，计算分类与回归的损失函数L2，利用梯度反向传播方法对车牌分类模块各层的参数进行更新，所述损失函数L2的公式如下：
其中，N为训练样本的数量，表示交叉熵损失函数，s为所预测车牌属于各种类别的概率，为正确类别的索引；表示回归损失函数，y为预测的畸变程度，为正确的畸变程度。
优选地，S3.1步骤中的人工标记分类的类别包括：运动模糊、散焦模糊、旋转、错切、亮度不均匀、水平透视、竖直透视和正常清晰。
优选地，S4步骤中构建与训练车牌修复模块的的具体步骤包括：
S4.1：将车牌检测模块输出的图像输入车牌修复模块，设置运动模糊函数和散焦模糊函数对输入的图像进行处理，得到模糊图像与对应清晰图像的训练集合；
S4.2：将模糊图像的训练集合通过卷积神经网络提取所述模糊图像的全局视觉特征；
S4.3：将所述模糊图像的全局视觉特征输入生成器中，获取与原图像相同分辨率的修复图像；
S4.4：计算修复图像与清晰图像的分布差异，生成器根据所计算得到的损失值更新参数；
S4.5：将修复图像输入到判别器中判断修复图像是否清晰：若模糊，则调整生成器参数，跳转到S4.3步骤；若清晰，则根据修复结果对车牌修复模块的参数进行更新。
优选地，S5步骤中构建与训练车牌识别模块的的具体步骤包括：
S5.1：将训练数据集输入车牌识别模块，将训练数据集通过卷积神经网络提取图像的区域视觉特征和全局视觉特征；
S5.2：将当前时刻的全局视觉特征和上一个时刻所预测的字符输入到全局递归神经网络中，获得当前时刻的状态特征；
S5.3：将区域视觉特征输入到局部递归网络中的关注机制模块中，配合所述状态特征，选择出与当前预测字符最为相关的车牌区块；
S5.4：将所预测的结果与训练数据集中的信息进行比较，计算出分类的损失函数L3，利用梯度反向传播方法对车牌识别模块各层的参数进行更新，所述损失函数L3公式如下：
其中，T为车牌号码的长度，wt为当前预测的字符，I为输入的车牌图像，p(·)表示根据给定已经预测的车牌字符和车牌图像，预测得到的当前字符的概率分布。
优选地，S1步骤中的车牌识别数据集的图像中，每张训练图像带有正确的车牌号码和坐标信息。在模型的训练过程中，可通过与正确的车牌号码和坐标信息对比判断所识别的车牌坐标信息和车牌号码是否准确，并根据判断结果调整模型的参数，从而进一步提高识别的准确度。
优选地，用于提取图像视觉特征的卷积神经网络为ImageNet上预训练的卷积神经网络ResNet。
优选地，计算的损失函数为对数似然损失函数，通过最小化损失函值以及误差反向传导来更新模型参数。
与现有技术相比，本发明技术方案的有益效果是：组成基于自适应模糊修复机制的车牌识别模型，能实现对任意输入测试图像的车牌进行检测、修复和识别，能够有效地定位车牌在所在图像中的位置，能够极大程度上修复发生模糊的车牌图像，能够有效地识别出图像中的车牌号码。
附图说明
图1为本实施例的训练基于自适应模糊修复机制的车牌识别模型的流程图。
图2为本实施例的基于自适应模糊修复机制的车牌识别方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
本实施例的基于自适应模糊修复机制的车牌识别方法中，首先对基于自适应模糊修复机制的车牌识别模型进行构建和训练，即通过用海量已标注车牌位置的图像对车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块进行构建和训练，组成基于自适应模糊修复机制的车牌识别模型。
如图1所示，为本实施例的训练基于自适应模糊修复机制的车牌识别模型的流程图。
步骤一：搜索并收集车牌识别数据集的图像，构建训练数据集。其中，每张训练图像带有正确的车牌号码和坐标信息。
步骤二：构建与训练车牌检测模块。将训练数据集输入车牌检测模块，提取图像的区域视觉特征，在区域视觉特征的位置上放置偏置框，区域视觉特征通过区域提议网络在其区域上切割出目标特征，然后将目标特征通过全连接层进行修正，并根据修正结果对车牌检测模块的参数进行更新。具体步骤如下：
S2.1：将训练数据集输入车牌检测模块，将训练数据集通过ImageNet上预训练的卷积神经网络ResNet提取图像的区域视觉特征；
S2.2：在区域视觉特征的每个位置上放置9个不同长宽比的偏置框；
S2.3：将区域视觉特征输入区域提议网络，即对区域视觉特征进行三个独立的3×3的卷积运算：先进行一个3×3的卷积运算，降低区域视觉特征的维度，再分别进行两个3×3的卷积运算，分别输出与预设定偏置框的坐标偏移值和所预测框包含车牌的置信得分；
S2.4：保留置信得分最高的300个目标框，利用最大值池化操作，根据目标框坐标在区域视觉特征上切割出与目标框坐标对应的300个目标特征；
S2.5：将得到的目标特征输入一个全连接层中，进一步提取高层次的语义特征，再分别利用两个独立的全连接层，输出预测的目标特征的类别和边界框的偏移值，根据预测类别和偏移值对边界框进行修正；
S2.6：将所预测的车牌目标框坐标信息与训练数据集中的坐标信息进行比较，计算分类与回归的损失函数L1，利用梯度反向传播方法对车牌检测模块各层的参数进行更新。所计算的损失函数L1公式如下：
其中，N为训练的目标框数量，表示交叉熵损失函数，c为所预测各类别的概率，为正确类别的索引；表示回归损失函数，b为预测的目标框坐标值，为正确的坐标值。
步骤三：构建与训练车牌分类模块。将完成目标特征切割的图像输入车牌分类模块，人工将车牌进行标记分类，然后提取图像的全局视觉特征，并将其输入到全连接层中对车牌类别和车牌畸变程度进行预测，并根据预测结果对车牌分类模块的参数进行更新。具体步骤如下：
S3.1：利用车牌检测模块将训练数据集的图像进行批量切割，再将完成目标特征切割的图像输入车牌分类模块中进行人工标记分类，然后通过ImageNet上预训练的卷积神经网络ResNet提取图像的全局视觉特征，其中人工标记分类的分类类别包括：运动模糊、散焦模糊、旋转、错切、亮度不均匀、水平透视、竖直透视和正常；
S3.2：将全局视觉特征输入到全连接层中进一步提取高层次的语义特征，再分别通过两个独立的全连接层，分别输出预测的车牌类别和车牌畸变程度；
S3.3：将所预测的车牌类别和车牌畸变程度与训练数据集中的信息进行比较，计算分类与回归的损失函数L2，利用梯度反向传播方法对车牌分类模块各层的参数进行更新。所计算的损失函数L2公式如下：
其中，N为训练样本的数量，表示交叉熵损失函数，s为所预测车牌属于各种类别的概率，为正确类别的索引；表示回归损失函数，y为预测的畸变程度，为正确的畸变程度。
步骤四：构建与训练车牌修复模块。将完成目标特征切割的图像输入车牌修复模块，对车牌图像进行处理获得模糊图像与对应清晰图像的训练集合，提取图像的全局视觉特征，将其输入生成器得到修复车牌图像，并根据修复结果对车牌修复模块的参数进行更新。具体步骤如下：
S4.1：将完成目标特征切割的图像输入车牌修复模块，设置运动模糊函数和散焦模糊函数对输入的图像进行处理，得到模糊图像与对应清晰图像的训练集合，其中运动模糊函数中的运动模糊角度为0至30°，模糊长度为0至20，散焦模糊函数中的散焦模糊半径设置为0至15；
S4.2：将模糊图像的训练集合通过ImageNet上预训练的卷积神经网络ResNet提取所述模糊图像的全局视觉特征；
S4.3：将所述模糊图像的全局视觉特征输入生成器中，获取与原图像相同分辨率的修复图像；
S4.4：计算修复图像与清晰图像的分布差异，生成器根据所计算得到的损失值更新参数，用于提高生成器的修复能力；
S4.5：修复图像输入到判别器中判断修复图像是否清晰：若模糊，则调整生成器参数，并跳转到S4.3步骤重新生成修复图像；若清晰，则根据修复结果对车牌修复模块的参数进行更新。
步骤五：构建与训练车牌识别模块。将训练数据集输入车牌识别模块，提取图像的区域视觉特征和全局视觉特征，将全局视觉特征输入全局递归神经网络中获取状态特征，区域视觉特征输入关注机制模块中配合所获取的状态特征对字符进行最终预测，并根据最终预测结果对车牌识别模块的参数进行更新。具体步骤如下：
S5.1：将训练数据集输入车牌识别模块，将训练数据集通过ImageNet上预训练的卷积神经网络ResNet提取图像的区域视觉特征和全局视觉特征；
S5.2：将当前时刻的全局视觉特征和上一个时刻所预测的字符输入到全局递归神经网络中，获得当前时刻的状态特征，同时模型能够长时间记忆车牌的字符排列顺序，避免预测出乱序的车牌；
S5.3：将区域视觉特征输入到局部递归网络中的关注机制模块中，配合所述状态特征，选择出与当前预测字符最为相关的车牌区块；
S5.4：将所预测的结果与训练数据集中的信息进行比较，计算出分类的损失函数L3，利用梯度反向传播方法对车牌识别模块各层的参数进行更新。所计算的损失函数L3公式如下：
其中，T为车牌号码的长度，wt为当前预测的字符，I为输入的车牌图像，p(·)表示根据给定已经预测的车牌字符和车牌图像，预测得到的当前字符的概率分布。
步骤六：重复上述步骤二至步骤五，对车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块进行训练，同时对各模块各层的参数进行更新，逐步提升模型对车牌识别的准确度。
在具体实施过程中，利用完成构建和训练的基于自适应模糊修复机制的车牌识别模型对待识别的车牌图像进行检测、分类、修复和识别。
如图2所示，为本实施例的基于自适应模糊修复机制的车牌识别方法的流程图。
步骤一：将待识别的车牌图像输入车牌检测模块中，车牌检测模块对车牌图像进行目标特征的切割，得到车牌在图像中的坐标信息。
步骤二：将完成目标特征切割的车牌图像输入所述车牌分类模块中，车牌分类模块对车牌图像是否发生畸变进行判断，若是执行步骤三，若否执行步骤四。
步骤三：将所述车牌图像输入所述车牌修复模块中，车牌修复模块对车牌图像进行修复。
步骤四：将所述车牌图像输入所述车牌识别模块中，车牌识别模块对车牌图像进行车牌号码识别。
本实施例中，通过分别构建和训练车牌检测模块、车牌分类模块、车牌修复模块和车牌识别模块组成基于自适应模糊修复机制的车牌识别模型，在训练过程中采用对数似然损失函数对模型进行训练，通过最小化损失函数，并利用误差反向传导方法对模型参数进行更新，从而提高模型识别的准确度，能够有效定位车牌在图像中的位置，并极大程度上修复发生模糊的车牌，能更准确地识别出图像中的车牌号码。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.基于自适应模糊修复机制的车牌识别方法，其特征在于，包括以下步骤：
S1：搜索并收集车牌识别数据集的图像，构建训练数据集；
S2：利用所述训练数据集构建与训练车牌检测模块；
S3：利用所述训练数据集构建与训练车牌分类模块；
S4：利用所述训练数据集构建与训练车牌修复模块；
S5：利用所述训练数据集构建与训练车牌识别模块；
S6：将待识别的车牌图像输入所述车牌检测模块中，车牌检测模块对车牌图像进行目标特征的切割，得到车牌在图像中的坐标信息；
S7：将车牌图像输入所述车牌分类模块中，车牌分类模块对车牌图像是否发生畸变进行判断，若是执行S8步骤，若否执行S9步骤；
S8：将车牌图像输入所述车牌修复模块中，车牌修复模块对车牌图像进行修复；
S9：将车牌图像输入所述车牌识别模块中，车牌识别模块对车牌图像进行车牌号码识别。
2.根据权利要求1所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S2步骤中构建与训练车牌检测模块的具体步骤包括：
S2.1：将训练数据集输入车牌检测模块，将训练数据集通过卷积神经网络提取图像的区域视觉特征；
S2.2：在区域视觉特征的每个位置上放置9个不同长宽比的偏置框；
S2.3：将区域视觉特征输入区域提议网络，输出与预设定偏置框的坐标偏移值和所预测框包含车牌的置信得分；
S2.4：保留置信得分最高的若干个目标框，利用最大值池化操作，根据目标框坐标在区域视觉特征上切割与目标框相同数目的目标特征；
S2.5：将目标特征输入三个独立的全连接层，分别用于提取高层次的语义特征、输出预测的目标特征的类别和输出目标框的偏移值，然后根据预测类别和偏移值对目标框进行修正；
S2.6：将所预测的车牌目标框坐标信息与训练数据集中的坐标信息进行比较，计算分类与回归的损失函数L1，利用梯度反向传播方法对车牌检测模块各层的参数进行更新，所述损失函数L1公式如下：
其中，N为目标框数量，表示交叉熵损失函数，c为所预测各类别的概率，为正确类别的索引；表示回归损失函数，b为预测的目标框坐标值，为正确的坐标值。
3.根据权利要求2所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述区域提议网络包括三个独立的3×3卷积运算，其中第一个独立的3×3卷积运算用于降低特征的维度，第二个独立的3×3卷积运算用于输出与预设定偏置框的坐标偏移值，第三个独立的3×3卷积运算用于输出所预测框包含车牌的置信得分。
4.根据权利要求1所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S3步骤中构建与训练车牌分类模块的的具体步骤包括：
S3.1：将车牌检测模块输出的图像输入车牌分类模块，先对输入图像进行人工标记分类，再通过卷积神经网络提取图像的全局视觉特征；
S3.2：将全局视觉特征输入三个独立的全连接层，分别用于提取高层次语义特征、输出预测的车牌类别和输出车牌畸变程度；
S3.3：将所预测的车牌类别和车牌畸变程度与训练数据集中的信息进行比较，计算分类与回归的损失函数L2，利用梯度反向传播方法对车牌分类模块各层的参数进行更新，所述损失函数L2的公式如下：
其中，N为训练样本的数量，表示交叉熵损失函数，s为所预测车牌属于各种类别的概率，为正确类别的索引；表示回归损失函数，y为预测的畸变程度，为正确的畸变程度。
5.根据权利要求4所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S3.1步骤中的人工标记分类的类别包括：运动模糊、散焦模糊、旋转、错切、亮度不均匀、水平透视、竖直透视和正常清晰。
6.根据权利要求1所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S4步骤中构建与训练车牌修复模块的的具体步骤包括：
S4.1：将车牌检测模块输出的图像输入车牌修复模块，设置运动模糊函数和散焦模糊函数对输入的图像进行处理，得到模糊图像与对应清晰图像的训练集合；
S4.2：将模糊图像的训练集合通过卷积神经网络提取所述模糊图像的全局视觉特征；
S4.3：将所述模糊图像的全局视觉特征输入生成器中，获取与原图像相同分辨率的修复图像；
S4.4：计算修复图像与清晰图像的分布差异，生成器根据所计算得到的损失值更新参数；
S4.5：将修复图像输入到判别器中判断修复图像是否清晰：若模糊，则调整生成器参数，跳转到S4.3步骤；若清晰，则根据修复结果对车牌修复模块的参数进行更新。
7.根据权利要求1所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S5步骤中构建与训练车牌识别模块的的具体步骤包括：
S5.1：将训练数据集输入车牌识别模块，将训练数据集通过卷积神经网络提取图像的区域视觉特征和全局视觉特征；
S5.2：将当前时刻的全局视觉特征和上一个时刻所预测的字符输入到全局递归神经网络中，获得当前时刻的状态特征；
S5.3：将区域视觉特征输入到局部递归网络中的关注机制模块中，配合所述状态特征，选择出与当前预测字符最为相关的车牌区块；
S5.4：将所预测的结果与训练数据集中的信息进行比较，计算出分类的损失函数L3，利用梯度反向传播方法对车牌识别模块各层的参数进行更新，所述损失函数L3公式如下：
其中，T为车牌号码的长度，wt为当前预测的字符，I为输入的车牌图像，p(·)表示根据给定已经预测的车牌字符和车牌图像，预测得到的当前字符的概率分布。
8.根据权利要求1-7任一项所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述S1步骤中的车牌识别数据集的图像中，每张训练图像带有正确的车牌号码和坐标信息。
9.根据权利要求1-7任一项所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述用于提取图像视觉特征的卷积神经网络为ImageNet上预训练的卷积神经网络ResNet。
10.根据权利要求2或4或7所述的基于自适应模糊修复机制的车牌识别方法，其特征在于：所述计算的损失函数为对数似然损失函数，通过最小化损失函值以及误差反向传导来更新模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407447.5A CN109543753B (zh) | 2018-11-23 | 2018-11-23 | 基于自适应模糊修复机制的车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407447.5A CN109543753B (zh) | 2018-11-23 | 2018-11-23 | 基于自适应模糊修复机制的车牌识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109543753A true CN109543753A (zh) | 2019-03-29 |
| CN109543753B CN109543753B (zh) | 2024-01-05 |
Family
ID=65849749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811407447.5A Active CN109543753B (zh) | 2018-11-23 | 2018-11-23 | 基于自适应模糊修复机制的车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543753B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415795A (zh) * | 2019-08-02 | 2019-11-05 | 杭州智团信息技术有限公司 | 一种荧光染色ctc图像的识别方法 |
| CN110472699A (zh) * | 2019-08-24 | 2019-11-19 | 福州大学 | 一种基于gan的电力场所有害生物运动模糊图像检测方法 |
| CN111444840A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 一种套牌车辆自动检测方法及系统 |
| WO2020200213A1 (zh) * | 2019-03-31 | 2020-10-08 | 华为技术有限公司 | 图像生成方法、神经网络的压缩方法及相关装置、设备 |
| CN115394074A (zh) * | 2022-07-04 | 2022-11-25 | 北方工业大学 | 公路监控车辆检测系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106650739A (zh) * | 2016-12-09 | 2017-05-10 | 浙江浩腾电子科技股份有限公司 | 一种车牌字符切割方法 |
| CN107292840A (zh) * | 2017-06-07 | 2017-10-24 | 上海智臻智能网络科技股份有限公司 | 图像复原方法及装置、计算机可读存储介质、终端 |
| CN107563372A (zh) * | 2017-07-20 | 2018-01-09 | 济南中维世纪科技有限公司 | 一种基于深度学习ssd框架的车牌定位方法 |
| CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
| CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 |
| CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
| CN108665417A (zh) * | 2017-03-30 | 2018-10-16 | 杭州海康威视数字技术股份有限公司 | 一种车牌图像去模糊方法、装置及系统 |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
-
2018
- 2018-11-23 CN CN201811407447.5A patent/CN109543753B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106650739A (zh) * | 2016-12-09 | 2017-05-10 | 浙江浩腾电子科技股份有限公司 | 一种车牌字符切割方法 |
| CN108665417A (zh) * | 2017-03-30 | 2018-10-16 | 杭州海康威视数字技术股份有限公司 | 一种车牌图像去模糊方法、装置及系统 |
| CN107292840A (zh) * | 2017-06-07 | 2017-10-24 | 上海智臻智能网络科技股份有限公司 | 图像复原方法及装置、计算机可读存储介质、终端 |
| CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
| CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 |
| CN107563372A (zh) * | 2017-07-20 | 2018-01-09 | 济南中维世纪科技有限公司 | 一种基于深度学习ssd框架的车牌定位方法 |
| CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020200213A1 (zh) * | 2019-03-31 | 2020-10-08 | 华为技术有限公司 | 图像生成方法、神经网络的压缩方法及相关装置、设备 |
| CN110415795A (zh) * | 2019-08-02 | 2019-11-05 | 杭州智团信息技术有限公司 | 一种荧光染色ctc图像的识别方法 |
| CN110472699A (zh) * | 2019-08-24 | 2019-11-19 | 福州大学 | 一种基于gan的电力场所有害生物运动模糊图像检测方法 |
| CN111444840A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 一种套牌车辆自动检测方法及系统 |
| CN115394074A (zh) * | 2022-07-04 | 2022-11-25 | 北方工业大学 | 公路监控车辆检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109543753B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543753A (zh) | 基于自适应模糊修复机制的车牌识别方法 | |
| CN107729818B (zh) | 一种基于深度学习的多特征融合车辆重识别方法 | |
| CN109271991B (zh) | 一种基于深度学习的车牌检测方法 | |
| CN103198332B (zh) | 一种实时鲁棒的远红外车载行人检测方法 | |
| CN103034836B (zh) | 道路标志检测方法和道路标志检测设备 | |
| CN103761531B (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
| CN110866430B (zh) | 一种车牌识别方法及装置 | |
| CN106600600A (zh) | 基于特征匹配的晶圆缺陷检测方法 | |
| CN103268489B (zh) | 基于滑窗搜索的机动车号牌识别方法 | |
| CN107273896A (zh) | 一种基于图像识别的车牌检测识别方法 | |
| CN104598885B (zh) | 街景图像中的文字标牌检测与定位方法 | |
| CN103106265B (zh) | 相似图像分类方法及系统 | |
| CN108921201B (zh) | 基于特征组合与cnn的大坝缺陷识别与分类方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN104156734A (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
| CN105069451B (zh) | 一种基于双目摄像头的车牌识别与定位方法 | |
| CN111310850B (zh) | 车牌检测模型的构建方法及系统、车牌检测方法及系统 | |
| CN109598684A (zh) | 结合孪生网络的相关滤波跟踪方法 | |
| CN105718866A (zh) | 一种视觉目标检测与识别方法 | |
| CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
| CN106529461A (zh) | 一种基于积分特征通道和svm训练器的车型识别算法 | |
| CN103413145A (zh) | 基于深度图像的关节点定位方法 | |
| CN106803087A (zh) | 一种车号自动识别方法及系统 | |
| CN109190625A (zh) | 一种大角度透视变形的集装箱箱号识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |