CN107301385B - 一种遮挡车牌识别方法及装置 - Google Patents

Abstract

本发明公开了一种遮挡车牌识别方法及装置，首先对车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果，然后根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；最后根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果。本发明的方法及装置，在传统模板识别的基础上，引入深度学习进一步判断遮挡，对遮挡车牌的识别准确率非常高。

Description

一种遮挡车牌识别方法及装置

技术领域

本发明属于图像识别技术领域，尤其涉及一种遮挡车牌识别方法及装置。

背景技术

在交通管理中，通过抓拍车辆的视频图像，识别出车牌，已经成为目前最为常用的一种交通管理手段。车牌识别技术是交通管理智能化的技术基础之一，特别是非现场违章检测系统(如超速违章抓拍，闯红灯检测抓拍等)均是基于车牌识别技术而实现的自动智能检测系统。

但是在有些时候，抓拍的图片中车牌刚好被其他车辆或者被其他物体无意遮挡，造成无法正确识别车牌。更有很多司机为了躲避违章检测抓拍，在道路行驶过程中，故意用光盘、黑漆等手段将车牌遮挡,故意违章行驶并希望能逃过处罚。而这些情况都会对交通安全造成隐患，不利于交通管理。

因此正确识别车牌，并判断是否为恶意遮挡车牌，对交通智能管理具有重大意义。现有技术中一般是先根据车牌区域内的显露字符特征确定显露字符位置以及缺失字符可能存在的位置，然后再根据分析缺失字符位置的纹理特征判断是否恶意遮挡。但目前只能判断出特定几种类型的遮挡车牌；根据分析缺失字符位置的纹理特征来判断是否恶意遮挡的有效性不高，如在阴阳，过爆等特殊场景下很容易失去字符的纹理特征，造成误判等。

发明内容

本发明的目的是提供一种遮挡车牌识别方法及装置，基于深度学习，能够有效识别出遮挡车牌，减少误判的情况。

为了实现上述目的，本发明技术方案如下：

一种遮挡车牌识别方法，所述遮挡车牌识别方法包括：

获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果；

根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；

当所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量；

根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果。

进一步地，所述预设遮挡条件为：

所述初步识别结果为有车牌，单个字符的最低置信度与单个字符的最高置信度相差大于设定的阈值Dif_Thres，且单个字符的最低置信度低于设定的低阈值Low_Char_Thres，单个字符的最高置信度高于设定的高阈值High_Char_Thres；

或/和，所述初步识别结果为无车牌，且该车牌候选区域中各字符置信度之和在该车牌候选区域所在图像的所有车牌候选区域中最高。

进一步地，所述对满足预设遮挡条件的车牌候选区域进行深度学习识别，包括：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

进一步地，所述将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别，其中长短记忆递归神经网络LSTM为GRU单元。

进一步地，所述根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，包括：

对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

本发明还提出了一种遮挡车牌识别装置，所述遮挡车牌识别装置包括：

初步识别模块，用于获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果；

深度学习模块，用于根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；

判断模块，用于在所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量；

输出替换模块，用于根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果。

进一步地，所述深度学习模块对满足预设遮挡条件的车牌候选区域进行深度学习识别时，执行如下操作：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

进一步地，所述将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别，其中长短记忆递归神经网络LSTM为GRU单元。

进一步地，所述输出替换模块根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置时，执行如下操作：

对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

本发明提出的一种遮挡车牌识别方法及装置，通过模板匹配进行初步识别，对可疑遮挡的车牌候选区域送去深度学习进一步识别，根据深度学习识别结果判断是否有遮挡，根据最低置信度字符的位置及深度学习输出的位置判断被遮挡的字符位置，用特殊字符代替，输出遮挡车牌结果。本发明的方法及装置，在传统模板识别的基础上，引入深度学习进一步判断遮挡，对遮挡车牌的识别准确率非常高。

附图说明

图1为本发明一种遮挡车牌识别方法流程图；

图2为本发明一种遮挡车牌识别装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

如图1所示，本实施例一种遮挡车牌识别方法，包括：

步骤S1、获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果。

本技术领域，对于车牌字符的识别，有很多现有算法，例如Gabor算法、特征统计匹配方法、模板匹配算法等等。本实施例对初步车牌识别的具体方法不作限制，例如可以采用模板匹配算法进行识别，首先对整幅图像进行车牌定位，然后对定位后得到的多个车牌候选区(字符图像)依次进行识别。例如依据标准车牌字符宽高比为0.5，统一采用30*60大小的模板。即根据中国大陆的车牌由汉字、字母和数字组成，分别设计三类模板，即汉字模板、字母模板和数字模板，模板的前景字为1，背景为0，用来作为比对的模版。在与模板进行匹配前需要将各个字符图像进行二值化，同样是前景为1，背景为0，大小与模板大小相同。最后将字符二值化图像与模板进行匹配，识别出字符及其对应的置信度。也可以用其他方法识别出字符后，再进行模板匹配后得到的单字符的置信度。本实施例字符的置信度表示为：

其中Confidence表示单个字符置信度；Img(m,n)为字符图像数据，已经进行过0，1二值化，大小也是30*60；Mod(m,n)为模板数据。

容易理解的是，对于车牌字符的识别，除了上述的模板匹配方法，还可以采用特征统计匹配方法，这里不再赘述。

对一张抓拍图像或用户输入的图像进行车牌识别，首先需要进行车牌定位，随后获取车牌候选区域，再对车牌候选区域进行字符分割进行识别。需要说明的是，进行车牌定位获取车牌候选区域时，获取的车牌候选区域可能不止一个，例如存在广告牌遮挡时，将广告牌也识别为车牌候选区域等，当获取到多个车牌候选区域时，分别对各个车牌候选区域进行初步车牌识别。

通过上述模板匹配算法进行初步车牌识别处理后，初步识别结果会出现两种情况。一种情况识别为无车牌，即车牌候选区域不存在字符或类字符，则输出识别结果为空，没有字符，也没有置信度，也可以理解为输出的字符为空字符，置信度为零，表示无牌；或者是车牌候选区域存在字符，如广告牌等，会有字符识别结果，识别出的每个字符有对应的置信度，但统计每个字符的置信度之和达不到设定的阈值，则也判断为无牌。另一种情况是识别出了字符及其对应的置信度，统计每个字符的置信度之和达到设定的阈值，认定为有车牌的情况，输出识别后的字符及置信度。

步骤S2、根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息。

本实施例列举了两种设定的遮挡条件，分别描述如下：

一种是针对初步识别结果为有车牌情况的，则对模板匹配识别输出的字符结果进行置信度排序，并判断车牌是否存在遮挡。设定的遮挡条件为：初步识别结果为有车牌，单个字符的最低置信度与单个字符的最高置信度相差大于设定的阈值Dif_Thres，且单个字符的最低置信度低于设定的低阈值Low_Char_Thres，单个字符的最高置信度高于设定的高阈值High_Char_Thres。

如果初步识别结果满足上述设定的遮挡条件，则判断为疑似有遮挡，需要进入下一步进行深度学习。否则判断没有遮挡，直接输出初步识别结果作为最终车牌识别结果。

容易理解的是，低阈值和高阈值都是人为设定的，通常经过适当的设定就可以将可疑为遮挡的车牌选择出来。单个字符的最低置信度与单个字符的最高置信度相差大于设定的阈值Dif_Thres，说明可疑遮挡字符的置信度要远远低于正常识别出的字符置信度。

一般情况下，一个车牌7个字符，对于正常情况，字符都能够正确识别，此时初步识别结果输出7个字符(本文也称为初步识别字符)及其置信度，每个字符的置信度都要高出设定的高阈值High_Char_Thres，直接输出车牌识别结果就完成了识别。而当有遮挡时，有一些字符是正确识别了的，即这些字符的置信度高于设定的高阈值High_Char_Thres，但也有一些字符由于遮挡掉了，识别的结果的置信度会低于设定的低阈值Low_Char_Thres，则判断为可疑遮挡。对于识别出的字符的置信度都低于设定的低阈值Low_Char_Thres时，一般会作为无车牌的情况来进行处理。

例如：对于车牌“浙A12345”，其中后两位遮挡，识别结果如下：

	浙	A	1	2	3	4	5
								字符	浙	A	1	2	3	1	3
置信度	100％	100％	100％	100％	100％	5％	5％

表1

假设设定的阈值Dif_Thres为70％，设定的高阈值High_Char_Thres、低阈值Low_Char_Thres分别为90％、10％，则本例子中单个字符的最低置信度为5％，单个字符的最高置信度为100％，且他们的差值为95％，该车牌候选区域满足上述遮挡条件，为可疑遮挡，需要送入下一步进行深度学习。

另一种是针对单个图像中所有车牌候选区域的初步识别结果均为无车牌，但存在至少1个车牌候选区域的初步识别结果中包含初步识别字符及对应的置信度这种情况。当有初步识别字符及其置信度时，可能有遮挡发生，存在可疑的车牌候选区域。初步识别结果判断为无车牌，有两种情况，一种是车牌候选区域不存在字符或类字符，则输出识别结果为空，没有字符，也没有置信度；另一种是车牌候选区域存在字符，如广告牌、或车牌被遮挡等，会有初步识别字符及其对应的置信度，但统计该车牌候选区域中每个初步识别字符的置信度之和低于设定的阈值。

当单个图像中所有车牌候选区域的初步识别结果均为无车牌，且存在至少1个车牌候选区域的初步识别结果中包含初步识别字符及对应的置信度时，认为存在可疑遮挡。本实施中设定的遮挡条件为：该车牌候选区域的初步识别结果为无车牌，且该车牌候选区域中各字符置信度之和在该车牌候选区域所在图像的所有车牌候选区域中最高。

当单个图像中所有的车牌候选区域的初步识别结果均为无车牌，且不存在车牌候选区域的初步识别结果中包含初步识别字符及对应的置信度时，即该图像中所有车牌候选区域均不存在字符或类字符，则直接输出识别结果为无牌，不再进行深度学习识别。本技术方案对初步识别均为无牌的情况，进一步进行判断，从而能够避免遮挡导致识别结果为无牌的情况出现。

例如：对两个车牌候选区域的识别结果如下：

表2

则车牌候选区域2的置信度之和大于车牌候选区域1，因此判断车牌候选区域2为选定的车牌候选区域，将其送入下一步进行深度学习。

上述两个设定的遮挡条件，在本实施例的实施中，可以仅选择第一个来使用，即对无牌的初步识别结果不考虑，直接当无牌处理。也可以同时应用这两个遮挡条件，即对初步识别结果为有车牌情况时，选择满足第一个条件的可疑遮挡车牌候选区域，对初步识别结果为无车牌情况时，选择各车牌候选区域中各字符置信度之和最高的车牌候选区域进行深度学习识别。

对车牌候选区域进行深度学习识别，可以采用常见的深度学习方法，例如深信度网络DBF(Deep BeliefNetworks)、递归神经网络RNN(Recurrent Neural Networks)等，本实施例以神经网络为例进行说明。对满足预设遮挡条件的车牌候选区域进行深度学习识别，包括：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

具体地，本步骤对车牌候选区域进行深度学习。本实施例采用的特征提取方法为卷积神经网络CNN，其中卷积网络的具体参数可以进行设置的不同，例如卷积核可以不同。对字符的识别，本实施例推荐采用长短记忆递归神经网络LSTM(Long Short-TermMemory)，LSTM是一种递归神经网络RNN的特殊类型，可以学习长期依赖信息。LSTM核心思想是细胞状态，类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易。LSTM包括三个门，分别是忘记门、输入门和输出门，来保护和控制细胞状态。LSTM有很多变体，本实施例采用GRU(Gated Recurrent Unit)变体，它将忘记门和输入门合成为一个单一的更新门，同样混合了细胞状态和隐藏状态，和其他改动，最终的模型比标准的LSTM模型简单。本实施例还可以采用标准LSTM或其他变体，也可以采用其他RNN网络模型或其他机器学习算法，本发明对此不做限制。

以下以CNN和GRU为例，来对深度学习的过程进行介绍：

步骤F1、假设输入的车牌候选区域输入图像为w*h的灰度图，首先将图像高度统一为30，宽度按比例进行缩放，得到的图像大小为W*30。

步骤F2、CNN提取特征，本方案中采用两层卷积网络。第一层卷积层是8个大小为3*3的卷积核，进行卷积操作后，输出数据大小为8*28*(W-2)；之后接池化层pooling，进行池化操作，池化窗口大小为2*2，步长为2*2，得到数据为8*14*((W-2)/2)；pooling层后接Relu(Rectified Linear Units)激活函数对数据进行稀疏处理。第二层卷积层是16个大小为3*3的卷积核，输出数据大小为16*12*((W-2)/2-2)；同样再接pooling层和Relu层；最终得到的数据为16*6*Wo，Wo为CNN提取特征后的feature maps宽度。

步骤F3、feature maps宽度作为时间维度，送入到GRU网络进行计算。首先对CNN输出的数据进行调整，为Wo*96；然后利用GRU进行计算，本方案设计的GRU隐藏层神经元个数为64，得到输出结果大小为Wo*64。

步骤F4、用softmax分类器计算最终的预测结果。识别的类别包括汉字37，数字10，字母26，还有1类为空白，输出的结果类别为74，因此softmax层输出数据大小为Wo*74。

步骤F5、根据softmax层输出结果，计算出对应的字符及字符对应的位置信息。

至此，对输入的车牌候选区域，通过深度学习，识别出车牌候选区域中的字符、字符个数、字符位置信息。本技术方案利用深度学习方法进行遮挡车牌识别较传统方法有更高的准确率，并且对各类遮挡车牌的识别有更好的适应性，可以更准确的向上层业务提供遮挡车牌告警，进而更准确对司机故意遮挡号牌的行为进行处罚。

步骤S3、当所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量。

在上一步中，通过深度学习得到了识别出的字符个数及字符的位置信息，则判断深度学习识别得到的字符个数是否处于预设字符个数范围内，若是，则确定该车牌候选区域存在车牌遮挡。例如蓝牌的字符个数为7，对于蓝牌的预设字符个数范围为小于7且大于2，当深度学习识别得到的字符个数小于7且大于2时，则确定该车牌候选区域存在车牌遮挡。对不同类别的车牌，其字符个数可能不同，因此上述判断条件基于实际常用车牌的字符个数，这里不再赘述。

而对于全部识别了车牌中的字符时，则判断没有遮挡，直接输出识别结果。或者识别出的字符超过7个，则有可能是广告牌遮挡等，丢弃识别结果，输出未识别出车牌的提示。对于识别出的字符个数少于或等于2个的情况，即识别出的字符极少，据此输出用特殊符号替换的车牌在实际的应用中也没有什么效果，一般都会在初步识别时被认定为无牌情况，输出无牌的提示。

对于常用的7位车牌来说，如果识别出的字符个数为5，则对应的车牌候选区域中存在遮挡的字符数量为2。

步骤S4、根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果。

本实施例对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

例如蓝牌7个字符，若LSTM识别结果个数为5，则认为遮挡了2个字符，对初步识别结果中的字符按照置信度高低进行排序，由低到高选取两个字符，得到其对应的位置，再用LSTM输出的位置信息进行校验。

例如，车牌“浙A12345”中“1”、“3”位置被遮挡，初步识别结果输出如下：

字符

浙

A

1

2

3

4

5

置信度

90％

99％

40％

92％

50％

81％

93％

表3

LSTM识别结果个数为5，则认为遮挡了2个字符，对初步识别结果中的字符按照置信度高低进行排序，由低到高选取两个字符，得到其对应的位置为字符“1”和字符“3”的位置，此时2个最低置信度的字符的置信度都低于一个阈值(这里假设为75％)，就认为这两个字符所在位置一定是被遮挡的。

而如果车牌“浙A12345”中“1”、“3”位置被遮挡，初步识别结果输出如下：

字符

浙

A

1

2

3

4

5

置信度

90％

99％

40％

92％

79％

81％

93％

表4

这时候对初步识别结果中的字符按照置信度高低进行排序，由低到高选取两个字符，得到其对应的位置为字符“1”和字符“3”的位置，但是“3”的置信度虽然是倒数第二低的，但是大于设定的阈值(75％)，就存在不被遮挡的可能，那么利用LSTM识别的字符位置信息校验字符“3”所在的位置是否是被遮挡的位置，如果“3”是被遮挡的，那么LSTM中输出的“2”和“4”这两个字符的位置间距就会偏大，那么确定字符“3”所在的位置是被遮挡的位置；如果“2”和“4”这两个字符的位置间距正常，则需要找置信度倒数第三低的字符即“4”，来重新进行校验。

校验的方法相同，即LSTM中输出的字符“3”和“5”的位置间距偏大，则认为字符“4”所在的位置是被遮挡的位置，如果字符“3”和“5”的位置间距正常，则需要继续找置信度倒数第四低的字符，再来进行校验，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕。

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，则还是回到最初从初始识别结果中根据置信度由低到高选取的两个字符，确定这两个字符所在的位置为遮挡字符在车牌中的位置。即对于表4的情况，首先“1”的置信度低于阈值75％，确定其所在位置被遮挡，而对于“3”，其置信度大于阈值75％，如果经过校验不是遮挡位置，则用“4”来替换，“4”的置信度显然大于阈值75％，继续进行校验，如果仍然不是遮挡位置，则继续进行替换，发现其他位置都不是遮挡位置时，仍然根据初步识别结果，将“3”的位置确定为遮挡位置。

最终得到被遮挡的字符个数及位置，将其用特殊符号替换。

需要说明的是，在步骤S1中采用模板匹配方法初步识别结果中，输出了识别出的字符及其置信度，置信度高的字符认为是可信的，置信度低的字符可能是被遮挡的字符。而深度学习方法学习得到字符及位置信息，在最后输出的最终识别结果中，将初次识别结果中没有遮挡的字符正常输出，而对于遮挡的字符，以特殊符号替换。也可以以深度学习得到的字符按照位置排序后输出，其中遮挡的字符用特殊符号替换。

例如，对表1中车牌候选区域的最终识别结果输出为：浙A123**。

本实施例根据字符位置信息来进行校验，根据字符位置信息能计算出字符之间的距离，从而进行校验。也可以根据字符位置信息，先确定被遮挡字符的位置，例如计算“2”、“4”之间的距离，如果他们之间的距离偏大(大于正常两个相邻字符之间的距离)，则判断“3”是被遮挡位置，又计算出“A”与“2”之间的距离，如果他们之间的距离偏大，则判断“1”也是被遮挡位置。这样就先确定了被遮挡位置，然后从初步识别结果中选择置信度由低到高的两个字符，例如选择的是“1”和“3”，与确定的被遮挡位置正好相符，则最终确定“1”和“3”所在的位置就是被遮挡位置。

而如果根据字符位置信息，确定的被遮挡位置是“1”和“4”时，当从初步识别结果中选择置信度由低到高的两个字符，选择的是“1”和“3”时，与确定的被遮挡位置不相符，则用“4”来替换“3”，最终确定“1”和“4”为遮挡位置。

本发明不限定根据字符位置信息进行校验的具体方法。

如图2所示，与上述方法对应地，本发明还提出了一种遮挡车牌识别装置，该遮挡车牌识别装置包括：

初步识别模块，用于获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果；

深度学习模块，用于根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；

判断模块，用于在所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量；

输出替换模块，用于根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果。

本实施例的装置中所设定的遮挡条件，与前述方法相同，这里不再赘述。

优选地，本实施例深度学习模块对满足预设遮挡条件的车牌候选区域进行深度学习识别时，执行如下操作：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

进一步地，所述将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别，其中长短记忆递归神经网络LSTM为GRU单元。

优选地，本实施例输出替换模块根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置时，执行如下操作：

对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种遮挡车牌识别方法，其特征在于，所述遮挡车牌识别方法包括：

获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果；

根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；

当所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量；

根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果；

所述预设遮挡条件为：

所述初步识别结果为有车牌，单个字符的最低置信度与单个字符的最高置信度相差大于设定的阈值Dif_Thres，且单个字符的最低置信度低于设定的低阈值Low_Char_Thres，单个字符的最高置信度高于设定的高阈值High_Char_Thres；

或/和，所述初步识别结果为无车牌，且该车牌候选区域中各字符置信度之和在该车牌候选区域所在图像的所有车牌候选区域中最高。

2.如权利要求1所述的遮挡车牌识别方法，其特征在于，所述对满足预设遮挡条件的车牌候选区域进行深度学习识别，包括：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

3.如权利要求2所述的遮挡车牌识别方法，其特征在于，所述将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别，其中长短记忆递归神经网络LSTM为GRU单元。

4.如权利要求1所述的遮挡车牌识别方法，其特征在于，所述根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，包括：

对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

5.一种遮挡车牌识别装置，其特征在于，所述遮挡车牌识别装置包括：

初步识别模块，用于获取待识别的车牌候选区域，对所述车牌候选区域进行初步车牌识别，输出包括初步识别字符及所述初步识别字符对应的置信度的初步识别结果；

深度学习模块，用于根据所述初步识别结果进行判断，对满足预设遮挡条件的车牌候选区域进行深度学习识别，获得深度学习识别得到的字符个数及字符的位置信息；

判断模块，用于在所述字符个数处于预设字符个数范围内时，确定所述车牌候选区域存在车牌遮挡，并获得所述车牌候选区域中存在遮挡的字符数量；

输出替换模块，用于根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置，在所述初步识别结果中用特殊符号替换所述遮挡字符，输出最终识别结果；

其中，所述预设遮挡条件为：

所述初步识别结果为有车牌，单个字符的最低置信度与单个字符的最高置信度相差大于设定的阈值Dif_Thres，且单个字符的最低置信度低于设定的低阈值Low_Char_Thres，单个字符的最高置信度高于设定的高阈值High_Char_Thres；

或/和，所述初步识别结果为无车牌，且该车牌候选区域中各字符置信度之和在该车牌候选区域所在图像的所有车牌候选区域中最高。

6.如权利要求5所述的遮挡车牌识别装置，其特征在于，所述深度学习模块对满足预设遮挡条件的车牌候选区域进行深度学习识别时，执行如下操作：

对满足预设遮挡条件的车牌候选区域的灰度图像采用卷积神经网络CNN进行特征提取；

将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别。

7.如权利要求6所述的遮挡车牌识别装置，其特征在于，所述将得到的特征送到训练好的长短记忆递归神经网络LSTM中进行识别，其中长短记忆递归神经网络LSTM为GRU单元。

8.如权利要求5所述的遮挡车牌识别装置，其特征在于，所述输出替换模块根据所述初步识别字符、所述初步识别字符对应的置信度、所述字符数量及所述字符的位置信息，确定遮挡字符在车牌中的位置时，执行如下操作：

对初步识别结果中的字符按照置信度高低进行排序，由低到高选取所述字符数量的字符，判断所选取字符的置信度是否低于预设的阈值，如果均低于预设的阈值，则确定所选取字符所在的位置被遮挡，如果有选取的字符的置信度不低于所述预设的阈值，则根据所述字符的位置信息检验该字符所在的位置是否是被遮挡的位置，如果是，则确定该字符所在的位置被遮挡，如果不是，则从剩下的字符中选择最低置信度的字符进行替换，并重新根据所述字符的位置信息检验替换后字符所在的位置是否是被遮挡的位置，直至确定遮挡字符在车牌中的位置或所有字符均判断完毕；

在所有字符均判断完毕，仍然无法确定遮挡字符在车牌中的位置时，从初始识别结果中根据置信度由低到高选取所述字符数量的字符，以选取字符所在的位置为遮挡字符在车牌中的位置。

Images