CN112464938B - 车牌检测识别方法、装置、设备及存储介质 - Google Patents
车牌检测识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112464938B CN112464938B CN202011508965.3A CN202011508965A CN112464938B CN 112464938 B CN112464938 B CN 112464938B CN 202011508965 A CN202011508965 A CN 202011508965A CN 112464938 B CN112464938 B CN 112464938B
- Authority
- CN
- China
- Prior art keywords
- frame
- target candidate
- license plate
- candidate frames
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车牌检测识别方法、装置、设备及存储介质，该方法包括：获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框；采用改进的NMS算法从目标候选框中剔除重复多余的目标候选框并筛选出最优候选框；根据最优候选框可能包含车牌区域的概率进行评分并从最优候选框中选出最高得分框；根据最高得分框的位置以及其余最优候选框的位置采用外侧平均法对最高得分框进行定位调整，获得调整后的车牌定位框。通过上述方式，本发明能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种车牌检测识别方法、装置、设备及存储介质。
背景技术
随着现代科技的进步，道路交通、停车场所等相关车辆管理系统都朝着智能化和数字化的方向发展，作为这些系统智能化的一个重要核心，车牌自动识别系统起着至关重要的作用。
车牌自动识别中的首要任务就是车牌的检测。现有的检测方法有传统的特征提取(如HOG、LBP、SIFT等)以及基于深度学习的检测网络(如Faster RCNN、YOLO等)。但是传统的检测方法准确率低，且严重依赖于特征的设计，已逐渐被深度学习的检测网络所取代。基于深度学习的检测网络(如Faster RCNN、YOLO)中对众多候选框进行筛选时需要用到一个很重要的NMS(Non-Maximum Suppression，非极大值抑制)算法。传统的NMS算法简单粗暴，剔除机制太严格，而且对于车牌这种小物体其设置阈值非常敏感，在车牌检测场景中效果不是特别好。目前虽有在此基础上改进的“定位优先”、“自适应阈值”、“中心距离”等NMS算法，但这些改进算法都是针对通用领域的物体检测，对候选框没有进行大小的偏差性优化，而在车牌检测场景中，当候选框偏小时，会导致车牌字符的边缘信息丢失，如“E”、“T”、“L”这类字符因丢失边缘信息而误识别为“F”、“1”、“1”，严重影响后续车牌的准确识别。
发明内容
本发明提供一种车牌检测识别方法、装置、设备及存储介质，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车牌检测识别方法，包括：
获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框；
采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框；
根据所述最优候选框可能包含所述车牌区域的概率进行评分并从所述最优候选框中选出最高得分框；
根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框。
根据本发明的一个实施例，所述采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框的步骤还包括：
S1：构造一个存放所述目标候选框的第一集合以及一个存放所述最优候选框的第二集合，所述第一集合初始化为全部的所述目标候选框，所述第二集合初始化为空集；
S2：根据所述目标候选框可能包含所述车牌区域的概率获取所述第一集合中所有所述目标候选框的得分并将所述目标候选框按照得分进行排序；
S3：从排序结果中选出得分最高的目标候选框并将得分最高的目标候选框从所述第一集合移至所述第二集合中；
S4：遍历所述第一集合中的所有所述目标候选框，分别计算每个所述目标候选框与得分最高的目标候选框之间的重合度；
S5：将所述重合度与预设NMS阈值进行比较，根据比较结果筛选出所述最优候选框并将所述最优候选框添加到所述第二集合中。
根据本发明的一个实施例，所述分别计算每个所述目标候选框与得分最高的目标候选框之间的重合度的步骤包括：
计算每个所述目标候选框与得分最高的目标候选框的交集的面积以及并集的面积；
根据同一个所述目标候选框的所述交集的面积与所述并集的面积计算所述重合度。
根据本发明的一个实施例，所述将所述重合度与预设NMS阈值进行比较，根据比较结果筛选出所述最优候选框并将所述最优候选框添加到所述第二集合中的步骤包括：
当所述重合度大于或等于所述预设NMS阈值时，将所述目标候选框确定为最优候选框，从所述第一集合中删除所述最优候选框并将所述最优候选框添加到所述第二集合中；
当所述重合度小于所述预设NMS阈值时，保留所述目标候选框。
根据本发明的一个实施例，所述根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框的步骤之后，还包括：
清空所述第二集合并对所述第一集合中保留的所述目标候选框重复执行S3至S5，直至所述第一集合为空集。
根据本发明的一个实施例，所述根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框的步骤包括：
获取位于所述最高得分框的每个框边的外围的最优候选框；
依次计算所述最高得分框的每个框边位置与位于外围的最优候选框的框边位置的平均位置；
根据各个平均位置调整所述最高得分框的每个框边位置，获得车牌定位框并输出。
根据本发明的一个实施例，在所述获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框的步骤之前，还包括：
构建所述深度学习卷积神经网络模型，所述深度学习卷积神经网络模型包括：Faster RCNN模型、YOLO模型；
对所述深度学习卷积神经网络模型进行训练。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种车牌检测识别装置，包括：
获取模块，用于获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框；
第一筛选模块，用于采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框；
第二筛选模块，用于根据所述最优候选框可能包含所述车牌区域的概率进行评分并从所述最优候选框中选出最高得分框；
定位调整模块，用于根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的车牌检测识别方法。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述车牌检测识别方法的程序文件。
本发明的有益效果是：通过改进的NMS算法从目标候选框中筛选出最优候选框，并采用外侧平均法对最优候选框中的最高得分框进行定位调整，获得调整后的车牌定位框，鼓励目标候选框往偏大的方向发展，相对于传统的NMS算法对候选框的大小无偏倚的现象，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
附图说明
图1是本发明第一实施例的车牌检测识别方法的流程示意图；
图2是本发明第一实施例中步骤S104的流程示意图；
图3是本发明实施例中最优候选框的分布示意图；
图4是本发明第二实施例的车牌检测识别方法的流程示意图；
图5是本发明第三实施例的车牌检测识别方法的流程示意图；
图6是本发明实施例的车牌检测识别装置的结构示意图；
图7是本发明实施例的计算机设备的结构示意图；
图8是本发明实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S101：获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框。
在步骤S101中，输出的目标候选框包括坐标位置信息和可能包含车牌区域的概率。
进一步地，深度学习卷积神经网络模型包括：Faster RCNN模型、YOLO模型，其中，YOLO模型采用单个卷积神经网络来预测多个边界框和类别概率。在一实施例中，YOLO模型的结构包括24个用于提取特征的卷积层和2个用于预测输出概率和坐标的全连接层，另一实施例中，为了提高检测速度，在卷积层中使用较少的滤波器，YOLO模型的结构包括9个卷积层和2个全连接层。对于卷积层主要采用1*1的卷积核进行降维，后面紧跟3*3的卷积核。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x,0.1x)，但是最后一层却采用线性激活函数。
Faster RCNN模型使用RPN(Region Proposal Network)网络取代了选择性搜索(Selective Search)，不仅速度得到了大大提高，而且还获得了更加精确的结果。FasterRCNN模型的结构由两大模块组成：PRN候选框提取模块以及Fast RCNN检测模块。其中，RPN网络是全卷积神经网络，用于提取候选框；Fast RCNN基于RPN网络提取的proposal检测并识别proposal中的目标。
相对于Faster RCNN模型，YOLO模型处理图像简单直接。YOLO模型采用一个卷积神经网络来实现检测，是单管道策略，其训练与预测都是端到端，所以YOLO模型比较简洁且速度快。由于YOLO模型是对整张图片做卷积，所以其在检测目标有更大的视野，不容易对背景误判。
步骤S102：采用改进的NMS算法从目标候选框中剔除重复多余的目标候选框并筛选出最优候选框。
在步骤S102中，目标候选框存在重复的情况，本实施例利用改进的NMS算法能够去除重复的目标候选框。传统的NMS算法直接获取得分最高的目标候选框的位置信息，并不会利用其它满足预设NMS阈值条件的其余的最优候选框的位置信息。
步骤S103：根据最优候选框可能包含车牌区域的概率进行评分并从最优候选框中选出最高得分框。
在步骤S103中，最高得分框一般为上述排序结果中确定的得分最高的目标候选框。
步骤S104：根据最高得分框的位置以及其余最优候选框的位置采用外侧平均法对最高得分框进行定位调整，获得调整后的车牌定位框。
在步骤S104中，车牌定位框包含有车牌区域，进一步地，请参见图2，还包括以下步骤：
S1041：获取位于最高得分框的每个框边的外围的最优候选框。
在步骤S1041中，请参见图3，假设A1为最高得分框，满足预设NMS阈值条件的其余的最优候选框为A2、A3，则位于最高得分框的左框边的外围的最优候选框有A3，位于最高得分框的顶框边的外围的最优候选框有A2、A3，位于最高得分框的顶框边的外围的最优候选框为零，位于最高得分框的右框边的外围的最优候选框有A2。
S1042：依次计算最高得分框的每个框边位置与位于外围的最优候选框的框边位置的平均位置。
在步骤S1042中，确定最高得分框的每个框边的首端和末端的坐标以及对应的外围的最优候选框的框边的首端和末端的坐标，每个框边首端的平均位置则为最高得分框的每个框边的首端坐标与对应的外围的最优候选框的框边的首端的坐标的平均值，每个框边末端的平均位置则为最高得分框的每个框边的末端坐标与对应的外围的最优候选框的框边的末端的坐标的平均值。以最高得分框的一个框边的外侧只有一个外围的最优候选框为例进行说明，最高得分框的一个框边的首端坐标为(x1,y1)，末端坐标为(x2,y2)，位于该框边外围的最优候选框的框边的首端坐标为(x3,y3)，末端坐标为(x4,y4)，则两个框边的首端的平均位置为末端的平均位置为/>
S1043：根据各个平均位置调整最高得分框的每个框边位置，获得车牌定位框并输出。
在步骤S1043中，以图3为例进行说明，最高得分框为A1，满足预设NMS阈值条件的目标候选框为A2、A3。
A1的左框边：外侧只有A3，则车牌定位框左框边位置为A1和A3的左框边的平均位置；A1的顶框边：外侧有A2、A3，则车牌定位框顶框边位置为A1、A2和A3的顶框边的平均位置；A1的底框边：外侧没有其他候选框，则车牌定位框底框边位置为A1的底框边的位置；A1的右框边：外侧只有A2，则车牌定位框右框边位置为A1和A2的右框边的平均位置。
本发明第一实施例的车牌检测识别方法通过改进的NMS算法从目标候选框中筛选出最优候选框，并采用外侧平均法对最优候选框中的最高得分框进行定位调整，获得调整后的车牌定位框，鼓励目标候选框往偏大的方向发展，相对于传统的NMS算法对候选框的大小无偏倚的现象，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
图4是本发明第二实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。如图4所示，该方法包括步骤：
步骤S401：获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框。
在本实施例中，图4中的步骤S401和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S402：构造一个存放目标候选框的第一集合以及一个存放最优候选框的第二集合，第一集合初始化为全部的目标候选框，第二集合初始化为空集。
步骤S403：根据目标候选框可能包含车牌区域的概率获取第一集合中所有目标候选框的得分并将目标候选框按照得分进行排序。
在步骤S403中，可能包含车牌区域的概率越大，对应的目标候选框的得分越高，本实施例的排序可以为降序或升序排列。
步骤S404：从排序结果中选出得分最高的目标候选框并将得分最高的目标候选框从第一集合移至第二集合中。
在步骤S404中，从排序结果中选出得分最高的目标候选框后将该目标候选框从第一集合中移除并添加进第二集合中，本实施例的第二集合并非为传统的NMS算法中的直接输出结果，在后续步骤中需对第二集合作进一步处理。
步骤S405：遍历第一集合中的所有目标候选框，分别计算每个目标候选框与得分最高的目标候选框之间的重合度。
在步骤S405中，首先计算每个目标候选框与得分最高的目标候选框的交集的面积以及并集的面积；然后根据同一个目标候选框的交集的面积与并集的面积计算重合度。其中，重合度为目标候选框与得分最高的目标候选框之间的交集与并集的比率，即其中，IoU表示重合度，P表示目标候选框，T表示得分最高的目标候选框。其中，交集为目标候选框与得分最高的目标候选框的重叠区域的面积，并集为目标候选框的面积与得分最高的目标候选框的面积作和之后再与重叠区域的面积作差。
步骤S406：将重合度与预设NMS阈值进行比较，根据比较结果筛选出最优候选框并将最优候选框添加到第二集合中。
在步骤S406中，当重合度大于或等于预设NMS阈值时，将该目标候选框确定为最优候选框，从第一集合中删除最优候选框并将最优候选框添加到第二集合中，然后执行步骤S407；当重合度小于预设NMS阈值时，保留目标候选框，等待下一次处理。
步骤S407：根据最优候选框可能包含车牌区域的概率进行评分并从最优候选框中选出最高得分框。
在本实施例中，图4中的步骤S407和图1中的步骤S103类似，为简约起见，在此不再赘述。
步骤S408：根据最高得分框的位置以及其余最优候选框的位置采用外侧平均法对最高得分框进行定位调整，获得调整后的车牌定位框。
在本实施例中，图4中的步骤S408和图1中的步骤S104类似，为简约起见，在此不再赘述。
步骤S409：清空第二集合并对第一集合中保留的目标候选框重复执行S404至S408，直至第一集合为空集。
在步骤S409中，重复执行步骤S404时，得分最高的目标候选框从步骤S406中保留的目标候选框中重新选出，即从重合度小于预设NMS阈值的目标候选框中重新选出得分最高的目标候选框，然后执行步骤S404。
本发明第二实施例的车牌检测识别方法通过改进的NMS算法从目标候选框中筛选出最优候选框，并采用外侧平均法对最优候选框中的最高得分框进行定位调整，获得调整后的车牌定位框，鼓励目标候选框往偏大的方向发展，最大程度保留车牌区域的字符信息，相对于传统的NMS算法对候选框的大小无偏倚的现象，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
图5是本发明第三实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：
步骤S501：构建深度学习卷积神经网络模型，深度学习卷积神经网络模型包括：Faster RCNN模型、YOLO模型。
在步骤S501中，Faster RCNN模型、YOLO模型已在图1中的步骤S101中进行说明，在此不再一一赘述。
步骤S502：对深度学习卷积神经网络模型进行训练。
步骤S503：获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框。
在本实施例中，图5中的步骤S503和图1中的步骤S101类似，为简约起见，在此不再赘述。
在其他优选地实施方式中，在步骤S503之前，还包括以下步骤：采用图像识别方法对待检测图片进行识别，定位待检测图片中的车辆区域；将车辆区域输入预训练的深度学习卷积神经网络中，对车辆区域进行特征提取和计算，生成一系列候选框以及候选框可能含有车牌区域的概率；将概率与预设概率阈值进行比对，当概率大于或等于预设概率阈值时，将候选框确定为目标候选框并保留，当概率小于预设概率阈值时，删除候选框。上述步骤将后续的检测区域定位于车辆区域，缩小了检测范围，进一步提高了车牌检测识别的计算效率和准确率，将可能含有车牌区域的概率较大的候选框筛选出来并保留，更进一步地提高了车牌检测识别的准确率。
步骤S504：采用改进的NMS算法从目标候选框中剔除重复多余的目标候选框并筛选出最优候选框。
在本实施例中，图5中的步骤S504和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S505：根据最优候选框可能包含车牌区域的概率进行评分并从最优候选框中选出最高得分框。
在本实施例中，图5中的步骤S505和图1中的步骤S103类似，为简约起见，在此不再赘述。
步骤S506：根据最高得分框的位置以及其余最优候选框的位置采用外侧平均法对最高得分框进行定位调整，获得调整后的车牌定位框。
在本实施例中，图5中的步骤S506和图1中的步骤S104类似，为简约起见，在此不再赘述。
在其他优选地实施方式中，在上述步骤S506之后，还包括对车牌定位框中的车牌区域进行灰度化、二值化、取轮廓、找外接矩形和截取图块处理，实现字符分割，获得单独的字体块，将字体块输入训练好的ANN(Artificial neural networks)神经网络进行字符识别，实现车牌的精确识别。
本发明第三实施例的车牌检测识别方法在第一实施例的基础上，通过预先训练深度学习卷积神经网络模型，能够进一步提高车牌检测识别准确率。
图6是本发明实施例的车牌检测识别装置的结构示意图。如图6所示，该装置60包括获取模块61、第一筛选模块62、第二筛选模块63以及定位调整模块64。
获取模块61，用于获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框。
第一筛选模块62，用于采用改进的NMS算法从目标候选框中剔除重复多余的目标候选框并筛选出最优候选框。
第二筛选模块63，用于根据最优候选框可能包含车牌区域的概率进行评分并从最优候选框中选出最高得分框。
定位调整模块64，用于根据最高得分框的位置以及其余最优候选框的位置采用外侧平均法对最高得分框进行定位调整，获得调整后的车牌定位框。
请参阅图7，图7为本发明实施例的计算机设备的结构示意图。如图7所示，该计算机设备70包括处理器71及和处理器71耦接的存储器72。
存储器72存储有用于实现上述任一实施例所述的车牌检测识别方法的程序指令。
处理器71用于执行存储器72存储的程序指令以检测识别车牌。
其中，处理器71还可以称为CPU(Central Processing Unit，中央处理单元)。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8，图8为本发明实施例的计算机可读存储介质的结构示意图。本发明实施例的计算机可读存储介质存储有能够实现上述所有方法的程序文件81，其中，该程序文件81可以以软件产品的形式存储在上述计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种车牌检测识别方法，其特征在于，包括：
获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框；
采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框；
根据所述最优候选框可能包含所述车牌区域的概率进行评分并从所述最优候选框中选出最高得分框；
根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框；
所述采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框的步骤还包括：
S1：构造一个存放所述目标候选框的第一集合以及一个存放所述最优候选框的第二集合，所述第一集合初始化为全部的所述目标候选框，所述第二集合初始化为空集；
S2：根据所述目标候选框可能包含所述车牌区域的概率获取所述第一集合中所有所述目标候选框的得分并将所述目标候选框按照得分进行排序；
S3：从排序结果中选出得分最高的目标候选框并将得分最高的目标候选框从所述第一集合移至所述第二集合中；
S4：遍历所述第一集合中的所有所述目标候选框，分别计算每个所述目标候选框与得分最高的目标候选框之间的重合度；
S5：将所述重合度与预设NMS阈值进行比较，根据比较结果筛选出所述最优候选框并将所述最优候选框添加到所述第二集合中。
2.根据权利要求1所述的方法，其特征在于，所述分别计算每个所述目标候选框与得分最高的目标候选框之间的重合度的步骤包括：
计算每个所述目标候选框与得分最高的目标候选框的交集的面积以及并集的面积；
根据同一个所述目标候选框的所述交集的面积与所述并集的面积计算所述重合度。
3.根据权利要求1所述的方法，其特征在于，所述将所述重合度与预设NMS阈值进行比较，根据比较结果筛选出所述最优候选框并将所述最优候选框添加到所述第二集合中的步骤包括：
当所述重合度大于或等于所述预设NMS阈值时，将所述目标候选框确定为最优候选框，从所述第一集合中删除所述最优候选框并将所述最优候选框添加到所述第二集合中；
当所述重合度小于所述预设NMS阈值时，保留所述目标候选框。
4.根据权利要求3所述的方法，其特征在于，所述根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框的步骤之后，还包括：
清空所述第二集合并对所述第一集合中保留的所述目标候选框重复执行S3至S5，直至所述第一集合为空集。
5.根据权利要求1所述的方法，其特征在于，所述根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框的步骤包括：
获取位于所述最高得分框的每个框边的外围的最优候选框；
依次计算所述最高得分框的每个框边位置与位于外围的最优候选框的框边位置的平均位置；
根据各个平均位置调整所述最高得分框的每个框边位置，获得车牌定位框并输出。
6.根据权利要求1所述的方法，其特征在于，在所述获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框的步骤之前，还包括：
构建所述深度学习卷积神经网络模型，所述深度学习卷积神经网络模型包括：FasterRCNN模型、YOLO模型；
对所述深度学习卷积神经网络模型进行训练。
7.一种车牌检测识别装置，其特征在于，包括：
获取模块，用于获取预训练的深度学习卷积神经网络模型输出的多个包含车牌区域的目标候选框；
第一筛选模块，用于采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框；
第二筛选模块，用于根据所述最优候选框可能包含所述车牌区域的概率进行评分并从所述最优候选框中选出最高得分框；
定位调整模块，用于根据所述最高得分框的位置以及其余所述最优候选框的位置采用外侧平均法对所述最高得分框进行定位调整，获得调整后的车牌定位框；
所述采用改进的NMS算法从所述目标候选框中剔除重复多余的目标候选框并筛选出最优候选框的步骤还包括：
S1：构造一个存放所述目标候选框的第一集合以及一个存放所述最优候选框的第二集合，所述第一集合初始化为全部的所述目标候选框，所述第二集合初始化为空集；
S2：根据所述目标候选框可能包含所述车牌区域的概率获取所述第一集合中所有所述目标候选框的得分并将所述目标候选框按照得分进行排序；
S3：从排序结果中选出得分最高的目标候选框并将得分最高的目标候选框从所述第一集合移至所述第二集合中；
S4：遍历所述第一集合中的所有所述目标候选框，分别计算每个所述目标候选框与得分最高的目标候选框之间的重合度；
S5：将所述重合度与预设NMS阈值进行比较，根据比较结果筛选出所述最优候选框并将所述最优候选框添加到所述第二集合中。
8.一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的车牌检测识别方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的车牌检测识别方法的程序文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011508965.3A CN112464938B (zh) | 2020-12-18 | 2020-12-18 | 车牌检测识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011508965.3A CN112464938B (zh) | 2020-12-18 | 2020-12-18 | 车牌检测识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464938A CN112464938A (zh) | 2021-03-09 |
| CN112464938B true CN112464938B (zh) | 2024-04-12 |
Family
ID=74803597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011508965.3A Active CN112464938B (zh) | 2020-12-18 | 2020-12-18 | 车牌检测识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464938B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255632B (zh) * | 2021-07-16 | 2023-01-03 | 深圳市赛菲姆科技有限公司 | 基于车牌识别的摄像头参数调整方法、装置、设备和介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| CN109344825A (zh) * | 2018-09-14 | 2019-02-15 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的车牌识别方法 |
| CN109508715A (zh) * | 2018-10-30 | 2019-03-22 | 南昌大学 | 一种基于深度学习的车牌定位和识别方法 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
| CN110263809A (zh) * | 2019-05-16 | 2019-09-20 | 华南理工大学 | 池化特征图处理方法、目标检测方法、系统、装置和介质 |
| CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
| CN110852258A (zh) * | 2019-11-08 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 物体检测方法、装置、设备及存储介质 |
| KR20200039043A (ko) * | 2018-09-28 | 2020-04-16 | 한국전자통신연구원 | 객체 인식 장치 및 그 동작 방법 |
| CN111160353A (zh) * | 2019-12-27 | 2020-05-15 | 广州亚信技术有限公司 | 车牌识别方法、装置及设备 |
| WO2020134528A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳云天励飞技术有限公司 | 目标检测方法及相关产品 |
| CN111563515A (zh) * | 2020-05-18 | 2020-08-21 | 哈尔滨理工大学 | 一种基于改进的Faster-RCNN的车牌识别方法 |
| CN111814786A (zh) * | 2020-06-15 | 2020-10-23 | 开易（北京）科技有限公司 | 一种结合车牌轮廓nms精修算法的车牌识别方法及装置 |
-
2020
- 2020-12-18 CN CN202011508965.3A patent/CN112464938B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| CN109344825A (zh) * | 2018-09-14 | 2019-02-15 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的车牌识别方法 |
| KR20200039043A (ko) * | 2018-09-28 | 2020-04-16 | 한국전자통신연구원 | 객체 인식 장치 및 그 동작 방법 |
| CN109508715A (zh) * | 2018-10-30 | 2019-03-22 | 南昌大学 | 一种基于深度学习的车牌定位和识别方法 |
| WO2020134528A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳云天励飞技术有限公司 | 目标检测方法及相关产品 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
| CN110263809A (zh) * | 2019-05-16 | 2019-09-20 | 华南理工大学 | 池化特征图处理方法、目标检测方法、系统、装置和介质 |
| CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
| CN110852258A (zh) * | 2019-11-08 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 物体检测方法、装置、设备及存储介质 |
| CN111160353A (zh) * | 2019-12-27 | 2020-05-15 | 广州亚信技术有限公司 | 车牌识别方法、装置及设备 |
| CN111563515A (zh) * | 2020-05-18 | 2020-08-21 | 哈尔滨理工大学 | 一种基于改进的Faster-RCNN的车牌识别方法 |
| CN111814786A (zh) * | 2020-06-15 | 2020-10-23 | 开易（北京）科技有限公司 | 一种结合车牌轮廓nms精修算法的车牌识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Vehicle Re-identification for A Parking Lot Toll System using Convolutional Neural Networks;Verikas, A;ELEVENTH INTERNATIONAL CONFERENCE ON MACHINE VISION (ICMV 2018)(第1期);1-3 * |
| 基于主成分分析网络的车牌检测方法;钟菲;杨斌;;计算机科学(第03期);22-25 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464938A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977943B (zh) | 一种基于yolo的图像目标识别方法、系统和存储介质 | |
| CN109657629B (zh) | 一种文本行提取方法及装置 | |
| CN108960266B (zh) | 图像目标检测方法及装置 | |
| CN106446896B (zh) | 一种字符分割方法、装置及电子设备 | |
| CN110378297B (zh) | 基于深度学习的遥感图像目标检测方法、装置、及存储介质 | |
| WO2020151166A1 (zh) | 多目标跟踪方法、装置、计算机装置及可读存储介质 | |
| CN106156766B (zh) | 文本行分类器的生成方法及装置 | |
| CN110647829A (zh) | 一种票据的文本识别方法及系统 | |
| WO2022134996A1 (en) | Lane line detection method based on deep learning, and apparatus | |
| CN110717366A (zh) | 文本信息的识别方法、装置、设备及存储介质 | |
| EP3203417A2 (en) | Method for detecting texts included in an image and apparatus using the same | |
| CN113158808A (zh) | 中文古籍字符识别、组段与版面重建方法、介质和设备 | |
| CN110428357A (zh) | 图像中水印的检测方法、装置、电子设备及存储介质 | |
| CN116403094B (zh) | 一种嵌入式图像识别方法及系统 | |
| CN112036395A (zh) | 基于目标检测的文本分类识别方法及装置 | |
| CN110738238B (zh) | 一种证件信息的分类定位方法及装置 | |
| CN111444976A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN110555439A (zh) | 标识识别方法及其模型的训练方法、装置和电子系统 | |
| CN112560856B (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
| CN111461145A (zh) | 一种基于卷积神经网络进行目标检测的方法 | |
| CN113221956A (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN112464938B (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
| CN113610770A (zh) | 一种车牌识别方法和装置及设备 | |
| CN112580624A (zh) | 基于边界预测的多方向文本区域检测方法和装置 | |
| CN110472640B (zh) | 一种目标检测模型预测框处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |