CN111191653A - 车牌识别方法、装置、计算机设备及存储介质 - Google Patents
车牌识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111191653A CN111191653A CN201911358435.2A CN201911358435A CN111191653A CN 111191653 A CN111191653 A CN 111191653A CN 201911358435 A CN201911358435 A CN 201911358435A CN 111191653 A CN111191653 A CN 111191653A
- Authority
- CN
- China
- Prior art keywords
- license plate
- vehicle
- image
- character
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 229910052704 radon Inorganic materials 0.000 description 6
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Abstract
本发明公开了一种车牌识别方法、装置、计算机设备及存储介质，涉及视频监控技术领域，用于提高车牌识别的准确度。本发明的主要技术方案为：获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；通过所述车牌图像识别所述待识别车辆的车牌号码。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种车牌识别方法、装置、计算机设备及存储介质。
背景技术
牌照识别系统简称LPR(License Plate Recognition)，是智能交通系统的基础和核心技术之一，在交通管理自动化和智能化中占据重要地位，已经广泛应用于交通流量检测、小区车辆管理、街道违停监控、高速公路收费等等方面。它改变了传统的交通管理体系，大大降低了人力成本，提高了工作效率，更科学高效地完善了交通管理系统，还具有潜在的技术应用前景。通过对车辆车牌进行识别，自动对车辆监控，极大减轻交通管理的负担。
车辆自动识别是指利用车牌的特征从具有复杂背景的车辆图像中提取出车牌区域，然后基于提取出的车牌区域识别出车牌号码。但是，传统的基于边缘的算法从复杂背景的车辆图像中提取出车牌区域并不能处理好背景复杂、车辆颜色和车牌颜色相近、灯光灰暗、对比度低等情况。因此，现有车牌号码识别的准确率较低。
发明内容
本发明提供一种车牌识别方法、装置、计算机设备及存储介质，用于提高停车产品抓拍精度。
本发明实施例提供一种车牌识别方法，所述方法包括：
获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
通过所述车牌图像识别所述待识别车辆的车牌号码。
本发明实施例提供一种车牌识别装置，所述装置包括：
获取模块，用于获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
关键点确定模块，用于将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
确定模块，用于根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
识别模块，用于通过所述车牌图像识别所述待识别车辆的车牌号码。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车牌识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车牌识别方法。
本发明提供的一种车牌识别方法、装置、计算机设备及存储介质，首先获取摄像设备拍摄的车辆图片信息；然后将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，并根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；最后通过所述车牌图像识别所述待识别车辆的车牌号码。与目前基于边缘的算法从车辆图像中提取出车牌区域，然后基于提取出的车牌区域识别出车牌号码相比，本发明通过车牌关键点检测模型确定车辆图片信息中的车牌区域，由于车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的，因此通过车牌关键点检测模型可准确的确定出车牌所在区域，从而本发明通过确定出的车牌区域可提高车牌号码的识别准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中车牌识别方法的一应用环境示意图；
图2是本发明一实施例中车牌识别方法的一流程图；
图3是本发明一实施例中车牌关键点预测网络结构示意图；
图4是本发明一实施例中车牌关键点确定示意图；
图5是本发明一实施例中车牌识别方法的另一流程图；
图6是本发明一实施例中投影变换示意图的结果示意图；
图7是本发明一实施例中车牌图像进行第一次校正的示意图；
图8是本发明一实施例中车牌图像进行第二次校正的示意图；
图9是本发明一实施例中车牌图像中字符关键点的示意图；
图10是本发明一实施例中车牌图像中字符分割示意图；
图11是本发明一实施例中车牌识别装置的一原理框图；
图12是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的车牌识别方法，可应用在如图1的应用环境中，其中，摄像设备通过网络与服务器进行通信。服务器获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；通过所述车牌图像识别所述待识别车辆的车牌号码。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种车牌识别方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S101，获取摄像设备拍摄的车辆图片信息。
其中，所述车辆图片信息中包含待识别车辆的车牌图像，车牌图像即拍摄车辆图片信息中的车牌区域，该车牌区域包含车辆的车牌号码，通过该车牌区域可识别出车辆的车牌号码。需要说明的是，本发明实施例可以通过监控区域设置的摄像设备拍摄在监控区域停留的车辆，使得服务器及时的获取拍摄的车辆图片信息，并依据车辆图片信息确定停留车辆的车牌号码。
S102，将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点。
其中，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的。需要说明是，车牌的车牌内角所在位置的车牌关键点具体可以为车牌的右下角、车牌的右上角、车牌的左下角和车牌的左上角，车牌关键点具体可以通过两个维度的数值进行表示，即可通过横坐标值和纵坐标值来表示车牌关键点。在本发明实施例中，将车辆图片信息输入到车牌关键点检测模型后，由于车牌关键点检测模型是根据大量的不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的，因此通过该模型可得到车辆图片信息中关于车牌的三个车牌内角或四个车牌内角所在位置的车牌。
具体的，本发明实施例训练车牌关键点检测模型的过程为：首先获取不同环境下的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点，所述车辆图片样本信息中包含车辆的车牌图像；然后通过卷积神经网络对车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点进行训练，得到所述车牌关键点检测模型。
在本发明实施例中，获取不同环境下的车辆图像样本可以通过摄像设备采集一个周期内每天不同时间段的车辆图片信息来确定，该周期可以是半个月、一个星期、五个工作日等，也可以根据实际需要进行设置。由于是采集一天不同时间段的车辆图像，所获取的车辆图片信息会包含不同光照强度的情况，且在摄像设备采集过程中，被采集的车辆是运动变化的，例如前进、左拐、右拐等，因此所采集到的车辆图片信息会包含不同的倾斜角度。在获取到不同环境下的车辆图像样本之后，可对车辆图像样本进行处理，例如对该车辆的图像的光照强度进行调整，对该车辆的图像进行拉伸、缩放、旋转，进而能够得到一组图像，该组图像中就包括对应不同光照强度的车辆照片以及包括对应不同倾斜角度的照片。
需要说明的是，本发明实施例中的卷积神经网络包括了卷积层、池化(pooling)层、归一化层以及全连接层，对于最后损失函数层的修改，将softmax层改成差值的平方和，即通过下述方式进行表示：
其中，xi表示预测向量的第i维，yi表示标注向量的第i维，和softmax类似，当xi和yi越接近时损失函数J的值就越小。在关键点问题中，yi意味着车牌关键点的坐标值，xi意味着对应坐标值的预测值。在车牌关键点回归训练过程中，由于车牌关键点一般有多个点，当梯度下降之后，会有多份loss损失反向传递给前几层网络，所以如果分类卷积网络的基础上不对学习率进行修改，则容易造成训练发散不收敛，神经网络中权值越更新越大的问题。所以通常在车牌关键点检测中需要根据关键点的数目相应减小学习率。
车牌关键点预测网络分为特征提取和预测两部分，网络结构如图3所示。将通过候选区域提醒(Region ProposalNetwork，RPN)网络得到的region proposal经过ROI Align转换为大小相同的特征映射。对特征映射进行线性变化得到对图片中相应部分的特征提取。为了防止参数出现过拟合，将特征图经过线性变换之后输入到Group Norm层进行归一化处理。最后将提取出的特征经线性变换，得到对车牌关键点的预测。
S103，根据车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像。
对于本发明实施例，则通过车牌关键点检测模型得到车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点之后，如图4所示，对确定的各车牌关键点之间进行直线连接，得到确定车牌区域所在的四边形，该确定的四边形即为待识别车辆的车牌图像。需要说明的是，对于通过车牌关键点检测模型确定出三个车牌关键点，可依据车牌本身的特性，在车辆图片信息中确定出另一个车牌关键点的所在位置，然后依据四个车牌关键点在车牌图片信息中确定待识别车辆的车牌图像。
S104，通过所述车牌图像识别所述待识别车辆的车牌号码。
具体的，本发明实施例可以通过图像识别技术从车牌图像中识别出待识别车辆的车牌号码，或是经过训练的车牌号码识别模型识别车牌图像中的车牌号码，本发明时实施例不做具体限定。
本发明提供的一种车牌识别方法，首先获取摄像设备拍摄的车辆图片信息；然后将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，并根据所述车牌关键点从所述图片信息中确定待识别车辆的车牌图像；最后通过所述车牌图像识别所述待识别车辆的车牌号码。与目前基于边缘的算法从车辆图像中提取出车牌区域，然后基于提取出的车牌区域识别出车牌号码相比，本发明通过车牌关键点检测模型确定车辆图片信息中的车牌区域，由于车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的，因此通过车牌关键点检测模型可准确的确定出车牌所在区域，从而本发明通过确定出的车牌区域可提高车牌号码的识别准确率。
在本发明提供的一实施例中，如图5所示，提供一种车牌识别方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201，获取摄像设备拍摄的车辆图片信息。
其中。所述车辆图片信息中包含待识别车辆的车牌图像。
S202，将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点。
其中，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的。
S203，根据车牌关键点从所述图片信息中确定待识别车辆的车牌图像。
需要说明的是，本发明实施例中的步骤S201至步骤S203与图2中相应步骤的内容相同，在此不再赘述。
S204，确定所述待识别车辆的车牌图像是否为正视角的图像。
在获取车辆图片信息的过程中，由于许多因素，例如车牌悬架的角度和位置、车辆的轨迹或摄像机的倾斜，所得到的图像可能会倾斜。所以需要对车牌图像进行倾斜度校正，获取进行角度校正后的矩形车牌图像。
在本发明实施例中，采用基于Radon变换的方法确定待识别车辆的车牌图像是否为正视角的图像，搜索车牌图像四边形的直线段及其倾斜角度。其中，Randon变换的基本思想是点-线的对偶性。图像变换前在图像空间，变换后在参数空间。具体步骤如下：
对拟合后的图像进行二值化，然后对二值图像边缘化后进行Radon变换，接着计算出Radon变换矩阵中的峰值。Radon变换后，原图像中的直线段对应Radon空间中的点，且线段越长，对应的点亮度越大。所以在Radon空间中找峰值点(ρ，θ)，θ即为对应原图像中的直线段的倾斜角度，通过该倾斜角度可确定车牌图像是否为正视角的图像。
S205，若否，则将所述待识别车辆的车牌图像转换成正视角的车牌图像。
需要说明的是，将待识别车辆的车牌图像转换成正视角的车牌图像，是为了后续步骤中准确的对车牌图像中的字符进行分割，从而提高车牌号码的识别准确性。具体的，本发明可通过投影变换将车牌图像转换成正视角的车牌图像，投影变换是透视变换的一种特殊情况，共面点的透视变换即投影变换或共面点成像，用过单应矩阵(Homography matrix)实现的线性变换，将一组共面点从一个平面变换到另一个平面上去，直线之间的平行关系和比例保持不变，角度可通过变换矩阵调整。
如图6所示，在本发明实施中，对车牌信息的四个顶点做投影变换，即将摄像设备直接拍摄的车牌信息进行调整，使得车牌信息调整到正视角，即如图6中摄像设备拍摄的不是正视角的四个顶点做投影变换，使得车牌信息的4个顶点是一个平面的矩形，以便于在后续步骤中根据该正视角的车牌图像，识别待识别车辆的车牌号码。
在本发明提供的另一个实施例中，还可通过下述方法将识别车辆的车牌图像转换成正视角的车牌图像，具体过程为：
首先，把表示车牌区域的四边型的一边规划到与y轴平行，如图7所示。不失一般性，假设旋转中心为(x0，y0)，旋转角度为α，把原图中任一点(x，y)转换到点(xk，yk)，可用下式描述：
其中，顺时针时，α取负值，逆时针时取正值。
然后，再对变换后的新图像操作。根据车牌水平边的斜率对像素位置进行调整，取平行四边形的最低点为基准像素点，以之作一基准水平线，底边上各像素点垂直下沉到基准直线上，图像上其它元素再依次下移，如图8所示。
设最低点A的坐标为(x1，y1)，斜边与基准直线的夹角为β，车牌中的任一像素点(x，y)，校正得到新点的坐标为(x′，y′)，其关系可用下式表示：
这样，经过两次校正，倾斜的车牌图像就转换到正常的位置。
S206，将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点。
其中，所述字符关键点检测模型是根据车牌图像样本及其车牌图像样本中各个字符的关键点训练得到的，通过将车牌图像输入到字符关键点检测模型，可得到车牌图像中各个字符的关键点，该字符的关键点用于主要确定字符的位置，通过字符的关键点可准确的对车牌图像中的字符进行分割。其中，所述字符的关键点至少包括三个：字符左上角关键点，字符中心关键点和字符右下角关键点，例如在将车牌图像输入到字符关键点检测模型后，可得到图9中所示的字符关键点，图中包含7个字符，每个字符分别对应三个字符关键点，分别为字符左上角关键点，字符中心关键点和字符右下角关键点。
在本发明提供的另一个实施例中，在将所述车牌图像输入到字符关键点检测模型之前，所述方法还包括：将所述车牌图像转化成预置尺寸的图像，所述预置尺寸为所述车牌图像样本的尺寸；所述将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，包括：将转换尺寸的车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点。其中，预置尺寸可根据实际情况进行设定，设置成能够清楚地展示出车牌图像中的内容即可，在本发明实施例中将车牌图像转换成预置尺寸，可方便确定出车牌图像中各个字符的关键点，从而可准确的对车牌图像中的字符进行分割。
S207，通过每个字符的关键点对所述车牌图像进行分割得到字符图像，每个字符图像中包含一个车牌字符。
如图10所示，通过每个字符的关键点对车牌图像进行分割，可得到图10中7个字符图像，每个图像字符图像中包含一个车牌字符，对每个字符图像进行识别从而可确定出待识别车辆的车牌号码。
S208，依据从左到右依次分割得到的字符图像进行图像识别，并将得到的识别结果作为所述待识别车辆的车牌号码。
例如，如图10中所示的内容，对车牌图像进行分割得到7个字符图像，然后识别各个字符图像的字符，并将识别的内容按照字符图像从左到右的顺序组成识别结果，即得到识别结果“苏EB06E6”，该识别结果即为待识别车辆的车牌号码。
本发明实施例提供的一种车牌识别方法，将车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，并根据车牌关键点从所述图片信息中确定待识别车辆的车牌图像，然后将车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，通过每个字符的关键点对所述车牌图像进行分割得到字符图像，每个字符图像中包含一个车牌字符，依据从左到右依次分割得到的字符图像进行图像识别，并将得到的识别结果作为所述待识别车辆的车牌号码。由于车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的，因此通过车牌关键点检测模型可准确的确定出车牌所在区域，并在准确定的确定出车牌图像后，通过字符关键点检测模型对车牌图像中的字符进行分割，并依据分割结果进行字符识别得到待识别车辆的车牌号码，从而提高了车牌号码的识别准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种车牌识别装置，该车牌识别装置与上述实施例中车牌识别方法一一对应。如图11所示，该车牌识别装置包括获取模块10、关键点确定模块20、确定模块30、识别模块40。各功能模块详细说明如下：
获取模块10，用于获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
关键点确定模块20，用于将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
确定模块30，用于根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
识别模块40，用于通过所述车牌图像识别所述待识别车辆的车牌号码。
进一步的，所述装置还包括：
所述获取模块10，还用于获取不同环境下的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点，所述车辆图片样本信息中包含车辆的车牌图像；
训练模块50，用于通过卷积神经网络对车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点进行训练，得到所述车牌关键点检测模型。
进一步的，所述装置还包括：
所述确定模块30，还用于确定所述待识别车辆的车牌图像是否为正视角的图像；
转换模块60，用于若所述待识别车辆的车牌图像不是正视角的图像，则将所述待识别车辆的车牌图像转换成正视角的车牌图像；
所述识别模块40，具体用于通过所述正视角的车牌图像识别所述待识别车辆的车牌号码。
进一步的，所述装置还包括：
所述关键点确定模块20，还用于将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，所述字符关键点检测模型是根据车牌图像样本及其车牌图像样本中各个字符的关键点训练得到的；
分割模块70，用于通过每个字符的关键点对所述车牌图像进行分割得到字符图像，每个字符图像中包含一个车牌字符；
所述识别模块40，具体用于依据从左到右依次分割得到的字符图像进行图像识别，并将得到的识别结果作为所述待识别车辆的车牌号码。
所述转换模块60，还用于将所述车牌图像转化成预置尺寸的图像，所述预置尺寸为所述车牌图像样本的尺寸；
所述关键点确定模块20，具体用于将转换尺寸的车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点。
具体的，所述字符的关键点至少包括三个：字符左上角关键点，字符中心关键点和字符右下角关键点。
关于车牌识别装置的具体限定可以参见上文中对于车牌识别方法的限定，在此不再赘述。上述车牌识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车牌识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
通过所述车牌图像识别所述待识别车辆的车牌号码。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
通过所述车牌图像识别所述待识别车辆的车牌号码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (14)
1.一种车牌识别方法，其特征在于，应用于服务器，所述方法包括：
获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
通过所述车牌图像识别所述待识别车辆的车牌号码。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取不同环境下的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点，所述车辆图片样本信息中包含车辆的车牌图像；
通过卷积神经网络对车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点进行训练，得到所述车牌关键点检测模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像之后，所述方法还包括：
确定所述待识别车辆的车牌图像是否为正视角的图像；
若否，则将所述待识别车辆的车牌图像转换成正视角的车牌图像；
所述通过所述车牌图像识别所述待识别车辆的车牌号码包括：
通过所述正视角的车牌图像识别所述待识别车辆的车牌号码。
4.根据权利要求1或3所述的方法，其特征在于，通过所述车牌图像识别所述待识别车辆的车牌号码之后，所述方法还包括：
将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，所述字符关键点检测模型是根据车牌图像样本及其车牌图像样本中各个字符的关键点训练得到的；
通过每个字符的关键点对所述车牌图像进行分割得到字符图像，每个字符图像中包含一个车牌字符；
所述通过所述车牌图像识别所述待识别车辆的车牌号码包括：
依据从左到右依次分割得到的字符图像进行图像识别，并将得到的识别结果作为所述待识别车辆的车牌号码。
5.根据权利要求4所述的方法，其特征在于，所述车牌图像输入到字符关键点检测模型之前，所述方法还包括：
将所述车牌图像转化成预置尺寸的图像，所述预置尺寸为所述车牌图像样本的尺寸；
所述将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，包括：
将转换尺寸的车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点。
6.根据权利要求4所述的方法，其特征在于，所述字符的关键点至少包括三个：字符左上角关键点，字符中心关键点和字符右下角关键点。
7.一种车牌识别装置，其特征在于，所述装置包括：
获取模块，用于获取摄像设备拍摄的车辆图片信息；所述车辆图片信息中包含待识别车辆的车牌图像；
关键点确定模块，用于将所述车辆图片信息输入到车牌关键点检测模型，得到所述车辆图片信息中关于车牌的至少三个车牌内角所在位置的车牌关键点，所述车牌关键点检测模型是根据不同环境的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点训练得到的；
确定模块，用于根据所述车牌关键点从所述车牌图片信息中确定待识别车辆的车牌图像；
识别模块，用于通过所述车牌图像识别所述待识别车辆的车牌号码。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
所述获取模块，还用于获取不同环境下的车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点，所述车辆图片样本信息中包含车辆的车牌图像；
训练模块，用于通过卷积神经网络对车辆图片样本信息及其车辆图片样本信息中关于车牌内角所在位置的车牌关键点进行训练，得到所述车牌关键点检测模型。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
所述确定模块，还用于确定所述待识别车辆的车牌图像是否为正视角的图像；
转换模块，用于若所述待识别车辆的车牌图像不是正视角的图像，则将所述待识别车辆的车牌图像转换成正视角的车牌图像；
所述识别模块，具体用于通过所述正视角的车牌图像识别所述待识别车辆的车牌号码。
10.根据权利要求6或9所述的装置，其特征在于，所述装置还包括：
所述关键点确定模块，还用于将所述车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点，所述字符关键点检测模型是根据车牌图像样本及其车牌图像样本中各个字符的关键点训练得到的；
分割模块，用于通过每个字符的关键点对所述车牌图像进行分割得到字符图像，每个字符图像中包含一个车牌字符；
所述识别模块，具体用于依据从左到右依次分割得到的字符图像进行图像识别，并将得到的识别结果作为所述待识别车辆的车牌号码。
11.根据权利要求10所述的装置，其特征在于，所述转换模块，还用于将所述车牌图像转化成预置尺寸的图像，所述预置尺寸为所述车牌图像样本的尺寸；
所述关键点确定模块，具体用于将转换尺寸的车牌图像输入到字符关键点检测模型，得到所述车牌图像中各个字符的关键点。
12.根据权利要求10所述的装置，其特征在于，所述字符的关键点至少包括三个：字符左上角关键点，字符中心关键点和字符右下角关键点。
13.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述车牌识别方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车牌识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911358435.2A CN111191653A (zh) | 2019-12-25 | 2019-12-25 | 车牌识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911358435.2A CN111191653A (zh) | 2019-12-25 | 2019-12-25 | 车牌识别方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111191653A true CN111191653A (zh) | 2020-05-22 |
Family
ID=70707573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911358435.2A Pending CN111191653A (zh) | 2019-12-25 | 2019-12-25 | 车牌识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191653A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950547A (zh) * | 2020-08-06 | 2020-11-17 | 广东飞翔云计算有限公司 | 一种车牌的检测方法、装置、计算机设备和存储介质 |
| CN112052850A (zh) * | 2020-09-03 | 2020-12-08 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN112164227A (zh) * | 2020-08-26 | 2021-01-01 | 深圳奇迹智慧网络有限公司 | 违停车辆告警方法、装置、计算机设备和存储介质 |
| CN112215222A (zh) * | 2020-10-12 | 2021-01-12 | 上海眼控科技股份有限公司 | 车牌识别方法、装置、设备及存储介质 |
| CN112052850B (zh) * | 2020-09-03 | 2024-05-10 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874902A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种车牌信息识别方法及装置 |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
| CN108985137A (zh) * | 2017-06-02 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法、装置及系统 |
| CN109815956A (zh) * | 2018-12-28 | 2019-05-28 | 安徽清新互联信息科技有限公司 | 一种基于自适应位置分割的车牌字符识别方法 |
| CN110414507A (zh) * | 2019-07-11 | 2019-11-05 | 和昌未来科技（深圳）有限公司 | 车牌识别方法、装置、计算机设备和存储介质 |
| CN111950547A (zh) * | 2020-08-06 | 2020-11-17 | 广东飞翔云计算有限公司 | 一种车牌的检测方法、装置、计算机设备和存储介质 |
| CN112052850A (zh) * | 2020-09-03 | 2020-12-08 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN112052855A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种基于深度学习的车牌识别方法及装置 |
-
2019
- 2019-12-25 CN CN201911358435.2A patent/CN111191653A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874902A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种车牌信息识别方法及装置 |
| CN108985137A (zh) * | 2017-06-02 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法、装置及系统 |
| CN108830213A (zh) * | 2018-06-12 | 2018-11-16 | 北京理工大学 | 基于深度学习的车牌检测与识别方法和装置 |
| CN109815956A (zh) * | 2018-12-28 | 2019-05-28 | 安徽清新互联信息科技有限公司 | 一种基于自适应位置分割的车牌字符识别方法 |
| CN110414507A (zh) * | 2019-07-11 | 2019-11-05 | 和昌未来科技（深圳）有限公司 | 车牌识别方法、装置、计算机设备和存储介质 |
| CN111950547A (zh) * | 2020-08-06 | 2020-11-17 | 广东飞翔云计算有限公司 | 一种车牌的检测方法、装置、计算机设备和存储介质 |
| CN112052850A (zh) * | 2020-09-03 | 2020-12-08 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN112052855A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种基于深度学习的车牌识别方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950547A (zh) * | 2020-08-06 | 2020-11-17 | 广东飞翔云计算有限公司 | 一种车牌的检测方法、装置、计算机设备和存储介质 |
| CN112164227A (zh) * | 2020-08-26 | 2021-01-01 | 深圳奇迹智慧网络有限公司 | 违停车辆告警方法、装置、计算机设备和存储介质 |
| CN112052850A (zh) * | 2020-09-03 | 2020-12-08 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN112052850B (zh) * | 2020-09-03 | 2024-05-10 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN112215222A (zh) * | 2020-10-12 | 2021-01-12 | 上海眼控科技股份有限公司 | 车牌识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN107688772B (zh) | 保单信息录入的方法、装置、计算机设备及存储介质 | |
| WO2019201035A1 (zh) | 对图像中的对象节点的识别方法、装置、终端及计算机可读存储介质 | |
| CN110163842B (zh) | 建筑裂缝检测方法、装置、计算机设备和存储介质 | |
| CN111191653A (zh) | 车牌识别方法、装置、计算机设备及存储介质 | |
| US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| CN110675940A (zh) | 病理图像标注方法、装置、计算机设备及存储介质 | |
| CN110689518A (zh) | 宫颈细胞图像筛查方法、装置、计算机设备及存储介质 | |
| WO2021147437A1 (zh) | 证卡边缘检测方法、设备及存储介质 | |
| CN110909665A (zh) | 一种多任务的图像处理方法、装置、电子设备及存储介质 | |
| CN110659638B (zh) | 车牌的识别方法、装置、计算机设备及存储介质 | |
| CN111680704A (zh) | 海洋红线新增人类活动斑块自动化快速提取方法和装置 | |
| CN115601774A (zh) | 表格识别方法、装置、设备、存储介质和程序产品 | |
| CN116883466A (zh) | 基于位置感知的光学与sar图像配准方法、装置及设备 | |
| CN114359337B (zh) | Rgbt视觉目标跟踪方法、装置、电子设备和存储介质 | |
| WO2021092797A1 (zh) | 图像的配准方法、终端以及计算机存储介质 | |
| CN112053407B (zh) | 一种交通执法影像中基于ai技术的车道线自动检测方法 | |
| CN110600106A (zh) | 病理切片处理方法、计算机设备和存储介质 | |
| CN114549393A (zh) | 图像标注方法、装置、设备及计算机存储介质 | |
| CN112464860A (zh) | 手势识别方法、装置、计算机设备及存储介质 | |
| CN110880003A (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN114821513B (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
| CN113344961B (zh) | 图像背景分割方法、装置、计算设备及存储介质 | |
| CN116403200A (zh) | 基于硬件加速的车牌实时识别系统 | |
| WO2022120669A1 (zh) | 手势识别方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200522 |