CN113780278A - 一种识别车牌内容的方法、装置、电子设备以及存储介质 - Google Patents
一种识别车牌内容的方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113780278A CN113780278A CN202111064461.1A CN202111064461A CN113780278A CN 113780278 A CN113780278 A CN 113780278A CN 202111064461 A CN202111064461 A CN 202111064461A CN 113780278 A CN113780278 A CN 113780278A
- Authority
- CN
- China
- Prior art keywords
- license plate
- target
- affine
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 108
- 230000009466 transformation Effects 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种识别车牌内容的方法、装置、电子设备以及存储介质，涉及智能交通技术领域，进一步涉及图像模式识别领域，以至少解决现有方案中对于车牌内容的识别精度低下的技术问题。具体实现方案为：从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取第一车牌区域对应的车牌仿射系数；基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；对第二车牌区域进行字符识别，得到车牌内容。
Description
技术领域
本公开涉及智能交通技术领域，进一步涉及图像模式识别领域，尤其涉及一种识别车牌内容的方法、装置、电子设备以及存储介质。
背景技术
车牌识别是智能交通系统中的关键技术之一，由于新的深度学习方法的不断涌现，车牌识别的相关算法也在不断更迭。
现有方案中，进行车牌识别时获取到的是车牌的外接矩形框，其中可能包含不必要的的背景噪声，在进行仿射变换校正之后，车牌会产生扭曲形变，进而影响对于车牌内容的识别精度。
发明内容
本公开提供了一种识别车牌内容的方法、装置、电子设备以及存储介质，以至少解决现有方案中对于车牌内容的识别精度低下的技术问题。
根据本公开的一方面，提供了一种识别车牌内容的方法，包括：从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取第一车牌区域对应的车牌仿射系数；基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；对第二车牌区域进行字符识别，得到车牌内容。
根据本公开的又一方面，提供了一种识别车牌内容的装置，包括：检测模块，用于从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取模块，用于获取第一车牌区域对应的车牌仿射系数；校正模块，用于基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；识别模块，用于对第二车牌区域进行字符识别，得到车牌内容。
根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的车牌内容的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的识别车牌内容的方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的识别车牌内容的方法。
在本公开中，通过从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取第一车牌区域对应的车牌仿射系数；基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；对第二车牌区域进行字符识别，得到车牌内容，达到了高效准确地识别车牌内容的目的，实现了提高车牌识别精度的效果，解决了现有方案中对于车牌内容的识别精度低下的技术问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的一种用于实现识别车牌内容的方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本公开实施例的一种识别车牌内容的方法流程图；
图3为根据本公开实施例的一种区域仿射系数回归网络的结构示意图；
图4为根据本公开实施例的一种区域仿射系数回归网络的检测过程示意图；
图5是根据本公开实施例的一种识别车牌内容的方法示意图；
图6是根据本公开实施例的一种识别车牌内容的装置的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
受拍摄角度、镜头位置等因素影响，实际应用场景中的采集到的车牌图像存在水平倾斜、垂直倾斜或梯形畸变等变形，因而在进行车牌识别之前，通常需要对采集到的车牌图像进行校正。
传统的车牌识别算法中可以获取车牌的外接矩形框，但对于大角度倾斜的车牌图像，车牌的外接矩形框中包含有背景噪声，在进行仿射变换校正后，车牌会产生扭曲形变，导致后续进行车牌内容的识别精度降低。
此外，在商业和学术方法中自动化的车牌识别算法虽然数量众多，但是大多数识别方法都集中针对于特定的车牌区域，并且经常使用包含近似正面图像的数据集，无法适用于实际的应用场景。现有方案无法有效解决对于车牌内容的识别精度低下的技术问题。
根据本公开实施例，提供了一种识别车牌内容的方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。图1示出了一种用于实现识别车牌内容的方法的计算机终端(或移动设备)的硬件结构框图。
如图1所示，计算机终端100包括计算单元101，其可以根据存储在只读存储器(ROM)102中的计算机程序或者从存储单元108加载到随机访问存储器(RAM)103中的计算机程序，来执行各种适当的动作和处理。在RAM 103中，还可存储计算机终端100操作所需的各种程序和数据。计算单元101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
计算机终端100中的多个部件连接至I/O接口105，包括：输入单元106，例如键盘、鼠标等；输出单元107，例如各种类型的显示器、扬声器等；存储单元108，例如磁盘、光盘等；以及通信单元109，例如网卡、调制解调器、无线通信收发机等。通信单元109允许计算机终端100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元101执行本文所描述的识别车牌内容的方法。例如，在一些实施例中，识别车牌内容的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 102和/或通信单元109而被载入和/或安装到计算机终端100上。当计算机程序加载到RAM 103并由计算单元101执行时，可以执行本文描述的识别车牌内容的方法的一个或多个步骤。备选地，在其他实施例中，计算单元101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行识别车牌内容的方法。
本文中描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
此处需要说明的是，在一些可选实施例中，上述图1所示的电子设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述电子设备中的部件的类型。
在上述运行环境下，本公开提供了如图2所示的识别车牌内容的方法，该方法可以由图1所示的计算机终端或者类似的电子设备执行。图2是根据本公开实施例提供的一种识别车牌内容的方法流程图，如图2所示，该方法可以包括如下步骤：
步骤S21，从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；
上述目标图像可以从布置于道路沿途或者公共场所的图像采集组件中获取，目标图像中可以包括一个或多个目标车辆。例如，可以从布置于道路测速点或者收费站的摄像头获取目标图像。
上述目标区域可以为对目标图像进行车辆检测后得到的车辆图像区域，对车辆图像区域进行车牌检测可以获取的车牌图像区域，即目标车辆的第一车牌区域，例如，第一车牌区域可以包括变形的车牌区域。
可选地，可以基于目标检测网络从目标图像中检测目标区域。例如，采用yolov4目标检测网络对目标图像进行车辆检测后，可以获取到目标图像中的车辆图像区域，即目标区域。
可选地，在从目标图像中检测到目标区域后，将目标区域按照预设比例进行缩放处理。其中，预设比例可以由人工预先配置，能够灵活调整，将多个目标区域进行缩放处理后可以获取到多个比例大小相同的目标区域图像，便于后续识别车牌内容时进行批量处理。
步骤S22，获取第一车牌区域对应的车牌仿射系数；
上述车牌仿射系数可以用于对第一车牌区域进行仿射变换校正。
具体的，获取第一车牌区域对应的车牌仿射系数的具体实现过程可以参照对于本公开实施例的进一步介绍，不予赘述。
步骤S23，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；
上述第二车牌区域可以为校正后的车牌图像区域，例如，第二车牌区域可以包括近似于车牌正视图的矩形区域。
具体的，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域的具体实现过程可以参照对于本公开实施例的进一步介绍，不予赘述。
步骤S24，对第二车牌区域进行字符识别，得到车牌内容。
上述车牌内容可以包括汉字字符，字母字符以及数字字符。
可选地，基于端对端的多标签字符识别模型对第二车牌区域进行字符识别，得到车牌内容。
具体的，对第二车牌区域进行字符识别，得到车牌内容的具体实现过程可以参照对于本公开实施例的进一步介绍，不予赘述。
根据本公开上述步骤S21至步骤S24，通过从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取第一车牌区域对应的车牌仿射系数；基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；对第二车牌区域进行字符识别，得到车牌内容，达到了高效准确地识别车牌内容的目的，实现了提高车牌识别精度的效果，解决了现有方案中对于车牌内容的识别精度低下的技术问题。
下面对该实施例的上述方法进行进一步介绍。
作为一种可选的实施方式，在步骤S22，获取第一车牌区域对应的车牌仿射系数包括：利用目标神经网络模型对第一车牌区域进行分析，确定车牌仿射系数。
其中，目标神经网络模型使用第一训练数据集通过机器学习训练得到，第一训练数据集中的每组数据均包括：包含真实场景中车辆的图像以及对应的车牌仿射系数。真实场景中车辆的图像可以为人工标注的图像，例如，对于每张图像，可以由人工对图像中每辆车的车牌的四个顶点进行标注。
可选地，目标神经网络模型可以为区域仿射系数回归网络，利用区域仿射系数回归网络对第一车牌区域进行分析，确定车牌仿射系数。
具体的，区域仿射系数回归网络可以基于经典的目标检测算法进行构建。例如，可以YOLO系列目标检测算法、SSD系列目标检测算法及空间变换网络构建区域仿射系数回归网络。其中，YOLO系列目标检测算法及SSD系列目标检测算法在执行时可实现多目标检测及识别，但它们并不考虑进行空间变换，仅为每次检测生成矩形边界框。空间变换网络则可以用于检测非矩形区域，但是不能同时处理多个变换，整个网络每次仅执行单个空间变换。本公开构建的区域仿射系数回归网络可以用于检测非矩形区域，同时可以实现多目标检测和识别。
下面结合图3介绍区域仿射系数回归网络的结构组成。
图3为根据本公开实施例的一种区域仿射系数回归网络的结构示意图，如图3所示，区域仿射系数回归网络共包含21个卷积层，其中14个卷积层具有残差结构(Resblock)，所有的卷积层的卷积核大小固定设置为3*3。区域仿射系数回归网络还包括4个最大池化层，其中每个最大池化层的大小为2*2，步幅为2，可将输入维度降低16倍。除检测模块外，其它网络都采用激活函数(leaky_ReLU)。检测模块包括有两个平行的卷积层：其中一个卷积层用于推断概率值，包含归一化指数函数层(softmax)；另一个卷积层用于回归仿射参数包含线性层(linear)而不包含激活函数。
作为一种可选的实施方式，利用目标神经网络模型对第一车牌区域进行分析，确定车牌仿射系数包括：
步骤S221，利用目标神经网络模型对第一车牌区域进行分析，得到特征图，其中，特征图包括多个单元格，多个单元格中每个单元格对应多个待预测参数；
上述多个每个单元格对应的待预测参数包括每个单元格含有目标与非目标的概率与仿射变换参数信息。其中，每个单元格含有目标的概率即每个单元格含有第一车牌区域的概率，每个单元格含有非目标的概率即每个单元格不含有第一车牌区域的概率。
步骤S222，采用多个待预测参数中的第一部分待预测参数确定车牌仿射系数。
例如，图4为根据本公开实施例的一种区域仿射系数回归网络的检测过程示意图。如图4所示，将步骤S21中检测获得的目标区域按照预设比例进行缩放处理后输出到区域仿射系数回归网络中，经前向传播之后得到含有8通道的特征层，上述8个特征层包含有目标与非目标的概率与仿射变换参数信息，其中，6个特征层包含了6个仿射系数参数信息，即第一部分待预测参数，这6个仿射系数参数信息可用于确定车牌仿射系数，另外2个特征层包含有目标与非目标的概率，即第二部分待预测参数。
作为一种可选的实施方式，本公开中识别车牌内容的方法还包括：
步骤S223，采用车牌仿射系数与归一化处理结果，构建第一损失函数，其中，归一化处理结果是对第一车牌区域中各个顶点在特征图中的位置进行归一化处理后得到的结果；
步骤S224，采用多个待预测参数中的第二部分待预测参数，构建第二损失函数，其中，第二部分待预测参数用于确定每个单元格中是否包含第一车牌区域的概率；
步骤S225，利用第一损失函数和第二损失函数，确定目标损失函数；
步骤S226，采用目标损失函数对目标神经网络模型进行优化。
下面对本公开实施例确定目标损失函数的实现过程进行详细介绍。
设置pi＝[xi,yi]T,其中i＝1,···,4,，pi表示带标注车牌的四个顶点，以顺时针方向从左上角开始标注。
设置q1＝[0.5,0.5]T,q2＝[0.5,0.5]T,q3＝[0.5,0.5]T,q4＝[0.5,0.5]T，q1，q2，q3，q4表示典型正方单元以原点为中心对应的顶点。
对于高为H、宽为W的目标区域、网络步长s为16(含有4个最大池化层)的网络特征层输出为一个M*N*8维度的特征图，其中M＝H/s，N＝W/s。
对于特征图中的每个单元格点(m,n)，共含有8个待预测参数，其中v1为含有目标的概率值，v2为含有非目标的概率值，其他6个待预测参数(v3，v4，v5，v6，v7，v8)可以用于构建车牌仿射系数Tmn，Tmn可以通过以下公式(1)进行构建：
在公式(1)中，参数v3与v6的主要用于保证对角线是正向的，避免不必要的镜像或者过度翻转。
为符合网络输出分辨率，将带标注车牌的四个顶点P根据网络步长进行了反向缩放，根据各个点在特征图中的位置进行了重新中心化，获得归一化处理结果Amn，Amn可以通过以下公式(2)进行获取：
在公式(2)中，a表示对应虚构矩形边的缩放系数，通常将a设置为7，a可以由增强训练数据中车牌尺寸最大值到最小值之间的平均值除以网络步长得到。p为车牌的顶点坐标值，s为网络步长，m，n为划分单元格的坐标。公式(2)可用于整实际车牌的坐标系和预测车牌的坐标系一致。
假定某单元核(m,n)处包含有第一车牌区域，采用车牌仿射系数与归一化处理结果，构建第一损失函数f仿射(m,n)，f仿射(m,n)的计算过程如以下公式(3)所示：
公式(3)可用于计算扭曲版本的矩形框与标准化带标定信息车牌之间的误差。
采用多个待预测参数中的第二部分待预测参数，构建第二损失函数，其中，第二部分待预测参数用于确定每个单元格中是否包含第一车牌区域的概率。即第二损失函数用于确定在m*n单元核中是否含有目标的概率。第二损失函数f预测(m,n)类似于传统SSD网络的置信度loss，是两个log-loss函数的简单累加和，f预测(m,n)的计算过程如以下公式(4)所示：
f预测(m,n)＝logloss(IIobj,v1)+logloss(1-IIobj,v2) 公式(4)
在公式(4)中，IIobj是目标指示函数，如果返回值为1，则表示在点(m,n)处含有目标；如果返回值为0，则表示在点(m,n)处不含有目标。
其中，logloss(y,p)＝-y log(p)，如果点(m,n)处的目标矩形框与同样大小且中心点在(m,n)处的另一个标定矩形框的iou大于阈值γobj(一般经验值设为0.3)则认为此处含有目标，iou可用于衡量目标检测的检测效果。
利用第一损失函数f仿射(m,n)和第二损失函数f预测(m,n)，确定目标损失函数loss，loss的计算过程如以下公式(5)所示：
通过采用车牌仿射系数与归一化处理结果，构建第一损失函数，采用多个待预测参数中的第二部分待预测参数，构建第二损失函数，利用第一损失函数和第二损失函数，确定目标损失函数，采用目标损失函数对目标神经网络模型进行优化，可以进一步提升目标神经网络模型的处理性能。
作为一种可选的实施方式，本公开中识别车牌内容的方法还包括：
步骤S227，对第一训练数据集进行数据增强处理，得到第二训练数据集，其中，数据增强处理包括：数据旋转处理、数据噪声处理；
例如，第一训练数据集中包含监督信息的图像数量较少，可以对第一训练数据集采用数据旋转处理、增加噪声等增强处理方式增加数据量，得到第二训练数据集。
步骤S228，使用第二训练数据集通过机器学习优化训练目标神经网络模型。
作为一种可选的实施方式，在步骤S23，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域包括：
步骤S231，构建预设尺寸的虚拟矩形区域；
上述预设尺寸的虚拟矩形区域可以为一个围绕单元格中心，固定大小为(m,n)的虚构矩形区域。
步骤S232，当虚拟矩形区域包含第一车牌区域的概率高于预设检测阈值时，利用车牌仿射系数构建仿射矩阵；
步骤S233，采用仿射矩阵将虚拟矩形区域变换为第二车牌区域。
例如，首先构建一个围绕单元格中心，固定大小为(m,n)的虚构矩形区域。如果该矩形区域包含目标的概率高于设定的检测阈值，则使用区域仿射变换网络回归得到的车牌仿射系数来构建仿射矩阵，将虚构矩形区域变换为车牌区域，从而可以将车牌校正成水平或垂直对齐的第二车牌区域。
作为一种可选的实施方式，在步骤S24，对第二车牌区域进行字符识别，得到车牌内容包括：采用多标签分类方式对第二车牌区域进行字符识别，得到车牌内容。
例如，经过仿射变换将车牌区域校正为近似于正视图的矩形之后，将第二车牌区域被送入端到端的多标签字符识别模型，该模型可以采用yolov4作为主干网络，对第二车牌区域内的车牌内容进行多标签分类，分类类型可以包括汉字字符，字母字符以及数字字符，进而实现对于不定长的车牌的字符识别。
下面结合图5对本公开的识别车牌内容的方法的整体实现过程进行说明。
图5是根据本公开实施例的一种识别车牌内容的方法示意图，如图5所示，目标图像中包括有两个目标车辆，从目标图像中检测两个目标车辆对应的目标区域，每个目标区域包括目标车辆对应的第一车牌区域。利用目标神经网络模型对第一车牌区域进行分析，确定车牌仿射系数，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域，对第二车牌区域进行字符识别，得到每个目标车辆各自对应的车牌内容。
本公开实施例中采用区域仿射系数回归网络将大角度或形变的车牌校正成规则的矩形形状，再进行车牌识别，更适用于真实应用场景。采用回归仿射系数对第一车牌区域进行仿射变换校正，可以在非约束、遮挡场景下可获取仅含有车牌未遮挡部分的图片，进而有效去除背景噪声，提高后续对于车牌内容的识别精度。结合多标签分类的方式对车牌字符内容进行识别，无需对字符提前进行切割，适用于可变长度且未对齐的中国车牌，并且对蓝牌和绿牌等不定字符的车牌识别更加有效。
在本公开中，通过从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；获取第一车牌区域对应的车牌仿射系数；基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；对第二车牌区域进行字符识别，得到车牌内容，达到了高效准确地识别车牌内容的目的，实现了提高车牌识别精度的效果，解决了现有方案中对于车牌内容的识别精度低下的技术问题。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
在本公开中还提供了一种识别车牌内容的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本公开实施例的一种识别车牌内容的装置的结构框图，如图6所示，一种识别车牌内容的装置600包括：检测模块601，获取模块602，校正模块603，识别模块604。
检测模块601，用于从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；
获取模块602，用于获取第一车牌区域对应的车牌仿射系数；
校正模块603，用于基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；
识别模块604，用于对第二车牌区域进行字符识别，得到车牌内容。
可选地，获取模块602用于获取第一车牌区域对应的车牌仿射系数包括：利用目标神经网络模型对第一车牌区域进行分析，确定车牌仿射系数，其中，目标神经网络模型使用第一训练数据集通过机器学习训练得到，第一训练数据集中的每组数据均包括：包含真实场景中车辆的图像以及对应的车牌仿射系数。
可选地，识别车牌内容的装置600还包括：分析模块605，用于利用目标神经网络模型对第一车牌区域进行分析，得到特征图，其中，特征图包括多个单元格，多个单元格中每个单元格对应多个待预测参数；确定模块606，用于采用多个待预测参数中的第一部分待预测参数确定车牌仿射系数。
可选地，识别车牌内容的装置600还包括：构建模块607，用于采用车牌仿射系数与归一化处理结果，构建第一损失函数，其中，归一化处理结果是对第一车牌区域中各个顶点在特征图中的位置进行归一化处理后得到的结果；构建模块607还用于采用多个待预测参数中的第二部分待预测参数，构建第二损失函数，其中，第二部分待预测参数用于确定每个单元格中是否包含第一车牌区域的概率；确定模块606还用于利用第一损失函数和第二损失函数，确定目标损失函数；优化模块608，用于采用目标损失函数对目标神经网络模型进行优化。
可选地，识别车牌内容的装置600还包括：处理模块609，用于对第一训练数据集进行数据增强处理，得到第二训练数据集，其中，数据增强处理包括：数据旋转处理、数据噪声处理；训练模块610，用于使用第二训练数据集通过机器学习优化训练目标神经网络模型。
可选地，校正模块603用于基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域包括：构建预设尺寸的虚拟矩形区域；当虚拟矩形区域包含第一车牌区域的概率高于预设检测阈值时，利用车牌仿射系数构建仿射矩阵；采用仿射矩阵将虚拟矩形区域变换为第二车牌区域。
可选地，识别模块604用于对第二车牌区域进行字符识别，得到车牌内容包括：采用多标签分类方式对第二车牌区域进行字符识别，得到车牌内容。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本公开的实施例，本公开还提供了一种电子设备，包括存储器和至少一个处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本公开中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S1，从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；
步骤S2，获取第一车牌区域对应的车牌仿射系数；
步骤S3，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；
步骤S4，对第二车牌区域进行字符识别，得到车牌内容。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该非瞬时计算机可读存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：
步骤S1，从目标图像中检测目标区域，其中，目标区域包括：目标车辆的第一车牌区域；
步骤S2，获取第一车牌区域对应的车牌仿射系数；
步骤S3，基于车牌仿射系数对第一车牌区域进行仿射变换校正，得到第二车牌区域；
步骤S4，对第二车牌区域进行字符识别，得到车牌内容。
可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的实施例，本公开还提供了一种计算机程序产品。用于实施本公开的音频处理方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本公开所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。
Claims (11)
1.一种识别车牌内容的方法，包括：
从目标图像中检测目标区域，其中，所述目标区域包括：目标车辆的第一车牌区域；
获取所述第一车牌区域对应的车牌仿射系数；
基于所述车牌仿射系数对所述第一车牌区域进行仿射变换校正，得到第二车牌区域；
对所述第二车牌区域进行字符识别，得到车牌内容。
2.根据权利要求1所述的方法，其中，获取所述第一车牌区域对应的所述车牌仿射系数包括：
利用目标神经网络模型对所述第一车牌区域进行分析，确定所述车牌仿射系数，其中，所述目标神经网络模型使用第一训练数据集通过机器学习训练得到，所述第一训练数据集中的每组数据均包括：包含真实场景中车辆的图像以及对应的车牌仿射系数。
3.根据权利要求2所述的方法，其中，利用所述目标神经网络模型对所述第一车牌区域进行分析，确定所述车牌仿射系数包括：
利用所述目标神经网络模型对所述第一车牌区域进行分析，得到特征图，其中，所述特征图包括多个单元格，所述多个单元格中每个单元格对应多个待预测参数；
采用所述多个待预测参数中的第一部分待预测参数确定所述车牌仿射系数。
4.根据权利要求3所述的方法，所述方法还包括：
采用所述车牌仿射系数与归一化处理结果，构建第一损失函数，其中，所述归一化处理结果是对所述第一车牌区域中各个顶点在所述特征图中的位置进行归一化处理后得到的结果；
采用所述多个待预测参数中的第二部分待预测参数，构建第二损失函数，其中，所述第二部分待预测参数用于确定每个单元格中是否包含所述第一车牌区域的概率；
利用所述第一损失函数和所述第二损失函数，确定目标损失函数；
采用所述目标损失函数对所述目标神经网络模型进行优化。
5.根据权利要求2所述的方法，所述方法还包括：
对所述第一训练数据集进行数据增强处理，得到第二训练数据集，其中，所述数据增强处理包括：数据旋转处理、数据噪声处理；
使用所述第二训练数据集通过机器学习优化训练所述目标神经网络模型。
6.根据权利要求1所述的方法，其中，基于所述车牌仿射系数对所述第一车牌区域进行仿射变换校正，得到所述第二车牌区域包括：
构建预设尺寸的虚拟矩形区域；
当所述虚拟矩形区域包含所述第一车牌区域的概率高于预设检测阈值时，利用所述车牌仿射系数构建仿射矩阵；
采用所述仿射矩阵将所述虚拟矩形区域变换为所述第二车牌区域。
7.根据权利要求1所述的方法，其中，对所述第二车牌区域进行字符识别，得到所述车牌内容包括：
采用多标签分类方式对所述第二车牌区域进行字符识别，得到所述车牌内容。
8.一种识别车牌内容的装置，包括：
检测模块，用于从目标图像中检测目标区域，其中，所述目标区域包括：目标车辆的第一车牌区域；
获取模块，用于获取所述第一车牌区域对应的车牌仿射系数；
校正模块，用于基于所述车牌仿射系数对所述第一车牌区域进行仿射变换校正，得到第二车牌区域；
识别模块，用于对所述第二车牌区域进行字符识别，得到车牌内容。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111064461.1A CN113780278A (zh) | 2021-09-10 | 2021-09-10 | 一种识别车牌内容的方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111064461.1A CN113780278A (zh) | 2021-09-10 | 2021-09-10 | 一种识别车牌内容的方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780278A true CN113780278A (zh) | 2021-12-10 |
Family
ID=78842654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111064461.1A Pending CN113780278A (zh) | 2021-09-10 | 2021-09-10 | 一种识别车牌内容的方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780278A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299408A (zh) * | 2021-12-31 | 2022-04-08 | 哪吒港航智慧科技(上海)有限公司 | 轮胎吊车号箱号识别方法及系统、存储介质及终端 |
| CN114973230A (zh) * | 2022-06-27 | 2022-08-30 | 成都佳华物链云科技有限公司 | 一种车牌检测方法、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564088A (zh) * | 2018-04-17 | 2018-09-21 | 广东工业大学 | 车牌识别方法、装置、设备及可读存储介质 |
| CN110443245A (zh) * | 2019-08-14 | 2019-11-12 | 上海世茂物联网科技有限公司 | 一种非限制场景下的车牌区域的定位方法、装置及设备 |
| CN111178357A (zh) * | 2019-12-31 | 2020-05-19 | 松立控股集团股份有限公司 | 车牌识别方法、系统、设备和存储介质 |
| CN112784834A (zh) * | 2019-11-09 | 2021-05-11 | 北京航天长峰科技工业集团有限公司 | 一种自然场景下的车牌自动识别方法 |
-
2021
- 2021-09-10 CN CN202111064461.1A patent/CN113780278A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564088A (zh) * | 2018-04-17 | 2018-09-21 | 广东工业大学 | 车牌识别方法、装置、设备及可读存储介质 |
| CN110443245A (zh) * | 2019-08-14 | 2019-11-12 | 上海世茂物联网科技有限公司 | 一种非限制场景下的车牌区域的定位方法、装置及设备 |
| CN112784834A (zh) * | 2019-11-09 | 2021-05-11 | 北京航天长峰科技工业集团有限公司 | 一种自然场景下的车牌自动识别方法 |
| CN111178357A (zh) * | 2019-12-31 | 2020-05-19 | 松立控股集团股份有限公司 | 车牌识别方法、系统、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 焦志全: "基于深度学习和迁移学习的车标识别研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 4, pages 034 - 552 * |
| 陈宗海主编: "系统仿真技术及其应用 第19卷", vol. 1, 31 August 2018, 中国科学技术大学出版社, pages: 394 - 397 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299408A (zh) * | 2021-12-31 | 2022-04-08 | 哪吒港航智慧科技(上海)有限公司 | 轮胎吊车号箱号识别方法及系统、存储介质及终端 |
| CN114973230A (zh) * | 2022-06-27 | 2022-08-30 | 成都佳华物链云科技有限公司 | 一种车牌检测方法、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| EP3620981B1 (en) | Object detection method, device, apparatus and computer-readable storage medium | |
| CN110598558B (zh) | 人群密度估计方法、装置、电子设备及介质 | |
| CN109919002B (zh) | 黄色禁停线识别方法、装置、计算机设备及存储介质 | |
| CN113780278A (zh) | 一种识别车牌内容的方法、装置、电子设备以及存储介质 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| CN114169381A (zh) | 图像标注方法、装置、终端设备及存储介质 | |
| CN114444565B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN110991310A (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
| CN115131714A (zh) | 视频图像智能检测分析方法及系统 | |
| CN112634316A (zh) | 目标跟踪方法、装置、设备和存储介质 | |
| WO2024174726A1 (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN114550148A (zh) | 基于深度学习的严重遮挡商品的识别检测计数方法与系统 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN110969640A (zh) | 视频图像的分割方法、终端设备以及计算机可读存储介质 | |
| CN113205510A (zh) | 铁路侵限异物检测方法、装置及终端 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN115345895A (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
| CN112950652B (zh) | 机器人及其手部图像分割方法和装置 | |
| CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
| CN111256712B (zh) | 地图优化方法、装置及机器人 | |
| CN114511862A (zh) | 表格识别方法、装置及电子设备 | |
| CN114529912A (zh) | 图形验证码识别方法、装置、电子设备及可读存储介质 | |
| CN112823377A (zh) | 一种路沿分割方法、装置、终端设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |