CN116958954A - 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 - Google Patents
基于关键点与旁路矫正的车牌识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116958954A CN116958954A CN202310935114.4A CN202310935114A CN116958954A CN 116958954 A CN116958954 A CN 116958954A CN 202310935114 A CN202310935114 A CN 202310935114A CN 116958954 A CN116958954 A CN 116958954A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- correction
- key point
- bypass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 20
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005067 remediation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 37
- 230000015654 memory Effects 0.000 description 25
- 238000002474 experimental method Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/186—Extraction of features or characteristics of the image by deriving mathematical or geometrical properties from the whole image
- G06V30/189—Scale-space domain transformation, e.g. with wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及智能交通技术领域，具体公开了一种基于关键点与旁路矫正的车牌识别方法、装置及存储介质，包括：获取待检测车牌图像；将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。本发明提供的基于关键点与旁路矫正的车牌识别方法能够提升车牌检测精度。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质。
背景技术
当下，由于传统的交通规范与监管模式暴露出信息反馈不及时、不全面等缺陷，智能交通系统成为未来的趋势。如何有效获取车辆关键信息则是智能交通系统研究的热点之一。而在车辆信息提取任务中，车牌的定位则是重要一环，车牌作为车辆的身份证，如何对车牌进行准确的定位是车牌信息提取的关键也是后续车牌识别任务的基础。
车牌检测的目的是准确定位车牌在图像中的位置，通过提取车牌区域图像以进行下一步的识别。目前车牌检测主要分为基于传统方法的检测和基于深度学习的检测。
基于传统方法的检测由于需要大量的图像像素处理等方式导致消耗大量时间。而目前基于深度学习等检测方式，虽然检测效率能够提升，但是由于在图像采集时基于矩形框的检测方式，这种检测方式非常依赖于拍摄角度，如拍摄角度有倾斜等，则会导致矩形框检测准确度低，进而影响最终的车牌检测精度。
因此，如何能够解决当前矩形框检测导致无法拟合倾斜车牌轮廓而导致车牌检测精度低的问题成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质，解决相关技术中存在的车牌检测精度低的问题。
作为本发明的第一个方面，提供一种基于关键点与旁路矫正的车牌识别方法，其中，包括：
获取待检测车牌图像；
将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
进一步地，将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果，包括：
将所述待检测车牌图像进行预处理，获得预处理车牌图像；
将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。
进一步地，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果，包括：
对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；
根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；
对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。
进一步地，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：
根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；
构建关键点初始对角线斜率损失函数；
根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：
其中，Lkpt表示关键点总损失函数，Ldig表示关键点目标对角线斜率损失函数，所述关键点包括车牌的四个顶点，且xtl和ytl、xtr和ytr、xbl和ybl以及xbr和ybr分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，和/>和/>和/>以及/>和/>分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；
根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：
其中，Lkpt表示关键点总损失函数，表示关键点目标距离损失函数。
进一步地，根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像，包括：
根据所述目标对角线斜率损失函数对所述车牌区域检测图像对应的关键点位置进行矫正；
根据矫正后的关键点位置确定车牌第一次矫正图像。
进一步地，所述车牌识别网络包括旁路分支网络和字符预测网络，将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果，包括：
将所述车牌第一次矫正图像输入至旁路分支网络进行第二次图像矫正，获得车牌第二次矫正图像；
将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果。
进一步地，将所述车牌第一次矫正图像输入至车牌识别网络中的旁路分支网络进行第二次矫正，获得车牌第二次矫正图像，包括：
将所述车牌第一次矫正图像输入至旁路卷积网络进行计算处理，并将计算处理后的结果输入至旁路全连接回归层；
将全连接回归层的输出结果通过矫正参数进行自学习处理后，获得车牌第二次矫正图像；其中，所述矫正参数的计算公式为：
其中，表示仿射变换矩阵，/>和/>表示车牌第一次矫正图像的坐标，/>和/>表示车牌第二次矫正图像的坐标。
进一步地，将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果，包括：
对所述第二次矫正图像中的字符进行切割；
根据多头自注意力机制对切割后的字符进行语义关联，获得车牌字符预测结果，其中多头自注意力机制中的每一个注意力头分别对应一种语义信息。
作为本发明的另一个方面，提供一种基于关键点与旁路矫正的车牌识别装置，用于实现前文所述的基于关键点与旁路矫正的车牌识别方法，其中，包括：
获取模块，用于获取待检测车牌图像；
车牌检测模块，用于将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
第一次矫正模块，用于根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
车牌识别与第二次矫正模块，用于将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
作为本发明的另一个方面，提供一种存储介质，其中，用于存储计算机指令，当所述计算机指令被处理器加载并执行时以实现前文所述的基于关键点与旁路矫正的车牌识别方法。
本发明提供的基于关键点与旁路矫正的车牌识别方法，通过对待检测车牌图像在车牌检测时进行一次矫正，然后再车牌识别时进行二次矫正，能够有效解决车牌倾斜畸变以及车牌区域图像变形的问题，进而提升了车牌识别准确率。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的基于关键点与旁路矫正的车牌识别方法的流程图。
图2为本发明提供的车牌区域检测的流程图。
图3为本发明提供的特征融合的结构图。
图4为本发明提供的关键点检测分支的结构图。
图5为本发明提供的相同SmoothL1 Loss对比图。
图6为本发明提供的车载字符预测的流程图。
图7为本发明提供的车牌第二次矫正的流程图。
图8为本发明提供的旁路矫正网络的结构图。
图9为本发明提供的车牌字符预测结果获得流程图。
图10为本发明提供的自注意力机制与多头结构图。
图11为本发明提供的电子设备的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于关键点与旁路矫正的车牌识别方法，图1是根据本发明实施例提供的基于关键点与旁路矫正的车牌识别方法的流程图，如图1所示，包括：
S100、获取待检测车牌图像；
在本发明实施例中，具体可以通过对待检测的视频进行抽帧处理以获得待检测车牌图像。
S200、将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
应当理解的是，针对上述待检测车牌图像进行车牌区域检测，如图2所示，具体地可以包括：
S210、将所述待检测车牌图像进行预处理，获得预处理车牌图像；
在本发明实施例中，具体可以将待检测车牌图像进行统一的尺寸调整，并进行像素值归一化处理，获得预处理车牌图像。
S220、将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。
在本发明实施例中，具体可以包括：
(1)对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；
在本发明实施例中，通过特征提取网络进行车牌图像的特征提取，网络采用可分离卷积结构减少了计算量与参数量，并注意力机制对提取的特征进行处理，引入空间和通道的注意力机制到主干网络中。
其主要原理是根据主干网络生成的特征图F∈RC×H×W，分别由通道注意力分支产生一维通道注意力特征图Mc∈RC×1×1，由空间注意力分支产生二维空间注意力特征图Ms∈R1 ×W×H。计算过程如下：
其中，通道注意力机制有两条池化分支，一条是最大池化层，用于提取最大池化特征一条是平均池化层，用于提取平均池化特征/>两种池化的步长均为特征图的长宽，因此将会得到单位长宽的特征图。在对单个通道的最显著特征与全局特征进行提取后，将特征向量送入到全连接层产生最终的通道注意力特征图Mc∈RC×1×1，综上通道注意力计算公式如下式所示，其中W0、W1均为全连接权重矩阵，
空间注意力采用最大池化与平均池化，空间注意力重点关注有效特征的位置信息，通过池化层得到两个单位通道数的特征图，按通道维度进行拼接后再利用7×7的卷积处理得到通道数为1的空间注意力特征图。上述计算过程如下式所所示：
(2)根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；
具体地，由于不同图像中车牌区域大小不同，导致模型需要对不同尺寸车牌区域均有检测能力。由此提出改进后的多尺度特征融合机制。
多尺度特征融合层原理如下：由于模型需要具备对不同尺度车牌区域均具有定位能力，故而模型需要在不同特征图尺度下进行关键点预测。同时在不同尺度特征图上需对特征进行处理以提高模型预测准确性。由此提出了R-PAN(残差像素聚合网络)特征融合机制，其结构如图3所示，该结构通过由上到下与右下到上两条分支实现不同尺度特征的融合，增强了特征的丰富度，同时在此基础上在上下两层设置了纵向的跳跃连接，在各中间层设置了横向的跳跃连接，跳跃连接在特征融合点引入了原始特征的融合，对于多尺度特征融合来说，在单个尺度上的原始特征对预测的贡献度最大，融入原始特征可以提高模型的表达能力，其次跳跃连接没有卷积处理，几乎不增加计算量。最后，在特征汇聚点的每个特征对输出的贡献是不同的，因此通过网络学习为每个特征分配不同的权重来使网络了解每个特征的重要性，公式如下式所示：
其中，表示第i个特征通过softmax操作归一化后的权重，Ii表示第i个特征。
(3)对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。
在本发明实施例中，基于正负样本匹配的思想，在检测头部分增添了关键点检测分支，使得每个网格除了预测检测框与类别参数外，还对目标的关键点进行预测。这种方式将关键点与物体都归属于某一网格，实现了可微的端到端训练，避免了自下而上进行关键点划分的后处理。同时，关键点与检测框都归属于正样本的网格，检测框对关键点没有边界限制，即使物体的关键点位于检测框边界外也可实现检测。其结构如图4所示，其中回归分支通道数为2k，表示对k个关键点的横纵坐标值进行预测。
具体地，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：
根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；
构建关键点初始对角线斜率损失函数；
根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：
其中，Lkpt表示关键点总损失函数，Ldig表示关键点目标对角线斜率损失函数，所述关键点包括车牌的四个顶点，且xtl和ytl、xtr和ytr、xbl和ybl以及xbr和ybr分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，和/>和/>和/>以及/>和/>分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；
根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：
其中，Lkpt表示关键点总损失函数，表示关键点目标距离损失函数。
应当理解的是，关键点总损失函数Lkpt：在SmoothL1 Loss的基础上对关键点损失函数进行改进，该损失函数是在L1(平均绝对误差)损失的基础上对零点附近进行平滑处理，以有效衡量关键点之间的距离误差。然而，使用此损失函数对车牌任务中的四个顶点位置进行回归时并没有考虑到顶点间的相关性。如图5所示，(a)与(b)中的四个顶点与真实值的距离相同，会得到相同的损失值，但显然(b)中的关键点位置更符合真实车牌形状。因此L1损失无法正确反映车牌倾斜程度，这可能导致后续矫正过程失败。因此，采用关键点距离误差和对角线斜率误差作为损失函数来回归关键点。损失函数如上式所示，改进的损失函数从关键点距离和对角线斜率两个维度对损失进行约束，能更好地反映倾斜车牌的轮廓。
S300、根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
在本发明实施例中，具体可以包括：
根据所述目标对角线斜率损失函数对所述车牌区域检测图像对应的关键点位置进行矫正；
根据矫正后的关键点位置确定车牌第一次矫正图像。
S400、将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
在本发明实施例中，如图6所示，可以包括：
S410、将所述车牌第一次矫正图像输入至旁路分支网络进行第二次图像矫正，获得车牌第二次矫正图像；
进一步具体地，如图7所示，包括：
S411、将所述车牌第一次矫正图像输入至旁路卷积网络进行计算处理，并将计算处理后的结果输入至旁路全连接回归层；
S412、将全连接回归层的输出结果通过矫正参数进行自学习处理后，获得车牌第二次矫正图像；其中，所述矫正参数的计算公式为：
其中，表示仿射变换矩阵，/>和/>表示车牌第一次矫正图像的坐标，/>和/>表示车牌第二次矫正图像的坐标。
应当理解的是，在车牌检测部分通过关键点对车牌区域进行了初步矫正，但原始图像往往远大于车牌区域图像，当车牌占比过小时难以对关键点实现像素级的精确回归，故而初步矫正后可能还存在车牌倾斜扭曲的情况。由此在车牌识别网络初始阶段通过旁路分支网络对车牌二次矫正的仿射参数进行回归，并通过识别部分的损失函数进行指导，使网络自行对参数进行学习。并在旁路与主干汇合点出对车牌进行二次矫正。其结构如下所图8所示，矫正公式如上式所示。
S420、将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果。
在本发明实施例中，如图9所示，可以包括：
S421、对所述第二次矫正图像中的字符进行切割；
S422、根据多头自注意力机制对切割后的字符进行语义关联，获得车牌字符预测结果，其中多头自注意力机制中的每一个注意力头分别对应一种语义信息。
应当理解的是，经上述流程处理后可以得到矫正后的正视车牌图像，需对图像中字符进行切割并进行识别，由此需对车牌字符序列前后字符进行语义关联，传统方法采用循环神经网络进行关联，但存在训练、预测速度慢的缺点，且关联程度会随着序列长度增加而降低。同时，对车牌识别可以将车牌图像中的文字区域进行切割，看做是文本一样的序列进行处理，由此将多头自注意力机制引入到图像文字的识别中，通过自注意力机制实现对图像特征向量的信息关联，这种关联是与序列距离无关的，有效的避免了信息的丢失。其次，由于车牌序列存在多种潜藏特征，例如新能源汽车第三位必须为D或F，且数字与字母的数量也存在规定，为了处理这种不同的语义规则，采用了多头的机制，每个注意力头都对一种语义信息进行处理，由此可充分挖掘车牌序列的潜藏信息，提升识别准确率。其结构图如图10所示。
综上，本发明提供的基于关键点与旁路矫正的车牌识别方法，通过对待检测车牌图像在车牌检测时进行一次矫正，然后再车牌识别时进行二次矫正，能够有效解决车牌倾斜畸变以及车牌区域图像变形的问题，进而提升了车牌识别准确率。具体来说，通过跳跃连接与加权融合的多尺度特征融合机制，加强模型对车牌原始特征的获取与有效特征的利用，提升了在多尺度场景下的检测能力；通过关键点预测实现车牌矫正，并通过改进损失函数提升回归精确率，有效解决了车牌倾斜畸变等问题；通过车牌识别旁路分支网络实现对车牌区域图像的二次矫正，有效解决了车牌区域图像形变的问题；通过多头自注意力机制实现对车牌字符的语义关联，有效提升车牌字符序列的识别准确率以及解决易混淆字符的识别问题。
因此，本发明提供的基于关键点与旁路矫正的车牌识别方法，针对通过检测框进行车牌检测导致无法拟合倾斜车牌轮廓的问题，提出了基于关键点的车牌检测方法，通过在网络检测头部分增加关键点检测分支对车牌顶点进行检测，实现了对任意角度车牌的拟合。另外，提出了基于跳跃连接的特征融合模块，以加强特征融合过程中有效信息的融合。还提出融合关键点L1距离误差与对角线斜率误差的损失计算方法，在原损失基础上引入了关键点相对位置的约束，关联了不同顶点的空间信息。
下面对本发明的具体实现过程进行详细描述。
在本发明实施例中，该基于关键点与旁路矫正的车牌识别方法可由计算机设备实现。该方法的具体处理流程如下：
(1)获取不同场景下的车牌图像，将图像统一调整为640×640尺寸，将图像转为张量格式后送入特征提取网络进行特征提取。
(2)图像经过特征提取后，经网络检测头预测部分对车牌的四个顶点坐标进行预测。通过预测的顶点坐标值对车牌区域图像进行提取，并通过仿射变换进行车牌图像矫正。
(3)通过对比模型输出坐标预测结果，与实际值进行对比，采用PCK(正确关键点的百分比)、车牌检测准确率P，车牌检测召回率R对模型性能进行评估。其中PCK指标的计算公式通过计算预测点与实际点之间的距离是否小于所设定的阈值来判断关键点是否被正确检测。其值表示所有样本的关键点中正确检测点占全部点的比例。如下式所示，其中i代表关键点的序号，τ代表车牌总数，di代表预测点与实际点间的欧式距离，dscale为归一化距离参考。在本实施例中综合考虑车牌宽度与高度，将设为两条对角线长度和的一半。σ代表阈值。
(4)本发明使用python 3.8编写，使用的深度学习框架是pytorch 1.10.0。采用RTX 3070显卡进行模型的训练。实验的训练策略为：先在训练集进行训练后用验证集进行评估，保存在验证集上效果最好的模型，当连续8次迭代没有被超越后，将该模型在测试集上进行测试，作为实验结果。
具体实例，在CCPD2019数据集上训练测试。
车牌检测部分实验：
1)数据集介绍：CCPD2019数据集共包含30万张样本，同时又分为多个复杂场景下的子数据集，各子数据集定义如下文示例。CCPD2020共包含11776张车牌图片，包含不同角度、倾斜角度、天气环境下的车牌。
数据集的标签采用图片的文件名来表示。例如图片名00205459770115-90_85-352&516_448&547-444&547_368&549_364&517_440&515-0_0_22_10_26_29_24-128-7.jpg，其中通过“-”符号分割出不同的标注信息，90_85代表车牌竖直与水平的倾斜角度，352&516_448&547代表车牌边界框的左上角与右下角坐标。444&547_368&549_364&517_440&515代表由右下角开始顺时针排列的四个顶点坐标。0_0_22_10_26_29_24为车牌号码字符的编号。
2)实验参数设置：批次大小设置为8，学习率设置为0.001，学习率采用逐步衰减策略，分别在第20、40、80轮时进行衰减，衰减因子为0.1。数据集按8:1:1的比例划分为训练集、验证集、测试集。
3)实验结果：通过在阈值为0.025时，平均关键点回归准确率PCKm为72.73％，车牌检测准确率为48.84％0。在阈值为0.05时，平均关键点回归准确率PCKm为93.40％，车牌检测准确率为85.58％。在阈值为0.1时，平均关键点回归准确率PCKm为98.58％，车牌检测准确率为97.90％。充分说了本发明在对关键点回归精度有不同要求的任务中均具有优越性。
4)对比实验：为评估本发明的整体性能并验证基于关键点实现车牌检测的可行性，在CCPD2019数据集上同常用的关键点检测模型进行了对比实验，实验结果如表1所示。其中阈值分别采用0.025、0.05和0.1，并从运行时间，PCKm指标，车牌检测准确率、召回率等多个角度对模型性能进行分析对比。
表1车牌检测部分CCPD2019数据集实验结果
5)消融实验：消融实验数据在阈值为0.025条件下得到，如表2所示。并通过不同序号展示了不同模块组合添加到模型中得到的评估结果。
通过对不同序号可对模块有效性进行验证。11)对比上表中序号1与序号2可知，当在模型中添加4-Det(小目标检测分支)后，车牌各顶点的回归精度均有上升，关键点的平均回归精度PCKm提升了1.43％，车牌检测准确率P提升了4.47％，召回率R提升了4.34％，由上述数据可知小目标分支的添加对模型效果提升较大，原因是在添加该模块后，序号1中的模型对测试集中小目标车牌的漏检情况改善，使得各项指标上升，验证了小目标检测分支的有效性。12)对比上表中序号1与序号3可知，在模型中添加R-PAN后，各顶点回归精度有所上升，其中PCKm上升了2.01％，P上升了4.25％，R上升了4.19％，这表明通过添加特征融合模块，模型可以利用更多的有效特征，并综合不同层次提取的图像信息，从而改善关键点的回归精度和减少漏检数量。13)由序号4可知，在使用特征融合的基础上再使用小目标检测分支可使模型PCKm、P、R分别达到71.78％、47.03％、46.91％。14)通过对比序号4与序号5可知通过在损失函数中引入了Lkpt使得PCKm指标提升了0.44％，P提升了0.48％，R上升了0.46％，由此验证了改进后的损失函数通过增加对角线斜率约束提升了回归精度。15)对比序号5与序号6可知，通过将SE模块替换为CBAM模块引入空间注意力使得模型能更好的关注图像的空间信息，从而提升关键点的回归精度，模型各项指标分别提升0.51％、1.33％、1.25％，由此验证了CBAM模块引入的有效性。
表2消融实验结果
车牌识别部分实验：
1)数据集采用与车牌检测实验中相同数据集，将车牌区域进行提取得到车牌图像。
2)训练过程采用数据增强，具体对车牌数据进行旋转，错切，模糊等操作以模拟实际场景中的干扰情况。同样对数据采取8:1:1的划分方式。
3)对比实验结果。
对比实验与后续消融实验采用的评估指标为字符识别错误率FN1与和序列长度错误率FN2以及车牌识别准确率AR进行评估。计算公式如式(1)至(3)所示。其中MTotal代表样本总数，MTR代表车牌识别正确数量。MN1代表预测字符错误的样本数量，MN2代表预测长度错误的样本数量。FN1、FN2分别代表两种错误样本占总样本数量的比率。FN1指标主要反映了模型对字符正确识别的能力。FN2指标反映了特征向量对字符分割的准确性，分割准确性低会导致空白字符增多或把代表同一字符的不同向量识别为不同字符，进而导致序列预测的长度错误。
/>
表3对比实验结果
通过分析上表可知，本发明实施例的检测模型在CCPD2019数据集上的识别准确率分别为97.2％高于其余对比模型，通过综合分析错误类别指标FN1，FN2可知，模型拥有最低的字符识别错误比率(FN1)1.8％，即模型对字符的识别精度最高。对于FN2指标，SAR与SRN算法采用编码解码的结构，没有引入空白字符，FN2指标均为0。模型运行速度方面，通过对比模型在CPU于GPU上对单个样本的预测时间可知，本发明实施例的模型的CPU和GPU运行时间仅低于LPRNET，原因是后者只通过卷积来进行识别，无特征向量关联模块，模型结构简单从而预测时间最短。
作为本发明的另一实施例，提供一种基于关键点与旁路矫正的车牌识别装置，用于实现前文所述的基于关键点与旁路矫正的车牌识别方法，其中，包括：
获取模块，用于获取待检测车牌图像；
车牌检测模块，用于将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
第一次矫正模块，用于根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
车牌识别与第二次矫正模块，用于将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
关于本发明提供的基于关键点与旁路矫正的车牌识别装置的工作原理及过程可以参照前文的基于关键点与旁路矫正的车牌识别方法的描述，此处不再赘述。
作为本发明的另一实施例，提供一种电子设备，其中，包括存储器和处理器，所述存储器用于存储计算机介质，所述处理器用于加载并执行所述计算机介质以实现前文所述的基于关键点与旁路矫正的车牌识别方法。
如图11所示，该电子设备10可以包括：至少一个处理器11，例如CPU(CentralProcessing Unit，中央处理器)，至少一个通信接口13，存储器14，至少一个通信总线12。其中，通信总线12用于实现这些组件之间的连接通信。其中，通信接口13可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口13还可以包括标准的有线接口、无线接口。存储器14可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器14可选的还可以是至少一个位于远离前述处理器11的存储装置。其中，存储器14中存储应用程序，且处理器11调用存储器14中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线12可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器14可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器14还可以包括上述种类的存储器的组合。
其中，处理器11可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器11还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：genericarraylogic,缩写：GAL)或其任意组合。
可选地，存储器14还用于存储程序指令。处理器11可以调用程序指令，实现如本发明图1实施例中所示的基于关键点与旁路矫正的车牌识别方法。
作为本发明的另一实施例，提供一种存储介质，其中，用于存储计算机指令，当所述计算机指令被处理器加载并执行时以实现前文所述的基于关键点与旁路矫正的车牌识别方法。
在本发明实施例中，提供了一种非暂态计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于关键点与旁路矫正的车牌识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种基于关键点与旁路矫正的车牌识别方法，其特征在于，包括：
获取待检测车牌图像；
将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
2.根据权利要求1所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果，包括：
将所述待检测车牌图像进行预处理，获得预处理车牌图像；
将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。
3.根据权利要求2所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果，包括：
对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；
根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；
对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。
4.根据权利要求3所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：
根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；
构建关键点初始对角线斜率损失函数；
根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：
，
其中，表示关键点总损失函数，/>表示关键点目标对角线斜率损失函数， 所述关键点包括车牌的四个顶点，且/>和/>、/>和/>、/>和/>以及/>和/>分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，/>和/>、/>和/>、/>和/>以及/>和/>分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；
根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：
，
其中，表示关键点总损失函数，/>表示关键点目标距离损失函数。
5.根据权利要求4所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像，包括：
根据所述目标对角线斜率损失函数对所述车牌区域检测图像对应的关键点位置进行矫正；
根据矫正后的关键点位置确定车牌第一次矫正图像。
6.根据权利要求1所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，所述车牌识别网络包括旁路分支网络和字符预测网络，将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果，包括：
将所述车牌第一次矫正图像输入至旁路分支网络进行第二次图像矫正，获得车牌第二次矫正图像；
将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果。
7.根据权利要求6所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，将所述车牌第一次矫正图像输入至车牌识别网络中的旁路分支网络进行第二次矫正，获得车牌第二次矫正图像，包括：
将所述车牌第一次矫正图像输入至旁路卷积网络进行计算处理，并将计算处理后的结果输入至旁路全连接回归层；
将全连接回归层的输出结果通过矫正参数进行自学习处理后，获得车牌第二次矫正图像；其中，所述矫正参数的计算公式为：
，
其中，表示仿射变换矩阵，/>和/>表示车牌第一次矫正图像的坐标，/>和/>表示车牌第二次矫正图像的坐标。
8.根据权利要求6所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果，包括：
对所述第二次矫正图像中的字符进行切割；
根据多头自注意力机制对切割后的字符进行语义关联，获得车牌字符预测结果，其中多头自注意力机制中的每一个注意力头分别对应一种语义信息。
9.一种基于关键点与旁路矫正的车牌识别装置，用于实现权利要求1至8中任意一项所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，包括：
获取模块，用于获取待检测车牌图像；
车牌检测模块，用于将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
第一次矫正模块，用于根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
车牌识别与第二次矫正模块，用于将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
10.一种存储介质，其特征在于，用于存储计算机指令，当所述计算机指令被处理器加载并执行时以实现权利要求1至8中任意一项所述的基于关键点与旁路矫正的车牌识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310935114.4A CN116958954B (zh) | 2023-07-27 | 2023-07-27 | 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310935114.4A CN116958954B (zh) | 2023-07-27 | 2023-07-27 | 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958954A true CN116958954A (zh) | 2023-10-27 |
| CN116958954B CN116958954B (zh) | 2024-03-22 |
Family
ID=88460149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310935114.4A Active CN116958954B (zh) | 2023-07-27 | 2023-07-27 | 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958954B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
| CN110969160A (zh) * | 2019-11-21 | 2020-04-07 | 合肥工业大学 | 一种基于深度学习的车牌图像校正、识别方法及系统 |
| US20200265272A1 (en) * | 2019-02-19 | 2020-08-20 | Fujitsu Limited | Apparatus and method for training classification model and apparatus for performing classification by using classification model |
| CN111695561A (zh) * | 2020-05-25 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 基于ssd的车牌检测和矫正识别方法及识别系统 |
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| WO2021159594A1 (zh) * | 2020-02-12 | 2021-08-19 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| WO2021196873A1 (zh) * | 2020-03-30 | 2021-10-07 | 京东方科技集团股份有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN114120306A (zh) * | 2021-11-30 | 2022-03-01 | 成都新潮传媒集团有限公司 | 车牌字符分割方法、装置及存储介质 |
| WO2022048209A1 (zh) * | 2020-09-03 | 2022-03-10 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN114332447A (zh) * | 2022-03-14 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质 |
| CN114677502A (zh) * | 2022-05-30 | 2022-06-28 | 松立控股集团股份有限公司 | 一种任意倾斜角度的车牌检测方法 |
| CN115424254A (zh) * | 2022-09-23 | 2022-12-02 | 苏州市科远软件技术开发有限公司 | 车牌识别方法、系统、设备及存储介质 |
| CN116168377A (zh) * | 2022-12-21 | 2023-05-26 | 北京信路威科技股份有限公司 | 车牌识别方法、装置、计算机设备以及存储介质 |
-
2023
- 2023-07-27 CN CN202310935114.4A patent/CN116958954B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| US20200265272A1 (en) * | 2019-02-19 | 2020-08-20 | Fujitsu Limited | Apparatus and method for training classification model and apparatus for performing classification by using classification model |
| CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
| CN110969160A (zh) * | 2019-11-21 | 2020-04-07 | 合肥工业大学 | 一种基于深度学习的车牌图像校正、识别方法及系统 |
| WO2021159594A1 (zh) * | 2020-02-12 | 2021-08-19 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| WO2021196873A1 (zh) * | 2020-03-30 | 2021-10-07 | 京东方科技集团股份有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| CN111695561A (zh) * | 2020-05-25 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 基于ssd的车牌检测和矫正识别方法及识别系统 |
| WO2022048209A1 (zh) * | 2020-09-03 | 2022-03-10 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、电子设备及存储介质 |
| CN114120306A (zh) * | 2021-11-30 | 2022-03-01 | 成都新潮传媒集团有限公司 | 车牌字符分割方法、装置及存储介质 |
| CN114332447A (zh) * | 2022-03-14 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质 |
| CN114677502A (zh) * | 2022-05-30 | 2022-06-28 | 松立控股集团股份有限公司 | 一种任意倾斜角度的车牌检测方法 |
| CN115424254A (zh) * | 2022-09-23 | 2022-12-02 | 苏州市科远软件技术开发有限公司 | 车牌识别方法、系统、设备及存储介质 |
| CN116168377A (zh) * | 2022-12-21 | 2023-05-26 | 北京信路威科技股份有限公司 | 车牌识别方法、装置、计算机设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李子龙: "基于关键点掩码的车辆重识别算法与应用", 《硕士电子期刊》, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958954B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN110032998B (zh) | 自然场景图片的文字检测方法、系统、装置和存储介质 | |
| CN112418278A (zh) | 一种多类物体检测方法、终端设备及存储介质 | |
| CN112085056B (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
| CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
| CN109165654B (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| CN111292377B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112257703B (zh) | 图像识别方法、装置、设备和可读存储介质 | |
| CN112966754B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
| CN116721301B (zh) | 目标场景分类模型训练方法、分类方法、设备及存储介质 | |
| CN112001403A (zh) | 一种图像轮廓检测方法及系统 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN112668640A (zh) | 一种文本图像质量评估方法、装置、设备及介质 | |
| CN112183542A (zh) | 基于文本图像的识别方法、装置、设备和介质 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
| CN116958954B (zh) | 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 | |
| CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
| US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium | |
| CN114445716B (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN113033542B (zh) | 一种文本识别模型的生成方法以及装置 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
| CN114896134A (zh) | 面向目标检测模型的蜕变测试方法、装置及设备 | |
| CN114266901A (zh) | 文档轮廓提取模型构建方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |