CN114332447A - 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种车牌矫正方法、车牌矫正装置和计算机可读存储介质，该方法包括：获取待矫正车牌图像与参考车牌图像，参考车牌图像包括倾斜角小于预设倾斜角的车牌；获取训练后的变换矩阵预测网络，利用变换矩阵预测网络中的特征提取子网络分别对待矫正车牌图像与参考车牌图像进行特征提取处理得到第一提取特征与第二提取特征，并对第一提取特征与第二提取特征进行处理得到第一车牌特征；以及利用变换矩阵预测网络中的预测子网络对第一车牌特征进行预测处理，得到第一变换矩阵；基于第一变换矩阵，对待矫正车牌图像进行矫正处理，得到矫正车牌图像。通过上述方式，本申请能够提升车牌矫正的准确度。

Description

一种车牌矫正方法、车牌矫正装置和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种车牌矫正方法、车牌矫正装置和计算机可读存储介质。

背景技术

车牌矫正技术是通过对车牌进行透视变换实现将倾斜车牌回正，回正后的车牌所处平面与视线刚好垂直，从而消除视差，有利于信息提取。当前车牌矫正技术可分为两大类：基于传统图像处理方法的车牌矫正技术和基于深度学习的车牌矫正方法，传统图像处理方法在提取角点的过程中往往受噪声影响较大，基于深度学习的车牌矫正方法在计算变换矩阵时会出现偏差，从而影响矫正效果，且整体处理较复杂，因此如何采用有效的方式进行车牌矫正成为亟待解决的问题。

发明内容

本申请提供一种车牌矫正方法、车牌矫正装置和计算机可读存储介质，能够提升车牌矫正的准确度。

为解决上述技术问题，本申请采用的技术方案是：提供一种车牌矫正方法，该方法包括：获取待矫正车牌图像与参考车牌图像，参考车牌图像包括倾斜角小于预设倾斜角的车牌；获取训练后的变换矩阵预测网络，利用变换矩阵预测网络中的特征提取子网络分别对待矫正车牌图像与参考车牌图像进行特征提取处理得到第一提取特征与第二提取特征，并对第一提取特征与第二提取特征进行处理得到第一车牌特征；以及利用变换矩阵预测网络中的预测子网络对第一车牌特征进行预测处理，得到第一变换矩阵；基于第一变换矩阵，对待矫正车牌图像进行矫正处理，得到矫正车牌图像。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种车牌矫正装置，该车牌矫正装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌矫正方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌矫正方法。

通过上述方案，本申请的有益效果是：本申请先获取训练后的变换矩阵预测网络，该变换矩阵预测网络包括特征提取子网络与预测子网络；然后获取待矫正车牌图像与车牌的倾斜角小于预设倾斜角的参考车牌图像；然后将待矫正车牌图像与参考车牌图像均输入特征提取子网络，特征提取子网络提取待矫正车牌图像与参考车牌图像中的特征，生成第一提取特征与第二提取特征，通过对第一提取特征与第二提取特征进行整形生成第一车牌特征并输入预测子网络，预测子网络对第一车牌特征进行预测处理，得到第一变换矩阵；然后利用第一变换矩阵对待矫正车牌图像进行矫正处理，实现对待矫正车牌图像的矫正；本申请提供了一种基于变换矩阵预测的车牌矫正方案，该方案能够准确且端到端地直接获得用于车牌矫正的变换矩阵，可简化实现过程，有效地抵抗了中间过程引入的噪声，提升车牌矫正的准确率；而且，该变换矩阵预测网络为双输入的预测网络，能够学习到车牌的隐性特征，有利于变换矩阵的学习，进一步提升车牌矫正效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的透视变换的示意图；

图2是本申请提供的车牌矫正方法一实施例的流程示意图；

图3是本申请提供的变换矩阵预测网络的训练方法的流程示意图；

图4是本申请提供的变换矩阵预测网络的示意图；

图5是图3所示的实施例中S33的流程示意图；

图6是本申请提供的车牌矫正装置一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

车牌的倾斜通常发生在空间坐标系下，有多个自由度，呈现不规则的四边形，理论上，通过透视变换即可将其变换成一个规则且垂直于视线的矩形，因此如何获得透视变换的变换矩阵是车牌矫正的关键。为了解决相关车牌矫正方案所产生的问题，本申请提出了一种新的、基于变换矩阵预测的车牌矫正方法，该方法使用深度学习技术直接预测车牌矫正的透视变换矩阵，即使用变换矩阵预测网络对车牌矫正的各个自由度进行预测，直接得到变换矩阵，该方法能够有效抵抗角点提取阶段的噪声干扰，简化透视变换矩阵的获取，从而有效解决车牌大角度问题，有利于辅助后续进一步的车牌识别、分类以及跟踪等任务，下面先对本申请涉及的变换矩阵预测进行介绍。

如果相机拍摄图片时，其运动情况符合特定约束，则图像间的关系就可以用图像变换模型描述，其中，相机的运动包含水平扫动、垂直扫动、旋转运动及镜头缩放。在静止的三维场景和平面场景下，所捕获的图像间的关系可以用一个3×3的矩阵来表示。假设把成像后倾斜的车牌与未倾斜车牌当做相机运动前后拍摄的一组图像，它们之间就可以用上述的图像变换模型来描述；具体地，假设描述相同事物的像素点在倾斜车牌中的坐标为(x,y)、在矫正车牌的位置为(x',y')，则其满足下述关系：

（1）

上述公式（1）涵盖了先后拍摄车牌图像时相机所能发生的各种运动形式，当摄像机仅有几种运动，或人为地只想描述其中部分运动形式时，变换矩阵中的各参数可以根据实际需求取值。

对应相机各种运动形式的组合，图像变换形式可以分为：刚体变换、相似变换、仿射变换以及透视变换；通常车牌图片组之间的变换属于仿射变换或透视变换，透视变换比仿射变换多了两个自由度，为提高方案的范用性，本申请按照透视变换处理。

透视变换是最普通的图像变换形式，其特点是直线经过透视变换后仍为直线，但其平行线不能保证，它可以描述摄像机的所有运动，如图1所示。透视变换有八个自由度，理论上选取四对不共线的点可以确定其参数，透视变换对应的变换矩阵M为：

（2）

其中，在公式（2）中，m₀、m₁、m₃、m₄为尺度和旋转量，m₂、m₅分别是水平方向位移量和垂直方向位移量，m₆、m₇为水平方向和垂直方向的形变量。本申请通过设计的变换矩阵预测网络对公式（2）中的8个参数进行预测，从而得到车牌间的变换矩阵，下面具体描述本申请所采用的方案。

请参阅图2，图2是本申请提供的车牌矫正方法一实施例的流程示意图，该方法包括：

S21：获取待矫正车牌图像与参考车牌图像。

可从图像数据库中获取待矫正车牌图像与参考车牌图像，或者采用摄像设备对某一车牌进行拍摄，得到待矫正车牌图像，该待矫正车牌图像为包含倾斜的车牌的图像，即车牌的形状不是规则的矩形，参考车牌图像包括倾斜角小于预设倾斜角的车牌，预设倾斜角为根据经验或者应用需要设置的阈值，其可以为一个值或者一个角度范围，比如：预设倾斜角可以为0附近的角度范围，参考车牌图像与待矫正车牌图像所包含的车牌可以相同或不同。

S22：获取训练后的变换矩阵预测网络，采用训练后的变换矩阵预测网络对待矫正车牌图像与参考车牌图像进行处理，得到第一变换矩阵。

由于变换矩阵并非图像上可表示出的显性特征，其参数的学习是一种隐性的特征的回归，常规的回归网络无法准确地预测其参数；本实施例针对此问题，设计了一种专门预测变换矩阵中的参数的网络（即变换矩阵预测网络），该网络可以准确地对变换矩阵的各个参数进行预测。

进一步地，将待矫正车牌图像与任意一个矫正后的车牌图像（即参考车牌图像）组成一对，并输入训练好的变换矩阵预测网络中，该变换矩阵预测网络包括特征提取子网络与预测子网络，可以先利用特征提取子网络分别对待矫正车牌图像与参考车牌图像进行特征提取处理得到第一提取特征与第二提取特征，并对第一提取特征与第二提取特征进行处理得到第一车牌特征；然后利用预测子网络对第一车牌特征进行预测处理，得到第一变换矩阵，其中，第一变换矩阵中的参数值的个数为8个，通过解析变换矩阵预测网络的输出，便可得到这8个参数。

S23：基于第一变换矩阵，对待矫正车牌图像进行矫正处理，得到矫正车牌图像。

在获取到待矫正车牌图像对应的第一变换矩阵后，利用该第一变换矩阵对待矫正车牌图像进行透视变换，便可得到矫正的车牌图像（记作矫正车牌图像）；具体地，可先将第一变换矩阵中的所有参数值与上述公式中（1）中的参数m₈（m₈=1）拼合成一变换矩阵，再采用上述公式（1）生成矫正车牌图像，即将该变换矩阵与待矫正车牌图像相乘。

本实施例提供了一种基于变换矩阵预测的车牌矫正方法，引入了参考车牌图像，为特征的提取提供了支持，使得训练后的变换矩阵预测网络能够预测两幅输入图像之间的变换关系，实现一步获取车牌矫正的投影变换矩阵，省略了中间步骤，也消除了中间引入误差的可能，有助于提升矫正效果；而且，由于矫正后的车牌由原来的图像变换而来，生成的车牌不易丢失原来车牌中的细节，不会对后续的车牌处理操作造成不良后果；此外，本方案能够处理各类车牌，范用性更强。

请参阅图3，图3是本申请提供的变换矩阵预测网络的训练方法的流程示意图，该方法包括：

S31：获取多个训练数据。

采用摄像设备对多个车牌进行拍摄，以获取多张车牌拍摄图像，并对车牌拍摄图像中的车牌进行定位处理得到第一样本图像，即从车牌拍摄图像中扣取出包含车牌的图像；然后采用相关技术中的方法来获取第一样本图像的四个角点以及第一样本图像的外接矩形；然后采用相关技术中的方法基于四个角点与外接矩形，计算出与第一样本图像对应的第二变换矩阵；再基于第二变换矩阵对第一样本图像进行校正处理，得到第二样本图像。通过上述处理过程，可以获取大量与车牌相关的数据，将其作为训练数据来训练变换矩阵预测网络，即训练数据包括第一样本图像、与第一样本图像对应的第二样本图像以及第二变换矩阵，第一样本图像与第二样本图像的大小可以相同。

S32：从多个训练数据中选择出训练数据输入变换矩阵预测网络。

在收集完训练数据后，可先从所有训练数据中选取至少一个训练数据输入变换矩阵预测网络，例如，可从所有训练数据中挑选出预设数量个训练数据得到批次（Batch）数据，将该批次数据输入变换矩阵预测网络，并执行后续的处理操作。

S33：采用第一样本图像、第二样本图像以及第二变换矩阵，对变换矩阵预测网络进行训练。

为了提高提取特征的有效性及变量回归的准确性，本实施例采用了变换矩阵预测网络，如图4所示，该变换矩阵预测网络共有两个输入分支，在变换矩阵预测网络的训练阶段，一个输入分支用来输入第一样本图像，另一个输入分支用来输入与第一样本图像对应的第二样本图像；在变换矩阵预测网络的预测阶段，一个输入分支用来输入待矫正车牌图像，另一个输入分支用来输入参考车牌图像，参考车牌图像为所有第二样本图像中的其中一张图像，即该参考车牌图像为任意一张正的车牌图像即可；具体地，特征提取子网络包括第一特征提取层、第二特征提取层以及特征整形层，可采用图5所示的方案训练变换矩阵预测网络，具体包括以下步骤：

S51：采用第一特征提取层对第一样本图像进行特征提取处理，得到第一车牌训练特征。

在获取到第一样本图像之后，将该第一样本图像输入第一特征提取层，以使得第一特征提取层提取第一样本图像中的特征，生成相应的车牌特征（记作第一车牌训练特征），该第一特征提取层可以为卷积神经网络（Convolutional Neural Network，CNN）。

S52：采用第二特征提取层对第二样本图像进行特征提取处理，得到第二车牌训练特征。

在获取到与第一样本图像对应的第二样本图像之后，将该第二样本图像输入第二特征提取层，以使得第二特征提取层提取第二样本图像中的特征，生成相应的车牌特征（记作第二车牌训练特征），该第二特征提取层可以为CNN。

S53：采用特征整形层对第一车牌训练特征与第二车牌训练特征进行处理，得到车牌训练特征。

对第一车牌训练特征进行维度调整处理，得到第三车牌训练特征；对第二车牌训练特征进行维度调整处理，得到第四车牌训练特征；对第三车牌训练特征与第四车牌训练特征进行合并处理，得到车牌训练特征。

进一步地，第三车牌训练特征与第四车牌训练特征的维度相同，对第三车牌训练特征进行拉伸处理，得到第五车牌训练特征；对第五车牌训练特征进行降采样处理，得到第三车牌训练特征；对第四车牌训练特征进行拉伸处理，得到第六车牌训练特征；对第六车牌训练特征进行降采样处理，得到第四车牌训练特征。

S54：采用预测子网络对车牌训练特征进行编解码以及预测处理，得到第二变换矩阵。

预测子网络包括编解码网络与多个预测器，第二变换矩阵包括多个标签值，可以采用编解码网络对车牌训练特征进行编解码处理，得到解码结果；分别采用每个预测器对解码结果进行预测处理，得到相应的预测值；然后计算每个预测器的预测值与第二变换矩阵中相应的标签值之间的误差，得到当前误差值。

在一具体的实施例中，多个预测器包括第一预测器、第二预测器以及第三预测器，采用第一预测器对解码结果进行预测处理，得到第一预测参数集；计算第一预测参数集与相应的标签值之间的误差，得到第一误差值；采用第二预测器对解码结果进行预测处理，得到第二预测参数集；计算第二预测参数集与相应的标签值之间的误差，得到第二误差值；采用第三预测器对解码结果进行预测处理，得到第三预测参数集；计算第三预测参数集与相应的标签值之间的误差，得到第三误差值；基于第一误差值、第二误差值以及第三误差值，计算出当前误差值；其中，第一预测器用于预测尺度和旋转量，第二预测器用于水平方向位移量和垂直方向位移量，第三预测器用于水平方向和垂直方向的形变量。

进一步地，第三预测参数集包括两个参数，获取预设取值范围，预设取值范围包括多个互不重叠的取值范围；采用第三预测器，预测参数的取值范围；基于取值范围，对参数的取值进行预测，得到相应的预测值，具体地，计算取值范围的上限与取值范围的下限的平均值，得到预测值。

在一实施方式中，在训练过程中，需要计算变换矩阵中某些参数的预测值与真实的标签值的损失，以便进行梯度回传；为了提高预测准确性，本实施例设计了三个不同的预测器，将8个参数分三组进行针对性预测设计，能明显提升预测准确性。具体地，三个预测器分别预测变换矩阵中三种不同类型的变量，其中，head1用来预测尺度与旋转量的乘积，即变换矩阵中的参数m₀、m₁、m₃、m₄；head2用来预测位移量，即变换矩阵中的参数m₂与m₅；head3用来预测形变量，即变换矩阵中的参数m₆与m_7。

1）head1

对于车牌变换来说，参数m₀、m₁、m₃、m₄的取值通常为[-2,2]，可以预测每个参数的正余弦的值，计算损失（loss）时使用均方误差（Mean Squared Error，MSE）loss，即采用如下公式：

（3）

其中，L_head1为head1对应的损失值，mseLoss( )为求取MSE的函数，i=0,1,3,4，pred_i,1是每个参数的正弦预测值，pred_i,2是每个参数的余弦预测值，m_i为第i个参数的标签值。

2）对于head2

由于不同车牌的尺寸存在差异，本实施例预测参数m₂、m₅归一化后的值，即对于m₂的预测来说，head2预测为m₂与输入的车牌图像的宽度的比值，对于m₅的预测来说，head2预测为m₅与车牌图像的高度的比值；head2所用的损失函数为L1-Loss，即将m₂对应的损失值与m₅对应的损失值相加，得到head2对应的损失值。

3）head3

在对车牌的变换中，参数m₆、m₇的值通常非常小，当其值小于10^-3时，对图像变换效果的实际影响可以忽略不计，透视变换矩阵退化为仿射变换矩阵。基于上述情况，本实施例并不预测其具体数值，而是采用分类的方法对参数m₆、m₇的范围进行预测，通过这种方式可以明显地提高预测的准确率。

本实施例假定变换矩阵中的参数m₆、m₇不大于0.1，即预设取值范围为[0,0.1]，将取值范围小于或等于0.01的参数值划分为第0类，将取值范围落在(0.01,0.02]的参数值划分为第一类，将取值范围落在(0.02,0.03]的参数值划分为第二类，依次类推，将取值范围落在(0.09,0.1]的参数值划分为第10类，共11类。假定分类结果为第n类，该类对应的范围是(a,b]，则变换矩阵中相应参数的取值为(a+b)/2。

可以理解地，针对不同的情况，类别个数及范围划分都可以适应性调整；head3使用交叉熵损失函数来计算参数m₆、m₇对应的损失值，通过将m₆对应的损失值与m₇对应的损失值相加，得到head3对应的损失值。

在一具体的实施例中，以第一特征提取层与第二特征提取层均为CNN、编解码网络为基于transformer的编解码网络（记作tranformer编解码网络）为例来阐述本方案，tranformer编解码网络包括transformer编码器与transformer解码器，先通过传统的CNN提取车牌的CNN特征，再通过tranformer编解码网络进行变换矩阵中的相应参数预测。

进一步地，由于tranformer编解码网络需要一维的特征向量，而CNN得到的图像特征是二维的特征图，故本实施例对CNN输出的特征图进行整形，比如：对于CNN输出的m×n的二维特征图来说，先将其拉伸成一维的向量（即维度为1×(m*n)），再根据预先设置的采样系数α，对其进行降采样，得到维度为1×(m*n/α)的特征向量；然后将两个分支的特征向量直接连接，得到维度为1×(2*m*n/α)的特征向量，将其成为作为transformer编码器的输入向量。然后，将transformer编码器的输出送入到transformer解码器中，transformer解码器的输出结果输入至三个预测器（即head1-head3）。

本实施例设计了三个不同的预测器，这三个预测器可以针对变换矩阵的八个参数的特性进行预测，能够提高预测的准确率。

S34：判断当前变换矩阵预测网络是否满足预设训练结束条件。

在获取到当前误差值后，可以基于当前误差值，判断当前变换矩阵预测网络是否满足预设训练结束条件；具体地，预设停止条件包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件。可以理解地，在其他实施例中，还可利用其他方式来确认是否结束训练，比如：在训练次数达到设定值（例如：训练10000次）或者使用测试集进行测试时获得的准确率超过预设准确率时，确认满足预设训练结束条件，结束对变换矩阵预测网络的训练。

S35：若当前变换矩阵预测网络满足预设训练结束条件，则得到训练后的变换矩阵预测网络。

如果判断出当前已经满足预设训练结束条件，则此时获得一个训练后的变换矩阵预测网络；若当前变换矩阵预测网络不满足预设训练结束条件，则表明此时的变换矩阵预测网络不符合要求，需要继续利用训练数据进行训练，此时返回从多个训练数据中选择一个训练数据的步骤，即返回执行S32，直至变换矩阵预测网络满足预设训练结束条件。

本实施例提出一种基于变换矩阵预测的车牌矫正方法，使用深度学习的编解码网络直接回归出透视变换矩阵中的八个自由度，从而对车牌进行矫正，可以直接一步得到投影变换矩阵，简化了车牌矫正的中间过程，有效地抵抗了中间过程带入的噪声，防止误差的叠加，能够在简化流程的同时，增强了抗噪声干扰能力，提升了车牌矫正效果；而且，采用透视变换的方法对车牌进行校正能够完整地保存车牌上的原始信息，不会丢失信息。

请参阅图6，图6是本申请提供的车牌矫正装置一实施例的结构示意图，车牌矫正装置60包括互相连接的存储器61和处理器62，存储器61用于存储计算机程序，计算机程序在被处理器62执行时，用于实现上述实施例中的车牌矫正方法。

请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的提高数据传输速率的方法。

计算机可读存储介质70可以是服务端、U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种车牌矫正方法，其特征在于，包括：

获取待矫正车牌图像与参考车牌图像，所述参考车牌图像包括倾斜角小于预设倾斜角的车牌；

获取训练后的变换矩阵预测网络，利用变换矩阵预测网络中的特征提取子网络分别对所述待矫正车牌图像与所述参考车牌图像进行特征提取处理得到第一提取特征与第二提取特征，并对所述第一提取特征与所述第二提取特征进行处理得到第一车牌特征；以及利用所述变换矩阵预测网络中的预测子网络对所述第一车牌特征进行预测处理，得到第一变换矩阵；

基于所述第一变换矩阵，对所述待矫正车牌图像进行矫正处理，得到矫正车牌图像。

2.根据权利要求1所述的车牌矫正方法，其特征在于，所述变换矩阵预测网络的训练包括：

获取多个训练数据，并从所述多个训练数据中选择出所述训练数据输入所述变换矩阵预测网络，所述训练数据包括第一样本图像、与所述第一样本图像对应的第二样本图像以及第二变换矩阵；

采用所述第一样本图像、所述第二样本图像以及所述第二变换矩阵，对所述变换矩阵预测网络进行训练；

判断当前所述变换矩阵预测网络是否满足预设训练结束条件；

若是，则得到所述训练后的变换矩阵预测网络；

若否，则返回所述从所述多个训练数据中选择出所述训练数据输入所述变换矩阵预测网络的步骤，直至所述变换矩阵预测网络满足所述预设训练结束条件。

3.根据权利要求2所述的车牌矫正方法，其特征在于，所述获取多个训练数据的步骤，包括：

获取多张车牌拍摄图像，并对所述车牌拍摄图像中的车牌进行定位处理，得到第一样本图像；

获取所述第一样本图像的四个角点以及所述第一样本图像的外接矩形；

基于所述四个角点与所述外接矩形，计算出与所述第一样本图像对应的第二变换矩阵；

基于所述第二变换矩阵，对所述第一样本图像进行校正处理，得到所述第二样本图像。

4.根据权利要求2所述的车牌矫正方法，其特征在于，所述特征提取子网络包括第一特征提取层、第二特征提取层以及特征整形层，所述预测子网络包括编解码网络与多个预测器，所述采用所述第一样本图像、所述第二样本图像以及所述第二变换矩阵，对所述变换矩阵预测网络进行训练的步骤，包括：

采用所述第一特征提取层对所述第一样本图像进行特征提取处理，得到第一车牌训练特征；

采用所述第二特征提取层对所述第二样本图像进行特征提取处理，得到第二车牌训练特征；

采用所述特征整形层对所述第一车牌训练特征与所述第二车牌训练特征进行处理，得到车牌训练特征；

采用所述预测子网络对所述车牌训练特征进行编解码以及预测处理，得到所述第二变换矩阵。

5.根据权利要求4所述的车牌矫正方法，其特征在于，所述采用所述特征整形层对所述第一车牌训练特征与所述第二车牌训练特征进行处理，得到车牌训练特征的步骤，包括：

对所述第一车牌训练特征进行维度调整处理，得到第三车牌训练特征；

对所述第二车牌训练特征进行维度调整处理，得到第四车牌训练特征；

对所述第三车牌训练特征与所述第四车牌训练特征进行合并处理，得到所述车牌训练特征。

6.根据权利要求5所述的车牌矫正方法，其特征在于，所述第三车牌训练特征与所述第四车牌训练特征的维度相同，所述方法还包括：

对所述第三车牌训练特征进行拉伸处理，得到第五车牌训练特征；

对所述第五车牌训练特征进行降采样处理，得到所述第三车牌训练特征；

对所述第四车牌训练特征进行拉伸处理，得到第六车牌训练特征；

对所述第六车牌训练特征进行降采样处理，得到所述第四车牌训练特征。

7.根据权利要求4所述的车牌矫正方法，其特征在于，所述预测子网络包括编解码网络与多个预测器，所述采用所述预测子网络对所述车牌训练特征进行编解码以及预测处理，得到所述第二变换矩阵的步骤，包括：

采用所述编解码网络对所述车牌训练特征进行编解码处理，得到解码结果；

分别采用每个所述预测器对所述解码结果进行预测处理，得到相应的预测值。

8.根据权利要求7所述的车牌矫正方法，其特征在于，所述判断当前所述变换矩阵预测网络是否满足预设训练结束条件的步骤，包括：

计算每个所述预测器的预测值与所述第二变换矩阵中相应的标签值之间的误差，得到当前误差值；

基于所述当前误差值，判断当前所述变换矩阵预测网络是否满足所述预设训练结束条件。

9.根据权利要求8所述的车牌矫正方法，其特征在于，所述多个预测器包括第一预测器、第二预测器以及第三预测器，所述计算每个所述预测器的预测值与所述第二变换矩阵中相应的标签值之间的误差，得到当前误差值的步骤，包括：

采用所述第一预测器对所述解码结果进行预测处理，得到第一预测参数集；

计算所述第一预测参数集与相应的标签值之间的误差，得到第一误差值；

采用所述第二预测器对所述解码结果进行预测处理，得到第二预测参数集；

计算所述第二预测参数集与相应的标签值之间的误差，得到第二误差值；

采用所述第三预测器对所述解码结果进行预测处理，得到第三预测参数集；

计算所述第三预测参数集与相应的标签值之间的误差，得到第三误差值；

基于所述第一误差值、所述第二误差值以及所述第三误差值，计算出所述当前误差值。

10.根据权利要求9所述的车牌矫正方法，其特征在于，所述第三预测参数集包括两个参数，所述方法还包括：

获取预设取值范围，所述预设取值范围包括多个互不重叠的取值范围；

采用所述第三预测器，预测所述参数的取值范围；

基于所述取值范围，对所述参数的取值进行预测，得到相应的预测值。

11.根据权利要求10所述的车牌矫正方法，其特征在于，所述基于所述取值范围，对所述参数的取值进行预测，得到相应的预测值的步骤，包括：

计算所述取值范围的上限与所述取值范围的下限的平均值，得到所述预测值。

12.根据权利要求2所述的车牌矫正方法，其特征在于，

所述参考车牌图像为所有所述第二样本图像中的其中一张图像。

13.一种车牌矫正装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-12中任一项所述的车牌矫正方法。

14.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-12中任一项所述的车牌矫正方法。

Images