CN110807459A

CN110807459A - 车牌矫正方法、装置以及可读存储介质

Info

Publication number: CN110807459A
Application number: CN201911054241.3A
Authority: CN
Inventors: 唐健; 张彦彬; 王浩
Original assignee: Shenzhen Jieshun Science and Technology Industry Co Ltd
Current assignee: Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2020-02-18
Anticipated expiration: 2039-10-31
Also published as: CN110807459B

Abstract

本申请实施例公开了一种车牌矫正方法、装置以及存储介质，用于进行车牌矫正。本申请实施例方法包括：获取源图像，源图像中标记有第一检测区域，第一检测区域至少包括部分车牌轮廓；扩大第一检测区域得到第二检测区域；使用第一回归模型对第二检测区域内的图像进行计算得到四角点偏移量；根据四角点偏移量调整第二检测区域得到第三检测区域；使用第二回归模型对第三检测区域进行计算得到四边偏移量；根据四边偏移量调整第三检测区域得到第四检测区域；对第四检测区域内的图像进行倾斜矫正。

Description

车牌矫正方法、装置以及可读存储介质

技术领域

本申请实施例涉及图像处理领域，具体涉及车牌矫正方法、装置以及可读存储介质。

背景技术

车牌识别，是指使用计算机对车牌进行识别。一般通过摄像头采集到车牌的图像，然后输入计算机中处理，得到车牌上的对应字符。

但是在一些跟车严重的大弯道场景，摄像机需要从侧面采集的大角度倾斜的车牌图像，如果计算机直接识别这种倾斜的车牌图像，错误率较高。所以这些大角度车牌需要矫正，才能准确识别车牌上的字符。

现在对大角度车牌的矫正方法，是人为设定纹理、轮廓或灰度等参数作为图像特征，使用这些图像特征进行车牌定位，然后对定位的车牌进行倾斜矫正。然而，该方法在实际使用中对环境过于敏感，例如在雨水污泥、夜晚亮度不足及正午强光照射等复杂环境的影响时定位车牌不准确，从而导致车牌矫正准确度较低。

发明内容

本申请实施例提供了车牌矫正方法、装置以及存储介质，用于对大角度倾斜的车牌图像进行矫正。

本申请实施例第一方面提供了一种车牌矫正方法，包括：

获取源图像，所述源图像中标记有第一检测区域，所述第一检测区域至少包括部分车牌轮廓；

扩大所述第一检测区域得到第二检测区域；

使用第一回归模型对所述第二检测区域内的图像进行计算得到四角点偏移量，所述第一回归模型由深度学习框架以四角点偏移量为学习标签对第一训练样本集进行学习后生成，所述第一训练样本集包括多个采集于真实环境中的第一类车牌样本图像,每一个所述第一类车牌样本图像中标注有第一学习框和车牌的四角点坐标；

根据所述四角点偏移量调整所述第二检测区域得到第三检测区域；

使用第二回归模型对所述第三检测区域进行计算得到四边偏移量，所述第二回归模型通过由所述深度学习框架以车牌的四边偏移量为学习标签对第二训练样本集进行学习后生成，所述第一训练样本集包括多个采集于真实环境中的第二类车牌样本图像,每一个所述第二类车牌样本图像中标注有第二学习框和车牌轮廓；

根据所述四边偏移量调整所述第三检测区域得到第四检测区域；

对所述第四检测区域内的图像进行倾斜矫正。

优选地，所述扩大第一检测区域得到第二检测区域包括：

对第一检测区域上下边界分别扩大25％第一比例、左右边界分别扩大50％第二比例得到第二检测区域。

优选地，所述第一训练样本集和第二样本训练集都包括完全重叠样本、部分重叠样本和覆盖样本；其中：

所述第一类训练样本集的完全重叠样本中，所述第一学习框内包括完整车牌轮廓；

所述第一类训练样本集的部分重叠样本中，所述第一学习框内包括不完整的车牌轮廓；

所述第一类训练样本集的覆盖样本中，所述第一学习框在车牌轮廓内；

所述第二类训练样本集的完全重叠样本中，所述第二学习框内包括完整车牌轮廓；

所述第二类训练样本集的部分重叠样本中，所述第二学习框内包括不完整的车牌轮廓；

所述第二类训练样本集的覆盖样本中，所述第二学习框在车牌轮廓内。

优选地，所述根据所述四角点偏移量调整所述第二检测区域得到第三检测区域包括：

按照所述四角点偏移量调整所述第三检测区域的四角点得到四个过渡坐标点；

作出所述四个过渡坐标点的最小外接矩形，将所述最小外接矩形作为第三检测区域。

优选地，所述深度学习框架采用快速特征嵌入的卷积结构，所述第一回归模型训练深度为3层，所述第二回归模型训练深度为4层。

优选地，，所述对所述第四检测区域内的图像进行倾斜矫正包括：使用透视矫正函数对所述第四检测区域的图像进行倾斜矫正。

优选地，所述第二类车牌样本图像的车牌轮廓由所述第一类车牌样本图像的四角点坐标经过插值处理得到。

本申请实施例第二方面还提供了一种车牌矫正装置，包括：

获取单元，用于获取源图像，所述源图像中标记有第一检测区域，所述第一检测区域至少包括部分车牌图像；

扩大单元，用于扩大所述第一检测区域得到第二检测区域；

第一回归单元，用于使用第一回归模型对所述第二检测区域内的图像进行计算得到四角点偏移量，所述第一回归模型通过深度学习框架以所述四角点偏移量作为学习标签学习第一训练样本集生成，所述第一训练样本集包括多个真实环境中的第一类车牌样本图像,每一个所述车牌样本图像中包括第一学习框和车牌四个边角点的实际坐标；

第一调整单元，用于根据所述四角点偏移量调整所述第二检测区域得到第三检测区域；

第二检测单元，用于使用第二回归模型对所述第三检测区域进行计算得到四边偏移量，所述第二回归模型通过所述深度学习框架以车牌的所述四边偏移量为学习标签学习第二训练样本集生成，所述第一训练样本集包括多个采集于真实环境中的第二类车牌样本图像，每一个所述第二类车牌样本图像中包括第二学习框和车牌四边的实际坐标；

第二调整单元，用于根据所述四边偏移量调整所述第三检测区域得到第四检测区域；

矫正单元，用于对所述第四检测区域内的图像进行倾斜矫正。

本申请第三方面还提供一种车牌矫正装置，该车牌矫正装置包括处理器和存储器，所述处理器与所述存储器通过总线连接，所述存储器用于存储计算机执行指令，当所述车牌矫正装置运行时，所述处理器读取所述存储器存储的所述计算机执行指令，以使所述车牌矫正装置执行上述任意一种车牌矫正方法。

本申请第四方面还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述任意一种车牌矫正方法。

从以上技术方案可以看出，本申请实施例具有以下优点：在车牌图像矫正中，对于定位不够准确的大角度车牌图像使用深度学习生成的回归模型综合多种图像特征进行车牌定位，避免了使用单一图像特征的定位车牌不够准确，进而导致车牌图像矫正错误的问题，提高了大角度车牌图像的识别率。

附图说明

图1为本申请实施例适用的车牌图像示意图，；

图2为本申请实施例提供的车牌矫正方法流程图；

图3为本申请实施例提供的完全重叠样本的示意图；

图4为本申请实施例提供的部分重叠样本的示意图；

图5为本申请实施例提供的覆盖样本的示意图；

图6为本申请实施例提供的车牌矫正装置结构图；

图7为本申请实施例提供的另一车牌矫正装置结构图。

具体实施方式

本申请实施例提供了一种车牌矫正方法，用于提高车牌矫正的成功率。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本申请实施例中的具体流程进行描述。

请参阅图1，是本申请实施例所提供的车牌矫正方法所应用图像的场景的示意图。在停车场的拐角处，摄像头从汽车的侧面拍摄到的车牌是倾斜的，识别难度大。

请参阅图2，本申请实施例中车牌矫正方法的一个实施例包括：

201、获取源图像；

首先获取经过基础图像识别的源图像，由于在定位车牌具体位置比较困难，在源图像中仅标注出了车牌的大概区域作为第一检测区域。该所以第一检测框可以是不准确的，但是至少应当包括部分的车牌图像。

202、扩大第一检测区域得到第二检测区域；

第一检测区域仅仅是车牌的大概区域，所以对第一检测区域进行调整，对第一检测区域扩大得到一个矩形的第二检测区域。第一检测区域可能仅包括车牌的一部分图像，如果仅仅识别检测区域的图像，有可能导致缺少字符，如图1所示，对于“粤A12345”的车牌，第一检测区域可能仅仅缺少部分字符。

对第一检测区域进行扩大，得到的第二检测区域可以包括更多的车牌图像，有利于车牌图像的检测和处理。外扩的方式可以是在第一检测区域的基础上，将该矩形的宽度和高度按照一定比例增大，将增大后得到的矩形作为第二检测区域，使得第二检测区域能够比第一检测区域包括更多的车牌图像。由于实际应用中需要矫正的车牌图像大多是从侧面拍摄的，扩大第一检测区域的时候，左右方向的扩大的比例应当比上下方向扩大的比例更大，例如，对第一检测区域上下扩大车牌高度的25％，左右扩大车牌高度的50％。对第一检测区域的扩大的比例不宜过小，否则得到的第二检测区域无法包含足够多的车牌图像；但是比例也不宜过大，以免需要识别的第二检测区域太大，增加了后续的识别难度和识别时间。

203、使用第一回归模型对第二检测区域内的图像进行计算得到四角点偏移量；

将第二检测区域内的图像输入深度学习得到的第一回归模型中，使用第一回归模型计算分析矩形的第二检测区域的四个顶点位置和图像中的车牌四角点位置分别相差多少，计算的结果即四角点偏移量。关于第一回归模型的具体参数和训练方法将在后文详细描述，此处重点对流程进行说明。

204、根据四角点偏移量调整第二检测区域得到第三检测区域；

根据四角点偏移量，调整第二检测区域的四角点坐标，从而得到一个更接近车牌轮廓的图像作为第三检测区域。例如，步骤203得到了四角点偏移量，根据该四角点偏移量，分别调整第二检测区域四角点的坐标，得到四个过渡坐标点，做出这四个坐标点的最小外接矩形，将这个矩形作为第三检测区域。由于经过了四角点偏移量的调整，第三检测区域比第二检测区域更加贴合车牌轮廓，也就是说第三检测区域更加准确。

205、使用第二回归模型对第三检测区域进行计算得到四边偏移量；

将第三检测区域内的图像送入深度学习得到的第二回归模型中，使用第二回归模型计算第三检测区域的四边和车牌图像的四边误差作为四边偏移量。具体步骤是，在第三检测区域的边界上做出若干个点，计算这些点与车牌四边的误差，作为四边偏移量。第二回归模型的具体参数和训练方法请参见下文。

例如，在第三检测框的上下边界各插入50个点，在左右边界各插入25个点，使用这些边界点的坐标表示第三检测框四边的位置和坐标。使用第二回归模型计算这些边界点和车牌左上角坐标的误差，得到表示150个点的偏移量的数组，将这个数组其作为四边偏移量。可以理解的是，也可以通过其他类似的方式计算四边偏移量，表示四边位置的坐标点数量不需要是150个点，也可以是其他的数量的点，计算与车牌的左下角或其他位置的坐标差，得到四边偏移量。

第二回归模型通过由深度学习框架以车牌的四边偏移量为学习标签对第二训练样本集进行学习后生成，第一训练样本集包括多个采集于真实环境中的第二类车牌样本图像,每一个第二类车牌样本图像中都包括第二学习框和车牌轮廓。

206、根据四边偏移量调整第三检测区域得到第四检测区域；

在步骤205中已经使用了若干个边界点表示第三检测区域四边的位置，根据四边偏移量，将这些点的坐标移动相应的数值，得到的新坐标点可以组成第四检测区域。例如，在步骤205用使用了150个边界点表示第三检测区域的四边，那么根据四边偏移量分别对这150个点的坐标进行修正，使用这150个坐标点就能表示出一个新的四边形，将该四边形的四个顶点连接，表示第四检测区域。可以理解的是，这里用于表示第三检测区域的边界点数量应当和步骤305中的边界点数量相同。经过多次调整得到的第四检测区域已经基本和车牌图像重合，第四检测区域的边框已经和车牌的轮廓十分近似，车牌的所有字符都会在第四检测区域中。

207、对第四检测区域内的图像进行倾斜矫正。

由于第四检测区域已经十分准确地选中了车牌图像，即实现了车牌图像的精准定位，此时可以对第四检测区域进行倾斜矫正，得到车牌的倾斜矫正后的图像。进行倾斜矫正的方法可以是使用透视函数，对第四检测区域进行倾斜矫正，也可以采用其他的方式矫正，此处不作限定。

本申请实施例中的第一回归模型和第二回归模型是一种基于回归方法深度训练得到的模型。两种模型的训练样本集都由完全重叠样本、重叠样本和覆盖样本三种样本组成，三种车牌样本图像如图3至图5所示，其中虚线框为对应的检测框。三种样本都是来自实际应用中拍摄的需要识别车牌图像的情形。下面对三种样本分别进行说明。

完全重叠样本，是指画面中的第一检测区域的检测框把需要识别的车牌图像完整圈出的情况，具体请参阅图3。这种情况是最理想的情况，识别难度最低，实际应用时，获取到的源图像中的第一检测框可能并不准确，还会有其他情况发生。此处源图像的第一检测框对应的是车牌样本图像中的第一或第二学习框，通过人工在图像中标出对应的学习框，模拟前述情景中的车牌检测情况，以便神经网络学习并创建第一或第二模型。具体方法是，由工程师在车牌样本图像中，正确标记出矩形车牌的四个顶点，即四角点位置和坐标，作为输入模型的学习材料之一。其中，第一学习框是由工程师在车牌样本图像中，直接标记车牌四角点，用于训练第一回归模型。第二学习框是在第一学习框的基础上标注的，具体来说，是通过插值的方法，在第一学习框的四边插入若干个点，组成第二学习框，用来训练第二回归模型。需要说明的是，组成第二学习框的点的数量应当与图2对应实施例中步骤205中第三检测框的点数量对应一致，才能使得第二回归模型正确处理第三检测框。

部分重叠样本，是指在获取到的源图像中，第一检测区域可能无法在整张画面中精确标出车牌图像，此时可能出现车牌图像只有部分轮廓处于第一检测区域内部的情况，具体请参阅图4。初步确定车牌位置是比较简单地，但是不够精确，因而在部分重叠样本中，样本中的学习框虽然大致在车牌附近，却也存在未与车牌图像完全重合的情况，将这种车牌样本图像作为训练样本的一种，模拟前述情况，相应地，也由工程师采用和完全重叠样本相似的标记方式标记出第一和第二学习框，此处不再赘述。

覆盖样本，是指在获取到的源图像中，第一检测区域标记不够准确，导致第一检测区域处在车牌轮廓内的情况，具体请参阅图5。在这种情况下，第一检测区域已经比车牌更小，显然没有完整的车牌图像在其中。对应的第一和第二学习框的标记方式与前述完全重叠样本的标记方法相似，此处不再赘述。

首先对训练样本集中各车牌的四个顶点，即四角点的坐标进行标注，顺时针得到车牌实际四角点坐标，记为G_t(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄)，第一回模型的训练样本是根据上述三种重叠情况随机在车牌附近对检测框进行平移、放大及缩小变换而生成，完全重叠样本、部分重叠样本和覆盖样本的分别按比例6:2:2构成第一训练样本集，用于训练第一回归模型。设第一学习框坐标为P_i(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄)，通过以下公式计算车牌实际四角点相对于第一学习框Pi的四角点的偏移量(Δx₁,Δy₁,Δx₂,Δy₂,Δx₃,Δy₃,Δx₄,Δy₄)：

Δx₁＝(G_x1-P_x1)/P_w,Δy₁＝(G_y1-P_y1)/P_h

Δx₂＝(G_x2-P_x2)/P_w,Δy₂＝(G_y2-P_y2)/P_h

Δx₃＝(G_x3-P_x3)/P_w,Δy₃＝(G_y3-P_y3)/P_h

Δx₄＝(G_x4-P_x4)/P_w,Δy₄＝(G_y4-P_y4)/P_h

其中，P_w、P_h分别代表学习框的宽度与高度。回归模型使用深度学习框架，快速特征嵌入的卷积结构(Convolutional Architecture for Fast Feature Embeddi，Caffe)训练，训练网络深度为3层，网络输入为32×16，用第一学习框Pi截取的图像作为训练样本并调整尺寸为32×16大小，以四角点偏移量作为学习标签，送入深度网络进行训练，回归模型其实就是学习车牌实际四角点位置相对于检测框四角点位置的偏移量。

在测试阶段可通过如下公式对第一检测框P_b(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄)得到的图像与深度网络卷积得到四角点偏移量(Δx₁,Δy₁,Δx₂,Δy₂,Δx₃,Δy₃,Δx₄,Δy₄)，来判断车牌实际四角点位置坐标G_b，其中：

G_bx1＝P_bx1+P_w×Δx₁,G_by1＝P_by1+P_h×Δy₁

G_bx2＝P_bx2+P_w×Δx₂,G_by2＝P_by2+P_h×Δy₂

G_bx3＝P_bx3+P_w×Δx₃,G_by3＝P_by3+P_h×Δy₃

G_bx4＝P_bx4+P_w×Δx₄,G_by4＝P_by4+P_h×Δy₄

其中，P_w、P_h分别代表随机生成的检测框宽度与高度。回归模型使用深度学习框架，快速特征嵌入的卷积结构(Convolutional Architecture for Fast Feature Embeddi，Caffe)训练，训练网络深度为3层，网络输入为32×16，用矩形框Pi截取的图像作为训练样本并调整尺寸为32×16大小，以四角点偏移量作为学习标签，送入深度网络进行训练，使得回归模型学习车牌实际四角点位置相对于检测框四角点位置的偏移量。此处的网络输入32×16是指将图像划分为32×16个网格进行处理。可以理解的是，训练网络的深度和网络输入的取值也可以是其他数值，例如调整训练网络深度为4层，网络输入为28×20。

第二训练样本集使用第一样本集中标记好的四角点数据，通过线性插值法对车牌四条边界按上、右、下、左顺时针方向分别插入50、25、50、25个边界点，使用这些边界点表示四边，这些边界点中应当包括车牌的四个顶点。顺时针得到车牌150个边界点坐标，记为G_t(x₁,y₁,x₂,y₂,…,x₁₅₀,y₁₅₀)。与第一训练样本集不同的是，构成第二训练样本集的完全重叠样本、部分重叠样本和覆盖样本比例改为2:3:5。设在车牌附近的第二学习框坐标为P_i(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄)，通过以下公式计算车牌150个边界点相对第二学习框Pi左上角边界点P_i(x₁,y₁)的偏移量(Δx₁,Δy₁,Δx₂,Δy₂,…,Δx₁₅₀,Δy₁₅₀)：

Δx₁＝(G_x1-P_x1)/P_w，Ay₁＝(G_y1-P_y1)/P_h

Δx₂＝(G_x2-P_x1)/P_w，Ay₂＝(G_y2-P_y1)/P_h

dx₁₅₀＝(C_x150-P_x1)lP_w，Δy₁₅₀＝(C_y150-P_y1)lP_h

其中，P_w、P_h分别代表随机生成的第二学习框P_i的宽度与高度。第二回归模型的训练网络深度为4层，网络输入为64×64，用第二学习框Pi截取的图像作为训练样本并调整尺寸为64×64大小，以150个边界点的偏移量作为学习标签，送入深度网络进行训练，第二回归模型就是学习车牌150个边界点相对于检测框左上角边界点的偏移量，作为四边偏移量。

在测试阶段可通过如下公式，通过第二学习框P_b(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄)与深度网络卷积得到150个边界点的偏移量(Δx₁,Δy₁,Δx₂,Δy₂,…,Δx₁₅₀,Δy₁₅₀)来判断表示车牌四边的150个边界点的坐标：

G_bx1＝P_bx1+P_w×Δx₁,G_by1＝P_by1+P_h×Δy₁

G_bx2＝P_bx1+P_w×Δx₂,G_by2＝P_by1+P_h×Δy₂

G_bx150＝P_bx1+P_w×Δx₁₅₀,G_by150＝P_by1+P_h×Δy₁₅₀

需要说明的是，构成第一和第二训练样本集的三种车牌样本图像比例不限于本申请实施例所举出的数值，可以按照实际情况选取训练样本集中三种车牌样本图像的比例。

经过以上计算，可以得到用于表示车牌四边的150个坐标点。选取其中车牌的四个顶点坐标，分别为G_b50(x1，y1)、G_b50(x50，y50)、G_b75(x75，y75)、G_b125(x125，y125)，构成一个四边形，将该四边形作为第四检测区域。经过第二次回归模型的调整，此时的第四检测区域已经足够精确，与图像中车牌的实际轮廓吻合。可以理解的是，此处仅以150个边界点的情况作为举例说明，实际应用中，可以采用更多或更少的边界点计算四边偏移量。

本申请实施例还提供了一种车牌矫正装置，请参阅图6，该车牌矫正装置包括：

获取单元601，用于获取源图像，源图像中标记有第一检测区域，第一检测区域至少包括部分车牌图像；

扩大单元602，用于扩大第一检测区域得到第二检测区域；

第一回归单元603，用于使用第一回归模型对第二检测区域内的图像进行计算得到四角点偏移量，第一回归模型通过深度学习框架以四角点偏移量作为学习标签学习第一训练样本集生成，第一训练样本集包括多个真实环境中的第一类车牌样本图像,每一个车牌样本图像中包括第一学习框和车牌四个边角点的实际坐标；

第一调整单元604，用于根据四角点偏移量调整第二检测区域得到第三检测区域；

第二检测单元605，用于使用第二回归模型对第三检测区域进行计算得到四边偏移量，第二回归模型通过深度学习框架以车牌的四边偏移量为学习标签学习第二训练样本集生成，第一训练样本集包括多个采集于真实环境中的第二类车牌样本图像，每一个第二类车牌样本图像中包括第二学习框和车牌四边的实际坐标；

第二调整单元606，用于根据四边偏移量调整第三检测区域得到第四检测区域；

矫正单元607，用于对第四检测区域内的图像进行倾斜矫正。

优选地，扩大单元具体用于：对第一检测区域上下边界分别扩大第一比例、左右边界分别扩大第二比例得到第二检测区域。

优选地，第一训练样本集和第二样本训练集都包括完全重叠样本、部分重叠样本和覆盖样本，其中：

第一训练样本集的完全重叠样本中，第一学习框内包括完整的车牌轮廓；

第一训练样本集的部分重叠样本中，第一学习框内包括不完整的车牌轮廓；

第一训练样本集的覆盖样本中，第一学习框在车牌轮廓内；

第二训练样本集的完全重叠样本中，第二学习框内包括完整车牌轮廓；

第二训练样本集的部分重叠样本中，第二学习框内包括不完整的车牌轮廓；

第二训练样本集的覆盖样本中，第二学习框在车牌轮廓内。

优选地，调整单元具体用于：按照四角点偏移量调整第三检测区域的四角点得到四个过渡坐标点；作出四个过渡坐标点的最小外接矩形，将最小外接矩形作为第三检测区域。

优选地，深度学习框架采用快速特征嵌入的卷积结构，第一回归模型训练深度为3层，第二回归模型训练深度为4层。

优选地，第二类车牌样本图像的车牌轮廓由第一类车牌样本图像的四角点坐标经过插值处理得到。

优选地，矫正单元具体用于：使用透视矫正函数对第四检测区域的图像进行倾斜矫正。

图7是本申请实施例提供的一种车牌矫正装置的结构示意图，该车牌矫正装置70可以包括一个或一个以上中央处理器(central processing units，CPU)701和存储器702，该存储器702中存储有一个或一个以上的应用程序或数据。

其中，存储器702可以是易失性存储或持久存储。存储在存储器702的程序可以包括一个或一个以上模块，每个模块可以包括对车牌矫正装置中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器702通信，执行存储器702中的一系列指令操作。

该车牌矫正装置70还可以包括一个或一个以上电源703，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。

该中央处理器701可以执行前述图2所示实施例中的方法，具体此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的车牌矫正方法的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种车牌矫正方法，其特征在于，包括：

扩大所述第一检测区域得到第二检测区域；

对所述第四检测区域内的图像进行倾斜矫正。

2.根据权利要求1所述的车牌矫正方法，其特征在于，所述扩大第一检测区域得到第二检测区域包括：

对第一检测区域上下边界分别扩大第一比例、左右边界分别扩大第二比例得到第二检测区域。

3.根据权利要求1所述的车牌矫正方法，其特征在于，

所述第一训练样本集和第二样本训练集都包括完全重叠样本、部分重叠样本和覆盖样本，其中：

所述第一训练样本集的完全重叠样本中，所述第一学习框内包括完整的车牌轮廓；

所述第一训练样本集的部分重叠样本中，所述第一学习框内包括不完整的车牌轮廓；

所述第一训练样本集的覆盖样本中，所述第一学习框在车牌轮廓内；

所述第二训练样本集的完全重叠样本中，所述第二学习框内包括完整车牌轮廓；

所述第二训练样本集的部分重叠样本中，所述第二学习框内包括不完整的车牌轮廓；

所述第二训练样本集的覆盖样本中，所述第二学习框在车牌轮廓内。

4.根据权利要求1至3中任一项所述的车牌矫正方法，其特征在于，所述根据所述四角点偏移量调整所述第二检测区域得到第三检测区域包括：

5.根据权利要求1至3中任一项所述的车牌矫正方法，其特征在于，所述深度学习框架采用快速特征嵌入的卷积结构，所述第一回归模型训练深度为3层，所述第二回归模型训练深度为4层。

6.根据权利要求1至3中任一项所述的车牌矫正方法，其特征在于，所述第二类车牌样本图像的车牌轮廓由所述第一类车牌样本图像的四角点坐标经过插值处理得到。

7.根据权利要求1至3中任一项所述的车牌矫正方法，其特征在于，所述对所述第四检测区域内的图像进行倾斜矫正包括：使用透视矫正函数对所述第四检测区域的图像进行倾斜矫正。

8.一种车牌矫正装置，包括：

获取单元，用于获取源图像，所述源图像中标记有第一检测区域，所述第一检测区域至少包括部分车牌轮廓；

扩大单元，用于扩大所述第一检测区域得到第二检测区域；

第二回归单元，用于使用第二回归模型对所述第三检测区域进行计算得到四边偏移量，所述第二回归模型通过所述深度学习框架以车牌的所述四边偏移量为学习标签学习第二训练样本集生成，所述第一训练样本集包括多个采集于真实环境中的第二类车牌样本图像，每一个所述第二类车牌样本图像中包括第二学习框和车牌四边的实际坐标；

9.一种车牌矫正装置，其特征在于，包括处理器和存储器，所述处理器与所述存储器通过总线连接，所述存储器用于存储计算机执行指令，当所述车牌矫正装置运行时，所述处理器读取所述存储器存储的所述计算机执行指令，以使所述车牌矫正装置执行权利要求1至7任一项所述的车牌矫正方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行如权利要求1至7中任一项所述的车牌矫正方法。