CN107798323B - 一种车牌图像定位方法及设备 - Google Patents

Abstract

本发明涉及一种车牌图像定位方法及设备，用于解决目前对于车牌图像中车牌的定位的结果不够准确的技术问题。其中车牌图像定位方法包括：获得第一图像；所述第一图像为针对车牌拍摄的图像，所述第一图像中包括所述车牌的影像；通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息；根据所述至少一个顶点的信息对所述第一图像中的所述车牌的影像进行定位。

Description

一种车牌图像定位方法及设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种车牌图像定位方法及设备。

背景技术

目前，在拍摄车牌图像后，因为所拍摄的图像中除了车牌本身之外可能还有一些别的背景信息，因此需要从图像中将车牌进行定位。

传统的车牌定位，一般是通过人工观察分析收集得到的样本图像，总结经验，再通过图像处理的方法设计对应的车牌定位策略，从而对车牌图像中的车牌进行定位。但通过人工分析的方式来观察分析，显然工作量较大，而且人工处理，一般为了节省时间，所采集的样本图像比较少，可能收集的样本图像无法涵盖各种情况，这也就导致对车牌的定位结果不是很准确。

发明内容

本发明实施例提供一种车牌图像定位方法及设备，用于解决目前对于车牌图像中车牌的定位的结果不够准确的技术问题。

第一方面，提供一种车牌图像定位方法，包括：

获得第一图像；所述第一图像为针对车牌拍摄的图像，所述第一图像中包括所述车牌的影像；

通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息；

根据所述至少一个顶点的信息对所述第一图像中的所述车牌的影像进行定位。

可选的，所述机器学习模型为ANN模型。

可选的，通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息，包括：

将所述第一图像的信息输入所述ANN模型；其中，所述ANN模型中的输入层的神经元的数量为根据所述第一图像的尺寸得到的，所述ANN模型的输出层的神经元的数量为根据所述车牌影像的顶点的数量得到的；

获得所述ANN模型输出的所述至少一个顶点的信息。

可选的，获得所述ANN模型输出的所述至少一个顶点的信息，包括：

获得所述ANN模型输出的8个坐标信息；其中每个坐标信息为所述车牌的影像的一个顶点的横坐标信息或纵坐标信息；

根据所述8个坐标信息得到所述车牌的影像的4个顶点的坐标信息。

可选的，在通过机器学习模型学习所述第一图像，以得到所述车牌影像的至少一个顶点的信息之前，还包括：

以至少一张图像作为训练样本，对所述ANN模型进行训练；所述至少一张图像中的每张图像的尺寸均与所述第一图像的尺寸相同。

可选的，所述方法还包括：

在所述ANN模型的训练过程中，采用反向传播梯度下降法对所述ANN模型的参数进行调整。

第二方面，提供一种车牌图像定位设备，包括：

获取模块，用于获得第一图像；所述第一图像为针对车牌拍摄的图像，所述第一图像中包括所述车牌的影像；

学习模块，用于通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息；

定位模块，用于根据所述至少一个顶点的信息对所述第一图像中的所述车牌的影像进行定位。

可选的，所述机器学习模型为ANN模型。

可选的，所述学习模块用于：

将所述第一图像的信息输入所述ANN模型；其中，所述ANN模型中的输入层的神经元的数量为根据所述第一图像的尺寸设置的，所述ANN模型的输出层的神经元的数量为根据所述车牌影像的顶点的数量设置的；

获得所述ANN模型输出的所述至少一个顶点的信息。

可选的，所述设备还包括提取模块；

所述提取模块用于：在所述学习模块将所述第一图像的信息输入所述ANN模型之前，提取所述第一图像的特征信息；

所述学习模块用于将所述第一图像的信息输入所述ANN模型，包括：将所述第一图像的特征信息输入所述ANN模型。

可选的，所述学习模块用于获得所述ANN模型输出的所述至少一个顶点的信息，包括：

获得所述ANN模型输出的8个坐标信息；其中每个坐标信息为所述车牌的影像的一个顶点的横坐标信息或纵坐标信息；

根据所述8个坐标信息得到所述车牌的影像的4个顶点的坐标信息。

可选的，所述设备还包括训练模块，用于：

在所述学习模块通过机器学习模型学习所述第一图像，以得到所述车牌影像的至少一个顶点的信息之前，以至少一张图像作为训练样本，对所述ANN模型进行训练；所述至少一张图像中的每张图像的尺寸均与所述第一图像的尺寸相同。

可选的，所述训练模块还用于：

在所述ANN模型的训练过程中，采用反向传播梯度下降法对所述ANN模型的参数进行调整。

本发明实施例提供了一种新的车牌图像定位方法，只需将包括车牌的影像的第一图像输入机器学习模型，即可通过机器学习模型得到第一图像中车牌的影像的至少一个顶点的信息，从而根据获得的至少一个顶点的信息就可以对第一图像中车牌的影像进行定位，通过机器学习模型来进行操作，无需人工分析观察，极大地减少了人工的工作量，也提高了操作效率。另外由于通过机器学习模型来学习，机器学习模型一般收集的样本图像比较多，涵盖面比较完善，尽量可以涵盖各种情况，从而使得对车牌的定位结果较为准确。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的车牌图像定位方法的流程图；

图2为本发明实施例提供的ANN模型的示意图；

图3为本发明实施例提供的车牌图像定位设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。

以下以具体实施例进行介绍：

如图1所示，本发明实施例提供一种车牌图像定位方法，该方法的流程描述如下：

步骤101：获得第一图像；第一图像为针对车牌拍摄的图像，第一图像中包括车牌的影像；

步骤102：通过机器学习模型学习第一图像，以得到车牌的影像的至少一个顶点的信息；

步骤103：根据至少一个顶点的信息对第一图像中的车牌的影像进行定位。

第一图像可以是针对车牌所拍摄的图像，因此第一图像中包括车牌的影像。由于第一图像中除了车牌的影像之外可能还包括了其他物体的影像，例如还包括了车身的一部分的影像，因此在需要对其中的车牌影像进行分析时，首先需要在第一图像中对车牌影像进行定位，即在第一图像中找到属于车牌影像的部分。下面介绍本发明实施例所提供的对第一图像中的车牌影像进行定位的方法。

在得到第一图像后，首先可以对第一图像进行粗检，并可以将粗检后得到的图像送入机器学习模型。其中，对包含车牌的影像的图像进行粗检，是指经过现有车牌识别方案中的粗糙定位，得到图像中的感兴趣区域的图像，按照本发明实施例的方案来说，就是先初步从第一图像中滤除一部分无关的影像，从而从第一图像中初步得到包括了车牌的影像的区域的图像。一般来说，粗检得到的区域比较常见的有标准型的和非标准型的，标准型的比如得到图像中车牌的影像的外接矩形，非标准型的比如将第一图像处理为固定比例的图像，且处理得到的图像中包括了车牌的影像。对第一图像进行粗检，方式可以参考现有技术，不多赘述。

本发明实施例中，将第一图像粗检后得到的图像称为粗检图像。在得到粗检图像后，可以将粗检图像进行适当的缩放处理，将该粗检图像缩放为标准尺寸，再将具有标准尺寸的粗检图像送入机器学习模型。这里的标准尺寸，可以是本发明实施例中的机器学习模型能够正确学习的尺寸，例如可以为机器学习模型规定某种尺寸，则送入机器学习模型的待定位的图像和作为训练样本的图像就需要是这种尺寸，以使得机器学习模型得到的定位结果较为准确。对于标准尺寸，本发明实施例不作限制，例如为128*64，或者为176*55，当然也可能是其他的尺寸。在将粗检图像处理为标准尺寸的图像后，再将粗检图像送入本发明实施例所提供的机器学习模型。因为本发明实施例在将粗检图像送入机器学习模型时是将其处理为了标准尺寸，因此需要注意，对机器学习模型的输出结果也应按照相应的缩放比例投影回原粗检图像的尺寸，才能得到对于车牌的影像的精定位结果。

作为直接将粗检图像送入机器学习模型的替代方案，本发明实施例中，在得到粗检图像后，可以提取粗检图像的特征信息，再将提取的粗检图像的特征信息送入机器学习模型进行学习。提取特征信息，可以理解为提取粗检图像中的有用的信息或有效的信息，相当于从粗检图像中滤除了一些无效信息，将特征信息送入机器学习模型，机器学习模型需要学习的信息减少，可以减轻机器学习模型的工作量，且因为送入的是有效信息，基本不会影响定位结果的准确性。其中，提取图像的特征信息，可以采用现有技术中的任意特征提取算法，本发明实施例对此不作限制。

本发明实施例对于机器学习模型的类型不作限制，例如可以是普通的机器学习模型，或者也可以是机器学习回归模型。机器学习回归模型中，例如决策树、或人工神经网络(Artificial Neural Network，ANN)、或随机森林、或boost等都可以完成本发明实施例的技术方案。简单来说，无论哪种机器学习模型，只要是能够改造成可以输出8个值的形式来实现本发明实施例的意图，则都在本发明实施例的保护范围之内。下面仅以ANN为例来进行介绍。

本发明实施例采用三层网络结构的ANN模型，所谓的三层网络，分别为输入层、中间层和输出层，其结构可参考图2，图2中的圆圈代表神经元，可以看到图2中包括三列神经元，最左侧的一列神经元表示输入层的神经元，中间的一列神经元表示中间层的神经元，最右侧的一列神经元表示输出层的神经元。本发明实施例要对三层网络结构的ANN模型进行改造，即，将ANN模型中的输入层的神经元的数量和输出层的神经元的数量按照本发明实施例的需求进行设置。下面进行介绍。另外，虽然在前面介绍了，输入机器学习模型的可以直接是粗检图像，或者也可以是粗检图像的特征信息，但下面仍然以输入粗检图像为例。

首先介绍如何设置本发明实施例所需的ANN模型。本发明实施例中，以标准尺寸是176*55的3通道色调，饱和度，明度(Hue，Saturation，Value，HSV)色彩图像为例，因此本发明实施例中，将ANN模型的输入层的神经元数量设计为成29040，其中29040＝176*55*3。可以看出，根据输入的图像的尺寸不同，设置的ANN模型的输入层的神经元的数量也有可能不同，例如如果输入的图像是128*64的3通道HSV图像，则输入层的神经元的数量可以是128*64*3＝24576，或者例如输入ANN模型的都是特征信息，则又可以根据特征信息的尺寸设置输入层的神经元数量。ANN模型的中间层的神经元数量可以按照经验值设计，例如为300，当然也不限于300。关于ANN模型的输出层的设计是本发明实施例的核心要点。由于本发明实施例要对车牌的影像进行定位，而车牌一般都是矩形，矩形包括四个顶点，如果获得了这四个顶点的坐标，也就实现了对车牌影像的定位，因此本发明实施例希望得到的是车牌的影像的4个顶点的坐标信息，而每个顶点的坐标信息又包括2个值，分别为横坐标信息和纵坐标信息，因此本发明实施例中可以将ANN模型的输出层的神经元数量设置为8，其中8＝4*2，分别代表四个顶点包括的8个坐标值。可以将输出层的输出结果展开为向量形式，为[x0，y0，x1，y1，x2，y2，x3，y3]，其中的x0、y0、x1、y1、x2、y2、x3和y3分别为输出层的8个神经元的输出结果。例如其中的(x0，y0)代表车牌的影像的左上角顶点的坐标信息，(x1，y1)代表车牌的影像的右上角顶点的坐标信息，(x2，y2)代表车牌的影像的左下角顶点的坐标信息，(x3，y3)代表车牌的影像的右下角顶点的坐标信息。

在设置ANN模型后，先要对ANN模型进行训练，从而在训练后得到较为适合的模型函数。本发明实施例中，可以以至少一张图像作为训练样本，对ANN模型进行训练，其中至少一张图像中的每张图像的尺寸都可以是为该ANN模型所设置的标准尺寸，作为一个例子，至少一张图像中的每张图像都可以是176*55的3通道HSV图像。为了使得ANN模型对车牌的定位结果更为准确，所采用的训练样本的数量可以尽量多，当然如果出于时间等因素的考虑，训练样本的数量也可以适当控制，总之究竟采用多少训练样本进行训练，可以根据实际情况而定。另外，因为至少一张图像是作为训练图像，因此这些图像里都包括车牌的影像，且在这些图像里，车牌的影像都已经进行了定位，即在这些图像里，车牌的影像的四个顶点的坐标信息可以是已知的。本发明实施例中为了区分训练所用的图像和待进行定位的图像，可以将训练所用的至少一张图像中的每张图像称为训练图像。

以将一张训练图像进行训练为例。该训练图像为176*55的3通道HSV图像，可以将其进行标记，即可以将其展开为一个向量，该向量为29040维的向量，再将得到的向量输入ANN模型，得到8个输出结果。在本发明实施例中，在ANN模型的训练过程中，还可以利用反向传播梯度下降法(Back-Propagate gradient descent)进行自适应的参数调整，使得得到的ANN模型的参数更为准确。通过对至少一张图像的训练，就可以得到能够满足本发明实施例的需求的较为合理的ANN模型。

在对ANN模型训练完毕后，例如要对第一图像中的车牌的影像进行定位，则只需将第一图像输入该ANN模型即可实现，根据如前的介绍可知，本发明实施例输入ANN模型的是对第一图像进行粗检后得到的粗检图像。当然也可以将粗检图像的特征信息送入ANN模型来实现对第一图像中的车牌的影像进行定位，本发明实施例以输入粗检图像为例。该粗检图像为176*55的3通道HSV图像，可以将其进行标记，即可以将其展开为一个向量，该向量为29040维的向量，再将得到的向量输入ANN模型，通过前向传播计算，就可以通过ANN模型输出层的8个神经元得到8个输出结果。其中，可以预先规定ANN模型的输出层的神经元和车牌的影像的顶点之间的对应关系，例如输出层的8个神经元的代号分别为x0、y0、x1、y1、x2、y2、x3、和y3，其中的(x0，y0)代表车牌的影像的左上角顶点的坐标信息，(x1，y1)代表车牌的影像的右上角顶点的坐标信息，(x2，y2)代表车牌的影像的左下角顶点的坐标信息，(x3，y3)代表车牌的影像的右下角顶点的坐标信息，则据此就可以将8个输出结果按照其各自对应的顶点进行组合，从而得到对于车牌的影像的精定位结果。

下面结合附图介绍本发明实施例提供的设备。

请参见图3，基于同一发明构思，提供一种车牌图像定位设备，该设备可以包括获取模块301、学习模块302和定位模块303。

在本发明实施例中：

获取模块301，用于获得第一图像；第一图像为针对车牌拍摄的图像，第一图像中包括车牌的影像；

学习模块302，用于通过机器学习模型学习第一图像，以得到车牌的影像的至少一个顶点的信息；

定位模块303，用于根据至少一个顶点的信息对第一图像中的车牌的影像进行定位。

在一种实施方式中，

所述的机器学习模型为ANN模型。

学习模块302用于：

将第一图像的信息输入ANN模型；其中，ANN模型中的输入层的神经元的数量为根据第一图像的尺寸设置的，ANN模型的输出层的神经元的数量为根据车牌影像的顶点的数量设置的；

获得ANN模型输出的至少一个顶点的信息。

在一种实施方式中，该车牌图像定位设备还包括提取模块。其中，

提取模块用于：在学习模块302将第一图像的信息输入ANN模型之前，提取第一图像的特征信息；

学习模块302用于将第一图像的信息输入ANN模型，包括：将第一图像的特征信息输入ANN模型。

在一种实施方式中，学习模块302用于获得ANN模型输出的至少一个顶点的信息，包括：

获得ANN模型输出的8个坐标信息；其中每个坐标信息为车牌的影像的一个顶点的横坐标信息或纵坐标信息；

根据8个坐标信息得到车牌的影像的4个顶点的坐标信息。

在一种实施方式中，该车牌定位设备还包括训练模块，用于：

在学习模块302通过机器学习模型学习第一图像，以得到车牌影像的至少一个顶点的信息之前，以至少一张图像作为训练样本，对ANN模型进行训练；至少一张图像中的每张图像的尺寸均与第一图像的尺寸相同。

在一种实施方式中，训练模块还用于：

在ANN模型的训练过程中，采用反向传播梯度下降法对ANN模型的参数进行调整。

该车牌定位设备可以用于执行图1所示的实施例提供的方法，因此对于该车牌定位设备中的功能模块所能完成的功能等介绍可参考图1所示的实施例中的相关描述，不多赘述。

综上所述，有益效果：

本发明实施例提供了一种新的车牌图像定位方法，只需将包括车牌的影像的第一图像输入机器学习模型，即可通过机器学习模型得到第一图像中车牌的影像的至少一个顶点的信息，从而根据获得的至少一个顶点的信息就可以对第一图像中车牌的影像进行定位，通过机器学习模型来进行操作，无需人工分析观察，极大地减少了人工的工作量，也提高了操作效率。另外由于通过机器学习模型来学习，机器学习模型一般收集的样本图像比较多，涵盖面比较完善，尽量可以涵盖各种情况，从而使得对车牌的定位结果较为准确。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种车牌图像定位方法，其特征在于，包括：

获得第一图像；所述第一图像为针对车牌拍摄的图像，所述第一图像中包括所述车牌的影像；

通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息；

根据所述至少一个顶点的信息对所述第一图像中的所述车牌的影像进行定位；

所述机器学习模型为人工神经网络ANN模型；

通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息，包括：

将所述第一图像的信息输入所述ANN模型；其中，所述ANN模型中的输入层的神经元的数量为根据所述第一图像的尺寸设置的，所述ANN模型的输出层的神经元的数量为根据所述车牌影像的顶点的数量设置的；

获得所述ANN模型输出的所述至少一个顶点的信息；

在将所述第一图像的信息输入所述ANN模型之前，还包括：

提取所述第一图像的特征信息；

将所述第一图像的信息输入所述ANN模型，包括：

将所述第一图像的特征信息输入所述ANN模型；

获得所述ANN模型输出的所述至少一个顶点的信息，包括：

获得所述ANN模型输出的8个坐标信息；其中每个坐标信息为所述车牌的影像的一个顶点的横坐标信息或纵坐标信息；

根据所述8个坐标信息得到所述车牌的影像的4个顶点的坐标信息；

在通过机器学习模型学习所述第一图像，以得到所述车牌影像的至少一个顶点的信息之前，还包括：

以至少一张图像作为训练样本，对所述ANN模型进行训练；所述至少一张图像中的每张图像的尺寸均与所述第一图像的尺寸相同；

所述方法还包括：

在所述ANN模型的训练过程中，采用反向传播梯度下降法对所述ANN模型的参数进行调整。

2.一种车牌图像定位设备，其特征在于，包括：

获取模块，用于获得第一图像；所述第一图像为针对车牌拍摄的图像，所述第一图像中包括所述车牌的影像；

学习模块，用于通过机器学习模型学习所述第一图像，以得到所述车牌的影像的至少一个顶点的信息；

定位模块，用于根据所述至少一个顶点的信息对所述第一图像中的所述车牌的影像进行定位；

所述机器学习模型为人工神经网络ANN模型；

所述学习模块用于：

将所述第一图像的信息输入所述ANN模型；其中，所述ANN模型中的输入层的神经元的数量为根据所述第一图像的尺寸设置的，所述ANN模型的输出层的神经元的数量为根据所述车牌影像的顶点的数量设置的；

获得所述ANN模型输出的所述至少一个顶点的信息；

所述设备还包括提取模块；

所述提取模块用于：在所述学习模块将所述第一图像的信息输入所述ANN模型之前，提取所述第一图像的特征信息；

所述学习模块用于将所述第一图像的信息输入所述ANN模型，包括：将所述第一图像的特征信息输入所述ANN模型；

所述学习模块用于获得所述ANN模型输出的所述至少一个顶点的信息，包括：

获得所述ANN模型输出的8个坐标信息；其中每个坐标信息为所述车牌的影像的一个顶点的横坐标信息或纵坐标信息；

根据所述8个坐标信息得到所述车牌的影像的4个顶点的坐标信息；

所述设备还包括训练模块，用于：

在所述学习模块通过机器学习模型学习所述第一图像，以得到所述车牌影像的至少一个顶点的信息之前，以至少一张图像作为训练样本，对所述ANN模型进行训练；所述至少一张图像中的每张图像的尺寸均与所述第一图像的尺寸相同；

所述训练模块还用于：

在所述ANN模型的训练过程中，采用反向传播梯度下降法对所述ANN模型的参数进行调整。

Images