CN108268867B

CN108268867B - 一种车牌定位方法及装置

Info

Publication number: CN108268867B
Application number: CN201611261487.4A
Authority: CN
Inventors: 蔡晓蕙
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2020-10-30
Anticipated expiration: 2036-12-30
Also published as: US20200125876A1; WO2018121006A1; EP3564855A1; CN108268867A; US11126882B2; EP3564855A4

Abstract

本申请实施例提供了一种车牌定位方法及装置。所述方法包括：获得待定位车牌图像；发送所述待定位车牌图像至用于车牌定位的目标网络，所述目标网络包括特征提取层和回归层；所述特征提取层提取所述待定位车牌图像的特征值，并发送所述特征值至所述回归层；获得所述回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合；根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。其中，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合。应用本申请实施例提供的方案进行车牌定位，能够提高车牌定位过程的准确性。

Description

一种车牌定位方法及装置

技术领域

本申请涉及智能交通技术领域，特别涉及一种车牌定位方法及装置。

背景技术

车牌是车辆的“身份证”，是区别于其他机动车辆的一项重要信息。车牌识别技术已被广泛应用在卡口、停车场和电子警察等场景中，以获取场景内车辆的号牌信息，在治安管理等众多方面发挥着“智能交通算法”的威力。

现有技术中，在对包含车辆号牌的车牌图像进行车牌定位时，通常根据车牌中字符与背景的颜色不同，车牌区域存在大量字符与背景的交界点等特征进行定位。例如，对于图1a所示的车牌图像，在定位其中的车牌区域时，可以以像素点的横向坐标为横轴，以像素点的像素值为纵轴，获得车牌图像的每一行像素点的像素值变化曲线，从该像素值变化曲线中找到像素值规律性起伏变化的部分，该部分对应的车牌图像上的区域即为车牌区域。

通常，采用上述车牌定位方法能够定位出常见车牌图像中的车牌区域。但是，对于字符数量很少的车牌，车牌区域中字符与背景的交界点很少，例如图1b中所示的车牌中连续车牌字符数量只有1～2个。这类车牌对应的车牌图像的像素值变化曲线中，像素值规律性起伏变化的部分不明显，因此采用上述车牌定位方法定位的车牌区域的准确性不高。

发明内容

本申请实施例的目的在于提供了一种车牌定位方法及装置，以提高车牌定位过程的准确性。具体的技术方案如下。

为了达到上述目的，一方面，本申请实施例公开了一种车牌定位方法，所述方法包括：

获得待定位车牌图像；

发送所述待定位车牌图像至用于车牌定位的目标网络，其中，所述目标网络包括特征提取层和回归层，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合；

所述特征提取层提取所述待定位车牌图像的特征值，并发送所述特征值至所述回归层；

获得所述回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合；

根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。

可选的，所述根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域，包括：

将所获得的组合中置信度大于预设阈值的定位区域确定为目标定位区域；

根据所述目标定位区域，确定所述待定位车牌图像的车牌区域。

可选的，所述根据所述目标定位区域，确定所述待定位车牌图像的车牌区域，包括：

确定所述目标定位区域中车牌框区域和车牌字符区域之间的相对位置；

将所述相对位置处于预设的相对位置范围内的目标定位区域，确定为所述待定位车牌图像的车牌区域。

将所述目标定位区域中的车牌字符区域，确定为所述待定位车牌图像的车牌区域。

可选的，所述方法还包括：

对确定的车牌区域进行字符识别，获得所述待定位车牌图像的车牌号码。

为了达到上述目的，另一方面，本申请实施例公开了一种车牌定位装置，所述装置包括：

图像获得模块，用于获得待定位车牌图像；

图像发送模块，用于发送所述待定位车牌图像至用于车牌定位的目标网络，其中，所述目标网络包括特征提取层和回归层，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合；

特征提取模块，用于所述特征提取层提取所述待定位车牌图像的特征值，并发送所述特征值至所述回归层；

组合获得模块，用于获得所述回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合；

区域确定模块，用于根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。

可选的，所述区域确定模块，包括：

目标区域确定子模块，用于将所获得的组合中置信度大于预设阈值的定位区域确定为目标定位区域；

车牌区域确定子模块，用于根据所述目标定位区域，确定所述待定位车牌图像的车牌区域。

可选的，所述车牌区域确定子模块，具体用于：

可选的，所述车牌区域确定子模块，具体用于：将所述目标定位区域中的车牌字符区域，确定为所述待定位车牌图像的车牌区域。

可选的，所述装置还包括：

车牌识别模块，用于对确定的车牌区域进行字符识别，获得所述待定位车牌图像的车牌号码。

由上述技术方案可见，本申请实施例提供的方案中，在获得待定位车牌图像之后，将待定位车牌图像发送至用于车牌定位的目标网络，其中，目标网络包括特征提取层和回归层，然后，特征提取层提取待定位车牌图像的特征值，并发送特征值至回归层，获得回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合，最后，根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。其中，目标网络预先通过样本车牌图像训练而成，样本车牌图像包括正样本车牌图像，正样本车牌图像包括车牌框区域和车牌字符区域的组合。

也就是说，本申请实施例根据目标网络将检测出的车牌框区域和车牌字符区域的组合对应的定位区域，确定待定位车牌图像的车牌区域。由于待定位车牌图像中可能存在很多非车牌字符区域，而根据车牌框区域和车牌字符区域之间的组合关系可以从众多的干扰因素中准确定位车牌区域，无需根据字符与背景的交界点等特征进行定位，因此应用本申请实施例提供的方案，能够提高车牌定位过程的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为包含车牌区域的车牌图像示例；

图1b为字符数量较少的车牌示例；

图1c为车身包含非车牌字符的车牌图像示例；

图2为本申请实施例提供的车牌定位方法的一种流程示意图；

图3为几个车牌中车牌框区域和车牌字符区域的组合示例；

图4为目标网络的一种结构示意图；

图5为本申请实施例提供的车牌定位装置的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种车牌定位方法及装置，应用于电子设备，该电子设备可以是终端设备或服务器等，其中，终端设备可以包括计算机、平板电脑、智能手机、行车记录仪等设备。应用本申请实施例中的技术方案进行车牌定位，能够提高车牌定位过程的准确性。下面通过具体实施例，对本申请进行详细说明。

图2为本申请实施例提供的车牌定位方法的一种流程示意图，应用于电子设备。该方法具体包括如下步骤：

步骤S201：获得待定位车牌图像。

具体的，步骤S201是由执行主体执行的步骤。需要说明的是，作为执行主体的电子设备内部可以包含图像采集设备，也可以不包含图像采集设备。

具体的，当作为执行主体的电子设备内部包含图像采集设备时，电子设备在获得待定位车牌图像时，可以包括：接收图像采集设备采集的待定位车牌图像。

当作为执行主体的电子设备内部不包含图像采集设备时，该电子设备可以与外部的图像采集设备相连，电子设备在获得待定位车牌图像时，可以包括：获取图像采集设备采集的待定位车牌图像。并且，获取的待定位车牌图像可以是图像采集设备实时采集的，也可以不是实时采集的，而是图像采集设备预先采集好之后存储起来的。

上述待定位车牌图像可以理解为，要进行车牌区域定位的图像。可以理解的是，车牌通常是安装或放置于车辆上的，因此，上述待定位车牌图像可以理解为：要进行车牌区域定位的包含车辆的图像。基于此，上述待定位车牌图像可以是道路上抓拍的包含车辆的图像，可以是在停车场拍摄的包含车辆的图像，等等。当然，上述待定位车牌图像可以是任意一种包含车牌区域的图像，本申请对待定位车牌图像的获得方式不做具体限定。

步骤S202：发送所述待定位车牌图像至用于车牌定位的目标网络。

具体的，步骤S202是由执行主体执行的步骤。其中，所述目标网络包括特征提取层和回归层。所述特征提取层，用于提取所述待定位车牌图像的特征值，并将所述特征值输入所述回归层。所述回归层，用于根据所述特征值得到车牌框区域和车牌字符区域的组合。所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合。

上述车牌框区域可以理解为，车牌外边框所围成的区域。车牌字符区域可以理解为，车牌区域中车牌字符所在的区域。例如，图3中有4个车牌，每个车牌中编号为1的区域为车牌框区域，编号为2的区域为车牌字符区域。

具体的，发送所述待定位车牌图像至用于车牌定位的目标网络，可以包括：发送所述待定位车牌图像至用于车牌定位的目标网络中的特征提取层。

本实施例中，目标网络可以是卷积神经网络等深度学习网络。目标网络还可以包括输入层，该输入层可以用于接收待定位车牌图像，对待定位车牌图像进行预处理，并将预处理后的待定位车牌图像输入特征提取层。所述预处理具体可以包括以下情况中的至少一种：对图像的像素值进行归一化；按照预设灰度阈值，对图像像素的灰度值进行处理，以便改善图像过亮或过暗的情况；对图像的尺寸进行修改等。

当目标网络包括输入层时，发送所述待定位车牌图像至用于车牌定位的目标网络，可以包括：发送所述待定位车牌图像至用于车牌定位的目标网络中的输入层。

作为一种具体实施方式，目标网络还可以包括输出层。当回归层得到车牌框区域和车牌字符区域的组合时，可以将所述组合通过输出层进行输出。另外，输出层也可以对上述组合进行一定处理后再输出，例如数据封装等。

作为一种具体实施方式，上述目标网络可以同时包含输入层、特征提取层、回归层、输出层等。当上述目标网络为卷积神经网络时，该目标网络也可以称为级联卷积神经网络。应用于级联卷积神经网络中的变化卷积核和激活函数，可以提取更复杂的字符特征，加大字符特征和非字符特征之间的类间差，同时也减小字符特征和非字符特征之间的类内差，从而更容易使回归层回归出车牌字符区域。

作为一个例子，图4给出了目标网络的一种结构示意图，其中，目标网络包括：输入层1、特征提取层2、回归层3和输出层4。在进行车牌定位时，将待定位车牌图像输入输入层1，从输出层4获得针对待定位车牌图像的车牌框区域和车牌字符区域的组合，该组合即为输出层的输出结果。

需要说明的是，输出结果中可以包含车牌框区域和车牌字符区域的组合对应的定位区域及对应的置信度。当然，输出结果中可能包含一个或多个定位区域。

本实施例中，目标网络是预先训练得到的。为了提高所训练的目标网络的鲁棒性，在训练模型时，样本车牌图像中还可以包括负样本车牌图像，该负样本车牌图像可以理解为不包含车牌区域的图像，即不包含车牌框区域和车牌字符区域的图像。

具体的，训练目标网络时，可以预先获得大量包含正样本车牌图像和负样本车牌图像的样本车牌图像，其中，正样本车牌图像中携带车牌框区域和车牌字符区域的组合标记，并发送样本车牌图像至特征提取层。特征提取层接收到样本车牌图像后，获得样本车牌图像的特征值，并发送特征值以及样本车牌图像至回归层。回归层接收特征提取层发送的信息，并根据该信息，从样本车牌图像中确定疑似定位区域，然后计算疑似定位区域与标准定位区域的重合度，所述标准定位区域为所标记的车牌框区域和车牌字符区域的组合对应的定位区域。然后，根据比对结果不断调整回归层的相关参数。当疑似定位区域与标准定位区域的重合度高于设置阈值时，便可以认为目标网络训练完成。

作为一种具体实施方式，当车牌区域包括主字段区域和从字段区域时，可以将主字段区域选择为车牌字符区域进行标记。上述主字段可以理解为具有以下特点的字符部分：字符尺寸较大，分布在车牌中间区域。上述从字段可以理解为具有以下特点的字符部分：字符尺寸比主字段字符小，分布在车牌边缘处，具有标识意义(标识国家或地区特点)。

例如，在图3所示车牌中，第一个车牌中包括两个字符“5”，左侧的字符“5”表示车辆归属的地区，为从字段；右侧的字符“5”表示车牌的号码，为主字段。第三个车牌中字符“36”为主字段，字符“N”为从字段。

步骤S203：所述特征提取层提取所述待定位车牌图像的特征值，并发送所述特征值至所述回归层。

具体的，步骤S203是由特征提取层执行的步骤。

具体的，获得特征提取层提取的所述待定位车牌图像的特征值，可以包括：获得特征提取层提取的针对所述待定位车牌图像中像素的特征值。

作为一种具体实施方式，当目标网络包含输入层时，步骤S203可以包括以下实施方式：

方式一，获得所述输入层预处理后的待定位车牌图像，并发送所述预处理后的待定位车牌图像至特征提取层，获取特征提取层提取的预处理后的待定位车牌图像的特征值，并发送所述特征值至回归层。在该实施方式中，输入层对待定位车牌图像进行预处理，并发送预处理后的待定位车牌图像至特征提取层。

方式二，获得所述输入层发送的待定位车牌图像，并发送所述待定位车牌图像至特征提取层，获取特征提取层提取的待定位车牌图像的特征值，并发送所述特征值至回归层。在该实施方式中，输入层不对待定位车牌图像进行预处理，而是直接发送待定位车牌图像至特征提取层。

步骤S204：获得所述回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合。

具体的，步骤S204是由执行主体执行的步骤。

可以理解的是，回归层在根据特征值得到车牌框区域和车牌字符区域的组合时，也会得到每个组合对应的置信度。因此，上述所获得的组合中还可以包含每个组合的置信度。

作为一种具体实施方式，当目标网络包含输出层时，在步骤S204之后还可以包括：

发送所获得的组合至输出层，以使所述输出层输出所获得的组合。

当然，在输出层输出所获得的组合时，也可以包括：将所获得的组合按照预设规则进行处理，并输出处理后的组合。预设规则可以包括按照预设格式进行排序等规则。

步骤S205：根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。

具体的，步骤S205是由执行主体执行的步骤，步骤S205可以包括：将所获得的组合中置信度大于预设阈值的定位区域确定为目标定位区域，根据所述目标定位区域，确定所述待定位车牌图像的车牌区域。

作为确定目标定位区域的一个例子，已知所获得的组合包括组合1、组合2、组合3和组合4，每个组合均为车牌框区域和车牌字符区域的组合，并且这三个组合的置信度分别为320、270、950和890。已知预设阈值为800，则确定组合3和组合4的置信度均大于预设阈值，可以将组合3和组合4对应的定位区域确定为目标定位区域。

进一步的，根据所述目标定位区域，确定所述待定位车牌图像的车牌区域，可以包括以下实施方式：

方式一，确定所述目标定位区域中车牌框区域和车牌字符区域之间的相对位置，将所述相对位置处于预设的相对位置范围内的目标定位区域，确定为所述待定位车牌图像的车牌区域。

作为一种实施方式，车牌框区域和车牌字符区域之间的相对位置，可以采用两区域对应边界之间的距离表示，也可以采用两区域中心点的相对位置并结合两区域的长度比值和宽度比值来表示。

需要说明的是，相对位置范围可以根据预先采集的正样本车牌图像中车牌框区域和车牌字符区域之间的相对位置确定。可以理解的是，根据预设的相对位置范围对输出结果进行筛选，可以有效地从所获得的组合中滤除非车牌区域，提高车牌定位过程的准确性。

方式二，将所述目标定位区域中的车牌字符区域，确定为所述待定位车牌图像的车牌区域。

可以理解的是，车牌框区域比车牌字符区域包含更多的图像信息，同时也包含很多除车牌字符之外的干扰信息，因此，为了提高车牌定位过程的准确性，可以直接将目标定位区域中的车牌字符区域，确定为所述待定位车牌图像的车牌区域。

当然，在本实施例中，还可以进一步针对目标定位区域中的车牌框区域，确定车牌的从字段部分。具体的，可以由回归层的分支进行车牌类别判断，即根据车牌框内整体纹理信息确定车牌类别，再由预设的车牌类别确定从字段与主字段的位置关系，从而从车牌框区域中确定车牌的从字段部分。

由上述内容可知，本实施例提供的方案中，在获得待定位车牌图像之后，将待定位车牌图像发送至用于车牌定位的目标网络，其中，目标网络包括特征提取层和回归层，然后，特征提取层提取待定位车牌图像的特征值，并发送特征值至回归层，获得回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合，最后，根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。其中，目标网络预先通过样本车牌图像训练而成，样本车牌图像包括正样本车牌图像，正样本车牌图像包括车牌框区域和车牌字符区域的组合。

也就是说，本实施例根据目标网络将检测出的车牌框区域和车牌字符区域的组合对应的定位区域，确定待定位车牌图像的车牌区域。由于待定位车牌图像中可能存在很多非车牌字符区域或非车牌边框区域，例如，图1c所示的车牌图像中，车身上车牌区域以外还存在一些其他文字部分和区域框部分等干扰因素，而根据车牌框区域和车牌字符区域之间的组合关系可以从众多的干扰因素中准确定位车牌区域，无需根据字符与背景的交界点等特征进行定位，因此应用本实施例的方案，能够提高车牌定位过程的准确性。

基于图2所示实施例的一种具体实施方式中，在确定所述待定位车牌图像的车牌区域之后，所述方法还可以包括：对确定的车牌区域进行字符识别，获得所述待定位车牌图像的车牌号码。

图5为本申请实施例提供的车牌定位装置的一种结构示意图，与图2所示方法实施例相对应，应用于电子设备，所述装置包括：

图像获得模块501，用于获得待定位车牌图像；

图像发送模块502，用于发送所述待定位车牌图像至用于车牌定位的目标网络，其中，所述目标网络包括特征提取层和回归层，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合；

特征提取模块503，用于所述特征提取层提取所述待定位车牌图像的特征值，并发送所述特征值至所述回归层；

组合获得模块504，用于获得所述回归层根据所述特征值得到的车牌框区域和车牌字符区域的组合；

区域确定模块505，用于根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域。

基于图5所示实施例的一种具体实施方式中，所述区域确定模块505可以包括：

目标区域确定子模块(图中未示出)，用于将所获得的组合中置信度大于预设阈值的定位区域确定为目标定位区域；

车牌区域确定子模块(图中未示出)，用于根据所述目标定位区域，确定所述待定位车牌图像的车牌区域。

基于图5所示实施例的一种具体实施方式中，所述车牌区域确定子模块，具体可以用于：

确定所述目标定位区域中车牌框区域和车牌字符区域之间的相对位置，将所述相对位置处于预设的相对位置范围内的目标定位区域，确定为所述待定位车牌图像的车牌区域。

基于图5所示实施例的一种具体实施方式中，所述车牌区域确定子模块，具体用于：

基于图5所示实施例的一种具体实施方式中，所述装置还可以包括：车牌识别模块，用于对确定的车牌区域进行字符识别，获得所述待定位车牌图像的车牌号码。

由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解，上述实施方式中的全部或部分步骤是能够通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中。这里所称存储介质，是指ROM/RAM、磁碟、光盘等。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims

1.一种车牌定位方法，其特征在于，所述方法包括：

获得待定位车牌图像；

发送所述待定位车牌图像至用于车牌定位的目标网络，其中，所述目标网络包括特征提取层和回归层，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像和负样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合，所述负样本车牌图像为不包含车牌框区域和车牌字符区域的图像，所述车牌框区域为车牌外边框所围成的区域，所述车牌字符区域为车牌区域中车牌字符所在的区域；

2.根据权利要求1所述的方法，其特征在于，所述根据所获得的组合对应的定位区域，确定所述待定位车牌图像的车牌区域，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标定位区域，确定所述待定位车牌图像的车牌区域，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述目标定位区域，确定所述待定位车牌图像的车牌区域，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

6.一种车牌定位装置，其特征在于，所述装置包括：

图像获得模块，用于获得待定位车牌图像；

图像发送模块，用于发送所述待定位车牌图像至用于车牌定位的目标网络，其中，所述目标网络包括特征提取层和回归层，所述目标网络预先通过样本车牌图像训练而成，所述样本车牌图像包括正样本车牌图像和负样本车牌图像，所述正样本车牌图像包括车牌框区域和车牌字符区域的组合，所述负样本车牌图像为不包含车牌框区域和车牌字符区域的图像，所述车牌框区域为车牌外边框所围成的区域，所述车牌字符区域为车牌区域中车牌字符所在的区域；

7.根据权利要求6所述的装置，其特征在于，所述区域确定模块，包括：

8.根据权利要求7所述的装置，其特征在于，所述车牌区域确定子模块，具体用于：

9.根据权利要求7所述的装置，其特征在于，所述车牌区域确定子模块，具体用于：

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：