CN110909742A - 车牌检测方法、系统、平台和存储介质 - Google Patents

Abstract

一种车牌检测方法，包括：接收待检测图像；采用车辆目标检测模型判断所述待检测图像中是否存在车辆，若存在，则提取所述车辆的图像，否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；采用车牌检测模型判断所述车辆的图像中是否存在车牌，若存在车牌，则输出所述车牌在所述车辆的图像中的位置，否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

Description

车牌检测方法、系统、平台和存储介质

技术领域

本发明属于道路监控技术领域，特别涉及一种车牌检测方法、系统、平台和存储介质，该车牌检测方法基于深度学习技术。

背景技术

随着科技的不断发展，机动车成本降低的同时，人们的生活水平不断提高，城市机动车保有量迅猛增长。在给民众生活带来便利的同时，也为机动车的管理带来了巨大的挑战。车牌作为每个车辆独有的互不相同的明显特征，在车辆管理过程中的重要作用不言而喻。比如，我们可以通过车牌的识别判断车辆是否具有特定区域的通行权限，或者可以通过车牌的识别自动计算车辆的进出时间从而收取停车费等等。

然而目前更多时候还是通过人工来识别车辆的车牌号码，这样的方式不仅费时费力，人工成本较高，而且还会因为人类的自身局限性导致一系列的问题，比如疲劳之后的易疏忽等。

而如果想要准确快速的通过摄像头获取识别车辆的车牌号码，如何精确定位车牌位置就成为了首要解决的问题。目前已有的车牌检测大多局限于单一场景或者实时场景，而且容易错误定位到车身上的喷漆车牌或其他字符。这些都是想要精准定位车牌急需解决的问题。

发明内容

本发明实施例的一种车牌检测方法，目的在于解决解决对道路上车辆车牌进行快速实时识别的难题。

本发明实施例之一，一种车牌检测方法，包括以下步骤：

接收待检测图像；

采用车辆目标检测模型判断所述待检测图像中是否存在车辆，

若存在，则提取所述车辆的图像，

否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；

采用车牌检测模型判断所述车辆的图像中是否存在车牌，

若存在车牌，则输出所述车牌在所述车辆的图像中的位置，

否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

本发明实施例，主要应用于机动车的车牌检测，实现了更加准确地车牌检测过程，既提高了车牌检测的效率和准确率，也为之后的车牌识别提供了更好的输入，而且相比人工的记录车牌节省了人力成本，避免了人为因素的干扰。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是根据本发明实施例之一的车牌检测流程图。

图2是根据本发明实施例之一的系统结构示意图。

图3是根据本发明实施例之一的车辆检测单元的结构示意图。

图4是根据本发明实施例之一的车牌检测单元的结构示意图。

具体实施方式

根据一个或者多个实施例，一种车牌检测方法，包括以下步骤：接收待检测图像；采用车辆目标检测模型判断所述待检测图像中是否存在车辆，若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；采用车牌检测模型判断所述车辆的图像中是否存在车牌，若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

根据一个或者多个实施例，所述车辆目标检测模型的获取步骤如下：获取不同型号的车辆在不同光照条件和/或不同拍摄角度下的车辆图像；标记车辆在所述车辆图像中的位置；根据标记过车辆位置的车辆图像样本集，训练得到所述车辆目标检测模型。

根据一个或者多个实施例，所述车辆目标检测模型，具体通过基于如下设置的SSD网络框架进行训练，包括：基本学习率base_lr设置为0.001，权重衰减weight_decay设置为0.0005，显示器参数gamma设置为0.1，动量momentum设置为0.9，学习率策略设置为“multistep”方式，在迭代次数分别为80000、100000、120000时进行调整，总的迭代次数设置为130000次。

根据一个或者多个实施例，所述车牌检测模型的获取步骤如下：获取不同车牌号的车辆在不同光照条件和/或不同拍摄角度下的车辆图像；标记车牌在所述车辆图像中的位置；根据标记过车牌位置的车辆图像样本集，训练目标检测深度神经网络模型，得到所述车牌检测模型。

根据一个或者多个实施例，所述车牌，具体为：喷漆车牌；所述车牌检测模型的获取步骤如下：获取不同的喷漆车牌在不同光照条件和/或不同拍摄角度下的车辆图像；标记所述喷漆车牌在所述车辆图像中的位置；根据所述标记过车牌位置的车辆图像样本集，训练目标检测深度神经网络模型，训练得到所述车牌检测模型。

根据一个或者多个实施例，所述目标检测深度神经网络模型，具体通过如下方式获取：采用三个不改变特征图大小的卷积层conv1、conv2和conv3连接，每层卷积层都添加批归一化BatchNorm层，每层的卷积核个数分别为64、128和256个，同时每层卷积层后接一层池化层；之后，添加卷积层conv4_1，卷积核个数设为512；从conv4_1处分为三个分支，一支经过conv4_2卷积层和pool4池化层送入deconv5做反卷积操作，然后先后和另外两支合并于Crop层conv5_512和Eltwise层conv4_fuse；在conv4_fuse后添加一个inception模块，分三个分支，第一个分支为1*1卷积，第二个分支为1*1卷积加3*3卷积，第三个分支为1*1卷积加5*5卷积，每层卷积层都添加BatchNorm层并且添加膨胀卷积系数dilation，最后将三个分支连接到输出层inception_output；利用预设的预选框default box对目标进行分类和回归，从inception_output层后接归一化层conv4_norm，对于这层分别进行卷积，得到预选框类别和回归位置；根据预选框类别和回归位置，确定所述目标检测深度神经网络模型。

根据一个或者多个实施例，可以采用矩形框或椭圆框之一，标记车辆在所述车辆图像中的位置。

如图1所示，在一实际应用场景中，基于深度学习的车牌检测方法，包括以下步骤：

S11、从服务器下载或现场采集待检测图像，比如路口摄像头的采集图像或者手持设备的采集图像；

S12、采用基于深度学习网络的车辆目标检测模型对待检测图像进行检测，判断图像中是否存在车辆目标。若存在则记录此条标志为0，提取车辆区域图像，若未检测到即车辆不存在，则此条标志记为1，并保存相关图片，进入统计分析流程；

S13、采用新的神经网络结构训练的车牌检测模型对上一步提取的车辆区域图像做检测，判断图中是否存在车牌。若存在则记录此条标志为0，并输出车牌所在矩形框位置，否则记为1，保存相关图片，进入统计分析流程；

S14、对整个检测过程的各阶段结果进行统计分析，若车辆和车牌标志位都为0，则说明成功检测到了车牌，输出结果即为车牌所在位置坐标。若存在标志位1，这说明并没有检测到车牌目标，通过标志位1的位置就能推断原因是图像中不存在车辆目标或是车辆区域不存在车牌目标，并能获得相关的图像。

其中，基于深度学习的车辆检测模型获取步骤包括：

S21、获取不同车型在不同光照条件，不同角度拍摄的车辆图像；

S22、采用矩形框标记车辆区域位置；

S23、使用所述标注了车辆区域位置的图像训练目标检测深度神经网络模型，获得车辆检测模型。

进一步的，所述基于深度学习的车牌检测模型获取步骤还包括：

S31、用步骤S23获得的车辆检测模型，获取具有各种不同类型的车牌的车辆在不同光照条件和不同角度下的图像；

S32、采用矩形框标记车牌区域位置；

S33、由于部分车辆具有的喷漆车牌和普通车牌较为相似，故对于训练的模型多添加了一类喷漆车牌模型并标注已有数据集。同时交通摄像头采集图像一般会在图像下方加上水印部分，包括车牌内容和日期等，也会对车牌检测产生干扰，所以人工生成了部分易被干扰而误检的正负样本加入训练集中。

S34、使用所有的数据集训练车牌检测深度神经网络模型，获得车牌检测模型。

进一步的，对于采用的车牌检测深度神经网络模型，

S41、首先采用三个不改变feature map大小的卷积层conv1、conv2和conv3连接，每层卷积层都添加批归一化BatchNorm层，每层的卷积核个数分别为64、128和256个，同时每层卷积层后接一层池化层；

S42、之后添加同样的卷积层conv4_1，卷积核个数设为512；

S43、从conv4_1处分为三个分支，一支经过conv4_2卷积层和pool4池化层送入deconv5做反卷积操作，然后先后和另外两支合并于Crop层conv5_512和Eltwise层conv4_fuse；

S44、由于原始车牌检测网络存在感受野较小的情况，不容易完整的接受整块车牌的所有特征信息。所以在conv4_fuse后添加了一个inception模块，分三个分支，第一个分支为1*1卷积，第二个分支为1*1卷积加3*3卷积，第三个分支为1*1卷积加5*5卷积。每层卷积层都添加BatchNorm层并且添加膨胀卷积系数dilation。最后将三个分支连接到输出层inception_output；

S45、对于车牌的目标检测借鉴了SSD算法的方法，利用预设的预选框default box对目标进行分类和回归。从inception_output层后接归一化层conv4_norm，对于这层分别进行卷积，得到预选框类别和回归位置。

根据一个或者多个实施例，如图2所示，基于深度学习的车牌检测系统包括目标检测模块和统计分析模块，目标检测模块由车辆目标检测单元和车牌检测单元组成。

首先，车辆目标检测单元在路口摄像头采集图像或者手持设备采集图像上应用车辆目标检测模型，获取车辆区域图像。然后将车辆区域图像传入车牌检测单元，应用车牌检测模型，即可获取车牌的具体位置。这种分布检测手段可以有效的避免因图像背景复杂、背景中包含其他车辆牌照等因素造成的误检，提高车牌检测的准确率。

车辆目标检测单元的具体检测方法，如图3所示，检测模块首先将待检测车辆图像输入车辆目标检测模型，首先得到N个一维数组[class,x,y,width,height]，数组第一个元素代表对象类别，是车辆则为1，不是车辆则为0，数组后四个元素表征目标对象所在矩形区域，x，y代表矩形左上角点坐标，width代表矩形宽度，height代表矩形高度。每个数组均对应一个车辆目标，利用车辆区域矩形框面积大小构建车辆远近信息，以矩形框面积最大的数组作为检测模块输出，然后通过矩形框位置信息从图像中提取车辆区域图像。此方法可有效地剔除背景中其它非目标车辆。

车辆目标检测模型的获取方法如下：

S1、训练数据准备：获取不同车型(如轿车、跑车、越野车、面包车、商务车等车型)、不同品牌、不同拍摄角度的车辆图像；

S2、数据标注：采用矩形框将车辆目标在图像中标出，每张图像对应一个矩形框，框内包含车辆目标；

S3、模型训练：用SSD网络框架来进行训练，利用框架原作者基于ImageNet训练好的预训练VGG基础模型进行微调，这样学习的检测效果更好，而且收敛更快。具体操作为：首先，计算训练数据集的均值，替换训练文件中的设置。因为车辆检测和之后的车身检测相似，故将这2个类别放在同一个SSD网络中进行训练。由于ImageNet是一个1000分类的分类任务，但是我们现在只有2类，所以需要调整网络输出，根据类别重新计算。其次，由于对于不同的任务来说，学习率等超参需要依靠经验和实验来确定，所以经过多次试验之后，本实施例将基本学习率base_lr设为0.001，weight_decay设为0.0005，gamma设为0.1，momentum设为0.9，学习率策略设为“multistep”方式，在迭代次数分别为80000，100000，120000，时进行调整，总的迭代次数则设置为130000次。模型从预训练模型开始微调，基于以上设置，模型能很快收敛且loss降到2.0左右。

车牌检测单元具体检测方法如图4所示，将车辆检测的结果图像送入车牌检测模型，得到若干个一维数组[label,score,xmin,ymin,xmax,ymax]，数组第一个元素代表对象类别，是车牌则为1，喷漆车牌则为2，其他为0，数组第二个元素代表分数，即是该类别的置信度，数组后四个元素表征目标对象所在矩形区域，xmin,ymin代表矩形左上角点坐标，xmax,ymax代表矩形右下角点坐标，通过矩形框位置信息就能从车辆目标图像中提取车牌区域图像。

车牌检测模型获取方法如下：

S1、训练数据准备：用上一步所述车辆检测模型，获取具有各种不同类型的车牌的车辆在不同光照条件和不同角度下的图像。另外由于部分车辆具有的喷漆车牌和普通车牌较为相似，故对于训练的模型多添加了一类喷漆车牌模型并标注已有数据集。同时交通摄像头采集图像一般会在图像下方加上水印部分，包括车牌内容和日期等，也会对车牌检测产生干扰，所以人工生成了部分易被干扰而误检的正负样本加入训练集中；

S2、数据标注：采用矩形框标记车牌区域位置，要求取车牌的最大外接矩形；

S3、模型训练：采用标注好的训练数据，训练基于深度学习网络的车牌目标检测模型。模型损失函数为softmax的置信度损失和smooth_L1的定位损失，基本学习率设置为0.0001，weight_decay设为0.0005，gamma设为0.1，momentum设为0.9，学习率策略设为“multistep”方式，在迭代次数为35000，45000，55000时进行调整，总的迭代次数则设置为65000次。模型从预训练模型开始微调，优化算法采用随机梯度下降法SGD，基于以上设置，模型能很快收敛且loss降到1.0左右。

本发明实施例的车牌检测方法包括，

判断待检测图片中是否存在车辆目标；检测到的车辆图像中是否存在车牌，以及车牌的具体位置。

首先采用一个一维数组[x1,x2]表示校验状态，初始值为[0,0]。标志位x1代表检测图像内车辆目标是否存在，若存在则x1为0，否则为1；标志位x2代表车辆区域图像中是否有车牌，若存在则x2为0，否则为1。统计标志位即可得知是否检测到了车牌，若标志位均为0，则说明检测到了车牌，若存在1，则表示没有检测到车牌。若x1为1，则表明待检测图像中未检测到车辆目标，可能的原因有：待检测图像获取阶段出错、车辆拍摄角度不符合规定，未包含完整车身或图片质量较差，出现过曝或过暗，因此导致未检测到车辆；若x2为1，则表明车辆区域图像中未检测到车牌，可能的原因有：车辆检测出错，未能准确定位车辆区域或者车辆区域并未包含车牌。若标志位都为0，默认一张车辆区域图像只有一块车牌，则输出一个一维数组[label,score,xmin,ymin,xmax,ymax]，数组第一个元素代表对象类别，是车牌则为1，喷漆车牌则为2，其他为0，数组第二个元素代表分数，即是该类别的置信度，数组后四个元素表征目标对象所在矩形区域，xmin,ymin代表矩形左上角点坐标，xmax,ymax代表矩形右下角点坐标，通过矩形框位置信息就能从车辆目标图像中提取车牌区域图像。

根据本发明实施例的有益效果包括，以一种新的神经网络结构作为车牌检测的模型网络，同时通过数据扩增使得模型效果更佳鲁棒，相较于以前使用的网络容易定位到喷漆车牌或者别的文字而言，车牌检测更加准确的同时也降低了模型的参数量。

根据一个或者多个实施例，还提供了一种车牌检测系统，包括接收模块和判断模块；所述接收模块，用于接收待检测图像；所述判断模块，用于采用车辆目标检测模型判断所述待检测图像中是否存在车辆，若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；采用车牌检测模型判断所述车辆的图像中是否存在车牌，若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

根据一个或者多个实施例，还提供了一种车牌检测平台，所述平台包括服务器，服务器具有存储器；以及耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：接收待检测图像；采用车辆目标检测模型判断所述待检测图像中是否存在车辆，若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；采用车牌检测模型判断所述车辆的图像中是否存在车牌，若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

根据一个或者多个实施例，还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上述的车牌检测方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车牌检测方法，其特征在于，包括以下步骤：

接收待检测图像；

采用车辆目标检测模型判断所述待检测图像中是否存在车辆，

若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；

采用车牌检测模型判断所述车辆的图像中是否存在车牌，

若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

2.如权利要求1所述的车牌检测方法，其特征在于，所述车辆目标检测模型的获取步骤如下：

获取不同型号的车辆在不同光照条件和/或不同拍摄角度下的车辆图像；

标记车辆在所述车辆图像中的位置；

根据标记过车辆位置的车辆图像样本集，训练得到所述车辆目标检测模型。

3.根据权利要求2所述的车牌检测方法，其特征在于，所述车辆目标检测模型，具体通过基于如下设置的SSD网络框架进行训练，包括：

基本学习率base_lr设置为0.001，权重衰减weight_decay设置为0.0005，显示器参数gamma设置为0.1，动量momentum设置为0.9，学习率策略设置为“multistep”方式，在迭代次数分别为80000、100000、120000时进行调整，总的迭代次数设置为130000次。

4.如权利要求1所述的车牌检测方法，其特征在于，所述车牌检测模型的获取步骤如下：

获取不同车牌号的车辆在不同光照条件和/或不同拍摄角度下的车辆图像；

标记车牌在所述车辆图像中的位置；

根据标记过车牌位置的车辆图像样本集，训练目标检测深度神经网络模型，得到所述车牌检测模型。

5.如权利要求1所述的车牌检测方法，其特征在于，所述车牌，具体为：喷漆车牌；

所述车牌检测模型的获取步骤如下：

获取不同的喷漆车牌在不同光照条件和/或不同拍摄角度下的车辆图像；

标记所述喷漆车牌在所述车辆图像中的位置；

根据所述标记过车牌位置的车辆图像样本集，训练目标检测深度神经网络模型，训练得到所述车牌检测模型。

6.如权利要求4或5所述的车牌检测方法，其特征在于，所述目标检测深度神经网络模型，具体通过如下方式获取：

采用三个不改变特征图大小的卷积层conv1、conv2和conv3连接，每层卷积层都添加批归一化BatchNorm层，每层的卷积核个数分别为64、128和256个，同时每层卷积层后接一层池化层；

之后，添加卷积层conv4_1，卷积核个数设为512；

从conv4_1处分为三个分支，一支经过conv4_2卷积层和pool4池化层送入deconv5做反卷积操作，然后先后和另外两支合并于Crop层conv5_512和Eltwise层conv4_fuse；

在conv4_fuse后添加一个inception模块，分三个分支，第一个分支为1*1卷积，第二个分支为1*1卷积加3*3卷积，第三个分支为1*1卷积加5*5卷积，每层卷积层都添加BatchNorm层并且添加膨胀卷积系数dilation，最后将三个分支连接到输出层inception_output；

利用预设的预选框default box对目标进行分类和回归，从inception_output层后接归一化层conv4_norm，对于这层分别进行卷积，得到预选框类别和回归位置；

根据预选框类别和回归位置，确定所述目标检测深度神经网络模型。

7.如权利要求2所述的车牌检测方法，其特征在于，采用矩形框或椭圆框之一，标记车辆在所述车辆图像中的位置。

8.一种车牌检测系统，其特征在于，包括接收模块和判断模块；

所述接收模块，用于接收待检测图像；

所述判断模块，用于采用车辆目标检测模型判断所述待检测图像中是否存在车辆，

若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；

采用车牌检测模型判断所述车辆的图像中是否存在车牌，

若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

9.一种车牌检测平台，其特征在于，所述平台包括服务器，服务器具有存储器；以及

耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：

接收待检测图像；

采用车辆目标检测模型判断所述待检测图像中是否存在车辆，

若存在，则提取所述车辆的图像；否则，输出用于表征所述待检测图像不存在所述车辆的第一信息；

采用车牌检测模型判断所述车辆的图像中是否存在车牌，

若存在车牌，则输出所述车牌在所述车辆的图像中的位置；否则，输出用于表征所述车辆的图像中不存在所述车牌的第二信息。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1至7中任一所述的方法。

Images