CN108090423A - 一种基于热力图和关键点回归的深度车牌检测方法 - Google Patents

Abstract

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，离线学习阶段包括以下四个步骤：(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；本方法利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

Description

一种基于热力图和关键点回归的深度车牌检测方法

技术领域

本发明涉及智能交通领域，一种基于热力图和关键点回归的深度车牌检测方法。

背景技术

近年来，基于视频的车牌检测识别技术在智能交通领域的重要性不断提升，车牌检测识别准确率是判断车牌识别技术发展的重要指标。车牌识别技术可以应用于小区停车管理系统、重要交通枢纽处的“电子眼”系统、高速公路车速管理系统等多个领域，对公共安全和国家发展带来了很多方便和保障。随着交通环境的不断复杂化，已出现一些车牌识别相关产品渐渐无法满足用户实时性的需求。传统的车牌识别系统主要流程是：输入图像，对图像进行降噪、灰度化，边缘检测等预处理，然后根据提取的边缘特征进行车牌定位，最后分割字符和识别。但在复杂的环境中采集到的图像，车牌的漏检和误检率都比较高，很难高效的、准确的完成车牌的识别。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习方法模型不仅正确率较高，在光照变化和噪声污染下的准确性和稳定性较好，能够有效降低车标识别的错误率，同时也避免了需要消耗大量的时间进行人工特征提取的工作，使得在线检测运算效率大大提升。但是对于一些存在复杂文字干扰图像也容易出现误检测，在车辆图像偏斜角度比较大以及夜晚光照较弱时，依然会出现一些漏检测、误检测。目前现有技术的主要缺点：

1.目标检测方法具有处理多种目标尺度的需求，所以通常比较耗时；

2.常规的检测方法通常采用滑动窗口结合目标分类器方法进行目标检测，由于分类器判断总会出现判断失误的情况，所以在车牌检测中使用常规检测方法检测车牌容易遗漏真车牌，也容易造成大量误检。

发明内容

本发明的目的是提供一种基于热力图和关键点回归的深度车牌检测方法，利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

本发明为解决其技术问题所采用的技术方案是：

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段；

离线学习阶段包括以下四个步骤：

(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；

(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；

(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，由4个值表示(x,y,w,h)，分别表示车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；

(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；

检测阶段包括以下四个步骤：

(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；

(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图像；

(3)设置阀值：设置阈值T，统计热力图区域(26x,26y,26w,26h)中大于阈值T的点个数记为Num；

(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车；

所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为116×116×10，第二层卷积后为57×57×20，第三层卷积后为28×28×40；

所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。

本发明的优点在于：

1.一种基于热力图和关键点回归的深度车牌检测方法，首先利用离线学习的深度特征描述被检测的目标，该特征是很强的特征描述子，使得在该特征域上对目标进行检测更准确；

2.该方法的学习阶段是在离线完成的，在线检测时直接使用，使得检测更快速。。

附图说明

图1是本发明提出的一种基于热力图和关键点回归的深度车牌检测方法的流程示意图；

图2是该方法中离线学习阶段中的网络结构图；

图3是一实施例中的热力图标注图；

图4是一实施例中的热力图结果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。

如图1所示，本发明提出的一种基于热力图和关键点回归的深度车牌检测方法包括离线学习阶段和检测阶段；

离线学习阶段包括以下四个步骤：

(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；

(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；

(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，由4个值表示(x,y,w,h)，分别表示车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；

(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；

检测阶段包括以下四个步骤：

(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；

(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图像；

(3)设置阀值：设置阈值T，统计热力图区域(26x,26y,26w,26h)中大于阈值T的点个数记为Num；

(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。

所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为57×57×20，第二层卷积后为28×28×40，第三层卷积后为28×28×40。所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。

以上实施方式只为说明本发明的技术构思及特点，其目的在于让本领域的技术人员了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，其特征在于：

离线学习阶段包括以下四个步骤：

(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；

(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；

(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，由4个值表示(x,y,w,h)，分别表示车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入的图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；

(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；

检测阶段包括以下四个步骤：

(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；

(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图像；

(3)设置阀值：设置阈值T，统计热力图区域(26x,26y,26w,26h)中大于阈值T的点个数记为Num；

(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。

2.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：

所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为116×116×10，第二层卷积后为57×57×20，第三层卷积后为28×28×40。

3.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：

所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。