CN111126185B - 一种针对道路卡口场景的深度学习车辆目标识别方法 - Google Patents

Abstract

本发明提供了一种针对道路卡口场景的深度学习车辆目标识别方法，传统车辆识别算法准确率过低，检测速度过慢问题。本发明以Darknet深度学习网络框架平台为基础，针对道路卡口场景设计网络特征提取层，采用1*1卷积层和深度可分离卷积层替代普通卷积结构缩小网络参数规模，加快网络前向预测速度，采用迁移学习的方法提升识别准确率。

Description

一种针对道路卡口场景的深度学习车辆目标识别方法

技术领域

本发明属于人工智能领域，尤其涉及一种针对道路卡口场景的深度学习车辆目标识别方法。

背景技术

随着人工智能技术的发展，深度学习目标识别算法对传统图像目标识别算法产生极大冲击，特别是随着GPU技术的成熟发展和应用，使深度学习算法在服务器和PC端计算速率迅速提升，达到实时性和工业级应用。但是，当前多数的边缘设备其算力远不如服务器，导致很多性能优良的深度学习网络模型无法在边缘设备上部署，限制其应用范围。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种针对道路卡口场景的深度学习车辆目标识别方法，包括如下步骤：

步骤1，针对道路卡口场景，建立道路卡口车辆样本集；

步骤2，对道路卡口车辆样本集进行标注与清洗，并以图像裁剪、缩放、曝光、随机噪声的图像处理算法实现图像样本增强；

步骤3，设计用于车辆目标识别的深度学习网络模型的网络结构；

步骤4，以专用场景为目标，采用道路卡口场景的车辆样本集对深度学习网络模型进行训练，形成针对场景的专用网络参数模型；

步骤5，对输入图像进行预处理；

步骤6，通过步骤4训练完成的深度学习网络模型对预处理图像进行车辆目标识别。

步骤1包括：

步骤1-1，获取道路卡口视频集，视频集包含不同时间，不同地点，不同天气以及包含多种车辆的数据；

步骤1-2，以道路卡口视频为基础，每隔2秒抽取一帧道路卡口视频图像建立道路卡口车辆样本集，道路卡口车辆样本集包含1万张道路卡口视频图像；

步骤2包括：

步骤2-1，利用自动标注软件对道路卡口车辆样本集进行标注，形成voc格式数据集；

步骤2-2，手动对软件标注的道路卡口车辆样本集进行校准，提高标注框精度；

步骤2-3，采用labelImg软件数据集清洗去除虚假目标和冗余框，保留图像中真实目标框；

步骤3包括：

步骤3-1，设计模型输入层参数：输入图像宽度和高度均满足32的倍数，原因在于网络结构设计中采用了5层2*2最大池化层，因此网络输出层相对输入层尺寸需缩小2的5次方倍数，采用32倍池化层可以在保证目标识别精准率的情况下，提高网络前向推断速度；

步骤3-2，设置动态学习率，学习率以10的倍数降低调整，初始学习率设置0.1；

步骤3-3，深度学习网络模型的网络结构包括输入层、隐藏层和输出层；

其中，输入层为输入图像，即将原始图像输入网络模型；

隐藏层包含30层的特征提取层，其中第一层采用标准卷积网络，防止过于稀疏的结构导致图像原始特征的损失；第二层采用最大池化层，减少参数计算量，保留特征图中最突出特征；第三层与第四层构成深度可分离卷积层，减少网络参数规模和前向网络计算量，第五层到第十三层结构重复第二层至第四层结构，不同的是特征通道数以2倍速度递增；第十三层进行分支，分别连接地十四层与第二十五层，这一部分属于残差网络结构，其目的是保留原始图像底层特征；十四层至二十四层重复第二层至第四层结构，并采用1*1卷积结构替代全连接层，以增强网络鲁棒性；第二十三层与第二十九层分别输出识别结果，输出尺寸分别为13*13和26*26，以适应不同尺度目标识别；

为了在边缘设备部署深度学习网络模型，加快网络前向推断速度，对标准卷积重新构造，采用1*1卷积层和深度可分离卷积结构dwConv替代标准卷积层Conv，实现深度学习网络模型的压缩，在提高网络推断速度基础上提高网络深度，在边缘设备上运行达到实时性(Howard A G,Zhu M,Chen B,et al.Mobilenets:Efficient convolutional neuralnetworks for mobile vision applications[J].arXiv preprint arXiv:1704.04861,2017.)；

步骤3-4，设计输出层结构：输出层采用残差网络(He K,Zhang X,Ren S,etal.Deep residual learning for image recognition[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2016:770-778.)，以弥补梯度消失问题及识别目标尺度相差较大问题。

步骤3-4中，所述输出层采用如下公式综合计算网络输出预测框A和图像中真实目标框B的重合度和相对距离：

其中，G为综合系数，IoU为网络输出预测框A(深度学习网络模型训练过程中识别结果输出参数，具体为目标矩形框坐标点)和图像中真实目标框B(深度学习网络模型训练过程中训练集中识别目标真实坐标点)交集比，其计算方法如下：

C为能够同时包围A和B的最小包围矩形框；

C\(A∪B)表示C区域中既不属于A又不属于B的矩形框部分；

目标检测框损失函数Loss计算方法如下：

Loss＝e^1-G

其中，e为自然常数；

整体深度学习网络模型数学表示方法如下：

model＝F(Loss)

model为最终训练的深度学习网络模型，F表示批量随机梯度下降算法(RuderS.An overview of gradient descent optimization algorithms[J].arXiv preprintarXiv:1609.04747,2016.)。步骤4包括：采取分批样本训练方法：首先对样本集S进行随机打乱，然后抽取前十分之一样本集S1进行训练，完成训练迭代后，对S1进行测试，挑出未识别和误识别图片与下一个十分之一样本构成新的训练集，进行继续训练，重复此过程直至所有样本集训练完成，得到针对场景的专用深度学习网络模型model。

步骤5包括：

步骤5-1，采用直方图均衡化的方法对图像进行增强；

步骤5-2，采用高斯滤波的方法对增强后的图像进行去噪(E.Spjtvoll."Anonlinear gaussian filter applied to images with discontinuities."Journal ofNonparametric Statistics 8.1(1997):21-43.)。

步骤5-2包括：

步骤5-2-1，列出输入图像(需要处理的图像，应用时一般指摄像头视频帧)的灰度级L，L是灰度级的个数；

步骤5-2-2，统计输入图像中各灰度级的像素个数；

步骤5-2-3，计算输入图像直方图P(i)＝Ni/N，其中P(i)为第i个灰度分布密度，Ni为第i个灰度级对应的像素个数，N为输入图像总的像素个数；

步骤5-2-4，计算累计直方图P(j)＝P(1)+P(2)+P(3)+…+P(i)，其中P(j)为累计灰度分布密度；

步骤5-2-5，利用灰度值变换函数j＝int[(L-1)P(j)+0.5]，计算变换后的灰度值j，并四舍五入取整；其中，int为取整操作；

步骤5-2-6，确定灰度变换关系i→j，据此将输入图像的灰度值f(m,n)＝i修正为g(m，n)＝j，其中，i为输入图像灰度值，m，n分别为输入图像的横，纵坐标；

步骤5-2-7，统计变换后个灰度级的像素个数Nj；

步骤5-2-8，计算变换后图像的直方图P(j)＝Nj/N。

步骤6包括：实际场景应用中需要将模型结构及参数权重加载到软件模块中进行目标识别。

有益效果：本发明公开了一种基于边缘设备深度学习目标识别算法，解决了道路卡口车辆检测的问题。本发明针对专用场景多种车辆目标识别问题，提出深度学习网络结构，提高深度学习网络模型车辆目标识别速率和准确率。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的深度学习网络模型网络示意图。

图2是本发明的道路卡口场景下深度学习网络模型网络车辆检测结果示意图。

具体实施方式

本发明公开了一种基于边缘设备深度学习目标识别算法，包括以下步骤：

S1：建立道路卡口车辆样本集：

选取道路卡口视频集，视频集包含不同时间，不同地点，不同天气，不同光照以及包含多种车辆的数据；以道路卡口视频为基础，每隔2秒抽取一帧图像建立样本集，样本集包含1万张图片；

S2：道路卡口车辆数据集标注与清洗：

利用自动标注软件对样本集进行标注，形成voc格式数据集,手动对软件标注的样本集进行校准，提高标注框精度；由于数据集中可能存在误标注或者单一目标多个标注的情况，因此清洗去除虚假目标和冗余框,提高样本集可信度；

S3：深度学习目标识别网络结构设计如图1所示，image表示输入图像，conv3*3表示以尺寸3*3卷积核作卷积操作，conv1*1表示以尺寸1*1卷积核作卷积操作，dwConv3*3表示以尺寸3*3深度可分离卷积核作卷积操作，maxpool代表池化层，upsample代表上采样层，Yolo表示输出层。

1)模型输入层参数设计，输入图像宽度和高度均满足32的倍数；2)设置动态学习率，学习率以10的倍数降低调整，初始学习率设置0.1；3)模型特征提取层网络结构设计，深度学习网络提取层是网络前向预测耗时最多的部分，本发明采用1*1卷积、深度可分离卷积结构以及池化层实现特征提取层，降低神经网络计算量；4)深度学习目标识别模型输出层结构设计，采用端到端的网络结构设计，加快速度和提升准确率；

S4：专用场景网络样本集训练，建立网络参数模型，训练过程中应根据输出损失对学习率进行调整。

S5：图像预处理：

采用直方图均衡化的方法对图像进行增强以及采用高斯滤波的方法对图像进行去噪，便于之后对图像的特征进行提取。

S6:通过使用训练完成的模型进行车辆目标识别。图2是本发明的道路卡口场景下深度学习网络模型网络车辆检测结果示意图。

本发明提供了一种针对道路卡口场景的深度学习车辆目标识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种针对道路卡口场景的深度学习车辆目标识别方法，其特征在于，包括如下步骤：

步骤1，针对道路卡口场景，建立道路卡口车辆样本集；

步骤2，对道路卡口车辆样本集进行标注与清洗，并以图像裁剪、缩放、曝光、随机噪声的图像处理算法实现图像样本增强；

步骤3，设计用于车辆目标识别的深度学习网络模型的网络结构；

步骤4，以专用场景为目标，采用道路卡口场景的车辆样本集对深度学习网络模型进行训练，形成针对场景的专用网络参数模型；

步骤5，对输入图像进行预处理；

步骤6，通过步骤4训练完成的深度学习网络模型对预处理图像进行车辆目标识别；

步骤1包括：

步骤1-1，获取道路卡口视频集；

步骤1-2，每隔2秒抽取一帧道路卡口视频图像建立道路卡口车辆样本集；

步骤2包括：

步骤2-1，对道路卡口车辆样本集进行标注，形成voc格式数据集；

步骤2-2，对标注的道路卡口车辆样本集进行校准；

步骤2-3，对道路卡口车辆样本集清洗，去除虚假目标和冗余框，保留图像中真实目标框；

步骤3包括：

步骤3-1，设计模型输入层参数：输入图像宽度和高度均满足32的倍数；

步骤3-2，设置动态学习率，学习率以10的倍数降低调整，初始学习率设置0.1；

步骤3-3，深度学习网络模型的网络结构包括输入层、隐藏层和输出层；

其中，输入层为输入图像，即将原始图像输入网络模型；

隐藏层包含30层的特征提取层，其中第一层采用标准卷积网络；第二层采用最大池化层，保留特征图中最突出特征；第三层与第四层构成深度可分离卷积层，第五层到第十三层结构重复第二层至第四层结构，不同的是特征通道数以2倍速度递增，第十三层进行分支，分别连接地十四层与第二十五层，这一部分属于残差网络结构，其目的是保留原始图像底层特征；十四层至二十四层重复第二层至第四层结构，并采用1*1卷积结构替代全连接层；第二十三层与第二十九层分别输出识别结果，输出尺寸分别为13*13和26*26；

步骤3-4，设计输出层结构：输出层采用残差网络；

步骤3-4中，所述输出层采用如下公式综合计算网络输出预测框A和图像中真实目标框B的重合度和相对距离：

其中，G为综合系数，IoU为网络输出预测框A和图像中真实目标框B交集比，其计算方法如下：

C为能够同时包围A和B的最小包围矩形框；

C\(A∪B)表示C区域中既不属于A又不属于B的部分；

目标检测框损失函数Loss计算方法如下：

Loss＝e^-(1-G)

其中，e为自然常数；G为综合系数；

整体深度学习网络模型数学表示方法如下：

model＝F(Loss)

model为最终训练的深度学习网络模型，F表示小批量梯度下降算法；

步骤4包括：采取分批样本训练方法：首先对样本集S进行随机打乱，然后抽取前十分之一样本集S1进行训练，完成训练迭代后，对S1进行测试，挑出未识别和误识别图片与下一个十分之一样本构成新的训练集，进行继续训练，重复此过程直至所有样本集训练完成，得到针对场景的专用深度学习网络模型model；

步骤5包括：

步骤5-1，采用直方图均衡化的方法对图像进行增强；

步骤5-2，采用高斯滤波的方法对增强后的图像进行去噪；

步骤5-2包括：

步骤5-2-1，列出输入图像灰度级L，L是灰度级的个数；

步骤5-2-2，统计输入图像中各灰度级的像素个数；

步骤5-2-3，计算输入图像直方图P(i)＝Ni/N，其中P(i)为第i个灰度分布密度，Ni为第i个灰度级对应的像素个数，N为输入图像总的像素个数；

步骤5-2-4，计算累计直方图P(j)＝P(1)+P(2)+P(3)+…+P(i)，其中P(j)为累计灰度分布密度；

步骤5-2-5，利用灰度值变换函数j＝int[(L-1)P(j)+0.5]，计算变换后的灰度值j，并四舍五入取整；其中，int为取整操作；

步骤5-2-6，确定灰度变换关系i→j，据此将输入图像的灰度值f(m,n)＝i修正为g(m，n)＝j，其中，i为输入图像灰度值，m，n分别为输入图像的横，纵坐标；

步骤5-2-7，统计变换后个灰度级的像素个数Nj；

步骤5-2-8，计算变换后图像的直方图P(j)＝Nj/N。