CN112699928B - 基于深度卷积网络的非机动车检测和识别方法 - Google Patents
基于深度卷积网络的非机动车检测和识别方法 Download PDFInfo
- Publication number
- CN112699928B CN112699928B CN202011568694.0A CN202011568694A CN112699928B CN 112699928 B CN112699928 B CN 112699928B CN 202011568694 A CN202011568694 A CN 202011568694A CN 112699928 B CN112699928 B CN 112699928B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- feature
- network
- feature layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种基于深度卷积网络的非机动车检测和识别方法，首先自建非机动车数据集，并划分成训练集和测试集。然后建立基于深度学习的神经网络构架，将第一步划分的训练集放入网络中训练，从而得到训练好的深度卷积网络，最后将测试集送入训练好的深度卷积网络中测试。本发明通过基于深度卷积网络的方法来进行非机动车检测和识别，使得非机动车检测的精度更高。
Description
技术领域
本发明涉及目标检测技术领域，具体是一种基于深度卷积网络的非机动车检测和识别方法。
背景技术
目标检测在计算机视觉领域占据十分重要的地位，它是通过图像去检测目标，即标注出图像中每个目标所属的类别及坐标。在近年的自动驾驶技术中，也需要用到这种技术。当车载摄像头采集到图像后，后台服务器可以将图像进行检测，从而达到规避行人的特点。目前图像检测技术极大部分采用的深度学习技术，但是基于深度学习的网络模型都有所侧重，专门用于非机动车检测和识别的方法较少。
发明内容
本发明的目的在于提供基于一种深度卷积网络的非机动车检测和识别方法，提升了非机动车检测的准确率和精度。
实现本发明目的的技术解决方案为：一种深度卷积网络的非机动车检测和识别方法，s1、建立起非机动车数据集，并划分成训练集，测试集和验证集；
s2、搭建起基于深度学习的目标检测网络；
s3、将训练集样本送入神经网络中训练，获得训练后的神经网络模型；
s4、将训练好的神经网络模型分别送入测试网络获得测试结果；
s5、将测试结果中最好的模型保存；
作为一种优选实施方式，步骤s1中的训练集和测试集比例划分为4:1。
作为一种优选实施方式，步骤s2中深度神经网络包括特征提取网络，特征融合网络和输出网络。特征提取网络包括5个残差模块，每个残差模块都包含了多个卷模块，并且使用了步长为2的卷积层进行下采样；特征融合网络包括了3个融合模块，分别是其8倍下采样层，16倍下采样层和32倍下采样层；输出网络包含了两个输出模块。
作为一种更优选实施方式，卷积模块采用了3*3卷积层和1*1卷积层的组合；卷积模块都采用的激活函数是Leaky-Relu激活函数，并且每个卷积模块都是卷积层加上激活函数加上批归一化层组合。
作为一种优选实施方式，特征提取网络中残差模块是三个卷积层组合形成的，分别通过一个3*3卷积模块将通道数减少为原来的一半，在通过一个1*1卷积模块卷积，通过一个3*3卷积模块恢复通道数，最后将原始特征层与最后恢复通道数后的卷积层特征相加，获得新的特征层。
作为一种优选实施方式，特征融合网络分别采用其8倍下采样特征层A，16倍下采样特征层B，32倍下采样特征层C进行融合。首先特征C通过一个1*1卷积降低其通道数，再通过上采样将其特征层大小变为原来的两倍,生成特征层D，其次将特征层A通过3*3卷积层将其通道数变为原来的两倍并将其特征层大小变为原来的一半，最后将特征层A,B,C进行相加，生成新的特征层D，将特征层D进行2次3*3卷积生成特征层E，将特征层E首先通过通过1*1卷积再通过上采样生成与特征层A相同大小的特征层F，然后将特征层E通过3*3卷积生成与特征层B相同的大小的特征层G，最后将特征层E通过上采样生成与特征层C相同大小的特征层H。
所述输出网络中对特征融合后的特征层首先采用一个1*1卷积降低特征层的维度，再通过2个3*3卷积融合特征，最后输出大小为H*W*class的卷积层A和大小为H*W*5的卷积层B，其中H代表特征层的高度，W代表特征层的宽度，class代表类别数量，5代表此中心点距离左边界距离，中心点距离上边界的距离，中心点距离右边界的距离，中心点距离下边界的距离和分类置信度。
作为一种优选实施方式，输出网络中对特征融合后的卷积层分别采用一个1*1卷积并分别通过两个3*3卷积输出大小为H*W*class的卷积层和大小为H*W*5的卷积层，其中H代表特征层的高度，W代表特征层的宽度，class代表类别数量，其中5代表此中心点距离左边界距离，中心点距离上边界的距离，中心点距离右边界的距离，中心点距离下边界的距离和分类置信度。
作为一种更优选实施方式，在训练过程中使用损失函数进行边界框回归；其中，b、bgt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离：
作为一种优选实施方式，步骤s4中，在训练网络的时候，把整个数据集分为K份，每次选取其中一个子集作为测试集，再从K-1个子集中选取百分之80作为训练集，百分之20作为验证集，进行K次交叉验证，从而训练好网络模型。
作为一种优选实施方式，在训练前，对非机动车数据集的图像进行基于色彩饱和度的图像增强、基于图像尺寸的数据增强，扩充数据集。
本发明与现有技术相比，其显著优点：1)本发明是一种基于深度卷积网络的的目标检测和识别方法，增加了非机动车检测的精度。2)本发明在网络结构的融合部分，使用4尺度进行融合，使得检测结果更好。
附图说明
图1为本发明的基于深度卷积网络的非机动车检测和识别方法的流程图。
图2为卷积模块示意图。
图3为融合层特征图。
具体实施方式
下面结合说明书附图和具体实施例对本发明方案作进一步说明。
一种基于深度卷积网络非机动车检测和识别方法，包括以下步骤：
步骤一、建立起基于深度卷积网络的非机动车检测神经网络构架，使用卷积神经网络对交通场景下的非机动车图像进行多层特征提取，产生多级特征图，然后对多级特征图按照从高到底的方式进行特征融合操作，在最终输出结果前加入损失函数，不断地更新模型参数，使得最后的检测结果中，非机动车类别检测效果更好。
本发明采用的是经典神经网络结构darknet53，同时进行结构上的改进，具体是构建5个卷积模块(CONV_BLOCK)，每个卷积块中包含多个步长为1的卷积层和一个步长为2的卷积层，如图2所示。通过对每张输入图像进行第一层的卷积和降采样的处理，使得通道数变为64，特征图尺寸变为原来的1/2，如图3所示；通过对中间层的特征图进行卷积和降采样处理，使得通道数翻倍，特征图尺寸变为上一层的1/2。重复五次，最后特征层大小变为原来的1/32，通道数变成1024。特征融合网络分别采用其8倍下采样层特征层、16倍下采样层特征层、32倍下采样层特征层进行融合；特征融合网络分别采用其8倍下采样特征层A，16倍下采样特征层B，32倍下采样特征层C进行融合。首先特征C通过一个1*1卷积降低其通道数，再通过上采样将其特征层大小变为原来的两倍,生成特征层D，其次将特征层A通过3*3卷积层将其通道数变为原来的两倍并将其特征层大小变为原来的一半，最后将特征层A,B,C进行相加，生成新的特征层D，将特征层D进行2次3*3卷积生成特征层E，将特征层E首先通过通过1*1卷积再通过上采样生成与特征层A相同大小的特征层F，然后将特征层E通过3*3卷积生成与特征层B相同的大小的特征层G，最后将特征层E通过上采样生成与特征层C相同大小的特征层H。
关于卷积核的选择，鉴于以往的深度学习经验，本发明选取大小为3*3的卷积核和1*1的卷积核，所有的卷积层都是用这个卷积核的尺寸。
关于激活函数，本发明使用Leakey-ReLu作为激活函数，这是由于Leakey-ReLu激活函数本身的一些优点，包括：
(1)采用sigmoid等函数，算激活函数时(指数运算)，计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
(2)对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况，Leakey-ReLu能有效解决这个问题。
(3)Leakey-ReLu会使一部分神经元的输出降低，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
关于构架的损失函数，采用DIOU损失函数，将交通场景下的非机动车作为检测类别，确定检测框和真实框之间的IOU的值，再DIOU按照损失函数的定义计算其损失值，具体的损失函数如下：
其中，b、bgt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离
步骤2、选择非机动车数据集，划分成训练数据集、验证数据集、测试数据集，训练神经网络模型；
先介绍数据集各组成部分的作用，训练数据用于模型构建；验证数据可选，用于辅助模型构建，可以重复使用。测试数据用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率，绝对不允许用于模型构建过程，否则会导致过拟合。
本发明把整个数据集均分成K个子集，每次选取一个子集作为测试集，从K-1个子集中选出4/5作为训练数据集，剩下的1/5作为验证数据集，进行K次交叉验证，得到训练好的神经网络模型。
训练神经网络模型时，卷积部分，主干网络在ImageNet上进行预训练的权重初始化，再特征融合层，使用随机初始化参数的方法，这样可以明显减少训练时间，在更少的时间内取得更好的检测效果。此外还需要设置一些超参数，包括迭代次数epoch，每次输入到神经网络进行训练的图像数量batch-size的大小设置，确定训练结束条件。本发明中设置epoch的值为50，batch-size的大小为64。通过设置初始网络权重，网络参数采用随机初始化的方法，不断进行迭代训练，直到加权平均损失小于设定的阈值或者迭代次数大于设定的阈值，结束训练。
作为一种优选实施方式，还可以在训练前，对非机动车数据集的图像进行基于色彩饱和度的图像增强、基于图像尺寸的数据增强，扩充数据集，然后对扩充的数据集，进行上述处理。
步骤3、利用训练好的模型，进行非机动车检测和识别。
本发明在检测非机动车时，利用DIOU损失函数的方法，使得定位精度更高；本发明在检测非机动车时，利用多尺度融合特征层的方法，使得小目标检测准确率更高；本发明在检测非机动车时，使用DIOU损失函数进行训练；然后得到最终的神经网络模型，即得到训练好的参数值。
Claims (8)
1.一种基于深度卷积网络的非机动车检测和识别方法，其特征在于，包括以下步骤：
s1、建立起非机动车数据集，数据集中包含自行车数据和电动自行车数据，并划分成训练集，测试集和验证集；
s2、搭建起基于深度学习的目标检测网络；步骤s2中深度神经网络包括特征提取网络、特征融合网络和输出网络；特征提取网络包括5个残差模块，每个残差模块都包含多个卷积模块，并且使用步长为2的卷积层进行下采样；特征融合网络包括3个融合模块，分别是其8倍下采样层、16倍下采样层和32倍下采样层；输出网络包含两个输出模块；特征融合网络分别采用其8倍下采样特征层A，16倍下采样特征层B，32倍下采样特征层C进行融合；首先特征C通过一个1*1卷积降低其通道数，再通过上采样将其特征层大小变为原来的两倍,生成特征层D，其次将特征层A通过3*3卷积层将其通道数变为原来的两倍并将其特征层大小变为原来的一半，最后将特征层A、B、C进行相加，生成新的特征层D，将特征层D进行3次3*3卷积生成特征层E，将特征层E首先通过1*1卷积再通过上采样生成与特征层A相同大小的特征层F，然后将特征层E通过3*3卷积生成与特征层B相同的大小的特征层G，最后将特征层E通过上采样生成与特征层C相同大小的特征层H；
s3、将训练集样本送入神经网络中训练，获得训练后的神经网络模型；
s4、将训练好的神经网络模型分别送入测试网络获得测试结果；
s5、将测试结果中最好的模型保存并应用。
2.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：步骤s1中的训练集和测试集比例划分为4:1。
3.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：卷积模块采用3*3卷积层和1*1卷积层的组合；卷积模块都采用的激活函数是Relu激活函数，且每个卷积模块都是卷积层加上激活函数加上批归一化层组合。
4.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：所述特征提取网络中残差模块由三个卷积层组合形成，分别通过一个3*3卷积模块将通道数减少为原来的一半，再通过一个1*1卷积模块卷积，通过一个3*3卷积模块恢复通道数，最后将原始特征层与恢复通道数后的卷积层特征相加，获得新的特征层。
5.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：所述输出网络中对特征融合后的特征层首先采用一个1*1卷积降低特征层的维度，再通过2个3*3卷积融合特征，最后输出大小为H*W*class的卷积层A和大小为H*W*5的卷积层B，其中H代表特征层的高度，W代表特征层的宽度，class代表类别数量，5代表此中心点距离左边界距离，中心点距离上边界的距离，中心点距离右边界的距离，中心点距离下边界的距离和分类置信度。
6.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：在训练过程中使用损失函数进行边界框回归；其中，b、bgt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离：
7.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：步骤s4中，在训练网络的时候，把整个数据集分为K份，每次选取其中一个子集作为测试集，再从K-1个子集中选取百分之80作为训练集，百分之20作为验证集，进行K次交叉验证，从而训练好网络模型。
8.根据权利要求1所述的基于深度卷积网络的非机动车检测和识别方法，其特征在于：所述步骤s1在训练前，对非机动车数据集的图像进行基于色彩饱和度的图像增强、基于图像尺寸的数据增强，扩充数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011568694.0A CN112699928B (zh) | 2020-12-25 | 2020-12-25 | 基于深度卷积网络的非机动车检测和识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011568694.0A CN112699928B (zh) | 2020-12-25 | 2020-12-25 | 基于深度卷积网络的非机动车检测和识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112699928A CN112699928A (zh) | 2021-04-23 |
| CN112699928B true CN112699928B (zh) | 2022-09-20 |
Family
ID=75511061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011568694.0A Active CN112699928B (zh) | 2020-12-25 | 2020-12-25 | 基于深度卷积网络的非机动车检测和识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699928B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
-
2020
- 2020-12-25 CN CN202011568694.0A patent/CN112699928B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112699928A (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3292512B1 (en) | Full reference image quality assessment based on convolutional neural network | |
| US11151403B2 (en) | Method and apparatus for segmenting sky area, and convolutional neural network | |
| US10275719B2 (en) | Hyper-parameter selection for deep convolutional networks | |
| CN106372651B (zh) | 图片品质的检测方法及装置 | |
| CN109740451B (zh) | 基于重要性加权的道路场景图像语义分割方法 | |
| US20170124409A1 (en) | Cascaded neural network with scale dependent pooling for object detection | |
| CN110046550B (zh) | 基于多层特征学习的行人属性识别系统及方法 | |
| EP3690714A1 (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
| CN110826596A (zh) | 一种基于多尺度可变形卷积的语义分割方法 | |
| CN111753986B (zh) | 面向深度学习模型的动态测试方法及其装置 | |
| CN109858327B (zh) | 一种基于深度学习的字符分割方法 | |
| US20210125061A1 (en) | Device and method for the generation of synthetic data in generative networks | |
| CN111461213A (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
| CN110956080A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111539456B (zh) | 一种目标识别方法及设备 | |
| CN111950583B (zh) | 一种基于gmm聚类的多尺度识别交通信号标志的方法 | |
| CN116704431A (zh) | 水污染的在线监测系统及其方法 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN112347936A (zh) | 一种基于深度可分离卷积的快速目标检测方法 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN116630932A (zh) | 一种基于改进yolov5的道路遮挡目标检测方法 | |
| CN112926595B (zh) | 深度学习神经网络模型的训练装置、目标检测系统及方法 | |
| CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN112699928B (zh) | 基于深度卷积网络的非机动车检测和识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |