CN111199255A - 基于darknet53网络的小目标检测网络模型及检测方法 - Google Patents

基于darknet53网络的小目标检测网络模型及检测方法 Download PDF

Info

Publication number
CN111199255A
CN111199255A CN201911426015.3A CN201911426015A CN111199255A CN 111199255 A CN111199255 A CN 111199255A CN 201911426015 A CN201911426015 A CN 201911426015A CN 111199255 A CN111199255 A CN 111199255A
Authority
CN
China
Prior art keywords
module
feature
network
size
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911426015.3A
Other languages
English (en)
Inventor
王伟栋
沈修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Original Assignee
SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD filed Critical SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Priority to CN201911426015.3A priority Critical patent/CN111199255A/zh
Publication of CN111199255A publication Critical patent/CN111199255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于darknet53网络的小目标检测网络模型及检测方法。检测网络模型包括基于darknet53网络的特征提取模块，多尺寸特征融合模块，特征增强模块以及边界回归模块。检测方法的具体步骤为：将待检测的图像输入特征提取模块获取图像的多尺寸深层特征；多尺寸特征融合模块对上述多尺寸深层特征进行分组融合；融合后的特征分别通过特征增强模块进一步增强特征表现力；将边界回归模块作用于增强后的特征定位图中的目标物体。该项发明能够获取到更多小目标的位置信息并将其与小目标的语义信息有效地结合，大大增加了小目标的检出率。

Description

基于darknet53网络的小目标检测网络模型及检测方法
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于darknet53网络的小目标检测网络模型及检测方法。
背景技术
目标检测是计算机视觉领域中的热门研究方向，其被广泛应用于人脸识别、智能驾驶及智能监控等多种领域。目标检测的任务是从图像中判断目标物体的存在与否并对其进行定位。由于人工智能技术的迅速发展，基于深度神经网络的目标检测方法在检测效率及准确率方面均要优于传统的目标检测方法。
基于深度神经网络的目标检测网络模型可分为单阶和双阶两种类型，单阶网络因其轻量、高效的特点加上不弱于双阶网络的检测准确率成为工业应用的首选，但只能对固定大小的图像进行检测，即对输入图像的尺寸存在较大的限制。
相对于大目标，小目标在图像中特性是占用的像素少，纹理及边缘特征不明显，由于单阶网络对于图像尺寸的限制进一步放大了小目标的特性，导致了单阶网络对于小目标检测的检出率较低。
发明内容
本发明的目的在于提供一种基于darknet53网络的小目标检测网络模型及检测方法，用于提高单阶检测网络对于小目标的检出率，实现对于小目标的有效检测。
第一方面，本发明提供一种基于darknet53网络的小目标检测网络模型，该网络模型由特征提取模块、多尺寸特征融合模块、特征增强模块以及边界回归模块组成；
其中，特征提取模块以经过预处理的待检图像作为输入，特征提取模块的输出端连接多尺寸特征融合模块的输入端，每一个多尺寸特征融合模块的输出端分别依次连接一个特征增强模块和一个边界回归模块；
所述特征提取模块通过对输入图像的非线性变换得到多种尺寸的深层特征，模块内部结构基于darknet53网络，该网络每一个残差块的输出特征的宽高均为前一个残差块输出特征尺寸的1/2；多尺寸特征融合模块对输入的深层特征通过上采样至相同尺寸后进行融合；
特征增强模块和边界回归模块由一系列的卷积层组成，每一个融合得到的特征图经过特征增强模块和边界回归模块中卷积操作得到小目标的检测结果。
进一步的，作为优选的实现方式，在darknet53网络的第二个残差块中增加两个残差单元。
进一步的，作为优选的实现方式，多尺寸特征融合模块包含多个反卷积层和融合模块，每一反卷积层的输入端用于接收一种尺寸的深层特征，输出端连接一个融合模块的输入端。
进一步的，作为优选的实现方式，特征增强模块的网络采用残差块的网络结构，可包含2-3个残差单元。
进一步的，作为优选的实现方式，特征提取模块中的残差块内核大小为3x3，步长为1的卷积层结构为分组卷积。
进一步的，作为优选的实现方式，特征融合模块中在反卷积层前加入深度可分离卷积层用于接收深层特征。
第二方面，本项发明提供一种基于darknet53网络的小目标检测方法，该方法包括如下步骤：
1)对训练集中的图像进行归一化并缩放至32的整数倍大小；
2)设置边界回归模块中初始候选框的宽高；
3)使用经过预处理的训练集图像对网络模型进行训练；
4)将待检测的图像输入经过训练的网络模型对图中的小目标进行检测，输出小目标类别和位置的检测结果；
5)根据预设的类别置信度阈值及重叠度阈值对检测结果进行过滤，得到最终的检测结果。
进一步的，作为优选的实现方式，步骤1中将图像的像素归一化至0～1之间，并通过最近邻插值将图像尺寸缩放至512x512。
进一步的，作为优选的实现方式，步骤2中使用Kmeans算法找到训练数据目标框在不同类别数下的聚类中心并通过计算相应的平均重叠度，根据平均重叠度随着类别数增多的梯度变化选择最佳的类别个数及对应的聚类中心作为初始候选框。
进一步的，作为优选的实现方式，步骤3对网络的训练过程中提取后四个残差块的输出，依次得到尺寸大小分别为128x128,64x64,32x32,16x16四层的深层特征；分别融合前三层特征和后三层特征，融合从最下层的特征开始，依次通过深度可分离卷积层和反卷积层将宽高调整至与上一层特征相同后向上逐层进行融合。
进一步的，作为优选的实现方式，步骤5中对于检测结果的过滤方法可采用软性非极大值抑制。
附图说明
图1是darknet53结构图。
图2是残差单元的结构图。
图3是检测网络中作为优选的特征提取模块的结构图。
图4是检测网络中作为优选的多尺寸特征融合模块的结构图。
图5是本发明中检测方法的流程图。
图6是本发明检测方法a)与ssd，faster-rcnn等方法b)在较大场景中检测小目标的对比结果。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的说明：
本发明提供一种基于darknet53网络的小目标检测网络模型及检测方法。
图3和图4是检测网络的结构图，如图所示，检测网络包括特征提取模块，多尺寸特征融合模块，特征增强模块以及边界回归模块。
其中特征提取模块的内部网络结构基于darknet53网络，darknet53网络的结构如图1所示。特征提取模块在darknet53网络的基础上移除了最后的平均池化层，全连接层和softmax层，同时在第二个残差块中增加了两个残差单元，以获取更多小目标的位置信息；同时将残差单元中核大小为3x3的卷积层的卷积方式由全通道卷积调整为分组卷积，以减少网络参数。残差单元的结构如图2所示。
残差单元内1x1大小的全通道卷积层的输出特征图在输入到后一层分组卷积层中后按通道数被均分成四组，同样层内的卷积核数量也被分成与之对应的4组。每一组卷积核在与其对应的每一组输入特征图上执行全卷积操作。
进一步地，将2、3、4、5四个残差块的输出定义为特征提取模块输出端与多尺寸特征融合模块的输入端相连，输出四层特征对应的尺寸分别为128x128、64x64、32x32、16x16。
多尺度特征融合模块分别将128x128、64x64、32x32以及64x64、32x32、16x16三种尺寸的特征进行融合，融合的具体步骤如下：
1)将尺寸最小的特征图通过深度可分离卷积与反卷积生成尺寸大小为原来两倍的新特征图；
2)将步骤1)中生成的特征图与中间层的特征图按通道数拼接；
3)将拼接后的特征重复上述步骤1)、2)的操作，最终分别得到尺寸大小为128x128及64x64的两种特征图。
两种特征图分别通过特征增强和边界回归输出尺寸为(n/2)x128x128x(类别数+5)和(n/2)x64x64x(类别数+5)预测结果，该结果包含目标所属类别的置信度以及相对于n种不同尺寸候选框的偏移量。
图5是检测方法的流程图，具体步骤如下：
1)首先将训练图像的尺寸通过最近邻插值法缩放至512x512，随后将像素值归一化至[0,1]区间。
2)根据图像尺寸缩放的比例调整对应目标框的大小，通过Kmeans聚类算法计算出当前训练数据集关于聚类中心数量的平均重叠度。平均重叠度的计算公式如下：
Figure BDA0002352028340000041
上式中N表示训练样本中目标框的总数，n表示聚类中心的个数，nj表示第j个类中包含目标框的个数，si,j表示位于第i个类中的第j个目标框，ci表示第i个聚类中心。随着聚类中心数量的增多，平均重叠度的梯度变化逐渐趋向于0，在此前提下，选择平均重叠度最高的聚类中心作为用于边界回归的初始候选框。
3)将预处理后的训练样本输入检测网络，根据网络输出的检测结果以及真实的目标框位置和类别信息计算对应的定位损失，分类损失及置信度损失；将三者求和做为训练网络的目标损失函数。公式如下：
L＝Lloc+Lcls+Lconf
Lloc＝LΔ(cx,xy)+LΔ(w,h)
其中Lloc是定位损失，其大小由Smooth L1计算预测目标框相对于真实目标框的中心位置偏移和宽高偏移的误差得到。
分类损失Lcls是对包含目标的预测目标框对于目标类别判断的误差，具体的计算公式如下：
Figure BDA0002352028340000042
其中n表示包含目标的预测目标框的总数，m表示类别数，{yi＝j}是指示函数，当第i个预测目标框包含第j类目标时为1，反之为0。pi j表示第i个目标框包含第j类目标的概率。
置信度损失Lconf是对所有预测目标框对于属于前、背景判断的误差，具体的计算公式如下：
Figure BDA0002352028340000043
其中c表示预测框属于前景的置信度。
4)完成待测图像的预处理操作后，用训练好的网络模型对待测图像中的目标进行检测，输出预测结果。
5)将每个预测目标框类别置信度与预设的类别置信度阈值进行比较，删除最大置信度小于该阈值的预测目标框；对余下的预测目标框利用软性非极大值抑制作进一步过滤，得到最终的检测结果。
图6是本发明检测方法a)与ssd，faster-rcnn等方法b)在较大场景中检测小目标的对比结果。

Claims (10)

1.基于darknet53网络的小目标检测网络模型，其特征在于，该网络模型由特征提取模块、多尺寸特征融合模块、特征增强模块以及边界回归模块组成；
其中，特征提取模块以经过预处理的待检图像作为输入，特征提取模块的输出端连接多尺寸特征融合模块的输入端，每一个多尺寸特征融合模块的输出端分别依次连接一个特征增强模块和一个边界回归模块；
所述特征提取模块通过对输入图像的非线性变换得到多种尺寸的深层特征，模块内部结构基于darknet53网络，该网络每一个残差块的输出特征的宽高均为前一个残差块输出特征尺寸的1/2；多尺寸特征融合模块对输入的深层特征通过上采样至相同尺寸后进行融合；
特征增强模块和边界回归模块由一系列的卷积层组成，每一个融合得到的特征图经过特征增强模块和边界回归模块中卷积操作得到小目标的检测结果。
2.根据权利要求1所述的基于darknet53网络的小目标检测网络模型，其特征在于，在darknet53网络的第二个残差块中增加两个残差单元。
3.根据权利要求1所述的基于darknet53网络的小目标检测网络模型，其特征在于，多尺寸特征融合模块包含多个反卷积层和融合模块，每一反卷积层的输入端用于接收一种尺寸的深层特征，输出端连接一个融合模块的输入端。
4.根据权利要求1所述的基于darknet53网络的小目标检测网络模型，其特征在于，特征增强模块的网络采用残差块的网络结构，可包含2-3个残差单元。
5.根据权利要求1所述的基于darknet53网络的小目标检测网络模型，其特征在于，特征提取模块中的残差块内核大小为3x3，步长为1的卷积层结构为分组卷积。
6.根据权利要求1所述的基于darknet53网络的小目标检测网络模型，其特征在于，特征融合模块中在反卷积层前加入深度可分离卷积层用于接收深层特征。
7.基于darknet53网络的小目标检测方法，该方法包括如下步骤：
1)对训练集中的图像进行归一化并缩放至32的整数倍大小；
2)设置边界回归模块中初始候选框的宽高；
3)使用经过预处理的训练集图像对网络模型进行训练；
4)将待检测的图像输入经过训练的网络模型对图中的小目标进行检测，输出小目标类别和位置的检测结果；
5)根据预设的类别置信度阈值及重叠度阈值对检测结果进行过滤，得到最终的检测结果。
8.根据权利要求7所述的基于darknet53网络的小目标检测方法，其特征在于，步骤1中将图像的像素归一化至0～1之间，并通过最近邻插值将图像尺寸缩放至512x512。
9.根据权利要求7所述的基于darknet53网络的小目标检测方法，其特征在于，步骤2中使用Kmeans算法找到训练数据目标框在不同类别数下的聚类中心并通过计算相应的平均重叠度，根据平均重叠度随着类别数增多的梯度变化选择最佳的类别个数及对应的聚类中心作为初始候选框。
10.根据权利要求7所述的基于darknet53网络的小目标检测方法，其特征在于，步骤3对网络的训练过程中提取后四个残差块的输出，依次得到尺寸大小分别为128x128,64x64,32x32,16x16四层的深层特征；分别融合前三层特征和后三层特征，融合从最下层的特征开始，依次通过深度可分离卷积层和反卷积层将宽高调整至与上一层特征相同后向上逐层进行融合。
CN201911426015.3A 2019-12-31 2019-12-31 基于darknet53网络的小目标检测网络模型及检测方法 Pending CN111199255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911426015.3A CN111199255A (zh) 2019-12-31 2019-12-31 基于darknet53网络的小目标检测网络模型及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911426015.3A CN111199255A (zh) 2019-12-31 2019-12-31 基于darknet53网络的小目标检测网络模型及检测方法

Publications (1)

Publication Number Publication Date
CN111199255A true CN111199255A (zh) 2020-05-26

Family

ID=70746630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911426015.3A Pending CN111199255A (zh) 2019-12-31 2019-12-31 基于darknet53网络的小目标检测网络模型及检测方法

Country Status (1)

Country Link
CN (1) CN111199255A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270366A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 基于自适应多特征融合的微小目标检测方法
CN112819010A (zh) * 2021-01-26 2021-05-18 奥特酷智能科技(南京)有限公司 一种基于yolo v3改进的小目标检测方法
CN113143223A (zh) * 2021-01-05 2021-07-23 长春理工大学 一种边缘人工智能婴幼儿监测方法
CN114638982A (zh) * 2021-12-14 2022-06-17 上海悠络客电子科技股份有限公司 一种在线目标检测模型构建方法
CN114821138A (zh) * 2022-04-15 2022-07-29 武汉工程大学 一种红外夜视场景下小目标检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270366A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 基于自适应多特征融合的微小目标检测方法
CN113143223A (zh) * 2021-01-05 2021-07-23 长春理工大学 一种边缘人工智能婴幼儿监测方法
CN112819010A (zh) * 2021-01-26 2021-05-18 奥特酷智能科技(南京)有限公司 一种基于yolo v3改进的小目标检测方法
CN114638982A (zh) * 2021-12-14 2022-06-17 上海悠络客电子科技股份有限公司 一种在线目标检测模型构建方法
CN114638982B (zh) * 2021-12-14 2024-09-17 上海悠络客电子科技股份有限公司 一种在线目标检测模型构建方法
CN114821138A (zh) * 2022-04-15 2022-07-29 武汉工程大学 一种红外夜视场景下小目标检测方法
CN114821138B (zh) * 2022-04-15 2024-10-18 武汉工程大学 一种红外夜视场景下小目标检测方法

Similar Documents

Publication Publication Date Title
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN112884064A (zh) 一种基于神经网络的目标检测与识别方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111696110B (zh) 场景分割方法及系统
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN111914727B (zh) 基于平衡采样与非线性特征融合的小目标人体检测方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN111008633B (zh) 一种基于注意力机制的车牌字符分割方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN112562255B (zh) 微光环境下电缆沟道烟雾火情的智能图像检测方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN113128308B (zh) 一种港口场景下的行人检测方法、装置、设备及介质
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN112183240A (zh) 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN112016512A (zh) 基于反馈式多尺度训练的遥感图像小目标检测方法
CN112329861B (zh) 一种面向移动机器人多目标检测的分层特征融合方法
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN116958786A (zh) 一种基于YOLOv5和ResNet50神经网络的化工废渣动态视觉识别方法
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN117115616A (zh) 一种基于卷积神经网络的实时低照度图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination