CN115294326A - 一种基于目标检测分组残差结构进行特征提取的方法 - Google Patents

一种基于目标检测分组残差结构进行特征提取的方法 Download PDF

Info

Publication number
CN115294326A
CN115294326A CN202210882832.5A CN202210882832A CN115294326A CN 115294326 A CN115294326 A CN 115294326A CN 202210882832 A CN202210882832 A CN 202210882832A CN 115294326 A CN115294326 A CN 115294326A
Authority
CN
China
Prior art keywords
network
convolution
target detection
residual error
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210882832.5A
Other languages
English (en)
Inventor
王改华
曹清程
甘鑫
翟乾宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210882832.5A priority Critical patent/CN115294326A/zh
Publication of CN115294326A publication Critical patent/CN115294326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于目标检测分组残差结构进行特征提取的方法，包括：准备训练、测试用的图像数据集；构建基于目标检测分组残差结构的特征提取网络，包括Backbone、Neck和Head三部分；使用训练好的网络对测试集图像进行特征提取。本发明对ResNet50骨干网络进行改进，引入了分组卷积块，对不同组别之间的特征信息进行融合，提高了特征提取的质量，同时使用深度可分离卷积替代传统的卷积，使参数量和运算成本更低。

Description

一种基于目标检测分组残差结构进行特征提取的方法
技术领域
本发明属于目标检测技术领域，具体涉及一种基于目标检测分组残差结构进行特征提取的方法。
背景技术
在深度学习的发展背景下，卷积神经网络已经得到越来越多的人认同，应用也越来越普遍。基于深度学习的目标检测算法利用卷积神经网络(CNN)自动选取特征，然后再将特征输入到检测器中对目标分类和定位。
在目标检测任务中，主干网络位于整个网络的前端，用于提取目标的不同尺度特征。早期基于卷积神经网络的物体检测模型大多使用VGG网络作为骨干网络，通过反复堆叠卷积层和池化层来提高特征提取和语义表达能力。但其层数仅为19层，提取的特征表达能力有限。如果通过堆叠加深网络层数，很容易导致梯度消失或爆炸，从而降低网络的性能。为了解决这个问题，He等人提出了一个跳跃连接残差(ResNet50)网络，它将浅层特征信息与后续层相结合，以产生新特征并将其反馈回来。此外，在单阶段目标检测网络YOLO V3中，提出了Darknet骨干网络结构，该结构结合ResNet50的特点，在保证特征超强表达的同时，避免了网络过深带来的梯度问题。
ResNet50网络是通过堆叠残差单元形成的。在训练过程中，随着网络深度的增加，梯度消失、梯度爆炸、准确率下降等问题会陆续出现，使用残差结构可以有效地解决这些问题。然而，随着网络深度的增加，模型计算量随之增加，卷积核的通道信息也经常未被充分利用。为了提高骨干网络充分提取通道特征信息的能力，本发明提出一种分组残差结构G-ResNet50，用于替换初始残差结构，形成骨干增强网络。
发明内容
本发明针对现有技术的不足，提供一种基于目标检测分组残差结构进行特征提取的方法，包括以下步骤：
步骤1，准备图像数据集用于测试和训练；
步骤2，构建基于目标检测分组残差结构的特征提取网络；
步骤3，使用训练集图像对基于目标检测分组残差结构的特征提取网络模型进行训练；
步骤4，使用步骤3训练好的网络模型对测试集图像进行特征提取。
而且，所述步骤1中将所有图像的尺寸调整到512×512大小进行多尺度训练，采用数据增强对图像数据集进行一系列操作：随机翻转、padding填充、随机裁剪，归一化处理，图像失真处理。
而且，所述步骤2中基于目标检测分组残差结构的特征提取网络由Backbone、Neck和Head三部分构成，Backbone采用的是本发明提出的G-ResNet50骨干网络，用于提取图片的特征，Neck结构用于连接Backbone和Head，用于融合特征，Head部分用于物体的检测，实现目标的分类和回归。
特征信息经过G-ResNet50骨干网络的卷积和最大池化层后，进入由ResNet50原始残差和改进后的新残差构成的残差网络。ResNet50骨干网络的分组残差结构new residual将1×1卷积后的卷积层分为四个通道组x1、x2、x3、x4，每组的宽、高相同，通道数为输入特征图的1/4，通过分组卷积，x1、x2、x3、x4生成y1、y2、y3、y4。此外，x1和x4的特征信息分别与x2和x3交错生成y2和y3。将两个通道得到的y2、y3通过拼接(concat)进行合并，然后把y1、y2、y3、y4的特征信息通过拼接融合后经过一个1×1的卷积进行参数缩减。为了结合残差网络前后的特征信息，令x1和x4经过3×3卷积增加通道维数，再与1×1卷积后的特征融合，以提高残差网络的特征提取能力。融合后的特征信息经过一个3×3深度可分离卷积后与直接输入的特征相加得到最终的特征。
Neck结构采用了Backbone的三个特征图[C2,C3,C4]，经过1×1卷积后通道都降为256，经过FPN结构进行特征融合，然后FPN经过了两次下采样得到Expand结构，最后采用3×3卷积对特征图进行处理，输出5个不同尺寸的特征图，步距为[8,16,32,64,128]，通道大小都为256。
而且，所述步骤3中训练集图像大小统一为512×512，学习率设置为0.001，batch_size大小设置为4，训练次数为12个epoch，并在第8个和第11个epoch时，将学习率降为原来的1/10。
与现有技术相比，本发明具有如下优点：
对ResNet50骨干网络进行改进，引入了分组卷积块，对不同组别之间的特征信息进行融合，提高了特征提取的质量，同时深度可分离卷积的引入较好地控制了参数量。
附图说明
图1为发明实施例网络总体结构示意图。
图2为发明实施例ResNet50及其残差结构示意图。
图3为发明实施例G-ResNet50及其残差结构示意图。
图4发明实施例整体网络检测效果示意图。
具体实施方式
本发明提供一种基于目标检测分组残差结构进行特征提取的方法，下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明实施例的流程包括以下步骤：
步骤1，准备图像数据集用于测试和训练。
选用COCO 2017数据集，它是一个大型的、丰富的物体检测、分割和字幕数据集，包含80个用于检测的类别，分别为“人”，“自行车”，“汽车”，“摩托车”，“飞机”，“公共汽车”，“火车”，“卡车”，“船”，“交通信号灯”等日常生活中常见个体，包含annotations、test2017、train2017、val2017四个文件，其中train包含118287张图像，val包含5000张图像，test包含28660张图像，annotations为标注类型的集合：object instances,object keypoints和image captions，使用JSON文件存储。
将所有图像的尺寸调整到512×512大小进行多尺度训练，采用数据增强对图像数据集进行一系列操作：随机翻转、padding填充、随机裁剪，归一化处理，图像失真处理。
步骤2，构建基于目标检测分组残差结构的特征提取网络。
如图1所示，基于目标检测分组残差结构的特征提取网络由Backbone、Neck和Head三部分构成。Backbone采用的是本发明提出的G-ResNet50骨干网络，用于提取图片的特征，G-ResNet50骨干网络输出3个不同尺寸的特征图[C2,C3,C4]，步距为[4,8,16]，通道大小为[256,512,1024]。图2显示了ResNet50的整体结构，特征信息经过卷积和最大池化层后，进入原始残差构成的残差网络。图3即为本发明对ResNet50改进后的G-ResNet50网络结构，由图中可以看出，特征信息经过卷积和最大池化层后，进入由ResNet50原始残差和改进后的新残差构成的残差网络。为了减少模型参数的数量和执行时间，只嵌入四个新残差网络。G-ResNet50骨干网络的分组残差结构new residual将1×1卷积后的卷积层分为四个通道组，分别用x1、x2、x3、x4表示，每组的宽、高相同，通道数为输入特征图的1/4。通过分组卷积，由x1、x2、x3、x4生成y1、y2、y3、y4。此外，x1和x4的特征信息分别与x2和x3交错生成y2和y3。将两个通道得到的y2、y3通过拼接(concat)进行合并，通过将多个特征通道的特征信息连接在同一个卷积层中，可以融合多个特征通道的特征信息，大大提高通道特征信息的利用率。y1～y4的特征信息通过拼接融合后经过一个1×1的卷积进行参数缩减。为了结合残差网络前后的特征信息，令x1和x4经过3×3卷积增加通道维数，再与1×1卷积后的特征融合，以提高残差网络的特征提取能力。融合后的特征信息经过一个3×3深度可分离卷积后与直接输入的特征相加得到最终的特征。深度可分离卷积是先进行深度卷积，然后进行点卷积，与传统的卷积运算相比，它的参数量和运算成本更低。
Neck结构用于连接Backbone和Head，用于融合特征。该结构采用了Backbone的三个特征图[C2,C3,C4]，经过1×1卷积后通道都降为256，经过FPN结构进行特征融合，然后FPN经过了两次下采样得到Expand结构，最后采用3×3卷积对特征图进行处理，输出5个不同尺寸的特征图，步距为[8,16,32,64,128]，通道大小都为256。
Head部分用于物体的检测，实现目标的分类和回归。
步骤3，使用训练集图像对基于目标检测分组残差结构的特征提取网络模型进行训练。
训练集图像大小统一为512×512，学习率设置为0.001，batch_size大小设置为4，训练次数为12个epoch，并在第8个和第11个epoch时，将学习率降为原来的1/10。
步骤4，使用步骤3训练好的网络模型对测试集图像进行特征提取。
实验环境：搭建以PyTorch1.6、torchvision＝0.7.0、CUDA10.0、CUDNN7.4为深度学习框架的Python编译环境，并在平台mmdetection2.6上实现。
实验设备：CPU:Intel Xeon E5-2683 V3@2.00GHz；RAM:16GB；Graphics card:Nvidia GTX 2060super；Hard disk:500GB。
为了测试G-ResNet50结构对检测物体精度的影响，在多个网络上进行了对比实验。实验的评价标准采用平均精度(Average-Precision，AP)，选用AP50、AP75、APS、APM、APL作为主要评价标准，其中AP50，AP75指的是取IoU阈值大于0.5和大于0.75的检测器的检测结果。APS、APM、APL分别对应小、中、大型目标的检测准确度。实验结果如表1所示。
表1 G-ResNet50对不同网络的效果
Figure BDA0003764860880000041
表1显示了COCO数据集的实验结果。COCO数据集的图片数量巨大，种类繁多，大大增加了物体检测的难度。为了让实验更有说服力，选择FCOS、ATSS、Foveabox和MGRNet作为对比网络。COCO数据集的评价指标为AP、AP50、AP75、APS、APM、APL。
由表1可知，ATSS的改善效果最为明显，AP增加0.9％，特别是APL增加1.9％。对于FCOS，整体提升了0.7个百分点，取得了不错的效果。Foveabox的效果较差，增加了0.3个百分点，这与Foveabox的正负样本训练策略和损失函数的选择有关。MGRNet的增长并不是特别明显，G-ResNet50结构的改进作用有限。然而，在如此高AP的检测网络上，本发明的改进方法仍然有效，充分证明了G-ResNet50的有效性。
选择一些测试图片来测试最终结果。从图4可以看出，本发明提出的目标检测网络取得了很好的效果。第三张图片中仅有一个物体时，网络可以准确地检测到该物体。其它图片中有多个物体时，也能达到很好的检测效果。对于第一张和第二张图片，当部分物体被遮挡时，仍能准确识别类别。此外，对于小物体和模糊图像，比如第七张图片中的人，第八张图片中车内的人，本发明提出的检测网络也能很好地完成检测任务。但是由于数据集类型有限，难免也会出现一些检测错误，比如第六张图片中的圆形野营帐篷被检测为雨伞。由图4不难看出，本发明提出的网络精准地完成了目标检测的任务，在边缘具有出色的识别效果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于目标检测分组残差结构进行特征提取的方法，其特征在于，包括以下步骤：
步骤1，准备图像数据集用于测试和训练；
步骤2，构建基于目标检测分组残差结构的特征提取网络，该网络由Backbone、Neck和Head三部分构成，Backbone采用的是对ResNet50残差结构改进后的G-ResNet50骨干网络，用于提取图片的特征，Neck结构用于连接Backbone和Head，用于融合特征，Head部分用于物体的检测，实现目标的分类和回归；特征信息经过G-ResNet50骨干网络的卷积和最大池化层后，进入由ResNet50原始残差和改进后的新残差构成的残差网络，ResNet50骨干网络的分组残差结构new residual将1×1卷积后的卷积层分为四个通道组x1、x2、x3、x4，每组的宽、高相同，通道数为输入特征图的1/4，通过分组卷积，x1、x2、x3、x4生成y1、y2、y3、y4，此外x1和x4的特征信息分别与x2和x3交错生成y2和y3，将两个通道得到的y2、y3通过拼接进行合并，然后将y1、y2、y3、y4的特征信息拼接融合后经过一个1×1的卷积进行参数缩减；令x1和x4经过3×3卷积增加通道维数，再与1×1卷积后的特征融合，以提高残差网络的特征提取能力；融合后的特征信息经过一个3×3深度可分离卷积后与直接输入的特征相加得到最终的特征；
步骤3，使用训练集图像对基于目标检测分组残差结构的特征提取网络模型进行训练；
步骤4，使用步骤3训练好的网络模型对测试集图像进行特征提取。
2.如权利要求1所述的一种基于目标检测分组残差结构进行特征提取的方法，其特征在于：步骤1中将所有图像的尺寸调整到512×512大小进行多尺度训练，采用数据增强对图像数据集进行一系列操作：随机翻转、padding填充、随机裁剪，归一化处理，图像失真处理。
3.如权利要求1所述的一种基于目标检测分组残差结构进行特征提取的方法，其特征在于：步骤2中Neck结构采用了Backbone的三个特征图[C2,C3,C4]，经过1×1卷积后通道都降为256，经过FPN结构进行特征融合，然后FPN经过了两次下采样得到Expand结构，最后采用3×3卷积对特征图进行处理，输出5个不同尺寸的特征图，步距为[8,16,32,64,128]，通道大小都为256。
4.如权利要求1所述的一种基于目标检测分组残差结构进行特征提取的方法，其特征在于：步骤3中将训练集图像大小统一为512×512，学习率设置为0.001，batch_size大小设置为4，训练次数为12个epoch，并在第8个和第11个epoch时，将学习率降为原来的1/10。
CN202210882832.5A 2022-07-26 2022-07-26 一种基于目标检测分组残差结构进行特征提取的方法 Pending CN115294326A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210882832.5A CN115294326A (zh) 2022-07-26 2022-07-26 一种基于目标检测分组残差结构进行特征提取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210882832.5A CN115294326A (zh) 2022-07-26 2022-07-26 一种基于目标检测分组残差结构进行特征提取的方法

Publications (1)

Publication Number Publication Date
CN115294326A true CN115294326A (zh) 2022-11-04

Family

ID=83824047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210882832.5A Pending CN115294326A (zh) 2022-07-26 2022-07-26 一种基于目标检测分组残差结构进行特征提取的方法

Country Status (1)

Country Link
CN (1) CN115294326A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN115880574A (zh) * 2023-03-02 2023-03-31 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN115880574A (zh) * 2023-03-02 2023-03-31 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质

Similar Documents

Publication Publication Date Title
CN110059582B (zh) 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111612008B (zh) 基于卷积网络的图像分割方法
CN115294326A (zh) 一种基于目标检测分组残差结构进行特征提取的方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN110222604B (zh) 基于共享卷积神经网络的目标识别方法和装置
CN110598788B (zh) 目标检测方法、装置、电子设备及存储介质
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN115690522B (zh) 一种基于多池化融合通道注意力的目标检测方法及其应用
CN107092884A (zh) 一种快速粗精级联行人检测方法
CN111144314A (zh) 一种篡改人脸视频检测方法
CN112950477A (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN113743484A (zh) 基于空间和通道注意力机制的图像分类方法与系统
CN115131797A (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN115527095A (zh) 基于联合递归特征金字塔的多尺度目标检测方法
CN115294356A (zh) 一种基于广域感受野空间注意力的目标检测方法
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN117037004A (zh) 基于多尺度特征融合和上下文增强的无人机影像检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
Asgarian Dehkordi et al. Vehicle type recognition based on dimension estimation and bag of word classification
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN112131925B (zh) 一种多通道特征空间金字塔的构造方法
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN110728214A (zh) 一种基于尺度匹配的弱小人物目标检测方法
CN114219757B (zh) 一种基于改进Mask R-CNN的车辆智能定损方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination