CN110929649A - 一种面向小目标检测的网络和困难样本挖掘方法 - Google Patents

一种面向小目标检测的网络和困难样本挖掘方法 Download PDF

Info

Publication number
CN110929649A
CN110929649A CN201911160906.9A CN201911160906A CN110929649A CN 110929649 A CN110929649 A CN 110929649A CN 201911160906 A CN201911160906 A CN 201911160906A CN 110929649 A CN110929649 A CN 110929649A
Authority
CN
China
Prior art keywords
network
region
pyramid
target
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911160906.9A
Other languages
English (en)
Other versions
CN110929649B (zh
Inventor
周靖凯
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911160906.9A priority Critical patent/CN110929649B/zh
Publication of CN110929649A publication Critical patent/CN110929649A/zh
Application granted granted Critical
Publication of CN110929649B publication Critical patent/CN110929649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向小目标检测的网络和困难样本挖掘方法，包括以下步骤：步骤一、使用主干网络提取当前图像主干特征；步骤二、构造颈部网络，生成特征金字塔；步骤三、构造区域生成网络模型，生成感兴趣区域；步骤四、基于困难样本挖掘生成训练数据；步骤五、使用感兴趣区域对齐模块裁剪区域特征；步骤六、使用头部网络分类和定位目标。本发明能够显著提高小目标检测精度，且仅少量增加计算开销。

Description

一种面向小目标检测的网络和困难样本挖掘方法
技术领域
本发明涉及小目标检测问题，更具体地，涉及一种面向小目标检测的网络和困难样本挖掘方法。
背景技术
受益于卓越的灵活性和便携性，无人机航拍广泛应用于农业、影视、测绘、监控、快递、户外搜救等领域。航拍数据的自动处理和智能识别成为了业界的迫切需求。作为其中关键技术之一，无人机目标检测成为了当下的研究热点。
尽管深度学习方法在通用目标检测领域获得了巨大的成功，它们在无人机航拍场景下的表现不尽人意。不同于普通图像，无人机航拍图像面临严重的小目标挑战：更多的小目标、更低的目标平均分辨率和更小的ORS。下文对比性分析了COCO、ImageNet和VisDrone数据集(一个近期提出的大型无人机航拍数据集)，进一步阐述这三个方面。
无人机航拍场景下小目标占比更重。统计了COCO 2014和VisDrone 2018训练集中的目标像素面积分布，VisDrone 2018中约有60％的目标面积不超过1000像素，约75％的目标面积不超过2000像素。而COCO中这样的目标分别只有约40％和55％。由此可见，无人机航拍场景下有更多的小目标，其目标检测的核心在于小目标检测。
无人机航拍图像中目标的平均分辨率也更低。COCO 2014中目标平均面积为2.05e+4像素。而VisDrone 2018中目标平均面积仅为2.49e+3像素，是COCO 2014的1/8。更低的分辨率意味着目标携带的外观信息更少、信噪比更低，更难被检测器检出。
除绝对尺度外，航拍图像中目标的相对尺度也较小。在检测阶段，图像会被缩放至预设大小。小的ORS导致缩放后的目标分辨率低，外观信息少，影响检测精度统计了COCO2014、ImageNet DET和VisDrone 2018中ORS的累计分布。相比于COCO和ImageNet，VisDrone中绝大多数目标具有更小的相对尺度。其中约97％的目标占图像面积不到1％。VisDrone、COCO和ImageNet中ORS的中位数分别为1.73e-2,9.56e-2和5.14e-1。如果让VisDrone中的目标同COCO或ImageNet中的目标尺度相当，VisDrone的图片将被放大至COCO图片的5倍、ImageNet图片的29倍。受限于GPU显存，现有深度学习方法难以直接处理如此庞大的图片。
综上，改善无人机目标检测的关键是改善小目标检测。本发明提出面向小目标检测的网络设计和困难样本挖掘方法：使用主干网络对当前图像提取主干特征；设计特征优化的颈部网络，输入主干特性产生特征金字塔；设计锚点优化的区域生成网络，产生感兴趣区域；在检测器训练阶段，设计采样优化的困难样本挖掘方法，挖掘困难样本更好的训练检测器；使用感兴趣区域对齐模块，根据感兴趣区域在特征金字塔上裁剪区域特征；使用目标分类头网络和目标框回归头网络，分类和定位目标。
本发明涉及到以下现有技术：
现有文献1：He Kaiming,et al."Deep residual learning for imagerecognition."Proceedings of the IEEE conference on computer vision andpattern recognition.2016.
现有文献2：Ren,Shaoqing,et al."Faster r-cnn:Towards real-time objectdetection with region proposal networks."Advances in neural informationprocessing systems.2015.
现有文献3：Shrivastava,Abhinav,Abhinav Gupta,and Ross Girshick."Training region-based object detectors with online hard example mining."Proceedings of the IEEE conference on computer vision and patternrecognition.2016.
现有文献4：He,Kaiming,et al."Mask r-cnn."Proceedings of the IEEEinternational conference on computer vision.2017.
现有文献1提出残差网络，利用残差链接降低深层网络的训练难度，得出具有强大表征/分类能力的主干特征。现有文献2提出区域生成网络，直接在主干特征上利用预设锚点生成感兴趣区域。现有文献3介绍了在线的困难样本挖掘方法，将样本按损失由大到小排序，采样损失最大的样本。现有文献4介绍了感兴趣区域对齐模块，通过目标每个子区域的计算四个角点的特征值，裁剪对齐的区域特征。本发明使用现有技术1提取主干特征；在现有文献2的基础上加入锚点尺寸微调机制；在现有文献3的基础上加入采样比例的限制；使用现有文献4来获取区域特征。
发明内容
本发明旨在改善小目标检测精度，从而更好的完成无人机目标检测、野外人脸检测等依赖小目标检测的任务。为了达到上述目的，根据本发明提供一种面向小目标检测的网络和困难样本挖掘方法,构造颈部网络生成择重小尺度目标的特征金字塔；构造区域生成网络调整锚点尺度并生成感兴趣区域。困难样本挖掘方法即按损失值大小排序样本，分段选定样本的采样概率，生成训练数据。
本发明至少通过如下技术方案之一实现。
一种面向小目标检测的网络和困难样本挖掘方法，包括以下步骤：
步骤一、使用主干网络提取当前图像主干特征；
步骤二、构造颈部网络，生成特征金字塔；
步骤三、构造区域生成网络，生成感兴趣区域；
步骤四、基于困难样本挖掘生成训练数据；
步骤五、使用感兴趣区域对齐模块裁剪区域特征；
步骤六、使用头部网络分类和定位目标，最后输出检测结果。
进一步地，步骤一所述的主干网络为50层的残差网络，该残差网络包含五阶，每一阶由若干个残差模块串联而成，特征尺寸相同，相邻各阶之间存在2倍下采样层，下采样后特征尺寸缩小两倍；最终提取的主干特征为主干网络二阶至五阶每阶最后一张特征图的集合。
进一步地，步骤二所述的颈部网络主要由三组结构相同的稠密连接串联而成；第一组稠密连接输入主干特征，生成对应的第一级特征金字塔；第二组稠密连接输入第一级特征金字塔，生成对应的第二级特征金字塔；第三组稠密连接输入第二级特征金字塔，生成择重小尺度目标的第三级特征金字塔；
所述特征金字塔包括若干种尺寸特征；所述择重小尺度目标指特征金字塔偏向表征小目标。
进一步地，所述稠密连接包含10个相同的特征融合连接，稠密连接具体如下：
对颈部网络输入特征金字塔的五阶特征连接输出特征金字塔的二阶至五阶特征，输入特征金字塔的四阶特征连接输出特征金字塔的二阶至四阶特征，输入特征金字塔的三阶特征连接输出特征金字塔的二阶和三阶特征，输入特征金字塔的二阶特征连接输出特征金字塔的二阶特征。
进一步地，所述特征融合连接的实现包括以下步骤：
第一步、使用最近邻上采样层将高阶特征放大至低阶特征的尺寸；
第二步、将缩放后的高阶特征与低阶特征元素相加；
第三步、使用2个步长为1，补零填充为1的3*3卷积层处理第二步相加所得的特征。
进一步地，步骤三所述的区域生成网络模型是在已有的区域生成网络的分支网络处添加尺度偏差估计分支，根据尺度偏差估计调整预设锚点的尺度，生成感兴趣区；
所述尺度偏差估计分支网络主要由三个串联的网络层组成，这三个网络层分别为全局下采样层、维度为256*256的全连接中间层和维度为256*1的全连接输出层。
进一步地，步骤四所述的基于困难样本挖掘生成训练数据是将样本数据按损失值从大到小排序；排序在前10％的样本是随机采样占总采样数10％的样本；排序在10％至50％的样本是随机采样占总采样数70％的样本；排序在后50％的样本是随机采样占总采样数20％的样本。
进一步地，步骤五具体是将感兴趣区域和第三级特征金字塔输入感兴趣区域对齐模块，根据感兴趣区域的位置和尺寸，裁剪特征金字塔的对应阶，生成区域特征；所述的裁剪是将感兴趣区域划分为7*7个区间，每个区间计算4个角点值，并将最大的角点值赋为区间值。
进一步地，步骤六所述的头部网络包括目标分类头部网络和目标回归头部网络；
目标分类头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为维度为12544的特征向量；
2)将该向量输依次入12544*1024和1024*C的两层全连接层，得到C个类别的分类得分，所述C是目标类别个数；
3)使用softmax算法确定该目标的具体分类结果，softmax算法的公式如下：
Figure BDA0002286118810000041
其中，S′i为第i类的最终得分，Si为第i类的原始得分，Sj为第j类的原始得分，e为自然对数。
同样地，目标回归头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为一个12544维度的特征向量输入区域特征；
2)将该向量输依次入12544*1024和1024*4的两层全连接层，得到目标框的4个回归系数；
3)使用目标框的回归系数调整目标框的最终定位。
与现有的技术相比，本发明的有益效果为：本发明能够显著提高小目标检测精度，且仅少量增加计算开销。
附图说明
图1为本实施例一种面向小目标检测的网络和困难样本挖掘方法的流程图；
图2为本实施例中特征优化的颈部网络结构图；
图3为本实施例中特征融合连接的流程图；
图4为本实施例中锚点尺度调整区域生成网络结构图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本发明描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。
如图1所示的一种面向小目标检测的网络和困难样本挖掘方法，包括以下步骤：
步骤110、使用主干网络提取当前图像主干特征。使用50层的残差网络作为主干网络，先将当前图像缩放至短边800，输入主干网络提取主干特征。残差网络包含5阶，每一阶由多个残差模块串联而成，特征尺寸相同，相邻各阶之间存在2倍下采样层，下采样后特征尺寸缩小两倍。最终提取的主干特征为主干网络二阶至五阶每阶最后一张特征图的集合。
步骤120、构造颈部网络，生成特征金字塔。颈部网络生成择重小尺度目标的特征金字塔。如图2所示，颈部网络主要由三组结构相同的稠密连接串联而成；第一组稠密连接输入主干特征，生成对应的第一级特征金字塔；第二组稠密连接输入第一级特征金字塔，生成对应的第二级特征金字塔；第三组稠密连接输入第二级特征金字塔，生成择重小尺度目标的第三级特征金字塔；
所述稠密连接包含10个相同的特征融合连接，稠密连接具体如下：
输入特征金字塔的五阶特征连接输出特征金字塔的二阶至五阶特征，输入特征金字塔的四阶特征连接输出特征金字塔的二阶至四阶特征，输入特征金字塔的三阶特征连接输出特征金字塔的二阶和三阶特征，输入特征金字塔的二阶特征连接输出特征金字塔的二阶特征。
如图3所示，所述特征融合连接的实现包括以下步骤：
第一步、使用最近邻上采样层将高阶特征放大至低阶特征的尺寸；
第二步、将缩放后的高阶特征与低阶特征元素相加；
第三步、使用2个步长为1，补零填充为1的3*3卷积层处理第二步相加所得特征。
步骤130、构造区域生成网络，生成感兴趣区域；区域生成网络的结构如图4所示，在已有的区域生成网络的分支网络处额外添加尺度偏差估计分支，用于估计锚点尺度的偏差。根据尺度偏差估计调整预设锚点的尺度，用于后续检测步骤。
尺度偏差估计分支网络主要由三个网络层串联而成，具体包括：全局下采样层，维度为256*256的全连接中间层和维度为256*1的全连接输出层。先将输入特征输入全局下采样层，下采样为1*1*256的特征；再将下采样后的特征依次输入维度为256*256的全连接中间层和维度为256*1的全连接输出层，并最终得到尺度偏差估计，调整预设的锚点尺度。
步骤140、基于困难样本挖掘生成训练数据，更好的训练模型，在模型测试阶段，跳过步骤140。
困难样本挖掘是先将样本按损失值从大到小排序。对排序在前10％的样本，随机采样占总采样数10％的样本；对排序在10％至50％的样本，随机采样占总采样数70％的样本；对排序在后50％的样本，随机采样占总采样数20％的样本。不同于现有文献3中的在线困难样本挖掘，本发明并非按损失值从大到小顺序采样，而是依照损失值从大到小按比例随机采样。所述困难样本挖掘仅用于训练阶段。
步骤150、使用感兴趣区域对齐模块，根据感兴趣区域在特征金字塔上裁剪区域特征。感兴趣区域对齐模块为现有文献4中所提模块。将感兴趣区域和第三级特征金字塔输入感兴趣区域对齐模块，根据感兴趣区域的位置和尺寸，裁剪特征金字塔的对应阶，生成区域特征；所述的裁剪是将感兴趣区域划分为7*7个区间，每个区间计算4个角点值，并将最大的角点值赋为区间值。
步骤160、使用头部网络分类和定位目标，最后显示输出检测结果。头部网络包括目标分类头部网络和目标回归头部网络。目标分类头部网络由维度为12544*1024和维度为1024*C的全连接层串联组成，输入区域特征，输出目标的分类得分。所述C为待分类的目标类别个数。目标回归头部网络由维度为12544*1024和维度为1024*4的全连接层串联组成，输入区域特征，输出目标回归系数。目标分类得分和目标回归系数确定目标类别和目标位置。
目标分类头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为维度为12544的特征向量；
2)将该向量输依次入12544*1024和1024*C的两层全连接层，得到C个类别的分类得分，所述C是目标类别个数；
3)使用softmax算法确定该目标的具体分类结果，softmax算法的公式如下：
Figure BDA0002286118810000071
其中，S′i为第i类的最终得分，Si为第i类的原始得分，Sj为第j类的原始得分，e为自然对数。
同样地，目标回归头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为一个12544维度的特征向量输入区域特征；
2)将该向量输依次入12544*1024和1024*4的两层全连接层，得到目标框的4个回归系数；
3)使用目标框的回归系数调整目标框的最终定位。
本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，包括以下步骤：
步骤一、使用主干网络提取当前图像主干特征；
步骤二、构造颈部网络，生成特征金字塔；
步骤三、构造区域生成网络，生成感兴趣区域；
步骤四、基于困难样本挖掘生成训练数据；
步骤五、使用感兴趣区域对齐模块裁剪区域特征；
步骤六、使用头部网络分类和定位目标，最后输出检测结果。
2.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤一所述的主干网络为50层的残差网络，该残差网络包含五阶，每一阶由若干个残差模块串联而成，特征尺寸相同，相邻各阶之间存在2倍下采样层，下采样后特征尺寸缩小两倍；最终提取的主干特征为主干网络二阶至五阶每阶最后一张特征图的集合。
3.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤二所述的颈部网络主要由三组结构相同的稠密连接串联而成；第一组稠密连接输入主干特征，生成对应的第一级特征金字塔；第二组稠密连接输入第一级特征金字塔，生成对应的第二级特征金字塔；第三组稠密连接输入第二级特征金字塔，生成择重小尺度目标的第三级特征金字塔；
所述特征金字塔包括若干种尺寸特征；所述择重小尺度目标是指特征金字塔偏向表征小目标。
4.根据权利要求3所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，所述稠密连接包含10个相同的特征融合连接，稠密连接具体如下：
对颈部网络输入特征金字塔的五阶特征连接输出特征金字塔的二阶至五阶特征，输入特征金字塔的四阶特征连接输出特征金字塔的二阶至四阶特征，输入特征金字塔的三阶特征连接输出特征金字塔的二阶和三阶特征，输入特征金字塔的二阶特征连接输出特征金字塔的二阶特征。
5.根据权利要求4所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，所述特征融合连接的实现包括以下步骤：
第一步、使用最近邻上采样层将高阶特征放大至低阶特征的尺寸；
第二步、将缩放后的高阶特征与低阶特征元素相加；
第三步、使用2个步长为1，补零填充为1的3*3卷积层处理第二步相加所得的特征。
6.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤三所述的区域生成网络模型是在已有的区域生成网络的分支网络处添加尺度偏差估计分支，根据尺度偏差估计调整预设锚点的尺度，生成感兴趣区；
所述尺度偏差估计分支网络主要由三个串联的网络层组成，这三个网络层分别为全局下采样层、维度为256*256的全连接中间层和维度为256*1的全连接输出层。
7.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤四所述的基于困难样本挖掘生成训练数据是将样本数据按损失值从大到小排序；排序在前10％的样本是随机采样占总采样数10％的样本；排序在10％至50％的样本是随机采样占总采样数70％的样本；排序在后50％的样本是随机采样占总采样数20％的样本。
8.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤五具体是将感兴趣区域和第三级特征金字塔输入感兴趣区域对齐模块，根据感兴趣区域的位置和尺寸，裁剪特征金字塔的对应阶，生成区域特征；所述的裁剪是将感兴趣区域划分为7*7个区间，每个区间计算4个角点值，并将最大的角点值赋为区间值。
9.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤六所述的头部网络包括目标分类头部网络和目标回归头部网络；
目标分类头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为维度为12544的特征向量；
2)将该向量输依次入12544*1024和1024*C的两层全连接层，得到C个类别的分类得分，所述C是目标类别个数；
3)使用softmax算法确定该目标的具体分类结果，softmax算法的公式如下：
Figure FDA0002286118800000021
其中，S′i为第i类的最终得分，Si为第i类的原始得分，Sj为第j类的原始得分，e为自然对数。
同样地，目标回归头部网络的数据流如下：
1)将池化所得7*7*256维度的区域特征变形为一个12544维度的特征向量输入区域特征；
2)将该向量输依次入12544*1024和1024*4的两层全连接层，得到目标框的4个回归系数；
3)使用目标框的回归系数调整目标框的最终定位。
CN201911160906.9A 2019-11-24 2019-11-24 一种面向小目标检测的网络和困难样本挖掘方法 Active CN110929649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911160906.9A CN110929649B (zh) 2019-11-24 2019-11-24 一种面向小目标检测的网络和困难样本挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911160906.9A CN110929649B (zh) 2019-11-24 2019-11-24 一种面向小目标检测的网络和困难样本挖掘方法

Publications (2)

Publication Number Publication Date
CN110929649A true CN110929649A (zh) 2020-03-27
CN110929649B CN110929649B (zh) 2023-05-26

Family

ID=69851721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911160906.9A Active CN110929649B (zh) 2019-11-24 2019-11-24 一种面向小目标检测的网络和困难样本挖掘方法

Country Status (1)

Country Link
CN (1) CN110929649B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111461008A (zh) * 2020-03-31 2020-07-28 华南理工大学 结合场景透视信息的无人机航拍目标检测方法
CN111858999A (zh) * 2020-06-24 2020-10-30 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN112633471A (zh) * 2020-12-17 2021-04-09 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周慧;严凤龙;褚娜;陈澎;: "基于特征金字塔模型的高分辨率遥感图像船舶目标检测" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111461008A (zh) * 2020-03-31 2020-07-28 华南理工大学 结合场景透视信息的无人机航拍目标检测方法
CN111461008B (zh) * 2020-03-31 2023-05-23 华南理工大学 结合场景透视信息的无人机航拍目标检测方法
CN111461217B (zh) * 2020-03-31 2023-05-23 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法
CN111858999A (zh) * 2020-06-24 2020-10-30 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN111858999B (zh) * 2020-06-24 2022-10-25 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN112633471A (zh) * 2020-12-17 2021-04-09 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质
CN112633471B (zh) * 2020-12-17 2023-09-26 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质

Also Published As

Publication number Publication date
CN110929649B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN110929649B (zh) 一种面向小目标检测的网络和困难样本挖掘方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
JP4777059B2 (ja) 画像検索装置および画像検索方法
CN111951212A (zh) 对铁路的接触网图像进行缺陷识别的方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111339839B (zh) 一种密集型目标检测计量方法
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
WO2023040247A1 (zh) 一种基于图像和点云融合网络的道路区域图像识别方法
CN113112519B (zh) 基于感兴趣目标分布的关键帧筛选方法
CN111461221B (zh) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN112347888A (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN114120363A (zh) 基于背景及姿态归一化的行人跨镜重识别方法及系统
CN112861970B (zh) 一种基于特征融合的细粒度图像分类方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN115953408B (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN116883457B (zh) 一种基于检测跟踪联合网络和混合密度网络的轻量化多目标跟踪方法
CN111931572B (zh) 一种遥感影像的目标检测方法
CN113591735A (zh) 一种基于深度学习的行人检测方法及系统
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant