CN115115973A - 一种基于多感受野与深度特征的弱小目标检测方法 - Google Patents

一种基于多感受野与深度特征的弱小目标检测方法 Download PDF

Info

Publication number
CN115115973A
CN115115973A CN202210630725.3A CN202210630725A CN115115973A CN 115115973 A CN115115973 A CN 115115973A CN 202210630725 A CN202210630725 A CN 202210630725A CN 115115973 A CN115115973 A CN 115115973A
Authority
CN
China
Prior art keywords
receptive
module
outputting
layer
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210630725.3A
Other languages
English (en)
Inventor
陈照东
姬红兵
张文博
张靖宇
刘�东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210630725.3A priority Critical patent/CN115115973A/zh
Publication of CN115115973A publication Critical patent/CN115115973A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多感受野和深度卷积神经网络的弱小目标检测方法。首先通过机载或车载摄像头获取序列图像；然后使用多感受野特征提取算法对每一帧图像进行特征提取，在不增加参数量的情况下获得混合感受野特征；随后将混合感受野特征送入深度卷积神经网络进行深度特征提取；接着使用多感受野特征聚合算法对深度特征进行不同范围上下文信息的提取与整合，输出一组多感受野聚合特征；再将感受野聚合特征送入改进的路径聚合网络进行多尺度融合，输出一组深度融合特征；最后对深度融合特征分别进行弱小目标框位置的回归和类别的判定。本发明可准确检测出图像或视频中的弱小目标并正确分类，为后续弱小目标检测与识别领域的研究提供支持。

Description

一种基于多感受野与深度特征的弱小目标检测方法
技术领域
本发明属于计算机视觉应用技术领域，涉及目标检测，特别涉及一种基于多感受野与深度特征的弱小目标检测方法。
背景技术
作为场景理解、目标跟踪、智能决策等高级视觉任务的基础，目标检测在无人机、自动驾驶以及智慧城市等领域担任着不可或缺的重要角色。其中，弱小目标检测一直是该方向的研究热点及难点。无人机侦察、边界预警等远距离探测场景迫切需要性能良好的弱小目标检测系统。然而，弱小目标检测存在几个难题。首先，弱小目标的分辨率太低以至于缺乏细节信息，这会导致包含多个池化层的特征提取主干网络无法提取到有效特征。第二，相似度较高的几种弱小目标因为缺乏细节信息很难被区分。第三，因为相机位置的变化，弱小目标的尺度相差很大。这导致一般的检测系统无法适应弱小目标场景。
目前，弱小目标检测大致可分为传统方法和基于深度学习的方法。传统弱小目标检测方法通常包括两个阶段，第一阶段是背景抑制，第二阶段是目标检测。基于滤波的方法主要通过构建滤波器对图像背景进行预测，进而实现背景抑制。检测阶段又可分为跟踪前检测(Detect before track,DBT)和检测前跟踪(Track before detect,TBD)两类。DBT可进一步分为基于滤波的方法、基于人类视觉系统(Human visual system,HVS)的方法和基于图像数据结构的方法。与DBT不同的是，TBD则针对序列图像进行处理，首先对序列图像中的弱小目标进行跟踪，得到目标的可能轨迹，再通过轨迹的确定以实现目标的检测。尽管传统的弱小目标检测算法具有良好的检测效果，但较依赖于先验知识，且需要人为设定规则。然而，在背景多变的复杂环境中，设定考虑所有情况的规则是业内公认的难题，致使传统算法的泛化能力较差。近几年来，随着硬件算力的快速提高以及深度学习框架的不断完善，基于深度卷积神经网络(DCNN)的目标检测方法逐渐取代传统手工提取特征的方法，成为主流。相较于传统方法，基于DCNN的方法具有强大的特征提取能力和非线性拟合能力。根据框架的不同，基于DCNN的目标检测算法又可分为一阶段检测器和两阶段检测器。它们有着各自的优势并适用于不同的场景。虽然很多DCNN检测器在自然景物数据集上都取得过不错的成绩，但仍然很难适应以弱小目标为主的航拍、遥感等场景。
尽管现有的方法在一定程度上提升了弱小目标的检测性能，但是如何应对干扰严重的复杂场景和模糊的目标仍然是一个挑战，如何从图像中挖掘有利于提升弱小目标区域特征表示的上下文信息是一个亟需解决的问题。因此，目前无人机、无人车等领域迫切需要一个能够鲁棒检测弱小目标的系统。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多感受野与深度特征的弱小目标检测方法，利用卷积神经网络与膨胀卷积块提取序列图像的深度特征与上下文信息，增强弱小目标稀疏的特征，提高系统对于弱小目标的适应性与鲁棒性。
为了实现上述目的，本发明采用的技术方案是：
一种基于多感受野和深度特征的弱小目标检测方法，该方法包括以下步骤：
S1：将机载或车载摄像头获取的原始视频序列化；
S2：使用多感受野特征提取算法对输入的每一帧图像I进行特征提取，在不增加参数量的情况下获得混合感受野特征；
S3：将S2得到的混合感受野特征送入深度卷积神经网络进行深度特征的提取；
S4：使用多感受野特征聚合算法对S3中的深度特征进行不同范围上下文信息的提取与整合，输出一组多感受野聚合特征f1 *；
S5：将S4得到的f1 *送入改进的路径聚合网络进行多尺度融合，输出一组深度融合特征fu；
S6：对S5得到的深度融合特征fu进行弱小目标框位置的回归和类别的判定。
进一步，步骤S2中的多感受野特征提取算法包括：
S21：使用四个并联的膨胀系数不同的膨胀卷积块DC1,DC2,DC3,DC4分别对初始输入图像提取多层次特征；
S22：将S21得到的四组特征合并成一组特征；
S23：将S22得到的一组特征送入由一个3×3卷积层，一个BN层以及一个SiLu层级联组成模块中，输出混合感受野特征。
进一步，步骤S21中的膨胀卷积块DCn由一个步长为1的1×1卷积层，一个膨胀系数为n、步长为1的3×3膨胀卷积层，一个BN层以及一个SiLu层级联组成。
进一步，S3中的深度特征提取包含以下步骤：
S31：将S2输出的混合感受野特征送入一个CBS模块，输出2倍下采样的特征图p2；
S32：将S31得到的p2送入一个C3模块，输出p'2；
S33：将S32得到的p'2送入一个CBS模块，输出4倍下采样的特征图p4；
S34：将S33得到的p4送入一个C6模块，输出p'4；
S35：将S34得到的p'4送入一个CBS模块，输出8倍下采样的特征图p8；
S36：将S35得到的p8送入一个C9模块，输出p'8；
S37：将S36得到的p'8送入一个CBS模块，输出16倍下采样的特征图p16；
S38：将S37得到的p16送入一个C12模块，输出p'16。
进一步，S31、S33、S35、S37中的CBS模块由一个步长为2的3×3卷积，一个BN层以及一个SiLu层级联组成；S32、S34、S36、S38中的C3、C6、C9、C12模块分别由3、6、9、12个C模块级联组成；C模块由一个3×3卷积层，一个BN层以及一个SiLu层级联组成。
进一步，S4中的多感受野特征聚合算法包括：
S41：将将S38得到的深度特征依次通过四个级联的不同膨胀比率的膨胀卷积块DC1,DC2,DC3,DC4；
S42：将S41中各个膨胀卷积块输出的四组特征拼接成一组特征；
S43：使用一个1×1卷积层调整S42中输出特征各通道的权值。
进一步，S5中的多尺度融合步骤包括：
S51：对S4得到的多感受野聚合特征f1 *进行上采样操作，输出p”8；
S52：将S36得到的p'8与S51得到的p”8进行拼接后送入一个C3模块，输出一组混合尺度特征；
S53：使用多感受野特征聚合算法对S52得到的混合尺度特征进行上下文信息的提取与整合，输出一组多感受野聚合特征f2 *；
S54：对S53得到的f2 *进行上采样操作，输出p”4；
S55：将S34得到的p'4与S54得到的p”4进行拼接后送入一个C3模块，输出一组深度融合特征fu。
进一步，S51(同S54)中的上采样操作包括：
S511：将f1 *(S51)或f2 *(S54)送入一个由1×1卷积层、BN层、SiLu层级联组成的模块中，输出一组整合特征图；
S512：使用双线性插值法对S511得到的整合特征图进行上采样，使其分辨率翻倍。
进一步，S6中的目标类别判定与框位置的回归包括：
S61：通过全连接层将S5得到的深度融合特征fu映射到一个新的特征空间，然后再经过一个1×1卷积层，输出一个通道数为5的三维张量，前四个通道分别回归弱小目标的中心点x、y坐标与真实值的偏移量以及宽、高与真实值的偏移量；
S62：通过全连接层将S5得到的深度融合特征fu映射到另一个新的特征空间，然后再经过一个1×1卷积层，输出一个三维张量表示目标所属类别的概率，其通道数为数据库目标类别的总数。
本发明检测模型所有参数均通过端到端训练得到。
与现有技术相比，本发明可准确检测出图像或视频中的弱小目标并正确分类，为后续弱小目标检测与识别领域的研究提供支持。
附图说明
为了使本发明的目的、技术方案以及实测表现更加清楚，本发明提供如下附图进行说明：
图1为基于多感受野与深度特征的弱小目标检测方法的整体框架示意图。
图2为多感受野特征提取算法的流程图。
图3为膨胀卷积块的示意图。
图4为多感受野特征聚合算法的流程图。
图5为双通道预测头示意图。
图6为本发明方法的实测效果图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
在本发明中，多感受野特征提取算法，使用不同膨胀比率的并联膨胀卷积块，对输入序列的每一帧图像进行浅层特征的提取；
深度卷积神经网络对输入的浅层特征进行深度特征的提取；
这里的深度卷积神经网络不适用池化操作以免造成小目标信息的损失，并且在深度卷积网络的尾部增加了多感受野特征聚合模块，获取不同范围的上下文信息；
改进的路径聚合网络对不同尺度的深度特征进行融合；
本发明对路径聚合网络的改进是在每个路径分支的前端增设一个多感受野特征聚合模块，用以整合不同尺度的特征；
双通道预测头把目标类别判定与框位置回归的任务分开，采用两个卷积通道分别预测目标类别并回归框位置坐标，使系统更具鲁棒性；
图1为本发明基于多感受野与深度特征的弱小目标检测方法总体流程图，如图所示，本发明所述方法具体包括以下步骤：
步骤S1：首先通过无人机、卫星等载体携带的摄像机获小目标场景的视频，并将其序列化，得到图像序列。
步骤S2：使用多感受野特征提取模块对序列化之后的单帧图像即每一帧图像I进行不同感受野的浅层特征的提取，在不增加参数量的情况下获得混合感受野特征，其具体流程如图2所示：
S21：使用四个并联的膨胀系数分别为1、2、3、4的膨胀卷积块DC1,DC2,DC3,DC4，分别对初始输入图像提取多层次浅层特征，得到四组浅层特征。示例地，参考图3，膨胀卷积块DCn由一个步长为1的1×1卷积层，一个膨胀系数为n、步长为1的3×3膨胀卷积层，一个BN层以及一个SiLu层级联组成，其中n等于1、2、3或4。
S22：将这四组浅层特征按通道合并成一组特征。
S23：将这组特征送入由一个3×3卷积层，一个BN层以及一个SiLu层级联组成模块进行整合，输出混合感受野特征。
多感受野特征提取算法在不降低分辨率的前提下捕获初始输入图像多层次的特征，并且为主干网络输送不同感受野的多层次特征，在一定程度上提高了弱小目标检测的准确率。
步骤S3：使用不含有池化层的深度卷积神经网络对得到的混合感受野特征进行深度特征提取，其具体流程如图1所示，过程包含：
S31：将S2输出的混合感受野特征送入一个CBS模块，输出2倍下采样的特征图p2；
S32：将S31得到的p2送入一个C3模块，输出p'2；
S33：将S32得到的p'2送入一个CBS模块，输出4倍下采样的特征图p4；
S34：将S33得到的p4送入一个C6模块，输出p'4；
S35：将S34得到的p'4送入一个CBS模块，输出8倍下采样的特征图p8；
S36：将S35得到的p8送入一个C9模块，输出p'8；
S37：将S36得到的p'8送入一个CBS模块，输出16倍下采样的特征图p16；
S38：将S37得到的p16送入一个C12模块，输出p'16。
其中，CBS模块由一个步长为2的3×3卷积，一个BN层以及一个SiLu层级联组成；C3模块、C6模块、C9模块、C12模块分别由3、6、9、12个C模块级联组成；C模块则由一个3×3卷积层，一个BN层以及一个SiLu层级联组成。
步骤S4：使用多感受野特征聚合算法对深度卷积神经网络输出的深度特征进行不同范围上下文信息的提取与整合，输出一组多感受野聚合特征f1 *，其具体流程如图4所示：
S41：将S38得到的深度特征依次通过四个级联的不同膨胀比率的膨胀卷积块DC1,DC2,DC3,DC4，膨胀卷积块的流程如图2所示。
S42：将这四个膨胀卷积块输出的四组特征拼接成一组特征。
S43：使用一个1×1卷积层调整这组特征的各通道的权值，以平衡不同感受野特征图所占比例。
步骤S5：将多感受野聚合特征f1 *送入改进的路径聚合网络进行多尺度融合，输出一组深度融合特征fu，其具体流程如图1所示，具体包括：
S51：对多感受野聚合特征f1 *进行上采样操作，输出p”8。示例地，可将f1 *送入一个由1×1卷积层、BN层、SiLu层级联组成的模块中，输出一组整合特征图；然后使用双线性插值法对得到的整合特征图进行上采样，使其分辨率翻倍。
S52：将S36得到的p'8与S51得到的p”8进行拼接后送入一个C3模块，输出一组混合尺度特征；
S53：使用多感受野特征聚合算法对S52得到的混合尺度特征进行上下文信息的提取与整合，输出一组多感受野聚合特征f2 *；
S54：对S53得到的f2 *进行上采样操作，输出p”4。其方法采用S51的上采样方法，输入为f2 *。
S55：将S34得到的p'4与S54得到的p”4进行拼接后送入一个C3模块，输出一组深度融合特征fu。
步骤S6：将路径聚合网络输出的深度融合特fu送入双通道预测头进行目标类别的判断与框位置的回归，具体流程如图5所示：
S61：通过全连接层将深度融合特征fu映射到一个新的特征空间，然后再经过一个1×1卷积层，输出一个通道数为5的三维张量，前四个通道分别回归弱小目标的中心点x、y坐标与真实值的偏移量以及宽、高与真实值的偏移量；
S62：通过全连接层将深度融合特征fu映射到另一个新的特征空间，然后再经过一个1×1卷积层，输出一个三维张量表示目标所属类别的概率，其通道数为数据库目标类别的总数。
当模型处于训练阶段时，在步骤S6中，采用二元交叉熵计算目标类别与置信度的损失，采用CIOU计算目标位置回归的误差。
最后，基于多感受野与深度特征的弱小目标检测方法在实战中可以检测到7×7以下的弱小目标并对其进行正确分类，这是本发明相比目前先进方法的进步性，检测结果如图6所示。
本次实验的平台为搭载12核Ryzen处理器，128G RAM，RTX 3090 GPU和pytorch1.8，CUDA 11.2的计算机。在训练阶段，batch size设置为16，优化器采用SGD，训练集使用VisDrone2021，初始学习率设置为0.0001，并采用余弦衰减策略训练280轮。本方法在训练阶段采用的数据增强技术包括马赛克，翻转，HSV色彩变换，模糊，直方图均衡化。在测试阶段，检测器的置信度阈值设为0.25，非极大值抑制的IOU阈值设置为0.45，没有使用测试时增强技术。如图6所示，本方法不但没有丢失车辆等中大型目标，还可以检测到无人机航拍图像中微小的行人。该实测结果说明了基于多感受野与深度特征的弱小目标检测方法的先进性与鲁棒性。
以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (10)

1.一种基于多感受野与深度特征的弱小目标检测方法，其特征在于，包括以下步骤：
S1：通过机载或车载摄像头获取序列图像；
S2：使用多感受野特征提取算法对输入的每一帧图像I进行特征提取，在不增加参数量的情况下获得混合感受野特征；
S3：将S2得到的混合感受野特征送入深度卷积神经网络进行深度特征提取；
S4：使用多感受野特征聚合算法对S3得到的深度特征进行不同范围上下文信息的提取与整合，输出一组多感受野聚合特征f1 *；
S5：将S4得到的多感受野聚合特征f1 *送入改进的路径聚合网络进行多尺度融合，输出一组深度融合特征fu；
S6：对S5得到的深度融合特征fu进行弱小目标框位置的回归和类别的判定。
2.根据权利要求1所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S2中，多感受野特征提取算法包括：
S21：使用四个并联的膨胀系数不同的膨胀卷积块DC1,DC2,DC3,DC4分别对初始输入图像提取多层次特征；
S22：将S21得到的四组特征合并成一组特征；
S23：将S22得到的一组特征送入由一个3×3卷积层，一个BN层以及一个SiLu层级联组成模块中，输出混合感受野特征。
3.根据权利要求2所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S21中，膨胀卷积块DCn由一个步长为1的1×1卷积层，一个膨胀系数为n、步长为1的3×3膨胀卷积层，一个BN层以及一个SiLu层级联组成，其中n等于1、2、3或4。
4.根据权利要求3所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S3中，深度特征提取的过程包含：
S31：将S2输出的混合感受野特征送入一个CBS模块，输出2倍下采样的特征图p2；
S32：将S31得到的p2送入一个C3模块，输出p'2；
S33：将S32得到的p'2送入一个CBS模块，输出4倍下采样的特征图p4；
S34：将S33得到的p4送入一个C6模块，输出p'4；
S35：将S34得到的p'4送入一个CBS模块，输出8倍下采样的特征图p8；
S36：将S35得到的p8送入一个C9模块，输出p'8；
S37：将S36得到的p'8送入一个CBS模块，输出16倍下采样的特征图p16；
S38：将S37得到的p16送入一个C12模块，输出p1'6。
5.根据权利要求4所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述CBS模块由一个步长为2的3×3卷积，一个BN层以及一个SiLu层级联组成；所述C3模块、C6模块、C9模块、C12模块分别由3、6、9、12个C模块级联组成；所述C模块由一个3×3卷积层，一个BN层以及一个SiLu层级联组成。
6.根据权利要求5所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S4中的多感受野特征聚合算法包括：
S41：将S38得到的深度特征依次通过四个级联的不同膨胀比率的膨胀卷积块DC1,DC2,DC3,DC4；
S42：将S41中各个膨胀卷积块输出的四组特征拼接成一组特征；
S43：使用一个1×1卷积层调整S42中输出特征各通道的权值。
7.根据权利要求6所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S5中进行多尺度融合包括：
S51：对S4得到的多感受野聚合特征f1 *进行上采样操作，输出p'8'；
S52：将S36得到的p'8与S51得到的p'8'进行拼接后送入一个C3模块，输出一组混合尺度特征；
S53：使用多感受野特征聚合算法对S52得到的混合尺度特征进行上下文信息的提取与整合，输出一组多感受野聚合特征
Figure FDA0003679518000000031
S54：对S53得到的
Figure FDA0003679518000000032
进行上采样操作，输出p'4'；
S55：将S34得到的p'4与S54得到的p'4'进行拼接后送入一个C3模块，输出一组深度融合特征fu。
8.根据权利要求7所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S51或S54中的上采样操作包括：
S511：将f1 *或f2 *送入一个由1×1卷积层、BN层、SiLu层级联组成的模块中，输出一组整合特征图；
S512：使用双线性插值法对S511得到的整合特征图进行上采样，使其分辨率翻倍。
9.根据权利要求7所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，所述步骤S6中，目标框位置的回归和类别的判定包括
S61：通过全连接层将S5得到的深度融合特征fu映射到一个新的特征空间，然后再经过一个1×1卷积层，输出一个通道数为5的三维张量，前四个通道分别回归弱小目标的中心点x、y坐标与真实值的偏移量以及宽、高与真实值的偏移量；
S62：通过全连接层将S5得到的深度融合特征fu映射到另一个新的特征空间，然后再经过一个1×1卷积层，输出一个三维张量表示目标所属类别的概率，其通道数为数据库目标类别的总数。
10.根据权利要求1所述基于多感受野与深度特征的弱小目标检测方法，其特征在于，检测模型所有参数均通过端到端训练得到。
CN202210630725.3A 2022-06-06 2022-06-06 一种基于多感受野与深度特征的弱小目标检测方法 Pending CN115115973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210630725.3A CN115115973A (zh) 2022-06-06 2022-06-06 一种基于多感受野与深度特征的弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210630725.3A CN115115973A (zh) 2022-06-06 2022-06-06 一种基于多感受野与深度特征的弱小目标检测方法

Publications (1)

Publication Number Publication Date
CN115115973A true CN115115973A (zh) 2022-09-27

Family

ID=83327224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210630725.3A Pending CN115115973A (zh) 2022-06-06 2022-06-06 一种基于多感受野与深度特征的弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN115115973A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631452A (zh) * 2022-11-15 2023-01-20 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
CN115937717A (zh) * 2022-12-20 2023-04-07 武汉理工大学三亚科教创新园 一种基于特征上下文的无人机影像目标检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631452A (zh) * 2022-11-15 2023-01-20 中国科学院空天信息创新研究院 智能红外弱小目标检测方法、装置、电子设备及介质
CN115937717A (zh) * 2022-12-20 2023-04-07 武汉理工大学三亚科教创新园 一种基于特征上下文的无人机影像目标检测方法及系统
CN115937717B (zh) * 2022-12-20 2024-04-05 武汉理工大学三亚科教创新园 一种基于特征上下文的无人机影像目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN112380921A (zh) 一种基于车联网的道路检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
CN113762209A (zh) 一种基于yolo的多尺度并行特征融合路标检测方法
CN115115973A (zh) 一种基于多感受野与深度特征的弱小目标检测方法
Lyu et al. Small object recognition algorithm of grain pests based on SSD feature fusion
CN111898651A (zh) 一种基于Tiny YOLOV3算法的树木检测方法
CN114820655B (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN114708437B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN116258940A (zh) 一种多尺度特征及自适应权重的小目标检测方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN116630932A (zh) 一种基于改进yolov5的道路遮挡目标检测方法
CN116416534A (zh) 一种面向保护目标的无人机备降区域识别方法
CN112036300A (zh) 一种基于多尺度时空传播层的运动目标检测方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
Li et al. Weak moving object detection in optical remote sensing video with motion-drive fusion network
CN113963333A (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
CN116630904A (zh) 融合非临近跳连与多尺度残差结构的小目标车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination