CN112990317B - 一种弱小目标检测方法 - Google Patents

一种弱小目标检测方法 Download PDF

Info

Publication number
CN112990317B
CN112990317B CN202110289389.6A CN202110289389A CN112990317B CN 112990317 B CN112990317 B CN 112990317B CN 202110289389 A CN202110289389 A CN 202110289389A CN 112990317 B CN112990317 B CN 112990317B
Authority
CN
China
Prior art keywords
detection
weak
multiplied
sampling
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110289389.6A
Other languages
English (en)
Other versions
CN112990317A (zh
Inventor
孙佳琪
朱明�
刘长吉
聂海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110289389.6A priority Critical patent/CN112990317B/zh
Publication of CN112990317A publication Critical patent/CN112990317A/zh
Application granted granted Critical
Publication of CN112990317B publication Critical patent/CN112990317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明涉及图像目标技术检测领域。提供一种弱小目标检测方法，采用单阶段检测器YOLO，输入图像先经过2倍下采样，再通过高分辨率主干网络进行低倍率下采样，将获得的特征图进行特征融合，再分别输入到检测头中进行检测；同时将下采样后的特征图接入到注意力模块中进行处理，输出的特征图再次进行特征融合预测，得到最后的预测结果。满足了弱小目标检测的实际需求，提高了弱小目标检测效果，对弱小目标的检测有一定精度上的提升。且本发明采用的保留小尺寸目标检测与高分辨率主干网络，注意力机制相结合的方法，可以实现对弱小目标的快速有效检测、同时也能够进行部分类别的识别。

Description

一种弱小目标检测方法
技术领域
本发明涉及图像目标技术检测领域，具体涉及一种弱小目标检测技术。
背景技术
小目标检测是图像中像素占比少的目标，尺寸较小，深度网络能够提取到的特征信息十分有限，小目标在图像中的轮廓、纹理和形状等特征往往不明显。目前最先进的技术是借助计算机视觉在图像中找到并判断该目标所属类别的目标检测技术。但是在检测器检测的过程中往往会忽视掉小目标的这部分特征。与目前应用较为成熟的大尺度、中尺度目标检测不同，小目标自身存在着语义信息少、覆盖面积小等先天不足，导致小目标的检测效果并不理想。目前所使用的单阶段检测器YOLO有着比较快的检测精度以及较高的准确率。但是目前的网络结构中，并非针对于弱小目标的检测，基于此，本发明对其进行弱小目标的适应性改进。
发明内容
为了克服已有得技术问题，本发明提供了一种弱小目标检测技术。满足弱小目标检测的实际需求，提高目前弱小目标检测效果。
为实现上述目的，本发明采用以下具体技术方案：
本发明提供一种弱小目标检测方法，采用单阶段检测器YOLO，输入图像先经过2倍下采样，再通过高分辨率主干网络进行低倍率下采样，将获得的特征图进行特征融合，再分别输入到检测头中进行检测；同时将下采样后的特征图接入到注意力模块中进行处理，输出的特征图再次进行特征融合预测，得到最后的预测结果。
优选地，对所述单阶段检测器YOLO在针对弱小目标时的预选框进行K-Means聚类，得到最合适尺寸的预选框，对目标最大概率覆盖。
优选地，高分辨率主干网络结构为空间特征金字塔结构。
优选地，所述高分辨率主干网络的采样步骤为：
S101：进行不同倍数下采样，获取图像精细特征；
S102：对S1中得到的特征图案进行卷积操作改变特征图案大小；
S103：完成上采样，同时进行分步预测。
优选地，步骤S1所述下采样倍数为4倍，8倍，16倍。
优选地，下采样过程中的每一倍数层通过卷积操作改变特征图大小使之能与上采样过程中的相应的特征图进行特征融合。
优选地，所述注意力模块通过关注目标的有判别性特征区域，在检测过程中对检测目标的特征信息不断细化。
优选地，所述注意力模块处理步骤为：
S201：输入特征Q，大小为H×W×C，经过平均池化处理为1×1×C大小；
S202：经过Relu激活函数以及全连接后层输出特征Q1大小为1×1×C1，C1＝H×W×C/r；
S203：经过Sigmoid函数以及全连接层输出特征Q2，大小为1×1×C2，C2＝H×W×C；
S204：最后通过整形操作处理成H×W×C的特征，再与输入原始特征Q进行哈达玛积处理，输出最终的特征图；
其中H、W、C为输入特征Q的高、宽和通道数；r为指比率。
本发明能取得以下技术效果：
本发明满足了弱小目标检测的实际需求，提高了目前弱小目标检测效果，对弱小目标的检测有一定精度上的提升。
且本发明采用的保留小尺寸目标检测与高分辨率主干网络，注意力机制相结合的方法，可以实现对弱小目标的快速有效检测、同时也能够进行部分类别的识别。本发明技术所采用的技术方案，无论是在检测速度方面还是在检测准确度方面都优于已有最新的技术。
附图说明
图1是本发明的一种弱小目标检测技术的整体网络结构图；
图2是本发明的一种弱小目标检测技术的特征采样原理图；
图3是本发明的一种弱小目标检测技术的注意力模块结构图；
图4a-4d是本发明实施例的网络检测效果图；
图5是本发明实施例的网络检测效果可视化数据图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
下面将对本发明提供的一种弱小目标检测技术进行详细说明。
本发明提出了一种弱小目标检测技术，采用单阶段检测器YOLO、高分辨率主干网络、注意力模块以及检测头构成网络整体；所述高分辨率主干网络进行低倍率下采样，保留更多小目标的特征；所述注意力模块重点关注显著性特征。
本发明选择单阶段检测器YOLO，对单阶段检测器YOLO在针对弱小目标时的预选框进行K-Means聚类，得到最合适尺寸的预选框，对目标最大概率覆盖。
图1是本发明的一种弱小目标检测技术的整体网络结构图。
如图1所示，输入图像先经过2倍下采样，再进行一个4倍的下采样，获得的特征图进行特征融合，再输入到检测头中进行检测，再接入到注意力模块当中进行处理，获得的图像在经过8倍的下采样，得到的特征图再次进行检测，以此类推进行后续16倍的下采样。
图2是本发明的一种弱小目标检测技术的特征采样原理图。
如图2所示，将网络进行改进，采用高分辨率主干网络检测目标位置。先进行下采样获取图像的精细特征，再进行上采样进行分步预测。但是网络中8倍，16倍，32倍的下采样会导致弱小目标在特征图上的特征越来越小，甚至被网络忽略，从而导致检测的精度降低，所以本发明提出用更低的倍数进行下采样，即图2中的下采样倍数设置为4倍，8倍和16倍。
在本发明的一个实施例中，将网络进行改进，网络整体结构为空间特征金字塔结构。高分辨率主干网络的采样步骤为：
(1)进行不同倍数下采样，获取图像精细特征；
(2)对S1中得到的特征图案进行卷积操作改变特征图案大小；
(3)完成上采样，同时进行分步预测。
对下采样过程中的每一层通过卷积操作改变特征图大小使之能与上采样过程中的相应的特征图进行特征融合，每一级融合后的特征图都会进行一次检测预测，综合检测结果。这样使小目标在特征图中能够获得更多的关注，但是同时采样的倍数也足够大，整体特征也不会丢失。能够获得小目标检测精度上的提升。
除此之外，在网络中将针对大目标，中目标的检测删除，只保留对弱小目标的关注，这样处理的目的能够大大提高检测的速度，但是却不会降低检测精度。
弱小目标检测不仅仅是要检测目标位置，还要预测目标类别，在网络中加入注意力机制，使网络能够更加关注目标的有判别性特征区域，从而能够准确获得目标类别。注意力模块不仅仅是为了分类，同时也能够为目标检测提供辅助性帮助，能够提取出更加精细的特征信息，在检测的过程中能够不断细化，从而相应的提高检测精度。
在本发明的一个实施例中，设计的注意力模块借鉴了通道注意力和空间注意力的思路，同时关注通道与空间上的特征信息，对每一个小模块进行相应权重的赋予，能够实现在网络训练中，对更重要的特征信息给予更多的关注，从而提高网络对重要特征的关注度，相应的提高识别精度。
图3是本发明的一种弱小目标检测技术的注意力模块结构图。
如图3所示，所述注意力模块处理步骤为：
(1)输入特征Q，大小为H×W×C，经过平均池化处理为1×1×C大小；
(2)经过Relu激活函数以及全连接后层输出特征Q1大小为1×1×C1，C1＝H×W×C/r；
(3)经过Sigmoid函数以及全连接层输出特征Q2，大小为1×1×C2，C2＝H×W×C；
(4)最后通过整形操作处理成H×W×C的特征，再与输入原始特征Q进行哈达玛积(Hadamard product)处理，输出最终的特征图QA；
其中H、W、C为输入特征Q的高、宽和通道数；r为指比率。
下面结合实施例的实验结果对本发明进行说明：
本实验的各项参数如下：
测试集:VisDrone2019
训练参数：Epoch＝200
BatchSize＝8mAP_0.5：0.498mAP_0.5：0.95：0.275
推理速度：GPU＝RTX 2080Ti Size＝1080×1080BatchSize＝32
速度可达263FPS＝3.8ms/img
图4a-4d是本发明实施例的网络检测效果图；
图5是本发明实施例的网络检测效果可视化数据图。
如图4a-4d所示，为本发明的检测效果图，能够实现一个较好的检测，可以看出，对于图像中的汽车，行人，摩托车都能实现比较精准的检测，形态各异，有的也有部分遮挡，都能够较好的检测出来。
如图5所示，为本发明的网络检测效果可视化数据图，图5展示了在VisDrone数据集上的实验结果。在同样的数据集上，mAP相对于原网络获得了一定的提升。但是值得一提的是，这种方法对于弱小目标的检测在实现良好的检测精度的同时能够保证较高的检测速度。此外，与一般的方法相比，本发明的检测方法无论是在速度还是检测准确率上都有较好的效果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种弱小目标检测方法，其特征在于，采用单阶段检测器YOLO，输入图像先经过2倍下采样，再通过高分辨率主干网络进行低倍率下采样，将获得的特征图进行特征融合，再分别输入到检测头中进行检测；同时将下采样后的特征图接入到注意力模块中进行处理，输出的特征图再次进行特征融合预测，得到最后的预测结果；
高分辨率主干网络结构为空间特征金字塔结构；
所述高分辨率主干网络的采样步骤为：
S101：进行不同倍数下采样，获取图像精细特征；
S102：对S101中得到的特征图案进行卷积操作改变特征图案大小；
S103：完成上采样，同时进行分步预测。
2.根据权利要求1所述的弱小目标检测方法，其特征在于，对所述单阶段检测器YOLO在针对弱小目标时的预选框进行K-Means聚类，得到最合适尺寸的预选框，对目标最大概率覆盖。
3.根据权利要求1所述的弱小目标检测方法，其特征在于，步骤S101所述下采样倍数为4倍，8倍，16倍。
4.根据权利要求1所述的弱小目标检测方法，其特征在于，下采样过程中的每一倍数层通过卷积操作改变特征图大小使之能与上采样过程中的相应的特征图进行特征融合。
5.根据权利要求1所述的弱小目标检测方法，其特征在于，所述注意力模块通过关注目标的有判别性特征区域，在检测过程中对检测目标的特征信息不断细化。
6.根据权利要求1所述的弱小目标检测方法，其特征在于，所述注意力模块处理步骤为：
S201：输入特征Q，大小为H×W×C，经过平均池化处理为1×1×C大小；
S202：经过Relu激活函数以及全连接后层输出特征Q1大小为1×1×C1，C1＝H×W×C/r；
S203：经过Sigmoid函数以及全连接层输出特征Q2，大小为1×1×C2，C2＝H×W×C；
S204：最后通过整形操作处理成H×W×C的特征，再与输入原始特征Q进行哈达玛积处理，输出最终的特征图；
其中H、W、C为输入特征的高、宽和通道数；r为指比率。
CN202110289389.6A 2021-03-18 2021-03-18 一种弱小目标检测方法 Active CN112990317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110289389.6A CN112990317B (zh) 2021-03-18 2021-03-18 一种弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110289389.6A CN112990317B (zh) 2021-03-18 2021-03-18 一种弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN112990317A CN112990317A (zh) 2021-06-18
CN112990317B true CN112990317B (zh) 2022-08-30

Family

ID=76332856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110289389.6A Active CN112990317B (zh) 2021-03-18 2021-03-18 一种弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN112990317B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408549B (zh) * 2021-07-14 2023-01-24 西安电子科技大学 基于模板匹配和注意力机制的少样本弱小目标检测方法
CN114022682A (zh) * 2021-11-05 2022-02-08 天津大学 一种基于注意力的二次特征融合机制的弱小目标检测方法
CN115222775B (zh) * 2022-09-15 2022-12-06 中国科学院长春光学精密机械与物理研究所 弱小目标检测跟踪装置及其检测跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN110826379A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于特征复用与YOLOv3的目标检测方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111814621A (zh) * 2020-06-29 2020-10-23 中国科学院合肥物质科学研究院 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN112215171A (zh) * 2020-10-15 2021-01-12 腾讯科技（深圳）有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN112215207A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 联合多尺度和注意力机制的遥感影像飞机目标检测方法
CN112257810A (zh) * 2020-11-03 2021-01-22 大连理工大学人工智能大连研究院 一种基于改进FasterR-CNN的海底生物目标检测方法
CN112418345A (zh) * 2020-12-07 2021-02-26 苏州小阳软件科技有限公司 细粒度小目标快速识别的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
WO2020215241A1 (zh) * 2019-04-24 2020-10-29 江南大学 一种面向计算资源局限平台部署的实时目标检测的方法
CN111079604A (zh) * 2019-12-06 2020-04-28 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 面向大尺度遥感图像的微小目标快速检测方法
CN111461217B (zh) * 2020-03-31 2023-05-23 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826379A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于特征复用与YOLOv3的目标检测方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN111814621A (zh) * 2020-06-29 2020-10-23 中国科学院合肥物质科学研究院 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN112215171A (zh) * 2020-10-15 2021-01-12 腾讯科技（深圳）有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN112257810A (zh) * 2020-11-03 2021-01-22 大连理工大学人工智能大连研究院 一种基于改进FasterR-CNN的海底生物目标检测方法
CN112215207A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 联合多尺度和注意力机制的遥感影像飞机目标检测方法
CN112418345A (zh) * 2020-12-07 2021-02-26 苏州小阳软件科技有限公司 细粒度小目标快速识别的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习的小目标检测研究与应用综述;刘颖等;《电子学报》;20200331;第593页 *
嵌入scSE模块的改进YOLOv4小目标检测算法;蒋镕圻等;《图学学报》;20210127;第546-555页 *
蒋镕圻等.嵌入scSE模块的改进YOLOv4小目标检测算法.《图学学报》.2021, *

Also Published As

Publication number Publication date
CN112990317A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990317B (zh) 一种弱小目标检测方法
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN108985186B (zh) 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN111008562B (zh) 一种特征图深度融合的人车目标检测方法
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
CN114708585A (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN111046781B (zh) 一种基于三元注意力机制的鲁棒三维目标检测方法
CN103218621B (zh) 一种室外视频监控中多尺度车辆的识别方法
CN109934216B (zh) 图像处理的方法、装置、计算机可读存储介质
CN110569782A (zh) 一种基于深度学习目标检测方法
Li et al. A feature pyramid fusion detection algorithm based on radar and camera sensor
CN111339830A (zh) 一种基于多模态数据特征的目标分类方法
CN111414861A (zh) 基于深度学习实现行人及非机动车辆检测处理的方法
Zuo et al. Moving object detection in video sequence images based on an improved visual background extraction algorithm
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
Nowruzi et al. Polarnet: Accelerated deep open space segmentation using automotive radar in polar domain
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统
CN112801928A (zh) 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN116778145A (zh) 一种基于三模态数据源融合的自动驾驶三维目标检测方法
CN114820580A (zh) 基于并行注意力补偿机制的fpn晶圆表面缺陷检测方法
CN114998711A (zh) 一种空中红外弱小目标检测方法、系统及计算机存储介质
CN114882205A (zh) 基于注意力机制的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant