CN114926734A - 基于特征聚合和注意融合的固体废弃物检测装置及方法 - Google Patents

基于特征聚合和注意融合的固体废弃物检测装置及方法 Download PDF

Info

Publication number
CN114926734A
CN114926734A CN202210526368.6A CN202210526368A CN114926734A CN 114926734 A CN114926734 A CN 114926734A CN 202210526368 A CN202210526368 A CN 202210526368A CN 114926734 A CN114926734 A CN 114926734A
Authority
CN
China
Prior art keywords
feature
module
output
characteristic
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210526368.6A
Other languages
English (en)
Other versions
CN114926734B (zh
Inventor
周黎鸣
饶晓晗
李亚辉
左宪禹
乔保军
李铁柱
田军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202210526368.6A priority Critical patent/CN114926734B/zh
Priority claimed from CN202210526368.6A external-priority patent/CN114926734B/zh
Publication of CN114926734A publication Critical patent/CN114926734A/zh
Application granted granted Critical
Publication of CN114926734B publication Critical patent/CN114926734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置及方法。该装置包括特征提取单元、特征融合单元和目标检测单元；所述特征提取单元采用深层聚合网络作为主干网络，用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；所述特征融合单元，用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；所述目标检测单元，用于从所述的三种不同大小的特征图中检测固体废弃物。

Description

基于特征聚合和注意融合的固体废弃物检测装置及方法
技术领域
本发明涉及遥感目标检测技术领域，尤其涉及一种基于特征聚合和注意融合的固体废弃物检测装置及方法。
背景技术
近几年来，随着先进的光学遥感图像传感器的发展，使得获得高分辨率的遥感图像成为可能。在高质量的遥感图像中，常常可以看见地面上的固体废弃物，而固体废弃物对人体健康和生态环境会造成一定的威胁，因此需要检测出固体废弃物的位置并做出相应的处理，如此才有利于构建良好的生态环境。
然而由于垃圾目标的特殊性，使得垃圾目标的检测工作通常面临以下几点挑战：(1)垃圾目标常被复杂背景因素所干扰，现有网络的特征提取能力不足，难以区分出被检物体和复杂背景的纹理规则和特征信息。(2)由于航空图像通常在很高的地方拍摄，导致垃圾目标的尺度在同一张遥感图像中变化范围很大。(3)大多固体废弃物呈不规则形状，且目标特征破碎，不利于网络编码多尺度地理空间信息。
发明内容
为了能够解决上述的至少一部分问题，本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置及方法。
一方面，本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置，1.基于特征聚合和注意融合的固体废弃物检测装置，包括：特征提取单元、特征融合单元和目标检测单元；
所述特征提取单元采用深层聚合网络作为主干网络，用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；
所述特征融合单元，用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；
所述目标检测单元，用于从所述的三种不同大小的特征图中检测固体废弃物。
进一步地，所述特征融合单元包括特征图输入子单元、空间注意融合子单元和特征图输出子单元；
所述特征图输入子单元，用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图，按照尺寸从大到小的顺序依次记作C3’、C4’和C5’；
所述空间注意融合子单元，包括三个CAM模块和三个AFM模块，每个所述CAM模块均同时连接至三个所述AFM模块；其中，三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入，每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出，将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’；
所述特征图输出子单元，用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5。
进一步地，所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块；其中，所述特征图C5经所述第一CBS模块处理后输出特征图C5’；所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接，所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’；所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
进一步地，所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块；其中，所述特征图P3’经所述第一CSP模块后输出特征图P3；所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4；所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
进一步地，每个所述CAM模块中，针对拆分之前的中间特征图，根据缩放比计算所述中间特征图，设置所述缩放比为32。
另一方面，本发明提供一种基于特征聚合和注意融合的固体废弃物检测方法，采用上述的基于特征聚合和注意融合的固体废弃物检测装置，所述方法包括：
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
进一步地，所述待检测遥感图像的分辨率为640×640。
进一步地，所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。
本发明的有益效果：
(1)为了提高网络对废弃物的特征提取能力，以及增强模型在复杂环境下的检测鲁棒性，本发明使用深层聚合主干网络来替换原有YOLOv5s的主干网络，从而区分出被检物体和复杂背景的纹理规则和特征信息。
(2)本发明通过构建一个多尺度空间注意融合网络，可以捕捉不规则形状废弃物的散射特征和多尺度地理空间信息，从而提高模型的特征定位和特征融合能力。
(3)通过构建固体废弃物航空检测数据集来验证本发明的有效性(可以参见图7至图9所示的实验效果图)，实验结果表明本发明对更高效地检测垃圾的精确位置具有重大的实际意义。
附图说明
图1为本发明实施例提供的基于特征聚合和注意融合的固体废弃物检测装置的结构示意图；
图2为本发明实施例提供的深层聚合网络的结构示意图之一；
图3为本发明实施例提供的深层聚合网络的结构示意图之二；
图4为本发明实施例提供的特征融合单元的结构示意图；
图5为本发明实施例提供的CAM模块的结构示意图；
图6为本发明实施例提供的AFM模块的结构示意图；
图7为本发明实施例提供的实验效果图之一；
图8为本发明实施例提供的实验效果图之二；
图9为本发明实施例提供的实验效果图之三。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明使用深度学习替代传统方法，提供一种基于特征聚合和注意融合的高效固体废弃物检测装置及方法，用于检测建筑垃圾、砾石等固体废弃物。
实施例1
如图1所示，本发明实施例提供一种基于特征聚合和注意融合的固体废弃物检测装置，包括：特征提取单元(图1中的DLA Backbone)、特征融合单元(图1中的SAFNet)和目标检测单元；
所述特征提取单元采用深层聚合(DLA)网络作为主干网络用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；所述特征融合单元用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；所述目标检测单元用于从所述的三种不同大小的特征图中检测固体废弃物。
具体地，本发明实施例所采用的DLA网络的网络架构如图2和图3所示。由图2可知，DLA根据特征分辨率划分为多个阶段，各个阶段从浅层向深层不断地进行迭代融合，将浅层特征传播至更深，以获得更多层次的丰富特征组合。其中，阶段1(Stage1)是由一个带有批量归一化和激活函数的，卷积核大小为6×6的卷积层形成。对于其他阶段(Stage2至Stage5)，由IDA和HDA的组合构成，以用于进一步的迭代深度聚合和传播特征信息；IDA是指迭代深度聚合，Iterative Deep Aggregation；HDA是指分层深度聚合，Hierarchical DeepAggregation。
在图2中，以Stage3的输出与Stage4的输出进行迭代深度聚合为例。将Stage4的输出进行上采样后，(上采样后，其特征图大小则与Stage3的输出特征图大小一致)，再利用聚合节点将Stage3的输出与Stage4的输出进行聚合，具体来说，将Stage3与Stage4进行Concat后，再进行卷积运算。在图3中，以在Stage2进一步生成Stage3的过程中，使用到的迭代深度聚合为例。Stage2的输出一部分作为Stage3的输入，一部分与Stage3的输出进行聚合。
在图3中，以深度为3为例，通过分层深度聚合后的输出等于聚合节点聚合
Figure BDA0003644664230000051
和
Figure BDA0003644664230000052
后的结果。具体来说，Stage2的输出，即
Figure BDA0003644664230000053
分为两个分支，一部分作为Stage3的输入，一部分与Stage3的输出进行聚合。对于作为Stage3的输入这一部分，先将Stage2的输出进行下采样得到x1，再经过卷积操作得到x2。将x1与x2进行聚合得到N(x1,x2)，得到的结果一部分作为最后聚合的输入，一部分作为x3的输入。x3经过卷积操作得到x4。最后经过分层深度聚合后的输出等于聚合节点聚合
Figure BDA0003644664230000054
(Stage2的输出)、
Figure BDA0003644664230000055
(x1与x2聚合得到的结果)、
Figure BDA0003644664230000056
(x3)和
Figure BDA0003644664230000057
(x4)后的结果。
在本发明实施例中，为了更高效地增强检测层融合语义和空间信息的能力，作为一种可实施方式，如图4所示，所述特征融合单元是一种多尺度空间注意融合网络(Multi-scale Spatial Attention Fusion Network，SAFNet)，从而提高整体网络的检测性能。所述SAFNet包括特征图输入子单元、空间注意融合子单元(图4中的SAFM模块)和特征图输出子单元；
所述特征图输入子单元，用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图，按照尺寸从大到小的顺序依次记作C3’、C4’和C5’；
具体地，所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块；其中，所述特征图C5经所述第一CBS模块处理后输出特征图C5’；所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接，所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’；所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
所述空间注意融合子单元，包括三个CAM模块和三个AFM模块，每个所述CAM模块均同时连接至三个所述AFM模块；其中，三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入，每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出，将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’；
具体地，CAM模块是指Coordinate注意力模块，Coordinate Attention Module；该CAM模块可以使网络更加关注目标的通道特征和位置信息。AFM模块是指自适应融合模块，Adaptive Fusion Module；该AFM模块可以自适应地学习各尺度特征图中包含的空间权重，使网络自适应地融合学习到的特征信息，从而提高特征的尺度不变性。
遥感图像中的目标通常由于拍摄高度过高，而导致目标尺寸相对较小和密集，对目标坐标预测的细小偏差可能会影响检测性能，本发明实施例通过采用CAM模块可以解决上述问题。
如图5所示为CAM模块的结构示意图，其对特征图的处理过程如下：给定输入特征图
Figure BDA0003644664230000061
其中C，H和W代表特征图的通道数，高度和宽度。然后使用两个尺寸分别为H×1和1×W的平均池化核，沿着水平坐标和垂直坐标对每个通道进行编码，该过程采用公式(1)至公式(3)来描述：
Figure BDA0003644664230000062
Fx＝FGAP(1,W)(F) (2)
Fy＝FGAP(H,1)(F) (3)
其中，FGAP表示全局平均池化，这两种变换沿着两个空间方向聚合，一个空间方向负责捕捉长期依赖关系，获得全局感受野，另一个方向负责保留精确的位置信息，从而生成一对方向感知特征图，分别为
Figure BDA0003644664230000063
和
Figure BDA0003644664230000064
然后，将这对特征图连接起来进行卷积变换操作，该过程采用公式(4)和(5)来表示：
Conv(x)＝∑iwixi+b (4)
f＝δ(BN(Conv([Fx,Fy]))) (5)
其中，Conv表示卷积操作，wi和b表示卷积中的权值，δ表示非线性激活函数，BN表示批量归一化处理，[·,·]表示连接操作，最后得到的
Figure BDA0003644664230000065
表示中间特征图，r表示缩放比，本发明实施例中设置为32以减少f的通道数。
接着，将f拆分成两个独立的张量
Figure BDA0003644664230000066
和
Figure BDA0003644664230000067
接着利用另外两个1×1卷积将F′x和F′y变换和输入F具有相同通道数的张量，从而得到：
F″x＝σ(conv1×1(F′x)) (6)
F″y＝σ(conv1×1(F′y)) (7)
Figure BDA0003644664230000071
其中，F″x和F″y分别用作注意力权重，σ表示sigmoid归一化函数，conv1×1表示用来降低参数量的1×1卷积，最终输出Y为经过该CAM模块后的结果。
从上述特征图处理过程中，可以看出CAM模块具有捕捉位置信息和通道关系的能力，以获得精准的定位信息，其中包含的编码过程可以帮助网络更好地定位和提取感兴趣目标的位置信息，从而提高模型的整体检测性能。
如图6所示为AFM模块的结构示意图，其对特征图的处理过程如下：包括以下两个步骤：(1)特征缩放；(2)自适应融合。
(1)特征缩放
将l层分辨率的特征表示为xl，其中l∈{1,2,3}。对于l层，将在其他n(n≠l)层的特征图xn大小调整为与xl相同的形状。由于各层特征图的分辨率大小不同，因此对每个尺度执行上采样(up-sampling)或下采样(down-sampling)以保证尺寸一致。
对于上采样，本发明实施例采用1×1卷积层将特征层的通道数压缩到n层，然后用插值法提高分辨率。
对于1/2比例的下采样，本发明实施例采用3×3，步长为2的卷积层同时修改通道数和分辨率。
对于1/4比例的下采样，本发明实施例在3×3卷积之前添加一个步长为2的最大池化层。
(2)自适应融合
设
Figure BDA0003644664230000072
表示在位置(i,j)上，从n层调整到l层的特征向量，则l层的输出为：
Figure BDA0003644664230000073
Figure BDA0003644664230000074
Figure BDA0003644664230000075
Figure BDA0003644664230000081
其中，
Figure BDA0003644664230000082
表示通道之间输出特征图yl的第(i,j)个向量。
Figure BDA0003644664230000083
和
Figure BDA0003644664230000084
表示三个不同层对l层的空间权重，其中
Figure BDA0003644664230000085
并且
Figure BDA0003644664230000086
权重标量
Figure BDA0003644664230000087
和
Figure BDA0003644664230000088
分别从x1→l,x2→l和x3→l中使用1×1卷积计算，可以通过反向传播来学习。
所述特征图输出子单元，用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5。
具体地，所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块；其中，所述特征图P3’经所述第一CSP模块后输出特征图P3；所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4；所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
实施例2
在上述实施例的基础上，本发明实施例还提供一种基于特征聚合和注意融合的固体废弃物检测方法，所述方法包括：
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；
具体地，所述待检测遥感图像的分辨率为640×640。所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。即，特征图
Figure BDA0003644664230000089
和
Figure BDA00036446642300000810
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
本发明方法将输入图像的分辨率调整为640×640，然后通过深层聚合主干网络(DLA)提取出输入图像的特征信息，输出下采样分别为2、4、8、16、32倍的特征图，对应特征图C1，C2，C3，C4和C5，接着从主干网络的输出中选择特征图C3，C4和C5送入SAFNet中进行特征融合，该网络可以在空间上过滤冲突信息，以学习到丰富的多尺度空间特征信息，最后输出不同大小的特征图P3，P4和P5用来预测不同大小的目标。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于特征聚合和注意融合的固体废弃物检测装置，其特征在于，包括：特征提取单元、特征融合单元和目标检测单元；
所述特征提取单元采用深层聚合网络作为主干网络，用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；
所述特征融合单元，用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；
所述目标检测单元，用于从所述的三种不同大小的特征图中检测固体废弃物。
2.根据权利要求1所述的基于特征聚合和注意融合的固体废弃物检测装置，其特征在于，所述特征融合单元包括特征图输入子单元、空间注意融合子单元和特征图输出子单元；
所述特征图输入子单元，用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图，按照尺寸从大到小的顺序依次记作C3’、C4’和C5’；
所述空间注意融合子单元，包括三个CAM模块和三个AFM模块，每个所述CAM模块均同时连接至三个所述AFM模块；其中，三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入，每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出，将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’；
所述特征图输出子单元，用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5。
3.根据权利要求2所述的基于特征聚合和注意融合的固体废弃物检测装置，其特征在于，所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块；其中，所述特征图C5经所述第一CBS模块处理后输出特征图C5’；所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接，所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’；所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
4.根据权利要求2所述的基于特征聚合和注意融合的固体废弃物检测装置，其特征在于，所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块；其中，所述特征图P3’经所述第一CSP模块后输出特征图P3；所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4；所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
5.根据权利要求2所述的基于特征聚合和注意融合的固体废弃物检测装置，其特征在于，每个所述CAM模块中，针对拆分之前的中间特征图，根据缩放比计算所述中间特征图，设置所述缩放比为32。
6.基于特征聚合和注意融合的固体废弃物检测方法，其特征在于，采用如权利要求1-5任一所述的装置，所述方法包括：
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图，按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5；
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图，按照尺寸从大到小的顺序依次记作P3、P4和P5；
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
7.根据权利要求6所述的基于特征聚合和注意融合的固体废弃物检测方法，其特征在于，所述待检测遥感图像的分辨率为
Figure 793373DEST_PATH_IMAGE002
。
8.根据权利要求6所述的基于特征聚合和注意融合的固体废弃物检测方法，其特征在于，所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。
CN202210526368.6A 2022-05-16 基于特征聚合和注意融合的固体废弃物检测装置及方法 Active CN114926734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210526368.6A CN114926734B (zh) 2022-05-16 基于特征聚合和注意融合的固体废弃物检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210526368.6A CN114926734B (zh) 2022-05-16 基于特征聚合和注意融合的固体废弃物检测装置及方法

Publications (2)

Publication Number Publication Date
CN114926734A true CN114926734A (zh) 2022-08-19
CN114926734B CN114926734B (zh) 2024-06-28

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984661A (zh) * 2023-03-20 2023-04-18 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN116052008A (zh) * 2023-04-03 2023-05-02 华南理工大学 一种建筑废弃物分拣与处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220517A1 (zh) * 2019-04-30 2020-11-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
麻森权;周克;: "基于注意力机制和特征融合改进的小目标检测算法", 计算机应用与软件, no. 05, 12 May 2020 (2020-05-12) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984661A (zh) * 2023-03-20 2023-04-18 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN115984661B (zh) * 2023-03-20 2023-08-29 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN116052008A (zh) * 2023-04-03 2023-05-02 华南理工大学 一种建筑废弃物分拣与处理系统

Similar Documents

Publication Publication Date Title
CN109493350B (zh) 人像分割方法及装置
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
CN112348870B (zh) 一种基于残差融合的显著性目标检测方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
WO2021129466A1 (zh) 检测水印的方法、装置、终端及存储介质
CN109754461A (zh) 图像处理方法及相关产品
CN110929735B (zh) 一种基于多尺度特征注意机制的快速显著性检测方法
WO2023212997A1 (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN115526935A (zh) 基于全局和局部信息的像素级抓取位姿检测方法及系统
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112419342A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN115908789A (zh) 跨模态特征融合及渐近解码的显著性目标检测方法及装置
WO2023159757A1 (zh) 视差图生成方法和装置、电子设备及存储介质
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN117237188A (zh) 基于遥感图像的多尺度注意网络的显著性目标检测方法
CN113780241B (zh) 一种显著物体检测的加速方法与装置
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN118251698A (zh) 面向稀疏数据的鲁棒nerf模型新颖视图合成
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant