CN116486189A - 一种基于特征共享的多尺度特征融合方法 - Google Patents

一种基于特征共享的多尺度特征融合方法 Download PDF

Info

Publication number
CN116486189A
CN116486189A CN202210011977.8A CN202210011977A CN116486189A CN 116486189 A CN116486189 A CN 116486189A CN 202210011977 A CN202210011977 A CN 202210011977A CN 116486189 A CN116486189 A CN 116486189A
Authority
CN
China
Prior art keywords
feature
scale
features
fusion
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210011977.8A
Other languages
English (en)
Inventor
陈忠昊
高红民
张亦严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202210011977.8A priority Critical patent/CN116486189A/zh
Publication of CN116486189A publication Critical patent/CN116486189A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征共享的多尺度特征融合方法，属于人工智能领域。所述方法包括：在主干提取网络提取的多尺度特征中，选取所有不同尺度的特征图作为输出特征，其中，选出的特征图具有不同大小的空间尺度；为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征；根据融合后的特征，对图像/视频中的目标进行分割、分类以及检测。采用本发明，能够提高对提取到的多尺度特征的利用率以提高模型性能。

Description

一种基于特征共享的多尺度特征融合方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于特征共享的多尺度特征融合方法。
背景技术
近年来，随着计算机硬件的迅速发展，越来越多基于卷积神经网络的图像分类/分割算法被提出，如今，图像分类/分割已经广泛的应用在军事、遥感、医疗、社会服务等领域。
特征融合网络，如InceptionNetwork(IN)、路径聚合网络(PANet)等，是主流多尺度特征融合的重要组成部分，其作用是融合来自主干特征提取网络的多尺度特征，进而得到来自多个尺度感受野的特征，以达到更好的算法性能。具体来讲，主干特征提取网络提取的较大的感受野下的特征包含更全面的全局特征(位置信息)，较小的感受野提取到的是更细节的细粒度信息，将大尺度特征与小尺度特征进行融合，可以有效提高分类/分割算法的性能。
但IN、PANet以及基于自动架构搜索的特征金字塔网络(NAS-FPN)等主流的特征融合网络，主要通过直接将不同尺度特征提取器提取到的多尺度特征直接相加或相连在一起，这不仅没有考虑不同尺度特征间的关系也存在削减了尺度多样性的缺陷。而其他一些自适应的特征融合算法虽然考虑了特征融合时的比例关系，却大都仅仅利用了相邻尺度的特征图，或是通过全连接网络进行简单的特征筛选。
发明内容
发明目的：为了克服现有多尺度特征融合技术中存在的不足，提供一种基于特征共享的多尺度特征融合方法，其能够有效解决在图像分类/分割过程中对多尺度特征利用不足的缺点，并且因此提高了算法性能。
技术方案：为实现上述目的，本发明提供一种基于特征共享的多尺度特征融合方法，包括如下步骤：
S1：在主干提取网络提取的多尺度特征中，选取所有不同尺度的特征图作为输出特征；
S2：为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征；
S3：根据融合后的特征，对图像/视频中的目标进行分割、分类以及检测；
进一步地，在步骤S1中主干特征提取网络提取的多尺度特征中选取不同尺度的特征图之前，所述方法还包括：
A1：针对图像/视频的分类或分割，根据输入输出的张量大小构建多尺度特征提取网络作为主干特征提取网络；
A2：通过主干特征提取网络提取图像/视频中待分类或分割目标的多尺度特征。
进一步地，步骤S1中在主干特征提取网络提取的多尺度特征中选取不同尺度的特征图包括：
B1：将主干特征提取网络包含的l种尺度特征提取器提取到的不同尺度特征作为输出特征。
进一步地，所述步骤S1中所提取到的不同尺度特征图，用公式描述为：
F1＝C1(input)
F2＝C2(input)
…
Fl＝Cl(input)
其中，Ci(i＝1，2，...，l)表示不同尺度特征的特征提取器，input为主干特征提取网络的图像，Fi(i＝1，2，...，l)表示所提取到的不同尺度大小的特征图。
进一步地，步骤S2中为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征包括：
C1：将权利要求4种得到的不同尺度特征图F1，F2，...，Fl通过Concatenate函数相连得到多尺度特征集F；
C2：将步骤C1中得到的多尺度特征集F输入到逐点卷积(Pointwise Convolution)中，得到多尺度融合特征F′；
C3：将步骤C1中得到的多尺度特征集F输入到深度卷积(Depthwise Convolution)中，得到每个尺度特征的语义信息F″；
C4：将步骤C2和步骤C3中得到的多尺度融合特征F′和每个尺度特征的语义信息F″通过逐点相加操作(add)，得到多尺度共享融合特征
进一步地，步骤C2和步骤C3中得到的特征图的数量应当与步骤C1得到的特征图数量保持一致。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实例提供的方法流程示意图；
图2为本发明实例提供的基于特征共享的多尺度特征融合结构示意图；
图3为本发明仿真实验中Pavia University高光谱遥感影像数据图；
图4为本发明仿真实验Pavia University高光谱遥感影像数据的伪彩色标记图；
图5为本发明仿真实验的Pavia University高光谱遥感影像数据的通过基于特征共享的多尺度特征融合的Inception Network得到分类结果图；
图6为本发明仿真实验的Pavia University高光谱遥感影像数据的通过原始的Inception Network得到分类结果图；
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明提供一种基于特征共享的多尺度特征融合方法，包括如下步骤：
S1：在主干提取网络提取的多尺度特征中，选取所有不同尺度的特征图作为输出特征；
S2：为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征；
S3：根据融合后的特征，对图像/视频中的目标进行分割、分类以及检测；
本实施例中步骤S1中主干特征提取网络提取的多尺度特征中选取不同尺度的特征图之前，所述方法还包括：
A1：针对图像/视频的分类或分割，根据输入输出的张量大小构建多尺度特征提取网络作为主干特征提取网络；
A2：通过主干特征提取网络提取图像中待分类或分割目标的多尺度特征。
本实施例中步骤S1中在主干特征提取网络提取的多尺度特征中选取不同尺度的特征图包括：
B1：将主干特征提取网络包含的l种尺度特征提取器提取到的不同尺度特征作为输出特征。
本实施例中步骤S1中所提取到的不同尺度特征图，用公式描述为：
F1＝C1(input)
F2＝C2(input)
…
Fl＝Cl(input)
其中，Ci(i＝1，2，...，l)表示不同尺度特征的特征提取器，input为主干特征提取网络的图像，Fi(i＝1，2，...，l)表示所提取到的不同尺度大小的特征图。
本实施例中步骤S2中为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征包括：
C1：将权利要求4种得到的不同尺度特征图F1，F2，...，Fl通过Concatenate函数相连得到多尺度特征集F；
C2：将步骤C1中得到的多尺度特征集F输入到逐点卷积(Pointwise Convolution)中，得到多尺度融合特征F′；
C3：将步骤C1中得到的多尺度特征集F输入到深度卷积(Depthwise Convolution)中，得到每个尺度特征的语义信息F″；
C4：将步骤C2和步骤C3中得到的多尺度合特征F′和每个尺度特征的语义信息F″通过逐点相加操作(add)，得到多尺度共享融合特征
本实施例中步骤C2和步骤C3中得到的特征图的数量保持与步骤C1得到的特征图数量一致。
基于上述方案，为了验证本发明方法的效果，本实施例采用Inception Network架构作为特征提取的主干多尺度特征网络，通过高光谱影像分类任务来进行验证。其中，采用高光谱图像数据Pavia University数据集中1％的样本作为训练集，99％的样本作为测试集进行了仿真实验，其中，没有采用任何与训练策略；使用TensorFlow深度学习框架，训练参数设置如表 1所示：
表1训练参数设置
Input Spatial Size 15×15
Number of Principal 10
Decay Rate 0.01
Epochs 120
Batch Size 32
Learning Rate 0.01
实施结果
本实施例中，使用总体分类精度(Overall Accuracy，OA)、平均分类精度(AverageAccuracy， AA)和Kappa系数。表2给出了不使用本发明提出的融合方法的InceptionNetwork模型与使用本发明融合方法的Inception Network模型的分类精度对比情况。图3-4分别为实验中用到的Pavia University高光谱遥感影像数据图以及对应的伪彩色标记图，将图3应用到上述方法当中，得到图5和图6所示的Pavia University得到上述不使用本发明融合方法的Inception Network模型与使用本发明融合方法的Inception Network模型的分类结果图。
表2每个类别分类精度以及整体分类情况评价
根据表2的数据可见，本发明的分类效果要优于原IN模型，细分到OA，平均分类AA和Kappa系数也高于原模型。此外，将图5和图6与分类真值图对比来看，图6具有更接近真值的分类表现，从而验证了本发明方法的效果。

Claims (6)

1.一种基于特征共享的多尺度特征融合方法，其特征在于，包括如下步骤：
S1：在主干提取网络提取的多尺度特征中，选取所有不同尺度的特征图作为输出特征；
S2：为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征；
S3：根据融合后的特征，对图像中的目标进行分割、分类以及检测。
2.根据权利要求1所述的基于特征共享的多尺度特征融合方法，其特征在于，所述步骤S1中在主干特征提取网络提取的多尺度特征中选取不同尺度的特征图之前，所述方法还包括：
A1：针对图像/视频的分类或分割，根据输入输出的张量大小构建多尺度特征提取网络作为主干特征提取网络；
A2：通过主干特征提取网络提取图像中待分类或分割目标的多尺度特征。
3.根据权利要求1所述的基于特征共享的多尺度特征融合方法，其特征在于，所述步骤S1中在主干特征提取网络提取的多尺度特征中选取不同尺度的特征图包括：
B1：将主干特征提取网络包含的l种尺度特征提取器提取到的不同尺度特征作为输出特征。
4.根据权利要求3所述的基于特征共享的多尺度特征融合方法，其特征在于，所述步骤B1中所提取到的不同尺度特征，用公式描述为：
F1＝C1(input)
F2＝C2(input)
…
Fl＝Cl(input)
其中，Ci(i＝1，2，...，l)表示不同尺度特征的特征提取器，input为主干特征提取网络的图像，Fi(i＝1，2，...，l)表示所提取到的不同尺度大小的特征图。
5.根据权利要求1所述的基于特征共享的多尺度特征融合方法，其特征在于，所述步骤S2中为所述输出特征构建基于共享机制的多尺度特征融合模块，所述多尺度特征融合模块通过逐点卷积和深度卷积并行的方式来实现尺度间的强融合，使得在保证每个特征图在包含原有尺度的特征的上下文语意信息外还包含其他来自其他所有尺度特征的融合特征包括：
C1：将权利要求4中得到的不同尺度特征图F1，F2，...，Fl通过Concatenate函数相连得到多尺度特征集F；
C2：将步骤C1中得到的多尺度特征集F输入到逐点卷积(Pointwise Convolution)中，得到多尺度融合特征F′；
C3：将步骤C1中得到的多尺度特征集F输入到深度卷积(Depthwise Convolution)中，得到每个尺度特征的语义信息F″；
C4：将步骤C2和步骤C3中得到的多尺度融合特征F′和每个尺度特征的语义信息F″通过逐点相加操作(Add)，得到多尺度共享融合特征
6.根据权利要求5所述的基于特征共享的多尺度特征融合方法，其特征在于，所述步骤C2和步骤C3中得到的特征图的数量应当与步骤C1得到的特征图数量保持一致。
CN202210011977.8A 2022-01-06 2022-01-06 一种基于特征共享的多尺度特征融合方法 Pending CN116486189A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210011977.8A CN116486189A (zh) 2022-01-06 2022-01-06 一种基于特征共享的多尺度特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210011977.8A CN116486189A (zh) 2022-01-06 2022-01-06 一种基于特征共享的多尺度特征融合方法

Publications (1)

Publication Number Publication Date
CN116486189A true CN116486189A (zh) 2023-07-25

Family

ID=87215991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210011977.8A Pending CN116486189A (zh) 2022-01-06 2022-01-06 一种基于特征共享的多尺度特征融合方法

Country Status (1)

Country Link
CN (1) CN116486189A (zh)

Similar Documents

Publication Publication Date Title
CN106776842B (zh) 多媒体数据检测方法及装置
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN107133943A (zh) 一种防震锤缺陷检测的视觉检测方法
CN109102498B (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN110084609B (zh) 一种基于表征学习的交易欺诈行为深度检测方法
CN112800882B (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法
CN114913379B (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN116012653A (zh) 一种注意力残差单元神经网络高光谱图像分类方法及系统
CN112215268A (zh) 一种灾害天气卫星云图分类方法和装置
Qiu et al. Scratch Each Other's Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Aware Group Self-Support Learning
CN112766134B (zh) 一种强化类间区分的表情识别方法
Lin et al. Looking from shallow to deep: Hierarchical complementary networks for large scale pest identification
CN117876832A (zh) 一种融合局部和全局注意力的害虫检测方法及模型
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
Li et al. Incremental learning of infrared vehicle detection method based on SSD
CN117173697A (zh) 细胞团分类识别方法、装置、电子设备及存储介质
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN115019215B (zh) 一种基于高光谱图像的大豆病虫害识别方法和装置
CN116486189A (zh) 一种基于特征共享的多尺度特征融合方法
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination