CN115861762A - 一种即插即用无限形变融合特征提取的方法及其应用 - Google Patents

一种即插即用无限形变融合特征提取的方法及其应用 Download PDF

Info

Publication number
CN115861762A
CN115861762A CN202310165384.1A CN202310165384A CN115861762A CN 115861762 A CN115861762 A CN 115861762A CN 202310165384 A CN202310165384 A CN 202310165384A CN 115861762 A CN115861762 A CN 115861762A
Authority
CN
China
Prior art keywords
attention
fusion
information
dimensional
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310165384.1A
Other languages
English (en)
Other versions
CN115861762B (zh
Inventor
年睿
张国耀
钱玉琪
赵明章
李建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310165384.1A priority Critical patent/CN115861762B/zh
Publication of CN115861762A publication Critical patent/CN115861762A/zh
Application granted granted Critical
Publication of CN115861762B publication Critical patent/CN115861762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能图像处理技术领域，具体的涉及一种即插即用无限形变融合特征提取的方法及其应用，与现有技术相比，本发明针对传统卷积操作的固有局限性、很难学习明确的全局和长期语义信息交互，仅从邻域像素收集信息、缺乏明确捕获远程依赖性的能力问题，采用了基于Transformer融合特征提取的编码结构以建立三维图像序列标记之间的全局连接，构建像素点间的远程依赖关系，提取多尺度上下文信息，针对Transformer中多头注意力机制之间的注意力信息相互独立并行运算，对三维图像层间结构化信息的特征提取不完全的问题，采用了融合头部注意力机制，实现对三维图像层间结构化信息的精准提取。

Description

一种即插即用无限形变融合特征提取的方法及其应用
技术领域
本发明涉及智能图像处理和实例分割技术领域，具体的涉及一种即插即用无限形变融合特征提取的方法及其应用。
背景技术
目前，三维图像分割在实际生活中起到了十分重要的作用，特别应用于医学诊断方面，传统的手工描绘的分割方法是低效的，而且由于精确注释的模糊性，手工描绘也具有主观性。而随着深度学习的发展，传统手工描绘的分割方法逐渐被取代，基于深度学习的三维图像分割方法不仅可以提高诊断效率，而且在准确性方面也有很大的提高。
在深度学习的发展过程中，卷积神经网络在一系列三维图像分割任务中占据主导地位。Ronneberger等人开发了一个完全卷积网络(FCN)，即UNet，对整个图像进行密集预测。随后，3D UNet和VNet被提出作为UNet在三维体积分割的扩展。虽然卷积神经网络在三维图像分割领域取得了巨大的成功，但很难取得进一步的突破。由于卷积操作的固有局域性，基于卷积的方法很难学习明确的全局和长期语义信息交互。卷积仅从邻域像素收集信息，缺乏明确捕获远程依赖性的能力。另外，卷积核的大小和形状通常是固定的，不能适应输入内容。基于以上原因导致传统卷积在进行特征提取时，造成多尺度上下文信息方面的缺失，从而导致了对不同形状和尺度的结构的次优分割。
而Transformer由于其多头自注意机制可以有效地建立序列标记之间的全局连接，构建像素点间的远程依赖关系，提取多尺度上下文信息，同时也很大程度上改善了传统卷积感受野受限的问题。但是由于Transformer要求序列化输入的限制，这在一定程度上阻碍了其在三维图像处理上的发展，另外由于Transformer中多头注意力机制之间各个头部的注意力信息相互独立并行运算，这对三维图像层间结构化信息的特征提取不完全。
因此，本领域技术人员亟需一种能够解决现有的三维图像分割技术中存在的多尺度上下文信息方面的缺失，从而导致了对不同形状和尺度的结构的次优分割、以及使用Transformer时多头注意力机制之间各个头部的注意力信息相互独立并行运算，对三维图像层间结构化信息的特征提取不完全等问题的三维图像分割方法。
发明内容
针对现有技术中存在的问题，本发明的目的在于：提供一种能够实现对三维图像层间结构化信息的精准提取的即插即用无限形变融合特征提取方法，用以解决现有技术中存在的对三维图像层间结构化信息的特征提取不完全的问题。
为实现上述目的，本发明采取的技术方案是：一种即插即用无限形变融合特征提取的方法，包括以下步骤：
S1：收集三维立体图像数据集，将数据集分为训练样本集和测试样本集；
S2：构建即插即用无限形变融合特征提取模块；
S3：建立步骤S2中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征；
S4：构建由步骤S3中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习网络结构；
S5：将步骤S1所述的训练样本集，输入至步骤S4中所述的深度学习网络，得到训练后的深度学习网络模型；
S6：将步骤S1所述的测试样本集，输入至步骤S5中得到的训练后的深度学习网络模型，获取深度学习网络测试输出。
上述的即插即用无限形变融合特征提取的方法，所述步骤S3中包括以下步骤：
a：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体特征图像的注意力信息，作为融合头部自注意力特征的注意力信息输入；
b:构建包含三维立体图像空间信息的位置权重矩阵，对不同维度进行位置编码，存储三维立体图像的三维空间特征信息，作为融合头部自注意力特征的位置信息输入；
c：计算融合头部自注意力特征公式中的注意力强度矩阵，通过注意力权重矩阵和位置权重矩阵计算三维立体图像的注意力强度信息，用于提取三维立体特征图的全局注意力信息；
d：构建融合头部自注意力特征公式中的融合头部自注意力机制，通过对多个并行运算的注意力头部中的逻辑和权重信息进行交叉融合，实现对三维立体特征图的层间结构化特征信息进行精准提取。
上述的即插即用无限形变融合特征提取的方法，所述步骤a中包括以下步骤：
1）：定义输入三维立体图像初始化信息：将待特征提取的三维立体图像块定义为
Figure SMS_1
，其中/>
Figure SMS_2
为高度，/>
Figure SMS_3
为宽度，/>
Figure SMS_4
为深度，/>
Figure SMS_5
为输入特征提取模块的通道数；
2）：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体图像块
Figure SMS_6
的注意力信息，作为融合头部自注意力特征公式中的注意力信息输入；
3）：定义三个初始化相同的三维立体卷积块，分别表示要查询的信息权重
Figure SMS_7
、被查询的向量权重/>
Figure SMS_10
、查询得到的值权重/>
Figure SMS_11
，再经过尺寸变换函数/>
Figure SMS_9
分别得到注意力机制中要查询的信息/>
Figure SMS_12
、被查询的向量/>
Figure SMS_13
和查询得到的值/>
Figure SMS_14
，用于提取三维立体图像块/>
Figure SMS_8
的注意力信息，并作为后续融合头部自注意力特征公式中的注意力信息输入：
Figure SMS_15
，
其中
Figure SMS_17
， />
Figure SMS_19
为注意力信息的输入系数，且/>
Figure SMS_21
，/>
Figure SMS_18
个
Figure SMS_20
分别组成集合/>
Figure SMS_22
，/>
Figure SMS_23
，
Figure SMS_16
。
上述的即插即用无限形变融合特征提取的方法，所述步骤b中包括以下步骤：
4）：定义三个可迭代的用于学习三维立体图像宽度
Figure SMS_26
、高度/>
Figure SMS_31
和深度/>
Figure SMS_32
位置信息的权重参数分别为/>
Figure SMS_24
，/>
Figure SMS_28
，/>
Figure SMS_33
，用来对/>
Figure SMS_35
进行位置编码存储其三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入；/>
Figure SMS_27
，/>
Figure SMS_29
表示即插即用无限形变融合特征提取模块注意力头部的个数，权重参数的维度分别为/>
Figure SMS_34
，/>
Figure SMS_36
，/>
Figure SMS_25
，
Figure SMS_30
表示即插即用无限形变融合特征提取模块的比例因子；
5）：将
Figure SMS_37
、/>
Figure SMS_38
、/>
Figure SMS_39
通过三维空间融合得到对应头部的空间信息权重矩阵/>
Figure SMS_40
：
Figure SMS_41
，
其中
Figure SMS_42
，/>
Figure SMS_43
个/>
Figure SMS_44
组成空间信息权重矩阵集合
Figure SMS_45
；
6）：将空间信息权重矩阵
Figure SMS_46
通过尺度变换函数/>
Figure SMS_47
得到空间信息权重序列/>
Figure SMS_48
，用于存储三维立体图像/>
Figure SMS_49
的三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入：
Figure SMS_50
，
其中
Figure SMS_51
，/>
Figure SMS_52
，/>
Figure SMS_53
个/>
Figure SMS_54
组成空间信息权重序列集合
Figure SMS_55
，/>
Figure SMS_56
会在后续计算融合头部自注意力公式的过程中对/>
Figure SMS_57
的空间信息进行迭代更新。
上述的即插即用无限形变融合特征提取的方法，所述步骤c中包括以下步骤：
7）：通过步骤a中得到的注意力权重矩阵和步骤b中得到的位置权重矩阵，计算三维立体图像的注意力强度信息，提取三维立体特征图的全局注意力信息，计算融合头部自注意力特征公式中的注意力强度矩阵；
8）：将
Figure SMS_59
的转置/>
Figure SMS_61
与/>
Figure SMS_64
进行矩阵相乘，/>
Figure SMS_60
的转置/>
Figure SMS_62
与/>
Figure SMS_63
进行矩阵相乘后的结果进行特征融合，得到三维立体图像块/>
Figure SMS_65
的注意力强度/>
Figure SMS_58
：
Figure SMS_66
，
其中
Figure SMS_67
。
上述的即插即用无限形变融合特征提取的方法，所述步骤d中包括以下步骤：
9）：引入可训练的注意力逻辑映射
Figure SMS_68
，用于将/>
Figure SMS_69
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，然后通过
Figure SMS_70
层得到融合头部注意力逻辑信息/>
Figure SMS_71
：
Figure SMS_72
，
其中
Figure SMS_73
；
10）：引入可训练的注意力权重映射
Figure SMS_74
，将/>
Figure SMS_75
个并行运算的注意力头部中的权重信息/>
Figure SMS_76
进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure SMS_77
：/>
Figure SMS_78
，
其中
Figure SMS_79
；
11）：与
Figure SMS_80
个并行运算的注意力头部中的/>
Figure SMS_81
组成的矩阵
Figure SMS_82
进行矩阵相乘得到融合头部自注意力特征公式的输出结果
Figure SMS_83
：
Figure SMS_84
，
其中
Figure SMS_85
；
12）：通过尺度变换函数
Figure SMS_86
将融合头部自注意力特征公式的输出结果/>
Figure SMS_87
重新投影回/>
Figure SMS_88
，得到即插即用无限形变融合特征提取模块的输出结果/>
Figure SMS_89
：
Figure SMS_90
。
一种如上述任一项所述的即插即用无限形变融合特征提取的方法的用途，所述即插即用无限形变融合特征提取用于图像分割方法、图像识别方法、时间序列预测方法、目标检测方法、超分辨重建方法、图像模拟生成方法、聚类方法。
一种基于即插即用无限形变融合特征提取的Transformer图像分割方法，所述Transformer图像分割方法中包括如上述任一项所述的即插即用无限形变融合特征提取的方法，在所述步骤S4中，包括以下步骤：
e：定义输入三维立体图像初始化信息：设输入的三维立体图像为
Figure SMS_91
，其中/>
Figure SMS_92
为高度，/>
Figure SMS_93
为宽度，/>
Figure SMS_94
为深度，/>
Figure SMS_95
为输入网络中图像块的通道数；
f：对三维立体图像
Figure SMS_96
进行序列化处理，将输入的三维立体图像/>
Figure SMS_97
分割成一系列的非重叠三维立体子图像块集合/>
Figure SMS_98
，其中/>
Figure SMS_99
表示子图像块的数目，每个三维立体子图像块的大小为/>
Figure SMS_100
，则/>
Figure SMS_101
；
g：将三维立体子图像块进行嵌入投影：经过一个线性投影
Figure SMS_102
将三维立体子图像块/>
Figure SMS_103
映射到融合Transformer序列维数/>
Figure SMS_104
中，/>
Figure SMS_105
表示三维立体子图像块/>
Figure SMS_106
经过线性投影后输入到网络的特定维数，得到/>
Figure SMS_107
维序列/>
Figure SMS_108
：
Figure SMS_109
，
其中
Figure SMS_110
；
h：对
Figure SMS_111
维序列/>
Figure SMS_112
添加一个一维位置编码/>
Figure SMS_113
，对每个向量的空间信息进行编码，获得序列化处理后的输出结果：
Figure SMS_114
，
其中
Figure SMS_115
；
i：构建由融合头部自注意力机制和多层感知机组成的编码器，所述编码器有
Figure SMS_116
层，每层由一个包含融合头部自注意力机制和多层感知机的融合Transformer模块组成，在融合头部自注意力机制和多层感知机模块之前分别应用层归一化和残差连接，其中融合头部自注意力机制在计算自注意力矩阵时，会对每个注意力头部信息进行了交叉融合，以构建三维立体图像空间信息的远程依赖关系；
j：将三维立体图像序列化处理后的输出序列
Figure SMS_117
，输入到融合Transformer模块，经过/>
Figure SMS_118
层融合Transformer模块后得到/>
Figure SMS_119
，其中/>
Figure SMS_120
，将/>
Figure SMS_121
通过融合Transformer模块后得到/>
Figure SMS_122
，步骤如下，
13）：
Figure SMS_123
经过层归一化操作和融合头部自注意力机制，然后通过残差连接后得到
Figure SMS_124
：
Figure SMS_125
，
其中
Figure SMS_126
表示融合头部自注意力机制，/>
Figure SMS_127
表示序列/>
Figure SMS_128
经过层归一化后的输出结果，/>
Figure SMS_129
表示层归一化操作；
14）：
Figure SMS_130
经过层归一化和多层感知机模块，然后通过残差连接后得到/>
Figure SMS_131
：
Figure SMS_132
，
其中
Figure SMS_133
表示多层感知机MLP模块；
15）：将总共含有
Figure SMS_134
个编码层的融合Transfomer编码器分成/>
Figure SMS_135
个串联的子编码器结构，每个子编码器由/>
Figure SMS_136
个融合头部自注意力机制和多层感知机级联而成的编码层组成，不同阶段的子编码器编码特征的输出结果/>
Figure SMS_137
都将用于后续的多尺度特征融合及特征提取；
k：构建融合头部自注意力机制，设输入到融合头部自注意力模块之前的图像序列为
Figure SMS_138
，融合头部自注意力机制将执行操作将/>
Figure SMS_139
映射到/>
Figure SMS_140
；
l：构建多尺度特征融合模块；
m：构建由即插即用Transformer无限形变融合特征提取模块和三维残差卷积块组成的解码器，将经过多尺度特征融合后第b层的三维立体融合特征图像块
Figure SMS_141
作为步骤S2所述的即插即用Transformer无限形变融合特征提取模块的输入，用于进行特征提取得到/>
Figure SMS_142
，
Figure SMS_143
通过级联的三维残差卷积模块得到特征提取器的输出结果/>
Figure SMS_144
：
Figure SMS_145
，
其中
Figure SMS_146
，/>
Figure SMS_147
表示三维残差卷积模块。
上述的基于即插即用无限形变融合特征提取的Transformer图像分割方法，所述步骤k中执行
Figure SMS_148
映射到/>
Figure SMS_149
的操作包括以下步骤：
16）：获得融合头部自注意力机制中要查询的信息
Figure SMS_156
、被查询的向量/>
Figure SMS_152
和查询得到的值/>
Figure SMS_154
，用于计算图像序列/>
Figure SMS_153
的注意力信息：融合头部自注意力机制中有/>
Figure SMS_157
个注意力头，其中/>
Figure SMS_158
，/>
Figure SMS_162
，/>
Figure SMS_164
，其中
Figure SMS_166
，/>
Figure SMS_151
表示融合头部自注意力机制中注意力头部的个数，将图像序列/>
Figure SMS_159
输入到融合头部自注意力模块，经过三个可训练的权值映射/>
Figure SMS_160
、/>
Figure SMS_163
、/>
Figure SMS_161
，分别得到融合头部自注意力机制中的/>
Figure SMS_165
、/>
Figure SMS_150
、/>
Figure SMS_155
：
Figure SMS_167
，
其中
Figure SMS_168
，/>
Figure SMS_169
表示融合头部自注意力机制的比例因子；
17）：构造融合头部自注意力机制的特征公式，包括以下步骤：
①：将
Figure SMS_170
的转置/>
Figure SMS_171
与/>
Figure SMS_172
进行矩阵相乘，为了防止/>
Figure SMS_173
和/>
Figure SMS_174
进行矩阵相乘后每一行向量的内积过大，将内积结果除以融合头部自注意力机制的比例因子/>
Figure SMS_175
的平方根，得到图像序列中的注意力强度/>
Figure SMS_176
：
Figure SMS_177
，
其中
Figure SMS_178
；
②：引入可训练的注意力逻辑映射
Figure SMS_179
，将/>
Figure SMS_180
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，通过/>
Figure SMS_181
层得到融合头部注意力逻辑信息/>
Figure SMS_182
：
Figure SMS_183
，
其中
Figure SMS_184
；
③：引入可训练的注意力权重映射
Figure SMS_185
，将/>
Figure SMS_186
个并行运算的注意力头部中的权重信息进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure SMS_187
：
Figure SMS_188
，
其中
Figure SMS_189
；
④：与
Figure SMS_190
个并行运算的注意力头部的/>
Figure SMS_191
组成的矩阵
Figure SMS_192
进行矩阵相乘得到融合头部自注意力机制的输出结果/>
Figure SMS_193
：
Figure SMS_194
，
其中
Figure SMS_195
；
⑤：通过映射
Figure SMS_196
将融合头部自注意力特征公式的输出结果/>
Figure SMS_197
重新投影回/>
Figure SMS_198
，得到融合头部自注意力机制的输出结果/>
Figure SMS_199
：/>
Figure SMS_200
。
上述的基于即插即用无限形变融合特征提取的Transformer图像分割方法，所述步骤l中包括以下步骤：
18）：对来自编码器的多个分辨率的特征图像块与解码器得到的对应分辨率的结果进行特征融合：将
Figure SMS_202
每经过/>
Figure SMS_204
个融合Transformer模块输出一个隐藏特征序列，共输出/>
Figure SMS_207
个隐藏层序列/>
Figure SMS_203
，将这/>
Figure SMS_205
个维度为/>
Figure SMS_208
隐藏层序列重塑为/>
Figure SMS_210
个同等大小维度为/>
Figure SMS_201
，通道数为/>
Figure SMS_206
维的三维立体特征图像块/>
Figure SMS_209
；
19）：将
Figure SMS_211
通过转置卷积进行上采样得到/>
Figure SMS_212
个维度为/>
Figure SMS_213
的三维立体特征图像块/>
Figure SMS_214
；
20）：将维度为
Figure SMS_216
的三维立体特征图像块/>
Figure SMS_218
通过转置卷积进行上采样得到维度为/>
Figure SMS_221
的三维立体特征图像块/>
Figure SMS_217
，然后将/>
Figure SMS_219
与/>
Figure SMS_220
进行多尺度特征融合得到维度为/>
Figure SMS_222
的三维立体融合特征图像块/>
Figure SMS_215
：
Figure SMS_223
，
其中
Figure SMS_224
的通道数为/>
Figure SMS_225
和/>
Figure SMS_226
的和；
21）：按上述过程逐层进行多尺度特征融合，将三维立体特征图图像块的空间分辨率从
Figure SMS_227
恢复到/>
Figure SMS_228
，其中/>
Figure SMS_229
由深到浅依次减少，最终得到基于即插即用Transformer无限形变融合特征提取的三维立体图像分割网络的分割结果/>
Figure SMS_230
。
本发明一种即插即用无限形变融合特征提取的方法的有益效果是：与现有技术相比，本申请针对传统网络模型序列化输入的限制，提出了一种全新的即插即用无限形变融合特征提取模块，可以在网络的任意地方即插即用，结合三维残差卷积块，在获取多尺度空间上下文信息的同时对图像的细节信息进行精确提取。
本发明一种基于即插即用无限形变融合特征提取的Transformer图像分割方法的有益效果是：与现有技术相比，本发明针对传统卷积操作的固有局限性、以及很难学习明确的全局和长期语义信息交互，卷积仅从邻域像素收集信息、缺乏明确捕获远程依赖性的能力等问题，采用了基于Transformer融合特征提取的编码结构以建立三维图像序列标记之间的全局连接，构建像素点间的远程依赖关系，提取多尺度上下文信息。同时，针对Transformer中多头注意力机制之间各个头部的注意力信息相互独立并行运算，对三维图像层间结构化信息的特征提取不完全的问题，采用了融合头部注意力机制，在融合各个头部注意力信息的同时，实现对三维图像层间结构化信息的精准提取。
本发明打破了三维深度学习网络难以充分利用自注意力机制作为特征提取模块的弊端，可以更好的针对三维图像实现精准分割。
附图说明
图1为本发明的整体流程图；
图2为本发明即插即用无限形变融合特征提取方法的内部运算逻辑示意图；
图3为胶质瘤图像分割结果，其中：
图3中的(a)和(e)均为真实标签；
图3中的(b)和(f)均为3D UNet分割结果；
图3中的(c)和(g)均为VNet分割结果；
图3中的(d)和(h)均为本发明分割结果；
图4为本发明实施例2的整体流程图；
图5为本发明实施例3的整体流程图；
图6为本发明实施例4的整体流程图；
图7为本发明实施例5的整体流程图；
图8为本发明实施例6的整体流程图；
图9为本发明实施例7的整体流程图；
图10为本发明实施例8的整体流程图。
具体实施方式
本技术方案中的基础网络模型包括：UNe网络模型、Transformer网络模型，InfoGAIL网络模型、DCCM网络模型、BigGAN网络模型、3D-EDSR或HAT网络模型、EfficientNet系列网络模型、MIM或 FourCastNet网络模型、YOLO系列网络模型等现有网络模型，在本申请的记载方案中，主要是提供基于上述网络模型，能够在现有的网络模型的基础上即插即用的无限形变融合特征提取的方法，以及该无限形变融合特征提取的方法在具体网络模型中的应用。
为使本领域技术人员更好的理解本发明的技术方案，下面结合具体实施方式及附图对本发明的技术方案进行说明。
实施例1：
一种基于即插即用无限形变融合特征提取的图像分割方法，该方法包括以下步骤(如图1所示)：
步骤一：收集三维立体待分割图像数据集，可以采用公开或自行采集并标注的数据集，如脑部胶质瘤3D MRI扫描图像BraTS挑战赛数据集，将数据集分为训练样本集和测试样本集。
步骤二：构建即插即用无限形变融合特征提取模块，具体步骤如下：
如图2所示的即插即用无限形变融合特征提取方法的内部运算逻辑示意图，首先通过注意力信息权重矩阵
Figure SMS_231
与位置信息权重矩阵/>
Figure SMS_232
计算注意力强度矩阵/>
Figure SMS_233
，然后经过注意力权重映射/>
Figure SMS_234
和注意力逻辑映射/>
Figure SMS_235
得到融合了各个注意力头部之间的权重关联信息
Figure SMS_236
，最后与注意力信息权重矩阵/>
Figure SMS_237
进行计算并转换后得到特征提出模块的输出结果。具体步骤如下：
1. 构建包含三维立体图像特征信息的注意力权重矩阵。
1) 定义输入三维立体图像初始化信息：将待特征提取的三维立体图像块定义为
Figure SMS_238
，其中/>
Figure SMS_239
为高度，/>
Figure SMS_240
为宽度，/>
Figure SMS_241
为深度，/>
Figure SMS_242
为输入特征提取模块的通道数。
2) 构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体图像块
Figure SMS_245
的注意力信息，作为融合头部自注意力特征公式中的注意力信息输入：定义三个初始化相同的三维立体卷积块，分别表示要查询的信息权重/>
Figure SMS_246
、被查询的向量权重/>
Figure SMS_250
、查询得到的值权重/>
Figure SMS_244
，再经过尺寸变换函数/>
Figure SMS_247
分别得到Transformer注意力机制中要查询的信息/>
Figure SMS_249
、被查询的向量/>
Figure SMS_251
和查询得到的值/>
Figure SMS_243
，用于提取三维立体图像块/>
Figure SMS_248
的注意力信息，并作为后续融合头部自注意力特征公式中的注意力信息输入：
Figure SMS_252
(1)，
其中
Figure SMS_254
，为了后续注意力强度矩阵的计算，需要将注意力信息输入的后面三维空间通过/>
Figure SMS_258
映射到一维空间，所以/>
Figure SMS_259
为注意力信息的输入系数，且
Figure SMS_253
，/>
Figure SMS_257
个/>
Figure SMS_260
分别组成集合/>
Figure SMS_261
，
Figure SMS_255
，/>
Figure SMS_256
。
该设计通过注意力权重矩阵
Figure SMS_263
、/>
Figure SMS_266
、/>
Figure SMS_268
先提取三维立体图像块/>
Figure SMS_264
的特征信息，然后通过尺寸变换函数/>
Figure SMS_267
直接对包含了三维立体图像块信息的注意力权重矩阵/>
Figure SMS_269
、/>
Figure SMS_270
、/>
Figure SMS_262
进行序列化操作，得到包含了三维立体特征图像信息的序列化权重矩阵/>
Figure SMS_265
用于后续注意力特征公式的计算。避免了传统Transformer机制中需要直接对输入进行序列化操作的弊端，以此打破传统的基于Transformer网络结构序列化输入的限制，从而达到即插即用的效果。
2. 构建包含三维立体图像空间信息的位置权重矩阵。
构建包含三维立体图像空间信息的位置权重矩阵，对不同维度进行位置编码，存储三维立体图像块
Figure SMS_271
的三维空间特征信息，作为融合头部自注意力特征公式中的位置信息输入：
定义三个可迭代的用于学习三维立体图像宽度
Figure SMS_273
、高度/>
Figure SMS_276
和深度/>
Figure SMS_280
位置信息的权重参数分别为/>
Figure SMS_275
，/>
Figure SMS_279
，
Figure SMS_281
，用来对/>
Figure SMS_283
进行位置编码存储其三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入，通过使用上述步骤，能够以此打破Transformer机制中需要序列化位置编码的限制。其中/>
Figure SMS_272
，/>
Figure SMS_278
表示即插即用无限形变融合特征提取模块注意力头部的个数，权重参数的维度分别为/>
Figure SMS_282
，/>
Figure SMS_284
，/>
Figure SMS_274
，/>
Figure SMS_277
表示即插即用无限形变融合特征提取模块的比例因子。
然后将
Figure SMS_285
、/>
Figure SMS_286
、/>
Figure SMS_287
通过三维空间融合得到对应头部的空间信息权重矩阵/>
Figure SMS_288
：
Figure SMS_289
(2)，
其中
Figure SMS_290
，/>
Figure SMS_291
个/>
Figure SMS_292
组成空间信息权重矩阵集合
Figure SMS_293
。
将空间信息权重矩阵
Figure SMS_294
通过尺度变换函数/>
Figure SMS_295
得到空间信息权重序列/>
Figure SMS_296
，用于存储三维立体图像/>
Figure SMS_297
的三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入：
Figure SMS_298
(3)，
其中
Figure SMS_299
，/>
Figure SMS_300
，/>
Figure SMS_301
个/>
Figure SMS_302
组成空间信息权重序列集合
Figure SMS_303
，/>
Figure SMS_304
会在后续计算融合头部自注意力公式的过程中对/>
Figure SMS_305
的空间信息进行迭代更新。
3. 计算融合头部自注意力特征公式中的注意力强度矩阵。
计算融合头部自注意力特征公式中的注意力强度矩阵，通过在构建包含三维立体图像特征信息的注意力权重矩阵中得到的注意力权重矩阵
Figure SMS_307
和在构建包含三维立体图像空间信息的位置权重矩阵中得到的位置权重矩阵/>
Figure SMS_309
计算三维立体图像的注意力强度信息，用于提取三维立体特征图的全局注意力信息：首先将/>
Figure SMS_314
的转置/>
Figure SMS_308
与/>
Figure SMS_310
进行矩阵相乘，然后/>
Figure SMS_313
的转置/>
Figure SMS_315
与/>
Figure SMS_306
进行矩阵相乘后的结果进行特征融合，得到三维立体图像块/>
Figure SMS_311
的注意力强度/>
Figure SMS_312
：
Figure SMS_316
(4)，
其中
Figure SMS_317
。
4. 构建融合头部自注意力特征公式中的融合头部自注意力机制。
构建融合头部自注意力特征公式中的融合头部自注意力机制，通过对多个并行运算的注意力头部中的逻辑和权重信息进行交叉融合，实现对三维立体特征图的层间结构化特征信息进行精准提取：
引入可训练的注意力逻辑映射
Figure SMS_318
，用于将/>
Figure SMS_319
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，然后通过
Figure SMS_320
层得到融合头部注意力逻辑信息/>
Figure SMS_321
：
Figure SMS_322
(5)，
其中
Figure SMS_323
。
1) 之后引入可训练的注意力权重映射
Figure SMS_324
，将/>
Figure SMS_325
个并行运算的注意力头部中的权重信息/>
Figure SMS_326
进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure SMS_327
：
Figure SMS_328
(6)，
其中
Figure SMS_329
。
该设计打破了多头自注意力机制中由于多个注意力头部并行独立运算，难以构建三维子图块间远程依赖关系的弊端，通过可训练的注意力逻辑映射
Figure SMS_330
和注意力权重映射
Figure SMS_331
，使多个并行头部在计算自注意力矩阵时，能够对每个注意力头部的逻辑和权重信息进行交叉融合，以对三维立体特征图的层间结构化特征信息进行精准提取。
2) 之后与
Figure SMS_332
个并行运算的注意力头部中的/>
Figure SMS_333
组成的矩阵
Figure SMS_334
进行矩阵相乘得到融合头部自注意力特征公式的输出结果
Figure SMS_335
：
Figure SMS_336
(7)，
其中
Figure SMS_337
。
3) 最终通过尺度变换函数
Figure SMS_338
将融合头部自注意力特征公式的输出结果/>
Figure SMS_339
重新投影回/>
Figure SMS_340
，得到即插即用无限形变融合特征提取模块的输出结果/>
Figure SMS_341
：
Figure SMS_342
(8)。
步骤三：以三维立体图像分割为例，建立基于即插即用无限形变融合特征提取的分割网络模型：
1. 构建三维立体图像序列化模块。
1) 定义输入三维立体图像初始化信息：设输入的三维立体图像为
Figure SMS_343
，其中/>
Figure SMS_344
为高度，/>
Figure SMS_345
为宽度，/>
Figure SMS_346
为深度，/>
Figure SMS_347
为输入网络中图像块的通道数。
2) 对三维立体图像
Figure SMS_349
进行序列化处理：首先，为了将三维立体图像/>
Figure SMS_352
输入到基于Fuison Transformer的编码器中，需要进行序列化输入的设计。将输入/>
Figure SMS_354
分割成一系列的非重叠三维立体子图像块集合/>
Figure SMS_348
，其中/>
Figure SMS_351
表示子图像块的数目，每个三维立体子图像块的大小为/>
Figure SMS_355
，则/>
Figure SMS_356
。与之前相比，此处/>
Figure SMS_350
是输入图像，/>
Figure SMS_353
是网络内部输入到特征提取模块之前的图像。
3) 将三维立体子图像块进行嵌入投影：经过一个线性投影
Figure SMS_357
将三维立体子图像块/>
Figure SMS_358
映射到融合Transformer序列维数/>
Figure SMS_359
中，/>
Figure SMS_360
表示三维立体子图像块/>
Figure SMS_361
经过线性投影后输入到网络的特定维数，得到/>
Figure SMS_362
维序列/>
Figure SMS_363
：
Figure SMS_364
(9)，
其中
Figure SMS_365
。
4) 对
Figure SMS_366
维序列/>
Figure SMS_367
添加一个一维位置编码/>
Figure SMS_368
，对每个向量的空间信息进行编码，获得序列化处理后的输出结果：/>
Figure SMS_369
(10)，
其中
Figure SMS_370
。
2. 构建由融合头部自注意力机制和多层感知机组成的编码器。
1) 编码器有
Figure SMS_371
层，每层由一个包含融合头部自注意力机制和多层感知机的融合Transformer模块组成。在融合头部自注意力机制和多层感知机模块之前分别应用层归一化和残差连接。其中融合头部自注意力机制在计算自注意力矩阵时，会对每个注意力头部信息进行了交叉融合，以构建三维立体图像空间信息的远程依赖关系。
2) 将三维立体图像序列化处理后的输出序列
Figure SMS_372
，输入到融合Transformer模块，经过/>
Figure SMS_373
层融合Transformer模块后得到/>
Figure SMS_374
，其中/>
Figure SMS_375
，将/>
Figure SMS_376
通过融合Transformer模块后得到/>
Figure SMS_377
的过程如下：
首先，
Figure SMS_378
经过层归一化操作和融合头部自注意力机制，然后通过残差连接后得到
Figure SMS_379
：
Figure SMS_380
(11)，
其中
Figure SMS_381
表示融合头部自注意力机制，/>
Figure SMS_382
表示序列/>
Figure SMS_383
经过层归一化后的输出结果，/>
Figure SMS_384
表示层归一化操作。
然后，
Figure SMS_385
经过层归一化和多层感知机模块，然后通过残差连接后得到/>
Figure SMS_386
：
Figure SMS_387
(12)，
其中
Figure SMS_388
表示多层感知机MLP模块。
最终，将总共含有
Figure SMS_389
个编码层的融合Transfomer编码器分成/>
Figure SMS_390
个串联的子编码器结构，每个子编码器由/>
Figure SMS_391
个融合头部自注意力机制和多层感知机级联而成的编码层组成，不同阶段的子编码器编码特征的输出结果/>
Figure SMS_392
都将用于后续的多尺度特征融合及特征提取。
3. 构建融合头部自注意力机制。
设输入到融合头部自注意力模块之前的图像序列为
Figure SMS_393
，融合头部自注意力机制将执行操作将/>
Figure SMS_394
映射到/>
Figure SMS_395
：
1) 获得融合头部自注意力机制中要查询的信息
Figure SMS_405
、被查询的向量/>
Figure SMS_398
和查询得到的值/>
Figure SMS_403
，用于计算图像序列/>
Figure SMS_399
的注意力信息：融合头部自注意力机制中有/>
Figure SMS_401
个注意力头，其中/>
Figure SMS_407
，/>
Figure SMS_410
，/>
Figure SMS_404
，其中
Figure SMS_411
，/>
Figure SMS_397
表示融合头部自注意力机制中注意力头部的个数，将图像序列/>
Figure SMS_402
输入到融合头部自注意力模块，经过三个可训练的权值映射/>
Figure SMS_406
、/>
Figure SMS_408
、/>
Figure SMS_409
，分别得到融合头部自注意力机制中的/>
Figure SMS_412
、/>
Figure SMS_396
、/>
Figure SMS_400
：/>
Figure SMS_413
(13)，
其中
Figure SMS_414
，/>
Figure SMS_415
表示融合头部自注意力机制的比例因子。
2) 构造融合头部自注意力机制的特征公式：首先
Figure SMS_416
的转置/>
Figure SMS_417
与/>
Figure SMS_418
进行矩阵相乘，为了防止/>
Figure SMS_419
和/>
Figure SMS_420
进行矩阵相乘后每一行向量的内积过大，将内积结果除以融合头部自注意力机制的比例因子/>
Figure SMS_421
的平方根，得到图像序列中的注意力强度/>
Figure SMS_422
：
Figure SMS_423
(14)，
其中
Figure SMS_424
。
3) 之后引入可训练的注意力逻辑映射
Figure SMS_425
，将/>
Figure SMS_426
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，然后通过
Figure SMS_427
层得到融合头部注意力逻辑信息/>
Figure SMS_428
：
Figure SMS_429
(15)，
其中
Figure SMS_430
。
4) 之后引入可训练的注意力权重映射
Figure SMS_431
，将/>
Figure SMS_432
个并行运算的注意力头部中的权重信息进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure SMS_433
：
Figure SMS_434
(16)，
其中
Figure SMS_435
。
5) 之后与
Figure SMS_436
个并行运算的注意力头部的/>
Figure SMS_437
组成的矩阵
Figure SMS_438
进行矩阵相乘得到融合头部自注意力机制的输出结果/>
Figure SMS_439
：
Figure SMS_440
(17)，
其中
Figure SMS_441
。
6) 最终通过映射
Figure SMS_442
将融合头部自注意力特征公式的输出结果/>
Figure SMS_443
重新投影回
Figure SMS_444
，得到融合头部自注意力机制的输出结果/>
Figure SMS_445
：
Figure SMS_446
(18)。
4. 构建多尺度特征融合模块。
1)对来自编码器的多个分辨率的特征图像块与解码器得到的对应分辨率的结果进行特征融合：将
Figure SMS_449
每经过/>
Figure SMS_450
个融合Transformer模块输出一个隐藏特征序列，共输出/>
Figure SMS_453
个隐藏层序列/>
Figure SMS_447
，将这/>
Figure SMS_451
个维度为/>
Figure SMS_452
隐藏层序列重塑为/>
Figure SMS_455
个同等大小维度为/>
Figure SMS_448
，通道数为/>
Figure SMS_454
维的三维立体特征图像块/>
Figure SMS_456
。
2)将
Figure SMS_457
通过转置卷积进行上采样得到/>
Figure SMS_458
个维度为/>
Figure SMS_459
的三维立体特征图像块/>
Figure SMS_460
。
3)将维度为
Figure SMS_462
的三维立体特征图像块/>
Figure SMS_465
通过转置卷积进行上采样得到维度为/>
Figure SMS_466
的三维立体特征图像块/>
Figure SMS_463
，然后将/>
Figure SMS_464
与/>
Figure SMS_467
进行多尺度特征融合得到维度为/>
Figure SMS_468
的三维立体融合特征图像块/>
Figure SMS_461
：
Figure SMS_469
(19)，
其中
Figure SMS_470
的通道数为/>
Figure SMS_471
和/>
Figure SMS_472
的和。
按上述过程逐层进行多尺度特征融合，将三维立体特征图图像块的空间分辨率从
Figure SMS_473
恢复到/>
Figure SMS_474
，其中/>
Figure SMS_475
由深到浅依次减少，最终得到基于即插即用Transformer无限形变融合特征提取的三维立体图像分割网络的分割结果/>
Figure SMS_476
。
5. 构建由即插即用无限形变融合特征提取模块和三维残差卷积块组成的解码器。
将经过多尺度特征融合后第b层的三维立体融合特征图像块
Figure SMS_477
作为步骤S2所述的即插即用无限形变融合特征提取模块的输入，用于进行特征提取得到/>
Figure SMS_478
，之后再经过三维残差卷积特征提取模块得到/>
Figure SMS_479
：
1) 将
Figure SMS_480
通过步骤二中构建的即插即用无限形变融合特征提取模块得到/>
Figure SMS_481
。
2) 之后
Figure SMS_482
通过级联的三维残差卷积模块得到特征提取器的输出结果/>
Figure SMS_483
：
Figure SMS_484
(20)，
其中
Figure SMS_485
，/>
Figure SMS_486
表示三维残差卷积模块。
步骤四：将步骤一获取的训练样本集，送入步骤三获取的基于即插即用无限形变融合特征提取的分割网络进行训练，得到训练后的网络模型。
步骤五：将步骤一获取的测试样本集，送入步骤四获取的训练好的基于即插即用无限形变融合特征提取的分割网络模型，输出三维立体图像的分割结果。
经过以上步骤，可以实现三维胶质瘤磁共振图像的精准分割提取，从而解决现有技术中传统卷积在进行特征提取时，造成多尺度上下文信息方面的缺失，导致对不同形状和尺度的结构的次优分割，以及由于Transformer要求序列化输入的限制，阻碍了其在三维图像处理上的发展的问题，以及由于Transformer中多头注意力机制之间各个头部的注意力信息相互独立并行运算，能够有效的解决三维图像层间结构化信息的特征提取不完全的问题所导致的的信息缺失。
如图3所示，图3中的(a)、图3中的(e)为数据采集真实标签，与之对比，本文提出的模型比其他方法更加接近ground truth标注，如图3中的(b)和图3中的(c)所示，3D UNet和VNet都对肿瘤水肿区域做出了明显的错误分割，这些错误分割的区域会严重影响对胶质瘤分割效果的评估。而本文提出的融合头部自注意力机制，因为融合了胶质瘤的各个头部的注意力信息，并且能够更加细致的关注到胶质瘤的层间结构化差异，因此获得了十分优异的分割结果。同时本文的模型与其他两种种模型相比，对肿瘤水肿区域的错误分割明显减少，证明了本文模型构建了优异的胶质瘤特征信息的空间依赖模型，分割效果取得了显著提升。
如图3中的(f)和图3中的(g)所示,3D UNet和VNet对胶质瘤内部核心细节的特征提取存在明显错误，而图3中的(d)和图3中的(h)中本发明的分割结果更加接近真实值。这得益于本文提出的即插即用无限形变融合特征提取方法，可以打破传统Transformer序列化输入的限制，实现自注意力机制与卷积操作的有效结合。能够在关注到三维胶质瘤磁共振成像层间结构化信息的同时，实现对胶质瘤内部核心细节信息进行精准提取。
实施例2：
本实施例中与实施例1中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的图像识别方法，该方法包括以下步骤：
步骤一：收集三维立体待识别图像数据集，可以采用公开或自行采集并标注的数据集，如由欧空局提供的GlobColour Project叶绿素产品数据集，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块，同实施例1中步骤二；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，同实施例1中步骤二，并将实施例1中记载的Transformer网络模型换为EfficientNet系列网络模型；
步骤四：以识别问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习识别网络结构（例如图4所示），具体实施例如EfficientNet系列网络中的特征提取模块可以替换为步骤三所述Transformer网络模型；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习识别网络结构，得到训练后的深度学习识别网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习识别网络模型，获取深度学习识别网络测试输出。
实施例3：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的时间序列预测方法，该方法包括以下步骤：
步骤一：收集待预测数据集，可以采用公开或自行采集并标注的数据集，如由AVISO提供的海平面异常（SLA）、绝对地转流速（AGV）、绝对动态地形（ADT）数据，由欧空局气候变化倡议组织提供的海平面温度（SST）数据、海平面盐度（SSS）数据，由RSS CCMP提供的风场数据，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为MIM或 FourCastNet网络模型；
步骤四：以预测问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习预测网络结构（例如图5所示），具体实施例如MIM（Memory In Memory）、FourCastNet（Fourier ForeCasting Neural Network）网络中的特征提取模块可以替换为MIM或 FourCastNet网络模型；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习预测网络，得到训练后的深度学习预测网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习预测网络模型，获取深度学习预测网络测试输出。
实施例4：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的目标检测方法，该方法包括以下步骤：
步骤一：收集待检测数据集，可以采用公开或自行采集并标注的数据集，如由NOAA提供的Ocean Exploration and Research (OER) 数据集以及Fathom、MBARI提供的海底底栖生物数据集，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为YOLO系列网络模型；
步骤四：以检测问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习检测网络结构（例如图6所示），具体实施例如YOLO系列网络中的特征提取模块可以替换实施例1中Transformer网络模型；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习检测网络，得到训练后的深度学习检测网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习检测网络模型，获取深度学习检测网络测试输出。
实施例5：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的超分辨率重建方法，该方法包括以下步骤：
步骤一：收集待超分辨率重建数据集，可以采用公开或自行采集并标注的数据集，如由美国国家脑科学研究院（National Institutes of Health）资助的HCP数据集，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为3D-EDSR或HAT网络模型；
步骤四：以超分辨率重建问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习超分辨率重建网络结构（例如图7所示），具体实施例如3D-EDSR (3D Self-Enhanced Version Of Deep Residual Network)、HAT（Hybrid Attention Transformer）网络中的特征提取模块可以替换为步骤二所述即插即用无限形变融合特征提取模块；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习超分辨率重建网络，得到训练后的深度学习超分辨率重建网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习超分辨率重建网络模型，获取深度学习超分辨率重建网络测试输出。
实施例6：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的图像模拟生成方法，该方法包括以下步骤：
步骤一：收集待模拟生成图像数据集，可以采用公开或自行采集并标注的数据集，如由英国伦敦的国家卫生研究院（NHRIC）收集的IXI多模态MRI数据集，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为BigGAN网络模型；
步骤四：以图像模拟生成问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习生成对抗网络结构（例如图8所示），具体实施例如BigGAN网络中的特征提取模块可以替换为步骤二所述即插即用无限形变融合特征提取模块；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习生成对抗网络，得到训练后的深度学习生成对抗网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习生成对抗网络模型，获取深度学习生成对抗网络测试输出。
实施例7：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的聚类方法，该方法包括以下步骤：
步骤一：收集待聚类图像数据集，可以采用公开或自行采集并标注的数据集，如由AVISO提供的海平面异常（SLA）、绝对地转流速（AGV）、绝对动态地形（ADT）数据，由欧空局气候变化倡议组织提供的海平面温度（SST）数据、海平面盐度（SSS）数据，由RSS CCMP提供的风场数据，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为DCCM网络模型；
步骤四：以聚类问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习聚类网络结构（例如图9所示），具体实施例如DCCM（Deep Comprehensive Correlation Mining）网络中的特征提取模块可以替换为步骤三所述即插即用无限形变融合特征提取模块；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的深度学习聚类网络，得到训练后的深度学习聚类网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的深度学习聚类网络模型，获取深度学习聚类网络测试输出。
实施例8：
本实施例中与上述实施例中相同的解决方法不再进行赘述，主要对不同方面进行描述。
一种基于即插即用无限形变融合特征提取的强化学习方法，该方法包括以下步骤：
步骤一：收集待强化学习数据集，可以采用公开或自行采集并标注的数据集，如由AVISO提供的海平面异常（SLA）提取的特征数据集，将数据集分为训练样本集和测试样本集；
步骤二：构建即插即用无限形变融合特征提取模块；
步骤三：建立步骤二中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，并将实施例1中记载的Transformer网络模型换为InfoGAIL网络模型；
步骤四：以强化学习问题为例，构建由步骤三中即插即用无限形变融合特征提取模块任意位置即插即用所组成的强化学习网络结构（例如图10所示），具体实施例如InfoGAIL（Interpretable Imitation Learning from Visual Demonstrations）网络中的特征提取模块可以替换为步骤三所述即插即用无限形变融合特征提取模块；
步骤五：将步骤一所述的训练样本集，输入至步骤四所述的强化学习网络，得到训练后的强化学习网络模型；
步骤六：将步骤一所述的测试样本集，输入至步骤五已训练的强化学习网络模型，获取强化学习网络测试输出。
上述实施例只是为了说明本发明的发明构思和特点，其目的在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限定本发明的保护范围。凡是根据本发明内容的实质所做出的等效变化或修饰，都应该涵盖在本发明的保护范围之内。

Claims (10)

1.一种即插即用无限形变融合特征提取的方法，其特征在于，包括以下步骤：
S1：收集三维立体图像数据集，将数据集分为训练样本集和测试样本集；
S2：构建即插即用无限形变融合特征提取模块；
S3：建立步骤S2中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征；
S4：构建由步骤S3中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习网络结构；
S5：将步骤S1所述的训练样本集，输入至步骤S4中所述的深度学习网络，得到训练后的深度学习网络模型；
S6：将步骤S1所述的测试样本集，输入至步骤S5中得到的训练后的深度学习网络模型，获取深度学习网络测试输出。
2.根据权利要求1所述的即插即用无限形变融合特征提取的方法，其特征是，所述步骤S3中包括以下步骤：
a：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体特征图像的注意力信息，作为融合头部自注意力特征的注意力信息输入；
b:构建包含三维立体图像空间信息的位置权重矩阵，对不同维度进行位置编码，存储三维立体图像的三维空间特征信息，作为融合头部自注意力特征的位置信息输入；
c：计算融合头部自注意力特征公式中的注意力强度矩阵，通过注意力权重矩阵和位置权重矩阵计算三维立体图像的注意力强度信息，用于提取三维立体特征图的全局注意力信息；
d：构建融合头部自注意力特征公式中的融合头部自注意力机制，通过对多个并行运算的注意力头部中的逻辑和权重信息进行交叉融合，实现对三维立体特征图的层间结构化特征信息进行精准提取。
3.根据权利要求2所述的即插即用无限形变融合特征提取的方法，其特征是，所述步骤a中包括以下步骤：
1）：定义输入三维立体图像初始化信息：将待特征提取的三维立体图像块定义为
Figure QLYQS_1
，其中/>
Figure QLYQS_2
为高度，/>
Figure QLYQS_3
为宽度，/>
Figure QLYQS_4
为深度，/>
Figure QLYQS_5
为输入特征提取模块的通道数；
2）：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体图像块
Figure QLYQS_6
的注意力信息，作为融合头部自注意力特征公式中的注意力信息输入；
3）：定义三个初始化相同的三维立体卷积块，分别表示要查询的信息权重
Figure QLYQS_8
、被查询的向量权重/>
Figure QLYQS_10
、查询得到的值权重/>
Figure QLYQS_12
，再经过尺寸变换函数/>
Figure QLYQS_9
分别得到注意力机制中要查询的信息/>
Figure QLYQS_11
、被查询的向量/>
Figure QLYQS_13
和查询得到的值/>
Figure QLYQS_14
，用于提取三维立体图像块/>
Figure QLYQS_7
的注意力信息，并作为后续融合头部自注意力特征公式中的注意力信息输入：
Figure QLYQS_15
，/>
其中
Figure QLYQS_17
，/>
Figure QLYQS_20
为注意力信息的输入系数，且/>
Figure QLYQS_21
，/>
Figure QLYQS_18
个
Figure QLYQS_19
分别组成集合/>
Figure QLYQS_22
，/>
Figure QLYQS_23
，
Figure QLYQS_16
。
4.根据权利要求3所述的即插即用无限形变融合特征提取的方法，其特征是，所述步骤b中包括以下步骤：
4）：定义三个可迭代的用于学习三维立体图像宽度
Figure QLYQS_25
、高度/>
Figure QLYQS_30
和深度/>
Figure QLYQS_32
位置信息的权重参数分别为/>
Figure QLYQS_26
，/>
Figure QLYQS_29
，/>
Figure QLYQS_33
，用来对/>
Figure QLYQS_35
进行位置编码存储其三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入；/>
Figure QLYQS_24
，/>
Figure QLYQS_28
表示即插即用无限形变融合特征提取模块注意力头部的个数，权重参数的维度分别为/>
Figure QLYQS_34
，/>
Figure QLYQS_36
，/>
Figure QLYQS_27
，
Figure QLYQS_31
表示即插即用无限形变融合特征提取模块的比例因子；
5）：将
Figure QLYQS_37
、/>
Figure QLYQS_38
、/>
Figure QLYQS_39
通过三维空间融合得到对应头部的空间信息权重矩阵/>
Figure QLYQS_40
：
Figure QLYQS_41
，
其中
Figure QLYQS_42
，/>
Figure QLYQS_43
个/>
Figure QLYQS_44
组成空间信息权重矩阵集合/>
Figure QLYQS_45
；
6）：将空间信息权重矩阵
Figure QLYQS_46
通过尺度变换函数/>
Figure QLYQS_47
得到空间信息权重序列/>
Figure QLYQS_48
，用于存储三维立体图像/>
Figure QLYQS_49
的三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入：
Figure QLYQS_50
，
其中
Figure QLYQS_51
，/>
Figure QLYQS_52
，/>
Figure QLYQS_53
个/>
Figure QLYQS_54
组成空间信息权重序列集合
Figure QLYQS_55
，/>
Figure QLYQS_56
会在后续计算融合头部自注意力公式的过程中对/>
Figure QLYQS_57
的空间信息进行迭代更新。
5.根据权利要求4所述的即插即用无限形变融合特征提取的方法，其特征是，所述步骤c中包括以下步骤：
7）：通过步骤a中得到的注意力权重矩阵和步骤b中得到的位置权重矩阵，计算三维立体图像的注意力强度信息，提取三维立体特征图的全局注意力信息，计算融合头部自注意力特征公式中的注意力强度矩阵；
8）：将
Figure QLYQS_58
的转置/>
Figure QLYQS_61
与/>
Figure QLYQS_63
进行矩阵相乘，/>
Figure QLYQS_59
的转置/>
Figure QLYQS_62
与/>
Figure QLYQS_64
进行矩阵相乘后的结果进行特征融合，得到三维立体图像块/>
Figure QLYQS_65
的注意力强度/>
Figure QLYQS_60
：
Figure QLYQS_66
，
其中
Figure QLYQS_67
。
6.根据权利要求4所述的即插即用无限形变融合特征提取的方法，其特征是，所述步骤d中包括以下步骤：
9）：引入可训练的注意力逻辑映射
Figure QLYQS_68
，用于将/>
Figure QLYQS_69
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，然后通过/>
Figure QLYQS_70
层得到融合头部注意力逻辑信息/>
Figure QLYQS_71
：
Figure QLYQS_72
，
其中
Figure QLYQS_73
；
10）：引入可训练的注意力权重映射
Figure QLYQS_74
，将/>
Figure QLYQS_75
个并行运算的注意力头部中的权重信息
Figure QLYQS_76
进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure QLYQS_77
：
Figure QLYQS_78
，
其中
Figure QLYQS_79
；
11）：与
Figure QLYQS_80
个并行运算的注意力头部中的/>
Figure QLYQS_81
组成的矩阵/>
Figure QLYQS_82
进行矩阵相乘得到融合头部自注意力特征公式的输出结果/>
Figure QLYQS_83
：
Figure QLYQS_84
，
其中
Figure QLYQS_85
；
12）：通过尺度变换函数
Figure QLYQS_86
将融合头部自注意力特征公式的输出结果/>
Figure QLYQS_87
重新投影回
Figure QLYQS_88
，得到即插即用无限形变融合特征提取模块的输出结果/>
Figure QLYQS_89
：
Figure QLYQS_90
。
7.一种如权利要求 1-6任一项所述的即插即用无限形变融合特征提取的方法的用途，其特征在于，所述即插即用无限形变融合特征提取用于图像分割方法、图像识别方法、时间序列预测方法、目标检测方法、超分辨重建方法、生成对抗方法、无监督学习方法、强化学习。
8.一种基于即插即用无限形变融合特征提取的Transformer图像分割方法，其特征在于，所述Transformer图像分割方法中包括如权利要求1-6任一项所述的即插即用无限形变融合特征提取的方法，在所述步骤S4中，包括以下步骤：
e：定义输入三维立体图像初始化信息：设输入的三维立体图像为
Figure QLYQS_91
，其中
Figure QLYQS_92
为高度，/>
Figure QLYQS_93
为宽度，/>
Figure QLYQS_94
为深度，/>
Figure QLYQS_95
为输入网络中图像块的通道数；
f：对三维立体图像
Figure QLYQS_96
进行序列化处理，将输入的三维立体图像/>
Figure QLYQS_97
分割成一系列的非重叠三维立体子图像块集合/>
Figure QLYQS_98
，其中/>
Figure QLYQS_99
表示子图像块的数目，每个三维立体子图像块的大小为/>
Figure QLYQS_100
，则/>
Figure QLYQS_101
；
g：将三维立体子图像块进行嵌入投影：经过一个线性投影
Figure QLYQS_102
将三维立体子图像块/>
Figure QLYQS_103
映射到融合Transformer序列维数/>
Figure QLYQS_104
中，/>
Figure QLYQS_105
表示三维立体子图像块/>
Figure QLYQS_106
经过线性投影后输入到网络的特定维数，得到/>
Figure QLYQS_107
维序列/>
Figure QLYQS_108
：
Figure QLYQS_109
，/>
其中
Figure QLYQS_110
；
h：对
Figure QLYQS_111
维序列/>
Figure QLYQS_112
添加一个一维位置编码/>
Figure QLYQS_113
，对每个向量的空间信息进行编码，获得序列化处理后的输出结果：
Figure QLYQS_114
，
其中
Figure QLYQS_115
；
i：构建由融合头部自注意力机制和多层感知机组成的编码器，所述编码器有
Figure QLYQS_116
层，每层由一个包含融合头部自注意力机制和多层感知机的融合Transformer模块组成，在融合头部自注意力机制和多层感知机模块之前分别应用层归一化和残差连接，其中融合头部自注意力机制在计算自注意力矩阵时，会对每个注意力头部信息进行了交叉融合，以构建三维立体图像空间信息的远程依赖关系；
j：将三维立体图像序列化处理后的输出序列
Figure QLYQS_117
，输入到融合Transformer模块，经过/>
Figure QLYQS_118
层融合Transformer模块后得到/>
Figure QLYQS_119
，其中/>
Figure QLYQS_120
，将/>
Figure QLYQS_121
通过融合Transformer模块后得到
Figure QLYQS_122
，步骤如下，
13）：
Figure QLYQS_123
经过层归一化操作和融合头部自注意力机制，然后通过残差连接后得到/>
Figure QLYQS_124
：
Figure QLYQS_125
，
其中
Figure QLYQS_126
表示融合头部自注意力机制，/>
Figure QLYQS_127
表示序列/>
Figure QLYQS_128
经过层归一化后的输出结果，
Figure QLYQS_129
表示层归一化操作；
14）：
Figure QLYQS_130
经过层归一化和多层感知机模块，然后通过残差连接后得到/>
Figure QLYQS_131
：
Figure QLYQS_132
，
其中
Figure QLYQS_133
表示多层感知机MLP模块；
15）：将总共含有
Figure QLYQS_134
个编码层的融合Transfomer编码器分成/>
Figure QLYQS_135
个串联的子编码器结构，每个子编码器由/>
Figure QLYQS_136
个融合头部自注意力机制和多层感知机级联而成的编码层组成，不同阶段的子编码器编码特征的输出结果/>
Figure QLYQS_137
都将用于后续的多尺度特征融合及特征提取；
k：构建融合头部自注意力机制，设输入到融合头部自注意力模块之前的图像序列为
Figure QLYQS_138
，融合头部自注意力机制将执行操作将/>
Figure QLYQS_139
映射到/>
Figure QLYQS_140
；
l：构建多尺度特征融合模块；
m：构建由即插即用Transformer无限形变融合特征提取模块和三维残差卷积块组成的解码器，将经过多尺度特征融合后第b层的三维立体融合特征图像块
Figure QLYQS_141
作为步骤S2所述的即插即用Transformer无限形变融合特征提取模块的输入，用于进行特征提取得到/>
Figure QLYQS_142
，/>
Figure QLYQS_143
通过级联的三维残差卷积模块得到特征提取器的输出结果/>
Figure QLYQS_144
：/>
Figure QLYQS_145
，
其中
Figure QLYQS_146
，/>
Figure QLYQS_147
表示三维残差卷积模块。
9.根据权利要求8所述的基于即插即用无限形变融合特征提取的Transformer图像分割方法，其特征是，所述步骤k中执行
Figure QLYQS_148
映射到/>
Figure QLYQS_149
的操作包括以下步骤：
16）：获得融合头部自注意力机制中要查询的信息
Figure QLYQS_158
、被查询的向量/>
Figure QLYQS_152
和查询得到的值/>
Figure QLYQS_155
，用于计算图像序列/>
Figure QLYQS_161
的注意力信息：融合头部自注意力机制中有/>
Figure QLYQS_164
个注意力头，其中/>
Figure QLYQS_163
，/>
Figure QLYQS_166
，/>
Figure QLYQS_162
，其中
Figure QLYQS_165
，/>
Figure QLYQS_150
表示融合头部自注意力机制中注意力头部的个数，将图像序列/>
Figure QLYQS_157
输入到融合头部自注意力模块，经过三个可训练的权值映射/>
Figure QLYQS_153
、/>
Figure QLYQS_154
、/>
Figure QLYQS_159
，分别得到融合头部自注意力机制中的/>
Figure QLYQS_160
、/>
Figure QLYQS_151
、/>
Figure QLYQS_156
：
Figure QLYQS_167
，
其中
Figure QLYQS_168
，/>
Figure QLYQS_169
表示融合头部自注意力机制的比例因子；
17）：构造融合头部自注意力机制的特征公式，包括以下步骤：
①：将
Figure QLYQS_170
的转置/>
Figure QLYQS_171
与/>
Figure QLYQS_172
进行矩阵相乘，为了防止/>
Figure QLYQS_173
和/>
Figure QLYQS_174
进行矩阵相乘后每一行向量的内积过大，将内积结果除以融合头部自注意力机制的比例因子/>
Figure QLYQS_175
的平方根，得到图像序列中的注意力强度/>
Figure QLYQS_176
：
Figure QLYQS_177
，
其中
Figure QLYQS_178
；
②：引入可训练的注意力逻辑映射
Figure QLYQS_179
，将/>
Figure QLYQS_180
个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，通过/>
Figure QLYQS_181
层得到融合头部注意力逻辑信息/>
Figure QLYQS_182
：
Figure QLYQS_183
，
其中
Figure QLYQS_184
；
③：引入可训练的注意力权重映射
Figure QLYQS_185
，将/>
Figure QLYQS_186
个并行运算的注意力头部中的权重信息进行特征融合，以获取融合后各个注意力头部之间的权重关联信息/>
Figure QLYQS_187
：
Figure QLYQS_188
，/>
其中
Figure QLYQS_189
；
④：与
Figure QLYQS_190
个并行运算的注意力头部的/>
Figure QLYQS_191
组成的矩阵/>
Figure QLYQS_192
进行矩阵相乘得到融合头部自注意力机制的输出结果/>
Figure QLYQS_193
：
Figure QLYQS_194
，
其中
Figure QLYQS_195
；
⑤：通过映射
Figure QLYQS_196
将融合头部自注意力特征公式的输出结果/>
Figure QLYQS_197
重新投影回/>
Figure QLYQS_198
，得到融合头部自注意力机制的输出结果/>
Figure QLYQS_199
：
Figure QLYQS_200
。
10.根据权利要求7所述的基于即插即用无限形变融合特征提取的Transformer图像分割方法，其特征是，所述步骤l中包括以下步骤：
18）：对来自编码器的多个分辨率的特征图像块与解码器得到的对应分辨率的结果进行特征融合：将
Figure QLYQS_202
每经过/>
Figure QLYQS_205
个融合Transformer模块输出一个隐藏特征序列，共输出/>
Figure QLYQS_207
个隐藏层序列/>
Figure QLYQS_203
，将这/>
Figure QLYQS_204
个维度为/>
Figure QLYQS_208
隐藏层序列重塑为/>
Figure QLYQS_210
个同等大小维度为/>
Figure QLYQS_201
，通道数为/>
Figure QLYQS_206
维的三维立体特征图像块/>
Figure QLYQS_209
；
19）：将
Figure QLYQS_211
通过转置卷积进行上采样得到/>
Figure QLYQS_212
个维度为/>
Figure QLYQS_213
的三维立体特征图像块/>
Figure QLYQS_214
；
20）：将维度为
Figure QLYQS_216
的三维立体特征图像块/>
Figure QLYQS_218
通过转置卷积进行上采样得到维度为/>
Figure QLYQS_221
的三维立体特征图像块/>
Figure QLYQS_215
，然后将/>
Figure QLYQS_219
与/>
Figure QLYQS_220
进行多尺度特征融合得到维度为/>
Figure QLYQS_222
的三维立体融合特征图像块/>
Figure QLYQS_217
：
Figure QLYQS_223
，
其中
Figure QLYQS_224
的通道数为/>
Figure QLYQS_225
和/>
Figure QLYQS_226
的和；
21）：按上述过程逐层进行多尺度特征融合，将三维立体特征图图像块的空间分辨率从
Figure QLYQS_227
恢复到/>
Figure QLYQS_228
，其中/>
Figure QLYQS_229
由深到浅依次减少，最终得到基于即插即用Transformer无限形变融合特征提取的三维立体图像分割网络的分割结果/>
Figure QLYQS_230
。/>
CN202310165384.1A 2023-02-27 2023-02-27 一种即插即用无限形变融合特征提取的方法及其应用 Active CN115861762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310165384.1A CN115861762B (zh) 2023-02-27 2023-02-27 一种即插即用无限形变融合特征提取的方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310165384.1A CN115861762B (zh) 2023-02-27 2023-02-27 一种即插即用无限形变融合特征提取的方法及其应用

Publications (2)

Publication Number Publication Date
CN115861762A true CN115861762A (zh) 2023-03-28
CN115861762B CN115861762B (zh) 2023-05-09

Family

ID=85658905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310165384.1A Active CN115861762B (zh) 2023-02-27 2023-02-27 一种即插即用无限形变融合特征提取的方法及其应用

Country Status (1)

Country Link
CN (1) CN115861762B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
WO2021163103A1 (en) * 2020-02-13 2021-08-19 Northeastern University Light-weight pose estimation network with multi-scale heatmap fusion
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114841342A (zh) * 2022-05-19 2022-08-02 湖北楚天高速数字科技有限公司 一种基于张量的高效Transformer的架构方法
CN114863111A (zh) * 2022-05-27 2022-08-05 深圳大学 交互融合Transformer的超声图像量化方法
CN114881871A (zh) * 2022-04-12 2022-08-09 华南农业大学 一种融合注意力单幅图像去雨方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
WO2021163103A1 (en) * 2020-02-13 2021-08-19 Northeastern University Light-weight pose estimation network with multi-scale heatmap fusion
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114881871A (zh) * 2022-04-12 2022-08-09 华南农业大学 一种融合注意力单幅图像去雨方法
CN114841342A (zh) * 2022-05-19 2022-08-02 湖北楚天高速数字科技有限公司 一种基于张量的高效Transformer的架构方法
CN114863111A (zh) * 2022-05-27 2022-08-05 深圳大学 交互融合Transformer的超声图像量化方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGJUN WU ET AL.: "Transtl: Spatial-Temporal Localization Transformer for Multi-Label Video Classification", 《ICASSP 2022 - 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
YING CHEN ET AL.: "Underwater obstacle detection via relative total variation and joint guided filtering for autonomous underwater vehicles", 《OCEANS 2017 - ANCHORAGE》 *
韩慧慧等: "编码―解码结构的语义分割", 《中国图象图形学报》 *

Also Published As

Publication number Publication date
CN115861762B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109993072B (zh) 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN114926746B (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN110136122B (zh) 一种基于注意力深度特征重建的脑mr图像分割方法
Ghosh et al. Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
CN110297041A (zh) 一种基于fcn与gru的3d编织复合材料缺陷检测方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114693719A (zh) 基于3D-SE-Vnet的脊柱图像分割方法及系统
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Li et al. Infrared and visible fusion imaging via double-layer fusion denoising neural network
CN114022742B (zh) 红外与可见光图像融合方法、装置及计算机存储介质
CN115331024A (zh) 一种基于深度监督和逐步学习的肠道息肉检测方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114943646A (zh) 基于纹理导向的梯度权重损失和注意力机制超分辨方法
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Ding et al. Land-use classification with remote sensing image based on stacked autoencoder
CN115861762A (zh) 一种即插即用无限形变融合特征提取的方法及其应用
CN116091492A (zh) 一种图像变化像素级检测方法与系统
CN115457061A (zh) 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法
CN114022521A (zh) 一种非刚性多模医学图像的配准方法及系统
CN113222887A (zh) 基于深度学习的纳米铁标记神经干细胞示踪的方法
Huang et al. Exploiting Memory-based Cross-Image Contexts for Salient Object Detection in Optical Remote Sensing Images
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法
CN116152285B (zh) 基于深度学习和灰度信息的图像分割系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant