CN116310634A - 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 - Google Patents
面向多源遥感数据的融合图像模型训练方法、生成方法及装置 Download PDFInfo
- Publication number
- CN116310634A CN116310634A CN202310141473.2A CN202310141473A CN116310634A CN 116310634 A CN116310634 A CN 116310634A CN 202310141473 A CN202310141473 A CN 202310141473A CN 116310634 A CN116310634 A CN 116310634A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- synthetic aperture
- aperture radar
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，包括：获取多个合成孔径雷达图像和可见光图像对；获取初始融合图像模型和判别器；初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，每个预设神经网络均由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块间设有核权重自适应优化模块；融合图像生成模块由生成器与判别器组成的生成对抗网络构建，基于融合图像、合成孔径雷达图像和可见光图像构建正负样本训练模型，以得到用于生成合成孔径雷达图像和可见光图像融合图像的融合图像模型。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置。
背景技术
随着遥感技术的发展，光学、热红外和微波等不同传感器作为信息获取载荷可部署于卫星、飞机等远端平台，向地面研究人员提供多光谱、多传感器、多分辨率的多源遥感数据。由于成像原理不同和技术条件的限制，单一遥感器获取的遥感数据不能全面反映目标对象的特征。如果将多种不同特征的数据结合起来，相互取长补短，便可以发挥各自的优势、弥补各自的不足，更全面的反映地面目标，提供更强的信息解译能力和更可靠的分析结果。多源遥感图像融合技术则是将多源信息组合匹配，将同一地区的多源遥感影像数据或解译产品智能合成，生成相比单一信源更精确、完整、可靠的融合数据。
以合成孔径雷达图像(SAR图像)和可见光图像两种多源遥感数据的融合为例，现有技术方案一是采用基础的数据融合方案，在特征层面，通过使用耦合非负矩阵分解解混方法，将可见光图像和SAR图像在高维特征层面混合后重新降维；或是基于耦合稀疏张量分解将融合问题重新定义为核心张量和字典的估计的重新组合。在图像层面，以更朴素的像素加权平均模式，针对于纹理信息在拆分的强度-颜色-饱和度通道叠加计算。该方案虽考虑了SAR图像与可见光图像在数据格式、数据表现上存在的较大差异，然而基于传统的融合方法，融合结果的纹理和结构信息在视觉表现上往往会很模糊，且生成速度慢，需要反复迭代；同时，SAR图像的本征散斑噪声由于误差梯度积累，不可避免地会使神经网络退化，影响了网络性能；对于SAR图像与可见光图像的特征也没有有效关联。现有技术方案二是采用深度学习的方法处理遥感图像，基于生成对抗网络生成融合图像。但现有基于深度神经网络的方案使用了完全对称的暹罗网络类对称网络进行特征提取，缺乏图像差异性的考量，最终也无法实现特征的有效融合。
发明内容
鉴于此，本发明实施例提供了一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有技术无法差异化地提取合成孔径雷达图像和可见光图像的特征，从而无法实现特征融合，生成融合图像的问题。
一方面，本发明提供了一种面向多源遥感数据的融合图像模型训练方法，其特征在于，该方法包括以下步骤：
获取多源遥感数据集，所述多源遥感数据集中包含多个数据条，每个数据条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；
获取初始融合图像模型和判别器；所述初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；所述特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，所述预设神经网络由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块；其中，所述权重自适应优化模块将输入的各合成孔径雷达图像或各可见光图像进行全局平均池化操作，基于多个预设的图像特征评判单元计算相应图像的权重系数，利用所述权重系数与所述图像特征评判单元对应的卷积核权重加权，以更新对应卷积块中卷积核的权重；所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；
将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支路以提取合成孔径雷达图像特征图，所述可见光图像输入所述双流网络的第二条支路以提取可见光图像特征图；
将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述特征融合模块，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量；
将所述融合特征向量输入所述融合图像生成模块，以生成融合图像；
将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非真实图像，标记为负样本；将所述合成孔径雷达图像和所述可见光图像拼接为真实图像，标记为正样本；将所述非真实图像和所述真实图像输入所述判别器进行训练；将所述非真实图像输入训练后的判别器，并固定所述判别器参数，根据所述判别器的判别结果对所述生成器进行训练；分别构建所述生成器和所述判别器的损失函数，训练得到满足预设性能的生成器和判别器，以最终得到融合图像模型。
在一些实施例中，所述双流网络基于暹罗网络构建伪对称网络；每条支路采用结构相同的预设神经网络，所述预设神经网络由5个卷积块构成；两条支路上前3个卷积块的参数设置相同，后2个卷积块的参数设置不同。
在一些实施例中，所述预设神经网络的每个卷积块之间还设有多感受野特征提取模块；将当前卷积块处理得到的图像特征图输入所述多感受野特征提取模块，采用并行的预设数量个卷积层提取并叠加所述图像特征图从局部到整体的预设数量个不同程度感受野的特征，输入下一个卷积块；其中，感受野的计算式可表示为：
其中，RFl表示l层的感受野大小；K’l表示l层的卷积核大小；Si表示第i层的步长。
在一些实施例中，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，还包括：
利用预设卷积层压缩所述合成孔径雷达图像特征图或可见光图像特征图的通道数，并进行线性映射，得到所述合成孔径雷达图像特征图的第一键值矩阵、第一价值矩阵和第一查询矩阵，以及所述可见光图像特征图的第二键值矩阵、第二价值矩阵和第二查询矩阵；将所述第一查询矩阵用于所述可见光图像特征图的特征处理；将所述第二查询矩阵用于所述合成孔径雷达图像特征图的特征处理；
在所述合成孔径雷达图像特征图的特征处理中，将基于所述第一键值矩阵和所述第一价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第一向量值，将所述第一向量值与基于所述第二查询矩阵得到的后序特征进行点积融合，并进行卷积操作；在所述可见光图像特征图的特征处理中，将基于所述第二键值矩阵和所述第二价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第二向量值，将所述第二向量值与基于所述第一查询矩阵得到的后序特征点积融合，并进行卷积操作；相应的计算过程可表示为：
Attention(K,V,Q)＝f(Softmax(fT(K)·f(V))·fT(Qother))；
其中，K,V,Q表示可学习的键值矩阵、价值矩阵和查询矩阵；(·)T表示转置。
在一些实施例中，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量，计算式为：
Ffusion＝concat(g(AttentionS)+g(AttentionH))；
其中，g表示卷积操作；AttentionS表示所述合成孔径雷达图像特征图融合后的特征；AttentionH表示所述可见光图像特征图融合后的特征。
在一些实施例中，所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；所述生成对抗网络采用条件生成对抗网络，将所述合成孔径雷达图像作为条件输入，优化所述生成器生成融合图像；所述判别器由6个卷积层组成，每个卷积层具有批归一化层和修正线性单元激活层；所述判别器的输出结果通过预设Sigmoid层生成融合图像真实性的判别结果。
在一些实施例中，分别构建所述生成器和所述判别器的损失函数，还包括：
所述判别器的损失函数的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IF表示所述融合图像；IOPT表示所述可见光图像；D(ISAR，IF)表示将所述非真实图像(ISAR，IF)输入所述判别器得到的判别结果；D(ISAR，IOPT)表示将所述真实图像(ISAR，IOPT)输入所述判别器得到的判别结果。
在一些实施例中，分别构建所述生成器和所述判别器的损失函数，还包括：
基于生成对抗损失、平均绝对误差损失和纹理损失构建所述生成器的联合损失；
所述生成对抗损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；D(·)表示所述判别器得到的判别结果；G(·)表示所述生成器生成的融合图像。
所述平均绝对误差损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；IF表示所述融合图像。
所述纹理损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；IF表示所述融合图像；
表示所述融合图像明度分量的灰度共生矩阵；/>
表示所述合成孔径雷达图像明度分量的灰度共生矩阵。
将所述生成对抗损失、所述平均绝对误差损失和所述纹理损失进行加权，得到所述生成器的损失函数，计算式为：
其中，LGAN(G)表示所述生成对抗损失；
表示所述平均绝对误差损失；λ为超参数；LGLCM(G)表示所述纹理损失；μ表示所述纹理损失的权重系数。
另一方面，本发明提供一种面向多源遥感数据的融合图像生成方法，其特征在于，该方法包括以下步骤：
获取待融合的基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；
将所述合成孔径雷达图像和所述可见光图像输入如上文中任一项所述面向多源遥感数据的融合图像模型训练方法得到的融合图像模型，以得到所述合成孔径雷达图像和所述可见光图像的融合图像。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中提及的任意一项所述方法的步骤。
本发明的有益效果至少是：
本发明提供一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，通过构建融合图像模型，提取具备差异性的多源遥感数据的特征并融合，生成融合图像，弥补单一传感器自身局限性，实现多源遥感数据之间的信息互补，提高融合图像的信息量与可读性。融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块，特征提取模块为双流网络，每条支路采用结构相同的预设深度卷积神经网络，基于深度卷积神经网络的抗噪声干扰以及平移不变性，实现可靠的融合图像生成。构建伪对称网络，并在伪对称网络中引入核权重自适应优化模块，迫使具备共享参数的特征提取网络在学习多源图像一致性的同时，也可针对输入图像的特性进行特征自适应优化。特征融合模块基于注意力机制进行多源图像的信息特征融合，在进行特征关联性计算后进行加权叠加，更好的强调多源图像中的互补信息，输出特征语义表达更加完整的融合特征。融合图像生成模块作为生成器与判别器构建条件生成对抗网络，进行有监督的训练，在构建常规损失之外，通过灰度共生矩阵挖掘图像纹理信息，构建纹理损失，基于颜色和纹理两方面进行监督训练，使得最终生成的融合图像既保留合成孔径雷达图像中的纹理信息，也保留可见光光谱信息。基于融合图像模型生成的融合图像的数据信息可以为后续遥感数据解译任务提供质量更优、信息更丰富的基础数据。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中面向多源遥感数据的融合图像模型训练方法的步骤示意图。
图2为本发明一实施例中面向多源遥感数据的融合图像模型的结构示意图。
图3为本发明一实施例中参数独立的双流网络、参数一致的暹罗网络以及伪对称网络的结构示意图。
图4为本发明一实施例中双流网络单支路结构示意图。
图5为本发明一实施例中动态卷积权重优化模块的结构示意图。
图6为本发明一实施例中核权重自适应优化模块的自适应卷积核更新算法流程图。
图7为本发明一实施例中基于注意力机制的特征融合模块的算法流程图。
图8为本发明一实施例中融合图像生成模块与判别器构建的条件生成对抗网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
这里需要强调的是，在下文中提及的各步骤标记并不是对各步骤先后顺序的限定，而应当理解为可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
为了解决现有技术无法差异化地提取合成孔径雷达图像和可见光图像的特征，从而无法实现特征融合，生成融合图像的问题，本发明提供一种面向多源遥感数据的融合图像模型训练方法，如图1所示，该方法包括以下步骤S101～S103：
步骤S101：获取多源遥感数据集，该多源遥感数据集中包含多个数据条，每个数据条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像。其中，合成孔径雷达图像的通道数经复制与可见光图像的通道数相等。
步骤S102：获取初始融合图像模型和判别器，该初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块。其中，特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，每个预设神经网络由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块。其中，权重自适应优化模块将输入的各合成孔径雷达图像或各可见光图像进行全局平均池化操作，基于多个预设的图像特征评判单元计算相应图像的权重系数，利用权重系数与图像特征评判单元对应的卷积核权重加权，以更新对应卷积块中卷积核的权重。融合图像生成模块作为生成器与判别器构建生成对抗网络。
步骤S103：将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非真实图像，标记为负样本；将合成孔径雷达图像和可见光图像拼接为真实图像，标记为正样本；将非真实图像和真实图像输入判别器进行训练；将非真实图像输入训练后的判别器，并固定判别器参数，根据判别器的判别结果对生成器进行训练；分别构建生成器和判别器的损失函数，训练得到满足预设性能的生成器和判别器，最终得到融合图像模型。
在步骤S101中，获取基于预设配准算法生成的具备空间一致性、时间一致性的多源遥感图像对，构建多源遥感数据集。其中，本发明以合成孔径雷达(Synthetic apertureradar，SAR)图像和可见光图像两类多源遥感数据为例，设计合成孔径雷达图像和可见光图像的融合图像模型，以生成合成孔径雷达图像和可见光图像的融合图像。
合成孔径雷达图像是由合成孔径雷达传感器主动发射微波并接收回波产生的二维图像。接收回波的高分辨率相干成像系统可以全天时、全气候收集数据。可见光图像接受频段在0.38～0.76微米的光谱，通过颜色量化可以表现出地面物体的颜色信息。然易受自然气候的影响，云雾、遮挡等会阻碍可见光波段光谱的传统，因此此类图像不能提供全天时、全天候的遥感图像。
考虑到初始合成孔径雷达图像为单通道，将初始合成孔径雷达图像的通道复制三次，复制后得到的合成孔径雷达图像与可见光图像通道数保持一致，以保证后续用于提取特征的双流网络的一致对称性。示例性的，合成孔径雷达图像和可见光图像的大小为(256，256，3)。
在步骤S102中，构建了初始融合图像模型和判别器，如图2所示，为整个模型的结构框架图。在初始融合图像模型中，按照功能可分为特征提取模块、特征融合模块以及融合图像生成模块。
在特征提取模块中，采用双流网络，每条支路采用结构相同的预设神经网络，每个预设神经网络均由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块。
常规的双流网络可以分为两类，一类是特征参数完全独立，而网络结构具备对称化特点的网络，如图3(a)所示，该网络的每一个分支精准的学习了对应的输入图像的特征，但由于两分支网络完全独立，因此参数量往往较大，同时在特征融合阶段的特征耦合性低。如图3(b)所示，为暹罗神经网络，其子网络具备完全相同的结构、参数以及权重。综合以上两种分类，为了更好的保持多源输入的特性，同时实现同性特征获取，在本发明中，双流网络基于暹罗网络构建伪对称网络，如图3(c)所示，以一致的网络结构和部分参数共享的为对称结果进行多源数据特征的获取，最大程度的提高特征提取的灵活性。其中，在浅层特征提取部分参数设置相同，深层特征提取部分参数设置不同，让双流网络的每一支具备特征适应能力，同时也能关注不同的细节特征，最终让双流特征提取过程在保持原始图像特征的基础上获得更高的图像数据关联性。
在一些实施例中，双流网络中，每条支路采用结构相同的预设神经网络，每个预设神经网络由5个卷积块构成，两条支路上前3个卷积块的参数设置相同，后2个卷积块的参数设置不同。
如图4所示，为双流网络单支路结构图，包括5个用于特征提取的卷积块G-C1、G-C2、G-C3、G-C4、G-C5，以及1个用于调整通道数的卷积核G-concat。每个卷积核包括卷积层、批处理归一化(BN)层和整流线性单元(ReLU)激活层。考虑到在卷积过程中保持输入图像的大小，计算代价会很大，因此每一个卷积块通过池化操作完成对输入图像的下采样。需要强调的是，过度的降采样可能会导致特征图缺乏准确的全局信息，因此在本发明中卷积核之间采样步长为2。同时，为优化特征提取过程，每个卷积层进行批归一化和ReLU处理。
下文对特征提取模块进一步优化，考虑到若想要从输入图像中捕获更多的全局上下文信息，则需要更大的接受域。对于标准的卷积神经网络(Convolutional NeuralNetwork，CNN)来说，传统的扩展接受域的方法是使用更大的卷积核大小堆叠更多的卷积层，但这种操作可能会导致训练参数的指数扩展，使得网络难以训练。另一种扩大感受野的方法是叠加更多的池化层，通过降低特征图的维数和保持显著性特征来扩大感受野。在本发明中，在各卷积块之间设计一个可以通用多种基础特征提取网络的多感受野特征提取模块，以让网络具备多层次的特征提取能力。其中，基础特征提取网络包括ResNet、VggNet、AlexNet等。
多感受野特征提取模块的结构图如图4虚线区域所示，包括三个并行的卷积层，从上至下，每个卷积层相应的配置有1×1、3×3以及孔率为2的3×3卷积核。具体的，将当前卷积块处理得到的图像特征图输入多感受野特征提取模块，采用并行的3个卷积层提取图像特征图从局部到整体的3个不同程度感受野的特征，将3个并行卷积层的输出特征图进行叠加，利用1×1卷积核融合通道间特征并调整特征图的通道数，使其输出与输入时的通道数一致后，输入下一个卷积块。
在一些实施例中，感受野的计算式如公式(1)所示：
公式(1)中，RFl表示l层的感受野大小；K’l表示l层的卷积核大小；Si表示第i层的步长。
其中，K’l的计算式如公式(2)所示：
K’l＝Kl+(Kl-1)(rl-1)； (2)
公式(2)中，Kl表示原始卷积核的大小；rl表示l层多孔卷积的孔率。
在一些实施例中，可以在每个卷积块之间均设置多感受野特征提取模块，也可以在部分卷积块之间设置多感受野特征提取模块。示例性的，仅在高层特征提取的卷积块G-C3与G-C4以及G-C4与G-C5之间设置多感受野特征提取模块。
在本发明中，多感受野特征提取模块基于多孔卷积的并行结构设计，在基于卷积调整网络特征和核函数的同时，结合多尺度卷积思想，交替使用步长为1的5个卷积层和步长为2的3个卷积层，降低特征图的压缩程度，在考虑计算代价的同时，更好地保留输入图像的特征完整性。
进一步的，考虑到卷积神经网络的一个基本假设是所有样本都应该采用相同的卷积参数，但多源遥感图像数据融合输入本身具备差异，通过统一的权重参数去适应具备完全不同特征表现形式的多源数据是困难的。因此，如果要实现多源遥感数据的认知，不能只考虑提高模型的容量，增加模型的参数、深度和通道数，因为这会导致模型的计算量增加，部署难度增加。在本发明中，设计了一种基于图像原始特征自适应优化卷积核权重的模式，在每个卷积块中构建核权重自适应优化模块，通过输入的图像计算卷积核参数打破传统的静态卷积特性。
首先从理论层面进行阐述，为了提高卷积操作对于样本特征提取的适应性，本发明考虑尽可能多的将卷积核与图像内容进行相关性计算，针对于图像内容为不同的卷积核赋予不同权重。通过将图像转化为由多个专家知识α1,α2,...,αn构成的知识向量，其中n为自设定专家数量，可根据实际需求进行修改。知识向量可以表征样本属性，并通过知识向量加权于各卷积层核函数，实现卷积对样本的自适应。为更有效的提升模型容量，在网络设计过程中可以提升专家数量，这比提升卷积核尺寸更为有效的可以提高网络对于样本的认知。
然而，样本加权于网络每一卷积核的计算成本是巨大的，如图5(a)所示，重复性的卷积核与原始图像内容向量的加权卷积过程会拖慢模型计算流程。因此，本发明在此基础上考虑将专家知识只进行一次组合，保证提升模型容量的同时保持高效推理，如图5(b)所示。卷积操作具备线性特征，实际上前序的线性串联组合σ(α1(W1*x)+…+αn(Wn*x))可以转化成后续卷积模块的并联段σ((α1W1+…+αnWn)*x)。因此，在卷积转换后n次卷积操作可以简化为1次卷积操作，以此实现专家知识只进行一次组合，就可以在提升模型容量的同时保持高效推理。
如图6所示，为自适应卷积核权重更新算法的流程示意图，其中，N表示批数量batch_size，H、h表示相应图像的宽，W、w表示相应图像的长，C、c表示相应图像的通道数，自适应卷积核权重更新算法包括以下步骤：
将输入的预设批数量N个合成孔径雷达图像或可见光图像进行全局平均池化操作，输出(N，C)。
通过全连接层，计算所有图像特征评判单元对不同输入图像的权重系数，输出(N，mum_experts)，num_experts为图像特征评判单元的数量，相当于上文所述的专家数量。再通过ReLU层归一化为(0，1)，输出(N，num_experts)，获得各图像特征评判单元的评分。为了便于理解，可以将图像特征评判单元看作“单位”卷积核，类似于单位向量用于构建全样本适应的自适应卷积核。
将得到的各输入图像的权重系数与num_experts个图像特征评判单元相关的“单位”卷积核权重通过矩阵相乘，给每个“单位”卷积核进行相应的更新，输出(N，h×w×cin×cout)。
在批数量维度进行分割，获取每批的每个图像，对各图像进行卷积核权重加权，以实现卷积核的自适应，输出*1，h×w×cin×cout)。
在批数量维度对原始输入图像进行特征提取并堆叠，输出输入图像的特征图(N，H，W，C)，该输出结果与原始输入图像的维度大小相同。
基于以上多感受野特征提取模块与核权重自适应优化模块的设计，特征提取模块能够完成不同层次的特征映射，实现了多尺度、多源图像的自适应基础特征提取网络。
在一些实施例中，特征提取模块中网络参数配置情况如表1所示：
表1
其中，stride表示步长，@3*3和@1*1均表示相应的卷积核大小。
基于以上设置好的特征融合模块，将预设批数量个数据条的合成孔径雷达图像输入双流网络的第一条支路以提取合成孔径雷达图像特征图，可见光图像输入双流网络的第二条支路以提取合成孔径雷达图像特征图。
在上文设计的特征提取模块中，利用伪对称的双流网络可以适应来自不同数据源的图像的特征，使具备伪对称网络结构的神经网络在具备跨越源特征提取能力的同时，迫使提取特征具备特征空间的一致性。然而，多源遥感图像的特征融合还未实际实现。因此，本发明引入注意力机制，将合成孔径雷达图像的向量作为注意力向量注入可见光图像特征并与可见光图像特征融合，将可见光图像的向量作为注意力向量注入合成孔径雷达图像特征并与合成孔径雷达图像特征融合，以此完成双流特征的融合。
现有技术中，非局部注意力能够提取非局部感受野的信息，与自我特征进行卷积整合，实现全局信息的直接融合。任意两个位置之间的相互作用可以在不考虑像素位置距离的情况下通过计算直接捕获远程依赖性。该操作以全局的方式产生特征映射上的自我注意。因此，受到非局部注意力神经网络的启发，本发明考虑以输入特征映射中所有位置的特征的加权和来计算某个位置的响应，即多源图像对应像素之间的特征响应。
如图7所示，基于预设注意力机制的特征融合模块实现合成孔径雷达图像特征图和可见光图像特征图的特征融合，具体包括以下步骤：
使用预设卷积层压缩合成孔径雷达图像特征图和可见光图像特征图的通道数，示例性的，预设卷积层结构为1×1×1；对压缩后的的合成孔径雷达图像特征图和可见光图像特征图进行线性映射，得到合成孔径雷达图像特征图的第一键值矩阵KS、第一价值矩阵VS和第一查询矩阵QH，以及可见光图像特征图的第二键值矩阵KH、第二价值矩阵VH和第二查询矩阵QS；将从合成孔径雷达图像特征图中获取的第一查询矩阵QH用于可见光图像特征图的特征处理，将从可见光图像特征图中获取的第二查询矩阵QS用于合成孔径雷达图像特征图的特征处理。
在合成孔径雷达图像特征图的特征处理中，将基于第一键值矩阵KS和第一价值矩阵VS得到的后序特征进行矩阵点乘，并通过Softmax函数计算得到取值范围在[0，1]区间的第一向量值，将第一向量值与基于第二查询矩阵QH得到的后序特征进行点积融合，并进行卷积操作。在可见光图像特征图的特征处理中，将基于第二键值矩阵KH和第二价值矩阵VH得到的后序特征进行矩阵点乘，并通过Softmax函数计算得到取值范围在[0，1]区间的第二向量值，将第二向量值与基于第一查询矩阵QS得到的后序特征点积融合，并进行卷积操作。
其中，特征融合的计算过程如公式(3)所示：
Attention(K,V,Q)＝f(Softmax(fT(K)·f(V))·fT(Qother))； (3)
其中，K,V,Q表示可学习的键值矩阵、价值矩阵和查询矩阵；(·)T表示转置。
将输入的合成孔径雷达图像特征图与相应融合得到的特征再次点乘，得到合成孔径雷达图像每个像素与可见光图像像素的关系；将输入的可见光图像特征图与相应融合得到的特征再次点乘，得到可见光图像每个像素与合成孔径雷达图像像素的关系。
最后通过特征层将合成孔径雷达图像特征图和可见光图像特征图对应的融合特征进行叠加，输出融合特征向量，计算式如公式(4)所示：
Ffusion＝concat(g(AttentionS)+g(AttentionH))； (4)
其中，g表示卷积操作；AttentionS表示合成孔径雷达图像特征图融合后的特征；AttentionH表示可见光图像特征图融合后的特征。
基于以上设计，在特征融合模块中，合成孔径雷达图像特征图和可见光图像特征图经过对称注意力机制处理，利用矩阵乘法和对结果进行Softmax运算得到全局相关性，得到两图像间的注意加权特征图，赋予异构数据之间像素级交叉注意，实现了多源图像特征流通通道的构建，最终将通过特征层叠加方式进行高维度融合生成的融合特征向量输入融合图像生成模块，以生成对应的融合图像。
融合图像生成模块根据融合特征向量生成带有合成孔径雷达图像材质信息且包括可见光图像颜色信息的彩色图像，并经过解码恢复成与输入图像尺寸相同的融合图像。
图像融合的前提是通过有效的学习，准确提取多源图像的特征，综合这些多源信息，提高融合图像的可解释性。如图8所示，为了有效融合合成孔径雷达图像和可见光图像，本发明基于条件生成对抗网络(Conditional Generative Adversarial Networks，cGAN)，将合成孔径雷达图像作为条件输入，将融合图像生成模块作为生成器与判别器构建生成对抗网络。
在步骤S103中，基于融合图像、合成孔径雷达图像以及可见光图像构建正负样本对生成器和判别器进行训练。本发明设计的判别器不仅可以用于衡量生成的融合图像与输入的可见光图像之间的相似程度，还可以用于衡量合成孔径雷达图像和可见光图像拼接图与合成孔径雷达图像和对融合图像拼接图之间的相似程度，从而客观地反映融合图像的质量，促进生成器的不断优化。同时，遵循cGAN的思想，以合成孔径雷达图像作为条件输入，引导生成器生成高质量的融合图像。
在一些实施例中，判别器由6个卷积层组成，每个卷积层进行批归一化和LeakyReLU处理，可以避免训练过程中由于过拟合和梯度稀疏造成的网络不稳定。判别器的输出结果通过预设Sigmoid层生成融合图像真实性的判别结果。生成器遵循反卷积操作，与特征提取模块相对应，由5个反卷积层组成，相似的，每个反卷积层进行归一化和Leaky ReLU处理。
生成器和判别器的网络参数配置情况分别如表2和表3所示：
表2
表3
基于以上对各模块的设计以及各结构的参数设置，对初始融合图像模型进行训练，以得到能够用于生成合成孔径雷达图像和可见光图像融合图像的融合图像模型。其中，初始融合图像模型中的融合图像生成模块的训练过程相对更重要，在本发明中，基于条件条件生成对抗网络，将融合图像生成模块作为生成器与判别器构建生成对抗网络，采用交替训练的方式进行训练，具体包括以下步骤：
首先训练判别器，判别器可记作D。将生成器生成的融合图像输入判别器，融合图像可记作IF，融合图像的长、宽、通道数分别为(W，H，C)。将融合图像IF与合成孔径雷达图像的通道进行叠加，合成孔径雷达图像可记作ISAR，由此，得到拼接图像(ISAR，IF)，由于融合图像IF是生成器生成的图像，属于非真实图像，因此(ISAR，IF)对应的真值为0，即负样本，将拼接图(ISAR，IF)输入判别器中。将合成孔径雷达图像ISAR与可见光图像的通道进行叠加，可见光图像可记作IOPT，由此，得到拼接图像(ISAR，IOPT)，合成孔径雷达图像ISAR和可见光图像IOPT都是多源遥感数据集中的真实数据，属于真实图像，因此(ISAR，IOPT)对应的真值为1，即正样本，将拼接图(ISAR，IOPT)输入判别器中。利用以上两种数据对判别器进行训练，目的是使判别器学会区分真实图像和由生成图像构成的非真实图像。
然后训练生成器，生成器可记作G。将由合成孔径雷达图像ISAR和融合图像IF拼接得到的非真实图像(ISAR，IF)输入判别器，保持判别器参数固定，对生成器进行训练。其中，由于要让生成器生成接近真实图像的正样本，因此要将输入的负样本(ISAR，IF)的真值修改为1，以此保证判别器不会更新参数。生成器在训练中，只有不断调节参数，使得生成的融合图像IF不断接近真实图像，才能使得判别器获得的损失值不断减小，以达到对生成器进行训练和优化的目的。
在训练过程中，利用损失函数衡量前向预测结果与目标结果之间的差异。迭代优化网络参数就是使损失函数不断下降的过程，在网络训练过程中迫使生成器生成的融合图像与真实图像之间的差异性越来越小，并使得判别器对真实图像和生成的融合图像的判别能力逐渐增强。
在一些实施例中，判别器的损失函数采用判别器输出结果与真值的交叉熵，如公式(5)所示：
其中，E[·]表示取平均期望；ISAR表示合成孔径雷达图像；IF表示融合图像；IOPT表示可见光图像；D(ISAR，IF)表示将非真实图像(ISAR，IF)输入判别器得到的判别结果；D(ISAR，IOPT)表示将真实图像(ISAR，IOPT)输入判别器得到的判别结果。
在一些实施例中，基于生成对抗损失、平均绝对误差损失和纹理损失构建生成器的联合损失。
生成对抗损失为生成器的输出图像作为判别器输入得到的结果与真值的交叉熵，用于衡量生成器生成结果的质量，即判定为真实图像的概率，计算式如公式(6)所示：
其中，E[·]表示取平均期望；ISAR表示合成孔径雷达图像；IOPT表示可见光图像；D(·)表示判别器得到的判别结果；G(·)表示生成器生成的融合图像。
平均绝对误差损失为l1损失函数，用于迫使融合图像在颜色信息上更接近可见光图像，计算式如公式(7)所示：
其中，E[·]表示取平均期望；ISAR表示合成孔径雷达图像；IOPT表示可见光图像；IF表示融合图像。
考虑到彩色图像的明度分量仅反应了色彩的明暗对比程度，包含了较少的纹理信息，为了使融合图像IF与合成孔径雷达图像ISAR的纹理特征更接近，本发明引入了一种基于灰度共生矩阵(GLCM)的纹理损失函数。构建融合图像IF和合成孔径雷达图像ISAR的灰度共生矩阵的L1范数作为纹理相似度的度量。
采用HSV颜色模型变换提取融合图像IF的色调
饱和度/>
和明度分量/>
合成孔径雷达图像ISAR的色调/>
饱和度/>
和明度分量/>
分别计算融合图像IF明度分量和合成孔径雷达图像ISAR明度分量的灰度共生矩阵，如公式(8)所示：
其中，
表示融合图像IF明度分量的灰度共生矩阵；/>
表示合成孔径雷达图像ISAR明度分量的灰度共生矩阵。
使用L1范数约束纹理特征的相似度，计算式如公式(9)所示：
其中，E[·]表示取平均期望；ISAR表示合成孔径雷达图像；IOPT表示可见光图像；IF表示融合图像；
表示融合图像明度分量的灰度共生矩阵；/>
表示合成孔径雷达图像明度分量的灰度矩阵。
将生成对抗损失、平均绝对误差损失和纹理损失进行加权，得到生成器的联合损失，计算式如公式(10)所示：
其中，LGAN(G)表示生成对抗损失；
表示平均绝对误差损失；λ为超参数，优选的，λ＝100；LGLCM(G)表示纹理损失；μ表示纹理损失的权重系数，理论值μ＝100。
通过交替训练生成器和判别器，基于Adam或SDG(随机梯度下降)等深度神经网络参数优化方法，优化网络模型参数，获得适应于合成孔径雷达图像和可见光图像的融合图像生成网络参数，得到了最终的融合图像模型。经实验数据证明，本发明训练得到的融合图像图像还适应于其他多源遥感数据的融合图像生成。
本发明还提供一种面向多源遥感数据的融合图像生成方法，该方法包括以下步骤S201～S202：
步骤S201：获取待融合的基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像。其中，合成孔径雷达图像的通道数经复制与可见光图像的通道数相等。
将合成孔径雷达图像和可见光图像输入如上文中所述面向多源遥感数据的融合图像模型训练方法得到的融合图像模型，以得到合成孔径雷达图像和可见光图像的融合图像。
经实验数据证明，本发明训练得到的融合图像图像还适应于其他多源遥感数据的融合图像生成，因此本发明提供的面向多源遥感数据的融合图像生成方法也其他多源遥感数据的融合图像生成。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现面向多源遥感数据的融合图像模型训练方法和面向多源遥感数据的融合图像生成方法的步骤。
与上述方法相应地，本发明还提供了一种设备，该设备包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该设备实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
综上所述，本发明提供一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，通过构建融合图像模型，提取具备差异性的多源遥感数据的特征并融合，生成融合图像，弥补单一传感器自身局限性，实现多源遥感数据之间的信息互补，提高融合图像的信息量与可读性。融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块，特征提取模块为双流网络，每条支路采用结构相同的预设深度卷积神经网络，基于深度卷积神经网络的抗噪声干扰以及平移不变性，实现可靠的融合图像生成。构建伪对称网络，并在伪对称网络中引入核权重自适应优化模块，迫使具备共享参数的特征提取网络在学习多源图像一致性的同时，也可针对输入图像的特性进行特征自适应优化。特征融合模块基于注意力机制进行多源图像的信息特征融合，在进行特征关联性计算后进行加权叠加，更好的强调多源图像中的互补信息，输出特征语义表达更加完整的融合特征。融合图像生成模块作为生成器与判别器构建条件生成对抗网络，进行有监督的训练，在构建常规损失之外，通过灰度共生矩阵挖掘图像纹理信息，构建纹理损失，基于颜色和纹理两方面进行监督训练，使得最终生成的融合图像既保留合成孔径雷达图像中的纹理信息，也保留可见光光谱信息。基于融合图像模型生成的融合图像的数据信息可以为后续遥感数据解译任务提供质量更优、信息更丰富的基础数据。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向多源遥感数据的融合图像模型训练方法，其特征在于，该方法包括以下步骤：
获取多源遥感数据集，所述多源遥感数据集中包含多个数据条，每个数据条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；
获取初始融合图像模型和判别器；所述初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；所述特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，所述预设神经网络由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块；其中，所述权重自适应优化模块将输入的各合成孔径雷达图像或各可见光图像进行全局平均池化操作，基于多个预设的图像特征评判单元计算相应图像的权重系数，利用所述权重系数与所述图像特征评判单元对应的卷积核权重加权，以更新对应卷积块中卷积核的权重；所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；
将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支路以提取合成孔径雷达图像特征图，所述可见光图像输入所述双流网络的第二条支路以提取可见光图像特征图；
将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述特征融合模块，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量；
将所述融合特征向量输入所述融合图像生成模块，以生成融合图像；
将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非真实图像，标记为负样本；将所述合成孔径雷达图像和所述可见光图像拼接为真实图像，标记为正样本；将所述非真实图像和所述真实图像输入所述判别器进行训练；将所述非真实图像输入训练后的判别器，并固定所述判别器参数，根据所述判别器的判别结果对所述生成器进行训练；分别构建所述生成器和所述判别器的损失函数，训练得到满足预设性能的生成器和判别器，以最终得到融合图像模型。
2.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，所述双流网络基于暹罗网络构建伪对称网络；每条支路采用结构相同的预设神经网络，所述预设神经网络由5个卷积块构成；两条支路上前3个卷积块的参数设置相同，后2个卷积块的参数设置不同。
3.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，所述预设神经网络的每个卷积块之间还设有多感受野特征提取模块；将当前卷积块处理得到的图像特征图输入所述多感受野特征提取模块，采用并行的预设数量个卷积层提取并叠加所述图像特征图从局部到整体的预设数量个不同程度感受野的特征，输入下一个卷积块；其中，感受野的计算式可表示为：
其中，RFl表示l层的感受野大小；K’l表示l层的卷积核大小；Si表示第i层的步长。
4.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，还包括：
利用预设卷积层压缩所述合成孔径雷达图像特征图或可见光图像特征图的通道数，并进行线性映射，得到所述合成孔径雷达图像特征图的第一键值矩阵、第一价值矩阵和第一查询矩阵，以及所述可见光图像特征图的第二键值矩阵、第二价值矩阵和第二查询矩阵；将所述第一查询矩阵用于所述可见光图像特征图的特征处理；将所述第二查询矩阵用于所述合成孔径雷达图像特征图的特征处理；
在所述合成孔径雷达图像特征图的特征处理中，将基于所述第一键值矩阵和所述第一价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第一向量值，将所述第一向量值与基于所述第二查询矩阵得到的后序特征进行点积融合，并进行卷积操作；在所述可见光图像特征图的特征处理中，将基于所述第二键值矩阵和所述第二价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第二向量值，将所述第二向量值与基于所述第一查询矩阵得到的后序特征点积融合，并进行卷积操作；相应的计算过程可表示为：
Attention(K,V,Q)＝f(Softmax(fT(K)·f(V))·fT(Qother))；
其中，K,V,Q表示可学习的键值矩阵、价值矩阵和查询矩阵；(·)T表示转置。
5.根据权利要求4所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量，计算式为：
Ffusion＝concat(g(AttentionS)+g(AttentionH))；
其中，g表示卷积操作；AttentionS表示所述合成孔径雷达图像特征图融合后的特征；AttentionH表示所述可见光图像特征图融合后的特征。
6.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；所述生成对抗网络采用条件生成对抗网络，将所述合成孔径雷达图像作为条件输入，优化所述生成器生成融合图像；所述判别器由6个卷积层组成，每个卷积层具有批归一化层和修正线性单元激活层；所述判别器的输出结果通过预设Sigmoid层生成融合图像真实性的判别结果。
7.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，分别构建所述生成器和所述判别器的损失函数，还包括：
所述判别器的损失函数的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IF表示所述融合图像；IOPT表示所述可见光图像；D(ISAR，IF)表示将所述非真实图像(ISAR，IF)输入所述判别器得到的判别结果；D(ISAR，IOPT)表示将所述真实图像(ISAR，IOPT)输入所述判别器得到的判别结果。
8.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，分别构建所述生成器和所述判别器的损失函数，还包括：
基于生成对抗损失、平均绝对误差损失和纹理损失构建所述生成器的联合损失；
所述生成对抗损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；D(·)表示所述判别器得到的判别结果；G(·)表示所述生成器生成的融合图像。
所述平均绝对误差损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；IF表示所述融合图像。
所述纹理损失的计算式为：
其中，E[·]表示取平均期望；ISAR表示所述合成孔径雷达图像；IOPT表示所述可见光图像；IF表示所述融合图像；
表示所述融合图像明度分量的灰度共生矩阵；/>
表示所述合成孔径雷达图像明度分量的灰度共生矩阵。
将所述生成对抗损失、所述平均绝对误差损失和所述纹理损失进行加权，得到所述生成器的损失函数，计算式为：
其中，LGAN(G)表示所述生成对抗损失；
表示所述平均绝对误差损失；λ为超参数；LGLCM(G)表示所述纹理损失；μ表示所述纹理损失的权重系数。
9.一种面向多源遥感数据的融合图像生成方法，其特征在于，该方法包括以下步骤：
获取待融合的基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；
将所述合成孔径雷达图像和所述可见光图像输入如权利要求1至8中任一项所述面向多源遥感数据的融合图像模型训练方法得到的融合图像模型，以得到所述合成孔径雷达图像和所述可见光图像的融合图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310141473.2A CN116310634A (zh) | 2023-02-07 | 2023-02-07 | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310141473.2A CN116310634A (zh) | 2023-02-07 | 2023-02-07 | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310634A true CN116310634A (zh) | 2023-06-23 |
Family
ID=86827926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310141473.2A Pending CN116310634A (zh) | 2023-02-07 | 2023-02-07 | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310634A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173438A (zh) * | 2023-09-04 | 2023-12-05 | 之江实验室 | 一种深度耦合多源传感特性的景象匹配方法 |
| CN117611644A (zh) * | 2024-01-23 | 2024-02-27 | 南京航空航天大学 | 一种可见光图像到sar图像的转换方法、装置、介质及设备 |
| CN117726614A (zh) * | 2023-12-28 | 2024-03-19 | 徐州医科大学 | 一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法 |
-
2023
- 2023-02-07 CN CN202310141473.2A patent/CN116310634A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173438A (zh) * | 2023-09-04 | 2023-12-05 | 之江实验室 | 一种深度耦合多源传感特性的景象匹配方法 |
| CN117173438B (zh) * | 2023-09-04 | 2024-02-27 | 之江实验室 | 一种深度耦合多源传感特性的景象匹配方法 |
| CN117726614A (zh) * | 2023-12-28 | 2024-03-19 | 徐州医科大学 | 一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法 |
| CN117611644A (zh) * | 2024-01-23 | 2024-02-27 | 南京航空航天大学 | 一种可见光图像到sar图像的转换方法、装置、介质及设备 |
| CN117611644B (zh) * | 2024-01-23 | 2024-05-28 | 南京航空航天大学 | 一种可见光图像到sar图像的转换方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| Cai et al. | BS-Nets: An end-to-end framework for band selection of hyperspectral image | |
| CN116310634A (zh) | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| Liu et al. | Video image target monitoring based on RNN-LSTM | |
| CN114565860A (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
| He et al. | Multi-spectral remote sensing land-cover classification based on deep learning methods | |
| CN111986193A (zh) | 一种遥感影像变化检测方法、电子设备及存储介质 | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| Alshehri | A content-based image retrieval method using neural network-based prediction technique | |
| Özer et al. | SiameseFuse: A computationally efficient and a not-so-deep network to fuse visible and infrared images | |
| Feng et al. | Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory | |
| Abas et al. | Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms | |
| Yin et al. | Adaptive enhanced infrared and visible image fusion using hybrid decomposition and coupled dictionary | |
| Chen et al. | Attentive generative adversarial network for removing thin cloud from a single remote sensing image | |
| Ju et al. | A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation | |
| CN110717402B (zh) | 一种基于层级优化度量学习的行人再识别方法 | |
| CN117079117A (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| Tuba et al. | Brain Storm Optimization Algorithm for Thermal Image Fusion using DCT Coefficients | |
| Xiao et al. | Feature-level image fusion | |
| Varlik et al. | Filtering airborne LIDAR data by using fully convolutional networks | |
| Jin et al. | Fusion of remote sensing images based on pyramid decomposition with Baldwinian Clonal Selection Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |