CN117496179A - 多尺度双重注意力引导融合网络模型的碳排放分析方法 - Google Patents

多尺度双重注意力引导融合网络模型的碳排放分析方法 Download PDF

Info

Publication number
CN117496179A
CN117496179A CN202311496281.XA CN202311496281A CN117496179A CN 117496179 A CN117496179 A CN 117496179A CN 202311496281 A CN202311496281 A CN 202311496281A CN 117496179 A CN117496179 A CN 117496179A
Authority
CN
China
Prior art keywords
features
conv
convolution
data
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311496281.XA
Other languages
English (en)
Inventor
王圆圆
王世谦
王涵
狄立
夏旻
李秋燕
宋大为
卜飞飞
华远鹏
韩丁
贾一博
田春筝
白宏坤
郝福忠
姬哲
王自强
牛斌斌
牛金星
邵颖彪
刘军会
贾鹏
于雪辉
郭正宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Jiuyu Tenglong Information Engineering Co ltd
Nanjing University of Information Science and Technology
State Grid Henan Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Henan Electric Power Co Ltd
Original Assignee
Henan Jiuyu Tenglong Information Engineering Co ltd
Nanjing University of Information Science and Technology
State Grid Henan Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Henan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Jiuyu Tenglong Information Engineering Co ltd, Nanjing University of Information Science and Technology, State Grid Henan Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Henan Electric Power Co Ltd filed Critical Henan Jiuyu Tenglong Information Engineering Co ltd
Priority to CN202311496281.XA priority Critical patent/CN117496179A/zh
Publication of CN117496179A publication Critical patent/CN117496179A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种多尺度双重注意力引导融合网络模型的碳排放分析方法，属于碳排放检测分析技术领域，准备卫星数据和辅助数据，对数据进行预处理形成一个空间一致的数据集；将卫星数据和辅助数据输入到多尺度双重注意力引导融合网络模型中进行训练，能够同时对卫星数据和辅助数据在多个尺度上进行关注和引导，以捕捉各种地理和气象条件对碳排放的影响，并对一个地方的某个时间序列生成对应的碳排放量的估计值，再结合当前时间序列的气象条件预估出真正的碳排放地区；本发明能够更准确地分析和预测碳排放趋势，具有更高的准确性以及更好的多尺度分析、数据融合和时序预测能力，为环境科学领域提供了更强大和全面的工具。

Description

多尺度双重注意力引导融合网络模型的碳排放分析方法
技术领域
本发明属于碳排放检测分析技术领域，特别涉及了一种多尺度双重注意力引导融合网络模型的碳排放分析方法。
背景技术
碳排放检测分析技术在当前环境科学和气象领域具有极其重要的地位。随着全球工业化和城市化进程的不断加速，碳排放作为导致气候变化的主要驱动因素之一，引起了广泛关注。准确监测、评估和理解碳排放的规模、分布和趋势对于人类来说至关重要。然而，这一任务充满了挑战，因为碳排放源多样化、分布广泛，且受到天气和地理条件的影响。为了应对这些挑战，研究者和科学家们开发了多种技术和方法，以提高对碳排放的监测和分析精度。
首先，卫星遥感技术被广泛应用于全球范围内的碳排放监测。卫星传感器可以提供高分辨率的地球观测数据，覆盖范围广泛，能够捕捉到不同地区的碳排放情况。然而，卫星遥感技术仍然受到分辨率限制，难以准确监测小尺度、低浓度的排放源，而且容易受到云层遮挡等因素的干扰。其次，空气质量监测网络是另一种重要的碳排放监测手段，特别适用于城市和工业区域。这些监测站点配备了高精度的传感器和仪器，提供实时的监测数据，能够准确反映当地的大气环境状况。然而，监测站点的网络覆盖相对有限，难以实现全球范围的监测，而且设备和维护成本较高。此外，数值模拟和预测模型在碳排放分析中也扮演重要角色。这些模型利用大气动力学和化学传输模型，模拟大气中的污染物传输和扩散过程，能够对不同源头的碳·排放影响进行预测。然而，模型的准确性高度依赖于输入数据的质量和模型参数的准确性，同时需要大量的计算资源。
最近，深度学习技术，特别是卷积神经网络(CNN)，在碳排放检测领域取得了显著的进展。这些技术能够从复杂的数据中提取高级特征，适用于非线性和高度非线性的关系建模，但是现有的深度学习方法无法充分利用多尺度特征进行预测。因此，综合分析以上的碳排放检测分析方法中存在的不足，本文利用多尺度双重注意力引导融合网络模型的碳排放分析方法进行预测。最后的实验结果表明，本文方法相对于传统的方法所取得的结果都要好，更适合后续的气象研究工作和应用。
发明内容
本发明的目的是克服上述背景技术的不足，提供一种多尺度双重注意力引导融合网络模型的碳排放分析方法，本发明与传统碳排放分析方法相比较具有更高的准确性以及更好的多尺度分析、数据融合和时序预测能力。
为了实现上述技术目的，本发明的技术方案为：
多尺度双重注意力引导融合网络模型的碳排放分析方法，具体包含如下步骤：
步骤1，基于多尺度双重注意力引导融合网络模型结构的训练；其中，网络模型包括多尺度相邻语义信息聚合模块、双重注意力融合模块、三分支特征融合模块和全局语义信息增强模块；
步骤2，碳排放分析预测，具体包含如下步骤：
步骤2.1，将卫星数据和辅助数据进行分析和对比，清洗数据，提高数据质量，接着对输入数据进行数据增强处理；
步骤2.2，将卫星数据和辅助数据转化为类似于图像形状的张量，然后输入到多尺度双重注意力引导融合网络模型中进行训练；
步骤2.3，使用训练好的多尺度双重注意力引导融合网络模型进行预测，输入卫星碳遥感数据，经过训练好的权重提取特征进行编码解码操作后输出得到某个时间序列的碳排放量的估计值。
作为本发明多尺度双重注意力引导融合网络模型的碳排放分析方法的进一步优选方案，所述多尺度相邻语义信息聚合模块是一种用于在网络模型中聚合多尺度相邻语义信息的模块，用于有效地整合来自碳排放数据在双分支编码器阶段提取的不同尺度的语义信息以提升模型对空间相关性的理解；所述多尺度相邻语义信息聚合模块包含一系列卷积和池化操作，用于在不同尺度上提取特征，并通过处理碳排放相邻区域的语义关联性来强化空间信息的利用；
具体包含如下步骤：
当相邻两个尺度进行聚合时，首先对xb进行一个1×1卷积将特征通道数压缩为原来的一半，提取更多有用的通道信息，输出为xb′；
接着再进行一个3×3卷积，进一步提取和加强特征，输出为xb″；
若与下一尺度进行聚合，则对xc先进行一个1×1卷积，再进行一个3×3卷积，将通道数压缩为原来的一半并进一步提取和加强特征，然后将其进行上采样，恢复和特征xb同样大小，输出为xc′；
接着将这两个特征在通道维度上进行拼接，得到一个更加丰富的特征，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C并进一步提取特征信息，输出为xd′；
然后对xd′、xb′和xc′执行相加操作，将这两个尺度的特征进行融合，以提高模型的特征表达能力；
最后的输出为yout，大小为C×H×W；若与上一尺度特征进行聚合，则先对特征xa进行一个最大池化下采样，再经过一个3×3卷积，可以有效地提取出局部最强的特征，输出为xa′；
然后剩余操作与之前类似，将这两个尺度的特征进行融合，最后的输出为yout，大小也为C×H×W；
当进行相邻三个尺度语义信息聚合时，则是先沿通道维度将xa′、xb″和xc′进行拼接，得到一个通道更多、特征更丰富的特征，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C并进一步提取特征信息得到xd′；
最后对xd′、xb′、xa′和xc′执行相加操作，将三个尺度的特征进行融合，最后的输出为yout，大小同样为C×H×W；
总的来说，该模块能够有效的整合特征提取器在不同尺度提取的相邻语义信息，实现多尺度特征的信息交互和增强，并帮助网络更好地捕捉碳遥感数据中的关键信息和特征；计算公式具体如下：
xa′＝Conv3×3(Maxpool(xa))，
xb′＝Conv1×1(xb)，
xb″＝Conv3×3(Conv1×1(xb))，
xc′＝Upsample(Conv3×3(Conv1×1(xc)))，
yout＝Conv3×3(Conv1×1([xb″；xc′]))+xb′+xc′，
yout＝Conv3×3(Conv1×1([xb″；xa′]))+xb′+xa′，
yout＝Conv3×3(Conv1×1([X″b；X′a；X′c]))+X′b+X′a；X′；
在公式中，Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数；MaxPool(.)表示最大池化，Upsample(·)表示双线性插值上采样，[；]表示拼接操作；其中，xa、xb和xc分别代表编码器生成的三个不同尺度的特征。
作为本发明多尺度双重注意力引导融合网络模型的碳排放分析方法的进一步优选方案，所述三分支特征融合模块是一种用于将卫星数据和辅助数据进行融合的模块，采用三个独立的分支网络分别处理卫星数据、辅助数据和它们的融合；所述三分支特征融合模块包含一系列的卷积和池化操作，以及特定的权重共享策略，以确保在不同分支网络间能够有效地传递和融合信息；
具体包含如下步骤：所述三分支特征融合模块由三个分支组成；
其中，左分支用于从原始特征中提取全局特征，右分支用于提取经过多尺度相邻语义信息聚合模块后的全局语义特征，而中间分支则是用于将xa的全局信息和xb的全局信息进行特征融合和增强；
特征xa的大小为(2×C)×H×W，特征xb的大小为(2×C)×H×W；
对于左分支，又分为两条支路，其中一条支路对xa先进行全局平均池化得到(2×C)×1×1的特征，然后再进行两个1×1卷积，将特征通道数压缩为原来的一半，提取更多有用的通道信息，另一条支路对xa先进行1×1卷积，再进行3×3卷积，对全局特征进一步处理和增强；
对于右分支的两条支路，一条对xb进行两个1×1卷积，另一条对xb进行两个3×3卷积，提取和强调特征的全局语义特征。对于中间分支，先将xa和xb沿通道维度上进行拼接，再进行1×1卷积和3×3卷积；
然后将三个支路的输出相加融合，再进行一个3×3卷积，得到输出yout；
所述三分支特征融合模块能够有效融合原始特征中提取的全局特征和经过多尺度相邻语义信息聚合模块后的全局特征，使得模型能够更全面地理解碳遥感数据并捕捉其中的关键特征；计算公式具体如下：
yout2＝Conv1×1(Conv1×1(xb))+Conv3×3(Conv3×3(xb))，
yout3＝Conv3×3(Conv1×1([xa；xb]))，
yout＝Conv3×3(yout1+yout2+yout3)，
在公式中，AvgPool(·)表示全局平均池化，表示逐元素的乘法，Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数，yout1、yout2和yout3分别表示左分支、右分支和中间分支的输出，设xR1和xR2表示编码器两条支路生成的原始特征，xs1和xS2表示原始特征经过多尺度相邻语义信息聚合模块后的特征，全局特征xa和xb的计算公式具体如下：
xa＝[xR1；xR2]，
Xb＝[XS1；XS2]；
其中，[；]表示拼接操作。
作为本发明多尺度双重注意力引导融合网络模型的碳排放分析方法的进一步优选方案，所述双重注意力融合模块用于接受经过多尺度相邻语义信息聚合模块处理后的碳排放数据作为输入；所述碳排放数据包括来自卫星遥感的图像数据和气象监测的CO2数据；
所述双重注意力融合模块能够同时处理和融合这两种不同类型的数据；所述双重注意力融合模块引入了两个独立的注意力机制，其中，通道注意力机制，用于在卫星数据和辅助数据的特征通道之间进行交互和选择；这个机制允许模块在特定通道上放大或减弱特征的影响，以突出对模型任务的重要贡献；而引入空间注意力机制，用于在卫星数据和辅助数据的不同空间位置之间进行交互和选择，这个机制允许模块关注特定位置的信息，以使模型更关注空间相关性；另外所述双重注意力融合模块采用自适应的权重调整策略，动态地调整注意力的分配；
具体包含如下步骤：
通过CAM对输入特征进行通道细化，即对输入特征分别进行平均池化操作和最大池化操作，此时特征被压缩为两个C×1×1大小的张量；
将这两个张量分别输入多层感知器(MLP)中，通过逐元素求和来合并MLP的输出；
通过Sigmoid函数得到一个通道权重向量Wc，接着通过输入特征xin与通道权重向量Wc进行加权操作，从而可以强化对碳排放预测任务有用的通道，抑制不重要的通道；
将经过CAM细化过的特征先进行一个3×3卷积后，再经过SAM在空间维度上进一步细化操作；
先对经过一个3×3卷积后的xc沿着通道方向进行AvgPool操作和MaxPool操作，此时特征被压缩为两个大小为1×H×W的张量，然后拼接这两个张量并用7×7卷积以捕获更大范围的空间信息，并将其转化为更高级别的特征表示；
通过Sigmoid函数得到一个空间权重向量Ws，然后将经过一个3×3卷积后的xc与空间权重向量Ws进行逐元素相乘操作，可以强调与碳排放相关的特征，同时抑制噪声；计算公式具体如下：
Wc＝σ(MLP(Avgpool(xin))+MLP(Maxpool(xin)))，
Ws＝σ(Conv7×7([Avgpool(Conv3×3(xc))；Maxpool(Conv3×3(xc))]))，
其中，σ(·)代表Sigmoid激活函数，表示逐元素的乘法，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数，Conv7×7(·)表示卷积核大小为7的二维卷积、批量归一化，xc代表经过CAM细化后的特征，xs代表经过SAM细化后的特征；
将xs与原始特征进行拼接操作，接着将进行一个1×1卷积后的特征与前面拼接的特征进行逐元素相乘得到xd，保留原始特征的全局语义信息并融合通道方向和空间方向的重要特征；接着对xd进行两个3×3卷积后与输入特征相加，得到最终的输出；计算公式具体如下：
yout＝Conv3×3(Conv3×3(Xd))+Xin。
作为本发明多尺度双重注意力引导融合网络模型的碳排放分析方法的进一步优选方案，在全局语义信息增强模块之前的两条支路分别处理卫星数据和辅助数据，这些支路的输出特征被相加后输入到全局语义信息增强模块中，所述全局语义信息增强模块综合考虑卫星数据和辅助数据的信息，通过多尺度的自适应平均池化操作，用于从两条支路合并后的特征中聚焦于全局特征，将整体信息融入模型，使其能够捕获全局上下文语义；
所述全局语义信息增强模块在全局语义信息增强模块中，整合后的全局信息会在解码阶段与在前面阶段中提取的局部信息相互作用，从而使得模型可以综合考虑碳排放过程的全局趋势和局部细节；
具体包含如下步骤：针对两个编码器分支提取的具有丰富类别信息的高级语义特征，我们对其进行相加操作，得到输入特征xin，大小为C×H×W；输入到4个并行分支中，将具有丰富语义信息的特征分别进行4个不同尺度的全局池化层，得到大小为s×s的子区域，其中s＝{1，2，4，8}定义了4个金字塔尺度，以实现对不同尺度的语义特征进行聚合和细化；再分别进行一个1×1卷积，接着进行双线性插值上采样，以恢复特征的分辨率并增加细节特征的敏感度；将4个不同尺度的特征进行拼接操作，可以提供更丰富的特征表示，最后进行一个1×1卷积和一个3×3卷积后再与原始特征相加，得到输出yout，细化经过拼接后的丰富语义特征并避免原始细节信息的丢失；计算公式具体如下：
youti＝Upsample(ConV1×1(Avgpools×s(xin)))，i＝{1，2，3，4}，
youtc＝[yout1；yout2；yout3；yout4]，
yout＝Conv3×3(Conv1×1(youtc))+Xin；
其中，Avgpools×s(·)代表自适应平均池化，并且输出尺寸为s×s，youti代表每个并行分支的输出，youtc代表4个并行分支拼接后的输出。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明通过多尺度双重注意力引导融合网络模型进行特征提取保证了网络具有良好的泛化性能，充分提取了碳排放数据的相关特征，使得网络模型取得的预测结果更加精确；
2、本发明先是利用ResNet作为骨干网络对卫星数据和辅助数据分别进行多尺度特征提取，因为ResNet可以很好的提取碳遥感特征，而且ResNet引入了残差结构很好的解决了梯度消失和梯度爆炸的问题，但是由于ResNet提取的每个阶段的特征是相互独立的，因此输入的碳排放数据在提取过程中可能存在信息孤岛的问题，所以我们提出了多尺度相邻语义信息聚合模块来分别聚合不同尺度下相邻的语义特征，可以更好的捕捉到碳排放数据不同尺度的细节和上下文信息并使模型更加关注相邻碳排放区域之间的语义关联，从而提升了模型对空间信息的感知能力；利用三分支特征融合模块来聚合经过骨干网提取的碳排放数据的原始特征和经过多尺度相邻语义信息聚合模块后的碳遥感特征信息，可以通过对全局趋势进行考虑，充分融合各个尺度的全局语义信息，有助于后续利用注意力机制来自适应的为关注区域和非关注区域分配权重，从而更好的分析不同区域的碳排放情况；利用双重注意力融合模块可以引导模型在输入的碳排放数据中关注重要的区域或特征和减少对输入数据中不相关或噪声特征的关注，而且充分利用了卫星数据和辅助数据的通道信息和空间信息；利用全局语义增强模块可以通过池化金字塔结构，在不同的尺度上保留和捕获空间信息，从而一定程度上减少了输入数据在空间语义信息上的丢失。实验结果表明，我们的模型在碳排放预测上更加准确。本发明整体架构由编码器和解码器构成的全卷积神经网络构成，在准确率提高的前提下，模型的泛化能力也有所提高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基本流程图；
图2是本发明中多尺度相邻语义信息聚合模块结构示意图；
图3是本发明中三分支特征融合模块结构示意图；
图4是本发明中双重注意力融合模块结构示意图；
图5是本发明中全局语义信息增强模块结构示意图。
具体实施方式
下面结合附图和具体实施方式对本申请作进一步详细的说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有的碳排放分析中存在的问题：碳排放数据通常涉及多个尺度的信息，不同尺度的特征包含不同的语义信息，传统的方法可能难以有效地整合和处理这些多尺度信息，从而影响了对碳排放的综合分析。在碳排放分析中，某些地区或特定的环境条件可能对预测碳排放具有更高的重要性，而且在实际碳排放数据中，可能存在一些与碳排放无关的特征和噪声。
所以我们针对以上问题设计了一种多尺度双重注意力引导融合网络模型，其结构包括：多尺度相邻语义信息聚合模块(MASAM)、双重注意力融合模块(DAFM)、三分支特征融合模块(TBFFM)和全局语义信息增强模块(GSEM)。在这些模块的共同作用下，可以有效的解决以上问题。
碳排放分析预测：将卫星数据和辅助数据先对数据进行分析和对比，清洗数据，提高数据质量，接着对输入数据进行数据增强处理；然后将这些数值数据转化为类似于图像形状的张量，然后输入到多尺度双重注意力引导融合网络模型中进行训练。
使用训练好的多尺度双重注意力引导融合网络模型进行预测，输入卫星碳遥感数据，经过训练好的权重提取特征进行编码解码操作后输出得到某个时间序列的碳排放量的估计值。
上面已经提到在碳排放分析中，由于卫星数据和辅助数据都涉及到多个尺度的信息，而不同尺度下的特征对于碳排放分析具有不同的重要性，低尺度特征包含更多细节信息，而高尺度特征则能提供更全局的情况。MASAM通过在不同尺度下对特征进行处理，使得模型可以充分利用多尺度的信息，从而全面地理解碳排放数据；而传统的方法可能难以有效地整合和处理这些多尺度信息，因此引入多尺度相邻语义信息聚合模块有助于更好地处理这类信息。不仅如此，在碳排放分析中，相邻地区的碳排放情况往往也会相互影响，引入相邻语义信息聚合模块可以使模型更加关注相邻区域之间的语义关联，从而提升了模型对空间信息的感知能力。
下面将详细说明此模块的功能和具体运算过程，具体实施例如下：
一种基于多尺度双重注意力引导融合网络模型(MDAGFNet)如图1所示。在编码阶段，我们采用基于ResNet的双分支结构分别提取卫星数据和辅助数据，为了充分利用两个编码器分支提取的不同尺度的语义信息，我们设计了多尺度相邻语义信息聚合模块(MASAM)来整合特征提取器在不同尺度提取的相邻语义信息，实现多尺度特征的信息交互和增强并帮助网络更好地捕捉输入碳遥感特征中的关键信息。
接着我们将来自编码器双分支各个尺度的特征拼接起来得到原始多源特征，然后编码器双分支经过MASAM后的各尺度特征进行拼接得到增强语义多源特征，这个时候我们需要充分利用卫星数据和辅助数据的原始特征和其语义增强特征，所以我们设计了三分支特征融合模块来聚合原始特征和经过多尺度相邻语义信息聚合模块后的特征信息，通过对全局趋势进行考虑，充分融合了各个尺度的全局语义信息，有助于后续利用注意力机制来自适应的为关注区域和非关注区域分配权重，从而更好的分析不同区域的碳排放情况。
接着在解码阶段，由于前面工作已经提取的包含大量碳遥感数据的全局语义特征，所以现在怎么利用这些语义特征是一个问题，以往的单个注意力机制，只能关注通道特征信息或者空间特征信息，并且在降低无关特征和噪声上尚且乏力，CBAM成功融合了两类特征信息，但其在通道注意力和空间注意力的应用上太过简单，在碳排放分析任务上效果欠佳，因此我们提出了一种新的双重注意力融合机制，更好的利用了通道注意力机制在卫星数据和辅助数据的特征通道之间进行交互和选择并且允许模块在特定通道上放大或减弱特征的影响。
同时，DAFM还充分利用了空间注意力机制在卫星数据和辅助数据的不同空间位置之间进行交互和选择并允许模块关注特定位置的信息，以便模型更关注空间相关性。所以，双重注意力融合模块的设计充分考虑了在碳遥感分析任务中对于关键特征的提取和利用，通过引入注意力机制、特征融合和空间整合等操作，提高了模型对碳排放情况的理解能力和预测精度。同时，通过残差连接保留了原始特征信息，保证了模块的稳定性和可靠性。我们知道，卫星数据和辅助数据在最后一个尺度的特征已经包含了高级语义，但可能仍然存在一些全局语义信息，如整体趋势、空间相关性等，这些信息可以在更高层次上进行捕获和增强。然而全局语义增强模块的设计旨在增强这些语义信息，使模型能够更好地理解碳排放数据的整体趋势和背景因素。不仅如此，在卫星数据和辅助数据的处理过程中，可能会丢失一些空间信息，因此我们将双支路信息相加后输入全局语义增强模块，可以通过池化金字塔结构，在不同的尺度上保留和捕获空间信息，从而减少了信息的丢失。综上所述，全局语义增强模块通过对特征进行压缩、池化、交互和增强等操作，有效地提升了模型对于全局语义信息的理解和感知能力。然而，我们将GSEM的输出与最后一个阶段的TBFFM的输出相加融合然后再进行DAFM处理，可以进一步提高模型对碳排放区域的感知能力，不仅如此，我们还将GSEM的输出与每个阶段的DAFM的输出相加融合并分步上采样，最后恢复原有张量的尺寸。最后通过全连接层来获得模型的最终输出——碳排放量的估计值。模型的完整架构如图1所示。下面逐一介绍每个模块的具体技术方案和功能。
首先主干网络我们采用残差网络来提取特征，考虑到主干网络最后四个卷积块提取的不同尺度的语义特征是相互独立的，导致它们在不同尺度之间没有直接的信息传递和交互关系。这就意味着我们利用主干网最后四个卷积块提取的不同尺度的语义信息之间可能存在信息孤岛，导致特征表示不够丰富，从而影响模型性能。
因此，为了充分利用编码器在不同阶段提取的不同尺度的语义信息并加强多尺度语义特征的信息交互，我们设计了多尺度相邻语义信息聚合模块(MASAM)，如图2所示。当相邻两个尺度的碳遥感语义进行聚合时，首先对xb进行一个1×1卷积将特征通道数压缩为原来的一半，提取更多有用的碳遥感的每个通道的语义信息，输出为xb′；接着再进行一个3×3卷积，进一步提取和加强特征，输出为xb″，此时已经针对一个尺度的碳遥感语义进行进一步提取。若与下一尺度进行聚合，则对xc先进行一个1×1卷积，再进行一个3×3卷积，将通道数压缩为原来的一半并根据输入的碳排放的各类通道信息进一步提取有用的通道特征，然后将其进行上采样，恢复和特征xb同样大小，输出为xc′。接着将这两个特征在通道维度上进行拼接，得到一个多尺度通道特征融合的语义，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C，可以更好的提取通道中的关键语义，输出为xd′。然后对xd′、xb′和xc′执行相加操作，将这两个尺度的特征进行融合，以提高模型的特征表达能力。最后的输出为yout，大小为C×H×W。若与上一尺度特征进行聚合，则先对特征xa进行一个最大池化下采样，再经过一个3×3卷积，可以有效地提取出局部最强的特征，输出为xa′。然后剩余操作与之前类似，将这两个尺度的特征进行融合，最后的输出为yout，大小也为C×H×W。当进行相邻三个尺度语义信息聚合时，则是先沿通道维度将xa′、xb″和xc′进行拼接，得到一个通道更多、特征更丰富的特征，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C并进一步提取特征信息得到xd′。最后对xd′、xb′、xa′和xc′执行相加操作，将三个尺度的特征进行融合，最后的输出为yout，大小同样为C×H×W。总的来说，该模块能够有效的整合特征提取器在不同尺度提取的相邻语义信息，实现多尺度特征的信息交互和增强，并帮助网络更好地捕捉碳遥感数据中的关键信息和特征。上述过程的计算公式如下：
xa′＝Conv3×3(Maxpool(xa))，
xb′＝Conv1×1(xb)，
xb″＝Conv3×3(Conv1×1(xb))，
xc′＝Upsample(Conv3×3(Conv1×1(xc)))，
yout＝Conv3×3(Conv1×1([xb″；xc′]))+xb′+xc′，
yout＝Conv3×3(Conv1×1([xb″；xa′]))+xb′+xa′，
yout＝Conv3×3(Conv1×1([X″b；X′a；X′c]))+X′b+X′a；X′；
在公式中，Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数。MaxPool(·)表示最大池化，Upsample(·)表示双线性插值上采样，[；]表示拼接操作。其中，xa、xb和xc分别代表编码器生成的三个不同尺度的特征图。
接着我们将来自编码器双分支各个尺度的特征拼接起来得到原始多源特征，然后编码器双分支经过MASAM后的各尺度特征进行拼接得到增强语义多源特征，这个时候我们需要充分利用卫星数据和辅助数据的原始特征和其语义增强特征，考虑到对两种不同的特征信息进行简单的加法、拼接和卷积操作并不能充分利用这两类特征信息，甚至会破坏这两类信息的完整性和多样性，造成信息冗余。因此我们设计了此模块，如图3所示。该模块由三个分支组成。左分支用于从双分支编码器提取的原始特征中提取全局特征，右分支用于提取经过多尺度相邻语义信息聚合模块后的全局语义特征，而中间分支则是用于将xa的全局信息和xb的全局信息进行特征融合和增强。特征xa的大小为(2×C)×H×W，特征xb的大小为(2×C)×H×W。对于左分支，又分为两条支路，其中一条支路对xa先进行全局平均池化得到(2×C)×1×1的特征，然后再进行两个1×1卷积，将特征通道数压缩为原来的一半，提取更多有用的通道信息，另一条支路对xa先进行1×1卷积，再进行3×3卷积，对全局特征进一步处理和增强。对于右分支的两条支路，一条对xb进行两个1×1卷积，另一条对xb进行两个3×3卷积，提取和强调特征的全局语义特征。对于中间分支，先将xa和xb沿通道维度上进行拼接，再进行1×1卷积和3×3卷积。然后将三个支路的输出相加融合，再进行一个3×3卷积，得到输出yout。该模块能够有效融合原始特征中提取的全局特征和经过多尺度相邻语义信息聚合模块后的全局特征，使得模型能够更全面地理解碳遥感数据并捕捉其中的关键特征。上述过程的计算公式如下：
yout2＝Conv1×1(Conv1×1(xb))+Conv3×3(Conv3×3(xb))，
yout3＝Conv3×3(Conv1×1([xa；xb]))，
yout＝Conv3×3(yout1+yout2+yout3)，
在公式中，AvgPool(·)表示全局平均池化，表示逐元素的乘法。Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数。yout1、yout2和yout3分别表示左分支、右分支和中间分支的输出。设xR1和xR2表示编码器两条支路生成的原始特征，xS1和xS2表示原始特征经过多尺度相邻语义信息聚合模块后的特征。全局特征xa和xb的计算公式如下：
xa＝[xR1；xR2]，
Xb＝[XS1；XS2]；
其中，[；]表示拼接操作。
受CBAM的启发，我们提出了一种全新的双重注意力融合模块，可以引导模型在输入数据中关注重要的区域或特征和减少对输入数据中不相关或噪声特征的关注，从而减少信息的丢失，提高模型的性能。如图4所示。因此我们将TBFFM每个尺度的输出分别输入DAFM中。首先，通过CAM对输入特征进行通道细化，即对输入特征分别进行平均池化操作和最大池化操作，此时特征被压缩为两个C×1×1大小的张量。然后将这两个张量分别输入多层感知器(MLP)中，通过逐元素求和来合并MLP的输出。最后通过Sigmoid函数得到一个通道权重向量Wc，接着通过输入特征xin与通道权重向量Wc进行加权操作，从而可以强化对碳排放预测任务有用的通道，抑制不重要的通道。然后将经过CAM细化过的特征先进行一个3×3卷积后，再经过SAM在空间维度上进一步细化操作。先对经过一个3×3卷积后的xc沿着通道方向进行AvgPool操作和MaxPool操作，此时特征被压缩为两个大小为1×H×W的张量，然后拼接这两个张量并用7×7卷积以捕获更大范围的空间信息，并将其转化为更高级别的特征表示。最后通过Sigmoid函数得到一个空间权重向量Ws，然后将经过一个3×3卷积后的xc与空间权重向量Ws进行逐元素相乘操作，可以强调与碳排放相关的特征，同时抑制噪声。上述过程的计算公式如下：
Wc＝σ(MLP(Avgpool(xin))+MLP(Maxpool(xin)))，
Ws＝σ(Conv7×7([Avgpool(Conv3×3(xc))；Maxpool(Conv3×3(xc))]))，
其中，σ(·)代表Sigmoid激活函数，表示逐元素的乘法。Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数，Conv7×7(·)表示卷积核大小为7的二维卷积、批量归一化。xc代表经过CAM细化后的特征，xs代表经过SAM细化后的特征。
然后将xs与原始特征进行拼接操作，接着将进行一个1×1卷积后的特征与前面拼接的特征进行逐元素相乘得到xd，这样可以保留原始特征的全局语义信息并融合通道方向和空间方向的重要特征。接着对xd进行两个3×3卷积后与输入特征相加，得到最终的输出。上述过程的计算公式如下：
yout＝Conv3×3(Conv3×3(Xd))+Xin。
然后我们将编码器两个分支最后一个阶段的输出相加，输入到GSEM中，GSEM结构如图5所示，首先，针对两个编码器分支提取的具有丰富类别信息的高级语义特征，我们对其进行相加操作，得到输入特征xin，大小为C×H×W。然后输入到4个并行分支中，将具有丰富语义信息的特征分别进行4个不同尺度的全局池化层，得到大小为s×s的子区域，其中s＝{1，2，4，8}定义了4个金字塔尺度，以实现对不同尺度的语义特征进行聚合和细化。然后再分别进行一个1×1卷积，接着进行双线性插值上采样，以恢复特征的分辨率并增加细节特征的敏感度。然后将4个不同尺度的特征进行拼接操作，可以提供更丰富的特征表示，最后进行一个1×1卷积和一个3×3卷积后再与原始特征相加，得到输出yout，可以细化经过拼接后的丰富语义特征并避免原始细节信息的丢失。上述过程的计算公式如下：
youti＝Upsample(Conv1×1(Avgpools×s(xin)))，i＝{1，2，3，4}，
youtc＝[yout1；yout2；yout3；yout4]，
yout＝Conv3×3(Conv1×1(youtc))+Xin；
其中，Avgpools×s(·)代表自适应平均池化，并且输出尺寸为s×s。youti代表每个并行分支的输出，youtc代表4个并行分支拼接后的输出。
然后将GSEM的输出与TBFFM最后一个尺度的输出相加后再输入DAFM中，可以更好的提升模型性能。不仅如此，我们还将GSEM的输出与最后一个尺度的DAFM的输出相加融合，然后再与前面几个尺度的DAFM的输出进行逐层融合并逐层解码，恢复输入数据的原有形状。最后经过一个全连接层得到模型的最终输出结果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.多尺度双重注意力引导融合网络模型的碳排放分析方法，其特征在于：具体包含如下步骤：
步骤1，基于多尺度双重注意力引导融合网络模型结构的训练；其中，网络模型包括多尺度相邻语义信息聚合模块、双重注意力融合模块、三分支特征融合模块和全局语义信息增强模块；
步骤2，碳排放分析预测，具体包含如下步骤：
步骤2.1，将卫星数据和辅助数据进行分析和对比，清洗数据，提高数据质量，接着对输入数据进行数据增强处理；
步骤2.2，将卫星数据和辅助数据转化为类似于图像形状的张量，然后输入到多尺度双重注意力引导融合网络模型中进行训练；
步骤2.3，使用训练好的多尺度双重注意力引导融合网络模型进行预测，输入卫星碳遥感数据，经过训练好的权重提取特征进行编码解码操作后输出得到某个时间序列的碳排放量的估计值。
2.根据权利要求1所述的多尺度双重注意力引导融合网络模型的碳排放分析方法，其特征在于：所述多尺度相邻语义信息聚合模块用于在网络模型中聚合多尺度相邻语义信息的模块，用于有效地整合来自碳排放数据在双分支编码器阶段提取的不同尺度的语义信息以提升模型对空间相关性的理解；所述多尺度相邻语义信息聚合模块包含一系列卷积和池化操作，用于在不同尺度上提取特征，并通过处理碳排放相邻区域的语义关联性来强化空间信息的利用；
具体包含如下步骤：
当相邻两个尺度进行聚合时，首先对xb进行一个1×1卷积将特征通道数压缩为原来的一半，提取更多有用的通道信息，输出为xb′；
接着再进行一个3×3卷积，进一步提取和加强特征，输出为xb″；
若与下一尺度进行聚合，则对xc先进行一个1×1卷积，再进行一个3×3卷积，将通道数压缩为原来的一半并进一步提取和加强特征，然后将其进行上采样，恢复和特征xb同样大小，输出为xc′；
接着将这两个特征在通道维度上进行拼接，得到一个更加丰富的特征，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C并进一步提取特征信息，输出为xd′；
然后对xd′、xb′和xc′执行相加操作，将这两个尺度的特征进行融合，以提高模型的特征表达能力；
最后的输出为yout，大小为C×H×W；若与上一尺度特征进行聚合，则先对特征xa进行一个最大池化下采样，再经过一个3×3卷积，可以有效地提取出局部最强的特征，输出为xa′；
然后剩余操作与之前类似，将这两个尺度的特征进行融合，最后的输出为yout，大小也为C×H×W；
当进行相邻三个尺度语义信息聚合时，则是先沿通道维度将xa′、xb″和xc′进行拼接，得到一个通道更多、特征更丰富的特征，然后将其先经过一个1×1卷积，再进行一个3×3卷积，压缩通道为C并进一步提取特征信息得到xd′；
最后对xd′、xb′、xa′和xc′执行相加操作，将三个尺度的特征进行融合，最后的输出为yout，大小同样为C×H×W；
总的来说，该模块能够有效的整合特征提取器在不同尺度提取的相邻语义信息，实现多尺度特征的信息交互和增强，并帮助网络更好地捕捉碳遥感数据中的关键信息和特征；计算公式具体如下：
xa′＝Conv3×3(Maxpool(xa)),
xb′＝Conv1×1(xb),
xb″＝Conv3×3(Conv1×1(xb)),
xc′＝Upsample(Conv3×3(Conv1×1(xc))),
yout＝Conv3×3(Conv1×1([xb″；xc′]))+xb′+xc′,
yout＝Conv3×3(Conv1×1([xb″；xa′]))+xb′+xa′,
yout＝Conv3×3(Conv1×1([X″b；X′a；X′c]))+X′b+X′a；X′；
在公式中，Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数；MaxPool(·)表示最大池化，Upsample(·)表示双线性插值上采样，[；]表示拼接操作；其中，xa、xb和xc分别代表编码器生成的三个不同尺度的特征。
3.根据权利要求1所述的多尺度双重注意力引导融合网络模型的碳排放分析方法，其特征在于：所述三分支特征融合模块是一种用于将卫星数据和辅助数据进行融合的模块，采用三个独立的分支网络分别处理卫星数据、辅助数据和它们的融合；所述三分支特征融合模块包含一系列的卷积和池化操作，以及特定的权重共享策略，以确保在不同分支网络间能够有效地传递和融合信息；
具体包含如下步骤：所述三分支特征融合模块由三个分支组成；
其中，左分支用于从原始特征中提取全局特征，右分支用于提取经过多尺度相邻语义信息聚合模块后的全局语义特征，而中间分支则是用于将xa的全局信息和xb的全局信息进行特征融合和增强；
特征xa的大小为(2×C)×H×W，特征xb的大小为(2×C)×H×W；
对于左分支，又分为两条支路，其中一条支路对xa先进行全局平均池化得到(2×C)×1×1的特征，然后再进行两个1×1卷积，将特征通道数压缩为原来的一半，提取更多有用的通道信息，另一条支路对xa先进行1×1卷积，再进行3×3卷积，对全局特征进一步处理和增强；
对于右分支的两条支路，一条对xb进行两个1×1卷积，另一条对xb进行两个3×3卷积，提取和强调特征的全局语义特征。对于中间分支，先将xa和xb沿通道维度上进行拼接，再进行1×1卷积和3×3卷积；
然后将三个支路的输出相加融合，再进行一个3×3卷积，得到输出yout；
所述三分支特征融合模块能够有效融合原始特征中提取的全局特征和经过多尺度相邻语义信息聚合模块后的全局特征，使得模型能够更全面地理解碳遥感数据并捕捉其中的关键特征；计算公式具体如下：
yout2＝Conv1×1(Conv1×1(xb))+Conv3×3(Conv3×3(xb)),
yout3＝Conv3×3(Conv1×1([xa；xb])),
yout＝Conv3×3(yout1+yout2+yout3),
在公式中，AvgPool(·)表示全局平均池化，表示逐元素的乘法，Conv1×1(·)表示卷积核大小为1的二维卷积、批量归一化和ReLU激活函数，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数，yout1、yout2和yout3分别表示左分支、右分支和中间分支的输出，设xR1和xR2表示编码器两条支路生成的原始特征，xS1和xS2表示原始特征经过多尺度相邻语义信息聚合模块后的特征，全局特征xa和xb的计算公式具体如下：
xa＝[xR1；xR2],
Xb＝[XS1；XS2]；
其中，[；]表示拼接操作。
4.根据权利要求1所述的多尺度双重注意力引导融合网络模型的碳排放分析方法，其特征在于：所述双重注意力融合模块用于接受经过多尺度相邻语义信息聚合模块处理后的碳排放数据作为输入；所述碳排放数据包括来自卫星遥感的图像数据和气象监测的CO2数据；所述双重注意力融合模块能够同时处理和融合这两种不同类型的数据；所述双重注意力融合模块引入了两个独立的注意力机制，其中，通道注意力机制，用于在卫星数据和辅助数据的特征通道之间进行交互和选择；这个机制允许模块在特定通道上放大或减弱特征的影响，以突出对模型任务的重要贡献；而引入空间注意力机制，用于在卫星数据和辅助数据的不同空间位置之间进行交互和选择，这个机制允许模块关注特定位置的信息，以使模型更关注空间相关性；另外所述双重注意力融合模块采用自适应的权重调整策略，动态地调整注意力的分配；
具体包含如下步骤：
通过CAM对输入特征进行通道细化，即对输入特征分别进行平均池化操作和最大池化操作，此时特征被压缩为两个C×1×1大小的张量；
将这两个张量分别输入多层感知器(MLP)中，通过逐元素求和来合并MLP的输出；
通过Sigmoid函数得到一个通道权重向量Wc，接着通过输入特征xin与通道权重向量Wc进行加权操作，从而可以强化对碳排放预测任务有用的通道，抑制不重要的通道；
将经过CAM细化过的特征先进行一个3×3卷积后，再经过SAM在空间维度上进一步细化操作；
先对经过一个3×3卷积后的xc沿着通道方向进行AvgPool操作和MaxPool操作，此时特征被压缩为两个大小为1×H×W的张量，然后拼接这两个张量并用7×7卷积以捕获更大范围的空间信息，并将其转化为更高级别的特征表示；
通过Sigmoid函数得到一个空间权重向量Ws，然后将经过一个3×3卷积后的xc与空间权重向量Ws进行逐元素相乘操作，可以强调与碳排放相关的特征，同时抑制噪声；计算公式具体如下：
Wc＝σ(MLP(Avgpool(xin))+MLP(Maxpool(xin))),
Ws＝σ(Conv7×7([Avgpool(Conv3×3(xc))；Maxpool(Conv3×3(xc))])),
其中，σ(·)代表Sigmoid激活函数，表示逐元素的乘法，Conv3×3(·)表示卷积核大小为3的二维卷积、批量归一化和ReLU激活函数，Conv7×7(·)表示卷积核大小为7的二维卷积、批量归一化，xc代表经过CAM细化后的特征，xs代表经过SAM细化后的特征；
将xs与原始特征进行拼接操作，接着将进行一个1×1卷积后的特征与前面拼接的特征进行逐元素相乘得到xd，保留原始特征的全局语义信息并融合通道方向和空间方向的重要特征；接着对xd进行两个3×3卷积后与输入特征相加，得到最终的输出；计算公式具体如下：
yout＝Conv3×3(Conv3×3(Xd))+Xin。
5.根据权利要求1所述的多尺度双重注意力引导融合网络模型的碳排放分析方法，其特征在于：在全局语义信息增强模块之前的两条支路分别处理卫星数据和辅助数据，这些支路的输出特征被相加后输入到全局语义信息增强模块中，所述全局语义信息增强模块综合考虑卫星数据和辅助数据的信息，通过多尺度的自适应平均池化操作，用于从两条支路合并后的特征中聚焦于全局特征，将整体信息融入模型，使其能够捕获全局上下文语义；
所述全局语义信息增强模块在全局语义信息增强模块中，整合后的全局信息会在解码阶段与在前面阶段中提取的局部信息相互作用，从而使得模型可以综合考虑碳排放过程的全局趋势和局部细节；
具体包含如下步骤：针对两个编码器分支提取的具有丰富类别信息的高级语义特征，我们对其进行相加操作，得到输入特征xin，大小为C×H×W；输入到4个并行分支中，将具有丰富语义信息的特征分别进行4个不同尺度的全局池化层，得到大小为s×s的子区域，其中s＝{1,2,4,8}定义了4个金字塔尺度，以实现对不同尺度的语义特征进行聚合和细化；再分别进行一个1×1卷积，接着进行双线性插值上采样，以恢复特征的分辨率并增加细节特征的敏感度；将4个不同尺度的特征进行拼接操作，可以提供更丰富的特征表示，最后进行一个1×1卷积和一个3×3卷积后再与原始特征相加，得到输出yout，细化经过拼接后的丰富语义特征并避免原始细节信息的丢失；计算公式具体如下：
youti＝Upsample(Conv1×1(Avgpools×s(xin))),i＝{1,2,3,4},
youtc＝[yout1；yout2；yout3；yout4],
yout＝Conv3×3(Conv1×1(youtc))+Xin；
其中，Avgpools×s(·)代表自适应平均池化，并且输出尺寸为s×s，youti代表每个并行分支的输出，youtc代表4个并行分支拼接后的输出。
CN202311496281.XA 2023-11-10 2023-11-10 多尺度双重注意力引导融合网络模型的碳排放分析方法 Pending CN117496179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311496281.XA CN117496179A (zh) 2023-11-10 2023-11-10 多尺度双重注意力引导融合网络模型的碳排放分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311496281.XA CN117496179A (zh) 2023-11-10 2023-11-10 多尺度双重注意力引导融合网络模型的碳排放分析方法

Publications (1)

Publication Number Publication Date
CN117496179A true CN117496179A (zh) 2024-02-02

Family

ID=89677796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311496281.XA Pending CN117496179A (zh) 2023-11-10 2023-11-10 多尺度双重注意力引导融合网络模型的碳排放分析方法

Country Status (1)

Country Link
CN (1) CN117496179A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765378A (zh) * 2024-02-22 2024-03-26 成都信息工程大学 多尺度特征融合的复杂环境下违禁物品检测方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765378A (zh) * 2024-02-22 2024-03-26 成都信息工程大学 多尺度特征融合的复杂环境下违禁物品检测方法和装置
CN117765378B (zh) * 2024-02-22 2024-04-26 成都信息工程大学 多尺度特征融合的复杂环境下违禁物品检测方法和装置

Similar Documents

Publication Publication Date Title
CN112347859B (zh) 一种光学遥感图像显著性目标检测方法
CN111274892B (zh) 一种鲁棒的遥感影像变化检测方法及系统
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112991350B (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN112541503A (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN114241274B (zh) 一种基于超分辨率多尺度特征融合的小目标检测方法
CN111563507A (zh) 一种基于卷积神经网络的室内场景语义分割方法
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
CN117496179A (zh) 多尺度双重注意力引导融合网络模型的碳排放分析方法
CN114419464B (zh) 一种基于深度学习的孪生网络变化检测模型的构建方法
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN113870160A (zh) 一种基于变换器神经网络的点云数据处理方法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN114550014A (zh) 道路分割方法及计算机装置
CN113095479A (zh) 一种基于多尺度注意力机制的冰下层结构提取方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN115880660A (zh) 一种基于结构表征和全局注意力机制的轨道线检测方法和系统
CN116863437A (zh) 车道线检测模型训练方法、装置、设备、介质及车辆
CN115601357A (zh) 一种基于小样本的冲压件表面缺陷检测方法
CN115512393A (zh) 一种基于改进HigherHRNet的人体姿态估计方法
CN115115819A (zh) 面向装配顺序监测的图像多视角语义变化检测网络及方法
CN115063352A (zh) 一种基于多图神经网络协同学习架构的显著性物体检测装置及方法
Wang et al. Degradation Modeling for Restoration-enhanced Object Detection in Adverse Weather Scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination