CN118037976A - 一种dem重建模型训练方法及dem重建方法 - Google Patents

一种dem重建模型训练方法及dem重建方法 Download PDF

Info

Publication number
CN118037976A
CN118037976A CN202410240381.4A CN202410240381A CN118037976A CN 118037976 A CN118037976 A CN 118037976A CN 202410240381 A CN202410240381 A CN 202410240381A CN 118037976 A CN118037976 A CN 118037976A
Authority
CN
China
Prior art keywords
digital elevation
dem
edge
elevation model
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410240381.4A
Other languages
English (en)
Inventor
高兵
岳林蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202410240381.4A priority Critical patent/CN118037976A/zh
Publication of CN118037976A publication Critical patent/CN118037976A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种DEM重建模型训练方法及DEM重建方法，涉及数字高程模型重建领域，所述DEM重建模型训练方法，其步骤主要包括：对高程模型和遥感影像数据进行预处理、地形纹理特征处理、边缘特征处理、融合、数字高程模型输出、损失函数计算及迭代控制，得到训练好的DEM重建模型，利用训练好的DEM重建模型对待重建的数字高程模型DEM和同一位置的遥感影像进行重建，得到超分辨率重建模型DEM。实施本发明提供的DEM重建模型训练方法及DEM重建方法，能有效提升DEM数据产品的空间分辨率和地形特征连续性，突破地形数据本身尺度信息的限制，使其更好地服务于地形地貌分析、地表过程建模以及地理信息相关产业应用。

Description

一种DEM重建模型训练方法及DEM重建方法
技术领域
本发明涉及数字高程模型重建领域，更具体地说，涉及一种DEM重建模型训练方法及DEM重建方法。
背景技术
数字高程模型(Digital elevation models，DEM)是重要的地理空间基础数据，在地表过程模拟、地形地貌分析、地质灾害预警、军事仿真等领域都有着广泛应用。高分辨率、高质量的DEM数据能够提供更加准确的地形信息，对于地学领域的精确建模与分析具有重要意义。DEM超分辨率重建的目标是突破现有DEM数据产品有限的空间分辨率限制，增强现有DEM数据其在地表精细建模与分析等应用中的潜力。
随着高分辨率遥感影像的逐渐普及，面向精细尺度的地学应用，DEM数据的分辨率限制是一个重要的制约因素。通常情况下，DEM数据的超分辨率通过插值方法或挖掘多尺度同质数据之间的互补关系来实现，但无法突破地形数据本身尺度信息的限制，难以从根本上解决测高数据受到观测技术、生成方法和地形条件等多因素影响产生的质量问题。
发明内容
本发明的目的在于，提供一种DEM重建模型训练方法及DEM重建方法，有效提升DEM数据产品的空间分辨率和地形特征连续性，实现DEM地形精细特征的重建。
本发明解决其技术问题所采用的技术方案是提供一种DEM重建模型训练方法，其中，DEM重建模型包括内容分支、边缘分支和融合通道；内容分支，用于融合数字高程模型和遥感影像，得到地形纹理特征；边缘分支，用于利用遥感图像的边缘特征来增强数字高程模型的地形结构边缘，得到最终边缘特征；融合通道，用于融合地形纹理特征和最终边缘特征，得到输出数字高程模型；训练方法，包括以下步骤：S1：获取高分辨率数字高程模型，高分辨率数字高程模型用于在模型训练中作为真实标签；获取低分辨率数字高程模型和同一位置的遥感影像，对低分辨率数字高程模型和同一位置的遥感影像进行预处理，得到预处理遥感影像和预处理数字高程模型图；S2：将预处理数字高程模型图和预处理遥感影像，输入内容分支，得到地形纹理特征；S3：将预处理数字高程模型图和预处理遥感影像，输入边缘分支，得到最终边缘特征；S4：将地形纹理特征和最终边缘特征，输入融合通道，得到输出数字高程模型；S5：利用输出数字高程模型和高分辨率数字高程模型，得到总损失函数，总损失函数用于监督DEM重建模型训练；S6：获取总损失预设值，当总损失函数不小于总损失预设值，返回步骤S2，继续训练DEM重建模型；当总损失函数小于总损失预设值，停止训练，得到训练好的DEM重建模型。
进一步地，上述的DEM重建模型训练方法的内容分支，包括依次串联连接的拼接器、4个依次串联连接的残差通道空间注意力模块、1×1卷积层；拼接器，用于拼接遥感影像特征图和数字高程模型特征图，得到拼接特征图；残差通道空间注意力模块，包括一次串联连接的第一1×1卷积层、激活函数LeakyReLU、空间注意力模块、第一逐元素相乘器、通道注意力模块、第二逐元素相乘器、逐元素相加器；第二1×1卷积层的输出端与空间注意力模块的输入端和第一逐元素相乘器的第一输入端连接，空间注意力模块的输出端与第一逐元素相乘器的第二输入端连接，第一逐元素相乘器的输出端与通道注意力模块的输入端和第二逐元素相乘器的第一输入端连接，通道注意力模块的输除端和第二逐元素相乘器的第二输入端连接，第二逐元素相乘器的输出端和逐元素相加器的第一输入端连接，第一1×1卷积层的输入端与逐元素相加器的第二输入端连接；空间注意力模块，包括依次串联连接的空间平均池化层和激活函数Sigmoid；通道注意力模块，包括并联连接的通道平均池化层、最大池化层和依次串联连接的通道第一1×1卷积层、通道激活函数LeakyReLU、通道第二1×1卷积层、通道激活函数Sigmoid。
进一步地，上述的DEM重建模型训练方法的边缘分支，包括依次串联连接的残差像素注意力模块和1×1卷积层；残差像素注意力模块，包括残差单元、像素注意力单元、逐元素相乘器和逐元素相加器；残差单元的输出端和逐元素相乘器第一输入端连接，像素注意力单元的输出端和逐元素相乘器第二输入端连接，逐元素相乘器输出端和逐元素相加器的第一输入端连接，像素注意力单元的输入端和逐元素相加器的第二输入端连接；残差单元，包括依次串联连接的残差第一3×3卷积层、残差激活函数LeakyReLU、残差第二3×3卷积层；像素注意力单元，包括依次串联连接的像素第一1×1卷积层、像素激活函数LeakyReLU、残差第二1×1卷积层和像素激活函数Sigmoid。
进一步地，上述的DEM重建模型训练方法的融合通道，包括依次连接的逐元素相加器和3×3卷积层。
进一步地，上述的DEM重建模型训练方法的步骤S1具体包括：S11：获取低分辨率数字高程模型和同一位置的遥感影像，利用插值算法，将低分辨率数字高程模型进行上采样，得到输入数字高程模型，输入数字高程模型的分辨率为预设目标分辨率；S12：利用投影变换，将遥感影像进行预投影，得到输入遥感影像，输入遥感影像与低分辨率数字高程模型对齐；S13：将输入数字高程模型和输入遥感影像进行剪裁、归一化，得到预处理数字高程模型图和预处理遥感影像。
进一步地，上述的DEM重建模型训练方法的步骤S2具体包括：S21：对预处理数字高程模型图和预处理遥感影像分别进行特征提取，得到数字高程模型特征图和遥感影像特征图；S22：利用内容分支，对数字高程模型特征图和遥感影像特征图进行拼接，得到拼接特征图；S23：利用内容分支和拼接特征图，得到地形纹理特征，如公式：
F＝[FDEM，FRS]，Rn＝f1×1(δ(f1×1(Fn-1)))，
Ms＝σ(Avgpoolc(Rn))，
Mc＝σ(f1×1(δ(f1×1(Avgpools(Rs))))+f1×1(δ(f1×1(Maxpool(Rs)))))，
Fn＝Fn-1+Rc
其中，F为拼接特征图，Rn为第n个残差通道空间注意力模块的残差输出，f1×1(·)表示卷积核为1×1的卷积层，δ(·)为LeakyReLU激活函数，Fn-1为第n个残差通道空间注意力模块的输入，Rs为空间注意力模块得到的残差输出，Ms为空间注意力图，Rc为通道注意力模块得到的残差输出，Mc为通道注意力图，表示逐元素相乘，Avgpoolc(·)是沿通道维度的平均池化操作，用于获得二维特征映射，σ(·)是激活函数Sigmoid，Avgpools(·)表示沿空间维度的平均池化操作，Maxpool(·)表示沿空间维度的最大池化操作，Fn为第n个残差通道空间注意力模块的残差输出。
进一步地，上述的DEM重建模型训练方法的步骤S3具体包括：S31：利用利用索贝尔算子，提取预处理数字高程模型图和预处理遥感影像的边缘特征，得到数字高程模型边缘特征和遥感影像边缘特征，如公式：
其中，F是输入特征映射，Fedge-x和Fedge-y分别是在x和y方向上计算的梯度；为结合水平和垂直方向的偏导数得到的边缘特征；S32：利用边缘分支和数字高程模型边缘特征和遥感影像边缘特征，得到地形纹理特征，如公式：
其中，为边缘残差，f3×3(·)表示卷积核为3×3的卷积层，δ(·)为LeakyReLU激活函数，/>为遥感影像边缘特征，Mp为使用像素注意力机制基于数字高程模型边缘特征计算的像素注意力图，σ(·)是激活函数Sigmoid，f1×1(·)表示卷积核为1×1的卷积层，为数字高程模型边缘特征，/>表示逐元素相乘，/>为边缘残差与像素注意力图逐元素相乘的结果，/>为残差像素注意力模块的输出；S33：利用1×1卷积层，对残差像素注意力模块的输出进行进一步处理，得到最终边缘特征。
进一步地，上述的DEM重建模型训练方法的步骤S4具体包括：将地形纹理特征和最终边缘特征，输入融合通道，得到输出数字高程模型，如公式所示：
ISR＝f3×3(Fedge+Fcontent)
其中，ISR为输出数字高程模型，f3×3(·)表示卷积核为3×3的卷积层，Fedge为最终边缘特征，Fcontent为地形纹理特征。
进一步地，上述的DEM重建模型训练方法的步骤S5具体包括：利用输出数字高程模型和高分辨率数字高程模型，得到总损失函数，总损失函数用于监督DEM重建模型训练，如公式：
LTotal＝Lcontent+λ1LT-feature+λ2Lconsist
其中，Lcontent为内容特征损失函数，ISR为输出数字高程模型，IHR为高分辨率数字高程模型，ε2为调节参数，用于防止分母为0，LT-feature为地形特征损失函数，Δ(·)为坡度提取算子，为坡向提取算子，α为超参数，用于约束坡度和坡向之间的数量级保持一致，Lconsist为类内相似性损失函数，Fedge为最终边缘特征，/>为从高分辨率数字高程模型提取得到的边缘特征，/>为将输入边缘分支的特征替换成遥感影像经过特征迁移得到的边缘特征图，/>为从遥感影像提取得到的边缘图，LTotal为总损失函数，λ1和λ2为平衡各项损失函数的权重参数。
本发明还提供一种DEM重建方法，包括以下步骤：获取待重建的数字高程模型DEM和同一位置的遥感影像；获取模型，采用上述的模型训练方法对模型进行训练，得到训练好的DEM重建模型；利用训练好的DEM重建模型对待重建的数字高程模型DEM和同一位置的遥感影像进行重建，得到超分辨率重建模型DEM。
实施本发明提供的DEM重建模型训练方法及DEM重建方法，具有以下
有益效果：
本发明考虑到影像与地形之间在尺度上的共性和互补特性，提出一种基于异质特征迁移与融合学习的DEM超分辨率重建方法，借助从对应区域的高分辨率遥感影像中提取的纹理结构和边缘细节的高频特征信息作为补充模态，有效提升DEM数据产品的空间分辨率和地形特征连续性，突破地形数据本身尺度信息的限制、有效捕获图像的全局信息、适应多样化图像特性，实现DEM地形精细特征的重建，提高融合图像在高级视觉任务中的表现，使其更好地服务于地形地貌分析、地表过程建模以及地理信息相关产业应用。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的DEM重建模型训练方法的流程图；
图2是本发明提供的数据预处理操作流程图；
图3是本发明提供的基于影像-地形异质特征迁移与融合学习机制的DEM超分辨率网络框架图；
图4是本发明提供的残差空间通道注意力模块框架示意图；
图5是本发明提供的边缘引导的残差像素注意力模块。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
图1示出了本实施例的DEM重建模型训练方法的一个实施方式的示意图。在本实施例中，DEM重建模型包括内容分支、边缘分支和融合通道；内容分支，用于融合数字高程模型和遥感影像，得到地形纹理特征；边缘分支，用于利用遥感图像的边缘特征来增强数字高程模型的地形结构边缘，得到最终边缘特征；融合通道，用于融合地形纹理特征和最终边缘特征，得到输出数字高程模型；训练方法，包括以下步骤：S1：获取高分辨率数字高程模型，高分辨率数字高程模型用于在模型训练中作为真实标签；获取低分辨率数字高程模型和同一位置的遥感影像，对低分辨率数字高程模型和同一位置的遥感影像进行预处理，得到预处理遥感影像和预处理数字高程模型图；S2：将预处理数字高程模型图和预处理遥感影像，输入内容分支，得到地形纹理特征；S3：将预处理数字高程模型图和预处理遥感影像，输入边缘分支，得到最终边缘特征；S4：将地形纹理特征和最终边缘特征，输入融合通道，得到输出数字高程模型；S5：利用输出数字高程模型和高分辨率数字高程模型，得到总损失函数，总损失函数用于监督DEM重建模型训练；S6：获取总损失预设值，当总损失函数不小于总损失预设值，返回步骤S2，继续训练DEM重建模型；当总损失函数小于总损失预设值，停止训练，得到训练好的DEM重建模型。
具体地，上述的DEM重建模型训练方法的内容分支，包括依次串联连接的拼接器、4个依次串联连接的残差通道空间注意力模块、1×1卷积层；拼接器，用于拼接遥感影像特征图和数字高程模型特征图，得到拼接特征图；残差通道空间注意力模块，包括一次串联连接的第一1×1卷积层、激活函数LeakyReLU、空间注意力模块、第一逐元素相乘器、通道注意力模块、第二逐元素相乘器、逐元素相加器；第二1×1卷积层的输出端与空间注意力模块的输入端和第一逐元素相乘器的第一输入端连接，空间注意力模块的输出端与第一逐元素相乘器的第二输入端连接，第一逐元素相乘器的输出端与通道注意力模块的输入端和第二逐元素相乘器的第一输入端连接，通道注意力模块的输除端和第二逐元素相乘器的第二输入端连接，第二逐元素相乘器的输出端和逐元素相加器的第一输入端连接，第一1×1卷积层的输入端与逐元素相加器的第二输入端连接；空间注意力模块，包括依次串联连接的空间平均池化层和激活函数Sigmoid；通道注意力模块，包括并联连接的通道平均池化层、最大池化层和依次串联连接的通道第一1×1卷积层、通道激活函数LeakyReLU、通道第二1×1卷积层、通道激活函数Sigmoid。
具体地，上述的DEM重建模型训练方法的边缘分支，包括依次串联连接的残差像素注意力模块和1×1卷积层；残差像素注意力模块，包括残差单元、像素注意力单元、逐元素相乘器和逐元素相加器；残差单元的输出端和逐元素相乘器第一输入端连接，像素注意力单元的输出端和逐元素相乘器第二输入端连接，逐元素相乘器输出端和逐元素相加器的第一输入端连接，像素注意力单元的输入端和逐元素相加器的第二输入端连接；残差单元，包括依次串联连接的残差第一3×3卷积层、残差激活函数LeakyReLU、残差第二3×3卷积层；像素注意力单元，包括依次串联连接的像素第一1×1卷积层、像素激活函数LeakyReLU、残差第二1×1卷积层和像素激活函数Sigmoid。
具体地，上述的DEM重建模型训练方法的融合通道，包括依次连接的逐元素相加器和3×3卷积层。
具体地，上述的DEM重建模型训练方法的步骤S1具体包括：S11：获取低分辨率数字高程模型和同一位置的遥感影像，利用插值算法，将低分辨率数字高程模型进行上采样，得到输入数字高程模型，输入数字高程模型的分辨率为预设目标分辨率；S12：利用投影变换，将遥感影像进行预投影，得到输入遥感影像，输入遥感影像与低分辨率数字高程模型对齐；S13：将输入数字高程模型和输入遥感影像进行剪裁、归一化，得到预处理数字高程模型图和预处理遥感影像。
具体地，上述的DEM重建模型训练方法的步骤S2具体包括：S21：对预处理数字高程模型图和预处理遥感影像分别进行特征提取，得到数字高程模型特征图和遥感影像特征图；S22：利用内容分支，对数字高程模型特征图和遥感影像特征图进行拼接，得到拼接特征图；S23：利用内容分支和拼接特征图，得到地形纹理特征，如公式：
F＝[FDEM，FRS]，Rn＝f1×1(δ(f1×1(Fn-1)))，
Ms＝σ(Avgpoolc(Rn))，
Mc＝σ(f1×1(δ(f1×1(Avgpools(Rs))))+f1×1(δ(f1×1(Maxpool(Rs)))))，
Fn＝Fn-1+Rc
其中，F为拼接特征图，Rn为第n个残差通道空间注意力模块的残差输出，f1×1(·)表示卷积核为1×1的卷积层，δ(·)为LeakyReLU激活函数，Fn-1为第n个残差通道空间注意力模块的输入，Rs为空间注意力模块得到的残差输出，Ms为空间注意力图，Rc为通道注意力模块得到的残差输出，Mc为通道注意力图，表示逐元素相乘，Avgpoolc(·)是沿通道维度的平均池化操作，用于获得二维特征映射，σ(·)是激活函数Sigmoid，Avgpools(·)表示沿空间维度的平均池化操作，Maxpool(·)表示沿空间维度的最大池化操作，Fn为第n个残差通道空间注意力模块的残差输出。
具体地，上述的DEM重建模型训练方法的步骤S3具体包括：S31：利用利用索贝尔算子，提取预处理数字高程模型图和预处理遥感影像的边缘特征，得到数字高程模型边缘特征和遥感影像边缘特征，如公式：
其中，F是输入特征映射，Fedge-x和Fedge-y分别是在x和y方向上计算的梯度；为结合水平和垂直方向的偏导数得到的边缘特征；S32：利用边缘分支和数字高程模型边缘特征和遥感影像边缘特征，得到地形纹理特征，如公式：
其中，为边缘残差，f3×3(·)表示卷积核为3×3的卷积层，δ(·)为LeakyReLU激活函数，/>为遥感影像边缘特征，Mp为使用像素注意力机制基于数字高程模型边缘特征计算的像素注意力图，σ(·)是激活函数Sigmoid，f1×1(·)表示卷积核为1×1的卷积层，为数字高程模型边缘特征，/>表示逐元素相乘，/>为边缘残差与像素注意力图逐元素相乘的结果，/>为残差像素注意力模块的输出；S33：利用1×1卷积层，对残差像素注意力模块的输出进行进一步处理，得到最终边缘特征。
具体地，上述的DEM重建模型训练方法的步骤S4具体包括：将地形纹理特征和最终边缘特征，输入融合通道，得到输出数字高程模型，如公式所示：
ISR＝f3×3(Fedge+Fcontent)
其中，ISR为输出数字高程模型，f3×3(·)表示卷积核为3×3的卷积层，Fedge为最终边缘特征，Fcontent为地形纹理特征。
具体地，上述的DEM重建模型训练方法的步骤S5具体包括：利用输出数字高程模型和高分辨率数字高程模型，得到总损失函数，总损失函数用于监督DEM重建模型训练，如公式：
LTotal＝Lcontent+λ1LT-feature+λ2Lconsist
其中，Lcontent为内容特征损失函数，ISR为输出数字高程模型，IHR为高分辨率数字高程模型，ε2为调节参数，用于防止分母为0，LT-feature为地形特征损失函数，Δ(·)为坡度提取算子，则为坡向提取算子，α为超参数，用于约束坡度和坡向之间的数量级保持一致，Lconsist为类内相似性损失函数，Fedge为最终边缘特征，/>为从高分辨率数字高程模型提取得到的边缘特征，/>为将输入边缘分支的特征替换成遥感影像经过特征迁移得到的边缘特征图，/>为从遥感影像提取得到的边缘图，LTotal为总损失函数，λ1和λ2为平衡各项损失函数的权重参数。
本实施例提供一种DEM重建方法，包括以下步骤：获取待重建的数字高程模型DEM和同一位置的遥感影像；获取模型，采用上述的模型训练方法对模型进行训练，得到训练好的DEM重建模型；利用训练好的DEM重建模型对待重建的数字高程模型DEM和同一位置的遥感影像进行重建，得到超分辨率重建模型DEM。
在一些实施例中，上述DEM重建方法可以通过以下方式实施。
该方法的核心思想是充分利用高分辨率遥感图像的高频信息，通过探索其具有判别性的特征表示来增强DEM的空间分辨率。模型的输入包括待重建的低分辨率DEM和作为辅助数据的高分辨率遥感影像。具体来说，通过残差空间通道注意力块(Residual Spatial-Channel Attention Block，RSCAB)将从DEM中提取的结构特征与图像进行融合，形成内容分支内的地形纹理；此外，在边缘分支中设计了地形边缘引导的残差像素注意力块(Terrain-Edgeguided Residual Pixel Block，TE-RPAB)，用于从遥感影像中生成表征精细尺度地形细节的高频边缘特征。最后，将地形导向结构和边缘特征进行融合，得到最终的超分辨率结果。本实施例包括以下步骤：
步骤1：将低分辨率的DEM利用插值算法得到和目标分辨率一致的DEM作为网络的输入数据，同时利用相同位置的遥感影像作为辅助数据，将DEM和遥感影像经过配准、归一化等预处理之后一同输入到网络中；具体来说，首先将辅助遥感影像通过投影变换粗对齐到DEM的参考基准；为了保证输入的多模态数据具有相同的分辨率，对DEM数据利用插值算法上采样到相应的高分辨率。此外，由于DEM数据集主要记录内陆陆地表面的高程，因此排除了海洋区域。然后对输入数据进行裁剪、归一化等预处理操作，具体流程如图2所示。
步骤2，将DEM和遥感影像输入基于影像-地形异质特征迁移与融合学习机制的DEM超分辨率网络，具体网络结构可见图3。在结构分支，将输入DEM和图像的结构信息进行融合，形成超分辨率结果的基本纹理；同时利用可见光图像的高空间分辨率优势，作为辅助数据增强DEM的空间细节。具体来说，经过特征提取获得特征图FDEM和FRS，首先利用内容分支的残差空间通道注意力模块(RSCAB)获取纹理信息，此处所用模块详见图4。具体来说，首先利用拼接之后的特征进行残差学习：
F＝[FDEM,FRS] (1)
Rn＝f1×1(δ(f1×1(Fn-1))) (2)
其中Fn-1和Rn分别是第n个RSCAB的输入和残差输出，f1×1表示卷积核为1×1的卷积层，δ(·)为LeakyReLU激活函数。
然后，通过空间通道注意力模块对残差进行重新缩放，其可以表示为：
其中，Ms和Mc分别为空间和通道注意力图。表示逐元素相乘。这里基本假设是，在遥感影像和DEM数据中都可以观察到感知的地形结构特征。因此，基于空间注意力权重(Ms)，为像素分配较大的权重。此外，从更高分辨率的可见光图像中提取的地形结构特征提供了更清晰的细节，这些细节应该对融合结果做出更多贡献，通道注意力图(Mc)用于通道级特征缩放。
具体来说，通过池化操作聚合通道信息得到空间注意图，其计算为：
Ms＝σ(Avgpoolc(Rn)) (4)
其中Avgpoolc(·)是沿通道维度的平均池化操作，获得二维特征映射，σ(·)是sigmoid激活函数。对于通道注意力图，同时使用平均池化和最大池化操作聚合输入特征图的空间信息。然后将结果转发到由两个堆叠的卷积层组成的共享网络，以生成通道注意力图。其过程可以描述为：
Mc＝σ(f1×1(δ(f1×1(Avgpools(Rs))))+f1×1(δ(f1×1(Maxpool(Rs))))) (5)
其中Avgpools(·)和Maxpool(·)表示沿空间维度的平均池化操作和最大池化操作。f1×1(·)是指1×1卷积层。
为了更好地通过网络学习残差信息，引入一个跳跃连接，通过以下方式获得RSCAB的输出:
Fn＝Fn-1+Rc (6)
内容分支包含4个RSCAB，最后使用1×1卷积层对输出进一步处理以降低通道维度，形成内容分支内的地形纹理Fcontent。
准确识别地形特征(如峰谷点、沟道线等)在地形相关应用中发挥着重要作用，但对数据中地形特征的清晰边界或边缘有很高的要求。
在边缘分支中，采用从高分辨率遥感图像中提取的边缘特征图增强DEM的地形结构边缘；考虑到多模态数据源之间的语义鸿沟，需要调整图像边缘以匹配地形边缘的分布。因此，我们设计了地形边缘引导的残差像素注意力块(TE-RPAB)来实现这一任务，用于从高分辨率图像中生成表征精细尺度地形细节的高频边缘特征Fedge。此处所用模块详见图5。
具体来说，首先，利用索贝尔算子(Sobel)对遥感影像和DEM提取边缘特征：
其中F是输入特征映射，Fedge-x和Fedge-y分别是在x和y方向上计算的梯度。然后结合水平和垂直方向的偏导数，得到最终的边缘特征
这里我们将从DEM和可见光影像中提取的边缘特征分别表示为和/>然后用残差单元对/>进行处理，生成更为突出的边缘信息，可以表示为：
这一步的目的是过滤从可见光影像中提取的与地表过渡相关的边缘特征，保留地形特征的边界以用于DEM重建。因此，利用的像素注意力图对得到的边缘残差进行重缩放：
其中Mp为使用像素注意力机制基于计算的像素注意力图。具体来说，/>所有像素的注意力系数计算如下：
通过学习各通道像素之间的相互依赖关系，为中信息量大的特征分配较大的权重。与内容分支类似，TE-RPAB的输出通过应用一个短跳跃连接最终得到：
其中为TE-RPAB的输出，它被1×1卷积层进一步处理以匹配Fcontent的尺寸并推导出边缘分支的最终输出(Fedge)。
最后，将地形纹理特征和边缘特征进行融合，得到最终的超分辨率重建结果ISR：
ISR＝f3×3(Fedge+Fcantent) (13)
步骤3，利用所述步骤2获取重建后的DEM数据和高分辨率DEM结果按下式计算内容特征损失函数Lcontent和地形特征损失函数LT-featire：
其中，其中，IHR表示经过高分辨率DEM，ε2用于防止分母为0。Δ(·)为坡度提取算子，则为坡向提取算子，α为超参数，用于约束坡度和坡向之间的数量级保持一致。
进一步地，基于边缘分支中输出得到的边缘特征Fedge和按下式计算类内相似性损失函数Lconsist：
其中，为从高分辨率DEM提取得到的边缘，/>和/>分别代表将输入边缘分支的特征替换成遥感影像经过特征迁移得到的边缘特征图和从遥感影像提取得到的边缘图。
进一步地，加权求和各损失函数获得总的损失函数LTotal来监督超分辨率重建网络的学习，LTotal可用下式表达：
LTotal＝Lcontent+λ1LT-feature+λ2Lconsist (17)
其中，λ1和λ2为平衡各项损失函数的权重参数。
步骤4，重复步骤2和3直至损失函数收敛，获得超分辨率重建模型。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种DEM重建模型训练方法，其特征在于，所述DEM重建模型包括内容分支、边缘分支和融合通道；所述内容分支，用于融合数字高程模型和遥感影像，得到地形纹理特征；所述边缘分支，用于利用遥感图像的边缘特征来增强数字高程模型的地形结构边缘，得到最终边缘特征；所述融合通道，用于融合所述地形纹理特征和所述最终边缘特征，得到输出数字高程模型；所述训练方法，包括以下步骤：
S1：获取高分辨率数字高程模型，所述高分辨率数字高程模型用于在模型训练中作为真实标签；获取低分辨率数字高程模型和同一位置的遥感影像，对所述低分辨率数字高程模型和同一位置的遥感影像进行预处理，得到预处理遥感影像和预处理数字高程模型图；
S2：将所述预处理数字高程模型图和预处理遥感影像，输入所述内容分支，得到地形纹理特征；
S3：将所述预处理数字高程模型图和预处理遥感影像，输入所述边缘分支，得到最终边缘特征；
S4：将所述地形纹理特征和所述最终边缘特征，输入所述融合通道，得到输出数字高程模型；
S5：利用所述输出数字高程模型和所述高分辨率数字高程模型，得到总损失函数，所述总损失函数用于监督所述DEM重建模型训练；
S6：获取总损失预设值，当所述总损失函数不小于所述总损失预设值，返回步骤S2，继续训练所述DEM重建模型；当所述总损失函数小于所述总损失预设值，停止训练，得到训练好的DEM重建模型。
2.根据权利要求1所述的DEM重建模型训练方法，其特征在于：所述内容分支，包括依次串联连接的拼接器、4个依次串联连接的残差通道空间注意力模块、1×1卷积层；所述拼接器，用于拼接遥感影像特征图和数字高程模型特征图，得到拼接特征图；所述残差通道空间注意力模块，包括一次串联连接的第一1×1卷积层、激活函数LeakyReLU、空间注意力模块、第一逐元素相乘器、通道注意力模块、第二逐元素相乘器、逐元素相加器；所述第二1×1卷积层的输出端与所述空间注意力模块的输入端和所述第一逐元素相乘器的第一输入端连接，所述空间注意力模块的输出端与所述第一逐元素相乘器的第二输入端连接，所述第一逐元素相乘器的输出端与所述通道注意力模块的输入端和所述第二逐元素相乘器的第一输入端连接，所述通道注意力模块的输除端和所述第二逐元素相乘器的第二输入端连接，所述第二逐元素相乘器的输出端和所述逐元素相加器的第一输入端连接，所述第一1×1卷积层的输入端与所述逐元素相加器的第二输入端连接；所述空间注意力模块，包括依次串联连接的空间平均池化层和激活函数Sigmoid；所述通道注意力模块，包括并联连接的通道平均池化层、最大池化层和依次串联连接的通道第一1×1卷积层、通道激活函数LeakyReLU、通道第二1×1卷积层、通道激活函数Sigmoid。
3.根据权利要求2所述的DEM重建模型训练方法，其特征在于：所述边缘分支，包括依次串联连接的残差像素注意力模块和1×1卷积层；所述残差像素注意力模块，包括残差单元、像素注意力单元、逐元素相乘器和逐元素相加器；所述残差单元的输出端和所述逐元素相乘器第一输入端连接，所述像素注意力单元的输出端和所述逐元素相乘器第二输入端连接，所述逐元素相乘器输出端和所述逐元素相加器的第一输入端连接，所述像素注意力单元的输入端和所述逐元素相加器的第二输入端连接；所述残差单元，包括依次串联连接的残差第一3×3卷积层、残差激活函数LeakyReLU、残差第二3×3卷积层；所述像素注意力单元，包括依次串联连接的像素第一1×1卷积层、像素激活函数LeakyReLU、残差第二1×1卷积层和像素激活函数Sigmoid。
4.根据权利要求3所述的DEM重建模型训练方法，其特征在于：所述融合通道，包括依次连接的逐元素相加器和3×3卷积层。
5.根据权利要求4所述的DEM重建模型训练方法，其特征在于，步骤S1具体包括：
S11：获取低分辨率数字高程模型和同一位置的遥感影像，利用插值算法，将低分辨率数字高程模型进行上采样，得到输入数字高程模型，所述输入数字高程模型的分辨率为预设目标分辨率；
S12：利用投影变换，将所述遥感影像进行预投影，得到输入遥感影像，所述输入遥感影像与所述低分辨率数字高程模型对齐；
S13：将所述输入数字高程模型和所述输入遥感影像进行剪裁、归一化，得到预处理数字高程模型图和预处理遥感影像。
6.根据权利要求4所述的DEM重建模型训练方法，其特征在于，步骤S2具体包括：
S21：对所述预处理数字高程模型图和预处理遥感影像分别进行特征提取，得到数字高程模型特征图和遥感影像特征图；
S22：利用所述内容分支，对所述数字高程模型特征图和遥感影像特征图进行拼接，得到拼接特征图；
S23：利用所述内容分支和所述拼接特征图，得到地形纹理特征，如公式：
F＝[FDEM，FRS]，Rn＝f1×1(δ(f1×1(Fn-1)))，
Ms＝σ(Avgpoolc(Rn))，
Mc＝σ(f1×1(δ(f1×1(Avgpools(Rs))))+f1×1(δ(f1×1(Maxpool(Rs)))))
Fn＝Fn-1+Rc
其中，F为拼接特征图，Rn为第n个残差通道空间注意力模块的残差输出，f1×1(·)为卷积核为1×1的卷积层，δ(·)为LeakyReLU激活函数，Fn-1为第n个残差通道空间注意力模块的输入，Rs为空间注意力模块得到的残差输出，Ms为空间注意力图，Rc为通道注意力模块得到的残差输出，Mc为通道注意力图，表示逐元素相乘，Avgpoolc(·)是沿通道维度的平均池化操作，用于获得二维特征映射，σ(·)是激活函数Sigmoid，Avgpools(·)表示沿空间维度的平均池化操作，Maxpool(·)表示沿空间维度的最大池化操作，Fn为第n个残差通道空间注意力模块的残差输出。
7.根据权利要求4所述的DEM重建模型训练方法，其特征在于，步骤S3具体包括：
S31：利用利用索贝尔算子，提取所述预处理数字高程模型图和预处理遥感影像的边缘特征，得到数字高程模型边缘特征和遥感影像边缘特征，如公式：
其中，F是输入特征映射，Fedge-x和Fedge-y分别是在x和y方向上计算的梯度；为结合水平和垂直方向的偏导数得到的边缘特征；
S32：利用所述边缘分支和所述数字高程模型边缘特征和遥感影像边缘特征，得到地形纹理特征，如公式：
其中，为边缘残差，f3×3(·)表示卷积核为3×3的卷积层，δ(·)为LeakyReLU激活函数，/>为遥感影像边缘特征，Mp为使用像素注意力机制基于数字高程模型边缘特征计算的像素注意力图，σ(·)是激活函数Sigmoid，f1×1(·)表示卷积核为1×1的卷积层，为数字高程模型边缘特征，/>表示逐元素相乘，/>为边缘残差与所述像素注意力图逐元素相乘的结果，/>为残差像素注意力模块的输出；
S33：利用1×1卷积层，对所述残差像素注意力模块的输出进行进一步处理，得到最终边缘特征。
8.根据权利要求4所述的DEM重建模型训练方法，其特征在于，步骤S4具体包括：
将所述地形纹理特征和所述最终边缘特征，输入所述融合通道，得到输出数字高程模型，如公式所示：
ISR＝f3×3(Fedge+Fcontent)
其中，ISR为输出数字高程模型，f3×3(·)表示卷积核为3×3的卷积层，Fedge为最终边缘特征，Fcontent为地形纹理特征。
9.根据权利要求4所述的DEM重建模型训练方法，其特征在于，步骤S5具体包括：
利用所述输出数字高程模型和所述高分辨率数字高程模型，得到总损失函数，所述总损失函数用于监督所述DEM重建模型训练，如公式：
LTotal＝Lcontent+λ1LT-feature+λ2Lconsist
其中，Lcontent为内容特征损失函数，ISR为输出数字高程模型，IHR为高分辨率数字高程模型，ε2为调节参数，用于防止分母为0，LT-feature为地形特征损失函数，Δ(·)为坡度提取算子，则为坡向提取算子，α为超参数，用于约束坡度和坡向之间的数量级保持一致，Lconsist为类内相似性损失函数，Fedge为最终边缘特征，/>为从高分辨率数字高程模型提取得到的边缘特征，/>为将输入边缘分支的特征替换成遥感影像经过特征迁移得到的边缘特征图，/>为从遥感影像提取得到的边缘图，LTotal为总损失函数，λ1和λ2为平衡各项损失函数的权重参数。
10.一种DEM重建方法，其特征在于，包括以下步骤：
获取待重建的数字高程模型DEM和同一位置的遥感影像；
获取模型，采用如权利要求1-9中任一项的模型训练方法对所述模型进行训练，得到训练好的DEM重建模型；
利用所述训练好的DEM重建模型对待重建的数字高程模型DEM和同一位置的遥感影像进行重建，得到超分辨率重建模型DEM。
CN202410240381.4A 2024-03-04 2024-03-04 一种dem重建模型训练方法及dem重建方法 Pending CN118037976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410240381.4A CN118037976A (zh) 2024-03-04 2024-03-04 一种dem重建模型训练方法及dem重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410240381.4A CN118037976A (zh) 2024-03-04 2024-03-04 一种dem重建模型训练方法及dem重建方法

Publications (1)

Publication Number Publication Date
CN118037976A true CN118037976A (zh) 2024-05-14

Family

ID=90983890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410240381.4A Pending CN118037976A (zh) 2024-03-04 2024-03-04 一种dem重建模型训练方法及dem重建方法

Country Status (1)

Country Link
CN (1) CN118037976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334363A (zh) * 2024-06-12 2024-07-12 中国科学院沈阳应用生态研究所 基于遥感图像和LiDAR分析的地形特征语义建模方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334363A (zh) * 2024-06-12 2024-07-12 中国科学院沈阳应用生态研究所 基于遥感图像和LiDAR分析的地形特征语义建模方法

Similar Documents

Publication Publication Date Title
Tuna et al. Single-frame super resolution of remote-sensing images by convolutional neural networks
Liu et al. Effective image super resolution via hierarchical convolutional neural network
Casaca et al. Combining anisotropic diffusion, transport equation and texture synthesis for inpainting textured images
Sonogashira et al. High-resolution bathymetry by deep-learning-based image superresolution
CN118037976A (zh) 一种dem重建模型训练方法及dem重建方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
Liu et al. Painting completion with generative translation models
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN116091492B (zh) 一种图像变化像素级检测方法与系统
Sahu et al. A Bayesian multiresolution approach for noise removal in medical magnetic resonance images
CN114742733A (zh) 云去除方法、装置、计算机设备和存储介质
Zhang et al. Transres: a deep transfer learning approach to migratable image super-resolution in remote urban sensing
Wang et al. Multi-frame super-resolution of remote sensing images using attention-based GAN models
Yang et al. MSE-Net: generative image inpainting with multi-scale encoder
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Sharma et al. An efficient image super resolution model with dense skip connections between complex filter structures in Generative Adversarial Networks
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
Zhao et al. Thermal UAV image super-resolution guided by multiple visible cues
Wang et al. Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique
Gonzalez DL4DS—Deep learning for empirical downscaling
Zhang et al. TANet: Transmission and atmospheric light driven enhancement of underwater images
Liu et al. SACTNet: Spatial attention context transformation network for cloud removal
Fang et al. Learning explicit smoothing kernels for joint image filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination