CN117474765A - 基于参考影像纹理转移的dem超分辨率重建系统 - Google Patents

基于参考影像纹理转移的dem超分辨率重建系统 Download PDF

Info

Publication number
CN117474765A
CN117474765A CN202311835497.4A CN202311835497A CN117474765A CN 117474765 A CN117474765 A CN 117474765A CN 202311835497 A CN202311835497 A CN 202311835497A CN 117474765 A CN117474765 A CN 117474765A
Authority
CN
China
Prior art keywords
resolution
dem
image
module
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311835497.4A
Other languages
English (en)
Other versions
CN117474765B (zh
Inventor
叶江
邓懿鑫
张铃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202311835497.4A priority Critical patent/CN117474765B/zh
Publication of CN117474765A publication Critical patent/CN117474765A/zh
Application granted granted Critical
Publication of CN117474765B publication Critical patent/CN117474765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于DEM影像超分辨率重建领域。本发明针对目前的DEM超分辨重建算法，忽视了DEM影像纹理与遥感影像纹理特征之间的联系，提供基于参考影像纹理转移的DEM超分辨率重建系统，分别对低分辨率DEM图像、参考遥感图像以及低分辨率参考图像进行特征提取，获得对应特征图；以低分辨率参考图像为媒介，实现低分辨率DEM图像及参考遥感图像的特征匹配；对经过空间位置匹配后的低分辨率DEM图像与参考遥感图像进行颜色和亮度匹配；最后，进行低分辨率特征与高分辨率特征融合，使得低分辨率DEM图像与参考遥感图像之间特征细节得到增强和聚合，从而获得重建后的高分辨率DEM图像。利用深度学习网络，通过引入遥感影像的纹理特征信息，来增强DEM的分辨率。

Description

基于参考影像纹理转移的DEM超分辨率重建系统
技术领域
本发明属于DEM影像超分辨率重建领域，具体涉及基于参考影像纹理转移的DEM超分辨率重建系统。
背景技术
数字高程模型（Digital Elevation Model，DEM）利用有限的离散数字高程序列表达地球表面形态的变化，是地形分析和建模的重要数据源之一。但由于技术限制和测绘成本等原因，获得高分辨率的全球DEM代价高昂。而低分辨率的DEM导致相关应用受到限制，比如在地形分类中导致精度较低。图像超分辨率技术的出现使在低成本条件下解决这一问题带来了新的思路。超分辨率重建可以通过学习低分辨率图像特征来重建高分辨率图像，是一种有效提高图像分辨率的技术。国内外许多学者进行深入研究，提出包括基于插值、基于重构和基于学习的三类超分辨率重建方法。插值算法过于简单而重构法受限于先验知识质量，通常存在着图像整体模糊、细节严重缺失等问题。这些方法逐渐被基于学习的方法替代，其中基于深度学习的重建算法是目前研究的热点。
由于卷积神经网络在图像处理领域的强大能力，基于深度学习的重建方法能够有效地提高DEM图像的质量。Chen等人首次将深度学习图像超分辨网络应用扩展到DEM场景，提出D-SRCNN网络。通过三层卷积提取DEM特征并用于重建高分辨率DEM。但是D-SRCNN网络深度较浅，特征提取能力较弱，通过引入深度残差网络，可以大大提高DEM重建网络能力。深度网络中过多的参数可能导致网络容易出现过拟合，通过去除全连接层，使用全卷积网络可以大幅度提高DEM重建能力。DEM数据可以清楚地描述滑坡区域的形变，有学者通过引入ESRGAN网络，获得了高精度滑坡区域DEN。该方法首次将重建图像应用于滑坡监测领域，并取得了非常好的效果。D-SRGAN进一步探索了对抗神经网络在DEM影像超分辨率领域的性能，并成功将分辨率为50m的DEM超分辨率重建到30m。Li等人建立了一种内外部学习结合的方法，基于内部学习的超分辨率重建方法与外部学习的超分辨率重建方法之间的互补关系来改善DEM超分辨率效果。
综上所述，目前的DEM超分辨重建算法，都是基于DEM影像本身进行特征提取，忽视了DEM影像纹理与遥感影像纹理特征之间的联系。遥感影像的纹理特征可以描述地物光谱信息的空间分布规律，被广泛应用于遥感图像解译中。DEM图像纹理特征和遥感图像纹理都是地表特征的不同的表现形式，它们之间存在某种联系。DEM纹理特征可以过滤地表覆盖物的影响，更直接地展示地形变化。在地形分类和地貌分析中，可以通过结合DEM纹理和遥感纹理来提高地形分类的精度和可靠性。
发明内容
本发明要解决的技术问题是，DEM纹理特征在地形地貌分类中具有重要意义，DEM纹理不受地表覆盖物的干扰，能够更加准确的描述地形特征。在不同角度的光照条件下，DEM影像对地形特征的区分度远远高于影像数据。而目前的DEM超分辨重建算法，通常基于DEM内部像素点的分布特征来进行重建工作，这类方法会造成DEM纹理特征过度平滑导致信息缺失。通过引入外部信息可以更好的重建DEM的纹理特征，而DEM影像纹理与遥感影像纹理特征之间存在相关性，且高分辨率遥感图像相较于DEM影像更容易获取。本发明针对如何引入高分辨率遥感图像的纹理提出了一种基于参考影像纹理转移的DEM超分辨率重建系统，利用深度学习网络，通过引入遥感影像的纹理特征信息，来增强DEM的分辨率。
本发明解决技术问题采用的技术方案是，提供一种基于参考影像纹理转移的DEM超分辨率重建系统，包括数据采集模块、特征提取模块、特征匹配模块、空间自适应模块以及双残差聚合模块；
所述数据采集模块，用于获取待重建的低分辨率DEM图像，及其对应的参考遥感图像/>，对参考遥感图像/>进行降采样获得与低分辨率DEM图像相同尺寸的低分辨率参考图像/>；
所述特征提取模块，用于接收数据采集模块的传输数据，分别对低分辨率DEM图像、参考遥感图像/>以及低分辨率参考图像/>进行特征提取，获得对应特征图，并将其传输至特征匹配模块；
所述特征匹配模块，用于接收特征提取模块输出数据，以低分辨率参考图像为媒介，实现低分辨率DEM图像/>及参考遥感图像/>的特征匹配；使低分辨率DEM图像/>在空间位置上匹配参考遥感图像/>的纹理和结构，并将其传输至空间自适应模块；
所述空间自适应模块，用于接收特征匹配模块输出数据，对经过空间位置匹配后的低分辨率DEM图像与参考遥感图像/>进行颜色和亮度匹配；
所述双残差聚合模块，用于接收空间自适应模块输出数据，对其进行低分辨率特征与高分辨率特征融合，使得低分辨率DEM图像与参考遥感图像/>之间特征细节得到增强和聚合，从而获得重建后的高分辨率DEM图像。
在一个实施例中，所述特征提取模块通过VGG19网络、金字塔池化模块以及选择性卷积核提取低分辨率DEM图像、参考遥感图像/>以及低分辨率参考图像/>的特征图；分别获得参考遥感图像/>具有不同尺度的三个参考遥感特征图/>；低分辨率DEM图像/>的尺度/>的低分辨率DEM特征图/>和低分辨率参考图像/>的低分辨率参考特征图/>，并将/>输入到特征匹配模块。
在一个实施例中，所述特征匹配模块接收特征提取模块输出数据，以低分辨率参考图像为媒介，实现低分辨率DEM图像/>及参考遥感图像/>的特征匹配，共分为三个阶段：粗粒度匹配、细粒度匹配和特征提取。
在一个实施例中，粗粒度匹配包括以下步骤：
将 展开为不重叠的粗块/>,对每一个/>内部再进一步按照/>尺寸划分细块；使用/>的中心细块寻找/>中余弦相似度得分最高的细块；其中，相似度计算公式如下：
；
其中，是每个/>的中心细块，/>是第/>个/>的细块，/>是相似度得分；
根据相似度得分，找到中和每个/>的中心细块最相似的/>，以/>为中心裁剪一个大小为/>的粗块作为/>;膨胀度/>；
在中裁剪对应的/>块用于特征匹配，用/>表示完成，从而使每/>获得与之最相关的/>和与/>对应区域的/>，组成最相关组/>，完成的粗粒度匹配。
在一个实施例中，对每个的中心细块/>进行不同尺度的膨胀后进行相似度计算，最终的相似度得分为不同尺度下相似度得分的总和。
在一个实施例中，细粒度匹配包括以下步骤：
在和/>内部执行密集细块匹配；即计算每一对/>中对应细块的相似度，获得索引映射/>和相似性映射/>；相似度计算公式如下：
；
其中，是/>中第/>个细块，/>是/>中第/>个细块，/>是最相似度得分；索引映射的第/>个元素被计算为：
；
相似性映射的第/>个元素是在/>中第/>个细块最高相似度得分：
；
完成的细粒度匹配。
在一个实施例中，特征提取包括以下步骤：
根据索引映射从/>进行裁剪，组成新的特征图/>；利用相似度矩阵/>对新的特征图/>进行加权，获得匹配体征图，计算公式如下：
；
其中，表示双线性插值，/>表示哈达玛（Hadamard）积；
将折叠在一起，为特征匹配模块的输出。
在一个实施例中，所述空间自适应模块接收特征匹配模块输出数据，将经过空间位置匹配后的特征图和/>连接后输入卷积层，得到与/>大小相同的两个参数/>和/>；将输出参数分别归一化加入/>中，如下式：
；
其中，表示/>的c通道，/>为在/>的c通道中的标准差，/>为在/>的c通道中的均值，表示为下：
；
；
其中，H和W分别为的高度和宽度，/>表示/>的c通道中像素值，/>表示对应像素点的坐标；
然后，用的均值和标准差更新/>和/>：
；
；
其中，为在/>的c通道中的标准差，/>为在/>的c通道中的均值;
最后,和/>相乘并以元素方式归一化特征到/>中,公式如下：
。
在一个实施例中，所述双残差聚合模块，接收空间自适应模块处理后的数据后，首先通过卷积层对进行下采样，然后通过转置卷积层对下采样的/>和/>之间的残差进行上采样并结合，将/>高频信息增强得到/>，公式如下：
;
通过计算将下采样的残差特征和参考图像融合，强化/>中高频细节；
同理，对低分辨率特征进行增强得到：
;
最后，将两个分支的输出级联并通过一个卷积层聚合，使得低分辨率DEM图像与参考遥感图像/>之间特征细节得到增强和聚合。
本发明的有益效果在于：本发明利用深度学习网络，通过引入遥感影像的纹理特征信息，来增强DEM的分辨率。在该网络中，通过添加金字塔池化模块和选择性卷积模块来增强纹理特征的提取能力。将高分辨率遥感图像作为辅助数据，引入遥感图像纹理特征来重建DEM图像。通过引入外部信息，将遥感图像纹理信息引入到DEM重建过程中，解决了单图像超分辨率重建存在的病态问题，通过引入遥感影像的纹理细节大大提高了DEM重建的效果。
附图说明
图1是本发明实施例1中网络模型框架。
图2是本发明实施例1中空间适配模块。
图3是本发明实施例1中双残差聚合模块。
图4是本发明实施例1中VGG19模块。
图5是本发明实施例1中金字塔池化模块。
图6是本发明实施例1中选择性卷积模块。
图7是本发明实施例1中不同膨胀率的的相似度计算的粗粒度匹配。
图8是本发明实施例1中不同膨胀率的的相似度计算的细粒度匹配及特征提取。
图9是本发明实施例2中DEM纹理和遥感影像纹理参考数据集。
图10是本发明实施例2中测试结果。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请用到的专业术语中英文对照如下:融合模块：Fusion；提取模块：MEM（Match&Extraction Module）；空间适配模块：SAM（Spatial Adaptation Module）；双残差聚合模块：DRAM（Dual Residual Aggregation Module）；卷积：Conv（convolution）；逆卷积：Deconv（Deconvolution）；最大池化:max pool;全 连 接 层:Fc (Fully Connected);多类别分类激活函数:Softmax;池化:Pool;金字塔池化模块:PPM (Pyramid PoolingModule，PPM）；上采样:UPSAMPLE;卷积核:Kernel;选择性卷积核：Selective kernel;逐元素求和:element-wise summation;逐元素乘积:element-wise product;分割;数据分割:Split;自适应选择:Select;融合:Fuse;折叠函数:FOLD（fold function）,是一种对集合中的元素进行聚合操作的函数,通过迭代集合中的元素，并根据指定的函数将它们逐个聚合成一个单一的结果;补丁:Patch;高空间分辨率影像:HR: （High-spatial Resolution，HR）；低分辨率影像:LR（Low Resolution，LR）；超分辨率卷积神经网络:SRCNN：Super-Resolution CNN；快速超分辨率卷积神经网络:FSRCNN（Fast SRCNN）；卷积神经网络:CNN（Convolutional Neural Network）；超分辨率残差网络:SRResNet（Super-ResolutionResidual Network）；超分辨率生成对抗网络:SRGAN（Super-Resolution GenerativeAdversarial Network); 相似度得分函数:arg；相似度得分最大值函数:argmax 。
实施例1
本例最终模型结构包括如图1的网络模型框架，图2的空间适配模块(SAM)以及图3的双残差聚合模块（DRAM）。模型输入是低分辨率DEM纹理图像，高分辨率遥感图像，输出是重建后高分辨率DEM纹理图像。通过逐层上采样和纹理转移，将遥感图像中与DEM最相关的纹理特征转移到DEM图像中，实现低分辨率DEM图像的增强。该模型包括数据采集模块、特征提取模块、特征匹配模块、空间自适应模块以及双残差聚合模块（部分模块图中未给出）；其中特征提取模块采用VGG19模块如图4、金字塔池化模块如图5和选择性卷积核如图6进行多尺度的特征提取。
其中，数据采集模块，用于获取待重建的低分辨率DEM图像，及其对应的参考遥感图像/>，对参考遥感图像/>进行降采样获得与低分辨率DEM图像相同尺寸的低分辨率参考图像/>。
所述特征提取模块，用于接收数据采集模块传输数据，通过VGG19网络、金字塔池化模块以及选择性卷积核提取低分辨率DEM图像、参考遥感图像/>以及低分辨率参考图像/>的特征图；分别获得参考遥感图像/>具有不同尺度的三个参考遥感特征图；低分辨率DEM图像/>的尺度/>的低分辨率DEM特征图/>和低分辨率参考图像/>的低分辨率参考特征图/>，并将/>输入到特征匹配模块中执行粗到细的对应匹配和特征提取。
特征匹配模块以为媒介实现/>和/>的匹配和对齐。匹配过程中为了提高匹配效率和匹配的精度，一共分为三个阶段：粗粒度匹配、细粒度匹配和特征提取。
阶段1：粗粒度匹配，如图7所示：
输入到特征匹配模块中，将/> 展开为不重叠的粗块，对每一个/>内部再进一步按照/>尺寸划分细块；使用/>的中心细块寻找/>中余弦相似度得分最高的细块；其中，相似度计算公式如下：
；
其中，是每个/>的中心细块，/>是第/>个/>的细块，/>是相似度得分；
根据相似度得分，找到中和每个/>的中心细块最相似的/>，然后以/>为中心裁剪一个大小为/>的粗块作为/>。
根据图像局部区域的相似性，对于中所有的Patch/>，都能在中找到对应的最相关Patch。
如果的尺寸远大于/>，那么/>可能不足以代表/>的全部内容，这可能导致匹配到不相关的/>。为了解决这个问题采用不同膨胀率的/>来计算相似度，膨胀度s分别取1，2，3。如附图8所示，图中分别表示了膨胀率s=1及膨胀率s=2的情况。计算不同尺度下相似度得分并计算总和。同时也在/>中裁剪对应的/>块用于特征匹配，用/>表示。
在这步完成后，每一个可以获得与之最相关的/>和与/>对应区域的/>，组成最相关组/>，完成/>的粗匹配。通过进一步限制搜索范围在和/>中进行细粒度匹配。
阶段2：细粒度匹配，如图8所示：
在和/>内部执行密集Patch匹配。即第k对/>中每一个与/>计算对应块的相似度，获得索引映射和相似性映射/>；相似度计算公式如下：
。
其中，是/>中第/>个细块，/>是/>中第/>个细块，/>是最相似度得分；索引映射的第/>个元素被计算为：
。
相似性映射的第/>个元素是在/>中第/>个细块最高相似度得分：
。
阶段3：特征提取，如图8所示：
根据阶段2所得到的索引从/>进行裁剪，组成新的特征图/>。这个阶段通过/>和/>之间的关系将根据相似度矩阵，对/>图像进行加权。将新的特征图/>与相似度矩阵/>点乘。
。
其中，和/>表示双线性插值和哈达玛（Hadamard）积。
特征匹配模块的最终输出是将折叠在一起获得的整幅特征图，是与第一阶段相反的操作。相对于m像素的/>和具有n像素的/>，如果逐像素寻找最相似匹配则计算复杂度为/>。而在特征匹配模块中，匹配计算复杂度降低到/>，由于k比m小很多，n'也远小于n，通过特征匹配模块匹配方案，计算成本显著降低，同时使低分辨率DEM图像/>在空间位置上匹配参考遥感图像/>的纹理和结构，并将其传输至空间自适应模块；
空间自适应模块经历了特征匹配模块后和/>在对应空间位置有了相似的纹理和结构。但是颜色和亮度等特征还存在分布差异。利用空间自适应模块将/>和/>连接后重新将/>分布映射到/>中，对经过空间位置匹配后的低分辨率DEM图像/>与参考遥感图像/>进行颜色和亮度匹配。具体如下。
空间自适应模块接收特征匹配模块输出数据，将经过空间位置匹配后的特征图和/>连接后输入卷积层，得到与/>大小相同的两个参数/>和/>；将输出参数分别归一化加入/>中，如下式：
；
其中，表示/>的c通道,/>为在/>的c通道中的标准差，/>为在/>的c通道中的均值，表示为下：
；
；
其中，H和W分别为的高度和宽度；
然后，用的均值和标准差更新/>和/>：
；
；
其中，为在/>的c通道中的标准差，/>为在/>的c通道中的均值;
最后,和/>相乘并以元素方式归一化特征到/>中,公式如下：
。
由于Ref特征和LR特征之间的差异随着空间位置而变化，,/>，/>和/>的大小为/>，因此可以使用可学习卷积来预测两个空间自适应参数/>和/>。不像只使用分割图来产生两个参数，SAM中的卷积将Ref和LR特征作为输入来学习它们的差异。此外，在从卷积中获得/>和/>之后，我们将它们与LR特征的平均值和标准差相加。
双残差聚合模块经过空间自适应模块后将数据输入到双残差聚合模块中，使得低分辨率特征与高分辨率特征融合，两个分支分别进行高频细节强化。双残差聚合模块由两个分支组成，即LR分支和Ref分支，旨在细化的高频细节。它首先通过步幅为2的卷积层对/>进行下采样，然后通过转置卷积层对下采样的/>和/>之间的残差/>进行上采样，公式如下：
;
通过计算将下采样的残差特征和参考图像融合，强化/>中高频细节。同理，对低分辨率特征进行增强：
;
最后，将两个分支的输出级联并通过一个卷积层聚合，通过这种方式，使得和之间特性细节得到了增强和聚合。
本例采用了深度学习技术，针对DEM纹理和遥感纹理相关性，提出了一种基于纹理转移的DEM影像超分辨率重建方法。该方法利用深度学习网络，通过引入遥感影像的纹理特征信息，来增强DEM的分辨率。在该网络中，通过添加金字塔池化模块和选择性卷积模块来增强纹理特征的提取能力。将高分辨率遥感图像作为辅助数据，引入遥感图像纹理特征来重建DEM图像。本发明通过引入外部信息，将遥感图像纹理信息引入到DEM重建过程中，解决了单图像超分辨率重建存在的病态问题，通过引入遥感影像的纹理细节大大提高了DEM重建的效果。
实施例2
本例实验数据为本文研究数据来自4幅公开的Sentinel-2 10m分辨率L2A级数据和对应区域AW3D30 DEM数据。AW3D（ALOS World 3D）30 DEM水平分辨率为30米（1弧秒），高程精度5米。对DEM数据进行地形SVF光照模拟增强纹理特征并提取地形特征因子。将对应的数据进行裁剪，制作DEM纹理和遥感影像纹理参考数据集如图9。
本例实验环境配置如下本文方法采用PyTorch框架，运行内存为48.0 GB，H3CUniServer R5300 G3 6248R(3.0GHz/24核/35.75MB/205W)CPU模块（CMCTO）处理器，显卡为NVIDIA Tesla V100S ，GPU加速库采用CUDA11.3和CUDNN8，在Ubuntu系统上完成训练。MASA_SR/EMASA-SR模型训练过程中，学习率设置为0.000 1，迭代次数设置为250，每个批次训练2张图。获得对应的超分辨率重建模型。
将本发明获取的模型与其他常用超分辨率重建方法进行测试实验结果如图10所示，其中，将超分辨率卷积神经网络简称为超分辨率卷积。将快速超分辨率卷积神经网络简称为快速超分辨率卷积。测试集图像进行评价结果见表1。
表 1PSNR和SSIM评价结果
评价指标 超分辨率卷积神经网络SRCNN 快速超分辨率卷积神经网络FSRCNN 超分辨率残差网络SRResNet 超分辨率生成对抗网络SRGAN 本例
PSNR/dB 28.771 28.6204 28.9157 28.8115 30.7854
SSIM 0.8023 0.8247 0.8026 0.803 0.8789
其中，PSNR为峰值信噪比（Peak Signal to Noise Ratio，PSNR）；SSIM为结构相似性（Structural Similarity Index，SSIM）。
综上可见，本发明所提出的方法与现有DEM超分辨率方法相比，PSNR指标与SRGAN相比，提高6.8%，比SRResNet提高6.4%，在SSIM指标上，比SRGAN和SRResNet分别提高了9.4%和9.5%。超分结果在视觉评估方面均表现出更好性能。使用本文方法能够显著提高DEM影像的分辨率，可以在地形地貌分类等应用中获得更高的分类精度。

Claims (9)

1.基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，包括数据采集模块、特征提取模块、特征匹配模块、空间自适应模块以及双残差聚合模块；
所述数据采集模块，用于获取待重建的低分辨率DEM图像，及其对应的参考遥感图像，对参考遥感图像/>进行降采样获得与低分辨率DEM图像相同尺寸的低分辨率参考图像/>；
所述特征提取模块，用于接收数据采集模块的传输数据，分别对低分辨率DEM图像、参考遥感图像/>以及低分辨率参考图像/>进行特征提取，获得对应特征图，并将其传输至特征匹配模块；
所述特征匹配模块，用于接收特征提取模块输出数据，以低分辨率参考图像为媒介，实现低分辨率DEM图像/>及参考遥感图像/>的特征匹配；使低分辨率DEM图像/>在空间位置上匹配参考遥感图像/>的纹理和结构，并将其传输至空间自适应模块；
所述空间自适应模块，用于接收特征匹配模块输出数据，对经过空间位置匹配后的低分辨率DEM图像与参考遥感图像/>进行颜色和亮度匹配；
所述双残差聚合模块，用于接收空间自适应模块输出数据，对其进行低分辨率特征与高分辨率特征融合，使得低分辨率DEM图像与参考遥感图像/>之间特征细节得到增强和聚合，从而获得重建后的高分辨率DEM图像。
2.根据权利要求1所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，所述特征提取模块通过VGG19网络、金字塔池化模块以及选择性卷积核提取低分辨率DEM图像、参考遥感图像/>以及低分辨率参考图像/>的特征图；分别获得参考遥感图像/>具有不同尺度的三个参考遥感特征图/>；低分辨率DEM图像/>的尺度的低分辨率DEM特征图/>和低分辨率参考图像/>的低分辨率参考特征图/>，并将/>输入到特征匹配模块。
3.根据权利要求2所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，所述特征匹配模块接收特征提取模块输出数据，以低分辨率参考图像为媒介，实现低分辨率DEM图像/>及参考遥感图像/>的特征匹配，共分为三个阶段：粗粒度匹配、细粒度匹配和特征提取。
4.根据权利要求3所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，粗粒度匹配包括以下步骤：
将 展开为不重叠的粗块/>,对每一个/>内部再进一步按照尺寸划分细块；使用/>的中心细块寻找/>中余弦相似度得分最高的细块；其中，相似度计算公式如下：
；
其中，是每个/>的中心细块，/>是第/>个/>的细块，/>是相似度得分；
根据相似度得分，找到中和每个/>的中心细块最相似的/>，以/>为中心裁剪一个大小为/>的粗块作为/>;膨胀度/>；
在中裁剪对应的/>块用于特征匹配，用/>表示完成，从而使每/>获得与之最相关的/>和与/>对应区域的/>，组成最相关组/>，完成的粗粒度匹配。
5.根据权利要求4所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，对每个的中心细块/>进行不同尺度的膨胀后进行相似度计算，最终的相似度得分为不同尺度下相似度得分的总和。
6.根据权利要求5所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，细粒度匹配包括以下步骤：
在和/>内部执行密集细块匹配；即计算每一对/>中对应细块的相似度，获得索引映射/>和相似性映射/>；相似度计算公式如下：
；
其中，是/>中第/>个细块，/>是/>中第/>个细块，/>是最相似度得分；索引映射/>的第/>个元素被计算为：
；
相似性映射的第/>个元素是在/>中第/>个细块最高相似度得分：
；
完成的细粒度匹配。
7.根据权利要求6所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，特征提取包括以下步骤：
根据索引映射从/>进行裁剪，组成新的特征图/>；利用相似度矩阵/>对新的特征图/>进行加权，获得匹配体征图，计算公式如下：
；
其中，表示双线性插值，/>表示哈达玛（Hadamard）积；
将折叠在一起，为特征匹配模块的输出。
8.根据权利要求7所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，所述空间自适应模块接收特征匹配模块输出数据，将经过空间位置匹配后的特征图和/>连接后输入卷积层，得到与/>大小相同的两个参数/>和/>；将输出参数分别归一化加入/>中，如下式：
；
其中，表示/>的c通道，/>为在/>的c通道中的标准差，/>为在/>的c通道中的均值，表示为下：
；
；
其中，H和W分别为的高度和宽度，/>表示/>的c通道中像素值，/>表示对应像素点的坐标；
然后，用的均值和标准差更新/>和/>：
；
；
其中，为在/>的c通道中的标准差，/>为在/>的c通道中的均值;
最后,和/>相乘并以元素方式归一化特征到/>中,公式如下：
。
9.根据权利要求8所述的基于参考影像纹理转移的DEM超分辨率重建系统，其特征在于，所述双残差聚合模块，接收空间自适应模块处理后的数据后，首先通过卷积层对进行下采样，然后通过转置卷积层对下采样的/>和/>之间的残差/>进行上采样并结合，将/>高频信息增强得到/>，公式如下：
;
通过计算将下采样的残差特征和参考图像融合，强化/>中高频细节；
同理，对低分辨率特征进行增强得到：
;
最后，将两个分支的输出级联并通过一个卷积层聚合，使得低分辨率DEM图像与参考遥感图像/>之间特征细节得到增强和聚合。
CN202311835497.4A 2023-12-28 2023-12-28 基于参考影像纹理转移的dem超分辨率重建系统 Active CN117474765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311835497.4A CN117474765B (zh) 2023-12-28 2023-12-28 基于参考影像纹理转移的dem超分辨率重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311835497.4A CN117474765B (zh) 2023-12-28 2023-12-28 基于参考影像纹理转移的dem超分辨率重建系统

Publications (2)

Publication Number Publication Date
CN117474765A true CN117474765A (zh) 2024-01-30
CN117474765B CN117474765B (zh) 2024-03-01

Family

ID=89635200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311835497.4A Active CN117474765B (zh) 2023-12-28 2023-12-28 基于参考影像纹理转移的dem超分辨率重建系统

Country Status (1)

Country Link
CN (1) CN117474765B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法
CN111915484A (zh) * 2020-07-06 2020-11-10 天津大学 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN112734642A (zh) * 2021-01-12 2021-04-30 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN115018708A (zh) * 2022-06-21 2022-09-06 南京航空航天大学 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN111915484A (zh) * 2020-07-06 2020-11-10 天津大学 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN112734642A (zh) * 2021-01-12 2021-04-30 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN115018708A (zh) * 2022-06-21 2022-09-06 南京航空航天大学 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANNAN ZHOU等: ""An Enhanced Double-Filter Deep Residual Neural Network for Generating Super Resolution DEMs"", 《REMOTE SENSING》, 5 August 2021 (2021-08-05), pages 3089 *
冯帅杰: ""基于超分辨率的真实感月表地形生成算法研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 03, 15 March 2022 (2022-03-15), pages 031 - 906 *
叶江: ""面向青藏高原矿集区三维场景的高分辨率卫星影像精处理方法"", 《中国博士学位论文全文数据库 基础科学辑》, no. 07, 15 July 2018 (2018-07-15), pages 011 - 115 *

Also Published As

Publication number Publication date
CN117474765B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Zhou et al. Scale adaptive image cropping for UAV object detection
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN116485934A (zh) 一种基于CNN和ViT的红外图像彩色化方法
CN116503502A (zh) 一种基于对比学习的未配对红外图像彩色化方法
CN117252936A (zh) 一种适配多种训练策略的红外图像彩色化方法及系统
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN109949321B (zh) 基于三维Unet网络的脑部核磁共振图像组织分割方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Wang et al. Group shuffle and spectral-spatial fusion for hyperspectral image super-resolution
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN105528772B (zh) 一种基于指导性滤波的图像融合方法
CN117474765B (zh) 基于参考影像纹理转移的dem超分辨率重建系统
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant