CN115546033A - 一种基于遥感图像的图像矫正方法 - Google Patents

一种基于遥感图像的图像矫正方法 Download PDF

Info

Publication number
CN115546033A
CN115546033A CN202211545324.4A CN202211545324A CN115546033A CN 115546033 A CN115546033 A CN 115546033A CN 202211545324 A CN202211545324 A CN 202211545324A CN 115546033 A CN115546033 A CN 115546033A
Authority
CN
China
Prior art keywords
image
representing
remote sensing
features
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211545324.4A
Other languages
English (en)
Other versions
CN115546033B (zh
Inventor
李冠群
俞伟学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genyu Muxing Beijing Space Technology Co ltd
Original Assignee
Genyu Muxing Beijing Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genyu Muxing Beijing Space Technology Co ltd filed Critical Genyu Muxing Beijing Space Technology Co ltd
Priority to CN202211545324.4A priority Critical patent/CN115546033B/zh
Publication of CN115546033A publication Critical patent/CN115546033A/zh
Application granted granted Critical
Publication of CN115546033B publication Critical patent/CN115546033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种基于遥感图像的图像矫正方法，包括：获取低分辨率遥感图像，根据矫正分支得到矫正图像，根据尺寸放大分支得到特征图像，将所述特征图像输入至图像辨析网络得到高分辨率遥感图像。本发明利用多尺度特征校正模块提取低分辨率遥感图像的深层次多尺度特征，避免提取到的特征的单一性，进一步对多尺度的深层特征提取权重从而进行矫正，从而兼顾对于较细的纹理特征和较粗的边缘特征的超分辨率重建。

Description

一种基于遥感图像的图像矫正方法
技术领域
本发明涉及数据处理领域，尤其涉及一种基于遥感图像的图像矫正方法。
背景技术
遥感图像在许多领域都发挥着重要的地板观测作用，然而，由于成像传感器的局限性，获取的遥感图像通常有有限的分辨率，使得获取的低分辨率遥感图像在需要遥感应用中存在困难。遥感图像超分辨率旨在将低分辨率的遥感图像转化为高分辨率的遥感图像，从而突破图像采集设备的分辨率限制。近年来，许多研究人员提出了超分辨率技术来提高图像的空间或光谱分辨率。
通过国内外专利和文献检索，目前关于遥感图像超分辨率的研究比较多。但是现有的研究，一般采用单尺度的卷积进行遥感图像的特征提取，因此得到的超分辨率遥感图像往往不够自然逼真。某些采取了多尺度机制的深度学习遥感图像超分辨率方法中，缺少对多尺度特征的校正环节，因此导致得到的超分辨率遥感图像容易出现伪影，很难兼顾对于较细的纹理特征和较粗的边缘特征的较为优异的超分辨率性能表现。总地，未见基于全过程多尺度特征校正的遥感图像超分辨率方法。
发明内容
本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于遥感图像的图像矫正方法。
为实现上述目的，本发明提供的一种基于遥感图像的图像矫正方法，包括：
获取低分辨率遥感图像；
根据矫正分支得到矫正图像；
根据尺寸放大分支得到特征图像；
将所述特征图像输入至图像辨析网络得到高分辨率遥感图像。
根据本发明的一个方面，所述根据矫正分支得到矫正图像的方法为：
将所述低分辨率遥感图像输入至所述矫正分支，将
Figure 100002_DEST_PATH_IMAGE001
依次通过所述矫正分支从而使得所述低分辨率遥感图像进行深层矫正，得到所述矫正图像，所述矫正分支包含四个多尺度特征校正模块，通过所述矫正分支的公式为，
Figure 475639DEST_PATH_IMAGE002
；
Figure 100002_DEST_PATH_IMAGE003
；
Figure 690588DEST_PATH_IMAGE004
；
Figure 100002_DEST_PATH_IMAGE005
；
其中，
Figure 809854DEST_PATH_IMAGE006
、
Figure 100002_DEST_PATH_IMAGE007
、
Figure 888275DEST_PATH_IMAGE008
和
Figure 100002_DEST_PATH_IMAGE009
分别表示第一个、第二个、第三个和第四个多尺度特征校正模块；
Figure 975049DEST_PATH_IMAGE010
、
Figure 100002_DEST_PATH_IMAGE011
和
Figure 478842DEST_PATH_IMAGE012
分别表示通过第一个、第二个和第三个多尺度特征校正模块后的输出；
Figure 100002_DEST_PATH_IMAGE013
表示矫正图像；
Figure 203347DEST_PATH_IMAGE014
表示低分辨率遥感图像。
根据本发明的一个方面，所述根据矫正分支得到矫正图像的方法进一步包括：
对所述低分辨率遥感图像进行预处理得到中间特征，得到中间特征的公式为，
Figure 100002_DEST_PATH_IMAGE015
；
其中，
Figure 767183DEST_PATH_IMAGE016
表示中间特征；
Figure 100002_DEST_PATH_IMAGE017
表示整流线性激活函数；
Figure 13357DEST_PATH_IMAGE018
表示一个3×3的卷积；
将中间特征进行多尺度特征提取得到其深度特征，得到深度特征的公式为，
Figure 100002_DEST_PATH_IMAGE019
；
Figure 68644DEST_PATH_IMAGE020
；
Figure 100002_DEST_PATH_IMAGE021
；
其中，
Figure 162502DEST_PATH_IMAGE022
表示通过第一个卷积后的深度特征；
Figure 100002_DEST_PATH_IMAGE023
表示通过第二个卷积后的深度特征；
Figure 146508DEST_PATH_IMAGE024
表示通过第三个卷积后的深度特征；
Figure 693027DEST_PATH_IMAGE018
表示一个3×3的卷积；
Figure 100002_DEST_PATH_IMAGE025
表示一个5×5的卷积；
Figure 289355DEST_PATH_IMAGE026
表示一个7×7的卷积。
根据本发明的一个方面，分别提取三个深度特征的矫正权重，得到矫正权重的公式为，
Figure 100002_DEST_PATH_IMAGE027
；
Figure 237720DEST_PATH_IMAGE028
；
Figure 100002_DEST_PATH_IMAGE029
；
其中，
Figure 392626DEST_PATH_IMAGE030
、
Figure 100002_DEST_PATH_IMAGE031
和
Figure 426441DEST_PATH_IMAGE032
分别表示三个深度特征的矫正权重；
Figure 100002_DEST_PATH_IMAGE033
表示全局池化；
Figure 761214DEST_PATH_IMAGE034
表示全连接层；
Figure 100002_DEST_PATH_IMAGE035
表示sigmoid函数；
使用得到的矫正权重对深度特征进行矫正，得到多尺度特征，得到多尺度特征的公式为，
Figure 78932DEST_PATH_IMAGE036
；
Figure 100002_DEST_PATH_IMAGE037
；
Figure 155473DEST_PATH_IMAGE038
；
其中，
Figure 100002_DEST_PATH_IMAGE039
、
Figure 161737DEST_PATH_IMAGE040
和
Figure 100002_DEST_PATH_IMAGE041
分别表示多尺度特征；
Figure 614715DEST_PATH_IMAGE042
表示对应元素相乘；
将三个多尺度特征进行融合，得到融合特征，得到融合特征的公式为，
Figure 100002_DEST_PATH_IMAGE043
；
其中，
Figure 724622DEST_PATH_IMAGE044
表示对多尺度特征进行通道层面的叠加操作；
Figure 100002_DEST_PATH_IMAGE045
表示融合特征。
根据本发明的一个方面，对融合特征进行权重提取，并对融合特征进行矫正，使用矫正后的融合特征对所述低分辨率遥感图像进行处理得到通过第一个多尺度特征校正模块后的输出
Figure 719867DEST_PATH_IMAGE010
，其中公式为，
Figure 525012DEST_PATH_IMAGE046
；
Figure 100002_DEST_PATH_IMAGE047
；
Figure 703052DEST_PATH_IMAGE048
；
其中，
Figure 100002_DEST_PATH_IMAGE049
表示对融合特征进行矫正的校正权重；
Figure 480515DEST_PATH_IMAGE050
表示矫正后的结果。
根据本发明的一个方面，所述根据尺寸放大分支得到特征图像的方法为；
将所述矫正图像输入至所述尺寸放大分支后得到所述特征图像，得到所述特征图像的公式为，
Figure 100002_DEST_PATH_IMAGE051
；
其中，
Figure 649591DEST_PATH_IMAGE052
表示特征图像；
Figure 100002_DEST_PATH_IMAGE053
表示上采样输出子网络；
Figure 145294DEST_PATH_IMAGE054
表示像素重组。
根据本发明的一个方面，使用均方误差和结构相似性对所述图像辨析网络进行训练，其中公式为，
Figure 100002_DEST_PATH_IMAGE055
；
其中，
Figure 861446DEST_PATH_IMAGE056
表示与低分辨率遥感图像对应的高分辨率标签图像；
Figure 100002_DEST_PATH_IMAGE057
表示均方误差计算；
Figure 506798DEST_PATH_IMAGE058
表示均方误差损失；
Figure 100002_DEST_PATH_IMAGE059
表示结构相似性计算；
Figure 96042DEST_PATH_IMAGE060
表示结构相似性损失；
Figure 100002_DEST_PATH_IMAGE061
表示总损失。
为实现上述目的，本发明提供一种基于遥感图像的图像矫正系统，包括：
图像获取模块：获取低分辨率遥感图像；
矫正图像获取模块：根据矫正分支得到矫正图像；
特征图像获取模块：根据尺寸放大分支得到特征图像；
高分辨率遥感图像获取模块：将所述特征图像输入至图像辨析网络得到高分辨率遥感图像。
为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于遥感图像的图像矫正方法。
为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于遥感图像的图像矫正方法。
基于此，本发明的有益效果在于：
本发明利用多尺度特征校正模块首先提取低分辨率遥感图像的深层次多尺度特征，避免提取到的特征的单一性，进一步对多尺度的深层特征提取权重从而进行矫正，从而兼顾对于较细的纹理特征和较粗的边缘特征的超分辨率重建。
附图说明
图1示意性表示根据本发明的一种基于遥感图像的图像矫正方法的流程图；
图2示意性表示根据本发明的一种基于遥感图像的图像矫正系统的流程图。
具体实施方式
现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
图1示意性表示根据本发明的一种基于遥感图像的图像矫正方法的流程图，如图1所示，本发明的一种基于遥感图像的图像矫正方法，包括：
获取低分辨率遥感图像；
根据矫正分支得到矫正图像；
根据尺寸放大分支得到特征图像；
将特征图像输入至图像辨析网络得到高分辨率遥感图像。
根据本发明的一个实施方式，根据矫正分支得到矫正图像的方法为：
将低分辨率遥感图像输入至矫正分支，将
Figure 62730DEST_PATH_IMAGE001
依次通过矫正分支从而使得低分辨率遥感图像进行深层矫正，得到矫正图像，矫正分支包含四个多尺度特征校正模块，通过矫正分支的公式为，
Figure 395622DEST_PATH_IMAGE002
；
Figure 209995DEST_PATH_IMAGE003
；
Figure 720873DEST_PATH_IMAGE004
；
Figure 925589DEST_PATH_IMAGE005
；
其中，
Figure 124489DEST_PATH_IMAGE006
、
Figure 980319DEST_PATH_IMAGE007
、
Figure 973683DEST_PATH_IMAGE008
和
Figure 665695DEST_PATH_IMAGE009
分别表示第一个、第二个、第三个和第四个多尺度特征校正模块；
Figure 377209DEST_PATH_IMAGE010
、
Figure 900595DEST_PATH_IMAGE011
和
Figure 2543DEST_PATH_IMAGE012
分别表示通过第一个、第二个和第三个多尺度特征校正模块后的输出；
Figure 244168DEST_PATH_IMAGE013
表示矫正图像；
Figure 971822DEST_PATH_IMAGE014
表示低分辨率遥感图像。
根据本发明的一个实施方式，根据矫正分支得到矫正图像的方法进一步包括：
对低分辨率遥感图像进行预处理得到中间特征，得到中间特征的公式为，
Figure 287397DEST_PATH_IMAGE015
；
其中，
Figure 888142DEST_PATH_IMAGE016
表示中间特征；
Figure 39900DEST_PATH_IMAGE017
表示整流线性激活函数；
Figure 384294DEST_PATH_IMAGE018
表示一个3×3的卷积；
将中间特征进行多尺度特征提取得到其深度特征，得到深度特征的公式为，
Figure 288796DEST_PATH_IMAGE019
；
Figure 60443DEST_PATH_IMAGE020
；
Figure 198032DEST_PATH_IMAGE021
；
其中，
Figure 18220DEST_PATH_IMAGE022
表示通过第一个卷积后的深度特征；
Figure 370704DEST_PATH_IMAGE023
表示通过第二个卷积后的深度特征；
Figure 998738DEST_PATH_IMAGE024
表示通过第三个卷积后的深度特征；
Figure 436673DEST_PATH_IMAGE018
表示一个3×3的卷积；
Figure 60552DEST_PATH_IMAGE025
表示一个5×5的卷积；
Figure 454493DEST_PATH_IMAGE026
表示一个7×7的卷积。
根据本发明的一个实施方式，分别提取三个深度特征的矫正权重，得到矫正权重的公式为，
Figure 567943DEST_PATH_IMAGE027
；
Figure 430857DEST_PATH_IMAGE028
；
Figure 655165DEST_PATH_IMAGE029
；
其中，
Figure 670656DEST_PATH_IMAGE030
、
Figure 627111DEST_PATH_IMAGE031
和
Figure 39638DEST_PATH_IMAGE032
分别表示三个深度特征的矫正权重；
Figure 254587DEST_PATH_IMAGE033
表示全局池化；
Figure 436170DEST_PATH_IMAGE034
表示全连接层；
Figure 829105DEST_PATH_IMAGE035
表示sigmoid函数；
使用得到的矫正权重对深度特征进行矫正，得到多尺度特征，得到多尺度特征的公式为，
Figure 148835DEST_PATH_IMAGE036
；
Figure 714945DEST_PATH_IMAGE037
；
Figure 954297DEST_PATH_IMAGE038
；
其中，
Figure 580450DEST_PATH_IMAGE039
、
Figure 888941DEST_PATH_IMAGE040
和
Figure 196425DEST_PATH_IMAGE041
分别表示多尺度特征；
Figure 352600DEST_PATH_IMAGE042
表示对应元素相乘；
将三个多尺度特征进行融合，得到融合特征，得到融合特征的公式为，
Figure 838070DEST_PATH_IMAGE043
；
其中，
Figure 446906DEST_PATH_IMAGE044
表示对多尺度特征进行通道层面的叠加操作；
Figure 292502DEST_PATH_IMAGE045
表示融合特征。
根据本发明的一个实施方式，对融合特征进行权重提取，并对融合特征进行矫正，使用矫正后的融合特征对低分辨率遥感图像进行处理得到通过第一个多尺度特征校正模块后的输出
Figure 490134DEST_PATH_IMAGE010
，其中公式为，
Figure 458090DEST_PATH_IMAGE046
；
Figure 491906DEST_PATH_IMAGE047
；
Figure 203510DEST_PATH_IMAGE048
；
其中，
Figure 754183DEST_PATH_IMAGE049
表示对融合特征进行矫正的校正权重；
Figure 830724DEST_PATH_IMAGE050
表示矫正后的结果。
根据本发明的一个实施方式，根据尺寸放大分支得到特征图像的方法为；
将矫正图像输入至尺寸放大分支后得到特征图像，得到特征图像的公式为，
Figure 414152DEST_PATH_IMAGE051
；
其中，
Figure 116397DEST_PATH_IMAGE052
表示特征图像；
Figure 836092DEST_PATH_IMAGE053
表示上采样输出子网络；
Figure 83533DEST_PATH_IMAGE054
表示像素重组。
根据本发明的一个实施方式，使用均方误差和结构相似性对图像辨析网络进行训练，其中公式为，
Figure 842673DEST_PATH_IMAGE055
；
其中，
Figure 896080DEST_PATH_IMAGE056
表示与低分辨率遥感图像对应的高分辨率标签图像；
Figure 673543DEST_PATH_IMAGE057
表示均方误差计算；
Figure 154203DEST_PATH_IMAGE058
表示均方误差损失；
Figure 899174DEST_PATH_IMAGE059
表示结构相似性计算；
Figure 428375DEST_PATH_IMAGE060
表示结构相似性损失；
Figure 122662DEST_PATH_IMAGE061
表示总损失。
不仅如此，为实现上述发明目的，本发明还提供一种基于遥感图像的图像矫正系统，图2示意性表示根据本发明的一种基于遥感图像的图像矫正系统的流程图，如图2所示，根据本发明的一种基于遥感图像的图像矫正系统，该系统包括：
图像获取模块：获取低分辨率遥感图像；
矫正图像获取模块：根据矫正分支得到矫正图像；
特征图像获取模块：根据尺寸放大分支得到特征图像；
高分辨率遥感图像获取模块：将特征图像输入至图像辨析网络得到高分辨率遥感图像。
根据本发明的一个实施方式，根据矫正分支得到矫正图像的方法为：
将低分辨率遥感图像输入至矫正分支，将
Figure 725288DEST_PATH_IMAGE001
依次通过矫正分支从而使得低分辨率遥感图像进行深层矫正，得到矫正图像，矫正分支包含四个多尺度特征校正模块，通过矫正分支的公式为，
Figure 505025DEST_PATH_IMAGE002
；
Figure 837918DEST_PATH_IMAGE003
；
Figure 839240DEST_PATH_IMAGE004
；
Figure 864965DEST_PATH_IMAGE005
；
其中，
Figure 663157DEST_PATH_IMAGE006
、
Figure 19314DEST_PATH_IMAGE007
、
Figure 953772DEST_PATH_IMAGE008
和
Figure 353661DEST_PATH_IMAGE009
分别表示第一个、第二个、第三个和第四个多尺度特征校正模块；
Figure 639149DEST_PATH_IMAGE010
、
Figure 828690DEST_PATH_IMAGE011
和
Figure 758600DEST_PATH_IMAGE012
分别表示通过第一个、第二个和第三个多尺度特征校正模块后的输出；
Figure 454024DEST_PATH_IMAGE013
表示矫正图像；
Figure 849977DEST_PATH_IMAGE014
表示低分辨率遥感图像。
根据本发明的一个实施方式，根据矫正分支得到矫正图像的方法进一步包括：
对低分辨率遥感图像进行预处理得到中间特征，得到中间特征的公式为，
Figure 656259DEST_PATH_IMAGE015
；
其中，
Figure 502992DEST_PATH_IMAGE016
表示中间特征；
Figure 493950DEST_PATH_IMAGE017
表示整流线性激活函数；
Figure 754031DEST_PATH_IMAGE018
表示一个3×3的卷积；
将中间特征进行多尺度特征提取得到其深度特征，得到深度特征的公式为，
Figure 973790DEST_PATH_IMAGE019
；
Figure 2926DEST_PATH_IMAGE020
；
Figure 931830DEST_PATH_IMAGE021
；
其中，
Figure 85731DEST_PATH_IMAGE022
表示通过第一个卷积后的深度特征；
Figure 499395DEST_PATH_IMAGE023
表示通过第二个卷积后的深度特征；
Figure 242092DEST_PATH_IMAGE024
表示通过第三个卷积后的深度特征；
Figure 715798DEST_PATH_IMAGE018
表示一个3×3的卷积；
Figure 356995DEST_PATH_IMAGE025
表示一个5×5的卷积；
Figure 931940DEST_PATH_IMAGE026
表示一个7×7的卷积。
根据本发明的一个实施方式，分别提取三个深度特征的矫正权重，得到矫正权重的公式为，
Figure 935668DEST_PATH_IMAGE027
；
Figure 455642DEST_PATH_IMAGE028
；
Figure 380873DEST_PATH_IMAGE029
；
其中，
Figure 323290DEST_PATH_IMAGE030
、
Figure 791311DEST_PATH_IMAGE031
和
Figure 606821DEST_PATH_IMAGE032
分别表示三个深度特征的矫正权重；
Figure 911025DEST_PATH_IMAGE033
表示全局池化；
Figure 470183DEST_PATH_IMAGE034
表示全连接层；
Figure 855028DEST_PATH_IMAGE035
表示sigmoid函数；
使用得到的矫正权重对深度特征进行矫正，得到多尺度特征，得到多尺度特征的公式为，
Figure 700493DEST_PATH_IMAGE036
；
Figure 131474DEST_PATH_IMAGE037
；
Figure 104109DEST_PATH_IMAGE038
；
其中，
Figure 671357DEST_PATH_IMAGE039
、
Figure 186258DEST_PATH_IMAGE040
和
Figure 776640DEST_PATH_IMAGE041
分别表示多尺度特征；
Figure 677600DEST_PATH_IMAGE042
表示对应元素相乘；
将三个多尺度特征进行融合，得到融合特征，得到融合特征的公式为，
Figure 302616DEST_PATH_IMAGE043
；
其中，
Figure 99671DEST_PATH_IMAGE044
表示对多尺度特征进行通道层面的叠加操作；
Figure 301982DEST_PATH_IMAGE045
表示融合特征。
根据本发明的一个实施方式，对融合特征进行权重提取，并对融合特征进行矫正，使用矫正后的融合特征对低分辨率遥感图像进行处理得到通过第一个多尺度特征校正模块后的输出
Figure 429469DEST_PATH_IMAGE010
，其中公式为，
Figure 971309DEST_PATH_IMAGE046
；
Figure 345790DEST_PATH_IMAGE047
；
Figure 707501DEST_PATH_IMAGE048
；
其中，
Figure 74897DEST_PATH_IMAGE049
表示对融合特征进行矫正的校正权重；
Figure 471243DEST_PATH_IMAGE050
表示矫正后的结果。
根据本发明的一个实施方式，根据尺寸放大分支得到特征图像的方法为；
将矫正图像输入至尺寸放大分支后得到特征图像，得到特征图像的公式为，
Figure 813363DEST_PATH_IMAGE051
；
其中，
Figure 574556DEST_PATH_IMAGE052
表示特征图像；
Figure 355430DEST_PATH_IMAGE053
表示上采样输出子网络；
Figure 481649DEST_PATH_IMAGE054
表示像素重组。
根据本发明的一个实施方式，使用均方误差和结构相似性对图像辨析网络进行训练，其中公式为，
Figure 322566DEST_PATH_IMAGE055
；
其中，
Figure 49083DEST_PATH_IMAGE056
表示与低分辨率遥感图像对应的高分辨率标签图像；
Figure 305752DEST_PATH_IMAGE057
表示均方误差计算；
Figure 676690DEST_PATH_IMAGE058
表示均方误差损失；
Figure 49028DEST_PATH_IMAGE059
表示结构相似性计算；
Figure 872627DEST_PATH_IMAGE060
表示结构相似性损失；
Figure 932987DEST_PATH_IMAGE061
表示总损失。
为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于遥感图像的图像矫正方法。
为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种基于遥感图像的图像矫正方法。
基于此，本发明的有益效果在于，本发明利用多尺度特征校正模块首先提取低分辨率遥感图像的深层次多尺度特征，避免提取到的特征的单一性。进一步对多尺度的深层特征提取权重从而进行矫正，从而兼顾对于较细的纹理特征和较粗的边缘特征的超分辨率重建。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

Claims (10)

1.一种基于遥感图像的图像矫正方法，其特征在于，包括：
获取低分辨率遥感图像；
根据矫正分支得到矫正图像；
根据尺寸放大分支得到特征图像；
将所述特征图像输入至图像辨析网络得到高分辨率遥感图像。
2.根据权利要求1所述的一种基于遥感图像的图像矫正方法，其特征在于，所述根据矫正分支得到矫正图像的方法为：
将所述低分辨率遥感图像输入至所述矫正分支，将
Figure DEST_PATH_IMAGE001
依次通过所述矫正分支从而使得所述低分辨率遥感图像进行深层矫正，得到所述矫正图像，所述矫正分支包含四个多尺度特征校正模块，通过所述矫正分支的公式为，
Figure 807889DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE003
；
Figure 62153DEST_PATH_IMAGE004
；
Figure DEST_PATH_IMAGE005
；
其中，
Figure 283050DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
、
Figure 853315DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
分别表示第一个、第二个、第三个和第四个多尺度特征校正模块；
Figure 792452DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
和
Figure 912724DEST_PATH_IMAGE012
分别表示通过第一个、第二个和第三个多尺度特征校正模块后的输出；
Figure DEST_PATH_IMAGE013
表示矫正图像；
Figure 942122DEST_PATH_IMAGE014
表示低分辨率遥感图像。
3.根据权利要求2所述的一种基于遥感图像的图像矫正方法，其特征在于，所述根据矫正分支得到矫正图像的方法进一步包括：
对所述低分辨率遥感图像进行预处理得到中间特征，得到中间特征的公式为，
Figure DEST_PATH_IMAGE015
；
其中，
Figure 669907DEST_PATH_IMAGE016
表示中间特征；
Figure DEST_PATH_IMAGE017
表示整流线性激活函数；
Figure 80028DEST_PATH_IMAGE018
表示一个3×3的卷积；
将中间特征进行多尺度特征提取得到其深度特征，得到深度特征的公式为，
Figure DEST_PATH_IMAGE019
；
Figure 440209DEST_PATH_IMAGE020
；
Figure DEST_PATH_IMAGE021
；
其中，
Figure 432436DEST_PATH_IMAGE022
表示通过第一个卷积后的深度特征；
Figure DEST_PATH_IMAGE023
表示通过第二个卷积后的深度特征；
Figure 518072DEST_PATH_IMAGE024
表示通过第三个卷积后的深度特征；
Figure 166223DEST_PATH_IMAGE018
表示一个3×3的卷积；
Figure DEST_PATH_IMAGE025
表示一个5×5的卷积；
Figure 192079DEST_PATH_IMAGE026
表示一个7×7的卷积。
4.根据权利要求3所述的一种基于遥感图像的图像矫正方法，其特征在于，分别提取三个深度特征的矫正权重，得到矫正权重的公式为，
Figure DEST_PATH_IMAGE027
；
Figure 242074DEST_PATH_IMAGE028
；
Figure DEST_PATH_IMAGE029
；
其中，
Figure 701874DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
和
Figure 585123DEST_PATH_IMAGE032
分别表示三个深度特征的矫正权重；
Figure DEST_PATH_IMAGE033
表示全局池化；
Figure 663938DEST_PATH_IMAGE034
表示全连接层；
Figure DEST_PATH_IMAGE035
表示sigmoid函数；
使用得到的矫正权重对深度特征进行矫正，得到多尺度特征，得到多尺度特征的公式为，
Figure 83287DEST_PATH_IMAGE036
；
Figure DEST_PATH_IMAGE037
；
Figure 949874DEST_PATH_IMAGE038
；
其中，
Figure DEST_PATH_IMAGE039
、
Figure 634933DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE041
分别表示多尺度特征；
Figure 704389DEST_PATH_IMAGE042
表示对应元素相乘；
将三个多尺度特征进行融合，得到融合特征，得到融合特征的公式为，
Figure DEST_PATH_IMAGE043
；
其中，
Figure 728977DEST_PATH_IMAGE044
表示对多尺度特征进行通道层面的叠加操作；
Figure DEST_PATH_IMAGE045
表示融合特征。
5.根据权利要求4所述的一种基于遥感图像的图像矫正方法，其特征在于，对融合特征进行权重提取，并对融合特征进行矫正，使用矫正后的融合特征对所述低分辨率遥感图像进行处理得到通过第一个多尺度特征校正模块后的输出
Figure 763536DEST_PATH_IMAGE010
，其中公式为，
Figure 467049DEST_PATH_IMAGE046
；
Figure DEST_PATH_IMAGE047
；
Figure 12300DEST_PATH_IMAGE048
；
其中，
Figure DEST_PATH_IMAGE049
表示对融合特征进行矫正的校正权重；
Figure 907706DEST_PATH_IMAGE050
表示矫正后的结果。
6.根据权利要求5所述的一种基于遥感图像的图像矫正方法，其特征在于，所述根据尺寸放大分支得到特征图像的方法为；
将所述矫正图像输入至所述尺寸放大分支后得到所述特征图像，得到所述特征图像的公式为，
Figure DEST_PATH_IMAGE051
；
其中，
Figure 693260DEST_PATH_IMAGE052
表示特征图像；
Figure DEST_PATH_IMAGE053
表示上采样输出子网络；
Figure 602179DEST_PATH_IMAGE054
表示像素重组。
7.根据权利要求6所述的一种基于遥感图像的图像矫正方法，其特征在于，使用均方误差和结构相似性对所述图像辨析网络进行训练，其中公式为，
Figure DEST_PATH_IMAGE055
；
其中，
Figure 498590DEST_PATH_IMAGE056
表示与低分辨率遥感图像对应的高分辨率标签图像；
Figure DEST_PATH_IMAGE057
表示均方误差计算；
Figure 19194DEST_PATH_IMAGE058
表示均方误差损失；
Figure DEST_PATH_IMAGE059
表示结构相似性计算；
Figure 490495DEST_PATH_IMAGE060
表示结构相似性损失；
Figure DEST_PATH_IMAGE061
表示总损失。
8.一种基于遥感图像的图像矫正系统，其特征在于，包括：
图像获取模块：获取低分辨率遥感图像；
矫正图像获取模块：根据矫正分支得到矫正图像；
特征图像获取模块：根据尺寸放大分支得到特征图像；
高分辨率遥感图像获取模块：将所述特征图像输入至图像辨析网络得到高分辨率遥感图像。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的一种基于遥感图像的图像矫正方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种基于遥感图像的图像矫正方法。
CN202211545324.4A 2022-12-05 2022-12-05 一种基于遥感图像的图像矫正方法 Active CN115546033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211545324.4A CN115546033B (zh) 2022-12-05 2022-12-05 一种基于遥感图像的图像矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211545324.4A CN115546033B (zh) 2022-12-05 2022-12-05 一种基于遥感图像的图像矫正方法

Publications (2)

Publication Number Publication Date
CN115546033A true CN115546033A (zh) 2022-12-30
CN115546033B CN115546033B (zh) 2023-03-03

Family

ID=84721956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211545324.4A Active CN115546033B (zh) 2022-12-05 2022-12-05 一种基于遥感图像的图像矫正方法

Country Status (1)

Country Link
CN (1) CN115546033B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880346A (zh) * 2023-02-10 2023-03-31 耕宇牧星(北京)空间科技有限公司 一种基于深度学习的可见光遥感图像精确配准方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250891A (ja) * 2012-06-01 2013-12-12 Univ Of Tokyo 超解像方法及び装置
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
US20210374908A1 (en) * 2020-06-01 2021-12-02 Acer Incorporated Method and electronic device for processing images that can be played on a virtual device
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN114005028A (zh) * 2021-07-30 2022-02-01 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量模型及其方法
CN114255168A (zh) * 2021-12-10 2022-03-29 浙江大学 基于残差卷积神经网络的ldct图像超分辨增强方法及装置
CN115018708A (zh) * 2022-06-21 2022-09-06 南京航空航天大学 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
CN115205527A (zh) * 2022-06-29 2022-10-18 陕西师范大学 一种基于域适应和超分辨率的遥感图像双向语义分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250891A (ja) * 2012-06-01 2013-12-12 Univ Of Tokyo 超解像方法及び装置
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置
US20210374908A1 (en) * 2020-06-01 2021-12-02 Acer Incorporated Method and electronic device for processing images that can be played on a virtual device
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
CN114005028A (zh) * 2021-07-30 2022-02-01 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量模型及其方法
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN114255168A (zh) * 2021-12-10 2022-03-29 浙江大学 基于残差卷积神经网络的ldct图像超分辨增强方法及装置
CN115018708A (zh) * 2022-06-21 2022-09-06 南京航空航天大学 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
CN115205527A (zh) * 2022-06-29 2022-10-18 陕西师范大学 一种基于域适应和超分辨率的遥感图像双向语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余东行等: "联合显著性特征与卷积神经网络的遥感影像舰船检测", 《中国图象图形学报》 *
张锡鹏等: "基于高光谱遥感的荒漠化草原草种类分类模型研究", 《光学技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880346A (zh) * 2023-02-10 2023-03-31 耕宇牧星(北京)空间科技有限公司 一种基于深度学习的可见光遥感图像精确配准方法

Also Published As

Publication number Publication date
CN115546033B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
Rao et al. A residual convolutional neural network for pan-shaprening
CN102084378B (zh) 基于照相机的文档成像
CN115546033B (zh) 一种基于遥感图像的图像矫正方法
CN102930518B (zh) 基于改进的稀疏表示的图像超分辨率方法
CN110895697B (zh) 变压器铭牌信息采集方法及智能采集系统
CN108536780B (zh) 一种基于触觉纹理特征的跨模态物体材质检索方法
CN107122787A (zh) 一种基于特征融合的图像缩放质量评价方法
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN111583113A (zh) 一种基于生成对抗网络的红外图像超分辨率重建方法
CN110647820A (zh) 基于特征空间超分辨映射的低分辨率人脸识别方法
CN113222819A (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN108510531A (zh) 基于pcncc和邻域信息的sar图像配准方法
CN109978897A (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN114092804A (zh) 遥感图像的识别方法和装置
CN116109829B (zh) 一种基于融合网络的珊瑚礁水域图像分割方法
CN116543165A (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN108108663A (zh) 一种视频人脸识别系统与方法
CN106203442B (zh) 一种基于深度学习的拷贝图像特征提取方法
CN116740399A (zh) 异源图像匹配模型的训练方法、匹配方法及介质
CN108537855B (zh) 一种草图一致的陶瓷花纸图案生成方法及装置
CN110766655A (zh) 一种基于丰度的高光谱图像显著性分析方法
CN114782454A (zh) 用于盆腔肿瘤影像术前导航的图像识别系统
JP6017005B2 (ja) 画像検索装置、画像検索方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant