CN115063336B - 一种全色与多光谱图像融合方法及其装置、介质 - Google Patents

一种全色与多光谱图像融合方法及其装置、介质 Download PDF

Info

Publication number
CN115063336B
CN115063336B CN202210991426.2A CN202210991426A CN115063336B CN 115063336 B CN115063336 B CN 115063336B CN 202210991426 A CN202210991426 A CN 202210991426A CN 115063336 B CN115063336 B CN 115063336B
Authority
CN
China
Prior art keywords
image
panchromatic
multispectral
resolution
multispectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210991426.2A
Other languages
English (en)
Other versions
CN115063336A (zh
Inventor
徐其志
李媛
郭坚
何召锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210991426.2A priority Critical patent/CN115063336B/zh
Publication of CN115063336A publication Critical patent/CN115063336A/zh
Application granted granted Critical
Publication of CN115063336B publication Critical patent/CN115063336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全色与多光谱图像融合方法及其装置、介质，包括以下步骤：S1.得到上采样的多光谱图像；S2.计算全色图像的灰度直方图，并随机选取像元；S3.从随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并获取多光谱数据到全色数据的拟合系数；S4.对原始多光谱图像各波段进行加权求和，生成低分辨率全色合成图像；S5.将原始全色图像下采样到低分辨率全色合成图像相同分辨率，结合S2中随机选取的像元重新生成新的低分辨率全色合成图像；S6.计算全色图像与最新的低分辨率全色合成图像的比值，并生成全色与多光谱融合图像。本发明有效解决了现有技术中的融合方法容易出现失真的问题，提高全色和多光谱图像融合的准确率。

Description

一种全色与多光谱图像融合方法及其装置、介质
技术领域
本发明涉及计算机图像技术领域，更具体的说是涉及一种全色与多光谱图像融合方法及其装置、介质。
背景技术
全色与多光谱图像融合是遥感图像分析领域的一个关键环节，近年来受到广泛关注。它在多领域的图像处理任务中发挥着不可替代的作用。不同的遥感数据有不同的优势，也有各自的不足。为了在大量遥感数据中充分提取有效信息与特征，需对探测目标有准确且全面的认知。因此，多源数据有效融合技术成为多种下游任务的重要基础，具有重大的研究价值。
图像融合技术旨在将多幅图像各自关键信息与特征进行有效结合。它可以将多源信息进行整合，去除待融合数据的冗余信息，提高解译的可靠性与精度。现有全色与多光谱图像融合方法可以分为基于深度学习方法和人工特征融合方法两大类。其中深度学习方法通过构造网络使其自动学习数据内部特征，通过迭代训练获得更好的融合效果，但其需要大量训练样本，且计算需求大，在实际的应用中使用并不常见，一般仍然选用人工特征融合的方式，而基于人工特征融合方法虽然原理清晰易懂，实现较为简单，计算量较小，但多适用于同时相的影像，且容易出现光谱失真问题。
因此，如何提供一种能对光谱色彩和纹理细节高保真的融合图像的一种全色与多光谱图像融合方法及其装置、介质是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种全色与多光谱图像融合方法及其装置、介质，用于提高全色和多光谱图像的光谱保真度。
为了实现上述目的，本发明采用如下技术方案：
一种全色与多光谱图像融合方法，包括以下步骤：
S1.获取相对应的全色图像和多光谱图像，将多光谱图像上采样至全色图像相同的空间分辨率，得到上采样的多光谱图像；
S2.计算全色图像的灰度直方图，并从中选取像元数量大于k的灰度值类别a类，从选取的灰度值类别中分别随机选取n个像元，共a×n个像元；该步骤能够使得所选取的像元灰度分布均衡，从而获得更精准的拟合系数，使得融合图像具有更好的光谱保真度。
S3.从随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并利用所提取出的像元值信息获取多光谱数据到全色数据的拟合系数；
S4.利用所得拟合系数对原始多光谱图像各波段进行加权求和，生成低分辨率全色合成图像；
S5.将原始全色图像下采样到低分辨率全色合成图像相同分辨率，并计算其与低分辨率全色合成图像的差值；若在计算过程中存在任意局部区域内的差值大于预设阈值
Figure 679066DEST_PATH_IMAGE001
，其中局部区域的大小为s×s，则在各区域对应的原始全色图像中分别再抽取m个像元作为补充，结合S2中随机选取的像元重新生成新的低分辨率全色合成图像；
S6.计算全色图像与最新的低分辨率全色合成图像的比值，并利用乘性变换方法生成全色与多光谱融合图像。
优选的，S1中利用双三次插值将多光谱图像上采样至全色图像相同的空间分辨率，具体双三次插值方法为：
所求像素点的值由其邻域16个像素点的加权平均所得。每个像素点的权值由该点到待求像素点的距离确定，包括水平或竖直两个方向的距离。因此，待求像素值计算方法如下：
Figure 756743DEST_PATH_IMAGE002
其中，
Figure 399077DEST_PATH_IMAGE003
，
Figure 878600DEST_PATH_IMAGE004
，B =
Figure 564665DEST_PATH_IMAGE005
插值核
Figure 395218DEST_PATH_IMAGE006
为：
Figure 310085DEST_PATH_IMAGE007
其中，像素点
Figure 175272DEST_PATH_IMAGE008
是多光谱图像第
Figure 782971DEST_PATH_IMAGE009
波段像素点
Figure 350088DEST_PATH_IMAGE010
、
Figure 68645DEST_PATH_IMAGE011
、
Figure 788339DEST_PATH_IMAGE012
和
Figure 832519DEST_PATH_IMAGE013
之间的一个插值点，0<u<1，0<v<1，
Figure 372084DEST_PATH_IMAGE014
和
Figure 159912DEST_PATH_IMAGE015
分别为任意一个像素点的行坐标和列坐标。
优选的，S3的具体内容包括：
从S2中随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并将原始全色图像和上采样多光谱图像的各波段图像数据降维，设上采样的多光谱图像各波段像素值为自变量
Figure 983380DEST_PATH_IMAGE016
，以全色图像中对应的像素值为因变量
Figure 932882DEST_PATH_IMAGE017
，利用多元线性回归求得加权系数；
多元线性回归模型为：
Figure 959744DEST_PATH_IMAGE018
其中，
Figure 285683DEST_PATH_IMAGE019
为回归系数，即为加权系数，每个自变量
Figure 714390DEST_PATH_IMAGE020
的维度与因变量相同为n；
根据最小二乘法原理：
Figure 100372DEST_PATH_IMAGE022
其中，
Figure 863797DEST_PATH_IMAGE023
表示像元i位置上采样多光谱图像各波段数值；
Figure 993428DEST_PATH_IMAGE024
表示像元i位置全色图像像素值；求解后得到
Figure 11062DEST_PATH_IMAGE025
，
Figure 833525DEST_PATH_IMAGE026
为一维向量，
Figure 569399DEST_PATH_IMAGE027
为二维矩阵。
优选的，利用拟合系数对多光谱图像中所有波段加权求和，得到低分辨率全色合成图像
Figure 486409DEST_PATH_IMAGE029
：
Figure 889708DEST_PATH_IMAGE030
其中，β k 为加权系数，表示多光谱第k个波段的系数，
Figure 617493DEST_PATH_IMAGE031
表示原始上采样多光谱图像。
优选的，S6的具体内容包括：
计算全色图像P(x,y)与最新的低分辨率全色合成图像
Figure DEST_PATH_IMAGE032
的比值
Figure 309505DEST_PATH_IMAGE033
(x,y):
Figure 46517DEST_PATH_IMAGE034
通过乘性变换方法生成第
Figure 293871DEST_PATH_IMAGE009
波段的融合图像：
Figure 192557DEST_PATH_IMAGE035
其中，
Figure 168603DEST_PATH_IMAGE036
为融合图像，
Figure 178147DEST_PATH_IMAGE031
为第
Figure 290460DEST_PATH_IMAGE009
波段的上采样多光谱图像。
适应于本发明的目的之一而提供的一种全色与多光谱图像融合装置，包括：
图像获取设备，用于采集全色图像与多光谱图像；
存储器，用于存储计算机指令；
处理器，与所述图像获取存储器数据连接，其通过调用所述计算机指令以执行全色与多光谱图像融合方法，对全色图像与多光谱图像自动进行融合。
适应于本发明的目的之一而提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令在被处理器执行时实现一种全色与多光谱图像融合方法。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种全色与多光谱图像融合方法及其装置、介质，通过将数量较多的各个灰度类别像素数量进行限制，通过选取特定数量像素进行计算以合成低分辨率全色合成图像，从而得到光谱色彩和纹理细节高保真的融合图像，有效解决了现有技术中的融合方法容易出现失真的问题，提高全色和多光谱图像融合的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种全色与多光谱图像融合方法的流程示意图；
图2是本发明实施例提供的用于实验的全色图像；
图3是本发明实施例提供的用于实验的高光谱图像；
图4是采用ENV软件中GS变换法生成的对比融合图像示意图；
图5是采用本发明实施例提供的一种全色与多光谱图像融合方法进行实验生成的融合图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种全色与多光谱图像融合方法，如图1所示，包括以下步骤：
S1.获取相对应的全色图像和多光谱图像，将多光谱图像上采样至全色图像相同的空间分辨率，得到上采样的多光谱图像；
S2.计算全色图像的灰度直方图，并从中选取像元数量大于k的灰度值类别a类，从选取的灰度值类别中分别随机选取n个像元，共a×n个像元；该步骤能够使得所选取的像元灰度分布均衡，从而获得更精准的拟合系数，使得融合图像具有更好的光谱保真度；
S3.从随机选取的像元中分别提取出全色图像和多光谱图像对应的像元值信息，并利用所提取出的像元值信息获取多光谱数据到全色数据的拟合系数；
S4.利用所得拟合系数对原始多光谱图像各波段进行加权求和，生成低分辨率全色合成图像；
S5.将原始全色图像下采样到低分辨率全色合成图像相同分辨率，并计算其与低分辨率全色合成图像的差值；若在计算过程中存在任意局部区域内的差值大于预设阈值
Figure 609315DEST_PATH_IMAGE001
，其中局部区域的大小为s×s，则在各区域对应的原始全色图像中分别再抽取m个像元作为补充，结合S2中随机选取的像元重新生成新的低分辨率全色合成图像；
S6.计算全色图像与最新的低分辨率全色合成图像的比值，并利用乘性变换方法生成全色与多光谱融合图像。
在本实施例中，由于原始全色图像为16bit数据，其灰度值变化范围为1-2048，S2中的计算灰度直方图即为统计每个灰度值的像素个数。
然后，找到每个灰度值像素个数大于k的灰度类别，并在每个类别中随机选取n个像素。在本实施例中最优k和n的取值分别为3000和1000。
S5中抽取m个像元作为补充，本实施例中m的最优取值为50。
为了进一步实施上述技术方案，S1中利用双三次插值将多光谱图像上采样至全色图像相同的空间分辨率，具体双三次插值方法为：
所求像素点的值由其邻域16个像素点的加权平均所得。每个像素点的权值由该点到待求像素点的距离确定，包括水平或竖直两个方向的距离。因此，待求像素值计算方法如下：
Figure 807078DEST_PATH_IMAGE002
其中，
Figure 620313DEST_PATH_IMAGE003
，
Figure 852711DEST_PATH_IMAGE004
，B =
Figure 827620DEST_PATH_IMAGE005
插值核
Figure 778259DEST_PATH_IMAGE006
为：
Figure 378873DEST_PATH_IMAGE007
其中，像素点
Figure 200199DEST_PATH_IMAGE008
是多光谱图像第
Figure 611589DEST_PATH_IMAGE009
波段像素点
Figure 518365DEST_PATH_IMAGE010
、
Figure 938982DEST_PATH_IMAGE011
、
Figure 864081DEST_PATH_IMAGE012
和
Figure 446372DEST_PATH_IMAGE013
之间的一个插值点，0<u<1，0<v<1，
Figure 840445DEST_PATH_IMAGE014
和
Figure 799173DEST_PATH_IMAGE015
分别为任意一个像素点的行坐标和列坐标。
为了进一步实施上述技术方案，S3的具体内容包括：
从S2中随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并将原始全色图像和上采样多光谱图像的各波段图像数据降维，设上采样的多光谱图像各波段像素值为自变量
Figure 844359DEST_PATH_IMAGE037
，以全色图像中对应的像素值为因变量
Figure 597551DEST_PATH_IMAGE017
，利用多元线性回归求得加权系数；
多元线性回归模型为：
Figure 213340DEST_PATH_IMAGE018
其中，
Figure 975760DEST_PATH_IMAGE019
为回归系数，即为加权系数，每个自变量
Figure 626184DEST_PATH_IMAGE020
的维度与因变量相同为n；
根据最小二乘法原理：
Figure 799545DEST_PATH_IMAGE022
其中，
Figure 433789DEST_PATH_IMAGE023
表示像元i位置上采样多光谱图像各波段数值；
Figure 468741DEST_PATH_IMAGE024
表示像元i位置全色图像像素值；求解后得到
Figure 973672DEST_PATH_IMAGE025
，
Figure 334246DEST_PATH_IMAGE026
为一维向量，
Figure 173895DEST_PATH_IMAGE027
为二维矩阵。
在本实施例中，多光谱共有4个波段，因此k=4。
为了进一步实施上述技术方案，利用拟合系数对多光谱图像中所有波段加权求和，得到低分辨率全色合成图像
Figure 12538DEST_PATH_IMAGE038
：
Figure 903133DEST_PATH_IMAGE030
其中，β k 为加权系数，表示多光谱第k个波段的系数，
Figure 169030DEST_PATH_IMAGE031
表示原始上采样多光谱图像。
为了进一步实施上述技术方案，S6的具体内容包括：
计算全色图像P(x,y)与最新的低分辨率全色合成图像
Figure DEST_PATH_IMAGE039
的比值
Figure 230395DEST_PATH_IMAGE033
(x,y):
Figure 872729DEST_PATH_IMAGE034
通过乘性变换方法生成第
Figure 352252DEST_PATH_IMAGE009
波段的融合图像：
Figure 54629DEST_PATH_IMAGE035
其中，
Figure 619603DEST_PATH_IMAGE036
为融合图像，
Figure 144973DEST_PATH_IMAGE031
为第
Figure 744582DEST_PATH_IMAGE009
波段的上采样多光谱图像。
适应于本发明的目的之一而提供的一种全色与多光谱图像融合装置200，包括：
图像获取设备201，用于采集全色图像与多光谱图像；
存储器202，用于存储计算机指令；
处理器203，与图像获取设备201、存储器202数据连接，其通过调用计算机指令以执行全色与多光谱图像融合方法，对全色图像与多光谱图像自动进行融合。
在应用过程中，图像获取设备201、存储器202以及处理器203可以通过总线或者其他方式连接。处理器203可以为中央处理器(Central Processing Unit，CPU)，或者其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器202作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请第一实施方式中的高光谱图像分类方法对应的程序或指令。
处理器203通过运行存储在存储器202中的非暂态软件程序或指令，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的高光谱图像分类方法。
存储器202可以包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需要的应用程序；数据存储区可存储处理器202所创建的数据等。
此外，存储器202可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。
存储器202可选地包括相对于处理器203远程设置的存储器，这些远程存储器可以通过网络连接至处理器203。
上述网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
适应于本发明的目的之一而提供的一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令在被处理器执行时实现一种全色与多光谱图像融合方法。
下面将通过具体实验来对本发明进行进一步说明：
将本实施例方法与当前应用最广泛的GS变换融合法进行实验对比。GS变换融合法可利用国际著名ENVI遥感图像处理软件实现。实验数据为美国WorldView-3卫星拍摄的全色与高光谱图像。图2-5是采用本实施例提供的方法进行全色与多光谱图像融合的一个示例。由于实验图像的尺寸较大，为了清晰地展示图中的地物，其中仅给出了实验图像的局部区域。实验数据为WorldView-3卫星全色与高光谱图像；其中，图2为全色图像，图3为高光谱图像，图4为ENV软件中GS变换法生成的对比融合图像，图5为根据本发明的实施例生成的融合图像。其中，鉴于无法利用假彩色图像显示融合图像，这里将假彩色的融合图像转化为灰度图像来显示融合效果。
在主观评价上，本实施例方法对所有的实验数据均有较好的光谱色彩和纹理细节保真效果，见图5，且本实施例方法的保真效果优于ENVI软件的GS变换融合方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种全色与多光谱图像融合方法，其特征在于，包括以下步骤：
S1.获取相对应的全色图像和多光谱图像，将多光谱图像上采样至全色图像相同的空间分辨率，得到上采样的多光谱图像；
S2.计算全色图像的灰度直方图，并从中选取像元数量大于k的灰度值类别a类，从选取的灰度值类别中分别随机选取n个像元，共a×n个像元；
S3.从随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并利用所提取出的像元值信息获取多光谱数据到全色数据的拟合系数；
S4.利用所得拟合系数对原始多光谱图像各波段进行加权求和，生成低分辨率全色合成图像；
S5.将原始全色图像下采样到低分辨率全色合成图像相同分辨率，并计算其与低分辨率全色合成图像的差值；若在计算过程中存在任意局部区域内的差值大于预设阈值θ，其中局部区域的大小为s×s，则在各区域对应的原始全色图像中分别再抽取m个像元作为补充，结合S2中随机选取的像元重新生成新的低分辨率全色合成图像；
S6.计算全色图像与最新的低分辨率全色合成图像的比值，并生成全色与多光谱融合图像。
2.根据权利要求1所述的一种全色与多光谱图像融合方法，其特征在于，S1中利用双三次插值将多光谱图像上采样至全色图像相同的空间分辨率，具体双三次插值方法为：
Figure 196846DEST_PATH_IMAGE001
所求像素点的值由其邻域16个像素点的加权平均所得；
每个像素点的权值由该点到待求像素点的距离确定，包括水平或竖直两个方向的距离；
待求像素值计算方法如下：
Figure 917546DEST_PATH_IMAGE002
其中，
Figure 909773DEST_PATH_IMAGE003
，
Figure 808459DEST_PATH_IMAGE004
，
B =
Figure 518926DEST_PATH_IMAGE005
插值核
Figure 528470DEST_PATH_IMAGE006
为：
Figure 155629DEST_PATH_IMAGE007
其中，像素点
Figure 959637DEST_PATH_IMAGE008
是多光谱图像第
Figure 422980DEST_PATH_IMAGE009
波段像素点
Figure 970636DEST_PATH_IMAGE010
、
Figure 937455DEST_PATH_IMAGE011
、
Figure 427211DEST_PATH_IMAGE012
和
Figure 112270DEST_PATH_IMAGE013
之间的一个插值点，0<u<1，0<v<1，
Figure 729196DEST_PATH_IMAGE014
和
Figure 550522DEST_PATH_IMAGE015
分别为任意一个像素点的行坐标和列坐标。
3.根据权利要求1所述的一种全色与多光谱图像融合方法，其特征在于，S3的具体内容包括：
从S2中随机选取的像元中分别提取出全色图像和上采样的多光谱图像对应的像元值信息，并将原始全色图像和上采样多光谱图像的各波段图像数据降维，设上采样的多光谱图像各波段像素值为自变量
Figure 961911DEST_PATH_IMAGE016
，以全色图像中对应的像素值为因变量
Figure 117955DEST_PATH_IMAGE017
，利用多元线性回归求得加权系数；
多元线性回归模型为：
Figure 272993DEST_PATH_IMAGE018
其中，
Figure 214404DEST_PATH_IMAGE019
为回归系数，即为加权系数，每个自变量
Figure 796695DEST_PATH_IMAGE020
的维度与因变量相同为n；
根据最小二乘法原理：
Figure DEST_PATH_IMAGE021
其中，
Figure 174456DEST_PATH_IMAGE022
表示像元i位置上采样多光谱图像各波段数值；
Figure 867605DEST_PATH_IMAGE023
表示像元i位置全色图像像素值；求解后得到
Figure 663523DEST_PATH_IMAGE024
，
Figure 682294DEST_PATH_IMAGE025
为一维向量，
Figure 563663DEST_PATH_IMAGE026
为二维矩阵。
4.根据权利要求1所述的一种全色与多光谱图像融合方法，其特征在于，
利用拟合系数对多光谱图像中所有波段加权求和，得到低分辨率全色合成图像
Figure 309771DEST_PATH_IMAGE027
：
Figure DEST_PATH_IMAGE028
其中，β k 为加权系数，表示多光谱第k个波段的系数，
Figure 694616DEST_PATH_IMAGE029
表示原始上采样多光谱图像。
5.根据权利要求1所述的一种全色与多光谱图像融合方法，其特征在于，S6的具体内容包括：
计算全色图像P(x,y)与最新的低分辨率全色合成图像
Figure 618709DEST_PATH_IMAGE030
的比值
Figure 987374DEST_PATH_IMAGE031
(x,y):
Figure 537173DEST_PATH_IMAGE032
通过乘性变换方法生成第
Figure 42103DEST_PATH_IMAGE033
波段的融合图像：
Figure 402678DEST_PATH_IMAGE034
其中，
Figure 258638DEST_PATH_IMAGE035
为融合图像，
Figure 831702DEST_PATH_IMAGE029
为第
Figure 711845DEST_PATH_IMAGE033
波段的上采样多光谱图像。
6.一种全色与多光谱图像融合装置，其特征在于，包括：
图像获取设备，用于采集全色图像与多光谱图像；
存储器，用于存储计算机指令；
处理器，与所述图像获取存储器数据连接，其通过调用所述计算机指令以执行如权利要求1-5任意一项所述的一种全色与多光谱图像融合方法，对全色图像与多光谱图像自动进行融合。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令在被处理器执行时实现如权利要求1-5任意一项所述的一种全色与多光谱图像融合方法。
CN202210991426.2A 2022-08-18 2022-08-18 一种全色与多光谱图像融合方法及其装置、介质 Active CN115063336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210991426.2A CN115063336B (zh) 2022-08-18 2022-08-18 一种全色与多光谱图像融合方法及其装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210991426.2A CN115063336B (zh) 2022-08-18 2022-08-18 一种全色与多光谱图像融合方法及其装置、介质

Publications (2)

Publication Number Publication Date
CN115063336A CN115063336A (zh) 2022-09-16
CN115063336B true CN115063336B (zh) 2022-11-25

Family

ID=83207373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210991426.2A Active CN115063336B (zh) 2022-08-18 2022-08-18 一种全色与多光谱图像融合方法及其装置、介质

Country Status (1)

Country Link
CN (1) CN115063336B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197018B (zh) * 2023-09-27 2024-05-31 北京航空航天大学 一种光谱分布保持的乘性变换遥感图像融合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2994007B1 (fr) * 2012-07-30 2019-08-23 Centre National D'etudes Spatiales C N E S Procede de fusion d'images multi-resolutions
CN102982517B (zh) * 2012-11-02 2015-03-25 武汉大学 基于光谱与空间局部相关的遥感影像融合方法
CN108416784B (zh) * 2018-02-06 2021-08-27 石家庄铁道大学 城市建成区边界快速提取方法、装置及终端设备
CN109658367B (zh) * 2018-11-14 2022-11-25 国网新疆电力有限公司信息通信公司 基于彩色传递的图像融合方法
CN111383203B (zh) * 2019-11-07 2022-05-03 北京航空航天大学 基于分区域拟合的全色与多光谱遥感图像融合方法
CN111681171B (zh) * 2020-06-15 2024-02-27 中国人民解放军军事科学院国防工程研究院 基于分块匹配的全色与多光谱图像高保真融合方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Also Published As

Publication number Publication date
CN115063336A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
WO2021184891A1 (zh) 遥感影像地物分类方法及系统
CN108229497B (zh) 图像处理方法、装置、存储介质、计算机程序和电子设备
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN113222835B (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
Ha et al. Deep learning based single image super-resolution: A survey
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN112446383B (zh) 车牌识别方法及装置、存储介质、终端
CN112766083B (zh) 基于多尺度特征融合的遥感场景分类方法及系统
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
CN113763299B (zh) 一种全色与多光谱图像融合方法、装置及其应用
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN113222819B (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN115063336B (zh) 一种全色与多光谱图像融合方法及其装置、介质
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
CN110633640A (zh) 优化PointNet对于复杂场景的识别方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
Ahmadian et al. Single image super-resolution with self-organization neural networks and image laplace gradient operator
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant