CN112085684B - 一种遥感图像融合的方法及装置 - Google Patents

一种遥感图像融合的方法及装置 Download PDF

Info

Publication number
CN112085684B
CN112085684B CN202010718078.2A CN202010718078A CN112085684B CN 112085684 B CN112085684 B CN 112085684B CN 202010718078 A CN202010718078 A CN 202010718078A CN 112085684 B CN112085684 B CN 112085684B
Authority
CN
China
Prior art keywords
image
multispectral
resolution
event
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010718078.2A
Other languages
English (en)
Other versions
CN112085684A (zh
Inventor
李俊杰
傅俏燕
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Center for Resource Satellite Data and Applications CRESDA
Original Assignee
China Center for Resource Satellite Data and Applications CRESDA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Center for Resource Satellite Data and Applications CRESDA filed Critical China Center for Resource Satellite Data and Applications CRESDA
Priority to CN202010718078.2A priority Critical patent/CN112085684B/zh
Publication of CN112085684A publication Critical patent/CN112085684A/zh
Application granted granted Critical
Publication of CN112085684B publication Critical patent/CN112085684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种遥感图像融合的方法及装置，该方法包括：分别将待融合的高分辨率全色图像和低分辨率多光谱图像进行转换得到转换后的全色图像和多光谱图像；将转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定采样后的多光谱图像中各个波段的权重系数，根据权重系数构建模拟低分辨率全色图像；将全色图像与模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定模拟低分辨率全色图像的方差以及与转换后的多光谱图像的协方差，根据方差以及协方差确定空间细节调制参数；根据转换后的多光谱图像以及空间细节调制参数得到融合后的图像。本申请融合后的遥感图像光谱和空间细节保持俱佳，融合运算速度快，适合工程化应用。

Description

一种遥感图像融合的方法及装置
技术领域
本申请涉及遥感图像融合技术领域，尤其涉及一种遥感图像融合的方法及装置。
背景技术
对于亚米级别的光学遥感卫星一般都带有一个高分辨率的全色相机和一个低分辨率的多光谱相机。遥感图像融合是指整合全色图像的空间细节信息和多光谱图像的光谱信息生成一个高分辨率多光谱图像。大量的遥感应用既需要高空间分辨率，也需要高光谱分辨率的图像，因此遥感图像融合极大程度扩展了单个全色或多光谱图像的应用潜力。空间分辨率、光谱分辨率和信噪比之间的均衡，星上存储和下传速率的限制等技术原因使得光学遥感卫星一般不直接采集高分辨多光谱图像。由于以上限制，遥感图像融合是解决提供高分辨率多光谱图像的最有效途径。
目前，常用的遥感图像融合方法为分量替换方法，分量替换方法的过程为，首先通过线性变换将多光谱图像从光谱空间转换到其它特征空间，然后将全色图像的空间信息替换特征空间的某个分量，最后逆变换回光谱空间得到融合后的遥感图像，当将全色图像的空间信息替换特征空间的某个分量时，不仅存在空间信息的叠加，还存在光谱信息的叠加，容易导致融合后的遥感图像出现光谱扭曲，进而使得融合后的图像相对于原始多光谱图像易出现光谱畸变，光谱保持较差。
发明内容
本申请解决的技术问题是：针对融合后的图像相对于原始多光谱图像易出现光谱畸变，光谱保持较差的问题，本申请提供了一种遥感图像融合的方法及装置，本申请实施例所提供的方案中，根据模拟低分辨率全色图像的方差以及模拟低分辨率全色图像与转换后的多光谱图像的协方差确定空间细节调制参数，即剔除了全色图像中的光谱信息，再根据空间细节调制参数进行遥感图像融合，避免将全色图像中的光谱信息直接引入到多光谱图像中，导致融合后的遥感图像出现明显光谱扭曲，进而提高了融合后的遥感图像质量。
第一方面，本申请实施例提供一种遥感图像融合的方法，该方法包括：
分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像；
将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同；
将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数；
根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
本申请实施例所提供的方案中，分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像，然后将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，然后将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数，再根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。因此，本申请实施例所提供的方案中，根据模拟低分辨率全色图像的方差以及模拟低分辨率全色图像与转换后的多光谱图像的协方差确定空间细节调制参数，即剔除了全色图像中的光谱信息，再根据空间细节调制参数进行遥感图像融合，避免将全色图像中的光谱信息引入到多光谱图像中，导致融合后的遥感图像中光谱扭曲，进而提高了融合后的遥感图像质量。
可选地，分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，包括：
通过如下公式将像元值转换为物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量。
可选地，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，包括：
根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；
根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
可选地，根据所述条件概率计算任一所述波段的权重系数，包括：
根据如下公式计算所述任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件。
可选地，根据所述权重系数构建模拟低分辨率全色图像，包括：
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像。
可选地，根据所述方差以及所述协方差确定空间细节调制参数，包括：
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差。
可选地，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像，包括：
根据如下公式得到融合后的图像：
HRM＝LRMr+W(Ipan-Isyn)
其中，HRM表示融合后的图像；LRMr表示所述采样后的多光谱图像；Ipan表示所述匹配后的全色图像；W表示多光谱图像中所有波段的空间细节调制参数之和，W＝∑wi。
第二方面，本申请实施例提供了一种遥感图像融合的装置，该装置包括：
转换单，用于分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像；
第一确定单元，用于将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同；
第二确定单元，用于将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数；
处理单元，用于根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
可选地，所述转换单元，具体用于：
通过如下公式将像元值转换为物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量。
可选地，所述第一确定单元，具体用于：
根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；
根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
可选地，所述第一确定单元，具体用于：
根据如下公式计算所述任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件。
可选地，所述第一确定单元，具体用于：
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像。
可选地，所述第二确定单元，具体用于：
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差。
可选地，所述处理单元，具体用于：
根据如下公式得到融合后的图像：
HRM＝LRMr+W(Ipan-Isyn)
其中，HRM表示融合后的图像；LRMr表示所述采样后的多光谱图像；Ipan表示所述匹配后的全色图像；W表示多光谱图像中所有波段的空间细节调制参数之和，W＝∑wi。
第三方面，本申请提供一种计算机设备，该计算机设备，包括：
存储器，用于存储至少一个处理器所执行的指令；
处理器，用于执行存储器中存储的指令执行第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。
附图说明
图1为本申请实施例所提供的一种遥感图像融合的方法的流程示意图；
图2为本申请实施例所提供的一种光谱响应函数曲线的示意图；
图3为本申请实施例所提供的一种遥感图像融合的装置的结构示意图；
图4为本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
本申请实施例提供的方案中，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
以下结合说明书附图对本申请实施例所提供的一种遥感图像融合的方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤(方法流程如图1所示)：
步骤101，分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像。
在本申请实施例所提供的方案中，计算机设备将高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，包括：
通过如下公式将像元值转换为物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量。
应理解，本申请实施例所提供的方案中，计算机设备可以是电脑、服务器或者其他具体数据处理能力的电子设备，在此并不做限定。
步骤102，将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同。
由于多光谱图像的空间分辨率低于全色图像，为了使得多光谱图像的空间分辨率与全色图像一致，在本申请实施例所提供的方案中，计算机设备在得到转换后的全色图像和转换后的多光谱图像之后，对转换后的多光谱图像进行重采样。具体的，对转换后的多光谱图像进行重采样的方式有多种，例如，重采样的方式为三次立方卷积。
进一步，计算机设备对转换后的多光谱图像进行重采样之后，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数。具体的，确定各个波段的权重系数的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，包括：根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
在一种可能实现的方式中，根据所述条件概率计算任一所述波段的权重系数，包括：
根据如下公式计算所述任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件。
具体的，在本申请实施例所提供的方案中，参见图2，光谱响应函数(SpectralResponse Function,SRF)指的是传感器在每个波长处，接收的辐亮度与入射的辐亮度的比值。由于传感器硬件的限制，传感器在某个预定波长范围内的响应不可能是100％响应。传感器的光谱响应函数定义了该传感器检测到给定频率的光子的概率，可以从概率的角度推导出全色和多光谱传感器对辐射能量响应的比例关系。
高分全色传感器的光谱响应函数记为低分多光谱传感器第i波段的光谱响应函数记为/>令事件mi和事件p分别为低分多光谱和高分全色传感器对光子的探测事件，通过如下公式计算两个事件单独发生的概率为：
P(p)＝∫φ(v)dν
其中，P(mi)表示事件mi发生的概率；P(p)表示事件p发生的概率。
根据高分全色传感器的光谱响应函数以及低分多光谱传感器第i波段的光谱响应函数通过如下公式计算事件mi和事件p同时发生的概率为：
其中，P(mi∩p)表示事件mi和事件p同时发生的概率。
进一步，通过如下公式根据事件mi和事件p同时发生的概率以及事件mi和事件p单独发生的概率计算事件mi已发生的情况下p发生的条件概率为：
P(p|mi)＝P(mi∩p)/P(mi)
其中，P(p|mi)表示事件mi已发生的情况下p发生的条件概率。
为了便于理解上述事件单独发生的概率以条件概率，下面分别对其进行解释。
在本申请实施例所提供的方案中，图2所示的光谱响应函数，从几何直观来理解，事件mi和事件p的概率为它们对应光谱响应函数曲线下方的区域面积；条件概率可以等价为该波段和全色波段光谱响应函数曲线下方共同覆盖区域(交集)的面积和该波段光谱响应函数曲线下方区域的面积的比值。
进一步，在全色和多光谱的光谱波段范围基本重叠的情况下，通过如下公式计算得到多光谱图像各波段归一化后权重系数：
进一步，在计算出多光谱图像各波段归一化后权重系数之后，根据权重系数构建模拟低分辨率全色图像Isyn。具体的，根据权重系数构建模拟低分辨率全色图像的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，根据所述权重系数构建模拟低分辨率全色图像，包括：
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像。
步骤103，将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数。
在本申请实施例所提供的方案中，直方图匹配是指将一幅图像的直方图变成规定形状的直方图，使两幅图像的色调保持一致。计算机设备在构建模拟低分辨率全色图像之后，将模拟低分辨全色图像Isyn作为参考直方图，转换后的全色图像对应的直方图参照Isyn直方图进行匹配，得到匹配后的全色图像Ipan，其中，匹配后的图像Ipan与模拟低分辨全色图像Isyn的形状相同，色调保持一致。
进一步，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，然后根据所述方差以及所述协方差确定空间细节调制参数。具体的，在本申请实施例所提供的方案中，根据所述方差以及所述协方差确定空间细节调制参数的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，根据所述方差以及所述协方差确定空间细节调制参数，包括：
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差。
步骤104，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
在本申请实施例所提供的方案中，计算机设备在确定空间细节调制参数之后，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。具体的，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像，包括：
根据如下公式得到融合后的图像：
HRM＝LRMr+W(Ipan-Isyn)
其中，HRM表示融合后的图像；LRMr表示所述采样后的多光谱图像；Ipan表示所述匹配后的全色图像；W表示多光谱图像中所有波段的空间细节调制参数之和，W＝∑wi。
本申请实施例所提供的方案中，分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像，然后将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，然后将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数，再根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。因此，本申请实施例所提供的方案中，根据模拟低分辨率全色图像的方差以及模拟低分辨率全色图像与转换后的多光谱图像的协方差确定空间细节调制参数，再根据空间细节调制参数进行遥感图像融合，避免在注入空间细节时引入额外的光谱信息，导致融合后的遥感图像出现光谱扭曲，进而提高了融合后的遥感图像质量。
基于与上述图1所示的方法相同的发明构思，本申请实施例提供了一种遥感图像融合的装置，参见图3，该装置包括：
转换单元301，用于分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像；
第一确定单元302，用于将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同；
第二确定单元303，用于将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数；
处理单元304，用于根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
可选地，所述转换单元301，具体用于：
通过如下公式将像元值转换为物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量。
可选地，所述第一确定单元302，具体用于：
根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；
根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
可选地，所述第一确定单元302，具体用于：
根据如下公式计算所述任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件。
可选地，所述第一确定单元302，具体用于：
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像。
可选地，所述第二确定单元303，具体用于：
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差。
可选地，所述处理单元304，具体用于：
根据如下公式得到融合后的图像：
HRM＝LRMr+W(Ipan-Isyn)
其中，HRM表示融合后的图像；LRMr表示所述采样后的多光谱图像；Ipan表示所述匹配后的全色图像；W表示多光谱图像中所有波段的空间细节调制参数之和，W＝∑wi。
参见图4，本申请提供一种计算机设备，该计算机设备，包括：
存储器401，用于存储至少一个处理器所执行的指令；
处理器402，用于执行存储器中存储的指令执行图1所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行图1所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (5)

1.一种遥感图像融合的方法，其特征在于，包括：
分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像；
通过如下公式将像元值转换为所述物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量；
将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同；
根据如下公式计算任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件；
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像；
将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数；
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差；
根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
2.如权利要求1所述的方法，其特征在于，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，包括：
根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；
根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
3.如权利要求1所述的方法，其特征在于，根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像，包括：
根据如下公式得到融合后的图像：
HRM＝LRMr+W(Ipan-Isyn)
其中，HRM表示融合后的图像；LRMr表示所述采样后的多光谱图像；Ipan表示所述匹配后的全色图像；W表示多光谱图像中所有波段的空间细节调制参数之和，W＝∑wi。
4.一种遥感图像融合的装置，其特征在于，包括：
转换单元，用于分别将待融合的高分辨率全色图像和低分辨率多光谱图像中的像元值转换为物理辐射亮度值，得到转换后的全色图像和转换后的多光谱图像；
通过如下公式将像元值转换为所述物理辐射亮度值：
L＝Gain*DN+Bias
其中，L表示每个像元的辐射亮度；Gain表示辐射定标系数增益；DN表示采样后的像元的灰度值；Bias表示辐射定标系数偏移量；
第一确定单元，用于将所述转换后的多光谱图像进行重采样，得到采样后的多光谱图像，根据预设的光谱响应函数确定所述采样后的多光谱图像中各个波段的权重系数，根据所述权重系数构建模拟低分辨率全色图像，其中，所述采样后的多光谱图像与所述全色图像的分辨率相同；
根据如下公式计算任一波段的权重系数：
其中，ci表示所述采样后的多光谱图像中第i个波段的权重系数；P(p|mi)表示事件mi已发生的情况下事件p发生的概率，事件mi是指全色传感器对光子探测事件，事件p是指多光谱传感器对光子探测事件；
通过如下公式构建模拟低分辨率全色图像：
Isyn＝∑(ci·Bi)
其中，Isyn表示所述模拟低分辨率全色图像；Bi表示所述采样后的多光谱图像中第i波段的图像；
第二确定单元，用于将所述转换后的全色图像与所述模拟低分辨全色图像进行直方图匹配得到匹配后的全色图像，确定所述模拟低分辨率全色图像的方差以及与所述转换后的多光谱图像的协方差，根据所述方差以及所述协方差确定空间细节调制参数；
通过如下公式确定所述空间细节调制参数：
其中，wi表示所述采样后的多光谱图像中第i波段的图像的空间细节调制参数；cov(Isyn,Bi)表示所述模拟低分辨率全色图像与所述采样后的多光谱图像中第i波段的图像的协方差；var(Isyn)表示所述模拟低分辨率全色图像的方差；
处理单元，用于根据所述转换后的多光谱图像、所述模拟低分辨率全色图像、所述匹配后的全色图像以及所述空间细节调制参数得到融合后的图像。
5.如权利要求4所述的装置，其特征在于，所述第一确定单元，具体用于：
根据预设的光谱响应函数计算多光谱传感器和全色传感器对光子探测事件单独发生的概率以及事件同时发生的概率；
根据所述事件同时发生的概率以及所述事件单独发生的概率计算事件发生的条件概率，并根据所述条件概率计算任一所述波段的权重系数。
CN202010718078.2A 2020-07-23 2020-07-23 一种遥感图像融合的方法及装置 Active CN112085684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010718078.2A CN112085684B (zh) 2020-07-23 2020-07-23 一种遥感图像融合的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718078.2A CN112085684B (zh) 2020-07-23 2020-07-23 一种遥感图像融合的方法及装置

Publications (2)

Publication Number Publication Date
CN112085684A CN112085684A (zh) 2020-12-15
CN112085684B true CN112085684B (zh) 2023-08-04

Family

ID=73735107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718078.2A Active CN112085684B (zh) 2020-07-23 2020-07-23 一种遥感图像融合的方法及装置

Country Status (1)

Country Link
CN (1) CN112085684B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990164B (zh) * 2021-05-19 2021-07-27 湖南大学 一种多光谱与全色图像联合配准与模糊核估计方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877636A (zh) * 2006-07-03 2006-12-13 中国科学院遥感应用研究所 一种融合生成高分辨率多光谱图像的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006113583A2 (en) * 2005-04-15 2006-10-26 Mississippi State University Remote sensing imagery accuracy analysis method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877636A (zh) * 2006-07-03 2006-12-13 中国科学院遥感应用研究所 一种融合生成高分辨率多光谱图像的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Remote Sensing Image Fusion Based on Nonsubsampled Contourlet Transform and PCA;Ding Li;《IEEE》;165-169 *
基于 Quick Bird 数据的遥感图像融合方法研究;侯志华;《山东师范大学学报》;62-64 *

Also Published As

Publication number Publication date
CN112085684A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
EP2102815B1 (en) Method of sharpening using panchromatic pixels
JP6024107B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4185075B2 (ja) 緑被率マップ作成装置、緑被率マップ作成方法、及び、プログラム。
US10291844B2 (en) Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus
US20090110285A1 (en) Apparatus and method for improving image resolution using fuzzy motion estimation
US20080292182A1 (en) Noise reduced color image using panchromatic image
US8164662B2 (en) Image-processing device for color image data and method for the image processing of color image data
EP2095330A1 (en) Panchromatic modulation of multispectral imagery
CN102724400A (zh) 图像处理设备及其控制方法
EP2095331A1 (en) Spatial and spectral calibration of a panchromatic, multispectral image pair
US8289420B2 (en) Image processing device, camera device, image processing method, and program
JP2020053062A (ja) ホモグラフィの修正
GB2481239A (en) Image enhancement using non-local means(NLM)
CN111681171B (zh) 基于分块匹配的全色与多光谱图像高保真融合方法及装置
CN112085684B (zh) 一种遥感图像融合的方法及装置
US8971664B2 (en) Method and device for generating a super-resolution image portion
Yoshimura et al. Rawgment: Noise-accounted raw augmentation enables recognition in a wide variety of environments
CN113272855A (zh) 用于重叠多图像应用的响应归一化
JP2723174B2 (ja) 異種センサ画像間レジストレーション補正方法
Shao et al. Partition-based interpolation for color filter array demosaicking and super-resolution reconstruction
JP2006238188A (ja) 補間フィルタおよび映像信号処理装置
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN113674186A (zh) 基于自适应调整因子的图像合成方法、装置
CN112598717A (zh) 高光谱卫星影像全谱段配准方法及介质
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant