CN114581349A - 一种基于辐射特性反演的可见光图像与红外图像融合方法 - Google Patents

Abstract

一种基于辐射特性反演的可见光图像与红外图像融合方法，属于光学图像处理技术领域，具体包括以下步骤：步骤一：利用多谱段可见光图像反演计算场景中地物全谱段反射特性；步骤二：利用红外图像反演计算场景中地物热辐射特性；步骤三：将地物全谱段反射特性、地物热辐射特性融合得到高分辨率的红外场景，通过全链路仿真重构红外图像；步骤四：建立真实高分辨率红外图像与实测低分辨率红外图像间退化关系，利用实测红外图像对重构仿真结果进行修正，得到高保真的高分辨率红外图像。本发明能够为地表分析、环境监测、灾害防控等提供高分辨率图像数据，同时为相关检测识别方法研究提供特性先验与数据输入。

Description

一种基于辐射特性反演的可见光图像与红外图像融合方法

技术领域

本发明属于光学图像处理技术领域，具体涉及一种基于辐射特性反演的可见光图像与红外图像融合方法。

背景技术

高分辨率星载红外成像系统能够全天时获取全球范围内地物信息、反映地表温度模式及其与地表特征的关系，因此能够准确地描述城市土地覆盖类型、估算地表发射率、土壤含水量和植被覆盖率等，广泛应用于城市热岛效应评估、河水温度监测、森林火灾和火山演变探测、水面浮油监测等众多领域。且由于红外波段的大气传输特性，在云、雾、霾等低能见度条件下具有比可见光波段更强的穿透能力，因而成像能不受领空限制、昼夜全天时和固定周期重复工作。

高分辨率红外遥感图像对军民领域发展均具有重要意义，但受限于天基成像条件，红外遥感图像分辨率较低，需要通过算法处理提升分辨能力。

构成红外图像信息的能量主要包含太阳光反射和自身热辐射两部分组成。一方面，地面上的物体(即目标物)，如大气、土地、水体、植被和人工构筑物等，在温度高于绝对零度的条件下，它们都具热辐射的特性。另一方面，当太阳光照射到地球表面时，地面上的物体就会对由太阳光产生吸收和反射。辐射能量在很大程度上反映了图像中的地物特性；景物特性的其它表征量，如目标的形状、大小、色调、纹理、对比度、地物辐射亮度方差和地物平均空间细节等，也基本都是由景物辐射特性决定的。

无论是反射特性还是自发热辐射特性均与波长息息相关，现有方法直接将红外与可见光图像进行像素级融合得到的红外图像超分结果，难以反应场景的真实红外特性，难以为城市热岛效应评估、河水温度监测、森林火灾和火山演变探测、水面浮油监测等应用提供可靠的数据输入，因此有必要从物理机理出发对红外图像进行融合超分。

发明内容

为了解决现有技术中红外遥感图像分辨率低的技术问题，本发明提供一种基于辐射特性反演的可见光图像与红外图像融合方法，立足于光学遥感成像机理，分别利用实测可见光、红外图像反演计算地物场景的光谱反射率特性和温度特性，进而在辐射特性层面对可见光、红外信息进行物理融合，然后通过成像重构与误差校正，得到高保真的红外图像融合超分结果，更加真实得反应高分辨率红外特征。

为实现上述目的，本发明采取的技术方案如下：

一种基于辐射特性反演的可见光图像与红外图像融合方法，包括以下步骤：

步骤一：利用多谱段可见光图像反演计算场景中地物全谱段反射特性；

步骤二：利用红外图像反演计算场景中地物热辐射特性；

步骤三：将地物全谱段反射特性、地物热辐射特性融合得到高分辨率的红外场景，通过全链路仿真重构红外图像；

步骤四：建立真实高分辨率红外图像与实测低分辨率红外图像间退化关系，利用实测红外图像对重构结果进行修正，得到高保真的高分辨率红外图像。

本发明相对于现有技术的有益效果是：

本发明立足于光学遥感成像机理，分别利用实测可见光、红外图像反演计算地物场景的光谱反射率特性和温度特性，进而在辐射特性层面对可见光、红外信息进行物理融合，然后通过成像重构与误差校正，得到高保真的红外图像融合超分结果，更加真实得反应高分辨率红外特征，能够为地表分析、环境监测、灾害防控等提供高分辨率图像数据，同时为相关检测识别方法研究提供特性先验与数据输入。

具体创新性如下：

(1)从物理机理出发，分别利用可见光多光谱、红外图像反演得到反射率特性和热辐射特性，进而融合得到地物场景的完整辐射信息，能够更加真实反应红外特性，为图像重构提供高置信输入；

(2)立足于光学遥感成像机理，提出从目标场景到数字图像的全链路重构方法，然后根据高分辨率和低分辨率图像间的关联关系，对重构图像进行精细化修正，实现高置信红外图像融合超分。

附图说明

图1：红外图像融合超分流程图；

图2：基于光学遥感全链路的图像重构流程图；

图3：红外图像融合超分效果展示：处理前(a)，处理后(b)。

具体实施方式

下面结合附图1-3和具体实施方式对本发明做详细的描述。

具体实施方式一：

步骤一：利用多谱段可见光图像反演计算场景中地物全谱段反射特性。

可见光波段卫星传感器入瞳处的辐射亮度主要来源于三个传输路径：太阳辐射经地表反射到达传感器L_reflected、太阳辐射未到达地表即被大气多次散射至传感器L_path、地物反射辐射经大气多次散射后进入传感器L_adjacency。

L_sensor＝L_path+L_reflected+L_adjacency (1)

假设地面为朗伯面反射，则卫星传感器所接收到的辐射可表示为：

式中，L_sensor为卫星观测到的辐射亮度，L_path为大气路径程辐射，ρ为地表反射率，E_g为下行的总辐射通量，包括太阳直射和天空漫射的辐射通量，T为大气透射率，S为大气半球反照率。

将E_g与T的乘积看作新的未知量P，设中间变量

则：

基于上式，利用各波段气溶胶光学厚度数值、辐射定标后得到的星上辐射亮度数值，结合建立的传感器接收到的辐射亮度的表征模型便可实现对于实测多谱段可见光图像的逐像元地表反射率反演，进而由实测光谱反射率数据库中提取的光谱特征点集合指导地物光谱反射率进行细分插值，通过对比插值结果与指导插值的细分光谱的差异性，实现原始图像场景地物分类及全谱段反射率信息的获取。

步骤二：利用低分辨率红外图像反演计算场景中地物热辐射特性；

卫星在红外波段接收到的辐射能量L_infrared来自地物自身热辐射L(T_s)、大气上行热辐射L_a↑以及大气下行热辐射L_a↓被地表反射后回红外传感器的部分：

L_infrared＝τεL(T_s)+τ(1-ε)L_a↓+L_a↑ (4)

式中，ε表示地物发射率，τ表示大气透过率。

由普朗克黑体辐射公式，地物自身热辐射L(T_s)与地物温度T_s以及波长λ之间的关系为：

式中，h代表普朗克常数，c为光速，k表示玻尔兹曼常数，K₁＝2hc²/λ⁵，e为自然常数。对温度进行一阶泰勒展开，得到针对遥感图像红外波段数据进行温度反演的单窗算法：

T_s＝[K₂(C+D)B(T_s)+(1-C-D)B(T_s)²-K₂DT_a]/K₂C (6)

式中，C＝ετ，D＝(1-τ)[1+(1-ε)τ]，K₂＝1321.08，B(T_s)为温度为T_s的黑体在红外传感器接收到的辐射亮度，T_a为大气平均作用温度，gain为增益，offset为补偿，N表示图像灰度值。可见进行温度反演的关键就是对于地表发射率以及大气透过率数值的获取。

大气透过率τ可由MODTRAN经典大气模型获得，地表发射率ε采用地表植被覆盖率P_v进行计算：

式中，NDVI表示归一化植被指数，NDVI_s为裸土或建筑表面的归一化植被指数数值，NDVI_v为植被区域的归一化植被指数数值。则有：

式中，ε_water、ε_building、ε_natural分别表示水体、建筑、植被的自发发射率。

步骤三：将地物全谱段反射特性、地物热辐射特性融合得到高分辨率红外场景，通过全链路仿真重构红外图像；

重构生成红外图像首先要得到地表的辐射亮度L_land，主要由地物反射的太阳辐射、地物自身热辐射L(T_s)、以及大气下行热辐射L_a↓被地物反射的部分组成。

天基光学对地观测系统成像是一个多环节综合作用的过程，成像链路以场景目标为始端，以图像为终端，基于步骤一和步骤二反演得到的地物反射特性和地物热辐射特性，可以构建目标场景辐射特性，辐射光波经过大气传输，进入卫星平台光学系统成像在探测器上，经光电转换、量化得到数字图像。

大气对遥感成像的影响主要体现在吸收、散射，使得光波能量会产生衰减。设T(λ)为吸收散射作用下的大气光谱透过率函数，则有：

L_a(λ)＝T(λ)L_land(λ) (11)

式中，L_a(λ)为经过大气传输后的光谱辐射亮度，λ为波长；地物目标自身辐射以及反射太阳的辐射经过大气传输后，被光学系统收集并会聚到探测器上成像，光学系统成像过程满足线性叠加的性质，则入射物辐射亮度L_a(x',y')经过成像系统后形成像面辐射亮度分布L_op(x,y)可用下面的积分形式表达：

式中，(x',y')和(x,y)分别为入射面和像面坐标，

为相应坐标点的冲击响应；通常认为光学系统为线性不变系统，光学系统成像过程表示为卷积形式：

L_op(x,y)＝∫∫h_r(x-x',y-y')L_a(x',y')dx'dy'＝h_r*L_a (13)

式中，h_r表示成像系统点扩散函数，遥感系统中，由光学像差、平台振动等环节组成。

探测器像元对目标景物像的能量进行采样积分，并通过光电转换将积分光子转化为电子，当像元中电子累计到一定数量时转换为电流或电压。在光谱范围λ₁～λ₂内探测器的一个像元产生的电子数S_e按下式表示：

式中，A_d为探测器像元面积；τ₀(λ)为光学系统的透过率(包括滤光片的透过率)；T_int为探测器积分时间；η(λ)为器件的量子效率；F为光学系统F数；L_op(λ)探测器接收到的光谱辐射亮度；h代表普朗克常数，c为光速。

最后电子学系统对来自探测器的信号进行放大、箝位、降噪，并进行数字化。设S_sa为探测器阱深(以电子数记)，Ln为量化位数，L_sb为最小量化单位或量化间隔，如果A/D转换器与放大器的输出相匹配，输出最高电压对应探测器的阱深，对于均匀量化，L_sb如下式所示。

则量化结果为：

式中，x、y为探测器像元坐标，S_e(x,y)代表(x,y)位置像元产生的电子数，g为红外图像重构结果，Floor(·)表示取整运算。通过上述步骤即可计算得到红外遥感图像重构结果。

步骤四：建立真实高分辨率红外图像与实测低分辨率红外图像间退化关系，利用实测红外图像对重构结果进行修正，得到高保真的高分辨率红外图像。

上述步骤根据地物特性反演与全链路成像重构得到图像，能够基本反应场景红外特性，但特性反演、图像重构过程中难免存在误差，影响了红外图像融合超分结果的保真性，针对该问题，本步骤建立真实高分辨率红外图像与实测低分辨率红外图像间退化关系，提出基于成像模型的图像误差校正方法，利用实际观测得到的低分辨率红外图像进行精细化修正，实现红外图像的高置信融合超分，其中高分辨率和低分辨率是相对的，无需限定具体数值。

结合上述步骤相关理论，给定场景的低分辨率实测图像，认为它们是由真实高分辨率图像经过光学遥感全链路降质过程产生的：

其中：(x₂,y₂)为低分辨率图像坐标，(x₁,y₁)表示高分辨率图像坐标，g_l表示低分辨率图像，g_h表示实际的高分辨率图像，n为噪声；h_d(x₁,y₁；x₂,y₂)表示点扩散函数权值，即高分辨率图像在(x₁,y₁)位置的像素对低分辨率图像在(x₂,y₂)位置像素灰度的贡献。

根据光学遥感成像机理，可将降质过程抽象分解为光学模糊、亚采样以及随机噪声三个过程，从而建立成像模型为：

g_l＝D_hlHg_h+n (18)

式中，D_hl表示降分辨率算子；H表示模糊核算子，相当于系统传递函数。根据最小二乘原理定义误差函数E：

E＝g_l-(D_hlHg_h) (19)

通过迭代优化，使得红外图像高分辨率估计解经退化后与实际观测图像均方误差最小，同时，为了在迭代过程中保护高分辨率图像纹理细节，基于图像场景拉普拉斯先验，引入总变分约束项，则图像修正目标函数为：

式中，

表示最终高分辨率红外图像计算结果，

表示双向差分滤波器，||·||₁、||·||₂分别表示1范数、2范数计算符号。模型可根据梯度下降法或迭代收缩阈值法进行求解，经迭代计算后即可得到最终高保真的红外图像融合超分结果。

以上仅为本发明较佳的具体实施方式，但本发明的保护范围，并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于辐射特性反演的可见光图像与红外图像融合方法，其特征在于，包括以下步骤：

步骤一：利用多谱段可见光图像反演计算场景中地物全谱段反射特性；

步骤二：利用红外图像反演计算场景中地物热辐射特性；

步骤三：将地物全谱段反射特性、地物热辐射特性融合得到高分辨率的红外场景，通过全链路仿真重构红外图像；

步骤四：建立真实高分辨率红外图像与实测低分辨率红外图像间退化关系，利用实测红外图像对重构结果进行修正，得到高保真的高分辨率红外图像。

2.根据权利要求1所述的一种基于辐射特性反演的可见光图像与红外图像融合方法，其特征在于：步骤一中，假设地面为朗伯面反射，则可见光波段卫星传感器所接收到的辐射可表示为：

式中，L_sensor为卫星观测到的辐射亮度，L_path为大气路径程辐射，ρ为地表反射率，E_g为下行的总辐射通量，包括太阳直射和天空漫射的辐射通量，T为大气透射率，S为大气半球反照率，

将E_g与T的乘积看作新的未知量P，设中间变量

则：

基于上式，利用各波段气溶胶光学厚度数值、辐射定标后得到的星上辐射亮度数值，结合建立的传感器接收到的辐射亮度的表征模型便可实现对于实测多谱段可见光图像的逐像元地表反射率反演，进而由实测光谱反射率数据库中提取的光谱特征点集合指导地物光谱反射率进行细分插值，通过对比插值结果与指导插值的细分光谱的差异性，实现原始图像场景地物分类及全谱段反射率信息的获取。

3.根据权利要求2所述的一种基于辐射特性反演的可见光图像与红外图像融合方法，其特征在于：步骤二中，来自地物自身热辐射L(T_s)、大气上行热辐射L_a↑以及大气下行热辐射L_a↓被地表反射后回红外传感器的辐射能量L_infrared为：

L_infrared＝τεL(T_s)+τ(1-ε)L_a↓+L_a↑ (4)

式中，ε表示地物发射率，τ表示大气透过率；

由普朗克黑体辐射公式，地物自身热辐射L(T_s)与地物温度T_s以及波长λ之间的关系为：

式中，h代表普朗克常数，c为光速，k表示玻尔兹曼常数，K₁＝2hc²/λ⁵，e为自然常数；对温度进行一阶泰勒展开，可以得到针对遥感图像红外波段数据进行温度反演的单窗算法：

T_s＝[K₂(C+D)B(T_s)+(1-C-D)B(T_s)²-K₂DT_a]/K₂C (6)

式中，C＝ετ，D＝(1-τ)[1+(1-ε)τ]，K₂＝1321.08，B(T_s)为温度为T_s的黑体在红外传感器接收到的辐射亮度，T_a为大气平均作用温度，gain为增益，offset为补偿，N表示图像灰度值，可见进行温度反演的关键就是对于地表发射率以及大气透过率数值的获取；

大气透过率τ由MODTRAN经典大气模型获得，地表发射率ε采用地表植被覆盖率P_v进行计算：

式中，NDVI表示归一化植被指数，NDVI_s为裸土或建筑表面的归一化植被指数数值，NDVI_v为植被区域的归一化植被指数数值，则有：

式中，ε_water、ε_building、ε_natural分别表示水体、建筑、植被的自发发射率。

4.根据权利要求3所述的一种基于辐射特性反演的可见光图像与红外图像融合方法，其特征在于：步骤三中，重构生成红外图像首先要得到地表的辐射亮度L_land，

天基光学对地观测系统成像是一个多环节综合作用的过程，成像链路以场景目标为始端，以图像为终端，基于步骤一和步骤二反演得到的地物反射特性和地物热辐射特性，构建目标场景辐射特性，辐射光波经过大气传输，进入卫星平台光学系统成像在探测器上，经光电转换、量化得到数字图像；

大气对遥感成像的影响主要体现在吸收、散射，使得光波能量会产生衰减，设T(λ)为吸收散射作用下的大气光谱透过率函数，则有：

L_a(λ)＝T(λ)L_land(λ) (11)

式中，L_a(λ)为经过大气传输后的光谱辐射亮度；地物目标自身辐射以及反射太阳的辐射经过大气传输后，被光学系统收集并会聚到探测器上成像，光学系统成像过程满足线性叠加的性质，则入射物辐射亮度L_a(x',y')经过成像系统后形成像面辐射亮度分布L_op(x,y)可用下面的积分形式表达：

式中，(x',y')和(x,y)分别为入射面和像面坐标，

为相应坐标点的冲击响应；通常认为光学系统为线性不变系统，光学系统成像过程表示为卷积形式：

L_op(x,y)＝∫∫h_r(x-x',y-y')L_a(x',y')dx'dy'＝h_r*L_a (13)

式中，h_r表示成像系统点扩散函数；

探测器像元对目标景物像的能量进行采样积分，并通过光电转换将积分光子转化为电子，在一个光谱范围λ₁～λ₂内探测器的一个像元产生的电子数S_e按下式表示：

式中，A_d为探测器像元面积；τ(λ)为光学系统的透过率；T_int为探测器积分时间；η(λ)为器件的量子效率；F为光学系统F数；L_op(λ)为探测器接收到的光谱辐射亮度；h代表普朗克常数，c为光速；

最后电子学系统对来自探测器的信号进行放大、箝位、降噪，并进行数字化；设S_sa为探测器阱深，Ln为量化位数，L_sb为最小量化单位或量化间隔，如果A/D转换器与放大器的输出相匹配，输出最高电压对应探测器的阱深，对于均匀量化，L_sb如下式所示：

则量化结果为：

式中，x、y为探测器像元坐标，g为红外图像重构结果，Floor(·)表示取整运算；S_e(x,y)代表(x,y)位置像元产生的电子数，通过上述步骤即可计算得到红外遥感图像重构结果。

5.根据权利要求1所述的一种基于辐射特性反演的可见光图像与红外图像融合方法，其特征在于：步骤四中，给定场景的低分辨率实测图像，认为它们是由真实高分辨率图像经过光学遥感全链路降质过程产生的：

其中：(x₂,y₂)低分辨率图像坐标，(x₁,y₁)表示高分辨率图像坐标，g_l表示低分辨率图像，g_h表示高分辨率图像，n为噪声；h_d(x₁,y₁；x₂,y₂)表示点扩散函数权值，即高分辨率图像在(x₁,y₁)位置的像素对低分辨率图像在(x₂,y₂)位置像素灰度的贡献；

根据光学遥感成像机理，可将降质过程抽象分解为光学模糊、亚采样以及随机噪声三个过程，从而建立成像模型为：

g_l＝D_hlHg_h+n (18)

式中，D_hl表示降分辨率算子；H表示模糊核算子，相当于系统传递函数，根据最小二乘原理定义误差函数E：

E＝g_l-(D_hlHg_h) (19)

通过迭代优化，使得红外图像高分辨率估计解经退化后与实际观测图像均方误差最小，同时，为了在迭代过程中保护高分辨率图像纹理细节，基于图像场景拉普拉斯先验，引入总变分约束项，则图像修正目标函数为：

式中，

表示最终高分辨率红外图像计算结果，

表示双向差分滤波器，||·||₁、||·||₂分别表示1范数、2范数计算符号，模型可根据梯度下降法或迭代收缩阈值法进行求解，经迭代计算后即可得到最终高保真的红外图像融合超分结果。

Images