CN102034229A - 高分辨多光谱空间光学遥感器的实时图像融合方法 - Google Patents

Abstract

高分辨多光谱空间光学遥感器的实时图像融合方法，涉及智能信息处理领域，它解决现有高分辨多光谱空间光学遥感器在图像融合过程中采用IHS算法计算过程复杂，并且算法实时处理困难的问题，具体的融合方法为：采用双线性插值法对抽取的彩色多光谱图像数据进行重采样，获得与全色图像P大小相同的重采样彩色多光谱图像；采用算数平均法计算彩色多光谱图像的强度分量I；根据公式

采用重采样彩色多光谱图像的强度分量I的均值和方差调整全色图像P的均值和方差，使调整后的全色图像P_t的均值和方差与重采样彩色多光谱图像的强度分量I的均值和方差匹配；将重采样彩色多光谱图像的分量与(P_t-I)相加，获得最终的彩色融合图像。本发明适用于空间光学遥感成像领域。

Description

高分辨多光谱空间光学遥感器的实时图像融合方法

技术领域

本发明涉及智能信息处理领域，具体涉及对空间光学遥感器影像的采集和信息处理技术。

背景技术

国际上先进发达国家都制定了21世纪空间科学发展战略规划，这些规划提出了今后一段时间内空间科学要解决的问题和发展方向，而解决这些问题并推进空间技术的发展在很大程度上都依赖于先进的空间光学遥感器。

现有高分辨多光谱空间光学遥感器下传的全色图像具有较高空间分辨率，但光谱分辨率较低；下传的彩色多光谱图像的光谱分辨率较高，但空间分辨率比较低，即空间的细节表现能力比较差。单独利用全色图像或彩色多光谱图像无法达到高分辨、多光谱的对地观测要求。

常用的遥感图像融合方法有：IHS变换法，PCA变换法，高通滤波法，小波变换法等。其中IHS变换法计算复杂度最低，最有可能用于实时融合。但是，IHS变换法中RGB和IHS颜色空间之间的变换需要大量的乘加运算，高分辨多光谱空间光学遥感器下传的图像数据速度快、数据量大，IHS变换法中颜色空间变换带来的大量乘加运算给图像数据实时融合处理造成了困难。

发明内容

本发明为解决现有高分辨多光谱空间光学遥感器在图像融合过程中采用IHS算法计算过程复杂，并且算法实时处理困难的问题，提供一种高分辨多光谱空间光学遥感器的实时图像融合方法。该方法由以下步骤实现：

步骤一、数据转换电路将空间光学遥感器下传的全色图像数据和彩色多光谱图像数据传送至高速图像采集电路；

步骤二、高速图像采集电路将步骤一所述的全色图像数据和彩色多光谱图像数据存储至光纤磁盘阵列，同时抽取部分全色图像数据和彩色多光谱图像数据传送至处理器进行融合，获得最终的彩色融合图像；

所述具体的融合过程为：

步骤二一、采用双线性插值法对步骤二抽取的彩色多光谱图像数据进行重采样，获得与全色图像P大小相同的重采样彩色多光谱图像[R，G，B]^T；

步骤二二、采用算数平均法计算步骤二一获得的重采样彩色多光谱图像[R，G，B]^T的强度分量I；

所述重采样彩色多光谱图像[R，G，B]^T的强度分量I用公式一表示为：

$I=\frac{1}{3}(R+G+B);$

步骤二三、根据公式二

$P_t=\frac{{\mathrm{\σ}}_I}{{\mathrm{\σ}}_P}(P-{\mathrm{\μ}}_P)+{\mathrm{\μ}}_I$

采用重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差调整全色图像P的均值和方差，使调整后的全色图像P_t的均值和方差与重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差匹配；式中P_t为调整后的全色图像，μ_P为原始全色图像P的均值，σ_P为原始全色图像P的方差，μ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值，σ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的方差；

步骤二四、将重采样彩色多光谱图像的R、G、B分量分别与(P_t-I)相加，获得最终的彩色融合图像[R_c，G_c，B_c]^T，所述的最终彩色融合图像[R_c，G_c，B_c]^T用公式三表示：

$\left[\begin{array}{c}{R}_c\\ G_c\\ B_c\end{array}\right]=\left[\begin{array}{c}R+(P_t-I)\\ G+(P_t-I)\\ B+(P_t-I)\end{array}\right].$

本发明的原理：本发明所涉及的高分辨多光谱空间光学遥感器主要是用于对地观测，空间光学遥感器在同一片CCD上可同时采集全色和红、绿、蓝多光谱彩色影像，全色CCD像元尺寸和彩色CCD像元尺寸不同，下传的彩色多光谱图像分辨率和全色图像分辨率之比为4∶1。本发明的高速图像采集融合系统由数据转换电路、高速图像采集电路、光纤磁盘阵列、高性能服务器和图像处理软件组成。数据转换电路将下传的LVDS格式的数据传送至图像采集卡，图像采集卡将所述的LVDS格式的数据转换为标准的CameraLink协议的数据，所述高速图像采集电路通过CameraLink接口接收高分辨多光谱空间光学遥感器下传的全色及彩色多光谱图像，并通过内存将全色及彩色多光谱图像对齐后通过光纤接口存储至光纤磁盘阵列，同时按照图像处理软件的显示策略，将部分数据帧经PCI总线送至处理器进行融合和显示，融合后的数据存储至计算机硬盘。本发明所述的融合方法将彩色多光谱图像和全色图像进行实时融合，使融合图像具有较高的空间细节表现能力和丰富的光谱信息，从而增强对图像实时判读的可靠性和解释能力，提高数据分类和目标识别的准确性。

本发明的有益效果：本发明所述的融合方法直接在RGB空间内完成图像的融合，省去了颜色空间变换过程，有效地降低了算法的计算复杂度，节省了数据存储空间，利于实时处理；本发明方法通过步骤二三所述的图像处理手段实现了全色通道和彩色通道图像数据的均匀性校正，消除了全色通道和彩色通道之间的非均匀性对融合效果的影响。

附图说明

图1为本发明所述的高分辨多光谱空间光学遥感器实时图像采集、融合系统示意图。

图2为本发明所述的高分辨多光谱空间光学遥感器的实时图像融合方法的数据转换电路的硬件结构框图。

图3为本发明所述的高分辨多光谱空间光学遥感器的实时图像融合方法的全色图像数据转换软件的示意图。

图4为本发明所述的高分辨多光谱空间光学遥感器的实时图像融合方法的融合算法流程图。

具体实施方式

具体实施方式一、结合图1至图4说明本实施方式，高分辨多光谱空间光学遥感器的实时图像融合方法，该方法由以下步骤实现：

步骤一、数据转换电路分别将高分辨多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据传送至高速图像采集电路；

步骤二、高速图像采集电路将步骤一所述的全色图像数据和彩色多光谱图像数据存储至光纤磁盘阵列，同时抽取部分全色图像数据和彩色多光谱图像数据传送至处理器进行融合，获得最终的彩色融合图像；

所述具体的融合过程为：

步骤二一、采用双线性插值法对步骤二抽取的彩色多光谱图像数据进行重采样，获得与全色图像P大小相同的重采样彩色多光谱图像[R，G，B]^T；

步骤二二、采用算数平均法计算步骤二一获得的重采样彩色多光谱图像[R，G，B]^T的强度分量I；

所述重采样彩色多光谱图像[R，G，B]^T的强度分量I用公式一表示为：

$I=\frac{1}{3}(R+G+B);$

步骤二三、根据公式二

$P_t=\frac{{\mathrm{\σ}}_I}{{\mathrm{\σ}}_P}(P-{\mathrm{\μ}}_P)+{\mathrm{\μ}}_I$

采用重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差与重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差匹配；式中P_t为调整后的全色图像，μ_P为原始全色图像P的均值，σ_P为原始全色图像P的方差，μ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值，σ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的方差；

步骤二四、将重采样彩色多光谱图像的R、G、B分量分别与(P_t-I)相加，获得最终的彩色融合图像[R_c，G_c，B_c]^T，所述的最终彩色融合图像[R_c，G_c，B_c]^T用公式三表示：

$\left[\begin{array}{c}{R}_c\\ G_c\\ B_c\end{array}\right]=\left[\begin{array}{c}R+(P_t-I)\\ G+(P_t-I)\\ B+(P_t-I)\end{array}\right].$

本实施方式中步骤一所述高分辨率多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据为LVDS格式，所述彩色多光谱图像数据中红色多光谱图像数据为1024像素/行、绿色多光谱图像数据为1024像素/行、蓝色多光谱图像数据为1024像素/行、全色图像数据为4096像素/行。

本实施方式中步骤一所述的高分辨率多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据转换为CameraLink协议的数据，并将所述的CameraLink协议的数据传送至高速图像采集电路。

本实施方式中步骤二所述的全色图像数据和彩色多光谱图像数据通过光纤接口存储至光纤磁盘阵列。

结合图2说明本实施方式所述的数据转换电路，图2为数据转换电路的硬件结构示意图，所述的全色图像数据和彩色多光谱图像数据均采用10bit量化，所述CameraLink接口器件DS90CR287为专用电平转换器件，能将28位CMOS/TTL电平数据和1位像素时钟信号分别转换成4组LVDS数据流及一对LVDS时钟信号进行传输，并且能把FPGA的TTL输出转换成标准的CameraLink接口形式输出给上位机。

结合图3，所述全色图像数据转换中的数据流情况为：所述全色图像数据的位宽10bit，行长4240，伴随时钟100MHz，行频10KHz；彩色多光谱图像数据的位宽10bit，行长3240，伴随时钟40MHz，行频5KHz。

本实施方式所述的高速图像采集电路实现CameraLink接口到SAS硬盘的图像采集与记录功能，兼顾了写入速度和长时间纪录两方面的要求；高速图像采集电路解决了10bit、12bit或14bit数据在计算机内传输并保存到硬盘时，需要占用16bit数据空间的问题，可以用硬件将10bit、12bit或14bit数据紧凑的排列起来，不会在高位或低位留下空位；进而提高了硬盘空间的利用率，同时还降低了数据实际写入硬盘的速率，使系统可以记录更快的数据。本实施方式中系统写入硬盘的速度为：全色通道输出的数据写入硬盘的速率为125MB/s，即：10bits×100MHz/8bit/B；彩色通道输出的数据写入硬盘的速率为50MB/s，即：10bits×40MHz/8bit/B。

所述高速图像采集电路上集成了SAS硬盘控制器，从空间光学遥感器到SAS硬盘的图像记录过程完全由硬件直接完成，不需要计算机干预，使得系统更稳定可靠。使用这种图像数据记录完全由硬件完成的方式，避免了数据需要经由PCI总线的环节，很好地解决了因PCI总线带宽不足所带来的一系列问题。

本实施方式所述的光纤磁盘阵列采用超微CSE-M35T1模组希捷500GB SASDisk，每台主机连接一路全色通道和一路彩色通道，所述高速图像采集电路写入硬盘的总的数据率为175MB/s，两块硬盘在前60％位置的写入速率可以满足系统的要求。

本实施方式中所用的软件是基于I0Industries公司的Streams 5软件内核，针对实时图像采集、融合系统所需功能作相应的开发。Stream 5支持多设备实时同步记录，直接记录到硬盘或系统内存并回放；支持多种图像格式，有多种软硬外触发功能；记录同时可显示，可进行实时图像分析和增强，提供丰富的库函数供二次开发使用。

本实施方式中的融合算法采用Visual C++6.0实现，基于Stream 5的流媒体过滤器，Stream 5可根据服务器实际工作的负载情况，实时调整调入处理器的帧数，以在不损失融合质量的条件下，保证系统的性能得到最大的利用和稳定性。

本实施方式所述的融合算法与本发明所述的融合算法之间的等效关系：结合本发明中的均值方差匹配技术，全色图像和彩色多光谱图像融合的现有方法步骤如下：

一、对全色图像和彩色多光谱图像进行配准，用双线性插值方法对彩色多光谱图像进行重采样，得到与全色图像P大小相同的重采样彩色多光谱图像[R，G，B]^T；

二、将重采样彩色多光谱图像[R，G，B]^T变换到IHS空间：

$\left[\begin{array}{c}I\\ V1\\ V2\end{array}\right]=\left[\begin{array}{ccc}1/3& 1/3& 1/3\\ -1/\sqrt{6}& -1/\sqrt{6}& 2/\sqrt{6}\\ 1/\sqrt{6}& -1/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

H＝tan^-1(V2/V1)

$S=\sqrt{{V1}^2+{V2}^2}$

三、用强度分量I的均值和方差调整全色图像P的均值和方差，使得调整后的全色图像和强度分量具有相同的均值和方差：

$P_t=\frac{{\mathrm{\σ}}_I}{{\mathrm{\σ}}_P}(P-{\mathrm{\μ}}_P)+{\mathrm{\μ}}_I$

四、用调整后的全色图像P_t替换强度分量I，通过IHS逆变换得到最终的彩色融合图像[R_c，G_c，B_c]^T：

$\left[\begin{array}{c}{R}_c\\ G_c\\ B_c\end{array}\right]=\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}{P}_t\\ V1\\ V2\end{array}\right]$

对图像进行IHS变换需要大量的乘法和加法运算，这会耗费系统的运算时间。通过下列推导可以简化上述传统方法的融合过程，有效地提高运算速度：

$\left[\begin{array}{c}{R}_c\\ G_c\\ B_c\end{array}\right]=\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}{P}_t\\ V1\\ V2\end{array}\right]$

$=\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}I+(P_t-I)\\ V1\\ V2\end{array}\right]$

$=\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}I\\ V1\\ V2\end{array}\right]+\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}{P}_t\\ 0\\ 0\end{array}\right]$

$=\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}I\\ V1\\ V2\end{array}\right]+\left[\begin{array}{ccc}1& -1/\sqrt{6}& 3/\sqrt{6}\\ 1& -1/\sqrt{6}& -3/\sqrt{6}\\ 1& 2/\sqrt{6}& 0\end{array}\right]\left[\begin{array}{c}(P_t-I)\\ 0\\ 0\end{array}\right]$

$=\left[\begin{array}{c}R+(P_t-I)\\ G+(P_t-I)\\ B+(P_t-I)\end{array}\right]$

本发明所述的融合算法的融合效果与传统IHS变换融合算法的融合效果相同，本发明所述的融合算法的过程简单，省去了IHS变换带来的大量的乘加运算。本发明所述的融合算法的计算复杂度较低，有利于实时处理。

本实施方式所述的融合算法中采用算数平均法计算强度分量的目的在于：为了使彩色融合图像的色彩更接近于人眼观察的颜色，高分辨多光谱空间光学遥感器在辐射定标过程中进行了颜色校正。根据色度学理论，用R、G、B三原色光混合成标准白光，其三刺激值关系应相等。对于空间光学遥感器，三刺激值即为R、G、B三通道的信号值：

$s_R=\underset{\mathrm{\λ}}{\∫}{R}_R\left(\mathrm{\λ}\right)E\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$s_G=\underset{\mathrm{\λ}}{\∫}{R}_G\left(\mathrm{\λ}\right)E\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$s_B=\underset{\mathrm{\λ}}{\∫}{R}_B\left(\mathrm{\λ}\right)E\left(\mathrm{\λ}\right)\mathrm{d\λ}$

式中，S_R、S_G、S_B分别为R、G、B三通道的信号值，R_R(λ)、R_G(λ)、R_G(λ)为空间光学遥感器对R、G、B波段光的光谱响应度，E(λ)为空间光学遥感器像面上接收到的辐照度。

对于日光下的均匀白色目标，经过颜色校正的空间光学遥感器近似符合下列表达式：

S_R＝S_G＝S_B

R、G、B三通道的信号值即为三通道的响应值，即：图像码值；这说明对于日光下的均匀白色目标，空间光学遥感器R、G、B三通道响应值，即：图像码值应相等。本发明以混合近似于6500K日光下白色的情况为基准生成彩色多光谱图像的强度分量，因此，采用公式一来计算重采样彩色多光谱图像[R，G，B]^T的强度分量I。

本实施方式所述的融合算法中采用均值方差匹配的目的在于：所述空间光学遥感器在进行辐射定标时，只是对全色通道和彩色通道分别进行均匀性校正；均匀性校正后，全色通道和彩色通道的响应非均匀性可分别达到小于5％。但是，辐射定标并不对全色通道和彩色通道之间的均匀性进行校正，对同等成像条件下的同一地物，如：白色靶标，全色通道和彩色通道的响应值，即：图像码值，会存在较大的不同，这导致全色图像P和重采样彩色多光谱图像强度分量

之间会存在明显的差异，因而会严重地影响融合的效果；本发明通过公式二对全色图像P和重采样彩色多光谱图像强度分量I的均值和方差进行匹配，通过图像处理的方法对全色通道和彩色通道的图像数据进行均匀性校正，从而消除全色通道和彩色通道之间的非均匀性对融合效果的影响。

Claims (4)

1.高分辨多光谱空间光学遥感器的实时图像融合方法，其特征是，该方法由以下步骤实现：

步骤一、数据转换电路分别将高分辨多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据传送至高速图像采集电路；

步骤二、高速图像采集电路将步骤一所述的全色图像数据和彩色多光谱图像数据存储至光纤磁盘阵列，同时抽取部分全色图像数据和彩色多光谱图像数据传送至处理器进行融合，获得最终的彩色融合图像；

所述具体的融合过程为：

步骤二一、采用双线性插值法对步骤二抽取的彩色多光谱图像数据进行重采样，获得与全色图像P大小相同的重采样彩色多光谱图像[R，G，B]^T；

步骤二二、采用算数平均法计算步骤二一获得的重采样彩色多光谱图像[R，G，B]^T的强度分量I；

所述重采样彩色多光谱图像[R，G，B]^T的强度分量I用公式一表示为：

$I=\frac{1}{3}(R+G+B);$

步骤二三、根据公式二

$P_t=\frac{{\mathrm{\σ}}_I}{{\mathrm{\σ}}_P}(P-{\mathrm{\μ}}_P)+{\mathrm{\μ}}_I$

采用重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差与重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值和方差匹配；式中P_t为调整后的全色图像，μ_P为原始全色图像P的均值，σ_P为原始全色图像P的方差，μ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的均值，σ_I为重采样彩色多光谱图像[R，G，B]^T的强度分量I的方差；

步骤二四、将重采样彩色多光谱图像的R、G、B分量分别与(P_t-I)相加，获得最终的彩色融合图像[R_c，G_c，B_c]^T，所述的最终彩色融合图像[R_c，G_c，B_c]^T用公式三表示：

$\left[\begin{array}{c}{R}_c\\ G_c\\ B_c\end{array}\right]=\left[\begin{array}{c}R+(P_t-I)\\ G+(P_t-I)\\ B+(P_t-I)\end{array}\right].$

2.根据权利要求1所述的高分辨多光谱空间光学遥感器的实时图像融合方法，其特征在于，步骤一所述高分辨多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据为LVDS格式，所述彩色多光谱图像数据中红色多光谱图像数据为1024像素/行、绿色多光谱图像数据为1024像素/行、蓝色多光谱图像数据为1024像素/行、全色图像数据为4096像素/行。

3.根据权利要求1或2所述的高分辨多光谱空间光学遥感器的实时图像融合方法，其特征在于，步骤一所述的高分辨多光谱空间光学遥感器下传的全色图像数据和彩色多光谱图像数据转换为CameraLink协议的数据，并将所述的CameraLink协议的数据传送至高速图像采集电路。

4.根据权利要求1所述的高分辨多光谱空间光学遥感器的实时图像融合方法，其特征在于，步骤二所述的全色图像数据和彩色多光谱图像数据通过光纤接口存储至光纤磁盘阵列。

Images