CN102693551A - 多光谱图像融合实现三维重建的方法 - Google Patents

Abstract

本发明公开一种多光谱图像融合实现三维重建的方法，包括如下步骤：实现双正交小波分解；确定融合算子；HIS变换及空间、光谱特征分离；组合波段；融合结果图像；本发明方法处理后，三维结构的内部结构均较清晰，所以多光谱融合图像的数字效果最佳，实现了单光谱信息的优势互补。

Description

多光谱图像融合实现三维重建的方法

技术领域

本发明涉及一种图像融合方法，具体涉及一种多光谱图像融合实现三维重建的方法。

背景技术

随着图像融合及相关技术应用领域的拓展，图像处理技术已经成为工程学、计算机科学、信息科学、生物学、医学等各学科之间学习和研究的对象，并已做了大量卓有成效的工作。由于低空间分辨力混合像元和异物同谱的问题，严重限制了高光谱影像的应用，因此影像融合，亚像元定位和超分辨率重建变得尤为重要，因为它们可以增强高光谱影像分辨率。目前图像融合技术在理论和方法上仍有不太满意的地方，其中多源图像融合主要存在细节信息含量不够和振铃效应的问题，影像融合和亚像元定位的缺陷，例如影像融合会出现光谱畸变，亚像元定位仅得到分类图，不能用于进一步处理；而单小波融合方法的融合结果存在光谱畸变等缺点。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种采用多光谱图像融合实现三维重建的方法。

技术方案：本发明所述的一种多光谱图像融合实现三维重建的方法，包括如下步骤：

(1)实现双正交小波分解：对各个二维图像进行N层的双正交小波分解，形成3N+1个不同频带，包括3N个高频带和一个低频带；

(2)确定融合算子：各分解层上的不同频率分量采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔，融合算子的确定方法如下：

$E_j^{\mathrm{\ϵ}}(n,m)=\underset{n^{\′}\∈L,m^{\′}\∈K}{\mathrm{\Σ}}\left\{w^{\mathrm{\ϵ}}(n^{\′},m^{\′}){\left[D_j^{\mathrm{\ϵ}}(n+n^{\′},m+m^{\′})\right]}^2\right\};\mathrm{\ϵ}=\mathrm{1,2,3}$

计算各幅图像对应的方向、对应分辨率上局部区域的匹配度，公式如下：

$M_{j,\mathrm{AB}}^{\mathrm{\ϵ}}(n,m)=\left\{2\underset{n^{\′}\∈L,m^{\′}\∈K}{\mathrm{\Σ}}\right[w^{\mathrm{\ϵ}}(n^{\′},m^{\′})D_{j,A}^{\mathrm{\ϵ}}(n+n^{\′},m+m^{\′})D_{j,B}^{\mathrm{\ϵ}}(n+n^{\′},m+m^{\′})\left]\right\}/[E_{j,A}^{\mathrm{\ϵ}}(n,m)+E_{j,B}^{\mathrm{\ϵ}}(n,m)]$

先定义一匹配度阀值，则计算如下：

$\left\{\begin{array}{cc}{D}_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,A}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)\&GreaterEqual;E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\\ D_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,B}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)<E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\end{array}\right.;\mathrm{\&epsiv;}=\mathrm{1,2,3}$

由于局域能量较大的中心像素代表了原始图像中的明显特征，并且图像的局部特征一般不是只取决于某一像素，因此，这里采用的基于区域特性测量的加权融合算子相对于以往仅根据单一独立像素的简单选择或简单加权来确定融合像素的方法来说，显得更合理、科学，实验也证明采用该融合算子取得了良好的视觉效果和融合质量；

(3)HIS变换及空间、光谱特征分离：对于正交小波变换的多波段图像融合后图像所构成的RGB分量经HIS变换后，将图像的空间特性I和光谱特征H，S分离；变换后的I分量与物体表面粗燥度相对应，代表物体的空间几何特征，色调分量H代表物体的主要频谱特征，饱和度分量S表征色彩的纯度；

(4)组合波段：计算不同波段组合指数值，计算公式如下：

$N_{\mathrm{OIF}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{S}_i/\mathrm{\&Sigma;}{R}_{\mathrm{jk}}(j=1,...,n;k=1,...,n;j\&NotEqual;k)$

其中S_i表示第i个波段的标准差，R_jr表示第j、k两个波段的相关系数；

组合波段为123、124、134、234时，最佳指数分别为46.295 5、49.208 7、42.957 2、32.869 2，选取组合指数值最大的组合波段，即选取多光谱影像的1、2、4波段构成RGB分量进行HIS正变换，变换后得到I、H和S3个分量；

(5)融合结果图像：将SPOT全色高分辨率图像与I分量进行直方图匹配，得到I’，将I’、H和S进行HIS逆变换得到RGB空间，生成融合图像。

经过K-L变换后得到的第1主成分，相当于原来多光谱图像各波段的加权和，反映了物体总的辐射强度。所以在基于K-L变换的融合方法中，使用全色高分辨率图像来替代多光谱图像的第1主成分进行逆主成分变换，从而得到融合结果图像。

融合结果表明，在原单光谱图像中可以清楚的识别三维结构内部表体，但是物体细节不易区分，而在多光谱图像融合处理后，三维结构的内部结构均较清晰，所以多光谱融合图像的数字效果最佳，实现了单光谱信息的优势互补。

本发明方法通过对多幅具有互补信息的低分辨率影像的处理，重建出一幅或多幅高分辨率影像。而互补信息来源主要包括两个方面，一是基于运动的超分辨率重建：各幅影像之间的相对运动；二是非基于运动的超分辨率重建：变焦、模糊和辐射。多光谱融合重建原理是各幅低分辨率影像之间的相对运动必须为亚像素，这是影像超分辨率重建所需的互补信息的来源，也是进行重建的前提。

通过光谱连续、图谱合一，可以反映出在单光谱影像中难以表达的光谱近似物质的细微光谱差异。另外，而多光谱图像融合重建方法不仅可以提高空间分辨率，同时尽可能的减少光谱畸变。有效的弥补了多源图像融合方法和单小波融合方法的缺点。

有益效果：本发明与现有技术相比，其有益效果是：

1、本发明针对多光谱输入图像需去除观察环境和相机特性影响、进行光谱反射率重建的问题，进行了光谱重建技术的研究，构建了一个6通道光谱成像系统，利用该成像系统仿真了三种适用的重建方法。实验表明，R-矩阵法由于兼顾了数字图像包含的光谱和色度信息，较其他方法能带来更好的重建结果，可用于光谱再现系统进行光谱反射率重建。

2、本发明针对多光谱图像高维并增加了色彩再现复杂度的问题，提出了两种光谱数据降维方法：首先针对现有光谱数据降维算法存在重构出现负值的问题，提出一种基于非负主成分分析的宽带多光谱空间表示法，并用该法构造低维光谱空间，实现高维多光谱数据与低维光谱空间的转换。实验表明，本发明方法可将重构光谱反射率数据限制在[0，1]区间内，保持了光谱反射率的物理意义。针对现有光谱数据降维方法不能兼顾光谱精度、色度精度、光照变换色差稳定性的问题，提出一种WSPC Aplus光谱图像非线性降维方法。新方法通过引入人眼视觉系统特征，提高了降维结果的色度精度和光照变换的色差稳定性；通过补偿因提高色度精度导致的光谱损失，减小了降维结果的光谱误差；通过根据应用精度要求组合前两步产生的降维数据，形成了最终的降维结果。实验表明，该方法在光照变换色差稳定性、光谱精度及色度精度三个方面，均优于现有方法。

3、本发明方法结合降维技术，针对光谱数据的高维性，利用了查找表法精度高、速度快的特点，有效提高了光谱色彩校正的精度和效率。由于建立设备解析模型只需测量少量样本，因此提出一种基于设备光谱模型的色彩校正方法。该方法在Yule-NielsenNeugebauer正向光谱打印模型的基础上，以兼顾光谱和色度精度为目标，采用非线性优化技术进行色彩校正。实验表明，本发明方法与现有模型校正法相比，在色度和光谱精度两方面性能均有显著优势，并且具有良好的误差分布，分色效果好，能有效提高多光谱图像的质量。

附图说明

图1为本发明实施例中基于双正交小波变换的图像融合示意图；

图2为本发明方法流程图。

具体实施方式

下面结合附图，对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

一种多光谱图像融合实现三维重建的方法，包括如下步骤：

(1)实现双正交小波分解：对各个二维图像进行N层的双正交小波分解，形成3N+1个不同频带，包括3N个高频带和一个低频带；以两幅图像融合为例，具体融合方法如图1所示，设A、B为两幅原始图像，F为融合后的图像，对每一幅原始图像分别进行双正交小波变形，建立图像的双正交小波塔形分解；多幅图像的融合方法依次类推；

(2)确定融合算子：各分解层上的不同频率分量采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔，融合算子的确定方法如下：

$E_j^{\mathrm{\&epsiv;}}(n,m)=\underset{n^{\&prime;}\&Element;L,m^{\&prime;}\&Element;K}{\mathrm{\&Sigma;}}\left\{w^{\mathrm{\&epsiv;}}(n^{\&prime;},m^{\&prime;}){\left[D_j^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})\right]}^2\right\};\mathrm{\&epsiv;}=\mathrm{1,2,3}$

计算各幅图像对应的方向、对应分辨率上局部区域的匹配度，公式如下：

$M_{j,\mathrm{AB}}^{\mathrm{\&epsiv;}}(n,m)=\left\{2\underset{n^{\&prime;}\&Element;L,m^{\&prime;}\&Element;K}{\mathrm{\&Sigma;}}\right[w^{\mathrm{\&epsiv;}}(n^{\&prime;},m^{\&prime;})D_{j,A}^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})D_{j,B}^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})\left]\right\}/[E_{j,A}^{\mathrm{\&epsiv;}}(n,m)+E_{j,B}^{\mathrm{\&epsiv;}}(n,m)]$

先定义一匹配度阀值，则计算如下：

$\left\{\begin{array}{cc}{D}_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,A}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)\&GreaterEqual;E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\\ D_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,B}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)<E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\end{array}\right.;\mathrm{\&epsiv;}=\mathrm{1,2,3}$

(3)HIS变换及空间、光谱特征分离：对于正交小波变换的多波段图像融合后图像所构成的RGB分量经HIS变换后，将图像的空间特性I和光谱特征H，S分离；

(4)组合波段：计算不同波段组合指数值，计算公式如下：

$N_{\mathrm{OIF}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{S}_i/\mathrm{\&Sigma;}{R}_{\mathrm{jk}}(j=1,...,n;k=1,...,n;j\&NotEqual;k)$

其中S_i表示第i个波段的标准差，R_jr表示第j、k两个波段的相关系数；

组合波段为123、124、134、234时，最佳指数分别为46.295 5、49.208 7、42.957 2、32.869 2.，选取组合指数值最大的组合波段，即选取多光谱影像的1、2、4波段构成RGB分量进行HIS正变换，变换后得到I、H和S 3个分量。

选取组合指数值最大的组合波段构成RGB分量进行HIS正变换，变换后得到I、H和S3个分量；

(5)融合结果图像：将SPOT全色高分辨率图像与I分量进行直方图匹配，得到I’。将I’、H和S进行HIS逆变换得到RGB空间，生成融合图像。

经过K-L变换后得到的第1主成分，相当于原来多光谱图像各波段的加权和，反映了物体总的辐射强度。所以在基于K-L变换的融合方法中，使用全色高分辨率图像来替代多光谱图像的第1主成分进行逆主成分变换，从而得到融合结果图像。

经过主观目测，在原单光谱图像中可以清楚的识别建筑内部表体，但是物体细节不易区分，而在多光谱图像融合处理后，建筑内柱体等结构均较清晰。所以多光谱融合图像的数字效果最佳，实现了单光谱信息的优势互补。

现将此方法用于高危场所内部环境遥测建模应用中，下面以矿井结构探测为例说明：

煤矿井下分好几层，每一层都有好多巷道，环境复杂，井道表面结构特殊。在未知情况下的人工作业存在着巨大风险，同时人工探测也无法实施的对井道数据信息作出准确的描述。在井道探测车上装载多光谱分析仪的探测车，通过遥控推进，扫描整个矿井的截面和矿井每一层的地形，将扫描的数据传输到计算机，利用三维重建技术自动生成整个矿井井道三维模型，并且这个场景图和一部分设备在后期会随着井下作业的不断推进可以自动或进行简单的设置手动修改。通过该技术，能够实现快速精准的地下巷道等室内场景的三维重建。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (1)

1.一种多光谱图像融合实现三维重建的方法，其特征在于包括如下步骤：

(1)实现双正交小波分解：对各个二维图像进行N层的双正交小波分解，形成3N+1个不同频带，包括3N个高频带和一个低频带；

(2)确定融合算子：各分解层上的不同频率分量采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔，融合算子的确定方法如下：

$E_j^{\mathrm{\&epsiv;}}(n,m)=\underset{n^{\&prime;}\&Element;L,m^{\&prime;}\&Element;K}{\mathrm{\&Sigma;}}\left\{w^{\mathrm{\&epsiv;}}(n^{\&prime;},m^{\&prime;}){\left[D_j^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})\right]}^2\right\};\mathrm{\&epsiv;}=\mathrm{1,2,3}$

公式中

表示在2^-j分辨率下以(n，m)为中心位置的局部区域能量；表示在2^-j分辨率下的高频分量，W^ε(n′，m′)是与

相对应的权系数，ε＝1，2，3分别表示水平、垂直和对角三个方向；L和K定义了局部区域的大小；

计算各幅图像对应的方向、对应分辨率上局部区域的匹配度，公式如下：

$M_{j,\mathrm{AB}}^{\mathrm{\&epsiv;}}(n,m)=\left\{2\underset{n^{\&prime;}\&Element;L,m^{\&prime;}\&Element;K}{\mathrm{\&Sigma;}}\right[w^{\mathrm{\&epsiv;}}(n^{\&prime;},m^{\&prime;})D_{j,A}^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})D_{j,B}^{\mathrm{\&epsiv;}}(n+n^{\&prime;},m+m^{\&prime;})\left]\right\}/[E_{j,A}^{\mathrm{\&epsiv;}}(n,m)+E_{j,B}^{\mathrm{\&epsiv;}}(n,m)]$

先定义一匹配度阀值，则计算如下：

公 $\left\{\begin{array}{cc}{D}_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,A}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)\&GreaterEqual;E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\\ D_{j,F}^{\mathrm{\&epsiv;}}(n,m)=D_{j,B}^{\mathrm{\&epsiv;}}(n,m),& E_{j,A}^{\mathrm{\&epsiv;}}(n,m)<E_{j,B}^{\mathrm{\&epsiv;}}(n,m)\end{array}\right.;\mathrm{\&epsiv;}=\mathrm{1,2,3}$

式中表示图像A在2^-j分辨率下的高频分量在(n，m)处像素的灰度值；

表示图像B在2^-j分辨率下的高频分量在(n，m)处像素的灰度值，

表示融合后图像F在2^-j分辨率下的高频分量在(n，m)处像素的灰度值；

(3)HIS变换及空间、光谱特征分离：对于正交小波变换的多波段图像融合后图像所构成的RGB分量经HIS变换后，将图像的空间特性I和光谱特征H，S分离；

(4)组合波段：计算不同波段组合指数值，计算公式如下：

$N_{\mathrm{OIF}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{S}_i/\mathrm{\&Sigma;}{R}_{\mathrm{jk}}(j=1,...,n;k=1,...,n;j\&NotEqual;k)$

其中S_i表示第i个波段的标准差，R_jr表示第j、k两个波段的相关系数；

选取组合指数值最大的组合波段构成RGB分量进行HIS正变换，变换后得到I、H和S3个分量；

(5)融合结果图像：将SPOT全色高分辨率图像与I分量进行直方图匹配，得到I’，将I’、H和S进行HIS逆变换得到RGB空间，生成融合图像。

Images