CN110555843B - 一种高精度的无参考融合遥感影像质量分析方法及系统 - Google Patents
一种高精度的无参考融合遥感影像质量分析方法及系统 Download PDFInfo
- Publication number
- CN110555843B CN110555843B CN201910859174.6A CN201910859174A CN110555843B CN 110555843 B CN110555843 B CN 110555843B CN 201910859174 A CN201910859174 A CN 201910859174A CN 110555843 B CN110555843 B CN 110555843B
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- fusion
- contrast
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 175
- 238000004458 analytical method Methods 0.000 title claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 62
- 238000001228 spectrum Methods 0.000 claims abstract description 60
- 238000013441 quality evaluation Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 10
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 79
- 238000002474 experimental method Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004042 decolorization Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004379 similarity theory Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像分析技术领域，公开了一种高精度的无参考融合遥感影像质量分析方法及系统，提取LRMS影像和融合影像的光谱饱和度图，将两幅影像的光谱饱和度相似性和明度一致性作为融合前后多光谱影像光谱信息保真度度量指标；构建融合影像的最优对比度图，与Pan影像的结构相似性图，得到两幅影像的对比度相似性指标和结构相似性指标；针对四个特征指标值，利用ELM训练得到池化策略，构建出融合遥感影像质量评价模型。本发明将人工特征提取与自主学习训练的优点相结合，克服了因融合遥感影像复杂性、参考影像缺失、训练样本不足等带来的建模困难；本发明对融合遥感影像的评价更为精确，与主观评价具有更高的一致性，具有更强的实用性。
Description
技术领域
本发明属于图像分析技术领域，尤其涉及一种高精度的无参考融合遥感影像质量分析方法及系统。
背景技术
目前，业内常用的现有技术是这样的：
低分辨率多光谱影像(LRMS)与高分辨率全色影像(Pan)的融合是遥感领域获取高分辨率多光谱影像(HRMS)的重要手段，近年来涌现出了许多优秀的算法。随着自适应融合算法和基于深度学习的融合算法的快速发展，如何对融合算法的优劣，即融合影像质量进行评价，成为遥感影像处理领域又一研究热点，在融合算法对比、算法参数选取、反馈学习等过程中有着重要的指导作用。
融合影像与原始LRMS影像和Pan影像都存在较大差异，且在实际应用中，往往不存在HRMS影像作为参考影像，这些特点及难点，使得近景影像质量评价算法难以直接应用于融合遥感影像评价，因此，有必要探索有针对性的融合遥感影像评价方法。现有技术1中指出融合算法在不同分辨率上的表现具有一致性，并提出了将LRMS影像作为参考影像，对LRMS影像和Pan影像分别进行下采样来获取更低分辨率影像，在更低分辨率空间进行影像融合，最后，将融合影像与LRMS参考影像进行对比的评价模式。基于此思路的主要算法有互信息指标MI(Mutual Information,MI)[；基于光谱失真度量的全局相对光谱损失ERGAS、光谱角映射SAM(Spectral Angular Mapping,SAM)等指标；基于空间结构失真、光谱失真相结合的融合图像视觉信息保真度VIFF(Visual Information Fidelity for Fusion，VIFF)，四通道结构相似性Q4(4-bands multispectral image Quality，Q4)及改进的2n(n＝1，2，3，…)通道结构相似性Q2n指标，分别从参考影像和融合影像的信息量对比、光谱失真、均方误差、结构相似度等方面对融合影像质量展开评价。参考影像的存在使得此类评价结果具有较高的可信度，相关算法逐渐被影像融合领域的研究者们采用来对融合影像进行客观评价。但是，融合算法的实现通常是在最高空间分辨率级上，而在这种评价模式下，研究者们不得不在更低分辨率级完成影像融合。现有技术2在两个空间分辨率级上实现融合算法，以便利用多种评价方法对算法进行对比和验证；现有技术3为了全面的评估已有的融合算法，依据不同评价算法对HRMS影像的需求，也在两个空间分辨率级上分别对融合算法展开评价，不仅给研究者们带来了极大地不便，在实际应用中，由于HRMS影像难以获取，这种评价思路实用价值较小，无法解决实际问题。
随着人们对融合目的、融合影像效果的进一步理解和分析，逐步认识到切实的利用LRMS影像和Pan影像来对融合后影像进行评价不仅能够简化评价模型，更能够对影像进行最为准确，最符合融合算法目的的评价。现有技术4指出，LRMS影像的光谱信息是评价融合图像光谱信息的最可靠依据，Pan影像的空间信息是评价融合影像空间信息的最有效依据。利用LRMS影像和Pan影像作为参考影像对融合影像进行评价，必须考虑到二者与融合影像的区别：多光谱影像与融合影像通道数相同，但空间分辨率不同，导致了影像尺寸上的差异；全色影像与融合影像尺寸一致，但光谱通道数不同。如何克服这两大差异，对融合前后影像的光谱信息保真度和空间信息提升进行评价是研究的重点。现有技术5提出了一种无需高分辨率多光谱参考影像的算法QNR(Quality with No Reference,QNR)，将融合影像进行下采样，以低分辨率多光谱影像为参考，计算得到光谱扭曲度指标Dλ；同时，计算融合影像各光谱通道与全色影像的空间信息相似度，求其均值Ds作为空间相似性指标，综合得到融合影像质量指标QNR。现有技术6用高斯差分尺度空间理论将全色影像和融合影像分为多个层级，通过相邻层影像差异矩阵计算得到全色影像和融合影像的空间结构相似度。同时，将各层级融合影像下采样后，与LRMS影像对比得到光谱相似度，最终得到融合影像质量评价指标。现有技术7首先对Pan影像、LRMS影像和融合影像通过低通滤波拆分为低频分量和高频分量，再进行均值、方差等特征提取和对比，给出了一种FFOCC(Feature-based FourthOrder Correlation Coefficient，FFOCC)质量评价算法。尽管具体方法有差异，现有技术8提出的算法都建立在以多光谱影像为参考进行光谱保真度评价、以全色影像为参考进行空间信息保真度评价的基础上，并在一定程度上解决了多光谱影像和融合影像分辨率不一致、全色影像和融合影像通道数不一致的问题。
综上所述，融合影像质量评价算法在影像特征提取、光谱信息保真度评价、空间信息相似性评价等方面取得了许多有意义的成果，但在以下几个方面，仍需要进一步的探索，首先，在融合过程中，由于波段区别，融合影像的各光谱通道对全色影像的空间细节信息的获取存在差异，单一通道的空间信息并不能完全表征融合影像空间信息。现有的空间信息相似性评价分别计算单通道影像与全色影像的结构相似性，将各通道的平均相似性作为融合影像与全色影像的空间相似性度量的方法存在其不合理性，如何充分利用融合影像各通道的空间细节信息来提高评价的准确性仍然有待研究；其次，遥感影像的光谱分布往往包含着丰富的地物信息，对光谱信息保真度的评价，应充分考虑光谱整体一致性，及多个光谱通道的相对畸变。最后，现有的融合影像质量评价模型大多基于人工特征选取和池化，探索基于训练和学习的多特征池化方法可以使评价模型具有更高精确度和更好的普适性。
综上所述，现有技术存在的问题是：
(1)现有算法对融合影像的多个光谱通道的结构特征提取与信息整合的精度不足，单一通道的空间信息及多通道空间信息的平均并不能准确表征融合影像的空间信息。
(2)现有融合影像质量评价对光谱整体一致性、通道间相对光谱畸变等因素考虑不足，光谱保真度评价准确性不高。
(3)单一特征对影像的表征能力有限，而现有的多特征评价方法大多采用线性加权法和幂指数加权法等池化策略，其池化参数往往依据经验来选取，难以得到最优的评价模型。
(4)现有融合评价方法精准度不高，不具备普适性。
解决上述技术问题的难度：
针对融合影像的复杂性和无参考影像的情况，采用多特征评价是通用的思路。难点在于如何确定最有效的能够表征影像质量的特征，特征对影像畸变表征能力及表征的精确度；最后，多特征指标的池化策略也影响着最终质量评价模型的准确性。
解决上述技术问题的意义：
上述问题的解决，能够克服因融合遥感影像复杂性、样本不足等带来的评价难点，有效的将人工特征提取与基于学习训练建模的优点相结合，构建出更为精确，与主观评价具有更高的一致性，具有更高实用价值的无参考融合遥感影像质量评价模型。
发明内容
针对现有技术存在的问题，本发明提供了一种高精度的无参考融合遥感影像质量分析方法及系统。
本发明是这样实现的，一种高精度的无参考融合遥感影像质量分析方法，具体包括：
步骤一，对LRMS影像上采样到与融合影像同样尺寸，提取LRMS影像和融合影像的光谱饱和度图，计算光谱相似性指标；计算两幅影像像素均值，对比得到明度一致性指标；利用两幅影像的光谱饱和度相似性指标和明度一致性指标进行多光谱影像与融合影像光谱信息保真度度量。
步骤二，提取融合影像各通道对比度图，利用最优对比度理论整合多通道对比度图，构建融合影像的最优对比度图，与Pan影像对比度图进行相似性计算，得到两幅影像的对比度相似性指标；分别计算Pan影像与融合影像各通道结构相似性图，利用最大相似性原则，构建最优相似性图，得到Pan影像与融合影像的结构相似性指标。
步骤三，多特征池化：构建单层神经网络，包括输入层，一个隐藏层和输出层，其中，输入为四个特征指标，隐藏层包含20各神经元，输出为最终的融合遥感影像评价指标，详细结构见附图3，结合主观评价影像库，利用极限学习机ELM训练得到各神经元权重参数，构建最终的融合遥感影像质量评价模型。
进一步，步骤一中，所述多光谱影像与融合影像光谱信息保真度度量步骤具体包括：
用MS、P、F分别表示LRMS影像、Pan影像和融合影像矩阵。
(1)计算LRMS影像和融合影像光谱饱和度图，如下式所示：
其中，MSi、Fi(i＝1,2,...n)为LRMS影像、融合影像的第i个光谱通道矩阵，ΜMS,ΜF分别为影像全部通道的对应点均值矩阵，n为多光谱影像的通道数；
(2)对提取的两幅饱和度图SAMS、SAF进行相似性计算，得到二者的相似性指标值SA_SIM(Saturation SIMilarity)，如下式所示：
SA_SIM＝MSSIM(SAMS,SAF)
(3)引入明度一致性指标LC(Luminance Consistency)表征融合影像整体明度变化，如下式所示：
其中，μMS,μF分别为LRMS影像和融合影像的像素均值，则LC取值在(0,1]之间。
进一步，步骤二中，所述全色影像与融合影像空间信息相似性度量步骤具体包括：
1)对融合影像，将影像的标准差作为对比度，分别计算得到各通道对比度图，如下式所示：
其中，fij、μi、N、Ci分别为融合影像F第i(i＝1,2,...n)个通道的像素值、均值、像素个数和计算得到的对比度图。
2)利用各通道对比度图来构建融合影像的最优对比度图Coptimal，如下式所示：
Coptimal＝max(C1(:,:),C2(:,:),...,Cn(:,:))
其中，max操作表示对各通道对比度图的对应点取最大值；
3)对全色影像，计算得到其对比度图，与融合影像最优对比度图进行相似性评价，得到Pan影像与融合影像的对比度相似性指标C_SIM(Contrast SIMilarity)，如下式所示：
C_SIM＝MSSIM(CPan,Coptimal)
4)计算Pan影像与融合影像各通道结构相似性，得到结构相似性图SS1，SS2，…,SSn，如下式：
其中，σ1、σ2、σ12分别为参与运算的Pan影像、融合影像通道的均方差和协方差矩阵，α>0为一常数；
5)对n个通道结构相似性图，提取对应点最大相似性值，构成最优结构相似性图，如下式：
SSoptimal＝max(SS1(:,:),SS2(:,:),...,SSn(:,:))
6)利用最优结构相似性图，计算得到Pan影像与融合影像的结构相似性指标S_SIM(Structure SIMilarity)，如下式：
S_SIM＝mean(SSoptimal)。
本发明另一目的在于提供一种实施所述高精度的无参考融合遥感影像质量分析方法的高精度的无参考融合遥感影像质量分析系统。
本发明另一目的在于提供一种实现所述高精度的无参考融合遥感影像质量分析方法的信息数据处理终端。
本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的高精度的无参考融合遥感影像质量分析方法。
综上所述，本发明的优点及积极效果为：
本发明提供的高精度的无参考融合遥感影像质量分析方法在不存在高分辨率多光谱影像HRMS情况下，确立以低分辨率多光谱影像LRMS和高分辨率全色影像Pan为参考的评价思路。提取LRMS影像和融合影像的光谱饱和度图，计算两幅影像像素均值，将两幅影像的光谱饱和度相似性和明度一致性作为融合前后多光谱影像的光谱信息保真度度量指标；利用最优对比度理论精确构建融合影像的最优对比度图，与Pan影像对比得到两幅影像的对比度相似性；利用最优结构相似性理论精确计算融合影像与Pan影像的结构相似性图，得到二者结构相似性，与对比度相似性共同作为Pan影像与融合影像空间信息相似性度量指标；针对以上提取的四个特征指标，利用极限学习机ELM训练得到其池化策略，构建出融合遥感影像质量评价模型。本发明将人工特征提取与自主学习训练的优点相结合，克服了因融合遥感影像复杂性、训练样本不足等带来的建模困难，实验表明，与当前常用融合影像质量评价算法相比，本发明算法对质量的评价更为精确，与主观评价具有更高的一致性，且不需要高分辨率多光谱影像作为参考影像，具有更高的实用性。
实验表明：
本发明对700幅融合影像，随机选取100幅进行训练，对其余600幅，分别用7种对比算法和本发明算法进行质量评价。
由于ELM训练时的初始权重和偏置系数具有随机性，本发明通过十次实验，分别将构建的质量评价模型应用于600幅待评价融合影像，获得主客观一致性指标，如表1所示。取其均值作为本发明算法的最终主客观一致性指标，与已有算法进行对比，如表2所示。主客观评价的散点图如图6所示，从实验数据和主客观拟合曲线可知，与已有评价算法相比，本发明算法在主客观一致性上有明显的提高，评价的精确性优于对比算法。
表1 ELM十次随机训练建模的主客观一致性指标
| Rand1 | Rand2 | Rand3 | Rand4 | Rand5 | Rand6 | Rand7 | Rand8 | Rand9 | Rand10 | |
| PLCC | 0.9787 | 0.9839 | 0.9808 | 0.9805 | 0.9831 | 0.9787 | 0.9819 | 0.9838 | 0.9792 | 0.9805 |
| SROCC | 0.9396 | 0.9437 | 0.9452 | 0.9366 | 0.9441 | 0.9422 | 0.9379 | 0.9474 | 0.9411 | 0.9430 |
| RMSE | 4.0270 | 3.4999 | 3.8183 | 3.8505 | 3.5866 | 4.0213 | 3.7160 | 3.5092 | 3.9782 | 3.8486 |
表2主客观一致性评价
| PSNR | MSSIM | FSIMc | Q | ERGAS | QNR | FFOCC | Proposed | |
| PCC | 0.9562 | 0.9647 | 0.9192 | 0.9445 | 0.9700 | 0.9311 | 0.9576 | 0.9811 |
| SROCC | 0.8806 | 0.8916 | 0.8373 | 0.8970 | 0.9073 | 0.8115 | 0.9229 | 0.9421 |
| RMSE | 5.7356 | 5.1643 | 7.7190 | 6.4376 | 4.7652 | 7.1509 | 5.6471 | 3.7856 |
由表2中PCC与SROCC对比可知，几种评价算法的PLCC指标都高于SROCC，且存在较大差别，主要是因为影像库中700幅融合影像仅仅由7种融合算法生成，理论上由同一种融合算法生成的影像在质量上较为接近，从指标上区分较为困难，这也是图6散点图中出现较多处散点聚积现象的原因。
本发明提出了以多光谱影像作为融合影像光谱保真度评价的参考影像，以全色影像作为融合影像空间信息评价的参考影像的整体建模思路。结合人眼视觉特性，精确提取影像的光谱特征和空间结构特征，得到明度一致性指标、饱和度相似性指标、对比度相似性指标和结构相似性指标；利用极限学习机训练设计多特征汇集策略，构建出融合影像质量评价模型。算法将人工特征提取与学习训练相结合，通过大量对比实验，表明本发明算法在融合影像质量评价上的精确性和可靠性均优于常用融合影像质量评价算法，且建模过程不需要HRMS影像的参与，具有更高的实用性。
附图说明
图1是本发明实施例提供的高精度的无参考融合遥感影像质量分析方法流程图。
图2是本发明实施例提供的高精度的无参考融合遥感影像质量分析方法原理图。
图3是本发明实施例提供的构建的ELM结构示意图。
图4是本发明实施例提供的最优结构相似性图的提取示意图。
图5是本发明实施例提供的特征精确度对比图。
图中：(a)HRMS影像与NNdif融合影像区域差异对比图，(I)特征精确度对比场景图一；(II)特征精确度对比场景图二；图(I)和图(II)中区域A：光谱畸变，图(I)和图(II)中区域B：对比度畸变，图(I)和图(II)中区域C：结构畸变；(b)本发明三个主要特征的相似性图，其中，(1)饱和度相似性图，(2)最优对比度相似性图，(3)最优结构相似性图；(c)对比算法FSIMc、MSSIM的特征图，其中，(1)FSIMc特征图,(2)MSSIM特征图。
图6是本发明实施例提供的主客观评价指标一致性拟合散点图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有融合影像的各光谱通道对全色影像的空间细节信息的获取存在差异，单一通道的空间信息并不能完全表征融合影像空间信息。现有融合影像质量评价没有考虑光谱整体一致性、相对畸变等参数，准确性不高，参数设置不合理。
现有融合评价方法精准度不高，不具备普适性。
为解决上述技术问题下面结合附图对本发明作详细说明。
如图1至图3所示，本发明实施例提供的高精度的无参考融合遥感影像质量分析方法具体包括：
S101，对LRMS影像上采样到与融合影像同样尺寸，提取LRMS影像和融合影像的光谱饱和度图，计算二者光谱相似性指标；计算两幅影像像素均值，对比二者明度一致性指标；从两幅影像的光谱饱和度相似性和明度一致性进行多光谱影像与融合影像光谱信息保真度度量。
S102，利用最优对比度理论提取融合影像的最优对比度图，与全色影像对比度图进行相似性计算，得到二者对比度相似性指标；分别计算全色影像与融合影像各通道结构相似性图，获取最优相似性图，得到二者结构相似性指标，进行全色影像与融合影像空间信息相似性度量。
S103，多特征池化：利用极限学习机ELM训练得到四个特征指标的池化模型，构建最终的融合遥感影像质量评价模型。
步骤S101中，本发明实施例提供的多光谱影像与融合影像光谱信息保真度度量步骤具体包括：
用MS、P、F分别表示LRMS影像、Pan影像和融合影像矩阵。
(1)计算LRMS影像和融合影像光谱饱和度图，如下式所示：
其中，MSi、Fi(i＝1,2,...n)为LRMS影像、融合影像的第i个光谱通道矩阵，ΜMS,ΜF分别为影像全部通道的对应点均值矩阵，n为多光谱影像的通道数；
(2)对提取的两幅饱和度图SAMS、SAF进行相似性计算，得到二者的相似性指标值SA_SIM(Saturation SIMilarity)，如下式所示：
SA_SIM＝MSSIM(SAMS,SAF)
(3)引入明度一致性指标LC(Luminance Consistency)表征融合影像整体明度变化，如下式所示：
其中，μMS,μF分别为LRMS影像和融合影像的像素均值，则LC取值在(0,1]之间。
如图4所示，步骤S102中，本发明实施例提供的全色影像与融合影像空间信息相似性度量步骤具体包括：
1)对融合影像，将影像的标准差作为对比度，分别计算得到各通道对比度图，如下式所示：
其中，fij、μi、N、Ci分别为融合影像F第i(i＝1,2,...n)个通道的像素值、均值、像素个数和计算得到的对比度图。
2)利用各通道对比度图来构建融合影像的最优对比度图Coptimal，如下式所示：
Coptimal＝max(C1(:,:),C2(:,:),...,Cn(:,:))
其中，max操作表示对各通道对比度图的对应点取最大值。
3)对全色影像，计算得到其对比度图，与融合影像最优对比度图进行相似性评价，得到Pan影像与融合影像的对比度相似性指标C_SIM(Contrast SIMilarity)，如下式所示：
C_SIM＝MSSIM(CPan,Coptimal)；
4)计算Pan影像与融合影像各通道结构相似性，得到结构相似性图SS1，SS2，…,SSn，如下式：
其中，σ1、σ2、σ12分别为参与运算的Pan影像、融合影像通道的均方差和协方差矩阵，α>0为一常数。
5)对n个通道结构相似性图，提取对应点最大相似性值，构成最优结构相似性图，如下式：
SSoptimal＝max(SS1(:,:),SS2(:,:),...,SSn(:,:))。
6)利用最优结构相似性图，计算得到Pan影像与融合影像的结构相似性指标S_SIM(Structure SIMilarity)，如下式：
S_SIM＝mean(SSoptimal)。
下面结合具体实施例对本发明作进一步说明。
实施例1：
1)、本发明将更精确的特征提取与基于训练的多特征池化方法相结合，通过构建光谱饱和度图、明度一致性、多通道最优对比度图和最优结构相似性图，利用极限学习机训练得到评价算法的多特征池化模型，来获取更精确可靠，且具有较强应用价值的融合影像质量评价指标。
2)、算法设计
本发明提出了一种基于多特征精确提取和极限学习机训练的融合遥感影像质量分析方法，如图2所示，算法主要包括三个部分：(1)光谱信息保真度度量：提取LRMS影像和融合影像的光谱饱和度图，计算得到二者光谱相似性指标；计算两幅影像像素均值，对比得到二者明度一致性指标；(2)空间信息相似性度量：利用最优对比度理论提取融合影像的最优对比度图，与全色影像对比度图进行相似性计算，得到二者对比度相似性指标；分别计算全色影像与融合影像各通道结构相似性图，获取最优相似性图，得到二者结构相似性指标；(3)多特征池化：利用极限学习机ELM(Extreme Learning Machine,ELM)训练得到四个特征指标的池化模型，从而构建最终的融合遥感影像质量评价模型。其算法框图如图2所示。
2.1)多光谱影像与融合影像光谱信息保真度度量
融合影像与LRMS影像的光谱相似性是衡量融合算法是否带来光谱扭曲失真的有效方法，对LRMS影像进行上采样，并不会导致其光谱信息变化。基于此，首先对LRMS影像上采样到与融合影像同样尺寸，再从两幅影像的光谱饱和度相似性和明度一致性两个方面来评价光谱信息保真度，用MS、P、F分别表示LRMS影像、Pan影像和融合影像矩阵，计算步骤如下：
步骤一：计算LRMS影像和融合影像光谱饱和度图(SAturation,SA)，如下式所示：
其中，MSi、Fi(i＝1,2,...n)为LRMS影像、融合影像的第i个光谱通道矩阵，ΜMS,ΜF分别为影像全部通道的对应点均值矩阵，n为多光谱影像的通道数。纯光谱色越饱和区域，SA矩阵中值越大，影像中的白色区域在饱和度图中为零，光谱饱和度图能很好的表征影像多光谱通道间相对差异，对光谱相对畸变非常敏感。
步骤二：对提取的两幅饱和度图SAMS、SAF进行相似性计算，得到二者的相似性指标值SA_SIM(Saturation SIMilarity)，如下式所示：
SA_SIM＝MSSIM(SAMS,SAF)
步骤三：光谱饱和度图对影像的各个光谱通道的相对光谱强度变化比较敏感，但没有考虑到融合前后，影像的整体明度是否发生畸变，而这种畸变在融合算法中较常见。因此引入明度一致性指标LC(Luminance Consistency)表征融合影像整体明度变化，如下式所示：
其中，μMS,μF分别为LRMS影像和融合影像的像素均值，则LC取值在(0,1]之间。
2.2)全色影像与融合影像空间信息相似性度量
融合影像空间分辨率的提升来源于全色影像，融合影像能多大程度上保持全色影像的空间信息，即二者在空间结构、细节信息上的近似程度是评价融合效果的重要标准。具体步骤如下：
步骤一：对融合影像，将影像的标准差作为对比度，分别计算得到各通道对比度图，如下式所示：
其中，fij、μi、N、Ci分别为融合影像F第i(i＝1,2,...n)个通道的像素值、均值、像素个数和计算得到的对比度图。
步骤二：利用各通道对比度图来构建融合影像的最优对比度图Coptimal，如下式所示：
Coptimal＝max(C1(:,:),C2(:,:),...,Cn(:,:))
其中，max操作表示对各通道对比度图的对应点取最大值。
步骤三：对全色影像，计算得到其对比度图，与融合影像最优对比度图进行相似性评价，得到Pan影像与融合影像的对比度相似性指标C_SIM(Contrast SIMilarity)，如下式所示：
C_SIM＝MSSIM(CPan,Coptimal)
步骤四：计算Pan影像与融合影像各通道结构相似性，得到结构相似性图SS1，SS2，…,SSn，如下式：
其中，σ1、σ2、σ12分别为参与运算的Pan影像、融合影像通道的均方差和协方差矩阵，α>0为一常数。
步骤五：对n个通道结构相似性图，提取对应点最大相似性值，构成最优结构相似性图，如下式：
SSoptimal＝max(SS1(:,:),SS2(:,:),...,SSn(:,:))
步骤六：利用最优结构相似性图，计算得到Pan影像与融合影像的结构相似性指标S_SIM(Structure SIMilarity)，如下式：
S_SIM＝mean(SSoptimal)
图4给出了提取最优结构相似性图的具体流程。
2.3)多特征池化策略
单一特征对影像的表征能力有限，利用单一特征形成的影像质量评价指标往往存在评价不精确、易受其它因素影响等不足，而现有的多特征参数池化策略大多采用线性加权法和幂指数加权法，其权重往往依据经验来选取，难以得到最优的池化模型。本发明从光谱保真度和空间信息相似性两个方面出发，利用影像的光谱饱和度、明度、对比度、结构这四个特征对融合前后影像进行对比评价，得到相关特征指标。在已有的融合遥感影像库中，利用融合影像样本和主观评价打分，训练极限学习机，得到映射权重，以ELM模型为基础，最终构建出四个特征参数的池化模型。其中，隐藏层包含20个神经元节点，激励函数为Sine函数，如图3所示。
下面结合实验结果与分析对本发明作进一步描述。
1)融合遥感影像质量主观评价库
融合影像的获取：由于影像质量主观评价库对影像数据需求较大，本发明影像库采用了较易获取的R、G、B，3通道遥感影像进行影像融合和评价，但提出的评价算法可以自然的扩展到4通道、8通道遥感影像的质量评价。尽管本发明算法不需要高分辨率多光谱影像作为参考，但为了与已有的优秀评价算法进行更广泛的对比，影像库将分辨率为2m的WorldView2多光谱影像作为HRMS参考影像，对其进行4×4的下采样获取更低分辨率的LRMS影像，对其进行去色获取高分辨率Pan影像，即影像的融合和评价不是基于真实的WorldView2影像，而是在更低一级的分辨率上进行的。影像库采用了7种常见融合算法，GS、PCA、NNdif、HIS、HSV、Brovey、Improved Brovey，分别对100组WorldView2高分辨率全色影像和低分辨率多光谱影像对进行融合，生成了700幅具有较大差异的待评价融合影像。(融合算法的实现主要基于Envy5.3及相关算法开源代码)。
主观评价的获取：本发明影像库主观评分的获取与传统DMOS(Differential MeanOpinion Score，DMOS)获取方法略有差异，原因在于，与近景图像相比，遥感影像的主观质量评价与影像分辨率有较大关系，无参考的主观评价往往受分辨率影响，无法有效的评价融合效果。因此，本发明将WorldView2的HRMS参考影像作为最优影像，分值为100，将下采样后的LRMS影像作为最差影像，分值为0，以此给出每幅融合影像MOS(Mean Opinion Score，MOS)值。最终，计算得到融合影像DMOS值。
2)特征对影像畸变的表征精确度分析
为了说明本发明算法提取的特征能够更有效和更精确地表征影像的畸变，本发明任选一幅HRMS影像和对应的NNdif融合影像，如图5(a)所示，将算法提取的三幅特征相似性图显示如图5(b)所示，分别为LRMS和融合影像的光谱饱和度相似性图、Pan影像和融合影像的最优对比度相似性图和最优结构相似性图。作为对比，将经典算法MSSIM、FSIMc的特征图也在图5(c)中给出：
由图5可知，与HRMS影像相比，本发明提取的三幅特征相似性图从三个不同的方面：光谱信息、对比度信息和结构信息来精确地描述了融合影像的畸变方向和程度。而FSIMc算法过于注重强结构信息，忽视了对比度和光谱信息；MSSIM算法在对比度变化和结构变化上比较敏感，但无法准确把握影像的光谱畸变。
具体的，图5中：(a)HRMS影像与NNdif融合影像区域差异对比图，其中，区域A：光谱畸变，区域B：对比度畸变，区域C：结构畸变；(b)本发明三个主要特征的相似性图，其中，(1)饱和度相似性图，(2)最优对比度相似性图，(3)最优结构相似性图；(c)对比算法FSIMc、MSSIM的特征图，其中，(1)FSIMc特征图,(2)MSSIM特征图。
3)主客观一致性对比
将本发明算法与当前广泛应用于融合影像评价上的多个优秀算法进行了主客观评价一致性对比和分析，采用的一致性评价指标主要有皮尔逊线性相关系数PLCC(Pearson’s Linear Correlation Coefficient，PLCC)、斯皮尔曼相关系数SROCC(Spearman’s Rank-Order Correlation Coefficient，SROCC)和均方根误差RMSE(RootMean Square Error，RMSE)。对比算法包括通用经典算法MSSIM、FSIMc、PSNR、Q，针对融合遥感影像的ERGAS、QNR及FFOCC算法。
实验中具体操作：
对700幅融合影像，随机选取100幅进行训练，对其余600幅，分别用上述7种对比算法和本发明算法进行质量评价。
由于ELM训练时的初始权重和偏置系数具有随机性，本发明通过十次实验，分别将构建的质量评价模型应用于600幅待评价融合影像，获得主客观一致性指标，如表1所示。取其均值作为本发明算法的最终主客观一致性指标，与已有算法进行对比，如表2所示。主客观评价的散点图如图6所示，从实验数据和主客观拟合曲线可知，与已有评价算法相比，本发明算法在主客观一致性上有明显的提高，评价的精确性优于对比算法。
表1 ELM随机训练建模的主客观一致性指标
| Rand1 | Rand2 | Rand3 | Rand4 | Rand5 | Rand6 | Rand7 | Rand8 | Rand9 | Rand10 | |
| PLCC | 0.9787 | 0.9839 | 0.9808 | 0.9805 | 0.9831 | 0.9787 | 0.9819 | 0.9838 | 0.9792 | 0.9805 |
| SROCC | 0.9396 | 0.9437 | 0.9452 | 0.9366 | 0.9441 | 0.9422 | 0.9379 | 0.9474 | 0.9411 | 0.9430 |
| RMSE | 4.0270 | 3.4999 | 3.8183 | 3.8505 | 3.5866 | 4.0213 | 3.7160 | 3.5092 | 3.9782 | 3.8486 |
表2主客观一致性评价
由表2中PCC与SROCC对比可知，几种评价算法的PLCC指标都高于SROCC，且存在较大差别，主要是因为影像库中700幅融合影像仅仅由7种融合算法生成，理论上由同一种融合算法生成的影像在质量上较为接近，从指标上区分较为困难，这也是图5散点图中出现较多处散点聚积现象的原因。
本发明提出了以多光谱影像作为融合影像光谱保真度评价的参考影像，以全色影像作为融合影像空间信息评价的参考影像的整体建模思路。结合人眼视觉特性，精确提取影像的光谱特征和空间结构特征，得到明度一致性指标、饱和度相似性指标、对比度相似性指标和结构相似性指标；利用极限学习机训练设计多特征汇集策略，构建出融合影像质量评价模型。算法将人工特征提取与学习训练相结合，通过大量对比实验，表明本发明算法在融合影像质量评价上的精确性和可靠性均优于常用融合影像质量评价算法，且建模过程不需要HRMS影像的参与，具有更高的实用性。
图6是本发明实施例提供的主客观评价指标一致性拟合散点图。图6中，(a)-(h)分别为对比算法PSNR、MSSIM、FSIMc、Q、ERGAS、QNR、FFOCC与本发明提出的质量评价指标与主观评价打分DMOS的一致性拟合散点图。其中PSNR、MSSIM、FSIMc、Q、ERGAS为全参考算法，QNR、FFOCC为无参考算法，由图可知，与已有算法相比，本发明提出的算法与主观评价具有更高的一致性，评价更为准确，且无需高分辨率多光谱参考影像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种高精度的无参考融合遥感影像质量分析方法，其特征在于，所述高精度的无参考融合遥感影像质量分析方法具体包括：
步骤一，对LRMS影像上采样到与融合影像同样尺寸，提取LRMS影像和融合影像的光谱饱和度图，计算光谱相似性指标；计算两幅影像像素均值，对比得到明度一致性指标；利用两幅影像的光谱饱和度相似性指标和明度一致性指标进行多光谱影像与融合影像光谱信息保真度度量；
步骤二，提取融合影像各通道对比度图，利用最优对比度理论整合多通道对比度图，构建融合影像的最优对比度图，与Pan影像对比度图进行相似性计算，得到两幅影像的对比度相似性指标；分别计算Pan影像与融合影像各通道结构相似性图，利用最大相似性原则，构建最优相似性图，得到Pan影像与融合影像的结构相似性指标；
步骤三，多特征池化：构建单层神经网络，结合主观评价影像库，利用极限学习机ELM训练得到各神经元权重参数，构建最终的融合遥感影像质量评价模型。
2.如权利要求1所述高精度的无参考融合遥感影像质量分析方法，其特征在于，步骤一中，所述多光谱影像与融合影像光谱信息保真度度量步骤具体包括：
用MS、P、F分别表示LRMS影像、Pan影像和融合影像矩阵；
(1)计算LRMS影像和融合影像光谱饱和度图，如下式所示：
其中，MSi、Fi(i＝1,2,...n)为LRMS影像、融合影像的第i个光谱通道矩阵，ΜMS,ΜF分别为影像全部通道的对应点均值矩阵，n为多光谱影像的通道数；
(2)对提取的两幅饱和度图SAMS、SAF进行相似性计算，得到二者的相似性指标值SA_SIM，如下式所示：
SA_SIM＝MSSIM(SAMS,SAF)；
(3)引入明度一致性指标LC表征融合影像整体明度变化，如下式所示：
其中，μMS,μF分别为LRMS影像和融合影像的像素均值，则LC取值在(0,1]之间。
3.如权利要求1所述高精度的无参考融合遥感影像质量分析方法，其特征在于，步骤二中，所述Pan影像与融合影像空间信息相似性度量步骤具体包括：
1)对融合影像，将影像的标准差作为对比度，分别计算得到各通道对比度图，如下式所示：
其中，fij、μi、N、Ci分别为融合影像F第i(i＝1,2,...n)个通道的像素值、均值、像素个数和计算得到的对比度图；
2)利用各通道对比度图来构建融合影像的最优对比度图Coptimal，如下式所示：
Coptimal＝max(C1(:,:),C2(:,:),...,Cn(:,:))
其中，max操作表示对各通道对比度图的对应点取最大值；
3)对Pan影像，计算得到其对比度图，与融合影像最优对比度图进行相似性评价，得到Pan影像与融合影像的对比度相似性指标C_SIM(Contrast SIMilarity)，如下式所示：
C_SIM＝MSSIM(CPan,Coptimal)；
4)计算Pan影像与融合影像各通道结构相似性，得到结构相似性图SS1，SS2，…,SSn，如下式：
其中，σ1、σ2、σ12分别为参与运算的Pan影像、融合影像通道的均方差和协方差矩阵，α>0为一常数；
5)对n个通道结构相似性图，提取对应点最大相似性值，构成最优结构相似性图，如下式：
SSoptimal＝max(SS1(:,:),SS2(:,:),...,SSn(:,:))；
6)利用最优结构相似性图，计算得到Pan影像与融合影像的结构相似性指标S_SIM，如下式：
S_SIM＝mean(SSoptimal)。
4.一种实施权利要求1所述高精度的无参考融合遥感影像质量分析方法的高精度的无参考融合遥感影像质量分析系统。
5.一种实现权利要求1～3任意一项所述高精度的无参考融合遥感影像质量分析方法的信息数据处理终端。
6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的高精度的无参考融合遥感影像质量分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859174.6A CN110555843B (zh) | 2019-09-11 | 2019-09-11 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859174.6A CN110555843B (zh) | 2019-09-11 | 2019-09-11 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555843A CN110555843A (zh) | 2019-12-10 |
| CN110555843B true CN110555843B (zh) | 2023-05-09 |
Family
ID=68739984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910859174.6A Active CN110555843B (zh) | 2019-09-11 | 2019-09-11 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555843B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681207B (zh) * | 2020-05-09 | 2023-10-27 | 四维高景卫星遥感有限公司 | 一种遥感图像融合质量评价方法 |
| CN115049576A (zh) * | 2021-02-26 | 2022-09-13 | 北京小米移动软件有限公司 | 图像的画质评价方法及装置、设备、存储介质 |
| CN115620030B (zh) * | 2022-12-06 | 2023-04-18 | 浙江正泰智维能源服务有限公司 | 一种图像匹配方法、装置、设备、介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023111A (zh) * | 2016-05-23 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种影像融合质量评价方法及系统 |
| CN106780463A (zh) * | 2016-12-15 | 2017-05-31 | 华侨大学 | 一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法 |
| CN108596890A (zh) * | 2018-04-20 | 2018-09-28 | 浙江科技学院 | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 |
-
2019
- 2019-09-11 CN CN201910859174.6A patent/CN110555843B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023111A (zh) * | 2016-05-23 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种影像融合质量评价方法及系统 |
| CN106780463A (zh) * | 2016-12-15 | 2017-05-31 | 华侨大学 | 一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法 |
| CN108596890A (zh) * | 2018-04-20 | 2018-09-28 | 浙江科技学院 | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《NMF-Based Image Quality Assessment Using Extreme Learning Machine》;S. Wang, C. Deng, W. Lin, G. -B. Huang and B. Zhao;《IEEE Transactions on Cybernetics》;20170131;第47卷(第1期);232-243 * |
| 光学遥感影像压缩及融合的质量评价研究;马旭东;《中国博士学位论文全文数据库信息科技辑》;20150415(第4期);I140-48 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555843A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN110555843B (zh) | 一种高精度的无参考融合遥感影像质量分析方法及系统 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
| CN109410171B (zh) | 一种用于雨天图像的目标显著性检测方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN107610118B (zh) | 一种基于dM的图像分割质量评价方法 | |
| CN107491793B (zh) | 一种基于稀疏散射全卷积的极化sar图像分类方法 | |
| Wang et al. | A new blind image quality framework based on natural color statistic | |
| Wu et al. | VP-NIQE: An opinion-unaware visual perception natural image quality evaluator | |
| CN112308873A (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
| CN113569724A (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
| CN113139904A (zh) | 一种图像盲超分辨率方法及系统 | |
| Jin et al. | Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment. | |
| CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
| CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
| CN110910347A (zh) | 一种基于图像分割的色调映射图像无参考质量评价方法 | |
| CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 | |
| CN110251076B (zh) | 融合视觉注意力基于对比度的显著性检测方法及装置 | |
| CN111199251B (zh) | 一种基于加权邻域的多尺度高光谱图像分类方法 | |
| CN111222576A (zh) | 一种高分辨率遥感图像分类方法 | |
| CN113628111B (zh) | 基于梯度信息约束的高光谱图像超分辨方法 | |
| CN111047581B (zh) | 基于Itti模型和胶囊神经网络的图像显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |