CN109191450A - 一种遥感图像融合质量评价方法 - Google Patents

一种遥感图像融合质量评价方法 Download PDF

Info

Publication number
CN109191450A
CN109191450A CN201811054826.0A CN201811054826A CN109191450A CN 109191450 A CN109191450 A CN 109191450A CN 201811054826 A CN201811054826 A CN 201811054826A CN 109191450 A CN109191450 A CN 109191450A
Authority
CN
China
Prior art keywords
test
image
block
sub
denoted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811054826.0A
Other languages
English (en)
Other versions
CN109191450B (zh
Inventor
邵枫
周炳忠
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Dark Blue Space Remote Sensing Technology Co ltd
Wuxi Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201811054826.0A priority Critical patent/CN109191450B/zh
Publication of CN109191450A publication Critical patent/CN109191450A/zh
Application granted granted Critical
Publication of CN109191450B publication Critical patent/CN109191450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10041Panchromatic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像融合质量评价方法,其考虑到光谱域失真和空间域失真对遥感融合影像质量的影响,提取了红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像,并通过提取所有子块的统计特征矢量,构造出训练样本集合的原始多元高斯模型;在测试阶段,通过获取测试遥感融合影像构成的测试样本集合的原始多元高斯模型,并根据训练阶段构造的原始多元高斯模型,预测得到测试遥感融合影像的客观质量评价预测值,由于获得的统计特征矢量信息能够较好地反映遥感融合影像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。

Description

一种遥感图像融合质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种遥感图像融合质量评价方法。
背景技术
全色多光谱融合是目前遥感图像融合领域的一个研究热点。多光谱图像通常空间分辨率较低,而全色图像通常具有较高的空间分辨率,但缺乏光谱信息。全色多光谱融合的目的就是将全色图像的空间信息融合到多光谱图像中,得到具有高空间分辨率的多光谱图像。但是,不同融合方法对不同的全色图像和多光谱图像有着不同的融合效果,如何评价融合后图像质量问题是目前需要解决的一个问题。
目前遥感全色多光谱融合图像质量评价领域中,主要存在两方面问题:(1)缺少全色多光谱融合图像的主观评价库,现有的客观质量评价方法无法通过人类主观评价的对比来衡量效果。(2)光谱域失真问题难以用无参考评价方法来衡量,而光谱域失真过于严重可能导致地物识别困难,因此度量光谱域失真是评价融合图像质量必须要解决的问题。
发明内容
本发明所要解决的技术问题是提供一种遥感图像融合质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种遥感图像融合质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅宽度为W且高度为H的原始的无失真多光谱影像,每幅原始的无失真多光谱影像包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,将第u幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像对应记为Ru、Gu、Bu、NIRu;其中,N>1,u为正整数,1≤u≤N;
①_2、计算每幅原始的无失真多光谱影像的归一化植被指数图像,将第u幅原始的无失真多光谱影像的归一化植被指数图像记为NDVIu,将NDVIu中坐标位置为(x,y)的像素点的像素值记为NDVIu(x,y),其中,1≤x≤W,1≤y≤H,NIRu(x,y)表示NIRu中坐标位置为(x,y)的像素点的像素值,Ru(x,y)表示Ru中坐标位置为(x,y)的像素点的像素值;
计算每幅原始的无失真多光谱影像的归一化差分水体指数图像,将第u幅原始的无失真多光谱影像的归一化差分水体指数图像记为NDWIu,将NDWIu中坐标位置为(x,y)的像素点的像素值记为NDWIu(x,y),其中,Gu(x,y)表示Gu中坐标位置为(x,y)的像素点的像素值;
计算每幅原始的无失真多光谱影像的道路和建筑物指数图像,将第u幅原始的无失真多光谱影像的道路和建筑物指数图像记为RatioGu,将RatioGu中坐标位置为(x,y)的像素点的像素值记为RatioGu(x,y),其中,Bu(x,y)表示Bu中坐标位置为(x,y)的像素点的像素值;
①_3、从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中同坐标位置截取一个尺寸大小为96×96的子块,并对截取的每个子块进行标记以指示其来源,以随机截取方式,重复截取的过程,共截取M次后从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中截取了M个子块;然后将截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M'个子块对应的列向量构成一个训练样本集合,将标记为γ的M'个子块对应的列向量构成的训练样本集合记为其中,M≥7,M'表示标记相同的子块的总个数,M'=N×M,γ∈{R,G,B,NIR,NDVI,NDWI,RatioG},γ=R表示该子块截取自红波段图像,γ=G表示该子块截取自绿波段图像,γ=B表示该子块截取自蓝波段图像,γ=NIR表示该子块截取自近红外波段图像,γ=NDVI表示该子块截取自归一化植被指数图像,γ=NDWI表示该子块截取自归一化差分水体指数图像,γ=RatioG表示该子块截取自道路和建筑物指数图像,m为正整数,1≤m≤M',表示标记为γ的第m个子块对应的列向量,的维数为(96×96)×1;
①_4、计算7个训练样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M'个统计特征矢量,将7个训练样本集合中索引号同为m的列向量对应的子块的统计特征矢量记为Fm;其中,Fm的维数为42×1;
①_5、根据7个训练样本集合对应的M'个统计特征矢量,提取出7个训练样本集合的原始多元高斯模型,记为(μ,C);其中,μ表示(μ,C)的均值向量,C表示(μ,C)的协方差矩阵;
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅宽度为W'且高度为H'的测试遥感融合影像,其包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,对应记为Rtest,Gtest,Btest,NIRtest
②_2、按照步骤①_2的过程,以相同的操作方式,得到测试遥感融合影像的归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像,对应记为NDVItest,NDWItest,RatioGtest
②_3、采用窗口尺寸大小为96×96且窗口移动步长为1像素的移动窗口,在Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中移动以截取同坐标位置的尺寸大小为96×96的子块,并对从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块进行标记以指示其来源,共移动M”次后从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中截取了M”个子块;然后将从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M”个子块对应的列向量构成一个测试样本集合,将标记为γ的M”个子块对应的列向量构成的测试样本集合记为其中,M”表示Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中标记相同的子块的总个数,1<M”≤(W'-96)×(H'-96),m”为正整数,1≤m”≤M”,表示标记为γ的第m”个子块对应的列向量,的维数为(96×96)×1;
②_4、按照步骤①_4的过程,以相同的方式计算7个测试样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M”个统计特征矢量,将7个测试样本集合中索引号同为m”的列向量对应的子块的统计特征矢量记为Ftest,m”;其中,Ftest,m”的维数为42×1;
②_5、根据7个测试样本集合对应的M”个统计特征矢量,按照步骤①_5的过程,以相同的方式提取出7个测试样本集合的原始多元高斯模型,记为(μtest,Ctest);其中,μtest表示(μtest,Ctest)的均值向量,Ctest表示(μtest,Ctest)的协方差矩阵;
②_6、根据(μ,C)和(μtest,Ctest),计算测试遥感融合影像的客观质量评价预测值,记为Qtest其中,(μ-μtest)T为(μ-μtest)的转置,的逆。
所述的步骤①_4中的Fm的获取过程为:
①_4a、对于γ=R的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示输入变量,表示通过拟合得到的中的6个高斯和分布参数,exp()表示以自然基数e为底的指数函数;
对于γ=G的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=B的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NIR的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NDVI的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NDWI的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=RatioG的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
①_4b、将 按序排列构成Fm
所述的步骤①_5中的(μ,C)的获取过程为:
①_5a、根据7个训练样本集合对应的M'个统计特征矢量,获取截取的7M'个子块的特征矩阵,记为X,其中,X的维数为M'×42,(F1)T为F1的转置,F1表示7个训练样本集合中索引号同为1的列向量对应的子块的统计特征矢量,(F2)T为F2的转置,F2表示7个训练样本集合中索引号同为2的列向量对应的子块的统计特征矢量,(Fm)T为Fm的转置,(FM')T为FM'的转置,FM'表示7个训练样本集合中索引号同为M'的列向量对应的子块的统计特征矢量;
①_5b、计算X中的列向量的均值向量,记为μ,μ=[μ1 μ2 … μ42],其中,μ的维数为1×42,X(m,1)表示X中第m行第1列的元素的值,X(m,2)表示X中第m行第2列的元素的值,X(m,42)表示X中第m行第42列的元素的值;
计算X中的列向量的协方差矩阵,记为C,σ1,1=cov(X(m,1),X(m,1)),σ1,2=cov(X(m,1),X(m,2)),σ1,42=cov(X(m,1),X(m,42)),σ2,1=cov(X(m,2),X(m,1)),σ2,2=cov(X(m,2),X(m,2)),σ2,42=cov(X(m,2),X(m,42)),σ42,1=cov(X(m,42),X(m,1)),σ42,2=cov(X(m,42),X(m,2)),σ42,42=cov(X(m,42),X(m,42));其中,C的维数为42×42,cov(a,b)表示计算向量a和b的协方差操作;
①_5c、根据μ和C,构造得到(μ,C)。
与现有技术相比,本发明的优点在于:
本发明方法考虑到光谱域失真和空间域失真对遥感融合影像质量的影响,提取了红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像,并通过提取所有子块的统计特征矢量,构造出训练样本集合的原始多元高斯模型;在测试阶段,通过获取测试遥感融合影像构成的测试样本集合的原始多元高斯模型,并根据训练阶段构造的原始多元高斯模型,预测得到测试遥感融合影像的客观质量评价预测值,由于获得的统计特征矢量信息能够较好地反映遥感融合影像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种遥感图像融合质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅宽度为W且高度为H的原始的无失真多光谱影像,每幅原始的无失真多光谱影像包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,将第u幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像对应记为Ru、Gu、Bu、NIRu;其中,N>1,在本实施里中取N=100,u为正整数,1≤u≤N。
①_2、计算每幅原始的无失真多光谱影像的归一化植被指数图像,将第u幅原始的无失真多光谱影像的归一化植被指数图像记为NDVIu,将NDVIu中坐标位置为(x,y)的像素点的像素值记为NDVIu(x,y),其中,1≤x≤W,1≤y≤H,NIRu(x,y)表示NIRu中坐标位置为(x,y)的像素点的像素值,Ru(x,y)表示Ru中坐标位置为(x,y)的像素点的像素值。
计算每幅原始的无失真多光谱影像的归一化差分水体指数图像,将第u幅原始的无失真多光谱影像的归一化差分水体指数图像记为NDWIu,将NDWIu中坐标位置为(x,y)的像素点的像素值记为NDWIu(x,y),其中,Gu(x,y)表示Gu中坐标位置为(x,y)的像素点的像素值。
计算每幅原始的无失真多光谱影像的道路和建筑物指数图像,将第u幅原始的无失真多光谱影像的道路和建筑物指数图像记为RatioGu,将RatioGu中坐标位置为(x,y)的像素点的像素值记为RatioGu(x,y),其中,Bu(x,y)表示Bu中坐标位置为(x,y)的像素点的像素值。
①_3、从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中同坐标位置截取一个尺寸大小为96×96的子块,并对截取的每个子块进行标记以指示其来源,以随机截取方式,重复截取的过程,共截取M次后从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中截取了M个子块,即针对N幅红波段图像共有N×M个子块、针对N幅绿波段图像共有N×M个子块、针对N幅蓝波段图像共有N×M个子块、针对N幅近红外波段图像共有N×M个子块、针对N幅归一化植被指数图像共有N×M个子块、针对N幅归一化差分水体指数图像共有N×M个子块、针对N幅道路和建筑物指数图像共有N×M个子块;然后将截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M'个子块对应的列向量构成一个训练样本集合,将标记为γ的M'个子块对应的列向量构成的训练样本集合记为其中,M≥7,在本实施例中取M=100,M'表示标记相同的子块的总个数,M'=N×M,γ∈{R,G,B,NIR,NDVI,NDWI,RatioG},γ=R表示该子块截取自红波段图像,γ=G表示该子块截取自绿波段图像,γ=B表示该子块截取自蓝波段图像,γ=NIR表示该子块截取自近红外波段图像,γ=NDVI表示该子块截取自归一化植被指数图像,γ=NDWI表示该子块截取自归一化差分水体指数图像,γ=RatioG表示该子块截取自道路和建筑物指数图像,m为正整数,1≤m≤M',表示标记为γ的第m个子块对应的列向量,的维数为(96×96)×1。
①_4、计算7个训练样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M'个统计特征矢量,将7个训练样本集合中索引号同为m的列向量对应的子块的统计特征矢量记为Fm,将Fm作为原始的无失真多光谱影像中与7个训练样本集合中索引号同为m的列向量对应的子块同坐标位置的尺寸大小为96×96的区域的统计特征矢量;其中,Fm的维数为42×1。
在本实施例中,步骤①_4中的Fm的获取过程为:
①_4a、对于γ=R的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示输入变量,表示通过拟合得到的中的6个高斯和分布参数,exp()表示以自然基数e为底的指数函数。
对于γ=G的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
对于γ=B的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
对于γ=NIR的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
对于γ=NDVI的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
对于γ=NDWI的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
对于γ=RatioG的子块,对中的所有元素的值进行高斯和(Sum-of-Gaussians)分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数。
①_4b、将 按序排列构成Fm
①_5、根据7个训练样本集合对应的M'个统计特征矢量,提取出7个训练样本集合的原始多元高斯(Pristine Multivariate Gaussian,MVG)模型,记为(μ,C);其中,μ表示(μ,C)的均值向量,C表示(μ,C)的协方差矩阵。
在本实施例中,步骤①_5中的(μ,C)的获取过程为:
①_5a、根据7个训练样本集合对应的M'个统计特征矢量,获取截取的7M'个子块的特征矩阵,记为X,其中,X的维数为M'×42,(F1)T为F1的转置,F1表示7个训练样本集合中索引号同为1的列向量对应的子块的统计特征矢量,(F2)T为F2的转置,F2表示7个训练样本集合中索引号同为2的列向量对应的子块的统计特征矢量,(Fm)T为Fm的转置,(FM')T为FM'的转置,FM'表示7个训练样本集合中索引号同为M'的列向量对应的子块的统计特征矢量。
①_5b、计算X中的列向量的均值向量,记为μ,μ=[μ1 μ2 … μ42],其中,μ的维数为1×42,X(m,1)表示X中第m行第1列的元素的值,X(m,2)表示X中第m行第2列的元素的值,X(m,42)表示X中第m行第42列的元素的值。
计算X中的列向量的协方差矩阵,记为C,σ1,1=cov(X(m,1),X(m,1)),σ1,2=cov(X(m,1),X(m,2)),σ1,42=cov(X(m,1),X(m,42)),σ2,1=cov(X(m,2),X(m,1)),σ2,2=cov(X(m,2),X(m,2)),σ2,42=cov(X(m,2),X(m,42)),σ42,1=cov(X(m,42),X(m,1)),σ42,2=cov(X(m,42),X(m,2)),σ42,42=cov(X(m,42),X(m,42));其中,C的维数为42×42,cov(a,b)表示计算向量a和b的协方差操作。
①_5c、根据μ和C,构造得到(μ,C)。
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅宽度为W'且高度为H'的测试遥感融合影像,其包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,对应记为Rtest,Gtest,Btest,NIRtest
②_2、按照步骤①_2的过程,以相同的操作方式,得到测试遥感融合影像的归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像,对应记为NDVItest,NDWItest,RatioGtest
②_3、采用窗口尺寸大小为96×96且窗口移动步长为1像素的移动窗口,在Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中移动以截取同坐标位置的尺寸大小为96×96的子块,并对从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块进行标记以指示其来源,共移动M”次后从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中截取了M”个子块;然后将从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M”个子块对应的列向量构成一个测试样本集合,将标记为γ的M”个子块对应的列向量构成的测试样本集合记为其中,M”表示Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中标记相同的子块的总个数,1<M”≤(W'-96)×(H'-96),m”为正整数,1≤m”≤M”,表示标记为γ的第m”个子块对应的列向量,的维数为(96×96)×1。
②_4、按照步骤①_4的过程,以相同的方式计算7个测试样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M”个统计特征矢量,将7个测试样本集合中索引号同为m”的列向量对应的子块的统计特征矢量记为Ftest,m”,再将Ftest,m”作为测试遥感融合影像中与7个测试样本集合中索引号同为m”的列向量对应的子块同坐标位置的尺寸大小为96×96的区域的统计特征矢量;其中,Ftest,m”的维数为42×1。
②_5、根据7个测试样本集合对应的M”个统计特征矢量,按照步骤①_5的过程,以相同的方式提取出7个测试样本集合的原始多元高斯(Pristine Multivariate Gaussian,MVG)模型,记为(μtest,Ctest);其中,μtest表示(μtest,Ctest)的均值向量,Ctest表示(μtest,Ctest)的协方差矩阵。
②_6、根据(μ,C)和(μtest,Ctest),计算测试遥感融合影像的客观质量评价预测值,记为Qtest其中,(μ-μtest)T为(μ-μtest)的转置,的逆。
为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
在本实施例中,采用本发明方法对宁波大学建立的遥感融合影像数据库中的遥感融合影像进行测试。该遥感融合影像数据库收集了20个由Quickbird卫星拍摄的全色空间分辨率为0.6米的Quickbird影像,然后对多光谱影像和全色影像采用18种融合方法进行融合,得到对应的遥感融合影像,这样该遥感融合影像数据库共有360幅遥感融合影像,并给出了每幅遥感融合影像的平均主观评分均值。在本实施例中,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearsonlinear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映客观质量评价预测值的准确性,SROCC反映其单调性。表1给出了采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性,从表1中可以看出,采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性
方法 PLCC SROCC RMSE
本发明方法 0.7410 0.6913 8.8399

Claims (3)

1.一种遥感图像融合质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅宽度为W且高度为H的原始的无失真多光谱影像,每幅原始的无失真多光谱影像包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,将第u幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像对应记为Ru、Gu、Bu、NIRu;其中,N>1,u为正整数,1≤u≤N;
①_2、计算每幅原始的无失真多光谱影像的归一化植被指数图像,将第u幅原始的无失真多光谱影像的归一化植被指数图像记为NDVIu,将NDVIu中坐标位置为(x,y)的像素点的像素值记为NDVIu(x,y),其中,1≤x≤W,1≤y≤H,NIRu(x,y)表示NIRu中坐标位置为(x,y)的像素点的像素值,Ru(x,y)表示Ru中坐标位置为(x,y)的像素点的像素值;
计算每幅原始的无失真多光谱影像的归一化差分水体指数图像,将第u幅原始的无失真多光谱影像的归一化差分水体指数图像记为NDWIu,将NDWIu中坐标位置为(x,y)的像素点的像素值记为NDWIu(x,y),其中,Gu(x,y)表示Gu中坐标位置为(x,y)的像素点的像素值;
计算每幅原始的无失真多光谱影像的道路和建筑物指数图像,将第u幅原始的无失真多光谱影像的道路和建筑物指数图像记为RatioGu,将RatioGu中坐标位置为(x,y)的像素点的像素值记为RatioGu(x,y),其中,Bu(x,y)表示Bu中坐标位置为(x,y)的像素点的像素值;
①_3、从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中同坐标位置截取一个尺寸大小为96×96的子块,并对截取的每个子块进行标记以指示其来源,以随机截取方式,重复截取的过程,共截取M次后从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中截取了M个子块;然后将截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M'个子块对应的列向量构成一个训练样本集合,将标记为γ的M'个子块对应的列向量构成的训练样本集合记为其中,M≥7,M'表示标记相同的子块的总个数,M'=N×M,γ∈{R,G,B,NIR,NDVI,NDWI,RatioG},γ=R表示该子块截取自红波段图像,γ=G表示该子块截取自绿波段图像,γ=B表示该子块截取自蓝波段图像,γ=NIR表示该子块截取自近红外波段图像,γ=NDVI表示该子块截取自归一化植被指数图像,γ=NDWI表示该子块截取自归一化差分水体指数图像,γ=RatioG表示该子块截取自道路和建筑物指数图像,m为正整数,1≤m≤M',表示标记为γ的第m个子块对应的列向量,的维数为(96×96)×1;
①_4、计算7个训练样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M'个统计特征矢量,将7个训练样本集合中索引号同为m的列向量对应的子块的统计特征矢量记为Fm;其中,Fm的维数为42×1;
①_5、根据7个训练样本集合对应的M'个统计特征矢量,提取出7个训练样本集合的原始多元高斯模型,记为(μ,C);其中,μ表示(μ,C)的均值向量,C表示(μ,C)的协方差矩阵;
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅宽度为W'且高度为H'的测试遥感融合影像,其包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像,对应记为Rtest,Gtest,Btest,NIRtest
②_2、按照步骤①_2的过程,以相同的操作方式,得到测试遥感融合影像的归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像,对应记为NDVItest,NDWItest,RatioGtest
②_3、采用窗口尺寸大小为96×96且窗口移动步长为1像素的移动窗口,在Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中移动以截取同坐标位置的尺寸大小为96×96的子块,并对从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块进行标记以指示其来源,共移动M”次后从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest各自中截取了M”个子块;然后将从Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量;再将每种标记的M”个子块对应的列向量构成一个测试样本集合,将标记为γ的M”个子块对应的列向量构成的测试样本集合记为其中,M”表示Rtest,Gtest,Btest,NIRtest和NDVItest,NDWItest,RatioGtest中标记相同的子块的总个数,1<M”≤(W'-96)×(H'-96),m”为正整数,1≤m”≤M”,表示标记为γ的第m”个子块对应的列向量,的维数为(96×96)×1;
②_4、按照步骤①_4的过程,以相同的方式计算7个测试样本集合中同索引号的列向量对应的子块的统计特征矢量,共有M”个统计特征矢量,将7个测试样本集合中索引号同为m”的列向量对应的子块的统计特征矢量记为Ftest,m”;其中,Ftest,m”的维数为42×1;
②_5、根据7个测试样本集合对应的M”个统计特征矢量,按照步骤①_5的过程,以相同的方式提取出7个测试样本集合的原始多元高斯模型,记为(μtest,Ctest);其中,μtest表示(μtest,Ctest)的均值向量,Ctest表示(μtest,Ctest)的协方差矩阵;
②_6、根据(μ,C)和(μtest,Ctest),计算测试遥感融合影像的客观质量评价预测值,记为Qtest其中,(μ-μtest)T为(μ-μtest)的转置,的逆。
2.根据权利要求1所述的一种遥感图像融合质量评价方法,其特征在于所述的步骤①_4中的Fm的获取过程为:
①_4a、对于γ=R的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示输入变量,表示通过拟合得到的中的6个高斯和分布参数,exp()表示以自然基数e为底的指数函数;
对于γ=G的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=B的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NIR的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NDVI的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=NDWI的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
对于γ=RatioG的子块,对中的所有元素的值进行高斯和分布拟合,拟合得到中的所有元素的值的高斯和分布拟合曲线,记为 其中,表示通过拟合得到的中的6个高斯和分布参数;
①_4b、将 按序排列构成Fm
3.根据权利要求1或2所述的一种遥感图像融合质量评价方法,其特征在于所述的步骤①_5中的(μ,C)的获取过程为:
①_5a、根据7个训练样本集合对应的M'个统计特征矢量,获取截取的7M'个子块的特征矩阵,记为X,其中,X的维数为M'×42,(F1)T为F1的转置,F1表示7个训练样本集合中索引号同为1的列向量对应的子块的统计特征矢量,(F2)T为F2的转置,F2表示7个训练样本集合中索引号同为2的列向量对应的子块的统计特征矢量,(Fm)T为Fm的转置,(FM')T为FM'的转置,FM'表示7个训练样本集合中索引号同为M'的列向量对应的子块的统计特征矢量;
①_5b、计算X中的列向量的均值向量,记为μ,μ=[μ1 μ2 … μ42],其中,μ的维数为1×42,X(m,1)表示X中第m行第1列的元素的值,X(m,2)表示X中第m行第2列的元素的值,X(m,42)表示X中第m行第42列的元素的值;
计算X中的列向量的协方差矩阵,记为C,σ1,1=cov(X(m,1),X(m,1)),σ1,2=cov(X(m,1),X(m,2)),σ1,42=cov(X(m,1),X(m,42)),σ2,1=cov(X(m,2),X(m,1)),σ2,2=cov(X(m,2),X(m,2)),σ2,42=cov(X(m,2),X(m,42)),σ42,1=cov(X(m,42),X(m,1)),σ42,2=cov(X(m,42),X(m,2)),σ42,42=cov(X(m,42),X(m,42));其中,C的维数为42×42,cov(a,b)表示计算向量a和b的协方差操作;
①_5c、根据μ和C,构造得到(μ,C)。
CN201811054826.0A 2018-09-11 2018-09-11 一种遥感图像融合质量评价方法 Active CN109191450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811054826.0A CN109191450B (zh) 2018-09-11 2018-09-11 一种遥感图像融合质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811054826.0A CN109191450B (zh) 2018-09-11 2018-09-11 一种遥感图像融合质量评价方法

Publications (2)

Publication Number Publication Date
CN109191450A true CN109191450A (zh) 2019-01-11
CN109191450B CN109191450B (zh) 2021-06-15

Family

ID=64915779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811054826.0A Active CN109191450B (zh) 2018-09-11 2018-09-11 一种遥感图像融合质量评价方法

Country Status (1)

Country Link
CN (1) CN109191450B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097501A (zh) * 2019-04-12 2019-08-06 武汉大学 一种基于非局部均值梯度稀疏正则化的ndvi图像融合方法
CN110751626A (zh) * 2019-09-19 2020-02-04 北京航空航天大学 一种基于像元可靠性判定的卫星融合图像质量评价方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN111931709A (zh) * 2020-09-17 2020-11-13 航天宏图信息技术股份有限公司 遥感影像的水体提取方法、装置、电子设备及存储介质
CN113222054A (zh) * 2021-05-28 2021-08-06 珠江水利委员会珠江水利科学研究院 基于特征比值指数的遥感影像融合方法、系统、设备及介质
CN113240758A (zh) * 2021-05-28 2021-08-10 珠江水利委员会珠江水利科学研究院 基于融合衍生指数的遥感影像融合方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040776A (zh) * 2017-03-29 2017-08-11 华南理工大学 一种基于高动态范围的视频质量评估方法
CN107229919A (zh) * 2017-06-05 2017-10-03 深圳先进技术研究院 一种用于复杂生态海岸带的生态要素处理方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040776A (zh) * 2017-03-29 2017-08-11 华南理工大学 一种基于高动态范围的视频质量评估方法
CN107229919A (zh) * 2017-06-05 2017-10-03 深圳先进技术研究院 一种用于复杂生态海岸带的生态要素处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAHRAM SALEHI ET AL.: "Object-Based Classification of Urban Areas Using VHR Imagery and Height Points Ancillary Data", 《REMOTE SENSING》 *
吴瑞娟 等: "资源三号卫星湿地多光谱与全色影像融合质量评价", 《高技术通讯》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097501A (zh) * 2019-04-12 2019-08-06 武汉大学 一种基于非局部均值梯度稀疏正则化的ndvi图像融合方法
CN110751626A (zh) * 2019-09-19 2020-02-04 北京航空航天大学 一种基于像元可靠性判定的卫星融合图像质量评价方法
CN110751626B (zh) * 2019-09-19 2022-07-19 北京航空航天大学 一种基于像元可靠性判定的卫星融合图像质量评价方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN111681207B (zh) * 2020-05-09 2023-10-27 四维高景卫星遥感有限公司 一种遥感图像融合质量评价方法
CN111931709A (zh) * 2020-09-17 2020-11-13 航天宏图信息技术股份有限公司 遥感影像的水体提取方法、装置、电子设备及存储介质
CN111931709B (zh) * 2020-09-17 2021-01-05 航天宏图信息技术股份有限公司 遥感影像的水体提取方法、装置、电子设备及存储介质
CN113222054A (zh) * 2021-05-28 2021-08-06 珠江水利委员会珠江水利科学研究院 基于特征比值指数的遥感影像融合方法、系统、设备及介质
CN113240758A (zh) * 2021-05-28 2021-08-10 珠江水利委员会珠江水利科学研究院 基于融合衍生指数的遥感影像融合方法、系统、设备及介质
CN113240758B (zh) * 2021-05-28 2022-03-08 珠江水利委员会珠江水利科学研究院 基于融合衍生指数的遥感影像融合方法、系统、设备及介质

Also Published As

Publication number Publication date
CN109191450B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN109191450A (zh) 一种遥感图像融合质量评价方法
CN109886870B (zh) 基于双通道神经网络的遥感图像融合方法
CN109410164B (zh) 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN107105223B (zh) 一种基于全局特征的色调映射图像质量客观评价方法
CN110046673A (zh) 基于多特征融合的无参考色调映射图像质量评价方法
CN106251320B (zh) 基于联合稀疏与结构字典的遥感图像融合方法
CN109767412A (zh) 一种基于深度残差神经网络的遥感影像融合方法及系统
CN104268879B (zh) 基于遥感多光谱图像的建筑物实物量损毁评估方法
CN101482973B (zh) 基于早期视觉的部分参考图像质量评价方法
CN105574901B (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN105744256A (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN109978854A (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN111681207B (zh) 一种遥感图像融合质量评价方法
CN109492527B (zh) 一种基于全色锐化技术的遥感图像亚像元定位方法
CN107169946B (zh) 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
CN107230186B (zh) 一种卫星遥感影像物理匀色方法
CN104376565A (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN105976351A (zh) 基于中央偏移的立体图像质量评价方法
Zhou et al. No-reference quality assessment for pansharpened images via opinion-unaware learning
CN112258464B (zh) 一种全参考遥感图像融合质量评价方法
CN103186893A (zh) 一种普适的高分辨率遥感图像融合方法
CN108256557A (zh) 结合深度学习和邻域集成的高光谱图像分类方法
CN105844640A (zh) 基于梯度的彩色图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220624

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 215500 3rd floor, R & D building, No.95, Liuzhou Road, Changfu street, Changshu City, Suzhou City, Jiangsu Province

Patentee after: Suzhou dark blue space remote sensing technology Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230526

Address after: 3rd Floor, Ruite R&D Building, No. 95 Liuzhou Road, Changfu Street, Changshu City, Suzhou City, Jiangsu Province, 215505

Patentee after: Suzhou dark blue space remote sensing technology Co.,Ltd.

Patentee after: STATE GRID JIANGSU ELECTRIC POWER CO., LTD. WUXI POWER SUPPLY Co.

Address before: 215500 3rd floor, R & D building, No.95, Liuzhou Road, Changfu street, Changshu City, Suzhou City, Jiangsu Province

Patentee before: Suzhou dark blue space remote sensing technology Co.,Ltd.