CN110751626B - 一种基于像元可靠性判定的卫星融合图像质量评价方法 - Google Patents

一种基于像元可靠性判定的卫星融合图像质量评价方法 Download PDF

Info

Publication number
CN110751626B
CN110751626B CN201910884105.0A CN201910884105A CN110751626B CN 110751626 B CN110751626 B CN 110751626B CN 201910884105 A CN201910884105 A CN 201910884105A CN 110751626 B CN110751626 B CN 110751626B
Authority
CN
China
Prior art keywords
image
pixel
multispectral
unreliable
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910884105.0A
Other languages
English (en)
Other versions
CN110751626A (zh
Inventor
罗晓燕
于子淇
申智琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910884105.0A priority Critical patent/CN110751626B/zh
Publication of CN110751626A publication Critical patent/CN110751626A/zh
Application granted granted Critical
Publication of CN110751626B publication Critical patent/CN110751626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于像元可靠性判定的卫星全色和多光谱融合图像光谱失真评价方法，属于计算机视觉技术领域。本发明针利用全色图像和多光谱图像间的结构差异，对融合图像像元的可靠行进行判定，对可靠像元部分采用光谱角对其光谱失真程度进行评价，对不可靠像元部分则通过卫星上搭载相机的MTF曲线得出恢复系数，计算不可靠像元图像所对应的强度灰度图，并通过计算该强度灰度图与全色图像中相对应位置图像的结构相似度作为其光谱失真程度的评价结果。最后通过将前面所得结果看成二维平面上一点并将该点与理想点之间的欧氏距离作为融合图像光谱失真程度的评价值。

Description

一种基于像元可靠性判定的卫星融合图像质量评价方法
技术领域
本发明涉及一种基于像元可靠性判定的卫星融合图像质量评价方法，属于计算机视觉技术领域，特别针对全色和多光谱融合图像的光谱失真程度评价应用。
背景技术
目前遥感卫星上搭载的最常见的两种相机就是全色相机和多光谱相机，他们所拍摄的图像一般称为全色图像和多光谱图像。全色图像往往具有较高的空间分辨率，而多光谱图像往往具有较高的光谱分辨率，利用全色和多光谱图像融合算法可以得到综合两类相机各自的优势的融合图像。不同融合方法的原理不同，所得融合结果的失真程度也有所不同。所以为了比较不同融合算法或对某种融合算法进行改善，就需要对这些全色和多光谱图像融合算法的性能进行评估。
一般来说评价方法主要包括主观评价方法和客观评价方法。主观评价方法主要依据的是人类的感知，因为需要人来完成这个过程，所以成本相对较高，且在具体实施上也有诸多不便。客观评价方法则会依据事先确定的理想数据来进行，然而由于理想的全色和多光谱图像融合数据很难获得，因此在该领域，许多的客观融合指标往往是通过将源图像作为参照来进行融合性能评价的。
目前针对全色和多光谱融合图像的评价标准总体上可以分为两类。其中一类是在融合图像的分辨率下(即全尺寸)对融合结果的质量进行评价。无参考评价指标(简称为QNR指标)就是该类评价方法中比较常用的一个。其主要思路是通过衡量融合前后结构和光谱之间的变化程度来衡量融合图像的质量。但由于该类方法并没有设定具体的参考图像，因此其评价结果在某些方面仍然有局限性。
另一类方法则是降尺寸的评价方法，首先对全色图像和多光谱图像进行降采样，然后在降尺寸下进行融合，得到的融合图像的空间分辨率与光谱分辨率与原始的多光谱图像完全一致，这样就可以将原始的多光谱图像作为参考图像，通过衡量融合结果与原始的多光谱图像在结构特性和光谱特性上的差异，来评价融合算法。其中结构方面的评价指标有均方根误差(RMSE),相对无量纲全局误差(ERGAS)以及通用图像质量评价指标(Q指标)等。光谱方面使用最广泛的就是光谱角，通过计算融合图像和参考图像对应像素的差别，其中每个波段对应一个维度，最终的光谱角就是通过计算所有波段的全部像素的光谱角的平均值得到。
但是这种光谱质量的评价方法实际上忽视了融合图像中由全色图像所引入的新的结构信息所带来的影响。进行全色和多光谱图像融合的主要目的就是综合全色图像和多光谱图像各自的优点。一般来说全色图像往往会具有更高的空间分辨率，而多光谱图像往往会具有更高的光谱分辨率，这种差异就会造成全色图像中可能会包含光谱图像中所没有的结构信息，而这部分结构信息会通过融合算法添加到最终的融合图像中。因此在融合图像中，并非所有的像素都一定能够在原始的多光谱图像中找到对应的真实值。所以在计算融合图像光谱实真程度时，对于那些由全色图像所引入的且并没有在多光谱图像中出现的结构(该类结构所对应的像元定义为不可靠像元)来说，这些结构所对应的像元由于在原始的多光谱图像中没有对应，如果只是简单的将融合图像与原始多光谱图像进行逐像素的对应，则必然会引入误差。
综上所述，现有研究尚没有一种将融合图像与参考的原始多光谱图像结构性差异考虑在内的融合图像光谱失真程度的评价方法。本发明提出一种基于像元可靠性判定的方法来评价全色和多光谱图像融合算法的性能。
发明内容
本发明的目的在于提出一种基于像元可靠性判别的融合图像光谱失真程度的测量方法。
本发明的特征在于提出了一种将融合图像与参考图像结构性差异考虑在内融合图像光谱失真程度的评价方法。基于多光谱图像与全色图像结构上的差异，对融合图像中像元可靠性进行判定；对于融合图像中的可靠像元，使用光谱角对其光谱质量进行评价。对于融合图像中的不可靠像元，则通过相机的MTF曲线计算恢复系数，进而计算出强度灰度图，通过对比强度灰度图与全色图像的结构相似性来间接评价不可靠像元的光谱失真程度。
本发明提出的全色和多光谱融合图像光谱失真程度评价方法，包含以下步骤：
1)根据卫星上所搭载相机的相关参数计算恢复系数
2)从全色图像和升采样后的多光谱图像中分别提取特征点
3)根据全色图像和多光谱图像中特征点之间的差异和空间分布规律对特征点进行分类，并计算不可靠像元掩膜
4)计算融合图像中的可靠像元与参考图像之间的光谱角，作为可靠像元光谱失真程度的评价结果
5)对融合图像中的不可靠像元，则根据前面计算的恢复系数生成强度灰度图，通过计算该强度灰度图与全色图像对应像素之间的结构相似性作为不可靠像元光谱失真程度的评价结果
6)将可靠像元与不可靠像元的评价结果视为二维坐标点，将该点与理想点之间的欧式距离作为融合图像光谱失真程度的评估值
本发明的系统具有如下特点：
1、算法简单，通用性强。
本发明的方法具有如下特点：
1、程序简单，易于实现。
2、有效处理多种卫星所获取的全色与多光谱图像融合结果光谱失真程度的质量评价问题；
3、对于不可靠像元，通过恢复系数得到强度灰度图间接对其光谱失真程度进行评价；
4、不需要任何先验知识，提高算法的通用性。
附图说明
图1基于像元可靠性判定的融合图像光谱失真程度评价过程流程图
图2强度灰度图恢复系数计算流程图
图3不可靠像元掩膜计算流程图
图4QuickBird卫星拍摄的全色和多光谱图像示例
图5特征点提取结果
图6不可靠像元掩膜
图7融合图像光谱失真评价结果
具体实施方式
本发明提出了像元可靠性判别的全色和多光谱融合图像光谱失真程度的评价方法，结合具体实例及附图详细说明如下：
本发明的基于像元可靠性判别的全色和多光谱融合图像光谱失真程度的评价方法如图1所示，是在已知融合图像像元可靠性的条件下，计算融合图像的光谱失真程度。具体实现步骤如下：
1)根据卫星上所搭载相机的相关参数计算恢复系数
恢复系数就是根据卫星上所搭载的全色相机和多光谱相机的MTF曲线，计算多光谱相机所获取的各个波段在全色图像中所占的比例，这样就能够根据多光谱图像数据，模拟全色相机的成像过程，计算出多光谱图像对应的强度灰度图。设某卫星上所搭载的多光谱相机一共有k个波段，Lk表示第k个传感器所记录到的辐射能量值，L(λ)表示传感器入瞳处波长为λ的辐射能量，R(k)(λ)表示第k个传感器在波长为λ处的光谱响应频率，则卫星上所搭载的传感器的入瞳处的辐射能量与传感器所记录的辐射能量的关系就可以用下式来表示：
Lk＝∫L(λ)R(k)(λ)dλ (1)
由于设计原因，通常卫星上所搭载的全色传感器和多光谱传感器所覆盖的波段是不完全一致的，而且多光谱传感器所捕获的几个波段也并不是严格连续的。所以首先要确定卫星辐射响应曲线中全色波段和多光谱波段的重叠关系。对于重叠程度非常小的波段直接略去，对部分重叠的波段会首先计算重叠比例，然后将重叠波段二者平均响应的比值作为该波段的恢复系数。而对于完全重叠的波段则直接计算响应比值作为恢复系数即可，具体流程如图2所示。
2)从全色图像和升采样后的多光谱图像中分别提取特征点
从全色图像和升采样后的多光谱图像中提取特征点主要是采用Harris角点检测的方法，将提取到的角点作为特征点。W表示高斯函数，Wu,v表示对应位置的系数，I(x+u,y+v)表示窗口平移后对应的灰度值，I(x,y)表示窗口中心点的灰度值，则灰度的变化值E(x,y)可以通过下式计算得到：
Figure GDA0003617556680000041
若取
Figure GDA0003617556680000042
其中高斯函数
Figure GDA0003617556680000043
Figure GDA0003617556680000044
将其带入E(x,y)的计算公式，可得下式：
Figure GDA0003617556680000045
其中，
Figure GDA0003617556680000046
为自适应矩阵。若取角点响应函数为下式，其中k的取值范围在0.04-0.06之间，则有：
R＝det(M)-k×(traceM)2 (4)
若以(x,y)为中心点计算得到的R大于预先给定的阈值，则可认为该中心点为角点。
3)根据全色图像和多光谱图像中特征点之间的差异和空间分布规律对特征点进行分类，并计算不可靠像元掩膜
不可靠像元掩膜的计算过程如图3所示。对于一些零散分布的角点，我们可以直接认为在这些角点所对应的像元有可能是不可靠像元，可以直接根据灰度的差异进行判定。而对于特征点分布密集的区域，我们认为该区域可能会出现较大的结构缺失，因此首先对所有检测到的角点使用3×3的膨胀核进行膨胀，然后进行连通域检测。如果连通域的面积大于9，则说明该区域特征点分布密集，可能出现结构缺失，因此首先提取该连通域重心，并取面积为11×11的区域，同时在升采样后的强度分布图中也提取出相应的区域，随后计算这两个区域的结构相似度。若对应区域下相似程度小于预先给定的阈值，则在该区域内逐像素对比差异，其中差异较大的点即为不可靠像元。将所有确认的不可靠像元组合到一起，即可得到不可靠像元掩膜。
4)计算融合图像中的可靠像元与参考图像之间的光谱角，作为可靠像元光谱失真程度的评价结果
利用可靠像元掩膜从融合图像中定位可靠像元，并计算融合结果中所有可靠像元与参考图像(原始多光谱图像)之间的光谱角。记I{n}表示一个有n个波段的多光谱图像I的像素向量，则两幅图像I和J之间的光谱角可以由下式定义：
Figure GDA0003617556680000051
其中<·,·>表示向量的内积，I{i}和J{i}分别表示I和J两幅图片所对应的波段。对于整幅图片的光谱角是通过将所有波段每一个像素的光谱角取平均值得到的。
5)对融合图像中的不可靠像元，则根据前面计算的恢复系数生成强度灰度图，通过计算该强度灰度图与全色图像对应像素之间的结构相似性作为不可靠像元光谱失真程度的评价结果
利用前面得到的不可靠像元掩膜，首先从融合图像和原始的多光谱图像中生成不可靠像元图像，然后利用前面计算好的恢复系数，将融合结果恢复成对应的强度灰度图，然后计算二者的结构相似度，并将该计算结果作为不可靠像元的光谱失真程度。当且仅当两幅图像完全相同时该指标取值为1.
6)将可靠像元与不可靠像元的评价结果视为二维坐标点，将该点与理想点之间的欧式距离作为融合图像光谱失真程度的评估值
记可靠像元的评价结果为indexRE，记不可靠像元的评价结果为indexFULL，则对于理想图像来说上述两个变量的指标取值为：
indexRE＝0 (6)
indexFULL＝1 (7)
将任意一幅图像的两类评价中光谱角的评价结果作为纵坐标，结构相似度的结果作为横坐标，则一幅图像的评价结果就可以看成二维平面上的一个点。其中，结构相似度指标的理想值为1，光谱角指标的理想值为0，因此该点距离(1,0)点的距离越近，说明融合的结果越好。最后的评价结果index可以用下式计算得到：
Figure GDA0003617556680000061
实施例
本发明具体实施过程如图1所示。
实验结果举例
本实施例选取由Quickbird拍摄的全色和多光谱图像为例，如图4所示。利用Matlab软件，计算提取特征点(如图5所示)，并生成不可靠像元掩膜(如图6所示)并计算对使用7种不同融合方法得到的融合图像的评价值(如图7所示)，在评价值中所提及的SAM与Dλ是另外两种融合图像光谱失真程度的评价指标。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于像元可靠性判定的卫星融合图像质量评价方法，其特征在于，包括如下步骤：
(1)通过对比原始的全色图像和升采样后的多光谱图像结构上的差异，利用所提取出来的特征点进行粗定位，并根据特定点的分布情况结合对应点之间的灰度差异来对像元的可靠性进行判定，并最终得到不可靠像元掩膜，其中所述不可靠像元是由于全色图像的空间分辨率高于多光谱图像所导致的部分没有被多光谱图像所捕捉到的空间结构所对应的像元；
(2)依据原始数据所对应卫星上搭载的全色和多光谱相机的MTF参数，计算出从多光谱图像到强度灰度图的恢复系数；
(3)对融合图像中的不可靠像元，则根据前面计算的恢复系数生成强度灰度图，通过计算该强度灰度图与全色图像对应像素之间的结构相似性作为不可靠像元光谱失真程度的评价结果；
(4)计算融合图像中的可靠像元与参考图像之间的光谱角，作为可靠像元光谱失真程度的评价结果；
(5)将可靠像元与不可靠像元的评价结果视为二维坐标点，将该点与理想点之间的欧式距离作为融合图像光谱失真程度的最终的评价值。
2.根据权利要求1所述的基于像元可靠性判定的卫星融合图像质量评价方法，其特征在于，通过对比卫星上所搭载的全色相机和多光谱相机之间辐射响应曲线之间的关系，找到多光谱图像与全色图像之间的数值对应关系，并计算出可以将多光谱图像按照比例恢复成强度灰度图的恢复系数。
CN201910884105.0A 2019-09-19 2019-09-19 一种基于像元可靠性判定的卫星融合图像质量评价方法 Active CN110751626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910884105.0A CN110751626B (zh) 2019-09-19 2019-09-19 一种基于像元可靠性判定的卫星融合图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910884105.0A CN110751626B (zh) 2019-09-19 2019-09-19 一种基于像元可靠性判定的卫星融合图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110751626A CN110751626A (zh) 2020-02-04
CN110751626B true CN110751626B (zh) 2022-07-19

Family

ID=69276740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910884105.0A Active CN110751626B (zh) 2019-09-19 2019-09-19 一种基于像元可靠性判定的卫星融合图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110751626B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023111A (zh) * 2016-05-23 2016-10-12 中国科学院深圳先进技术研究院 一种影像融合质量评价方法及系统
CN108053412A (zh) * 2018-01-02 2018-05-18 河南理工大学 融合多定量评价指标的遥感影像最优分割结果确定方法
CN109191450A (zh) * 2018-09-11 2019-01-11 宁波大学 一种遥感图像融合质量评价方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917826B2 (en) * 2002-02-01 2005-07-12 Siemens Corporate Research, Inc. Automatic and quantitative assessment of image quality in SPECT myocardial perfusion imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023111A (zh) * 2016-05-23 2016-10-12 中国科学院深圳先进技术研究院 一种影像融合质量评价方法及系统
CN108053412A (zh) * 2018-01-02 2018-05-18 河南理工大学 融合多定量评价指标的遥感影像最优分割结果确定方法
CN109191450A (zh) * 2018-09-11 2019-01-11 宁波大学 一种遥感图像融合质量评价方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Matlab在遥感影像融合及其效果评价中的应用;刘源璋 等;《地理空间信息》;20111212;111-113 *
Performance evaluation of different references based image fusion quality metrics for quality assessment of remote sensing Image fusion;Wenjing Pei et al.;《2012 IEEE International Geoscience and Remote Sensing Symposium》;20120727;2280-2283 *
考虑人类视觉特征的融合图像评价方法;许丽娜 等;《武汉大学学报（信息科学版）》;20190430;546-554 *

Also Published As

Publication number Publication date
CN110751626A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
US20210201452A1 (en) Image dehazing and restoration
US11354779B2 (en) Point cloud denoising systems and methods
US10740891B1 (en) Technology for analyzing images depicting vehicles according to base image models
US10636148B1 (en) Image processing system to detect contours of an object in a target object image
US9235902B2 (en) Image-based crack quantification
US9396583B2 (en) Method of modelling buildings on the basis of a georeferenced image
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
US11783457B2 (en) Multispectral camera dynamic stereo calibration algorithm based on saliency features
US11227367B2 (en) Image processing device, image processing method and storage medium
Huyck et al. Towards rapid citywide damage mapping using neighborhood edge dissimilarities in very high-resolution optical satellite imagery—Application to the 2003 Bam, Iran, earthquake
CN112287904B (zh) 基于卫星影像的机场目标识别方法和装置
KR101928391B1 (ko) 다중분광 영상과 레이더 영상의 융합방법 및 장치
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN113705788A (zh) 基于全卷积神经网络的红外图像温度估计方法及系统
Liu et al. Urban monitoring and change detection of central Tokyo using high-resolution X-band SAR images
Kosugi et al. Urban change detection related to earthquakes using an adaptive nonlinear mapping of high-resolution images
CN111985314A (zh) 一种基于ViBe与改进LBP的烟雾检测方法
US8126275B2 (en) Interest point detection
Erener et al. A methodology for land use change detection of high resolution pan images based on texture analysis
CN110751626B (zh) 一种基于像元可靠性判定的卫星融合图像质量评价方法
KR101842154B1 (ko) 정량적 평가방법을 이용한 지형효과 보정 영상 제작 장치 및 그 방법
KR101928393B1 (ko) 적외선 영상과 레이더 영상의 융합방법 및 장치
Lee et al. Joint defogging and demosaicking
Bandyopadhyay et al. On the fusion of lidar and aerial color imagery to detect urban vegetation and buildings
WO2022259451A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant