CN106780353B - 一种基于时相光谱角度量的多时相云遮挡数据恢复方法 - Google Patents

一种基于时相光谱角度量的多时相云遮挡数据恢复方法 Download PDF

Info

Publication number
CN106780353B
CN106780353B CN201610989755.8A CN201610989755A CN106780353B CN 106780353 B CN106780353 B CN 106780353B CN 201610989755 A CN201610989755 A CN 201610989755A CN 106780353 B CN106780353 B CN 106780353B
Authority
CN
China
Prior art keywords
temporal
data
point
cloud
cloud occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610989755.8A
Other languages
English (en)
Other versions
CN106780353A (zh
Inventor
谷延锋
高国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Industrial Technology Research Institute Asset Management Co ltd
Original Assignee
Harbin Institute of Technology Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Shenzhen filed Critical Harbin Institute of Technology Shenzhen
Priority to CN201610989755.8A priority Critical patent/CN106780353B/zh
Publication of CN106780353A publication Critical patent/CN106780353A/zh
Application granted granted Critical
Publication of CN106780353B publication Critical patent/CN106780353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于时相光谱角度量的多时相云遮挡数据恢复方法，本发明涉及基于时相光谱角度量的多时相云遮挡数据恢复方法。本发明的目的是为了解决现有云遮挡数据恢复方法恢复精度低的问题。具体过程为：一、输入存在云遮挡的多时相多光谱遥感图像；二、计算存在云遮挡的多时相多光谱遥感图像地理坐标上各点的云遮挡数据缺失度；三、将缺失度最小的点作为要填充的点；四、提取X和相应缺失时相地理坐标；五、利用时相光谱角函数计算X与除X点外的其他各点相似度；六、找到相似度最大点Y；七、利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；八、迭代一，直至全部云遮挡数据被填充。本发明用于云遮挡数据恢复领域。

Description

一种基于时相光谱角度量的多时相云遮挡数据恢复方法
技术领域
本发明涉及基于时相光谱角度量的多时相云遮挡数据恢复方法。
背景技术
遥感图像的可靠性和完整性是通过遥感图像实现对社会服务的基础，然而由于不可避免的云遮挡情况的出现，导致很多情况下遥感图像数据存在了云霞观测数据的缺失，降低了遥感图像的分析的适用范围。实现对遥感图像中云遮挡数据的恢复，可有效扩大遥感图像应用范畴，提升卫星光学图像的应用效率，具有十分重要的意义。
当前遥感图像云遮挡区域的数据恢复，主要分为两大类：一是仅利用当前图像中缺失数据周围的一些未缺失数据进行线性预测和填补，但这种情况在云遮挡面积较大的恢复的精度非常低；第二种情况是利用一幅相同区域相同传感器在其他时刻获得的完全未缺失数据进行填补，但是，由于光谱漂移的存在，预测精度仍然不能满足需求，同时完全没有云遮挡的情况很难满足，因此这种恢复算法的适用性不够。
发明内容
本发明的目的是为了解决现有云遮挡数据恢复方法恢复精度低的问题，而提出一种基于时相光谱角度量的多时相云遮挡数据恢复方法。
一种基于时相光谱角度量的多时相云遮挡数据恢复方法具体过程为：
步骤一、输入存在云遮挡的多时相多光谱遥感图像；
步骤二、计算存在云遮挡的多时相多光谱遥感图像地理坐标上各点的云遮挡数据缺失度；
步骤三、将存在云遮挡的多时相多光谱遥感图像空间上各点的云遮挡数据缺失度最小的点作为要填充的点；
步骤四、提取要填充点的多时相多光谱数据X和相应缺失时相地理坐标；
步骤五、利用时相光谱角函数计算要填充点的多时相多光谱数据X与除X点外的其他各点相似度；
步骤六、找到相似度最大点Y；
步骤七、利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；
步骤八、迭代步骤一至步骤七，直至全部云遮挡数据被填充。
本发明的有益效果为：
本发明提出了一种新的基于多时相信息联合利用的遥感图像云遮挡数据恢复算法，改善了传统遥感光学图像云遮挡数据恢复精度和可恢复区域的范围，多个时相数据联合利用，提高了遥感光学图像的应用范围和应用能力，提高云遮挡数据恢复的适用范围，提升遥感光学图像的数据完整性，提高光学遥感图像的应用深度。本方法相对经典的NSPI方法，其各波段平均的平方根误差由39.99缩小到19.45。
为了验证本发明所提出的方法的性能，针对一组Landsat8多光谱遥感图像进行了测试，该组数据共9个时相，其中各个时相中均不存在云遮挡位置，然后我们通过将其他图像中真实的云位置引入这些图像中，实现了对云遮挡的仿真。各个时相中云量均为30％左右，云的位置随机不固定。图2a为原始的第2个时相中的RGB三波段的原始图像数据，图2b为对图2a进行的云遮挡仿真，图2c为通过经典的云遮挡数据恢复算法(NSPI方法)进行的数据恢复结果，仍然显示的是第二个时相的恢复图，图2d为本文方法进行的云遮挡数据恢复，也为第二时相的恢复结果。通过对比图2c和图2d，我们可以清晰的看到，传统方法仍然有部分数据不能恢复(黑色部分)，而我们的方法能够恢复所有数据且恢复的数据与未缺失图像(图2a)非常近似，恢复效果非常优秀。图3a为利用NSPI方法对第二个时相的近红外波段的恢复结果与原始未缺失恢复结果的散点图。图3b为利用本文方法对第二个时相的近红外波段的恢复结果与原始未缺失恢复结果的散点图。好的恢复算法其恢复结果应该更接近原始的未缺失数据，好的恢复算法的散点图应该更接近于对角线。对比图3a和图3b，可以看到我们方法的散点图要比NSPI方法更接近对角线，即我们的方法的恢复结果要比NSPI方法好。
附图说明
图1为基于时相光谱角度量的多时相数据恢复算法流程图；
图2a为一幅青岛地区不存在云遮挡的landsat5多光谱图像，landsat5为卫星传感器；
图2b为对图2a中进行仿真云缺失的图像(黑色为缺失部分)；
图2c为通过经典的NSPI方法对图2b进行遮挡数据恢复的结果，NSPI为neighborhood similar pixel interpolation；
图2d为通过本算法对图2b进行遮挡数据恢复的结果；
图3a为利用NSPI方法对第2个时相NIR波段进行恢复的散点图，NIR为近红外，NIRband of origin image为原始光谱近红外波段(第2个时相)，NIR band of filled image为恢复光谱近红外波段(第2个时相)；
图3b为利用本文方法对第2个时相NIR波段进行恢复的散点图，NIR band oforigin image为原始光谱近红外波段(第2个时相)，NIR band of filled image为恢复光谱近红外波段(第2个时相)。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式的一种基于时相光谱角度量的多时相云遮挡数据恢复方法具体过程为：
步骤一、输入存在云遮挡的多时相多光谱遥感图像；
步骤二、计算存在云遮挡的多时相多光谱遥感图像地理坐标上各点的云遮挡数据缺失度；
步骤三、将存在云遮挡的多时相多光谱遥感图像空间上各点的云遮挡数据缺失度最小的点作为要填充的点；
步骤四、提取要填充点的多时相多光谱数据X和相应缺失时相地理坐标；
步骤五、利用时相光谱角函数计算要填充点的多时相多光谱数据X与除X点外的其他各点相似度；每个点都是一个多时相多光谱的数据；
步骤六、找到相似度最大点Y；
步骤七、利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；
步骤八、迭代步骤一至步骤七，直至全部云遮挡数据被填充。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中输入存在云遮挡的多时相多光谱遥感图像；具体为：
输入存在云遮挡的多时相多光谱遥感图像数据空间上任意一点都为一个矩阵，其行为时相，列为光谱。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中计算存在云遮挡的多时相多光谱遥感图像空间上各点的云遮挡数据缺失度；具体过程为：
多时相多光谱遥感图像空间上点a的云遮挡数据缺失度计算公式如下：
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤五中利用时相光谱相似度计算要填充点的多时相多光谱数据X与除X外其他各点相似度；具体过程为：
要填充点的多时相多光谱数据X与除X外其他任意点Z的时相光谱相似度计算公式如下：
式中，X'为X的转置，Z'为Z的转置。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤七中利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；具体过程为：
步骤七一、利用X、Y及其相应缺失时相位置进行对要填充点的多时相多光谱数据X的局部缺失数据的预测，即对要填充点的多时相多光谱数据X中缺失但Y未缺失的时相数据的预测，预测公式如下：
其中X∩和Y∩表示X和Y中都未出现云遮挡时相的数据；当X点处第1、3、5时相未出现云遮挡，Y点第1、3、6时相未被云遮挡，则此时X∩和Y∩分别表示X点的第1、3时相的数据和Y点的第1、3时相的数据；|| ||1表示矩阵的一范数；
步骤七二、利用步骤七一得到的预测数据P对要填充点X进行填补，其中填补位置仅为X缺失但Y未缺失的部分。
其它步骤及参数与具体实施方式一至四之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本实施例一种基于时相光谱角度量的多时相云遮挡数据恢复方法具体是按照以下步骤制备的：
为了验证本发明所提出的方法的性能，针对一组Landsat8多光谱遥感图像进行了测试，该组数据共9个时相，其中各个时相中均不存在云遮挡位置，然后我们通过将其他图像中真实的云位置引入这些图像中，实现了对云遮挡的仿真。各个时相中云量均为30％左右，云的位置随机不固定。图2a为原始的第2个时相中的RGB三波段的原始图像数据，图2b为对图2a进行的云遮挡仿真，图2c为通过经典的云遮挡数据恢复算法(NSPI方法)进行的数据恢复结果，仍然显示的是第二个时相的恢复图，图2d为本文方法进行的云遮挡数据恢复，也为第二时相的恢复结果。通过对比图2c和图2d，我们可以清晰的看到，传统方法仍然有部分数据不能恢复(黑色部分)，而我们的方法能够恢复所有数据且恢复的数据与未缺失图像(图2a)非常近似，恢复效果非常优秀。图3a为利用NSPI方法对第二个时相的近红外波段的恢复结果与原始未缺失恢复结果的散点图。图3b为利用本文方法对第二个时相的近红外波段的恢复结果与原始未缺失恢复结果的散点图。好的恢复算法其恢复结果应该更接近原始的未缺失数据，好的恢复算法的散点图应该更接近于对角线。对比图3a和图3b，可以看到我们方法的散点图要比NSPI方法更接近对角线，即我们的方法的恢复结果要比NSPI方法好。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于时相光谱角度量的多时相云遮挡数据恢复方法，其特征在于：一种基于时相光谱角度量的多时相云遮挡数据恢复方法具体过程为：
步骤一、输入存在云遮挡的多时相多光谱遥感图像；
步骤二、计算存在云遮挡的多时相多光谱遥感图像地理坐标上各点的云遮挡数据缺失度；
步骤三、将存在云遮挡的多时相多光谱遥感图像空间上各点的云遮挡数据缺失度最小的点作为要填充的点；
步骤四、提取要填充点的多时相多光谱数据X和相应缺失时相地理坐标；
步骤五、利用时相光谱角函数计算要填充点的多时相多光谱数据X与除X点外的其他各点相似度；
步骤六、找到相似度最大点Y；
步骤七、利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；
步骤八、迭代步骤一至步骤七，直至全部云遮挡数据被填充。
2.根据权利要求1所述一种基于时相光谱角度量的多时相云遮挡数据恢复方法，其特征在于：所述步骤一中输入存在云遮挡的多时相多光谱遥感图像；具体过程为：
输入存在云遮挡的多时相多光谱遥感图像数据空间上任意一点都为一个矩阵，其行为时相，列为光谱。
3.根据权利要求2所述一种基于时相光谱角度量的多时相云遮挡数据恢复方法，其特征在于：所述步骤二中计算存在云遮挡的多时相多光谱遥感图像空间上各点的云遮挡数据缺失度；具体过程为：
多时相多光谱遥感图像空间上点a的云遮挡数据缺失度计算公式如下：
4.根据权利要求3所述一种基于时相光谱角度量的多时相云遮挡数据恢复方法，其特征在于：所述步骤五中利用时相光谱相似度计算要填充点的多时相多光谱数据X与除X外其他各点相似度；具体过程为：
要填充点的多时相多光谱数据X与除X外其他任意点Z的时相光谱相似度计算公式如下：
式中，X'为X的转置，Z'为Z的转置。
5.根据权利要求4所述一种基于时相光谱角度量的多时相云遮挡数据恢复方法，其特征在于：所述步骤七中利用Y和缺失数据填补算法对要填充点的多时相多光谱数据X进行填补；具体过程为：
步骤七一、利用X、Y及其相应缺失时相位置进行对要填充点的多时相多光谱数据X的局部缺失数据的预测，即对要填充点的多时相多光谱数据X中缺失但Y未缺失的时相数据的预测，预测公式如下：
其中X∩和Y∩表示X和Y中都未出现云遮挡时相的数据，当X点处第1、3、5时相未出现云遮挡，Y点第1、3、6时相未被云遮挡，则此时X∩和Y∩分别表示X点的第1、3时相的数据和Y点的第1、3时相的数据；||||1表示矩阵的一范数；
步骤七二、利用步骤七一得到的预测数据P对要填充点X进行填补，其中填补位置仅为X缺失但Y未缺失的部分。
CN201610989755.8A 2016-11-10 2016-11-10 一种基于时相光谱角度量的多时相云遮挡数据恢复方法 Active CN106780353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610989755.8A CN106780353B (zh) 2016-11-10 2016-11-10 一种基于时相光谱角度量的多时相云遮挡数据恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610989755.8A CN106780353B (zh) 2016-11-10 2016-11-10 一种基于时相光谱角度量的多时相云遮挡数据恢复方法

Publications (2)

Publication Number Publication Date
CN106780353A CN106780353A (zh) 2017-05-31
CN106780353B true CN106780353B (zh) 2019-10-22

Family

ID=58973066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610989755.8A Active CN106780353B (zh) 2016-11-10 2016-11-10 一种基于时相光谱角度量的多时相云遮挡数据恢复方法

Country Status (1)

Country Link
CN (1) CN106780353B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843341A (zh) * 2017-11-16 2018-03-27 中国科学院西安光学精密机械研究所 一种天基空间目标高分辨多光谱成像方法及系统
CN108288255B (zh) * 2018-01-26 2022-02-18 中国科学院广州生物医药与健康研究院 一种相位恢复方法、装置及系统
CN109934788B (zh) * 2019-03-22 2022-12-30 鲁东大学 一种基于标准遥感图像的遥感图像缺失数据修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540165A (zh) * 2011-12-19 2012-07-04 北京师范大学 Modis地表反射率数据的预处理方法及系统
CN103020939A (zh) * 2012-12-18 2013-04-03 武汉大学 利用多时相数据去除光学遥感影像大面积厚云的方法
CN103034981A (zh) * 2012-12-18 2013-04-10 武汉大学 基于多时相数据的遥感影像加权回归恢复方法
CN104484859A (zh) * 2014-10-20 2015-04-01 电子科技大学 一种多光谱光学遥感图像数据去除薄云的方法
CN104881850A (zh) * 2015-05-26 2015-09-02 上海大学 一种多时相遥感影像的厚云自动去除方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756844B2 (en) * 2011-05-13 2017-09-12 The Climate Corporation Method and system to map biological pests in agricultural fields using remotely-sensed data for field scouting and targeted chemical application

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540165A (zh) * 2011-12-19 2012-07-04 北京师范大学 Modis地表反射率数据的预处理方法及系统
CN103020939A (zh) * 2012-12-18 2013-04-03 武汉大学 利用多时相数据去除光学遥感影像大面积厚云的方法
CN103034981A (zh) * 2012-12-18 2013-04-10 武汉大学 基于多时相数据的遥感影像加权回归恢复方法
CN104484859A (zh) * 2014-10-20 2015-04-01 电子科技大学 一种多光谱光学遥感图像数据去除薄云的方法
CN104881850A (zh) * 2015-05-26 2015-09-02 上海大学 一种多时相遥感影像的厚云自动去除方法

Also Published As

Publication number Publication date
CN106780353A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN105654492B (zh) 基于消费级摄像头的鲁棒实时三维重建方法
CN102622738B (zh) 一种Landsat TM/ETM+图像中山体阴影区的光谱信息恢复方法
CN106780353B (zh) 一种基于时相光谱角度量的多时相云遮挡数据恢复方法
CN103456038A (zh) 一种井下环境三维场景重建方法
CN103020939B (zh) 利用多时相数据去除光学遥感影像大面积厚云的方法
CN102800098B (zh) 多特征多级别的可见光全色与多光谱高精度配准方法
CN104376319B (zh) 一种基于各向异性高斯核提取封闭边缘图像轮廓的方法
CN102982537B (zh) 一种检测场景变换的方法和系统
CN107578392A (zh) 一种基于残余插值的卷积神经网络去马赛克算法
Li et al. 3d building reconstruction from monocular remote sensing images
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN104599258A (zh) 一种基于各向异性特征描述符的图像拼接方法
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN106485737A (zh) 基于线特征的点云数据与光学影像的自动配准融合方法
CN107220957A (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN106447653A (zh) 基于空间约束的卡方变换的多时相遥感影像变化检测方法
CN106408596A (zh) 基于边缘的局部立体匹配方法
CN111476723A (zh) 一种Landsat-7扫描线纠正器失效的遥感图像丢失像素恢复方法
CN104732529A (zh) 一种遥感图像形状特征配准方法
Li et al. ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution
CN105335930A (zh) 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统
JP5736285B2 (ja) 被写体の３次元形状を復元する装置、方法およびプログラム
CN106600598B (zh) 基于局部网格匹配的彩色图像篡改检测方法
CN102214358B (zh) 基于知识发现的quickbird影像乡村聚落单元信息提取技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210108

Address after: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee after: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230331

Address after: 150027 Room 412, Unit 1, No. 14955, Zhongyuan Avenue, Building 9, Innovation and Entrepreneurship Plaza, Science and Technology Innovation City, Harbin Hi tech Industrial Development Zone, Heilongjiang Province

Patentee after: Heilongjiang Industrial Technology Research Institute Asset Management Co.,Ltd.

Address before: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee before: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

TR01 Transfer of patent right