CN102129671A - 基于凸集投影法和复数小波包域的遥感图像上采样方法 - Google Patents

基于凸集投影法和复数小波包域的遥感图像上采样方法 Download PDF

Info

Publication number
CN102129671A
CN102129671A CN 201110048569 CN201110048569A CN102129671A CN 102129671 A CN102129671 A CN 102129671A CN 201110048569 CN201110048569 CN 201110048569 CN 201110048569 A CN201110048569 A CN 201110048569A CN 102129671 A CN102129671 A CN 102129671A
Authority
CN
China
Prior art keywords
remote sensing
image
sensing images
noise
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110048569
Other languages
English (en)
Other versions
CN102129671B (zh
Inventor
胡事民
张砚
李先颖
满益云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA HEADQUARTERS OF CENTRAL STAFF SURVEYING MAPPING INFORMATION CENTER
Tsinghua University
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
PLA HEADQUARTERS OF CENTRAL STAFF SURVEYING MAPPING INFORMATION CENTER
Tsinghua University
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA HEADQUARTERS OF CENTRAL STAFF SURVEYING MAPPING INFORMATION CENTER, Tsinghua University, Beijing Institute of Space Research Mechanical and Electricity filed Critical PLA HEADQUARTERS OF CENTRAL STAFF SURVEYING MAPPING INFORMATION CENTER
Priority to CN 201110048569 priority Critical patent/CN102129671B/zh
Publication of CN102129671A publication Critical patent/CN102129671A/zh
Application granted granted Critical
Publication of CN102129671B publication Critical patent/CN102129671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于凸集投影法和复数小波包域的遥感图像上采样方法，包括以下步骤：S1：首先采用凸集投影方法对遥感图像进行上采样，得到一个初始的中间结果图像；S2：采用贝叶斯方法对所述凸集投影法得到的中间结果图像与真实图像之间的调制传递函数MTF和噪声参数进行估计；S3：根据估计的MTF和噪声参数值，采用复数小波包变换，对所述中间结果图像进行去模糊和降噪处理，得到最终的上采样结果。本发明能够从单幅模糊、有噪声的低分辨遥感图像中有效地恢复出一幅清晰的高分辨率的遥感图像。

Description

基于凸集投影法和复数小波包域的遥感图像上采样方法
技术领域
本发明涉及遥感数字图像处理技术领域，特别涉及一种基于凸集投影法和复数小波包域的遥感图像上采样方法。
背景技术
在遥感领域，有时对于感兴趣的场景没有其他数据，只有一幅受到模糊和噪声干扰的低分辨率图像。如何从单幅数据中恢复出一幅清晰的高分辨率的图像，是个复杂而病态的逆问题。造成遥感图像降质的因素很多，包括大气影响、光学模糊、相对运动、传感器因素和下采样等等，因此高质量的遥感图像上采样重建一定要处理好图像点阵的重采样变换和去除模糊与噪声的图像复原等问题。
图像上采样是个双倍病态的问题，因为图像和模糊都是未知的。在过去的20年中，人们已经提出许多有价值的方法，这些方法往往要采用一些先验知识和假设来约束图像和模糊。但是这种约束往往是针对特定应用的，并不适用于遥感图像。其中最常用的就是基于插值和线形滤波的方法，这些方法广泛应用于PhotoShop、ENVI等商业软件中，包括Nearest-Neighbor、Bilinear、Bicubic和Lanczos等等。这些方法速度较快，便于应用，都基于这样一个假设：图像是空间平滑的或者波段受限的。但这种假设基本上是与现实不相符合的，因此会产生响铃、马赛克、模糊等很明显的视觉误差。近几年来，上采样技术还采用了一些其它的先验和假设。2002年Freeman等人提出了基于样例的上采样(Example-based Upsample)，其高分辨率图像重建所对应的补片(patch)是从包含许多高低分辨率图像对的数据库中学习得来的，旨在利用图像本身以外的信息，使用类似纹理合成的方法进行高频恢复，然而其上采样结果的质量非常依赖于数据库所提供的样例，并且计算代价昂贵。2007年Kopf等人提出的联合双边上采样(Joint Bilateral Upsample)，是采用一个高分辨率图像作为先验，利用一个联合双边滤波(joint bilateral filter)进行上采样，克服了以光滑性为先验会导致图像特征模糊的缺点，最终的结果高度敏感于先验的图像，由于遥感图像不同场景(乡村、城市、山区、海洋、沙漠等)之间的差异很大，所以一幅图像的先验模型不可能与所有类型的目标场景相匹配。RaananFattal提出以统计的边信息作为先验，使边的特点能够正确匹配，以期在上采样的图像中保证重建清晰的边，然而在遥感影像中，虽然也有类似的几何结构(如街道、海岸线等)，但毕竟这样的特征占的比重不大，相反，它对于在遥感图像中广泛出现的方向性纹理没有出色效果。Qi Shan等人2008年提出了一个反馈-控制的框架，对于采用传统Bicubic等方式上采样的图像，以重尾分布作为先验，采用快速傅立叶变换(FFTs)，利用这个反馈-控制框架重复进行反卷积、重新卷积和像素置换来去除模糊和重建，这个框架对于视频和普通照片的效果较好，但其收敛性并不能获得保证，并且实验证明对遥感图像效果并不理想，最大的问题在于高频信息的明显丢失，计算速度也较慢。
综上，现有技术中还没有一种从单幅模糊、有噪声的低分辨遥感图像中恢复出一幅清晰的高分辨率的遥感图像的有效方法。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何从单幅模糊、有噪声的低分辨遥感图像中恢复出一幅清晰的高分辨率的遥感图像。
(二)技术方案
为解决上述技术问题，本发明提供了一种基于凸集投影法和复数小波包域的遥感图像上采样方法，包括以下步骤：
S1：采用凸集投影方法对遥感图像进行上采样，得到中间结果图像；
S2：采用贝叶斯方法对凸集投影方法得到的所述中间结果图像与真实图像之间的调制传递函数MTF和噪声参数进行估计；
S3：根据所述MTF和噪声参数，采用复数小波包变换对所述中间结果图像进行去模糊和降噪处理，得到最终的上采样图像。
其中，所述步骤S1具体包括：
S1.1：将所述遥感图像利用Bilinear算法进行上采样，形成一幅初始的上采样图像
Figure BDA0000048294030000031
S1.2：将点扩散函数作为投影算子，所述投影算子采用高斯模型来计算投影残差R，并更新图像
Figure BDA0000048294030000032
对应的像素值，其中，图像模型是一个线形移不变系统
S1.3：将修正后的凸集投影图像
Figure BDA0000048294030000033
作为下一次投影迭代的参考图像，重复进行投影残差计算和像素更新；
S1.4：反复执行步骤S1.2和S1.3，提升所述遥感图像的高频细节信息，直至迭代4～5次得到中间结果图像
Figure BDA0000048294030000034
其中，所述MTF在频域内表示为不同分量的乘积，所述分量包括：大气、光学系统、运动以及传感器，将MTF以非各向同性的高斯函数来近似；噪音用方差参数为σ2的高斯白噪声表示；使用最大似然法等方法来求解，计算MTF和噪声参数估计值，以支持遥感图像去模糊和降噪。
(三)有益效果
本发明通过凸集投影法、贝叶斯估计和复数小波包域的遥感图像上采样的方法，无论是对遥感图像的高频细节部分的恢复与重建，还是在去模糊降噪方面，都取得了较好的效果。无论是从视觉效果上，还是客观的数值(SSIM(结构相似度)和PSNR(峰值信噪比))比较上，本发明提出的上采样方法与传统方法相比都具有相当的优势。本发明能够从单幅模糊、有噪声的低分辨遥感图像中恢复出一幅清晰的高分辨率的图像。
附图说明
图1是本发明实施例的一种基于凸集投影法和复数小波包域的遥感图像上采样方法流程图；
图2是本发明采用图1的上采样方法的效果示例图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明中首先使用凸集投影方法对单幅遥感图像进行初始的上采样，得到一个高分辨率的中间结果。由于遥感图像本身存在一定的模糊和噪声，而凸集投影方法会带来未知的模糊效果并放大噪声，假设由凸集投影方法获得的中间结果与真实结果之间的调制传递函数(Modulation Transfer Function，MTF)呈各向异性的高斯函数，并使用贝叶斯方法对其参数进行有效估计。再使用复数小波包域变换对其做进一步的去模糊和降噪，从而获得更精细的高分辨率图像。具体流程如图1所示，包括：
步骤S101，采用凸集投影方法对遥感图像进行初始的上采样，得到一个能够较好重建高频细节部分的中间结果图像。凸集投影法上采样方法中使用的限制集包括：
1、假设图像模型是一个线形移不变系统，将点扩散函数(PSF)作为投影算子；
2、根据8bit图像的取值范围为[0，255]，设定幅度限制为(0～255)。
具体包括以下步骤：
S1.1，将所述遥感图像利用Bilinear算法进行上采样，形成一幅初始的上采样图像
S1.2，将点扩散函数(PSF)作为投影算子，采用高斯模型来计算投影残差R，并更新图像
Figure BDA0000048294030000051
对应的像素值。
S1.3，将修正后的凸集投影图像
Figure BDA0000048294030000052
作为下一次投影迭代的参考图像，重复进行投影残差计算和像素更新。
S1.4，反复执行步骤S1.2和S1.3，提升所述遥感图像的高频细节信息，直至迭代4～5次，得到中间结果图像
Figure BDA0000048294030000053
步骤S102：采用贝叶斯方法对所述凸集投影法得到的中间结果图像与真实图像之间的MTF和噪声参数进行估计。(MTF)在频域可以写成若干分量的乘积，这些分量由不同因素产生，包括大气、光学系统、运动、以及传感器等多种因素。将MTF以非各向同性的高斯函数近似。噪音用方差参数为σ2的高斯白噪声来表示。基于自然场景的遥感图像的统计模型(Huang等人1999年发表的Statistics for natural images and models中的方法)，使用最大似然方法(Jalobeanu 等人2007年工作Bayesian estimation of blur and noise in remote sensing imaging中的方法)估计出模糊和噪声参数值，以支持遥感图像自适应的去模糊和降噪。
步骤S103，根据所述贝叶斯方法得到的MTF和噪声参数，采用复数小波包变换CWPT，对所述凸集投影法的中间结果图像进行自适应的去模糊和降噪处理。根据Jalobeanu等人(2003年的工作Satellite Image Deblurring Using ComplexWaveletPackets)提出的COWPATH方法，假设彩色噪声在经过复数小波包域分解后各个子带中都是独立的高斯白噪声，其噪声方差σk 2可以由模糊核H以及参数σ2进行估计，σk 2也可以通过模拟一个高斯白噪声，除以MTF值，然后变换到CWPT域分频带进行近似计算。对于每个子带，使用最大似然法则进行降噪。在完成最大似然估计后，采用软阈值技术，对各个子频带进行滤波，最后再将复数小波包域的系数反变换回到空间域，实现遥感图像的复原。
如图2所示，本发明基于凸集投影法、贝叶斯估计和复数小波包域的遥感图像上采样方法的效果示例图。图中可见，输入一幅模糊、有噪声的低分辨遥感图像(A)，可输出一幅清晰的高分辨率的图像(B)，(a)(b)分别是(A)和(B)的局部放大图。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种基于凸集投影法和复数小波包域的遥感图像上采样方法，其特征在于，包括以下步骤：
S1：采用凸集投影方法对遥感图像进行上采样，得到中间结果图像；
S2：采用贝叶斯方法对凸集投影方法得到的所述中间结果图像与真实图像之间的调制传递函数MTF和噪声参数进行估计；
S3：根据所述MTF和噪声参数，采用复数小波包变换对所述中间结果图像进行去模糊和降噪处理，得到最终的上采样图像。
2.如权利要求1所述的基于凸集投影法和复数小波包域的遥感图像上采样方法，其特征在于，所述步骤S1具体包括：
S1.1：将所述遥感图像利用Bilinear算法进行上采样，形成一幅初始的上采样图像
Figure FDA0000048294020000011
S1.2：将点扩散函数作为投影算子，所述投影算子采用高斯模型来计算投影残差R，并更新图像对应的像素值，其中，图像模型是一个线形移不变系统
S1.3：将修正后的凸集投影图像作为下一次投影迭代的参考图像，重复进行投影残差计算和像素更新；
S1.4：反复执行步骤S1.2和S1.3，提升所述遥感图像的高频细节信息，直至迭代4～5次得到中间结果图像
Figure FDA0000048294020000014
3.如权利要求1所述的基于凸集投影法和复数小波包域的遥感图像上采样方法，其特征在于，所述MTF在频域内表示为不同分量的乘积，所述分量包括：大气、光学系统、运动以及传感器，将MTF以非各向同性的高斯函数来近似；噪音用方差参数为σ2的高斯白噪声表示；使用最大似然法等方法来求解，计算MTF和噪声参数估计值，以支持遥感图像去模糊和降噪。
CN 201110048569 2011-02-28 2011-02-28 基于凸集投影法和复数小波包域的遥感图像上采样方法 Active CN102129671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110048569 CN102129671B (zh) 2011-02-28 2011-02-28 基于凸集投影法和复数小波包域的遥感图像上采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110048569 CN102129671B (zh) 2011-02-28 2011-02-28 基于凸集投影法和复数小波包域的遥感图像上采样方法

Publications (2)

Publication Number Publication Date
CN102129671A true CN102129671A (zh) 2011-07-20
CN102129671B CN102129671B (zh) 2012-11-14

Family

ID=44267747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110048569 Active CN102129671B (zh) 2011-02-28 2011-02-28 基于凸集投影法和复数小波包域的遥感图像上采样方法

Country Status (1)

Country Link
CN (1) CN102129671B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270339A (zh) * 2011-07-21 2011-12-07 清华大学 一种空间各异模糊核三维运动去模糊的方法及系统
CN102568014A (zh) * 2011-12-22 2012-07-11 中山大学 一种基于遥感图像的采样方法
CN103295190A (zh) * 2012-02-22 2013-09-11 伊姆普斯封闭式股份有限公司 数字x射线图像降噪方法
CN103745222A (zh) * 2013-12-11 2014-04-23 深圳先进技术研究院 一种遥感数据采样的方法及系统
CN105551019A (zh) * 2015-12-03 2016-05-04 哈尔滨工业大学 基于任意自然景物图像的在轨传递函数估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《第八届中国计算机图形学大会》 20101015 张砚，李先颖，满益云 "http://cs.nju.edu.cn/chinagraph2010" 1-3 , 2 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270339A (zh) * 2011-07-21 2011-12-07 清华大学 一种空间各异模糊核三维运动去模糊的方法及系统
CN102568014A (zh) * 2011-12-22 2012-07-11 中山大学 一种基于遥感图像的采样方法
CN103295190A (zh) * 2012-02-22 2013-09-11 伊姆普斯封闭式股份有限公司 数字x射线图像降噪方法
CN103745222A (zh) * 2013-12-11 2014-04-23 深圳先进技术研究院 一种遥感数据采样的方法及系统
CN103745222B (zh) * 2013-12-11 2017-08-25 深圳先进技术研究院 一种遥感数据采样的方法及系统
CN105551019A (zh) * 2015-12-03 2016-05-04 哈尔滨工业大学 基于任意自然景物图像的在轨传递函数估计方法

Also Published As

Publication number Publication date
CN102129671B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5342068B2 (ja) 多重フレームへのアプローチ方法および画像アップスケール処理システム
US20130028538A1 (en) Method and system for image upscaling
CN102129671B (zh) 基于凸集投影法和复数小波包域的遥感图像上采样方法
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN103761710A (zh) 基于边缘自适应的高效图像盲去模糊方法
CN111612695B (zh) 一种低分辨率人脸图像超分辨重建方法
CN107301662B (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
CN104766272B (zh) 一种基于亚像素偏移模型的图像超分辨率重建方法
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
Lakshman et al. Image interpolation using shearlet based iterative refinement
Adler et al. A shrinkage learning approach for single image super-resolution with overcomplete representations
KR102327758B1 (ko) 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법
Qin An improved super resolution reconstruction method based on initial value estimation
CN101246591A (zh) 基于图像边缘特征的恢复图像重构方法
Panda et al. An efficient image interpolation using edge-error based sharpening
Mancas-Thillou et al. An introduction to super-resolution text
Bouhali et al. Combination of spatial filtering and adaptive wavelet thresholding for image denoising
CN102568014A (zh) 一种基于遥感图像的采样方法
Yang et al. A new image super-resolution method in the wavelet domain
Arif et al. Super-resolution using edge modification through stationary wavelet transform
Jia et al. Deep convolutional network based image quality enhancement for low bit rate image compression
Yu et al. Robust single image super-resolution based on gradient enhancement
CN105321156A (zh) 一种基于多元结构的图像复原方法
Tajima et al. Chromatic interpolation based on anisotropy-scale-mixture statistics
Hsu et al. Wavelet detail perception network for single image super-resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant