CN105550993B - 基于多重变换域的超分辨率重建方法 - Google Patents
基于多重变换域的超分辨率重建方法 Download PDFInfo
- Publication number
- CN105550993B CN105550993B CN201610032463.5A CN201610032463A CN105550993B CN 105550993 B CN105550993 B CN 105550993B CN 201610032463 A CN201610032463 A CN 201610032463A CN 105550993 B CN105550993 B CN 105550993B
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- image
- transform domain
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 230000001788 irregular Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 15
- 239000004615 ingredient Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006722 reduction reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007540 photo-reduction reaction Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多重变换域的超分辨率重建方法,属于图像超分辨率技术领域,包括下述内容:对K幅输入的低分辨率图像分别进行非相关的变换域分析;根据目标超分辨率图像和输入的低分辨率图像尺寸确定下采样矩阵D;通过对代价函数minλ1‖W1(z1)‖1+λ2‖W2(z2)‖2+……+λj‖Wj(zj)‖1在z=z1+z2+…+zj和‖DHiMiz‑gi‖2≤ni i=1,2,…K约束下采用多重变换域下L1范数最小化的优化算法重建超分辨率图像。对比现有技术,本发明方法解决了在超分辨率重建中的先验概率模型的选取问题,即基于多重变换域的遥感图像稀疏性表达;同时克服了低分辨率遥感图像间由于载荷平台抖动和大气扰动带来的非规则的几何畸变和错位的问题,重建出具有良好效果的超分辨率图像。
Description
技术领域
本发明涉及一种超分辨率重建方法,特别涉及一种基于多重变换域的超分辨率重建方法,即利用多时相、同一场景的低分辨率图像采用后处理的方式重建出高分辨率图像的方法,属于图像超分辨率技术领域。
背景技术
高分辨率成像对遥感、军事、天文、生物医疗等诸多方面具有重要意义。人类对高分辨率图像的追求从未停止过,由于成像设备在理论上和客观条件的限制,成像的空间分辨率往往会遭遇瓶颈。例如在保持其它条件不变的情况下,最直接提高分辨率的方法就是提高CCD或CMOS的密度,即减小每个感光单元尺寸,然而当CCD或CMOS的感光单元小到一定程度时,图像的质量将开始下降,这是因为随着感光单元的减小,光通量也随之减少,在曝光过程中,每个感光单元所收集到的光子将被热噪声所掩盖。提高分辨率也可以通过相应加大光学系统设计和CCD/CMOS阵列来实现,然而这就必然带来成像设备体积和重量的增加,这在某些对成像设备体积、功耗、重量要求极为苛刻的情况下是不可接受的,例如卫星遥感成像领域。相比常规的成像设备,除了光学系统、CCD或CMOS阵列密度等因素外,还有一些特殊的因素决定卫星遥感成像分辨率,例如:观测幅宽、观测波段范围、卫星重返周期等。一般来说,星载成像仪的高时间分辨率和高空间分辨率是一对矛盾,在同样视场角的前提下,重访周期短的卫星,往往成像的空间分辨率较低。卫星一旦发射,星载相机的成像分辨率是固定的,但卫星以一定的周期绕地球旋转,会重复拍摄同一个区域,这就为超分辨率技术的应用提供了契机。超分辨率重建技术作为一种投资少、收益高的后处理技术,可以综合地利用现有的航天/航空遥感载荷和观测数据资源,从而满足资源探测、灾害监测、国防建设等行业对高空间分辨率遥感图像的要求。
从超分辨率重建技术被第一次提出已有近三十年的历史,在涉及公共安全的视频监控领域、医学成像领域和图像通信等诸多领域获得巨大的成功,例如:基于超分辨率技术可以把一般的NTSC格式或PAL格式电视信号转换为高清电视信号(简称HDTV)而不失真地在HDTV电视上播放。但在对地观测领域还远没有达到实用的程度,主要原因如下:常规超分辨率方法无法克服低分辨率遥感图像间由于载荷平台抖动和大气扰动带来的非规则的几何畸变和错位;缺乏针对遥感图像的高效重建方法;并且超分辨率重建技术在航天/航空遥感领域应用中会因客观条件而受限。由于一直以来获取多时相低分辨率遥感图像的时间跨度往往较大(例如美国陆地卫星LANDSAT-7的重访周期是16天),因此很难保证地物在这个时间段内没有发生变化。但是随着我国近年来航天/航空事业的迅猛发展,对地观测载荷和相应的观测数据呈爆炸的增长态势,极大地缩短了获取多时相低分辨率遥感图像的时间,例如,我国资源三号卫星的回归周期是59天,但是在特殊需要的情况下,采用侧摆功能,则它的重访周期可达5天;再比如我国的环境减灾卫星HJ-1A和HJ-1B各自的重访周期是4天,结合HJ双星,重访周期可达2天。这些在短时期内获取的在同一星下观测点的遥感影像,为此时开展超分辨率技术研究提供了前所未有的发展契机。
目前实现图像稀疏性表达的方法主要分成两大类:一种是通过训练或分析的方法建立稀疏字典,这类方法能够根据图像本身的特点自适应地选取稀疏字典中的元素来实现图像的稀疏性表达,但是基于分析方法建立的图像数据表达模型,自适应能力和可移植性较差;基于训练方法建立的稀疏字典,缺乏正则性、存在冗余、计算效率低。另一类方法则是基于多尺度分析理论又称为单一基方法,建立适合表达图像边缘和纹理几何结构的基来实现图像的稀疏性表达,代表方法是:小波变换、曲波变换、脊波变换等,这类方法的特点是简单且更具普适性,因而本专利立足于后者,挖掘遥感图像在多重变换域的稀疏性表达,进而采用MAP来解决超分辨率这样一个病态问题的求解。常规的超分辨率方法在重建遥感图像时效果往往不是很理想,主要原因是它们的先验概率模型并不适合遥感图像。以经典方法Huber-MAP为例,把Huber马尔科夫模型作为最大后验概率方法MAP中的先验概率模型,该模型的本质是对图像的二阶导数进行Huber边缘惩罚,它比通用的高斯先验概率模型能较好地保持图像边缘信息,但是在重建细节信息丰富的遥感图像时,很难平衡去除噪声和保持边缘的矛盾。本发明借鉴压缩感知理论和最大后验概率方法MAP,充分挖掘遥感图像在多重变换域的稀疏性表达,并把这种稀疏性表达作为MAP中的先验概率模型,形成以L1范数最小化为核心的超分辨率重建代价函数。由于地表特征的复杂性,很难找到单一的通用变换域实现遥感图像的稀疏性表达。这里我们将一幅遥感图像理解成由包含不同纹理特征的子图构成,不同纹理特征的子图分别由不同的变换域来实现其稀疏性表达,进而通过组合多种不同的变换域即多重变换域,来实现整体遥感图像的稀疏性表达。结合L1范数最小化的优化算法实现超分辨率的重建,采用L1范数最小化主要是因为,它是一种高效保护目标信号稀疏性并且鲁棒特性较好的凸集优化方法。随着近年来压缩感知的迅猛发展,很多基于L1范数最小化的优化方法被相继提出,这就为我们构建高效的超分辨重建方法提供了很好的技术保障。
发明内容
本发明的目的是针对现有技术存在的不足,提供一种基于多重变换域的超分辨率重建方法,该方法利用压缩感知的重建方法来解决超分辨率的重建问题,以克服现有遥感图像模糊、不精确和畸变等问题。
本发明的目的是通过以下技术方案实现的:
一种基于多重变换域的超分辨率重建方法,包括以下内容:
对K幅输入的低分辨率图像分别进行非相关的变换域分析;
根据目标超分辨率图像和输入的低分辨率图像尺寸确定下采样矩阵D;
通过对如下代价函数采用多重变换域下L1范数最小化的优化算法重建超分辨率图像:
minλ1||W1(z1)||1+λ2||W2(z2)||1+...λj||Wj(zj)||1
minλ1||W1(z1)||1+λ2||W2(z2)||1+...λj||Wj(zj)||1
s.t.z=z1+z2+...zj
||DHiMiz-gi||2≤ni i=1,2,...K
其中,z表示原始图像,z1、z2……zj分别表示超分辨率图像中包含不同纹理特征的j个子图,W1、W2……Wj分别表示针对不同特征子图的j个非相关多重变换域,λ1、λ2……λj分别表示对应子图的权重,||·||1表示L1范数,gi表示输入的第i个低分辨率图像,Mi表示第i幅图像的位置错位和几何变形的矩阵,Hi表示第i幅图像的模糊降质过程的一个块循环矩阵,ni表示第i幅图像的加性噪声,||·||2表示对·取绝对值,s.t.表示约束条件,min f表示f的最小值。
作为优选,所述多重变换域下L1范数最小化的优化算法在优化时采用收缩循环迭
代法,其收缩运算符为
有益效果
对比现有技术,本发明方法针对常规超分辨率方法无法克服低分辨率遥感图像间由于载荷平台抖动和大气扰动带来的非规则的几何畸变和错位的问题,基于遥感图像的特点,本发明借鉴压缩感知理论和最大后验概率方法MAP,充分挖掘遥感图像在多重变换域的稀疏性表达,并把这种稀疏性表达作为MAP中的先验概率模型,形成以L1范数最小化为核心的超分辨率重建代价函数;并通过采用收缩循环迭代法对其求解从而获得效果良好的超分辨率图像。
本发明方法的原理如下:
超分辨率重建是一个典型的病态问题,针对这类病态问题,一般情况下,我们需要一个先验模型来指导重建过程,最终重建出原始的高分辨率图像。由于卫星遥感图像细节丰富、地表覆盖复杂,因而很难构建一种适用于所有遥感图像的单一稀疏表达方式,本专利提出一种结合多种变换域,来挖掘卫星遥感图像的稀疏性表达。一幅遥感图像可以理解为由几幅不同纹理特征的子图构成。不同纹理特征的子图在不同的变换域体现出不同的稀疏性,通过结合不同的变换域,来挖掘遥感图像的稀疏性表达;再把这种多重变换域稀疏性表达作为先验模型引入到高分辨率图像的重建过程。
这里的变换域分析主要是用来挖掘信号的稀疏性表达。正如小波变换在图像压缩标准JPEG2000中获得极大的成功,主要是因为把常规图像变换到小波域中,大多数的小波系数由零或接近零的系数构成,即常规图像在小波域具有稀疏性表达。每种变换域具有不同的特性,适合不同信号的稀疏性表达。例如小波变换比较适合平滑图像中边缘的稀疏性表达,总变差适合分段线性图像的稀疏性表达,曲波变换比较适合卡通图片和文字的稀疏性表达,每种变换都有其针对的特定图像。由于遥感图像细节丰富、地表覆盖复杂,现实中很难找到一种通用的变换域适合所有遥感图像的稀疏性表达。在组合变换域的研究中,需要考虑到不同变换域的非相关性的问题,这里的“非相关”的概念主要是参照压缩感知理论中“Incoherence”,例如傅里叶变换域和空域本身是非相关的,小波变换域和噪波变换(Noiselet)域是非相关的。这里强调非相关的概念主要是避免遥感图像在多重变换域中,稀疏性被重复投影的问题。
由于超分辨率重建本质上是基于退化模型反演出原始图像,因而分析原始遥感图像的退化模型是一个不可回避的问题。成像过程中的降质因素一般包括:平台漂移和大气扰动带来的局部挤压、运动模糊和光学系统带来的模糊、下采样和噪声污染等不良影响。拟通过下列的数学表达来描述原始遥感图像的退化模型:
gi=DHiMiz+ni,i=1,2,...,K
其中,z是原始高分辨率图像;gi是观测到的第i个低分辨率图像;K是低分辨率图像的数量;Mi是表示第i幅图像的位置错位和几何变形的矩阵;Hi是一个块循环矩阵用来表示模糊降质过程,它可以包括失焦、运动模糊或光学系统传递函数带来的模糊等;D是一个下采样矩阵;ni表示第i幅图像的加性噪声。原始遥感图像的退化过程和参数描述的示意图如图1所示。超分辨率的目标是使用已知系列观测到的低分辨率图像,重建出原始高分辨率图像z。退化模型的建立是后续反演出高分辨率图像的基础。
本发明利用压缩感知的重建方法即L1范数最小化的方法来解决超分辨率的重建问题。假设已知遥感图像在多重变换域中具有稀疏性即经多重变换域变换后具有最少的非零系数,因而可以采用L0范数最小化来求出最优解,很不幸的是L0范数最小化求解过程是一个NP-Hard问题。根据压缩感知理论,当测量矩阵满足约束等距特性条件下,L0范数最小化可以采用L1范数最小化来代替。利用L1范数最小化来求解可以追溯到当年Beurling基于部分傅里叶变换系数推测原始目标信号的时代。从上个世纪70年代到80年代开始,随着现代计算机技术的发展,计算能力呈爆炸式的增长,因而基于L1范数最小化被广泛地应用于解决实际的问题。特别是在近几年,随着压缩感知理论的蓬勃发展,再一次引起了专家学者的广泛关注。正是由于L1范数最小化方法具有保持原始信号的稀疏性和优良的鲁棒特性,这里拟采用把L1范数最小化和最大后验概率(MAP)相结合的方法,即把遥感图像在多重变换域的稀疏性表达当作先验概率模型,再通过正则化的方法来完成超分辨率的重建。针对求解二次型问题时,我们采用收缩循环迭代法,也称为软门限法(Soft-Threshloding),最早由David Donoho提出,它是一种经典的基于小波变换域的图像去噪声方法。其收缩运算符定义为:
采用的代价函数为:
minλ1||W1(z1)||1+λ2||W2(z2)||1+...λj||Wj(zj)||1
s.t.z=z1+z2+...zj
||DHiMiz-gi||2≤ni i=1,2,...K
其中,z是原始图像,z1、z2和zj分别是遥感图像中包含不同纹理特征的j个子图,W1、W2和Wj分别表示针对不同特征子图的j个非相关多重变换域,λi表示第i个子图的权重。
附图说明
图1是卫星遥感图像在成像过程中的退化模型示例。
图2是本发明实施例遥感图像超分辨率重建流程示意图。
图3是多重变换域算法流程示意图。
图4是重建稀疏成分流程示意图。
图5是重建平滑成分流程示意图。
图6是重建曲波成分流程示意图。
具体实施方式
现将详细参照本发明的方法结合附图对本发明的实施例作进一步详细说明。如图2所示,本发明的超分辨率重建方法的步骤如下:
第一步,获取需要超分辨重建的多张低分辨率图g1,g2,...,gk,并选定一幅低分辨率图像gref作为参考图像。
第二步,通过弹性配准的方法得到配准映射矩阵M1,M2,...,Mk,该弹性配准方法克服了载荷平台抖动和大气扰动带来的非规则的几何畸变和错位。
所述弹性配准可以采用目前任何一种能够克服非规则的几何畸变和错位的方法,如S.Periaswamy和H.Farid于2003年提出的一种弹性配准方法,为了达到提高配准效率的目的,本实施例使用的弹性配准方案如下:针对图像间包含非规则几何畸变的情形,虽然不能用全局的数学表达式来描述这种映射关系,但是我们可以粗略地理解为图像间包含刚性的全局表达式再加上图像局部区域各自不同的映射参数。待配准图像和参考图像首先通过刚性配准方法进行粗配,而后再通过分块的策略来精细地微调,逐像素滑动块的窗口,计算出每个块中心像素位置的微调参数。
第三步,根据低分辨率图g1,g2,...,gk估算模糊矩阵H1,H2,...,Hk。
假定模糊图像模糊模型为高斯类型,可以采用根据图像中点目标或线状目标被模糊后的像素个数来估算出一个高斯卷积核H。
第四步,根据超分辨率的放大倍数算出下采样矩阵D。
对于一幅尺寸为M*N的图像I,对其进行s倍下采样,即得到(M/s)*(N/s)尺寸的分辨率图像,s是M和N的公约数。这个下采样像素点的值就是窗口内所有像素的均值。
第五步,对g1,g2,...,gk分别估算出每幅低分辨率图像的噪声方差n1,n2,...,nk。
可以利用第一级小波变换后的系数来估算出,详见David Donoho等人的去噪文章。
第六步,结合配准映射矩阵、模糊矩阵和噪声方差,通过多重变换域下的L1范数的最小优化算法重建出以gref作为参考图像的超分辨率图像z。
通过多重变换域下的L1范数的最小优化算法重建分辨率图像z可以采用多种方式实现,本实施例以3重变换域为例通过以下过程重建z:
首先,初始化参数变量,对每个低分辨率图像gi重建其稀疏成分zs;再对每个低分辨率图像gi重建其平滑成分zw;最后对每个低分辨率图像gi,重建其边缘结构zc。如图3所示即为本步骤所述的多重变换域算法流程示意图,具体流程如下:
1)初始化:
a)先选择软门限值τ(绝大多数情况下可以设置为1)和停止门限值δ(根据噪声强度设置)
b)计算总迭代数量l=floor(τ/δ)
c)设置权重λ1...λ3
d)定义矩阵zs、zw和zc为0矩阵zs=0;zw=0;zc=0;z=zs+zw+zc
2)循环计算l次:
a)对每个低分辨率图像gi,重建其稀疏成分zs,如图4所示即为本步骤重建稀疏成分的流程示意图,具体过程如下:
i.计算残差:
ii.计算梯度:
iii.更新zs=zs-d
iv.当矩阵zs中的元素的绝对值小于等于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z
b)对每个低分辨率图像gi,重建其平滑成分zw,如图5所示即为本步骤重建平滑成分的流程示意图,具体过程如下:
i.计算残差:
ii.计算梯度:
iii.zw=zw-d
iv.计算zw的DWT(离散小波)系数Wzw
v.当矩阵Wzw中的元素的绝对值小于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z
c)对每个低分辨率图像gi,重建其边缘结构zc,如图6所示即为本步骤重建曲波成分的流程示意图,具体过程如下:
i.计算残差:
ii.计算梯度:
iii.zc=zc-d
iv.计算zc的曲波变换系数Czc
v.当矩阵Czc zc中的元素的绝对值小于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z
d)τ=τ-δ
3)重建超分辨率图像z=zs+zw+zc
其中,·*表示·的共轭转置矩阵。本领域技术人员通过上述重建过程可知,当多重变换域不只3重时可以同理为之,此处不再赘述。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于多重变换域的超分辨率重建方法,其特征在于,包括以下内容:
对K幅输入的低分辨率图像分别进行非相关的变换域分析;
根据目标超分辨率图像和输入的低分辨率图像尺寸确定下采样矩阵D;
通过对如下代价函数采用多重变换域下L1范数最小化的优化算法重建超分辨率图像:
minλ1||W1(z1)||1+λ2||W2(z2)||1+...λj||Wj(zj)||1
s.t.z=z1+z2+...zj
||DHiMiz-gi||2≤ni i=1,2,...K
其中,z表示原始图像,z1、z2……zj分别表示超分辨率图像中包含不同纹理特征的j个子图,W1、W2……Wj分别表示针对不同特征子图的j个非相关多重变换域,λ1、λ2……λj分别表示对应子图的权重,||·||1表示L1范数,gi表示输入的第i个低分辨率图像,Mi表示第i幅图像的位置错位和几何变形的矩阵,Hi表示第i幅图像的模糊降质过程的一个块循环矩阵,ni表示第i幅图像的加性噪声,||·||2表示对·取绝对值,s.t.表示约束条件,min f表示f的最小值。
2.根据权利要求1所述的一种基于多重变换域的超分辨率重建方法,其特征在于,所述多重变换域下L1范数最小化的优化算法在优化时采用收缩循环迭代法,其收缩运算符为
3.根据权利要求1所述的一种基于多重变换域的超分辨率重建方法,其特征在于,包括以下步骤:
第一步,获取需要超分辨重建的多张低分辨率图g1,g2,...,gk,并选定一幅低分辨率图像gref作为参考图像;
第二步,通过弹性配准的方法得到配准映射矩阵M1,M2,...,Mk,该配准方法克服了载荷平台抖动和大气扰动带来的非规则的几何畸变和错位;
第三步,根据低分辨率图g1,g2,...,gk估算模糊矩阵H1,H2,...,Hk;
第四步,根据超分辨率的放大倍数算出下采样矩阵D;
第五步,对g1,g2,...,gk分别估算出每幅低分辨率图像的噪声方差n1,n2,...,nk;
第六步,结合配准映射矩阵、模糊矩阵和噪声方差,通过多重变换域下的L1范数的最小优化算法重建出以gref作为参考图像的超分辨率图像z。
4.根据权利要求3所述的一种基于多重变换域的超分辨率重建方法,其特征在于,所述弹性配准方法如下:待配准图像gi和参考图像gref首先通过刚性配准方法进行粗配,而后再通过分块的策略来精细地微调,逐像素滑动块的窗口,计算出每个块中心像素位置的微调参数。
5.根据权利要求3-4任一所述的一种基于多重变换域的超分辨率重建方法,其特征在于,步骤六所述超分辨率图像z通过以下过程重建:
1)初始化如下参数:
a)设置门限值τ和停止门限值δ;
b)计算总迭代数量l=floor(τ/δ);
c)设置权重λ1...λ3;
d)定义矩阵zs、zw和zc为0矩阵,zs=0;zw=0;zc=0;z=zs+zw+zc;
2)对下述过程循环计算l次:
a)对每个低分辨率图像gi,通过以下步骤重建其稀疏成分zs:
i.计算残差:
ii.计算梯度:其中·*表示·的共轭转置矩阵;
iii.更新zs=zs-d;
iv.当矩阵zs中的元素的绝对值小于等于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z;
b)对每个低分辨率图像gi,通过以下步骤重建其平滑成分zw:
i.计算残差:
ii.计算梯度:
iii.zw=zw-d;
iv.计算zw的DWT系数Wzw;
v.当矩阵Wzw中的元素的绝对值小于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z;
c)对每个低分辨率图像gi,通过以下步骤重建其边缘成分zc:
i.计算残差:
ii.计算梯度:
iii.zc=zc-d;
iv.计算zc的曲波变换系数Czc;
v.当矩阵Czc中的元素的绝对值小于时,设置对应的元素值为0,根据公式z=zs+zw+zc更新z;
d)τ=τ-δ;
3)重建超分辨率图像z=zs+zw+zc。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610032463.5A CN105550993B (zh) | 2016-01-18 | 2016-01-18 | 基于多重变换域的超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610032463.5A CN105550993B (zh) | 2016-01-18 | 2016-01-18 | 基于多重变换域的超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105550993A CN105550993A (zh) | 2016-05-04 |
CN105550993B true CN105550993B (zh) | 2018-11-20 |
Family
ID=55830169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610032463.5A Active CN105550993B (zh) | 2016-01-18 | 2016-01-18 | 基于多重变换域的超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105550993B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570886B (zh) * | 2016-10-27 | 2019-05-14 | 南京航空航天大学 | 一种基于超分辨率重建的目标跟踪方法 |
CN108090869B (zh) * | 2017-11-27 | 2021-07-09 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN111667437A (zh) * | 2019-03-06 | 2020-09-15 | 中国科学院微电子研究所 | 基于傅里叶域解混的遥感图像空时融合方法 |
CN112734642B (zh) * | 2021-01-12 | 2023-03-10 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
CN113506331A (zh) * | 2021-06-29 | 2021-10-15 | 武汉联影智融医疗科技有限公司 | 组织器官的配准方法、装置、计算机设备和存储介质 |
CN113222860B (zh) * | 2021-06-02 | 2022-09-20 | 哈尔滨工程大学 | 基于噪声结构多重正则化的图像恢复方法及系统 |
CN113640793B (zh) * | 2021-07-06 | 2023-12-26 | 南京理工大学 | 基于mrf的实孔径扫描雷达超分辨成像方法 |
CN113962897B (zh) * | 2021-11-02 | 2022-09-02 | 中国空间技术研究院 | 基于序列遥感影像的调制传递函数补偿方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103913228A (zh) * | 2014-04-09 | 2014-07-09 | 辽宁大学 | 编码模板多目标超分辨率时间飞行成像系统及方法 |
-
2016
- 2016-01-18 CN CN201610032463.5A patent/CN105550993B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103913228A (zh) * | 2014-04-09 | 2014-07-09 | 辽宁大学 | 编码模板多目标超分辨率时间飞行成像系统及方法 |
Non-Patent Citations (4)
Title |
---|
《Joint MAP Registration and High Resolution Image Estimation Using a Sequence of Undersampled Images》;Russell C. Hardiey, Kenneth J. Barnardz and Ernest E. Armstrongz;《IEEE Trans Image Process》;19971231;第1621-1633页 * |
《L1范数的图像超分辨率重建改进算法》;路庆春,胡访宇;《无线电工程》;20090930;第39卷(第9期);第13-15页 * |
《L1范数的总变分正则化超分辨率图像重建》;刘志文,潘晓露,李一民;《微处理机》;20120630;第37-39页 * |
《基于MAP的自适应图像配准及超分辨率重建》;杨欣,费树岷,周大可;《仪器仪表学报》;20110831;第32卷(第8期);第1771-1775页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105550993A (zh) | 2016-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105550993B (zh) | 基于多重变换域的超分辨率重建方法 | |
Li et al. | Video superresolution via motion compensation and deep residual learning | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
CN109255822B (zh) | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 | |
CN108961163A (zh) | 一种高分辨率卫星影像超分辨重建方法 | |
CN109544448A (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
CN108090869B (zh) | 一种基于面阵cmos光学相机的星上超分辨率重建方法 | |
Chen et al. | Single-image super-resolution using multihypothesis prediction | |
CN104376547A (zh) | 运动模糊图像复原方法 | |
CN109767389A (zh) | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 | |
CN104574338A (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
CN112070669B (zh) | 一种针对任意模糊核的超分辨率图像重建方法 | |
CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
Deng et al. | Efficient test-time adaptation for super-resolution with second-order degradation and reconstruction | |
CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
CN109615584A (zh) | 一种基于单应性约束的sar图像序列map超分辨率重建方法 | |
CN107194874B (zh) | 基于偏置稳像的超分辨成像系统及方法 | |
CN107155096B (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
Qin et al. | Remote sensing image super-resolution using multi-scale convolutional neural network | |
Koh et al. | Turbo inpainting: Iterative K-SVD with a new dictionary | |
CN117853340B (zh) | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 | |
Zhu et al. | Super-resolution reconstruction via multiple sparse dictionary combined with sparse coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |