CN107220936A - 一种图像超分辨率重构方法及系统 - Google Patents

一种图像超分辨率重构方法及系统 Download PDF

Info

Publication number
CN107220936A
CN107220936A CN201710384701.3A CN201710384701A CN107220936A CN 107220936 A CN107220936 A CN 107220936A CN 201710384701 A CN201710384701 A CN 201710384701A CN 107220936 A CN107220936 A CN 107220936A
Authority
CN
China
Prior art keywords
image
operator
functions
iteration
augmented lagrangian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710384701.3A
Other languages
English (en)
Inventor
周春平
吕锡亮
曹近者
宫辉力
李小娟
孟冠嘉
杨灿坤
郭姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hi Tech (beijing) Information Technology Co Ltd
Wuhan University WHU
Capital Normal University
Original Assignee
Hi Tech (beijing) Information Technology Co Ltd
Wuhan University WHU
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hi Tech (beijing) Information Technology Co Ltd, Wuhan University WHU, Capital Normal University filed Critical Hi Tech (beijing) Information Technology Co Ltd
Priority to CN201710384701.3A priority Critical patent/CN107220936A/zh
Publication of CN107220936A publication Critical patent/CN107220936A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像超分辨率重构方法及系统。该方法包括:利用斜采样模式获取多幅图像,多幅图像为在不同方向上获取的图像;根据多幅图像建立带有线性约束的全变差优化模型;根据带有线性约束的全变差优化模型建立增广拉格朗日函数;引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数;对迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。本发明能有效地降低运算量,减少计算代价,并且能有效地保留图像的边界,大幅度地提高图像的分辨率,满足在实际应用中对遥感图像高质量的要求。

Description

一种图像超分辨率重构方法及系统
技术领域
本发明涉及图像处理领域,特别是涉及一种图像超分辨率重构方法及系统。
背景技术
图像分辨率是衡量遥感图像质量的一个非常重要的因素。目前,获取高分辨率图像的方法有两类,一是通过直接增加光学成像系统的焦距来获取高分辨率图像,但是该类方法由于光学成像孔径大小的限制,获取的图像的分辨率有限,不能满足人们在实际应用中对遥感图像高质量的要求;二是通过多次测量,并融合不同维度的数据,得到低分辨率图像,然后通过设计超分辨重构算法来获得高分辨率图像,其中常用的超分辨重构算法有:图像域或者小波域插值方法、凸集投影迭代法、Landweber迭代及其加速算法、最大后验概率方法等,该类方法虽然能在一定程度上提高图像的分辨率,但是其计算量大、计算复杂度高。
发明内容
基于此,有必要提供一种能减少计算代价且能大幅度提高图像分辨率的图像超分辨率重构方法及系统。
为实现上述目的,本发明提供了如下方案:
一种图像超分辨率重构方法,包括:利用斜采样模式获取多幅图像,所述多幅图像为在不同方向上获取的图像;根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束;根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数;引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子;对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
可选的,所述带有线性约束的全变差优化模型为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用斜采样模式获取的多幅图像。
可选的,所述根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数,具体包括:
将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
可选的,所述迭代形式的带预处理算子的增广拉格朗日函数为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
可选的,所述对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,具体包括:
选取Q=ρI-ρ1A*A,ρ为任意的正数,则
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*(ρ1(b-Azk)-λk)+W*(ρ2ykk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的A*(b-Azk),从而解得zk+1
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数,从而解得yk+1
利用停机准则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像。
一种图像超分辨率重构系统,包括:图像获取模块,用于利用斜采样模式获取多幅图像,所述多幅图像为在不同方向上获取的图像;优化模型建立模块,用于根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束;增广拉格朗日函数建立模块,用于根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数;迭代函数构造模块,用于引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子;迭代运算模块,用于对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
可选的,所述带有线性约束的全变差优化模型为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用斜采样模式获取的多幅图像。
可选的,所述增广拉格朗日函数建立模块,具体包括:
优化模型转化单元,用于将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
增广拉格朗日函数建立单元,用于依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
可选的,所述迭代形式的带预处理算子的增广拉格朗日函数为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
可选的,所述迭代运算模块,具体包括:
第一求解单元,用于选取Q=ρI-ρ1A*A,ρ为任意的正数,则
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*(ρ1(b-Azk)-λk)+W*(ρ2ykk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的A*(b-Azk),从而解得zk+1
第二求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1
第三求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数,从而解得yk+1
迭代终止单元,利用停机准则中的偏差原则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像。
与现有技术相比,本发明的有益效果是:
本发明提出了一种图像超分辨率重构方法,利用斜采样模式获取多幅序列图像,根据获取的多幅序列图像建立带有线性约束的全变差优化模型,根据带有线性约束的全变差优化模型建立增广拉格朗日函数,并引入预处理算子对增广拉格朗日函数进行求解,得到重构后的图像。其中利用斜采样模式获取的多幅序列图像,配准精度高且噪声较低;建立带有线性约束的全变差优化模型能够有效地保留图像的边界;引入预处理算子对增广拉格朗日函数进行求解,不仅能够有效地降低运算量,减少计算代价,并且能够大幅度地提高图像的分辨率,满足在实际应用中对遥感图像高质量的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例图像超分辨率重构方法的流程图;
图2为本发明实施例利用超模式斜采样在不同方向上获取的五幅靶标图像;
图3为本发明实施例重构后的靶标图像;
图4为本发明实施例利用斜采样模式获取的任意一幅靶标图像与重构后的靶标图像的对比图;
图5为本发明实施例图像超分辨率重构系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例图像超分辨率重构方法的流程图。
参见图1,实施例的图像超分辨率重构方法,包括:
步骤S1、利用斜采样模式获取多幅图像,斜采样模式多种多样,通常采用单线阵模式斜采样和超模式斜采样,本实施例利用超模式斜采样在五个不同的方向上分别获取五幅靶标图像。
图2是本发明实施例利用超模式斜采样在不同方向上获取的五幅靶标图像。
参见图2,(a)为像素为400*400的靶标图像,(b)表示的靶标图像相对于(a)在x方向上位移了0.4个像元,在y方向上位移了0.2个像元,(c)表示的靶标图像相对于(a)在x方向上位移了0.8个像元,在y方向上位移了0.4个像元,(d)表示的靶标图像相对于(a)在x方向上位移了1.2个像元,在y方向上位移了0.6个像元,(e)表示的靶标图像相对于(a)在x方向上位移了1.6个像元,在y方向上位移了0.8个像元。
利用超模式斜采样在五个不同的方向上分别获取的五幅靶标图像(a)、(b)、(c)、(d)、(e)之间的几何关系是已知的,在不考虑采样模式本身的误差的情况下,图像(a)、(b)、(c)、(d)、(e)可以当作是经过了高精度配准的低分辨率图像,并且它们的噪声水平也比较低。
步骤S2、根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束,本实施例中,利用五幅靶标图像(a)、(b)、(c)、(d)、(e)建立带有线性约束的全变差优化模型,得到的带有线性约束的全变差优化模型具体为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用超模式斜采样在五个不同的方向上分别获取的五幅靶标图像。
步骤S3、根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数,具体包括:
由于算子A没有具体的表达式,导致矩阵求逆的计算量太大,为了简化求解过程,将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
为了避免求解过程中存在的不等式约束条件,依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
步骤S4、为了减少运算量,引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子,所述迭代形式的带预处理算子的增广拉格朗日函数为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
步骤S5、对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率,具体包括:
由迭代形式的带预处理算子的增广拉格朗日函数可以得到z-子问题的求解等价于
zk+1=(ρ1A*A+ρ2W*W+ρ3I+Q)-1(A*(ρ1b-λk)+W*(ρ2ykk)+ρ3xk-v+Qzk)
在实际计算中通过选取合适的预处理算子Q可以有效的减少运算量,如选取Q=ρI-ρ1A*A,其中ρ为任意的正数,使得整个预处理矩阵是半正定的,则可以将z-子问题的求解简化为
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*(ρ1(b-Azk)-λk)+W*(ρ2ykk)+ρ3xk-v+ρzk)由于无法直接获得斜采样算子A的表达式,因此计算Azk,对于Azk的任意一点Azk(i,j),i表示矩阵的第i行,j表示矩阵的第j列,由于斜采样的几何位置是已知,Azk(i,j)在重构的网格中的位置也就是已知的,选取Azk(i,j)重构网格中周围的四个网格点,对其进行插值计算,得到Azk(i,j)的像素值,再利用对偶的方法计算A*(b-Azk),带入上式,从而解得zk+1,其中对偶算子的定义为其中B为利用斜采样模式在多个不同的方向上分别获取的多幅靶标图像的集合;
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
x(i,j)∈[0,255],进一步简化得到
从而解得xk+1
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到进一步简化得到其中m为任意的正数,从而解得yk+1
利用停机准则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像,图3为本发明实施例重构后的靶标图像,图4为本发明实施例利用斜采样模式获取的任意一幅靶标图像与重构后的靶标图像局部放大后的对比图,由图3和图4可知,重构后的靶标图像有效地保留了图像的边界,大幅度地提高了靶标图像的分辨率,能够满足在实际应用中对遥感图像高质量的要求。
本实施例中,停机准则具体为经典的偏差原则。
图5为本发明实施例图像超分辨率重构系统的结构示意图。
参见图5,实施例的图像超分辨率重构系统100,包括:
图像获取模块10,用于利用斜采样模式获取多幅图像,所述多幅图像为在不同方向上获取的图像,斜采样模式多种多样,通常采用单线阵模式斜采样和超模式斜采样,本实施例利用超模式斜采样在五个不同的方向上分别获取五幅靶标图像。
优化模型建立模块20,用于根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束,本实施例中,利用五幅靶标图像建立带有线性约束的全变差优化模型,得到的带有线性约束的全变差优化模型具体为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用超模式斜采样在五个不同的方向上分别获取的五幅靶标图像。
增广拉格朗日函数建立模块30,用于根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数,所述增广拉格朗日函数建立模块30,具体包括:
优化模型转化单元,用于将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
增广拉格朗日函数建立单元,用于依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
迭代函数构造模块40,用于引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子,所述迭代形式的带预处理算子的增广拉格朗日函数具体为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
迭代运算模块50,用于对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率,所述迭代运算模块50,具体包括:
第一求解单元,用于选取Q=ρI-ρ1A*A,ρ为任意的正数,则
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*(ρ1(b-Azk)-λk)+W*(ρ2ykk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的A*(b-Azk),从而解得zk+1
第二求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1
第三求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数,从而解得yk+1
迭代终止单元,利用停机准则中的偏差原则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像,重构后的靶标图像有效地保留了图像的边界,大幅度地提高了靶标图像的分辨率,能够满足在实际应用中对遥感图像高质量的要求。
本实施例中,停机准则具体为经典的偏差原则。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像超分辨率重构方法,其特征在于,包括:
利用斜采样模式获取多幅图像,所述多幅图像为在不同方向上获取的图像;
根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束;
根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数;
引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子;
对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
2.根据权利要求1所述的一种图像超分辨率重构方法,其特征在于,所述带有线性约束的全变差优化模型为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用斜采样模式获取的多幅图像。
3.根据权利要求2所述的一种图像超分辨率重构方法,其特征在于,所述根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数,具体包括:
将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
4.根据权利要求3所述的一种图像超分辨率重构方法,其特征在于,所述迭代形式的带预处理算子的增广拉格朗日函数为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
5.根据权利要求4所述的一种图像超分辨率重构方法,其特征在于,所述对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,具体包括:
选取Q=ρI-ρ1A*A,ρ为任意的正数,则
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*1(b-Azk)-λk)+W*2ykk)+ρ3xk-v+ρzk
利用对偶的方法计算上述公式中的A*(b-Azk),从而解得zk+1
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数,从而解得yk+1
利用停机准则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像。
6.一种图像超分辨率重构系统,其特征在于,包括:
图像获取模块,用于利用斜采样模式获取多幅图像,所述多幅图像为在不同方向上获取的图像;
优化模型建立模块,用于根据所述多幅图像建立带有线性约束的全变差优化模型,所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束;
增广拉格朗日函数建立模块,用于根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数;
迭代函数构造模块,用于引入预处理算子,利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数,所述预处理算子为线性有界半正定算子;
迭代运算模块,用于对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算,得到重构后的图像,所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
7.根据权利要求6所述的一种图像超分辨率重构系统,其特征在于,所述带有线性约束的全变差优化模型为
min f(Wx),s.t.Ax=b,0≤x≤255,
式中,f(·)是保持稀疏约束的函数,f为向量的I1范数,W为梯度算子,x是重构后的图像,f(Wx)为图像的全变差,A为斜采样算子,b为利用斜采样模式获取的多幅图像。
8.根据权利要求7所述的一种图像超分辨率重构系统,其特征在于,所述增广拉格朗日函数建立模块,具体包括:
优化模型转化单元,用于将辅助变量y=Wx和z=x引入到所述带有线性约束的全变差优化模型中,则转化后的带有线性约束的全变差优化模型为
式中,x是重构后的图像,A为斜采样算子,b为利用斜采样模式获取的多幅图像,W为梯度算子,i表示矩阵的第i行,j表示矩阵的第j列;
增广拉格朗日函数建立单元,用于依据上式建立所述增广拉格朗日函数,所述增广拉格朗日函数为
式中,λ、μ和ν分别为约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子;ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子。
9.根据权利要求8所述的一种图像超分辨率重构系统,其特征在于,所述迭代形式的带预处理算子的增广拉格朗日函数为
式中,k为迭代次数,zk、yk和xk分别为第k次迭代的结果,zk+1、yk+1和xk+1分别为第k+1次迭代的结果,λk、μk和νk分别为第k次迭代约束条件Az=b、Wz-y=0和z=x对应的拉格朗日乘子,ρ1为λ乘子罚函数的罚因子,ρ2为μ乘子罚函数的罚因子,ρ3为ν乘子罚函数的罚因子,Q为预处理算子,
10.根据权利要求9所述的一种图像超分辨率重构系统,其特征在于,所述迭代运算模块,具体包括:
第一求解单元,用于选取Q=ρI-ρ1A*A,ρ为任意的正数,则
zk+1=(ρ2W*W+(ρ3+ρ)I)-1(A*1(b-Azk)-λk)+W*2ykk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的A*(b-Azk),从而解得zk+1
第二求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1
第三求解单元,用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数,从而解得yk+1
迭代终止单元,利用停机准则中的偏差原则自动停止迭代,得到第k次迭代的结果,xk为重构后的图像。
CN201710384701.3A 2017-05-26 2017-05-26 一种图像超分辨率重构方法及系统 Pending CN107220936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710384701.3A CN107220936A (zh) 2017-05-26 2017-05-26 一种图像超分辨率重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710384701.3A CN107220936A (zh) 2017-05-26 2017-05-26 一种图像超分辨率重构方法及系统

Publications (1)

Publication Number Publication Date
CN107220936A true CN107220936A (zh) 2017-09-29

Family

ID=59945505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710384701.3A Pending CN107220936A (zh) 2017-05-26 2017-05-26 一种图像超分辨率重构方法及系统

Country Status (1)

Country Link
CN (1) CN107220936A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615676A (zh) * 2018-12-13 2019-04-12 深圳大学 一种光学图像重构方法、装置、计算机设备及存储介质
CN109683343A (zh) * 2019-02-25 2019-04-26 中国科学院光电研究院 一种超分辨成像系统的设计方法
CN109685865A (zh) * 2018-12-24 2019-04-26 电子科技大学 适合直线扫描轨迹的锥束断层重建方法
CN109839362A (zh) * 2019-03-20 2019-06-04 北京中科知草科技有限公司 基于渐进式去噪技术的红外光谱定量分析方法
CN111010505A (zh) * 2019-11-07 2020-04-14 广东工业大学 一种瞬态场景重构算法及装置
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440619A (zh) * 2013-06-09 2013-12-11 清华大学 一种斜模式采样建模与超分辨率重建方法
CN104867119A (zh) * 2015-05-21 2015-08-26 天津大学 基于低秩矩阵重建的结构性缺失图像填充方法
CN105737983A (zh) * 2016-03-30 2016-07-06 首都师范大学 一种超分重建的斜模高光谱成像地面试验装置及方法
CN105976410A (zh) * 2016-05-05 2016-09-28 南京信息工程大学 一种基于非线性预测稀疏编码的单幅图像超分辨率快速重建方法
CN106355196A (zh) * 2016-08-23 2017-01-25 大连理工大学 基于耦合字典学习的合成孔径雷达图像目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440619A (zh) * 2013-06-09 2013-12-11 清华大学 一种斜模式采样建模与超分辨率重建方法
CN104867119A (zh) * 2015-05-21 2015-08-26 天津大学 基于低秩矩阵重建的结构性缺失图像填充方法
CN105737983A (zh) * 2016-03-30 2016-07-06 首都师范大学 一种超分重建的斜模高光谱成像地面试验装置及方法
CN105976410A (zh) * 2016-05-05 2016-09-28 南京信息工程大学 一种基于非线性预测稀疏编码的单幅图像超分辨率快速重建方法
CN106355196A (zh) * 2016-08-23 2017-01-25 大连理工大学 基于耦合字典学习的合成孔径雷达图像目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YULING JIAO ET AL: "Preconditioned alternating direction method of multipliers for inverse problems with constraints,yuling jiao et al,inverse problems", 《INVERSE PROBLEMS》 *
YULING JIAO等: "ALTERNATING DIRECTION METHOD OF MULTIPLIERS FOR LINEAR INVERSE PROBLEMS", 《SIAM JOURNAL ON NUMERICAL ANALYSIS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615676A (zh) * 2018-12-13 2019-04-12 深圳大学 一种光学图像重构方法、装置、计算机设备及存储介质
CN109615676B (zh) * 2018-12-13 2023-08-29 深圳大学 一种光学图像重构方法、装置、计算机设备及存储介质
CN109685865A (zh) * 2018-12-24 2019-04-26 电子科技大学 适合直线扫描轨迹的锥束断层重建方法
CN109685865B (zh) * 2018-12-24 2023-03-31 电子科技大学 适合直线扫描轨迹的锥束断层重建方法
CN109683343A (zh) * 2019-02-25 2019-04-26 中国科学院光电研究院 一种超分辨成像系统的设计方法
CN109839362A (zh) * 2019-03-20 2019-06-04 北京中科知草科技有限公司 基于渐进式去噪技术的红外光谱定量分析方法
CN109839362B (zh) * 2019-03-20 2021-08-17 北京中科知草科技有限公司 基于渐进式去噪技术的红外光谱定量分析方法
CN111010505A (zh) * 2019-11-07 2020-04-14 广东工业大学 一种瞬态场景重构算法及装置
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法

Similar Documents

Publication Publication Date Title
CN107220936A (zh) 一种图像超分辨率重构方法及系统
Zhang et al. DCSR: Dilated convolutions for single image super-resolution
Wei et al. An advanced deep residual dense network (DRDN) approach for image super-resolution
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN110276721A (zh) 基于级联残差卷积神经网络的图像超分辨率重建方法
CN104268934B (zh) 一种由点云直接重建三维曲面的方法
Ning et al. Accurate and lightweight image super-resolution with model-guided deep unfolding network
CN109727195B (zh) 一种图像超分辨率重构方法
CN105046672A (zh) 一种图像超分辨率重建方法
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN110136062A (zh) 一种联合语义分割的超分辨率重建方法
CN108305297A (zh) 一种基于多维张量字典学习算法的图像处理方法
CN114897680B (zh) 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN114494003B (zh) 一种联合形状变换和纹理转换的古文字生成方法
Ma et al. Back-projection-based progressive growing generative adversarial network for single image super-resolution
CN112767252A (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN105844674A (zh) 基于三元数小波变换的彩色图像融合系统及方法
CN108615221A (zh) 基于剪切二维极线平面图的光场角度超分辨率方法及装置
Wu et al. Multi-scale non-local attention network for image super-resolution
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
Shen et al. Multipath feedforward network for single image super-resolution
Yang Super resolution using dual path connections
Qin et al. Remote sensing image super-resolution using multi-scale convolutional neural network
CN109087247A (zh) 一种对立体图像进行超分的方法
Zhao et al. Activating more information in arbitrary-scale image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929

RJ01 Rejection of invention patent application after publication