CN104766273B - 一种基于压缩感知理论的红外图像超分辨率重建方法 - Google Patents

一种基于压缩感知理论的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN104766273B
CN104766273B CN201510187916.7A CN201510187916A CN104766273B CN 104766273 B CN104766273 B CN 104766273B CN 201510187916 A CN201510187916 A CN 201510187916A CN 104766273 B CN104766273 B CN 104766273B
Authority
CN
China
Prior art keywords
block
definition picture
low
resolution
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510187916.7A
Other languages
English (en)
Other versions
CN104766273A (zh
Inventor
毛玉星
王艳
严冬梅
周晋涛
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201510187916.7A priority Critical patent/CN104766273B/zh
Publication of CN104766273A publication Critical patent/CN104766273A/zh
Application granted granted Critical
Publication of CN104766273B publication Critical patent/CN104766273B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于压缩感知理论的红外图像超分辨率重建方法,该方法以低分辨率图像为基础,对其进行分块,将低分辨率图像块视为对相应高分辨率图像块的下采样观测,建立下采样模型并写出下采样矩阵;构造高分辨率图像块的稀疏变换矩阵,并与观测矩阵相乘得到传感矩阵;根据低分辨率块和传感矩阵采用OMP算法重建高分辨率图像块的稀疏系数,再将稀疏变换矩阵和稀疏系数相乘得到高分辨率图像块。最后,将所有的高分辨率图像块进行拼接,得到高分辨率重建图像。该方法具有容易实现、运算块、性能稳定、抗噪效果好的优点;用差分运算生成差分变换矩阵和实现稀疏变换,避免了冗余字典训练的复杂计算,有利于消除图像的散粒噪声,具有降噪优势。

Description

一种基于压缩感知理论的红外图像超分辨率重建方法
技术领域
本发明涉及图像处理技术,具体涉及一种基于压缩感知理论的红外图像超分辨率重建方法。
背景技术
在图像应用领域,细节分辨能力不足是限制图像的视觉效果以及目标理解和识别性能的重要因素。在红外影像等医学成像领域,图像分辨率严重受限于探测器阵列的像元数量和尺寸。提高图像分辨率最直接方法是改进图像传感器制造工艺,即从硬件上减小像元尺寸、增加探测器阵列的像元数量。但是,减小像元大小会引入图像噪声,增加像元数量又会降低传感器的工作效率,使其可靠性降低。同时,高分辨率成像设备的制造成本急剧增加,昂贵的价格也会限制其应用推广。
如何基于已有硬件条件及当前的观测图像,尽可能恢复场景的本来面貌或进一步提高图像分辨率,将是保障图像实际价值和应用可靠性的必然要求,也是图像科学研究和工程应用中的热点问题。超分辨率重建(SRR)是解决特定应用场景中图像细节分辨能力不足的有效手段。图像超分辨率重建是指在现有成像条件下,以光学镜头模型和成像理论为基础,采用图像处理理论与方法,利用有效的算法与计算机软件技术,依靠一帧或多帧低分辨率(LR)图像来恢复或逼近真实场景的高分辨率图像,获得清晰的视觉效果并改善应用性能。
图像超分辨率技术已发展多年,无论在理论研究和应用开发方面都取得了巨大进展。随着信号处理领域理论上的突破,涌现了许多优秀的算法。小波分解、压缩感知(Compressed Sensing,CS)理论、多目标优化理论为信号处理提供了更多有效途径,开辟了广阔的研究空间。近年发展起来的压缩感知理论,通过探寻信号的稀疏特性,在远小于Nyquist采样率的条件下,用随机采样获取信号的离散样本,通过非线性算法完美重建信号,被美国科技评论评为2007年度十大科技进展。
超分辨率方法是一个从低分辨率图像向高分辨率图像的演变过程,是一个典型的病态问题,必须引入附加信息。从附加信息的来源上看,可以将图像超分辨率重建方法分为基于插值的方法、基于学习的方法和基于重建的方法。图像插值是一种最简单的方法,其特点是速度快,容易实现。典型插值算法包括邻近点插值、双线性插值、双三次插值、样条插值等。由于插值算法是一种数学运算结果,本质上并不产生丢失的高频信息,造成在高放大倍数时容易模糊,效果差。因此,插值技术也在不断演化,主要方向是根据低分辨率图像的边沿和纹理特征,图像空域和变换域的分布特性,以保护高频信息为目的,开发增强边沿的图像插值算法。
基于学习的图像超分辨率方法依赖于单帧图像或图像数据库,其特点是利用高、低分辨率图像在空域或变换域具有关联特性,通过学习和训练获得高分辨率信息。其中,基于单帧图像的学习方法是利用低分辨率图像不同区域间、整体与局部间的相似特性得到高频信息,此类算法没有附加条件要求,实现容易。另一类基于学习的方法采用图像数据库,依据样本训练获得图像的先验知识。但是学习过程需要对样本进行相似块搜索,计算复杂度高,实时性效果差,而且样本训练方法不利于对图像个性的刻画。
基于重建的超分辨率方法采用了低分辨率图像序列,用较为苛刻的条件获得了真实的附加信息,取得了更为优秀的重建效果。在此领域涌现了很多有效的算法,主要可分为频域法和空域法。但是,这种方法需要低分辨率图像序列的帧间具有亚像素位移特性,这往往难以精确控制,并且会带来硬件成本的增加,难以得到广泛的应用。
发明内容
针对现有技术存在的上述问题,本发明的目的是解决现有算法复杂度高,计算时间长,缺乏稳定性的技术问题,提供一种基于压缩感知理论的红外图像超分辨率重建方法。
为实现上述目的,本发明采用如下技术方案:一种基于压缩感知理论的红外图像超分辨率重建方法,包括如下步骤:
S1:通过红外成像器材获取图像,将所获取的图像视为对高分辨率图像的下采样观测,所获取的图像记为低分辨率图像;
S2:对所述低分辨率图像进行分块,得到低分辨率图像块集{Y},Y表示低分辨率图像块集中任意一个低分辨率图像块,大小为m×n,其中m,n分别为低分辨率图像块的行、列像素点个数;
设对低分辨率图像进行分块时,相邻低分辨率图像块在纵、横两方向重叠像素数均为k,其中,0≤k<min(m,n);
记上述低分辨率图像块Y对应的高分辨率图像块为X,大小为2m×2n;
S2a:下采样模型为:Y视为将X相邻四点取平均变成一点后得到的下采样结果;
S2b:将低分辨率图像块Y和与其对应的高分辨率图像块X分别按先行后列的顺序组合成向量x、y,维数分别为4mn×1及mn×1;
下采样过程用下采样矩阵D描述,则得到数学表达式(1):
y=Dx (1);
所述下采样矩阵D维数为mn×4mn;
S3:构造下采样矩阵D;
S4:构造稀疏变换矩阵H,则向量x由式(6)表示:
x=Hx′ (6);
其中,x′表示稀疏系数;
S5:重建高分辨率图像块,重建步骤如下:
S5a:将式(6)代入式(1)得式(7):
y=DHx′=Ax′ (7);
其中A为传感矩阵,A=DH,其维数为mn×4mn;
S5b:采用正交匹配追踪算法重构稀疏系数x′;
S5c:采用重构的稀疏系数x′,由式(6)计算出高分辨率图像块X的向量x,将向量x重新排列成2m×2n的矩阵形式,得到高分辨率图像块X;
S6:对低分辨率图像块集{Y}中的每个低分辨率图像块均重复步骤S5的操作,得到每个低分辨率图像块对应的高分辨率图像块;
将得到的所有高分辨率图像块进行拼接,则得到所述低分辨率图像对应的高分辨率图像。
作为优化,所述步骤S3中构造下采样矩阵D的过程如下:
S3a:将低分辨率图像块Y的i行j列的像素值用Yi,j表示,i=1,2,...,m;j=1,2,...,n;与其对应的高分辨率图像块X的i1行j1列的像素值用表示,i1=1,2,...,2m;j1=1,2,...,2n;根据步骤S2a确定的下采样模型,得到表达式(2):
S3b:所述Yi,j为向量y的第n(i-1)+j个元素,记为yn(i-1)+j,同理记为由此可将式(2)改写为式(3):
S3c:对式(3)将i从1到m,j从1到n取值,得到m×n个关于y1、y2…ymn的计算式,将向量y所有元素的计算式写成如式(1)的矩阵形式,即得到下采样矩阵D;
作为优化,所述步骤S4中构造稀疏变换矩阵H的过程如下:
S4a:设X′为高分辨率图像块X的变换块,为X′在i1行j1列的像素值;变换块X′的非边界点的像素值由高分辨率图像块X相应位置点与其邻域点经过差分运算得到,由式(4)表示;
S4b:边界点像素值的处理方法,高分辨率图像块X首行和首列点采用镜像延拓,末行和末列点采用0延拓处理;
S4c:对变换块X′按先行后列排列得到向量x′,则式(4)改写成式(5):
S4d:对式(5)将i1从1到2m,j1从1到2n取值,得到2m×2n个关于x1′、x2′…x4mn的计算式,将向量x′所有元素的计算式写成矩阵形式x′=Bx,设H=B-1,则得式(6):
x=Hx′ (6);
其中H表示稀疏变换矩阵,x′表示稀疏系数。
作为优化,所述步骤S6中水平方向相邻两个高分辨率图像块拼接时,像素值的计算方法如下:
将水平方向两个相邻的低分辨率图像块,分别记为A、C,大小均为m×n,重叠像素数为k,重建后低分辨率图像块A、C对应的高分辨率图像块分别记为A1、C1,大小均为2m×2n,重叠像素数为2k,则两个高分辨率图像块A1、C1合并后水平方向长度为4n-2k,用L表示高分辨率图像块A1、C1合并后像素的水平位置,L=1,2,...,4n-2k;
S6a:当1≤L≤2n-2k,位于高分辨率图像块A1块内非重叠区域,像素值选取高分辨率图像块A1的像素值;
S6b:当2n-2k<L≤2n,位于重叠区域,像素值取(2n-L)*A1(L)/(2k)+(L-2(n-k))*C1(L)/(2k),式中A1(L)、C1(L)分别为高分辨率图像块A1、高分辨率图像块C1在L位置的像素值;
S6c:当2n<L≤4n-2k,位于高分辨率图像块C1内非重叠区域,像素值选取高分辨率图像块C1的像素值。
相对于现有技术,本发明具有如下优点:本发明综合应用了图像下采样模型、图像差分变换方法、压缩感知理论、图像拼接技术,具有容易实现、运算块、性能稳定、抗噪效果好的优点,特别适用于红外图像的超分辨率重建,可应用于医疗、军事、安防监控等相关领域;该方法依赖单幅图像,容易实现;差分变换矩阵根据差分运算直接生成,避免了冗余字典训练的复杂计算;用差分运算实现稀疏变换,有利于消除红外图像散粒噪声,具有降噪优势。
附图说明
图1为本发明方法的基本流程图。
图2为实施例中m=n=4时的下采样矩阵D。
图3为实施例中m=n=4时的差分变换矩阵B。
图4为采集的低分辨率红外图像,图4a,图4b分别为行、列像素点不同的低分辨率红外图像。
图5为重建的高分辨率图像,其中图5a为图4a的高分辨率图像,图5b为图4b的高分辨率图像。
具体实施方式
本发明的基本思想是:由红外成像系统获取一幅图像,将其视为对一幅高分辨率图像的下采样观测。根据观测图像恢复原始高分辨率图像是一个病态问题,有无穷多解。根据压缩感知理论,如果高分辨率图像是稀疏的或在某变换域是稀疏的,就可以根据观测信息重建稀疏系数,通过计算最终获得高分辨率图像。考虑到图像可能较大,不利于计算,首先将低分辨率图像进行分块,对任意低分辨率图像块进行高分辨率重建,最后再对所有高分辨率图像块进行拼接得到整幅高分辨率图像。
下面对本发明作进一步详细说明。
参见图1,一种基于压缩感知理论的红外图像超分辨率重建方法,包括如下步骤:
S1:通过红外成像器材获取图像,将所获取的图像视为对高分辨率图像的下采样观测,所获取的图像记为低分辨率图像;
S2:对所述低分辨率图像进行分块,得到低分辨率图像块集{Y},Y表示低分辨率图像块集中任意一个低分辨率图像块,大小为m×n,其中m,n分别为低分辨率图像块的行、列像素点个数;
设对低分辨率图像进行分块时,相邻低分辨率图像块在纵、横两方向重叠像素数均为k,其中,0≤k<min(m,n);
记上述低分辨率图像块Y对应的高分辨率图像块为X,大小为2m×2n;同低分辨率图像块相比,高分辨率图像块在纵、横两方向像素点均加倍;
S2a:下采样模型为:根据光学镜头模型和探测器成像理论Y视为将X相邻四点取平均变成一点后得到的下采样结果;
S2b:为便于数学描述,将低分辨率图像块Y和与其对应的高分辨率图像块X分别按先行后列的顺序组合成向量x、y,维数分别为4mn×1及mn×1;
下采样过程用下采样矩阵D描述,则得到数学表达式(1):
y=Dx (1);
所述下采样矩阵D维数为,mn×4mn高分辨率块重建即是根据y计算出x;
S3:构造下采样矩阵D:构造下采样矩阵过程如下:下采样矩阵D反映了由高分辨率图像块X得到低分辨率图像块Y的下采样过程;
S3a:将低分辨率图像块Y的i行j列的像素值用Yi,j表示,i=1,2,...,m;j=1,2,...,n;与其对应的高分辨率图像块X的i1行j1列的像素值用表示,i1=1,2,...,2m;j1=1,2,...,2n;根据步骤S2a确定的下采样模型,得到表达式(2):
S3b:根据列向量x、y的构造方法可知,所述Yi,j为向量y的第n(i-1)+j个元素,记为yn(i-1)+j,同理记为由此可将式(2)改写为式(3):
S3c:对式(3)将i从1到m,j从1到n取值,得到m×n个关于y1、y2…ymn的计算式,这些计算式反映了向量y的任意元素与向量x的某4个元素相关,将向量y所有元素的计算式(用计算机编程方式)写成如式(1)的矩阵形式,即得到下采样矩阵D。
S4:构造稀疏变换矩阵H,构造过程如下:
本发明采用压缩感知理论实现图像超分辨率重建,要求高分辨率图像本身或在变换域是稀疏的,即包含许多0元素。由于不能保证高分辨率图像块X有0存在,所以式(1)中的向量x也不具备稀疏特性。根据图像在大部分区域是缓慢变化的这一特性,一个点与其相邻8个点的平均值的差会高概率接近或等于0,为此可以通过差分方法实现稀疏变换。根据步骤(1)的定义,X为高分辨率图像块,为该高分辨率图像块i1行j1列的像素值,这里再定义高分辨率图像块X的变换块X′,为其i1行j1列的像素值。
S4a:设X′为高分辨率图像块X的变换块,为X′在i1行j1列的像素值;变换块X′的非边界点的像素值由高分辨率图像块X(即得到变换块X′前的高分辨率图像块X)相应位置点与其邻域点经过差分运算得到,由式(4)表示;
S4b:边界点的处理方法,为保证差分变换矩阵满足满秩条件以便求逆,采用不同的延拓方式:边界点像素值的处理方法,高分辨率图像块X首行和首列点采用镜像延拓,末行和末列点采用0延拓处理;
S4c:对变换块X′按先行后列排列得到向量x′,则式(4)改写成式(5):
S4d:对式(5)将i1从1到2m,j1从1到2n取值,得到2m×2n个关于x1′、x2′…x4mn的计算式,这些计算式反映了向量x′的任意元素与向量x的9个元素相关(边界点除外)将向量x′所有元素的计算式写成矩阵形式x′=Bx,B表示差分变换矩阵,由于B是可逆的,设H=B-1,则得式(6):
x=Hx′ (6);
其中H表示稀疏变换矩阵,x′表示稀疏系数。
S5:重建高分辨率图像块:根据压缩感知理论,如果一个信号具有稀疏特性,则可以根据少量随机观测值高概率重构原稀疏信号。步骤S2解决了观测问题,步骤S4解决了稀疏分解问题。重建步骤如下:
S5a:将式(6)代入式(1)得式(7):
y=DHx′=Ax′ (7);
其中A为传感矩阵,A=DH,其维数为mn×4mn,式(7)中x′有许多0存在,是稀疏的,符合压缩感知理论的重构条件;
S5b:由于式(7)中向量y由低分辨率图像块得到,是已知的,传感矩阵A也是已知的,采用正交匹配追踪(OMP)算法重构稀疏系数x′;
S5c:采用重构的稀疏系数x′,由(6)式计算出高分辨率图像块X的向量x,将向量x重新排列成2m×2n的矩阵形式,得到高分辨率图像块X;
S6:高分辨率图像块的拼接与高分辨率图像生成:
对低分辨率图像块集{Y}中的每个低分辨率图像块均重复步骤S5的操作,得到每个低分辨率图像块对应的高分辨率图像块;
将得到的所有高分辨率图像块进行拼接,则得到所述低分辨率图像对应的高分辨率图像。
为了避免马赛克效应,在选取低分辨率图像块时,纵横向都将有k个像素点的重叠,则在高分辨率块重建后,相邻高分辨率块之间在纵横两个方向重叠像素均为2k个。在重叠区域内采用线性加权方法计算合并值。下面以水平方向为例描述计算方法,垂直方向计算方法相同。在实际应用中若k取为0,则不需要处理重叠区域。
水平方向相邻两个高分辨率图像块拼接时,像素值的计算方法如下:
将水平方向两个相邻的低分辨率图像块,分别记为A、C,大小均为m×n,重叠像素数为k,重建后低分辨率图像块A、C对应的高分辨率图像块分别记为A1、C1,大小均为2m×2n,重叠像素数为2k,则两个高分辨率图像块A1、C1合并后水平方向长度为4n-2k,用L表示高分辨率图像块A1、C1合并后像素的水平位置,L=1,2,...,4n-2k;
S6a:当1≤L≤2n-2k,位于A1块内非重叠区域,像素值选取A1块的像素值;
S6b:当2n-2k<L≤2n,位于重叠区域,像素值取(2n-L)*A1(L)/(2k)+(L-2(n-k))*C1(L)/(2k),式中A1(L)、C1(L)分别为高分辨率图像块A1、高分辨率图像块C1在L位置的像素值;
S6c:当2n<L≤4n-2k,位于高分辨率图像块C1内非重叠区域,像素值选取高分辨率图像块C1的像素值。
垂直方向相邻两个高分辨率图像块拼接时,像素值的计算方法与水平方向的相同,此处不再赘述。
按照步骤S6a-S6c的方法完成所有高分辨率图像块的拼接,得到完整的高分辨率图像。
本发明将采集获得的低分辨率图像视为对高分辨率图像的下采样观测,从而利用压缩感知理论的稀疏信号重构算法重建高分辨率图像。为加快运算速度,高分辨率图像的稀疏变换过程不采用常规的冗余字典训练方法,而根据图像的空间分布特性直接给出,不仅消除了对训练样本的依赖,还有利于降低噪声影响,在保证速度的基础上取得了良好的重建效果。
实施例:参见图1-5,一种基于压缩感知理论的红外图像超分辨率重建方法,用采集图像,确定图像块的大小,即行、列数m、n的值以及块的重叠像素数k,然后对图像进行分块。根据块大小的定义写出下采样矩阵D和稀疏变换矩阵H,从而由A=DH得到传感矩阵A。取出低分辨率图像块Y,将其排列成列向量y,图像块的高分辨率重建问题转化为对y=Ax′的求解。根据压缩感知理论,当x′具有稀疏特性时,可以根据y和A重建稀疏系数x′,最后根据x=Hx′得到高分辨率图像块,将所有高分辨率图像块拼接,得到高分辨率图像。
S1:用同一个红外热像仪采集2幅红外图像用于测试,如图4所示。其中图4a的分辨率为160×120,图4b做了旋转,分辨率为120×160。下面描述高分辨率图像的重构过程,两幅图像的处理过程并无区别,其中参数选取不在限定范围内。
S2:参数m、n、k确定。为了保证所分的低分辨率图像块在纵横两方向的全覆盖,m、n、k的确定应与低分辨率图像的高度h和宽度w有关。即(8)式中水平方向的低分辨率图像块数X_num和竖直方向的低分辨率图像块数Y_num均应为整数。
取m=n=4,k=0,图4a水平和竖直方向的低分辨率图像块数分别为40、30,图4b水平和竖直方向的低分辨率图像块数分别为30、40。
S3:构造下采样矩阵D:根据光学镜头模型和探测器成像理论,将下采样过程视为将高分辨率图像块相邻四点取平均变成一点后得到下采样结果,从而在纵横两方向上分辨率减半。根据低分辨率块像素值和高分辨率块像素值的计算关系,最终写出y=Dx中的D。D的维数为mn行、4mn列。本实施例里,D矩阵为16行、64列,其值的分布如图2所示。
S4:构造稀疏变换矩阵H:构造差分变换矩阵B的出发点在于红外图像中的孤立点一般多由噪声引起,因而一个点与周围8个点的平均值之差会高概率接近于0。根据差分运算关系可以写出差分变换矩阵B,但由于边界点会出现邻域点的部分缺失,因而需要进行延拓。如果高分辨率图像块上下左右四个边界均采用相同的延拓方式,会造成矩阵不满秩,考虑到B必须满秩才能通过求逆得到稀疏变换矩阵H,因此首行和末行采用不同的延拓方式,同样首列和末列也采用不同的延拓方式。在本实施例中取m=n=4,高分辨率图像块大小为8×8,第1行和第1列采用镜像延拓,第8行和第8列采用0延拓方式,得到差分变换矩阵B,其维数为64行、64列,如图3所示。利用H=B-1,对B求逆矩阵得到稀疏变换矩阵H。
S5:重建图像块的超分辨率。根据上述步骤得到的矩阵D和H,由A=DH计算出传感矩阵A,维数为16×64。低分辨率图像块Y大小为4×4,由此构成的列向量y大小为16×1。设x′为稀疏系数,大小为64×1,可以由OMP算法求解y=Ax′得到x′,然后由x=Hx′得到高分辨率图像块的向量x,将此向量按先行后列顺序提取元素组合成8×8矩阵,即得到图像块Y对应的高分辨率图像块。
S6:生成高分辨率图像。由于处理方式相同,算法中每个低分辨率图像块得到对应的高分辨率图像块时的矩阵D和H相同,因而传感矩阵A相同,对不同的低分辨率图像块,意味着y=Ax′中的y不同,在得到所有的高分辨率图像块后,对所有高分辨率图像块进行拼接,即可生成最终的高分辨率图像。本实施例中由于低分辨率图像块大小为4×4,较小,因而取k=0,也就是低分辨率图像块之间无重叠,将所有1200个高分辨率图像块按照其位置组合后就得到320×240和240×320的高分辨率图像,如图5所示。图5a为图4a对应的高分辨率图像,图5b为图4b对应的高分辨率图像。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于压缩感知理论的红外图像超分辨率重建方法,其特征在于,包括如下步骤:
S1:通过红外成像器材获取图像,将所获取的图像视为对高分辨率图像的下采样观测,所获取的图像记为低分辨率图像;
S2:对所述低分辨率图像进行分块,得到低分辨率图像块集{Y},Y表示低分辨率图像块集中任意一个低分辨率图像块,大小为m×n,其中m,n分别为低分辨率图像块的行、列像素点个数;
设对低分辨率图像进行分块时,相邻低分辨率图像块在纵、横两方向重叠像素数均为k,其中,0≤k<min(m,n);
记上述低分辨率图像块Y对应的高分辨率图像块为X,大小为2m×2n;
S2a:下采样模型为:Y视为将X相邻四点取平均变成一点后得到的下采样结果;
S2b:将低分辨率图像块Y和与其对应的高分辨率图像块X分别按先行后列的顺序组合成向量x、y,维数分别为4mn×1及mn×1;
下采样过程用下采样矩阵D描述,则得到数学表达式(1):
y=Dx (1);
所述下采样矩阵D维数为mn×4mn;
S3:构造下采样矩阵D;按如下步骤:
S3a:将低分辨率图像块Y的i行j列的像素值用Yi,j表示,i=1,2,...,m;j=1,2,...,n;与其对应的高分辨率图像块X的i1行j1列的像素值用表示,i1=1,2,...,2m;j1=1,2,...,2n;根据步骤S2a确定的下采样模型,得到表达式(2):
S3b:所述Yi,j为向量y的第n(i-1)+j个元素,记为yn(i-1)+j,同理记为由此可将式(2)改写为式(3):
S3c:对式(3)将i从1到m,j从1到n取值,得到m×n个关于y1、y2…ymn的计算式,将向量y所有元素的计算式写成如式(1)的矩阵形式,即得到下采样矩阵D;
S4:构造稀疏变换矩阵H,则向量x由式(6)表示:
x=Hx′ (6);
其中,x′表示稀疏系数;
根据图像在大部分区域是缓慢变化的这一特性,一个点与其相邻8个点的平均值的差会高概率接近或等于0,为此可以通过差分方法实现稀疏变换,构造稀疏变换矩阵H的过程如下:
S4a:设X′为高分辨率图像块X的变换块,为X′在i1行j1列的像素值;变换块X′的非边界点的像素值由高分辨率图像块X相应位置点与其邻域点经过差分运算得到,由式(4)表示;
S4b:边界点像素值的处理方法,高分辨率图像块X首行和首列点采用镜像延拓,末行和末列点采用0延拓处理;
S4c:对变换块X′按先行后列排列得到向量x′,则式(4)改写成式(5):
S4d:对式(5)将i1从1到2m,j1从1到2n取值,得到2m×2n个关于x′1、x′2…x′4mn的计算式,这些计算式反映了向量x′的任意元素与向量x的9个元素相关,将向量x′所有元素的计算式写成矩阵形式x′=Bx,设H=B-1,则得式(6):
x=Hx′ (6);
其中H表示稀疏变换矩阵,x′表示稀疏系数;
S5:重建高分辨率图像块,重建步骤如下:
S5a:将式(6)代入式(1)得式(7):
y=DHx′=Ax′ (7);
其中A为传感矩阵,A=DH,其维数为mn×4mn;
S5b:采用正交匹配追踪算法重构稀疏系数x′;
S5c:采用重构的稀疏系数x′,由式(6)计算出高分辨率图像块X的向量x,将向量x重新排列成2m×2n的矩阵形式,得到高分辨率图像块X;
S6:对低分辨率图像块集{Y}中的每个低分辨率图像块均重复步骤S5的操作,得到每个低分辨率图像块对应的高分辨率图像块;
将得到的所有高分辨率图像块进行拼接,则得到所述低分辨率图像对应的高分辨率图像。
2.如权利要求1所述的基于压缩感知理论的红外图像超分辨率重建方法,其特征在于:所述步骤S6中水平方向相邻两个高分辨率图像块拼接时,像素值的计算方法如下:
将水平方向两个相邻的低分辨率图像块,分别记为A、C,大小均为m×n,重叠像素数为k,重建后低分辨率图像块A、C对应的高分辨率图像块分别记为A1、C1,大小均为2m×2n,重叠像素数为2k,则两个高分辨率图像块A1、C1合并后水平方向长度为4n-2k,用L表示高分辨率图像块A1、C1合并后像素的水平位置,L=1,2,...,4n-2k;
S6a:当1≤L≤2n-2k,位于高分辨率图像块A1块内非重叠区域,像素值选取高分辨率图像块A1的像素值;
S6b:当2n-2k<L≤2n,位于重叠区域,像素值取(2n-L)*A1(L)/(2k)+(L-2(n-k))*C1(L)/(2k),式中A1(L)、C1(L)分别为高分辨率图像块A1、高分辨率图像块C1在L位置的像素值;
S6c:当2n<L≤4n-2k,位于高分辨率图像块C1内非重叠区域,像素值选取高分辨率图像块C1的像素值。
CN201510187916.7A 2015-04-20 2015-04-20 一种基于压缩感知理论的红外图像超分辨率重建方法 Expired - Fee Related CN104766273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510187916.7A CN104766273B (zh) 2015-04-20 2015-04-20 一种基于压缩感知理论的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510187916.7A CN104766273B (zh) 2015-04-20 2015-04-20 一种基于压缩感知理论的红外图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN104766273A CN104766273A (zh) 2015-07-08
CN104766273B true CN104766273B (zh) 2018-10-09

Family

ID=53648085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510187916.7A Expired - Fee Related CN104766273B (zh) 2015-04-20 2015-04-20 一种基于压缩感知理论的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN104766273B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096251A (zh) * 2015-07-18 2015-11-25 哈尔滨工业大学 一种利用超分辨率重建技术提高拼接图像分辨率的方法
CN106227015B (zh) * 2016-07-11 2019-04-26 中国科学院深圳先进技术研究院 一种基于压缩感知理论的全息图像高分辨率重建方法及系统
CN107123097B (zh) * 2017-04-26 2019-08-16 东北大学 一种基于优化的测量矩阵的成像方法
CN107563963B (zh) * 2017-08-11 2020-01-03 北京航空航天大学 一种基于单张深度图超分辨率重建的方法
CN107705342A (zh) * 2017-09-15 2018-02-16 哈尔滨工程大学 一种基于自适应广义正交匹配追踪的红外图像重构方法
CN107833182A (zh) * 2017-11-20 2018-03-23 西安建筑科技大学 基于特征提取的红外图像超分辨率重建方法
CN108376413B (zh) * 2018-01-23 2021-08-06 中山大学 一种基于频域差分统计特征的jpeg图像重压缩检测方法
CN109785235A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 基于压缩感知的红外行人图像超分辨率重建方法及系统
CN110490806B (zh) * 2019-08-19 2021-07-27 福州大学 一种原子力显微镜超分辨率图像重构的方法及系统
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
CN111147853B (zh) * 2019-12-20 2021-05-25 东华大学 一种基于变焦预观测的先验子块生成方法
CN111612697B (zh) * 2020-05-22 2023-07-04 天津维创微智能科技有限公司 一种插值方法、装置、设备及存储介质
CN111881942B (zh) * 2020-07-02 2023-09-26 中国空间技术研究院 一种基于压缩学习的目标分类方法及系统
CN112837220B (zh) * 2021-01-21 2023-07-25 华北电力大学(保定) 一种提高红外图像分辨率的方法及其用途
CN113689336A (zh) * 2021-08-25 2021-11-23 华北电力大学(保定) 一种电力设备红外图像非盲超分辨率方法
CN113992840B (zh) * 2021-09-15 2023-06-23 中国航天科工集团第二研究院 一种基于压缩感知的大视场高分辨成像方法及装置
CN115994858B (zh) * 2023-03-24 2023-06-06 广东海洋大学 一种超分辨率图像重建方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750677A (zh) * 2012-06-12 2012-10-24 清华大学 基于同尺度结构自相似与压缩感知的单图像超分辨率方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629373B (zh) * 2012-02-27 2014-05-28 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN104268841A (zh) * 2014-10-09 2015-01-07 哈尔滨工程大学 一种基于压缩感知算法的红外图像预处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750677A (zh) * 2012-06-12 2012-10-24 清华大学 基于同尺度结构自相似与压缩感知的单图像超分辨率方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于差分变换的语音信号压缩感知;高悦,等.;《信号处理》;20110930;第27卷(第9期);1434-1439 *

Also Published As

Publication number Publication date
CN104766273A (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104766273B (zh) 一种基于压缩感知理论的红外图像超分辨率重建方法
Qin et al. Multi-scale feature fusion residual network for single image super-resolution
Wei et al. An advanced deep residual dense network (DRDN) approach for image super-resolution
Yang et al. Coupled dictionary training for image super-resolution
CN105488776B (zh) 超分辨率图像重建方法和装置
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
CN106204449A (zh) 一种基于对称深度网络的单幅图像超分辨率重建方法
WO2022042124A1 (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN107203969B (zh) 一种中间尺度约束的高倍率图像超分辨率重建方法
CN103279933A (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
Liu et al. Progressive face super-resolution with cascaded recurrent convolutional network
CN104091364A (zh) 单幅图像超分辨重建方法
CN102842123B (zh) 图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法
CN104184981A (zh) 一种基于缩减像素采样处理的低解析度显示方法及设备
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Yang et al. Structural similarity regularized and sparse coding based super-resolution for medical images
CN107133921A (zh) 基于多层次邻域嵌入的图像超分辨率重建方法及系统
Chen et al. Color-guided depth map super-resolution using a dual-branch multi-scale residual network with channel interaction
Sharabati et al. Robust weighted regression for ultrasound image super-resolution
CN102063699A (zh) 一种基于插值正交多小波的视频图像缩放的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181009