CN102142137B - 基于高分辨率字典的稀疏表征图像超分辨重建方法 - Google Patents

基于高分辨率字典的稀疏表征图像超分辨重建方法 Download PDF

Info

Publication number
CN102142137B
CN102142137B CN201110058174A CN201110058174A CN102142137B CN 102142137 B CN102142137 B CN 102142137B CN 201110058174 A CN201110058174 A CN 201110058174A CN 201110058174 A CN201110058174 A CN 201110058174A CN 102142137 B CN102142137 B CN 102142137B
Authority
CN
China
Prior art keywords
image
resolution
full resolution
space
resolving power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110058174A
Other languages
English (en)
Other versions
CN102142137A (zh
Inventor
高新波
沐广武
张凯兵
李洁
邓成
王斌
王颖
王秀美
田春娜
庾吉飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201110058174A priority Critical patent/CN102142137B/zh
Publication of CN102142137A publication Critical patent/CN102142137A/zh
Application granted granted Critical
Publication of CN102142137B publication Critical patent/CN102142137B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于高分辨率字典的稀疏表征图像超分辨重建方法。其步骤为:(1)构建高分辨率亮度图像库;(2)生成样本训练集;(3)学习过完备字典;(4)初始估计高分辨图像亮度空间;(5)建立图像样本测试集;(6)更新高分辨图像亮度空间;(7)计算权值稀疏矩阵;(8)再更新高分辨图像亮度空间;(9)判断是否重复执行;(10)输出高分辨图像。本发明学习的高分辨率过完备字典可适合不同放大倍数。本发明充分利用稀疏表示、非局部先验和数据保真约束,能够综合利用局部信息和全局信息。本发明具有较强的超分辨率能力,重建的图像更接近真实的图像。

Description

基于高分辨率字典的稀疏表征图像超分辨重建方法
技术领域
本发明属于图像处理技术领域,更进一步涉及医学诊断、视频监控、高清晰电视HDTV成像领域中基于机器学习和稀疏表示(Sparse representation)的单帧彩色图像的超分辨重建方法。
背景技术
在医学诊断、视频监控、高清晰电视HDTV成像领域中,为提高图像分辨率采用从一幅低分辨图像中重建出高分辨率图像的单帧图像超分辨率重建方法。目前单帧图像超分辨率重建技术主要基于低分辨率-高分辨率图像块对学习一个数据对来实现单帧图像的超分辨率重建。
基于低分辨率-高分辨率数据对这类单帧超分辨重建技术也称基于实例学习的超分辨重建技术。Yang等人在文献“Yang,J.,Wright,J.,Huang,T.and Ma,Y.,“Imagesuper-resolution via sparse representation,”IEEE Trans.on Image Processing,vol.19,no.11,pp.2861-2873,Nov.2010.”中提出利用稀疏表示的方法来实现单帧图像的超分辨率重建。其基本思想是给定一幅低分辨率图像,先按块划分并对每一个低分辨率图像块利用稀疏表示在学习的低分辨率-高分辨率数据对中自适应的寻找的K个低分辨率块使表征误差最小且表征系数足够稀疏,然后线性组合K个低分辨率块所对应的高分辨块输出高分辨图像块,整合所有的高分辨图像块输出最终的高分辨率图像。但是这种方法学习的低分辨-高分辨率数据对仅适合特定的放大倍数,低分辨率-高分辨率数据对的映射也缺乏一致性。此外,Kim等人在“Kim,K.I.and Kwon,Y.,“Single-image super-resolutionusing sparse regression and natural image prior,”IEEE Trans.on Pattern Analysis and MachineIntelligence,vol.32,no.6,pp.1127-1133,Jun.2010.”一文中从一个新的角度利用低分辨率-高分辨率图像块对学习一个从低分辨率块到高分辨率块的映射即函数。对要重建的低分辨率图像首先按块划分,每个块按学习的映射重建高分辨率块,组合所有的高分辨率块输出最终的高分辨率图像,这种方法学习的映射也仅适合特定的放大倍数。
综上所述,基于实例学习的超分辨重建的现有技术,虽然可以有效实现单帧图像的超分辨率重建,但是学习的低分辨率-高分辨率数据对仅针对特定的放大倍数,数据对随放大倍数的变化而必须重新学习。同时,上述两种方法对已划分的结构相似块重建结果可能相差较大。另外,这两种方法利用图像块的局部信息虽然可以在一定程度上重建高频信息但重建的高分辨图像经退化缩小后不能和原始低分辨输入图像保持一致,使得重建图像的边缘和纹理不够清晰甚至和真实的边缘纹理相矛盾。
发明内容
本发明针对现有的单帧超分辨率重建技术的不足,提出一种基于高分辨率字典的稀疏表征图像超分辨重建方法,通过从自然图像中离线学习一个高分辨率字典交替的更新高分辨率图像的内容和划分的图像块的表征系数来实现单帧图像的超分辨重建,可以恢复更为清晰的边缘和更为丰富的纹理。
本发明实现的具体步骤如下:
(1)构建高分辨率亮度图像库:
1a)从网上随机下载多幅彩色高分辨率自然图像;
1b)将高分辨率自然图像由红、绿、蓝RGB颜色空间转换到亮度,蓝色色度,红色色度YCbCr颜色空间;
1c)收集所有亮度图像构建高分辨率亮度图像库;
(2)依据亮度图像库生成样本训练集:
2a)将高分辨率亮度图像库中所有亮度图像分成方形图像块;
2b)选取多个方形图像块,将选取的方形图像块旋转90度;
2c)将所有旋转前和旋转后的方形图像块分别用列矢量表示;
2d)收集全部列矢量生成高分辨率样本训练集;
(3)从样本训练集中学习过完备字典:利用稀疏表示字典学习的方法从样本训练集中学习一个高分辨率过完备字典;
(4)初始估计高分辨图像亮度空间:
4a)输入待处理的低分辨彩色图像,插值放大低分辨图像得到彩色插值图像;
4b)将彩色插值图像由RGB颜色空间转换到YCbCr颜色空间;
4c)将彩色插值图像的亮度空间作为高分辨图像亮度空间的初始估计;
(5)对估计的高分辨率图像亮度空间建立图像样本测试集:
5a)将估计的高分辨图像亮度空间按从上到下,从左到右顺序划分为相互重叠的方形图像块;
5b)分别用列矢量表征每个方形图像块;
5c)收集全部列矢量建立图像样本测试集;
(6)基于图像样本测试集更新高分辨图像亮度空间:利用稀疏表示分块估计高分辨图像亮度空间,对块重叠区域取平均值更新;
(7)对更新的高分辨图像亮度空间计算权值稀疏矩阵:基于非局部相似性,计算高分辨图像亮度空间的相似像素矢量和相似性权值矢量,矢量变形后转化为权值稀疏矩阵;
(8)利用权值稀疏矩阵再更新高分辨图像亮度空间:以步骤(6)更新的高分辨图像亮度空间为初值,经最速下降法迭代更新高分辨图像亮度空间;
(9)判断是否重复执行:计算机判断终止条件,如果不满足终止条件,则进入步骤(5)至步骤(9)的循环,否则直接执行步骤(10);
(10)输出高分辨图像:将步骤(4)得到的彩色插值图像的色度空间作为高分辨图像色度空间的估计值,联合步骤(9)估计的高分辨图像亮度空间,由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨图像输出。
上述步骤(3)学习过完备字典的步骤如下:
第一,对样本训练集中所有矢量归一化处理生成归一化样本训练集;
第二,随机从归一化样本训练集中选取多个矢量排成矩阵;
第三,以排成的矩阵作为高分辨率过完备字典的初始估计,使用K-SVD字典学习算法更新高分辨率过完备字典。
上述步骤(6)更新高分辨图像亮度空间的步骤如下:
第一,对图像样本测试集中的第i个矢量,利用稀疏表示求解其相对于高分辨率过完备字典的第i个表征系数;
第二,将高分辨率过完备字典和第i个表征系数的乘积矢量变形为方形图像块;
第三,变形的方形图像块作为高分辨图像亮度空间的第i个方形图像块的估计值;
第四,将图像样本测试集中所有矢量分别按照上述第一、第二、第三步骤进行处理;
第五,对第二步骤估计的方形图像块的重叠区域取平均值更新高分辨图像亮度空间。
上述步骤(8)更新高分辨图像亮度空间按下列公式迭代:
I HTI Y ( t + 1 ) = I HRI Y ( t ) - τ { S T ( SI HRI Y ( t ) - I low Y ) + λ 1 ( E - W ) T ( E - W ) I HRI Y ( t ) + λ 2 ( I HRI Y ( t ) - I D Y ) }
其中,t表示最速下降法迭代次数;
Figure BSA00000448437200032
表示第t次最速下降法迭代更新的高分辨图像亮度空间;
τ表示迭代步长;            ST表示上采样和去模糊操作;
T表示矩阵的转置操作;为输入低分辨率图像的亮度空间;
W表示权值稀疏矩阵;         E表示和W大小相同的单位矩阵;
λ1,λ2表示正则化因子。
与现有技术相比,本发明具有以下优点:
第一,本发明仅从高分辨率自然图像中学习高分辨率过完备字典,不存在低分辨率-高分辨率数据对的约束,因而学习的高分辨率过完备字典可适合不同的放大倍数。
第二,本发明充分利用输入图像的自相似性,使得重建的图像具有尖锐的边缘和丰富的纹理细节。
第三,本发明由于联合利用稀疏表示,非局部均值先验和数据保真约束,将基于块的稀疏表示和基于整体的数据保真约束、非局部均值统一到一个新颖的能量函数框架中,使得本发明能综合利用局部信息和全局信息,重建的图像更接近真实的图像。
本发明的技术过程和效果可结合以下附图详细说明。
附图说明
图1为本发明流程图。
图2为本发明对自然图像放大3倍的效果图。
图3为本发明对自然图像针对3种不同放大倍数的效果图。
图4为本发明对遥感图像放大3倍的效果图。
具体实施方式
参照图1,本发明具体实施方式如下:
步骤1,构建高分辨率亮度图像库:
1a)从网上随机下载多幅彩色高分辨率自然图像;
1b)将高分辨率自然图像由红、绿、蓝RGB颜色空间转换到亮度,蓝色色度,红色色度YCbCr颜色空间;
1c)收集所有亮度图像构建高分辨率亮度图像库。
步骤2,依据亮度图像库生成样本训练集:
2a)将高分辨率亮度图像库中所有亮度图像分成方形图像块;
2b)选取5万个7×7方形图像块,将选取的5万个方形图像块旋转90度;
2c)将所有旋转前和旋转后的方形图像块分别用列矢量表示;
2d)收集全部列矢量生成高分辨率样本训练集
Figure BSA00000448437200051
其中
Figure BSA00000448437200052
表示高分辨率样本训练集中的第i个列矢量。
步骤3,从样本训练集中学习过完备字典,利用稀疏表示字典学习算法从高分辨率样本训练集中学习一个高分辨率过完备字典D:
3a)对步骤2的高分辨率样本训练集
Figure BSA00000448437200054
中所有矢量作归一化处理生成归一化样本训练集:
x Train i = x train i / | | x train i | | 2
其中,表示归一化样本训练集的第i个矢量;
Figure BSA00000448437200057
表示高分辨率样本训练集的第i个列矢量;
3b)为了构建大小为1024的高分辨率过完备字典,随机从归一化样本训练集中选取1024个矢量排成矩阵,排成的矩阵作为高分辨率过完备字典D的初始估计以便于学习算法快速收敛;
3c)更新高分辨率过完备字典D。求解约束优化问题得到收敛解,更新高分辨率过完备字典D:
D , { β i } = arg min D , { β i } Σ i | | x Train i - D β i | | 2 2 s . t . | | β i | | 0 ≤ L ∀ i
其中,D表示高分辨率过完备字典;
βi表示归一化样本训练集第i个矢量的表征系数;
Figure BSA00000448437200059
表示归一化样本训练集的第i个矢量;
||||0表示矢量的非零元素个数;
L表示矢量βi非零元素的最大个数。
步骤4,初始估计高分辨图像亮度空间:
4a)读入待处理的低分辨彩色图像Ilow,采用双立方插值方法放大到要求的分辨率层次上得到高分辨率彩色插值图像Iint
4b)将插值图像Iint从RGB颜色空间转换到YCbCr颜色空间得到插值图像亮度空间
Figure BSA00000448437200061
插值图像色度空间
Figure BSA00000448437200062
4c)将
Figure BSA00000448437200063
作为拟重建的高分辨图像亮度空间的初始估计;
4d)用变量count来统计外循环迭代次数,
Figure BSA00000448437200064
表示第count次外循环输出的高分辨图像亮度空间。设定
Figure BSA00000448437200065
count=0进入外循环。
步骤5,对估计的高分辨率图像亮度空间建立图像样本测试集:
5a)将估计的高分辨图像亮度空间
Figure BSA00000448437200066
按从上到下,从左到右顺序划分为相互重叠的7×7方形图像块,其中相邻块重叠位移为3。相互重叠可以避免重建的高分辨率图像亮度空间产生明显的块效应;
5b)分别用一个49×1列矢量表征每个7×7方形图像块;
5c)全体列矢量构成图像样本测试集
Figure BSA00000448437200067
其中
Figure BSA00000448437200068
表示图像样本测试集中的第i个矢量,
Figure BSA00000448437200069
和高分辨图像亮度空间
Figure BSA000004484372000610
中划分的第i个方形图像块相对应。M是划分图像块的个数,和输入图像的大小有关。
步骤6,基于图像样本测试集更新高分辨图像亮度空间:
6a)对图像样本测试集中的第i个矢量利用稀疏表示求解下述
约束优化问题得到表征系数βi
min β i | | β i | | 0 s . t . | | x test i - D β i | | 2 2 ≤ δ ;
其中,βi表示归一化样本训练集第i个矢量的表征系数;
||||0表示矢量的非零元素个数;
Figure BSA000004484372000614
表示图像样本测试集中的第i个矢量;
D表示高分辨率过完备字典;        δ表示误差上限,为0.1。
6b)将高分辨率过完备字典D和表征系数βi的乘积矢量D×βi的每7个元素依次填入7×7方形图形块的每一列;
6c)产生的方形图像块作为高分辨图像亮度空间的第i个方形图像块的估计值;
6d)将图像样本测试集
Figure BSA000004484372000615
中所有矢量分别按照步骤6a)、步骤6b)、步骤6c)进行处理;
6e)对步骤6b)估计的方形图像块的重叠区域,取平均值得到高分辨图像亮度空间
Figure BSA00000448437200071
I D Y = [ Σ i = 1 M R i T R i ] - 1 Σ i = 1 M R i T D β i
其中,
Figure BSA00000448437200073
表示取平均值得到的高分辨图像亮度空间;
表示将矢量的值放到第i个方形图像块内的操作;
Ri表示提取第i个方形图像块并排成列矢量的操作;
D表示高分辨率过完备字典;
βi表示归一化样本训练集的第i个矢量的表征系数。步骤7,对更新的高分辨图像亮度空间计算权值稀疏矩阵:
7a)基于非局部相似性,计算相似像素矢量和相似性权值矢量:对高分辨图像亮度空间
Figure BSA00000448437200075
中的每一个像素Ii,在以Ii为中心的15×15矩形范围内计算每个像素和Ii的相似性权值。15×15矩形范围即可以保证找到足够多的相似像素,又可以大大减小算法的计算复杂性。采用高斯核函数计算相似性权值:
w ij = exp ( - | | R i I D Y - R j I D Y | | G 2 h 2 )
其中,wij表示像素Ii和像素Ij的相似性权值;
Ri和Rj分别表示提取第i个和第j个方形图像块并排成列矢量的操作;
表示步骤7得到的高分辨图像亮度空间;
G表示直径为7方差为1高斯核矩阵排成的列矢量;
h表示平滑因子,用来控制权值的变化速率,h=2.2。
对每个像素Ii选取权值最大的10个像素排成相似像素矢量Vi,相应的权值排成相似性权值矢量Wi
7b)计算权值稀疏矩阵:利用所获得的相似像素矢量Vi和相似性权值矢量Wi生成权值稀疏矩阵W:
Figure BSA00000448437200081
其中,W表示权值稀疏矩阵,为一个方阵,其大小等于图像的长与宽之积;
p,q分别表示像素Ii和像素Ij在图像
Figure BSA00000448437200083
按列排成的列矢量中的坐标;
wij表示像素Ii和像素Ij的相似性权值;    Vi表示相似像素矢量。
步骤8,利用权值稀疏矩阵再更新高分辨图像亮度空间。进入内循环,联合步骤(6)获得的高分辨图像亮度空间的估计值
Figure BSA00000448437200084
和步骤(7)计算的权值稀疏矩阵W,经最速下降法收敛到高分辨图像亮度空间
Figure BSA00000448437200085
I HRI Y ( t + 1 ) = I HRI Y ( t ) - τ { S T ( SI HRI Y ( t ) - I low Y ) + λ 1 ( E - W ) T ( E - W ) I HRI Y ( t ) + λ 2 ( I HRI Y ( t ) - I D Y ) }
其中,t表示最速下降法迭代次数;
Figure BSA00000448437200087
表示第t次最速下降法迭代更新的高分辨图像亮度空间;
τ表示迭代步长;            ST表示上采样和去模糊操作;
T表示矩阵的转置操作;
Figure BSA00000448437200088
为输入低分辨率图像的亮度空间;
W表示权值稀疏矩阵;         E表示和W大小相同的单位矩阵;
λ1,λ2表示正则化因子。
在本发明中,设定
Figure BSA00000448437200089
内循环迭代上限为200,τ=0.05,λ1=0.2,λ2=0.15。内循环的输出结果即为再一次更新的高分辨图像亮度空间
步骤9,判断是否执行循环:退出内循环,令第count次外循环输出的高分辨图像亮度空间等于步骤8更新的高分辨图像亮度空间
Figure BSA000004484372000812
Figure BSA000004484372000813
判断外循环是否达到迭代上限Num=15,
Figure BSA000004484372000814
是否满足迭代终止条件如果未达到迭代上限且不满足迭代终止条件则循环执行步骤5-步骤9,count=count+1,否则执行步骤10;
步骤10,输出高分辨图像。将步骤4b)得到的插值图像色度空间
Figure BSA000004484372000816
作为高分辨图像色度空间
Figure BSA00000448437200091
的估计值,联合步骤9第count次外循环输出的高分辨图像亮度空间估计值
Figure BSA00000448437200092
由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨图像IHR输出。
本发明的效果可以通过以下仿真实验进一步说明。
实验一,验证本发明对自然图像有较好的重建性能。本实验在MATLAB7.0软件下进行仿真。对一幅大小为240×360的高分辨彩色图像,立方降采样3倍仿真生成80×120的低分辨率彩色图像。以生成的低分辨彩色图像为输入,采用不同的方法输出3倍超分辨率重建的结果。重建的结果如图2所示,其中图2(a)是双立方插值的结果;图2(b)是SC超分辨重建的结果,具体参考文献“Yang,J.,Wright,J.,Huang,T.and Ma,Y.,“Imagesuper-resolution via sparse representation,”IEEE Trans.on Image Processing,vol.19,no.11,pp.2861-2873,Nov.2010.”;图2(c)是KRR超分辨重建的结果,具体参考文献“Kim,K.I.and Kwon,Y.,“Single-image super-resolution using sparse regression and natural image prior,”IEEE Trans.on Pattern Analysis and Machine Intelligence,vol.32,no.6,pp.1127-1133,Jun.2010.”;图2(d)是Glasner超分辨重建的结果,具体参考文献“Glasner,D.,Bagon,S.andIrani,M.,“Super-resolution from a single image,”IEEE International Conference on ComputerVision,Kyoto,pages 349-356,Sep./Oct.2009.”;图2(e)是本发明的超分辨重建的结果;图2(f)是真实的高分辨率图像。每幅图像有两个矩形区域进行了局部放大以便于观察重建的效果差别。图2的仿真结果说明:图2(a)中边缘和纹理不清晰,与图2(a)的结果相比,图2(b)-图2(e)的结果在一定程度上能锐化图像的边缘,丰富图像的纹理细节,但图2(b)在一些边缘有伪边效应,而图2(c)和图2(d)在一些特定的区域有些模糊,如猪的下巴和草地区域。对比可知,图2(e)的超分辨重建的结果不仅边缘非常清晰而且细节也保持的很好。
实验二,验证本发明学习的同一个高分辨率过完备字典可以适合不同的放大倍数。本实验在MATLAB7.0软件下进行仿真。对一幅大小为256×256的高分辨自然图像,分别立方下采样2倍、3倍、4倍仿真生成3幅分辨率分别128×128、85×85、64×64的降质图像。分别以这3幅降质图像为输入,采用同一个高分辨率字典应用本发明分别输出放大2倍、3倍、4倍的超分辨率重建的结果。放大的结果如图3所示,其中图3(a)、图3(b)、图3(c)分别是三幅分辨率为128×128、85×85、64×64的输入图像;图3(d)是图3(a)使用本发明放大2倍的超分辨重建的结果;图3(e)是图3(b)使用本发明放大3倍的超分辨重建的结果;图3(f)是图3(d)使用本发明放大4倍的超分辨重建的结果。图3的仿真结果说明:使用同一个学习的高分辨率字典不仅可以实现低分辨图像的不同倍数放大,而且本发明得到的超分辨图像具有较好的视觉效果。
实验三,验证本发明对真实遥感图像也有一定的重建性能。本实验在MATLAB7.0软件下进行仿真。对一幅大小为225×225的实际获得的遥感图像,应用本发明实现3倍放大的超分辨率重建。重建的结果如图4所示,其中图4(a)是实际获得的低分辨率遥感图像;图4(b)是立方插值方法放大三倍的超分辨重建结果;图4(c)是本发明放大三倍的超分辨重建结果;从图4的重建结果可以看出,本发明对遥感图像有较好的重建性能。

Claims (4)

1.一种基于高分辨率字典的稀疏表征图像超分辨重建方法,包括以下步骤:
(1)构建高分辨率亮度图像库:
1a)从网上随机下载多幅彩色高分辨率自然图像;
1b)将高分辨率自然图像由红、绿、蓝RGB颜色空间转换到亮度,蓝色色度,红色色度YCbCr颜色空间;
1c)收集所有亮度图像构建高分辨率亮度图像库;
(2)依据亮度图像库生成样本训练集:
2a)将高分辨率亮度图像库中所有亮度图像分成方形图像块;
2b)选取多个方形图像块,将选取的方形图像块旋转90度;
2c)将所有旋转前和旋转后的方形图像块分别用列矢量表示;
2d)收集全部列矢量生成高分辨率样本训练集;
(3)从样本训练集中学习过完备字典:利用稀疏表示字典学习的方法从样本训练集中学习一个高分辨率过完备字典;
(4)初始估计高分辨图像亮度空间:
4a)输入待处理的低分辨彩色图像,插值放大低分辨图像得到彩色插值图像;
4b)将彩色插值图像由RGB颜色空间转换到YCbCr颜色空间;
4c)将彩色插值图像的亮度空间作为高分辨图像亮度空间的初始估计;
(5)对估计的高分辨率图像亮度空间建立图像样本测试集:
5a)将估计的高分辨图像亮度空间按从上到下,从左到右顺序划分为相互重叠的方形图像块;
5b)分别用列矢量表征每个方形图像块;
5c)收集全部列矢量建立图像样本测试集;
(6)基于图像样本测试集更新高分辨图像亮度空间:利用稀疏表示分块估计高分辨图像亮度空间,对块重叠区域取平均值更新;
(7)对更新的高分辨图像亮度空间计算权值稀疏矩阵:基于非局部相似性,计算高分辨图像亮度空间的相似像素矢量和相似性权值矢量,矢量变形后转化为权值稀疏矩阵;
(8)利用权值稀疏矩阵再更新高分辨图像亮度空间:以步骤(6)更新的高分辨图像亮度空间为初值,经最速下降法迭代更新高分辨图像亮度空间;
(9)判断是否重复执行:计算机判断终止条件,如果不满足终止条件,则进入步骤(5)至步骤(9)的循环,否则直接执行步骤(10);
(10)输出高分辨图像:将步骤(4)得到的彩色插值图像的色度空间作为高分辨图像色度空间的估计值,联合步骤(9)估计的高分辨图像亮度空间,由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨图像输出。
2.根据权利要求1所述的基于高分辨率字典的稀疏表征图像超分辨重建方法,其特征在于:所述步骤(3)学习过完备字典的步骤是:
第一,对样本训练集中所有矢量归一化处理生成归一化样本训练集;
第二,随机从归一化样本训练集中选取多个矢量排成矩阵;
第三,以排成的矩阵作为高分辨率过完备字典的初始估计,使用K-SVD字典学习算法更新高分辨率过完备字典。
3.根据权利要求1所述的基于高分辨率字典的稀疏表征图像超分辨重建方法,其特征在于:所述步骤(6)更新高分辨图像亮度空间的步骤是:
第一,对图像样本测试集中的第i个矢量,利用稀疏表示求解其相对于高分辨率过完备字典的第i个表征系数;
第二,将高分辨率过完备字典和第i个表征系数的乘积矢量变形为方形图像块;
第三,变形的方形图像块作为高分辨图像亮度空间的第i个方形图像块的估计值;
第四,将图像样本测试集中所有矢量分别按照上述第一、第二、第三步骤进行处理;
第五,对第二步骤估计的方形图像块的重叠区域取平均值更新高分辨图像亮度空间。
4.根据权利要求1所述的基于高分辨率字典的稀疏表征图像超分辨重建方法,其特征在于:所述步骤(8)更新高分辨图像亮度空间按下列公式迭代:
I HTI Y ( t + 1 ) = I HRI Y ( t ) - τ { S T ( SI HRI Y ( t ) - I low Y ) + λ 1 ( E - W ) T ( E - W ) I HRI Y ( t ) + λ 2 ( I HRI Y ( t ) - I D Y ) }
其中,t表示最速下降法迭代次数;
Figure FSA00000448437100022
表示第t次最速下降法迭代更新的高分辨图像亮度空间;
τ表示迭代步长;        ST表示上采样和去模糊操作;
T表示矩阵的转置操作;
Figure FSA00000448437100023
为输入低分辨率图像的亮度空间;
W表示权值稀疏矩阵;     E表示和W大小相同的单位矩阵;
λ1,λ2表示正则化因子。
CN201110058174A 2011-03-10 2011-03-10 基于高分辨率字典的稀疏表征图像超分辨重建方法 Expired - Fee Related CN102142137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110058174A CN102142137B (zh) 2011-03-10 2011-03-10 基于高分辨率字典的稀疏表征图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110058174A CN102142137B (zh) 2011-03-10 2011-03-10 基于高分辨率字典的稀疏表征图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN102142137A CN102142137A (zh) 2011-08-03
CN102142137B true CN102142137B (zh) 2012-10-24

Family

ID=44409625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110058174A Expired - Fee Related CN102142137B (zh) 2011-03-10 2011-03-10 基于高分辨率字典的稀疏表征图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN102142137B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167218B (zh) 2011-12-14 2016-04-06 北京大学 一种基于非局部性的超分辨率重建方法和设备
CN102663450B (zh) * 2012-03-21 2013-10-30 南京邮电大学 基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法
CN102842115B (zh) * 2012-05-31 2015-11-25 哈尔滨工业大学(威海) 基于双重字典学习的压缩感知图像超分辨率重建方法
CN102750677B (zh) * 2012-06-12 2015-06-17 清华大学 基于同尺度结构自相似与压缩感知的单图像超分辨率方法
CN102930518B (zh) * 2012-06-13 2015-06-24 上海汇纳信息科技股份有限公司 基于改进的稀疏表示的图像超分辨率方法
CN102800053B (zh) * 2012-06-18 2014-11-26 西北工业大学 基于冗余字典对联合优化的图像去模糊方法
CN102968766B (zh) * 2012-11-23 2015-04-08 上海交通大学 基于字典数据库的自适应图像超分辨率重构方法
CN103093444B (zh) * 2013-01-17 2015-05-20 西安电子科技大学 基于自相似性和结构信息约束的图像超分辨重建方法
CN103218795B (zh) * 2013-05-05 2015-09-02 西安电子科技大学 基于自适应双字典学习的部分k空间序列图像重构方法
CN103295192B (zh) * 2013-05-08 2016-05-25 西安电子科技大学 基于gpu加速的图像实时超分辨重建方法
CN103295197B (zh) * 2013-05-21 2016-01-20 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
CN104182931B (zh) * 2013-05-21 2017-04-26 北京大学 超分辨率方法和装置
CN103279933B (zh) * 2013-06-07 2016-10-26 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法
CN103345511B (zh) * 2013-07-04 2016-08-10 西北工业大学 一种基于稀疏表达的遥感图像检索方法
CN103632359B (zh) * 2013-12-13 2016-03-30 清华大学深圳研究生院 一种视频超分辨率处理方法
CN103745465A (zh) * 2014-01-02 2014-04-23 大连理工大学 一种稀疏编码背景建模方法
CN103871041B (zh) * 2014-03-21 2016-08-17 上海交通大学 基于认知正则化参数构建的图像超分辨率重构方法
CN104063886B (zh) * 2014-03-24 2017-01-11 杭州电子科技大学 一种基于稀疏表示和非局部相似的核磁共振图像重建方法
CN103903240B (zh) * 2014-04-09 2016-11-02 西安电子科技大学 基于多输出最小二乘支持向量回归的图像超分辨方法
CN103927530B (zh) * 2014-05-05 2017-06-16 苏州大学 一种最终分类器的获得方法及应用方法、系统
CN104036468B (zh) * 2014-06-19 2017-06-16 西安电子科技大学 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN104408697B (zh) * 2014-10-23 2017-05-31 西安电子科技大学 基于遗传算法和正则先验模型的图像超分辨重建方法
CN104517274B (zh) * 2014-12-25 2017-06-16 西安电子科技大学 基于贪婪搜索的人脸画像合成方法
CN104504672B (zh) * 2014-12-27 2017-06-13 西安电子科技大学 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105825477B (zh) * 2015-01-06 2019-04-16 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
CN105023240B (zh) * 2015-07-08 2019-07-09 北京大学深圳研究生院 基于迭代投影重建的字典类图像超分辨率系统及方法
CN105225215B (zh) * 2015-10-23 2018-03-09 广州高清视信数码科技股份有限公司 一种基于组稀疏表示的单帧图像超分辨率重建方法
CN105389778B (zh) * 2015-11-04 2018-10-12 北京大学深圳研究生院 一种基于字典匹配的图像超分辨率重建方法及装置
US10339633B2 (en) * 2015-11-04 2019-07-02 Peking University Shenzhen Graduate School Method and device for super-resolution image reconstruction based on dictionary matching
CN105550989B (zh) * 2015-12-09 2018-11-30 西安电子科技大学 基于非局部高斯过程回归的图像超分辨方法
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN108122262B (zh) * 2016-11-28 2021-05-07 南京理工大学 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN106683049A (zh) * 2016-12-21 2017-05-17 华南理工大学 一种基于显著图和稀疏表示的图像超分辨率重构方法
CN106981047A (zh) * 2017-03-24 2017-07-25 武汉神目信息技术有限公司 一种从低分辨率人脸恢复高分辨率人脸的方法
CN107123089B (zh) * 2017-04-24 2023-12-12 中国科学院遥感与数字地球研究所 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN107146263B (zh) * 2017-04-27 2019-11-01 浙江大学 一种基于张量字典约束的动态pet图像重建方法
CN107481189B (zh) * 2017-06-28 2020-04-28 西安邮电大学 一种基于学习的稀疏表示的超分辨率图像重建方法
CN107633482B (zh) * 2017-07-24 2020-12-29 西安电子科技大学 一种基于序列图像的超分辨率重建方法
CN107563963B (zh) * 2017-08-11 2020-01-03 北京航空航天大学 一种基于单张深度图超分辨率重建的方法
CN107622476B (zh) * 2017-08-25 2019-10-11 西安电子科技大学 基于概率生成模型的图像超分辨处理方法
CN108550111B (zh) * 2018-03-30 2021-12-03 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN108921783B (zh) * 2018-06-01 2022-04-15 武汉大学 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN109615576B (zh) * 2018-06-28 2023-07-21 北京元点未来科技有限公司 基于级联回归基学习的单帧图像超分辨重建方法
CN109712074A (zh) * 2018-12-20 2019-05-03 黑龙江大学 双参数贝塔过程联合字典的遥感图像超分辨重建方法
CN110200648A (zh) * 2019-04-09 2019-09-06 田昕 一种医用膝关节康复护理系统及信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604442A (zh) * 2009-07-24 2009-12-16 武汉大学 三线阵Level 1影像盲超分辨率重建方法
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN101950365A (zh) * 2010-08-30 2011-01-19 西安电子科技大学 基于ksvd字典学习的多任务超分辨率图像重构方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324665B2 (en) * 2002-09-16 2008-01-29 Massachusetts Institute Of Technology Method of multi-resolution adaptive correlation processing
US20070103595A1 (en) * 2005-10-27 2007-05-10 Yihong Gong Video super-resolution using personalized dictionary

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604442A (zh) * 2009-07-24 2009-12-16 武汉大学 三线阵Level 1影像盲超分辨率重建方法
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN101950365A (zh) * 2010-08-30 2011-01-19 西安电子科技大学 基于ksvd字典学习的多任务超分辨率图像重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩玉兵,吴乐南.基于自适应滤波的视频序列超分辨率重建.《计算机学报》.2006,第29卷(第4期),642-647页. *

Also Published As

Publication number Publication date
CN102142137A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
CN102142137B (zh) 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
Yang et al. Coupled dictionary training for image super-resolution
CN106204449B (zh) 一种基于对称深度网络的单幅图像超分辨率重建方法
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN109903228A (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN103150713B (zh) 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN107369189A (zh) 基于特征损失的医学图像超分辨率重建方法
WO2020233129A1 (zh) 一种图像超分辨和着色方法、系统及电子设备
CN105046672A (zh) 一种图像超分辨率重建方法
CN110136062A (zh) 一种联合语义分割的超分辨率重建方法
CN104021523B (zh) 一种基于边缘分类的图像超分辨率放大的方法
Chen et al. Single-image super-resolution using multihypothesis prediction
Li et al. Single image super-resolution reconstruction based on genetic algorithm and regularization prior model
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN104299193B (zh) 一种基于高频和中频信息的图像超分辨率重建方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN104408697A (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN110415169A (zh) 一种深度图超分辨率重建方法、系统及电子设备
CN107845064A (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
CN103903240B (zh) 基于多输出最小二乘支持向量回归的图像超分辨方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20180310