CN104036468B - 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 - Google Patents
基于预放大非负邻域嵌入的单帧图像超分辨重建方法 Download PDFInfo
- Publication number
- CN104036468B CN104036468B CN201410275760.3A CN201410275760A CN104036468B CN 104036468 B CN104036468 B CN 104036468B CN 201410275760 A CN201410275760 A CN 201410275760A CN 104036468 B CN104036468 B CN 104036468B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low resolution
- collection
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 29
- 230000003321 amplification Effects 0.000 title claims abstract description 22
- 238000003780 insertion Methods 0.000 title claims abstract description 15
- 230000037431 insertion Effects 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000002845 discoloration Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 8
- 238000004088 simulation Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 10
- 238000003909 pattern recognition Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000299 nuclear matrix Anatomy 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其步骤为:构建高分辨率训练图像集;对其模糊、下采样得到临时低分辨率图像集;对临时低分辨率图像集预放大2倍得到低分辨率训练图像集;构建低分辨率训练图像块集;构建高分辨率训练图像块集;将输入的低分辨率图像预放大2倍;构建低分辨率输入图像块集;非负邻域嵌入表示低分辨率输入图像块集,求得重建系数;利用高分辨率训练图像块集和所求的系数获得高分辨率输出图像。本发明利用图像块的非局部相似性,提出了一种新的构建训练样例的方法,同时使用非负邻域嵌入有效解决了近邻数K的选取问题。实验仿真表明,本发明重建的图像边缘清晰、纹理丰富,更接近真实的图像。
Description
技术领域
本发明属于图像处理技术领域,具体涉及基于邻域嵌入的单帧图像超分辨重建方法,可广泛应用于遥感侦察、交通及安全监控、模式识别等领域。
背景技术
图像的分辨率越高,提供的信息就越丰富。在各种各样的实际应用中,高分辨率图像都发挥着重要作用。高分辨率卫星图像有助于目标识别,交通及安全监控、模式识别等领域也需要高分辨率图像。由于受成像系统物理条件和天气影响,成像过程中往往存在运动模糊、下采样和噪声等退化过程,使得实际得到的图像分辨率低、质量差。要获得高分辨率图像,最直接的方法是采用高分辨率图像传感器,降低像素尺寸,提高单位面积的像素数量,但这种方法对图像传感器和光学器件的制造工艺和成本的要求很高,在很多场合中难以实现。图像超分辨重建技术可以从单帧或多帧低分辨率输入图像获得高分辨率图像,相比而言,使用超分辨重建技术成本更低,更容易实现。
目前,图像超分辨率重建技术可分为三类:基于插值、基于重建和基于学习的方法。
基于插值的方法是超分辨率研究中最直观的方法。常见的方法包括最近邻插值、双线性插值、双立方插值等。这类方法的优点是计算复杂度低,快速易行。但是引入的高频信息是基于预先假定的插值模板,当模板与实际情况不符时,可能导致重建图像质量不高。
基于重建的方法根据图像退化模型,结合图像先验知识构造相应的正则项以恢复丢失的高频信息。包括迭代反向投影方法、最大后验概率方法等。这类方法能在一定程度上缓解基于插值方法所产生的模糊效果。但当图像放大倍数较大时,重建效果通常也不太理想。
基于学习的方法是近年来超分辨率算法研究的热点方向。其基本思路是通过学习低分辨率图像和高分辨率图像之间的映射关系,将学好的映射关系用于低分辨率输入图像以获得高分辨率图像。Chang等人在文献“Chang H,Yeung D Y,Xiong Y.Super-resolutionthrough neighbor embedding[C]//Computer Vision and Pattern Recognition,2004.CVPR2004.Proceedings of the 2004 IEEE Computer Society Conferenceon.IEEE,2004,1:I-I.”中假设高、低分辨率图像块在各自特征空间具有相似的局部结构,将低分辨率空间的权值用于高分辨率空间,提出了基于邻域嵌入的图像超分辨重建方法。但是当放大倍数较大时,高、低分辨率图像块在各自特征空间形成的局部结构不再相似,导致重建质量的下降。另一方面,当选取的近邻数K变化时,重建质量波动较大,因此,近邻数K的选取是一个亟待解决的问题。为此,Chan等人在文献“Chan T M,Zhang J,Pu J,etal.Neighbor embedding based super-resolution algorithm through edge detectionand feature selection[J].Pattern Recognition Letters,2009,30(5):494-502.”中针对边缘检测和特征选择对邻域嵌入方法进行了改进,对边缘图像块和非边缘图像块进行不同的处理,同时对图像块选取了新的特征表示,从而提高了重建质量。然而,该方法依赖边缘检测,不正确的边缘检测会使结果图像中存在人工痕迹。
发明内容
本发明的目的在于针对现有技术中的不足,提供一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,以恢复更多的高频细节信息,提高重建图像的质量。
为解决上述技术问题,本发明采用的技术方案为:一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其创新点在于:包括以下步骤:
(1)构建高分辨率训练图像集
(2)对进行模糊和下采样操作得到临时低分辨率图像集
(3)对临时低分辨率图像集预放大2倍得到低分辨率训练图像集
(4)构建低分辨率训练图像块集
(5)构建高分辨率训练图像块集
(6)读取低分辨率输入图像TLR,设定需要放大的倍数为3倍,预先将其放大2倍;
(7)构建低分辨率输入图像块集XT;
(8)根据低分辨率训练图像块集非负邻域嵌入表示输入图像块集XT,得到重建系数;
(9)输出高分辨率图像THR。
进一步的,所述步骤(1)具体操作如下:
(a)搜集多幅彩色高分辨率自然图像;
(b)将高分辨率自然图像从红、绿、蓝RGB颜色空间转换到亮度、蓝色色度、红色色度YCbCr颜色空间;
(c)收集所有亮度图像作为高分辨率训练图像集其中表示第p幅高分辨率亮度图像,n表示图像的数量。
进一步的,所述步骤(2)具体操作如下:
(a)对中的每幅图像,使用模糊核对其进行模糊操作;
(b)对图像隔点取像素得到下采样3倍后的临时低分辨率图像集其中表示第p幅低分辨率亮度图像,n表示图像的数量。
进一步的,所述步骤(3)具体操作如下:
(a)将临时低分辨率图像集中每幅图像用双立方插值方法预放大2倍得到图像集
(b)基于图像块的非局部相似性,计算图像集中每幅图像的相似像素矢量和相似性权值矢量,矢量变形后转化为非局部权值矩阵W;
(c)分别将图像集中每幅图像作为迭代初值,按如下公式迭代:
Xt+1=Xt+τ{HTDT(Y-DHXt)-μ(I-W)T(I-W)Xt}
其中,t表示梯度下降法当前迭代次数;
Xt表示第t次梯度下降法迭代更新的图像;
τ表示梯度下降步长;H表示模糊矩阵;
D表示下采样矩阵;T表示矩阵转置操作;
Y表示中与对应的低分辨率图像;
W表示非局部权值矩阵;
I表示和W大小相同的单位矩阵;
μ表示正则化因子。
逐步迭代更新,最终得到低分辨率训练图像集其中表示第p幅低分辨率训练图像,n表示图像的数量,与是一一对应的。
进一步的,所述步骤(4)具体操作如下:
(a)将低分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成低分辨率训练图像块集其中表示中的第p个列矢量,Ns表示训练图像块的数量。
进一步的,所述步骤(5)具体操作如下:
(a)将高分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成高分辨率训练图像块集其中表示中的第p个列矢量,Ns表示训练图像块的数量,它们与是一一对应的。
进一步的,所述步骤(6)具体操作如下:
(a)读入待处理的低分辨率彩色图像TLR,将其从RGB颜色空间转换到YCbCr颜色空间,可分别得到亮度图像蓝色色度图像和红色色度图像
(b)根据步骤(3)中的方法将其中的亮度图像预放大2倍得到图像
进一步的,所述步骤(7)具体操作如下:
(a)将图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成低分辨率输入图像块集其中xt q表示低分辨率输入图像块集中的第q个列矢量,Nt表示输入图像块的数量。
进一步的,所述步骤(8)具体操作如下:
(a)对于低分辨率输入图像块集XT中的每一个图像块xt q,在低分辨率训练图像块集中寻找低分辨率K近邻即与xt q相距最近的前K个图像块;
(b)用低分辨率K近邻线性表示xt q,求得重建系数w保证如下公式中的重建误差最小:
其中εq表示重建误差;xt q表示输入低分辨率图像块;表示xt q的低分辨率K近邻;表示的第p个近邻;wqp是第p个近邻的重建系数;wqp≥0表示系数需要满足非负要求。
进一步的,所述步骤(9)的具体步骤为:
(a)对低分辨率输入图像块集XT中的每个图像块xt q,其对应的高分辨率输出图像块由如下公式求得:
其中表示待求的高分辨率输出图像块;表示与对应的高分辨率训练图像块;表示与对应的高分辨率K近邻;wqp是步骤(8)中(b)步骤求得的重建系数;
(b)将所有得到的高分辨率图像块拼接起来,重叠区域像素取平均值,得到最终的高分辨率输出亮度图像
(c)将步骤(6)中(a)步骤得到的彩色图像的色变图像和插值放大到与同样的大小,得到和联合高分辨率亮度图像由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨率输出图像THR。
本发明的有益效果:
1、本发明在训练阶段将临时低分辨率图像集预放大2倍得到低分辨率训练图像集可保证当放大倍数较高时,高、低分辨率图像块在各自特征空间中也可形成相似的局部结构,从而提高重建质量。
2、本发明在求重建系数时使用非负邻域嵌入方法,保证当近邻数K逐渐增大时,重建质量也逐渐提高并且趋于稳定,从而解决了近邻数K难以选取的问题。
附图说明
图1是本发明的总体流程图;
图2是本发明在仿真实验中使用的3幅高分辨率图像;
图3是使用本发明和现有四种方法对蝴蝶图像进行超分辨重建得到的图像;
图4是使用本发明和现有四种方法对叶子图像进行超分辨重建得到的图像;
图5是使用NE-based方法对女孩图像进行超分辨重建的质量随近邻数K的变化趋势图;
图6是使用本发明方法对女孩图像进行超分辨重建的质量随近邻数K的变化趋势图。
具体实施方式
下面结合具体实例对本发明的技术方案作详细说明。
请参阅图1,本发明的具体实施方式如下:
步骤1,构建高分辨率训练图像集
(1a)搜集多幅彩色高分辨率自然图像;
(1b)使用实验软件Matlab中的函数rgb2ycbcr将高分辨率自然图像从红、绿、蓝RGB颜色空间转换到亮度、蓝色色度、红色色度YCbCr颜色空间;
(1c)收集所有亮度图像作为高分辨率训练图像集其中表示第p幅高分辨率亮度图像,n表示图像的数量。
步骤2,对进行模糊和下采样操作得到临时低分辨率图像集
(2a)对中的每幅图像,使用方差为1.1,大小为7×7的高斯模糊核对其进行模糊操作;
(2b)然后对图像隔点取像素得到下采样3倍后的临时低分辨率图像集其中表示第p幅低分辨率亮度图像,n表示图像的数量。
步骤3,对临时低分辨率图像集预放大2倍得到低分辨率训练图像集
(3a)先将临时低分辨率图像集中每幅图像都用双立方插值方法预放大2倍得到图像集
(3b)基于图像块的非局部相似性,计算图像集中每幅图像的相似像素矢量和相似性权值矢量,矢量变形后转化为非局部权值矩阵W;
(3b1)计算图像的相似像素矢量Vi和相似性权值矢量Wi:对图像的每个像素Ii,在以Ii为中心的足够大的矩形范围内计算每个像素和Ii的相似性权值,计算公式如下所述:
其中,wij表示像素Ii和像素Ij的相似性权值;
X表示图像
Ri和Rj分别表示从图像X中提取第i个和第j个方形图像块并排列成列矢量的操作;
G表示方差为1.1,大小为7×7的高斯核矩阵排成的列矢量;
h表示全局平滑参数,设为5;
对每个像素Ii选取权值最大的25个像素排成相似像素矢量Vi,相应的权值排成相似性权值矢量Wi;
(3b2)计算非局部权值矩阵W:利用相似像素矢量Vi和相似性权值矢量Wi构造非局部权值矩阵:
其中,W表示非局部权值矩阵;
wij表示像素Ii和Ij的相似性权值;
Vi表示相似像素矢量。
(3c)分别将图像集中每幅图像作为迭代初值,按如下公式迭代:
Xt+1=Xt+τ{HTDT(Y-DHXt)-μ(I-W)T(I-W)Xt}
其中,t表示梯度下降法当前迭代次数;
Xt表示第t次梯度下降法迭代更新的图像;
τ表示梯度下降步长;H表示模糊矩阵;
D表示下采样矩阵;T表示矩阵转置操作;
Y表示中与对应的低分辨率图像;
W表示非局部权值矩阵;
I表示和W大小相同的单位矩阵;
μ表示正则化因子。
逐步迭代更新,最终得到低分辨率训练图像集其中表示第p幅低分辨率训练图像,n表示图像的数量,与是一一对应的。
步骤4,构建低分辨率训练图像块集
(4a)将低分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成有4个像素重叠、大小为6×6的方形图像块;
(4b)将所有方形图像块分别用列矢量表示;
(4c)收集所有列矢量生成低分辨率训练图像块集其中表示低分辨率训练图像块集中的第p个列矢量,Ns=49960,表示训练图像块的数量。
步骤5,构建高分辨率训练图像块集
(5a)将高分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成有6个像素重叠、大小为9×9的方形图像块;
(5b)将所有方形图像块分别用列矢量表示;
(5c)收集所有列矢量生成高分辨率训练图像块集其中表示高分辨率训练图像块集中的第p个列矢量,Ns=49960,表示训练图像块的数量,它们与低分辨率训练图像块集是一一对应的。
步骤6,读取低分辨率输入图像TLR,设定需要放大的倍数为3倍,预先将其放大2倍:
(6a)读入待处理的低分辨率彩色图像TLR,用函数rgb2ycbcr将输入图像从RGB颜色空间转换到YCbCr颜色空间,可分别得到亮度图像蓝色色度图像和红色色度图像
(6b)根据步骤(3)中的方法将其中的亮度图像预放大2倍得到图像
步骤7,构建低分辨率输入图像块集XT:
(7a)将图像按从上到下、从左到右的顺序分成有4个像素重叠、大小为6×6的方形图像块;
(7b)将所有方形图像块分别用列矢量表示;
(7c)收集所有列矢量生成低分辨率输入图像块集其中xt q表示低分辨率输入图像块集中的第q个列矢量,Nt表示输入图像块的数量。
步骤8,根据低分辨率训练图像块集非负邻域嵌入表示输入图像块集XT,得到重建系数;
(8a)对于低分辨率输入图像块集XT的每一个图像块xt q,在低分辨率训练图像块集中寻找低分辨率K近邻即与xt q相距最近的前K个图像块,本发明中设K=50;
(8b)用低分辨率K近邻线性表示xt q,求得重建系数w保证如下公式中的重建误差最小:
其中εq表示重建误差;xt q表示输入低分辨率图像块;表示xt q的低分辨率K近邻;表示的第p个近邻;wqp是第p个近邻的重建系数;wqp≥0表示系数需要满足非负要求。
步骤9,输出高分辨率图像THR:
(9a)对低分辨率输入图像块集XT中的每个图像块xt q,其对应的高分辨率输出图像块由如下公式求得:
其中表示待求的高分辨率输出图像块;表示与对应的高分辨率训练图像块;表示与对应的高分辨率K近邻;wqp是步骤(8b)中求得的重建系数;
(9b)将所有得到的高分辨率图像块拼接起来,重叠区域像素取平均值,得到最终的高分辨率输出亮度图像
(9c)将步骤(6a)中得到的彩色图像的色变图像和插值放大到与同样的大小,得到和联合高分辨率亮度图像用函数ycbcr2rgb由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨率输出图像THR。
本发明的优点可以通过以下仿真实验进一步说明:
1.仿真条件:
CPU:Intel(R)Core(TM)i3,主频:2.93GHZ,内存:2G,操作系统:WIN7,仿真平台:Matlab2013b。
仿真图像选择图2所示的3幅原始高分辨测试图像,其中,图(a)为蝴蝶(Butterfly)图像,图(b)为叶子(Leaves)图像,图(c)为女孩(Girl)图像。
仿真实验中,利用本发明方法与现有的双立方插值方法(Bi-cubic Method)、NE-based方法、NeedFS方法和SC-based方法在测试图像上进行超分辨重建。
其中NE-based方法指文献“Chang H,Yeung D Y,Xiong Y.Super-resolutionthrough neighbor embedding[C]//Computer Vision and Pattern Recognition,2004.CVPR2004.Proceedings of the2004IEEE Computer Society Conference on.IEEE,2004,1:I-I.”提出的方法;NeedFS方法指文献“Chan T M,Zhang J,Pu J,et al.Neighborembedding based super-resolution algorithm through edge detection and featureselection[J].Pattern Recognition Letters,2009,30(5):494-502.”提出的方法;SC-based方法指文献“Yang J,Wright J,Huang T S,et al.Image super-resolution viasparse representation[J].Image Processing,IEEE Transactions on,2010,19(11):2861-2873.”提出的方法。
2.实验内容及结果分析:
实验一:验证本发明对自然图像有较好的重建效果。
将高分辨率Butterfly彩色图像模糊、下采样3倍得到低分辨率Butterfly彩色图像,利用本发明方法与现有的双立方插值方法(Bi-cubic Method)、NE-based方法、NeedFS方法和SC-based方法对低分辨率Butterfly彩色图像进行超分辨重建。
结果如图3所示,其中图3(a)是双立方插值方法(Bi-cubic Method)超分辨的结果;图3(b)是NE-based方法超分辨的结果;图3(c)是NeedFS方法超分辨的结果;图3(d)是SC-based方法超分辨的结果;图3(e)是本发明超分辨的结果;图3(f)是原始高分辨率图像。每幅图像有两个局部放大的矩形区域以便于观察重建的效果差别。
从图3可见,本发明的结果中边缘清晰,纹理丰富,能有效减少人工痕迹,并减弱振铃效应,视觉效果自然。双立方插值方法(Bi-cubic Method)的结果边缘很模糊,且存在振铃效应;NE-based方法的结果中也有模糊现象,并存在人工痕迹;NeedFS方法的结果比NE-based方法好,但图片不自然;SC-based方法的结果有很强的振铃效应,视觉效果差,超分辨结果有待提高。
从表1可见,客观评价方面,本发明的方法均高于前四种方法。
表1.本发明和四种对比方法对图像Butterfly重建得到的PSNR值(单位为dB)
图像 | Bi-cubic | NE-based | NeedFS | SC-based | 本发明 |
Butterfly | 23.57 | 24.61 | 25.64 | 25.47 | 26.73 |
实验二:验证本发明在有噪声情况下对自然图像有较好的重建效果。
将高分辨率Leaves彩色图像模糊、加噪声、下采样3倍得到低分辨率Leaves彩色图像,其中噪声是均值为0方差为2的高斯噪声。利用本发明方法与现有的双立方插值方法(Bi-cubic Method)、NE-based方法、NeedFS方法和SC-based方法对低分辨率Leaves彩色图像进行超分辨重建。
重建的结果如图4所示,其中图4(a)是双立方插值方法(Bi-cubic Method)超分辨的结果;图4(b)是NE-based方法超分辨的结果;图4(c)是NeedFS方法超分辨的结果;图4(d)是SC-based方法超分辨的结果;图4(e)是本发明超分辨的结果;图4(f)是原始高分辨率图像。每幅图像有一个局部放大的矩形区域以便于观察重建的效果差别。
从图4可见,本发明的结果中叶子和枝干边缘清晰,能恢复出较多的高频信息,对噪声有较强的鲁棒性。双立方插值方法(Bi-cubic Method)的结果边缘很模糊,受噪声影响严重;NE-based方法的结果叶片部分比较模糊,无法有效抑制噪声的干扰;NeedFS方法的细节处有些模糊,图像的亮度有轻微改变,视觉效果不好;SC-based方法的结果在叶子边缘存在振铃效应,产生了虚假信息。
从表2可见,客观评价方面,本发明的方法均高于前四种方法。
表2.本发明和四种对比方法对图像Leaves重建得到的PSNR值(单位为dB)
图像 | Bi-cubic | NE-based | NeedFS | SC-based | 本发明 |
Leaves | 22.93 | 23.82 | 24.69 | 24.76 | 25.71 |
实验三:验证本发明可以有效解决近邻数K难以选取的问题。
将高分辨率Girl彩色图像模糊、下采样3倍得到低分辨率Girl彩色图像,利用本发明方法与现有的NE-based方法对低分辨率Girl彩色图像进行超分辨重建,依次将近邻数K设为1到50。结果如图5和图6所示,其中图5是NE-based方法超分辨的结果,当近邻数K逐渐增大时,重建质量不稳定,波动较大,导致难以有效选取K的大小;图6是本发明超分辨的结果,随着近邻数K的增大,重建质量逐渐提高并趋于稳定,从而可以更好的确定K的大小。
Claims (6)
1.一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其特征在于:包括以下步骤:
(1)构建高分辨率训练图像集
(2)对进行模糊和下采样操作得到临时低分辨率图像集
(3)对临时低分辨率图像集预放大2倍得到低分辨率训练图像集具体操作如下:
(a)将临时低分辨率图像集中每幅图像用双立方插值方法预放大2倍得到图像集
(b)基于图像块的非局部相似性,计算图像集中每幅图像的相似像素矢量和相似性权值矢量,矢量变形后转化为非局部权值矩阵W;
(c)分别将图像集中每幅图像作为迭代初值,按如下公式迭代:
Xt+1=Xt+τ{HTDT(Y-DHXt)-μ(I-W)T(I-W)Xt}
其中,t表示梯度下降法当前迭代次数;
Xt表示第t次梯度下降法迭代更新的图像;
τ表示梯度下降步长;H表示模糊矩阵;
D表示下采样矩阵;T表示矩阵转置操作;
Y表示中与对应的低分辨率图像;
W表示非局部权值矩阵;
I表示和W大小相同的单位矩阵;
μ表示正则化因子;
逐步迭代更新,最终得到低分辨率训练图像集其中表示第p幅低分辨率训练图像,n表示图像的数量,与是一一对应的;
(4)构建低分辨率训练图像块集
(5)构建高分辨率训练图像块集
(6)读取低分辨率输入图像TLR,设定需要放大的倍数为3倍,预先将其放大2倍;
(7)构建低分辨率输入图像块集XT;
(8)根据低分辨率训练图像块集非负邻域嵌入表示输入图像块集XT,得到重建系数;
(9)输出高分辨率图像THR。
2.根据权利要求1所述的一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其特征在于:所述步骤(1)具体操作如下:
(a)搜集多幅彩色高分辨率自然图像;
(b)将高分辨率自然图像从红、绿、蓝RGB颜色空间转换到亮度、蓝色色度、红色色度YCbCr颜色空间;
(c)收集所有亮度图像作为高分辨率训练图像集其中表示第p幅高分辨率亮度图像,n表示图像的数量。
3.根据权利要求1所述的一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其特征在于:所述步骤(2)具体操作如下:
(a)对中的每幅图像,使用模糊核对其进行模糊操作;
(b)对图像隔点取像素得到下采样3倍后的临时低分辨率图像集 其中表示第p幅低分辨率亮度图像,n表示图像的数量。
4.根据权利要求1所述的一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其特征在于:所述步骤(4)具体操作如下:
(a)将低分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成低分辨率训练图像块集其中表示 中的第p个列矢量,Ns表示训练图像块的数量。
5.根据权利要求1所述的一种基于预放大非负邻域嵌入的单帧图像超分辨 重建方法,其特征在于:所述步骤(5)具体操作如下:
(a)将高分辨率训练图像集中所有图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成高分辨率训练图像块集其中表示 中的第p个列矢量,Ns表示训练图像块的数量,它们与是一一对应的。
6.根据权利要求1所述的一种基于预放大非负邻域嵌入的单帧图像超分辨重建方法,其特征在于:所述步骤(6)具体操作如下:
(a)读入待处理的低分辨率彩色图像TLR,将其从RGB颜色空间转换到YCbCr颜色空间,可分别得到亮度图像蓝色色度图像和红色色度图像
(b)将其中的亮度图像预放大2倍得到图像
所述步骤(7)具体操作如下:
(a)将图像按从上到下、从左到右的顺序分成相互重叠的方形图像块;
(b)将所有方形图像块分别用列矢量表示;
(c)收集所有列矢量生成低分辨率输入图像块集其中xt q表示低分辨率输入图像块集中的第q个列矢量,Nt表示输入图像块的数量;
所述步骤(8)具体操作如下:
(a)对于低分辨率输入图像块集XT中的每一个图像块xt q,在低分辨率训练图像块集中寻找低分辨率K近邻即与xt q相距最近的前K个图像块;
(b)用低分辨率K近邻线性表示xt q,求得重建系数w保证如下公式中的重建误差最小:
其中εq表示重建误差;xt q表示输入低分辨率图像块;表示xt q的低分辨率K近邻;表示的第p个近邻;wqp是第p个近邻的重建系数;wqp≥0表示系数需要满足非负要求;
所述步骤(9)具体操作如下:
(a)对低分辨率输入图像块集XT中的每个图像块xt q,其对应的高分辨率输出图像块由如下公式求得:
其中表示待求的高分辨率输出图像块;表示与对应的高分辨率训练图像块;表示与对应的高分辨率K近邻;wqp是步骤(8)中(b)步骤求得的重建系数;
(b)将所有得到的高分辨率输出图像块拼接起来,重叠区域像素取平均值,得到最终的高分辨率亮度图像
(c)将步骤(6)中(a)步骤得到的彩色图像的色变图像和插值放大到与同样的大小,得到和联合高分辨率亮度图像由YCbCr颜色空间转换到RGB颜色空间,将转换结果作为高分辨率输出图像THR。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410275760.3A CN104036468B (zh) | 2014-06-19 | 2014-06-19 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410275760.3A CN104036468B (zh) | 2014-06-19 | 2014-06-19 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104036468A CN104036468A (zh) | 2014-09-10 |
CN104036468B true CN104036468B (zh) | 2017-06-16 |
Family
ID=51467229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410275760.3A Expired - Fee Related CN104036468B (zh) | 2014-06-19 | 2014-06-19 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104036468B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069767B (zh) * | 2015-07-07 | 2018-06-12 | 西安电子科技大学 | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 |
CN107451522A (zh) * | 2017-04-28 | 2017-12-08 | 山东省农业可持续发展研究所 | 一种农业干旱监测与预警预报方法 |
CN107280588A (zh) * | 2017-06-24 | 2017-10-24 | 武汉洁美雅科技有限公司 | 一种基于物联网的吸尘器红外遥控控制系统 |
CN108492392A (zh) * | 2018-03-06 | 2018-09-04 | 邢宇轩 | 一种基于人工智能的智能课堂点名系统 |
CN108460833A (zh) * | 2018-03-28 | 2018-08-28 | 中南大学 | 一种基于bim构建传统建筑数字化保护与修复的信息平台 |
CN108537734A (zh) * | 2018-04-16 | 2018-09-14 | 西华大学 | 基于梯度轮廓例子字典和加权自适应p范数的单幅图像超分辨率重建方法 |
CN108510719A (zh) * | 2018-05-29 | 2018-09-07 | 重庆工业职业技术学院 | 一种基于车联网的汽车报警控制系统 |
CN112308773B (zh) * | 2020-08-19 | 2023-04-18 | 贵州电网有限责任公司 | 一种无人机航摄影像无损放大和拼接融合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8743119B2 (en) * | 2011-05-24 | 2014-06-03 | Seiko Epson Corporation | Model-based face image super-resolution |
-
2014
- 2014-06-19 CN CN201410275760.3A patent/CN104036468B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Non-Patent Citations (1)
Title |
---|
Super-Resolution Through Neighbor Embedding;Hong Chang et.al;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20040702;第1卷;第276页左栏第43-44行,第276页右栏第3-12行,第277页左栏第33行-右栏第42行,第278页左栏第9行-右栏第25行 * |
Also Published As
Publication number | Publication date |
---|---|
CN104036468A (zh) | 2014-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104036468B (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
CN107122826B (zh) | 用于卷积神经网络的处理方法和系统、和存储介质 | |
CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
CN105844630B (zh) | 一种双目视觉的图像超分辨率融合去噪方法 | |
CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
CN107844795A (zh) | 基于主成分分析的卷积神经网络特征提取方法 | |
CN103093444A (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
CN111340696B (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
CN110210432A (zh) | 一种基于智能安防机器人非受限条件下的人脸识别方法 | |
CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
CN107633482A (zh) | 一种基于序列图像的超分辨率重建方法 | |
CN111178121B (zh) | 基于空间特征和深度特征强化技术的害虫图像定位识别方法 | |
CN108460833A (zh) | 一种基于bim构建传统建筑数字化保护与修复的信息平台 | |
CN104408697B (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN108038486A (zh) | 一种文字检测方法 | |
CN109360179A (zh) | 一种图像融合方法、装置及可读存储介质 | |
CN109920018A (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
CN107154017A (zh) | 一种基于sift特征点匹配的图像拼接方法 | |
CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN107766864A (zh) | 提取特征的方法和装置、物体识别的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170616 |
|
CF01 | Termination of patent right due to non-payment of annual fee |