CN103593825B - 基于改进的非局部约束和局部自相似性的图像超分辨方法 - Google Patents
基于改进的非局部约束和局部自相似性的图像超分辨方法 Download PDFInfo
- Publication number
- CN103593825B CN103593825B CN201310488729.3A CN201310488729A CN103593825B CN 103593825 B CN103593825 B CN 103593825B CN 201310488729 A CN201310488729 A CN 201310488729A CN 103593825 B CN103593825 B CN 103593825B
- Authority
- CN
- China
- Prior art keywords
- image
- block
- low
- amplification
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003321 amplification Effects 0.000 claims abstract description 46
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000002474 experimental method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 101100192157 Mus musculus Psen2 gene Proteins 0.000 description 1
- 101150011873 Pdcd6 gene Proteins 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的非局部约束和局部自相似性的图像超分辨方法。其实现步骤为:(1)对低分辨率图像X作双三次插值放大和高通滤波,获得预放大图像及低、高频分量;(2)分别在预放大图像和低频分量中提取图像块;(3)对低频图像块进行K聚类,并将预放大图像块与每一类的聚类中心作比较,找到最相似的类,进而在最相似类中找到3个相似的低频图像块;(4)根据相似的低频图像块找到相对应的高频图像块,再对这些高频图像块进行非局部加权,得到重构的初步高分辨率图像;(5)将重构的高分辨率图像作为下一次的输入图像,重复步骤(1)~步骤(4),获得最终的高分辨率图像。本发明在对图像超分辨时,能够锐化图像边缘,更好的恢复图像高频细节。
Description
技术领域
本发明属于图像处理技术领域,具体的说是一种图像的分辨方法,该方法可用于对输入的低分辨率图像进行超分辨,获得高分辨率图像。
背景技术
图像超分辨技术是为了获得更准确的图像信息,而通过多种技术手段提高图像的清晰度,抑制噪声的一门学科。它是图像处理中重要而又富有挑战性的研究内容。对于图像超分辨问题,研究者已经提出了很多方法。
2008年Yang等人提出一种基于样例学习的图像超分辨重建方法,见J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper-resolutionassparserepresentationofrawimagepatches”,inProc.IEEEConf.Comput.Vis.PatternRecognit.,2008,pp.1-8.这种方法的基本思想是从一些高分辨率图像中随机选取一些块组成一个过完备的高分辨词典Dh,再用同样的方法组成一个低分辨字典Do,通过训练两个字典Do和Dh,得到在低分和高分字典下的低分辨和高分辨图像块的相似稀疏表示。因此低分辨图像块的稀疏表示同高分辨字典Dh相乘可以得到高分辨图像块。该方法的缺陷就在于过完备字典的选择,随机的选择只能实现特定领域的图像的超分辨率,对于通用图像的超分辨率效果较差。
2011年Gilad提出基于局部自相似性的算法,利用迭代放大的方法对图像进行超分辨重建,并且证明了在较小的放大因子下,局部极小块与放大后图像的局部极小块存在极强的相似性。见Gilad.Freedman,RFattal,“ImageandVideoUpscalingfromLocalSelf-examples”,ACMTransactiononGraphics(TOG),april2011,30(2).其基本思想是将低分辨图像X进行较小因子的放大,获得预放大图像Yo,同时对低分辨图像进行滤波,得到X的高频图像Xh和低频图像Xo,取预放大图像Yo中的图像块,找到其在Xo中最相似的块,并在Xh中找到与之相应的匹配高频块,最终将查找到的高频块迭加在预放大图像块上。但该方法由于只查找一个相似高频图像块,对匹配准则的依赖性过高,容易产生误差,得到的高分辨图像边缘模糊,视觉效果不好。
发明内容
本发明的目的在于针对已有技术的不足,提出了一种基于改进的非局部约束和局部自相似性的图像超分辨方法,以在匹配时找到更多的相似高频图像块,获取更多的高频信息,得到边缘清晰,视觉效果好的高分辨图像。
实现本发明目的的技术关键是:直接从输入的低分辨图像内部寻找高频细节信息,并以输入的低分辨图像作为训练字典,不需要外部的训练图像,克服现有算法对训练字典的敏感性,且在匹配时通过找到更多的相似高频图像块,获取更多的高频信息,其具体步骤包括如下
(1)输入低分辨率图像X,并将其进行双三次插值放大,放大因子λ=1.25,获得预放大图像Yo;
(2)通过高通滤波器对低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo;
(3)利用高频分量Xh,低频分量Xo和预放大图像Yo对输入的低分辨图像X进行超分辨重建:
3a)在低频分量Xo中提取低频图像块j=1,...,M,M为低频图像块的数目,在预放大图像Yo中提取预放大图像块i=1,...,N,N为预放大图像块的数目;
3b)对提取的低频图像块进行k-means聚类,将其分成20类,得到每一类的聚类中心;
3c)用预放大图像块Yo i中的每一个图像块与上步获得的聚类中心作比较,找到与其最为相似的那一类,并在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
3d)利用上步的最相似的低频图像块在高频分量Xh中找到其相对应的高频图像块并对这些高频图像块进行非局部加权,得到合成的高频图像块Yf i:
其中,为非局部加权系数;
3e)根据合成的高频图像块Yf i和预放大图像块Yo i,得到高分辨图像块
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
(4)将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,获得最终的超分辨图像Yh。
本发明与现有的技术相比具有以下优点:
本发明用k-means算法对提取的低频图像块进行聚类,得到多块与预放大图像块相似的图像块,解决了只查找一个相似块,对匹配准则依赖性高的难题;
本发明利用非局部约束对得到的相似块进行加权重构,能够锐化图像边缘,且能够恢复更多的图像细节;
附图说明
图1是本发明的实现流程图;
图2是本发明与现有的两种方法在仿真实验中应用的Lena高分辨率图像;
图3是本发明与现有两种方法在仿真实验中应用的Lena低分辨率图像;
图4是用现有基于样例学习法在仿真实验中得到的Lena高分辨率图像;
图5是用现有基于局部自相似性的方法在仿真实验中得到的Lena高分辨率图像。
图6是本发明在仿真实验中得到的Lena高分辨率图像;
具体实施方式
参照图1,本发明的实现步骤如下:
步骤1,输入低分辨率图像X,并对其进行插值放大。
输入如图3所示的低分辨图像X,设放大因子λ=1.25,对该低分辨图像X进行双三次插值放大,获得预放大图像Yo
步骤2,对低分辨图像X进行滤波。
使用高斯高通滤波器对输入的低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo。
步骤3,利用高频分量Xh、低频分量Xo和预放大图像Yo,对输入的低分辨图像X进行超分辨重建。
3a)在低频分量Xo中提取低频图像块Xo j,j=1,...,M,M为低频图像块的数目,在预放大图像Yo中提取预放大图像块Yo i,i=1,...,N,N为预放大图像块的数目,其中图像块大小均为5×5,重叠块大小均为4×4;
3b)对提取的低频图像块Xo j进行k-means聚类,将低频图像块Xo j分成20类,得到每一类的聚类中心Vu,u=1,...,20;
3c)对于预放大图像Yo中的每一个图像块Yo i,将其与上步得到的聚类中心Vu作比较,找到与其最为相似的那一类,即先计算预放大图像块Yo i与每个聚类中心的均方差,再从这些均方差中找出最小值,该最小值所对应的聚类中心就是与预放大图像块Yo i最相似的块,包含这个最相似块的类即为最相似的那一类;再在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
3d)利用最相似的低频图像块在高频分量Xh中找到其相对应的高频图像块并对这些高频图像块进行非局部加权,得到合成的高频图像块Yf i:
其中,为非局部加权系数:
其中ci为归一化参数,
3e)根据合成的高频图像块Yf i和预放大图像块Yo i,得到高分辨图像块
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
步骤4,将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,其中m=2,获得最终的超分辨图像Yh,如图6所示。
本发明的效果可以通过下面的仿真实验进一步说明:
1、实验条件与内容
实验条件为:IntelCore2DuoCPUE65502.33GHZ、2GBRAM,编程平台为MATLABR2010a。实验所用到的图像来源于标准图像库,分别为Cameraman,Lena,Boats,大小均为256×256,其中原始的高分辨率图像如图2所示,低分辨率图像如图3所示。
实验内容:分别为现有的基于样例学习的图像超分辨方法,现有的基于局部自相似性的图像超分辨方法和本发明方法,其中前两种方法都是基于学习的超分辨重构中的经典方法。
实验中,应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣,PSNR值的定义为:
其中:x为原始的高分辨率图像,为仿真实验中得到的高分辨率图像,U和V为图像的行数和列数。
2、仿真内容与结果
本发明将图3所示的Lena图像作为输入的低分辨率图像,大小为256×256。
仿真一,用现有的基于样例学习的方法对图3进行超分辨重建,结果如图4所示。
由图4可见,该方法能够较好的恢复出图像的细节信息,但同时在图像的边界处产生了阶梯效应;
仿真二,用现有的基于局部自相似性的方法对图3进行超分辨重建,结果如图5所示。
由图5可见,该方法重建的图像视觉效果较好,能够很好地保持边界区域信息,但对非边界区域的保持则不够好,存在过平滑现象;
仿真三,用本发明对图3进行超分辨重建,结果如图6所示。
由图6可见,本发明的超分辨重建结果有最好视觉效果,同时保留了更多的图像边缘和细节信息。
本发明与两种对比方法在实验中获取的PSNR值如表1所示,其中,Alg1是基于样例学习的方法,Alg2是基于局部自相似性的方法,Alg3是本发明的方法。
表1.本发明和对比方法在实验设置下得到的PSNR值
从表1中可以看出,本发明比其它两种对比方法具有更高的PSNR值,有更好的超分辨结果。
Claims (4)
1.一种基于改进的非局部约束和局部自相似性的图像超分辨方法,包括如下步骤:
(1)输入低分辨率图像X,并将其进行双三次插值放大,放大因子λ=1.25,获得预放大图像Yo;
(2)通过高通滤波器对低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo;
(3)利用高频分量Xh,低频分量Xo和预放大图像Yo对输入的低分辨图像X进行超分辨重建:
3a)在低频分量Xo中提取低频图像块j=1,...,M,M为低频图像块的数目,在预放大图像Yo中提取预放大图像块i=1,...,N,N为预放大图像块的数目;
3b)对提取的低频图像块进行k-means聚类,将其分成20类,得到每一类的聚类中心;
3c)用预放大图像块Yo i中的每一个图像块与上步获得的聚类中心作比较,找到与其最为相似的那一类,并在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
3d)利用上步的最相似的低频图像块在高频分量Xh中找到其相对应的高频图像块并对这些高频图像块进行非局部加权,得到合成的高频图像块Yf i:
其中,为非局部加权系数,ci为归一化参数,
3e)根据合成的高频图像块Yf i和预放大图像块Yo i,得到高分辨图像块
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
(4)将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,获得最终的超分辨图像Yh。
2.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(3a)中的低频图像块Xo j和预放大图像块Yo i,其大小均为5×5,重叠块的大小均为4×4。
3.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(3c)中找出聚类中心中与预放大图像块Yo i最相似的块,是先计算预放大图像块Yo i与每个聚类中心的均方差,再从这些均方差中找出最小值,该最小值所对应的聚类中心就是与预放大图像块Yo i最相似的块。
4.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(4)中的预期设定放大倍数m,在实验中设定为m=2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310488729.3A CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310488729.3A CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103593825A CN103593825A (zh) | 2014-02-19 |
CN103593825B true CN103593825B (zh) | 2016-04-13 |
Family
ID=50083950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310488729.3A Active CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103593825B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN104036468B (zh) * | 2014-06-19 | 2017-06-16 | 西安电子科技大学 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
CN105590303B (zh) * | 2014-10-20 | 2019-02-01 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和系统 |
CN105590304B (zh) * | 2014-10-24 | 2019-01-08 | 北京大学 | 超分辨率图像重建方法和装置 |
CN105354795B (zh) * | 2015-10-08 | 2019-09-10 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及系统 |
CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
CN105427253B (zh) * | 2015-11-06 | 2019-03-29 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
CN107133921B (zh) * | 2016-02-26 | 2020-03-06 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 |
CN106485734B (zh) * | 2016-10-12 | 2019-06-07 | 天津大学 | 一种基于非局部自相似性的视频运动物体检测方法 |
CN110009589B (zh) * | 2019-04-11 | 2020-11-24 | 重庆大学 | 一种基于dlss深度学习超级采样技术的图像滤波方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689343A (en) * | 1995-05-26 | 1997-11-18 | Xerox Corporation | Area mapping employing reference clusters for high quality noninteger resolution conversion with enhancement |
CN1488119A (zh) * | 2000-11-28 | 2004-04-07 | 通过最近相邻分类滤波提高分辨率 | |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
-
2013
- 2013-10-17 CN CN201310488729.3A patent/CN103593825B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689343A (en) * | 1995-05-26 | 1997-11-18 | Xerox Corporation | Area mapping employing reference clusters for high quality noninteger resolution conversion with enhancement |
CN1488119A (zh) * | 2000-11-28 | 2004-04-07 | 通过最近相邻分类滤波提高分辨率 | |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
Non-Patent Citations (2)
Title |
---|
Image and Video Upscaling from Local Self-examples;Gilad Freeman et al.;《ACM Transaction on Graphics》;20110430;第30卷(第2期);第1-11页 * |
利用图像局部自相似性的超分辨率重构算法;杨宇翔 等;《中国图象图形学报》;20110531;第16卷(第5期);第720-725页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103593825A (zh) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593825B (zh) | 基于改进的非局部约束和局部自相似性的图像超分辨方法 | |
CN101950365B (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN102800076B (zh) | 基于双字典学习的图像超分辨重建方法 | |
CN103606136B (zh) | 基于关键帧和非局部约束的视频超分辨方法 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN102800094A (zh) | 一种快速彩色图像分割方法 | |
CN104899830A (zh) | 一种图像超分辨方法 | |
Wen et al. | FRIST—Flipping and rotation invariant sparsifying transform learning and applications | |
CN105825477A (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
CN103136727A (zh) | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 | |
CN103136728B (zh) | 基于字典学习和非局部总变差的图像超分辨方法 | |
CN103914816A (zh) | 一种基于非局部正则化和关键帧的视频超分辨方法 | |
CN103455988A (zh) | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 | |
CN105335929A (zh) | 一种深度图超分辨方法 | |
CN103295192B (zh) | 基于gpu加速的图像实时超分辨重建方法 | |
CN101635048A (zh) | 融合全局特征与局部信息的人脸图像超分辨率处理方法 | |
CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
CN104252704A (zh) | 基于总广义变分的红外图像多传感器超分辨率重建方法 | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN104867106A (zh) | 一种深度图超分辨率方法 | |
Feng et al. | Mipi 2022 challenge on under-display camera image restoration: Methods and results | |
CN104504672A (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
CN106023122A (zh) | 基于多通道分解的图像融合方法 | |
Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |