CN106846286B - 基于多种互补先验的视频超分辨率重建算法 - Google Patents

基于多种互补先验的视频超分辨率重建算法 Download PDF

Info

Publication number
CN106846286B
CN106846286B CN201710006104.7A CN201710006104A CN106846286B CN 106846286 B CN106846286 B CN 106846286B CN 201710006104 A CN201710006104 A CN 201710006104A CN 106846286 B CN106846286 B CN 106846286B
Authority
CN
China
Prior art keywords
residual image
resolution
image
priori
complementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710006104.7A
Other languages
English (en)
Other versions
CN106846286A (zh
Inventor
何小海
戴茂华
王正勇
陈洪刚
陈娣
吴小强
陶青川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710006104.7A priority Critical patent/CN106846286B/zh
Publication of CN106846286A publication Critical patent/CN106846286A/zh
Application granted granted Critical
Publication of CN106846286B publication Critical patent/CN106846286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于多种互补先验的视频超分辨率重建方法。主要包括以下骤:对输入的低分辨率的视频帧,我们将连续三帧作为一组,然后分别利用MSEPLL,MNLR和SKR方法来重建中间帧,得到高分辨率图片F1、F2和F3,并将它们作为初始的输入图片;利用得到的三张高分辨率图像F1、F2和F3,对它们进行如下处理:F1‑F2=C1,F3‑F2=C2,并得到残差图像C1和C2;对于前面得到的残差图像C1和C2,我们采用Gabor滤波器对它们进行滤波处理,并得到残差图像C3和C4;对于残差图像C4,我们用C4减去C3,得到残差图像C5,然后用Gauss滤波器对其进行滤波处理,得到残差图像C6;对于残差图像C3和残差图像C6,我们对其进行一个自适应加权并得到残差图像C7,最后将其叠加到F2上得到最终的重建图像。

Description

基于多种互补先验的视频超分辨率重建算法
技术领域
本发明涉及图像超分辨率重建技术,具体涉及一种基于多种互补先验的视频超分辨率重建算法,属于数字图像领域。
背景技术
图像与视频具有简单直观、表现力强、信息含量丰富等特点,是人类获取和传递信息的重要方式。因此,研究和处理图像与视频信息具有十分重要的意义。随着信息化技术的发展,人们对接收和到的信息的要求也越来越高,尤其在医学、遥感、天文以及视频监控等应用领域中,都需要获得高分辨率的视频来传递更为精确的信息。然而在实际采集视频时,往往受到欠采样、大气扰动、散焦以及系统噪声等因素的影响,所获得的视频的空间分辨率不高。改善成像系统中的硬件设备是提高视频分辨率较为简单的途径,但是成本太高,所以我们考虑通过软件的方法来提高图片和视频的分辨率。而超分辨率重建技术正是针对这一问题而提出来,它现在也是图像处理领域的一个热点。视频超分辨率重建技术利用相似的连续低分辨率视频帧,通过利用视频帧之间的冗余信息来抑制噪声、减少模糊,从而获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足的影响,这使超分辨率重建成为病态问题,因此通过正则化项来约束解空间的方法可以有效地解决这个问题。但是现有的一些方法容易产生不好的人工效应,例如对平坦区域的噪声抑制较差,边缘产生锯齿效应,重建图像过于平滑或者产生振铃效应等。
发明内容
本发明的目的就在于为解决上述问题而提供一种基于多种互补先验的视频超分辨率重建算法。
本发明提出的一种基于多种互补先验的视频超分辨率重建算法,具体可以分为以下几个步骤:
(1)对输入的低分辨率的视频帧,我们将连续三帧作为一组,然后分别利用多尺度期望块对数似然(Multi-Scale Expected Patch Log Likelihood,MSEPLL),多幅图像非局部低秩正则化(Multi-image Non-Local Regularization,MNLR)和控制核回归(SteeringKernel Regression,SKR)方法来重建中间帧,并得到高分辨率图片F1、F2和F3,并将它们作为初始的输入图片;
(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3,对它们进行如下处理:F1-F2=C1,F3-F2=C2,并得到残差图像C1和C2;
(3)对于步骤(2)中的残差图像C1和C2,我们采用Gabor滤波器对它们进行滤波处理,并得到残差图像C3和C4;
(4)对于步骤(3)中的残差图像C4,我们用C4减去C3,得到残差图像C5,然后用Gauss滤波器对其进行滤波处理,得到残差图像C6;
(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6,我们对它们进行一个自适应加权并得到残差图像C7,最后将其叠加到F2上得到最终的重建图像。
附图说明
图1是本发明基于多种互补先验的视频超分辨率重建算法原理框图
图2是本发明与七种方法对没有加入噪声的视频“Miss-american”中第15帧的重建结果的对比图
图3是本发明与七种方法对加入方差为3高斯白噪声的视频“Akiyo”中第15帧的重建结果的对比图
图4是本发明与七种方法对加入方差为5高斯白噪声的视频“Suzie”的第15帧的重建结果的对比图
具体实施方式
下面结合附图对本发明作进一步说明:
图1中,基于多种互补先验的视频超分辨率重建算法,具体可以分为以下几个步骤(其中操作一、操作二和操作三表示分别用MSEPLL,MNLR和SKR来重建低分辨率帧):
(1)对输入的低分辨率的视频帧,我们将连续三帧作为一组,然后分别利用MSEPLL,MNLR和SKR方法来重建中间帧,并得到高分辨率图片F1、F2和F3,并将它们作为初始的输入图片;
(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3,对它们进行如下处理:F1-F2=C1,F3-F2=C2,并得到残差图像C1和C2;
(3)对于步骤(2)中的残差图像C1和C2,我们采用Gabor滤波器对它们进行滤波处理,并得到残差图像C3和C4;
(4)对于步骤(3)中的残差图像C4,我们用C4减去C3,得到残差图像C5,然后用Gauss滤波器对其进行滤波处理,得到残差图像C6;
(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6,我们对其它们进行一个自适应加权并得到残差图像C7,最后将其叠加到F2上得到最终的重建图像。
具体地,所述步骤(1)中,对输入的低分辨率的视频帧,我们将连续三帧作为一组,然后分别利用MSEPLL,MNLR和SKR方法来重建中间帧,并得到高分辨率图片F1、F2、F3。具体每种方法的使用如下:
首先介绍图像的降质过程,高分辨率图像f经过退化模型后,最终产生了低分辨率图像序列gi,整个过程对应的数学表达式为:
gi=DBiEif+ni,(i=1,...,p) (1)
其中,D表示下采样过程,Bi表示模糊过程,Ei表示坐标变换过程(旋转,平移等),ni表示噪声。
下面我们介绍MSEPLL先验:
其中,操作S=DH表示在进行下采样操作D后再进行低通滤波H,表示从抽样信号SX中提取第i个块。然后我们可以通过求解下面的式子来重建低分辨率图像:
为了优化上面的式子,我们采用Half Quadratic Splitting。然后我们添加辅助变量zi他们分别代表从原始尺寸图片中提取的块和从上采样的图片中提取的块。结果我们得到了如下的式子:
我们假设β为一个常量,用来表示采用MSEPLL迭代多次的结果,并用X来表示干净的图片。其中用来表示对原始尺寸图片中的噪声水平的估计,并用来表示上采样图片噪声水平的估计。然后我们可以通过解决如下两个MAP问题来更新zi
对于两种尺寸的图片的局部先验均采用GMM模型,然后我们在得到zi后通过解决如下的式子来更新X,
最后,我们通过采用Conjugate Gradient来求解计算矩阵的逆。
对于SKR先验我们能够表示为:
Wi S为一个行向量,Si为以为中心的局部邻域内的采样点以字典顺序构成的列向量。Wi S中的元素也与Si中的元素一一对应。调整核回归(SKR)正则化超分辨率重建的代价函数变为:
然后我们可以通过梯度下降法对其进行求解。
对于MNLR先验,我们可以表示为:
其中,n表示相关帧的数量。对于在第k帧中以像素j为中心的块,Sk,jF表示从第(k-1)帧,第k帧和第(k+1)帧中搜索相似块。λ是一个权衡参数,Zk,j是一个矩阵,并与Sk,jF很相似。
然后我们可以通过求解下面的公式来重建高分辨率帧,
其β中λ和都是权衡参数。
我们用Split-Bregman迭代来解决这个问题,公式(11)中的问题可以被分解为
紧接着我们可以通过下面的式子来更新F,
通过上面的几种先验在超分辨率技术中的应用,我们很容易得到F1、F2和F3。
所述步骤(2)中利用步骤(1)中得到的三张高分辨率图像F1、F2和F3,对它们进行如下处理:F1-F2=C1,F3-F2=C2,并得到残差图像C1和C2;
所述步骤(3)中对于步骤(2)中的残差图像C1和C2,我们采用Gabor滤波器对它们进行滤波处理,并得到残差图像C3和C4;
所述步骤(4)中对于步骤(3)中的残差图像C4,我们用C4减去C3,得到残差图像C5,然后用Gauss滤波器对其进行滤波处理,得到残差图像C6;
所述步骤(5)中的残差图像C3和步骤(4)中的残差图像C6,我们对它们进行一个自适应加权并得到残差图像C7,自适应加权的方式为:
C7=mC3+nC6 (15)
其中m和n为加权系数,它们能够通过下面的式子确定
其中α和β分别用来反映初始图片中的噪声水平。我们均假设噪声为高斯白噪声,它们均表示噪声方差。
最后将残差叠加到F2上得到最终的结果
F=F2+C7 (18)
为了更好地说明本发明的有效性,本发明选取3个测试视频进行实验,低分辨率视频分别为视频“Miss-american”、视频“Akiyo”和视频“Suzie”。首先将视频用大小5×5,方差为1的模糊核进行模糊,然后进行下采样,最后分别加入方差为0,3,5的零均值高斯噪声,最后生成低分辨率视频。对比算法分别为双三次插值和另外六种超分辨率算法。实验结果如图2,图3和图4所示,(a)表示原图,(b)~(h)分别代表双三次插值以及方法1到方法6这六种对比算法,(i)表示本发明的结果。
这六种超分辨率重建算法分别为:
方法1:Infognition Co.Ltd公司开发的一款Video Enhancer软件,参考文献“InfognitionCo.Ltd,Video Enhance[OL],http://www.infognition.com/videoenhancer/.Version 2.0,23March 2016.”。
方法2:Takeda H等人提出的算法。参考文献“Takeda H,Farsiu S,MilanfarP.Kernel regression for image processing and reconstruction[J].IEEETransactions on image processing,2007,16(2):349-366.”。
方法3:Yuan等人提出的算法。参考文献“Q.Yuan,L.Zhang,H.Shen."Regionalspatially adaptive total variation super-resolution with spatial informationfiltering and clustering."IEEE Transactions on Image Processing,vol.22,no.6,pp.2327-2342,2013.”。
方法4:Turgay等人提出的算法。参考文献“E.Turgay,G.B.Akar."Texture andedge preserving multiframe super-resolution."Image Processing,IET,vol.8,no.9,pp.499-508,2014.”。
方法5:Dong W等人提出算法。参考文献“Dong W,Zhang L,Shi G,etal.Nonlocally centralized sparse representation for image restoration[J].IEEETransactions on Image Processing,2013,22(4):1620-1630.”。
方法6:Papyan V等人提出的算法。参考文献“Papyan V,Elad M.Multi-scalepatch-based image restoration[J].IEEE Transactions on Image Processing,2016,25(1):249-261.”。
对比实验的内容如下:
实验1,分别用双三次插值,方法1到方法6以及本发明对视频“Miss-american”进行2倍超分辨率重建,选取其中一帧作为对比。超分辨重建结果分别如图2(b)到图2(i)所示。
实验2,分别用双三次插值,方法1到方法6以及本发明对视频“Akiyo”进行2倍超分辨率重建,选取其中一帧作为对比。超分辨重建结果分别如图3(b)到图3(i)所示。
实验3,分别用双三次插值,方法1到方法6以及本发明对视频“Suzie”进行2倍超分辨率重建,选取其中一帧作为对比。超分辨重建结果分别如图3(b)到图3(i)所示。
从3组实验中可以看出:在无噪声的情况下,对比算法都能恢复一定的高频信息,但是在边缘或者平坦区域容易出现一些不好的人工效应,例如振铃,锯齿或者是过度平滑等。但是我们的算法重建出来的结果细节信息更丰富,视觉效果更好,产生的人工效应也比较少。在有噪声的情况下,对比方法1到方法4的重建结果有些过于平滑,一些比较好细节不能很好的恢复出来,而对比方法5和方法6在平滑区域不能较好的抑制噪声,但是本发明能够较好解决这两个问题,重建结果具有较好的视觉效果和较高的客观参数。
为了客观的评价本发明的有效性,以峰值信噪比(PSNR:Peak Signal to NoiseRatio)和结构相似度(SSIM:Structure Similarity Index)作为客观评价评价标准,表一展示了各种算法的平均PSNR与平均SSIM。
表一将3组视频在不同噪声下的客观参数进行了展示,我们能够发现我们的实验结果确实获得了最好的客观参数。
综上所述,本发明确实在主客观上都有很好的效果,是一种有效的视频超分辨率重建算法。
表一

Claims (5)

1.基于多种互补先验的视频超分辨率重建算法,其特征在于包括以下步骤:
步骤一:对输入的低分辨率的视频帧,我们将连续三帧作为一组,然后分别利用多尺度期望块对数似然MSEPLL,多幅图像非局部低秩正则化MNLR和控制核回归SKR方法来重建中间帧,得到高分辨率图片F1、F2和F3,并将它们作为初始的输入图片;
步骤二:利用步骤一中得到的三张高分辨率图像F1、F2和F3,对它们进行如下处理:F1-F2=C1,F3-F2=C2,并得到残差图像C1和C2;
步骤三:对于步骤二中的残差图像C1和C2,我们采用Gabor滤波器对它们进行滤波处理,并得到残差图像C3和C4;
步骤四:对于步骤三中的残差图像C4,我们用C4减去C3,得到残差图像C5,然后用Gauss滤波器对其进行滤波处理,得到残差图像C6;
步骤五:对于步骤三中的残差图像C3和步骤四中的残差图像C6,我们对它们进行一个自适应加权并得到残差图像C7,最后将其叠加到F2上得到最终的重建图像。
2.根据权利要求1所述的基于多种互补先验的视频超分辨率重建算法,其特征在于步骤一中所述,我们利用MSEPLL,MNLR和SKR这三种具有互补特性的先验分别应用到超分辨率重建的过程中,得到三张不同的重建高分辨率图像,并将其作为后面的输入。
3.根据权利要求1所述的基于多种互补先验的视频超分辨率重建算法,其特征在于步骤三中所述,对于不同方法重建出来的图片相减得到的残差,利用Gabor滤波器对其进行滤波来滤除其中的奇异点。
4.根据权利要求1所述的基于多种互补先验的视频超分辨率重建算法,其特征在于步骤四中所述,对处理后的残差图片C3和C4进行进一步处理,用C4减去C3得到残差C5,再对新得到的残差C5进行Gauss滤波。
5.根据权利要求1所述的基于多种互补先验的视频超分辨率重建算法,其特征在于步骤五中所述,对于步骤三中的残差图像C3和步骤四中的残差图像C6进行一种自适应加权得到最后的残差,其中权值根据初始输入低分辨率图片的噪声水平来自适应确定,最后用加权后的残差来对步骤一中的图片F2进行高频信息恢复。
CN201710006104.7A 2017-01-05 2017-01-05 基于多种互补先验的视频超分辨率重建算法 Active CN106846286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710006104.7A CN106846286B (zh) 2017-01-05 2017-01-05 基于多种互补先验的视频超分辨率重建算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710006104.7A CN106846286B (zh) 2017-01-05 2017-01-05 基于多种互补先验的视频超分辨率重建算法

Publications (2)

Publication Number Publication Date
CN106846286A CN106846286A (zh) 2017-06-13
CN106846286B true CN106846286B (zh) 2019-10-29

Family

ID=59118328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710006104.7A Active CN106846286B (zh) 2017-01-05 2017-01-05 基于多种互补先验的视频超分辨率重建算法

Country Status (1)

Country Link
CN (1) CN106846286B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949217B (zh) * 2017-12-20 2023-04-11 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109741263B (zh) * 2019-01-11 2019-10-11 四川大学 基于自适应联合约束的遥感图像超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN105488759A (zh) * 2015-12-09 2016-04-13 南京邮电大学 一种基于局部回归模型的图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN105488759A (zh) * 2015-12-09 2016-04-13 南京邮电大学 一种基于局部回归模型的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAP和POCS算法实现超分辨率图像的重建;陈光盛 等;《科学技术与工程》;20060228;第6卷(第4期);396-399 *
Single Image Super-Resolution With Non-Local Means and Steering Kernel Regression;Kaibing Zhang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20120716;4544-4556 *

Also Published As

Publication number Publication date
CN106846286A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN109903226B (zh) 基于对称残差卷积神经网络的图像超分辨率重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN110310227A (zh) 一种基于高低频信息分解的图像超分辨率重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN104574336B (zh) 基于自适应亚模字典选择的超分辨率图像重建系统
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN107784628B (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
CN106097253B (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN108765280A (zh) 一种高光谱图像空间分辨率增强方法
CN110211084B (zh) 一种基于权重小波变换的图像多分辨率重建方法
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN112396672B (zh) 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
CN104299193B (zh) 一种基于高频和中频信息的图像超分辨率重建方法
CN110599402A (zh) 一种基于多特征稀疏表示的图像超分辨率重建方法
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN104021523A (zh) 一种基于边缘分类的图像超分辨率放大的新方法
CN106846286B (zh) 基于多种互补先验的视频超分辨率重建算法
CN108492252A (zh) 基于二次重建的人脸图像超分辨率重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant