CN107909545B - 一种提升单帧图像分辨率的方法 - Google Patents

一种提升单帧图像分辨率的方法 Download PDF

Info

Publication number
CN107909545B
CN107909545B CN201711147426.XA CN201711147426A CN107909545B CN 107909545 B CN107909545 B CN 107909545B CN 201711147426 A CN201711147426 A CN 201711147426A CN 107909545 B CN107909545 B CN 107909545B
Authority
CN
China
Prior art keywords
pixel value
image
window
new
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711147426.XA
Other languages
English (en)
Other versions
CN107909545A (zh
Inventor
伏长虹
王宇
王允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201711147426.XA priority Critical patent/CN107909545B/zh
Publication of CN107909545A publication Critical patent/CN107909545A/zh
Application granted granted Critical
Publication of CN107909545B publication Critical patent/CN107909545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本发明提出了一种提升单帧图像分辨率的方法，属于图像的超分辨率领域。具体步骤为：将输入的低分辨率图像LR转换为引导图像BI；利用双边滤波的核函数，并确定对应的权重进行归一化处理；根据归一化处理后的像素值权重，得到新的像素值H，替换引导图像BI相应位置的像素值；将步骤2计算所得的权重代入引导滤波的核函数，得到引导滤波处理后的新像素值；替换步骤5得到的新图像相应位置的像素值，得到最终的输出图像。将双边滤波和引导滤波特性进行结合，使得图像超分辨率的计算过程中能更有力得保持边缘。

Description

一种提升单帧图像分辨率的方法
技术领域
本发明涉及图像的超分辨率领域，特别是一种提升单帧图像分辨率的方法。
背景技术
移动网络中，客户在观看视频时会出现较多的视频堵塞，大大降低了观看视频时的用户体验。通常，在视频服务器端会事先保存不同码率的视频，使得用户在网路阻塞时可以选择低码率视频来保证流畅度。这些不同码率的视频可以由已有视频通过改变分辨率，帧率，量化步长等方法获得，这个过程称之为视频转码。网络供应商会在网络节点中加入视频转码技术，使得节点卡顿时通过超分辨率技术令视频图像尽可能恢复到高码率状态，以达到更好的用户体验。超分辨率技术即可恢复高码率过程。
图像插值旨在从低分辨率(LR)对应的图像中产生高分辨率(高分辨率图像)图像。传统的插值方法，如双线性和双三次插值，因为其计算复杂度较低，通常用于实时应用。通常有两种主要的边缘定向插值方法，即显式的和隐式的方法。显式方法显式地估计边缘方向，然后沿边缘方向进行插值。然而，显式方法的插值质量受到边缘方向估计精度的限制。隐式方法经常利用参数函数来利用边缘特征。隐式方法有两个主要步骤。第一步是估计使用LR像素的参数函数的参数。第二步是利用估计的参数函数插值缺失的高分辨率图像像素。“Context-based adaptive image resolution upconversion”(Shi,G.,Dong,W.,Wu,X.,Zhang,L.)和“An edge-guided image interpolation algorithm via directionalfiltering and data fusion”(Zhang,L.,Wu,X.)两篇文章的方法均使用线性最小均方误差估计(LMMSE)。然而，两个正交方向的边缘融合在某些情况下效果不是很好。
“New edge-directed interpolation”(Li,X.,Orchard,M.T)使用四个参数来表示丢失的高分辨率图像像素和周围LR像素之间的相关性。文中采用基于参数的最小二乘估计，但该方法并不稳定，并不能保证很好的估计效果。
发明内容
本发明提出了一种提升单帧图像分辨率的方法。
实现本发明的技术解决方案为：一种提升单帧图像分辨率的方法，具体步骤为：
步骤1、通过双三次插值方法将输入的低分辨率图像LR转换为引导图像BI；
步骤2、利用双边滤波的核函数，使用最大后验MAP估计的数学方法进行优化，确定引导图像BI中每一个像素值对应的权重；
步骤3、对每一个像素值权重进行归一化处理；
步骤4、根据归一化处理后的像素值权重，得到新的像素值H；
步骤5、将新的像素值H替换引导图像BI相应位置的像素值；
步骤6、将步骤2计算所得的权重代入引导滤波的核函数，得到引导滤波处理后的新像素值；
步骤7、将引导滤波处理后的新像素值替换步骤5得到的新图像相应位置的像素值，得到最终的输出图像。
本发明与现有技术相比，其显著优点为：将双边滤波和引导滤波特性进行结合，使得图像超分辨率的计算过程中能更有力得保持边缘。在psnr稳定提升的基础上，实现了边缘部分保持的完整性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明一种提升单帧图像分辨率的方法的局部线性模型。
图2为本发明一种提升单帧图像分辨率的方法像素位置关系示意图。
图3为本发明一种提升单帧图像分辨率的方法像素方向性关系示意图。
图4为本发明一种提升单帧图像分辨率的方法引导滤波核函数参数示意图。
具体实施方式
一种提升单帧图像分辨率的方法，具体步骤为：
步骤1、通过双三次插值方法将输入的低分辨率图像LR转换为引导图像BI；
步骤2、利用双边滤波的核函数，使用最大后验MAP估计的数学方法进行优化，确定引导图像BI中每一个像素值对应的权重：
Figure GDA0002988663890000021
式中，|H-Hi|＝Ri表示缺失像素点的像素值H与相邻像素点的像素值H之间的色彩距离，σi表示色彩距离Ri的标准差。缺失像素点的像素值H与相邻像素点的像素值Hi之间的色彩距离Ri具体为：
Figure GDA0002988663890000031
式中，
Figure GDA0002988663890000032
表示色彩距离Ri的双三次插值的数值，其中Hbic表示像素值H的双三次插值的结果，α表示
Figure GDA0002988663890000033
的系数,为常数。
步骤3、对每一个像素值权重进行归一化处理；
步骤4、根据归一化处理后的像素值权重，得到新的像素值H，具体为：
Figure GDA0002988663890000034
式中，Hi表示与新像素值H位置相邻的四个点的像素值，wi表示与新像素值H位置相邻的四个像素值对应的归一化后的像素值权重
步骤5、将新的像素值H替换引导图像BI相应位置的像素值；
步骤6、将步骤2计算所得的权重代入引导滤波的核函数，得到引导滤波处理后的新像素值，具体为：
Figure GDA0002988663890000035
其中，ak和bk是窗口wk中固定的参数，具体为：
Figure GDA0002988663890000036
Figure GDA0002988663890000037
式中，nk是窗口wk中含有的像素个数，Ii是引导图像BI在窗口内的像素值，pi是低分辨率图像在窗口内的像素值，μk是窗口内引导图像BI在窗口内的像素值的均值，
Figure GDA0002988663890000038
是窗口内低分辨率图像的像素值均值，σk 2是引导图像BI在窗口内的方差,ε表示误差因子。
步骤7、将引导滤波处理后的新像素值替换步骤5得到的新图像相应位置的像素值，得到最终的输出图像。
如图1所示为局部线性模型，对于一幅图像，一个点与其邻域内的其他点之间满足线性关系。一个函数可以被划分成无数的小区间，这些区间内的点满足y＝ax+b的线性关系。根据该模型可以简化图像各个像素点之间的关系，使得算法的复杂度大幅度降低。
双边滤波的核函数为：
Figure GDA0002988663890000041
其中，H指像素值，Hi指与像素值H相邻像素值，z与zi分别指像素值H与相邻像素值Hi的空间坐标，其为2*1的向量,σi表示色彩距离Ri的标准差。从中可以看出，相邻像素点Hi对目标像素点H的权重影响主要与两个像素点之间的像素距离和空间距离有关。
公式(1)中的
Figure GDA0002988663890000042
部分是考虑空间距离对权重的影响，结合图1所示，邻近的四个像素值Hi与目标像素值H之间的空间距离相等，并且，最终使用的权重经过了归一化处理，所以，空间距离对于4个像素点的权值没有任何影响，将这一部分省略。另外，
Figure GDA0002988663890000043
由此得到每一个像素值对应的权重计算公式：
Figure GDA0002988663890000044
式中，|H-Hi|＝Ri表示缺失像素点的像素值H与相邻像素点的像素值H之间的色彩距离，σi表示色彩距离Ri的标准差。通过此公式得到每一个像素值对应的权重，并代入引导滤波的核计算式中，得到对应的高分辨率图像的像素值，如图4所示。
公式(2)中，缺失像素点的像素值H未知，因此，需要先得知该像素点的像素值H，设Ri＝|H-Hi|表示缺失像素点的像素值H与相邻像素点的像素值Hi之间的色彩距离，并使用最大后验(MAP)估计:
Figure GDA0002988663890000045
Figure GDA0002988663890000051
其中，
Figure GDA0002988663890000052
看作常数，所以在推导过程中将其省略；
Figure GDA0002988663890000053
与Pr(Ri)均满足高斯分布，省略了代入其概率密度函数的步骤；
Figure GDA0002988663890000054
o共有8个取值，代表了对于每一个缺失像素点，其考虑相邻8个像素点距离作为估计Ri的参考，如图3所示。
将式(3)中的函数记作f(Ri)使用最小二乘法，f(Ri))对Ri求导并使导数为0，从而得到最终的色彩距离Ri,具体步骤如下：
Figure GDA0002988663890000055
Figure GDA0002988663890000056
Figure GDA0002988663890000057
步骤6中，引导滤波的原理是：输入一幅待处理的低分辨率(LR)图像，并输入一幅引导图，使用引导(BI)图对待处理图像进行滤波处理，最终得到的高分辨率(HR)图像能够在维持输入图像总体特征的基础上继承引导图像的细节特征。
如图2所示，任意选定一个半径为r的窗口，窗口内部标出的分别是高分辨率图像(HR)、低分辨率图像(LR)、引导图像(BI)中像素，这些像素点之间满足引导滤波核函数：
Figure GDA0002988663890000058
公式(5)中，其中，ak和bk是窗口wk中固定的参数。运用引导滤波的局部线性模型：在局部划分的窗口bk内部，图像的像素值之间存在着线性映射f的关系，即公式(1)。将引导图像BI的像素值Ii作为变量，低分辨率(LR)图像的像素为pi为隐含的常量，引导滤波处理后的新像素值qi是因变量。
对公式(5)两边分别取梯度，得到:
Figure GDA0002988663890000061
由此可以看出，输出的高分辨率图像(HR)与引导(BI)图在像素i处的梯度保持一致。
引导滤波中在窗口wk中的损耗函数为：
Figure GDA0002988663890000062
公式(7)中的ε是误差因子，用作辅助参数，用来控制ak的大小。为了使得输出图像的效果最好求解公式(7)，ak和bk使得图像的损耗函数最小,从而可得:
Figure GDA0002988663890000063
对公式(7)使用最小二乘估计，具体方法为：
Figure GDA0002988663890000064
Figure GDA0002988663890000065
分别对ak和bk求微分，令上述两个表达式为0，由此得到：
Figure GDA0002988663890000066
Figure GDA0002988663890000067
式(11)中，nk是窗口wk中含有的像素个数，Ii是引导图像BI在窗口内的像素值，pi是LR图像在窗口内的像素值，μk是窗口内所有Ii的均值，
Figure GDA0002988663890000068
是窗口内所有pi的均值，σk 2是BI图像在窗口内的方差。因此每个窗口的ak与bk均可以求得。
从(11)、(12)两式可以看出误差因子ε的作用。当ε＝0的时候，a＝1，b＝0是整幅图的最优解，即引导滤波对图片不进行任何处理；当ε>0的时候，0<a<1,0<b<1,并且当窗口内像素值变化很大的时候，a趋近于1，b则趋近于0，此时就等于保留了BI图的边缘特性；反之，当窗口内像素值变化很小的时候，a趋近于0，b则趋近于1，此时就等于对整个图像做了均值滤波。因此，ε起到阈值的作用，从而界定变化是大还是小。
从上可以看出，引导滤波对于边缘优良的保护特性，但将它使用在超分辨率当中有一个缺陷，就是它对于非边缘部分并不具备着很好的计算能力，同时引导图的选择也是一个比较影响效率的问题。因此，在希望保留引导滤波良好的边缘保持特性的同时，引入双边滤波，使得在边缘部分能够有所加强，并改善非边缘部分的处理效果。
对式(11)进行调整，引入使用双边滤波得到的权重，最终得到：
Figure GDA0002988663890000071
Figure GDA0002988663890000072
计算结束后，利用公式(5)得到最终的像素插值结果。

Claims (3)

1.一种提升单帧图像分辨率的方法，其特征在于，具体步骤为：
步骤1、通过双三次插值方法将输入的低分辨率图像LR转换为引导图像BI；
步骤2、使用最大后验MAP估计的数学方法对双边滤波的核函数进行优化，确定引导图像BI中每一个像素值对应的权重；
权重计算公式为：
Figure FDA0002988663880000011
式中，|H-Hi|＝Ri表示缺失像素点的像素值H与相邻像素点的像素值Hi之间的色彩距离，σi表示色彩距离Ri的标准差；
步骤3、对每一个像素值权重进行归一化处理；
步骤4、根据归一化处理后的像素值权重，得到新的像素值H；
步骤5、将新的像素值H替换引导图像BI相应位置的像素值；
步骤6、将步骤2计算所得的权重代入引导滤波的核函数，得到引导滤波处理后的新像素值；
引导滤波处理后的新像素值具体为：
Figure FDA0002988663880000012
其中，ak和bk是窗口wk中固定的参数，具体为：
Figure FDA0002988663880000013
Figure FDA0002988663880000014
式中，nk是窗口wk中含有的像素个数，Ii是引导图像BI在窗口内的像素值，pi是低分辨率图像在窗口内的像素值，μk是窗口内引导图像BI在窗口内的像素值的均值，
Figure FDA0002988663880000015
是窗口内低分辨率图像的像素值均值，
Figure FDA0002988663880000016
是引导图像BI在窗口内的方差,ε表示误差因子，wi为权重；
步骤7、将引导滤波处理后的新像素值替换步骤5得到的新图像相应位置的像素值，得到最终的输出图像。
2.根据权利要求1 所述的提升单帧图像分辨率的方法，其特征在于，色彩距离Ri的标准差σi＝0.25。
3.根据权利要求1所述的提升单帧图像分辨率的方法，其特征在于，步骤4中得到的新像素值H具体为：
Figure FDA0002988663880000021
式中，Hi表示与新像素值H位置相邻的四个点的像素值，wi表示与新像素值H位置相邻的四个像素值对应的归一化后的像素值权重。
CN201711147426.XA 2017-11-17 2017-11-17 一种提升单帧图像分辨率的方法 Active CN107909545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711147426.XA CN107909545B (zh) 2017-11-17 2017-11-17 一种提升单帧图像分辨率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711147426.XA CN107909545B (zh) 2017-11-17 2017-11-17 一种提升单帧图像分辨率的方法

Publications (2)

Publication Number Publication Date
CN107909545A CN107909545A (zh) 2018-04-13
CN107909545B true CN107909545B (zh) 2021-05-14

Family

ID=61846127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711147426.XA Active CN107909545B (zh) 2017-11-17 2017-11-17 一种提升单帧图像分辨率的方法

Country Status (1)

Country Link
CN (1) CN107909545B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258424B (zh) * 2020-11-18 2021-10-22 西安邮电大学 各向异性高斯边窗核约束的图像引导滤波方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561194A (zh) * 2013-09-16 2014-02-05 湖南大学 一种基于自适应滤波的扫描图像去网纹方法
CN105590303A (zh) * 2014-10-20 2016-05-18 Tcl集团股份有限公司 一种增加图像分辨率的方法和系统
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法
WO2016189901A1 (ja) * 2015-05-22 2016-12-01 三菱電機株式会社 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
CN107038684A (zh) * 2017-04-10 2017-08-11 南京信息工程大学 一种提升微波成像仪空间分辨率的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722863B (zh) * 2012-04-16 2014-05-21 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
US9076236B2 (en) * 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
CN106408513B (zh) * 2016-08-25 2019-10-18 天津大学 深度图超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561194A (zh) * 2013-09-16 2014-02-05 湖南大学 一种基于自适应滤波的扫描图像去网纹方法
CN105590303A (zh) * 2014-10-20 2016-05-18 Tcl集团股份有限公司 一种增加图像分辨率的方法和系统
WO2016189901A1 (ja) * 2015-05-22 2016-12-01 三菱電機株式会社 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法
CN107038684A (zh) * 2017-04-10 2017-08-11 南京信息工程大学 一种提升微波成像仪空间分辨率的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Analysis and Improvement of Joint Bilateral Upsampling for Depth Image Super-Resolution;Yibing Song et.al;《IEEE》;20161124;1-5 *
Depth Image Super-resolution Reconstruction Based on Filter Fusion;Ying He et.al;《NINTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE PROCESSING (ICDIP 2017)》;20170727;第10420卷;543-555 *
图像超分辨率重建算法研究;杨宇翔;《中国博士学位论文全文数据库信息科技辑（月刊）》;20131015(第 10 期);I138-38 *
基于联合双边滤波的深度图像增强算法;刘金荣等;《计算机工程》;20140315;第40卷(第3期);249-257 *

Also Published As

Publication number Publication date
CN107909545A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
Liu et al. Image interpolation via regularized local linear regression
JP5331486B2 (ja) デジタル画像の解像度向上方法及び装置
KR101728088B1 (ko) 콘트라스트 개선
CN108830812B (zh) 一种基于网格结构深度学习的视频高帧率重制方法
Kim et al. AGARNet: Adaptively gated JPEG compression artifacts removal network for a wide range quality factor
WO2020253103A1 (zh) 视频图像处理方法、装置、设备及存储介质
Dai et al. Dictionary-based multiple frame video super-resolution
CN105631854A (zh) 一种基于fpga平台的自适应图像清晰度评价算法
JP2011524714A (ja) スパース変換を使用する画像／ビデオ品質向上及び超解像
Jakhetiya et al. Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework
JP4399449B2 (ja) 画像ノイズ低減システム、画像ノイズ低減方法およびコンピュータ・プログラム
Lukàč et al. LUM smoother with smooth control for noisy image sequences
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
CN107909545B (zh) 一种提升单帧图像分辨率的方法
CN105184742A (zh) 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法
CN112801879B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
Yang et al. Super-resolution image reconstruction using fractional-order total variation and adaptive regularization parameters
Singh et al. Content adaptive single image interpolation based Super Resolution of compressed images
JP4600993B2 (ja) 自由視点映像生成システム
CN116503686A (zh) 图像矫正模型的训练方法、图像矫正方法、装置及介质
US10715802B2 (en) Method for encoding/decoding video signal by using single optimized graph
Ashiba et al. Adaptive least squares interpolation of infrared images
CN110599466B (zh) 一种成分投影优化分离的高光谱异常探测方法
CN103618904A (zh) 基于像素的运动估计方法及装置
CN101268623B (zh) 用于创建可变形状区块的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant