CN111882486B - 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法 - Google Patents

一种基于低秩先验信息的混合分辨率多视点视频超分辨方法 Download PDF

Info

Publication number
CN111882486B
CN111882486B CN202010570081.4A CN202010570081A CN111882486B CN 111882486 B CN111882486 B CN 111882486B CN 202010570081 A CN202010570081 A CN 202010570081A CN 111882486 B CN111882486 B CN 111882486B
Authority
CN
China
Prior art keywords
resolution
low
video
frame
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010570081.4A
Other languages
English (en)
Other versions
CN111882486A (zh
Inventor
卢少平
李森茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010570081.4A priority Critical patent/CN111882486B/zh
Publication of CN111882486A publication Critical patent/CN111882486A/zh
Application granted granted Critical
Publication of CN111882486B publication Critical patent/CN111882486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于低秩先验信息的混合分辨率多视点视频超分辨方法，属于图像和视频处理技术领域。混合分辨率多视点视频是由多路多视点视频组成，包括多路低分辨率视频和多路高分辨率视频，所提出的超分辨率方法的目的是利用高分辨率视频的纹理等信息来重构低分辨率视频，同时将图像\视频的低秩先验作为约束条件。该方法提出了一种新的混合多视点超分辨的方法，该方法考虑到多视点视频间包含着许多相似的信息，该方法基于流形嵌入的思想充分利用高分辨率视频的纹理等信息，同时利用低秩先验信息来抑制噪声。该方法充分利用了高分辨率视频的纹理等信息，同时有效的抑制了噪声，有效地对低分辨率视频进行了重构。

Description

一种基于低秩先验信息的混合分辨率多视点视频超分辨方法
技术领域
本发明属于图像和视频处理技术领域，特别涉及到一种基于低秩先验信息和流形嵌入的多视点视频的超分辨方法。
背景技术
3D电影\游戏、虚拟现实等技术都会涉及到多视点视频，但是由于硬件和带宽等的限制，往往多视点的多路视频不都是高分辨率的，而通常都只能获取既包含高分辨率也包含低分辨率的多路混合多视点视频。当获取混合多视点视频后，为了满足某些需要，就需要基于获取的混合多视点视频来重构其中的低分辨率视频，也就是为低分辨率视频作超分辨重构。
图像\视频超分辨是计算机视觉中的基本任务，其目的是由给定的低分辨率图像\视频重构出对应的高分辨率图像，使重构效果尽量符合高分辨率图像的质量和视觉要求，在传统的超分辨重构的过程中通常基于一定的先验知识，如梯度、几何、稀疏、低秩等。超分辨任务可以分为单图像超分辨和多图像超分辨。通常，单图像超分辨基于一定的先验知识对低分辨率图像进行重构，由于除了低分辨率图像外没有其他图像信息可以利用，所以重构效果取决于是否可以有效地利用先验知识。2010年Yang等人利用自然图像的稀疏先验[1]，在数据集上训练有关低分辨率和高分辨率图像对的字典，然后基于训练字典对低分辨率图像进行重构，2015年Huang等人利用图像自身的多尺度相似图像块对低分辨率图像进行重构[3]。近几年，随着深度学习的快速发展，卷积神经网络(ConvolutioanlNeuralNetworts,CNN)被用于解决图像超分辨问题，C.Dong等人第一次将CNN用于解决图像超分辨问题[4]，效果有很大的提升。随后，更加复杂的生成对抗网络(Generating adversarialnetworks,GAN)和残差网络(Residual Networks,ResNet)用来对低分辨率图像做超分辨，C.ledig等人将GAN用于超分辨[6]，虽然传统的重构质量评测指标PSNR和SSIM在该方法中的数值不是很高，但是视觉效果比一些评测指标高的超分辨方法要好，所以该方法的主观评测数值很高，B.Lim等人将ResNet用于超分辨[7]，虽然减少了参数量，但是还是需要很长的训练时间。为了学习更加抽象的特征，J.Kim等人使用更深层的CNN[8]，虽然得到了更好的重构效果，但是网络复杂度和网路参数都会大大提高，从而增加训练时间。基于深度学习的方法虽然取得了一定效果，但是需要大量的训练数据和很长的训练时间。
当输入为多路混合多视点视频时，如何有效地利用高分辨率视频是关键问题。T.Richter等人2016年在IEEE Transactions on Image Processing上发表了一篇基于混合多视点视频加深度信息的超分辨工作[10]，该工作利用RGB图像与深度图将高分辨率视频信息转移到低分辨率图像中，从而达到重构的目的。该方法的效果在很大程度上取决于深度图的质量，当深度图像不是很准确性时，重构效果会受到很大影响，而且还需要考虑没有深度图的情况。
发明内容
本发明目的是解决现有混合多视点视频重构方法存在的十分依赖深度图的问题，提出一种有效的重构方法。该方法只使用输入的多路多视点RGB图像，而不需要深度图像，来重构低分辨率视频，同时提出一种基于梯度的混合多视点质量评测方法。
本发明的技术方案
基于低秩先验的混合多视点视频的超分辨方法，该方法充分利用多视点视频间的相似的，利用高分辨纹理来重构低分辨纹理，同时利用低秩先验信息来抑制块噪声。具体包括以下步骤：
a.输入低分辨率视频与邻近高分辨率视频：对于需要重构的一路低分辨率视频，重构第t帧时，为了充分利用时间上的相关性，该方法利用已经重构好的t-1帧，同时利用多路邻近高分辨率视点的第t帧和第t-1帧；
b.相关性学习：利用局部线性嵌入(LLE)的思想，将低分辨率视频帧(块)所在流形空间中的相关性迁移到高分辨率视频帧(块)所在的流形空间中，从而利用第t-1和t高分辨率视频帧和学到的相关性来重构第t帧低分辨率视频帧；
c.抑制块噪声：利用视频帧(或视频帧中的图像块)之间的低秩先验信息，来抑制基于块处理而产生的块噪声；
d.：对于要重构的低分辨率视频的第1帧，只使用相邻高分辨率图像的第1帧和第2帧来重构。
本发明首先获取重构低分辨率视频帧与相关高分辨率视频帧对应低分辨率视频帧的相关性(矩阵)，然后将这一相关性用于低分辨率视频帧的重构。利用视频帧的(块)低秩先验，有效地抑制重构过程中所产生的块噪声。同时，提出一种基于梯度的用于混合多视点视频重构的质量评测方法。
本发明的优点和有益效果：
本发明的重构方法有效地利用了混合多视点中的高分辨率视频，并且有效的抑制了块噪声。相比于传统的混合多视点重构方法，只使用RGB图像而不需要深度图像。相比于深度学习方法，不需要训练数据，只使用输入的混合多视点视频即可。
附图说明
图1为本发明设计的混合多视点重构流程示意图，包括利用LLE和低秩先验来进行视频重构与噪声抑制。
图2、图3为基于低秩先验的混合多视点超分辨方法与其他经典超分辨结果对比，对比方法包括经典传统方法与基于深度学习的方法。
图4为本发明所提出的基于梯度的重构质量评测方法对不同超分辨方法的对比。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。
参照图1，表示基于低秩先验的混合多视点视频的超分辨的重构流程图，利用两路高分辨率视频重构中间一路低分辨率视频的方法如下：
a.输入低分辨率视频与邻近高分辨率视频：如图1中的输入所示，输入视点ctar一路低分辨率视频，输入视点c1和c2两路高分辨率视频，对于低分辨视频的每一帧，利用空间和时间上的高分辨率视频帧来重构。具体来说，重构第t帧低分辨率视频帧时，需要视点c1和c2的第t-1帧和第t帧，同时还需要视点ctar第t-1帧的重构帧，也就是重构低分辨视频的每一帧需要近邻视点的5帧，这是为了同时考虑时间和空间的相关性。
b.相关性学习：为了学习第t帧低分辨率视频帧与邻近高分辨率视频帧的相关性(矩阵)，首先将高分辨率视频帧退化为低分辨率视频帧，利用局部线性嵌入(Local LinearEmbedding，LLE)的思想，就可以得到低分辨率视频帧与邻近低分辨率视频帧的相关性(矩阵)。将学到的相关性(矩阵)直接迁移到对应高分辨率视频帧，这样就可以利用第t-1和t高分辨率视频帧和学到的相关性来重构第t帧低分辨率视频帧。
c.抑制块噪声：对于通过相关性迁移得到的重构视频帧，存在块噪声，利用视频帧(或分离出的图像块)之间的低秩性，来抑制块噪声，增强视觉效果。
d.对于要重构的低分辨率视频的第1帧，由于没有时间先关性的帧可以利用，只使用相邻高分辨率图像的第1帧和第2帧来重构。
参照图2和图3，本发明所提方法与经典传统方法和深度学习方法进行对比，传统方法包括Bicubic，ScSR[1]，Kim[2]和SelfSR[3]，深度学习方法包括基于CNN(SRCNN[4]、VDSR[5])，基于ResNet(SRResNet[6]、EDSR[7]、RCAN[8])，基于GAN(SRGAN[6]、ESRGAN[9])。本发明设计的新的方法只使用RGB视频帧进行重构，使用LLE和低秩先验有效地重构纹理信息并抑制噪声，获得更好的客观数值评测和视觉效果。
参照图4，本发明提出一种新的基于梯度的多视点重构质量评测方法。PSNR峰值信噪比和SSIM结构相似性评测指标都要依赖于真值图，当真值图没有给出时(或不存在)，这些方法就会失效。本发明根据多视点视频的在梯度域的联系，提出一种使用多视点高分辨率视频基于梯度的评测方法。当真值图存在时，评测方式定义为：
Figure BDA0002549261780000051
其中，
Figure BDA0002549261780000052
和
Figure BDA0002549261780000053
为重构图像与真值图在水平方向和垂直方向上的梯度分布的均方根误差，
Figure BDA0002549261780000054
和
Figure BDA0002549261780000055
被用来计算水平方向和垂直方向的梯度分布范围。其中
Figure BDA0002549261780000056
Figure BDA0002549261780000057
Figure BDA0002549261780000058
和
Figure BDA0002549261780000059
分别表示重构图像相比于真值图的归一化梯度分布分为的包含部分和超出部分，
Figure BDA00025492617800000510
类似。当真值图不存在时，将上述公式中的IHR替换为多视点高分辨率图像，求均值即可：
Figure BDA00025492617800000511
其中，
Figure BDA0002549261780000061
是邻近视点与重构视点的标准化距离。
图4给出了本发明基于梯度的重构质量评测方法对不同超分辨方法的对比，其中图4(1)说明：同一场景不同视点的梯度分布有很高地相似性，这一特性为使用邻近视点进行质量评估提供了可能性；
图4(2)说明：不同超分辨方法的重构质量不同，重构图像的梯度分布也不同，且重构质量较好的图像其对应的梯度分布与真值更加接近，而重构质量较差的图像其梯度分布更加远离真值。我们方法的分布曲线与真值更加接近，说明我们方法的重构结果更接近真值；
图4(3)说明：不同超分辨方法对应重构图像梯度分布的累加和，我们方法的分布曲线与真值更加接近，说明我们方法的重构结果更接近真值。
参考文献
[1]J.Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolution viasparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,2010.
[2]K.I.Kim and Y.Kwon,“Single-image super-resolution using sparseregression and natural image prior,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.32,no.6,pp.1127–1133,2010.
[3]J.-B.Huang,A.Singh,and N.Ahuja,“Single image super-resolution fromtransformed self-exemplars,”in Proc.CVPR,2015,pp.5197–5206.
[4]C.Dong,C.C.Loy,K.He,and X.Tang,“Image super-resolution using deepconvolutional networks,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.38,no.2,pp.295–307,2016.
[5]J.Kim,J.Kwon Lee,and K.Mu Lee,“Accurate image super-resolutionusing very deep convolutional networks,”in Proc.CVPR,2016,pp.1646–1654.
[6]C.Ledig,L.Theis,F.Husz′ar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang et al.,“Photo-realistic single image super-resolution using a generative adversarial network,”in Proc.CVPR,2017,pp.4681–4690.
[7]B.Lim,S.Son,H.Kim,S.Nah,and K.Mu Lee,“Enhanced deep residualnetworks for single image super-resolution,”in Proc.CVPR Workshops,2017,pp.136–144.
[8]Y.Zhang,K.Li,K.Li,L.Wang,B.Zhong,and Y.Fu,“Image super resolutionusing very deep residual channel attention networks,”in Proc.ECCV,2018,pp.286–301.
[9]X.Wang,K.Yu,S.Wu,J.Gu,Y.Liu,C.Dong,Y.Qiao,and C.Change Loy,“Esrgan:Enhanced super-resolution generative adversarial networks,”inProc.ECCV,2018,pp.63–79.
[10]T.Richter,J.Seiler,W.Schnurrer,and A.Kaup,“Robust superresolutionformixed-resolution multiview image plus depth data,”IEEE Trans.CircuitsSyst.Video Technol.,vol.26,no.5,pp.814–828,2016.

Claims (5)

1.一种基于低秩先验信息的混合分辨率多视点视频超分辨方法，其特征在于充分利用多视点视频间的相似性，利用高分辨纹理来重构低分辨纹理，同时利用低秩先验信息来抑制块噪声，所述方法包括如下步骤：
a. 输入低分辨率视频与邻近高分辨率视频：对于需要重构的一路低分辨率视频，重构第t帧时，为了充分利用时间上的相关性，该方法利用已经重构好的t-1帧，同时利用多路邻近高分辨率视点的第t帧和第t-1帧；
b.相关性学习：利用局部线性嵌入的思想，将低分辨率视频帧或块所在流形空间中的相关性迁移到高分辨率视频帧或块所在的流形空间中，从而利用第t-1和t高分辨率视频帧和学到的相关性来重构第t帧低分辨率视频帧；
c．抑制块噪声：利用视频帧或视频帧中的图像块之间的低秩先验，来抑制基于块处理而产生的块噪声；
d.对于要重构的低分辨率视频的第1帧，只使用相邻高分辨率图像的第1帧和第2帧来重构。
2.根据权利要求1所述的基于低秩先验信息的混合分辨率多视点视频超分辨方法，其特征在于：步骤b中所述将低分辨率视频帧或块所在流形空间中的相关性迁移到高分辨率视频帧或块所在的流形空间中，该方法首先获取重构低分辨率视频帧与相关高分辨率视频帧对应低分辨率视频帧的相关性矩阵，然后将这一相关性用于低分辨率视频帧的重构。
3.根据权利要求1所述的基于低秩先验信息的混合分辨率多视点视频超分辨方法，其特征在于：步骤c中所述抑制块噪声的方法是，利用视频帧或块的低秩先验，有效地抑制重构过程中所产生的块噪声。
4.根据权利要求1所述的基于低秩先验信息的混合分辨率多视点视频超分辨方法，其特征在于：步骤a中，重构低分辨率视频要同时考虑时间和空间的相关性。
5.根据权利要求4所述的基于低秩先验信息的混合分辨率多视点视频超分辨方法，其特征在于：重构低分辨率视频的每一帧需要邻近视点的5帧。
CN202010570081.4A 2020-06-21 2020-06-21 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法 Active CN111882486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010570081.4A CN111882486B (zh) 2020-06-21 2020-06-21 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010570081.4A CN111882486B (zh) 2020-06-21 2020-06-21 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法

Publications (2)

Publication Number Publication Date
CN111882486A CN111882486A (zh) 2020-11-03
CN111882486B true CN111882486B (zh) 2023-03-10

Family

ID=73156515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010570081.4A Active CN111882486B (zh) 2020-06-21 2020-06-21 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法

Country Status (1)

Country Link
CN (1) CN111882486B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033962A2 (en) * 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for encoding video signals using motion compensated example-based super-resolution for video compression
CN103051894A (zh) * 2012-10-22 2013-04-17 北京航空航天大学 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN104079914A (zh) * 2014-07-02 2014-10-01 山东大学 基于深度信息的多视点图像超分辨方法
CN107809630A (zh) * 2017-10-24 2018-03-16 天津大学 基于改进虚拟视点合成的多视点视频超分辨率重建算法
CN108989731A (zh) * 2018-08-09 2018-12-11 复旦大学 一种提高视频空间分辨率的方法
WO2019110560A1 (en) * 2017-12-08 2019-06-13 Institut Mines Telecom Devices and methods for video reconstruction from multiple source videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033962A2 (en) * 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for encoding video signals using motion compensated example-based super-resolution for video compression
CN103051894A (zh) * 2012-10-22 2013-04-17 北京航空航天大学 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN104079914A (zh) * 2014-07-02 2014-10-01 山东大学 基于深度信息的多视点图像超分辨方法
CN107809630A (zh) * 2017-10-24 2018-03-16 天津大学 基于改进虚拟视点合成的多视点视频超分辨率重建算法
WO2019110560A1 (en) * 2017-12-08 2019-06-13 Institut Mines Telecom Devices and methods for video reconstruction from multiple source videos
CN108989731A (zh) * 2018-08-09 2018-12-11 复旦大学 一种提高视频空间分辨率的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Manifold Learning Based Super Resolution for Mixed-Resolution Multi-view Video in Visual Internet of Things;Yuan Zhou，et al;《International Conference on Artificial Intelligence for Communications and Networks》;20190705;正文第486-495页 *
图像及多视点视频超分辨率重建算法研究;张业达;《中国优秀硕士学位论文全文数据库》;20200615;I138-942 *

Also Published As

Publication number Publication date
CN111882486A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Rakotonirina et al. ESRGAN+: Further improving enhanced super-resolution generative adversarial network
Niklaus et al. Video frame interpolation via adaptive convolution
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Wang et al. Omni aggregation networks for lightweight image super-resolution
CN112581593B (zh) 神经网络模型的训练方法及相关设备
Jain et al. Efficient stereo-to-multiview synthesis
Richter et al. Robust super-resolution for mixed-resolution multiview image plus depth data
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
Yang et al. MSE-Net: generative image inpainting with multi-scale encoder
Dong et al. A colorization framework for monochrome-color dual-lens systems using a deep convolutional network
Zhang et al. Recurrent interaction network for stereoscopic image super-resolution
CN113870130A (zh) 基于三维全变分和Tucker分解的低秩张量补全方法
CN111882486B (zh) 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法
Fu et al. MonoNeRF: learning generalizable NeRFs from monocular videos without camera poses
CN109087247B (zh) 一种对立体图像进行超分的方法
Zhang et al. Multi-layer and Multi-scale feature aggregation for DIBR-Synthesized image quality assessment
Liu et al. Dnt: Learning unsupervised denoising transformer from single noisy image
CN114463237A (zh) 基于全局运动补偿和帧间时域关联性的实时视频去雨方法
Zhang et al. As-Deformable-As-Possible Single-image-based View Synthesis without Depth Prior
Xiao et al. No-reference quality assessment of stereoscopic video based on deep frequency perception
Zhang et al. AFD-Former: A Hybrid Transformer With Asymmetric Flow Division for Synthesized View Quality Enhancement
Li et al. Dynamic Grouped Interaction Network for Low-Light Stereo Image Enhancement
Wang et al. Local and nonlocal flow-guided video inpainting
Liu Lightweight single image super-resolution by channel split residual convolution
Liu et al. Stereoscopic view synthesis based on region-wise rendering and sparse representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant