CN114926335A - 基于深度学习的视频超分辨率方法及系统、计算机设备 - Google Patents
基于深度学习的视频超分辨率方法及系统、计算机设备 Download PDFInfo
- Publication number
- CN114926335A CN114926335A CN202210551197.2A CN202210551197A CN114926335A CN 114926335 A CN114926335 A CN 114926335A CN 202210551197 A CN202210551197 A CN 202210551197A CN 114926335 A CN114926335 A CN 114926335A
- Authority
- CN
- China
- Prior art keywords
- frame
- resolution
- optical flow
- video
- resolution optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 91
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
Abstract
本发明公开一种基于深度学习的视频超分辨率方法及系统、计算机设备，该方法首先利用低分辨率高帧率视频序列中的目标帧和它的邻近帧计算得到初始目标帧；然后根据目标帧与设定的关键帧进行高分辨率光流估计，并利用该高分辨率光流估计结果对高分辨率低帧率视频序列中的对应关键帧进行运动补偿；继而对补偿后的图像帧进行特征提取得到细节特征图；最后将初始目标帧与细节特征图进行加权聚合，得到最终的高分辨率目标帧，其中加权权重根据高分辨率光流计算获得。本发明通过不同视频序列的信息融合，有效解决了现有技术生成的高分辨率高帧率视频中细节特征不真实的问题。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其是一种基于深度学习的视频超分辨率方法及系统、计算机设备。
背景技术
高分辨率高帧率视频的获取在诸多领域有着重要的应用前景，例如：超清视频影像的录制、航空航天视频遥感、高速微小目标检测等等。然而，摄像机若同时满足高分辨率和高帧率的采集要求，则需要更昂贵的记录、传输、存储等硬件设备。在成本的限制下，摄像机可以通过牺牲帧率或者分辨率来满足特定应用场景的需要，也就是常见的高清摄像机和高速摄像机。
在视频图像处理技术领域，视频超分辨率算法能够对高速摄像机采集的低分辨率高帧率视频进行重建，显著提高视频序列中单帧图像的空间分辨率，从而生成高分辨率高帧率视频。当前，最为前沿的视频超分辨率技术大多采用基于深度学习的方法。
从原理上分析，视频超分辨率的结果是根据原视频图像的空域和时域关系推断获得，但这种时空约束不足以重建所有缺失的真实信息，致使生成的高清细节信息缺乏真实性，与真正的高清图像差异较大。
发明内容
本发明提供一种基于深度学习的视频超分辨率方法及系统、计算机设备，用于克服现有技术中生成的高分辨率高帧率视频中细节特征不真实等缺陷。
为实现上述目的，本发明提出一种基于深度学习的视频超分辨率方法，包括以下步骤：
获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；
根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
为实现上述目的，本发明还提出一种基于深度学习的视频超分辨率系统，包括：
视频超分辨率模块，用于获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
高分辨率光流估计模块，用于设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
运动补偿模块，用于利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
特征提取模块，用于利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
权重估计模块，用于根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
加权模块，用于根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
与现有技术相比，本发明的有益效果有：
本发明提供的基于深度学习的视频超分辨率方法首先利用低分辨率高帧率视频序列(基础序列)中的目标帧和它的邻近帧计算得到初始目标帧；然后根据目标帧与设定的关键帧进行高分辨率光流估计，并利用该高分辨率光流估计结果对高分辨率低帧率视频序列(参考序列)中的对应关键帧进行运动补偿；继而对补偿后的图像帧进行特征提取得到细节特征图；最后将初始目标帧与细节特征图进行加权聚合，得到最终的高分辨率目标帧，其中加权权重根据高分辨率光流计算获得。本发明通过不同视频序列的信息融合，有效解决了现有技术生成的高分辨率高帧率视频中细节特征不真实的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于深度学习的视频超分辨率方法的流程图；
图2为本发明提供的基于深度学习的视频超分辨率方法的原理图；
图3为本发明中基础序列与参考序列示意图；
图4为本发明的方法与其它方法的处理效果对比；其中，左上角的图为真实高分辨率视频帧，右上角的图为现有Bicubic插值算法处理后的图，左下角的图为现有SOF-VSR算法处理后的图，右下角的图为本发明提供的方法处理后的图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于深度学习的视频超分辨率方法，如图1和2所示，包括以下步骤：
101：获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列(如图3所示)；对基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；
102：根据基础序列中的目标帧，以及目标帧的前一帧和后一帧，计算获得初始目标帧；
103：设定目标帧的前关键帧和后关键帧，利用目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
104：利用第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与初始目标帧特征对齐的第一图像帧；利用第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与初始目标帧特征对齐的第二图像帧；
105：利用多层残差网络分别对第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
106：根据第一高分辨率光流和第二高分辨率光流，分别计算得到第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
107：根据第一加权系数与第二加权系数，对初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
本发明通过不同视频序列的信息融合，有效解决了现有技术生成的高分辨率高帧率视频中细节特征不真实的问题。
本发明采用深度学习的方法，因此需要对视频超分辨率处理模型进行训练，然后才能处理实际的应用数据。本发明可以在常见的视频超分辨率公共数据集上进行训练和测试，包括但不限于VID4、Vimeo-90k、REDS等数据集。
在其中一个实施例中，对于步骤101，对基础序列和参考序列进行预处理，包括：
对基础序列和参考序列进行单帧拆分，生成视频帧序列；
将视频帧序列中的单帧图像由RGB颜色空间转换到YCbCr颜色空间，
在下一个实施例中，对于步骤102，根据基础序列中的目标帧
以及目标帧的前一帧
和后一帧
计算获得初始目标帧
初始目标帧
的分辨率与基础序列VLRHF的分辨率相同。
步骤102中具体的算法可进行替换，可适用各种视频超分辨率算法，包括但不限于Caballero等的VESPCN算法、Xue T等的ToFlow算法和Wang L等的SOF-VSR算法。
本实施例中具体计算为，
式中，
为初始目标帧；
为T时刻对应VLRHF的帧；
为T-1时刻对应VLRHF的帧；
为T+1时刻对应VLRHF的帧。
在另一个实施例中，对于步骤103，利用目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流，
利用目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流，
式中，
为T时刻对应VLRHF的帧，VLRHF为基础序列；
和
分别为TFKF和TPKF时刻VLRHF的前关键帧和后关键帧；
和
分别为第一高分辨率光流和第二高分辨率光流。
第一高分辨率光流
和第二高分辨率光流
的分辨率与参考序列VHRLF的分辨率相同。
高分辨率光流估计采用金字塔式多级估计模式，同时在最后一层级引用了图像超分辨率的思想，不同于Wang L等的SOF-VSR算法中的光流估计模块，本发明采用了更多层级，能够更精确地估计大幅度的物体运动。
在下一个实施例中，对于步骤104，利用第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与初始目标帧特征对齐的第一图像帧，
利用第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与初始目标帧特征对齐的第二图像帧，
式中，
和
分别为第一图像帧和第二图像帧；
和
分别为第一高分辨率光流和第二高分辨率光流；
和
分别为TFKF和TPKF时刻VHRLF的前关键帧和后关键帧，VHRLF为参考序列。
在某一个实施例中，对于步骤105，利用多层残差网络分别对第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图，
式中，
和
分别为第一细节图和第二细节图；
和
分别为第一图像帧和第二图像帧。
在另一个实施例中，对于步骤106，根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数，
式中，ωF和ωP分别为第一加权系数和第二加权系数；
和
分别为第一高分辨率光流和第二高分辨率光流；
表示L1范数。满足约束ωF+ωP＝1。
在下一个实施例中，对于步骤107，根据第一加权系数与第二加权系数，对初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧，
式中，
为高分辨率高帧率的视频帧；
为初始目标帧；ωF和ωP分别为第一加权系数和第二加权系数；
和
分别为第一细节图和第二细节图。
在某个实施例中，对于步骤107，高分辨率高帧率的视频帧，之后还包括：
将所述视频帧的Cb、Cr两个颜色通道进行Bicubic插值；
以所述视频帧作为Y通道，与插值后的Cb、Cr颜色通道组合，并转换到RGB颜色空间，得到高分辨率的彩色视频帧，
对比实验及结果。
以下对本发明提供的方法、Bicubic插值算法、以及Wang L等的SOF-VSR算法(WangL等(Wang L,Guo Y,Liu L,et al.Deep Video Super-Resolution using HR OpticalFlow Estimation[J].IEEE Transactions on Image Processing,2020,PP(99):1-1.)提出了一种基于高分辨率光流估计的视频超分辨率算法)进行结果对比，并使用超分辨率研究领域常用的峰值信噪比(PSNR)和结构相似性(SSIM)作为评价指标，具体如表1所示。
对比实验使用VID4数据集，分辨率放大倍数为4。由表1可见，相比其它方法，本发明提供的方法的评价指标更高，表示处理后的视频帧细节部分更丰富，同时与真实的高分辨率视频帧相似度更高。
表1本发明提供的方法与现有技术的对比结果表
图4为本发明的方法与其它方法的处理效果对比。其中，左上角的图为VID4数据集中calendar视频的一张真实高分辨率视频帧，右上角的图为现有Bicubic插值算法处理后的图，左下角的图为现有SOF-VSR算法处理后的图，右下角的图为本发明提供的方法处理后的图。对比各方法处理后视频帧中的日期、星期、标牌字母等细节部分，本发明提供的方法的结果中图像的细节部分更丰富也更清晰，因此可以证明本发明能够更有效地重建真实的高分辨率细节。
本发明还提出一种基于深度学习的视频超分辨率系统，包括：
视频超分辨率模块，用于获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理；根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
高分辨率光流估计模块，用于设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
运动补偿模块，用于利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
特征提取模块，用于利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
权重估计模块，用于根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
加权模块，用于根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于深度学习的视频超分辨率方法，其特征在于，包括以下步骤：
获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；
根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
2.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，对所述基础序列和参考序列进行预处理，包括：
对所述基础序列和参考序列进行单帧拆分，生成视频帧序列；
将视频帧序列中的单帧图像由RGB颜色空间转换到YCbCr颜色空间。
3.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流，
利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流，
式中，
为T时刻对应VLRHF的目标帧，VLRHF为基础序列；
和
分别为TFKF和TPKF时刻VLRHF的前关键帧和后关键帧；
和
分别为第一高分辨率光流和第二高分辨率光流。
4.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧，
利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧，
式中，
和
分别为第一图像帧和第二图像帧；
和
分别为第一高分辨率光流和第二高分辨率光流；
和
分别为TFKF和TPKF时刻VHRLF的前关键帧和后关键帧，VHRLF为参考序列。
5.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图，
式中，
和
分别为第一细节图和第二细节图；
和
分别为第一图像帧和第二图像帧。
6.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数，
式中，ωF和ωP分别为第一加权系数和第二加权系数；
和
分别为第一高分辨率光流和第二高分辨率光流；
表示L1范数。
7.如权利要求1所述的基于深度学习的视频超分辨率方法，其特征在于，根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧，之后还包括：
将所述视频帧的Cb、Cr两个颜色通道进行Bicubic插值；
以所述视频帧作为Y通道，与插值后的Cb、Cr颜色通道组合，并转换到RGB颜色空间，得到高分辨率的彩色视频帧。
8.一种基于深度学习的视频超分辨率系统，其特征在于，包括：
视频超分辨率模块，用于获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
高分辨率光流估计模块，用于设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
运动补偿模块，用于利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
特征提取模块，用于利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
权重估计模块，用于根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
加权模块，用于根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210551197.2A CN114926335B (zh) | 2022-05-20 | 2022-05-20 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210551197.2A CN114926335B (zh) | 2022-05-20 | 2022-05-20 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926335A true CN114926335A (zh) | 2022-08-19 |
| CN114926335B CN114926335B (zh) | 2024-08-20 |
Family
ID=82809141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210551197.2A Active CN114926335B (zh) | 2022-05-20 | 2022-05-20 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926335B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116527833A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 一种基于超分模型的高清视频生成方法及系统 |
| WO2024140472A1 (zh) * | 2022-12-26 | 2024-07-04 | 华为技术有限公司 | 一种视频生成方法及相关设备 |
| WO2024179078A1 (zh) * | 2023-02-28 | 2024-09-06 | 万有引力（宁波）电子科技有限公司 | 一种融合显示方法、系统以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008312163A (ja) * | 2007-06-18 | 2008-12-25 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| US20190206026A1 (en) * | 2018-01-02 | 2019-07-04 | Google Llc | Frame-Recurrent Video Super-Resolution |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
-
2022
- 2022-05-20 CN CN202210551197.2A patent/CN114926335B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008312163A (ja) * | 2007-06-18 | 2008-12-25 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| US20190206026A1 (en) * | 2018-01-02 | 2019-07-04 | Google Llc | Frame-Recurrent Video Super-Resolution |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘村;李元祥;周拥军;骆建华;: "基于卷积神经网络的视频图像超分辨率重建方法", 计算机应用研究, no. 04, 9 February 2018 (2018-02-09) * |
| 林琦;陈婧;曾焕强;朱建清;蔡灿辉;: "基于多尺度特征残差学习卷积神经网络的视频超分辨率方法", 信号处理, no. 01, 25 January 2020 (2020-01-25) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024140472A1 (zh) * | 2022-12-26 | 2024-07-04 | 华为技术有限公司 | 一种视频生成方法及相关设备 |
| WO2024179078A1 (zh) * | 2023-02-28 | 2024-09-06 | 万有引力（宁波）电子科技有限公司 | 一种融合显示方法、系统以及存储介质 |
| CN116527833A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 一种基于超分模型的高清视频生成方法及系统 |
| CN116527833B (zh) * | 2023-07-03 | 2023-09-05 | 清华大学 | 一种基于超分模型的高清视频生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926335B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN114926335A (zh) | 基于深度学习的视频超分辨率方法及系统、计算机设备 | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN108304755B (zh) | 用于图像处理的神经网络模型的训练方法和装置 | |
| CN108961186B (zh) | 一种基于深度学习的老旧影片修复重制方法 | |
| CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
| CN104867111B (zh) | 一种基于分块模糊核集的非均匀视频盲去模糊方法 | |
| CN110956581B (zh) | 一种基于双通道生成-融合网络的图像模态变换方法 | |
| CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN109614933B (zh) | 一种基于确定性拟合的运动分割方法 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN114170286A (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| CN111105354A (zh) | 基于多源深度残差网络的深度图像超分辨率方法及装置 | |
| WO2023206343A1 (zh) | 一种基于图像预训练策略的图像超分辨率方法 | |
| EP1042919A1 (en) | Static image generation method and device | |
| CN103748613A (zh) | 用于图像去噪、压缩和插值的各向异性梯度正则化 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| Mehta et al. | Gated multi-resolution transfer network for burst restoration and enhancement | |
| CN117576179A (zh) | 多尺度细节特征增强的矿井图像单目深度估计方法 | |
| CN103020940A (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
| Zheng et al. | Depth image super-resolution using multi-dictionary sparse representation | |
| US6487323B1 (en) | Static image generation method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |