CN113033616B

CN113033616B - 高质量视频重建方法、装置、设备及存储介质

Info

Publication number: CN113033616B
Application number: CN202110230314.0A
Authority: CN
Inventors: 田永鸿; 马力; 彭佩玺; 邢培银; 高文
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2022-12-02
Anticipated expiration: 2041-03-02
Also published as: CN113033616A

Abstract

本发明公开了一种高质量视频重建方法、装置、设备及存储介质，所述方法包括提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流；将所述参考特征流和原始特征流进行特征融合，得到融合特征流；根据所述融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流。根据本公开实施例提供的高质量视频重建方法，可以对低分辨率的视频流进行视频重建，利用云端汇聚的低分辨率视频流以及深度学习特征，恢复出高质量的视频流。

Description

高质量视频重建方法、装置、设备及存储介质

技术领域

本发明涉及视频数据处理技术领域，特别涉及一种高质量视频重建方法、装置、设备及存储介质。

背景技术

近年来，随着互联网、直播和监控等领域的快速发展，视频数据无论在数量上还是在应用上都呈现爆炸式增长，给带宽和存储带来了巨大的挑战。传统的基于视频编码技术的大数据解决方案将视频进行压缩后再传输到云端，然而视频压缩效率的发展已经难以满足视频大数据对高压缩率的需求。受“生物视网膜同时具有影像重构与特征提取功能”这一特征的启发，有研究提出了数字视网膜架构，解决了视频大数据实时汇聚与分析的技术瓶颈。在云端汇聚的有低分辨率视频与深度学习特征，因此如何利用二者恢复出高质量的视频以供人观看，是一项技术难题。

发明内容

本公开实施例提供了一种高质量视频重建方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种高质量视频重建方法，包括：

提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流；

将参考特征流和原始特征流进行特征融合，得到融合特征流；

根据融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流。

在一个可选地实施例中，提取参考视频流以及原始视频流的深度学习特征之前，还包括：

获取高质量的参考视频流以及摄像头拍摄的原始视频流。

在一个可选地实施例中，将参考特征流和原始特征流进行特征融合，得到融合特征流，包括：

将参考特征流和原始特征流输入第一神经网络模型进行特征融合，得到融合特征流。

在一个可选地实施例中，根据融合特征流对待处理的低分辨率视频流进行视频重建之前，还包括：

将原始视频流压缩成低分辨率视频流；

获取低分辨率视频流。

在一个可选地实施例中，根据融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流，包括：

提取低分辨率视频流的像素特征；

计算融合特征流的相关性；

将融合特征流的相关性映射到像素特征的相关性；

将像素特征的相关性和低分辨率视频流的像素特征输入第二神经网络模型，得到重建的高质量视频流。

在一个可选地实施例中，提取低分辨率视频流的像素特征，包括：

通过第三神经网络模型提取低分辨率视频流的像素特征，或，

通过滤波核提取低分辨率视频流的像素特征。

第二方面，本公开实施例提供了一种高质量视频重建装置，包括：

特征提取模块，用于提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流；

特征融合模块，用于将参考特征流和原始特征流进行特征融合，得到融合特征流；

视频重建模块，用于根据融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流。

在一个可选地实施例中，还包括：

获取模块，用于获取高质量的参考视频流以及摄像头拍摄的原始视频流。

第三方面，本公开实施例提供了一种高质量视频重建设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的高质量视频重建方法。

第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种高质量视频重建方法。

本公开实施例提供的技术方案可以包括以下有益效果：

根据本公开实施例提供的高质量视频重建方法，获取高质量的参考视频流，将参考视频流的深度学习特征与低分辨率视频对应的高质量深度学习特征进行特征融合，得到融合特征流，利用神经网络模型以及融合特征流对低分辨率的视频流进行视频重建，得到重建后的高质量视频流。该方案实现简单，可广泛应用于人工智能、机器学习、图像与视频的质量增强等领域。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种高质量视频重建方法的流程示意图；

图2是根据一示例性实施例示出的一种高质量视频重建方法的流程示意图；

图3是根据一示例性实施例示出的一种高质量视频重建方法的示意图；

图4是根据一示例性实施例示出的一种高质量视频重建装置的结构示意图；

图5是根据一示例性实施例示出的一种高质量视频重建设备的结构示意图；

图6是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

下面将结合附图1-附图3，对本申请实施例提供的高质量视频重建方法进行详细介绍。图1是根据一示例性实施例示出的一种高质量视频重建方法的流程示意图，参见图1，该方法具体包括以下步骤。

S101提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流。

在一个可选地实施例中，在执行步骤S101之前，还包括获取高质量的参考视频流以及摄像头拍摄的原始视频流。其中，参考视频流可为任意一种高质量的视频流，例如，参考视频流的分辨率更高、视频的帧率更高，视频的主观质量更高。然后获取摄像头拍摄的原始视频流，其中，原始视频流为摄像头拍摄的未经压缩处理的原始视频流，原始视频流也是高质量的视频流。

进一步地，获得参考视频流以及原始视频流后，可通过神经网络模型提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流，参考特征流以及原始特征流都为高质量的深度学习特征。

在一种可能的实现方式中，将参考视频流、原始视频流输入VGG-16神经网络模型中进行特征提取，VGG-16网络中的16代表的含义为：含有参数的有16个层，共包含参数约为1.38亿。VGG-16网络结构很规整，没有那么多的超参数，专注于构建简单的网络，都是几个卷积层后面跟一个可以压缩图像大小的池化层，其优点为简化了卷积神经网络的结构，其缺点为训练的特征数量非常大。

在一种可能的实现方式中，将参考视频流、原始视频流输入ResNet-50神经网络模型中进行特征提取，得到参考特征流以及原始特征流。ResNet-50为残差网络模型，该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有resnet50，resnet101等，Resnet网络能够向更深(包含更多隐藏层)的方向发展。本领域技术人员也可以选择其他神经网络模型进行特征提取，本公开实施例不做具体限定。

S102将参考特征流和原始特征流进行特征融合，得到融合特征流。

在一个可选地实施例中，将参考特征流和原始特征流进行特征融合，得到融合特征流，包括：将参考特征流和原始特征流输入第一神经网络模型进行特征融合，得到融合特征流。其中，第一神经网络模型为可以进行特征融合的神经网络模型，例如，可以选用DNN网络模型等，本公开实施例不做具体限定。

在一种可能的实现方式中，可以将原始特征流和参考特征流直接在第一神经网络模型的channel上相连，进行特征融合，得到融合特征流，也可以分配权重，根据不同特征对应的权重进行特征融合，得到融合特征流。例如，根据如下公式进行特征融合：

M_i，j＝λD_i，j+(1-λ)R_i，j

其中，M_i，j表示融合特征流，D_i，j表示原始特征流，R_i，j表示参考特征流，λ表示设立的权重，本领域技术人员可自行设置λ的权值，本公开实施例不做具体限定。

根据该步骤，可以将参考视频流的深度学习特征与原始视频流的深度学习特征进行特征融合，得到融合特征流。

S103根据融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流。

在一个可选地实施例中，根据融合特征流对待处理的低分辨率视频流进行视频重建之前，还包括：将获取的原始视频流压缩成低分辨率视频流，再获取待处理的低分辨率视频流。

在一个示例性场景中，通过摄像头拍摄得到原始视频流，但是把原始视频流传送到服务器端的代价比较大，因此，一般不直接传送原始视频，而是将原始视频压缩成低分率的视频流，本公开实施例的目的就是对压缩后的低分辨率视频流进行重建，得到高质量的视频流。

进一步地，利用神经网络模型以及融合特征流对低分辨率的视频流进行视频重建，图2是根据一示例性实施例示出的一种高质量视频重建方法的流程示意图，如图2所示，根据融合特征流对待处理的低分辨率视频流进行视频重建包括如下步骤；

S201提取低分辨率视频流的像素特征；

S202计算融合特征流的相关性；

S203将融合特征流的相关性映射到像素特征的相关性；

S204将像素特征的相关性和低分辨率视频流的像素特征输入第二神经网络模型，得到重建的高质量视频流。

具体地，首先提取低分辨率视频流的像素特征，在一种可能的实现方式中，可以通过第三神经网络模型提取低分辨率视频流的像素特征，其中，第三神经网络模型为可提取低分辨率视频流的像素特征的神经网络，例如，可利用CNN神经网络模型提取像素特征，本公开实施例不做具体限制。或，通过滤波核提取低分辨率视频流的像素特征，例如通过人工设计的滤波核提取低分辨率视频流的像素特征，通过自适应滤波核提取低分辨率视频流的像素特征。

进一步地，计算得到的融合特征流的相关性，在一种可能的实现方式中，可进行点级相关性计算，例如直接计算点与点之间的相关性：

其中q_i，k_j分别是两个点，r_i，j表示两点之间的相关性。

进一步地，进行相关性映射，将融合特征流的相关性映射到像素特征的相关性，在一种可能的实现方式中，提取高质量的参考视频流的像素特征，将融合特征流的相关性、低分辨率视频的像素特征、参考视频流的像素特征输入预设的神经网络模型进行计算，得到像素特征的相关性。

最后，将像素特征的相关性和低分辨率视频流的像素特征输入第二神经网络模型，得到重建的高质量视频流，其中，第二神经网络模型可为SRCNN神经网络模型，利用SRCNN神经网络模型对低分辨率视频流进行视频重建，得到高质量视频流。

图像超分辨率重建SRCNN(Super-Resolution Convolutional Neural Network)的任务目标是将输入的低分辨率的图像转换为高分辨率的图像，与图像去噪、图像去模糊等一脉相承，超分辨率关注的是从小尺寸到大尺寸图像如何填充新的像素，图像去噪则是关注在图像尺寸不变的情况下，将被“噪声污染”的像素替换为正确的像素。SRCNN是首个使用CNN结构(即基于深度学习)的端到端的超分辨率算法，将整个算法流程用深度学习的方法实现了。

SRCNN流程如下:首先，输入预处理。对输入的低分辨率LR图像使用bicubic算法进行放大，放大为目标尺寸，那么接下来算法的目标就是将输入的比较模糊的LR图像，经过卷积网络的处理，得到超分辨率SR的图像，使它尽可能与原图的高分辨率HR图像相似。

为了便于理解本申请实施例提供的高质量视频重建方法，下面结合附图3进行说明。如图3所示，该方法包括：

首先，获取摄像头拍摄的原始视频流，原始视频流为高质量的视频图像，然后获取参考视频流，参考视频流也是高质量的视频图像。

进一步地，为了方便传输，将原始视频流压缩成低分辨率的视频流，并通过神经网络模型对高质量的原始视频流以及参考视频流进行特征提取，提取深度学习特征，得到参考特征流以及原始视频流对应的深度学习特征流，即原始特征流。

进一步地，通过特征融合模块将原始特征流以及参考特征流进行特征融合，在一种可能的实现方式中，可以将原始特征流和参考特征流直接在神经网络模型的channel上相连,进行特征融合，得到融合特征流，也可以分配权重，根据不同特征对应的权重进行特征融合，得到融合特征流。

最后，利用神经网络模型，根据融合特征流对低分辨率视频流进行视频重建，得到高质量的视频流。包括，提取低分辨率视频流的像素特征，计算融合特征流的相关性；将融合特征流的相关性映射到像素特征的相关性；将像素特征的相关性和低分辨率视频流的像素特征输入SRCNN神经网络模型，得到重建的高质量视频流。

本公开实施例还提供一种高质量视频重建的装置，该装置用于执行上述实施例的高质量视频重建的方法，如图4所示，该装置包括：

特征提取模块401，用于提取参考视频流以及原始视频流的深度学习特征，得到参考特征流以及原始特征流；

特征融合模块402，用于将参考特征流和原始特征流进行特征融合，得到融合特征流；

视频重建模块403，用于根据融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流。

在一个可选地实施例中，还包括：

需要说明的是，上述实施例提供的高质量视频重建的装置在执行高质量视频重建的方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的高质量视频重建的装置与高质量视频重建的方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本公开实施例还提供一种与前述实施例所提供的高质量视频重建的方法对应的电子设备，以执行上述高质量视频重建的方法。

请参考图5，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图5所示，电子设备包括：处理器500，存储器501，总线502和通信接口503，处理器500、通信接口503和存储器501通过总线502连接；存储器501中存储有可在处理器500上运行的计算机程序，处理器500运行计算机程序时执行本申请前述任一实施例所提供的高质量视频重建的方法。

其中，存储器501可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线502可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器501用于存储程序，处理器500在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的高质量视频重建的方法可以应用于处理器500中，或者由处理器500实现。

处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的高质量视频重建的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种与前述实施例所提供的高质量视频重建的方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘600，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的高质量视频重建的方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的高质量视频重建的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种高质量视频重建方法，其特征在于，包括：

获取高质量的参考视频流以及摄像头拍摄的原始视频流；

将所述参考特征流和原始特征流进行特征融合，得到融合特征流；

根据所述融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流，包括：提取所述低分辨率视频流的像素特征；计算所述融合特征流的相关性；将所述融合特征流的相关性映射到像素特征的相关性；将所述像素特征的相关性和所述低分辨率视频流的像素特征输入第二神经网络模型，得到重建的高质量视频流。

2.根据权利要求1所述的方法，其特征在于，将所述参考特征流和原始特征流进行特征融合，得到融合特征流，包括：

将所述参考特征流和原始特征流输入第一神经网络模型进行特征融合，得到融合特征流。

3.根据权利要求1所述的方法，其特征在于，根据所述融合特征流对待处理的低分辨率视频流进行视频重建之前，还包括：

将所述原始视频流压缩成低分辨率视频流；

获取所述低分辨率视频流。

4.根据权利要求1所述的方法，其特征在于，提取所述低分辨率视频流的像素特征，包括：

通过第三神经网络模型提取所述低分辨率视频流的像素特征，或，

通过滤波核提取所述低分辨率视频流的像素特征。

5.一种高质量视频重建装置，其特征在于，包括：

获取模块，用于获取高质量的参考视频流以及摄像头拍摄的原始视频流；

特征融合模块，用于将所述参考特征流和原始特征流进行特征融合，得到融合特征流；

视频重建模块，用于根据所述融合特征流对待处理的低分辨率视频流进行视频重建，得到高质量的视频流，包括：提取所述低分辨率视频流的像素特征；计算所述融合特征流的相关性；将所述融合特征流的相关性映射到像素特征的相关性；将所述像素特征的相关性和所述低分辨率视频流的像素特征输入第二神经网络模型，得到重建的高质量视频流。

6.一种高质量视频重建设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至4任一项所述的高质量视频重建方法。

7.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至4任一项所述的一种高质量视频重建方法。