CN114900704A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种视频处理方法、装置、电子设备及存储介质，属于多媒体技术领域。方法包括：基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径；基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，得到第一特征和第二特征；基于所述第一特征和所述第二特征，生成第二视频片段。上述方案，使得通过第一传播路径所指示的顺序提取第一特征来生成视频片段时，能够减少噪声的影响，并且在此基础上加上基于第二传播路径所指示的顺序从多个压缩视频帧提取第二特征，能够充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本公开涉及多媒体技术领域，特别涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着视频的质量越来越高，传输高质量的视频会占用较大的传输带宽。为了降低传输带宽，通常在传输前会对视频进行压缩，传输后再进行解压缩。如何解压缩得到高质量的视频成为业内研究的重点。

相关技术中，通常采用双向循环网络重建的方式来对压缩后的视频进行解压缩。通过对压缩后视频中的多个视频帧做正向传播处理和反向传播处理，能够利用历史累计的视频帧信息来补充视频帧的纹理细节，从而使得视频帧的信息分配均衡，进而重建得到较高质量的视频。

然而，压缩后的视频中不同视频帧的压缩程度不同。上述技术方案中，双向循环网络采用相同的方式对压缩程度不同的视频帧进行处理，使得重建压缩程度较大的视频帧的效果差，导致重建后的视频的质量较低。

发明内容

本公开提供一种视频处理方法、装置、电子设备及存储介质，能够生成高质量的视频片段。本公开的技术方案如下：

根据本公开实施例的一方面，提供一种视频处理方法，包括：

基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，所述第一传播路径用于指示多个目标视频帧的顺序，所述目标视频帧为质量满足质量条件的压缩视频帧，所述第二传播路径用于指示所述多个压缩视频帧的顺序；

基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，得到第一特征和第二特征，所述第一特征用于表示所述多个目标视频帧的特征，所述第二特征用于表示所述多个压缩视频帧的特征；

基于所述第一特征和所述第二特征，生成第二视频片段。

根据本公开实施例的另一方面，提供一种视频处理装置，包括：

确定单元，被配置为执行基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，所述第一传播路径用于指示多个目标视频帧的顺序，所述目标视频帧为质量满足质量条件的压缩视频帧，所述第二传播路径用于指示所述多个压缩视频帧的顺序；

特征提取单元，被配置为执行基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，得到第一特征和第二特征，所述第一特征用于表示所述多个目标视频帧的特征，所述第二特征用于表示所述多个压缩视频帧的特征；

生成单元，被配置为执行基于所述第一特征和所述第二特征，生成第二视频片段。

在一些实施例中，所述特征提取单元，被配置为执行基于所述第一传播路径，确定包括所述多个目标视频帧的目标视频帧序列；基于所述第二传播路径，确定包括所述多个压缩视频帧的压缩视频帧序列；基于循环卷积神经网络，分别对所述目标视频帧序列和所述压缩视频帧序列进行特征提取，得到所述第一特征和所述第二特征。

在一些实施例中，所述生成单元，包括：

拼接子单元，被配置为执行在特征维度上对所述第一特征和所述第二特征进行拼接，得到拼接特征，所述拼接特征的特征维度数等于所述第一特征的特征维度数和所述第二特征的特征维度数的和；

生成子单元，被配置为执行基于所述拼接特征，生成所述第二视频片段。

在一些实施例中，所述拼接子单元，被配置为执行对所述拼接特征进行残差处理，得到第一目标特征；对所述第一目标特征进行超分辨率处理，生成所述第二视频片段。

在一些实施例中，所述拼接子单元，被配置为执行基于可变形卷积的特征提取算子，对所述拼接特征进行卷积，得到第二目标特征；对所述第二目标特征进行超分辨率处理，生成所述第二视频片段。

在一些实施例中，所述生成单元，被配置为执行获取所述第一特征的权重参数和所述第二特征的权重参数；根据所述第一特征的权重参数和所述第二特征的权重参数，通过注意力机制对所述第一特征和所述第二特征进行加权融合，得到第三目标特征；对所述第三目标特征进行超分辨率处理，生成所述第二视频片段。

在一些实施例中，所述生成单元，被配置为执行获取所述第一特征的权重参数和所述第二特征的权重参数；根据所述第一特征的权重参数和所述第二特征的权重参数，通过注意力机制对所述第一特征和所述第二特征进行加权融合，得到融合特征；对所述融合特征进行残差处理，得到第四目标特征；对所述第四目标特征进行超分辨率处理，生成所述第二视频片段。

在一些实施例中，所述确定单元，被配置为执行获取所述多个压缩视频帧的质量信息，所述质量信息为压缩视频帧的质量参数，所述质量参数与对应的压缩视频帧的质量反相关；从所述多个压缩视频帧中，获取质量参数低于质量参数阈值的多个目标视频帧；基于所述多个目标视频帧的时序，确定所述第一传播路径；基于所述多个压缩视频帧的时序，确定所述第二传播路径。

根据本公开实施例的另一方面，提供一种电子设备，该电子设备包括：

一个或多个处理器；

用于存储该处理器可执行程序代码的存储器；

其中，该处理器被配置为执行该程序代码，以实现上述视频处理方法。

根据本公开实施例的另一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述视频处理方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述视频处理方法。

本公开提供了一种视频处理的方案，由于压缩视频帧的质量与压缩视频帧中包含的噪声反相关，通过在对第一视频片段进行解压的过程中，基于多个压缩视频帧的质量信息来确定用于指示多个目标视频帧的顺序的第一传播路径，使得通过第一传播路径所指示的顺序提取第一特征来生成视频片段时，能够减少噪声的影响。由于多个目标视频帧在时序上不连续，使得生成的视频片段存在运动误差，通过在第一特征的基础上加上基于第二传播路径所指示的顺序从多个压缩视频帧提取的第二特征，即通过第一特征和第二特征，来生成第二视频片段，不仅能够减少压缩噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图。

图2是根据一示例性实施例示出的一种视频处理方法的流程图。

图3是根据一示例性实施例示出的另一种视频处理方法的流程图。

图4是根据一示例性实施例示出的一种传播路径的示意图。

图5是根据一示例性实施例示出的一种压缩视频帧的质量参数的示意图。

图6是根据一示例性实施例示出的一种采用残差网络处理拼接特征的示意图。

图7是根据一示例性实施例示出的一种采用残差网络解压视频的示意图。

图8是根据一示例性实施例示出的一种解压视频帧的效果图。

图9是根据一示例性实施例示出的一种视频处理装置的结构示意图。

图10是根据一示例性实施例示出的另一种视频处理装置的结构示意图。

图11是根据一示例性实施例示出的一种终端的框图。

图12是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的视频片段都是在充分授权的情况下获取的。

为了更加清楚地理解本方案，下面，对本方案涉及的术语进行解释。

I帧：表示一副完整画面，解码只需要本帧数据就可以完成。

P帧：表示这一帧和之前的I帧或P帧的差别，解码P帧只需要用之前缓存的画面叠加本帧差别，生成最终画面。

B帧：表示本帧与前后帧的差别，解码B帧不仅要取得之前的缓存画面，还要解码之后的画面，前后画面与本帧数据叠加取得最终画面。

编码：是信息从一种形式或格式转换为另一种形式的过程。用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号。编码在电子计算机、电视、遥控和通讯等方面广泛使用。解码，是编码的逆过程。在本公开实施例中，对视频片段进行编码相当于对该视频片段进行压缩，对视频片段进行解码相当于对该视频片段进行解压。

循环卷积神经网络：是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。在本公开实施例中，该循环卷积神经网络以视频帧序列为输入，按照视频帧的顺序对多个视频帧进行处理。

QP(Quantization Parameter，量化参数)：表明了图像空间细节的压缩情况，在一定程度上反映了图像的质量。在本公开实施例中，QP值用于表示压缩视频帧的质量。

ReLU函数：是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图。以由终端执行为例，参见图1，该实施环境包括：终端101和服务器102。

终端101为智能手机、智能手表、台式电脑、手提电脑、MP3播放器、MP4播放器和膝上型便携计算机等设备中的至少一种。终端101上安装并运行有用于视频处理的应用程序，该应用程序可以是多媒体类应用程序、社交类应用程序或者监控类应用程序，本公开实施例对此不加以限定。终端101能够通过无线网络或有线网络与服务器102相连，从而能够从服务器102中获取编码后的视频片段，编码后的视频片段中包括多个压缩视频帧。终端101泛指多个终端中的一个，本实施例以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以为几个，或者上述终端为几十个或几百个，或者更多数量，本公开实施例对终端的数量和设备类型均不加以限定。

服务器102为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器102能够通过无线网络或有线网络与终端101和其他终端相连，服务器102能够向终端101发送压缩的视频片段，由终端101采用本公开实施例提供的视频处理方法，对该视频片段进行解压。在一些实施例中，上述服务器的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器102还包括其他功能服务器，以便提供更全面且多样化的服务。

图2是根据一示例性实施例示出的一种视频处理方法的流程图，参见图2，以由终端执行为例，包括以下步骤：

在步骤201中，终端基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，该第一传播路径用于指示多个目标视频帧的顺序，该目标视频帧为质量满足质量条件的压缩视频帧，该第二传播路径用于指示多个压缩视频帧的顺序。

在本公开实施例中，该终端为图1所示的终端。该终端能够接收服务器发送的编码后的第一视频片段。该第一视频片段中包括多个压缩视频帧。该第一视频片段可以是一个完整的视频，也可以是从一个完整的视频中截取的部分视频片段，本公开实施例对此不加以限定。该多个压缩视频帧中包含编码视频帧时产生的噪声。该噪声的多少与压缩视频帧的质量的高低反相关。编码视频帧时产生的噪声越多，该压缩视频帧的质量越低；编码视频帧时产生的噪声越少，该压缩视频帧的质量越高。终端能够基于多个压缩视频帧的质量，从该多个压缩视频帧中选择出质量满足质量条件的多个目标视频帧。其中，该质量条件可以是目标视频帧的质量达到质量阈值、目标视频帧的质量在预设范围内或者目标视频帧的质量参数低于质量参数阈值等，本公开实施例对此不加以限定。其中，该质量参数用于表示视频帧的质量。

在步骤202中，终端基于第一传播路径和第二传播路径，分别对多个目标视频帧和多个压缩视频帧进行特征提取，得到第一特征和第二特征，该第一特征用于表示多个目标视频帧的特征，该第二特征用于表示多个压缩视频帧的特征。

在本公开实施例中，终端能够基于第一传播路径，对多个目标视频帧进行特征提取，得到该多个目标视频帧的第一特征。终端能够基于第二传播路径，对这多个压缩视频帧进行特征提取，得到该多个压缩视频帧的第二特征。由于该多个目标视频帧中包含的压缩噪声较少，则第一特征相比于第二特征而言，该第一特征中的压缩噪声较小，能够更加准确反映视频帧的特征。

在步骤203中，终端基于第一特征和第二特征，生成第二视频片段。

在本公开实施例中，终端能够对该第一特征和第二特征进行超分辨率处理，生成第二视频片段。该第二视频片段包括已解压的多个视频帧，该第二视频片段即为对第一视频片段进行解压后的视频片段。

本公开实施例提供的方案，由于压缩视频帧的质量与压缩视频帧中包含的噪声反相关，通过在对第一视频片段进行解压的过程中，基于多个压缩视频帧的质量信息来确定用于指示多个目标视频帧的顺序的第一传播路径，使得通过第一传播路径所指示的顺序提取第一特征来生成视频片段时，能够减少噪声的影响。由于多个目标视频帧在时序上不连续，使得生成的视频片段存在运动误差，通过在第一特征的基础上加上基于第二传播路径所指示的顺序从多个压缩视频帧提取的第二特征，即通过第一特征和第二特征，来生成第二视频片段，不仅能够减少压缩噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

在一些实施例中，基于第一传播路径和第二传播路径，分别对多个目标视频帧和多个压缩视频帧进行特征提取，包括：

基于第一传播路径，确定包括多个目标视频帧的目标视频帧序列；

基于第二传播路径，确定包括多个压缩视频帧的压缩视频帧序列；

基于循环卷积神经网络，分别对目标视频帧序列和压缩视频帧序列进行特征提取，得到第一特征和第二特征。

本公开实施例提供的方案，通过多个目标视频帧和能够指示该多个目标视频帧的顺序的第一传播路径，构建目标视频帧序列，使得循环卷积神经网络进行特征提取时，能够按照该多个目标视频帧的顺序，对该多个目标视频帧依次进行处理，从而能够使得第一特征包含该多个目标视频帧的特征；同理，通过多个压缩视频帧和能够指示该多个压缩视频帧的顺序的第二传播路径，构建压缩视频帧序列，使得循环卷积神经网络进行特征提取时，能够按照该多个压缩视频帧的顺序，对该多个压缩视频帧依次进行处理，从而能够使得第二特征包含该多个压缩视频帧的特征，能够充分利用视频帧中的信息，并且由于目标视频帧序列中的多个目标视频帧为质量较高的压缩视频帧，本公开实施例通过对目标视频帧序列进行特征提取，能够实现对质量较高的压缩视频帧单独进行处理，相较于对多个压缩视频帧进行处理的方式，能够减少质量较低的压缩视频帧中的噪声的影响。

在一些实施例中，基于第一特征和第二特征，生成第二视频片段，包括：

在特征维度上对第一特征和第二特征进行拼接，得到拼接特征，该拼接特征的特征维度数等于第一特征的特征维度数和第二特征的特征维度数的和；

基于拼接特征，生成第二视频片段。

本公开实施例提供的方案，该第一特征由质量高的目标视频帧得到，该第一特征中的压缩噪声较小，该第二特征由多个压缩视频帧得到，该第二特征能够体现视频帧的连续性，通过将第一特征和第二特征进行拼接，通过拼接后的拼接特征生成第二视频片段，不仅能够减少压缩噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

在一些实施例中，基于拼接特征，生成第二视频片段，包括：

对拼接特征进行残差处理，得到第一目标特征；

对第一目标特征进行超分辨率处理，生成第二视频片段。

本公开实施例提供的方案，通过对拼接特征进行残差处理，能够使得第一目标特征充分融合噪声少的特性和视频帧连续的特性，从而通过超分辨率处理该第一目标特征，能够得到高质量的第二视频片段。

在一些实施例中，基于拼接特征，生成第二视频片段，包括：

基于可变形卷积的特征提取算子，对拼接特征进行卷积，得到第二目标特征；

对第二目标特征进行超分辨率处理，生成第二视频片段。

本公开实施例提供的方案，通过可变形卷积的特征提取算子，对拼接特征进行处理，能够通过可变形卷积的特性，充分利用视频帧的特征中包含的信息，使得得到的第二目标特征能够更加突显视频帧中的细节信息，从而能够通过该第二目标特征生成高质量的第二视频片段。

在一些实施例中，基于第一特征和第二特征，生成第二视频片段，包括：

获取第一特征的权重参数和第二特征的权重参数；

根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到第三目标特征；

对第三目标特征进行超分辨率处理，生成第二视频片段。

本公开实施例提供的方案，通过引入注意力机制，根据特征中细节信息的多少，学习第一特征的重要程度和第二特征的重要程度，由于重要程度越高，权重参数越大，重要程度越低，权重参数越小，使得基于第一特征和第二特征的重要程度得到的第三目标特征能够充分利用特征中的细节信息，更加准确反映视频片段的特征信息，从而能够通过该第三目标特征生成高质量的第二视频片段。

在一些实施例中，基于第一特征和第二特征，生成第二视频片段，包括：

获取第一特征的权重参数和第二特征的权重参数；

根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到融合特征；

对融合特征进行残差处理，得到第四目标特征；

对第四目标特征进行超分辨率处理，生成第二视频片段。

本公开实施例提供的方案，通过引入注意力机制，基于第一特征的重要程度和第二特征的重要程度，融合第一特征和第二特征，使得得到的融合特征更加准确反映视频片段的特征信息，再进行残差处理，能够使得第四目标特征充分体现压缩噪声少的特性和视频帧的连续性的特性，从而通过超分辨率处理该第四目标特征，能够得到高质量的第二视频片段。

在一些实施例中，基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，包括：

获取多个压缩视频帧的质量信息，该质量信息为压缩视频帧的质量参数，该质量参数与对应的压缩视频帧的质量反相关；

从多个压缩视频帧中，获取质量参数低于质量参数阈值的多个目标视频帧；

基于多个目标视频帧的时序，确定第一传播路径；

基于多个压缩视频帧的时序，确定第二传播路径。

本公开实施例提供的方案，由于质量参数越大，压缩视频帧的质量越低，质量参数越小，压缩视频帧的质量越高，由此通过压缩视频帧对应的质量参数，衡量压缩视频帧的质量，能够从多个压缩视频帧中获取质量参数低于质量参数阈值的目标视频帧，从而提高获取质量高的目标视频帧的准确性。

上述图2所示为本公开的基本流程，下面基于一种实现方式，来对本公开提供的方案进行进一步阐述，图3是根据一示例性实施例示出的另一种视频处理方法的流程图。以由终端执行为例，参见图3，该方法包括：

在步骤301中，终端获取第一视频片段中多个压缩视频帧的质量信息。

在本公开实施例中，第一视频片段编码后的视频片段，该第一视频片段包括多个压缩视频帧。该质量信息包括压缩视频帧的分辨率、压缩视频帧的质量参数或者压缩视频帧的对比度等中的至少一种，本公开实施例对此不加以限定。压缩视频帧的压缩程度不同，压缩视频帧的质量不同。由于对视频片段进行编码时会产生噪声，压缩程度较大的压缩视频帧包含的噪声较多，该压缩视频帧的质量较低；压缩程度较小的压缩视频帧包含的噪声较少，该压缩视频帧的质量较高。该多个压缩视频帧中可以包括I帧、P帧和B帧等三种类型的帧，也可以包括P帧和B帧等两种类型的帧，本公开实施例对此不加以限定。其中，对于I帧、P帧和B帧而言，I帧的压缩程度小于P帧的压缩程度，P帧的压缩程度小于B帧的压缩程度，也即I帧的质量高于P帧的质量，P帧的质量高于B帧的质量。

例如，该质量信息包括多个压缩视频帧的分辨率。压缩程度较大的压缩视频帧的分辨率较低，即该压缩视频帧的质量较低；压缩程度较小的压缩视频帧的分辨率较高，即该压缩视频帧的质量较高。终端通过该质量信息中多个压缩视频帧的分辨率，能够对该多个压缩视频进行筛选。

在步骤302中，终端基于多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，该第一传播路径用于指示多个目标视频帧的顺序，该目标视频帧为质量满足质量条件的压缩视频帧，该第二传播路径用于指示多个压缩视频帧的顺序。

在本公开实施例中，为了能够在对视频片段进行解码的过程中，减少编码时产生的噪声的影响，终端能够根据用于多个压缩视频帧的质量信息，从多个压缩视频帧中选择质量满足质量条件的压缩视频帧，将质量满足质量条件的压缩视频帧作为目标视频帧。终端能够从该包含I帧、P帧和B帧的多个视频帧中获取I帧和P帧作为目标视频帧；或者，终端能够从包含P帧和B帧的多个视频帧中获取P帧作为目标视频帧，本公开实施例对此不加以限定。其中，该质量条件可以是目标视频帧的质量达到质量阈值、目标视频帧的质量在预设范围内或者目标视频帧的质量参数低于质量参数阈值等，本公开实施例对此不加以限定。其中，该质量可以是压缩视频帧的分辨率的大小，压缩视频帧的分辨率越大，该压缩视频帧的质量越高；压缩视频帧的分辨率越小，该压缩视频帧的质量越低。该质量还可以是压缩视频帧的对比度的大小或者压缩视频帧亮度的大小等，本公开实施例对此不加以限定。该质量参数能够用于表示压缩视频帧的质量，质量参数与对应的压缩视频帧的质量反相关。该质量参数可以是对视频帧进行压缩时的量化参数。压缩视频帧的质量参数越大，该压缩视频帧的质量越低；压缩视频帧的质量参数越小，该压缩视频帧的质量越高。

终端能够基于多个目标视频帧的顺序，确定第一传播路径。其中，目标视频帧的顺序可以为目标视频帧的时序，也可以为与目标视频帧的时序相反的顺序，本公开实施例对此不加以限定。由于目标视频帧中包含的编码所产生的噪声少，该第一传播路径为质量高的目标视频帧的传播路径，通过第一传播路径得到的第一特征包含的噪声少，由此基于该第一特征生成解码的视频片段时能够减少噪声的影响。但是，通过MPEG(Moving PictureExperts Group，动态图像专家组)视频压缩技术得到的I帧和P帧是不连续的，即该第一传播路径中的多个目标视频帧是不连续的，基于该多个目标视频帧得到的解码的视频片段存在较大的运动误差。终端能够在第一传播路径的基础上，引入目标视频帧之间质量较低的压缩视频帧，以减少目标视频帧的不连续性带来的运动误差。该多个目标视频帧和目标视频帧之间质量较低的压缩视频帧，共同构成第一视频片段中的多个压缩视频帧。终端基于该多个压缩视频帧的顺序，确定第二传播路径。其中，压缩视频帧的顺序可以为压缩视频帧的时序，也可以为与压缩视频帧的时序相反的顺序，本公开实施例对此不加以限定。其中，本公开实施例中多个压缩视频帧还可以是由JPEG(Joint Photographic Experts Group，联合图像专家组)压缩技术得到，本公开实施例对此不加以限定。

例如，图4是根据一示例性实施例示出的一种传播路径的示意图。参见图4，该第一视频片段中的多个压缩视频帧分别为第1帧、第2帧、第3帧、第4帧、第5帧、第6帧以及第7帧。其中，第1帧、第3帧、第5帧以及第7帧为质量较高的压缩视频帧，也即目标视频帧。第2帧、第4帧以及第6帧为质量较低的压缩视频帧。终端通过第1帧、第3帧、第5帧以及第7帧的顺序确定第一传播路径，该第一传播路径为“1→3→5→7”。终端通过第1帧、第2帧、第3帧、第4帧、第5帧、第6帧以及第7帧的顺序确定第二传播路径，该第二传播路径为“1→2→3→4→5→6→7”。

在一些实施例中，压缩视频帧的质量采用质量参数进行表示。终端能够通过压缩视频帧的质量参数，从多个压缩视频帧中获取质量参数满足条件的目标视频帧，从而基于目标视频帧的顺序和多个压缩帧的顺序，分别确定第一传播路径和第二传播路径。相应的，终端确定第一传播路径和第二传播路径的过程为：终端获取多个压缩视频帧的质量信息，该质量信息为压缩视频帧的质量参数，该质量参数与对应的压缩视频帧的质量反相关。然后，终端从多个压缩视频帧中，获取质量参数低于质量参数阈值的多个目标视频帧。然后，终端基于多个目标视频帧的时序，确定第一传播路径。然后，终端基于多个压缩视频帧的时序，确定第二传播路径。或者，终端还能够在确定第一传播路径之前，基于多个压缩视频帧的时序，确定第二传播路径；或者，终端还能够在获取质量信息之前，基于多个压缩视频帧的时序，确定第二传播路径，本公开实施例对此不加以限定。本公开实施例提供的方案，由于质量参数越大，压缩视频帧的质量越低，质量参数越小，压缩视频帧的质量越高，使得能够通过质量信息中与压缩视频帧对应的质量参数，衡量压缩视频帧的质量，从而能够从多个压缩视频帧中获取质量参数低于质量参数阈值的目标视频帧，进而提高获取质量高的目标视频帧的准确性。

例如，终端能够将压缩视频帧的QP值作为该压缩视频帧的质量参数。图5是根据一示例性实施例示出的一种压缩视频帧的质量参数的示意图。参见图5，第一个压缩视频帧为I帧，该压缩视频帧的QP值最低。其他QP值低于40的压缩视频帧为P帧，该压缩视频帧的QP值较低。QP值高于40的压缩视频帧为B帧，该压缩视频帧的QP值较高。终端能够从多个视频帧中获取QP值低于40的I帧和多个P帧，作为目标视频帧。

在一些实施例中，终端能够基于质量参数从多个压缩视频帧中选出多个目标视频帧帧，然后基于目标视频帧的时序，确定第一传播路径，基于多个压缩视频帧的时序，确定第二传播路径。

例如，多个压缩视频帧按照时序依次是第1帧、第2帧、第3帧、第4帧、第5帧、第6帧、第7帧、第8帧、第9帧、第10帧。其中，第1帧的质量参数为36，第4帧、第7帧以及第10帧的质量参数均为38，第2帧、第3帧、第5帧、第6帧、第8帧以及第9帧的质量参数为均45。由此可见，第1帧、第4帧、第7帧以及第10帧为质量较高的压缩视频帧，也即目标视频帧。终端能够基于该目标视频帧的时序，确定第一传播路径为“1→4→7→10”。终端能够基于上述压缩视频帧的时序，确定第二传播路径为“1→2→3→4→5→6→7→8→9→10”。

在步骤303中，终端基于第一传播路径和第二传播路径，分别对多个目标视频帧和多个压缩视频帧进行特征提取，得到第一特征和第二特征，该第一特征用于表示多个目标视频帧的特征，该第二特征用于表示多个压缩视频帧的特征。

在本公开实施例中，终端能够按照第一传播路径所指示的顺序，对多个目标视频帧进行特征提取，得到第一特征。终端能够按照第二传播路径所指示的顺序，对多个压缩视频帧进行特征提取，得到第二特征。第一特征和第二特征均可表示为C*H*W。其中，C为特征维度数，H和W分别为单个特征向量的行数和列数，H的大小与压缩视频帧的高相等，W的大小与压缩视频帧的宽相等。

在一些实施例中，终端能够通过循环卷积神经网络，对多个目标视频帧的和压缩压缩视频帧分别进行处理，得到第一特征和第二特征。相应的，终端基于第一传播路径和多个目标视频帧，确定目标视频帧序列。然后，终端基于第二传播路径和多个压缩视频帧，确定压缩视频帧序列。然后，终端基于循环卷积神经网络，分别对目标视频帧序列和压缩视频帧序列进行特征提取，得到第一特征和第二特征。其中，该第一特征为目标视频帧序列的特征，该第二特征为压缩视频帧序列的特征。本公开实施例提供的方案，通过多个目标视频帧和能够指示该多个目标视频帧的顺序的第一传播路径，构建目标视频帧序列，使得循环卷积神经网络进行特征提取时，能够按照该多个目标视频帧的顺序，对该多个目标视频帧依次进行处理，从而能够使得第一特征包含该多个目标视频帧的特征；同理，通过多个压缩视频帧和能够指示该多个压缩视频帧的顺序的第二传播路径，构建压缩视频帧序列，使得循环卷积神经网络进行特征提取时，能够按照该多个压缩视频帧的顺序，对该多个压缩视频帧依次进行处理，从而能够使得第二特征包含该多个压缩视频帧的特征，能够充分利用视频帧中的信息，并且由于目标视频帧序列中的多个目标视频帧为质量较高的压缩视频帧，本公开实施例通过对目标视频帧序列进行特征提取，能够实现对质量较高的压缩视频帧单独进行处理，相较于对多个压缩视频帧进行处理的方式，能够减少质量较低的压缩视频帧中的噪声的影响。

需要说明的是，为了解压后能够得到更高质量的视频片段，终端能够对循环卷积神经网络进行训练，以使得提取到的特征质量更高。在此训练过程中，第一特征和第二特征均可表示为B*C*H*W。其中，B为训练过程中视频帧的批数量，C为特征维度数，H和W分别为单个特征向量的行数和列数。

在步骤304中，终端基于第一特征和第二特征，生成第二视频片段。

在本公开实施例中，终端能够采用超分辨率技术对第一特征和第二特征进行处理，生成第二视频片段。该第二视频片段包括已解压的多个视频帧。在此过程中，终端能够对该第一特征和第二特征进行亚像素重排，对处理后的特征进行上采样来生成第二视频片段。该第二视频片段即为对第一视频片段进行解压后的视频片段。终端能够采用特征拼接的方式对第一特征和第二特征进行处理，基于拼接后的特征来生成第二视频片段，或者，终端能够基于注意力机制，对第一特征和第二特征进行融合，基于融合后的特征来生成第二视频片段，或者，终端能够联合注意力机制和残差网络，对第一特征和第二特征进行处理，基于处理后的特征来生成第二视频片段。

在一些实施例中，终端能够通过第一特征和第二特征拼接后的特征生成第二视频片段。相应的，终端在特征维度上对第一特征和第二特征进行拼接，得到拼接特征。然后，终端基于拼接特征，生成第二视频片段。其中，该拼接特征的特征维度数等于第一特征的特征维度数和第二特征的特征维度数的和。本公开实施例提供的方案，该第一特征由质量高的目标视频帧得到，该第一特征中的噪声较小，该第二特征由多个压缩视频帧得到，该第二特征能够体现视频帧的连续性，通过将第一特征和第二特征进行拼接，通过拼接后的拼接特征生成第二视频片段，不仅能够减少噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

其中，终端能够通过残差网络对拼接特征进行处理，然后基于处理后的特征来生成第二视频片段。相应的，终端对拼接特征进行残差处理，得到第一目标特征。然后，终端对第一目标特征进行超分辨率处理，生成第二视频片段。本公开实施例提供的方案，通过对拼接特征进行残差处理，能够使得第一目标特征充分融合噪声少的特性和视频帧连续的特性，从而通过超分辨率处理该第一目标特征，能够得到高质量的第二视频片段。

例如，图6是根据一示例性实施例示出的一种采用残差网络处理拼接特征的示意图。参见图6，终端将该拼接特征输入到残差网络，该残差网络包括第一卷积层、激活函数和第二卷积层。其中，第一卷积层和第二卷积层均为二维卷积层。该拼接特征依次历经第一卷积层、激活函数和第二卷积层等处理，得到一个中间特征。然后，终端通过该残差网络将该中间特征与该拼接特征相加，得到第一目标特征。其中，该激活函数为ReLU激活函数。

为了更加清楚地理解该方案，下面再次对该方案进行整体阐述。图7是根据一示例性实施例示出的一种采用残差网络解压视频的示意图。终端将第一特征和第二特征进行拼接，得到拼接特征。然后，终端将该拼接特征输入残差网络，通过该残差网络对该拼接特征进行处理，输出第一目标特征。然后，终端将该第一目标特征输入重建网络，由重建网络对该第一目标特征进行超分辨率处理，得到高质量的第二视频片段。

需要说明的是，终端还能够采用可变形卷积的特征提取算子对拼接特征进行处理，然后再基于处理后的特征来生成第二视频片段。相应的，终端基于可变形卷积的特征提取算子，对拼接特征进行卷积，得到第二目标特征。然后，终端对第二目标特征进行超分辨率处理，生成第二视频片段。本公开实施例提供的方案，通过可变形卷积的特征提取算子，对拼接特征进行处理，能够通过可变形卷积的特性，充分利用视频帧的特征中包含的信息，使得得到的第二目标特征能够更加突显视频帧中的细节信息，从而能够通过该第二目标特征生成高质量的第二视频片段。

在一些实施例中，由于在解压视频片段的过程中，终端能够为压缩视频帧补充更多的细节信息，来生成该压缩视频帧对应的解压后的视频帧。终端能够引入注意力机制，基于第一特征和第二特征中包含的视频帧的细节信息的多少，来确定第一特征的重要程度和第二特征的重要程度。然后，终端基于第一特征的重要程度和第二特征的重要程度，来融合第一特征和第二特征，通过融合后的特征来生成第二视频片段。特征中包含的细节信息越多，特征的重要程度越高；特征中包含的细节信息越少，特征的重要程度越低。相应的，终端获取第一特征的权重参数和第二特征的权重参数，然后，终端根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到第三目标特征。然后，终端对第三目标特征进行超分辨率处理，生成第二视频片段。本公开实施例提供的方案，通过引入注意力机制，根据特征中细节信息的多少，学习第一特征的重要程度和第二特征的重要程度，由于重要程度越高，权重参数越大，重要程度越低，权重参数越小，使得基于第一特征和第二特征的重要程度得到的第三目标特征能够充分利用特征中的细节信息，更加准确反映视频片段的特征信息，从而能够通过该第三目标特征生成高质量的第二视频片段。

在一些实施例中，终端还能够通过注意力机制和残差网络联合处理第一特征和第二特征，然后再基于处理后的特征来生成第二视频片段。相应的，终端获取第一特征的权重参数和第二特征的权重参数。然后，终端根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到融合特征。然后，终端对融合特征进行残差处理，得到第四目标特征。然后，终端对第四目标特征进行超分辨率处理，生成第二视频片段。本公开实施例提供的方案，通过引入注意力机制，基于第一特征的重要程度和第二特征的重要程度，融合第一特征和第二特征，使得得到的融合特征更加准确反映视频片段的特征信息，再进行残差处理，能够使得第四目标特征充分体现噪声少的特性和视频帧连续的特性，从而通过超分辨率处理该第四目标特征，能够得到高质量的第二视频片段。

为了能够清楚地了解本方案，将本方案应用于解压视频的过程中，以解压视频中的压缩视频帧为例进行说明。图8是根据一示例性实施例示出的一种解压视频帧的效果图。参见图8，图8中的(a)示出了解压前的压缩视频帧，该压缩视频帧中的水波纹受压缩噪声的影响，标框处出现了模糊，可见该压缩视频帧质量低。图8中的(b)示出了图8中的(a)解压后的视频帧，该视频帧消除了压缩噪声的影响，并且补充了视频帧中的细节信息，使得标框处的模糊程度减轻，该视频帧更加清晰，质量更高。图8中的(c)示出了解压前的压缩视频帧，该压缩视频帧中的山丘纹受压缩噪声的影响，标框处出现了块效应，并且图像整体看起来模糊，可见该压缩视频帧质量低。图8中的(d)示出了图8中的(c)解压后的视频帧，该视频帧消除了压缩噪声的影响，并且补充了视频帧中的细节信息，使得标框处的块效应消失，该视频帧更加清晰，质量更高。

本公开实施例提供的方案，由于压缩视频帧的质量与压缩视频帧中包含的噪声反相关，通过在对第一视频片段进行解压的过程中，基于多个压缩视频帧的质量信息来确定用于指示多个目标视频帧的顺序的第一传播路径，使得通过第一传播路径所指示的顺序提取第一特征来生成视频片段时，能够减少噪声的影响。由于多个目标视频帧在时序上不连续，使得生成的视频片段存在运动误差，通过在第一特征的基础上加上基于第二传播路径所指示的顺序从多个压缩视频帧提取的第二特征，即通过第一特征和第二特征，来生成第二视频片段，不仅能够减少压缩噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图9是根据一示例性实施例示出的一种视频处理装置的结构示意图。参见图9，该装置包括：确定单元901、特征提取单元902以及生成单元903。

确定单元901，被配置为执行基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，该第一传播路径用于指示多个目标视频帧的顺序，该目标视频帧为质量满足质量条件的压缩视频帧，该第二传播路径用于指示该多个压缩视频帧的顺序；

特征提取单元902，被配置为执行基于第一传播路径和第二传播路径，分别对多个目标视频帧和多个压缩视频帧进行特征提取，得到第一特征和第二特征，该第一特征用于表示多个目标视频帧的特征，该第二特征用于表示多个压缩视频帧的特征；

生成单元903，被配置为执行基于第一特征和第二特征，生成第二视频片段。

在一些实施例中，图10是根据一示例性实施例示出的另一种视频处理装置的结构示意图。参见图10，特征提取单元902，被配置为执行基于第一传播路径，确定包括多个目标视频帧的目标视频帧序列；基于第二传播路径，确定包括多个压缩视频帧的压缩视频帧序列；基于循环卷积神经网络，分别对目标视频帧序列和压缩视频帧序列进行特征提取，得到第一特征和第二特征。

在一些实施例中，继续参见图10，生成单元903，包括：

拼接子单元1001，被配置为执行在特征维度上对第一特征和第二特征进行拼接，得到拼接特征，该拼接特征的特征维度数等于第一特征的特征维度数和第二特征的特征维度数的和；

生成子单元1002，被配置为执行基于拼接特征，生成第二视频片段。

在一些实施例中，继续参见图10，拼接子单元1001，被配置为执行对拼接特征进行残差处理，得到第一目标特征；对第一目标特征进行超分辨率处理，生成第二视频片段。

在一些实施例中，继续参见图10，拼接子单元1001，被配置为执行基于可变形卷积的特征提取算子，对拼接特征进行卷积，得到第二目标特征；对第二目标特征进行超分辨率处理，生成第二视频片段。

在一些实施例中，继续参见图10，生成单元903，被配置为执行获取第一特征的权重参数和第二特征的权重参数；根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到第三目标特征；对第三目标特征进行超分辨率处理，生成第二视频片段。

在一些实施例中，继续参见图10，生成单元903，被配置为执行获取第一特征的权重参数和第二特征的权重参数；根据第一特征的权重参数和第二特征的权重参数，通过注意力机制对第一特征和第二特征进行加权融合，得到融合特征；对融合特征进行残差处理，得到第四目标特征；对第四目标特征进行超分辨率处理，生成第二视频片段。

在一些实施例中，继续参见图10，确定单元901，被配置为执行获取多个压缩视频帧的质量信息，该质量信息为压缩视频帧的质量参数，该质量参数与对应的压缩视频帧的质量反相关；从多个压缩视频帧中，获取质量参数低于质量参数阈值的多个目标视频帧；基于多个目标视频帧的时序，确定第一传播路径；基于多个压缩视频帧的时序，确定第二传播路径。

本公开实施例提供的装置，由于压缩视频帧的质量与压缩视频帧中包含的噪声反相关，通过在对第一视频片段进行解压的过程中，基于多个压缩视频帧的质量信息来确定用于指示多个目标视频帧的顺序的第一传播路径，使得通过第一传播路径所指示的顺序提取第一特征来生成视频片段时，能够减少噪声的影响。由于多个目标视频帧在时序上不连续，使得生成的视频片段存在运动误差，通过在第一特征的基础上加上基于第二传播路径所指示的顺序从多个压缩视频帧提取的第二特征，即通过第一特征和第二特征，来生成第二视频片段，不仅能够减少压缩噪声的影响，还充分利用压缩视频帧的连续性，消除运动误差，从而能够解压得到高质量的第二视频片段。

需要说明的是，上述实施例提供的视频处理装置在处理视频时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将电子设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频处理装置与视频处理方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。

关于上述实施例中的装置，其中各个单元执行操作的方式已经在有关该方法的实施例中进行了描述，此处将不做阐述说明。

电子设备被提供为终端时，图11是根据一示例性实施例示出的一种终端1100的框图。该终端图11示出了本公开一个示例性实施例提供的终端1100的结构框图。该终端1100可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1101所执行以实现本公开中方法实施例提供的视频处理方法。

在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。该外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在再一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

定位组件1108用于定位终端1100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

电子设备被提供为服务器时，图12是根据一示例性实施例示出的一种服务器1200的框图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1201和一个或一个以上的存储器1202，其中，该存储器1202中存储有至少一条程序代码，该至少一条程序代码由该处理器1201加载并执行以实现上述各个方法实施例提供的视频处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1200还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1102或者存储器1202，上述指令可由终端1100的处理器1101或者服务器1200的处理器1201执行以完成上述视频处理方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种视频处理方法，其特征在于，所述方法包括：

基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，所述第一传播路径用于指示多个目标视频帧的顺序，所述目标视频帧为质量满足质量条件的压缩视频帧，所述第二传播路径用于指示所述多个压缩视频帧的顺序；

基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，得到第一特征和第二特征，所述第一特征用于表示所述多个目标视频帧的特征，所述第二特征用于表示所述多个压缩视频帧的特征；

基于所述第一特征和所述第二特征，生成第二视频片段。

2.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，包括：

基于所述第一传播路径，确定包括所述多个目标视频帧的目标视频帧序列；

基于所述第二传播路径，确定包括所述多个压缩视频帧的压缩视频帧序列；

基于循环卷积神经网络，分别对所述目标视频帧序列和所述压缩视频帧序列进行特征提取，得到所述第一特征和所述第二特征。

3.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二视频片段，包括：

在特征维度上对所述第一特征和所述第二特征进行拼接，得到拼接特征，所述拼接特征的特征维度数等于所述第一特征的特征维度数和所述第二特征的特征维度数的和；

基于所述拼接特征，生成所述第二视频片段。

4.根据权利要求3所述的视频处理方法，其特征在于，所述基于所述拼接特征，生成所述第二视频片段，包括：

对所述拼接特征进行残差处理，得到第一目标特征；

对所述第一目标特征进行超分辨率处理，生成所述第二视频片段。

5.根据权利要求3所述的视频处理方法，其特征在于，所述基于所述拼接特征，生成所述第二视频片段，包括：

基于可变形卷积的特征提取算子，对所述拼接特征进行卷积，得到第二目标特征；

对所述第二目标特征进行超分辨率处理，生成所述第二视频片段。

6.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二视频片段，包括：

获取所述第一特征的权重参数和所述第二特征的权重参数；

根据所述第一特征的权重参数和所述第二特征的权重参数，通过注意力机制对所述第一特征和所述第二特征进行加权融合，得到第三目标特征；

对所述第三目标特征进行超分辨率处理，生成所述第二视频片段。

7.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述第一特征和所述第二特征，生成第二视频片段，包括：

获取所述第一特征的权重参数和所述第二特征的权重参数；

根据所述第一特征的权重参数和所述第二特征的权重参数，通过注意力机制对所述第一特征和所述第二特征进行加权融合，得到融合特征；

对所述融合特征进行残差处理，得到第四目标特征；

对所述第四目标特征进行超分辨率处理，生成所述第二视频片段。

8.根据权利要求1所述的视频处理方法，其特征在于，所述基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，包括：

获取所述多个压缩视频帧的质量信息，所述质量信息为压缩视频帧的质量参数，所述质量参数与对应的压缩视频帧的质量反相关；

从所述多个压缩视频帧中，获取质量参数低于质量参数阈值的多个目标视频帧；

基于所述多个目标视频帧的时序，确定所述第一传播路径；

基于所述多个压缩视频帧的时序，确定所述第二传播路径。

9.一种视频处理装置，其特征在于，所述装置包括：

确定单元，被配置为执行基于第一视频片段中多个压缩视频帧的质量信息，确定第一传播路径和第二传播路径，所述第一传播路径用于指示多个目标视频帧的顺序，所述目标视频帧为质量满足质量条件的压缩视频帧，所述第二传播路径用于指示所述多个压缩视频帧的顺序；

特征提取单元，被配置为执行基于所述第一传播路径和所述第二传播路径，分别对所述多个目标视频帧和所述多个压缩视频帧进行特征提取，得到第一特征和第二特征，所述第一特征用于表示所述多个目标视频帧的特征，所述第二特征用于表示所述多个压缩视频帧的特征；

生成单元，被配置为执行基于所述第一特征和所述第二特征，生成第二视频片段。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

用于存储所述处理器可执行程序代码的存储器；

其中，所述处理器被配置为执行所述程序代码，以实现如权利要求1至8任一项所述的视频处理方法。

11.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8任一项所述的视频处理方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的视频处理方法。

Images