CN111698512B - 视频处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、设备及存储介质，属于多媒体技术领域。本公开的一些实施例通过对原始视频进行前处理和编码，根据编码后的视频得到视频的压缩失真参数，依据压缩失真参数对前处理参数进行调整，由于在调整前处理参数时考虑了视频编码后的压缩失真，使得调整后的前处理参数的准确性得到显著的提升，因此设备通过应用调整后的前处理参数进行前处理，能够减少视频在编码后产生的压缩失真，从而提升了视频的质量，优化了设备进行视频前处理的性能。

Description

视频处理方法、装置、设备及存储介质

技术领域

本公开涉及多媒体技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。

背景技术

视频前处理是指在视频编码前对视频在像素层面执行的操作。通过先对视频进行前处理，再对视频进行解码，有助于减少视频在编码后的压缩失真。相关技术中，会人工预先设定滤波器的滤波系数，当得到原始视频后，滤波器会根据人工设定的滤波系数，对原始视频进行低通滤波操作，从而实现视频前处理。当滤波器得到滤波后的视频后，滤波后的视频会输入至视频编码器。视频编码器对滤波后的视频进行编码，得到编码后的视频。采用上述方法时，编码后的视频的压缩失真较大。

发明内容

本公开提供一种视频处理方法、装置、设备及存储介质，以至少解决相关技术中视频在编码后压缩失真较大的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，包括；

根据第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频；

对所述前处理后的视频进行编码，得到编码后视频；

根据所述编码后视频，获取压缩失真参数，所述压缩失真参数用于表示所述编码后视频和所述第一原始视频相比视频质量的下降程度；

根据所述压缩失真参数，对所述第一前处理参数进行调整，得到第二前处理参数；

根据所述第二前处理参数，对第二原始视频进行前处理。

可选地，所述第一前处理参数包括第一滤波系数，所述根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有所述第一滤波系数的滤波器，对所述第一原始视频进行前处理。

可选地，所述第一前处理参数包括第一网络参数，所述根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有所述第一网络参数的神经网络，对所述第一原始视频进行前处理。

可选地，所述对所述前处理后的视频进行编码，包括：

将所述前处理后的视频输入视频编码器，通过所述视频编码器对所述前处理后的视频进行编码。

可选地，所述对所述前处理后的视频进行编码，包括：

将所述前处理后的视频输入神经网络，通过所述神经网络对所述前处理后的视频进行编码，所述神经网络用于输出预设码率或预设量化参数对应的视频。

可选地，所述根据所述压缩失真参数，对所述第一前处理参数进行调整，得到第二前处理参数，包括：

将使得所述压缩失真参数的取值为最小值的第一前处理参数，确定为所述第二前处理参数，所述最小值在多次调整前处理参数后得到的多个压缩失真参数中最小。

可选地，所述第二前处理参数包括第二滤波系数，所述根据所述第二前处理参数，对第二原始视频进行前处理，包括：

通过具有所述第二滤波系数的滤波器，对所述第二原始视频进行前处理。

可选地，所述第二前处理参数包括第二网络参数，所述根据所述第二前处理参数，对第二原始视频进行前处理，包括：

通过具有所述第二网络参数的神经网络，对所述第二原始视频进行前处理。

根据本公开实施例的第二方面，提供一种视频处理装置，包括：

前处理单元，被配置为执行根据第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频；

编码单元，被配置为执行对所述前处理后的视频进行编码，得到编码后视频；

获取单元，被配置为执行根据所述编码后视频，获取压缩失真参数，所述压缩失真参数用于表示所述编码后视频和所述第一原始视频相比视频质量的下降程度；

调整单元，被配置为执行根据所述压缩失真参数，对所述第一前处理参数进行调整，得到第二前处理参数；

所述前处理单元，还被配置为执行根据所述第二前处理参数，对第二原始视频进行前处理。

可选地，所述第一前处理参数包括第一滤波系数，所述前处理单元，被配置为执行通过具有所述第一滤波系数的滤波器，对所述第一原始视频进行前处理。

可选地，所述第一前处理参数包括第一网络参数，所述前处理单元，被配置为执行通过具有所述第一网络参数的神经网络，对所述第一原始视频进行前处理。

可选地，所述编码单元，被配置为执行将所述前处理后的视频输入视频编码器，通过所述视频编码器对所述前处理后的视频进行编码。

可选地，所述编码单元，被配置为执行将所述前处理后的视频输入神经网络，通过所述神经网络对所述前处理后的视频进行编码，所述神经网络用于输出预设码率或预设量化参数对应的视频。

可选地，所述调整单元，被配置为执行将使得所述压缩失真参数的取值为最小值的第一前处理参数，确定为所述第二前处理参数，所述最小值在多次调整前处理参数后得到的多个压缩失真参数中最小。

可选地，所述第二前处理参数包括第二滤波系数，所述前处理单元，被配置为执行通过具有所述第二滤波系数的滤波器，对所述第二原始视频进行前处理。

可选地，所述第二前处理参数包括第二网络参数，所述前处理单元，被配置为执行通过具有所述第二网络参数的神经网络，对所述第二原始视频进行前处理。

根据本公开实施例的第三方面，提供一种电子设备，包括：

一个或多个处理器；

用于存储所述处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行所述指令，以实现上述视频处理方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括一条或多条指令，所述一条或多条指令由电子设备的处理器执行时，使得所述电子设备能够执行上述视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过对原始视频进行前处理和编码，根据编码后的视频得到视频的压缩失真参数，依据压缩失真参数对前处理参数进行调整，由于在调整前处理参数时考虑了视频编码后的压缩失真，使得调整后的前处理参数的准确性得到显著的提升，因此设备通过应用调整后的前处理参数进行前处理，能够减少视频在编码后产生的压缩失真，从而提升了视频的质量，优化了设备进行视频前处理的性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境的结构框图；

图2是根据一示例性实施例示出的一种视频处理系统200的框图；

图3是根据一示例性实施例示出的一种视频处理方法的流程图；

图4是根据一示例性实施例示出的一种视频处理方法的流程图；

图5是根据一示例性实施例示出的一种视频处理装置的框图；

图6是根据一示例性实施例示出的一种终端的框图；

图7是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

下面先对本申请实施例涉及的一些术语相关概念进行介绍。

(1)卷积神经网络

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。

(2)视频编码器

视频编码器是指能够对视频进行压缩或者解压缩的程序或者设备。

(3)视频前处理

视频前处理是指在视频编码前对视频在像素层面操作，使得视频符合预期的效果。在设定的码率的前提下，视频编码器对视频数字信号进行有损压缩。码率越低，视频压缩的失真越明显。另外一方面，同样的码率，针对不同的视频，压缩失真的程度是不一样的。视频的内容里纹理和运动越复杂，压缩失真越严重。因此，通过视频前处理，对视频在像素层面进行滤波等操作，通过减少视频内容的纹理信息，是可以使得视频在编码后的压缩失真减少的。

(4)压缩失真

压缩失真是多媒体文件(包括图像、音频和视频)在使用破坏性资料进行压缩之后产生的明显失真。

(5)码率

码率是指由模拟信号转换为数字信号后单位时间内的二进制数据量。码率越高，每秒传送数据就越多，画质就越清晰。

(6)视频质量

视频质量是量化一段视频通过视频传输/处理系统时画面质量变化(通常是下降)程度的方法。由于视频处理系统可能会导致一定的视频信号失真，因此视频质量评价对于视频传输/处理系统的选择，显得十分重要。

以上介绍了一些术语概念，以下对视频前处理技术在具体应用中的情况进行举例说明。

在一些实施例中，在设定码率(一般指的是较低码率)下，在编码前对视频进行缩小操作，从而减少视频的纹理信息，使得视频在编码后的压缩失真减少。然而，在采用这种方式时，由于减小视频的分辨率，使得视频的纹理信息明显减少，视频清晰度大大下降。

在另一些实施例中，在视频像素层面，对视频进行图像低通滤波操作(比如高斯模糊、双边滤波)，减少视频的高频信息，使得视频在编码后的压缩失真减少。然而，在采用这种方式时，由于对视频所有纹理信息采取同样的操作，并没有考虑视频编码器压缩失真本身的特性。

而在本申请提供的一些实施例中，提供了一种视频前处理的方法，该方法中由于加入了模拟视频编码失真的模块，通过视频编码后的压缩失真来指导视频前处理的滤波系数，使得视频前处理以编码后的压缩失真最小为目标得到优化。

以下，对本公开一些实施例的硬件环境进行示例性说明。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境的结构框图。该实施环境包括：终端101和视频处理平台110。

终端101通过无线网络或有线网络与视频处理平台110相连。终端101可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture ExpertsGrou p Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端101安装和运行有支持视频处理的应用程序。该应用程序可以是直播应用、多媒体应用、短视频应用等。示例性的，终端101是用户使用的终端，终端101中运行的应用程序内登录有用户账号。

终端101通过无线网络或有线网络与视频处理平台110相连。

视频处理平台110包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。视频处理平台110用于为支持视频处理功能的应用程序提供后台服务。可选地，在处理视频的过程中，视频处理平台110和终端101可以协同工作。例如，视频处理平台110承担主要工作，终端101承担次要工作；或者，视频处理平台110承担次要工作，终端101承担主要工作；或者，视频处理平台110或终端101分别可以单独承担生成工作。作为示例，视频处理平台110可以执行下述实施例，训练得到卷积神经网络，将卷积神经网络发送至终端101，终端可以接收来自视频处理平台110的卷积神经网络，利用该卷积神经网络，通过执行下述方法实施例来进行视频前处理和视频编码。

可选地，视频处理平台110包括：接入服务器、视频处理服务器1101和数据库1102。接入服务器用于为终端101提供接入服务。视频处理服务器1101用于提供视频处理有关的后台服务，例如训练卷积神经网络、采集样本视频等等。视频处理服务器1101可以是一台或多台。当视频处理服务器1101是多台时，存在至少两台视频处理服务器1101用于提供不同的服务，和/或，存在至少两台视频处理服务器1101用于提供相同的服务，比如以负载均衡方式提供同一种服务，本公开实施例对此不加以限定。视频处理服务器1101中可以设置有视频处理模型。数据库1102可以用于存储样本视频、卷积神经网络、原始图像或者下述方法实施例涉及的其他数据等，当需要时，数据库1102可以将存储的数据提供给终端101以及视频处理服务器1101。

终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。

本领域技术人员可以知晓，终端101的数量可以更多或更少。比如终端101可以仅为一个，或者终端101为几十个或几百个，或者更多数量，此时上述视频处理系统还包括其他终端。本公开实施例对终端的数量和设备类型不加以限定。

以上对本申请实施例的硬件环境进行了举例说明，以下对本申请实施例的逻辑功能架构进行举例说明。

请参见附图2，本申请实施例提供了一种视频处理系统200。视频处理系统200包括原始视频210、视频前处理模块220、视频编码模块230、编码后视频240和编码失真模块250。

在视频处理系统200处理视频的过程中，原始视频210会输入至视频前处理模块220；视频前处理模块220对原始视频210进行前处理，得到前处理后的视频，视频前处理模块220得到的前处理后的视频会输入至视频编码模块230。视频编码模块230对前处理后的视频进行前处理，得到编码后视频240。视频编码模块230得到的编码后视频240以及原始视频210均会输入至编码失真模块250。编码失真模块250根据编码后视频240与原始视频210之间的视频质量差异，获得编码失真参数。编码失真模块250得到的压缩失真参数会反馈至视频前处理模块220。视频前处理模块220会根据压缩失真参数调整自身的前处理参数，使得视频前处理模块220的前处理参数得到优化。

其中，视频前处理模块220的实现方式包括多种情况。可选地，视频前处理模块220是滤波器。例如，视频前处理模块220是多抽头图像滤波器。可选地，视频前处理模块220是神经网络，例如，视频前处理模块220是卷积神经网络。

其中，视频编码模块230的实现方式包括多种情况。可选地，视频编码模块230是一个真实的视频编码器，即，视频编码模块230是物理设备。可选地，视频编码模块230是一个利用卷积神经网络训练的视频编码失真的模拟器，用来模拟在特定码率或者量化程度设定下的编码器失真。

图3是根据一示例性实施例示出的一种视频处理方法的流程图，如图3所示，该方法用于电子设备中，包括以下步骤。

在步骤S310中，电子设备根据第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频。

在步骤S320中，电子设备对前处理后的视频进行编码，得到编码后视频。

在步骤S330中，电子设备根据编码后视频，获取压缩失真参数，压缩失真参数用于表示编码后视频和第一原始视频相比视频质量的下降程度。

在步骤S340中，电子设备根据压缩失真参数，对第一前处理参数进行调整，得到第二前处理参数。

在步骤S350中，电子设备根据第二前处理参数，对第二原始视频进行前处理。

可选地，第一前处理参数包括第一滤波系数，根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有第一滤波系数的滤波器，对第一原始视频进行前处理。

可选地，第一前处理参数包括第一网络参数，根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有第一网络参数的神经网络，对第一原始视频进行前处理。

可选地，对前处理后的视频进行编码，包括：

将前处理后的视频输入视频编码器，通过视频编码器对前处理后的视频进行编码。

可选地，对前处理后的视频进行编码，包括：

将前处理后的视频输入神经网络，通过神经网络对前处理后的视频进行编码，神经网络用于输出预设码率或预设量化参数对应的视频。

可选地，根据压缩失真参数，对第一前处理参数进行调整，得到第二前处理参数，包括：

将使得压缩失真参数的取值为最小值的第一前处理参数，确定为第二前处理参数。

可选地，第二前处理参数包括第二滤波系数，根据第二前处理参数，对第二原始视频进行前处理，包括：

通过具有第二滤波系数的滤波器，对第二原始视频进行前处理。

可选地，第二前处理参数包括第二网络参数，根据第二前处理参数，对第二原始视频进行前处理，包括：

通过具有第二网络参数的神经网络，对第二原始视频进行前处理。

图4是根据一示例性实施例示出的一种视频处理方法的流程图，如图4所示，该方法用于电子设备中，包括以下步骤。

在步骤S400中，电子设备获取多个原始视频。

原始视频是指未经过前处理且未经过编码的视频。如何获得原始视频包括多种方式。在一些实施例中，电子设备访问数据库，读取数据库预先保存的原始视频。在另一些实施例中，电子设备通过摄像头进行视频录制，得到原始视频。在另一些实施例中，电子设备是视频应用的后台服务器，视频应用的客户端录制原始视频，将原始视频发送至电子设备。

在步骤S410中，电子设备根据第一前处理参数，对第一原始视频进行前处理，得到第一前处理后的视频。

第一原始视频是任意一个原始视频。

前处理参数是指执行前处理时所需使用的参数。可选地，前处理的步骤通过滤波器实现，前处理参数为滤波器的滤波系数。例如，前处理参数是多抽头图像滤波器的滤波系数。可选地，前处理的步骤通过神经网络实现，前处理参数为神经网络的网络参数。例如，前处理参数是神经网络中的权重矩阵。

前处理后的视频是指对原始视频进行前处理得到的视频。前处理后的视频经过了前处理且未经过编码。第一前处理后的视频是指对第一原始视频经过前处理得到的视频。

本实施例中，电子设备会通过对前处理参数进行调整来优化前处理参数。为了区分描述优化前后的前处理参数，将优化前的前处理参数称为第一前处理参数，将优化后的前处理参数称为第二前处理参数。

可选地，第一前处理参数通过样本视频训练得到。可选地，在前处理通过滤波器实现的情况下，第一前处理参数包括第一滤波系数，获得第一滤波系数的方式例如包括：确定滤波器的结构；将具有该结构的滤波器的滤波系数配置为初始值；通过滤波器对样本视频进行滤波；根据滤波后的视频对初始值进行调整，得到第一滤波系数。可选地，在前处理通过神经网络实现的情况下，第一前处理参数包括第一网络参数，获得第一网络参数的方式例如包括：确定神经网络的结构；将该结构的神经网络的网络参数配置为初始值；通过神经网络对样本视频进行滤波，根据滤波后的视频对初始值进行调整，得到第一网络参数。

具体如何进行前处理包括多种实现方式，以下通过前处理方式一和前处理方式二举例说明。

前处理方式一、电子设备通过具有第一滤波系数的滤波器，对第一原始视频进行前处理。例如，通过滤波器对第一原始视频进行滤波。例如，通过低通滤波器对第一原始视频进行低通滤波。其中，低通滤波包括而不限于高斯模糊的方式或双边滤波的方式。通过进行低通滤波操作，能够减少视频的高频信息，使得视频在编码后的压缩失真减少。

前处理方式二、电子设备通过具有第一网络参数的神经网络，对第一原始视频进行前处理。例如，通过卷积神经网络对第一原始视频进行卷积处理。

在步骤S420中，电子设备对第一前处理后的视频进行编码，得到第一编码后视频。

编码后视频是指对前处理后的视频进行编码得到的视频。编码后视频经过了前处理且经过了编码。第一编码后视频是指对第一前处理后的视频进行编码得到的视频。

具体如何对视频编码包括多种实现方式，以下通过编码方式一和编码方式二举例说明。

编码方式一、电子设备将第一前处理后的视频输入视频编码器，通过视频编码器对第一前处理后的视频进行编码。

可选地，该视频编码器是硬件设备，电子设备和视频编码器通过有线或无线网络连接，电子设备向视频编码器发送编码请求，该编码请求携带第一前处理后的视频。视频编码器接收编码请求，响应于编码请求，对第一前处理后的视频进行编码。

编码方式二、电子设备将第一前处理后的视频输入神经网络，通过神经网络对第一前处理后的视频进行编码。

可选地，神经网络是卷积神经网络。可选地，神经网络预先保存在电子设备上，电子设备调用神经网络，从而通过神经网络进行编码。神经网络用于输出预设码率或预设量化参数对应的视频。神经网络用于模拟编码失真。神经网络能够在训练过程中学习压缩失真参数和前处理参数之间的映射关系。可选地，进行编码时使用的神经网络与进行前处理时使用的神经网络是不同的。例如，通过第一神经网络对第一原始视频进行前处理，通过第二神经网络对第一前处理后的视频进行编码，第二神经网络和第一神经网络具有不同的网络结构。

其中，量化参数即编码器的QP。预设量化参数例如是开发者预先设置的QP。量化参数反映了空间细节压缩情况。例如，量化参数小，表示大部分的细节都会被保留；量化参数增大，一些细节丢失，码率降低，但图像失真加强和质量下降。

在步骤S430中，电子设备根据第一编码后视频，获取压缩失真参数。

压缩失真参数用于表示第一编码后视频和第一原始视频相比视频质量的下降程度。例如，压缩失真参数越大，表示第一编码后视频和第一原始视频相比失真程度越大。

在一种可能的实现中，电子设备根据第一原始视频，确定第一原始视频的质量参数；电子设备根据第一编码后视频，确定第一编码后视频的质量参数；电子设备根据第一原始视频的质量参数和第一编码后视频的质量参数，获取压缩失真参数。例如，电子设备确定第一原始视频的质量参数和第一编码后视频的质量参数之间的差异量，作为压缩失真参数。

在步骤S440中，电子设备根据压缩失真参数，对第一前处理参数进行调整，得到第二前处理参数。

第二前处理参数的取值和第一前处理参数的取值不同。调整前处理参数的方式包括：增加第一前处理参数的取值，使得第二前处理参数的取值大于第一前处理参数的取值；或者，减小第一前处理参数的取值，使得第二前处理参数的取值小于第一前处理参数的取值。

可选地，电子设备以压缩失真参数最小为目标，对第一前处理参数进行一次或多次调整。电子设备将使得压缩失真参数的取值为最小值的第一前处理参数，确定为第二前处理参数。或者，电子设备将使得压缩失真参数的取值小于预设阈值的第一前处理参数，确定为第二前处理参数。

其中，在前处理通过滤波器实现的情况下，步骤S440例如是调整滤波器的滤波系数的过程。例如，根据压缩失真参数，对第一滤波系数进行调整，得到第二滤波系数。

其中，在前处理通过神经网络实现的情况下，步骤S440例如是调整神经网络的网络参数的过程。例如，根据压缩失真参数，对第一网络参数进行调整，得到第二网络参数。

可选地，调整前处理参数的过程包括多次迭代。每次迭代包括一次前处理、一次编码和一次调整前处理参数。迭代的停止条件是压缩失真参数的取值为最小值。例如，在调整一次第一前处理参数后，根据调整后的第一前处理参数对第一原始视频重新进行前处理和编码的动作，根据重新得到的编码后视频，重新获取压缩失真参数，根据重新获取的压缩失真参数，判断压缩失真的程度是增加还是减少。如果压缩失真的程度增加，则停止迭代。如果压缩失真的程度减少，则继续调整第一前处理参数。

其中，最小值是指在多次调整前处理参数后得到的多个压缩失真参数中最小。具体地，每当调整一次前处理参数后，根据调整后的前处理参数能够重新获得一个压缩失真参数，多次调整前处理参数后，能够得到多个压缩失真参数，对该多个压缩失真参数进行比较，确定压缩失真参数的最小值。例如，在调整2次前处理参数的情况下，首先根据前处理参数1得到压缩失真参数1；之后，调整前处理参数1得到前处理参数2，根据前处理参数2得到压缩失真参数2；之后，调整前处理参数2得到前处理参数3，根据前处理参数3得到压缩失真参数3；压缩失真参数的最小值例如是压缩失真参数1、压缩失真参数2和压缩失真参数3中的最小值。

在步骤S450中，电子设备根据第二前处理参数，对第二原始视频进行前处理，得到第二前处理后的视频。

第二原始视频是任意一个原始视频。第二原始视频和第一原始视频之间的关系包括多种情况，以下通过方式一和方式二举例说明。

方式一、第二原始视频和第一原始视频是不同的视频。也即是，将通过一个原始视频得出的压缩失真参数应用在另一个原始视频的处理上。例如，获取多个待编码的视频，将该多个视频组成原始视频集合，从原始视频集合中，选择一部分原始视频作为第一原始视频，根据这些原始视频通过执行上述方法得到压缩失真参数；此外，将另一部分原始视频作为第二原始视频，对第二原始视频根据该压缩失真参数进行前处理后，再进行编码，从而提高另一部分原始视频的质量。

方式二、第二原始视频和第一原始视频同一个视频。也即是，将通过一个原始视频得出的压缩失真参数应用在该原始视频的处理上。例如，获取多个待编码的视频，将该多个视频组成原始视频集合，对于原始视频集合中的每个原始视频，根据该原始视频通过执行上述方法得到压缩失真参数，再根据该压缩失真参数对该原始视频重新进行前处理，再重新进行编码，从而提高该原始视频的质量。

可选地，步骤S450中前处理的方式和上述步骤S410中前处理的方式相同。例如，步骤S450和步骤S410均使用滤波器，又如，步骤S450和步骤S410均使用神经网络。具体如何进行前处理包括多种实现方式，以下通过前处理方式一和前处理方式二举例说明。

前处理方式一、电子设备通过具有第二滤波系数的滤波器，对第二原始视频进行前处理。例如，通过滤波器对第二原始视频进行滤波。例如，通过低通滤波器对第二原始视频进行低通滤波。

前处理方式二、电子设备通过具有第二网络参数的神经网络，对第二原始视频进行前处理。例如，通过卷积神经网络对第二原始视频进行卷积处理。

在步骤S460中，电子设备对第二前处理后的视频进行编码，得到第二编码后视频。

第二编码后视频是指对第二前处理后的视频进行编码得到的视频。

可选地，步骤S460中编码的方式和上述步骤S420中编码的方式相同。例如，步骤S460和步骤S420均使用视频编码器，又如，步骤S460和步骤S420均使用神经网络。具体如何进行编码包括多种实现方式，以下通过编码方式一和编码方式二举例说明。

编码方式一、电子设备将第二前处理后的视频输入视频编码器，通过视频编码器对第二前处理后的视频进行编码。

编码方式二、电子设备将第二前处理后的视频输入神经网络，通过神经网络对第二前处理后的视频进行编码。

第二编码后视频的使用包括多种应用场景。例如，第二编码后视频用于在视频应用的客户端中播放。比如说，本实施例中的电子设备是视频应用的后台服务器，后台服务器编码得到第二编码后视频后，将第二编码后视频发送至运行有视频应用的客户端的终端，终端接收第二编码后视频，在客户端中播放该第二编码后视频。又如，第二编码后视频用于视频数据库的扩充。比如说，电子设备得到第二编码后视频后，将第二编码后视频存储至视频数据库。又如，第二编码后视频用于继续优化前处理参数。比如说，根据第二编码后视频和第二原始视频之间的视频质量差异，获取压缩失真参数，根据压缩失真参数，对第二前处理参数进行调整。

本实施例提供的方法，通过对原始视频进行前处理和编码，根据编码后的视频得到视频的压缩失真参数，依据压缩失真参数对前处理参数进行调整，由于在调整前处理参数时考虑了视频编码后的压缩失真，使得调整后的前处理参数的准确性得到显著的提升，因此设备通过应用调整后的前处理参数进行前处理，能够减少视频在编码后产生的压缩失真，从而提升了视频的质量，优化了设备进行视频前处理的性能。

图5是根据一示例性实施例示出的一种视频处理装置的框图。参照图5，该装置包括前处理单元510、编码单元520、获取单元530和调整单元540。

前处理单元510，被配置为执行根据第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频；

编码单元520，被配置为执行对前处理后的视频进行编码，得到编码后视频；

获取单元530，被配置为执行根据编码后视频，获取压缩失真参数，压缩失真参数用于表示编码后视频和第一原始视频相比视频质量的下降程度；

调整单元540，被配置为执行根据压缩失真参数，对第一前处理参数进行调整，得到第二前处理参数；

前处理单元510，还被配置为执行根据第二前处理参数，对第二原始视频进行前处理。

可选地，第一前处理参数包括第一滤波系数，前处理单元510，被配置为执行通过具有第一滤波系数的滤波器，对第一原始视频进行前处理。

可选地，第一前处理参数包括第一网络参数，前处理单元510，被配置为执行通过具有第一网络参数的神经网络，对第一原始视频进行前处理。

可选地，编码单元520，被配置为执行将前处理后的视频输入视频编码器，通过视频编码器对前处理后的视频进行编码。

可选地，编码单元520，被配置为执行将前处理后的视频输入神经网络，通过神经网络对前处理后的视频进行编码，神经网络用于输出预设码率或预设量化参数对应的视频。

可选地，调整单元540，被配置为执行将使得压缩失真参数的取值为最小值的第一前处理参数，确定为第二前处理参数。

可选地，第二前处理参数包括第二滤波系数，前处理单元510，被配置为执行通过具有第二滤波系数的滤波器，对第二原始视频进行前处理。

可选地，第二前处理参数包括第二网络参数，前处理单元510，被配置为执行通过具有第二网络参数的神经网络，对第二原始视频进行前处理。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

上述方法实施例中的电子设备可以实现为终端或服务器，例如，图6示出了本申请一个示例性实施例提供的终端600的结构框图。该终端600可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一条指令，该至少一条指令用于被处理器601所执行以实现本申请中方法实施例提供的视频处理方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在另一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述方法实施例中的电子设备可以实现为服务器，例如，图7是本公开实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)701和一个或一个以上的存储器702，其中，存储器702中存储有至少一条指令，至少一条指令由处理器701加载并执行以实现上述各个方法实施例提供的视频处理方法。当然，该服务器还可以具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述视频处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(R ead-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-Only Memory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。

本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种视频处理方法，其特征在于，所述方法包括：

通过多次迭代过程来调整第一前处理参数，以得到多个第一前处理参数，其中，在任一次迭代过程中，根据上一次迭代调整得到的第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频；

对所述前处理后的视频进行编码，得到编码后视频；

根据所述第一原始视频的质量参数以及所述编码后视频的质量参数，获取本次迭代的压缩失真参数，所述压缩失真参数用于表示所述编码后视频和所述第一原始视频相比视频质量的下降程度；

根据所述压缩失真参数，对所述本次迭代所采用的第一前处理参数进行调整，以得到下一次迭代对应的第一前处理参数；所述迭代过程的停止条件为获取到的压缩失真参数指示压缩失真的程度增加；

将所述多个第一前处理参数中，使得所述压缩失真参数的取值最小的第一前处理参数，确定为第二前处理参数；

根据所述第二前处理参数，对第二原始视频进行前处理，所述第二原始视频是任意一个未经过前处理且未经过编码的原始视频。

2.根据权利要求1所述的视频处理方法，其特征在于，所述第一前处理参数包括第一滤波系数，所述根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有所述第一滤波系数的滤波器，对所述第一原始视频进行前处理。

3.根据权利要求1所述的视频处理方法，其特征在于，所述第一前处理参数包括第一网络参数，所述根据第一前处理参数，对第一原始视频进行前处理，包括：

通过具有所述第一网络参数的神经网络，对所述第一原始视频进行前处理。

4.根据权利要求1所述的视频处理方法，其特征在于，所述对所述前处理后的视频进行编码，包括：

将所述前处理后的视频输入视频编码器，通过所述视频编码器对所述前处理后的视频进行编码。

5.根据权利要求1所述的视频处理方法，其特征在于，所述对所述前处理后的视频进行编码，包括：

将所述前处理后的视频输入神经网络，通过所述神经网络对所述前处理后的视频进行编码，所述神经网络用于输出预设码率或预设量化参数对应的视频。

6.根据权利要求1所述的视频处理方法，其特征在于，所述第二前处理参数包括第二滤波系数，所述根据所述第二前处理参数，对第二原始视频进行前处理，包括：

通过具有所述第二滤波系数的滤波器，对所述第二原始视频进行前处理。

7.根据权利要求1所述的视频处理方法，其特征在于，所述第二前处理参数包括第二网络参数，所述根据所述第二前处理参数，对第二原始视频进行前处理，包括：

通过具有所述第二网络参数的神经网络，对所述第二原始视频进行前处理。

8.一种视频处理装置，其特征在于，所述装置包括：

前处理单元，被配置为执行通过多次迭代过程来调整第一前处理参数，以得到多个第一前处理参数，其中，在任一次迭代过程中，根据上一次迭代调整得到的第一前处理参数，对第一原始视频进行前处理，得到前处理后的视频；

编码单元，被配置为执行对所述前处理后的视频进行编码，得到编码后视频；

获取单元，被配置为执行根据所述第一原始视频的质量参数以及所述编码后视频的质量参数，获取本次迭代的压缩失真参数，所述压缩失真参数用于表示所述编码后视频和所述第一原始视频相比视频质量的下降程度；

调整单元，被配置为执行根据所述压缩失真参数，对所述本次迭代所采用的第一前处理参数进行调整，以得到下一次迭代对应的第一前处理参数；所述迭代过程的停止条件为获取到的压缩失真参数指示压缩失真的程度增加；将所述多个第一前处理参数中，使得所述压缩失真参数的取值最小的第一前处理参数，确定为第二前处理参数；

所述前处理单元，还被配置为执行根据所述第二前处理参数，对第二原始视频进行前处理，所述第二原始视频是任意一个未经过前处理且未经过编码的原始视频。

9.根据权利要求8所述的视频处理装置，其特征在于，所述第一前处理参数包括第一滤波系数，所述前处理单元，被配置为执行通过具有所述第一滤波系数的滤波器，对所述第一原始视频进行前处理。

10.根据权利要求8所述的视频处理装置，其特征在于，所述第一前处理参数包括第一网络参数，所述前处理单元，被配置为执行通过具有所述第一网络参数的神经网络，对所述第一原始视频进行前处理。

11.根据权利要求8所述的视频处理装置，其特征在于，所述编码单元，被配置为执行将所述前处理后的视频输入视频编码器，通过所述视频编码器对所述前处理后的视频进行编码。

12.根据权利要求8所述的视频处理装置，其特征在于，所述编码单元，被配置为执行将所述前处理后的视频输入神经网络，通过所述神经网络对所述前处理后的视频进行编码，所述神经网络用于输出预设码率或预设量化参数对应的视频。

13.根据权利要求8所述的视频处理装置，其特征在于，所述第二前处理参数包括第二滤波系数，所述前处理单元，被配置为执行通过具有所述第二滤波系数的滤波器，对所述第二原始视频进行前处理。

14.根据权利要求8所述的视频处理装置，其特征在于，所述第二前处理参数包括第二网络参数，所述前处理单元，被配置为执行通过具有所述第二网络参数的神经网络，对所述第二原始视频进行前处理。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

其中，所述一个或多个处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频处理方法。

16.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的视频处理方法。

Images