CN110971784B - 一种视频处理方法、装置、电子设备及存储介质 - Google Patents
一种视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110971784B CN110971784B CN201911114628.3A CN201911114628A CN110971784B CN 110971784 B CN110971784 B CN 110971784B CN 201911114628 A CN201911114628 A CN 201911114628A CN 110971784 B CN110971784 B CN 110971784B
- Authority
- CN
- China
- Prior art keywords
- video
- processing
- parameter set
- training
- processing parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开是关于一种视频处理方法、装置、电子设备及存储介质，该方法包括：获取需要处理的视频的特征；将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值。一方面，降低了确定用于对需要处理的视频进行处理的处理参数集合的过程的开销，另一方面，考虑了处理参数集合对目标视频的质量的影响，确定出的用于对需要处理的视频进行处理的处理参数集合可以使得目标视频具有较高的质量。
Description
技术领域
本公开涉及视频领域，具体涉及视频处理方法、装置、电子设备及存储介质。
背景技术
在将视频平台中的视频提供给用户之前，需要采用诸如包含码率、分辨率的处理参数集合对视频进行处理，将得到的经过处理的视频提供给用户。例如，视频平台在将一个用户上传的录制视频提供给其他用户之前，需要采用处理参数集合对该用户上传的录制视频处理，将得到的经过处理的视频提供给其他用户。
目前，在确定用于对视频进行处理的处理参数集合时，通常采用的方式为：针对一个视频，采用预先设置的多个处理参数集合分别对该视频进行模拟处理，根据处理效率，确定预先设置的多个处理参数集合中的用于对该视频进行处理的处理参数集合。
然而，当采用上述方式确定处理参数集合时，一方面，需要对同一个视频进行多次模拟处理才能确定用于对该视频进行处理的处理参数集合，复杂度高，视频平台中的视频为海量级别，对于每一个视频，均需要分别通过多次模拟处理才能确定处理参数集合，造成确定处理参数集合的过程开销大。
另一方面，在确定处理参数集合时，考虑处理效率，而没有考虑在采用处理参数集合对视频进行处理之后得到的目标视频的质量，换言之，没有考虑处理参数集合对目标视频的质量的影响。
发明内容
为克服相关技术中存在的问题，本公开提供一种视频处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种视频处理方法，包括：
获取需要处理的视频的特征；
将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；
采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值。
在一些实施例中，用于对所述视频进行处理的处理参数集合包括：用于对所述视频进行编码的码率、用于对所述视频进行编码的分辨率、与在对所述视频进行编码之前需要对所述视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，其中，所述经过编码的视频为对所述视频进行编码之后得到的视频。
在一些实施例中，所述处理参数集合生成模型为用于生成处理参数集合的神经网络；以及在将所述视频的特征输入到处理参数集合生成模型之前，还包括：
获取用于训练的视频，以及生成所述用于训练的视频的标注信息，所述标注信息包括：目标处理参数集合，其中，在采用所述目标处理参数集合对所述用于训练的视频进行处理之后得到的视频的视频质量分数大于分数阈值；
获取所述用于训练的视频的特征，以及将所述用于训练的视频的特征输入到所述神经网络，得到所述神经网络预测出的处理参数集合；
计算指示所述预测出的处理参数集合与所述目标处理参数集合的差异的差异信息；
基于所述差异信息，对所述神经网络的网络参数的参数值进行更新。
在一些实施例中，所述生成所述用于训练的视频的标注信息包括：
生成与所述用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；
对于所述多个候选处理参数集合中的每一个候选处理参数集合，采用候选处理参数集合对所述用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；
确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；
将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为所述用于训练的视频的标注信息中的目标处理参数集合。
在一些实施例中，所述生成与所述用于训练的视频相关的多个候选处理参数集合包括：
生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；
对于每一个编码参数组合，采用编码参数组合对所述用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；
基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；
将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到所述多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
根据本公开实施例的第二方面，提供一种视频处理装置，包括：
获取模块，被配置为获取需要处理的视频的特征；
生成模块，被配置为将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；
处理模块，被配置为采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值。
在一些实施例中，用于对所述视频进行处理的处理参数集合包括：用于对所述视频进行编码的码率、用于对所述视频进行编码的分辨率、与在对所述视频进行编码之前需要对所述视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，其中，所述经过编码的视频为对所述视频进行编码之后得到的视频。
在一些实施例中，视频处理装置还包括：训练数据获取模块，被配置为当所述处理参数集合生成模型为用于生成处理参数集合的神经网络时，在将所述视频的特征输入到处理参数集合生成模型之前，获取用于训练的视频；训练数据标注模块，被配置为生成所述用于训练的视频的标注信息，所述标注信息包括：目标处理参数集合，其中，在采用所述目标处理参数集合对所述用于训练的视频进行处理之后得到的视频的视频质量分数大于分数阈值；特征获取模块，被配置为获取所述用于训练的视频的特征；特征输入模块，被配置为将所述用于训练的视频的特征输入到所述神经网络，得到所述神经网络预测出的处理参数集合；差异信息计算模块，被配置为计算指示所述预测出的处理参数集合与所述目标处理参数集合的差异的差异信息；参数更新模块，被配置为基于所述差异信息，对所述神经网络的网络参数的参数值进行更新。
在一些实施例中，训练数据标注模块包括：标注信息生成子模块，被配置为：
生成与所述用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；
对于所述多个候选处理参数集合中的每一个候选处理参数集合，采用候选处理参数集合对所述用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；
确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；
将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为所述用于训练的视频的标注信息中的目标处理参数集合。
在一些实施例中，标注信息生成子模块进一步被配置为：
生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；
对于每一个编码参数组合，采用编码参数组合对所述用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；
基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；
将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到所述多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
本公开的实施例提供的技术方案可以包括以下有益效果：
直接将需要处理的视频的特征输入到处理参数集合生成模型，得到可以使得对需要处理的视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对需要处理的视频进行处理的处理参数集合。从而，当采用用于对需要处理的视频进行处理的处理参数集合对需要处理的视频进行处理之后，得到的目标视频的视频质量分数大于分数阈值，确保对需要处理的视频进行处理之后得到的目标视频具有较高的质量。一方面，降低了确定用于对需要处理的视频进行处理的处理参数集合的过程的开销，另一方面，考虑了处理参数集合对目标视频的质量的影响，确定出的用于对需要处理的视频进行处理的处理参数集合可以使得目标视频具有较高的质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频处理方法的一个实施例的流程图；
图2是根据一示例性实施例示出的一种视频处理装置的结构框图；
图3是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1是根据一示例性实施例示出的视频处理方法的一个实施例的流程图。该方法包括以下步骤：
步骤101，获取需要处理的视频的特征。
在本公开中，可以由视频平台的服务器获取需要处理的视频的特征。需要处理的视频的特征可以包括：MaxTI、AvgTI、IntraComplexity、InterComplexity、BComplexity、PComplexity。其中，MaxTI表示相邻帧差的方差最大值，AvgTI表示相邻帧差的方差平均值，IntraComplexity表示帧内编码的SATD(Sum of Absolute Transformed Difference)值，InterComplexity表示帧间编码的SATD值，BComplexity表示编码B帧时的SATD值，PComplexity表示编码P帧时的SATD值。
例如，一个需要处理的视频为在用户的终端上对用户上传到视频平台的该用户录制的视频进行编码之后得到的经过编码的视频。在用户的终端上对用户录制的视频进行编码的编码过程中，会生成需要处理的视频的特征中的信息，换言之，在编码过程中，相当于生成需要处理的视频的特征。用户的终端在将经过编码的用户录制的视频发送至视频平台的同时，可以向视频平台发送需要处理的视频的特征。从而，视频平台的服务器无需提取需要处理的视频的特征，直接获取需要处理的视频的特征。
步骤102，将需要处理的视频的特征输入到处理参数集合生成模型，得到处理参数集合。
在本公开中，在获取到需要处理的视频的特征之后，可以将需要处理的视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对需要处理的视频进行处理的处理参数集合。
在本公开中，处理参数集合生成模型可以基于需要处理的视频的特征，生成可以使得对需要处理的视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对需要处理的视频进行处理的处理参数集合。从而，当采用用于对需要处理的视频进行处理的处理参数集合对需要处理的视频进行处理之后，得到的目标视频的视频质量分数大于分数阈值。
在一些实施例中，用于对需要处理的视频进行处理的处理参数集合包括：用于对需要处理的视频进行编码的码率、用于对需要处理的视频进行编码的分辨率、与在对需要处理的视频进行编码之前需要对需要处理的视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，经过编码的视频为对需要处理的视频进行编码之后得到的视频。
在本公开中，用于对需要处理的视频进行处理的处理参数集合中的前处理参数可以包括对需要处理的视频进行去噪处理相关的去燥参数，用于对需要处理的视频进行处理的处理参数集合中的后处理参数可以包括：对经过编码的视频进行暗场增强处理相关的暗场增强参数、对经过编码的视频进行轮廓增强处理相关的轮廓增强参数等。
在本公开中，当用于对需要处理的视频进行处理的处理参数集合包括：码率、分辨率、前处理参数、后处理参数时，在采用用于对要处理的视频进行处理的处理参数集合对需要处理的视频进行处理时，可以首先采用用于对需要处理的视频进行处理的处理参数集合中的前处理参数对需要处理的视频进行处理，例如采用去燥参数对需要处理的视频进行去燥处理。然后，可以采用用于对需要处理的视频进行处理的处理参数集合中的码率和分辨率对需要处理的视频进行编码，进行编码之后，得到经过编码的视频。最后，可以采用用于对需要处理的视频进行处理的处理参数集合中的后处理参数对经过编码的视频进行处理，例如，采用暗场增强参数对经过编码的视频进行暗场增强处理、采用轮廓增强参数对经过编码的视频进行轮廓增强处理。在采用用于对需要处理的视频进行处理的处理参数集合中的后处理参数对经过编码的视频进行处理之后，可以得到目标视频。
在本公开中，处理参数集合生成模型中可以指示视频的特征与可以使得对视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的处理参数集合之间的关联关系，处理参数集合生成模型可以根据该关联关系，基于需要处理的视频的特征，生成可以使得对需要处理的视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对需要处理的视频进行处理的处理参数集合。
例如，处理参数集合生成模型预先存储了大量的视频的特征，每一个预先存储的视频的特征分别属于一个视频。每一个预先存储的视频的特征各自对应一个预设处理参数集合。对于每一个预先存储的视频的特征，该预先存储的视频的特征对应的预设处理参数集合可以使得对该预先存储的视频的特征所属的视频进行处理之后得到的视频的视频质量分数大于分数阈值。在处理参数集合生成模型中，可以计算需要处理的视频的特征与预先存储的大量的视频的特征中的每一个视频的特征的相似度。然后，可以根据相似度，确定用于对视频进行处理的处理参数集合。
例如，可以确定与该需要处理的视频的特征的相似度最大的预先存储的特征，将确定出的的预先存储的特征对应的预设处理参数集合作为该需要处理的视频的处理参数集合。
又例如，可以根据相似度由高至低的顺序，对预先存储的视频的特征进行排序，选取排序之后位置靠前的一定数量的预先存储的特征，即选取与该视频的特征最为相似的一定数量的视频的特征。然后，确定一定数量的预先存储的视频的特征中对应的视频质量分数最大的预先存储的视频的特征，将确定出的预先存储的视频的特征对应的预设处理参数集合作为该需要处理的视频的处理参数集合。
在本公开中，处理参数集合生成模型可以基于需要处理的视频的特征，生成可以使得对视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对视频进行处理的处理参数集合。从而，当采用用于对视频进行处理的处理参数集合对视频进行处理之后，得到的目标视频的视频质量分数大于分数阈值，确保对视频进行处理之后得到的目标视频具有较高的质量。
换言之，处理参数集合生成模型可以在考虑待生成的目标视频的视频质量的情况下，基于需要处理的视频的视频的特征，得到用于对需要处理的视频进行处理的处理参数集合。
在本公开中，视频的视频质量分数可以为视频的VMAF(Video MultimethodAssessment Fusion)分数。VMAF分数的计算方式由Netflix公司开发，通过采用机器学习算法SVM将视频的多个基本指标融合为一个最终指标，为每个基本指标分配一定的权重，计算出视频的视频质量分数。
在一些实施例中，处理参数集合生成模型为用于生成处理参数集合的神经网络；以及在将需要处理的视频的特征输入到处理参数集合生成模型之前，还包括：获取用于训练的视频，以及生成用于训练的视频的标注信息，用于训练的视频的标注信息包括：目标处理参数集合，其中，在采用目标处理参数集合对用于训练的视频进行处理之后得到的视频的视频质量分数大于分数阈值；获取用于训练的视频的特征，以及将用于训练的视频的特征输入到神经网络，得到神经网络预测出的处理参数集合；计算指示预测出的处理参数集合与目标处理参数集合的差异的差异信息；基于差异信息，对神经网络的网络参数的参数值进行更新。
在本公开中，处理参数集合生成模型例如BP(back propagation)神经网络。在采用作为处理参数集合生成模型的神经网络基于需要处理的视频的特征，得到用于对需要处理的视频进行处理的处理参数集合之前，可以预先获取用于对作为处理参数集合生成模型的神经网络进行训练的用于训练的视频，以及生成用于训练的视频的标注信息。以有监督学习方式，采用用于训练的视频和用于训练的视频的标注信息对采用训练样本对作为处理参数集合生成模型的神经网络进行训练。
在本公开中，每一个用于训练的视频的标注信息包括：可以使得对用于训练的视频进行处理之后得到的视频的质量分数大于的分数阈值处理参数集合。
在本公开中，可以使得对用于训练的视频进行处理之后得到的视频的质量分数大于的分数阈值处理参数集合可以包括：码率、分辨率、前处理参数、后处理参数。
换言之，对于每一个用于训练的视频，用于训练的视频的标注信息包括可以使得对用于训练的视频进行处理之后得到的经过处理的视频的视频质量分数大于分数阈值的码率、分辨率、前处理参数、后处理参数。
在本公开中，对于一个用于训练的视频，可以采用多个预先设置的处理参数集合分别对该用于训练的视频进行处理，得到多个经过处理的视频。然后，可以计算多个经过处理的视频中的每一个经过处理的视频的视频质量分数，可以确定出多个预先设置的处理参数集合中的可以使得经过处理的视频的视频质量分数大于分数阈值的处理参数集合。可以从所有可以使得经过处理的视频的视频质量分数大于分数阈值的处理参数集合中选取出一个处理参数集合，将选取出的处理参数集合作为该用于训练的视频的标注信息中的目标处理参数集合。
参考上述生成一个用于训练的视频的标注信息的方式，可以分别生成每一个用于训练的视频的标注信息中的目标处理参数集合。
在本公开中，在采用一个用于训练的视频对作为处理参数集合生成模型的神经网络进行训练时，首先获取用于的训练的视频的特征，然后，将用于训练的视频的特征输入到作为处理参数集合生成模型的神经网络，得到作为处理参数集合生成模型的神经网络预测出的处理参数集合。
然后，可以计算指示预测出的处理参数集合与目标处理参数集合的差异的差异信息。差异信息可以包括：预测出的处理参数集合中的每一项与目标处理参数集合中的相应的一项的差异量。
例如，差异信息可以包括：预测出的处理参数集合中的码率与目标处理参数集合中的码率的差异量、预测出的处理参数集合中的分辨率与目标处理参数集合中的分辨率的差异量、预测出的处理参数集合中的前处理参数与目标处理参数集合中的前处理参数的差异量、预测出的处理参数集合中的后处理参数与目标处理参数集合中的后处理参数的差异量。
在计算出差异信息之后，可以基于差异信息，对神经网络的网络参数的参数值进行更新，从而，完成一次对作为处理参数集合生成模型的神经网络的训练。
参考上述采用一个用于训练的视频对作为处理参数集合生成模型的神经网络进行训练的方式，每一次采用一个用于训练的视频对作为处理参数集合生成模型的神经网络进行训练，从而，不断地更新作为处理参数集合生成模型的神经网络的网络参数的参数值。
通过大量的用于训练的视频和用于训练的视频的标注信息对作为处理参数集合生成模型的神经网络进行训练之后，使得作为处理参数集合生成模型的神经网络可以学习到视频的特征与可以使得对视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的处理参数集合之间的关联关系。使得作为处理参数集合生成模型的神经网络可以基于需要处理的视频的特征，生成可以使得对需要处理的视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对需要处理的视频进行处理的处理参数集合。
在一些实施例中，生成用于训练的视频的标注信息包括：生成与用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；对于每一个候选处理参数集合，采用候选处理参数集合对用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为用于训练的视频的标注信息中的目标处理参数集合。
在本公开中，可以预先设置多个常用的用于对视频进行编码的码率、多个常用的用于对视频进行编码的分辨率、多个常用的前处理参数、多个常用的后处理参数。当生成一个用于训练的视频的标注信息时，针对该用于训练的视频，可以将预先设置的码率、分辨率、前处理参数、后处理参数进行组合，得到与该用于训练的视频相关的多个候选处理参数集合。对于该多个候选处理参数集合中的每一个候选处理参数集合，该候选处理参数集合与其他的候选处理参数集合具有至少一个不同的项。
在本公开中，当生成一个用于训练的视频的标注信息时，对于每一个候选处理参数集合，可以采用候选处理参数集合对该用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；将经过处理的视频的视频质量分数作为候选处理参数集合对应的视频质量分数。
采用每一个候选处理参数对该用于训练的视频进行处理，均可以得到一个经过处理的视频，并且每一个经过处理的视频均具有一个视频质量分数。每一个候选处理参数集合可以各自对应一个视频质量分数。对于每一个候选处理参数集合，该候选处理参数集合对应的视频质量分数为采用该候选处理参数集合对该用于训练的视频进行处理之后得到的经过处理的视频的视频质量分数。
在确定每一个候选处理参数集合各自对应的一个视频质量分数之后，可以确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合。然后，可以将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为该用于训练的视频的标注信息中的目标处理参数集合。
在采用确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合对该用于训练的视频进行处理之后得到的经过处理的视频的视频质量分数大于采用其他的候选处理参数集合对该用于训练的视频进行处理之后得到的经过处理的视频的视频质量分数。
参考上述生成一个用于训练的视频的标注信息的方式，可以分别生成获取到的每一个用于训练的视频的标注信息。
在一些实施例中，生成多个候选处理参数集合包括：生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；对于每一个编码参数组合，采用编码参数组合对用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
在本公开中，当生成与一个用于训练的视频的多个候选处理参数集合时，可以首先生成多个编码参数组合，确定多个编码参数组合中的最优的编码参数组合。可以预先设置多个常用的用于对视频进行编码的码率、多个常用的用于对视频进行编码的分辨率，针对该用于训练的视频，对预先设置的码率、分辨率进行组合，得到多个编码参数组合，从而，生成多个编码参数组合。对于多个编码参数组合中的每一个编码参数组合，该编码参数组合与其他的编码参数组合具有至少一个不同的项。
在本公开中，可以对于每一个编码参数组合，采用编码参数组合对用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合。
采用每一个编码参数组合对该用于训练的视频进行编码之后，均可以得到一个经过编码的视频，并且每一个经过编码的视频均具有一个失真信息。每一个编码参数组合可以各自对应一个失真信息。对于每一个编码参数组合，该编码参数组合对应的失真信息为采用该编码参数组合对用于训练的视频进行编码之后得到的经过编码的视频的视频质量分数。
当确定多个编码参数组合中的最优的编码参数组合时，可以基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合。
当基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合时，可以计算出率失真曲线即R(Rate，码率)-D(Distortion，失真)曲线。率失真曲线上的每一点各自对应一个编码参数组合。对于率失真曲线上的每一点，点的坐标为编码参数组合中的码率和编码参数组合对应的失真信息。在计算出率失真曲线之后，可以确定率失真曲线的凸包部分，从所有位于凸包部分上的点中选取出对应于最优的编码参数组合的点，将选取出的点对应的编码参数组合作为最优编码参数组合。
在确定最优的编码参数组合之后，可以将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到多个候选处理参数集合。该多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。可以预先设置多个常用的前处理参数、多个常用的后处理参数，针对该用于训练的视频，对预先设置的前处理参数、后处理参数进行组合，得到多个前后处理参数组合。对于多个编前后处理参数组合中的每一个前后处理参数组合，该前后处理参数组合与其他的前后处理参数组合具有至少一个不同的项。
参考上述生成生成与一个用于训练的视频相关的多个候选处理参数集合的方式，可以对于每一个用于训练的视频，生成与用于训练的视频相关的多个候选处理参数集合。
步骤103，采用处理参数集合，对需要处理的视频进行处理，得到目标视频。
在本公开中，处理参数集合生成模型可以基于需要处理的视频的特征，生成可以使得对需要处理的视频进行处理之后得到的目标视频的视频质量分数大于分数阈值的、用于对需要处理的视频进行处理的处理参数集合。从而，当采用用于对需要处理的视频进行处理的处理参数集合对需要处理的视频进行处理之后，得到的目标视频的视频质量分数大于分数阈值。
在本公开中，用于对需要处理的视频进行处理的处理参数集合包括用于对需要处理的视频进行编码的码率、用于对需要处理的视频进行编码的分辨率。对需要处理的视频进行处理包括对视频进行编码。在采用用于对需要处理的视频进行处理的处理参数集合中的码率和分辨率对需要处理的视频进行编码之后，可以得到经过编码的视频，可以将经过编码的视频作为目标视频。
图2是根据一示例性实施例示出的一种视频处理装置的结构框图。参照图2，该视频处理装置包括：获取模块201，生成模块202，处理模块203。
获取模块201被配置为获取需要处理的视频的特征；
生成模块202被配置为将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；
处理模块203被配置为采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值。
在一些实施例中，用于对所述视频进行处理的处理参数集合包括：用于对所述视频进行编码的码率、用于对所述视频进行编码的分辨率、与在对所述视频进行编码之前需要对所述视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，其中，所述经过编码的视频为对所述视频进行编码之后得到的视频。
在一些实施例中，视频处理装置还包括：训练数据获取模块，被配置为当所述处理参数集合生成模型为用于生成处理参数集合的神经网络时，在将所述视频的特征输入到处理参数集合生成模型之前，获取用于训练的视频；训练数据标注模块，被配置为生成所述用于训练的视频的标注信息，所述标注信息包括：目标处理参数集合，其中，在采用所述目标处理参数集合对所述用于训练的视频进行处理之后得到的视频的视频质量分数大于分数阈值；特征获取模块，被配置为获取所述用于训练的视频的特征；特征输入模块，被配置为将所述用于训练的视频的特征输入到所述神经网络，得到所述神经网络预测出的处理参数集合；差异信息计算模块，被配置为计算指示所述预测出的处理参数集合与所述目标处理参数集合的差异的差异信息；参数更新模块，被配置为基于所述差异信息，对所述神经网络的网络参数的参数值进行更新。
在一些实施例中，训练数据标注模块包括：标注信息生成子模块，被配置为：
生成与所述用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；
对于所述多个候选处理参数集合中的每一个候选处理参数集合，采用候选处理参数集合对所述用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；
确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；
将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为所述用于训练的视频的标注信息中的目标处理参数集合。
在一些实施例中，标注信息生成子模块进一步被配置为：
生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；
对于每一个编码参数组合，采用编码参数组合对所述用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；
基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；
将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到所述多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
图3是根据一示例性实施例示出的一种电子设备的结构框图。参照图3，电子设备300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。
电子设备300还可以包括一个电源组件326被配置为执行电子设备300的电源管理，一个有线或无线网络接口350被配置为将电子设备300连接到网络，和一个输入输出(I/O)接口358。电子设备300可以操作基于存储在存储器332的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请还提供一种计算机程序，该计算机程序包括如图1所示的操作步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种视频处理方法，其特征在于，所述方法包括：
获取需要处理的视频的特征；
将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；
采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值，所述处理参数集合生成模型是利用具有标注信息的视频进行训练得到的，所述标注信息包括：目标处理参数集合，其中，在采用所述目标处理参数集合对所述用于训练的视频进行处理之后得到的视频的视频质量分数大于所述分数阈值。
2.根据权利要求1所述的方法，其特征在于，用于对所述视频进行处理的处理参数集合包括：用于对所述视频进行编码的码率、用于对所述视频进行编码的分辨率、与在对所述视频进行编码之前需要对所述视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，其中，所述经过编码的视频为对所述视频进行编码之后得到的视频。
3.根据权利要求2所述的方法，其特征在于，所述处理参数集合生成模型为用于生成处理参数集合的神经网络；以及
在将所述视频的特征输入到处理参数集合生成模型之前，所述方法还包括：
获取用于训练的视频，以及生成所述用于训练的视频的标注信息；
获取所述用于训练的视频的特征，以及将所述用于训练的视频的特征输入到所述神经网络，得到所述神经网络预测出的处理参数集合；
计算指示所述预测出的处理参数集合与所述目标处理参数集合的差异的差异信息；
基于所述差异信息，对所述神经网络的网络参数的参数值进行更新。
4.根据权利要求3所述的方法，其特征在于，所述生成所述用于训练的视频的标注信息包括：
生成与所述用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；
对于所述多个候选处理参数集合中的每一个候选处理参数集合，采用候选处理参数集合对所述用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；
确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；
将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为所述用于训练的视频的标注信息中的目标处理参数集合。
5.根据权利要求4所述的方法，其特征在于，所述生成与所述用于训练的视频相关的多个候选处理参数集合包括：
生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；
对于每一个编码参数组合，采用编码参数组合对所述用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；
基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；
将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到所述多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
6.一种视频处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取需要处理的视频的特征；
生成模块，被配置为将所述视频的特征输入到处理参数集合生成模型，得到处理参数集合生成模型输出的用于对所述视频进行处理的处理参数集合；
处理模块，被配置为采用所述处理参数集合，对所述视频进行处理，得到目标视频，其中，所述目标视频的视频质量分数大于分数阈值，所述处理参数集合生成模型是利用具有标注信息的视频进行训练得到的，所述标注信息包括：目标处理参数集合，其中，在采用所述目标处理参数集合对所述用于训练的视频进行处理之后得到的视频的视频质量分数大于所述分数阈值。
7.根据权利要求6所述的装置，其特征在于，用于对所述视频进行处理的处理参数集合包括：用于对所述视频进行编码的码率、用于对所述视频进行编码的分辨率、与在对所述视频进行编码之前需要对所述视频进行的处理相关的前处理参数、与需要对经过编码的视频进行的处理相关的后处理参数，其中，所述经过编码的视频为对所述视频进行编码之后得到的视频。
8.根据权利要求7所述的装置，其特征在于，视频处理装置还包括：
训练数据获取模块，被配置为当所述处理参数集合生成模型为用于生成处理参数集合的神经网络时，在将所述视频的特征输入到处理参数集合生成模型之前，获取用于训练的视频；
训练数据标注模块，被配置为生成所述用于训练的视频的标注信息；
特征获取模块，被配置为获取所述用于训练的视频的特征；
特征输入模块，被配置为将所述用于训练的视频的特征输入到所述神经网络，得到所述神经网络预测出的处理参数集合；
差异信息计算模块，被配置为计算指示所述预测出的处理参数集合与所述目标处理参数集合的差异的差异信息；
参数更新模块，被配置为基于所述差异信息，对所述神经网络的网络参数的参数值进行更新。
9.根据权利要求8所述的装置，其特征在于，训练数据标注模块包括：
标注信息生成子模块，被配置为生成与所述用于训练的视频相关的多个候选处理参数集合，候选处理参数集合包括：码率、分辨率、前处理参数、后处理参数；对于所述多个候选处理参数集合中的每一个候选处理参数集合，采用候选处理参数集合对所述用于训练的视频进行处理，得到经过处理的视频；计算经过处理的视频的视频质量分数；确定多个候选处理参数集合中的对应的视频质量分数大于分数阈值的候选处理参数集合；将确定出的所有候选处理参数集合中的对应的视频质量分数最高的候选处理参数集合作为所述用于训练的视频的标注信息中的目标处理参数集合。
10.根据权利要求9所述的装置，其特征在于，标注信息生成子模块进一步被配置为生成多个编码参数组合，其中，编码参数组合包括：码率、分辨率；对于每一个编码参数组合，采用编码参数组合对所述用于训练的视频进行编码，得到经过编码的视频；计算经过编码的视频的失真信息；基于每一个编码参数组合各自对应的失真信息，确定多个编码参数组合中的最优的编码参数组合；将最优的编码参数组合分别与多个前后处理参数组合中的每一个前后处理参数组合进行组合，得到所述多个候选处理参数集合，其中，多个前后处理参数组合通过将多个前处理参数和多个后处理参数进行组合得到。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。
12.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114628.3A CN110971784B (zh) | 2019-11-14 | 2019-11-14 | 一种视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114628.3A CN110971784B (zh) | 2019-11-14 | 2019-11-14 | 一种视频处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110971784A CN110971784A (zh) | 2020-04-07 |
| CN110971784B true CN110971784B (zh) | 2022-03-25 |
Family
ID=70030745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911114628.3A Active CN110971784B (zh) | 2019-11-14 | 2019-11-14 | 一种视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110971784B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747255B (zh) * | 2020-05-29 | 2022-11-08 | 北京金山云网络技术有限公司 | 视频处理方法和装置、存储介质和电子装置 |
| CN111698512B (zh) * | 2020-06-24 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN111598768B (zh) * | 2020-07-23 | 2020-10-30 | 平安国际智慧城市科技股份有限公司 | 图像优化处理方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101808244A (zh) * | 2010-03-24 | 2010-08-18 | 北京邮电大学 | 一种视频传输控制方法及系统 |
| CN103369349A (zh) * | 2012-03-28 | 2013-10-23 | 中国移动通信集团公司 | 一种数字视频质量控制方法及其装置 |
| CN108780499A (zh) * | 2016-03-09 | 2018-11-09 | 索尼公司 | 基于量化参数的视频处理的系统和方法 |
| CN109120937A (zh) * | 2017-06-26 | 2019-01-01 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
| CN109286825A (zh) * | 2018-12-14 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
| CN110267045A (zh) * | 2019-08-07 | 2019-09-20 | 杭州微帧信息科技有限公司 | 一种视频处理及编码的方法、装置及可读存储介质 |
| CN110300301A (zh) * | 2018-03-22 | 2019-10-01 | 华为技术有限公司 | 图像编解码方法和装置 |
| CN110418177A (zh) * | 2019-04-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
| US10034005B2 (en) * | 2015-06-05 | 2018-07-24 | Sony Corporation | Banding prediction for video encoding |
| US10271008B2 (en) * | 2017-04-11 | 2019-04-23 | Advanced Micro Devices, Inc. | Enhanced resolution video and security via machine learning |
| US10721471B2 (en) * | 2017-10-26 | 2020-07-21 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
| US10999606B2 (en) * | 2019-01-08 | 2021-05-04 | Intel Corporation | Method and system of neural network loop filtering for video coding |
-
2019
- 2019-11-14 CN CN201911114628.3A patent/CN110971784B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101808244A (zh) * | 2010-03-24 | 2010-08-18 | 北京邮电大学 | 一种视频传输控制方法及系统 |
| CN103369349A (zh) * | 2012-03-28 | 2013-10-23 | 中国移动通信集团公司 | 一种数字视频质量控制方法及其装置 |
| CN108780499A (zh) * | 2016-03-09 | 2018-11-09 | 索尼公司 | 基于量化参数的视频处理的系统和方法 |
| CN109120937A (zh) * | 2017-06-26 | 2019-01-01 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
| CN110300301A (zh) * | 2018-03-22 | 2019-10-01 | 华为技术有限公司 | 图像编解码方法和装置 |
| CN109286825A (zh) * | 2018-12-14 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
| CN110418177A (zh) * | 2019-04-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备和存储介质 |
| CN110267045A (zh) * | 2019-08-07 | 2019-09-20 | 杭州微帧信息科技有限公司 | 一种视频处理及编码的方法、装置及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "基于BP神经网络的并行编码码率控制研究";黄璐璐;《电子测量技术》;20181223;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110971784A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110971784B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| CN109286825B (zh) | 用于处理视频的方法和装置 | |
| CN111026915B (zh) | 视频分类方法、视频分类装置、存储介质与电子设备 | |
| CN110717325B (zh) | 文本的情感分析方法、装置、电子设备及存储介质 | |
| CN111539290B (zh) | 视频动作识别方法、装置、电子设备及存储介质 | |
| CN107371022B (zh) | 应用于hevc医学影像无损编码的帧间编码单元快速划分方法 | |
| CN112995652B (zh) | 视频质量评估方法及装置 | |
| EP3885966B1 (en) | Method and device for generating natural language description information | |
| CN112861825B (zh) | 模型训练方法、行人再识别方法、装置和电子设备 | |
| CN105376563A (zh) | 基于双目融合特征相似度的无参考立体图像质量评价方法 | |
| CN111291172A (zh) | 用于处理文本的方法和装置 | |
| CN112149642A (zh) | 一种文本图像识别方法和装置 | |
| CN110232564A (zh) | 一种基于多模态数据的交通事故法律自动决策方法 | |
| CN115293348A (zh) | 一种多模态特征提取网络的预训练方法及装置 | |
| CN112132766A (zh) | 图像的修复方法和装置、存储介质、电子装置 | |
| JP2024511103A (ja) | 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN111061895A (zh) | 图像推荐的方法、装置、电子设备及存储介质 | |
| CN108024113B (zh) | 一种目标占比自适应的压缩域小目标跟踪方法 | |
| CN115883878A (zh) | 视频剪辑方法、装置、电子设备及存储介质 | |
| CN115345181A (zh) | 神经机器翻译模型的训练方法、翻译方法及装置 | |
| CN111340329B (zh) | 演员评估方法、装置及电子设备 | |
| CN113891069A (zh) | 一种视频质量的评估方法、装置及设备 | |
| CN111125325A (zh) | 一种基于gan网络的faq生成系统及方法 | |
| Falahati et al. | Efficient Bitrate Ladder Construction using Transfer Learning and Spatio-Temporal Features | |
| CN116778376B (zh) | 内容安全检测模型训练方法、检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |