CN113780252B - 视频处理模型的训练方法、视频处理方法和装置 - Google Patents
视频处理模型的训练方法、视频处理方法和装置 Download PDFInfo
- Publication number
- CN113780252B CN113780252B CN202111331030.7A CN202111331030A CN113780252B CN 113780252 B CN113780252 B CN 113780252B CN 202111331030 A CN202111331030 A CN 202111331030A CN 113780252 B CN113780252 B CN 113780252B
- Authority
- CN
- China
- Prior art keywords
- video
- processing
- frame image
- trained
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 473
- 238000012549 training Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 116
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 238000004590 computer program Methods 0.000 claims description 25
- 239000002131 composite material Substances 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013140 knowledge distillation Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种视频处理模型的训练方法、视频处理方法、装置、计算机设备和存储介质。所述视频处理模型的训练方法包括：获取样本视频；将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。采用本方法，使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
Description
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频处理模型的训练方法、视频处理方法、装置、计算机设备和存储介质。
背景技术
随着网络传输速度的提高和屏幕显示技术的发展，高清视频在生活娱乐和工作应用中的需求逐步增加，因而人们对视频画质的要求也显著提高；其中，视频画质增强是提高视频画质的常用手段。
实际应用中，往往需要对视频进行多项视频画质增强处理，但一般来说，单种算法只能执行一项视频画质增强效果，因此需要将多种算法组合为视频处理系统，才能实现多任务复合处理的效果；但是，运行多项视频画质增强算法所需要的算力较大，耗时较长，导致这样的多项任务的处理流程难以部署在处理能力有限的终端上，且难以到达实时处理的耗时要求。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在处理能力有限的终端上快速实现对视频的多任务复合处理的视频处理模型的训练方法、视频处理方法、装置、计算机设备和存储介质。
一种视频处理模型的训练方法，所述方法包括：
获取样本视频；
将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
在其中一个实施例中，根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型，包括：
将所述样本视频的帧图像输入待训练的神经网络，得到所述样本视频的预测处理视频的帧图像；
根据所述预测处理视频的帧图像和所述目标处理视频的帧图像之间的差值，得到损失值；
根据所述损失值调整所述待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到所述训练结束条件的训练后的神经网络，作为所述训练完成的第二视频处理模型。
在其中一个实施例中，所述将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像，包括：
通过所述预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对所述样本视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的初始处理视频的帧图像；
对各个所述初始处理视频的帧图像和所述样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；
通过所述最后一种类型的视频画质增强算法，对所述加权求和后的视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的目标处理视频的帧图像。
在其中一个实施例中，所述将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像，还包括：
通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对所述样本视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的初始处理视频的帧图像；
对各个所述初始处理视频的帧图像和所述样本视频的帧图像进行加权求和，得到所述样本视频的目标处理视频的帧图像。
在其中一个实施例中，所述预先训练的第一视频处理模型通过下述方式得到：
根据所述待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及所述至少两种类型的视频画质增强算法的组合方式；
按照所述组合方式，对所述至少两种类型的视频画质增强算法进行组合，得到所述预先训练的第一视频处理模型。
一种视频处理方法，所述方法包括：
获取待处理视频；
将所述待处理视频的帧图像输入训练完成的第二视频处理模型，得到所述待处理视频的画质增强处理视频的帧图像；所述画质增强处理视频的帧图像通过所述训练完成的第二视频处理模型，对所述待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；所述训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到；
根据所述画质增强处理视频的帧图像，得到所述待处理视频的画质增强处理视频。
一种视频处理模型的训练装置，所述装置包括：
视频获取模块，用于获取样本视频；
视频处理模块，用于将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
模型训练模块，用于根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
一种视频处理装置，所述装置包括：
获取模块，用于获取待处理视频；
处理模块，用于将所述待处理视频的帧图像输入训练完成的第二视频处理模型，得到所述待处理视频的画质增强处理视频的帧图像；所述画质增强处理视频的帧图像通过所述训练完成的第二视频处理模型，对所述待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；所述训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到；
处理模块，用于根据所述画质增强处理视频的帧图像，得到所述待处理视频的画质增强处理视频。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取样本视频；
将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本视频；
将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
上述视频处理模型的训练方法、视频处理方法、装置、计算机设备和存储介质，通过获取样本视频，然后将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；最后根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；这样，通过知识蒸馏的方式，训练得到用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理的第二视频处理模型，且第二视频处理模型无需由多种类型的视频画质增强算法组合而成，从而降低了对视频的多任务复合处理所需要的算力和耗时，从而使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
附图说明
图1为一个实施例中视频处理模型的训练方法的流程示意图；
图2A为一个实施例中多任务画质增强“教师”流程的耦合方式；
图2B为另一个实施例中多任务画质增强“教师”流程的耦合方式；
图3为一个实施例中对待训练的神经网络进行训练，得到训练完成的第二视频处理模型的步骤的流程示意图；
图4为一个实施例中视频处理方法的流程示意图；
图5为一个实施例中基于知识蒸馏和多任务处理的视频画质增强方法的流程示意图；
图6为一个实施例中视频处理模型的训练装置的结构框图；
图7为一个实施例中视频处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种视频处理模型的训练方法，以该方法应用于终端为例进行说明，可以理解的是，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。本实施例中，该方法包括以下步骤：
步骤S101，获取样本视频。
其中，样本视频是指用于训练的原始视频，比如短视频、微电影、某一个视频片段、某一集电视剧等；可以是网络上的视频，也可以是本地数据库存储的视频。
步骤S102，将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成。
其中，样本视频的帧图像是指从样本视频中解码出来的帧，目标处理视频的帧图像是指从目标处理视频中解码出来的帧。
其中，第一视频处理模型是指由至少两种类型的视频画质增强算法组合而成的教师模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。需要说明的是，第一视频处理模型可以使用多种不同类型的视频画质增强算法和通过不同方式进行耦合得到，在此不做具体限定。
例如，在图2A中，第一视频处理模型由算法模块１和算法模块２耦合而成；在图2B中，第一视频处理模型由算法模块１、算法模块２和算法模块３耦合而成。需要说明的是，算法模块中的算法具体是指视频画质增强算法。
其中，视频画质增强算法是指用于对输入的视频的帧图像进行对应的视频画质增强处理的深度学习模型或者传统算法，比如视频去噪算法、视频去模糊算法、视频去压缩效应算法、视频超分算法、暗光增强算法、视频颜色增强算法等。
其中，目标处理视频是指由第一视频处理模型对样本视频的帧图像进行至少两种类型的视频画质增强处理后得到的帧图像所对应的视频。
具体地，终端从本地数据库中获取样本视频，然后对样本视频进行视频解码处理，得到样本视频的帧图像，接着将样本视频的帧图像输入预先训练的第一视频处理模型，通过预先训练的第一视频处理模型对样本视频的帧图像进行至少两种类型的视频画质增强处理，得到样本视频的目标处理视频的帧图像。
举例说明，通过对第一视频处理模型对样本视频的帧图像进行视频去噪处理、视频去模糊处理、视频去压缩效应处理、视频超分处理、暗光增强处理、视频颜色增强处理，得到样本视频的目标处理视频的帧图像。
步骤S103，根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
其中，待训练的神经网络可以是各种类型的神经网络，比如卷积神经网络、深度学习神经网络等，具体神经网络结构根据实际场景需求确定，本申请在此不做具体限定。
其中，训练完成的第二视频处理模型，是指用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理的学生模型，其模型结构比第一视频处理模型的模型结构简单，且对算力要求较低，处理耗时较短，可以部署在处理能力有限的终端上，比如手机、笔记本电脑、嵌入式边缘设备、FPGA（Field-Programmable Gate Array，现场可编程门阵列）等。
具体地，终端使用样本视频的帧图像作为输入，使用样本视频对应的目标处理视频的帧图像作为监督信号，对待训练的神经网络进行反复训练，以不断调整神经网络的网络参数，直到训练结束，并将训练结束时的神经网络，作为第二视频处理模型。
上述视频处理模型的训练方法中，通过获取样本视频，然后将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；最后根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；这样，通过知识蒸馏的方式，训练得到用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理的第二视频处理模型，且第二视频处理模型无需由多种类型的视频画质增强模型组合而成，从而降低了对视频的多任务复合处理所需要的算力和耗时，从而使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
在一个实施例中，如图3所示，上述步骤S103，根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型，具体包括如下步骤：
步骤S301，将样本视频的帧图像输入待训练的神经网络，得到样本视频的预测处理视频的帧图像。
步骤S302，根据预测处理视频的帧图像和目标处理视频的帧图像之间的差值，得到损失值。
步骤S303，根据损失值调整待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到训练结束条件的训练后的神经网络，作为训练完成的第二视频处理模型。
其中，预测处理视频，是指通过待训练的神经网络对样本视频的帧图像进行处理后得到的帧图像所对应的视频。
其中，预测处理视频的帧图像，是从预测处理视频中解码出来的帧。
其中，训练结束条件是指损失函数达到收敛、达到预设训练次数等。
具体地，终端将样本视频的帧图像输入待训练的神经网络，通过待训练的神经网络对样本视频的帧图像进行处理，得到样本视频的预测处理视频的帧图像；根据预测处理视频的帧图像和目标处理视频的帧图像之间的差值，结合损失函数，计算得到损失值；当损失函数未达到收敛或者未达到预设训练次数时，根据损失值调整待训练的神经网络的网络参数，得到网络参数调整后的神经网络，并重复执行步骤S301至步骤S303，直到损失函数达到收敛或者达到预设训练次数，并将损失函数达到收敛或者达到预设训练次数时的训练后的神经网络，作为训练完成的第二视频处理模型。
在本实施例中，通过对待训练的神经网络进行反复训练，可以提高训练完成的第二视频处理模型输出的画质增强处理视频的准确率，同时通过知识蒸馏的方式训练得到第二视频处理模型，降低了对视频的多任务复合处理所需要的算力和耗时，从而使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
在一个实施例中，上述步骤S102，将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像，具体包括：通过预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；通过最后一种类型的视频画质增强算法，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像。
其中，在加权求和过程中，各个权重不是固定的，可以根据实际情况进行调整。
其中，在加权求和的阶段引入输入的样本视频的帧图像，当出现失真的情况时，可以通过加权的方式，减少算法处理过度或者失真的影响，从而保持画质的真实性。举例说明，参考图2A，终端将样本视频的帧图像作为输入数据输入到预先训练的第一视频处理模型中，通过第一视频处理模型中的算法模块1对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对样本视频的初始处理视频的帧图像和样本视频的帧图像进行加权求和处理，得到加权求和后的视频的帧图像；通过第一视频处理模型中的算法模块2，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像，并将其作为输出数据。
举例说明，参考图2B，终端将样本视频的帧图像作为输入数据输入到预先训练的第一视频处理模型中，通过第一视频处理模型中的算法模块1和算法模块2对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的两个初始处理视频的帧图像；对样本视频的两个初始处理视频的帧图像和样本视频的帧图像进行加权求和处理，得到加权求和后的视频的帧图像；通过第一视频处理模型中的算法模块3，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像，并将其作为输出数据。
在本实施例中，将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像，有利于后续根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，训练得到用于对输入的视频进行至少两种类型的视频画质增强处理的学生模型，从而降低了对视频的多任务复合处理所需要的算力和耗时。
在一个实施例中，上述步骤S102，将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像，还包括：通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到样本视频的目标处理视频的帧图像。
举例说明，预先训练的第一视频处理模型中包括算法模块1、算法模块2和算法模块3，终端将样本视频的帧图像作为输入数据输入到预先训练的第一视频处理模型中，通过第一视频处理模型中的算法模块1、算法模块2和算法模块3对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的三个初始处理视频的帧图像；对样本视频的三个初始处理视频的帧图像和样本视频的帧图像进行加权求和处理，得到样本视频的目标处理视频的帧图像，并将其作为输出数据。
在本实施例中，将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像，有利于后续根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，训练得到用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理的第二视频处理模型，对算力要求较低，且处理耗时较短，从而使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
在一个实施例中，预先训练的第一视频处理模型通过下述方式得到：根据待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及至少两种类型的视频画质增强算法的组合方式；按照组合方式，对至少两种类型的视频画质增强算法进行组合，得到预先训练的第一视频处理模型。
其中，部署场景信息，是指待训练的神经网络的使用场景；不同使用场景，对视频画质增强算法的类型和组合方式的要求不一样。需要说明的是，视频画质增强算法是已经经过训练的模型或者传统算法。
举例说明，假设需要的视频画质增强算法包括视频画质增强算法1和视频画质增强算法2，则可以将视频画质增强算法1作为算法模块1，以及将视频画质增强算法2作为算法模块2，并按照图2A中的组方式，组合得到第一视频处理模型。
举例说明，假设需要的视频画质增强算法包括视频画质增强算法1、视频画质增强算法2和视频画质增强算法3，则可以将视频画质增强算法1作为算法模块1，将视频画质增强算法2作为算法模块2，以及将视频画质增强算法3作为算法模块3，并按照图2B中的组方式，组合得到第一视频处理模型。
需要说明的是，除了按照图2A和图2B组合得到第一视频处理模型，还可以按照其他方式组合得到第一视频处理模型，具体本申请在此不一一列举。
在本实施例中，通过获取预先训练的第一视频处理模型，有利于后续将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像，并根据样本视频的帧图像和样本视频的目标处理视频的帧图像，训练得到用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理的第二视频处理模型。
在一个实施例中，如图4所示，提供了一种视频处理方法，以该方法应用于第一终端为例进行说明，包括以下步骤：
步骤S401，获取待处理视频。
步骤S402，将待处理视频的帧图像输入训练完成的第二视频处理模型，得到待处理视频的画质增强处理视频的帧图像；画质增强处理视频的帧图像通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到。
步骤S403，根据画质增强处理视频的帧图像，得到待处理视频的画质增强处理视频。
其中，待处理视频是指需要进行视频画质增强处理的原始视频，比如短视频、微电影、某一个视频片段、某一集电视剧等；可以是网络上的视频，也可以是本地数据库存储的视频。
具体地，第一终端获取待处理视频，然后对待处理视频进行视频解码处理，得到待处理视频的帧图像，接着将待处理视频的帧图像输入训练完成的第二视频处理模型，通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理，得到待处理视频的画质增强处理视频的帧图像；最后将画质增强处理视频的帧图像进行视频编码处理，得到待处理视频的画质增强处理视频。
举例说明，通过第二视频处理模型对待处理视频的帧图像进行视频去噪处理、视频去模糊处理、视频去压缩效应处理、视频超分处理、暗光增强处理、视频颜色增强处理，得到待处理视频的画质增强处理视频的帧图像，并对待处理视频的画质增强处理视频的帧图像进行视频编码处理，得到待处理视频的画质增强处理视频。
上述视频处理方法，通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理，得到待处理视频的画质增强处理视频，有利于降低对视频的多任务复合处理所需要的算力和耗时，从而使得部署有第二视频处理模型的终端也能够快速实现对视频的多任务复合处理。
为了更清晰阐明本申请实施例提供的视频处理模型的训练方法，以下以一个具体的实施例对该视频处理模型的训练方法进行具体说明。在一个实施例中，如图5 所示，本申请还提供了一种基于知识蒸馏和多任务处理的视频画质增强方法，首次提出基于深度学习技术，采用“教师-学生”知识蒸馏的方式，利用多任务的画质增强处理的“教师”流程，监督训练单个“学生”神经网络来实现多任务复合处理的画质增强效果；另外，当在具体硬件平台上所部署的深度模型结构（“学生网络”）确定之后，可以针对不同使用场景，灵活地调整“教师”网络中的多任务处理流程，以训练“学生”网络快速收敛到目标效果。上述基于知识蒸馏和多任务处理的视频画质增强方法，具体包括以下内容：
（1）搭建画质增强-多任务“教师”流程。此步骤根据目标场景所需，使用多种不同画质增强算法耦合而成一个完整的流程。
根据在画质增强上的不同算法需求，“教师流程”可使用多种不同算法和通过不同方式进行耦合得到；比如，图2A和图2B中给出了两种多任务画质增强“教师”流程的耦合方式；图2A与图2B中的算法流程，可以耦合两种或者三种不同画质增强算法，如视频去噪，视频去模糊，视频去压缩效应，视频超分，暗光增强，视频SDR转HDR颜色增强等；在加权求和模块中，对输入数据流的权重或可为零。此外，对于两种或者三种不同画质增强算法的耦合方式，还可以是多个模型并行处理之后，通过加权平均计算出一个最终结果。
（2）搭建画质增强-“学生”神经网络。此步骤根据实际部署的硬件的算力条件和目标场景的耗时要求，自由设计神经网络结构。
（3）如图5所示，通过知识蒸馏方式，训练“学生”网络。如图5所示，使用“教师”流程产生监督信号，如流程处理结果、“教师”流程中产生的中间结果或者图像特征。使用这些监督信号对“学生”网络进行中间监督或全监督。另外，中间监督或可省略。
上述基于知识蒸馏和多任务处理的视频画质增强方法，可以达到以下技术效果：（1）对比通过耦合多个神经网络的多任务画质增强系统，此方法降低了达到目标所需的系统复杂度和算力需求；（2）当在具体硬件平台上所部署的深度模型结构（“学生网络”）确定后，可以针对不同使用场景，灵活地调整“教师”网络中的多任务处理流程，以训练“学生”网络快速收敛到目标效果，能够减少画质增强算法在实际商业应用中算法研究时间和开发成本。
应该理解的是，虽然图1、3、4、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、3、4、5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种视频处理模型的训练装置，包括：视频获取模块601、视频处理模块602和模型训练模块603，其中：
视频获取模块601，用于获取样本视频。
视频处理模块602，用于将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成。
模型训练模块603，用于根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
在一个实施例中，模型训练模块603，还用于将样本视频的帧图像输入待训练的神经网络，得到样本视频的预测处理视频的帧图像；根据预测处理视频的帧图像和目标处理视频的帧图像之间的差值，得到损失值；根据损失值调整待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到训练结束条件的训练后的神经网络，作为训练完成的第二视频处理模型。
在一个实施例中，视频处理模块602，还用于通过预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；通过最后一种类型的视频画质增强算法，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像。
在一个实施例中，视频处理模块602，还用于通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到样本视频的目标处理视频的帧图像。
在一个实施例中，视频处理模型的训练装置还包括模型获取模块，用于根据待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及至少两种类型的视频画质增强算法的组合方式；按照组合方式，对至少两种类型的视频画质增强算法进行组合，得到预先训练的第一视频处理模型。
在一个实施例中，如图7所示，提供了一种视频处理装置，包括：获取模块701、输入模块702和处理模块703，其中：
获取模块701，用于获取待处理视频。
输入模块702，用于将待处理视频的帧图像输入训练完成的第二视频处理模型，得到待处理视频的画质增强处理视频的帧图像；画质增强处理视频的帧图像通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到。
处理模块703，用于根据画质增强处理视频的帧图像，得到待处理视频的画质增强处理视频。
关于视频处理模型的训练装置或者视频处理装置的具体限定可以参见上文中对于视频处理模型的训练方法或者视频处理方法的限定，在此不再赘述。上述视频处理模型的训练装置或者视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种视频处理模型的训练方法或者视频处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取样本视频；
将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将样本视频的帧图像输入待训练的神经网络，得到样本视频的预测处理视频的帧图像；根据预测处理视频的帧图像和目标处理视频的帧图像之间的差值，得到损失值；根据损失值调整待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到训练结束条件的训练后的神经网络，作为训练完成的第二视频处理模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；通过最后一种类型的视频画质增强算法，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到样本视频的目标处理视频的帧图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及至少两种类型的视频画质增强算法的组合方式；按照组合方式，对至少两种类型的视频画质增强算法进行组合，得到预先训练的第一视频处理模型。
在一个实施例中，提供了另一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理视频；
将待处理视频的帧图像输入训练完成的第二视频处理模型，得到待处理视频的画质增强处理视频的帧图像；画质增强处理视频的帧图像通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到；
根据画质增强处理视频的帧图像，得到待处理视频的画质增强处理视频。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取样本视频；
将样本视频的帧图像输入预先训练的第一视频处理模型，得到样本视频的目标处理视频的帧图像；预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据样本视频的帧图像和样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将样本视频的帧图像输入待训练的神经网络，得到样本视频的预测处理视频的帧图像；根据预测处理视频的帧图像和目标处理视频的帧图像之间的差值，得到损失值；根据损失值调整待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到训练结束条件的训练后的神经网络，作为训练完成的第二视频处理模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频的帧图像和样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；通过最后一种类型的视频画质增强算法，对加权求和后的视频的帧图像进行对应的视频画质增强处理，得到样本视频的目标处理视频的帧图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对样本视频的帧图像进行对应的视频画质增强处理，得到样本视频的初始处理视频的帧图像；对各个初始处理视频和样本视频的帧图像进行加权求和，得到样本视频的目标处理视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及至少两种类型的视频画质增强算法的组合方式；按照组合方式，对至少两种类型的视频画质增强算法进行组合，得到预先训练的第一视频处理模型。
在一个实施例中，提供了另一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理视频；
将待处理视频的帧图像输入训练完成的第二视频处理模型，得到待处理视频的画质增强处理视频的帧图像；画质增强处理视频的帧图像通过训练完成的第二视频处理模型，对待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；训练完成的第二视频处理模型根据视频处理模型的训练方法训练得到；
根据画质增强处理视频的帧图像，得到待处理视频的画质增强处理视频。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频处理模型的训练方法，其特征在于，所述方法包括：
获取样本视频；
将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理；
所述将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像，包括：
通过所述预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对所述样本视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的初始处理视频的帧图像；
对各个所述初始处理视频的帧图像和所述样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；
通过所述最后一种类型的视频画质增强算法，对所述加权求和后的视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的目标处理视频的帧图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型，包括：
将所述样本视频的帧图像输入待训练的神经网络，得到所述样本视频对应的预测处理视频的帧图像；
根据所述预测处理视频的帧图像和所述目标处理视频的帧图像之间的差值，得到损失值；
根据所述损失值调整所述待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到所述训练结束条件的训练后的神经网络，作为所述训练完成的第二视频处理模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像，还包括：
通过预先训练的第一视频处理模型中的各种类型的视频画质增强算法，对所述样本视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的初始处理视频的帧图像；
对各个所述初始处理视频的帧图像和所述样本视频的帧图像进行加权求和，得到所述样本视频的目标处理视频的帧图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述预先训练的第一视频处理模型通过下述方式得到：
根据所述待训练的神经网络的部署场景信息，确定至少两种类型的视频画质增强算法，以及所述至少两种类型的视频画质增强算法的组合方式；
按照所述组合方式，对所述至少两种类型的视频画质增强算法进行组合，得到所述预先训练的第一视频处理模型。
5.一种视频处理方法，其特征在于，所述方法包括：
获取待处理视频；
将所述待处理视频的帧图像输入训练完成的第二视频处理模型，得到所述待处理视频的画质增强处理视频的帧图像；所述画质增强处理视频的帧图像通过所述训练完成的第二视频处理模型，对所述待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；所述训练完成的第二视频处理模型根据权利要求1至4任一项所述的视频处理模型的训练方法训练得到；
根据所述画质增强处理视频的帧图像，得到所述待处理视频的画质增强处理视频。
6.一种视频处理模型的训练装置，其特征在于，所述装置包括：
视频获取模块，用于获取样本视频；
视频处理模块，用于将所述样本视频的帧图像输入预先训练的第一视频处理模型，得到所述样本视频的目标处理视频的帧图像；所述预先训练的第一视频处理模型为教师模型，由至少两种类型的视频画质增强算法组合而成；
模型训练模块，用于根据所述样本视频的帧图像和所述样本视频对应的目标处理视频的帧图像，对待训练的神经网络进行训练，得到训练完成的第二视频处理模型；所述训练完成的第二视频处理模型为学生模型，用于对输入的视频的帧图像进行至少两种类型的视频画质增强处理；
所述视频处理模块，还用于通过所述预先训练的第一视频处理模型中除最后一种类型的视频画质增强算法之外的其余类型的视频画质增强算法，对所述样本视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的初始处理视频的帧图像；对各个所述初始处理视频的帧图像和所述样本视频的帧图像进行加权求和，得到加权求和后的视频的帧图像；通过所述最后一种类型的视频画质增强算法，对所述加权求和后的视频的帧图像进行对应的视频画质增强处理，得到所述样本视频的目标处理视频的帧图像。
7.根据权利要求6所述的装置，其特征在于，所述模型训练模块，还用于将所述样本视频的帧图像输入待训练的神经网络，得到所述样本视频对应的预测处理视频的帧图像；根据所述预测处理视频的帧图像和所述目标处理视频的帧图像之间的差值，得到损失值；根据所述损失值调整所述待训练的神经网络的网络参数；对网络参数调整后的神经网络进行反复训练，直到达到训练结束条件，则将达到所述训练结束条件的训练后的神经网络，作为所述训练完成的第二视频处理模型。
8.一种视频处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频；
输入模块，用于将所述待处理视频的帧图像输入训练完成的第二视频处理模型，得到所述待处理视频的画质增强处理视频的帧图像；所述画质增强处理视频的帧图像通过所述训练完成的第二视频处理模型，对所述待处理视频的帧图像进行至少两种类型的视频画质增强处理得到；所述训练完成的第二视频处理模型根据权利要求1至4任一项所述的视频处理模型的训练方法训练得到；
处理模块，用于根据所述画质增强处理视频的帧图像，得到所述待处理视频的画质增强处理视频。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111331030.7A CN113780252B (zh) | 2021-11-11 | 2021-11-11 | 视频处理模型的训练方法、视频处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111331030.7A CN113780252B (zh) | 2021-11-11 | 2021-11-11 | 视频处理模型的训练方法、视频处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113780252A CN113780252A (zh) | 2021-12-10 |
| CN113780252B true CN113780252B (zh) | 2022-02-18 |
Family
ID=78873761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111331030.7A Active CN113780252B (zh) | 2021-11-11 | 2021-11-11 | 视频处理模型的训练方法、视频处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780252B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178648A1 (zh) * | 2022-03-25 | 2023-09-28 | 京东方科技集团股份有限公司 | 视频处理方法及装置、电子设备、计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411425A (zh) * | 2021-06-21 | 2021-09-17 | 深圳思谋信息科技有限公司 | 视频超分模型构建处理方法、装置、计算机设备和介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019075669A1 (zh) * | 2017-10-18 | 2019-04-25 | 深圳市大疆创新科技有限公司 | 视频处理方法、设备、无人机及计算机可读存储介质 |
| US10963748B1 (en) * | 2018-08-31 | 2021-03-30 | Snap Inc. | Generative neural network distillation |
| CN110232411B (zh) * | 2019-05-30 | 2022-08-23 | 北京百度网讯科技有限公司 | 模型蒸馏实现方法、装置、系统、计算机设备及存储介质 |
| CN111242870B (zh) * | 2020-01-20 | 2023-05-05 | 南开大学 | 一种基于深度学习知识蒸馏技术的低光图像增强方法 |
| US11900260B2 (en) * | 2020-03-05 | 2024-02-13 | Huawei Technologies Co., Ltd. | Methods, devices and media providing an integrated teacher-student system |
| CN111507378A (zh) * | 2020-03-24 | 2020-08-07 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
| CN113034384A (zh) * | 2021-02-26 | 2021-06-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
| CN113011202B (zh) * | 2021-03-23 | 2023-07-25 | 中国科学院自动化研究所 | 基于多任务训练的端到端图像文本翻译方法、系统、装置 |
| CN112927172B (zh) * | 2021-05-10 | 2021-08-24 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
| CN113536922A (zh) * | 2021-06-11 | 2021-10-22 | 北京理工大学 | 一种加权融合多种图像任务的视频行为识别方法 |
| CN113610731B (zh) * | 2021-08-06 | 2023-08-08 | 北京百度网讯科技有限公司 | 用于生成画质提升模型的方法、装置及计算机程序产品 |
-
2021
- 2021-11-11 CN CN202111331030.7A patent/CN113780252B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411425A (zh) * | 2021-06-21 | 2021-09-17 | 深圳思谋信息科技有限公司 | 视频超分模型构建处理方法、装置、计算机设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113780252A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102606200B1 (ko) | 전자 장치 및 그 제어 방법 | |
| KR102459221B1 (ko) | 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN110837842A (zh) | 一种视频质量评估的方法、模型训练的方法及装置 | |
| JP6978542B2 (ja) | 電子装置及びその制御方法 | |
| US20220256140A1 (en) | Video encoding method and apparatus, computer device, and storage medium | |
| US10733481B2 (en) | Cloud device, terminal device, and method for classifying images | |
| CN112084959B (zh) | 一种人群图像处理方法及装置 | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN113780252B (zh) | 视频处理模型的训练方法、视频处理方法和装置 | |
| US20230319292A1 (en) | Reinforcement learning based rate control | |
| KR20190064862A (ko) | 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템 | |
| US10997947B2 (en) | Electronic device and control method thereof | |
| CN116433491A (zh) | 一种图像处理方法、装置、设备、存储介质及产品 | |
| Huang et al. | Edge device-based real-time implementation of CycleGAN for the colorization of infrared video | |
| US11436442B2 (en) | Electronic apparatus and control method thereof | |
| CN116917930A (zh) | 在电子设备中基于图像压缩质量校正图像的方法和设备 | |
| CN116348905A (zh) | 电子设备及其控制方法 | |
| US20230114303A1 (en) | Energy-aware processing system | |
| WO2024130715A1 (zh) | 视频处理方法、视频处理装置和可读存储介质 | |
| CN112419179B (zh) | 修复图像的方法、装置、设备和计算机可读介质 | |
| CN117933333A (zh) | 神经网络模型损失值的确定方法及相关应用方法和设备 | |
| CN115623281A (zh) | 视频处理方法及设备 | |
| CN116366856A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
| CN114022361A (zh) | 图像处理方法、介质、装置和计算设备 | |
| CN116309173A (zh) | 视频质量增强方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cai Jinmiao Inventor after: Jiang Nianjuan Inventor after: Chen Jie Inventor after: Shen Xiaoyong Inventor after: Lv Jiangbo Inventor before: Cai Jinmiao Inventor before: Jiang Nianjuan Inventor before: Chen Jie Inventor before: Shen Xiaoyong Inventor before: Lv Jiangbo Inventor before: Jia Jiaya |