CN116416483A - 计算机实现的方法、设备和计算机程序产品 - Google Patents

计算机实现的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN116416483A
CN116416483A CN202111657222.7A CN202111657222A CN116416483A CN 116416483 A CN116416483 A CN 116416483A CN 202111657222 A CN202111657222 A CN 202111657222A CN 116416483 A CN116416483 A CN 116416483A
Authority
CN
China
Prior art keywords
scene
model
frames
trained
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111657222.7A
Other languages
English (en)
Inventor
P·费尔南德斯·奥雷利亚纳
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202111657222.7A priority Critical patent/CN116416483A/zh
Priority to US17/665,649 priority patent/US11647153B1/en
Publication of CN116416483A publication Critical patent/CN116416483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及计算机实现的方法、设备和计算机程序产品。该方法包括：分别确定参考视频中对应于第一场景的第一组帧和对应于不同于第一场景的第二场景的第二组帧。第一组帧和第二组帧各自具有第一分辨率。该方法还包括分别确定针对第一场景的第一模型和针对第二场景的第二模型。第一模型和第二模型分别用于将对应于第一场景和第二场景的帧从第一分辨率转换为不同于第一分辨率的第二分辨率。该方法还包括分别利用第一组帧和第二组帧，训练第一模型和第二模型。该方案针对不同场景分别训练不同的模型，从而在节约计算资源和提高训练速度的同时，改进了训练的质量。

Description

计算机实现的方法、设备和计算机程序产品
技术领域
本公开的实施例总体涉及计算机领域，具体涉及计算机实现的方法、设备和计算机程序产品。
背景技术
现今，视频内容占据全球互联网业务的很大比例。在视频内容的传输和存储等过程中，通常需要将原始视频内容通过压缩等技术转换成较低分辨率的视频以节约传输和存储等资源。此外，还需要将低分辨率的视频在用户的客户端重建为更高分辨率的视频以供用户使用，例如观看。目前，已经提出了将基于人工智能的视频处理技术应用于各种视频处理任务，诸如视频的压缩、重建等。视频的重建质量和效率影响着用户的体验感。因此，期望能够提高的视频的重建质量和效率。
发明内容
在本公开的第一方面，提供了一种计算机实现的方法。该方法包括：分别确定参考视频中对应于第一场景的第一组帧和对应于不同于第一场景的第二场景的第二组帧。第一组帧和第二组帧各自具有第一分辨率。该方法还包括：分别确定针对第一场景的第一模型和针对第二场景的第二模型。第一模型和第二模型分别用于将对应于第一场景和第二场景的帧从第一分辨率转换为不同于第一分辨率的第二分辨率。该方法还包括：分别利用第一组帧和第二组帧，训练第一模型和第二模型。
在本公开的第二方面，提供了一种计算机实现的方法。该方法包括：获取输入视频；以及分别确定输入视频中对应于第一场景的第一组输入帧和对应于不同于第一场景的第二场景的第二组输入帧。第一组输入帧和第二组输入帧各自具有第一分辨率。该方法还包括：分别确定针对第一场景的经训练的第一模型和针对第二场景的经训练的第二模型。经训练的第一模型和经训练的第二模型是根据本公开的第一方面所描述的方法训练的。该方法还包括：基于第一组输入帧，根据经训练的第一模型，生成具有不同于第一分辨率的第二分辨率的第一组输出帧；以及基于第二组输入帧，根据经训练的第二模型，生成具有第二分辨率的第二组输出帧。
在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得电子设备执行动作，该动作包括：分别确定参考视频中对应于第一场景的第一组帧和对应于不同于第一场景的第二场景的第二组帧。第一组帧和第二组帧各自具有第一分辨率。该动作还包括：分别确定针对第一场景的第一模型和针对第二场景的第二模型。第一模型和第二模型分别用于将对应于第一场景和第二场景的帧从第一分辨率转换为不同于第一分辨率的第二分辨率。该动作还包括：分别利用第一组帧和第二组帧，训练第一模型和第二模型。
在本公开的第四方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得电子设备执行动作，该动作包括：获取输入视频；以及分别确定输入视频中对应于第一场景的第一组输入帧和对应于不同于第一场景的第二场景的第二组输入帧。第一组输入帧和第二组输入帧各自具有第一分辨率。该动作还包括：分别确定针对第一场景的经训练的第一模型和针对第二场景的经训练的第二模型。经训练的第一模型和经训练的第二模型是根据本公开的第一方面所描述的方法训练的。该动作还包括：基于第一组输入帧，根据经训练的第一模型，生成具有不同于第一分辨率的第二分辨率的第一组输出帧；以及基于第二组输入帧，根据经训练的第二模型，生成具有第二分辨率的第二组输出帧。
在本公开的第五方面中，提供了一种计算机程序产品，该计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行根据本公开的第一方面或者第二方面所描述的方法的任意步骤。
请注意，提供本发明内容是为了以简化的形式来介绍对概念的选择，这些概念在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中：
图1图示了本公开的实施例能够在其中实现的示例环境的示意图；
图2图示了根据本公开的一些实施例的用于训练模型的方法的流程图；
图3图示了根据本公开的一些实施例的用于根据场景对视频中的帧进行分组的方法的流程图；
图4图示了根据本公开的一些实施例的视频中的相邻帧之间的滚动差异的示意图；
图5图示了根据本公开的一些实施例的根据场景的视频帧分组的示例结果的示意图；
图6图示了根据本公开的一些实施例的用于视频处理的方法的流程图；
图7图示了根据本公开的一些实施例的视频重建质量的示意图；以及
图8示出了可以用来实现本公开的实施例的设备的示意性框图。
在所有附图中，相同或相似的附图标记表示相同或相似的元素。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应理解，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。而是，提供这些实施例是为了更加透彻和完整地理解本公开。应理解，本公开的附图及实施例仅是示例性的，并非用于限制本公开的保护范围。
本文中使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。
如本文中所使用的，术语“视频超分辨率(VSR)”是指通过技术手段从(诸如经压缩的)较低分辨率的视频数据构建或重建出较高分辨率(诸如原始分辨率)的视频数据。经压缩的视频的相比原视频要小得多(例如，对视频中的帧进行×4缩减可以大致将视频减少到原视频大小的1/16)，因此在与视频相关的多个领域(例如，视频传输和流媒体、视频会议、远程游戏等)中，经常传输或存储较低分辨率的视频并且在需要时结合VSR技术来重建较高分辨率的视频。
在诸如VSR的应用领域中，转换模型(例如基于深度神经网络的模型)通常用于视频的不同分辨率版本之间的转换。为了训练模型以确定模型的转换参数等，需要提供包含场景和视觉模式的视频帧作为训练数据，使得模型能够学习如何转换(例如重建)其中各种特征。
在一些传统模型训练方案中，通常使用大量的不同的训练数据(例如，大量的不同的视频内容)，从而使得该模型具有较佳的普适性。然而，这种方案由于训练数据庞大，因此训练过程复杂，训练难以收敛。此外，由此训练出来的模型通常也很大。在使用这样的模型对视频进行还原处理时，需要专用硬件(例如，高性能图形处理单元(GPU))来进行还原处理。因此，这同样导致硬件配置的成本升高。
已经提出了一些模型训练方案，以从同一视频内容的高分辨率版本(诸如原始版本)和低分辨率版本(诸如经压缩的版本)提取所有帧，并且生成高分辨率帧和低分辨率帧的对(pair)来作为训练数据中的样本。这种方案对于时长较短的视频内容较为适用。然而，对于时长较长、场景较复杂的视频内容，将整个视频内容用于训练需要大量计算资源和较长的训练时间。
例如，中等尺寸的视频包含数以万计的帧(例如，10分钟60帧/秒＝36000帧)，大尺寸的视频/电影包含数十万帧。这些帧的原始格式可能占用多100GB的存储空间。仅将视频中提取的所有原始帧训练一遍(pass/epoch)就可能花费数小时，而完整的训练周期通常需要训练数十甚至数百遍。为此，需要配备高端图形处理器、大的存储器和存储空间的集群。
此外，模型对于视频内容的不同片段的学习会相互竞争。例如，对于具有多个复杂场景的视频内容。模型想要更好地学习或适应对应于某个场景的帧，将会使该模型对于其他场景的帧的适应度变差。另一方面，这种方案还存在着细节稀释问题。如果帧数较少，模型很容易在细节上过拟合。反之如果帧数越多，大多数细节被有效学习的机会就越少(即，更难学习，更容易忘记)。
此外，对于这种常规方案，想要提高视频重建的质量，则需要使用更高容量或更大尺寸的模型。例如，使用具有更多参数的模型。然而，由于更大的模型将会更加难以训练，因此无法保证获得更好的质量。此外，对于更大的模型需要更多的计算资源，这也会影响训练和重建性能和效率。例如，更大的模型需要使用更大内存的GPU来训练和应用，并且在视频重建过程中会导致较低的帧率。
综上所述，目前缺少训练模型以用于提高视频重建的质量和效率的有效方案。根据本公开的实施例，提供了一种用于模型训练的方案。该方案根据不同场景将视频划分为不同的帧分组。对于不同的场景，分别利用与该场景相关联的帧分组，来训练不同的模型。
以这样，相较于对于整个视频使用同一模型的方案，本方案能够针对不同场景使用多个较小的模型。此外，这些较小的模型是使用对应于特定场景的帧来训练的，因此能够更好地学习和适应该特定场景。因此，这种特定于场景的模型训练方案能够提高训练质量。此外，通过使用这些较小的模型，可用节省计算资源，同时提高训练速度。
另一方面，根据本方案所训练的模型能够更好地学习和适应特定场景。因此，利用根据本方案所训练的模型能够提高视频重建的质量。此外，通过使用根据本方案的较小的模型进行视频重建，也可以节省视频重建过程的计算资源，同时提高视频重建效率。
以下参考图1至图8来说明本公开的基本原理和若干示例实现方式。应当理解，给出这些示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例，而并非以任何方式限制本公开的范围。
图1示出了本公开的实施例能够在其中实现的环境100的示意图。在图1的环境100中，期望训练和应用第一模型120和/或第二模型130。第一模型120和第二模型130可以是视频转换模型，例如，VSR模型。第一模型120和第二模型130分别与第一场景和第二场景相关联。
应当理解，虽然图1中仅示出了第一模型120和第二模型130这两个模型，但这仅仅是示意性的，训练系统110可以利用N个模型，其中N为大于等于1的整数。例如，可以针对N个不同的场景，分别训练N个不同的模型。如本文中所使用的，术语“场景”可以指代不同的环境、人物或者动作。术语“场景”也可以用于描述在背景、人物或者动作等方面的不同特征。例如，示例场景可以包括但不限于：在特定场所(例如，公园、办公楼、餐厅等)的场景、没有人物的场景、具有单个或多个人物的场景、具有特定物品的场景等等。
总体而言，环境100包括训练系统110以及可选的应用系统150。在图1的示例实施例以及下文将会描述的一些示例实施例中，训练系统110被配置为利用参考视频102来训练第一模型120和第二模型130，从而确定第一模型120的参数和第二模型130的参数。
在一些实施例中，训练系统110可以位于诸如视频提供方的平台上，或者位于向视频提供方提供服务的第三方。在一些情况下，训练系统110也可以位于与视频接收方相关联的设备中。
在一些实施例中，参考视频102可以是某一特定的视频，例如某一影片。应当理解，虽然图1中仅示出了一个参考视频102，但这仅仅是示意性的，训练系统110可以利用M个参考视频，其中M为大于等于1的整数。例如，训练系统110可以利用M个同系列的场景类似的影片作为M个参考视频。
在一些实施例中，训练系统110还可以包括未示出的其他模型、组件或操作，以将参考视频102根据不同场景划分为不同的帧分组，例如，图1中所示出的第一组帧112和第二组帧114。第一组帧112对应于第一场景，例如以外滩为背景的场景。第二组帧114对应于第二场景，例如以世博园为背景的场景。训练系统110分别利用第一组帧112和第二组帧114来训练第一模型120和第二模型130。将在下文结合图2更详细的描述第一模型120和第二模型130的训练过程。
在训练前，第一模型120和第二模型130的参数值可以被初始化的。经过训练，第一模型120和第二模型130的参数值被更新和确定。在训练完成后，第一模型120和第二模型130具有训练后的参数值。基于这样的参数值，第一模型120和/或第二模型130可以用于进行视频转换，以实现视频处理任务。例如，第一模型120和第二模型120可以分别用于将视频中对应于第一场景和第二场景的帧从第一分辨率转换为不同于第一分辨率的第二分辨率。在一些实施例中，第二分辨率可以高于或者低于第一分辨率。在本文中，以第二分辨率高于第一分辨率为例描述本公开。
环境100可选地包括应用系统150。在一些实施例中，应用系统150可以位于视频接收方处。例如，应用系统150可以位于用户的客户端中。在一些其他实施例中，应用系统150也可以位于远程的云端或者边缘端。应用系统150中的第一模型120和第二模型130可以是来自训练系统110的经训练的第一模型120和经训练的第二模型130。应用系统150接收输入视频142。输入视频142具有第一分辨率。在一些实施例中，输入视频142可以是用户的客户端处所接收到的经传输的参考视频102。例如，输入视频142可以是由训练系统110传输给用户的客户端的参考视频102。
应用系统150还可以包括未示出的其他模型、组件或操作，以将输入视频142按照不同场景划分为不同的帧分组，例如，图1中所示出的第一组输入帧152和第二组输入帧154。应用系统150可以被配置为利用第一模型120和第二模型130来分别执行针对第一组输入帧152和第二组输入帧154的视频转换。例如，应用系统150可以利用第一模型120来将具有第一分辨率的第一组输入帧152转换为具有第二分辨率的第一组输出帧162。同样地，应用系统150可以利用第二模型130来将具有第一分辨率的第二组输入帧154转换为具有第二分辨率的第二组输出帧164。
应用系统150还可以包括未示出的其他模型、组件或操作，以利用所生成的第一组输出帧162和第二组输出帧164来生成输出视频182。通过这样，应用系统150可以利用经训练的第一模型120和第三模型130来将具有第一分辨率的输入视频142转换为具有第二分辨率的输出视频182。应当理解，对于具有更多个场景的输入视频142，应用系统150可以使用更多的经训练的模型来分别针对不同场景的帧分组进行视频转换，以得到输出视频182。
在图1中，训练系统110和应用系统150可以是任何具有计算能力的系统，例如各种计算设备/系统、终端设备、服务器等。终端设备可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。服务器包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。
应当理解，图1示出的环境中的部件和布置仅是示例，适于用于实现本公开所描述的示例实施例的计算系统可以包括一个或多个不同的部件、其他部件和/或不同的布置方式。例如，虽然被示出为是分离的，但训练系统110和应用系统150中的两项或更多项可以集成在相同系统或设备。本公开的实施例在此方面不受限制。
以下将继续参考附图，分别描述模型训练和模型应用的示例实施例。图2图示了根据本公开的一些实施例的模型训练的示例方法200的流程图。方法200可以例如由训练系统110执行。应理解，方法200还可以包括未示出的附加动作。以下参考图1来详细描述方法200。
在框210处，训练系统110分别确定参考视频102中对应于第一场景的第一组帧112和对应于第二场景的第二组帧114。第一组帧112和第二组帧114各自具有第一分辨率。第二场景不同于第一场景。例如，在包括以外滩为环境的第一场景和以世博园为环境的第二场景的参考视频102中，可以将对应于外滩(即，第一场景)的至少一个帧确定为第一组帧112。类似地了，可以将对应于世博园(即，第二场景)的至少一个帧确定为第二组帧114。
在一些实施例中，训练系统110可以根据参考视频102中的各个帧的像素，确定参考视频102中对应于第一场景的至少一个第一场景切换位置和对应于第二场景的至少一个第二场景切换位置。训练系统110进而可以基于至少一个第一场景切换位置和至少一个第二场景切换位置，分别确定参考视频102中对应于第一场景的第一组帧112和对应于第二场景的第二组帧114。
图3图示了根据本公开的一些实施例的用于根据场景对视频中的帧进行分组的方法300的流程图。方法300可以例如由训练系统110执行，以对参考视频102进行分组。在一些实施例中，方法300还可以由应用系统150执行，以对输入视频142进行分组。应理解，方法300还可以包括未示出的附加动作。以下参考图1来详细描述方法300。
在框310处，确定视频中的场景切换位置。例如，训练系统110可以根据参考视频102中的各个帧的像素，确定参考视频102中对应于第一场景的至少一个第一场景切换位置和/或对应于第二场景的至少一个第二场景切换位置。在一些实施例中，可以通过检测参考视频102中的相邻帧之间的相似度，来确定至少一个第一场景切换位置和/或至少一个第二场景切换位置。例如，如果两个相邻帧之间的相似度低于阈值，则确定在该参考视频中的上述两个相邻帧之间检测到场景切换。
在一些实施例中，可以采用其他适当的方式来检测场景切换并且确定场景切换位置。例如，可以基于相邻帧之间的滚动差异来确定场景切换位置。图4图示了根据本公开的一些实施例的视频中的相邻帧之间的滚动差异400的示意图。如图4所示，在一些实施例中，可以预先设置差异阈值410。如果两个相邻帧之间的差异超过差异阈值410(即图4中位于差异阈值410上方)，则确定在参考视频102的对应位置处检测到场景切换。该位置可以被确定为场景切换位置。
在一些实施例中，如果确定在该场景切换位置处，帧切换为第一场景，则该场景切换位置被确定为第一场景切换位置。类似地，如果确定在该场景切换位置处，帧切换为第二场景，则该场景切换位置被确定为第二场景切换位置。
返回参考图3。在框320处，根据场景切换位置，将视频划分为多个分段。例如，训练系统110可以根据至少一个第一场景切换位置和至少一个第二场景切换位置，将参考视频102划分为多个分段。附加地或备选地，在一些实施例中，还可以确定视频分段的最大分段时长。如果根据场景切换位置所划分出的某个分段的时长超过了该最大分段时长，则可以将该分段进一步划分为两个或者更多个不超过最大分段时长的分段。
在框330处，将多个分段中对应于第一场景的至少一个分段确定为第一组帧112。在框340处，将多个分段中对应于第二场景的至少一个分段确定为第二组帧114。例如，训练系统110可以根据各个分段与场景之间的相似度，将各个分段添加到与之相近的场景所对应的帧分组中。
在一些实施例中，训练系统110可以根据各个分段中的帧的像素，来确定该分段与不同场景之间的相似度。将与某个分段之间的相似度高的场景，确定为该分段所对应的场景。如果训练系统110确定某个分段对应于第一场景，则将该分段中的帧添加到第一组帧112。类似地，如果训练系统110确定某个分段对应于第二场景，则将该分段中的帧添加到第二组帧114。例如，可以将对应于客厅中相同人物谈话这一场景的至少一个分段组合在一起，生成例如第一组帧112。
在一些实施例中，还可以确定帧分组的最大时长或者最大帧数目。如果根据上述方法所得到的第一组帧112的时长超过最大时长，或者第一组帧112的帧数目超过最大帧数目，则可以将该第一组帧112进一步拆分为两个或者更多个不超过最大时长或最大帧数目的帧分组。
应理解，上述根据场景对视频中的帧进行分组的实施例仅是示例性的，并不旨在限定本公开。在一些实施例中，也可以使用其他的自动或者半自动的方法来对视频中的帧进行分组。
应理解，虽然结合图1以针对两个场景的两个帧分组为例进行了描述，但这仅仅是示例性的，而无意限制本公开的范围。在一些实施例中，可以针对两个或两个以上的场景将视频划分为两个或两个以上的帧分组。
图5图示了根据本公开的一些实施例的根据场景的视频帧分组的示例结果500的示意图。图5中的视频510可以是参考视频102或者输入视频142的示例。在图5的示例中，视频510被划分为第一帧分组512、第二帧分组514、……、第K帧分组516，其中K为大于或等于2的整数。以第二帧分组514为例，第二帧分组514可以对应于以世博园为背景的场景。例如，图5中的帧522-1、522-2、522-3、522-4、522-5和522-6均对应于以世博园为背景的场景，因此可以被添加到第二帧分组514。类似地，可以将对应于相应场景的帧分别添加至第一帧分组512、……、第K帧分组516。
应当理解，上述根据场景对视频中的帧进行分组的实施例仅是示例性的，并不旨在限定本公开。在一些实施例中，也可以使用其他的自动或者半自动的方法来对视频中的帧进行分组。
通过将对应于同一场景的视频分段组合成一个帧分组，可以使每个帧分组的视觉元素相对较少。例如，对应同一帧分组的各个帧，帧的背景图像可能几乎没有变化。利用这种对应于场景的帧分组训练针对该场景的模型，可以使模型能容易有效地学习视觉模式，从而大大提高训练效率。此外，同一场景的不同分段可以使用相同的模型，这同时减少了所需要的模型的个数。
返回参考图2。在框220处，训练系统110分别确定针对第一场景的第一模型和针对第二场景的第二模型。第一模型120和第二模型130分别用于将对应于第一场景和第二场景的帧从第一分辨率转换为第二分辨率。例如，可以针对第一场景和第二场景分别确定相同尺寸(也称为大小)或者具有相同数目的参数的VSR模型。
附加地或备选地，可以根据效率质量参数来确定第一模型120和/或第二模型130。在一些实施例中，训练系统110可以确定针对第一场景的第一效率质量参数。第一效率质量参数指示第一模型120针对对应于第一场景的帧执行从第一分辨率向第二分辨率的转换时，需要达到的转换效率和/或转换质量。即，第一效率质量参数指示第一模型120将第一组帧112从第一分辨率向第二分辨率转换时，需要达到的转换效率和/或转换质量。
在一些实施例中，效率质量参数(例如，第一效率质量参数)可以是由视频提供方(例如，Youtube)预先设置的。附加地或备选地，效率质量参数(例如，第一效率质量参数)可以由视频接收方(例如，观看Youtube的用户)设置。视频接收方可以将所设置的效率质量参数(例如，第一效率质量参数)传输至训练系统110以供后续训练过程。
在一些实施例中，训练系统110可以基于第一效率质量参数，确定第一模型120的尺寸。训练系统110进而可以基于该尺寸，确定第一模型120。例如，根据该尺寸，确定第一模型120所具有的参数的数目。
在一些实施例中，如果训练系统110确定第一效率质量参数指示第一模型120执行转换时需要达到的转换效率超过效率阈值，则训练系统110将第一模型120的尺寸确定为小于第一尺寸阈值的第一尺寸。通过使用较小的第一模型120，可以在随后在应用系统150中的应用中，获得较高的帧速率。在应用系统150将第一模型120用于视频重建的情景下，通过使用较小的第一模型120，可以提高随后视频重建的效率。
附加地或备选地，效率质量参数还可以被用于视频帧的分组过程中。例如，如果训练系统110确定第一效率质量参数指示第一模型120执行转换时需要达到的转换效率超过效率阈值，则训练系统110可以对参考视频102进行更加精细的划分。例如，可以将图4中的差异阈值410确定为较小的数值。以这样，能够确保使用划分更为精细的帧分组来训练较小的模型。由此，即使使用较小的模型，也可以确保该模型能够更好地学习某个较精细的场景。由此，可以确保随后的视频转换例如重建过程中，能够在确保较高的转换效率的同时获得较高的质量。
在一些实施例中，如果训练系统110确定第一效率质量参数指示第一模型120执行转换时需要达到的转换质量超过质量阈值，训练系统110将第一模型120的尺寸确定为大于第二尺寸阈值的第二尺寸。如前所述的第一尺寸阈值和第二尺寸阈值可以是训练系统110预先设置的。第一存储阈值与第二尺寸阈值可以相同，也可以不同。通过使用较大尺寸的第一模型120，可以确保该第一模型120能够更好地学习针对第一场景的第一组帧112。以这样，能够提高随后应用系统150进行的视频转换例如视频重建过程的质量。
应理解，虽然以针对第一模型120的第一效率质量参数为例，描述了根据第一效率质量参数确定第一模型120的过程，针对训练系统110中的其他模型，例如第二模型130，可以使用类似地过程来根据相应的效率质量参数进行模型确定。
在一些实施例中，效率质量参数可以被确定为针对效率(例如，每秒传输帧数FPS)和质量两者的最小服务等级协议(SLA)。效率质量参数还可以被确定为所需要的最低效率和/或最低质量。附加地或备选地，效率质量参数可以被实现为映射到适当的效率和/或质量的二进制开关或者其他形式的数值。
通过根据效率质量参数来确定模型，能够确保所训练出的模型能够在提高视频转换(例如，重建)的质量的同时，获得较高的视频转换(例如，重建)效率。
继续参考图2。在框230处，训练系统110分别利用第一组帧112和第二组帧114，训练第一模型120和第二模型130。例如，训练系统110可以利用第一组帧112作为训练样本来训练第一模型120，以确定第一模型120的各个参数(例如，转换参数)。类似地，训练系统110可以利用第二组帧114作为训练样本来训练第二模型130，以确定第二模型130的各个参数(例如，转换参数)。
应当理解，可以使用任何适当的模型训练方法来分别利用第一组帧112和第二组帧114训练第一模型120和第二模型130。以下以利用第一组帧112训练第一模型120为例，描述示例模型训练过程。
在一些实施例中，训练系统110可以基于第一组帧112，根据第一模型120，生成具有第二分辨率的第三组帧。训练系统110还可以获取与参考视频102具有相同视频内容的具有第二分辨率的第二参考视频。训练系统110可以从第二参考视频中确定出于第一组帧112相对应的第一组参考帧。训练系统110可以基于第三组帧中的帧与第一组参考帧中的相应帧之间的差异，来训练第一模型120。例如，通过最小化第三组帧中的各个帧与第一组参考帧中的相应帧之间的总差异，来确定第一模型120的参数。备选地或附加地，如果上述总差异减小到小于预定的阈值，可以完成训练，从而得到经训练的第一模型120。
类似地，可以使用相同的训练方式来基于第二组帧114训练第二模型130。应当理解，本公开的方法不受模型的具体形式、分辨率的具体数值或者模型训练的具体方法所限制。
通过针对不同场景确定并且训练不同的模型，能够使模型仅学习较少的视觉模式。以这样，模型能够更好地学习该场景的特征，进而提高后续的视频转换，例如视频重建的质量。此外，通过使用多个较小的模型代替一个较大的模型，能够提高不同场景的视频重建质量。此外，较小的模型所需的计算资源较少，推理速度更快，进而能够进一步提高视频重建的效率。
以上结合图2-图5讨论了对第一模型120和第二模型130的训练。在一些实施例中，可以将经训练的第一模型120和第二模型130提供给应用系统150，以针对输入视频142进行视频处理，例如视频转换或视频重建。
图6图示了根据本公开的一些实施例的视频处理的示例方法600的流程图。方法600可以例如由应用系统150执行。应理解，方法600还可以包括未示出的附加动作。以下参考图1来详细描述方法600。
在框610处，应用系统150获取输入视频142。例如，应用系统150可以从训练系统110获取参考视频102作为输入视频142。备选地，应用系统150还可以从视频提供方获取与参考视频102相关联的视频作为输入视频142。
例如，视频接收方(例如，观看Youtube上的影片的用户)可以选择要获取的视频(例如，想要观看的影片)。视频提供方(例如，Youtube)处的训练系统110可以经由互联网将所选择的该视频的具有第一分辨率(较低分辨率)的版本(也称为实例)提供给视频接收方处的应用系统150作为输入视频142。此外，视频接收方还可以选择输入视频142的开始时间和/或结束时间。
在框620处，应用系统150分别确定输入视频142中对应于第一场景的第一组输入帧152和对应于第二场景的第二组输入帧154。第一组输入帧152和第二组输入帧154各自具有第一分辨率。第二场景不同于第一场景。
例如，应用系统150可以采用参考图3所描述的方法300来确定第一组输入帧152和第二组输入帧154，在此不再赘述。应理解，应用系统150还可以采用其他适当的方式来根据场景确定第一组输入帧152和第二组输入帧154。本公开的实施例在此方面不受限制。
应理解，备选地，在一些实施例中，应用系统150可以从视频提供方或者训练系统110直接接收按场景分组的输入视频142的第一组输入帧152和第二组输入帧154。在这种情况下，应用系统150可以直接利用第一模型120和第二模型130分别对所接收到的第一组输入帧152和第二组输入帧154进行处理，而无需执行帧分组过程。
在框630处，应用系统150分别确定针对第一场景的经训练的第一模型120和针对第二场景的经训练的第二模型130。第一模型120和第二模型130是根据方法200来训练的。以下将以第一模型120为例，描述应用系统150对第一模型120的确定过程。
在一些实施例中，训练系统110可以将一个经训练的第一模型120传输给应用系统150。应用系统150可以将该第一模型120确定为将要使用的第一模型120。
附加地或备选地，训练系统110可以将多个经训练的第一模型120传输给应用系统150。例如，训练系统110可以将具有不同尺寸的经训练的第一模型120传输给应用系统150。如前所述，第一模型120的尺寸可以与第一效率质量参数相关联。
在这一情景下，应用系统150可以将所接收到的多个经训练的第一模型120确定为针对第一场景的经训练的至少一个候选模型。应用系统150可以基于第一效率质量参数，确定经训练的第一模型120的尺寸。第一效率质量参数指示经训练的第一模型120执行从第一组输入帧142向第一组输出帧162的转换时需要达到的转换效率和/或转换质量。应用系统150可以使用与前述训练系统基于效率质量参数确定模型尺寸相同或相似的方式，来基于第一效率质量参数，确定经训练的第一模型120的尺寸。在此处将不再进行赘述此过程。
在一些实施例中，应用系统150可以基于该尺寸，从经训练的至少一个候选模型中选择具有该尺寸的经训练的第一模型120。类似地，应用系统150可以使用相同或相似的方式来从一个或多个候选第二模型中选择经训练的第二模型130。
在框640处，应用系统150基于第一组输入帧152，根据经训练的第一模型120，生成具有第二分辨率的第一组输出帧162。在框650处，应用系统150基于第二组输入帧154，根据经训练的第二模型130，生成具有第二分辨率的第二组输出帧164。
在一些实施例中，在框660处，应用系统150可以可选地至少基于第一组输出帧162和第二组输出帧164，生成对应于输入视频142的输出视频182。输出视频182具有第二分辨率。例如，在以上所描述的仅根据两个不同场景划分帧分组的示例中，可以将第一组输出帧162和第二组输出帧164中的各个帧根据时间先后顺序进行排序，以生成输出视频164。例如，应用系统150可以将从视频提供方所接收到的较低分辨率的输入视频142转换或重建为具有较高分辨率的输出视频182。
通过利用根据本公开的方法训练的第一模型和/或第二模型，即使对于复杂视频或长视频，也能获得良好的视频重建质量。此外，通过针对不同场景使用不同模型，可以使用尺寸更加小的模型。以这样，能够在保证较高的输出视频质量的同时，减少重建所需的计算资源。以这样，能够提高视频重建的效率。
此外，通过根据效率质量参数来选择第一模型120和/或第二模型130，能够确保视频转换或视频重建所得到的输出视频182具有所要求的质量的同时，提高视频转换效率(即，不影响FPS)。
图7图示了根据本公开的一些实施例的视频重建质量的示意图。在图7中，曲线图710、曲线图720和曲线图730分别示出了使用在视频的完整剪辑(clip)、1/2剪辑和1/4剪辑上训练的多个对应于场景的模型进行视频重建，所得到的峰值信噪比(PSNR)。框715、框725和框735分别示出了与曲线图710、曲线图720和曲线图730对应的PSNR的最大值、最小值和平均值。
从图7可以看出，使用本公开的方法所训练的针对场景的模型，在进行视频转换或视频重建时，能够获得很高的视觉感知质量(未显示)以及由PSNR所指示的定量质量。因此，使用本公开的模型训练方法和视频处理方法，能够提高视频转换或视频重建的质量。
本公开的模型训练方法和视频处理方法可以应用于广泛的应用，例如实时、高帧率、高质量的视频流，或者用于远程游戏、远程监控等。此外，本公开的方案还可以应用于各种视频数据缩减应用。例如，视频存储、流媒体或者视频内容递送。例如，本公开的方案可以用于从云端到用户客户端的视频内容递送，或者从云端到边缘端以及从边缘端到用户客户端的视频内容递送。
图8示出了可以用来实施本公开的实施例的设备800的示意性框图，设备800可以是本公开的实施例所描述的设备或装置。如图8所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。虽然未在图8中示出，设备800还可以包括协处理器。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可由处理单元801来执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使得本技术领域的其它普通技术人员能理解本文公开的各实施例。

Claims (19)

1.一种计算机实现的方法，包括：
分别确定参考视频中对应于第一场景的第一组帧和对应于第二场景的第二组帧，所述第一组帧和所述第二组帧各自具有第一分辨率，所述第二场景不同于所述第一场景；
分别确定针对所述第一场景的第一模型和针对所述第二场景的第二模型，所述第一模型和所述第二模型分别用于将对应于所述第一场景和所述第二场景的帧从所述第一分辨率转换为不同于所述第一分辨率的第二分辨率；以及
分别利用所述第一组帧和所述第二组帧，训练所述第一模型和所述第二模型。
2.根据权利要求1所述的方法，其中确定所述第一组帧和所述第二组帧包括：
根据所述参考视频中的各个帧的像素，确定所述参考视频中对应于所述第一场景的至少一个第一场景切换位置和对应于所述第二场景的至少一个第二场景切换位置；以及
基于所述至少一个第一场景切换位置和所述至少一个第二场景切换位置，分别确定所述参考视频中对应于所述第一场景的所述第一组帧和对应于所述第二场景的所述第二组帧。
3.根据权利要求2所述的方法，其中分别确定所述第一组帧和所述第二组帧包括：
基于所述至少一个第一场景切换位置和所述至少一个第二场景切换位置，将所述参考视频划分为多个分段；
将所述多个分段中的对应于所述第一场景的至少一个分段确定为所述第一组帧；以及
将所述多个分段中的对应于所述第二场景的至少一个分段确定为所述第二组帧。
4.根据权利要求1所述的方法，还包括：
确定第一效率质量参数，所述第一效率质量参数指示所述第一模型针对对应于所述第一场景的帧执行从所述第一分辨率向所述第二分辨率的转换时需要达到的转换效率和转换质量中的至少一项。
5.根据权利要求4所述的方法，其中确定所述第一模型包括：
基于所述第一效率质量参数，确定所述第一模型的尺寸；以及
基于所述尺寸，确定所述第一模型。
6.根据权利要求5所述的方法，其中确定所述尺寸包括：
如果确定所述第一效率质量参数指示所述第一模型执行所述转换时需要达到的转换效率超过效率阈值，将所述第一模型的所述尺寸确定为第一尺寸，所述第一尺寸小于第一尺寸阈值；和/或
如果确定所述第一效率质量参数指示所述第一模型执行所述转换时需要达到的转换质量超过质量阈值，将所述第一模型的所述尺寸确定为第二尺寸，所述第二尺寸大于第二尺寸阈值。
7.一种计算机实现的方法，包括：
获取输入视频；
分别确定所述输入视频中对应于第一场景的第一组输入帧和对应于第二场景的第二组输入帧，所述第一组输入帧和所述第二组输入帧各自具有第一分辨率，所述第二场景不同于所述第一场景；
分别确定针对所述第一场景的经训练的第一模型和针对所述第二场景的经训练的第二模型，所述经训练的第一模型和所述经训练的第二模型是根据权利要求1至6中任一项所述的方法训练的；
基于所述第一组输入帧，根据所述经训练的第一模型，生成具有第二分辨率的第一组输出帧，所述第二分辨率不同于所述第一分辨率；以及
基于所述第二组输入帧，根据所述经训练的第二模型，生成具有所述第二分辨率的第二组输出帧。
8.根据权利要求7所述的方法，还包括：
至少基于所述第一组输出帧和所述第二组输出帧，生成对应于所述输入视频的输出视频，所述输出视频具有所述第二分辨率。
9.根据权利要求7所述的方法，其中确定所述经训练的第一模型包括：
确定针对所述第一场景的经训练的至少一个候选模型，所述经训练的至少一个候选模型是根据权利要求1至6中任一项所述的方法训练的；
基于第一效率质量参数，确定所述经训练的第一模型的尺寸，所述第一效率质量参数指示所述经训练的第一模型执行从所述第一组输入帧向所述第一组输出帧的转换时需要达到的转换效率和转换质量中的至少一项；以及
基于所述尺寸，从所述经训练的至少一个候选模型中选择所述经训练的第一模型。
10.一种电子设备，包括：
至少一个处理器；以及
存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：
分别确定参考视频中对应于第一场景的第一组帧和对应于第二场景的第二组帧，所述第一组帧和所述第二组帧各自具有第一分辨率，所述第二场景不同于所述第一场景；
分别确定针对所述第一场景的第一模型和针对所述第二场景的第二模型，所述第一模型和所述第二模型分别用于将对应于所述第一场景和所述第二场景的帧从所述第一分辨率转换为不同于所述第一分辨率的第二分辨率；以及
分别利用所述第一组帧和所述第二组帧，训练所述第一模型和所述第二模型。
11.根据权利要求10所述的电子设备，其中确定所述第一组帧和所述第二组帧包括：
根据所述参考视频中的各个帧的像素，确定所述参考视频中对应于所述第一场景的至少一个第一场景切换位置和对应于所述第二场景的至少一个第二场景切换位置；以及
基于所述至少一个第一场景切换位置和所述至少一个第二场景切换位置，分别确定所述参考视频中对应于所述第一场景的所述第一组帧和对应于所述第二场景的所述第二组帧。
12.根据权利要求11所述的电子设备，其中分别确定所述第一组帧和所述第二组帧包括：
基于所述至少一个第一场景切换位置和所述至少一个第二场景切换位置，将所述参考视频划分为多个分段；
将所述多个分段中的对应于所述第一场景的至少一个分段确定为所述第一组帧；以及
将所述多个分段中的对应于所述第二场景的至少一个分段确定为所述第二组帧。
13.根据权利要求10所述的电子设备，其中所述动作还包括：
确定第一效率质量参数，所述第一效率质量参数指示所述第一模型针对对应于所述第一场景的帧执行从所述第一分辨率向所述第二分辨率的转换时需要达到的转换效率和转换质量中的至少一项。
14.根据权利要求13所述的电子设备，其中确定所述第一模型包括：
基于所述第一效率质量参数，确定所述第一模型的尺寸；以及
基于所述尺寸，确定所述第一模型。
15.根据权利要求14所述的电子设备，其中确定所述尺寸包括：
如果确定所述第一效率质量参数指示所述第一模型执行所述转换时需要达到的转换效率超过效率阈值，将所述第一模型的所述尺寸确定为第一尺寸，所述第一尺寸小于第一尺寸阈值；和/或
如果确定所述第一效率质量参数指示所述第一模型执行所述转换时需要达到的转换质量超过质量阈值，将所述第一模型的所述尺寸确定为第二尺寸，所述第二尺寸大于第二尺寸阈值。
16.一种电子设备，包括：
至少一个处理器；以及
存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：
获取输入视频；
分别确定所述输入视频中对应于第一场景的第一组输入帧和对应于第二场景的第二组输入帧，所述第一组输入帧和所述第二组输入帧各自具有第一分辨率，所述第二场景不同于所述第一场景；
分别确定针对所述第一场景的经训练的第一模型和针对所述第二场景的经训练的第二模型，所述经训练的第一模型和所述经训练的第二模型是根据权利要求1至6中任一项所述的方法训练的；
基于所述第一组输入帧，根据所述经训练的第一模型，生成具有第二分辨率的第一组输出帧，所述第二分辨率不同于所述第一分辨率；以及
基于所述第二组输入帧，根据所述经训练的第二模型，生成具有所述第二分辨率的第二组输出帧。
17.根据权利要求16所述的电子设备，其中所述动作还包括：
至少基于所述第一组输出帧和所述第二组输出帧，生成对应于所述输入视频的输出视频，所述输出视频具有所述第二分辨率。
18.根据权利要求16所述的电子设备，其中确定所述经训练的第一模型包括：
确定针对所述第一场景的经训练的至少一个候选模型，所述经训练的至少一个候选模型是根据权利要求1至6中任一项所述的方法训练的；
基于第一效率质量参数，确定所述经训练的第一模型的尺寸，所述第一效率质量参数指示所述经训练的第一模型执行从所述第一组输入帧向所述第一组输出帧的转换时需要达到的转换效率和转换质量中的至少一项；以及
基于所述尺寸，从所述经训练的至少一个候选模型中选择所述经训练的第一模型。
19.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至9中任一项所述的方法。
CN202111657222.7A 2021-12-31 2021-12-31 计算机实现的方法、设备和计算机程序产品 Pending CN116416483A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111657222.7A CN116416483A (zh) 2021-12-31 2021-12-31 计算机实现的方法、设备和计算机程序产品
US17/665,649 US11647153B1 (en) 2021-12-31 2022-02-07 Computer-implemented method, device, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111657222.7A CN116416483A (zh) 2021-12-31 2021-12-31 计算机实现的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN116416483A true CN116416483A (zh) 2023-07-11

Family

ID=86242553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111657222.7A Pending CN116416483A (zh) 2021-12-31 2021-12-31 计算机实现的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11647153B1 (zh)
CN (1) CN116416483A (zh)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
US8594464B2 (en) * 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
KR101845476B1 (ko) * 2015-06-30 2018-04-05 한국과학기술원 영상 변환 장치 및 그 영상 변환 방법
US9754351B2 (en) * 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks
US10271008B2 (en) * 2017-04-11 2019-04-23 Advanced Micro Devices, Inc. Enhanced resolution video and security via machine learning
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
US10621695B2 (en) 2017-10-31 2020-04-14 Disney Enterprises, Inc. Video super-resolution using an artificial neural network
US20200162789A1 (en) * 2018-11-19 2020-05-21 Zhan Ma Method And Apparatus Of Collaborative Video Processing Through Learned Resolution Scaling
CN112118443B (zh) * 2019-06-21 2022-04-26 腾讯美国有限责任公司 视频解码方法、系统、计算机设备以及存储介质
US11343465B2 (en) * 2019-11-01 2022-05-24 Apple Inc. Varying audio visual compression based on AI detection or classification results
US20210160512A1 (en) * 2019-11-21 2021-05-27 Facebook, Inc. Systems and methods for optimized scene-based video encoding
US11562121B2 (en) * 2020-07-29 2023-01-24 Dell Products L.P. AI driven content correction built on personas
WO2022093053A1 (en) * 2020-10-26 2022-05-05 Motorola Solutions, Inc 3d modeling of incident scene using body worn cameras
US11683358B2 (en) * 2020-11-04 2023-06-20 Microsoft Technology Licensing, Llc Dynamic user-device upscaling of media streams
CN114466192A (zh) * 2020-11-09 2022-05-10 北京字节跳动网络技术有限公司 图像/视频超分辨率
GB202017662D0 (en) * 2020-11-09 2020-12-23 Samsung Electronics Co Ltd Method and apparatus for video super resolution
KR102595096B1 (ko) * 2021-07-06 2023-10-27 한국전자기술연구원 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법
CN115695853A (zh) * 2021-07-23 2023-02-03 伊姆西Ip控股有限责任公司 视频处理方法、电子设备和计算机程序产品

Also Published As

Publication number Publication date
US11647153B1 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN115861131B (zh) 基于图像生成视频、模型的训练方法、装置及电子设备
US20230086804A1 (en) Selectively identifying data based on motion data from a digital video to provide as input to an image processing model
US20240022759A1 (en) Video encoding through non-saliency compression for live streaming of high definition videos in low-bandwidth transmission
CN111327921A (zh) 视频数据处理方法及设备
CN113112536A (zh) 图像处理模型训练方法、图像处理方法及装置
CN113965751A (zh) 屏幕内容编码方法、装置、设备及存储介质
CN113691812B (zh) 基于鸿蒙系统的分布式视频处理方法、终端和可读介质
WO2023124461A1 (zh) 面向机器视觉任务的视频编解码方法、装置、设备及介质
US20170374432A1 (en) System and method for adaptive video streaming with quality equivalent segmentation and delivery
US11928855B2 (en) Method, device, and computer program product for video processing
CN116416483A (zh) 计算机实现的方法、设备和计算机程序产品
JP6216046B2 (ja) コーデックの自動適応化
WO2022221205A1 (en) Video super-resolution using deep neural networks
CN112188199A (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
CN114741198B (zh) 视频流处理方法及装置、电子设备、计算机可读介质
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
CN116760986B (zh) 候选运动矢量生成方法、装置、计算机设备和存储介质
CN116996661B (zh) 三维视频展示方法、装置、设备及介质
CN113099231B (zh) 确定亚像素插值位置的方法、装置、电子设备和存储介质
CN117097955A (zh) 视频处理方法、装置、设备和存储介质
CN111885378B (zh) 多媒体数据编码方法、装置、设备以及介质
CN114359056A (zh) 对象处理方法、装置及电子设备
CN113160342A (zh) 基于反馈的编码方法及装置、存储介质、电子设备
CN115695332A (zh) 摄像头运行资源分配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination