CN117596446A - 视频显示方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种视频显示方法、装置、设备及计算机可读存储介质，应用于视频显示处理技术领域。该方法包括：确定终端自身对于不同视频属性的显示策略。根据待显示视频的目标视频属性和显示策略，确定该待显示视频的目标渲染耗时和目标超分耗时。判断若对该待显示视频进行渲染处理和超分处理，是否能够满足当前的时延要求，进而可以根据判断结果自适应地控制超分处理。本申请在决策是否对视频进行超分处理过程中考虑了终端渲染视频耗时，通过精确确定视频处理耗时，能够提升对超分处理的控制精准度。可见，本申请根据终端渲染视频耗时动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

Description

视频显示方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及视频显示处理技术领域，尤其涉及一种视频显示方法、装置、设备及计算机可读存储介质。

背景技术

为了便于存储与传输，大多数场景视频源为低分辨率视频。当在终端显示时需对低分辨率视频源进行超分处理得到高分辨率视频。但是受限于终端设备的性能，不是所有设备所有场景下都存在足够的计算资源进行超分处理。在即时通信场景中，例如云游戏、视频会议、视频通话等场景，对视频的端到端延时要求高，因此终端设备运行超分处理算法所造成的延时不能太高。然而，相关技术中还没有提供精准控制终端是否执行超分处理的方案。

发明内容

本申请提供一种视频显示方法、装置、设备及存储介质，能够精准控制终端是否执行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

第一方面，本申请提供一种视频显示方法，该方法包括：获取终端对应的显示策略，其中，上述显示策略包括上述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时；根据待显示视频的目标视频属性以及上述显示策略，确定上述待显示视频的目标渲染耗时和目标超分耗时；以及，基于预设时延，根据上述目标渲染耗时和上述目标超分耗时，确定是否对上述待显示视频进行超分处理。

本申请实施例提供的视频显示方法，至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

第二方面，本申请提供了一种视频显示装置，该装置包括：显示策略获取模块、目标耗时确定模块以及超分处理决策模块；

其中，上述显示策略获取模块，用于获取上述终端针对不同视频属性的显示策略，其中，上述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时；上述目标耗时确定模块，用于根据待显示视频的目标视频属性查找上述显示策略，确定上述待显示视频的目标渲染耗时和目标超分耗时；以及，上述超分处理决策模块，用于基于预设时延，根据上述目标渲染耗时和上述目标超分耗时，确定是否对上述待显示视频进行超分处理。

在一些实施例中，基于上述方案，上述预设时延为根据上述待显示视频的帧率确定的第一时延；

上述显示策略获取模块，具体用于：根据上述目标渲染耗时和上述目标超分耗时之和，与上述第一时延之间的大小关系，确定是否对上述待显示视频进行超分处理；其中，在上述目标渲染耗时和上述目标超分耗时之和小于或等于上述第一时延的情况下，确定对上述待显示视频进行超分处理；或，在上述目标渲染耗时和上述目标超分耗时之和大于上述第一时延的情况下，确定不对上述待显示视频进行超分处理。

在一些实施例中，基于上述方案，上述预设时延为根据上述终端的应用场景确定的第二时延，上述显示策略还包括每种视频属性对应的解码耗时；

上述显示策略获取模块，还具体用于：根据目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和，与上述第二时延之间的大小关系，确定是否对上述待显示视频进行超分处理；其中，在上述目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和小于或等于上述第二时延的情况下，确定对上述待显示视频进行超分处理；或，在上述目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和大于上述第二时延的情况下，确定不对上述待显示视频进行超分处理；上述目标解码耗时为根据上述显示策略和上述目标视频属性确定的。

在一些实施例中，基于上述方案，上述显示策略获取模块，包括：待测参数确定单元、待测视频确定单元、测试模式确定模块以及测试模块；

其中，上述待测参数确定单元，用于：根据上述终端的设备属性确定上述终端的目标待测参数，其中上述目标待测参数为关于分辨率和/或渲染的参数；上述待测视频确定单元，用于：根据上述目标待测参数确定待测视频；上述测试模式确定模块，用于：根据上述待测视频的视频属性和上述目标待测参数确定多种测试模式，其中上述待测视频的视频属性包括以下信息的至少一种：上述待测视频的编解码类型、上述待测视频的帧率以及上述待测视频的原始分辨率；以及，上述测试单元，用于：在每种上述测试模式下，确定上述待测视频的解码耗时、渲染耗时和超分耗时，得到上述显示策略。

在一些实施例中，基于上述方案，上述测试单元，具体用于：获取符合目标测试模式中视频属性的目标待测视频；以及，在上述终端满足上述目标测试模式中待测参数的情况下，通过上述终端处理上述目标待测视频，并获取上述终端处理上述目标待测视频的解码耗时、渲染耗时和超分耗时。

在一些实施例中，基于上述方案，上述测试单元，还具体用于：在上述终端满足第一测试模式中待测参数的情况下，通过上述终端处理目标待测视频，其中第一测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率相同；确定上述终端处理上述目标待测视频中视频帧的第一平均时长；以及，将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值，且确定为上述目标待测视频在上述第一测试模式下的超分耗时为零。

在一些实施例中，基于上述方案，上述测试单元，还具体用于：在上述终端满足第二测试模式中待测参数的情况下，通过上述终端处理上述目标待测视频，其中上述二测试模式与上述第一测试模式的差别包括：上述第二测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率不同；确定上述终端处理上述目标待测视频中视频帧的第二平均时长；将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值；以及，将上述第二平均时长和上述第一平均时长的差值，确定为上述目标待测视频在上述第二测试模式下的超分耗时。

本申请实施例提供的视频显示装置，至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

第三方面，提供了一种电子设备，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行上述第一方面所提供的视频显示方法。

第四方面，提供了一种芯片，用于实现上述第一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面所提供的视频显示方法。

第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面所提供的视频显示方法。

第六方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面所提供的视频显示方法。

第七方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面所提供的视频显示方法。

综上，本申请实施例提供的视频显示方案中，确定终端自身对于不同视频属性的显示策略，具体的，显示策略中包含每种视频属性对应的渲染耗时和超分耗时。从而根据待显示视频的目标视频属性，可以从上述显示策略中确定出该待显示视频的目标渲染耗时和目标超分耗时。进一步地，可以判断若对该待显示视频进行渲染处理和超分处理，是否能够满足当前的时延要求，进而可以根据判断结果自适应地控制是否进行超分处理。本申请实施例在决策是否对视频进行超分处理的控制过程中，至少考虑了终端渲染视频耗时，通过精确确定视频处理耗时，能够在一定程度上提升对超分处理的控制精准度。可见，本申请实施例至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

附图说明

为了更清楚地说明本发明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的关于帧间预测的示意图；

图2为本申请实施例提供的视频显示方法的流程示意图；

图3为本申请实施例提供的显示策略的确定方法的流程示意图；

图4为本申请实施例提供的帧率要求的情况下视频显示方法的流程示意图；

图5为本申请实施例提供的预设场景要求的情况下视频显示方法的流程示意图；

图6是本申请实施例提供的视频显示装置的示意性框图；

图7是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够除了在这里图示或描述的那些以外的顺序实施。在本发明本申请实施例中，“与A对应的B”表示B与A相关联。在一种实现方式中，可以根据A确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。

相关技术中，终端超分处理的执行过程中或者执行前，很少考虑端到端延时的要求，即只需保证超分处理算法的耗时即可。然而，对于需要考虑端到端延时的要求的场景中，由于相关技术中没有考虑视频解码和渲染的延时，因而不能灵活根据设备的解码渲染耗时调整超分处理算法的开启关闭，可能会导致在某些解码渲染性能较差的设备中开启超分处理算法，这将会进一步削减整个解码渲染的性能，导致视频显示卡顿。

为了解决上述技术问题，本申请实施例提供的视频显示方案中，确定终端自身对于不同视频属性的显示策略，具体的，显示策略中包含每种视频属性对应的渲染耗时和超分耗时。从而根据待显示视频的目标视频属性，可以从上述显示策略中确定出该待显示视频的目标渲染耗时和目标超分耗时。进一步地，可以判断若对该待显示视频进行渲染处理和超分处理，是否能够满足当前的时延要求，进而可以根据判断结果自适应地控制是否进行超分处理。本申请实施例在对视频进行超分处理的控制过程中至少考虑了终端渲染视频耗时，通过精确确定视频处理耗时，能够在一定程度上提升对超分处理的控制精准度。可见，本申请实施例至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

本申请实施例提出的技术方案，应用于视频显示技术领域，具体可以应用于即时通信技术领域，例如云游戏、视频会议、视频通话等应用场景，主要用于精准控制终端是否执行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

其中，云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在本申请实施例提供的云游戏场景下，可以由终端将游戏场景渲染为视频音频流并在游戏终端进行显示。

示例性的，图1为本申请实施例提供的一种视频显示方案的应用场景示意图。如图1所示，本申请实施例以游戏应用场景为例进行说明。具体地，本申请实施例提供的方案应用于该场景时，游戏相关的实时信息通过网络由服务器104传输至终端102。终端102在接收到上述信息后，需对其进行解码处理、渲染处理等，并基于预设时延再根据待显示视频所需的渲染耗时和超分耗时，确定是否对该待显示视频进行超分处理。最终根据判断结果进行超分处理后再显示至终端102的显示装置，或者根据判断结果不进行超分处理直接显示在终端102的显示装置。

其中，超分处理辨率(Super-Resolution，SR)，简称超分处理或者超分处理，是指利用光学及其相关光学知识，根据已知图像信息恢复图像细节和其他数据信息的过程，通常是指分辨率的放大。比如说512x512的图片放大到1024x1024的图片。常用缩放级别(zoomlevel)、缩放规模(zoomscale)，放大倍数来形容超分处理前和超分处理后图像大小的关系。例如具体可以指的是图像的长宽分别放大了多少倍。

其中，上述终端102为智能手机、平板、智能音视频交互设备、智能家电、车载终端、飞行器、可穿戴智能设备、医疗设备等等。同前所述，上述终端102往往配置有显示装置，显示装置也可为显示器、显示屏、触摸屏等等，触摸屏也可为触控屏、触控面板等等。但并不局限于此。上述服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。

下面通过一些实施例对本申请实施例的技术方案进行详细说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本申请实施例提供的视频显示方法P200的流程示意图。其中，方法P200的执行主体可以是终端，如图1中终端102；还可以是如图1中服务器104；或者是存储有相关算法的电子设备，如图7所示的电子设备700。其中，方法P200以执行主体为终端为例进行说明。参考图2，方法P200包括S210-S230。

在S210中，获取终端对应的显示策略，其中，上述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时。

可以理解的是，不同设备属性的终端，对视频处理的能力是不同的。其中上述设备属性是指终端的配置信息，具体可以是指该终端中与解码视频、渲染视频、超分处理视频相关的属性，例如，操作系统的类型与版本、处理器的型号、显示屏的相关参数等等。本申请实施例对于设备属性不同的终端，分别确定对应于其设备属性的显示策略。其中，对于具备某种设备属性的终端，其处理不同视频属性的处理能力不同，因此其在视频处理的不同(如，解码、渲染、超分处理)阶段分别的耗时也是不同的。本申请实施例中，上述显示策略具备包括每种视频属性对应的渲染耗时和超分耗时。在示例性的实施例中，上述显示策略中还包括每种视频属性对应的解码耗时。例如，终端A对应的显示策略可以表示为表1。

表1

	渲染耗时	超分耗时	解码耗时
				视频属性为方式1	10ms	20ms	30ms
视频属性为方式2	15ms	20ms	50ms
				……	……	……	……

参考表1，其中上述渲染耗时为在渲染处理一段视频过程中，平均至每一帧图像的耗时。同理，上述超分耗时也是在对一段视频进行超分处理过程中，平均至每一帧图像的耗时；上述解码耗时也是在解码一段视频的过程中，平均至每一帧图像的耗时。由于视频属性可以包括但不限于编解码类型、帧率和原始分辨率等，因此表1中以“视频属性为方式1”、“视频属性为方式2”来表示不同的视频属性。

本申请实施例提供的方案中，将至少基于显示策略中渲染耗时作为参考因素，来自适应地控制是否对视频进行超分处理，能够在一定程度上提升对超分处理的控制精准度。在示例性的实施例中，为了提升计算效率，每个终端对应的显示策略可以由服务器来确定，进一步地，终端可以从服务器处获取其所对应的显示策略。需要说明的是，对于每种设备属性的终端，确定其显示策略的具体实施方式将在后续图3所对应的实施例中详细介绍。

继续参考图2，在S220中，根据待显示视频的目标视频属性以及上述显示策略，确定上述待显示视频的目标渲染耗时和目标超分耗时。

本申请实施例中将在终端显示的视频，记作待显示视频，并将待显示视频的视频属性记作目标视频属性。具体地，基于目标视频属性查找该终端的显示策略，可以确定该终端渲染该视频的耗时(记作目标渲染耗时)，也可以确定该终端超分处理该视频的耗时(记作目标超分耗时)。例如，上述目标视频属性为表1中视频属性为方式2，则可以确定通过该终端解码该待显示视频的每帧平均耗时为50ms，通过该终端渲染该待显示视频的每帧平均耗时为15ms，通过该终端对该待显示视频进行超分处理则每帧平均耗时为20ms。

在S230中，基于预设时延，根据上述目标渲染耗时和上述目标超分耗时，确定是否对上述待显示视频进行超分处理。

可以理解的是，上述预设时延根据实际要求的不同，可以设置不同的数值。

在一种示例性的实施例中，上述实际要求为需要满足帧率要求。具体的，上述预设时延为根据上述待显示视频的帧率确定的第一时延。假如，上述待显示视频的帧率为30fps，则帧与帧之间的渲染间隔为33ms。也就是说，上述第一时延的取值为33ms。

作为S230的一种具体实施方式，包括：判断上述目标渲染耗时和上述目标超分耗时之和是否小于或等于上述第一时延。其中，在上述目标渲染耗时和上述目标超分耗时之和小于或等于上述第一时延的情况下，确定对上述待显示视频进行超分处理；或，在上述目标渲染耗时和上述目标超分耗时之和大于上述第一时延的情况下，确定不对上述待显示视频进行超分处理。

在本示例性的实施例中，若执行渲染和超分处理的耗时之和小于或等于第一时延，即上述目标超分耗时加上上述目标渲染耗时小于或等于第一时延33ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较小，即对视频进行超分处理并不会导致视频卡顿，因此终端可以开启超分处理已对该视频进行超分处理；反之，若执行渲染和超分处理的耗时之和，即上述目标超分耗时加上上述目标渲染耗时大于第一时延33ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较大，即对视频进行超分处理将会导致视频卡顿，因此终端可以关闭超分处理而选择不该视频进行超分处理。

需要说明的是，在以帧率为实际要求而确定上述预设时延的实施例中，由于对视频进行解码的过程，可以与渲染和/或超分处理并行进行。因此，本实施例性的实施例中，可以只将超分耗时以及渲染耗时之和，与第一时延进行比对，根据比对结果来确定是否需要对视频进行超分处理。

在另一种示例性的实施例中，上述实际要求为需要满足场景需求确定。具体的，上述预设时延为根据上述终端的应用场景确定的第二时延。例如，对于云游戏场景下的低延时要求而言，一般需要解码渲染超分处理延时这种客户端延时在80ms以下。也就是说，上述第二时延的取值为80ms。

作为S230的另一种具体实施方式，包括：判断目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和是否小于或等于第二时延。其中，在目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和小于或等于上述第二时延的情况下，确定对上述待显示视频进行超分处理；或，在目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和大于上述第二时延的情况下，确定不对上述待显示视频进行超分处理；上述目标解码耗时为根据上述显示策略和上述目标视频属性确定的。

同上所述，参考表1，终端对应的显示策略还包括每种视频属性对应的解码耗时。

在本示例性的实施例中，若执行解码、渲染和超分处理的耗时之和小于或者等于第二时延，即上述目标解码耗时、目标超分耗时加上上述目标渲染耗时小于或者等于第二时延80ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较小，即对视频进行超分处理并不会导致视频卡顿，因此终端可以开启超分处理已对该视频进行超分处理；反之，若执行解码、渲染和超分处理的耗时之和，即上述目标解码耗时、上述目标超分耗时加上上述目标渲染耗时大于第二时延80ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较大，即对视频进行超分处理将会导致视频卡顿，因此终端可以关闭超分处理而选择不该视频进行超分处理。

需要说明的是，在以场景需求来确定上述预设时延的实施例中，为了确保能够满足时延要求，在对视频进行自适应超分处理控制的过程中，将以解码、渲染以及超分处理串行处理为假设进行判断，即将解码耗时、渲染耗时以及超分耗时之和与第二时延进行比对，进而根据比对结果确定是否对视频进行超分处理。

作为对视频进行超分处理的具体实施方式包括：基于插值的超分处理方法、基于重建的超分处理方法或基于机器学习或深度学习的超分处理方法。本申请实施例对此不做限定。

在图2示出的P200提供的技术方案中，确定终端自身对于不同视频属性的显示策略，显示策略中包含每种视频属性对应的渲染耗时和超分耗时。从而根据待显示视频的目标视频属性，可以从上述显示策略中确定出该待显示视频的目标渲染耗时和目标超分耗时。进一步地，可以判断若对该待显示视频进行渲染处理和超分处理，是否能够满足当前的时延要求，进而可以根据判断结果自适应地控制是否进行超分处理。其中，在不同的实际需求中所设置的上述预设时延不同，同时在不同的实际需求中可以选择性地将解码耗时也确定为自适应超分处理的控制参考因素，从而有利于提升对超分处理自适应控制的灵活度。具体地，本申请实施例在对视频进行超分处理的控制过程中至少考虑了终端渲染视频耗时，通过精确确定视频处理耗时，能够在一定程度上提升对超分处理的控制精准度。可见，本申请实施例至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

以下结合图3对显示策略的具体实施方式进行详细介绍

图3为本申请实施例提供的显示策略的确定方法P300的流程示意图。其中，方法P300的执行主体可以是服务器，如图1中示出的服务器104；也可以是终端，如图1示出的中终端102；或者是存储有相关算法的电子设备，如图7所示的电子设备700。参考图3，方法P300包括S310-S330。

在S310中，根据终端的设备属性确定该终端的目标待测参数，其中上述目标待测参数为关于分辨率和/或渲染的参数。

在示例性的实施例中，终端的设备属性为与解码、渲染、超分处理相关的属性，具体可以包括但不限于：操作系统的类型与版本、处理器的型号、显示屏的相关参数等。本申请实施例中，可以根据终端的设备属性对全量待测参数进行筛选，在对该终端设备的解码、渲染以及超分处理性能进行静态地探索，从而得到该终端对应的目标待测参数。通过对全量待测参数进行筛选，可以较少对该终端的测试模式的个数，有利于提升测试效率。其中，在所确定的各种测试模式下对该终端进行测试，最终可以得到该终端对应的显示策略。

在示例性的实施例中，全量待测参数可以包括：

编解码格式：H264、H265、VP9、AVS等；

原始视频分辨率：720P、1080P等；

超分处理后视频分辨率：1080P、2K、4K等；

视频帧率：30fps、60fps、120fps等；

渲染窗口类型：SurfaceView、TextureView等；

渲染方式：渲染丢帧、渲染不丢帧。

需要说明的是，本申请实施例对全量待测参数不做限定，只要是与解码、渲染、超分处理相关的参数均可以加入至上述全量待测参数。其中，对渲染方式中渲染丢帧方式进行以下说明：对于渲染丢帧而言，因为显示器是根据垂直同步信号进行画面刷新的，对于60Hz的显示设备，垂直同步信号每16ms一次。渲染丢帧策略是指在两个垂直同步信号内连续送入多个视频图像，只显示最后一次送入的视频图像。渲染丢帧的开启会使得画面流畅度降低。目前大多数显示器的渲染频率是60Hz，在渲染不丢帧的情况下，解码帧率最高只能支持到60fps，但若存在解码抖动或者网络抖动的情况，由于延时累积会使得解码渲染耗时逐渐增加。这时需要也开启渲染丢帧以降低整体低延时。而对于50fps的解码帧率，由于没有达到设备的渲染的上限频率，在这种情况下是不需要开启渲染丢帧策略的。渲染丢帧策略依赖操作系统的渲染系统进行丢帧，目前主要解决解码抖动或者网络抖动的情况。

在示例性的实施例中，通过读取终端中芯片支持的profile和level可以获得芯片支持的编解码类型(如H264、H265、VP9、AVS等)和该芯片支持的最大分辨率、最大帧率等；根据终端显示相关的参数(如，Display参数)可以获得当前设备屏幕的最大尺寸，进而可以确定该终端显示的最大分辨率。从而可以根据终端的设备性能，对全量待测参数中与解码及超分处理性能相关的参数进行了筛选。例如，确定终端可以支持的编解码类型为H264、H265，则对该终端的测试过程中无需考虑其他的编解码类型；确定终端的最大分辨率为1080P，即通过该终端进行超分处理后的分辨率最大为1080P，则对该终端的测试过程中无需对超分处理后为2K、4K的情形。

在示例性的实施例中，还可以根据操作系统的类型与版本来静态探测终端的渲染性能。操作系统已安卓系统为例，安卓系统14版本及以上可以开启使用SurfaceView或textureVeiw渲染窗口，安卓系统低于14版本可以开启使用SurfaceView渲染窗口；安卓API21版本以上的渲染方式可以是渲染不丢帧或渲染丢帧，低于安卓API 21版本的渲染方式可以是渲染不丢帧，同时，渲染丢帧策略只在渲染窗口为SurfaceView下有效。从而可以根据操作系统的类型与版本，对全量待测参数中与渲染性能相关的参数进行了筛选。例如，确定终端的操作系统为安卓系统13版本，则可以确定其可以开启使用SurfaceView渲染窗口，即对该终端的测试过程中无需考虑渲染窗口为textureVeiw的情形；由于该终端支持渲染窗口SurfaceView，则其渲染方式可以支持渲染丢帧渲染不丢帧两种情况。

可见，通过静态探测终端的解码渲染以及超分处理性能，可以初步从全量测试参数中筛除无需测试的参数，从而有效降低后续探测测试的复杂度。

在S320中，根据上述目标待测参数确定待测视频。

仍以上述实施例为例，根据终端的设备属性筛选全量待测参数所确定的目标待测参数包括：编解码格式：H264、H265；

原始视频分辨率：720P、1080P；

超分处理后视频分辨率：1080P；

视频帧率：30fps、60fps；

渲染窗口类型：SurfaceView；

渲染方式：渲染丢帧、渲染不丢帧；

进而，可以确定满足上述目标待测参数确定8种待测视频，具体如表2所示：

表2

序号	编解码类型	帧率	原始分辨率
				1	H264	60fps	720P
2	H264	60fps	1080P
				3	H264	30fps	720P
4	H264	30fps	1080P
				5	H265	60fps	720P
6	H265	60fps	1080P
				7	H265	30fps	720P
8	H265	30fps	1080P

在S330中，根据上述待测视频的视频属性和上述目标待测参数确定多种测试模式，其中上述待测视频的视频属性包括以下信息的至少一种：上述待测视频的编解码类型、上述待测视频的帧率以及上述待测视频的原始分辨率。

本示例性的实施例中，将上述待测视频的视频属性和上述目标待测参数进行组合，得到多种测试模式。如表3所示：

表3

参考表3，其中前三列为待测视频相关属性或参数，表中的后三列为各个测试模式下终端的设置参数。终端随着解码输入帧率提高会使得终端的运行频率提高，解码渲染速度加快，因此不同解码输入帧率会有不同的解码耗时和渲染耗时。本申请实施例中将解码输入帧率作为性能探测测试的一个参数进行探测，具体的，表3中示出的帧率可以理解为解码输入帧率。其中，解码输入帧率即为视频码流被输入解码算法模块时的帧率。

其中，表3示出了探测上述终端性能的所有测试模式，基于表3示出的测试模式，能够全面探测该终端的解码、渲染以及超分处理的相关性能。在示例性的实施例中，为了避免性能探测过程过于冗长，本申请实施例还提供对如表3所示的全面的测试模式进行剪枝的方案。具体地，可以获取关于终端待测参数和/或关于待测视频属性的优先级，进一步地根据优先级信息对全面的测试模式进行筛选。示例性的实施例中，所获取的优先级信息如下所示：

1.关于渲染窗口，优先选择SurfaceView；

2.关于渲染过程中的丢帧模式，优先选取丢帧；

3.关于编解码格式，优先选取H265；

4.关于解码输入帧率，优先选取最高支持的帧率；

5.关于待测视频的原始分辨率，优先选取最高支持的原始分辨率；

进一步地，针对同一待测视频，根据上述优先级信息可以对关于该待测视频的测试模式进行排序。然后，还可以将排序靠前的优先测试，排序靠后的可以根据实际需求筛除，从而提升对该终端性能的探测效率。

在示例性的实施例中，基于上述优先级信息对如表3所示的测试模式进行筛选后，可以得到如表4所示的测试模式。同上所述，基于表4所示的测试模式对终端性能进行探测，有利于提升探测效率。

表4

参考表4，针对待测视频A-H中每种待测视频，根据优先级信息可以对关于同一种待测视频的测试模式进行排序。例如，关于待测视频A，包含A1-A3三种测试模式，且优先在测试模式A1下进行终端性能探测。在示例性的实施例中，为了提升探测效率，针对待测视频A还可以将测试模式A3筛除。同理，可以将表4中灰色字体的测试模式筛除。可以理解的是，在其他实施例中，根据优先级信息的不同，还可以将其他测试模式筛除，本申请实施例对此不做限定。

在S340中，在每种上述测试模式下，确定上述待测视频的解码耗时、渲染耗时和超分耗时，得到上述显示策略。

在经过上述实施例提供的对终端性能的静态探测后，在下述实施例中按照每种测试模式，将相应的待测视频输入相应参数的终端中，以实现对终端性能的动态测试。

在S340-1中，获取符合目标测试模式中视频属性的目标待测视频。

具体地，可以根据表3中前三列所提供的视频属性或参数，确定每个测试模式下所对应的待测视频。示例性的，上述目标测试模式可以以表3中第一行示出的种测试模式为例，其中该模式下待测视频A的视频属性为：编解码码类型为H264、帧率为60fps，以及原始分辨率为720P。

在S340-2中，在终端满足上述目标测试模式中待测参数的情况下，通过该终端处理上述目标待测视频，并获取该终端处理所述目标待测视频的解码耗时、渲染耗时和超分耗时。

示例性的，在表3第一行示出的测试模式下，待测视频A的视频属性为：编解码码类型为H264、帧率为60fps，以及原始分辨率为720P；在该测试模式下，终端的待测参数具体为：超分处理后显示分辨率为1080P，渲染窗口采用SurfaceView且渲染方式采用渲染丢帧方式。进一步地，基于上述待测视频A输入上述待测参数下的终端，并统计终端处理该待测视频A的解码耗时、渲染耗时和超分耗时。

作为S340-2的一种示例性的实施例中，确定第一测试模式下，解码耗时、渲染耗时以及超分耗时的实施例包括：S11-S13。

在S11中，在终端满足第一测试模式中待测参数的情况下，通过上述终端处理目标待测视频，其中第一测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率相同。

上述第一测试模式下待测视频的原始分辨率与超分处理后分辨率相同，说明第一测试模式为终端对待测视频不执行超分处理的模式，例如表4中测试模式A1、测试模式A2、测试模式C1以及测试模式C2等。在上述第一测试模式下进行性能探测过程中，终端对待测视频进行解码以及渲染处理，并不进行超分处理。

在S12中，确定上述终端处理上述目标待测视频中视频帧的第一平均时长。以及，在S13中，将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值，且确定为上述目标待测视频在上述第一测试模式下的超分耗时为零。

由于在上述第一测试模式下进行性能探测过程中，终端对待测视频进行解码以及渲染处理，并不进行超分处理，因此，终端处理该视频的耗时可以认为是解码耗时以及渲染耗时。本申请实施例中根据总耗时以及待测视频帧数计算每个视频帧的平均值，得到上述第一平均时长。并将其确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值；又由于在第一测试模式下没有进行超分处理，因此可以认为上述目标待测视频在上述第一测试模式下的超分耗时为零。

例如，以表4中测试模式A1为例进行说明：该测试模式下终端的待测参数包括超分处理后分辨率为1080P以及渲染窗口采用SurfaceView，以及渲染方式为丢帧渲染方式，待测视频A的视频属性包括编解码类型为H265、帧率60fps以及原始分辨率为1080P。将待测视频A输入是上述配置下的终端，监测终端处理待测视频A的总耗时，以及根据待测视频A的帧数，确定平均每帧的耗时。从而得到测试模式A1的情况下，解码耗时与渲染耗时之和为xms，超分耗时为0。

作为S340-2另一种示例性的实施例中，确定第二测试模式下，解码耗时、渲染耗时以及超分耗时的实施例包括：S21-S23。

在S21中，在上述终端满足第二测试模式中待测参数的情况下，通过上述终端处理上述目标待测视频，其中上述二测试模式与上述第一测试模式的差别包括：上述第二测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率不同。

上述第二测试模式下待测视频的原始分辨率与超分处理后分辨率不同，说明第二测试模式为终端对待测视频会执行超分处理的模式。在上述第二测试模式下进行性能探测过程中，终端对待测视频进行解码、超分处理以及渲染处理。本申请实施例中，可以结合第一测试模式来确定第二测试模式下的超分耗时，具体的，所结合的第一测试模式与该第二测试模式之间除了超分处理后分辨率不同，其他配置参数均相同。例如第一测试模式为表4中测试模式A1，对应的第二测试模式，可以是：终端的待测参数包括超分处理后分辨率为2K以及渲染窗口采用SurfaceView，以及渲染方式为丢帧渲染方式，待测视频A的视频属性包括编解码类型为H265、帧率60fps以及原始分辨率为1080P。

在S22中，确定上述终端处理上述目标待测视频中视频帧的第二平均时长。

由于在上述第二测试模式下进行性能探测过程中，终端对待测视频进行解码、超分处理以及渲染处理，因此，终端处理该视频的耗时可以认为是解码耗时、超分耗时以及渲染耗时。本申请实施例中根据总耗时以及待测视频帧数计算每个视频帧的平均值，得到上述第二平均时长。并将其确定为上述目标待测视频在上述第二测试模式下的解码耗时、超分耗时和渲染耗时的和值。

在S23中，将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值；以及，将上述第二平均时长和上述第一平均时长的差值，确定为上述目标待测视频在上述第二测试模式下的超分耗时。

由于结合计算的第一测试模式与第二测试模式之间的差别仅在于是否进行超分处理，因此可以将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值；以及，将上述第二平均时长和上述第一平均时长的差值，确定为上述目标待测视频在上述第二测试模式下的超分耗时。

作为S340-2的再一种示例性的实施例中，可以通过直接获取的方式，分别获得解码总耗时、渲染总耗时和超分处理总耗时。然后再根据待测视频的帧数，确定处理每帧视频所需的耗时，进而直接得到该测试模式下的解码耗时、超分耗时以及渲染耗时。

可以理解的是，确定每个测试模式下解码耗时、超分耗时以及渲染耗时不限于上述方式，还可以是其他可以实现的方式，本申请实施例对此不做限定。

在示例性的实施例中，对于同一种待测视频，可以确定第一平均时长(即解码渲染耗时)最低的终端参数配置。参考表4，如对于待测视频B，与其相关的测试模式包括B1-B3。假如可以确定三种测试模式下，处理待测视频B的解码渲染耗时最低的是测试模式B1，则可以确定终端的最佳参数配置为：超分处理后分辨率为1080P、渲染窗口采用SurfaceView，以及渲染方式为丢帧渲染方式。在实际应用中，若需处理相同视频属性的视频，则可以将终端的配置参数设置为解码渲染耗时最低的最佳参数配置。从而为超分耗时提供更大的空间。

在示例性的实施例中，通过对不同原始分辨率的视频进行超分处理，得到高分辨率视频，统计超分处理算法在不同原始分辨率的超分处理算法运行时间作为超分处理性能统计指标，超分处理算法运行时间越短说明超分处理算法性能越好。最终得到终端设备对于不同原始分辨率视频进行超分处理的时间。

通过图3所示出方法P300提供一种针对不同配置的终端，为其确定显示策略的实施例。通过为各种配置的终端确定其所对应的显示策略，可以便于控制终端高效地决策是否对视频进行超分处理。可见，本申请实施例提供了一种基于终端设备的解码计算渲染资源的视频分辨率自适应超分处理方案。对设备的解码性能、超分处理性能和渲染性能进行静态评估和动态评估，最终根据评估结果对视频分辨率进行动态调整。同时，自适应地启闭超分处理算法，有利于提升视频显示的自动化程度。

上文对本申请实施例提供的视频显示方法进行整体介绍。下面分别通过具体视频显示实施例，对本申请实施例提供的视频显示方法作进一步详细介绍。

图4为本申请实施例提供的帧率要求的情况下视频显示方法P400的流程示意图。方法P400的执行主体可以是如图1中终端102；或者是存储有相关算法的电子设备，如图7所示的电子设备700。参考图4，方法P400包括：S400-S450。

在S400中，根据帧率要求，确定预设时延为第一时延。

假如，上述待显示视频的帧率为60fps，则帧与帧之间的渲染间隔为16ms。也就是说，上述第一时延的取值为16ms。

其中，S400与S410之间的执行顺序不做限定，可以先执行S400再执行S410，也可以先执行S410再执行S400，还可以S400和S410同时执行。

在S410中，获取终端对应的显示策略，其中，上述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时。

其中，S410的具体实施方式与S210的具体实施方式中进行了介绍，在此不再赘述。

在S420中，根据待显示视频的目标视频属性以及上述显示策略，确定上述待显示视频的目标渲染耗时和目标超分耗时。

其中，S420的具体实施方式与S220的具体实施方式中进行了介绍，在此不再赘述。

在S430中，判断上述目标渲染耗时和目标超分耗时之和，是否小于或等于第一时延。

在通过S430确定上述目标渲染耗时和目标超分耗时之和，小于或等于第一时延的情况下，执行S440：对所述待显示视频进行超分处理并显示超分处理后的视频。在通过S430确定上述目标渲染耗时和目标超分耗时之和，大于第一时延的情况下，执行S450：显示上述待显示视频。

上述目标超分耗时加上上述目标渲染耗时小于或等于第一时延16ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较小，即对视频进行超分处理并不会导致视频卡顿，因此终端可以开启超分处理已对该视频进行超分处理；反之，若执行渲染和超分处理的耗时之和，即上述目标超分耗时加上上述目标渲染耗时大于第一时延16ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较大，即对视频进行超分处理将会导致视频卡顿，因此终端可以关闭超分处理而选择不该视频进行超分处理。

在P400示出的以帧率为要求的情况下，由于对视频进行解码的过程，可以与渲染和/或超分处理并行进行。因此，本实施例性的实施例中，可以只将超分耗时以及渲染耗时之和，与第一时延进行比对，根据比对结果来确定是否需要对视频进行超分处理。

图5为本申请实施例提供的预设场景要求的情况下视频显示方法P500的流程示意图。方法P500的执行主体可以是如图1中终端102，或者是存储有相关算法的电子设备。参考图5，方法P500包括：S500-S550。

在S500中，根据预设场景要求，确定预设时延为第二时延。

上述预设场景可以是云游戏场景、实时视频会议场景、实时视频通话场景等。以云游戏场景为例，对于云游戏场景下的低延时要求而言，一般需要解码渲染超分处理延时这种客户端延时在80ms以下。也就是说，上述第二时延的取值为80ms。

其中，S500与S510之间的执行顺序不做限定，可以先执行S500再执行S510，也可以先执行S510再执行S500，还可以S500和S510同时执行。

在S510中，获取终端对应的显示策略，其中，上述显示策略包括每种视频属性对应的渲染耗时、超分耗时以及解码耗时。

其中，S510的具体实施方式与S210的具体实施方式中进行了介绍，在此不再赘述。

在S520中，根据待显示视频的目标视频属性以及上述显示策略，确定上述待显示视频的目标渲染耗时、目标超分耗时以及目标解码耗时。

其中，S520的具体实施方式与S220的具体实施方式中进行了介绍，在此不再赘述。

在S530中，判断上述目标解码耗时、目标渲染耗时和目标超分耗时之和，是否小于或等于第二时延。

在通过S530确定上述目标解码耗时、目标渲染耗时和目标超分耗时之和，小于或等于第二时延的情况下，执行S540：对所述待显示视频进行超分处理并显示超分处理后的视频。在通过S530确定上述目标解码耗时、目标渲染耗时和目标超分耗时之和，大于第一时延的情况下，执行S550：显示上述待显示视频。

若执行解码、渲染和超分处理的耗时之和小于或者等于第二时延，即上述目标解码耗时、目标超分耗时加上上述目标渲染耗时小于或者等于第二时延80ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较小，即对视频进行超分处理并不会导致视频卡顿，因此终端可以开启超分处理已对该视频进行超分处理；反之，若执行解码、渲染和超分处理的耗时之和，即上述目标解码耗时、上述目标超分耗时加上上述目标渲染耗时大于第二时延80ms，说明该终端对该视频进行解码、渲染以及超分处理的耗时较大，即对视频进行超分处理将会导致视频卡顿，因此终端可以关闭超分处理而选择不该视频进行超分处理。

在如P500所提供的以场景需求来确定上述预设时延的实施例中，为了确保能够满足时延要求，在对视频进行自适应超分处理控制的过程中，将以解码、渲染以及超分处理串行处理为假设进行判断，即将解码耗时、渲染耗时以及超分耗时之和与第二时延进行比对，进而根据比对结果确定是否对视频进行超分处理。

上文结合图1至图5，详细描述了本申请的视频显示方法实施例，下文结合图6，详细描述本申请的装置实施例。

图6是本申请一实施例提供的视频显示装置的示意性框图。如图6所示，视频显示装置600包括：显示策略获取模块610、目标耗时确定模块620以及超分处理决策模块630；

其中，上述显示策略获取模块610，用于获取上述终端针对不同视频属性的显示策略，其中，上述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时；上述目标耗时确定模块620，用于根据待显示视频的目标视频属性查找上述显示策略，确定上述待显示视频的目标渲染耗时和目标超分耗时；以及，上述超分处理决策模块630，用于基于预设时延，根据上述目标渲染耗时和上述目标超分耗时，确定是否对上述待显示视频进行超分处理。

在一些实施例中，基于上述方案，上述预设时延为根据上述待显示视频的帧率确定的第一时延；

上述显示策略获取模块630，具体用于：根据上述目标渲染耗时和上述目标超分耗时之和，与上述第一时延之间的大小关系，确定是否对上述待显示视频进行超分处理；其中，在上述目标渲染耗时和上述目标超分耗时之和小于或等于上述第一时延的情况下，确定对上述待显示视频进行超分处理；或，在上述目标渲染耗时和上述目标超分耗时之和大于上述第一时延的情况下，确定不对上述待显示视频进行超分处理。

在一些实施例中，基于上述方案，上述预设时延为根据上述终端的应用场景确定的第二时延，上述显示策略还包括每种视频属性对应的解码耗时；

上述显示策略获取模块630，还具体用于：根据目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和，与上述第二时延之间的大小关系，确定是否对上述待显示视频进行超分处理；其中，在上述目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和小于或等于上述第二时延的情况下，确定对上述待显示视频进行超分处理；或，在上述目标解码耗时、上述目标渲染耗时以及上述目标超分耗时之和大于上述第二时延的情况下，确定不对上述待显示视频进行超分处理；上述目标解码耗时为根据上述显示策略和上述目标视频属性确定的。

在一些实施例中，基于上述方案，上述显示策略获取模块610，包括：待测参数确定单元、待测视频确定单元、测试模式确定模块以及测试模块；

其中，上述待测参数确定单元，用于：根据上述终端的设备属性确定上述终端的目标待测参数，其中上述目标待测参数为关于分辨率和/或渲染的参数；上述待测视频确定单元，用于：根据上述目标待测参数确定待测视频；上述测试模式确定模块，用于：根据上述待测视频的视频属性和上述目标待测参数确定多种测试模式，其中上述待测视频的视频属性包括以下信息的至少一种：上述待测视频的编解码类型、上述待测视频的帧率以及上述待测视频的原始分辨率；以及，上述测试单元，用于：在每种上述测试模式下，确定上述待测视频的解码耗时、渲染耗时和超分耗时，得到上述显示策略。

在一些实施例中，基于上述方案，上述测试单元，具体用于：获取符合目标测试模式中视频属性的目标待测视频；以及，在上述终端满足上述目标测试模式中待测参数的情况下，通过上述终端处理上述目标待测视频，并获取上述终端处理上述目标待测视频的解码耗时、渲染耗时和超分耗时。

在一些实施例中，基于上述方案，上述测试单元，还具体用于：在上述终端满足第一测试模式中待测参数的情况下，通过上述终端处理目标待测视频，其中第一测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率相同；确定上述终端处理上述目标待测视频中视频帧的第一平均时长；以及，将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值，且确定为上述目标待测视频在上述第一测试模式下的超分耗时为零。

在一些实施例中，基于上述方案，上述测试单元，还具体用于：在上述终端满足第二测试模式中待测参数的情况下，通过上述终端处理上述目标待测视频，其中上述二测试模式与上述第一测试模式的差别包括：上述第二测试模式中上述目标待测视频的原始分辨率与超分处理后分辨率不同；确定上述终端处理上述目标待测视频中视频帧的第二平均时长；将上述第一平均时长，确定为上述目标待测视频在上述第一测试模式下的解码耗时和渲染耗时的和值；以及，将上述第二平均时长和上述第一平均时长的差值，确定为上述目标待测视频在上述第二测试模式下的超分耗时。

本申请实施例提供的视频显示装置中，确定终端自身对于不同视频属性的显示策略，具体的，显示策略中包含每种视频属性对应的渲染耗时和超分耗时。从而根据待显示视频的目标视频属性，可以从上述显示策略中确定出该待显示视频的目标渲染耗时和目标超分耗时。进一步地，可以判断若对该待显示视频进行渲染处理和超分处理，是否能够满足当前的时延要求，进而可以根据判断结果自适应地控制是否进行超分处理。本申请实施例在对视频进行超分处理的控制过程中至少考虑了终端渲染视频耗时，通过精确确定视频处理耗时，能够在一定程度上提升对超分处理的控制精准度。可见，本申请实施例至少根据终端渲染视频耗时来动态地判断是否对视频进行超分处理，通过自适应地控制超分处理能够在保证时延要求的情况下，提升视频的分辨率。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图6所示的装置可以执行上述视频显示方法的实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现视频显示方法实施例，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图7是本申请实施例提供的电子设备的示意性框图，图7的电子设备可以用于执行上述视频显示方法。如图7所示，该电子设备700可包括：

存储器710和处理器720，该存储器710用于存储计算机程序730，并将该计算机程序730传输给该处理器720。换言之，该处理器720可以从存储器710中调用并运行计算机程序730，以实现本申请实施例中的方法。

例如，该处理器720可用于根据该计算机程序730中的指令执行上述方法中的步骤。

在本申请的一些实施例中，该处理器720可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器710包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序730可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器710中，并由该处理器720执行，以完成本申请提供的录制页面的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序730在该电子设备中的执行过程。

如图7所示，该电子设备700还可包括：

收发器740，该收发器740可连接至该处理器720或存储器710。

其中，处理器720可以控制该收发器740与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器740可以包括发射机和接收机。收发器740还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备700中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

根据本申请的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例的方法。

换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (10)

1.一种视频显示方法，其特征在于，所述方法包括：

获取终端对应的显示策略，其中，所述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时；

根据待显示视频的目标视频属性以及所述显示策略，确定所述待显示视频的目标渲染耗时和目标超分耗时；以及

基于预设时延，根据所述目标渲染耗时和所述目标超分耗时，确定是否对所述待显示视频进行超分处理。

2.根据权利要求1所述的方法，其特征在于，所述预设时延为根据所述待显示视频的帧率确定的第一时延；

所述基于预设时延，根据所述目标渲染耗时和所述目标超分耗时，确定是否对所述待显示视频进行超分处理，包括：

根据所述目标渲染耗时和所述目标超分耗时之和，与所述第一时延之间的大小关系，确定是否对所述待显示视频进行超分处理；

其中，在所述目标渲染耗时和所述目标超分耗时之和小于或等于所述第一时延的情况下，对所述待显示视频进行超分处理；或，在所述目标渲染耗时和所述目标超分耗时之和大于所述第一时延的情况下，不对所述待显示视频进行超分处理。

3.根据权利要求1所述的方法，其特征在于，所述预设时延为根据所述终端的应用场景确定的第二时延，所述显示策略还包括每种视频属性对应的解码耗时；

所述基于预设时延，根据所述目标渲染耗时和所述目标超分耗时，确定是否对所述待显示视频进行超分处理，包括：

根据目标解码耗时、所述目标渲染耗时以及所述目标超分耗时之和，与所述第二时延之间的大小关系，确定是否对所述待显示视频进行超分处理；

其中，在所述目标解码耗时、所述目标渲染耗时以及所述目标超分耗时之和小于或等于所述第二时延的情况下，对所述待显示视频进行超分处理；或，在所述目标解码耗时、所述目标渲染耗时以及所述目标超分耗时之和大于所述第二时延的情况下，不对所述待显示视频进行超分处理；所述目标解码耗时为根据所述显示策略和所述目标视频属性确定的。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述获取终端对应的显示策略，包括：

根据所述终端的设备属性确定所述终端的目标待测参数，其中所述目标待测参数为关于分辨率和/或渲染的参数；

根据所述目标待测参数确定待测视频；

根据所述待测视频的视频属性和所述目标待测参数确定多种测试模式，其中所述待测视频的视频属性包括以下信息的至少一种：所述待测视频的编解码类型、所述待测视频的帧率以及所述待测视频的原始分辨率；以及

在每种所述测试模式下，确定所述待测视频的解码耗时、渲染耗时和超分耗时，得到所述显示策略。

5.根据权利要求4所述的方法，其特征在于，所述在每种所述测试模式下，确定所述待测视频的解码耗时、渲染耗时和超分耗时，包括：

获取符合目标测试模式中视频属性的目标待测视频；以及

在所述终端满足所述目标测试模式中待测参数的情况下，通过所述终端处理所述目标待测视频，并获取所述终端处理所述目标待测视频的解码耗时、渲染耗时和超分耗时。

6.根据权利要求4所述的方法，其特征在于，所述确定所述待测视频的解码耗时、渲染耗时和超分耗时，包括：

在所述终端满足第一测试模式中待测参数的情况下，通过所述终端处理目标待测视频，其中第一测试模式中所述目标待测视频的原始分辨率与超分处理后分辨率相同；

确定所述终端处理所述目标待测视频中视频帧的第一平均时长；以及

将所述第一平均时长，确定为所述目标待测视频在所述第一测试模式下的解码耗时和渲染耗时的和值，且确定为所述目标待测视频在所述第一测试模式下的超分耗时为零。

7.根据权利要求6所述的方法，其特征在于，所述确定所述待测视频的解码耗时、渲染耗时和超分耗时，包括：

在所述终端满足第二测试模式中待测参数的情况下，通过所述终端处理所述目标待测视频，其中所述二测试模式与所述第一测试模式的差别包括：所述第二测试模式中所述目标待测视频的原始分辨率与超分处理后分辨率不同；

确定所述终端处理所述目标待测视频中视频帧的第二平均时长；

将所述第一平均时长，确定为所述目标待测视频在所述第一测试模式下的解码耗时和渲染耗时的和值；以及

将所述第二平均时长和所述第一平均时长的差值，确定为所述目标待测视频在所述第二测试模式下的超分耗时。

8.一种视频显示装置，其特征在于，所述装置包括：

显示策略获取模块，用于获取终端对应的显示策略，其中，所述显示策略包括所述终端显示不同视频属性的视频分别所需的渲染耗时和超分耗时；

目标耗时确定模块，用于根据待显示视频的目标视频属性查找所述显示策略，确定所述待显示视频的目标渲染耗时和目标超分耗时；以及

超分处理决策模块，用于基于预设时延，根据所述目标渲染耗时和所述目标超分耗时，确定是否对所述待显示视频进行超分处理。

9.一种电子设备，包括处理器和存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序以实现如上述权利要求1至7中任意一项所述的视频显示方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；

所述计算机程序使得计算机执行如上述权利要求1至7中任意一项所述的视频显示方法。