CN117649815A - 显示设备、显示控制方法和存储介质 - Google Patents

Abstract

本公开涉及一种显示设备、显示控制方法和存储介质，涉及多媒体播放技术领域。该显示设备包括：控制器，被配置为：响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧时间戳转换为各视频帧分别对应的第一系统时间戳；在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对第M个视频帧与第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到第M个视频帧和第M个视频帧之后的视频帧分别对应的第二系统时间戳；基于第二系统时间戳渲染并显示第M个视频帧和第M个视频帧之后的视频帧。

Description

显示设备、显示控制方法和存储介质

技术领域

本公开涉及多媒体播放技术领域，尤其涉及一种显示设备、显示控制方法和存储介质。

背景技术

目前，垂直同步是解决终端设备上显示画面撕裂的一种方式，即，在显示器绘制完成一帧视频后，向处理器发送垂直同步信号(V-sync信号)，处理器开始处理下一个视频帧以发送给显示器显示。

但在视频帧中存在B帧的情况下，B帧需要依赖视频流中排在它前面或后面的I帧或P帧进行解码，使得解码时间可能发生延迟，打乱视频帧的解码时间和显示顺序，使得视频帧的渲染时间错过该视频帧的显示时间，发生丢帧现象，因此如何避免显示设备显示视频流时出现丢帧现象是亟待解决的问题。

发明内容

为了解决或至少部分地解决上述技术问题，本公开提供了一种显示设备、显示控制方法和存储介质，在确定至少一个视频帧的解码时间发生延迟的情况下，若第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则对第M个视频帧和第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，使得到的第二系统时间晚于第一系统时间戳，再基于第二系统时间戳渲染第M个视频帧和第M个视频帧之后的视频帧时，相当于延迟了第M个视频帧和第M个视频帧之后的视频帧的渲染显示时间，避免了因第M个视频帧的解码时间发生延迟而导致丢失数据帧。

第一方面，本公开提供了一种显示设备，该显示设备包括：

控制器，被配置为：

响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成；

在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，所述第M个视频帧对应的第二系统时间戳晚于所述第M个视频帧对应的第一系统时间戳；

基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。

在本公开一些实施例中，所述控制器，还被配置为：

在基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧之前，还包括：

在所述第M个视频帧之后的视频帧中，若确定第N个视频帧对应的垂直刷新周期与所述第N个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳；

基于所述第三系统时间戳渲染所述第N个视频帧和所述第N个视频帧之后的视频帧，并控制显示器显示所述第N个视频帧和所述第N个视频帧之后的视频帧。

在本公开一些实施例中，所述控制器，具体被配置为：

所述响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧对应的第一系统时间戳，包括：

针对所述视频流中的第一个视频帧，将所述第一个视频帧解码完成时的时间戳作为所述第一个视频帧的第一系统时间戳；

针对所述视频流中的第一个视频帧之后的各视频帧，获取所述视频帧的视频帧时间戳与所述第一个视频帧的视频帧时间戳之间的差值，将所述差值与所述第一个视频帧的第一系统时间戳相加，得到所述视频帧对应的第一系统时间戳。

在本公开一些实施例中，所述控制器，具体被配置为：

所述基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，包括：

针对所述第M个视频帧和所述第M个视频帧之后的视频帧中的各视频帧，获取所述视频帧的第一系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第二系统时间戳。

在本公开一些实施例中，所述控制器，具体被配置为：

所述确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳，包括：

针对所述第N个视频帧，将所述第N个视频帧的解码完成时间作为所述第N个视频帧的第三系统时间戳；

针对所述第N个视频帧之后的视频帧，获取所述第N个视频帧的第三系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第三系统时间戳。

在本公开一些实施例中，所述控制器，还被配置为：

在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

在所述视频流的播放状态为暂停播放状态时，响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间；

基于所述第四系统时间戳对所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧之后的各视频帧。

在本公开一些实施例中，所述控制器，具体被配置为：

所述响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间，包括：

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第四系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第四系统时间戳。

在本公开一些实施例中，所述控制器，还被配置为：

在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

响应于用户针对所述视频流的快进播放操作，确定所述快进播放操作结束后显示设备上显示的当前视频帧对应的第五系统时间；

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第五系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第五系统时间戳；

基于所述第五系统时间戳对所述当前视频帧和所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧和所述当前视频帧之后的各视频帧。

第二方面，本公开实施例提供一种显示控制方法，包括：

响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成；

在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳；

基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。

在本公开一些实施例中，在基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧之前，还包括：

在所述第M个视频帧之后的视频帧中，若确定第N个视频帧对应的垂直刷新周期与所述第N个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳；

基于所述第三系统时间戳渲染所述第N个视频帧和所述第N个视频帧之后的视频帧，并控制显示器显示所述第N个视频帧和所述第N个视频帧之后的视频帧。

在本公开一些实施例中，所述响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧对应的第一系统时间戳，包括：

针对所述视频流中的第一个视频帧，将所述第一个视频帧解码完成时的时间戳作为所述第一个视频帧的第一系统时间戳；

针对所述视频流中的第一个视频帧之后的各视频帧，获取所述视频帧的视频帧时间戳与所述第一个视频帧的视频帧时间戳之间的差值，将所述差值与所述第一个视频帧的第一系统时间戳相加，得到所述视频帧对应的第一系统时间戳。

在本公开一些实施例中，所述基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，包括：

针对所述第M个视频帧和所述第M个视频帧之后的视频帧中的各视频帧，获取所述视频帧的第一系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第二系统时间戳。

在本公开一些实施例中，所述确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳，包括：

针对所述第N个视频帧，将所述第N个视频帧的解码完成时间作为所述第N个视频帧的第三系统时间戳；

针对所述第N个视频帧之后的视频帧，获取所述第N个视频帧的第三系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第三系统时间戳。

在本公开一些实施例中，在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

在所述第M个视频帧之后的视频帧中，若确定第N个视频帧对应的垂直刷新周期与所述第N个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳。

在本公开一些实施例中，所述响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间，包括：

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第四系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第四系统时间戳。

在本公开一些实施例中，在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

响应于用户针对所述视频流的快进播放操作，确定所述快进播放操作结束后显示设备上显示的当前视频帧对应的第五系统时间；

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第五系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第五系统时间戳；

基于所述第五系统时间戳对所述当前视频帧和所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧和所述当前视频帧之后的各视频帧。

第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述的显示控制方法。

本公开实施例提供的显示设备与现有技术相比具有如下优点：

控制器响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成；在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，所述第M个视频帧对应的第二系统时间戳晚于所述第M个视频帧对应的第一系统时间戳；基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。由于第M个视频帧对应的第二系统时间晚于第M个视频帧对应的第一系统时间戳，第M个视频帧之后的视频帧对应的第二系统时间晚于该视频帧对应的第一系统时间戳，因此基于第二系统时间戳渲染第M个视频帧和第M个视频帧之后的视频帧时，相当于延迟了第M个视频帧和第M个视频帧之后的视频帧的渲染显示时间，避免了因第M个视频帧的解码时间发生延迟而导致显示设备显示数据流时丢失数据帧。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本公开一个或多个实施例提供的应用场景图；

图1B为本公开一个或多个实施例提供的视频帧的渲染示意图；

图2A为根据本公开一个或多个实施例中显示设备200的硬件配置框图；

图2B为根据本公开一个或多个实施例中显示设备200中软件配置示意图；

图3为本公开一个或多个实施例提供的显示控制方法的流程示意图；

图4为本公开一个或多个实施例提供的视频帧的渲染示意图；

图5为本公开一个或多个实施例提供的显示控制方法的流程示意图；

图6为本公开一个或多个实施例提供的视频帧的渲染示意图；

图7为本公开一个或多个实施例提供的显示控制方法的流程示意图；

图8为本公开一个或多个实施例提供的视频帧的渲染示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开中说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

首先，对本公开的应用场景进行举例说明：

图1A为本公开一个实施例提供的应用场景图，用户基于控制设备100控制显示设备200，显示设备200用于显示视频流。目前，垂直同步是解决终端设备上显示画面撕裂的一种方式，即，在显示器绘制完成一帧视频后，向处理器发送垂直同步信号(V-sync信号)，处理器开始处理下一个视频帧以发送给显示器显示。

但在视频帧中存在B帧的情况下，B帧需要依赖视频流中排在它前面或后面的I帧或P帧进行解码，使得解码时间可能发生延迟，将导致有的垂直刷新周期(V-sync周期)接收到多个视频帧，有可能只会显示最后一帧，造成其它数据帧的丢失，有的V-sync周期内未收到任何视频帧，造成卡顿。示例性的，视频流包括视频帧F1、视频帧F2、视频帧F3、视频帧F4，视频帧的显示顺序为视频帧F1、视频帧F2、视频帧F3、视频帧F4，参照图1B所示，图1B为本公开一个实施例提供的视频帧的渲染示意图，在第一个V-sync周期内，收到视频帧F1和视频帧F2两个视频帧，第三个V-sync周期和第四个V-sync周期内没有收到视频帧，可能造成视频帧F1丢失，视频帧F3显示之后显示设备上出现卡顿。在本公开实施例中，V_n表示第n个V-sync周期。

基于此，本公开实施例提供一种显示设备，在确定至少一个视频帧的解码时间发生延迟的情况下，若第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则对第M个视频帧和第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，使得到的第二系统时间晚于第一系统时间戳，再基于第二系统时间戳渲染第M个视频帧和第M个视频帧之后的视频帧时，相当于延迟了第M个视频帧和第M个视频帧之后的视频帧的渲染显示时间，避免了因第M个视频帧的解码时间发生延迟而导致丢失数据帧的现象。

在一些实施例中，显示设备可以为智能电视200，显示设备200可以通过控制设备聊控制，控制设备可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，显示设备200可以不使用上述的控制设备或遥控器接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制设备和遥控器之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器以向显示设备200提供各种内容和互动。服务器可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2A中，示例性示出了显示设备200的硬件配置框图，如图2A所示，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口(即用户输入接口)280中的至少一种。控制器250包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。会议创建终端200可以通过通信器220与外部控制设备100或业务服务器500建立控制信号和数据信号的发送和接收。检测器230用于采集外部环境或与外部交互的信号。第一控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在第一控制器250所在的主体设备的外置设备中，如外置机顶盒等。用户接口280可用于接收控制设备(如：键盘等)的控制操作。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制会议创建终端的工作和响应用户的操作。控制器250控制会议创建终端200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，简称GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口和控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图2B为根据本公开一个或多个实施例的显示设备200中软件配置示意图，如图2B所示，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包括但不限于以上举例。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层，至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

为了更加详细的说明本方案，以下将结合具体的示例性实施例对本公开的显示设备执行本公开实施例的显示控制方法的过程进行说明，可以理解的是，以下示例性实施例中所涉及的步骤在实际实现时可以包括更多的步骤，或者更少的步骤，并且这些步骤之间的顺序也可以不同，以能够实现本公开实施例中提供的显示控制方法为准，本公开实施例不做限定。

参照图3所示，图3为本公开实施例提供的一种显示控制方法的流程示意图，包括步骤S31至S32。

S31、响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳。

其中，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成。

示例性的，各视频帧分别对应的第一系统时间戳可通过如下方式得到：针对视频流中的第一个视频帧，将第一个视频帧解码完成时的时间戳作为所述第一个视频帧的第一系统时间戳；针对视频流中的第一个视频帧之后的各视频帧，获取所述视频帧的视频帧时间戳与所述第一个视频帧的视频帧时间戳之间的差值，将所述差值与所述第一个视频帧的第一系统时间戳相加，得到所述视频帧对应的第一系统时间戳。

示例性的，视频帧时间戳用PTS表示，第一系统时间戳用STS表示，视频帧的视频帧时间戳用PTS表示，第N个视频帧的视频帧时间戳为PTS_N，第一个视频帧解码完成时的时间戳用S₁表示，则第一个视频帧的第一系统时间戳为S₁；针对视频流中的第一个视频帧之后的任一个视频帧N，该视频帧N的第一系统时间戳可通过如下方式得到：STS_1N＝S₁+(PTSn–PTS₁)；其中，S₁为第一个视频帧解码完成时的时间戳，PTS_N为第N个视频帧的视频帧时间戳，PTS₁为第一个视频帧的视频帧时间戳。

在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，确定第M个视频帧对应的垂直刷新周期是否会与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合为预判过程，第M个视频帧的解码时间延迟或解码耗时较长使得第M个视频帧解码完成后到达渲染模块的时间已经晚于显示时间(第一系统时间戳)，示例性的，第M个视频帧本应在第二个垂直刷新周期内到达进行渲染，但经判断，第M个视频帧会在第四个垂直刷新周期内到达，即第M个视频帧与第M+2个视频帧对应的垂直刷新周期重合，为了保证不丢失第M个视频帧，则需要将第M个视频帧以及第M个视频帧之后的视频帧的渲染时间进行延迟，执行如下步骤S32。

S32、基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳。

其中，所述第M个视频帧对应的第二系统时间戳晚于所述第M个视频帧对应的第一系统时间戳，第M个视频帧之后的任一个视频帧对应的第二系统时间戳晚于该视频帧对应的第一系统时间戳。

示例性的，第M个视频帧和第M个视频帧之后的视频帧分别对应的第二系统时间戳可基于如下方式得到：针对所述第M个视频帧和所述第M个视频帧之后的视频帧中的各视频帧，获取所述视频帧的第一系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第二系统时间戳。

即，第M个视频帧对应的第二系统时间戳STS_2m＝S₁+(PTS_M–PTS₁)+V_t，其中，S₁为第一个视频帧解码完成时的时间戳，PTS_M为第M个视频帧的视频帧时间戳，PTS₁为第一个视频帧的视频帧时间戳，V_t为预设个数为t的垂直刷新周期，预设个数的垂直刷新周期的确定原则为不影响用户的观看体验，即用户感受不到卡顿，要延迟的垂直刷新周期的个数存在上限阈值，如，若2个垂直刷新周期空白时不会影响用户的观看体验，3个垂直刷新周期空白会影响用户的观看体验，则预设个数的垂直刷新周期为1个或2个垂直刷新周期。

S33、基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。

示例性的，参照图4所示，图4为本公开另一个实施例提供的视频帧的渲染示意图，在第1个V-sync周期内，接收到视频帧F1和视频帧F2两个视频帧，第2个V-sync周期内接收到视频帧F3，第3个V-sync周期和第4个V-sync周期内没有接收到视频帧，第5个V-sync周期内接收到视频帧F4，预设个数的垂直刷新周期为1，则基于上述方式得到第二系统时间后，根据所述第二系统时间戳渲染时，视频帧F1在第2个V-sync周期内进行渲染，视频帧F2在第3个V-sync周期内进行渲染，视频帧F3在第4个V-sync周期内进行渲染，视频帧F4在第5个V-sync周期内进行渲染。

在本公开实施例中，由于第M个视频帧对应的第二系统时间晚于第M个视频帧对应的第一系统时间戳，第M个视频帧之后的视频帧对应的第二系统时间晚于该视频帧对应的第一系统时间戳，因此基于第二系统时间戳渲染第M个视频帧和第M个视频帧之后的视频帧时，相当于延迟了第M个视频帧和第M个视频帧之后的视频帧的渲染显示时间，避免了因第M个视频帧的解码时间发生延迟而导致显示设备显示数据流时丢失数据帧。

承接上述实施例，若在所述第M个视频帧之后的视频帧中，确定第N个视频帧对应的垂直刷新周期与所述第N个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则执行以下步骤S51至S52，所述第M个视频帧之后、第N个视频帧之前的视频帧仍基于第二系统时间进行渲染显示。对第N个视频帧及第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，执行如下步骤S51至S52，参照图5所示，图5为本公开另一个实施例提供的显示控制方法的流程示意图，在图1所示实施例的基础上，还包括如下步骤S51至S52。其中，所述第N个视频帧之后的任意一个视频帧可以为第N+1个视频帧、可以为第N+2个视频帧、可以为第N+3个视频帧等等。

S51、确定所述第N个视频帧的第三系统时间戳，并基于所述第N个视频帧对应的第二系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳。

其中，所述第N个视频帧对应的第三系统时间戳晚于第N个视频帧对应的第二系统时间戳；

即，第N个视频帧到达渲染模块的时间过晚，仍晚于第二系统时间戳，示例性的，第二系统时间戳基于第二系统时间戳进行渲染时对应第5个垂直刷新周期，而确定第N个视频帧帧到达渲染模块的时间对应第6个垂直刷新周期，则根据上述S51的步骤对第N个视频帧和第N个视频帧之后的视频帧对应的第二系统时间戳进行调整。

示例性的，将所述第N个视频帧重新作为起始视频帧，作为其它视频帧的参考帧，即相当于重置了参考起始帧，第N个视频帧可重新作为第一个视频帧，基于图3所示实施例中的方法确定第N个视频帧和第N个视频帧之后的视频帧的渲染时间。获取第N个视频帧的解码完成时间，将第N个视频帧的解码完成时间作为第N个视频帧的第三系统时间戳；针对第N个视频帧之后的视频帧，获取所述第N个视频帧的第三系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第三系统时间戳。

S52、基于所述第三系统时间戳渲染所述第N个视频帧和所述第N个视频帧之后的视频帧，并控制显示器显示所述第N个视频帧和所述第N个视频帧之后的视频帧。

示例性的，参照图6所示，视频帧F4的第二系统时间戳对应第5个垂直刷新周期，但视频帧F4到达渲染模块的时间晚于第二系统时间戳，错过了第5个垂直刷新周期，到达渲染模块时对应第6个垂直刷新周期，则需要将视频帧F4的渲染时间进行调整，得到视频帧F4的第三系统时间戳，使在第6个垂直刷新周期内进行渲染，并基于视频帧F4和预设个数的垂直刷新周期确定视频帧F4之后的视频帧对应的第三系统时间戳。

在本实施例中，在视频帧到达渲染模块过晚时，基于两次调整得到第三系统时间戳，将渲染时间延迟，避免视频帧到达渲染模块过晚时造成丢帧。本申请实施例以两次调整为例进行示出，但需要说明的是，在第N个视频帧之后的视频帧中仍出现到达渲染模块的视频帧的时间晚于该视频帧的渲染时间时，可以通过多次重置参考起始帧，即步骤S51至S52可以为多次执行的过程。

在一些实施例中，在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，若接收到用户的暂停播放操作，则可通过以下步骤S71至S73对当前视频帧之后的各视频帧的渲染时间戳进行调整，参照图7所示，图7为本公开再一个实施例提供的显示控制方法的流程示意图。

S71、在所述视频流的播放状态为暂停播放状态时，响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间戳。

示例性的，针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第四系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第四系统时间戳。

其中，所述当前视频帧为暂停播放状态下对应的视频帧，暂停播放操作结束时，从当前视频帧开始显示。将所述当前视频帧作为起始视频帧(第一个视频帧)，对该起始视频帧之后的其它视频帧，可根据上述实施例中步骤S31至S52的方式确定对应的第四系统时间戳以及是否对第四系统时间戳进行调整，此处不再赘述。当前视频帧对应的第四系统时间戳的作用相当于上述实施例中视频流中第一个视频帧对应的第一系统时间戳的作用。

S72、基于所述第四系统时间戳对所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧之后的各视频帧。

在一些实施例中，在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

响应于用户针对所述视频流的快进播放操作，确定所述快进播放操作结束后显示设备上显示的当前视频帧对应的第五系统时间；针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第五系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第五系统时间戳；基于所述第五系统时间戳对所述当前视频帧和所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧和所述当前视频帧之后的各视频帧。

即，也是重置参考起始帧的过程，示例性的，当前视频帧即为快进播放操作结束后的第一个视频帧，针对当前视频帧，将所述当前视频帧对应的第一系统时间戳和所述快进播放状态对应的时长之差，作为所述当前视频帧的第五系统时间戳。对该视频帧之后的其它视频帧，可根据上述实施例中步骤S31至S52的方式确定对应的第五系统时间戳以及是否对第五系统时间戳进行调整，此处不再赘述。当前视频帧对应的第五系统时间戳的作用相当于上述实施例中视频流中第一个视频帧对应的第一系统时间戳的作用。

在一些实施例中，响应于用户针对所述视频流的快退播放操作，确定所述快退播放操作结束后显示设备上显示的当前视频帧对应的第六系统时间；针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第六系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第六系统时间戳；基于所述第六系统时间戳对所述当前视频帧和所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧和所述当前视频帧之后的各视频帧。

即，也是重置参考起始帧的过程，示例性的，当前视频帧即为快退播放操作结束后的第一个视频帧，针对当前视频帧，将所述当前视频帧对应的第一系统时间戳和所述快退播放状态对应的时长之和，作为所述当前视频帧的第六系统时间戳。对该视频帧之后的其它视频帧，可根据上述实施例中步骤S31至S52的方式确定对应的第六系统时间戳以及是否对第六系统时间戳进行调整，此处不再赘述。当前视频帧对应的第六系统时间戳的作用相当于上述实施例中视频流中第一个视频帧对应的第一系统时间戳的作用。

在一些实施例中，视频帧到达渲染模块的时间早于渲染时间戳，使缓冲区队列中未渲染的视频帧越来越多，则设置时间差阈值，根据时间差阈值将该视频帧的渲染时间戳提前预设个数的垂直刷新周期进行渲染。

示例性的，结合图8所示，图8为本公开一个实施例提供的视频帧的渲染示意图，响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，若视频帧F6、视频帧F7的第一系统时间戳(渲染时间戳)分别对应第7个(V₇)和第8个V-sync周期(V₈)，而视频帧F6、视频帧F7在第3个(V₃)和第4个V-sync周期(V₄)到达，比渲染时间戳早4个V-sync周期，在预设个数为1个V-sync周期的情况下，将视频帧F6、视频帧F7分别对应的第一系统时间戳调整为第七系统时间戳，对应第6个(V₆)和第7个V-sync周期(V₇)，即视频帧F6、视频帧F7分别调整至在第6个(V₆)和第7个V-sync周期(V₇)进行渲染，并将视频帧F6调整为参考起始帧。

以此，避免视频帧F5的丢失。

本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述虚拟会议场景创建输出方法执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本公开提供一种计算机程序产品，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述的虚拟会议场景创建方法。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

控制器，被配置为：

响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成；

在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，所述第M个视频帧对应的第二系统时间戳晚于所述第M个视频帧对应的第一系统时间戳；

基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器，还被配置为：

在基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧之前，还包括：

在所述第M个视频帧之后的视频帧中，若确定第N个视频帧对应的垂直刷新周期与所述第N个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳；

基于所述第三系统时间戳渲染所述第N个视频帧和所述第N个视频帧之后的视频帧，并控制显示器显示所述第N个视频帧和所述第N个视频帧之后的视频帧。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器，具体被配置为：

所述响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧对应的第一系统时间戳，包括：

针对所述视频流中的第一个视频帧，将所述第一个视频帧解码完成时的时间戳作为所述第一个视频帧的第一系统时间戳；

针对所述视频流中的第一个视频帧之后的各视频帧，获取所述视频帧的视频帧时间戳与所述第一个视频帧的视频帧时间戳之间的差值，将所述差值与所述第一个视频帧的第一系统时间戳相加，得到所述视频帧对应的第一系统时间戳。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器，具体被配置为：

所述基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳，包括：

针对所述第M个视频帧和所述第M个视频帧之后的视频帧中的各视频帧，获取所述视频帧的第一系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第二系统时间戳。

5.根据权利要求2所述的显示设备，其特征在于，所述控制器，具体被配置为：

所述确定所述第N个视频帧对应的第三系统时间戳，并基于所述第N个视频帧的第三系统时间戳和所述垂直刷新周期对所述第N个视频帧之后的视频帧对应的第二系统时间戳进行调整，得到所述N个视频帧之后的视频帧分别对应的第三系统时间戳，包括：

针对所述第N个视频帧，将所述第N个视频帧的解码完成时间作为所述第N个视频帧的第三系统时间戳；

针对所述第N个视频帧之后的视频帧，获取所述第N个视频帧的第三系统时间戳与预设个数的垂直刷新周期之和，作为该视频帧对应的第三系统时间戳。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器，还被配置为：

在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

在所述视频流的播放状态为暂停播放状态时，响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间；

基于所述第四系统时间戳对所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧之后的各视频帧。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器，具体被配置为：

所述响应于用户针对所述视频流的结束暂停播放操作，确定所述显示设备上显示的当前视频帧之后的各视频帧的第四系统时间，包括：

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第四系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第四系统时间戳。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器，还被配置为：

在响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳之后，还包括：

响应于用户针对所述视频流的快进播放操作，确定所述快进播放操作结束后显示设备上显示的当前视频帧对应的第五系统时间；

针对所述当前视频帧之后的各视频帧，根据所述当前视频帧的第五系统时间和所述垂直刷新周期，获取所述各频帧分别对应的第五系统时间戳；

基于所述第五系统时间戳对所述当前视频帧和所述当前视频帧之后的各视频帧进行渲染，并控制显示器显示所述当前视频帧和所述当前视频帧之后的各视频帧。

9.一种显示控制方法，其特征在于，包括：

响应于针对视频流中各视频帧的视频帧时间戳的校准指令，将各视频帧的视频帧时间戳转换为所述各视频帧分别对应的第一系统时间戳，所述视频帧时间戳用于指示所述各视频帧的显示顺序，所述第一系统时间戳用于指示对各视频帧进行渲染的时间戳，每个视频帧的渲染在该视频帧对应的垂直刷新周期内完成；

在所述视频流中，若确定第M个视频帧对应的垂直刷新周期与所述第M个视频帧之后的任意一个视频帧对应的垂直刷新周期重合，则基于所述视频流中的第一个视频帧对应的第一系统时间戳和所述垂直刷新周期对所述第M个视频帧与所述第M个视频帧之后的视频帧分别对应的第一系统时间戳进行调整，得到所述第M个视频帧和所述第M个视频帧之后的视频帧分别对应的第二系统时间戳；

基于所述第二系统时间戳渲染所述第M个视频帧和所述第M个视频帧之后的视频帧，并控制显示器显示所述第M个视频帧和所述第M个视频帧之后的视频帧。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9所述的显示控制方法。