CN110049361A - 显示控制方法、装置、投屏设备及计算机可读介质 - Google Patents

Abstract

本申请实施例公开了显示控制方法、装置、投屏设备及计算机可读介质。所述方法的实施例包括：检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量；将该第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示该目标视频帧。该实施方式降低了投屏显示的时延。

Description

显示控制方法、装置、投屏设备及计算机可读介质

技术领域

本申请实施例涉及计算机技术领域，具体涉及显示控制方法、装置、投屏设备及计算机可读介质。

背景技术

投屏设备是一种支持投屏协议的智能硬件，能够支持将终端设备中的视频投放到显示设备(例如智能电视)上进行播放。在利用投屏设备处理视频数据的过程中，通常存在多种因素导致投屏显示产生时延。

相关的降低投屏画面延时的方式，通常是对视频解码、画面渲染等独立的环节进行优化，使各环节处理速度提升。然而，在网络条件较差的情况下，视频数据通常无法均匀实时地传输到投屏设备，导致投屏设备处理视频数据的过程中产生数据缓冲。此时，通常无法有效地降低投屏显示的时延。

发明内容

本申请实施例提出了显示控制方法、装置、投屏设备及计算机可读介质，以解决现有技术中在网络条件较差的情况下，无法降低由于产生数据缓冲所造成的投屏显示的时延的技术问题。

第一方面，本申请实施例提供了一种显示控制方法，应用于投屏设备，该方法包括：检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量，其中，第一缓冲队列用于缓存待解码的视频数据，第二缓冲队列用于缓存待显示的视频帧；将第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧，包括：响应于确定第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示目标视频帧，以及，确定显示第二缓冲队列中最后存储的视频帧。

在一些实施例中，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧，还包括：响应于确定第二缓冲队列中的视频帧的数量小于或等于第一预设数值，判断第一缓冲队列中的视频帧的数量是否大于第二预设数值；响应于确定第一缓冲队列中的视频帧的数量大于第二预设数值，基于目标视频帧的前一个视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，基于目标视频帧的前一个视频帧的显示状态，确定是否显示目标视频帧，包括：响应于确定目标视频帧的前一个视频帧已显示，确定不显示目标视频帧，并对目标视频帧执行丢帧操作；响应于确定前一个视频帧未显示，确定显示目标视频帧。

在一些实施例中，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧，还包括：响应于确定第一缓冲队列中的视频帧的数量小于或等于第二预设数值，判断视频播放链路中的第三缓冲队列中是否存在视频帧，其中，第三缓冲队列用于缓存待解析的视频数据包；响应于确定第三缓冲队列中存在视频帧，基于目标视频帧的前两个视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，基于目标视频帧的前两个视频帧的显示状态，确定是否显示目标视频帧，包括：响应于确定目标视频帧的前两个视频帧均已显示，确定不显示目标视频帧，并对目标视频帧执行丢帧操作；响应于确定前两个视频帧中，存在未显示的视频帧，确定显示目标视频帧。

在一些实施例中，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧，还包括：响应于确定第三缓冲队列中不存在视频帧，确定显示目标视频帧。

第二方面，本申请实施例提供了一种显示控制装置，应用于投屏设备，该装置包括：应用于投屏设备，装置包括：第一确定单元，被配置成检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量，其中，第一缓冲队列用于缓存待解码的视频数据，第二缓冲队列用于缓存待显示的视频帧；第二确定单元，被配置成将第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，第二确定单元，包括：第一确定模块，被配置成响应于确定第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示目标视频帧，以及，确定显示第二缓冲队列中最后存储的视频帧。

在一些实施例中，第二确定单元，还包括：第二确定模块，被配置成响应于确定第二缓冲队列中的视频帧的数量小于或等于第一预设数值，判断第一缓冲队列中的视频帧的数量是否大于第二预设数值；第三确定模块，被配置成响应于确定第一缓冲队列中的视频帧的数量大于第二预设数值，基于目标视频帧的前一个视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，第三确定模块，进一步被配置成：响应于确定目标视频帧的前一个视频帧已显示，确定不显示目标视频帧，并对目标视频帧执行丢帧操作；响应于确定前一个视频帧未显示，确定显示目标视频帧。

在一些实施例中，第二确定单元，还包括：第四确定模块，被配置成响应于确定第一缓冲队列中的视频帧的数量小于或等于第二预设数值，判断视频播放链路中的第三缓冲队列中是否存在视频帧，其中，第三缓冲队列用于缓存待解析的视频数据包；第五确定模块，被配置成响应于确定第三缓冲队列中存在视频帧，基于目标视频帧的前两个视频帧的显示状态，确定是否显示目标视频帧。

在一些实施例中，第五确定模块，进一步被配置成：响应于确定目标视频帧的前两个视频帧均已显示，确定不显示目标视频帧，并对目标视频帧执行丢帧操作；响应于确定前两个视频帧中，存在未显示的视频帧，确定显示目标视频帧。

在一些实施例中，第二确定单元，还包括：第六确定模块，被配置成响应于确定第三缓冲队列中不存在视频帧，确定显示目标视频帧。

第三方面，本申请实施例提供了一种投屏设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面中任一实施例的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中任一实施例的方法。

本申请实施例提供的显示控制方法和装置，应用于投屏设备。在投屏显示过程中，将第二缓冲队列中最先存储的视频帧作为目标视频帧，通过分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量，从而能够基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧。由于第二缓冲队列用于缓存待显示的视频帧，因而，对各缓冲队列中的帧的数量进行分析后，确定是否显示目标视频帧，能够依次控制第二缓冲队列中各待显示的视频帧不显示。在网络条件较差导致投屏设备处理视频数据的过程中产生数据缓冲的情况下，通常视频帧的显示存在较大的时延(即视频帧从获取至显示过程中所需要的时间)。通过控制第二缓冲队列中的一些视频帧不进行显示，能够减少待显示的视频帧的数量，省去这些视频帧传输至显示设备的传输时间，减小第二缓冲队列中的其他视频帧缓冲的时间，从而能够有效地降低投屏显示的时延。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的显示控制方法的一个实施例的流程图；

图2是根据本申请的显示控制方法的又一个实施例的流程图；

图3是根据本申请的显示控制装置的一个实施例的结构示意图；

图4是适于用来实现本申请实施例的投屏设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了根据本申请的显示控制方法的一个实施例的流程100。该显示控制方法，可以应用于投屏设备。包括以下步骤：

步骤101，检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量。

在本实施例中，显示控制方法的执行主体(例如投屏设备)可以分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量。此处，视频播放链路可以指从接收到视频数据包到将视频帧进行显示的过程中的数据处理链路。

在视频播放链路中，上述执行主体在接收到视频数据包后，需要将视频数据包解析为视频数据和音频数据。实践中，视频数据可以用帧(Frame)来描述。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此处，可以将视频中的帧称为视频帧。而后，将视频数据解码为视频帧，将音频数据解码为音频帧。最后，进行视频数据的显示和音频数据的播放。因此，在视频播放链路中，数据依次经过了解析、解码、显示的处理过程。

通常，在网络条件较差的情况下，视频数据通常无法均匀实时地传输到投屏设备，导致投屏设备处理视频数据的过程中产生数据缓冲。此时，在视频播放链路中，在对视频数据解码前和显示视频帧前，需将相应的待处理的数据存储在缓冲队列中，以便逐个进行数据处理。此处，可以将用于缓存待解码的视频数据的缓冲队列称为第一缓冲队列。将用于缓存待显示的视频帧的缓冲队列称为第二缓冲队列。

在本实施例中，对于上述第一缓冲队列，由于视频数据中每个时间戳对应一个视频帧，不同的时间戳对应不同的视频帧，因此，上述执行主体可以首先检测视频数据的时间戳。而后，可以将时间戳的数量确定为视频帧的数量。对于上述第二缓冲队列，由于上述第二缓冲队列用于缓存待显示的视频帧，因而，可以直接计算出上述第二缓冲队列中的视频帧的数量。

在本实施例的一些可选的实现方式中，在除上述第一缓冲队列、第二缓冲队列外，视频播放链路中还可以涉及其他缓冲队列。例如，还可以包括在解析视频数据包前用于缓存待解析的视频数据包(例如RTP(Real-time Transport Protocol或简写RTP)包)的缓冲队列(例如可称为第三缓冲队列)。

实践中，在接收到发送端发送的视频数据包后，可以将视频数据包缓存至上述第三缓冲队列。在依次对上述第三缓冲队列中的视频数据包解析后，即可得到待解码的视频数据和音频数据。在得到待解码的视频数据后，可以将所依次得到的视频数据依次缓存至上述第一缓冲队列中，并依次对上述第一缓冲队列中的视频数据进行解码。在上述第一缓冲队列中的待解码的视频数据被解码后，即可得到解码后的视频帧。在得到解码后的视频帧后，可以将各个解码后的视频帧作为待显示的视频帧，缓存至上述第二缓冲队列，从而依次确定上述第二缓冲队列中的视频帧是否显示。在确定上述第二缓冲队列中的某个视频帧不显示时，即可将该帧丢弃。在确定上述第二缓冲队列中的某个视频帧显示时，即可将该帧传输至显示设备(例如电视)，以使显示设备进行该帧的显示。

步骤102，将第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示目标视频帧。

在本实施例中，上述执行主体可以将第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从上述第二缓冲队列中移出的视频帧(例如目标视频帧的前一个视频帧、或者前两个视频帧等)的显示状态，确定是否显示目标视频帧。其中，上述显示状态可以包括已显示和未显示。

可以理解的是，由于通常按照视频帧的时间戳的先后顺序进行视频帧的缓存，且依次按照缓存的先后顺序移出上述第二缓冲队列，进行处理(例如显示或者丢弃)，因此，若将当前第二缓冲队列中最先存储的视频帧作为目标视频帧，则先于上述目标视频帧缓存至上述第二缓冲队列的视频帧，在当前时刻已被移出上述第二缓冲队列。实践中，已从上述第二缓冲队列移出的视频帧，已经被显示或者已经被丢弃。

由此，上述目标视频帧的前一个视频帧，即为最晚被移出上述第二缓冲队列的视频帧。上述目标视频帧的前两个视频帧，即包括最晚被移出上述第二缓冲队列的视频帧，以及该视频帧的前一个视频帧。

需要说明的是，上述执行主体中可以预先存储有对于目标视频帧是否显示的判定规则。上述执行主体可以依据上述判定规则，确定是否显示该目标视频帧。

作为示例，上述预设规则可以包括：若第二缓冲队列中的视频帧的数量大于某个指定值，则不显示目标视频帧。可以理解的是，若逐一对第二缓冲队列的视频帧进行显示，则第二缓冲队列中的视频帧需要等待在先缓存的视频帧被处理之后，才可进行该帧的显示。因而，视频帧在显示之前需要等待一定时间，导致视频帧的显示将会存在延时。此时，若不显示目标视频帧，可以减少第二缓冲队列中的视频帧显示的数量，降低视频帧显示的延时。

作为又一示例，上述预设规则还可以包括：若第二缓冲队列中的视频帧的数量小于某个指定值且第一缓冲队列的视频数据中不存在视频帧，则显示目标视频帧。可以理解的是，当第二缓冲队列中的视频帧的数量小于某个指定值时，意味着第二缓冲队列中的视频帧的数量较少。当第一缓冲队列的视频数据中不存在视频帧时，意味着视频数据包被解析后可以立刻进行解码，在解码前等待的时间较短或者不需要等待。此时，视频播放链路中的视频传输情况较好，可以对目标视频帧进行显示。

作为再一示例，上述预设规则还可以包括：若第二缓冲队列中的视频帧的数量小于某个指定值且第一缓冲队列的视频数据中存在视频帧，同时目标视频帧的前一帧没有显示，则显示目标视频帧。可以理解的是，当目标视频帧的前一帧没有显示时，意味着前一帧已经被丢弃。若此时将目标视频帧也丢弃，则显示的视频帧连续性较差。由此，可以对目标视频帧进行显示，以保持视频帧显示的连续性。

需要说明的是，上述判定规则可以根据需要或者前期的试验经验而预先设置，此处不作限定。

需要指出的是，由于视频帧和音频帧均带有时间戳，因此，在视频帧显示时，通常会基于时间戳，进行音频帧的同步播放。可以理解的是，在本实施例中，由于并非每一个视频帧均被传输至显示设备进行显示，因此视频帧与音频帧的时间戳并非一一对应。因而，在将视频帧传输至显示设备之前，可以取消视频帧显示与音频帧播放的同步。

在本实施例的一些可选的实现方式中，上述执行主体可以首先基于第二缓冲队列中的视频帧的数量与第一预设数值的比较(例如1)，确定是否显示上述目标视频帧。

具体的，若上述第二缓冲队列中的视频帧的数量大于第一预设数值，上述执行主体可以确定不显示上述目标视频帧。此时，上述执行主体可以确定显示上述第二缓冲队列中最后存储的视频帧(即解码后得到的最新的视频帧)。可以理解的是，当第二缓冲队列中的视频帧的数量大于第一预设数值(例如1)时，若逐一对第二缓冲队列的视频帧进行显示，则第二缓冲队列中的视频帧需要等待在先缓存的视频帧被处理之后，才可进行该帧的显示。因而，视频帧在显示之前需要等待一定时间，导致视频帧的显示将会存在延时。同时，若音频的播放未发生延时，将会导致音视频不同步。由此，当第二缓冲队列中的视频帧的数量大于第一预设数值时，直接显示第二缓冲队列中的最后存储的视频帧，可以减少视频帧显示的时延，提升音视频同步效果。

在本实施例的一些可选的实现方式中，响应于确定上述第二缓冲队列中的视频帧的数量小于或等于上述第一预设数值(例如1)，上述执行主体可以判断上述第一缓冲队列中的视频帧的数量是否大于第二预设数值(例如0)。而后，可以基于第一缓冲队列中的视频帧的数量与第二预设数值的比较，确定是否显示上述目标视频帧。当第一缓冲队列的视频数据中的视频帧的数量是否小于或等于第二预设数值时，意味着第一缓冲队列中的视频数据包的数量较少。此时，当接收到视频数据包后，可以直接进行该视频数据包的解析，或者等待较短时间即可进行该视频数据包的解析。因而，此时视频播放链路中的视频传输情况较好，可以对目标视频帧进行显示。

可选的，响应于确定上述第一缓冲队列中的视频帧的数量大于上述第二预设数值(例如0)，上述执行主体可以基于上述目标视频帧的前一个视频帧的显示状态，确定是否显示上述目标视频帧。例如，若前一个视频帧已显示，则确定不显示上述目标视频帧，并对上述目标视频帧执行丢帧操作。若前一个视频帧未显示，确定显示上述目标视频帧。可以理解的是，当确定上述第一缓冲队列中的视频帧的数量大于上述第二预设数值时，意味着视频数据包被解析后可以需要等待一定时间才能进行解码。此时，视频播放链路中的视频传输情况较差。若目标视频帧的前一帧已显示时，则可以将目标视频帧丢弃，不进行显示，以通过减少视频帧的显示数量，降低视频帧显示时延。当目标视频帧的前一帧没有显示时，意味着前一帧已经被丢弃。若此时将目标视频帧也丢弃，则显示的视频帧连续性较差，此时，可以对目标视频帧进行显示。

需要说明的是，上述第一预设数值、第二预设数值可以根据实际需要预先设定，此处不作限定。

本申请的上述实施例提供的方法，在投屏显示过程中，将上述第二缓冲队列中最先存储的视频帧作为目标视频帧，通过分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量，从而能够基于所确定的各缓冲队列中的视频帧的数量和已从上述第二缓冲队列中移出的视频帧的显示状态，确定是否显示上述目标视频帧。由于第二缓冲队列用于缓存待显示的视频帧，因而，对各缓冲队列中的帧的数量进行分析后，确定是否显示目标视频帧，能够依次控制第二缓冲队列中各待显示的视频帧不显示。在网络条件较差导致投屏设备处理视频数据的过程中产生数据缓冲的情况下，通常视频帧的显示存在较大的时延。通过控制第二缓冲队列中的一些视频帧不进行显示，能够减少待显示的视频帧的数量，省去这些视频帧传输至显示设备的传输时间，减小第二缓冲队列中的其他视频帧缓冲的时间，从而能够有效地降低投屏显示的时延。

进一步参考图2，其示出了显示控制方法的又一个实施例的流程200。该显示控制方法的流程200，该显示控制方法，可以应用于投屏设备。包括以下步骤：

步骤201，检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量。

在本实施例中，显示控制方法的执行主体(例如投屏设备)可以分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量。此处，视频播放链路可以指从接收到视频数据包到将视频帧进行显示的过程中的数据处理链路。上述第一缓冲队列可以用于缓存待解码的视频数据。上述第二缓冲队列可以用于缓存待显示的视频帧。

在本实施例中，在除上述第一缓冲队列、第二缓冲队列外，视频播放链路中还可以包括第三缓冲队列，用于在解析视频数据包前缓存待解析的视频数据包。

步骤202，确定第二缓冲队列中的视频帧的数量是否大于第一预设数值。

在本实施例中，上述执行主体可以确定上述第二缓冲队列中的视频帧的数量是否大于第一预设数值(例如1)。若是，可以执行步骤203；若否，可以执行步骤204。

步骤203，响应于确定第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示目标视频帧，以及，确定显示第二缓冲队列中最后存储的视频帧。

在本实施例中，响应于确定上述第二缓冲队列中的视频帧的数量大于第一预设数值，上述执行主体可以确定不显示上述目标视频帧，以及，确定显示上述第二缓冲队列中最后存储的视频帧(即解码后得到的最新的视频帧)。

可以理解的是，当第二缓冲队列中的视频帧的数量大于第一预设数值(例如1)时，若逐一对第二缓冲队列的视频帧进行显示，则第二缓冲队列中的视频帧需要等待在先缓存的视频帧被处理之后，才可进行该帧的显示。因而，视频帧在显示之前需要等待一定时间，导致视频帧的显示将会存在延时。同时，若音频的播放未发生延时，将会导致音视频不同步。由此，当第二缓冲队列中的视频帧的数量大于第一预设数值时，直接显示第二缓冲队列中的最后存储的视频帧，可以减少视频帧显示的时延，提升音视频同步效果。

步骤204，响应于确定第二缓冲队列中的视频帧的数量小于或等于第一预设数值，判断第一缓冲队列中的视频帧的数量是否大于第二预设数值。

在本实施例中，响应于确定上述第二缓冲队列中的视频帧的数量小于或等于上述第一预设数值，上述执行主体可以判断上述第一缓冲队列中的视频帧的数量是否大于第二预设数值(例如0)。若是，可以执行步骤205；若否，可以执行步骤206。

步骤205，响应于确定第一缓冲队列中的视频帧的数量大于第二预设数值，基于目标视频帧的前一个视频帧的显示状态，确定是否显示目标视频帧。

在本实施例中，响应于确定上述第一缓冲队列中的视频帧的数量大于上述第二预设数值(例如0)，意味着视频数据包被解析后可以需要等待一定时间才能进行解码。此时，视频播放链路中的视频传输情况不够好。此时，可以基于上述目标视频帧的前一个视频帧的显示状态，确定是否显示上述目标视频帧。

具体地，响应于确定上述目标视频帧的前一个视频帧已显示，可以确定不显示上述目标视频帧，并对上述目标视频帧执行丢帧操作，从而能够通过减少视频帧的显示数量，降低视频帧显示时延。

响应于确定上述前一个视频帧未显示，若此时将目标视频帧也丢弃，则显示的视频帧连续性较差，此时，可以确定显示上述目标视频帧，以保持视频帧的连续性。

步骤206，响应于确定第一缓冲队列中的视频帧的数量小于或等于第二预设数值，判断第三缓冲队列中是否存在视频帧。

在本实施例中，响应于确定上述第一缓冲队列中的视频帧的数量小于或等于上述第二预设数值，上述执行主体可以判断上述第三缓冲队列中是否存在视频帧。若存在，可以执行步骤207；若不存在，可以执行步骤208。

步骤207，响应于确定第三缓冲队列中存在视频帧，基于目标视频帧的前两个视频帧的显示状态，确定是否显示目标视频帧。

在本实施例中，当第一缓冲队列中的视频帧的数量小于或等于第二预设数值时，意味着视频数据包被解析后可以立即进行解码。此时，可以通过查看第三缓冲队列中是否存在视频帧，进一步判断视频播放链路中的视频传输情况。当第三缓冲队列中存在视频帧，则意味着在接收到视频数据包后，可以立即解析为视频数据。此时，视频播放链路中的视频传输情况较好，可直接执行步骤208，对目标视频帧进行显示。

当第三缓冲队列中存在视频帧，则意味着在接收到视频数据包后，需要等待一定时间才能解析为视频数据。此时，视频播放链路中的视频传输情况不够好。此时，可以基于上述目标视频帧的前两个视频帧的显示状态，确定是否显示上述目标视频帧。具体地，响应于确定上述目标视频帧的前两个视频帧均已显示，可以确定不显示上述目标视频帧，并对上述目标视频帧执行丢帧操作，以通过减少视频帧的显示数量，降低视频帧显示时延。响应于确定上述前两个视频帧中，存在未显示的视频帧，意味着前两针帧中已经有一个或两个帧被丢弃。若此时将目标视频帧也丢弃，则显示的视频帧连续性较差。因此，此时可以对目标视频帧进行显示。

步骤208，响应于确定上述第三缓冲队列中不存在视频帧，确定显示上述目标视频帧。

在本实施例中，响应于确定上述第三缓冲队列中不存在视频帧，上述执行主体可以显示上述目标视频帧。

从图2中可以看出，本实施例中的显示控制方法的流程200涉及了基于所确定的各缓冲队列中的视频帧的数量和上述已从第二缓冲队列中移出的视频帧的显示状态，控制第二缓冲队列中最先存储的视频帧是否显示的步骤。由此，本实施例描述的方案可以在网络条件较差导致投屏设备处理视频数据的过程中产生数据缓冲的情况下，可以控制当前的视频帧显示或者不显示，并执行自适应丢帧处理，从而有效地降低投屏显示的时延，且使每一帧的显示时延更加稳定。

进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种显示控制装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的显示控制装置300包括：第一确定单元301，被配置成分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量，其中，上述第一缓冲队列用于缓存待解码的视频数据，上述第二缓冲队列用于缓存待显示的视频帧；第二确定单元302，被配置成将上述第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和上述已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示上述目标视频帧。

在本实施例的一些可选的实现方式中，上述第二确定单元302可以，包括第一确定模块(图中未示出)。其中，上述第一确定模块可以被配置成响应于确定上述第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示上述目标视频帧，以及，确定显示上述第二缓冲队列中最后存储的视频帧。

在本实施例的一些可选的实现方式中，上述第二确定单元302还可以包括第二确定模块(图中未示出)。其中，上述第二确定模块，被配置成响应于确定上述第二缓冲队列中的视频帧的数量小于或等于上述第一预设数值，确定上述第一缓冲队列中的视频帧的数量是否大于第二预设数值；第三确定模块，被配置成响应于确定上述第一缓冲队列中的视频帧的数量大于上述第二预设数值，基于上述目标视频帧的前一个视频帧的显示状态，确定是否显示上述目标视频帧。

在本实施例的一些可选的实现方式中，上述第三确定模块可以进一步被配置成：响应于确定上述目标视频帧的前一个视频帧已显示，确定不显示上述目标视频帧，并对上述目标视频帧执行丢帧操作；响应于确定上述前一个视频帧未显示，确定显示上述目标视频帧。

在本实施例的一些可选的实现方式中，上述第二确定单元302还可以包括第四确定模块和第五确定模块(图中未示出)。其中，上述第四确定模块，被配置成响应于确定上述第一缓冲队列中的视频帧的数量小于或等于上述第二预设数值，确定第三缓冲队列中是否存在视频帧，其中，上述第三缓冲队列用于缓存待解析的视频数据包；第五确定模块，被配置成响应于确定上述第三缓冲队列中存在视频帧，基于上述目标视频帧的前两个视频帧的显示状态，确定是否显示上述目标视频帧。

在本实施例的一些可选的实现方式中，上述第五确定模块可以进一步被配置成：响应于确定上述目标视频帧的前两个视频帧均已显示，确定不显示上述目标视频帧，并对上述目标视频帧执行丢帧操作；响应于确定上述前两个视频帧中，存在未显示的视频帧，确定显示上述目标视频帧。

在本实施例的一些可选的实现方式中，上述第二确定单元302还可以包括第六确定模块(图中未示出)。其中，上述第六确定模块可以被配置成响应于确定上述第三缓冲队列中不存在视频帧，确定显示上述目标视频帧。

本申请的上述实施例提供的装置，在投屏显示过程中，将上述第二缓冲队列中最先存储的视频帧作为目标视频帧，通过第一确定单元301分别确定视频播放链路中的第一缓冲队列、第二缓冲队列中的视频帧的数量，从而第二确定单元302能够基于所确定的各缓冲队列中的视频帧的数量和上述已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示上述目标视频帧。由此，在网络条件较差导致投屏设备处理视频数据的过程中产生数据缓冲的情况下，可以控制当前的视频帧显示或者不显示。由于可以控制一些视频帧不进行显示，从而，能够有效地降低投屏显示的时延。

下面参考图4，其示出了适于用来实现本申请实施例的投屏设备计算机系统400的结构示意图。图4示出的投屏设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：输入部分406、输出部分407、存储部分408、通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元和第二确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量；将该第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和该已从第二缓冲队列中移出的视频帧的显示状态，确定是否显示该目标视频帧。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种显示控制方法，其特征在于，应用于投屏设备，所述方法包括：

检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量，其中，所述第一缓冲队列用于缓存待解码的视频数据，所述第二缓冲队列用于缓存待显示的视频帧；

将所述第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧。

2.根据权利要求1所述的显示控制方法，其特征在于，所述基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧，包括：

响应于确定所述第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示所述目标视频帧，以及，确定显示所述第二缓冲队列中最后存储的视频帧。

3.根据权利要求2所述的显示控制方法，其特征在于，所述基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧，还包括：

响应于确定所述第二缓冲队列中的视频帧的数量小于或等于所述第一预设数值，判断所述第一缓冲队列中的视频帧的数量是否大于第二预设数值；

响应于确定所述第一缓冲队列中的视频帧的数量大于所述第二预设数值，基于所述目标视频帧的前一个视频帧的显示状态，确定是否显示所述目标视频帧。

4.根据权利要求3所述的显示控制方法，其特征在于，所述基于所述目标视频帧的前一个视频帧的显示状态，确定是否显示所述目标视频帧，包括：

响应于确定所述目标视频帧的前一个视频帧已显示，确定不显示所述目标视频帧，并对所述目标视频帧执行丢帧操作；

响应于确定所述前一个视频帧未显示，确定显示所述目标视频帧。

5.根据权利要求3所述的显示控制方法，其特征在于，所述基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧，还包括：

响应于确定所述第一缓冲队列中的视频帧的数量小于或等于所述第二预设数值，判断所述视频播放链路中的第三缓冲队列中是否存在视频帧，其中，所述第三缓冲队列用于缓存待解析的视频数据包；

响应于确定所述第三缓冲队列中存在视频帧，基于所述目标视频帧的前两个视频帧的显示状态，确定是否显示所述目标视频帧。

6.根据权利要求5所述的显示控制方法，其特征在于，所述基于所述目标视频帧的前两个视频帧的显示状态，确定是否显示所述目标视频帧，包括：

响应于确定所述目标视频帧的前两个视频帧均已显示，确定不显示所述目标视频帧，并对所述目标视频帧执行丢帧操作；

响应于确定所述前两个视频帧中，存在未显示的视频帧，确定显示所述目标视频帧。

7.根据权利要求5所述的显示控制方法，其特征在于，所述基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧，还包括：

响应于确定所述第三缓冲队列中不存在视频帧，确定显示所述目标视频帧。

8.一种显示控制装置，其特征在于，应用于投屏设备，所述装置包括：

第一确定单元，被配置成检测视频播放链路中的第一缓冲队列中的视频帧的数量以及第二缓冲队列中的视频帧的数量，其中，所述第一缓冲队列用于缓存待解码的视频数据，所述第二缓冲队列用于缓存待显示的视频帧；

第二确定单元，被配置成将所述第二缓冲队列中最先存储的视频帧作为目标视频帧，基于所确定的各缓冲队列中的视频帧的数量和已从所述第二缓冲队列中移出的视频帧的显示状态，确定是否显示所述目标视频帧。

9.根据权利要求8所述的显示控制装置，其特征在于，所述第二确定单元，包括：

第一确定模块，被配置成响应于确定所述第二缓冲队列中的视频帧的数量大于第一预设数值，确定不显示所述目标视频帧，以及，确定显示所述第二缓冲队列中最后存储的视频帧。

10.根据权利要求9所述的显示控制装置，其特征在于，所述第二确定单元，还包括：

第二确定模块，被配置成响应于确定所述第二缓冲队列中的视频帧的数量小于或等于所述第一预设数值，判断所述第一缓冲队列中的视频帧的数量是否大于第二预设数值；

第三确定模块，被配置成响应于确定所述第一缓冲队列中的视频帧的数量大于所述第二预设数值，基于所述目标视频帧的前一个视频帧的显示状态，确定是否显示所述目标视频帧。

11.根据权利要求10所述的显示控制装置，其特征在于，所述第三确定模块，进一步被配置成：

响应于确定所述目标视频帧的前一个视频帧已显示，确定不显示所述目标视频帧，并对所述目标视频帧执行丢帧操作；

响应于确定所述前一个视频帧未显示，确定显示所述目标视频帧。

12.根据权利要求10所述的显示控制装置，其特征在于，所述第二确定单元，还包括：

第四确定模块，被配置成响应于确定所述第一缓冲队列中的视频帧的数量小于或等于所述第二预设数值，判断所述视频播放链路中的第三缓冲队列中是否存在视频帧，其中，所述第三缓冲队列用于缓存待解析的视频数据包；

第五确定模块，被配置成响应于确定所述第三缓冲队列中存在视频帧，基于所述目标视频帧的前两个视频帧的显示状态，确定是否显示所述目标视频帧。

13.根据权利要求12所述的显示控制装置，其特征在于，所述第五确定模块，进一步被配置成：

响应于确定所述目标视频帧的前两个视频帧均已显示，确定不显示所述目标视频帧，并对所述目标视频帧执行丢帧操作；

响应于确定所述前两个视频帧中，存在未显示的视频帧，确定显示所述目标视频帧。

14.根据权利要求12所述的显示控制装置，其特征在于，所述第二确定单元，还包括：

第六确定模块，被配置成响应于确定所述第三缓冲队列中不存在视频帧，确定显示所述目标视频帧。

15.一种投屏设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。