CN114710707A - 显示设备及视频缩略图获取方法 - Google Patents

Abstract

本申请一些实施例提供了一种显示设备和视频缩略图获取方法。当显示设备接收用户发送的用于获取视频文件中视频缩略图的第一控制指令时，响应于第一控制指令，根据第一标识获取视频流文件，视频流文件为从视频文件中解析得到；视频流文件中包括至少一帧关键帧；第一标识用于表征视频流文件可解析；将关键帧进行解码；关键帧为视频流文件解码获得的视频帧的类别；判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值内；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。本申请示出的技术方案，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

Description

显示设备及视频缩略图获取方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及视频缩略图获取方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备。显示设备可以将获取的视频文件进行存储，并在存储位置所在的显示界面显示该视频文件的视频缩略图作为视频文件的展示图标，以使用户能够快速了解视频文件的内容。显示设备还可以在视频播放过程中，获取视频进度条中用户指定位置的视频缩略图，以便于用户快速了解用户指定位置的视频内容。

相关技术中，显示设备获取视频缩略图的方式常采用FFmpeg程序获取。显示设备通过FFmpeg程序获取视频缩略图的方式通常为对视频文件整体进行解析、解码，以从解码后的视频帧中确定视频缩略图。

然而，相关技术中，显示设备通过FFmpeg程序获取视频缩略图的耗时长，且当显示设备从解码后的视频帧中确定视频缩略图后，视频缩略图可能为黑帧、白帧等无法向用户提供有效视频识别信息的无效视频帧。

发明内容

本申请提供一种显示设备和视频缩略图获取方法，以解决相关技术中显示设备通过FFmpeg程序获取视频缩略图的耗时长，且当显示设备从解码后的视频帧中确定视频缩略图后，视频缩略图可能为黑帧、白帧等无法向用户提供有效视频识别信息的无效视频帧的问题，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

第一方面，本申请提供一种显示设备，包括：显示器；被配置为显示视频缩略图；控制器，被配置为：接收用户发送的用于获取视频文件中视频缩略图的第一控制指令；响应于第一控制指令，根据第一标识获取视频流文件，视频流文件为从视频文件中解析得到；视频流文件中包括至少一帧关键帧；第一标识用于表征视频流文件可解析；将关键帧进行解码，得到已解码的关键帧；关键帧为视频流文件解码获得的视频帧的类别；判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值内；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。

第二方面，本申请还提供一种视频缩略图获取方法，包括：根据第一标识获取视频流文件，视频流文件为从视频文件中解析得到；视频流文件中包括至少一帧关键帧；第一标识用于表征视频流文件可解析；将关键帧进行解码，得到已解码的关键帧；关键帧为视频流文件解码获得的视频帧的类别；判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值内；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。

由以上技术方案可知，本申请提供的一种显示设备和视频缩略图获取方法，可以在接收用户发送的用于获取视频文件中视频缩略图的第一控制指令时，仅对视频流文件进行解析，从而降低解析过程的耗时，在解析后对视频流文件的关键帧进行解码，以获取关键帧作为视频缩略图，同时根据第一筛选条件判断关键帧中特征值的概率值是否在预设阈值内，以确定关键帧是否为无效视频帧。因此，本申请示出的技术方案，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；

图2示出了根据一些实施例的控制装置100的配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200的软件配置框图；

图5示出了根据一些实施例的显示设备200的应用图标控件界面显示示意图；

图6示出了根据一些实施例的显示设备显示视频缩略图场景示意图；

图7示出了根据另一些实施例的显示设备显示视频缩略图场景示意图；

图8示出了根据一些实施例的显示设备配置流程图；

图9示出了根据一些实施例的显示设备显示无效视频帧的场景示意图；

图10示出了根据一些实施例的显示设备配置流程图；

图11示出了根据一些实施例的显示设备的存储显示界面示意图；

图12示出了根据一些实施例的显示设备的存储路径示意图；

图13示出了根据一些实施例的显示设备的视频流文件的解码流程示意图；

图14示出了根据一些实施例的显示设备的视频流文件的解码流程示意图；

图15示出了根据一些实施例的显示设备的视频流文件的解码流程示意图；

图16示出了根据一些实施例的显示设备的有效视频帧示意图；

图17示出了根据一些实施例的显示设备的非异常像素点形成的位置区域示意图；

图18示出了根据一些实施例的显示设备播放视频文件场景示意图；

图19示出了根据一些实施例的显示设备配置流程图；

图20示出了根据一些实施例的显示设备获取候选关键帧场景示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

下面首先对本申请涉及的专业术语进行解释说明。

FFmpeg，是一套可以用来记录、转换数字音频、视频、并能将其转化为流的开源计算机程序，提供了录制、转换以及流化音视频的完整解决方案。FFmpeg可以采集视频采集卡或USB摄像头的图像、进行屏幕录制，转换视频格式以及视频截图。

图1为根据本申请一个或多个实施例的显示设备与控制装置之间操作场景的示意图，如图1所示，用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200，可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4为根据本申请一个或多个实施例的显示设备200中软件配置示意图，如图4所示，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

图5为根据本申请一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序，可以通过不同的信号源提供直播电视。视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。应用程序中心，可以提供储存各种应用程序。

相关技术中，显示设备对于选定的视频，通过FFmpeg程序截取指定时间的静态图或动态图作为视频缩略图。显示设备可在存储视频文件过程中，将视频缩略图作为视频文件的展示图标，也可在播放视频文件过程中，获取特定位置的视频缩略图以确定该位置的视频内容。

图6示例性示出了显示设备显示视频缩略图场景示意图，如图6所示，显示设备可以从本地存储中获取视频文件，也可以作为接收端(Sink端)接收从发送端(Source)发送的视频文件。发送端可以为服务器，也可以为外接设备。具体实现中，发送端与接收端之间，可以通过特定接口实现通信连接，从而传递数据；或者采用其他的连接方式，包括，有线的连接方式，如DVI(Digital Visual Interface)、VGA(Video Graphics Array)、USB(Universal Serial Bus)等，或者无线的连接方式，如无线局域网、蓝牙连接、红外连接等。当用户从服务器端或者本地存储中获取到视频文件后，用户将获取的视频文件存储到指定位置，以用户想要播放本地存储的视频文件为例，用户可以点击控制装置的“信号源”控件，进入到存储界面中，可以发现存储界面显示该视频文件的视频缩略图作为视频文件的展示图标，以使用户能够快速了解视频文件的内容。

图7示例性示出了另一实施例中显示设备显示视频缩略图场景示意图，如图7所示，当用户从服务器端或者本地存储中获取到视频文件后，用户通过控制装置双击视频文件，显示设备即对视频文件进行解析、解码以播放视频。显示设备的视频播放界面底部通常设置有隐藏进度条，在视频播放过程中，如果用户不在视频播放界面进行任何操作，显示设备不显示隐藏进度条，当用户通过控制装置对应的光标在视频播放界面底部移动时，显示设备显示进度条，用户可以获取进度条中光标对应位置的视频缩略图，便于用户快速了解光标对应位置的视频内容。需要说明的是，如图6、图7所示的显示设备显示视频缩略图的场景中，显示设备是通过FFmpeg程序获取视频缩略图。图8示例性示出了显示设备通过FFmpeg程序获取视频缩略图的流程示意图，如图8所示，用户向服务器端发送请求获取视频文件的控制指令，服务器响应于控制指令向显示设备发送已封装的视频文件，显示设备接收到已封装的视频文件后，对已封装的视频文件整体进行解析得到多个视频帧，再发送视频帧至解码器，并将解码后的视频帧发送至播放器作为视频缩略图。

相关技术中，显示设备通过FFmpeg程序获取视频缩略图的流程耗时长，同时，相关技术中，显示设备通过FFmpeg程序获取视频缩略图的过程也无法对视频帧的内容进行识别，导致用于作为视频缩略图的视频帧可能为黑帧、白帧等无效视频帧。

图9示例性示出了显示设备显示无效视频帧的场景示意图，如图9所示，视频开头通常设置有标题，主演名称等用于表明视频内容的文字或图像，显示设备常截取视频开头一段时间内的视频帧作为视频缩略图，例如，显示设备通过FFmpeg程序设置截取视频开头5秒-10秒内的任意一帧图像作为视频缩略图。然而，部分视频常设置为黑屏开场或者白屏开场，且现有显示设备通过FFmpeg程序获取视频缩略图的过程无法判断获取到的视频缩略图的具体内容，导致显示设备截取到的视频缩略图为黑帧或者白帧等无效帧，当用户点击控制装置的“信号源”控件，进入到存储界面中，可以发现存储界面显示该视频文件的视频缩略图作为视频文件的展示图标，但是展示图标为黑帧，无法判定视频是否可播放，也无法判定视频内容，因此相关技术中获取视频缩略图的方法无法向用户提供有效的视频识别信息。

为了解决相关技术中显示设备通过FFmpeg程序获取视频缩略图的耗时长，且当显示设备从解码后的视频帧中确定视频缩略图后，视频缩略图可能为黑帧、白帧等无法向用户提供有效视频识别信息的无效视频帧的问题，本申请一些实施例示出了一种显示设备，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

本申请一些实施例提供一种显示设备，包括显示器和控制器。本申请中的显示设备可以为平板电脑(portable android device，PAD)、个人数字处理(personal digitalassistant，PDA)、具有无线通信功能的手持设备、计算设备、车载设备或可穿戴设备，虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备等具有触控屏的移动终端或固定终端。本申请实施例中对显示设备的形态不做具体限定。

其中，显示器可以被配置为显示视频缩略图，控制器根据如图10所示的流程图配置为：接收用户发送的用于获取视频文件中视频缩略图的第一控制指令；响应于第一控制指令，根据第一标识获取视频流文件，其中，第一标识用于标识视频流文件可解析，视频流文件是从视频文件中解析得到的；视频流文件中包括至少一帧关键帧。

当用户通过控制装置在本地存储中获取视频文件时，用户通过存储路径进入视频文件的存储位置所在的显示界面查看视频文件，该显示界面中，视频文件可以以如图11所示文件名加视频封装格式的形式显示，如“倩*幽魂.mp4”，也可以文件名加展示图标的方式显示，显示设备通常用视频文件的视频缩略图作为视频文件的展示图标，用户进入显示界面查看视频文件的动作即可视为发送第一控制指令。

用户可以控制显示设备从本地存储、服务器或者外接设备中获取视频文件，视频文件中的视频封装格式可以包括但不限于为avi、flv、mov、wmv、mp4、asf、rmvb格式，以用户从本地存储中获取视频文件为例，用户通过如图12所示的“D盘：\下载”存储路径获取“倩*幽魂.mp4”文件。显示设备获取到视频文件后，需要对视频文件进行解析。

需要说明的是，显示设备中的视频文件以多媒体封装格式(MultimediaContainer Format，MCF)进行存储，其中，MCF是将已经编码压缩好的视频轨和音轨按照一定的格式放到一个视频文件中，一个视频文件可以包括一个视频流文件和一个音频流文件，也可以包括多个视频流文件和多个音频流文件。视频流文件在视频文件中以视频封装格式封装，音频流文件在视频文件中以音频封装格式封装。显示设备通常对视频流文件以及音频流文件同时进行解析以获取视频。

在一些实施例中，显示设备对视频流文件以及音频流文件分别进行解析。具体实现中，显示设备在视频流文件中标注第一标识，以及，在音频流文件中标注第二标识，其中，第一标识用于表征视频流文件可解析；第二标识用于表征视频流文件可跳过解析；根据第一标识以及第二标识解析视频文件，显示设备可以仅获取视频流文件。示例的，显示设备可以在获取到视频流文件以及音频流文件后，分别在视频流文件的文件头标注第一标识；以及在音频流文件的文件头标注第二标识。显示设备对视频流文件以及音频流文件进行解析时，当从视频流文件的文件头中解析到不忽略标识时，则继续对视频流文件进行解析，当从音频流文件的文件头中解析到确定忽略标识时，则跳过解析，以使显示设备仅对视频流文件进行解析。

由于现有显示设备通常对视频流文件以及音频流文件同时进行解析，因此整体解析过程耗时较长，采用本申请示出的技术方案，能够仅对视频流文件进行解析，减少解析过程一半耗时，加快解析流程。

显示设备对视频流文件解析后可以获得多个视频帧，视频帧包括多种类别，例如，关键帧(I帧)、差别帧(P帧)以及双向差别帧(B帧)，其中，关键帧为全帧压缩编码帧，可以将全帧图像信息进行压缩编码及传输，解码时仅用关键帧的数据即可重构完整图像；差别帧表示该帧与前一帧(关键帧或差别帧)的差别，解码时仅用之前缓存的画面叠加上本帧定义的差别，即可生成最终图像，差别帧没有完整的画面数据，只有与前一帧的差别数据，解码时必须将关键帧中的预测值与预测误差求和后才能重构完整的关键帧图像；双向差别帧是记录本帧与前后帧的差别，解码双向差别帧需要取得之前的缓存画面，以及解码之后的画面，通过前后画面与本帧数据的叠加得到最终的画面，双向差别帧以前面的关键帧或差别帧，以及后面的差别帧为参考帧，获取预测差值和运动矢量传送，根据运动矢量在两个参考帧中算出预测值并与差值求和，从而得到完整的双向差别帧。

不同的视频流文件具有不同的视频帧类别，部分视频流文件仅包含关键帧以及差别帧，示例的，对于仅包含关键帧以及差别帧的视频流文件，该视频流文件的解码流程如图13所示，当视频流文件中视频帧的排列顺序为I帧、P帧、P帧……时，其存储过程为：按照I帧、P帧、P帧……的顺序进行存储；其解码过程为：按照I帧、P帧、P帧……的顺序进行解码；其显示过程为：按照I帧、P帧、P帧……的顺序进行显示。

需要说明的是，对于仅包含关键帧以及差别帧的视频流文件，显示设备每完成一帧解码，即可通过解码器将该帧视频发送至解码缓存器(buffer)中，并获取解码后的数据。

部分视频流文件同时包含关键帧、差别帧以及双向差别帧，以视频流文件的格式为H.264为例,该视频流文件同时包含关键帧、差别帧以及双向差别帧，该格式视频文件的解码流程如图14所示，当视频流文件中视频帧的排列顺序为：I帧、B帧、P帧……时，其存储过程为：按照I帧、P帧、B帧……的顺序进行存储；其解码过程为：按照I帧、P帧、B帧……的顺序进行解码；其显示过程为：按照I帧、B帧、P帧……的顺序进行显示。该实施例示出的方案为相关技术的同时包含关键帧、差别帧以及双向差别帧的视频流文件的解码方式，该种方式中，显示设备完成一帧I帧的解码时,不能直接将该帧视频发送至解码缓存器中，而是需要等待B帧视频解码完成后，将B帧依赖的I帧，以及B帧发送至解码缓存器中。这种解码方式导致解码流程耗时过长。

在一些实施例中，当显示设备获取视频流文件后，显示设备需要从视频流文件中获取视频帧类别，视频帧类别包括：关键帧、差别帧以及双向差别帧的至少一种，获取视频帧类别后，根据预设的类别排序方式将视频帧进行排序，以使视频帧按照类别排序方式依次解码；其中，预设的类别排序方式为：按照关键帧、差别帧以及双向差别帧的顺序将视频帧进行排序。

具体的，以视频流文件的格式为H.264为例，如图15所示，当视频流文件中视频帧的排列顺序为：I帧、B帧、P帧……时，其存储过程为：按照I帧、B帧、P帧……的顺序进行存储；其解码过程为：其解码过程为：按照I帧、P帧、B帧……的顺序进行解码。由于视频缩略图仅显示单帧图片，因此显示设备仅将I帧视频作为视频缩略图显示；当显示设备完成一帧I帧的解码时，直接将该帧视频发送至解码缓存器中，而不继续对P帧、B帧视频解码。本实施例示出的技术方案可减少解码流程耗时。

在一些实施例中，显示设备可以从视频流文件中获取关键帧后将关键帧进行解码，得到已解码的关键帧。需要说明的是，当显示设备根据从视频流文件中获取到关键帧作为视频缩略图后，并不能直接显示视频缩略图，而是需要将该关键帧解码后将该关键帧作为视频缩略图显示。

由于显示设备已解码的关键帧可能为黑帧或者白帧等无效帧，因此，显示设备需要对关键帧的内容进行判别，以确保用户获取的关键帧作为的视频缩略图能够向用户提供有效的视频识别信息。

在一些实施例中，显示设备判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值内；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。

视频帧通常由多个像素点构成，每个像素点可以用多种特征值描述，例如：亮度值、色度值等，显示设备可以根据像素的特征值判断视频帧中的视频识别信息。

在一些实施例中，显示设备获取已解码的关键帧后，已解码的关键帧以YUV数据的形式存在。YUV是一种颜色编码方法，其中“Y”表示亮度值(Luminance)，也即灰阶值；“U”和“V”表示色度值(Chrominance)，能够描述影像色彩及饱和度，用于指定像素的颜色。

显示设备需要预设特征值阈值以确定显示设备的亮度值以及色度值是否在预设的特征值阈值范围内。由于视频帧的黑帧或者白帧为无效视频帧，因此，显示设备需要设置最高的亮度值范围以区分白帧，并设置最低的亮度值范围以区分黑帧。示例的，最高的亮度值范围y_max可以设置为大于250，最低的亮度值范围y_min可以设置为小于10。同时，由于色度值用色彩颜色表示，因此可以从视频帧中筛选出色度为“黑”的像素以区分黑帧，或者色度为“白”的像素以区分白帧。

需要注意的是，显示设备并不同时对最低的亮度值范围、最高的亮度值范围以及色度值进行筛选，显示设备择一作为第一筛选条件，以筛选出仅为黑帧或者仅为白帧的视频帧，避免将视频中同时带有黑色像素以及白色像素的视频帧筛选掉。

需要说明的是，本申请实施例中示出的特征值阈值仅为示例，实际设置中需要依据具体情况而设置，例如色度值中的色度包含很多层级，如“黑”、“深黑”、“浅黑”；如果显示设备仅将从视频帧中筛选出色度为“黑”的像素以区分黑帧，则显示设备可能将色度为“浅黑”的像素所在的视频帧提供给用户，导致用户看到的视频缩略图仍为黑帧。由于人眼仅对一定范围内的色彩进行辨别，因此，需要根据人眼的实际辨别能力对色度值进行设置，以确保用户观看的视频缩略图不为黑帧、白帧等无效视频帧。

在一些实施例中，显示设备获取关键帧中所有像素点的特征值；特征值用于描述像素点的特征，示例的，特征值可以为亮度值以及色度值。显示设备可以通过特征值判断断像素点是否为异常像素点，如果任一像素点的特征值不在特征值阈值范围内，则显示设备可以确定像素点为异常像素点；显示设备可以计算异常像素点在所有像素点中所占的百分比，以获得关键帧中特征值的概率值。示例的，以关键帧中具有10000个像素点为例，如果根据特征值阈值筛选出9000个像素点为异常像素点，则计算异常像素点在所有像素点中的百分比，即为90％，因此该实施例中关键帧的特征值的概率值为90％。

在一些实施例中，由于第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值内，示例的将预设阈值设置为大于80％，如果关键帧中特征值的概率值为90％，则该关键帧不符合第一筛选条件。

在一些实施例中，显示设备判断关键帧是否符合第一筛选条件的过程中，如果关键帧不符合第一筛选条件，获取下一帧关键帧进行解码、筛选，以最终获得符合筛选条件的视频缩略图。

需要说明的是，显示设备的预设阈值可以依据实际情况设置，如果将预设阈值的范围设置过大，可能导致部分无效视频帧未被筛选掉，如果将预设阈值的范围设置过小，可能筛选掉部分有效视频帧。

然而，显示设备通过预设阈值筛选无效视频帧的过程中，可能筛选掉如图16所示的具有较少视频识别信息的有效视频帧，因此，显示设备仅根据第一筛选条件筛选出的无效视频帧可能实际为有效视频帧，将此类有效视频帧筛掉可能导致视频缩略图无法显示含有视频标题的视频帧作为视频缩略图。

在一些实施例中，显示设备进一步设置了第二筛选条件，以判断视频帧中是否有有效的识别信息。第二筛选条件用于确认关键帧中非异常像素点形成的位置区域是否在视频帧中形成如图17所示的轴对称形状或者中心对称形状。具体实现中，显示设备获取所有非异常像素点的位置信息，根据非异常像素点的位置信息获取非异常像素点横坐标最小值、纵坐标最小值、横坐标最大值以及纵坐标最大值对应的坐标形成的位置区域，判断该位置区域的形状是否为轴对称形状或者中心对称形状，示例的，以视频帧为14000像素*9000像素的画幅为例，非异常像素点在坐标(5000，5000)、(5000，6000)、(7000，5000)、(7000，6000)处形成位置区域，且该区域为中心对称形状，因此，该区域可确定为包含标题等视频识别信息的有效视频帧，显示设备可将第二筛选条件筛选出来的有效视频帧确定为视频缩略图。

显示设备可以在从本地存储、服务器、或者外接设备中获取到视频缩略图以后，根据上述实施例示出的技术方案可以自动从视频文件中选取有效的视频缩略图作为展示图标，以使用户能够快速了解视频文件的内容。

由以上技术方案可知，本申请提供的一种显示设备，可以在接收用户发送的用于获取视频文件中视频缩略图的第一控制指令时，仅对视频流文件进行解析，从而降低解析过程的耗时，在解析后对视频流文件的关键帧进行解码，以获取关键帧作为视频缩略图，同时根据第一筛选条件判断关键帧中特征值的概率值是否在预设阈值内，以确定关键帧是否为无效视频帧。因此，本申请实施例示出的技术方案，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

用户了解视频文件的内容以播放视频后，用户可以通过控制装置对应的光标在进度条上移动，以获取光标对应位置的视频缩略图，便于用户快速了解光标对应位置的视频内容。

图18示例性示出了显示设备播放视频文件场景示意图，如图18所示，显示设备播放视频文件过程中，播放位置1为当前用户正在观看的视频进度，缓存位置2为显示设备已缓存的视频进度，快进位置3为用户期待预览的视频进度，用户在显示设备播放视频过程中，出于调节视频进度的目的，通过控制装置控制的光标移动至视频文件进度条的特定位置以预览该位置的视频缩略图，使用户能够快速了解该特定位置的视频内容。

以视频时长为45分钟，播放位置1为5分钟，缓存位置2为25分钟，快进位置3为30分钟为例，用户移动光标至快进位置3，期待预览该位置的视频缩略图。由于该位置尚未缓存，因此，显示设备存在无法显示该位置的关键帧作为视频缩略图或者显示该位置之前的已缓存的关键帧作为视频缩略图的情况。

基于此，本申请一些实施例还提供一种显示设备，包括，显示器和控制器。显示器可以被配置为显示视频缩略图，控制器根据如图19所示的流程图配置为：接收用户发送的用于获取视频文件中视频缩略图的第一控制指令；响应于第一控制指令，根据第一标识获取视频流文件，第一标识用于表征视频流文件可解析，视频流文件为从视频文件中解析得到；视频流文件中包括至少一帧关键帧。

需要说明的是，第一控制指令的获取方式以及获取视频流文件的方式在前述实施例中已说明，在此不做详述。

在一些实施例中，显示设备接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令；响应于第二控制指令，获取视频流文件的文件格式；如果视频流的文件格式不为传送流格式，执行获取视频流文件中当前关键帧的步骤；如果视频流的文件格式为传送流格式，执行获取视频流文件中的当前视频帧的步骤。

需要说明的是，本申请实施例示出的视频流文件的文件格式不限于进行传送流格式和非传送流格式的划分，对于任何可直接获取视频帧的文件格式，对该类文件格式的操作方式均与传送流格式文件的操作方式相同，对于任何不可直接获取视频帧，仅能获取关键帧的视频格式，对该类文件的操作方式与mp4、avi等不可直接获取视频帧的文件格式的操作方式相同。

在一些实施例中，显示设备接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令；响应于第二控制指令，获取视频流文件的文件格式；当视频流的文件格式不为传送流格式时，获取视频流文件中的当前关键帧；判断当前关键帧的当前时间点是否为特定时间点；如果当前时间点为特定时间点，执行将关键帧进行解码的步骤；其中，关键帧为当前关键帧。

显示设备通过控制装置在视频文件进度条处进行快进/快退操作即可视为发送第二控制指令，以用户快进至快进位置3为例，显示设备请求获取快进位置3的当前关键帧，由于显示设备当前可能并未缓存至快进位置3，显示设备可能默认将缓存末端位置的关键帧提供给用户，示例的，快进位置3为30分钟，缓存末端位置的关键帧为25分钟，显示设备提供25分钟处的关键帧给用户作为快进位置3处的当前关键帧，导致获取的关键帧与实际的关键帧不符。因此，显示设备需要判断显示设备获取的当前关键帧的当前时间点是否为特定时间点，如果当前时间点是特定时间点，确定当前关键帧可以作为视频缩略图。

图20示例性示出了显示设备获取候选关键帧场景示意图，如图20所示，如果当前时间点不为特定时间点，显示设备在当前时间点至特定时间点形成的时间段内进行遍历，以判断是否存在至少一个候选关键帧；如果不存在至少一个候选关键帧，则将当前关键帧确定为视频缩略图；如果存在至少一个候选关键帧，获取至少一个候选关键帧的候选时间点，确定距离特定时间点最近的候选时间点对应的候选关键帧，将距离特定时间点最近的候选时间点对应的候选关键帧确定为视频缩略图。

具体实现中，显示设备请求获取快进位置3的关键帧，快进位置3为30分钟，当前时间点为26分钟，由于获取到的当前关键帧与快进位置3的关键帧位置差距过大，因此获取的关键帧十分不准确。因此，显示设备在26分钟-30分钟的时间段内进行遍历，判断在此时间段内是否存在关键帧，如果不存在关键帧，则将当前关键帧确定为视频缩略图，如果在该时间段内仅存在一帧候选关键帧，则将该候选关键帧确定为视频缩略图，如果在28分钟、29分钟分别存在两帧候选关键帧，则将距离特定时间点最近的候选关键帧(即29分钟的候选关键帧)确定为视频缩略图。

需要说明的是，对于部分视频文件格式，显示设备默认设置为用户只能快进/快退至关键帧位置，如果用户将光标移动至非关键帧位置，则默认将光标移动至离非关键帧光标最近的关键帧位置。示例的，用户将光标移动至快进位置3，快进位置3为30分钟，如果快进位置3恰好为关键帧位置，则将光标停留至该位置，如果快进位置3为差别帧位置，在29分钟处存在一关键帧，在32分钟处存在另一关键帧，则光标默认停留在29分钟的关键帧处，显示该关键帧作为视频缩略图。

在一些实施例中，显示设备接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令；响应于第二控制指令，获取视频流文件的文件格式，如果视频流的文件格式为传送流格式，获取视频流文件中的当前视频帧；视频帧为根据视频流文件解码获得；判断当前视频帧是否为关键帧；如果当前视频帧为关键帧，将当前视频帧确定为视频缩略图；如果当前视频帧不为关键帧，以当前视频帧为中心遍历当前视频帧两侧的关键帧，将当前视频帧两侧的关键帧中距离当前视频帧最近的关键帧确定为视频缩略图。

需要说明的是，对于部分视频文件格式，例如：传送流(TransportStream，Ts)格式；显示设备可以快进/快退至任意视频帧位置，当显示设备快进至差别帧或者双向差别帧时，可能出现解码失败或者花屏的情况，因此显示设备需要对当前视频帧的类别进行判断。示例的，快进位置3为30分钟，如果该位置的当前视频帧恰好为关键帧，则将该位置的当前视频帧确定为视频缩略图；如果该位置的当前视频帧不为关键帧，从该位置向两侧遍历到29分钟位置以及32分钟位置为关键帧，则将29分钟位置的关键帧确定为距离当前视频帧最近的关键帧，以作为视频缩略图。

在一些实施例中，用户想要获取视频文件第30分钟的视频缩略图，由于视频文件的时间点是从0开始计算的，而第一帧视频的显示时间戳(PTS)可能并不为0，因此，在一些实施例中，显示设备将实际获取视频缩略图的时间点从0开始计算导致获取的视频缩略图不准确，因此，将实际获取视频缩略图的特定时间点确定为第一帧的显示时间戳加上用户设置的特定时间点。

具体实现中，以特定时间点为30分钟为例，用户想要获取第30分钟特定关键帧的视频缩略图，其实际应为第一帧至特定关键帧的时间段为30分钟，然而，由于第一帧的显示时间戳为1分钟，则实际获取到的特定关键帧的时间段为29分钟，获取到的缩略图并不准确，因此，当用户想要获取第30分钟特定关键帧的视频缩略图时，显示设备默认获取的实际特定时间点为第一帧的显示时间戳加上用户设置的特定时间点。

在一些实施例中，将关键帧进行解码，得到已解码的关键帧。当显示设备根据上述实施例示出的技术方案获取到关键帧作为视频缩略图后，并不能直接显示视频缩略图，而是需要将该关键帧解码后显示。

显示设备已解码的关键帧的内容可能并非为有效内容，因此，显示设备需要对关键帧的内容进行判别，以确保用户获取的视频关键帧为有效帧。

在一些实施例中，显示设备判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值是否在预设阈值范围内；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。在一些实施例中，显示设备获取关键帧中所有像素点的特征值；特征值包括亮度值以及色度值；如果任一像素点的特征值不在特征值阈值范围内，确定像素点为异常像素点；计算异常像素点在所有像素点中所占的百分比，以获得关键帧中特征值的概率值。该实施例中的显示设备判断关键帧是否符合第一筛选条件的方法可以参阅前述实施例中的具体实现方法，在此不予详述。

需要说明的是，由于视频快进/快退过程中，用户通常不需要获取视频开头的视频缩略图，因此，本实施例中无需设置第二筛选方式以对视频缩略图进行进一步筛选。在显示设备获取视频缩略图的过程中，用户更需要获取有效的视频识别内容，因此，显示设备可以将预设阈值设置为大于90％，以仅用于筛选掉黑帧或白帧等无效视频帧。

由以上技术方案可知，本申请提供的一种显示设备，可以在接收用户发送的用于获取视频文件中视频缩略图的第一控制指令时，仅对视频流文件进行解析，从而降低解析过程的耗时，并在接收到用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令，以获取视频流文件中的当前关键帧或者当前视频帧，进而对当前关键帧或者当前视频帧进行判别，并确定最适合作为视频缩略图的关键帧，以使用户可以获取最准确的视频缩略图，确定最适合作为视频缩略图的关键帧后，对关键帧进行解码，以获取关键帧作为可显示的视频缩略图，同时根据第一筛选条件判断关键帧中特征值的概率值是否在预设阈值内，以确定关键帧是否为无效视频帧。因此，本申请实施例示出的技术方案，能够快速、准确的获取能够向用户提供有效视频识别信息的视频缩略图，提高用户体验。

本申请实施例还提供了一种缩略图显示方法，该方法包括：获取视频流文件，视频流文件为从视频文件中解析得到；视频流文件中包括至少一帧关键帧；将关键帧进行解码，得到已解码的关键帧；关键帧为视频流文件解码获得的视频帧的类别；判断关键帧是否符合第一筛选条件，第一筛选条件用于确定关键帧中特征值的概率值；如果关键帧符合第一筛选条件，将关键帧确定为视频缩略图。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；被配置为显示视频缩略图；

控制器，被配置为：

接收用户发送的用于获取视频文件中视频缩略图的第一控制指令；

响应于所述第一控制指令，根据第一标识获取视频流文件，所述视频流文件为从所述视频文件中解析得到；所述视频流文件中包括至少一帧关键帧；所述第一标识用于表征所述视频流文件可解析；

将所述关键帧进行解码；所述关键帧为所述视频流文件解码获得的视频帧的类别；

判断所述关键帧是否符合第一筛选条件，所述第一筛选条件用于确定所述关键帧中特征值的概率值是否在预设阈值内；

如果所述关键帧符合第一筛选条件，将所述关键帧确定为视频缩略图。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在根据第一标识获取视频流文件的步骤中，获取视频文件的存储路径，所述视频文件为从本地存储或者服务器中获取到的；

从所述视频文件的存储路径中解析所述视频文件，以得到所述视频文件的音频流文件以及视频流文件；

在所述视频流文件中标注第一标识，以及，在所述音频流文件中标注第二标识，其中，所述第一标识用于表征所述视频流文件可解析；所述第二标识用于表征所述音频流文件可跳过解析；

根据所述第一标识以及所述第二标识解析所述视频文件，以获取所述视频流文件。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在将所述关键帧进行解码的步骤之前，接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令；

响应于所述第二控制指令，获取所述视频流文件中的当前关键帧；

判断所述当前关键帧的当前时间点是否为所述特定时间点；

如果所述当前时间点为所述特定时间点，执行将所述关键帧进行解码的步骤；其中，所述关键帧为所述当前关键帧。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在判断所述当前关键帧的当前时间点是否为所述特定时间点的步骤中，如果所述当前时间点不为所述特定时间点，在所述当前时间点至所述特定时间点形成的时间段内进行遍历，以判断是否存在至少一个候选关键帧；

如果不存在所述至少一个候选关键帧，执行将所述关键帧进行解码的步骤；其中，所述关键帧为所述当前关键帧；

如果存在所述至少一个候选关键帧，获取至少一个候选关键帧的候选时间点，确定距离所述特定时间点最近的候选时间点对应的候选关键帧，执行将所述关键帧进行解码的步骤，其中，所述关键帧为距离所述特定时间点最近的候选时间点对应的所述候选关键帧。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在将所述关键帧进行解码的步骤之前，接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令；

响应于所述第二控制指令，获取所述视频流文件中的当前视频帧；所述视频帧为根据所述视频流文件解码获得；

判断所述当前视频帧是否为所述关键帧；

如果所述当前视频帧为所述关键帧，执行将所述关键帧进行解码的步骤；其中，所述关键帧为所述当前视频帧；

如果所述当前视频帧不为所述关键帧，以所述当前视频帧为中心遍历所述当前视频帧两侧的所述关键帧，执行将所述关键帧进行解码的步骤，其中，所述关键帧为当前视频帧两侧的关键帧中距离所述当前视频帧最近的关键帧。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在将所述关键帧进行解码的步骤之前，从所述视频流文件中获取视频帧类别，所述视频帧类别包括关键帧、差别帧以及双向差别帧；

根据预设的类别排序方式将所述视频帧进行排序，以使所述视频帧按照所述类别排序方式依次解码；其中，所述预设的类别排序方式为：按照关键帧、差别帧以及双向差别帧的顺序将所述视频帧进行排序。

7.根据权利要求1所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在判断所述关键帧是否符合第一筛选条件的步骤中，获取所述关键帧中所有像素点的特征值；所述特征值包括亮度值以及色度值；

如果任一所述像素点的特征值不在特征值阈值范围内，确定所述像素点为异常像素点；

计算所述异常像素点在所有像素点中所占的百分比，以获得所述关键帧中特征值的概率值。

8.根据权利要求3-5任一项所述的显示设备，其特征在于，所述控制器，被进一步配置为：

在接收用户发送的用于获取视频流文件中特定时间点视频缩略图的第二控制指令的步骤中，获取所述视频流文件的文件格式；

如果所述视频流的文件格式为传送流格式，执行获取所述视频流文件中的当前视频帧的步骤；

如果所述视频流的文件格式不为传送流格式，执行获取所述视频流文件中当前关键帧的步骤。

9.一种视频缩略图获取方法，其特征在于，包括：

根据第一标识获取视频流文件，所述视频流文件为从所述视频文件中解析得到；所述视频流文件中包括至少一帧关键帧；所述第一标识用于表征所述视频流文件可解析；

将所述关键帧进行解码；所述关键帧为所述视频流文件解码获得的视频帧的类别；

判断所述关键帧是否符合第一筛选条件，所述第一筛选条件用于确定所述关键帧中特征值的概率值是否在预设阈值内；

如果所述关键帧符合第一筛选条件，将所述关键帧确定为视频缩略图。

10.根据权利要求9所述的视频缩略图获取方法，其特征在于，包括：

在根据第一标识获取视频流文件的步骤中，获取视频文件的存储路径，所述视频文件为从本地存储或者服务器中获取到的；

从所述视频文件的存储路径中解析所述视频文件，以得到所述视频文件的音频流文件以及视频流文件；

在所述视频流文件中标注第一标识，以及，在所述音频流文件中标注第二标识，其中，所述第一标识用于表征所述视频流文件可解析；所述第二标识用于表征所述音频流文件可跳过解析；

根据所述第一标识以及所述第二标识解析所述视频文件，以获取所述视频流文件。

Images