CN102625155B - 一种视频关键帧展示方法和系统 - Google Patents

Abstract

本发明公开了一种视频关键帧展示方法和系统，首先提取所有关键帧，建立关键帧序列与视频内容之间的对应关系，存储到数据库中，设定一个预设值，将所有关键帧按照顺序拼合成大图，每个大图按照顺序填充不多于预设值的关键帧，将大图按照顺序确定一个地址，写入存储设备中，客户端通过应用服务器从数据库取得关键帧序列、预设值和大图地址顺序的信息，客户端确定关键帧所在的大图的地址，以获取对应的大图，再对大图进行解析，展示关键帧。采用了本发明的技术方案，能够减少对存储空间的占用，降低服务器带宽和负载压力，提升用户体验。

Description

一种视频关键帧展示方法和系统

技术领域

本发明涉及多媒体视频技术领域，尤其涉及一种视频关键帧展示方法和系统。

背景技术

由于视频文件持续时间长，所含内容丰富，当前技术领域通过各种手段来对视频的关键画面进行提取，来达到对长视频进行画面索引的目的。视频的关键帧通常都根据视频画面的内容变化而进行自动提取，这些画面能够反映视频的关键性场景，用户能够通过关键帧画面快速预览整个视频的主要内容，并可以通过关键帧来进行视频内容的快速定位。

如表1所示，一个视频关键帧提取后的通常对应关系，关键帧提取系统会自动在场景变化的时间点提取出当时的关键帧图片，并同时记录这一关键帧所处的时间位置。关键帧图片跟视频时间点是一一对应关系，关键帧提取的相应系统会保存这一数据。

                            表 1

关键帧图片	对应视频的播放时间（毫秒单位）
		目录/345.jpg	345
目录/5100.jpg	5100
		目录/10040.jpg	10040
目录/15710.jpg	15710
		目录/62123.jpg	62123
……	……
		目录/124987.jpg	124987

由于视频的关键帧识别取决于视频内容本身，在一个内容场景变化频繁的长视频中（例如在一个发生频繁变换场景的电影中），其关键帧数量会被提取的比较多，而在一个基本场景不变的画面中（例如整段视频基本都是播音员坐在固定位置念新闻稿），关键帧图片则会提取的非常少。

这些关键帧图片往往会随同视频一起关联展现给用户，它帮助用户快速了解整个视频的主要内容，可以用于画面搜索、内容审查等多种场合。

在现有技术方案中，展示这些关键帧图片并不采用任何特殊手段处理，将每一张关键帧图片作为一个独立的文件，各自存储分别展示。在客户端从服务器端获取关键帧的时候，往往要获取一大批关键帧图片的地址，然后分别去请求每一个图片用于展示。由于关键帧图片本身的数量原因——除了极少数场景变化小的视频内容关键帧较少之外，一般视频的关键帧数量较多，一个1小时长度的视频，其关键帧图片数量能达到一百多，这一因素给当前的技术方案造成了如下两个关键性缺点：

1、由于过于零碎的小文件会造成较大存储空间浪费，在Windows\Linux等操作系统的文件系统中，一个小文件其自身大小虽然较小，但会占据许多额外的磁盘空间，而关键帧图片往往尺寸较小（多为小尺寸图片文件，往往只有几十KB字节大小），海量的关键帧图片会对磁盘空间造成极大浪费，同时文件数量过多增大系统维护成本。在一个100万小时的视频系统中，其关键帧图片的数量可能就达到亿数量级甚至更高规模。

2、客户端要显示这些关键帧图片需要向服务端发起大量的小图片的访问请求，例如一个视频的关键帧有100个，则在浏览这个视频的时候，仅仅为显示关键帧图片客户端便需要向服务端发起100个HTTP请求，才能够显示这些关键帧。过多的HTTP请求会在客户端造成请求排队现象——即受限于客户端的HTTP并发数量，会需要依次读取图片，耗时较长，带来不好的用户体验，同时过多的零碎小图片请求，也会增加服务器端的性能消耗。

发明内容

本发明的目的在于提出一种视频关键帧展示方法和系统，能够减少对存储空间的占用，缩减客户端向服务器的请求数量，降低服务器带宽和负载压力，以更快的速度展示数量庞大的关键帧图片，提升用户体验。

为达此目的，本发明采用以下技术方案：

一种视频关键帧展示方法，包括以下步骤：

A、提取视频内容的所有关键帧，建立所有关键帧序列与所在视频内容之间的对应关系，并存储到数据库中；

B、设定一个预设值；

C、将所有关键帧按照顺序拼合成不少于1个的大图，每个大图按照顺序填充不多于预设值的关键帧；

D、将拼合的大图按照顺序确定一个地址，写入存储设备中；

E、当客户端需要展示视频内容的关键帧时，客户端通过应用服务器从数据库取得关键帧序列，并从应用服务器获取预设值和大图地址顺序的信息；

F、客户端根据关键帧序列、预设值和大图地址顺序的信息进行运算，确定关键帧所在的大图的地址；

G、客户端通过图片服务器从存储设备获取对应的大图；

H、客户端对大图进行解析，展示关键帧序列对应的关键帧。

步骤A中，所有关键帧序列与视频内容的时间点位置或者帧数对应。

步骤B中，预设值根据大图的大小需要设置。

步骤C中，大图中关键帧的排列是矩阵的或者正方形的。

步骤D中，大图的地址包括预先设定的路径和顺序数值的文件名。

步骤H中，根据大图中关键帧的像素点坐标解析出关键帧序列对应的关键帧。

一种视频关键帧展示系统，包括关键帧提取设备、数据库、应用服务器、关键帧整合模块、存储设备、图片服务器和客户端，客户端包括图片解析模块，关键帧提取设备、数据库、应用服务器和客户端依次连接，关键帧提取设备、关键帧整合模块、存储设备、图片服务器和客户端依次连接，其中，

关键帧提取设备用于从视频内容中提取关键帧，设置关键帧序列和视频内容的对应关系，并发送给数据库；

数据库用于存储关键帧序列和视频内容的对应关系，并向应用服务器提供；

应用服务器用于接收数据库发送的关键帧序列和视频内容的对应关系，并存储关键帧拼合成大图的信息，提供给客户端；

关键帧整合模块用于将关键帧拼合成大图，确定大图的地址，并发送给存储设备；

存储设备用于按照大图的地址存储大图，并提供给图片服务器；

图片服务器用于从客户端获取大图地址，从存储设备接收大图；

客户端用于选择关键帧序列，并根据应用服务器提供的关键帧拼合成大图的信息，获得大图地址，从图片服务器获取大图，其中图片解析模块用于将大图解析成关键帧，在客户端展示。

采用了本发明的技术方案，通过将视频关键帧的大量零碎图片按照特定的规则进行整合存储、传输、展示，解决在以往视频关键帧图片处理方式上大量零碎文件造成的存储问题；大幅缩减客户端向服务器的请求数量，降低服务器带宽和负载压力；提升用户体验，以更快的速度展示数量庞大的关键帧图片。

附图说明

图1是本发明具体实施方式中视频关键帧展示系统结构示意图。

图2是本发明具体实施方式中视频关键帧展示流程图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

图1是本发明具体实施方式中视频关键帧展示系统结构示意图。如图1所示，该视频关键帧展示系统包括关键帧提取设备101、数据库102、应用服务器103、关键帧整合模块104、存储设备105、图片服务器106和客户端107，客户端包括图片解析模块108。

关键帧提取设备、数据库、应用服务器和客户端依次连接，关键帧提取设备、关键帧整合模块、存储设备、图片服务器和客户端依次连接。

关键帧提取设备从视频内容中提取关键帧，设置关键帧序列和视频内容的对应关系，并发送给数据库。

数据库存储关键帧序列和视频内容的对应关系，并向应用服务器提供。

应用服务器接收数据库发送的关键帧序列和视频内容的对应关系，并存储关键帧拼合成大图的信息，提供给客户端。

关键帧整合模块将关键帧拼合成大图，确定大图的地址，并发送给存储设备。

存储设备按照大图的地址存储大图，并提供给图片服务器。

图片服务器从客户端获取大图地址，从存储设备接收大图。

客户端选择关键帧序列，并根据应用服务器提供的关键帧拼合成大图的信息，获得大图地址，从图片服务器获取大图，其中图片解析模块将大图解析成关键帧，在客户端展示。

图2是本发明具体实施方式中视频关键帧展示流程图。如图2所示，该视频关键帧展示流程包括以下步骤：

步骤201、提取视频内容的所有关键帧，建立所有关键帧序列与所在视频内容之间的对应关系，并存储到数据库中。

所有关键帧序列与视频内容的时间点位置或者帧数对应。例如视频内容A的关键帧序列为351,981,1234……6573269，6761299。序列中的每一个数字代表提取关键帧的时间点位置（毫秒、秒、分、画面帧数等均可，根据业务系统配置而定）。

步骤202、设定一个预设值，这个预设值是一个阈值α。

由于图片整合是为了避免关键帧过于零碎，但不适合将过多的关键帧整合到一个大图文件里，避免一张大图过于庞大，因此要设定一个阀值α来确定一个整合的大图文件中包含的最大关键帧数量，也就是说该预设值根据大图的大小需要设置。

步骤203、将所有关键帧按照顺序拼合成不少于1个的大图，每个大图按照顺序填充不多于预设值的关键帧。

关键帧整合模块首先根据α的值来确定视频内容计划生成的图片数量，假设新的大图依次为γ1、γ2、γ3、…γn，按照顺序将关键帧序列分配到每一个新的大图γ中。例如α为64，总数量为200，则第1-64张关键帧会分配到γ1,65-128张关键帧分配到γ2,依次类推。

在一个新的大图中，将各个关键帧按照特定的次序排列，形成一个矩阵，当α为一个平方数时，按照α的平方根来组织这个矩阵，假设关键帧只有15个，则在最后一个位置留空，当关键帧总数超过α时，则会按照多个大图来组织。

步骤204、将拼合的大图按照顺序确定一个地址，写入存储设备中。

在存储设备中，根据规则来构造大图片的地址url，大图的地址包括预先设定的路径和顺序数值的文件名，例如我们约定视频ID为100的内容其关键帧存储url应该为http://www.example.com/keyframe/100/1.jpg，若有两张大图是，则为http://www.example.com/keyframe/100/2.jpg。显然，这一规则是可以灵活定义的。

步骤205、当客户端需要展示视频内容的关键帧时，客户端通过应用服务器从数据库取得关键帧序列，并从应用服务器获取预设值和大图地址顺序的信息；

步骤206、客户端根据关键帧序列、预设值和大图地址顺序的信息进行运算，确定关键帧所在的大图的地址。

步骤207、客户端通过图片服务器从存储设备获取对应的大图。客户端向图片服务器请求这些图片，由于关键帧图片数量大为减少，传输性能将得到大幅提升。

步骤208、客户端对大图进行解析，展示关键帧序列对应的关键帧。本步骤是根据大图中关键帧的像素点坐标解析出关键帧序列对应的关键帧。

即只需要了解每一个关键帧序列在整个大图中的像素点（相当于坐标位置）中的分布情况。例如步骤203举例的一张大图共包含15张小图，由于关键帧的图片尺寸是相等的，假设关键帧是50*50像素的图片，客户端就能了解到坐标a(0,0)，到坐标b（50,50）之间是第一张关键帧，依次同理。可以分别从不同的像素点定位来显示对应的图片。事实上，在现在的各类技术实现的终端之上，图片解析模块并不需要物理上重新生成多张图片，而只需要进行显示定位便可以实现多张图片的独立显示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种视频关键帧展示方法，其特征在于，包括以下步骤：

A、提取视频内容的所有关键帧，建立所有关键帧序列与视频内容的时间点位置之间的对应关系，序列中的每一个数字代表提取关键帧的时间点位置，并存储到数据库中；

B、设定一个预设值，所述预设值根据大图的大小需要设置；

C、将所有关键帧按照顺序拼合成不少于1个的大图，每个大图按照顺序填充不多于预设值的关键帧；大图中关键帧的排列是矩阵的或者正方形的；

D、将拼合的大图按照顺序确定一个地址，大图的地址包括预先设定的路径和顺序数值的文件名，将大图的地址写入存储设备中；

E、当客户端需要展示视频内容的关键帧时，客户端通过应用服务器从数据库取得关键帧序列，并从应用服务器获取预设值和大图地址顺序的信息；

F、客户端根据关键帧序列、预设值和大图地址顺序的信息进行运算，确定关键帧所在的大图的地址；

G、客户端通过图片服务器从存储设备获取对应的大图；

H、客户端对大图进行解析，根据大图中关键帧的像素点坐标解析出关键帧序列对应的关键帧，展示关键帧序列对应的关键帧。

2.一种视频关键帧展示系统，其特征在于，包括关键帧提取设备、数据库、应用服务器、关键帧整合模块、存储设备、图片服务器和客户端，客户端包括图片解析模块，关键帧提取设备、数据库、应用服务器和客户端依次连接，关键帧提取设备、关键帧整合模块、存储设备、图片服务器和客户端依次连接，其中，

关键帧提取设备用于从视频内容中提取关键帧，设置所有关键帧序列与视频内容的时间点位置的对应关系，序列中的每一个数字代表提取关键帧的时间点位置，并发送给数据库；

数据库用于存储关键帧序列和视频内容的对应关系，并向应用服务器提供；

应用服务器用于接收数据库发送的关键帧序列和视频内容的对应关系，并存储关键帧拼合成大图的信息，提供给客户端；

关键帧整合模块用于将关键帧拼合成大图，设定一个预设值，所述预设值根据大图的大小需要设置；将所有关键帧按照顺序拼合成不少于1个的大图，每个大图按照顺序填充不多于预设值的关键帧；大图中关键帧的排列是矩阵的或者正方形的；确定大图的地址，大图的地址包括预先设定的路径和顺序数值的文件名，并发送给存储设备；

存储设备用于按照大图的地址存储大图，并提供给图片服务器；

图片服务器用于从客户端获取大图地址，从存储设备接收大图；

客户端用于选择关键帧序列，并根据应用服务器提供的关键帧拼合成大图的信息，获得大图地址，从图片服务器获取大图，其中图片解析模块用于将大图解析成关键帧，根据大图中关键帧的像素点坐标解析出关键帧序列对应的关键帧，在客户端展示。