CN101443849B

CN101443849B - 视频浏览用户界面

Info

Publication number: CN101443849B
Application number: CN2007800171836A
Authority: CN
Inventors: D·特雷特; T·张; S·维道森
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2006-05-12
Filing date: 2007-05-11
Publication date: 2011-06-15
Anticipated expiration: 2027-05-11
Also published as: EP2022054A2; JP2009537047A; US20070266322A1; WO2007133668A3; WO2007133668A2; CN101443849A

Abstract

本发明涉及一种用于浏览视频的示例性系统(100)，其包括用于存储多个视频的存储器，用于访问视频的处理器(150)，以及使用户能够浏览视频的视频浏览用户界面。用户界面被配置为可在显示屏幕(110)上进行多种状态下的视频浏览，包括用来显示视频的静态表示的第一状态、用来显示视频动态表示的第二状态和用来播放选定视频的至少一部分的第三状态。

Description

视频浏览用户界面

背景技术

数字视频流可以被划分为几个称作场景(scenes)的逻辑单元，其中每个场景包括若干个镜头(shots)。视频流中的镜头是指摄影机无间断获得的一系列视频帧。视频内容浏览通常是基于镜头分析的。

例如，一些现有系统通过分析视频中的镜头来提取出代表镜头的关键帧。提取出来的关键帧就可用来代表视频的摘要。关键帧提取技术不一定必须依赖镜头。比如，关键帧提取技术可以不用分析视频的内容而从每预定数量的帧之中提取出一帧。或者，关键帧提取技术可以是高度依赖于内容的。比如，分析每帧(或选定帧)的内容，然后基于内容分析的结果将内容的分数指定给这些帧。之后，那些被指定的分数可能用来只提取分数高于阈值的帧。

不管采用何种关键帧提取技术，被提取的关键帧通常是用作视频的静态摘要(或情节串连图板)。例如，在视频的典型菜单中，通常将各种静态帧显示给用户来实现场景选择。当用户选择这些静态帧中的一个静态帧时，视频播放器自动跳到该静态帧代表的场景的开始处。

视频的一维情节串连图板或摘要通常需要大量关键帧在同一时间显示，以充分地代表整个视频。因而这种类型的视频浏览需要大的显示屏幕，而对于小屏幕显示(比如，PDA)来说并不实际，并且，通常不允许用户在同一时间浏览多个视频(比如，决定看哪个视频)。

一些现有的系统可能允许用户在同一屏幕上观看多个视频的静态缩略(thumbnail)表示。但是，如果用户希望浏览任何一个视频的内容，他或她通常必须选择其中一个视频(通过选择缩略图像)，并要航行到下一个显示窗口(代替有缩略图的窗口)来观看该视频的静态帧(比如，关键帧)。

因此，市场需要使用户能够更容易地在一个显示屏幕上浏览多个视频的视频浏览用户界面。

发明内容

一种用于浏览视频的示例性系统，其包括用于存储多个视频的存储器、用于访问视频的处理器和使用户能够浏览视频的视频浏览用户界面。用户界面被配置为使得能够在一个显示屏幕上进行在多种状态下的视频浏览，包括用来显示该视频的静态表示的第一状态、用来显示该视频的动态表示的第二状态和用来播放选定视频的至少一部分的第三状态。

一种用于产生视频浏览用户界面的示例性方法，其包括：获得多个视频，获得每个视频的关键帧，从每个视频的相应关键帧中选择该视频的静态表示，获得每个视频的动态表示，并基于所述静态表示、所述动态表示以及所述视频生成视频浏览用户界面，使用户能够在显示屏幕上浏览所述多个视频。

下面还描述了其他实施例和实施方式。

附图说明

图1表示用于显示示例性视频浏览用户界面的示例性计算机系统。

图2表示示例性视频浏览用户界面的示例性第一状态。

图3表示示例性视频浏览用户界面的示例性第二状态。

图4表示示例性视频浏览用户界面的示例性第三状态。

图5表示产生示例性视频浏览用户界面的示例性过程。

具体实施方式

I、概述

第II部分描述了用于示例性视频浏览用户界面的示例性系统。

第III部分描述了示例性视频浏览用户界面的示例性状态。

第IV部分描述了用于生成示例性视频用户界面的示例性过程。

第V部分描述了示例性计算环境。

II、示例性视频浏览用户界面的示例性系统

图1表示用于实现示例性视频浏览用户界面的示例性计算机系统100。系统100包括显示装置110、控制器120和用户输入界面130。显示装置110可以是计算机监视器、电视机屏幕或其他任何可以显示视频浏览用户界面供用户观看的显示装置。控制器120包括存储器140和处理器150。

在示例性实施方式中，存储器140可用于存储多个视频、视频的关键帧、每个视频的静态表示(比如，代表性图像)、每个视频的动态表示(比如，幻灯片放映)和/或其他与视频相关的数据，其中的一些或全部可用于视频浏览用户界面来加强视频浏览体验。此外，存储器140可用作存储和处理经由网络(比如，因特网)接收的流式视频的缓冲器。在另一个示例性实施例中(未示出)，可实现附加的、控制器120可访问的外部存储器来存储一些或全部上述数据。

处理器150可以是CPU、微处理器、或任何可以访问存储器140(或其他外部存储器，如，经由网络访问远程服务器处的外部存储器)的计算装置，上述访问基于经由用户输入界面130接收的用户输入。

用户输入界面130可以实现为通过键盘、鼠标、操纵杆、麦克风、或其他任何输入装置接收来自用户的输入。处理器150可接收用户输入以激活视频浏览用户界面的不同状态。

控制器120可以在终端计算机装置(比如，PDA、能用作计算机的(computer-enabled)电视机、个人计算机、膝上型计算机、DVD播放器、数字家庭娱乐中心等)中或网络上的服务器计算机中实现。

系统100的一些或全部各种组件可位于本地或位于网络和/或分布式环境中的不同位置。

III、示例性视频浏览用户界面

示例性视频浏览用户界面包括多种状态。比如，在示例性实施方式中，视频浏览用户界面可包括三种不同状态。图2-4表示了用户浏览一组视频所用的示例性视频浏览用户界面的三种示例性状态。

图2表示了视频浏览用户界面的示例性第一状态。在示例性实施方式中，第一状态是导航(navigate)到(或用别的方式调用)视频浏览用户界面的用户首先看到的默认状态。在示例性实施方式中，第一状态显示一组视频中每个视频的静态表示。比如，图2中表示的示例性第一状态显示四个视频中每一个的代表图像。视频的代表性图像的显示或多或少会依赖于设计选择、用户偏好、配置以及/或物理限制(如，屏幕大小等)。每个静态表示(比如，代表性图像)代表了一个视频。在示例性实施方式中，每个视频的静态表示可以选自相应视频的关键帧。在下面的第IV部分会详细描述关键帧的生成。比如，视频的静态表示可以是第一关键帧、随机选取的关键帧或基于其与视频内容的相关性而选取的关键帧。

在图2中，视频1的静态表示为汽车的图像，视频2的静态表示为房屋的图像，视频3的静态表示为工厂的图像，视频4的静态表示为公园的图像。这些表示仅为说明性的。当用户将鼠标移动至这四个图像中的每一个上时，视频浏览界面可变换至第二状态。或者，为了激活第二状态，用户必须要选择(比如，通过点击鼠标或敲击键盘上的回车键等)一静态表示。因此，视频浏览界面可被设置为一旦检测到光标或一旦接收到其它适宜的用户输入就自动激活第二状态。

图3表示了视频浏览用户界面的示例性第二状态。比如，在接收适宜的用户选择之后或检测到光标时，可以为选定视频激活第二状态。在示例性实施例中，第二状态显示了选定视频的动态表示。比如，在示例性实施方式中，如果选中了视频1，则连续显示视频1的幻灯片放映直到用户将光标从视频1的静态表示上移走(或者如果用户以其它方式取消选定视频1)。选定视频的动态表示(比如，幻灯片放映)可以在与该视频的静态表示的窗口相同的窗口内显示。即，静态表示被动态表示替代。或者，也可在单独的窗口(未示出)中显示动态表示。在示例性实施方式中，选定视频的静态表示的帧可如图3中所示高亮显示。

视频的动态表示，比如幻灯片放映，可通过从其对应视频中选择某些帧而产生。帧选择可以基于或不基于内容。比如，任何已知的关键帧选择技术可被实施，以选择用于动态表示的视频中的关键帧。示例性关键帧选择技术会在下面的第IV部分进行更加详细地描述。对于任何给定视频，在选择其关键帧之后，关键帧的一些或全部可结合到该视频的动态表示中。也可以配置动态表示(如，幻灯片放映)中的每帧(如，幻灯片)的持续时间。

在一示例性实施方式中，视频的动态表示为幻灯片放映。在一个实施方式中，视频关键帧的一些或全部可用来作为幻灯片放映中的幻灯片。幻灯片放映可以基于已知的DVD标准(比如，公知的DVD论坛中描述的)来产生。按DVD标准生成的幻灯片放映通常可以在任何DVD播放器中播放。DVD标准是公知的，在此无需更详尽的描述。

在另一实施方式中，幻灯片放映可以基于已知的W3C标准产生，从而生成可在任何个人计算装置中播放的动画GIF。生成动画GIF的软件和技术是本领域公知的，在此无需更详尽的描述(比如，Adobe Photoshop，Apple iMovie，Hp Memories Disk Creator等)。

系统管理者或用户可以选择采用上述标准之一、上述两种标准或其他标准，来生成幻灯片放映。比如，用户希望用DVD播放器和个A计算机都能浏览视频。在这个例子中，用户可以配置处理器150来生成多组幻灯片放映，每组依从一个标准。

用幻灯片放映作为动态表示的实施方式只是说明性的。本领域技术人员会明白，作为替换，可以实现其他类型的动态表示。比如，可将每个视频的短视频剪辑作为该视频的动态表示。

当用户提供了适宜的输入(比如，通过选择正在进行的动态表示)时，可以激活第三状态。在示例性实施方式中，用户也可以直接从第一状态激活第三状态，比如，通过在一视频的静态表示上适当地选择该视频。在示例性实施方式中，用户还可以通过双击视频的静态表示或动态表示来选择该视频。

图4表示了视频浏览用户界面的示例性第三状态。在示例性实施方式中，当用户适当地选择了视频的静态表示(第一状态)或动态表示(第二状态)来激活第三状态时，可以播放至少一选定部分或整个视频。视频可在与该视频的静态表示的窗口相同的窗口中播放(未示出)，也可以在单独的窗口中播放。单独的窗口可以与原始显示屏幕的部分或全部重叠，或置于原始显示屏幕的旁边(未示出)。比如，一旦用户选择，就可以调用媒体播放器(比如，windows媒体播放器、与处理器耦合的DVD播放器等)来播放视频。

在一个实施方式中，一旦接收到用户对视频的选择，可以播放整个视频(比如，从视频的开头)。

在另一个实施方式中，一旦接收到用户对视频的选择，就播放选定视频的片段。比如，可以播放介于当前幻灯片和下一个幻灯片之间的视频片段。用户可以选择播放整个视频或只播放视频的片段。

上面描述的这三种状态只是说明性的。本领域技术人员明白可在视频浏览用户界面中实现更多或更少的状态。比如，在第四状态中允许用户在同一显示屏幕中，同时看到多个视频的动态表示(比如，幻灯片放映)，其可以结合或替代任何上述的三种状态来实现。

IV、示例性视频浏览用户界面生成的示例性过程

图5表示了用于生成示例性视频浏览用户界面的示例性过程。

在步骤510中，处理器150获得多个视频。在示例性实施方式中，从存储器140中获得视频。在另一实施方式中，从远程源中获得视频。比如，处理器150可以获得存储于远程存储器中的视频或经由网络从服务器计算机发送的流式视频。

在步骤520中，获得每个视频的关键帧。在一个实施方式中，处理器150获得由另一个装置提取的关键帧(比如，经由网络从服务器计算机获得)。在另一示例性实施方式中，处理器150可实施基于内容的关键帧提取技术。比如，该技术可以包括分析视频每帧内容的步骤，然后基于该分析选择候一组选关键帧的步骤。该分析确定每帧是否包括任何有意义的内容。有意义的内容可通过分析，比如，但并不限于，视频中摄影机的运动、视频中对象的运动、视频中的人脸内容、视频中内容的变化(比如，颜色和/或纹理特征)和/或视频中的音频事件，来确定。在进行一次或多次分析以确定是否每一帧中存在任何有意义的内容后，为该帧指定内容分数。比如，依赖于幻灯片放映(比如，视频的动态表示)中所需的幻灯片的数量，提取出的候选关键帧可分组为该数量个群(cluster)。将每个群中拥有最高内容分数的关键帧选择为幻灯片放映中的幻灯片。在示例性实施方式中，有某些相似特性(比如，相似颜色直方图)的候选关键帧分组成同一群。关键帧的其他特性可用来形成群。所描述的关键帧提取技术只是说明性的。本领域技术人员明白视频的任何帧(即，关键帧或其他)或多个帧都可用来生成静态或动态表示。另外，当使用关键帧时，可应用任何关键帧提取技术。或者，处理器150可从另一装置获得更多个视频之一的提取出的关键帧或已生成的幻灯片放映。

在步骤530中，选择每个视频的静态表示。在一个示例性实施方式中，每个视频的静态表示是从获得的关键帧中选择出来的。在一个实施方式中，每个视频的第一关键帧被选择作为静态表示。在另一个实施方式中，依赖于使用的关键帧提取技术，如果有的话，将最相关的或“最好的”帧选为静态表示。选定的静态表示会在视频浏览用户界面中作为视频的默认表示而显示。

在步骤540中，获得每个视频的动态表示。在一个示例性实施方式中，获得每个视频的幻灯片放映。在一个实施方式中，处理器150从另一装置(比如，经由网络从远程服务器)获得一个或多个视频的动态表示(比如，幻灯片放映)。在另一实施方式中，处理器150基于每个视频的关键帧生成每个视频的动态表示。比如，动态表示可以包括视频的一些或全部关键帧。在一个实施方式中，视频的动态表示可基于每个关键帧的内容包含视频的一些关键帧(比如，所有内容分数在某一阈值以上的关键帧可包括在动态表示中)。动态表示可用本领域所公知的技术和标准(比如，DVD论坛或W3C标准等)生成。动态表示可作为视频浏览用户界面的备选状态而激活。

在步骤550中，将静态表示、动态表示和视频存储在存储器140中，以供处理器150根据通过视频浏览用户界面浏览视频时的用户输入进行访问。

V、示例性的计算环境

在此描述的技术可以采用任何适宜的计算环境实现。计算环境可采用存储于一个或多个计算机可读存储器中并采用计算机处理器执行的、基于软件的逻辑指令的形式。或者，也可以将一些或全部技术采用硬件实现，如果硬件模块包括必备的处理器功能，甚至可不需要单独的处理器。硬件模块可包括PLA、PAL、ASIC以及其他任何本领域公知的或将来开发的可用于实现逻辑指令的装置。

大体上，之后，实现所述技术的计算环境应该理解为包括，无论在硬件还是软件或者两者的结合中实现指定功能的任何电路、程序、代码、例行程序(routine)、对象、组件、数据结构等等。软件或/和硬件通常存在于或构成一些类型的计算机可读介质，该介质可存储计算机或处理逻辑可访问的数据和逻辑指令。这些介质可包括，但并不限于，硬盘、软盘、磁带、闪存卡、数字视频盘、可拆卸磁带(removable cartridge)、随机存取存储器(RAM)、只读存储器(ROM)和/或其他本领域公知的或将来开发的电子的、磁性的和/或光学的介质。

VI、结论

前述例子说明了某些示例性实施例，来自于这些示例性实施例的其他实施例、变形和修改对于本领域技术人员来说都是显而易见的。因此，发明并不应限于上述讨论的特定实施例，而是由权利要求所限定。此外，一些权利要求可包括文字数字的标识符以区分要素和/或按照特定的顺序来描述要素。这些标识符或序列只是为了阅读方便，并不必理解为按照需要或意味着特定的步骤顺序或者权利要求要素之间的特定的顺序关系。

Claims

1.一种用于浏览视频的系统，包括：

用来存储多个视频的存储器；

用来访问所述视频的处理器；以及

用来使得用户可以浏览所述视频的视频浏览用户界面，将所述用户界面配置为使得可以在显示屏幕上进行多种状态下的视频浏览，所述多种状态包括：

第一状态，其用来显示所述视频的静态表示；

第二状态，其用来显示选定视频的动态表示，其中，所述选定视频的动态表示通过替代该选定视频的静态表示来在与该选定视频的静态表示的窗口相同的窗口内进行显示；以及

第三状态，其用来播放选定视频的至少一部分，其中，该选定视频的至少一部分在与该选定视频的静态表示的窗口相同的窗口中进行播放。

2.如权利要求1所述的系统，其中，所述存储器包括作为每个所述视频的动态表示的关键帧。

3.如权利要求1所述的系统，其中，所述第三状态包括播放整个选定视频。

4.如权利要求1所述的系统，其中视频的所述静态表示是从该视频的一组关键帧中选出的。

5.如权利要求1所述的系统，其中，所述多种状态进一步包括第四状态，其用来在显示屏幕中同时显示两个或更多所述视频的动态表示。

6.一种用于生成视频浏览用户界面的方法，包括：

获得多个视频；

获得每个视频的关键帧；

从每个视频的相应关键帧中选择该视频的静态表示；

基于每个视频的所述关键帧获得动态表示；并且

基于所述静态表示、所述动态表示和所述视频生成视频浏览用户界面，以及将所述用户界面配置为使得可以在显示屏幕上进行多种状态下的视频浏览，所述多种状态包括：

第一状态，其用来显示所述视频的静态表示；

7.如权利要求6所述的方法，其中，每个视频的所述动态表示是该视频的幻灯片放映。

8.如权利要求6所述的方法，其中，所述从每个视频的相应关键帧中选择该视频的静态表示的步骤包括：

基于每个关键帧的内容获得每个关键帧的内容分数；以及

选择每个视频的下述关键帧，该关键帧相对于该视频的其他关键帧的内容分数具有最高内容分数。

9.如权利要求6所述的方法，其中，所述多种状态还包括第四状态，所述第四状态包括同时显示两个或更多所述视频的动态表示。