CN103999158B - 用于搜索视频的幻灯片界面 - Google Patents

Abstract

用于搜索和播放所记录的视频的用户界面包括幻灯片快照序列、选择窗口、第一输入装置、第二输入装置和第三输入装置。所述幻灯片快照序列包括所述所记录的视频的一系列按照时间顺序排序的快照，每一快照具有所述快照截取自的所述所记录的视频的相关联的视频片段。所述快照中的每一者按与所述视频片段的长度相等的规则间隔截取。所述选择窗口突出来自所述幻灯片快照序列的至少两个连续快照的集合。所述第一输入装置在触发时使所述幻灯片快照序列前进，从而致使所述选择窗口突出在时间顺序上较晚的快照集合。所述第二输入装置在触发时放大随时间而变的所述幻灯片快照序列，从而致使按较小的规则间隔来检索新的快照集合。所述第三输入装置在触发时按时间顺序播放与所述突出的快照相关联的所述视频片段。

Description

用于搜索视频的幻灯片界面

技术领域

本发明大体上涉及视频搜索，且更明确地说涉及用于定位所记录的视频中的过渡事件的搜索界面。

发明背景

视频监视通常产生大量所记录的视频，其中仅几分钟或几秒可关注偷窃或意外事件。举例来说，美术馆中的摄像机可捕捉画被盗窃的晚上的几个小时的正常活动的连续镜头，而偷窃本身可仅出现在所记录的视频上达一分钟或更短。许多事件-本文中称作过渡事件-致使在监视中的环境的持久改变。播放完大量视频来找到这些事件可耗时且不精确。

发明概要

本发明涉及用于搜索和播放所记录的视频的用户界面，包括运行所述用户界面的客户端装置的网络，和用于使用所述用户界面来搜索和播放所记录的视频的方法。所述用户界面包括幻灯片快照序列、选择窗口、第一输入装置、第二输入装置和第三输入装置。所述幻灯片快照序列包括所述所记录的视频的一系列按照时间顺序排序的快照，每一快照具有所述快照截取自的所述所记录的视频的相关联的视频片段。所述快照中的每一者按与所述视频片段的长度相等的规则间隔截取。所述选择窗口突出来自所述幻灯片快照序列的至少两个连续快照的集合。所述第一输入装置在激活时使所述幻灯片快照序列前进，从而致使所述选择窗口突出在时间顺序上较晚的快照集合。所述第二输入装置在激活时放大随时间而变的所述幻灯片快照序列，从而致使按较小的规则间隔来检索新的快照集合。所述第三输入装置在激活时按时间顺序播放与所述突出的快照相关联的所述视频片段。

附图简述

图1为视频捕捉和重放网络的框图。

图2为用以搜索图1的视频捕捉和重放网络中的视频的图形用户界面的模拟屏幕截图。

图3A和图3B分别为处于低缩放级别和高缩放级别下的由图2的图形用户界面表示的视频片段的时间线。

图4为用于使用图2的图形用户界面来搜索视频的方法的流程图。

具体实施方式

图1为视频捕捉和回放网络10的框图，其包括源12、记录器14、本地服务器16和具有界面装置20与回放监视器22的客户端装置18。源12为例如数字摄像机等视频源。尽管仅展示了一个源12，但许多视频源可包括在视频捕捉和回放网络10中。记录器14是对来自源12的实时视频进行编码，且以机器可读取格式存储经编码视频的视频记录器。在一些实施方案中，源12和记录器14可直接通信，而在其它实施方案中，记录器可仅通过视频捕捉和回放网络10来从源12接收视频。尽管仅展示一个记录器12，但许多视频记录器可包括在视频捕捉和重放网络10中，可能包括对来自源12的视频进行编码的多个记录器，以及对来自其它源的视频进行编码的多个记录器。本地服务器16为可对来自记录器14的视频编目录、检索或处理所述视频以用于在客户端装置18处回放的视频管理服务器。或者，本地服务器16可对来自记录器14的视频编目录且提供配置信息允用客户端装置18以直接检索和回放来自记录器14的视频。客户端装置18为例如个人计算机等具有逻辑能力的用户侧装置，用户可通过所述装置来搜索、操纵或回放来自记录器14的视频。客户端装置18包括允许用户输入的至少一个界面装置20和显示来自记录器14的视频的至少一个回放监视器22。本地服务器16和客户端装置18为具有处理器和硬件存储器的计算机，且可为用于视频管理和处理的专用硬件计算机或运行专用软件的通用计算机。在一些实施方案中，本地服务器16、记录器14和客户端装置18或其某一组合可为单一硬件计算机的逻辑可分离部分。

客户端装置18处的用户可审阅由源12收集且存储在记录器14处的视频。客户端装置18在本地存储器上运行图形用户界面（GUI）100，如下文关于图2所描绘和描述。GUI100促进迅速和容易地搜索、检索和重放来自所关注时期的所记录的视频，如下文所描述。

图2为用于客户端装置18的图形用户界面100的模拟屏幕截图。图形用户界面（GUI）100表征显示幻灯片快照序列104（包括幻灯片快照104a、104b、104c、104d、104e和104f）的幻灯片面板102，选择窗口106（围封第一选定图像108和第二选定图像110）、放大输入装置112、缩小输入装置114、播放输入装置116、向前输入装置118和后退输入装置120。幻灯片面板102为图形用户界面100的专用于源12且显示幻灯片快照序列104的区域。幻灯片快照104a-104f为按规则时间间隔从源于源12处的所记录的视频截取且存储在记录器14处的按时间顺序排列的图像。幻灯片快照104a-104f是通过客户端装置18经由视频捕捉和回放网络10从记录器14检索。在一些实施方案中，客户端装置18从记录器14检索幻灯片快照104a-104f而无来自本地服务器16（见图1）的输入。在其它实施方案中，客户端装置18从视频本地服务器16请求幻灯片快照104a-104f，视频本地服务器16可检索幻灯片快照104a-104f且将幻灯片快照104a-104f转发到客户端装置18，或向客户端装置18提供使得客户端装置18能够直接从记录器14检索幻灯片快照104a-104f的指令。

在一些实施方案中，本文中描述的输入装置为通过按压或点击预定义区而激活的按钮。这些按钮可包括触摸屏上的区域、对鼠标点击作出反应的GUI区域，或物理键，在其它实施方案中，这些输入装置为光标移动或光标轻扫。尽管按钮112、114、116、118和120描绘为位于幻灯片面板102上的GUI按钮，但替代实施方案可使用此项技术中众所周知的其它输入方式，例如键盘热键或下拉菜单。术语“输入装置”或“按钮”在本文中指任何此类鼠标点击、鼠标轻扫、触摸屏区域、物件键盘热键、下拉菜单或其它常规输入装置。

在所描绘的实施方案中，幻灯片快照序列104经排列以使得较早图像出现在较晚图像的左侧，从而形成按时间顺序从左到右延伸的幻灯片。幻灯片快照序列104可替代地位于其它排列中，其保留幻灯片快照104a-104f的顺序，例如按时间顺序从上到下或按时间顺序从左到右。尽管幻灯片快照序列104在图2中展示为形成跨越幻灯片面板102而延伸的单一行，但在一些实施方案中幻灯片快照序列104可按多行或多列排列。

幻灯片快照104a-104f源自源12。在一些实施方案中，含有与另一源相关联的幻灯片快照序列的其它幻灯片面板可布置成邻近幻灯片面板102。在一些实施方案中，图形用户界面100可包括用于控制幻灯片面板102中表示哪一源的菜单、按钮、拖放列表或其它选择构件（未图示）。

第一选择图像108和第二选择图像110是由选择窗口106围封的邻近图像。在图2中，第一选择图像108为幻灯片快照104c，而第二选择图像110为选择图像104d。尽管图2中仅展示两个选择图像，但一些实施方案可将额外图像围封于选择窗口106内。选择窗口106可为围绕选定图像的框架，施加到选定或未选定图像的淡色，或视觉上突出选定图像的任何其它构件。每一幻灯片快照104N（即，104a、104b……或104f）对应于以对应幻灯片快照104N开始、结束或者包括对应幻灯片快照104N的视频片段，且具有与幻灯片快照104N之间的间隔相等的持续时间。举例来说，在按一小时的间隔从安全摄像机连续镜头截取幻灯片快照104a-104f的情况下，每一幻灯片快照104N将与一小时长的视频片段相关联。客户端装置18经由视频捕捉和回放网络10从记录器14检索视频片段。在一些实施方案中，客户端装置18可在每一幻灯片快照被检索时检索对应于每一幻灯片快照104a-104f的视频片段；在这些实施方案中幻灯片快照104a-104f可通过客户端装置18从对应视频片段提取。或者，客户端装置18可在播放输入装置116被按压时（如下文所描述）仅检索对应于选择窗口106中的幻灯片快照（即，第一选定图像108和第二选定图像110）的视频片段，进而节省带宽。如同幻灯片快照104a-104f的情况，视频片段可直接从记录器14检索而无来自本地服务器16的输入，可经由本地服务器16检索，或可使用本地服务器16提供的指令直接从记录器14检索。播放输入装置116回放与第一选定图像108和第二选定图像110相关联的视频片段，如下文关于图3A和图3B进一步详细解释。

幻灯片快照104是按规则间隔从存储在至少一个记录器14上的所记录的视频截取。每一幻灯片快照104与邻近的幻灯片快照分离达幻灯片面板102的缩放级别确定的时间间隔，缩放级别可借助放大输入装置112和缩小输入装置114而调整。按压放大输入装置114致使客户端装置18检索和显示分离较短时间间隔的幻灯片快照104的新集合。相反，按压缩小输入装置116致使客户端装置18检索和显示分离较长时间间隔的幻灯片快照104的新集合。在一些实施方案中，每一缩放级别下的幻灯片间隔为“偶数”或“整的”时间段，例如一小时、十五分钟或一分钟。图形用户界面100可支持任何数目个缩放级别，但仅二到五个级别将对于大多数视频搜索应用有用。

向前输入装置118和后退输入装置120允许用户移动幻灯片快照序列104，如同滑过幻灯片一样。激活向前输入装置118使幻灯片快照104a-104f的序列前进一，以使得幻灯片快照104d变成第一选择图像108，且幻灯片快照104e变成第二选择图像110。类似地，按压后退输入装置120使幻灯片快照104a-104f的序列倒退一，以使得幻灯片快照104b变成第一选择图像108，且幻灯片快照104c变成第二幻灯片快照110。在一些实施方案中，向前输入装置118和后退输入装置120是鼠标轻扫，以使得幻灯片快照序列104上的拖到或滚动使幻灯片快照序列104按时间顺序前进或倒退。或者，幻灯片面板102可包括用于递增地或经由扫描使幻灯片快照序列104前进或倒退的单独机制。在又其它实施方案中，向前输入装置118和后退输入装置120可为扫描按钮，其致使幻灯片快照序列104按适中速率自动前进或倒退直到停止为止。图形用户界面100的一些实施方案可提供这些选项中的一个以上，例如，自动前进按钮和借助鼠标轻扫来使幻灯片快照序列104前进和倒退的能力。

图形用户界面100可用以如上所述重放所记录的视频，且如下文关于图4所描述搜索所记录的视频。除了上文列举的元件之外，图形用户界面100可包括辅助元件，例如摄像机信息显示器（指示视频来自哪一源12）、时间指示器（指示每一幻灯片快照104N的时戳）以及质量监视器（指示经编码的视频帧速率和/或分辨率）。

图3A和图3B分别为描绘视频片段序列200和300的按时间顺序从左到右前进的时间线。视频片段序列200包含视频片段vs1、vs2、vs3和vs4，而视频片段序列300包含视频片段vs5、vs6、vs7、vs8、vs9和vs10。每一视频片段vs1、vs2，……vs10对应于上文关于图2描述的一些所展示的或可能的幻灯片快照104N。图3A描绘第一缩放级别，而图3B描绘第二较高缩放级别；明确地说，图3B描绘通过按压放大输入装置112而可从图3A的时间线获得的视频片段的一个可能时间线。每一视频片段vsN具有分离达规则时间间隔T的开始时间stN和结束时间etN。图3A中的所有视频片段具有由时间间隔T1定义的持续时间，而图3B中的所有视频片段具有由较短时间间隔T2定义的持续时间，其表示图3A与图3B之间的缩放增加。视频序列200或300内的每一视频片段vsN的结束时间etN大体上匹配后续视频片段vsN+1的开始时间stN+1。在时间间隔T并非由记录器14编码的视频的记录帧速率的整数倍的情况下，每一视频片段的长度的轻微变化可发生。

选择S1包括视频片段vs2和vs3，其分别对应于第一选定图像108和第二选定图像110。当用户按压播放输入装置116（见图2，上文）时，客户端装置18回放开始于开始时间st2且结束于结束时间et3的完整的选择S1。对于其中选择窗口106围封两个以上幻灯片快照104的系统，选择S1将对应地包括两个以上视频片段，当按压播放输入装置116时，所有视频片段将按顺序重放。选择S2为选择S1的较高缩放类似物，且因此横跨较短时间。选择S2包括开始于开始时间st7且结束于结束时间et8的视频片段vs7和vs8。在一些实施方案中，当按压播放输入装置116时将播放仅当前选择（S1或S2）。

视频片段序列200和300以及幻灯片快照序列104的中心为时间t₀。因此，时间t₀表示选择S1和选择S2的中点，使得在所描绘的实施方案中t₀=et2=st3=et7=st8。按压放大输入装置112或缩小输入装置114致使用户界面100放大或缩小约时间t₀，以使得时间t₀保持为对应于缩放后幻灯片快照序列104的视频序列的中点时间。

图形用户界面100允许客户端装置18处的用户通过使用向前输入装置118和后退输入装置120将适当的幻灯片快照104a-104f定位于选择窗口106内以及按压播放输入装置116来容易地辨识、选择和播放所要选择S。图形用户界面100还可用以搜索过渡事件的视频，如下文关于图4所描述。

图4为用于使用图形用户界面100来定位和观看过渡事件的方法的流程图。一些事件导致所记录的视频区域的持续改变，以使得事件之前的第一状态显然不同于事件之后的第二状态；这些事件在本文中称作“过渡”事件。例如，画的偷窃或窗户的破裂将导致环境的持续改变，即缺少了画或窗户。过渡事件可使用图形用户界面100通过识别较早幻灯片快照104N中可见的状态前与较晚幻灯片快照104M中可见的状态后之间的差异来辨识（其中N<M）。（步骤S1）。在对应于长时间间隔T的低缩放等级下，用户可看一眼就检测在对应于幻灯片快照序列104的长时间段期间过渡事件是否已发生。类似地，用户可通过借助向前输入装置118和后退输入装置120使整个幻灯片快照序列104前进，直到第一选定图像108按预期方式不同于第二选定图像110（例如，第一选定图像108中存在的画从第二选定图像110中消失）为止来定位已知过渡事件。（步骤S2）。一旦已将过渡定位于选择窗口106内，用户确定选择窗口106中所包括的时间跨度是否足够短。（步骤S3）。例如，汽车挡风玻璃破碎可在大约几秒内发生，从而使得用户回放包括两个选定的一小时的视频片段的整个两小时的选定的视频剪辑效率较低。因此，用户可如上文关于图2、图3A和图3B所描述而放大，从而将时间间隔T缩短为较易管理的值。（步骤S4）。在缩短时间间隔之后，用户可重复此过程，在时间上逐渐更精确地定位过渡事件（步骤S2），且继续放大（步骤S4）直到选择窗口106围封含有过渡事件的足够简短的剪辑为止。较长回放间隔对于较长的事件可为合适的。一旦选定的视频足够短，用户就可按压播放输入装置116来回放选定剪辑，如上文关于图2所描述。（步骤S5）。

本发明允许用户快速地定位所记录的视频中的过渡事件而不播放完大量无关视频。一旦已定位此过渡事件，用户可快速且容易地选择适当的视频剪辑以用于回放，且播放所述视频剪辑。

尽管已参考示范性实施方案描述了本发明，但本领域技术人员应理解，在不脱离本发明的范围的情况下可进行各种改变且等效物可取代其元件。另外，可进行许多修改以使特定情形或材料适用于本发明的教示而不脱离其基本范围。因此，希望本发明不限于公开的特定实施方案，但本发明将包含落在所附权利要求书的范围内的所有实施方案。

Claims (17)

1.一种包括用于搜索和播放所记录的视频的用户界面的客户端装置，所述用户界面包括：

所述所记录的视频的一系列按照时间顺序排序的快照的幻灯片快照序列，每一快照具有所述所记录的视频的相关联的视频片段，所述快照截取自于所述所记录的视频，且其中所述快照中的每一者是按与所述视频片段的长度相等的规则间隔截取的；

选择窗口，突出来自所述幻灯片快照序列的至少两个连续快照的集合；

第一输入装置，其在激活时使所述幻灯片快照序列前进，从而致使所述选择窗口突出在时间顺序上较晚的快照集合；

第二输入装置，其在激活时随时间而变地放大所述幻灯片快照序列，从而致使按较小的规则间隔来检索新的快照集合；

第三输入装置，其在激活时按时间顺序播放与所述突出的快照相关联的所述视频片段；以及

第四输入装置，所述第四输入装置在激活时缩小所述幻灯片快照序列，从而致使按较大的规则间隔来检索新的快照集合。

2.根据权利要求1所述的客户端装置，其中所述第一输入装置、第二输入装置和第三输入装置中的至少一者为可拖动或可点击的界面图标、响应于鼠标点击的GUI区域，或一些其它等效软件输入装置，以使得激活所述输入装置是通过选择所述图标或GUI区域而实现的。

3.根据权利要求1所述的客户端装置，其中所述第一输入装置为使所述幻灯片快照序列前进固定增量的向前按钮。

4.根据权利要求1所述的客户端装置，其中所述第一输入装置为致使所述幻灯片快照序列自动前进直到停止的扫描按钮。

5.根据权利要求1所述的客户端装置，其进一步包括第五输入装置，所述第五输入装置在激活时使所述幻灯片快照序列倒退，从而致使所述选择窗口突出在时间顺序上较早的快照集合的集合。

6.根据权利要求5所述的客户端装置，其中所述第一输入装置和第五输入装置为分别使所述幻灯片快照序列前进和倒退的鼠标轻扫。

7.根据权利要求1所述的客户端装置，其中按较小规则间隔检索的所述新的快照在时间上以对应于由所述选择窗口突出的所述两个连续快照的时期为中心。

8.根据权利要求1所述的客户端装置，其进一步包括多个类似的幻灯片快照序列，以使得每一幻灯片快照序列包括与来自单一单独视频源的视频相关联的快照。

9.一种视频捕捉和回放网络，其包括：

视频源；

第一记录器，其对来自所述视频源的视频进行编码；以及

客户端装置，其使得用户能够经由用户界面来搜索和回放来自所述第一记录器的经编码的视频，所述用户界面包括：

所述经编码的视频的一系列按照时间顺序排序的快照的幻灯片快照序列，每一快照具有所述经编码的视频的相关联的视频片段，所述快照截取自于所述所记录的视频，且其中所述快照中的每一者是按与所述视频片段的长度相等的规则间隔截取的；

选择窗口，其突出来自所述幻灯片快照序列的至少两个连续快照的集合；

第一图标或等效输入装置，其在被选定时使所述幻灯片快照序列前进，从而致使所述选择窗口突出在时间顺序上较晚的快照集合；

第二图标或等效输入装置，其在被选定时随时间而变地放大所述幻灯片快照序列，从而致使按较小的规则间隔来检索新的快照集合；

第三图标或等效输入装置，其在被选定时按时间顺序播放与所述突出的快照相关联的所述视频片段；以及

第四图标或等效输入装置，其在被选定时缩小所述幻灯片快照序列，从而致使按较大的规则间隔来检索新的快照集合。

10.根据权利要求9所述的视频捕捉和回放网络，其进一步包括对来自所述第一记录器的视频编目录、检索或处理以用于在所述客户端装置处回放的视频管理服务器。

11.根据权利要求9所述的视频捕捉和回放网络，其中所述用户界面进一步包括第五图标或等效输入装置，其在被选定时使所述幻灯片快照序列倒退，从而致使所述选择窗口突出在时间顺序上较早的快照集合的集合。

12.根据权利要求9所述的视频捕捉和回放网络，其中按较小规则间隔检索的所述新的快照在时间上以对应于由所述选择窗口突出的所述两个连续快照的时期为中心。

13.根据权利要求9所述的视频捕捉和回放网络，其进一步包括至少一第二记录器，所述第二记录器也对来自所述视频源的视频进行编码，且其中所述经编码视频存储在所述第一记录器和所述第二记录器的组合上。

14.根据权利要求9所述的视频捕捉和回放网络，其进一步包括第二视频源和第二源记录器，所述第二源记录器对来自所述第二源的视频进行编码，其中所述界面包括第二幻灯片快照序列，其包括与来自所述第二源记录器的视频相关联的快照。

15.一种用于借助用户界面来定位所记录的视频上的过渡事件的方法，所述方法包括：

识别视觉上与所述所记录的视频的快照可区分的初始状态和最终状态；

使按规则时间间隔从所述所记录的视频截取的按时间顺序的快照序列前进，直到展示第一状态的快照和展示第二状态的快照同时由所述用户界面的选择窗口突出；以及

播放与由所述选择窗口突出的快照相关联的视频；

所述方法进一步包括在按压所述播放按钮之前：

确定所述规则时间间隔是否具有用于观看所述过渡事件的适当长度，且如果否：

那么提供产生具有较大或较小规则时间间隔的新的按照时间顺序的快照序列的缩放命令；且

使所述新的按照时间顺序的快照序列前进，直到展示所述第一状态的新的快照和展示所述第二状态的新的快照同时由所述用户界面的所述选择窗口突出为止。

16.根据权利要求15所述的方法，其中提供缩放命令包括按压放大按钮，其产生具有较小规则时间间隔的新的按照时间顺序的快照序列。

17.根据权利要求16所述的方法，其中提供缩放命令包括按压缩小按钮，其产生具有较大规则时间间隔的新的按照时间顺序的快照序列。