CN101317228A - 呈现受控的视频事件 - Google Patents

Abstract

本发明涉及用于搜索包含在视频图像序列中的事件的视频回放系统、设备以及方法。视频回放系统包括：视频回放设备，适于运行连续的搜索算法，以便连续地提供图像序列中的视频图像；以及用户接口，操作者可以利用该接口检测包含在该图像序列中的事件的发生。在此还公开了包含在图像序列中的感兴趣事件的搜索方法。

Description

呈现受控的视频事件

技术领域

本发明一般地涉及视频图像处理领域。更具体地说，本发明关于用于搜索视频图像序列中包含的事件的视频回放系统、设备以及方法。

背景技术

视频监视系统被用于各种应用，以监控环境中的事物。例如，在室外安全应用中，这样的系统有时候被用来跟踪进入或者离开建筑设施或者安全门的个人或者车辆；或者在室内应用中，它们被用于监控商店、办公楼、医院或其他类似设施中的个人的行为，处于这些环境里的人的健康和/或安全受到关注。例如，在航空工业中，这样的系统已经被用来在飞机场的关键场所，例如在安全门或者停车库，检测是否存在个人。

在某些应用中，视频监视系统可以用来记录视频图像，以用于随后确定某特定事件的发生。例如，在法庭调查中，人们希望在视频监控系统中应用一个或者多个视频照相机来记录视频图像，以便可以随后进行分析以检测例如抢劫或者偷盗等事件的发生。这样的视频图像通常作为模拟视频流或者作为数字图像数据存储在硬盘驱动器、光盘驱动器、盒式录象机(VCR)或者其他合适的存储装置上。

对包含在图像序列中的事件的检测通常是由操作者人工地连续扫描整个视频流直到找到所期望的事件来实现，或者通过扫描认为包含所期望事件的候选序列来完成。在某些应用中，可以利用一组回放控制对图像序列中的图像帧进行快速向前和/或向后播放，直到找到所期望的事件。例如，如果视频流包含怀疑通过安全检查点的行为人时，操作者可以利用一组快速向前或者向后播放按键来一帧一帧地扫描图像序列，直到发现该事件。在某些情况中，例如日期、时间和/或照相机类型等的注释信息可以与图像序列一起生成，以允许操作者移动到图像序列中怀疑存在事件的特殊位置。

利用许多传统视频回放设备以及方法人工观看图像数据的过程可能是费时且乏味的，特别是在相对较大的图像序列(例如24小时监控录像带)或者多个这样的图像序列中寻找事件的那些情况中尤为如此。在某些情况中，沉闷的图像数据连续扫描可能导致操作者疲惫，从而使得操作者检测到事件的能力下降。虽然，更智能的回放设备能够响应于用户通过建议一个或者多个候选视频序列的查询，不过这样的设备依然需要用户搜索这些候选序列并确定候选序列中是否包含所期望的事件。

发明内容

本发明涉及用于搜索包含在视频图像序列数据中的事件的视频回放系统、设备以及方法。按照本发明一个示例性实施例的视频回放系统可以包括：视频回放设备，适于运行用于连续地将视频图像呈现给操作者的连续搜索算法；以及用户接口，用于与该视频回放设备交互。在某些实施例中，视频回放设备可以配置成运行分支(Bifurcation)、伪随机(Pseudo-Random)、黄金分割(Golden-Section)和/或斐波那契(Fibonacci)搜索算法，以便根据从用户接口接收到的命令，以特定的方式将视频图像呈现给操作者。用户接口可以包括一组回放控制，通过这些控制操作者可以对连续搜索算法进行初始化以及执行其他搜索任务。监视器可以被配置成显示视频回放设备呈现的图像。在某些实施例中，回放控制组和/或监视器可以作为图形用户界面(GUI)的一部分来提供。

一种用于搜索包含在图像序列中的感兴趣事件的示例性方法可以包括以下步骤：接收包含一个或者多个包含感兴趣的事件的图像帧的图像序列；顺序地将所述图像序列分成多个图像子序列；将包含图像子序列中的一个的观察帧呈现给操作者；提示操作者选择该图像子序列中是否包含感兴趣的事件；计算下一个观察子序列的开始位置，并重复如下步骤：将图像序列顺序地分成图像子序列，并且接着输出包含所述事件的图像子序列。在某些实施例中，该顺序地将图像序列分成图像子序列的步骤可以用分支(Bifurcation)、伪随机(Pseudo-Random)、黄金分割(Golden-Section)和/或斐波那契(Fibonacci)搜索算法来完成。在此，还描述了其他示例性方法以及算法。

附图说明

图1是示出了包含感兴趣事件的示例性视频图像序列的示意图；

图2是示出了根据本发明一个示例性实施例的示例性视频回放设备的高级方框图；

图3是示出了与图2的示例性回放设备一起使用的示例性图形用户界面图示；

图4是示出了利用图2的视频回放设备向操作者呈现视频图像序列的示例性方法的流程图；

图5A是示出了利用分支搜索算法搜索图像序列的示例性方法的示意图；

图5B是示出了利用伪随机搜索算法搜索图像序列的示例性方法的示意图；

图5C是示出了利用黄金分割搜索算法搜索图像序列的示例性方法的示意图；并且

图5D是示出了利用婓波那契搜索算法搜索图像序列的示例性方法的示意图。

具体实施方式

阅读下面说明时应参考附图，在不同附图中类似元件用类似的方式来编号。附图不必按比例缩放，并且是对所选择的实施例的说明而不是用于限制本发明的范围。虽然，针对各种要素示出了算法以及方法的实例，但是本领域技术人员将认识到所提供的许多实例具有可以利用的适当的替代物。

图1是示出了包含感兴趣事件的示例性视频图像序列10的示意图。从图1可以看到，图像序列10可以在第一图像帧F₁的时间t₀(t＝0)开始，并且持续地以升序至图1的右面的若干连续图像帧F₂、F₃、……F_N-3、F_N-3、F_N-1、F_N，直到结束时间t_end。图像序列10中的图像帧的数量N通常根据采集图像时的帧采集速率以及图像序列中第一图像帧F₁以及最后图像帧F_N之间的时间差ΔT(即t_end-t₀)而变化。虽然，图像帧数量在此作为参考单元，以描述示例性系统和方法，但是应理解，如果需要，其他参考单元(例如秒、微秒、日期/时间等)可以与图像帧数量一起或者代替图像帧数量，来描述图像序列10。

从图1还可以看到，图像序列10中的一个或者多个图像帧可以包含限定事件14的对象12。例如，在某些实施例中，对象12可能表示负责检测安全检查点或者其他感兴趣区域中动作的安全照相机所检测到的个体。对象12限定可以位于图像序列10的单个图像帧中，或者可以位于图像序列10的多个图像帧中的事件14。例如，在图1的示例性图像序列10中，所示的对象12跨越了多个图像帧，形成了从图像序列10的帧16开始并在它的帧18结束的事件序列。虽然，图1中所描述的示例性事件14跨越两个连续的图像帧，但是应理解，任何数量的连续或者不连续图像帧可以限定事件14。

为了利用传统视频搜索技术检测图像序列10中的事件14，通常操作者必须对从时间t₀开始的图像序列10执行彻底的搜索，并持续搜索图像序列10中每一个连续的图像帧，直到检测到触发事件14的对象12。在某些技术中，并且正如下面进一步描述的关于图5A-5D的示例性实施例那样，图像序列10可以被分割成图像子序列，每一个子序列可以由操作者单独观看，以检测图像序列10中的事件14的发生。例如，在分支搜索方式中，图像序列10可以从中间被分成两个图像子序列，然后可以对其进行单独分析，以检测每一个单独图像子序列中事件14的发生。

图2是示出了根据本发明示例性实施例的视频回放系统20的高级方框图。如图2所示，系统20可以包括适于检索并处理视频图像的视频回放设备22，以及可以用来与视频回放设备22进行交互以检测图像序列中事件的发生的用户接口24。视频回放设备22可以包括处理器/CPU 26，其负责运行存储单元28中包含的多个程序。例如，在某些实施例中，存储单元28可以包括ROM芯片、RAM芯片或者用于在视频回放设备22中存储程序和/或例行程序(routine)的其他合适的装置。

视频回放设备22可以进一步包括一个或者多个图像数据库30、32，每一个适于在其中存储图像序列34、36，随后可以通过用户接口24或者系统20中一些其他所需的设备在其中进行检索。例如，在某些实施例中，图像数据库30、32可以包括存储介质，例如硬盘驱动器、光驱、RAM芯片、闪存驱动器等等。图像数据库30、32中的图像序列34、36可以利用图像文件格式(例如JPEG、MPEG、MJPEG等)存储为模拟视频流或者存储为数字图像数据。具体图像文件类型通常根据视频监控系统所采用的视频照相机类型而变化。例如，如果采用数字视频传感器(DVS)，图像序列通常包括例如JPEG、MPEG1、MPEG2、MPEG4或者MJPEG的文件格式。如果需要，可以提供解码器38，以将视频回放设备22输出的图像数据变换到用户接口24。

用户接口24可以装配有一组回放控制40，以使得操作者检索并连续观看包含在图像数据库30、32中的图像数据。例如，在某些实施例中，所述回放控制组40可以包括用于使视频回放设备22呈现的视频图像进行播放、暂停、停止、快进、倒带和/或向后播放的装置。在某些实施例中，所述回放控制组40可以包括用于重放图像序列中之前观看过的图像帧的装置，和/或用于从特殊日期、时间或者用户选择的其他位置开始播放图像帧的装置。这样的回放控制组40可以使用用于将命令输入到视频回放设备22的旋钮、按钮、滑动机构、键盘、鼠标、小键盘、接触屏或者其他合适的装置来执行。从视频回放设备22中检索到的图像接着可以输出到监控器42，例如电视机、CRT、LCD平板、等离子屏幕等等，以便操作者随后观看。在某些实施例中，回放控制组40以及监控器42可以作为适于在计算机终端和/或网络服务器上运行的图形用户界面(GUI)的一部分来提供。

存储单元28中的搜索算法44可以由处理器/CPU 26调用，以便根据从用户接口24接收到的命令以特定的方式呈现图像。例如，在某些实施例中，当操作者希望扫描相对较长的图像序列(例如24小时视频监控的片段)、而又不必在找到所期望事件前连续扫描整个图像序列时，搜索算法44可以被启动。例如，搜索算法44的启用可以通过如下方式来实现：操作者按压回放控制组40上的“开始搜索算法”按键，促使处理器/CPU 26启动连续搜索算法44，并检索出存储在图像数据库30、32中的一个的所期望图像序列34、36。

图3是示出了与图2的示例性视频回放设备22一起使用的示例性图形用户界面(GUI)46的示意图。如图3所示，图形用户界面46可以包括显示屏47，其被配置成显示各种与视频回放设备22的状态和操作有关的信息，包括之前执行的任意搜索。例如，在图3的示例性实施例中，图形用户界面46可以包括视频序列观看部分48，该部分可以被用来用图形显示操作者正在研究的当前视频图像序列。例如，视频序列观看部分48可以被配置成显示之前记录的在视频回放设备22的一个或者多个图像数据库30、32中存储的图像。在某些情况中，视频序列观看部分48可以被配置成显示可被存储并随后由操作者利用在此描述的任意搜索算法对其进行分析的实时图像。

图形用户界面46的缩略图图像部分50可以被配置成显示形成视频序列观看部分48中的视频图像序列的图像帧。例如，缩略图图像部分50可以包括多个表示图像序列期间不同间隔的各种快照或者缩略图的单个图像帧52。缩略图图像帧52可以按照帧号和/或时间以升序的方式显示，并且可以具有用于识别每一个图像子序列或者图像帧的开始的标记或者标签(即“F₁”、“F₂”、“F₃”等)。例如，在图3中，缩略图图像帧52由“F₄”表示，其可以包括表示持续时间为2个小时的图像序列中的5分钟视频片段的静止图像。通过在显示屏47上利用鼠标指针、键盘或者其他合适的选择工具选择所期望的缩略图图像帧52，与该选择相对应的视频片段可以显示在视频序列观看部分48中。

图形用户界面46的搜索历史部分54可以被配置成显示表示形成图像序列的那些图像帧的快照的时间线56以及指示任何已经搜索过的图像帧的状态条。例如，通常由加粗线58指示的状态条可以表示从点“F₂”至点“F₃”的图像序列中已经被操作者观看过的部分。在类似方式中，第二和第三状态条分别由附图标记60和62指示，它们可以进一步指示点“F₃”和“F₄”以及点“F₈”和“F₉”之间的图像序列中已经被观看过的部分。已经搜索过的图像子序列连同相应的帧号和/或持续时间可以被存储在视频回放设备22中。之后，视频回放设备22可以被配置成不再显示这些图像子序列，除非操作者明确请求。

图形用户界面46的搜索算法部分64可以被配置成提示用户选择对所选择的图像序列进行搜索时使用的搜索算法。搜索选择图标按纽66以及一组帧号选择框68、70可以被用来选择那些包含将要被搜索的图像序列的图像帧。可以依次提供逐帧连续图标按纽72和同时帧图标按纽74，以使用户可以在顺序地或者同时搜索图像帧之间切换。观看序列图标按纽76以及一组帧号选择框78、80可以被用来选中那些将要被显示在视频序列观看部分48中的图像帧。

搜索算法部分64可以进一步包括多个图标按纽82、84、86以及88，它们可以用来在搜索那些通过帧号选择框68和70选择的图像帧所用的搜索算法类型之间切换。例如，分支方法图标按纽82可以选择来利用分支搜索算法对所选择的图像序列进行搜索，如下图5A所述。依次，伪随机方法图标按纽84可以选择来利用伪随机搜索算法对所选择的图像帧进行搜索，如下图5B所述。而黄金分割方法图标按纽86可以选择来利用黄金分割搜索算法对所选择的图像序列进行搜索，如下图5C所述。而婓波那契方法图标按纽88可以选择来利用婓波那契(Fibonacci)搜索算法对所选择的图像序列进行搜索，如下图5D所述。

显示在图形用户界面46的缩略图图像部分50中的图像帧52可以根据所采用的具体搜索方法来确定，并且在选择逐帧图标按纽72的情况中，根据操作者通过帧号选择框68和70输入的图像帧号来确定。假如左面和右面的图像子序列均被选择，那么视频回放设备22可以被配置成针对所选择的搜索算法计算所有帧索引。例如，参考图3所示的示例性图形用户界面46，同时帧图标按纽74的选择可以促使视频回放设备22中的搜索算法44计算所有帧索引，然后输出与缩略图图像部分50上那些索引相关的图像帧。例如，采用如下图5A所示的分支搜索算法时，对于给定2000帧的图像序列，可以计算出的第一个三次迭代的帧索引是0、125、250、375、500、625、750、875、1000、1125、1250、1375、1500、1625、1750、1875以及2000。然后，如果需要，操作者可以选择两个缩略图图像帧52之间的的图像子序列以做进一步搜索。

图形用户界面46的视频文件选择部分90可以用来选择之前记录的视频文件来进行搜索。可以提供文本选择框92，以便允许操作者输入所存储的视频文件的名称来进行搜索。例如，如果操作者希望搜索存储在一个回放设备数据库30、32中的标题为“视频片段一”的图像序列文件，用户可以将这些文字输入到文本选择框92，然后按下选择按纽94，促使图形用户界面46在视频序列观看部分48上显示图像帧，并在缩略图图像部分50上显示该图像序列的缩略图图像。

在某些实施例中，可以提供一组持续时间文本选择框96、98，以允许操作者在其中输入搜索所选择视频文件的持续时间，使得操作者可以观看整个视频文件的图像子序列。在某些情况中，可以选择每一个图像子序列的持续时间，以便操作者不会在观看图像子序列内容的过程中失去兴趣。如果，在随后一个时间里，操作者希望重新选择视频文件的那些在开始时排除的部分，图形用户界面46可以被配置成随后允许操作者进行重新选择，并因此重新调整呈现步骤以避免错过任何序列。

图4是示出了利用图2的视频回放设备22向操作者呈现图像序列的示例性方法150的流程图。示例性方法150可以在块152处开始，通过视频回放设备22中搜索算法154的启动来开始。例如，搜索算法154的启动可以通过用户接口24接收的命令来发起或者由该系统的某些其他部件(例如主机视频应用软件程序)接收的命令来发起。例如，参考图3的示例性图形用户界面46，搜索算法154可以在显示屏47上当逐帧图标按纽72被选择时启动。

一旦搜索算法154启动，视频回放设备22接着调用一个或多个图像数据库30、32，并接收包含图像序列34、36的图像阵列，通常由块156表示。例如，图像阵列可以包括与上述图1所述类似的图像序列，在一个或多个连续或者不连续图像帧中包含感兴趣的事件。

一旦在步骤156中接收图像阵列，视频回放设备22就可以接着被配置成根据操作者选择的搜索算法，顺序地将图像序列分成两个图像子序列，通常如块158所示。一旦图像序列被分成两个图像子序列，视频回放设备22可以接着被配置成呈现对应于两个图像子序列的边界的图像帧，通常如块160所示。例如，在那些采用图形用户界面46的实施例中，视频回放设备22可以被配置成在缩略图图像部分50呈现两个图像子序列的边界处的图像帧。利用该组回放控制40和/或图形用户界面46，操作者可以接着对图像子序列中的一个进行扫描，以便检测感兴趣的事件的发生。例如，如果操作者希望找到包含在图像序列中的特殊事件，操作者可以利用回放控制组40上的快进和/或向后播放按钮扫描整个当前播放的图像子序列并定位出所述事件。在某些实施例中，视频回放设备22可以被配置成提示操作者比较当前观看的图像子序列与在步骤158获得的其他图像子序列。

如果在确定块162，操作者确定了该事件包含在当前观看的图像子序列中，接着操作者可以提示视频回放设备22以返回到包含该事件的图像序列，通常如块164所示。在另一方面，如果操作者确定所需的事件不包含在当前观看的图像子序列中，那么视频回放设备22可以接着提示操作者选择下一个将要观看的图像子序列的开始位置，通常如块166所示。例如，如果操作者表示感兴趣的事件包含在当前观看的图像子序列之后的那些图像帧中，操作者可以提示视频回放设备22继续如下步骤：利用右图像子序列顺序地分割图像序列。替代地，如果操作者表示事件包含在当前观看的图像帧或者图像子序列之前的那些图像帧中，操作者可以提示视频回放设备22继续如下步骤：利用左图像子序列顺序地分割图像序列。

一旦在步骤166从操作者接收到输入，视频回放设备22可以被配置成计算下一个观看帧的开始，通常如块168所示。将图像阵列顺序地分割成两个图像子序列(块158)以及将观看帧呈现给操作者(块160)的步骤可以接着重复一次或多次，直到找到所需的事件。

将图像序列分成两个图像子序列以及将图像帧呈现给操作者的步骤158、160可以利用用户选择的搜索算法来完成。可以使用的合适搜索算法的例子可以包括但不限于分支搜索算法、伪随机搜索算法、黄金分割搜索算法以及婓波那契搜索算法。每一个这样的搜索算法的示例可以参考图5A-5D来理解。给定在帧号“a”处开始并在帧号“b”处结束的图像序列“I_ab”，每一个这样的搜索算法都可以将图像序列“I_ab”分割成两个图像子序列“I_ac”以及“I_cb”。“c”的值通常是由所选择的具体搜索算法计算出来的，并且通常是变化的。

图5A是示出了利用分支搜索算法搜索图像序列170的示例性方法的示意图。如图5A所示，示例性图像序列170可以在帧“F₁”处开始，并以升序持续至帧“F₂₀₀₀”，从而表示出具有2000个图像帧的图像序列。

利用分支方式，图像序列170根据下面公式在其中点处反复被分割：

(1)c＝(b-a)/2；

其中，c是希望的图像帧号分割位置；

a是开始帧号；并且

b是结束帧号。

图5A中的第一个迭代在“F₁₀₀₀”处将图像序列170分割，从而形成一个跨越图像帧“F₁”至“F₁₀₀₀”的左手图像子序列和一个跨越图像帧“F₁₀₀₀”至“F₂₀₀₀”的右手图像子序列。一旦图像序列170最初以这种方式分割，操作者可以接着选择是否为了接下来的搜索观看左手或右手图像子序列。例如，如果操作者希望搜索左手图像子序列(即“F₁”至“F₁₀₀₀”)，那么操作者可以提示视频回放设备22继续在第二个迭代“2”中在帧“F₅₀₀”处将左图像子序列进行分支。如图5A进一步所示，图像子序列的选择和分支可以继续以这种方式进行另外一次或者多次迭代，直到找到所期望的事件，或者直到整个图像序列170已被观看。例如，如迭代数“3”、“4”和“5”所示，如果需要的话，图像序列170可以由操作者在帧“F₁₅₀₀”、“F₁₂₅₀”处进一步分割，然后在“F₁₁₂₅”处分割，以便搜索包含在右手图像子序列中的一个事件或者多个事件。虽然在图5A中提供了数个迭代示例，但是应理解，迭代的数量以及所选择的分割图像子序列的位置可以根据操作者的输入变化。

图5B是示出了利用伪随机搜索算法搜索图像序列170的示例性方法的示意图。在伪随机方式中，图像序列170可以根据随机数进行分割。值“c”可以根据下面公式，由值“a”和“b”之间产生的随机数确定：

(2)c＝a+(b-a)*Rand

其中，c是希望的图像帧号分割位置；

a是开始帧号；

b是结束帧号；并且

*Rand是0和1之间的均匀随机数。

从图5B可以看出，在每次迭代中，图像序列170被根据0和1之间的均匀随机数分割成两个图像子序列。例如，在图5B的第一次迭代表示图像序列170在帧“F₇₀₀”处被分割成两个图像子序列。一旦图像序列170开始分割，操作者可以选择是否为了接下来的观看观看左或者右手图像子序列。例如，如果操作者希望观看左手图像子序列(即“F₁”至“F₇₀₀”)，用户可以提示视频回放设备22在接下来的迭代中继续对图像子序列进行分割，从而进一步根据所产生的下一个随机数(*Rand)分割图像子序列。可以以这种方式对图像子序列的选择以及分割继续进行一次或者多次另外的迭代，以产生另外的图像子序列，如图5B进一步所示。

图5C是示出了利用黄金分割算法搜索图像序列170的示例性方法的示意图。在黄金分割方法中，图像序列170可以根据四个图像帧“F_a”、“F_b”、“F_c”以及“F_d”被分割成左和右图像子序列，其中帧“F_a”和“F_b”表示图像序列中第一和最后一个图像帧。而帧“F_c”和“F_d”可以表示那些位于帧“F_a”和“F_b”之间的图像帧，并且可以根据下列公式确定：

(3)c＝a+r*r*(b-a)；

(4)d＝a+r*(b-a)；以及

$\left(5\right),r=1(\sqrt{5}-1)/2$

其中，c是第一图像帧分割位置；

d是第二图像帧分割位置；

a是开始帧号；

b是结束帧号；以及r是常数。

在搜索图像序列I_ab的第一迭代中，c和d均需要计算。之后，“c”或“d”将需要计算。如果在选择步骤期间，在接下来的迭代中选择左图像子序列“I_ad”，值“b”被赋值为“d”，“d”被赋值为值“c”，并且新的值“c”根据上述式(3)计算。反之，如果在接下来的迭代中选择右图像子序列“I_cb”，那么值“a”被赋值为“c”，“c”被赋值为值“d”，并且新的值“d”根据上述式(4)计算。图像子序列的选择和分割可以继续以这种方式进行另外一次或者多次的迭代，以产生另外的图像子序列，如图5C进一步所示。

图5D是示出了利用婓波那契搜索算法搜索图像序列170的示例性方法的示意图。婓波那契算法与黄金搜索算法中采用的类似，除了在婓波那契方法中上述公式(4)中的比“r”在每次迭代时不是常数，而是基于婓波那契数序列中两个相邻数的比。通常婓波那契数序列可以根据下式产生的那些数来限定：

(6)Γ₀＝0，Γ₁＝1；并且

(7)Γ_N＝Γ_N-1+Γ_N-2；当N≥2时

可从上述式(6)和(7)中看出，图像序列中前两个婓波那契数Γ₀，Γ₁可以分别初始化为0和1值。每个相应的第K次迭代的前12个婓波那契数的表达在下表1中再现。

表1

K＝	0 1 2 3 4 5 6 7 8 9 10 11 12
		Γk＝	0 1 1 2 3 5 8 13 21 34 55 89 144

N的预定值可以在婓波那契搜索算法中设置。由这个预定值N，“r”的值可以根据下式算出：

(8)r_k＝Γ_N-1-k/Γ_N-k，其中Γ_N是第N婓波那契数。

另外，值“c”和“d”可以按照如下来计算：

(9)c_k＝a_k+(1-r_k)*(b_k-a_k)；并且

(10)d_k＝a_k+r_k*(b_k-a_k)。

通过采用基于婓波那契数的图像分割，图像子序列的长度每连续k个在几何上下降，使得操作者可以快速扫描图像序列以查找感兴趣的事件，并且仅选择那些认为包含事件的图像子序列。这样的方法使得搜索期间实现间隔快速下降，从而使操作者快速在图像序列中定位事件。以这种方法产生的每个图像子序列S_i的大小通常可以用下面的公式来限定：

$\left(11\right),S_i=\mathrm{\α}\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{S}_k,$ 其中α是大于1的常数。

因此，对于包含Γ_N-1元素的阵列，图像子集的长度被约束到Γ_N-1-1元素。基于具有Γ_N-1的起始长度的图像阵列，用于确定事件是否位于图像序列的最坏条件性能可以因此根据下列各式确定：

$\left(12\right),{\mathrm{\Γ}}_N=\left(\frac{1}{\sqrt{5}}\right){\left(\frac{1+\sqrt{5}}{2}\right)}^N;$

其可以进一步表示为：

(13)Γ_N＝c(1.618)^N；其中c是常数。

在图5A-5D所述的上述每一种搜索算法中，取决于根据序列图像的计算的最佳目标函数可以被用来检测和追踪一个或多个图像帧中的目标。例如，在某些应用中，操作者可能希望选出一个图像子序列，其中该场景的给定感兴趣区域(ROI)中给定类型的对象逼近某些选择目标(例如，大门或者安全门)。另外，操作者还可以希望所选择的图像子序列在其中点处包含事件。在这种情况中，最佳目标函数可以被选择作为感兴趣区域中对象和目标之间的距离度量。在某些实施例中，这个概念可以扩展到允许操作者选择“前目标逼近”和/或“后目标离开”序列长度，其可保留或存档以便之后在回放和/或序列分析中使用。另一个候选的最优目标函数可以基于图像的熵(entropy)，其可以由下式限定：

(14)Γ_N＝c(1.618)^N；

其中p_ij是i、j位置处的像素值。

在某些实施例中，搜索算法可以与其他搜索技术，例如所存储的描述场景中的活动并且其与图像序列有关的元数据信息的搜索，结合在一起。例如，操作者可以查询元数据信息以找到非常有可能具有所搜索的图像序列的类型的图像子序列。例如，搜索算法可以从元数据信息中识别出包含红色小汽车的序列段。接着分支、伪随机、黄金搜索和/或婓波那契搜索算法可以仅应用到非常有可能的图像序列部分。

虽然，在图5A-5D中描述了数种搜索算法，但是应理解，如果需要的话，也可以采用其他序列搜索算法。例如，在一个替代实施例中，可以采用格点搜索法(lattice search)，其与在此描述的其他搜索算法类似，可以用于连续地为操作者呈现视频图像，以检测感兴趣事件的发生。其他连续搜索技术，包括婓波那契和黄金搜索算法的变形也是可能的。

因此，在描述了本发明数个实施例之后，本领域技术人员将容易地认识到可以做出其他实施例并且在附加的权利要求书的保护范围内使用。本文已经在前面详细描述了本发明的众多优点。应理解，这些公开的内容在很多方面只是示例性的。可以在不超出本发明范围的情况下，对所描述的各种元件做出改变。

Claims (20)

1、一种视频回放系统，包括：

视频回放设备，适于运行连续的搜索算法，以便连续地向操作者呈现视频图像；以及

用于与该视频回放设备进行交互的装置。

2、如权利要求1所述的视频回放系统，其中所述用于与该视频回放设备进行交互的装置包括用户接口。

3、如权利要求2所述的视频回放系统，其中该用户接口包括一组回放控制。

4、如权利要求2所述的视频回放系统，其中该用户接口包括监视器。

5、如权利要求2所述的视频回放系统，其中该用户接口是图形用户界面。

6、如权利要求1所述的视频回放系统，其中该视频回放设备包括处理单元、存储单元以及至少一个适于存储图像序列的图像数据库。

7、如权利要求1所述的视频回放系统，其中该视频回放设备包括解码器。

8、如权利要求1所述的视频回放系统，其中所述连续搜索算法是分支搜索算法。

9、如权利要求1所述的视频回放系统，其中所述连续搜索算法是伪随机搜索算法。

10、如权利要求1所述的视频回放系统，其中所述连续搜索算法是黄金分割搜索算法。

11、如权利要求1所述的视频回放系统，其中所述连续搜索算法是婓波那契搜索算法。

12、一种视频回放设备，包括：

至少一个包含图像序列的图像数据库；

存储单元，包括连续搜索算法；以及

处理单元，适于利用所述连续搜索算法，连续地向操作者呈现一个或者多个图像子序列。

13、如权利要求12所述的视频回放设备，进一步包括用户接口，以与所述视频回放设备进行交互。

14、如权利要求13所述的视频回放设备，其中该用户接口是图形用户界面。

15、如权利要求12所述的视频回放设备，其中所述连续搜索算法是分支搜索算法。

16、如权利要求12所述的视频回放设备，其中所述连续搜索算法是伪随机搜索算法。

17、如权利要求12所述的视频回放设备，其中所述连续搜索算法是黄金分割搜索算法。

18、如权利要求12所述的视频回放设备，其中所述连续搜索算法是婓波那契搜索算法。

19、一种搜索包含在图像序列中的感兴趣事件的方法，包括如下步骤：

提供适于运行连续搜索算法的视频回放设备；

在该视频回放设备中启动该连续搜索算法；

连续地将该图像序列分割成多个图像子序列；以及

观看至少一个图像子序列以确定感兴趣事件是否包含在其中。

20、如权利要求19所述的方法，进一步包括如下步骤：

提示操作者选择所观看的图像子序列中是否包含感兴趣的事件；

根据从操作者接收的输入，计算下一个观看图像子序列的开始位置；以及

根据所计算的开始位置输出图像子序列。

Images