CN102957899B - 为视频监控中的改进调查而创建智能视频剪辑的系统和方法 - Google Patents

Abstract

提出了使用在视频监控中的创建，显示，和播放自我解释的视频数据流的系统和方法。方法包括在查看屏幕上的主视频板中显示和播放事件视频数据流；以及在查看屏幕上的至少一个辅助视频板中显示和播放事件视频数据流的至少一个回放时段。所述至少一个回放时段对应于在所述事件视频数据流中的至少一个标记的关键时刻，以及所述至少一个回放时段在至少一个辅助视频板中播放的时间对应于在所述事件视频数据流中所述至少一个标记的关键时刻在所述主视频板中播放的时间。

Description

为视频监控中的改进调查而创建智能视频剪辑的系统和方法

技术领域

本发明一般涉及视频监控。更具体地，本发明涉及为视频监控中的改进调查和事件管理而创建、显示和播放视频剪辑的系统和方法，其中任何视频数据流作为证据使用。

背景技术

视频监控系统对于许多安全系统来说是不可或缺的。例如，许多视频监控系统包括监控摄像机，视频录像机(硬盘录像机(DVR)，网络硬盘录像机(NVR)等等)，控制器，和查看器。在运行过程中，当特定的事项(event)发生时或当操作者手动为所述视频数据流做标签(bookmark)时，视频监控系统能够产生警报。例如，在进行实时监视时，当操作者检测到将成为之后审查依据的某项活动时，操作者可以为视频数据流做标签。

在审查记录的视频数据流时，操作者可以选择所述视频数据流的一部分做进一步的审查，以及可能的法庭审查。例如，所述视频数据流可以当做证据来使用，如向第三方机构或法院出示所述视频数据流。所述操作者也可以导出所选部分的视频数据流。

当导出部分视频数据流时，通常所述视频数据流不会自我解释。因此，在数据流播放的同时，操作者必须经常添加一些类型的声音注释到所述视频数据流，或者手动向第三方(例如，操作者的主管)解释所述视频数据流。

目前还没有已知的机制以在导出的视频数据流中另外地识别关键时刻。因此，研究者和操作者必须花费额外的时间，而且往往是浪费时间，来理解他们所查看的导出的视频数据流。例如，当操作者到达导出的视频数据流的关键时刻时，他通常必须暂停，倒退，并重新播放所述关键时刻许多次，以便清楚地理解该事件。

因此对于在视频监控中使用的用来创建、显示和播放自我解释的视频数据流的系统和方法具有持续和不间断的需求。

附图说明

图1是根据本发明的导出视频数据流的方法的流程图；

图2是根据本发明的使用视频数据流进行视频监控的方法的流程图；

图3是根据本发明的实现图1和图2所示方法的系统的框图；

图4是根据本发明的显示在图形用户界面的查看屏幕上用于监视和审查视频数据流的交互式窗口；

图5是根据本发明的显示在图形用户界面的查看屏幕上用于选择部分视频数据流作为事件部分的交互式窗口；

图6是根据本发明的显示在图形用户界面的查看屏幕上用于在事件视频数据流中添加和选择关键时刻的交互式窗口；

图7是显示在图形用户界面的查看屏幕上用于为了进一步审查而导出、显示和播放事件视频数据流的交互式窗口。

具体实施方式

虽然本发明可以通过许多不同形式的实施例来体现，如附图所示并将在此处通过详细的具体实施例来描述，因此可以理解的是当前公开的内容可以看做是本发明原则的示范。不打算将本发明限制为具体图示说明的实施例。

本发明的实施例包括创建、显示和播放自我解释(self-explanatory)的视频数据流的系统和方法，其用于视频监控和向第三方解释视频数据流，例如，作为证据使用。优选的，这样的系统和方法可以播放所述视频数据流，以及对应于所标记的关键时刻的多个所述视频数据流回放时段。

根据本发明，即使视频数据流的长度更长，导出视频数据流的查看者可以在很短的时间段内理解在所述视频数据流中发生的事件。

例如，根据本发明，事件的每个标记的关键时刻可以看做是所述视频数据流的一个回放时段。每个标记的关键时刻可以解释在事件视频数据流中的事件的流或序列。

在本发明的实施例中，只导出一个视频数据流，其中包括至少一个标记的关键时刻，例如，标记的所述视频数据流的关键帧。在播放所述单个视频数据流的同时，根据所标记的关键帧，还能够以不同的起始时间开始所述视频数据流的回放时段。

关键时刻可以看做是关键帧，在这里可以交替使用。例如，关键时刻可以是在创建导出视频剪辑时操作者打算在对应于视频数据流的时间线上进行标记的时间。类似地，关键帧是与所标记的关键时刻相对应的视频数据流或导出的视频剪辑中的帧。

根据本发明，操作者可以通过选择对应于事件的部分视频数据流来创建事件视频数据流，事件例如是警报，事项，可疑活动，或由操作者在实时监控过程中创建的手动标签。然后，所述操作者可以在导出所述视频数据流之前，在所述事件视频数据流中选择关键时刻。例如，操作者可以通过在对应时间线上标记关键时刻来选择关键时刻。

所述事件视频数据流中的关键时刻可以是本领域普通技术人员所需要的任何时刻。例如，关键时刻可以包括：在所述视频数据流的特定帧中或特定时间有入侵者进入房间；在所述视频数据流的特定帧中有盗窃发生或物体丢失；在所述视频数据流的特定帧中入侵者袭击店主；在所述视频数据流的特定帧中有入侵者或可疑分子开始跑动或离开监视区域；以及在所述视频数据流的特定帧中可以见到入侵者的脸。因此，关键时刻可以包括任何操作者或根据本发明的系统检测到的警报、事项、或可疑活动，例如，任何视频分析警报/事项，诸如进入限制区、在限制区域游荡、人或车辆行进在错误方向、人在警戒线上、人开始/停止跑动、侵入或绊线检测、无人看管的物体、移走的物体等等。

警报和事项不需要仅从闭路电视(CCTV)或视频监控系统获得。而是，警报和事项可以从任何集成系统检测到并发出信号，如门禁系统、入侵检测系统、生命安全系统(例如火灾、气体检测和疏散系统)、楼宇管理系统、过程自动化系统、或本领域技术人员熟知的任何监视系统或警报管理系统。

当显示和/或播放事件视频数据流时，可以播放整个事件视频数据流，同时也播放所述事件视频数据流的关键时刻回放时段。例如，所述事件视频数据流中回放时段数量可以与操作者标记、做标签或选择的关键时刻的数量相对应。可以根据在对应于所述事件视频数据流的时间线上标记相应的关键时刻的时间，来播放所述关键时刻回放时段。

图1是根据本发明的导出视频数据流的方法100的流程图。如图1所示，步骤110中操作者可以从一组摄像机监视视频数据流。步骤120中，当警报、事项或任何其他可疑活动或不期望的事件发生时，可以向所述操作者或其他警报监视器发送通知。在一些实施例中，所述事件可以由所述操作者和/或由根据本发明的系统检测。

在步骤130中，所述操作者可以审查所述事件，基于上述审查，对所述事件做标签或创建事件视频数据流。在步骤140中，为了创建事件视频数据流，所述操作者可以选择对应于所述事件的所述视频数据流的一部分。然后，在步骤150中，所述操作者可以在所述事件视频数据流中选择和/或标记所述事件的关键时刻。例如，所述操作者可以将所述关键时刻标记为在所述事件视频数据流的时间线上的标签。

最后，在步骤160中，可以创建、存储和导出所述事件视频数据流。在一些实施例中，所述事件视频数据流可以存储在内部存储介质，例如本地硬盘。在一些实施例中，所述事件视频数据流可以存储在外部存储介质，例如CD、USB存储设备、SD卡、云存储装置、网络存储装置等等。在其他实施例中，所存储的事件视频数据流可被授权的人员访问，例如，系统管理员和操作者，法庭操作者和调查员。

图2是根据本发明使用视频数据流进行视频监控的方法200的流程图。如图2所示，在步骤210中，操作者可以选择事件视频数据流。例如，操作者可以从列表、CD、内部或外部存储介质或本领域技术人员所熟知的任何其他非暂时性存储介质，来选择所述事件视频数据流。然后，在步骤220中，可以播放所选择的事件视频数据流。在步骤230中，在播放事件视频数据流的同时，能够播放整个事件视频数据流并且能够播放多个回放时段。在一些实施例中，操作者可以根据需要，仅播放整个事件视频数据流，仅播放回放时段、或两者相结合。多个回放时段可以对应于在所述事件视频数据流中标记的关键时刻的起始时间。

如图1，图2中所示的方法，以及根据本发明的其他方法，可以使用与如图3所示的系统300进行通信的多个视频摄像机360来实现。如图3所示，所述系统300可以包括控制电路310，一个或多个可编程处理器320，和本领域技术人员所熟知的可执行控制软件330。所述可执行控制软件可以存储在暂时性或非暂时性本地计算机可读介质中。

相关联的用户界面340可以与所述控制电路310进行通信，本领域技术人员所熟知的用户界面340的查看屏幕350可以显示交互式查看窗口。在本发明的一些实施例中，所述用户界面340可以是多维图形用户界面。

可以实时地审查来自所述多个视频摄像机360的视频数据流，和/或由数据库370存储所述视频数据流以便将来审查。然后，操作者可以通过用户界面340的查看屏幕350来查看所述视频数据流。在创建事件视频数据流之后，操作者还可以通过所述用户界面340的所述查看屏幕350，来审查所述事件视频数据流，以及与在所述事件视频数据流中标记的关键时刻相对应的回放时段。在一些实施例中，在导出最后的视频剪辑之前，操作者例如可以通过添加、删除或修改所述关键时刻标记对所述事件视频数据流做一些改变。

在这里示出和描述的交互式查看窗口仅仅是示范性的。本领域技术人员清楚这里示出和描述的所述窗口的特征可以通过另外的或替代的窗口来显示。此外，这里示出和描述的窗口可以在任何类型的用户设备上显示，例如，个人数字助理，智能电话，和/或手持设备。

图4是根据本发明显示在图形用户界面的查看屏幕上用于监视和审查视频数据流的交互式窗口400。如图4所示，所述窗口400显示来自多个不同的监视监控区域的摄像机的视频数据流。

例如，所述窗口400可以包括多个视频板(video panel)410，每个视频板显示和播放来自监视相应监控区域的相应监控摄像机的视频数据流。在查看所述窗口400时，操作者可以监视视频板410，因此基本上同时监视每个相应摄像机和每个相应监控区域。

图5是根据本发明显示在图形用户界面的查看屏幕上用于选择视频数据流的一部分作为事件部分的交互式窗口500。如图5所示，所述窗口500可以包括最大化的视频板510，其显示来自监视特定监控区域的特定摄像机的特定视频数据流。所述窗口500还可以包括时间线板520，其显示所述特定视频数据流的时间线。

当在所述特定视频数据流中检测到事件时，操作者可以选择所述特定视频数据流的一部分。例如，操作者可以选择与特定视频数据流相对应的时间线上的时间段。所述时间段可以对应于操作者确信事件发生的那段时间。此外，特定视频数据流的由操作者选择的部分可以看作是所述事件视频数据流。

图6是根据本发明显示在图形用户界面的查看屏幕上用于在事件视频数据流中添加和选择关键时刻的交互式窗口600。如图6所示，操作者可以通过例如，在对应于所述事件视频数据流的时间线上插入标志或标签610，在事件视频数据流中选择关键时刻。在一些实施例中，关键时刻可以对应于由本发明的系统所识别的警报或事项。

所述操作者还可以在单独的窗口中输入注释，来解释在特定关键时刻的所述事件视频数据流。例如，所述注释可以对应于特定标志610，并向用户解释在那个时刻发生了什么。所述注释还可以包括用于子窗口的标题，来显示对应于相应关键时刻的视频数据流。

在本发明的一些实施例中，对应于关键时刻的视频数据流可以被缩放，例如，数字缩放，来突出感兴趣的区域。在标记所述关键时刻的同时可以确定和保存缩放量并且所述缩放量可以根据需要重置。

图7是显示在图形用户界面的查看屏幕上用于为了进一步审查而导出事件视频数据流的交互式窗口700。如图7所示，所述窗口700可以包括主视频板710，多个辅助视频板715，以及时间线板720。在一些实施例中，每个视频板可以用之前由操作者输入的注释来做标题。此外，每个序号可以用序号来做标题。

如图7所示，在播放所述导出的事件视频数据流的同时，每个辅助视频板可以显示所述关键时刻时间和当前播放时间。例如，所述关键时刻时间和当前播放时间可以叠加在回放时段的图像上。

所述事件视频数据流可以作为包导出。例如，所述包可以包括整个事件视频数据流，以及其中标记的关键时刻。在本发明的实施例中，仅仅会导出一个完整长度的视频剪辑——所述事件视频数据流。当播放所述事件视频数据流时，根据本发明的系统和方法可以识别所标记的关键时刻，以及在所述事件视频数据流中那些时刻的时间。然后，基于这个信息，多个辅助视频板可以播放和显示对应于所标记的关键时刻的回放时段。

可以理解的是，根据本发明，仅仅导出一个视频剪辑。例如，假定视频剪辑，也就是事件视频数据流，长度为5分钟(01.01.00am到01.05.00am)，并且操作者已经在事件视频数据流中标记了三个关键时刻。所述关键时刻可以分别标记在时间01.01.30am，01.02.30am和01.03.30am。当导出所述事件视频数据流时，仅仅导出一个持续时间为5分钟(01.01.00am到01.05.00am)的视频剪辑。然而，导出的视频剪辑其中包括对应于所标记的关键时刻的标记帧。

在本发明的一些实施例中，当事件视频数据流第一次播放时，本发明的系统和方法仅仅在主视频板和辅助视频板中加载所述关键时刻的图像。然后，可以根据需要播放所述事件视频数据流。

在本发明的其他实施例中，导出事件视频数据流的任何时侯，每个主视频板和辅助视频板可以仅仅加载所标记的关键时刻和帧的图像。这允许用户获得所述事件视频数据流的概要，并评估关于其中所获取事件的基本信息。然后，用户可以确定是否播放所述事件视频数据流。例如，如果所述用户能够只从图像就获得足够的信息，他不需要播放所述剪辑。但是，如果所述用户需要更多的信息，他可以播放所述视频数据流。

所述主视频板710可以显示整个事件视频数据流。例如，所述主视频板可以显示从开始到结束的整个事件视频数据流。在一些实施例中，所述主视频板710还可以根据需要显示和播放标记的关键时刻和帧。多个辅助视频板715可以显示和播放所述事件视频数据流的回放时段。也就是多个辅助视频板715中的每一个可以显示和播放与相应关键时刻对应的所述事件视频数据流的一部分。例如，多个辅助视频板715中的每一个可以播放从相应关键时刻开始到相应关键时刻结束的事件视频数据流。在一些实施例中，在第一辅助视频板715中显示和播放的第一关键时刻时间与在所述主视频版710上显示和播放的整个事件视频剪辑相同。

每个视频板710，715可以包括与所述视频板710，715相关的标题栏730，其显示视频板710，715的标题。当辅助视频板715正在播放关键时刻的视频数据流时，所述辅助视频板715的标题栏730和/或所述主视频板710的标题栏730可以闪动和/或闪烁。例如，所述主视频板710的标题栏730可以闪动和/或闪烁正在播放所述关键时刻的视频数据流的所述辅助视频板715的标题。在一些实施例中，当所述事件视频数据流到达与特定关键时刻标志相关联的时间时，在相关联的时间线上特定关键时刻标志也可以闪动和/或闪烁。

根据本发明的一些实施例，对应于关键时刻的视频数据流，也就是，所述事件视频数据流的回放时段可以循环播放，或在预定的时间段内播放。例如，对应于回放时段的视频数据流可以在关键时刻期间在辅助视频板715中显示，然后在所述关键时刻结束之后在预定的时间段内在所述辅助视频板715中连续反复地显示。

在本发明的一些实施例中，所述主视频板710可以显示对应于关键时刻的视频数据流。例如，操作者可以选择在所述主视频板710中查看关键时刻，以便获得所显示的视频数据流的较大视图。在其他实施例中，在任意所述视频板710，715中显示的视频数据流可以在所述窗口700的全部屏幕上显示。

在本发明的实施例中，操作者可以选择用于显示所述事件视频数据流的视频板710，715的数量。例如，所述操作者可以选择与所述事件视频数据流中关键时刻的数量相对应的数量的视频板710，715。在一些实施例中，所述视频板的数量可以在导出视频剪辑时确定，并可以在所述剪辑导出之前和之后改变。

在一些实施例中，所述操作者可以选择在具有第一组视频板的第一窗口中显示第一多个关键时刻，以及在具有一组视频板的第二窗口中显示第二多个关键时刻。例如，如果事件视频数据流包括6个关键时刻，第一窗口可以包括4个视频板，并且第二窗口可以包括4个视频板。在所述第一窗口中，所述4个视频板中的一个可以是主视频板，其他三个视频版中的每个可以是辅助视频板。在所述第二窗口中，所述4个视频板中的一个可以是主视频板，其他三个视频版中的每个可以是辅助视频板。在本发明的实施例中，操作者可以交替的查看所述第一和第二窗口。例如，所述第一和第二窗口的每个可以显示“上一个”或“下一个”图标，以便在所述第一和第二窗口之间切换。或同样的查看窗口可以具有下一个和上一个按钮来查看所述第一和第二组视频。

当操作者操纵所述事件视频数据流时，所有视频板710，715基本上同时作出相应的反应。例如，如果操作者选择播放，倒退，暂停，停止，反向播放，向前播放，跳时播放等等，在每个视频板710，715中显示的视频数据流可以作出相应的反应。

根据本发明，当为了显示和/或查看而选择和/或加载事件视频数据流时，可以加载整个事件视频数据流。也就是，所述事件视频数据流和其中每个标记的关键时刻基本同时地加载。

尽管上面已经详尽的描述了一些实施例，然而其他修改是可能的。例如，在附图中描述的逻辑流程不需要所示的特定顺序，或按顺序执行，以实现期望的结果。可以在描述的流程中提供其他步骤，或删减步骤，以及向所描述的系统中添加其他部件，或从所描述的系统中移除部件。可以包括在下面描述的权利要求范围内的其他实施例。

根据上文所述，在不偏离本发明的精神和范围的情况下可进行各种改变和修改。可以了解的是关于这里描述的特定系统或方法不意图为或不应推断为限制。当然，其目的是通过附加权利要求覆盖所有这样的修改，其落入所述权利要求的精神和范围内。

Claims (5)

1.一种剪辑第一视频数据流的方法，包括：

显示第一视频数据流；

操作者创建事件视频数据流，其中所述事件视频数据流是所述第一视频数据流的对应于发生的事件的部分；

通过在对应于事件视频数据流的时间线上标记至少一个关键时刻，操作者在所述事件视频数据流中标记至少一个关键时刻；

操作者向事件视频数据流输入注释以解释事件视频数据流中的特定关键时刻；

仅导出所述事件视频数据流和向交互式窗口所输入的注释以供进一步审查，所述事件视频数据流包括标记在其中的所述至少一个关键时刻，所述交互式窗口包括标题为所输入的注释的至少一个辅助视频板和主视频板，以及

在所述交互式窗口中播放所述事件视频数据流，所述主视频板显示整个所述事件视频数据流，并且所述至少一个辅助视频板显示对应于所述至少一个关键时刻的回放时段，其中当所述操作者选择播放、倒退、暂停、停止、反向播放、向前播放、跳时播放时，所述主视频板和所述至少一个辅助视频板两者基本上同时作出反应。

2.如权利要求1所述的方法，其中所述事件包括警报、事项、可疑活动、或操作者在实时监控期间创建的手动标签。

3.如权利要求1所述的方法，其中所述关键时刻包括时间段或视频帧，在所述时间段或视频帧中检测到警报、事项或可疑活动或在所述时间段或视频帧中视频分析警报或视频分析事项由集成系统检测到并发出信号。

4.如权利要求1所述的方法，其中所述关键时刻包括时间段或视频帧，在所述时间段或视频帧中入侵者进入监视区域，在监视区域发生盗窃，物体在监视区域丢失，在监视区域发生袭击，入侵者在监视区域开始逃离，监控摄像机能够见到入侵者的脸，检测到警报、事项或可疑活动；或视频分析警报或视频分析事项由集成系统检测到并发出信号，其中所述视频分析警报或视频分析事项包括进入限制区、在限制区域游荡、人或车辆行进在错误方向、人在警戒线上、人开始/停止跑动、侵入或绊线检测、无人看管的物体、或移走的物体，并且其中所述集成系统包括CCTV系统、视频监控系统、门禁系统、入侵检测系统、生命安全系统、楼宇管理系统、过程自动化/解决方案系统、监视系统、或警报管理系统。

5.如权利要求1所述的方法，其中所述显示、创建、标记和导出使用视频或媒体播放器或使用个人计算机、CCTV工作站、瘦客户端、胖客户端、个人数字助理、智能电话、或手持设备执行，其中个人计算机、CCTV工作站、瘦客户端、胖客户端、个人数字助理、智能电话、或手持设备中的任何一个都包括基于互联网、云、或网络的硬件。