CN101325727A - 使用3d几何学的数字视频扫描系统和方法 - Google Patents

Abstract

一种使用3D几何学提供数字视频扫描的系统和方法。该数字视频扫描系统包括3D扫描场景制造器，用于生成多个用于显示数字视频数据的视频显示单元；生成多个视频馈给的多个视频生成装置；接收多个视频馈给并按照预定顺序组织它们的视频扫描定序器；视频渲染装置，渲染来自多个视频馈给的数字视频数据以在视频显示单元中的独立一个中显示；视频显示装置，在视频显示单元中显示来自每个视频馈给的数字视频数据。该多个视频显示单元被放置在3D场景中，以便多个视频显示单元至少部分地同时间可看。进一步，向观察者提供一视频数据选择器，允许操作者选择一个视频显示单元中的数字视频数据，并移动选中的数字视频数据到另一视频显示单元。

Description

使用3D几何学的数字视频扫描系统和方法

技术领域

【0001】本发明主要涉及视频显示。更具体地，本发明涉及一种用于以3维几何学显示多个视频流的系统和方法。

背景技术

【0002】监视和安全监控系统通常使用部署在不同场所的多个视频摄像机来监控在那些场所的活动。传统地，来自这些摄像机的视频馈给被提供到中央监控站并被显示在一个或多个显示屏幕上。多个显示屏幕允许中央监控站人员在同一时间观看多个摄像机，理想地，显示屏幕的数量应等于视频馈给的数量，以便于所有的摄像机能够同时被观看。然而，如此大量的显示屏幕可能在成本和所需空间上是代价高昂的。

【0003】可选择地，多个视频馈给可以被显示在单个的显示屏幕上，从而缩减成本。在这种单个显示屏幕配置里，视频馈给可以按照特定的扫描顺序一个接一个地顺序显示。可选择地，多视频馈给还可以同时显示在该一个显示屏幕上的子屏幕中，如图1所示。

【0004】参见图1，示出的显示屏幕100被细分成四个四分体102a-d。四个四分体102a-d的每一部分显示一个来源于单独的摄像机的视频馈给。通过这种方法，一个安全守卫可以同时监控四个视频摄像机。但是这种显示多视频馈给的方法仅在小数量摄像机的时候效果好，随着摄像机数量的增加，每个显示的视频馈给的观看区域减少。随之而来地，在大量视频馈给同时显示的情况下，由于缩减的显示尺寸，每个所显示的视频馈给的细节被丢失。当以扫描顺序操作时，用户通常只能一个接一个看到视频馈给。然而用户在看一个视频馈给时对下一个视频馈给一无所知。

发明内容

【0005】本发明的目的是增加向操作员提供的信息量以便操作员得到更多的情况认知。

【0006】本发明公开了一种使用3D几何学的数字视频扫描系统。该数字视频扫描系统包括3D扫描场景制造器用于生成多个用于显示数字视频数据的视频显示单元。所述视频显示单元被放置以形成3D场景。多个视频生成装置生成多个视频馈给。视频扫描定序器接收听述多个视频馈给并将它们组织成预定的顺序。视频渲染(rendering)装置渲染来自所述多个视频馈给的数字视频数据用于在各视频显示单元中的单个视频显示单元里显示。视频显示装置在各视频显示单元中显示来自每个视频馈给的数字视频数据。

【0007】此外，所述视频渲染装置包括视频数据选择器，用于选择显示在所述视频显示单元的第一视频显示单元中的数字视频数据，并把选中的数字视频数据移动到选中的第二视频显示单元。

附图说明

【0008】通过随后的描述说明，随附的权利要求，以及附图，本发明的这些及其他特点，方面及优点将变得更好理解，其中：

图1示出了以传统方式显示多个视频流的显示屏幕；

图2示出了根据本发明使用3D几何学的数字视频扫描系统的框图；

图3示出了用于执行本发明实施例的处理的流程图；

图4示出了根据本发明使用3D几何学的数字视频扫描系统的实施例；和

图5示出了根据本发明使用3D几何学的数字视频扫描系统的另一个实施例。

具体实施方式

【0009】参见图2，本发明的数字视频扫描系统200被配置具有3D扫描场景制造器202和视频扫描定序器210。3D扫描场景制造器202生成3D场景，例如图4和图5所示的场景。所生成的3D场景包含按照预定模式排列的多个视频显示单元404。

【0010】视频扫描定序器210接收来自视频生成装置1204，视频生成装置2206和视频生成装置n 208的视频馈给作为输入，其然后被按照预定顺序放置。所述预定顺序可基于与特定位置相关的摄像机位置。例如，第一视频馈给可能来自位于外部入口的摄像机，下一视频馈给来自位于沿着外部入口在走廊中碰到的摄像机，第三视频馈给来自于远离走廊的房间或办公室。通过这种方式安全人员可以无须过多努力，即可跟踪一个从外部入口进入的入侵者或其他感兴趣的人到建筑中的某个目的地的移动。

【0011】一旦视频扫描定序器210对视频馈给排序，视频渲染器211处理已排序的视频馈给。视频渲染器212准备用于在视频显示屏幕上在由3D扫描场景制造器202生成的3D场景中显示的视频馈给。由视频渲染器执行的视频馈给处理可以包括视频馈给到预定义视频格式的转换，如RGB，YUY2，或其他任何适于在目标视频系统上显示的视频格式。任何渲染技术，例如Windows

GDI/GDI+，DirexrX，OpenGL等，都可用于执行所述渲染阶段操作。所述渲染阶段组合具有背景图像的实际场景，来自各个视频馈给的视频，以及所述视频显示单元的几何位置，在3D几何学内来放置每一视频。

【0012】然后通过视频输出装置214将经过渲染的视频传送到显示屏幕。视频输出装置214可以是带连接器的S-Video输出电路，带连接器的VGA输出电路，带连接器的合成视频输出电路，或其他任何现有技术中已知的视频输出。

【0013】参见图3，示出了根据本发明使用3D几何学执行数字视频扫描的方法。从步骤301开始，本实施例创建一个3D场景，其包含多个在步骤303生成的视频显示单元。在步骤305，本实施例检查可用的视频帧。如果没有可用的视频帧，处理将结束。然而，如果视频帧可用，本实施例前进到步骤307。在步骤307，每一视频帧被排序为由预定义的安排确定的次序。前进到步骤309，对已排序的视频帧执行渲染，以在所生成的3D场景中观看。

【0014】图4提供了实现本发明实施例的显示屏幕400的表示法。视频显示装置，或显示屏幕400具有显示区域402以显示包含多个视频显示单元404的3D场景。图4中所显示的实施例包括7个被排列成3列的视频显示单元，3个视频显示单元404的第一列(rank)406，位于3D场景的中间，2个视频显示单元404的第二列408，位于3D场景的前景，两个视频显示单元404的第三列410，位于3D场景的背景。确定所有三列的视频显示单元404的朝向以便按照从显示区域的左上角到右下角的对角线方向进行。

【0015】每一个视频显示单元404具有来自单独摄像机的视频帧，或馈给。因此在图4所示的实施例中，能够一次观看7个单独的摄像机。进一步地，在预定义的时间长度之后，视频馈给将转到下一个视频显示单元404。所述预定义的时间长度由计时装置跟踪。

【0016】例如，视频馈给可能位于第二列408的最左边的视频显示单元404(即，第一视频显示单元)。在预定义的时间长度过去后，视频馈给从第二列408的最左边移动到最右边的视频显示单元404(即，第二视频显示单元)。在另一预定义的时间长度过去后，视频馈给转到第一列406的最右边的视频显示单元404。视频馈给继续从一个视频显示单元404移动到下一个，直到视频馈给到达第三列410的最右边的视频显示单元404(即，最后的视频显示单元)。依赖于传输到本实施例中的数字视频扫描系统的视频馈给的总数量，第三列410的最右边的视频显示单元404中的视频馈给从屏幕中被移除，即视频馈给不可见，或者返回到第一视频显示单元。

【0017】除了以预定的时间间隔循环通过提供的视频馈给或者作为其替换，基于接收到的安全系统事件或警报，视频馈给可以从一个视频显示单元前进到另一视频显示单元。例如，如果安全系统从一特定区域里的传感器收到入侵警报，视频扫描系统200可以通过移动该特定区域的视频馈给和可能的最邻近区域的视频馈给，以及/或者其它与相关安全系统相关的数据，到最前端视频显示单元而进行响应。通过这种方式，监控视频扫描系统200的安全人员得知安全系统事件或警报，并可以快速确认入侵。

【0018】本发明中一些预期的常见安全事件或警报的实例包括视频运动探测，视频目标跟踪，人数统计，遗留行李探测，子系统故障，虚拟绊网事件，服务器故障，烟/火/热探测，以及安全系统感应器产生的其他事件和警报。与本发明组合的多种多样的安全事件和警报的示例使用将在此讨论。

【0019】在一运动探测事件情况下，当在区域探测到运动，相关的视频馈给可以被加入到正被显示的视频馈给序列中。相反地，当在一个较长的时间段内没有探测到运动，该区域的视频馈给可以从序列中去掉。从而，仅有具有活动性的视频流被显示给安全人员。

【0020】另一安全事件可通过人数计数处理实现。在此情况下，人数，即人群的规模被确定，并且根据预定义的人群规模标准，如果人群超过了预定义的规模，则视频馈给将被聚焦。人群规模的增加可能预示着交通流问题，其可能是由一需要安全人员注意的事件引起。相反的事件也可有用地应用，如果一个通常很拥挤的区域突然显著地减少了拥挤，这样的事件可能表明一个需要注意的安全问题。因此，通过使用人数计数处理以聚焦显示无法预料情况的视频馈给，安全人员可以快速地得到安全问题警报。

【0021】此外，也可以提供遗留行李探测处理。无人看管地遗留在特定区域的行李表明可能的炸弹恐吓。因此本发明理想地突出显示示出可能无人看管的行李的视频馈给。这可以通过聚焦于这样的视频馈给，增加显示无人看管的行李的视频馈给到无人看管的行李的视频馈给序列中等方式来实现。

【0022】另外，虚拟绊网可以在视频馈给中定义。通过虚拟绊网，线或周界被定义，人们不允许越过它们。图像处理软件分析以此方式设置的视频馈给，如果人在虚拟绊网的禁止侧中被探测到，该视频馈给被聚焦，加入到视频序列，或以其他引起监控视频馈给的安全人员注意的方式。

【0023】因此，显示给安全人员的扫描序列可以基于一个或多个安全事件或警报而动态构造。

【0024】视频目标跟踪也可以通过本发明实现。在这种情况下，选中感兴趣的目标，例如人或车，进行跟踪。本发明识别感兴趣的目标的运动方向，并且基于目标的方向，本发明重新对视频流进行排序，以使感兴趣的目标从一个区域到下一个区域被跟踪。通过这种方式，入侵者或可疑的目标可以在目标的整个行进的路径上被仔细观察。

【0025】如果视频馈给的数量等于7，或较少的视频馈给，所有视频馈给可以在它们从一个视频显示单元404移动到另一个的时候一直被观看。当第一视频显示单元由于视频馈给的移动被释放，从最后的视频显示单元离开屏幕的视频馈给被显示。

【0026】但是，如果超过7个视频馈给被提供，在任何给定的时间，仅有7个视频馈给被显示。当第一视频显示单元由于视频馈给的移动被释放，新的视频馈给被显示在第一视频显示单元中。最后的视频显示单元中的的视频馈给离开屏幕并且不回到第一视频显示单元，直到最后的可用的视频馈给移动到第二视频显示单元。

【0027】应该认识到，本发明不限于7个视频显示单元404，也不仅限于图4所示的特定3D场景。此外，当视频馈给的数量等于或少于可用的视频显示单元404的数量，由于所有视频馈给无须上述的移动即可被观看，本发明不需要视频馈给从一个视频显示单元移到另一个。

【0028】图5提供了根据本发明的具有轮流显示配置的显示屏幕500。显示屏幕的显示区域被分割为4个相等大小的区域502，504，506和508。每一个区域被配置为提供观看一个或多个视频馈给。例如，区域502可以被布置为提供一个如图4所描述的3D场景；区域504可以被布置为3D场景，其中视频显示单元被安排为两个交叉列；区域508可以被布置为3D场景，其中视频显示单元被安排为3D透视投影的两列；区域506可以被布置以显示单个视频显示单元，其大小为包围整个区域506。

【0029】可以向本发明的使用者提供重新安排视频馈给从一个视频显示单元到另一个、从一个区域到另一个的功能性。该功能性优选以允许仅仅利用来自使用者的点击和拖动来重新排列和移动视频馈给的模式实现。而且，该功能性可忙碌地(on the fly)执行，使得当在区域502，504和508中视频馈给从一个视频显示单元前进到另一个(如同前面图4中所描述的)时，用户可以选择一个视频馈给——其可能显示一个可疑场景——并移动选中的视频馈给到区域506里的更大的视频显示单元。通过此方式，用户可以更好地检查可疑场景以判定是否入侵或者其他需要采取更多行动的安全事件已经发生。

【0030】此外，视频显示单元不仅仅包含视频馈给，还可以包含任何数据，例如图表，表格，等等。这些非视频数据被该系统以与视频馈给相同的方式处理，其中如上面所描述的，非视频数据扫描横过所述3维场景，从一个视频显示单元移动到下一个。因此，为了本发明的目的，术语视频馈给应被理解为既包括来自视频摄像机的实时视频，以及也包括非实时视频数据，例如文本，图表，静态图像，表格和其他数字数据。

【0031】图4中和图5的区域502，504，508中所示的特定3D场景仅仅为了说明目的。本发明中使用的特定的3D布置可以被设计以最好地满足特定应用的需要。

【0032】此外，可以提供功能以允许用户选择包括在视频显示单元中的视频馈给或者甚至非视频数据，并最大化所述视频显示单元到全屏幕。从而允许用户快速检查一可疑场景或更接近地分析数据。一旦用户完成对场景或数据的检查，显示可以回复到3D序列模式。该选项可允许用户更接近地注视任一视频显示单元并重新开始扫描。

【0033】本发明的上述实施例是描述性而非限制性的，其不意在表示本发明的每个实施例。不离开后面权利要求书提出的本发明的精神范围的情况下，可以进行文字上或法律意义上等价的各种修改和变化。

Claims (16)

1.一种使用3D几何学的数字视频扫描系统，所述系统包括：

3D扫描场景制造器，用于生成多个用于显示数字视频数据的视频显示单元，所述视频显示单元被安置以形成3D场景；

多个视频生成装置，用于生成多个视频馈给；

视频扫描定序器，用于接收并组织所述多个视频馈给为预定顺序；

视频渲染装置，用于渲染来自所述多个视频馈给的所述数字视频数据，来自每个视频馈给的所述数字视频数据被渲染用于在所述视频显示单元的单独一个中显示；以及

视频显示装置，用于在所述视频显示单元中显示来自每个视频馈给的所述数字视频数据。

2.如权利要求1所述的数字视频扫描系统，其中所述视频渲染装置进一步包括一视频数据选择器，用于选择在所述视频显示单元的第一视频显示单元中显示的所述数字视频数据，并将所述选中的数字视频数据移动到第二视频显示单元。

3.如权利要求2所述的数字视频扫描系统，其中所述视频数据选择器由所述视频渲染装置自动控制。

4.如权利要求3所述的数字视频扫描系统，其中所述视频渲染装置进一步包括用于跟踪经过时间的计时器，所述视频数据选择器选择所述数字视频数据，并以预定义间隔的所述经过时间移动所述选中的数字视频数据。

5.如权利要求3所述的数字视频扫描系统，其中所述视频数据选择器响应安全系统事件及警报中的任何之一选择所述数字视频数据并移动所述选中的数字视频数据。

6.如权利要求2所述的数字视频扫描系统，其中用户手动控制所述视频数据选择器。

7.如权利要求6所述的数字视频扫描系统，进一步包括：

用户接口装置，用于选择在所述视频显示单元的第一视频显示单元中显示的所述视频数据；并移动所述选中的视频数据到第二视频显示单元。

8.如权利要求6所述的方法，其中所述用户接口装置允许将所述选中的数字视频数据最大化，以包含显示屏幕的整个看得见的区域；以及将所述最大化的显示返回到所述3D场景显示。

9.一种以3D几何学显示多个视频馈给的方法，所述方法包括：

生成多个用于显示数字视频数据的视频显示单元，所述视频显示单元被安置以形成3D场景；

生成多个视频馈给；

接收所述多个视频馈给；

组织所述接收到的多个视频馈给为预定顺序；

渲染来自所述多个视频馈给的所述数字视频数据，来自每个视频馈给的所述数字视频数据被渲染，以在所述视频显示单元的单独一个中显示；以及

在视频显示装置上在所述视频显示单元中输出来自每个视频馈给的所述数字视频数据。

10.如权利要求9所述的方法，进一步包括：

选择在所述视频显示单元的第一视频显示单元中显示的所述数字视频数据；以及

将所述选中的数字视频数据移动到第二视频显示单元。

11.如权利要求10所述的方法，其中所述选择和移动是自动控制的。

12.如权利要求11所述的方法，进一步包括跟踪经过时间，并以预定义间隔的所述经过时间执行所述选择和所述移动步骤。

13.如权利要求11所述的方法，其中响应安全系统事件及警报中的任何之一执行所述选择和所述移动步骤。

14.如权利要求10所述的方法，其中用户手动控制所述所述选择和所述移动。

15.如权利要求13所述的方法，其中所述选择和所述移动使用从包括鼠标和指示装置的组中选择的装置来执行。

16.如权利要求9所述的方法，进一步包括：

选择在所述视频显示单元的第一视频显示单元中显示的所述视频数据；

将所述选中的数字视频数据最大化，以包含显示屏幕的整个看得见的区域；以及

将所述最大化的显示返回到所述3D场景显示。

Images