CN102469303A

CN102469303A - 视频监视

Info

Publication number: CN102469303A
Application number: CN2011103692119A
Authority: CN
Inventors: 格勒瑟·约翰·刘易斯; 迈克尔·约翰·威廉斯
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-11-12
Filing date: 2011-11-14
Publication date: 2012-05-23
Also published as: EP2453412A2; EP2453412A3; US20120120241A1; US9230336B2; GB2485969A; GB201019153D0

Abstract

本发明公开了视频监视。一种视频监视系统包括：两个或更多个视频相机，每个视频相机提供视频信号，各个相机被定位于各自的已知位置处；运动检测器，检测在视频相机中的一个相机的视野内的图像特征的、用于得出由该图像特征表示的对象的对应物理运动的图像运动；以及运动预测器，该运动预测器预测该对象相对于相机的已知位置的物理运动，以得出能在视频相机中的另一相机的视野中观看到该对象的预期时间；其中，运动预测器对路线安排数据作出响应，路线安排数据定义了从对象被观看到的位置到另一相机的视野的可能路线。

Description

视频监视

技术领域

本发明涉及视频监视。

背景技术

视频监视系统通常使用固定空间位置处的视频相机来生成表示监视下的场景的视频信号。

这种类型的系统尤其是在多个相机被使用时会生成大量视频数据。之前，两种主要的解决方案已被用来处理该数据量。

一种解决方案是存储所有东西，即是说，来自每个相机的视频信号通常被存储在保存(例如)在前七天的素材的滚动存储布置中。这意味着如果在存储介质被更近期的视频素材覆写之前发现事件，则可从所存储素材中获得与该事件有关的视频素材。

另一种解决方案是让操作人员实时地观看一个或多个视频显示，以察看事件或其它感兴趣点。

发明内容

本发明提供了一种视频监视系统，包括：

两个或更多个视频相机，每个视频相机提供视频信号，各个相机被定位于各自的已知位置处；

运动检测器，该运动检测器检测在视频相机中的一个相机的视野内的图像特征的、用于得出由该图像特征表示的对象的对应物理运动的图像运动；以及

运动预测器，该运动预测器预测该对象相对于相机的已知位置的物理运动，以得出能在视频相机中的另一相机的视野中观看到该对象的预期时间；

其中，运动预测器对路线安排数据(routing data)作出响应，路线安排数据定义了从对象被观看到的位置到另一相机的视野的可能路线。

本发明认识到，如果感兴趣对象的图像被监视相机捕获到，则对于能够估计出同一对象(例如，罪犯或跑开的孩子)何时何处可在另一相机上被看到来说是极其有用的。该信息可被用来构建感兴趣对象的整体运动的知识。

本发明巧妙地从两个相机的已知位置以及对对象速度的估计得出预期可在另一相机的视野中看到该对象的预测时间。

本发明的另外的各个方面和特征在所附权利要求中限定。

附图说明

现在将察看附图仅通过示例的方式来描述本发明的实施例，在附图中：

图1是视频监视系统的示意图；

图2是视频处理器的示意图；

图3A-3J示意性地图示出十个图像(分别为图像A-J)的序列；

图4是示意性地图示出视频处理方法的流程图；

图5示意性地图示出对象比较步骤；

图6示意性地图示出对检测到的对象的标识；

图7示意性地图示出对象路径的输出；

图8是示意性地图示出视频处理方法的另一示例的流程图；

图9A-9L示意性地图示出十二个图像(分别为图像A-L)的序列以论述图4和图8所示的视频处理方法的操作；

图10示意性地图示出对象中心；

图11示意性地图示出对象跟踪处理的结果；

图12是视频处理器的另一实施例的示意图；

图13示意性地图示出一监视情形；

图14示意性地图示出由图13所示的相机捕获的图像；

图15示意性地图示出一对相机；

图16A和图16B示意性地图示出由图15的一对相机捕获的同一场景的图像；

图17示意性地图示出具有位置检测器的相机；

图18示意性地图示出具有范围(range)检测器的相机；

图19示意性地图示出立体相机；

图20示意性地图示出相机和图像分析器；

图21至图24是路线安排数据的示意图示；以及

图25是图示出视频监视方法的示意流程图。

具体实施方式

现在参考图1，视频监视系统包括两个视频相机10(尽管一般地，可以使用各自提供视频信号并且各自位于分别的已知位置的两个或更多个视频相机)、20；视频处理器30；图像缓冲器40；显示装置50和用户控制装置60。

视频相机10、20向视频处理器30提供视频信号。视频信号包括一般为固定图像速率的连续图像。与录播相机相比，监视相机不必以足以提供平滑的运动描绘的图像速率来操作；实际上，在一些系统中，监视相机可能每秒仅输出图像(例如)一次，或者每0.25秒输出图像一次。替代地，相机可以以常规图像速率(例如，每秒25个图像)操作，在该情况中，视频处理器可以利用所有的所捕获图像或者可以丢弃它们中的一些(例如，从每个相机接收的每十个图像中的九个图像)以便降低要经过存储和处理的图像的图像速率。

相机可以是黑白或彩色相机。它们可以具有固定焦距和空间朝向，或者它们可远程地操作以改变它们的摇摄位置(它们的视野的左右变化)、它们的倾斜位置(它们的视野的上下变化)和它们的“变焦”或焦距中的一者或多者。具有远程可变摇摄、倾斜和变焦的相机在本领域中是已知的。在本发明的实施例中，具有固定摇摄、倾斜和变焦设置的(一个或多个)相机位于固定位置处。

图1所示的系统实际上将根据下面描述的技术仅利用一个相机来操作。然而，这些技术可应用于多个相机系统。

来自相机10、20的图像被传递给视频处理器30和/或直接传递给图像缓冲器40。每个相机位于各自的已知位置处(通过手动校准、通过与相机相关联的GPS定位等而得知)。基本原理为图像实时地被接收(基本上在每个图像被捕获时被接收)并被存储在图像缓冲器中供以后取回和处理。因此，图像可被引导至视频处理器并且图像处理器随后将它们存储在图像缓冲器中，或者它们可被引导至图像缓冲器并由图像处理器从那里取回。

下面将详细描述视频处理器30的操作。视频处理器可被实现为在软件控制下操作的通用数据处理器(其中适当的操作软件由诸如光盘之类的存储介质提供，或者由视频处理器内的存储器提供，或者由诸如因特网连接之类的网络连接提供，或者由这些的组合提供)，或者被实现为硬件，或者被实现为可编程硬件，例如一个或多个专用集成电路或者一个或多个现场可编程门阵列，或者由这些项的组合或其中的两个或更多个来实现。将理解，使视频处理器操作的软件或固件被考虑作为本发明的一个实施例。类似地，存储这样的软件的存储介质(例如非瞬变存储介质)被考虑为本发明的一个实施例。下面要讨论的实施例的其它方面可以类似地用硬件、软件或这些的组合来实现，并且以上阐述的类似考虑适用于这些实施例中涉及的软件或固件。

视频处理器对用户控制装置60进行响应，下面将描述用户控制装置60的操作。用户控制装置60可以采取键盘、鼠标控制装置、一组定制按钮等的形式。

图像缓冲器(存储器)40可以提供对所捕获图像的长期存储(在视频监视系统领域中存储一周或两周或者甚至更长时间是常见的)或者可以仅提供在滚动缓冲器布置中的充分存储以存储在时间上早至参考图像(参见下面)的图像。图像缓冲器可以存储得自于图像的数据，例如运动数据。图像缓冲器存储与在至少一参考时段中捕获的图像有关的其数据，该时段包括参考图像(参见下面)的捕获时间。

视频处理器的输出被显示在诸如平板视频显示器之类的显示屏幕50上。

图2是视频处理器、用户控制装置60和图像缓冲器40的更详细示意图。视频处理器包括比较器100、与对象跟踪器120协同操作的检测器110和显示控制器130。首先参考图3A-3J和图4描述这些单元的操作方式。

图3A-3J示意性地图示出以向前的(forward)时间顺序被标为图像A至图像J的十个图像的序列。这些图像可以是由一个相机以每0.5秒一个图像的示例图像速率捕获的十个连续图像。实际上，下面将描述的处理可在大得多的一组图像中执行，但是在图3中仅十个图像作为示意示例被示出以允许更清楚地图示和说明。

十个图像示出了房子180的示例场景，其中人190将对象200递送到该房子。在图像A至D中，可见到人和对象，并且在各个图像中正在移动。在图像E中，对象位于其最终的静止位置(就被关注的该图像序列而言)并且人正离开相机的视野。在图像F至J中，人不再可见但是对象位于静态位置处。

将参考图4的流程图描述对象200被检测并被跟踪的方式。

在步骤300，对象200被识别为当前图像(例如最新近捕获的图像，如图3的图像J)与参考图像之间的差别。

参考图像被定义为该相机在当前图像之前特定时段(或者特定数目的图像)时捕获的图像。之前的该时段或该数目的图像可由用户通过操作用户控制装置60来设置或者可在该系统内被预先确定。例如，参考图像可被定义为在当前图像之前五分钟时捕获的图像或者可以是在当前图像之前100个图像时捕获的图像。以这种方式，作为参考图像的图像的定义是一种滚动定义；当每个新图像被捕获时，作为参考图像的图像的选择也改变，这是因为参考图像是根据离新捕获图像的位移来定义的。

在其它实施例中，参考图像可以是存储在图像缓冲器的单独区域中的固定图像，或者参考图像可以以稍微更复杂的方式来定义，以使得参考图像的身份(dentity)的改变与每一图像时段改变一次相比更加不频繁。例如，某个图像可被定义为参考图像直到该参考图像变为六分钟以上那么老旧，此时新参考图像被选为在当前图像之前五分钟时捕获的图像。以这种方式，参考图像总是在五分钟和六分钟之间那么老旧，并且在约一分钟时段期间保持为同一参考图像。

在图3的当前示例的讨论中，图像J是当前图像，并且图像A可以是参考图像，或者替代地，在人190到达之前的图像(未示出)可以是参考图像。在任一情况中，在步骤300(图4)，视频处理器的比较器100将对象200识别为当前图像J与参考图像之间的差别。换言之，通过两个图像(图像J与参考图像)之间的简单逐像素比较，对象200被发现不存在于参考图像中的图像位置处。

在步骤310，检测器110检测上面识别出的差别是否一直存在于(即，作为差别)至少阈值数目(n)个图像中。

阈值数目n可由用户利用用户控制装置60来设置，或者可在该系统内预先被确定。例如，数目n可以是25个图像(以每0.5秒一个图像的示例图像速率)。步骤310中的阈值数目的目的是避免检测每个短暂的、短期改变。

图像数目n是指紧邻当前图像之前的n个图像。然而，在其它实施例中，本系统可以涉及不同的一组n个图像，例如在当前图像与参考图像之间的任何n个连续图像或者甚至在当前图像与参考图像之间的任何n个图像。

如果差别(即，在此情况中，对象200在该图像位置的存在)存在于至少n个图像中，则处理传递到步骤320。如果差别未存在于至少n个图像中，则处理停止(就被关注的当前图像而言)并且下一被接收的当前图像被测验。

在步骤320，检测器110在参考图像与当前图像之间按向前的时间顺序检测在其中发现了步骤300中识别出的差别的第一图像。这可以涉及从当前图像起按逆时间顺序逐个图像的向后搜索(可能地，省略已在步骤310中被发现包含该差别的n个图像)。或者系统可以测验间隔时间位置处的图像以建立并缩窄差别第一次出现的图像的范围，或者系统可以按向前的时间顺序从参考图像起向前搜索。

假定对于下一个当前图像以及其后的下一个图像等，可能执行相同的处理，则系统可以存储定义了图像缓冲器40所存储的图像中的对象200的位置和/或存在的元数据(例如，存储在图像缓冲器40中)。元数据可以针对每个当前图像容易地被扩充，因为在步骤300中差别(在此示例中，是对象200的存在)被检测到。以这种方式，无需执行用于执行步骤320的图像处理操作；其可以通过参考已存储的元数据来执行。

一旦图像缓冲器中具有所识别差别的第一图像被检测到，则系统通过步骤330和340开始跟踪对象200的到达。

在步骤330，对象跟踪器120检测到对象200存在于接近最终位置(即，接近当前图像中同一对象的位置)的图像位置处。这里，术语“接近”可以指每个在前图像在任意方向上在离下一随后图像中的该对象位置预定(或者甚至用户可调节)数目的像素范围内被搜索。像素的数目例如在64x 480像素图像的情况中可以为30个像素。

因此，一旦包含有在其最终位置处的对象的第一图像(在图3的示例中，为图像E)被图像跟踪器识别出(在图3的示例中，为图像E)，则处理在步骤330中开始以识别图像D中在略微不同位置中的同一对象。图像D中被搜索的图像区域(利用传统的图像匹配和对象检测技术)基于图像E中的对象位置在任何方向上加上与上述像素数目相等的裕量331。(注意，因为对象200在图像E中接近图像边缘，所以原则上裕量将延伸到该图像之外。该图像之外的任何裕量区域简单地被忽略)。对象200已被定位在图像D中略微不同的位置处。因此，在步骤340，对象已经被定位，因此控制传递回步骤330以重复关于图像D中的对象位置加上裕量的搜索。

该循环被重复直到对象不再被找到为止，每次的搜索区域基于最后识别出的位置加上裕量。(在图3的示例中，对象可被跟踪回到图像A)。然而，在诸如遮挡或移除对象之类的其它示例中，将出现对象不能再被找到的时间，在该情况中，控制将从步骤340传递到步骤350。为了考虑到对象在参考图像后面的不同位置中被找到的可能性，如果搜索就参考图像而言向后进行或者(为了避免生成太多数据并且因此给出不清楚结果)如果搜索向后进行了在其最终位置处第一次出现之前的预定(或者用户可调节)数目个图像，则步骤340可被考虑为将控制传递到步骤350。

在步骤350，指示对象200的到达的路径被生成。这是通过在对象200在最终位置处的第一图像之前的每个图像中被检测到时(即，在步骤320中被找到时)检测对象200的中点来执行的。

对象的中点的生成可以使用本领域中已知的技术，例如通过检测被认为形成了被跟踪对象部分的那些像素的平均像素位置(或“重心”)。示例中点在图10中图示出并且将在下面描述。

在步骤360，第一图像(在步骤320中找到的)之前的那些图像中的对象中点的路径被准备用于由显示控制器130显示并被显示在显示装置50上，例如显示为彩色线在当前图像上的重叠。用户可以操作用户控制装置60来开关该重叠的显示和/或(当若干个对象以这种方式被跟踪时)选择应当显示其重叠的感兴趣对象。

因此，比较器100作用来将当前图像与在参考时段内捕获的视频信号的参考图像相比较，以检测表示相对于参考图像中对应位置的图像改变的图像特征(例如其可能涉及新增对象或被移除对象)。检测器110作用来检测在当前图像中检测到的图像特征是否在至少包含当前图像之前(紧邻或者其它方式)阈值数目个图像的一组图像中都基本上保持位于相同图像位置处(例如，在相同图像位置处或者在位置的小阈值变化内)。显示装置50在显示控制器130的控制下作用来显示具有对关于该图像位置的图像特征的存在持续时段的指示以及任何这样的图像特征的指示的当前图像。

因此，当前图像中的图像特征可以是：当前图像中的新增对象(相对于参考图像)和/或当前图像中相对于参考图像的对象的缺失。

用户可调节(利用用户控制装置60)图像特征必须存在于其上的连续图像的数目和/或参考图像相对于当前图像的时间位置。

图5示意性地图示出与步骤300相对应的对象比较步骤。这里，参考图像(未在图3中示出)被与当前图像(图3的图像J)相比较以识别出对象200在图像J中的存在是这两个图像之间的差别。

在任何方向上小于阈值数目像素(例如，在640x480像素图像中小于10个像素)的图像特征所对应的图像差别可被设置为被系统忽略，因为它们可能是由于被认为不重要的物理特征(如抖动)或噪声引起的。

图6示意性地图示出作为显示装置50上的标识重叠400的、由显示控制器对被检测对象的标识。在此示例中，显示控制器可以通过在步骤300中所检测到的对象的周围绘制彩色边来标识它。这与对象的路径的显示不同，并且实际上如果若干对象以此方式被突出显示为差别，则用户可使用用户控制装置来选择它们中的一个或多个。响应于这样的选择，如果对象路径已经被识别出，则对象路径可被显示。替代地，对感兴趣对象的选择可使得系统执行步骤320至360，从而使得系统避免跟踪除被用户标识为感兴趣的对象以外的对象。

图7示意性地图示出如上所述的对象路径的显示。这里，可由显示控制器重叠一线条(可选地，带有指示对象在向前的时间方向上的运动方向的箭头)来指示所检测到的对象朝着其当前位置的运动。

到此为止的讨论涉及存在于当前图像中但未存在于参考图像中的对象的检测。这涉及检测可疑对象，例如被放置于一区域中的垃圾或者甚至可疑爆炸物。几乎相同的技术可被应用于存在于参考图像中但不再存在于当前图像中的对象。这种布置涉及检测盗窃等。图8是示意性地图示出与图4所示的方法类似的、但被应用于检测从场景中移除对象的视频处理方法的流程图。

图8的许多步骤实际上与图4中的相同。具体地，步骤310、340、350和360分别与图4所示的这些步骤相同并且将不再详细描述。即使其余步骤不同，也具有与图4中对应步骤的高度类似性。

在步骤305，当前图像与参考图像之间的差别由比较器100识别为当前图像中缺失曾存在于参考图像中的对象。如果(由检测器110)(在步骤310)发现检测到的差别存在于n个图像中(如上所述)，则控制传递到步骤325，在步骤325，示出了该对象的最后(最新近捕获的)存储的图像被图像跟踪器识别。在步骤335，由图像跟踪器开始在附近位置处对对象进行搜索(如以上定义的)，但是这次在在步骤325中被识别的图像后面(按向前的时间顺序)的图像中寻找该对象。一旦对对象的跟踪发现对象离开了该场景(或者至少离开了其在参考图像中的位置)，则轨迹可在步骤360中被显示，如上所述。

在实践中，系统的实施例将执行这两个处理。即是说，系统可以识别出当前图像中的新对象以及失踪的对象。图9示意性地图示出十二个图像A至L的序列以一起论述图4和图8所示的视频处理方法的操作。

在图9中，三角形对象400存在于图像A中(在此示例中被当作参考图像)但是不存在于当前图像L中。因此，通过步骤305，其被识别为被移除对象。类似地，正方形对象410不存在于参考图像A中但是存在于当前图像L中，因此其被识别为所增加对象。

这两个差别(通过步骤310)被检测为存在于当前图像L之前的至少n个图像中(其中，在此示例中，n为5)。正方形对象410出现在其当前位置处的第一图像被找到为图像F，并且三角形对象400在其参考位置的最后图像被找到为图像F。在图像D和E中正方形对象靠近其当前位置的路径因此被跟踪，并且在图像G、H和I中三角形对象离开其参考位置的路径被跟踪。

图10示意性地图示出在步骤350中利用如上所述的平均像素位置技术确定的对象中心420。

图11示意性地图示出应用于图9所示的示例时的对象跟踪处理的结果。这里，带有运动或移动轨迹的新增对象410被显示在其当前位置处(因为实际上其是当前图像L的一部分)，该运动或移动轨迹将在图像D和E中其中点的到达示出为一组连续对象位置的表示。带有类似的运动或移动轨迹的被省略对象400被显示为在其原始位置处的重叠(例如，以降低的对比度和/或透明度，和/或以闪烁格式)，该类似运动或移动轨迹示出了在图像G、H和I中其中点离开的路径。图像特征的存在持续时间，例如，新到达特征410已存在的时间(在此示例中为5分钟)和/或新近被移除对象曾持续存在的时间(在此示例中为2分钟)可以在显示控制器130的控制下被显示在对象附近或预定显示位置处。

上面的讨论涉及当前图像与参考图像之间的比较。将理解，当前图像不必是在处理被执行时最新近被捕获的图像。出于上述处理的目的，用户可以将一个所存储图像定义为“当前图像”。即是说，例如，如果用户想要回顾所存储视频素材以检测对象的到达或离开，则用户可以找到新到达对象存在的先前图像，并且执行上述处理以建立其到达路径。

用户改变参考图像的位置(相对于当前图像)和/或改变必须存在于其中的图像的数目n(在步骤310中)的能力使得用户能够识别出以不同速率发生的改变，或者换言之，能够改变系统的灵敏性和对噪声的易感性。

上述实施例涉及具有固定摇摄、倾斜和变焦的一个或多个相机。可以使用具有可变摇摄、倾斜和变焦的一个或多个相机。实现此的一种方式是当在当前图像之外的图像中搜索对象时，存储定义摇摄、倾斜和变焦的与每个图像相关联的元数据，并且利用该元数据来逐个图像地补偿摇摄、倾斜和变焦的改变。

图12是视频处理器30的另一实施例的示意图并且示出了运动检测器1100、运动预测器1110以及显示控制器1120，可选地，运动预测器1110对路线安排数据作出响应，该路线安排数据定义从所观察到的对象位置到相机中的另一相机的视野的各种可能路线。

图12所示的并且下面将描述的实施例的特征可以与图2所示的并且在上面描述的实施例的特征协同操作。即是说，单个视频处理器30可以包括这两组功能，或者这两者的置换。可以实现此的方式的示例将在下面讨论。

由两个或更多个视频相机10、20捕获的图像被提供给图像缓冲器40和/或运动检测器1100。图像缓冲器40作为用于存储与来自相机的视频信号的图像有关的数据的图像存储器。运动检测器检测所捕获图像中的，即是说，至少一个视频相机的视野内的运动(例如运动对象或图像特征)，并且还检测图像特征是否与感兴趣对象有关。例如，在通常的视频监视区域中，对跟踪家猫的运动的兴趣可能很小，而对跟踪可疑罪犯的运动的兴趣很大。运动检测器可使用已知对象识别技术来检测运动的图像特征是否与感兴趣对象有关。在这样做时，运动检测器可参考可由用户设置的感兴趣对象的类别集合，例如，人、机动车、自行车(如果运动被检测到，则其隐含了它们伴随有骑车人)以及摩托车的类别。

通过检查视频信号的连续图像之间的图像改变来检测运动。就此而言，运动检测器使用已知运动检测技术，例如图像之间的块匹配。

因此，运动检测器1100可操作来在视频相机之一的视野内检测图像特征的图像运动并且得出该图像特征所表示的对象的对应物理运动。

当运动被检测时，运动检测器被布置为检测对象的对应物理运动(方向和/或速度)，并且将定义正在运动的对象以及该运动的数据传递给运动预测器。运动预测器被布置来预测对象相对于相机的已知位置的物理运动，以得出可在另一相机的视野中观看到该对象时的预期时间。这可以在向前或向后的(或两者)方向上操作，即是说，其基于当前运动(在本发明的实施例中，其包括所检测到的对象的运动方向)和对象的性质来预测所检测到的运动对象在稍后的时间时所在的位置或者运动对象在先前时间时可能所处的位置，或者它们两者。在任一情况中，预测都涉及检测可在(或者可能曾在)另一相机的视野中观看到对象的时间。

对象的性质以较简单的方式影响该预测。例如，如果运动对象是行人，则可预期行人从起点经过的预期距离小于运动对象是汽车或摩托车的情况。下面将描述可将运动对象的性质考虑在内的方式。

运动预测器的目的在于预测感兴趣的运动对象何时进入另一相机的视野(在向前预测的情况中)和/或感兴趣的运动对象先前可能何时进入了另一相机的视野(在向后预测的情况中)。这些预测可针对当前捕获的图像执行，在该情况中，向前预测在它们被进行时将涉及将来的某个时间。或者，预测可以针对在预测处理发生的时间之前的某个时间被捕获的所存储图像执行。例如，这作为在犯罪发生之后警察对犯罪事件的分析的一部分来说是有用的。在这样的情形中，即使运动的向前预测也仍然可能指向在运动预测处理被执行之前的时刻所捕获的视频素材，因此向前预测的结果可以指向图像缓冲器中或者其它地方的另一装置的等同缓冲器中存储的其它素材。

运动预测器因此可以提供各种类型的输出。如果预测出的运动结果是在将来(在预测被执行时)，则该系统可以显示对预期可以在何时何处看到感兴趣对象的指示，并且系统可以设置定时器(未示出)以使得来自所预期的感兴趣对象的位置的视频素材在适当的时间被显示出。然而，如果向前预测指向所存储视频素材，则所存储素材可以被访问并立即被显示。就向后预测来说(感兴趣对象何时来自何处)，假设适当视频素材已被存储，则该素材可被访问并立即被显示。视频信号在运动预测器预测出对象可能存在时的阈值时间内被访问，或者替代地，运动预测器可以输出用于访问的时间范围(预测时间加上或减去不确定阈值)。显示控制器处理被恢复视频素材的显示。

因此，运动预测器可操作来预测对象相对于已知相机位置的物理运动，以便得出可以在另一个相机的视野中观看到该对象的预期时间。

从一般意义上讲，运动预测器可针对所考虑图像中的图像特征操作来：

预测在对象在所考虑图像中被观看到之前对象的运动，以便得出所考虑图像的时间之前的、对象可能在另一个视频相机的视野中被观看到时的预期时间；和/或

预测在对象在所考虑图像中被观看到之后对象的运动，以便得出在所考虑图像的时间之后的、对象可能在另一个视频相机的视野中被观看到时的预期时间。

在本发明的实施例中，当针对对象可在一相机的视野中被观看到时的预期时间的该相机的视频信号被存储在图像存储器中时，运动预测器可操作来检测该相机在该预期时间的阈值时段内捕获的图像中对象的存在。

由运动检测器针对被检测为运动(并且被检测为上述类别之一内的对象)的每个对象来执行这种类型的分析可能是不切实际的。这将导致生成令人困惑的大量数据。因此，在本发明的一些实施例中，存在通过用户控制装置60来操作的用户选项，以选择要经过该分析的对象。该选择例如可以由用户利用鼠标或类似控制装置来选择显示在显示屏幕上的对象。该选择可以从检测到的一组对象中进行，其中，用户从该组中选择用于分析的一个或多个对象。

下面将给出由图12的装置执行的处理的进一步细节。

图12的装置的一个重要方面在于其估计感兴趣对象的当前速度以便得出对该对象在某个其它时间曾在何处或将在何处的预测。可以实现这一点的一种方式是根据对象的类别来估计速度。对于行人，估计出的速度可以为5km/h(千米每小时)。对于跑步者，估计出的速度可以为10km/h。对于机动车，与车辆本身的类型相比，估计出的速度更多地取决于车辆将经过的道路的性质。对预期速度的第一估计可以为车辆将沿着如路线安排数据所定义的每条道路以合法速度限制行进。如果交通状况繁忙，则这可能是较高估计，或者在肇事逃逸犯罪的情况中可能是较低估计。但是其提供有用的估计。可以通过允许车辆具有用于通过沿着假定路线的每个交叉路口的短时间段来细化该估计，其中比如说，与左转相比更多时间被允许用于右转(在车辆在左侧行驶的国家)，并且与没有交叉点等相比更多的时间被允许用于受交通灯控制的交叉点。与本地道路速度限制有关的信息可被提供作为路线安排数据的一部分。对机动车的预期行进速度的进一步细化是使用路线安排数据，该路线安排数据包含可在多个因特网源上获得的交通状况数据并且指示出一些道路的平均车速。如果该数据被使用，则在本发明的一些实施例中，该数据与视频素材一起被存档(在适当的存储布置中，其可以是或者可以不是图像缓冲器40的一部分，并且可操作来将路线安排数据与在该路线安排数据相关时刻捕获的图像相关联地存储)，以使得如果以后需要，可以访问历史交通状况数据。与视频素材一起存档并不要求这两组数据以相同方式被存储或者甚至通过相同存储介质或布置被存储。但是，其意味着关联数据以这样的方式被存储：当其被需要时或者如果其被需要，则可以基于时间(即在与视频素材相关的时间处)将该数据与视频素材相关联或重新关联。即是说，与特定时间或时间段有关的视频素材可被访问，并且与该相同时间段有关的关联数据可被访问以使得这两者可被运动预测器和显示控制器协同使用。

以类似方式，其它数据可与视频素材一起被存档。这里的示例是地图数据(充当路线安排数据)，其提供捕获视频素材时的所讨论相机附近的道路、路径等的布局。一些地图数据源被更新得较慢，意味着在道路或路径布局改变与地图数据被改变来反映此改变之间可能存在巨大的时间滞差。然而，存在可以快得多地被更新的其它地图数据源，示例(在提交申请时，并且至少涉及英国的多个部分)通过http://www.openstreetmap.org/来提供。

另一选项是行人对于行程的一部分利用公共交通到达另一相机的视野。这里，路线安排数据可以包括诸如公交车或列车服务之类的本地公共交通服务或线路的细节。在一些情况中，实况出发数据可被获得以指示这些服务的实际(而非计划的)出发并且还可以被存档用于以后参考，如上所述。

一般地，运动预测器1110对定义了从对象的被观看位置到另一相机的视野的可能路线的路线安排数据作出响应。路线安排数据可以包括定义了从对象的被观看位置到另一相机的视野的可能路线的含日期的地图。替代地或者另外，路线安排数据可以定义对象的被观看位置与另一相机的视野之间的行程的至少一部分的运输线路。在本发明的实施例中，路线安排数据可以提供通过那些运输线路的实际行程时间。在本发明的实施例中，路线安排数据可以包括速度数据，该速度数据定义在对象被观看到的位置与另一相机的视野之间的对象的预期速度。

现在讨论运动检测器1100对对象速度的评估。

图13示意性地图示出了这样的监视情形，其中，相机1200被安装在已知位置处并且在该相机的视野内具有两个行人1210。

如上面提到的，行人的速度v(参见图14，其是相机1200所捕获的图像的示意表示)可以简单地从他们是行人的事实被估计出。然而，现在将描述用于评估速度的其它技术(其可被单独地或组合地使用)。

在一种技术中，速度估计作为诸如行人的图像高度(图14中的h)之类的所估计出的距离的函数，从行人前进越过图像的速率来得出。如果h被估计为比如说1.6m，则与h相对应的图像大小(以像素单位的高度)可被用来估计水平距离1.6m。行人沿着该距离行进所花的时间给出了对其速度的估计。

在另一技术中，相机可被预先校准为位于间隔已知距离处的物理位置1220处，并且行人经过这些点之间所花的时间可以给出速度的估计。当行人被约束为一条(或少数条)可能路径1230(图13)时，这种布置作用更好。一般地，如果相机根据地面上的特征被校准(可以通过手动处理，或者可以通过相机的已知位置和/或与相机相关联的GPS接收机，和/或通过基于地图数据及相机已知位置而对附近特征的图像识别来校准)，则可以在相机视野内在更宽的或者可能基本上不受限制的范围的位置之间来跟踪运动对象的速度和/或方向。

运动检测器可以以多种方式来检测监视下的运动对象是人(正步行或奔跑)还是车辆。一种方式是考虑对象的速度。如果速度非常慢，则该测验无法单独地得出结果，但是如果速度超过(可能每小时10英里的)阈值速度，则作出对象是车辆的假设。第二因素是对象的大小。再次地，如果大小较小，则该测验不太能得出结果，因为存在骑在小型摩托车上的、可能与小孩类似大小的大人。但是如果大小高于(可能从侧面看时两平方米的)阈值大小，则系统可以作出对象是车辆的假设。另一示例是使用对象识别技术，这些对象识别技术是大家都知道的技术并且可以基于将所检测对象的形状和特征匹配到不同对象类型的已知特性来提供对象类型的指示(人、车辆等)。

图15示意性地图示出已知位置处的一对间隔开的相机1240、1250，以及可操作来通过两个相机所捕获的图像之间的已知三角测量技术来得出位置和估计速度信息的处理器1260。图16A和图16B是各自捕获的图像的示意示例。

注意，在本发明的一些实施例的特征中，在每个图像(如显示在显示装置50上的，未被存储)上设置有图标1270、1280(参见图16a、16b)来指示另一相机具有同一场景的重叠视图并且图示出该视图的大体方向。用户可以选择(例如，点击)一图标以使显示装置示出来自新选择相机的图像。

每个相机的已知位置可由操作员手动建立，但是作为替代，图17示意性地图示出具有耦合到处理器1310的位置检测器1300(例如全球定位系统(GPS)接收机)的相机1290。GPS接收机1300提供相机的地理位置。处理器1310可以使用该信息来得出相机离已知地理特征(例如图13中的路径1230)的距离。利用该距离信息以及相机的焦距，对象经过路径1230的速度可以从其前进越过相机所捕获的图像的速率来估计出。

图18示意性地图示出具有范围检测器1330的相机1320。范围检测器可使用已知的光学、超声或雷达技术来检测范围1(图13)或者甚至运动对象的速度。再次地，利用该范围以及相机的焦距，对象在该范围中的速度可以从其前进越过图像的速率来得出。

图19示意性地图示出由两个图像捕获设备1340、1350形成的立体感(立体)相机以及可操作来生成针对立体相机所捕获图像中的对象的范围信息的处理器1360。注意，该相机不必输出立体图像；提供给视频处理器30的图像可以是单视场的，而立体信息仅由图19的相机用来生成范围信息。

图20示意性地图示出相机1370以及可操作来例如从图像高度或类似信息得出所估计速度信息(如参考图14讨论的)的处理器1380。

在以上示例中，处理器的功能的至少一部分可由运动检测器1100执行，或者可被定位于摄像头处，在该情况中，速度或范围信息可以作为元数据与相机发送给视频处理器30的图像一起被返回。

这些示例涉及行人，但是类似技术适用于诸如机动车之类的其它对象的运动的检测。

一旦(在给出相机的已知位置的情况下，简单地通过检测对象前进越过图像的方式所获得的方向以及)速度被估计出，则处理的下一部分是运动预测器1110从该速度和/或方向数据中预测感兴趣对象的将来或过去的运动。对于此，路线安排数据可以是有用的。

路线安排数据可以包括如下中的一者或多者：示出了相机站点附近的可能地理路线的地图数据；诸如时间表、路线和实况定时数据之类的公共交通设施的细节；以及交通速度限制、实况实际平均速度、交叉点等的细节。

图21至图24是路线安排数据的示意图示。

图21示意性地图示出地图的一部分，该部分示出了感兴趣对象在监视相机上被捕获的位置(A)、其它附近相机的位置(B)、(C)和(D)、相机站点之间的可能路线，以及两个火车站(在位置(B)和(C)处)。

将描述的技术允许预测出相对于图像的捕获被分析的时间，感兴趣对象曾位于某个位置(向后预测)和/或将位于的某个位置(向前预测)的时间。示例将涉及预测对象曾经/将位于另一相机站点的时间，但是作为替代，可应用于诸如警察路障等之类的其它站点。

参考图22，感兴趣的行人在站点(A)处被检测到，并且对该行人何时可能位于站点(C)进行预测。从(A)至(C)仅存在一条实际路线，因此该路线的距离(从路线安排时间以及两个相机的已知地理位置得知的)被与如上那样得出的行人的估计速度相组合来得到位于点(C)处的估计时间。该时间处或该时间附近(比如说，位于(A)时的时间与位于(C)时的预测时间之间的时间差的10％裕量内)的视频素材被访问以检测位于站点(C)处的该行人。

注意，该系统无法检测行人的意图。行人可能不希望移动到站点(C)。该系统仅在行人选择去往站点(C)时形成对该行人可能位于站点(C)的时间的预测。

在图23中还考虑到其它选项。行人可能希望去往站点(B)。存在去往站点(B)的两条路线，或者替代地，行人可能行进到站点(C)赶火车。两条路线从行人的速度以及各自距离被估计出。火车到达时间从预期行人到达站点(C)的时间、与火车离开(C)去往(B)的计划或实际时间相组合地被估计出，要记住，如果火车有可能在步行至(C)的预期到达时间的较短时间(例如两分钟)内离开，则行人可能要非常匆忙以试图赶上该火车。

图24示出了受交通灯控制的交叉点400，如前所述，如果感兴趣对象是沿着该路线的机动车，则受交通灯控制的交叉点400将被考虑在内。

图25是图示出视频监视方法的示意流程图。

在步骤1500，运动检测器1100检测感兴趣对象的图像运动。

在步骤1510，运动检测器检测或估计对象的速度，如上所述。

在步骤1520，运动预测器1110预测对象在某一时间的将来位置或过去位置。如果另一可能路线可被获得(步骤1530)，则该处理被重复。这基于在步骤1500中对对象运动的估计而生成了对象可能位于/可能曾经位于的地点方面的大量可能结果。

最后，运动预测器访问与预测出的位置和时间有关的视频素材(一旦可获得)以供显示在显示装置50上。如果在步骤1520中得出了多于一个结果，则用户可以选择一次观看一组视频素材。

在此阶段中可用的其它选项(除了访问视频素材以外或者取代访问视频素材)是访问与感兴趣对象的所预测时间和地理位置有关的其它内容或信息。这里的示例可以包括：来自由其它提供者运行的相机(一个示例是肇事快速逃逸犯罪的情况中的车速执法相机)的视频素材、所使用的公共交通智能卡的记录、商店忠诚卡使用记录、移动电话位置跟踪等。

现在将描述上述各种实施例和技术可一起操作的方式。

作为一个示例，在相对于图2-图11描述的技术中，一种手段被提供(例如参见图4中的步骤350和360)来得出指示对象到达其当前位置时或者离开其先前位置时的该对象的运动的运动路径。这样的运动轨迹的示例在图7中示出。

从其得出运动轨迹的数据可以形成参考图12至图25描述的处理的输入。

即是说，从其得出运动轨迹的数据(实际上其可以通过操作提供了对象跟踪器120的一些或所有功能的运动检测器1100被得出，或者反之亦然)可以充当运动预测器1110的输入数据。在对象当前存在于图像中但是未曾存在于参考图像中的情况中，运动轨迹数据可以指示对象首次到达的时间(或者，图像身份或图像范围)以使得运动预测器可以在向后时间方向上操作，以预测该同一对象的早前运动并且利用图25的方法访问可能与该早前运动有关的视频素材(其可能来自其它相机)。

在对象曾存在于参考图像但已不再存在的情况中，运动轨迹数据可以指示对象离开其先前位置的图像或图像范围。再次地，在对象根本不再在图像中的实例中，运动预测器1110可以对如上所述的这样的数据进行操作，以便预测出对象在稍后的时间点时可能位于哪儿，并且因此访问可能与对象的稍后视图有关的视频素材(其可能来自其它相机)。

参考图16a和16b讨论的多相机布置也可有用地应用于参考图2至图11描述的实施例，因为在紧邻对象进入图像(如运动轨迹数据所示的)之前或者在紧邻对象离开图像之后，或者如果对象被遮挡或未在覆盖范围内，则来自正观察同一大体场景的其它相机(例如参考图16a和16b讨论的两个相机)的视图可以自动地和/或手动地被访问，以提供当对象在第一相机上不可见时该对象的其它可能视图。

Claims

1.一种视频监视系统，包括：

运动检测器，该运动检测器检测在所述视频相机中的一个相机的视野内的图像特征的、用于得出由该图像特征表示的对象的对应物理运动的图像运动；以及

运动预测器，该运动预测器预测该对象相对于相机的已知位置的物理运动，以得出能在所述视频相机中的另一相机的视野中观看到该对象的预期时间；

其中，所述运动预测器对路线安排数据作出响应，所述路线安排数据定义了从对象被观看到的位置到所述另一相机的视野的可能路线。

2.根据权利要求1所述的系统，包括图像存储器，用于存储与来自相机的视频信号的图像有关的数据。

3.根据权利要求2所述的系统，其中，所述运动预测器针对所考虑图像中的图像特征操作来：

预测在对象在所考虑图像中被观看到之前该对象的运动，以便得出在所考虑图像的时间之前的、该对象能在所述视频相机中的另一个相机的视野中被观看到的预期时间；和/或

预测在对象在所考虑图像中被观看到之后该对象的运动，以便得出在所考虑图像的时间之后的、该对象能在所述视频相机中的另一个相机的视野中被观看到的预期时间。

4.根据权利要求2或3所述的系统，其中，当针对对象能在一相机的视野中被观看到的预期时间的该相机的视频信号被存储在所述图像存储器中时，所述运动预测器可操作来检测该相机在该预期时间的阈值时段内捕获的图像中该对象的存在。

5.根据前面权利要求中的任一项所述的系统，其中，所述路线安排数据包括定义了从该对象被观看到的位置到另一相机的视野的可能路线的地图数据。

6.根据前面权利要求中的任一项所述的系统，其中，所述路线安排数据定义对象被观看到的位置与另一相机的视野之间的行程的至少一部分的运输线路。

7.根据权利要求6所述的系统，其中，所述路线安排数据包括定义通过所述运输线路的实际行程时间的数据。

8.根据前面权利要求中的任一项所述的系统，其中，所述路线安排数据包括速度数据，该速度数据定义在对象被观看到的位置与另一相机的视野之间的对象的预期速度。

9.根据前面权利要求中的任一项所述的系统，包括存储布置，可操作来将所述路线安排数据与在该路线安排数据相关时间处捕获的图像相关联地存储。

10.根据前面权利要求中的任一项所述的系统，其中：

所述运动检测器可操作来检测该对象的运动方向；以及

所述运动预测器对检测到的运动方向作出响应。

11.根据前面权利要求中的任一项所述的系统，其中：

所述运动检测器可操作来检测所述图像特征是否表示：

正步行或奔跑的人；或

车辆。

12.一种视频相机，包括速度估计器，该速度估计器用于估计由所述视频相机捕获的图像中的对象的速度。

13.一种视频监视系统的操作方法，该视频监视系统具有各自提供视频信号的两个或更多个视频相机，各个相机被定位于各自的已知位置处；所述方法包括：

检测在所述视频相机中的一个相机的视野内的图像特征的、用于得出由该图像特征表示的对象的对应物理运动的图像运动；以及

响应于路线安排数据，预测该对象相对于相机的已知位置的物理运动，以得出能在所述视频相机中的另一相机的视野中观看到该对象的预期时间，所述路线安排数据定义了从对象被观看到的位置到所述另一相机的视野的可能路线。

14.一种计算机软件，用于执行根据权利要求13所述的方法。