CN103004188A - 设备、系统和方法 - Google Patents

设备、系统和方法 Download PDF

Info

Publication number
CN103004188A
CN103004188A CN2011800350809A CN201180035080A CN103004188A CN 103004188 A CN103004188 A CN 103004188A CN 2011800350809 A CN2011800350809 A CN 2011800350809A CN 201180035080 A CN201180035080 A CN 201180035080A CN 103004188 A CN103004188 A CN 103004188A
Authority
CN
China
Prior art keywords
visual field
tracking
time
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800350809A
Other languages
English (en)
Other versions
CN103004188B (zh
Inventor
伯格豪斯·伯格豪西恩
詹姆士·布莱克
萨迪斯·派达加迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bull SAS
Original Assignee
Ipsotek Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ipsotek Ltd filed Critical Ipsotek Ltd
Priority to CN201510737320.XA priority Critical patent/CN105336077B/zh
Publication of CN103004188A publication Critical patent/CN103004188A/zh
Application granted granted Critical
Publication of CN103004188B publication Critical patent/CN103004188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种设备，该设备用于分析摄像头视场的视频帧序列以跟踪所述视场中的对象并确定在所述视场中所述跟踪的起点和终点。该设备也确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间；以及将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。

Description

设备、系统和方法
技术领域
本发明涉及用于分析视频帧序列的设备，使用这种设备的系统以及操作这种设备和系统的方法。具体地，但不排他地，本发明实施例涉及视频监控网络。
背景技术
视频监控网络包括用以提供特定地理位置的监控的一个或多个视频摄像头。网络可以简单地包括单视频摄像头，单视频摄像头用于监视门口，例如可以是门、走廊、电梯、入口门厅、出口门厅、大厅、机场安检门或可能有大量人通过的任何地方。在某些情况下，例如大型购物中心的入口大厅或机场的出发大厅，在较短时间内可能有成千上万人经过。这使得在这种情况下跟踪被认为可能对安全构成威胁或引起安全关注的人充满困难。
通常，视频监控网络包括多个视频摄像头，它们布置成提供对诸如城市环境之类的分布式地理位置的监控。每个视频摄像头具有特定的视野或者“视场”，在上面捕捉并可以记录视频图像。视频摄像头可以是静止的，或者可以被远程控制在监控地区移动视场。在特定时间的视场的视频图像通常可以称为“场景”，且可以与摄像头捕捉的视频图像帧对应。
使用如基于互联网协议的通信，可以将网络中的摄像头通过通信网络与控制中心相连接。可选择地，通过专用的模拟或数字通信信道，可以将摄像头与控制中心相连接。通常控制中心由操作人员操纵，甚至在出现针对网络内特定场景的自动警报响应的时候。操作人员需要观察显示相关事件的摄像头，例如产生警报的场景。在包括许多摄像头的网络中，即使当在控制中心每个摄像头具有专用的显示屏幕时，操作员也无法监视所有摄像头。
此外，许多视频监控网络覆盖广泛的地理区域，而且可以具有不重叠或不邻接的视场覆盖范围。另外，摄像头可以覆盖拥挤地区，可能包括被其它对象遮挡的对象，例如，在静态遮挡的地方，由于城市特色建筑遮挡部分街道从而遮挡在该城市特色建筑后面通过的行人和车辆，或者行人之间互相遮挡的诸如拥挤的环境之类的地方。
监视这种视频监控网络可能非常复杂，导致难以观察到事件和/或跟踪在事件之前或者事件之后接着发生的活动。
发明内容
考虑到前述情况，设计了本发明的各方面和实施例。
就第一方面而言，本发明提供了设备，用于分析摄像头视场的视频帧序列以跟踪所述视场中的对象；确定在所述视场中的跟踪的起点和终点；确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间；以及将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。
在摄像头视野的环境中的“跟踪”可以是用于定义对象存在的位置、时间和外观细节的结合。这种对于对象的跟踪一直存在，直到他从场景中完全地消失或者满足所设置的跟踪结束的条件为止。
就本发明的第二方面而言，提供了操作数据处理设备的方法，包括：分析摄像头视场的视频帧序列以跟踪所述视场中的对象；确定在所述视场中的跟踪的起点和终点；确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间；以及将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。
根据第一方面和第二方面的实施例处理视频帧序列中的视频图像数据，以将视频帧序列中诸如人或车辆之类的对象的行为或路径简化为占用较低带宽的元数据格式，例如，仅四个简单的数据点，这使得易于搜索。也就是说，将视频帧序列中的对象的行为简化为合理的数据，该数据定义了对象在序列中起始和终止的地方以及与起点和终点对应的时间。这实质上减少了存储关于对象行为的信息所需的数据存储空间的数量，而且如果将在数据分析中使用对象的行为，也减少了必要的处理量。
通常，一个或多个实施例可以处理多个监控网络摄像头视场的视频帧序列以跟踪各个视场中的对象，并且将各个起点和终点以及起始时间和终止时间作为各个视场中的每个所述跟踪的属性进行存储。例如，在覆盖诸如市中心、仓库或者其他这种设施之类的大型地理区域的监控网络中，将使用多个视频摄像头。
适当地，一个或多个实施例可以确定第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时间关系，并且基于所述时间关系确定所述第一视场中的所述跟踪过渡到所述第二视场中的所述跟踪的似然值。然后存储该似然值。就这种差异来说，似然值可以是概率值。确定在第一视场和第二视场的跟踪之间的过渡的似然值提供了一种实施例，其中可以根据它们的似然值对过渡进行排序。因此，可以丢弃或忽略具有低似然值的过渡。由于可以忽略较低可能性的过渡并且在它们上没有进行数据处理，因此这在减少数据处理开销方面可能特别重要，并且分析数据依赖于第一视场和第二视场之间的过渡。而且，由于对定义不同视场中的跟踪之间的对应关系的元数据进行处理，而不是对视频帧进行处理，因此需要较少的处理量。
时间关系可以是基于物理空间中对应于所述起始时间的起点与对应于所述终止时间的终点之间的空间关系。通常，这种空间关系是沿着道路或人行道的出口区和入口区之间的距离，并且可以在系统内定义为系统参数。
更具体地，根据本发明的实施例可以在所述第一视场和第二视场中跟踪多个对象，并确定相应的多个起点和终点；基于所述多个起点和终点确定所述第一视场和第二视场中的起始区和终止区；确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的所述时间关系；以及基于所述时间关系确定从所述第一视场中的跟踪到所述第二视场中的跟踪的过渡的所述似然值。因此，定义了物体可能从视场内出现或消失的区域，这提供了对出口区和入口区更简单的识别。
通常，时间关系基于物理空间中所述起始区和所述终止区之间的空间关系。
通常，更多实施例对所述第一视场中所述对象的标记进行响应，以确定具有所述第二窗口中的起始时间并满足所述时间关系的一个或多个跟踪，并向用户显示所述一个或多个跟踪。
具体地，一个或多个实施例确定对象的外观作为所述对象的属性，比较与所述一个或多个跟踪对应的每个对象的外观属性，以确定每个对象成为被标记对象的概率值，并根据所述概率值对所述一个或多个跟踪排序。为了比较的目的，利用如对象的外观之类的描述信息而不是实际的对象图像，由于比较更少的数据点，因此使得比较过程更高效。
适当地，通过仅显示个体可能已经经过的最可能的路线，仅显示最可能的跟踪，这减少了操作人员分析所有可能的存在该个体的录像所花费的时间。
更适当地，一个或多个实施例通过响应确认所述一个或多个跟踪之一作为正确的跟踪的用户输入，选择正确的跟踪。因此，更多实施例可以被配置为接收用户的反馈以进一步提高单个对象的跟踪。
就本发明的第三方面而言，提供了设备，该设备用于显示摄像头位置的网络地图和第一摄像头视场的场景；响应用户对所述场景中的对象所作的标记，以：基于在其它视场中的可能的对象，确定所述网络中被标记对象可能出现的其它视场，所述其它视场满足所述第一摄像头视场中的出口点和/或入口点与所述其他视场中的入口点和/或出口点之间的时间关系和空间关系；以及显示所述网络中摄像头位置之间可能的路线，所述可能的路线满足所述时间关系和空间关系。
就本发明的第四方面而言，提供了操作数据处理设备的方法，包括：显示摄像头位置的网络地图和第一摄像头视场的场景；响应用户对所述场景中的对象所作的标记，以：基于在其它视场中可能的对象，确定所述网络中被标记对象可能出现的其它视场，所述其它视场满足所述第一摄像头视场中的出口点和/或入口点与所述其它视场中的入口点和/或出口点之间的时间关系和空间关系；以及显示所述网络中摄像头位置之间可能的路线，所述可能的路线满足所述时间关系和空间关系。
根据本发明的第三方面和第四方面的一个或多个实施例提供了工具，该工具允许操作人员存取由标记跟踪系统生成的数据以及通过视频直观地导航并标记感兴趣的个别对象。而且，这种使用方式可以有助于减少为了跟踪穿过监视区域的单个对象需要手工分析的视频量。
通常，一个或多个实施例基于所述可能的对象和所述被标记对象之间的外观元数据的相似度，确定所述被标记对象可能出现的其他视场。这提供了进一步的方法来确定对象可能符合被标记对象的可能性。
适当地，一个或多个实施例显示所呈现的路线符合所述被标记对象采用的路线的概率指示，这向操作人员提供了有用的反馈。具体地，突出最可能的路线。
一个或多个实施例可以被配置为响应用户对与所述其它视场对应的摄像头位置的选择，以显示所述可能的对象存在的视频场景。因此，用户可以快速地在感兴趣的视频场景之间移动。同时用户可以在视频场景中选择所述可能的对象，以确认所述可能的对象作为所述被标记对象，并确认通向所述摄像头位置的路线，并删除其它路线。
更适当地，一个或多个实施例基于时间关系和空间关系，以及可选地外观元数据，计算所述被标记对象的去往所述摄像头位置和来自所述摄像头位置的进一步可能的路线，并显示所述可能的路线。
甚至更适当地，更多实施例至多仅显示一定数量的可能的路线，这些可能的路线对应于具有最高可能性的那些路线，并且可选地，至多仅显示一定数量的摄像头位置之间的连接，从而进一步减少操作人员不得不做的工作量。通常示出任一方向的联系从而减少视频混乱。
所述一定数量可以是用户可设置的，以便可以按照用户的喜好配置显示。
可以提供滑块控制的场景，用户可来回滑动该滑块以向后或向前移动视频场景。这允许用户控制回顾哪部分视频。
更多实施例可以显示沿着所显示的时间线上的一个或多个书签，以指示对象进入或离开与所显示的所述场景对应的视场的地方。书签使得操作员快速知道可能的候选对象已经出现在他们正在观察的摄像头视场中的时间跨度，然后这能够通过变暗或选择对象进行确认来影响导航。
可以在具有与其相关诸如入口点或出口点之类的元数据的对象周围显示边界框，以帮助识别它们。通常，更多的实施例通过以具有不同突出属性的边界框突出可能的对象以区别没有归类为可能的对象的对象，并以具有不同突出属性的边界框突出确认的对象以区别没有归类为确认的对象的对象。
为了提供监控标记活动的记录，一个或多个实施例可以被配置为生成被标记对象通过所述网络地图的路线的报告。
附图说明
图1是示出城市地区的地图的图示，该地图示出了监控网络中的摄像头位置；
图2是图1所示的监控网络中摄像头视场的场景的图示；
图3是根据本发明实施例的监控系统的示意图；
图4是视频数据元素的图表表示；
图5是根据本发明实施例的视频内容分析模块的过程控制流程图；
图6是根据本发明实施例的获得元数据的过程控制流程图；
图7是元数据数据元素的图表表示；
图8是根据本发明实施例的元数据数据库的实体关系图；
图9是根据本发明实施例的确定跟踪片段的过程控制流程图；
图10是根据本发明实施例的确定出口区和入口区的过程控制流程图；
图11是源自本发明实施例的具有叠加的出口区和入口区的摄影图；
图12是源自本发明实施例的一对相邻的出口区和入口区的摄影图；
图13是根据本发明实施例的视频监控网络的拓扑结构的示意图；
图14是根据本发明实施例的加入标记跟踪用户界面模块的监控系统的示意图；
图15是根据本发明实施例的用户界面显示的第一阶段的示意图；
图16是根据本发明实施例的用户界面显示的第二阶段的示意图；
图17是根据本发明实施例的用户界面显示的第三阶段的示意图；以及
图18是根据本发明实施例的用户界面显示的第四阶段的示意图。
具体实施方式
图1示出了地图10，该地图10示出了城市地区的视频监控系统中个别摄像头的位置12。每个摄像头的视场14由三角形表示，该三角形顶点位于摄像头位置处并从那儿伸出来。从识别的摄像头视场14可以看出，在摄像头视场之间存在间隙，导致示出的城市地区的视频监控不邻接。这不排除通过安装足够数量的摄像头将系统应用于邻接的视频监控。
图2示出摄像头通常的场景，在这种情况下为摄像头C07，并且该场景示出车辆15、穿过道路的行人16、拉着手推车的行人17、沿着人行道行走的行人18以及非常靠近彼此的一对行人19。这对行人19互相足够靠近，以至于在视频分析系统看来可以作为单个对象。
现在参照图3，示出了包括视频摄像头网络10的监控系统20。视频摄像头网络10可以是IP网络的一部分，摄像头通过该IP网络向控制中心发送数据，例如视频数据，或者可以包括视频摄像头与控制中心之间直接的连接（有线的或无线的）。视频摄像头网络10可以具有一些与IP网络连接的摄像头和一些通过直接的连接与控制中心连接的摄像头。
视频摄像头网络中的视频摄像头也可以具有与其相连的其它感知设备。
视频监控系统20包括视频管理服务器22，该视频管理服务器22处理从视频摄像头网络10中的不同摄像头接收的视频数据。这种视频管理服务器的例子是英国萨里（Surrey）的BAE系统集成系统技术有限公司（BAESystems Integrated System Technologies Ltd）提供的通用视频管理系统（Universal Video Management System）。视频管理服务器22管理视频数据的归档和存储以及提供实时视频数据输入。此外，视频管理服务器22可以提供搜索界面，用于响应于搜索请求而请求、识别和返回视频数据。视频管理服务器22也可以与其他技术或应用相结合。
用于视频图像数据的大容量存储的视频服务器24与视频管理服务器22相耦接，视频管理服务器22在视频服务器24上存储视频图像数据并从视频服务器24检索视频图像数据。视频管理服务器22与视频内容分析模块26相连接。在描述的实施例中，对于视频摄像头网络10中的每个摄像头，视频内容分析模块26具有一个视频内容分析通道。可以向视频内容分析模块26提供来自视频管理服务器22的视频图像数据，该视频图像数据对应于摄像头网络10中的每个摄像头，例如为存储或归档的视频图像数据或者经过IP网络提供的视频图像数据。可选地，可以直接向视频内容分析模块26提供来自视频摄像头网络10的视频图像数据。视频图像数据可以是任何合适的格式，例如MPEG2、MPEG3、MPEG4、H264或者任何具有适当编码的专有的视频格式（IP摄像头制造商）以允许从视频流或以模拟格式来自摄像头的直接视频解码视频数据。
根据视频管理服务器和视频内容分析模块的数量，可调整系统设计的规模。
通常，为了同步来自视频管理服务器22的视频数据与直接提供给视频内容分析模块26的视频数据，在视频管理服务器22和视频内容分析模块26之间交换同步信号。由于相对于直接从视频摄像头网络10接收的视频，视频管理服务器22的信号处理可能引入时间延迟，因此这种同步是必需的。有利地，由视频内容分析模块26从视频摄像头网络10接收的视频数据信号质量可能高于从视频管理服务器22接收的视频数据的信号质量，因为其将不经过数据压缩和解压缩。
视频内容分析模块26分析视频图像数据以识别视频图像中诸如车辆和行人之类的前景对象，并向那些对象分配在摄像头视场中识别它们以及描述它们行为和路径的属性。由于这种属性包括对象的相关信息，因此可以被认为是“对象元数据”。
也可以选择在场景中观察到的跟踪的子集，而不是跟踪不感兴趣的对象，这可以使得系统更高效，这是因为搜索所有对象比搜索那些被选为感兴趣的对象将需要明显更大的计算量。
通过视频内容分析模块特有的直观的用户界面来建立对象在每个摄像头视场内出现的一组规则，可以实现生成可靠的元数据或者跟踪信息的过程。这些规则描述预期的行为，并且在元数据中记录所有表现这种行为的对象。可以通过低层属性或高层属性来描述规则的特征。对象的低层属性可以是尺寸、颜色、速度。高层属性可以称为“行动”，一旦对象出现在摄像头视场中就可能采取该“行动”。行动的例子包括“在图像中限定区域内的对象”。在规则中低层属性和高层属性的结合将进一步加强提炼元数据的几率，这些元数据可能有时是场景特有的。
就分配给前景对象的属性而言，这些属性可以存储在不存储视频图像数据而仅仅存储元数据的元数据数据库20中。视频图像数据存储在视频服务器24中。
在定义视频内容分析模块的检测规则的过程之前，准备元数据数据库，以便其符合预定义的关系数据库模式。元数据数据库是网络部件，因此在视频分析模块的接近度方面将不作限制。
一旦视频分析模块的规则建立过程完成，元数据总体代理，例如VIRobot，被配置为分别在输入处与视频分析模块相连接并在输出处与元数据数据库相连接。VIRobot的功能是接收视频内容分析模块生成的元数据，并根据高层属性或低层属性将这种元数据转化为元数据数据库特有的格式，并存储它以备将来之用。
VIRobot可以支持两种元数据报告模式。一种是以逐帧为基础存储来自所有摄像头的元数据，存储在元数据数据库的“观察结果”表中。第二种选择是以每个对象为基础报告元数据，即实时积累对象的跟踪信息，并定期更新跟踪的属性，直到视频内容分析模块结束对象的跟踪的时候为止。这种信息存储在元数据数据库的“跟踪片段”表中。
通过视频管理服务器模块在标记跟踪系统中的存在来决定使用模式其中之一的情况。如果在系统中确实存在视频服务器管理模块，那么用户界面通过应用程序接口询问摄像头内在特定时间点识别对象的边界框。多摄像头跟踪器模块接收这种询问请求，并以随后在视频窗口视图上层叠的所有边界框答复用户界面，以允许用户标记物体/人。
视频内容分析器26与元数据数据库28相连接，并向元数据数据库28发送元数据以存储。各个模块处理或使用在元数据数据库28中存储的元数据以进一步识别行为或跟踪由元数据描述的前景对象。
与元数据数据库28相耦接的各个模块包括单摄像头跟踪器模块30、自动拓扑学习器模块32、多摄像头跟踪器模块34和摄像头间颜色标准化模块36、内部摄像头拓扑学习模块38、离线多摄像头跟踪器模块40和3D拓扑模块42。应用程序接口44与多摄像头跟踪器34相耦接。随后将在说明书中更详细地描述每个模块的操作。
图4示出视频管理服务器22中处理的视频图像数据元素50的示意图示。将这种视频图像数据元素50从视频管理服务器22转移至视频内容分析模块26，以进行内容分析。视频图像数据元素50包括摄像头标识52、以逐帧为基础增加的时间戳54以及与时间戳54和摄像头标识52对应的视频帧的视频图像数据56。
视频内容分析模块26在诸如计算机之类的数据处理设备上实现。本领域众所周知，数据处理设备可以包含多种处理资源，多种处理资源包括处理器模块、存储器模块和其它处理资源并且可以在这样的处理资源的一种或多种上执行数据处理。而且，数据处理设备可以分布在不同的物理位置，一些处理资源甚至可以在地理上远离其它处理资源。现在将参照如图5所示的过程流程控制图90描述视频内容分析模块26在数据处理设备上的实现。
视频内容分析模块26从视频管理服务器接收输入到对应于摄像头ID52的视频内容分析通道的视频图像数据元素50。步骤92，视频内容分析模块26从视频图像数据元素中提取视频图像数据56，以获取新的视频帧。视频内容分析模块跟踪摄像头视场内的对象，而且可以使用任何合适的跟踪算法。在步骤94中，在视频帧中前景对象和背景对象分离的地方开始跟踪，以及在步骤96中，分割前景对象以将它们彼此分开。可以在参考文献[1]中找到分离背景对象和前景对象以及分割前景对象的技术。
在步骤98中，当前景对象在摄像头视场内可见并保持唯一ID时，应用卡尔曼滤波器跟踪每个前景物体。对于每个前景对象，视频内容分析模块26对对象应用元数据生成器过程110以生成作为该对象的描述的对象属性。参照附图中的图6所示的过程流程控制图将描述元数据生成器过程。
步骤112，元数据生成器过程110向进行元数据生成的对象分配对象ID。在步骤114中，从前景对象分割和对象跟踪过程的结合中获得视频帧中对象的位置。在步骤116中，根据跨越对象的宽度和高度的像素数量，获得对象的尺寸。通过建立对象在视频帧的水平方向上的边界与在竖直方向上的边界之间的以像素为单位的最大距离，可以实现对象的宽度和高度的获取。此外，对象的宽度和高度确定对象的“边界框”的尺寸，边界框提供了视频帧中对象的边界的简单的几何表示。
形成部分元数据的另一对象属性是它的外观，外观可以简单地基于对象的颜色模型。在步骤118中获得外观。在描述的实施例中，通过将对象拆分为四个邻接的水平部分并确定每个部分的原色来获得对象的颜色。在描述的实施例中，四个邻接的水平部分是基于分割对象的边界框。视频内容分析模块26通过简单地对部分内特定色相的像素数目进行计数以及指定原色为像素数目最大的色相来识别原色。四个原色值，其中每部分有一个原色值，形成元数据的外观属性的颜色模型。
对于描述的实施例，定义了用于分析的两类感兴趣的对象，行人和车辆。通过将对象的形状和速度与定义行人和车辆形状的模板数据比较并确定是否匹配来获得对象的分类。在步骤120中获得对象的分类。在步骤122和步骤124中分别获得对象的方向和速度。此外，在步骤125中确定跟踪置信度值。跟踪置信度值是关于当前分配对象ID的对象是对该对象ID来说正确的对象以及跟踪（即位置）是该对象的正确跟踪的置信度。可以使用任何合适的跟踪技术或算法来跟踪对象。可以在参考文献[2]中找到跟踪对象的技术的例子。
然后在步骤126中向元数据数据库发送由元数据属性组成的元数据记录。过程流程返回向帧中的下一个对象分配对象ID。在步骤102中，如果不再有对象用于生成，则用于元数据记录的元数据发送至元数据数据库28。可选地，在步骤126中，当每个元数据记录完成时，可以向元数据数据库28发送元数据记录。
图7示出了元数据记录60的示意表示。就像视频图像数据元素而言，提供了摄像头标识62和时间戳64。此外，元数据记录60包括元数据66。在描述的实施例中，元数据包括以下属性，对象ID68、外观70、位置72、尺寸74、分类76、速度78和跟踪置信度值79。根据本发明各方面的实施例不需要包括如前述的所有元数据属性，或者可以包括其它属性。
在描述的实施例中，元数据数据库28是关系数据库，并且图8示出存储在元数据数据库28的数据的实体关系（E-R）表。元数据数据库28包括一些包含相关数据的表。对于完全理解本发明而言，并非表中的所有元素都需要描述，仅详细描述了那些与本发明相关的。如稍后描述的，元数据数据库28中的表和它们的条目将和在元数据数据库28上运行并与其关联的功能有关系。
与每个摄像头相关的数据保留在表82中，其以摄像头ID为键值，并且包括与摄像头相关的信息，诸如摄像头位置的文本描述、摄像头图像的宽度和高度方面的摄像头图像维数、如3D校准细节之类的元数据和关于摄像头的其他信息。观察结果表84包括与元数据记录60的元数据对应的条目。例如，边界框“bbox”条目基于对象的尺寸74和位置72，同时，“外观”条目基于元数据记录的颜色模型条目70，以及“目标分类（target_class）”条目基于元数据记录中的类条目76。置信度条目和跟踪置信度（track_conf）条目响应于60的元数据记录元素的置信度值79。将描述与在元数据数据库28上运行和填充元数据数据库28功能相关的其它表中的条目。
现在参照图9，示出单摄像头跟踪器模块30的过程流程控制图160。单摄像头跟踪器模块30处理元数据数据库28中的数据，也就是观察结果表84，并以其运行的结果填充该数据库中的表。概括来说，单摄像头跟踪器模块30的作用是根据“跟踪片段”定义视场中的对象的跟踪。跟踪片段具有对应于与跟踪片段相关的对象ID的标识。跟踪片段由视场内对象采用的路径的关键参数进行定义，也就是对象进入和离开该视场的地点和时间。“跟踪片段”定义了视场内的对象的行为。定义跟踪片段的数据存储在“跟踪片段”表90中。这样，视场中对象的行为可以通过单属性来描述，也就是跟踪片段，从而减少描述视场中对象行为的数据量。也就是说，当希望确定视场中对象的行为时，不必要分析对象所有的元数据属性，而且不必要在每次分析对象的行为时分析视频图像数据。
跟踪片段的创建包括在视频内容分析模块中对所有摄像头内被跟踪对象的编索引过程。这种索引机制可以提供标记跟踪期间对对象的快速搜索，也可以被其它模块使用，所述其他模块也可以与元数据数据库相连接。
单摄像头跟踪器模块30过程在步骤162开始，其中选择将要分析的下一视场内的摄像头ID。然后在步骤164中选择将要分析的下一个对象ID，对于初始分析将是视场内识别的第一个对象ID。在步骤166中，确定所分析的对象ID的首次出现，并在步骤168中使用与视场中对象的首次出现对应的边界框参数填充表90中的条目“起始bb（start_bb）”。边界框参数为边界框的位置和尺寸。此外，在步骤170中将与视场内对象的首次出现对应的时间存储在表90的“起始帧（start_frame）”字段。
步骤172，分析下一帧来看是否下一帧存在相同的对象ID。步骤174，如果是，则分析转到下一帧。步骤176，如果下一帧中不存在该对象ID，那么确定前一帧为包含该对象的最后出现。步骤178和步骤180，分别在表90中将边界框参数和时间存储为“终止bb（end_bb）”条目和“终止帧（end_frame）”条目。此时，步骤182，单摄像头跟踪器通过创建四个片段中的每个片段所观察到的颜色的直方图，创建对象外观的概要信息，并将其存储在“最优描述（best_descriptions）”表86中。然后单摄像头跟踪器模块过程110返回步骤164，用于帧中下一对象ID。一旦已经分析了摄像头识别的所有对象，单摄像头跟踪器模块过程返回步骤162，现在在单摄像头跟踪器中选择下一个摄像头标识，对下一摄像头ID的视场进行处理。
单摄像头跟踪器的这部分功能也可以实现为内联过程，这种内联过程在将元数据存储在元数据数据库之前对由VCA模块生成的元数据进行处理。这减少了与数据库的交互，并仅以提高效率的“跟踪片段”的形式报告摘要元数据。这种方法中将不使用观察结果表。创建跟踪片段的过程完全相同，差别是观察结果数据在存储器中积累并在跟踪结束时停止。
在单摄像头跟踪器的实施例中，一旦在场景中观察到对象就可以创建跟踪片段。计算起点和终点并通过计算或其它方式获得外观描述。随着该对象的新的观察结果实时地变得可用，从而相应地更新终点和观察模型。这都可以在跟踪片段表中完成。
单摄像头跟踪器模块30作为后台过程在元数据数据库28上运行。一旦确定特定跟踪片段ID的跟踪片段，就将表84中的“sct完成（sct_done）”字段设置为真标志，以便不再对该对象ID的跟踪数据进行进一步分析。
单摄像头跟踪器模块过程也可以校正视频内容分析模块26的结果中的误差，例如由于两个对象一起出现然后在视场内分开，给对象错误地分配了对象标识。单摄像头跟踪器模块30可以使用与相关对象ID和帧号对应的元数据记录60的速度参数，以确定跟踪片段中的方向的任何突然变化。这种方向的突然变化可能表明对象的错误识别，单摄像头跟踪器模块30可以被配置为向目前为止其方位与该跟踪确定的速度更符合的对象重新分配对象ID。
单摄像头跟踪器模块也可以负责元数据数据库的运行稳定性。因为如标记跟踪之类的系统中元数据的吞吐量非常高，因此需要数天甚至数月地维护元数据数据库的运行稳定性。为了获得整个系统的空间和计算效率，每隔一段时间单摄像头跟踪器分析“观察结果”表和“跟踪片段”表中的元数据，以查找无意义的数据并删除它，以便获取总体系统的空间和计算效率增益。
间隔的频率可以由用户定义，例如，可以是每10秒、每10分钟、每10小时或每10天。可以根据情况或应用定义该频率。
在单摄像头跟踪器的网络中，即一批单摄像头跟踪器，因为一些摄像头可以比其它摄像头具有更高的吞吐量，所以可以对每个单摄像头跟踪器单独地定义该频率。
查找无意义的元数据的过程包括使用单摄像头跟踪器内一些预配置参数。这种参数包括一旦使用了“观察结果”表中的元数据记录生成“跟踪片段”就删除该元数据记录以及删除比最短持续时间更短的“跟踪片段”。
因为单摄像头跟踪器模块30作为持续的后台进程运行，所以很可能确定的跟踪片段完全是最新状态的，既然会在归档数据上运行该过程，因此尽管不是最新的也没关系。然而，在元数据数据库28内将存在显著大量的跟踪片段。单摄像头跟踪器模块处理与网络中的每个摄像头对应的每个视场。此外，单摄像头跟踪器模块可以跟踪视场中的不止一个对象，每个对象具有自己的ID。
自动拓扑学习器模块32的操作使用跟踪片段表90中的信息，以获得每个视场的入口区和出口区。入口区或出口区是视场中边界框通常第一次或最后一次出现的区域，将对应于每个视场中视频内容分析模块所跟踪的每个对象的起点和终点的视场区域。单摄像头跟踪器模块将使用观察结果表84中的条目以获得跟踪片段表84的起始bb条目和终止bb条目，而且通常入口区和出口区将包含起始bb条目和终止bb条目的位置值。
参照图10所示的过程流程控制图140，步骤144，对于每个摄像头ID，即摄像头视场，对表90中的每个跟踪片段的每个起点条目起始bb应用聚类算法，例如最大期望算法，以识别视场内的主要入口区。步骤146，对摄像头ID的跟踪片段表90中的终止bb条目应用类似的过程，以识别每个摄像头视场中的主要出口区。步骤148和150，将入口区和出口区保存在区表94中，并在步骤152和154中，对每个建模，例如图像平面的2D高斯分布，并连同它们的标准偏差存储在标准偏差（std_deviation）条目中。将2D质心，即中心，也连同与区域尺寸（协方差）相关的统计信息以及区域类型（zone_type），即入口区或出口区一起存储。标准偏差定义了跟踪可能开始或离开的摄像头视场区域。图11示出了城市摄像头网络中识别的主要入口区和出口区。实线圆圈表示出口区，虚线圆圈表示入口区。可以将圆圈着色编码以表示出口区和入口区。
由于每个跟踪片段具有相应的起始时间和终止时间（表90中的起始帧和终止帧），因此可以确定一个摄像头视场中的出口区域和另一摄像头视场中的入口区域之间的空间联系。通过确定最符合跟踪片段数据的空间约束和时间约束的过渡时间模型，可以发现该空间联系。通常，过渡时间模型将基于出口区和入口区之间的空间距离以及对应于跟踪片段的对象的速度。基于对应于跟踪片段的对象的速度，应用适当的统计分布以提供出口区和入口区之间的过渡时间的分布。利用直方图，以预定义的范围和二进制大小对观察到的过渡时间的分布进行建模。二进制大小以秒定义过渡时间的粒度，而且也影响允许范围内的二进制数目。选择统计结果最多的二进制作为入口区-出口区联系的过渡时间，并基于观察到的最大的过渡时间计算该过渡时间的标准偏差。将各对入口区和出口区之间的关系存储在拓扑表96中，该拓扑表包括各对入口区和出口区之间的过渡时间的标准偏差。为了避免在估计过渡时间中使用异常数据，可以在过渡时间估计过程中使用至少一个滤波器。这种滤波器可以包括外观或预定义时间窗口的使用。
图12示出在空间相邻的两个摄像头之间生成的过渡时间联系的例子。实线圆圈表示一个摄像头的出口区，虚线圆圈表示相邻的摄像头的关联入口区。在摄像头视场中示出估计的入口区的过渡时间。例如，对过渡时间建立如1-D高斯分布的模型，但也可以使用其它统计分布建模。
也可以从摄像头网络环境的仿真获得过渡时间的分布。
自动拓扑学习器模块32不需要作为后台进程运行，而是在网络拓扑需要更新时运行。为了解决摄像头网络内的队列或多孔路线的情况，其中在这种情况下过渡时间变得可变从而使得观察到的最大的过渡时间因素不可用，使用多重模态高斯分布采集一些观察到的最大的过渡时间。在这种场景中使用的另一方法是及时估计人/物体在队列中停留的时间并在拓扑表中存储过渡时间。
在参考文献[3]中对摄像头视场之间的过渡可以如何建模提供了更详细的描述。
图13示出了自动拓扑学习模块32创建的网络拓扑的示意图。示出的网络包括多个节点，其为不同摄像头视场的出口或者入口、或者结合的出口区和入口区。节点之间的连线表示可能的过渡，且过渡时间由“OTE”表示，其中“O”是该过渡的起始节点号，“E”是过渡的终止节点号。过渡时间包括通过定义时间分布窗口以及对象而可能在出口区和入口区之间得到的过渡的标准偏差值。
多摄像头跟踪器模块与元数据数据库和应用程序接口相连接。多摄像头跟踪器接收来自用户界面的请求，并分析元数据数据库中的元数据以生成被标记的人/物体的跟踪结果。然后通过应用程序接口向用户界面发送结果。多摄像头跟踪器使用作为跟踪片段存储的编有索引的元数据，并调用一些并行处理技术，以在跟踪过程中快速搜索人/物体。元数据数据库存储一些程序/方法以进行跟踪，多摄像头跟踪器在标记跟踪期间执行这些程序以生成跟踪结果。跟踪过程涉及使用包含在“区”和“拓扑”表中的摄像头拓扑信息。
在实施例中，多摄像头跟踪器中执行的跟踪过程可以是双向的，一个是正向以及另一个是反向。在一些标记的例子中，可以假设人/物体已经从另一摄像头进入被标记摄像头的视场并且已经发生过渡。相同概念的已过去的过渡可以重复地用于假设人/物体在过去已经完成几次过渡以及假设已存在人/物体将进入摄像头网络的起点。多摄像头跟踪器的反向跟踪的目的是及时反向计算候选跟踪片段，直到计算期间没有可用的结果或达到最大数量的过渡的时候为止。相反地，正向跟踪过程目的是查找所有作为过渡并且总是随着时间增加的候选跟踪片段。当标记跟踪系统以归档模式运行时，即参照对象的标记时间，如果正向和反向的元数据都及时得到，将计算正向和反向跟踪结果并提供给用户界面。在实时运行模式中，即参照对象的标记时间，由于得不到人/物体未来过渡到其它摄像头的元数据，将仅得到反向跟踪结果。
从节点E1开始，多摄像头跟踪器模块34可以通过应用程序接口44接收请求，该请求用于请求跟踪摄像头的摄像头视场内的对象，在该摄像头视场内节点E1是出口区。多摄像头模块34分析元数据数据库28中的数据以识别在其它视场的跟踪片段中哪个在从节点E1的入口区/出口区过渡的过渡时间窗口内具有起始帧。在图1中，这些是从节点E1至节点S2、S3和S4的过渡。在建立了满足与被跟踪对象的空间和时间约束对应的候选跟踪片段之后，多摄像头跟踪器模块34将与每个候选跟踪片段对应的对象相关的属性与被跟踪对象的属性进行比较。在一个实施例中，多摄像头跟踪器的跟踪过程是三个步骤的过程。第一步骤是根据在拓扑联系的拓扑表中存储的过渡时间，查找满足拓扑联系的候选跟踪片段的列表，该拓扑联系涉及一个摄像头的出口区和最接近的摄像头内的入口区。为了解释，此处考虑了正向跟踪阶段。
在跟踪阶段，要计算合适的度量，例如被标记跟踪片段的终止bb与所有可得到的出口区协方差之间的马氏距离（MD_EXIT）。所有预定义的从被标记摄像头的出口区进入其它摄像头入口区的拓扑联系可以被看作被标记跟踪片段的可能的过渡联系。
一旦计算了过渡联系的名单，所有在过渡联系中开始的跟踪片段就被看作可能的候选跟踪过渡片段，该过渡联系在相应的拓扑联系中落入多个过渡时间标准偏差的范围内。一旦生成这种过渡跟踪片段列表，就计算在每个跟踪片段的起始bb与过渡的摄像头中所有现有的入口区之间的马氏距离（MD_ENTRY）。此外在这个阶段，仅考虑与被标记对象属于相同对象分类的跟踪片段。
第二阶段包括对第一阶段中计算的跟踪片段的MD_EXIT值和MD_ENTRY值应用预定义的阈值。这将过滤掉根本不接近被标记摄像头出口区或者过渡的摄像头入口区的跟踪片段。计算并存储统一的分数（MD_TL），该分数用于识别候选跟踪片段与拓扑联系的空间和时间关系。基于MD_TL对列表中所有这样的跟踪片段按照降序存储，且该列表中仅预定义数目的跟踪片段转到第三阶段。
跟踪过程的第三阶段涉及基于外观匹配分数计算外观匹配和排序。将最优描述表中存储的被标记跟踪片段的每部分的外观直方图与来自第二阶段的候选跟踪片段的相应部分的直方图进行匹配，而且该过程包括合适的度量的计算，例如值总是在0和1之间的巴氏距离（Bhattacharya distance）。
对全部四部分评估的巴氏距离分数进行平均，以推导出外观匹配阶段中最终的似然分数。一旦得到所有候选跟踪片段的这种分数，就基于最终的似然分数对列表按照降序进行分类。在这个过程的最后，因为在列表顶部的跟踪片段具有最高的分数而且进一步沿着列表往下置信度减小，因此它将是最可能与被标记跟踪片段最佳匹配的那个。
例如，可以比较外观和/或对象的尺寸，并且可能地，比较其分类。基于对应程度，确定如似然结果或概率分数之类的分数，该分数反映候选跟踪片段中的对象是想要跟踪的对象的似然性。
对于基于上述过程评估的每个排列的候选跟踪片段，应用再次重复的跟踪过程来计算下一个紧跟的过渡。重复这个过程直到达到从被标记摄像头的过渡的最大数目或者由于不存在元数据而不能计算进一步的过渡为止。例如，基于候选跟踪片段的似然分数或概率分数，将预定义数目的最高得分的过渡确定为最终候选过渡。正如上面讨论的，这样计算的跟踪结果形成树结构，并发送到嵌入在合适的数据结构中的用户界面。
提供了显示网络拓扑的用户界面，例如，使用图1的地图以及在该地图上绘制的过渡。然后，系统用户可以打开在最终候选过渡列表中的每个入口区的相应视频以可视化地检查视频中的对象。用户可以确认摄像头视场之一中的对象以确定哪个过渡是正确的。通过响应用户对过渡的确认，更新显示，以仅示出该过渡以及从被确认的入口节点起多达四条的候选路线。参照图13，如果被确认的过渡是从E1至S2，那么连同从S2起的候选路线一起显示E1和S2之间的联系。对每个被跟踪对象可能离开的节点重复该过程，以便可以在网络中跟踪对象直到它离开该网络。
在用户界面上的操作可以指操作人员对由多摄像头跟踪器生成的正向跟踪结果执行的可视化检查和确认/拒绝阶段。
操作人员可以使用反向时间表对反向跟踪结果执行类似的操作，并且在这个过程的最后，操作人员将得到被标记的人/物体采用的完整路线。在用户界面中包含生成可读格式的报告的手段，该报告具有对应于个别踪迹的图片或者相关视频片段，并为了可作证据的目的进一步地进行存储。
多摄像头跟踪器模块34处理的元数据与存储的视频相关，即过去的事件。因此，多摄像头跟踪器模块34可以被配置为识别与被标记对象进入节点E1对应的过渡。这样，可以识别和验证被标记对象的正向和反向候选路线。因此，用户可以选择视频来观看，以便他们可以观察到被跟踪对象在他们被标记的节点的正向和反向上的行为。
值得注意地，通过分析在元数据数据库28中存储的元数据属性而不是视频图像数据本身，来实现网络中对象的标记和跟踪，以及建立候选跟踪的置信度值等等。因此，有数据处理较少且能够实现实时的标记和跟踪。
根据本发明实施例的另一方面，提供了与发明的实施例中的应用程序接口42相连接的标记跟踪图形用户界面模块。图14示出包括标记跟踪图像用户界面模块206的系统。图形用户界面模块206驱动显示器200，显示器200包括地图屏幕202和视频屏幕204。在控制中心203，为了用户的使用，在各自的显示设备上安装有这样的显示器200。
地图屏幕202显示由视频监控网络覆盖的地区的地图，以及视频屏幕204显示用户在屏幕202上选择的摄像头的场景的视频图像。
标记跟踪图形用户界面模块被配置为向用户提供在视频场景中标记感兴趣的对象的工具，提供对象可能在监控地区采用的路线的可视化表示形式，并实时更新被标记对象采用的路线的显示。
图14是在用户调用标记跟踪用户界面模块206之后的显示器200的示意图。地图屏幕202将监控地区的地图上在监控网络中的摄像头位置显示为一系列节点N1-N12。显示了用户可启动的开始标记跟踪按钮302以及结束标记跟踪按钮304，当激活时它们引起标记跟踪用户界面模块206分别开始和结束对被选择对象的标记和跟踪。
视频显示屏幕204显示对应于被选择的摄像头节点N1-N12的视频场景。当首次调用标记跟踪用户界面模块206时，视频场景可以是默认的摄像头视场，或者可以向用户提供提示选择摄像头的屏幕信息。在屏幕204上显示的视频场景内是一些对象310、312和314。每个对象具有围绕其画的边界框，边界框用于识别该对象是已经由视频内容分析模块26分析的对象。此外，在屏幕底部显示有工具栏316。工具栏316包括时间线318，时间线318包括指示被显示的视频的时间戳的时间指针。也显示了用户可启动的定位按钮320，当激活该按钮时请求显示日历，用户可以从日历中选择要显示的视频场景的特定日期。此外，为了用户控制视频场景的播放，提供了用户可启动的播放按钮322和暂停按钮224。显示了时间滑块328，可以在光标控制下移动时间滑块328。通过响应光标在时间滑块328上的定位，标记跟踪用户界面模块206以与光标在滑块上的位置相关的速度从视频服务器22请求相应的视频。这将允许用户以不同速度播放视频以加速视频导航过程。
可以为用户提供如计算机鼠标的指示设备，以控制在显示屏幕202和204上的光标。可选地，它们中的一个或多个可以是触摸感应的。为了标记对象，例如通过在其上移动光标并按压鼠标控制器上的按钮，或者如果是触摸感应的，通过简单地触摸显示屏幕，用户选择在显示屏幕204上显示的对象之一。时间线包括书签326和327，书签326和327分别指示被标记对象进入和离开对应于显示场景的摄像头视场的时间。
现在转向图15，是在标记了对象312之后的显示器200的图示。突出了被标记对象312。
更新显示屏幕202以示出对象312在监控网络中的摄像头视场（图15中的N1）的正向和反向可能采用的可能路线，用户在该摄像头视场内标记该对象。在描述的实施例中，显示了摄像头节点之间在各自的正向和反向的多达四次的过渡。突出对应于视频场景列表的摄像头位置节点N8，在示出的图中包括点线圆圈和实线圆圈。在示出的图中，通过单实线同心环突出对应于将对象标记的摄像头位置的节点N1，同时通过点划线圆环和实线外环突出所显示的路线的末端，N14。显示从节点N8穿过至节点N14的路线，该路线以实线表示，表明标记跟踪系统已经确定这是被标记对象312的最高概率的路线。较低概率的路线可以通过点线指示，例如，可以包括被标记对象312在进入节点N1之前来自节点N11的可能性，以及对象可能离开节点N1转到节点N3的可能性。
用户可以选择与所显示的路线上的节点之一对应的摄像头位置，以便确认被标记对象是否出现在与该节点的摄像头位置视场对应的场景中。通常，用户将选择实线上的摄像头位置节点，因为这是最可能的路线。
图16示出在用户选择对应于节点N9的摄像头位置之后的显示器200。视频屏幕204显示与节点N9处的摄像头视场对应的视频场景。在示出的例子中，在视频场景中有四个对象，350、352、354和356。突出视频内容分析模块26认为与用户标记的对象对应的对象，在示出的例子中其为对象356。
时间线316显示了六个书签，其中三个，358、360、362，对应于对象进入视场的时间，该时间处于来自与节点N1对应的摄像头视场的对象的过渡时间窗口内。剩余的三个书签，364、366和368，对应于对象从视场中离开的时间。也将突出与被突出的对象对应的书签，362和364。书签对应于跟踪片段表90中的跟踪片段起始帧条目和终止帧条目。
基于标记跟踪系统对存储在元数据数据库28中的元数据的分析，已经更新地图屏幕202以指示当前选择的摄像头位置，N9，也指示进入该摄像头位置和来自该摄像头位置的可能路线。可以从示出的例子中看出，相同的路线被认为是最可能的路线。
用户可以调用确认/拒绝显示，例如通过将光标移动到与当前显示的摄像头视场的场景对应的所突出的节点上并点击。可以利用其它用户命令调用确认/拒绝显示。图17示出与之前的显示保持不变的摄像头地图和视频显示器204，视频显示器204现在显示三个用户可启动的按钮，接受370、拒绝372和下一个374。例如对象理应看起来相同，通过点击接受按钮370，用户可以确认对象356确实对应于被标记对象。可选地，用户可以通过启动拒绝按钮372拒绝所突出的对象。通过启动下一个按钮374，用户可以突出在视频屏幕200上显示的另一对象，并确认或拒绝它们对应于被标记的对象。
如果用户点击拒绝按钮以及有候选跟踪片段可用于现有的过渡，那么在地图屏幕和确认/拒绝显示中都显示/突出下一最佳匹配的跟踪片段。
可替代地，如果没有候选跟踪片段可用于现有的过渡，那么向多摄像头跟踪器发送请求，以丢弃当前结果（对象的跟踪），并可以调用生成更多结果的跟踪过程。
如果进一步调用跟踪过程，那么跟踪过程将为过渡时间设置更高的标准偏差以包括再次呈现给用户的更多候选跟踪片段。此外，存在非标记按钮，用户可以使用该按钮在结果确认/拒绝阶段纠正错误。在用户由于对正确结果错误地点击拒绝按钮而犯错的情况下以及反过来的情况，他可以点击非标记按钮将结果状态改为中性状态，在这之后，他可以采取正确的行动。非标记操作不依赖于对结果做出错误决定的时间，但限于跟踪期间。
虽然参照存储的视频并因此及时产生从所选择的摄像头位置节点起的可能路线已经描述了根据本发明的实施例，但系统可以被配置为提供可能路线的实时显示。例如，多摄像头跟踪器模块34持续地运行，因此可以使用与标记跟踪用户界面模块206执行的标记跟踪操作相关的新信息更新元数据数据库28。因此，对于屏幕202的下一次更新，使用新的元数据以提供更新后的显示来显示可能的被标记对象可能在视频监控网络内中哪个地方。
在摄像头网络中，很可能每个摄像头具有不同的颜色信号。这可能缘于制造差异、不同部件的使用或者摄像头之间极可能不同的照明条件。内部颜色标准化模块36以根据摄像头拓扑信息联系的成对为基础，使用现有的摄像头的元数据在摄像头之间变换颜色，并自动地推断出跟踪过程中执行颜色标准化所需的信息。
可以容易地了解摄像头内的对象的行为也是需要的，并且内部摄像头策略模块38确定摄像头视场内的对象的行为。例如，它可以确定对象进入和离开视场的地方以及在视场内它们做什么。对于在另一摄像头的视场内没有相应的入口区和出口区来说，在视场内什么地方有入口区和出口区是重要的，例如相同的视场内的商店的什么地方有入口点和出口点。
多摄像头跟踪可以作为后台功能持续地执行，以便在没有用户首先标记对象时对对象进行标记和跟踪。离线多摄像头跟踪器40执行这个功能，该功能能够提供建立被标记路线的速度和准确性。离线多摄像头跟踪器40创建与属于单个对象的跟踪片段关联的个别表。
3DT模块42应对摄像头重叠且必须3维校准的环境，从而基于3维几何学，建立并识别不同摄像头视场的跟踪为相同的对象。这个模块分析跟踪片段表，使用每个摄像头的已知的3D校准以将这些跟踪片段投影到地面上，从而对比个别跟踪片段以识别一些情况，在这些情况中这种跟踪片段表示从具有重叠视场的两个或更多摄像头看到的相同个体。当识别出这样的跟踪片段时，将匹配的跟踪片段对存储在跟踪片段匹配表中。多摄像头跟踪器将使用该信息来关联具有3D校准信息的重叠的摄像头之间的跟踪片段。
正如此处使用的，对“一个实施例”或者“实施例”的任何提及，意味着所描述的与实施例相关的具体的元素、特征、结构或特点包括在至少一个实施例中。短语“在一个实施例中”在说明书中不同地方的出现未必指代相同的实施例。
正如此处使用的，术语“包含”、“包含有”、“包括”、“包括有”、“具有”、“有着”或其任何其它的变化，目的是覆盖非排他的包括。例如，包括一系列元素的过程、方法、物品，或者设备，未必仅限于那些元素，而可以包括没有清楚列出或者这些过程、方法、物品或设备固有的其它元素。而且，除非清楚表明相反，“或者”指的是包括的或者以及非排他的或者。例如，通过以下的任何一种形式满足条件A或B：A为真（或存在）和B为假（或不存在），A为假（或不存在）和B为真（或存在），A和B都为真（或存在）。
此外，使用“一”或“一个”来描述本发明的元素或部件。这仅仅是为了方便以及给予对本发明的通常理解。这种描述应当理解为包括一个或至少一个和单数，也包括复数，除非显然其表示其他含义。
从前述的说明书来看，本领域技术人员显然可以在本发明的范围内做出各种改变。例如，候选路线的列表不需要限于四条候选路线，而可以包括更少或更多候选路线。
本发明公开的范围包括任何新颖的特征，或者其中明确地或者隐含地公开的特征的结合，或者其任何概括，而不管是否与要求保护的发明相关或者减轻任何或所有本发明指出的问题。因此申请人通知可以在本申请或者从中得到的任何这种进一步的申请的起诉期间就这些特征构造新的权利要求。具体地，参照所附的权利要求书，从属权利要求的特征可以与独立权利要求的特征结合，并且各个独立权利要求的特征可以以任何合适的方式结合，而不仅仅是权利要求书枚举的特定的结合方式。
参考文献
[1]"Adaptive background mixture models for real-time tracking",ChrisStauffer,Proceedings IEEEConf.on Computer Visionand Pattern Recognition,pp.246-252,1999.
http://www.ai.mit.edu/projects/vsam/Publications/stauffer_cvpr98_track.pdf
[2]"Object Tracking:A Survey",Alper Yilmaz,Omar Javed&Mubarak Shah,ACM Computing Surveys,Vol.38,No.4,Article13,December2006.
[3]"Bridging the Gap between Cameras",D.Makris,T.Ellis,J.Black,IEEEComputer Society Conference on Computer Vision and Pattern Recognition,CVPR2004.
http://dircweb.king.ac.uk/papers/Makris_D.2004_729650/cvpr2004_Bridgingthe GapsbetweenCameras.pdf

Claims (51)

1.一种设备，用于：
分析摄像头视场的视频帧序列以跟踪所述视场中的对象；
确定在所述视场中的所述跟踪的起点和终点；
确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间；以及，
将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。
2.根据权利要求1所述的设备，进一步用于处理多个监控网络摄像头视场的视频帧序列，以跟踪各自视场中的对象，以及将各自的起点和终点以及起始时间和终止时间作为各自视场的每个所述跟踪的属性进行存储。
3.根据权利要求2所述的设备，进一步用于
确定在第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时间关系；
基于所述时间关系确定从所述第一视场中的所述跟踪到第二视场中的所述跟踪的过渡的似然值；以及，
存储所述似然值。
4.根据权利要求3所述的设备，其中所述时间关系是基于物理空间中对应于所述起始时间的起点与对应于所述终止时间的终点之间的空间关系。
5.根据权利要求3或4所述的设备，进一步用于：
在所述第一视场和第二视场中跟踪多个对象，并确定相应的多个起点和终点；
基于所述多个起点和终点确定所述第一视场和第二视场的起始区和终止区；
确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的所述时间关系；以及
基于所述时间关系确定从所述第一视场中的所述跟踪到所述第二视场中的所述跟踪的过渡的所述似然值。
6.根据权利要求5所述的设备，其中所述时间关系基于物理空间中所述起始区和所述终止区之间的空间关系。
7.根据权利要求5或6所述的设备，进一步用于对所述第一视场中的所述对象的标记进行响应以确定具有所述第二窗口中的起始时间并满足所述时间关系的一个或多个跟踪，并向用户显示所述一个或多个跟踪。
8.根据权利要求7所述的设备，进一步用于确定所述对象的外观作为所述对象的属性，并比较与所述一个或多个跟踪对应的每个对象的外观属性以确定每个对象成为被标记对象的概率值，并根据所述概率值对所述一个或多个跟踪排序。
9.根据权利要求8所述的设备，进一步用于仅显示最有可能的跟踪。
10.根据权利要求8或9所述的设备，进一步用于响应将所述一个或多个跟踪中之一确认为正确的跟踪的用户输入而选择正确的跟踪。
11.一种视频监控系统，包括多个视频摄像头以及根据权利要求1至10中任一项所述的设备。
12.一种操作数据处理设备的方法，包括：
分析摄像头视场的视频帧序列以跟踪所述视场中的对象；
确定在所述视场中的所述跟踪的起点和终点；
确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间；以及
将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。
13.根据权利要求12所述的方法，进一步包括处理多个监控网络摄像头视场的视频帧序列，以跟踪在各个视场中的对象，并将各个起点和终点以及起始时间和终止时间作为各个视场中的每个所述跟踪的属性进行存储。
14.根据权利要求13所述的方法，进一步包括：
确定在第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时间关系；
基于所述时间关系确定从所述第一视场中的所述跟踪到第二视场中的所述跟踪的过渡的似然值；以及
存储所述似然值。
15.根据权利要求14所述的方法，其中所述时间关系是基于物理空间中对应于所述起始时间的起点与对应于所述终止时间的终点之间的空间关系。
16.根据权利要求14或15所述的方法，进一步包括：
在所述第一视场和第二视场中跟踪多个对象，并确定相应的多个起点和终点；
基于所述多个起点和终点确定所述第一视场和第二视场的起始区和终止区；
确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的时间关系；以及
基于所述时间关系确定从所述第一视场中的所述跟踪到所述第二视场中的所述跟踪的过渡的似然值。
17.根据权利要求16所述的方法，其中所述时间关系基于物理空间中所述起始区和所述终止区之间的空间关系。
18.根据权利要求16或17所述的方法，进一步包括对所述第一视场中的的所述对象的标记进行响应以确定具有所述第二窗口中的起始时间并满足所述时间关系的一个或多个跟踪，并向用户显示所述一个或多个跟踪。
19.根据权利要求18所述的方法，进一步包括确定所述对象的外观作为所述对象的属性，并比较与所述一个或多个跟踪对应的每个对象的外观属性以确定每个对象成为被标记对象的概率值，并根据所述概率值对所述一个或多个跟踪排序。
20.根据权利要求19所述的方法，进一步包括仅显示最有可能的跟踪。
21.根据权利要求19或20所述的方法，进一步包括响应将所述一个或多个跟踪中之一确认为正确的跟踪的用户输入而选择正确的跟踪。
22.一种实质上如以上所述的和参照附图中示出的各个实施例的设备。
22、一种实质上如以上所述的和参照附图中示出的各个实施例的方法。
23.一种设备，用于：
显示摄像头位置的网络地图和第一摄像头视场的场景；
响应用户对所述场景中的对象所作的标记，以：
基于在其它视场中的可能的对象，确定所述网络中被标记对象可能出现的其它摄像头视场，所述其它视场满足所述第一摄像头视场中的出口点和/或入口点与所述其它视场的入口点和/或出口点之间的时间关系和空间关系；以及
显示所述网络中摄像头位置之间满足所述时间和空间关系的可能的路线。
24.根据权利要求23所述的设备，进一步用于基于所述可能的对象和所述被标记对象之间的外观元数据的相似度确定所述被标记对象可能出现的其它视场。
25.根据权利要求23或24所述的设备，进一步用于显示所呈现的路线符合所述被标记对象采用的路线的概率指示。
26.根据权利要求27所述的设备，进一步用于突出最有可能的路线。
27.根据权利要求23至26的任一项所述的设备，用于响应用户对与所述其它视场对应的摄像头位置的选择，以显示存在所述可能的对象的视频场景。
28.根据权利要求27所述的设备，响应用户对所述可能的对象的选择，以确认所述可能的对象作为所述被标记对象，并确认通向所述摄像头位置的路线，并删除其它路线。
29.根据权利要求28所述的设备，进一步用于基于空间关系和时间关系，以及任选的外观元数据，计算去往和来自用于所述被标记对象的所述摄像头位置的进一步可能的路线，并显示所述可能的路线。
30.根据权利要求23至29中任一项所述的设备，进一步用于至多仅显示一定数量的可能的路线，这些可能的路线对应于具有最高可能性的那些路线。
31.根据权利要求23至30中任一项所述的设备，进一步用于至多仅显示一定数量的摄像头位置之间的连接。
32.根据权利要求30或31所述的设备，其中所述一定数量是用户能设置的。
33.根据权利要求23至32中任一项所述的设备，用于与所述场景一起显示滑块控制器，用户可启动滑块控制器来回滑动以向后或向前移动视频场景。
34.根据权利要求23至33中任一项所述的设备，用于显示沿着所显示的时间线上的一个或多个书签以指示对象进入或离开与所显示的所述场景对应的视场的地方。
35.根据权利要求23至34中任一项所述的设备，用于在所显示的对象周围显示边界框，所述所显示的对象具有与其相关的元数据，诸如入口点和出口点。
36.根据权利要求23至34中任一项所述的设备，用于通过以具有不同突出属性的边界框突出可能的对象以区别没有归类为可能的对象的对象，并以具有不同突出属性的边界框突出确认的对象以区别没有归类为确认的对象的对象。
37.根据权利要求23至36中任一项所述的设备，用于生成被标记对象通过所述网络地图的路线的报告。
38.一种操作数据处理设备的方法，包括：
显示摄像头位置的网络地图和第一摄像头视场的场景；
响应用户对所述场景中的对象所作的标记，以：
基于在其它视场中可能的对象，确定所述网络中被标记对象可能出现的其它摄像头视场，所述其它视场满足所述第一摄像头视场中的出口点和/或入口点与所述其它视场中的入口点和/或出口点之间的时间关系和空间关系；以及
显示所述网络中摄像头位置之间满足所述时间关系和空间关系的可能的路线。
39.根据权利要求38所述的方法，包括基于所述可能的对象和所述被标记对象之间的外观元数据的相似度确定所述被标记对象可能出现的其它视场。
40.根据权利要求38或39所述的方法，进一步包括显示所呈现的路线符合所述被标记对象采用的路线的概率指示。
41.根据权利要求40所述的方法，进一步包括突出最有可能的路线。
42.根据权利要求38至41中任一项所述的方法，进一步包括响应用户对与所述其它视场对应的摄像头位置的选择，以显示存在所述可能的对象的视频场景。
43.根据权利要求42所述的方法，进一步包括响应用户对所述可能的对象的选择，以确认所述可能的对象作为所述被标记对象，并确认通向所述摄像头位置的路线，并删除其它路线。
44.根据权利要求43所述的方法，进一步包括基于空间关系和时间关系，以及任选的外观元数据，计算去往和来自用于所述被标记对象的所述摄像头位置的进一步可能的路线，并显示所述可能的路线。
45.根据权利要求38至44中任一项所述的方法，进一步包括至多仅显示一定数量的可能的路线，这些可能的路线对应于具有最高可能性的那些路线。
46.根据权利要求38至45中任一项所述的方法，进一步包括至多仅显示一定数量的摄像头位置之间的连接。
47.根据权利要求45或46所述的方法，其中所述一定数量是用户能设置的。
48.根据权利要求38至47中任一项所述的方法，进一步包括与所述场景一起显示滑块控制器，用户可启动滑块控制器来回滑动以向后或向前移动视频场景。
49.根据权利要求38至47中任一项所述的方法，进一步包括显示沿着所显示的时间线上的一个或多个书签以指示对象进入或离开与所显示的所述场景对应的视场的地方。
50.根据权利要求38至49中任一项所述的方法，进一步包括通过以具有不同突出属性的边界框突出可能的对象以区别没有归类为可能的对象的对象，并以具有不同突出属性的边界框突出确认的对象以区别没有归类为确认的对象的对象。
51.根据权利要求38至50中任一项所述的方法，进一步包括生成被标记对象通过所述网络地图的路线的报告。
CN201180035080.9A 2010-07-19 2011-07-19 设备、系统和方法 Active CN103004188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510737320.XA CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1012095.4 2010-07-19
GB1012095.4A GB2482127B (en) 2010-07-19 2010-07-19 Apparatus, system and method
PCT/GB2011/051362 WO2012010887A1 (en) 2010-07-19 2011-07-19 Apparatus, system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510737320.XA Division CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Publications (2)

Publication Number Publication Date
CN103004188A true CN103004188A (zh) 2013-03-27
CN103004188B CN103004188B (zh) 2017-07-14

Family

ID=42735143

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180035080.9A Active CN103004188B (zh) 2010-07-19 2011-07-19 设备、系统和方法
CN201510737320.XA Active CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510737320.XA Active CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Country Status (7)

Country Link
US (2) US9336451B2 (zh)
EP (2) EP2596630B1 (zh)
CN (2) CN103004188B (zh)
DK (1) DK2596630T3 (zh)
GB (2) GB2482127B (zh)
IL (2) IL224274A (zh)
WO (1) WO2012010887A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754267A (zh) * 2015-03-18 2015-07-01 小米科技有限责任公司 视频片段标注方法、装置及终端
CN105338313A (zh) * 2015-10-27 2016-02-17 浙江宇视科技有限公司 一种摄像机定位方法及装置
CN107431786A (zh) * 2015-03-16 2017-12-01 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和计算机程序
CN107615758A (zh) * 2015-05-26 2018-01-19 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
CN108174147A (zh) * 2017-12-12 2018-06-15 山东科技大学 视频监控系统中视频源与追踪服务器的自动优化分配方法
CN109087470A (zh) * 2018-07-19 2018-12-25 广州市捍御者信息科技有限公司 入侵监控系统和入侵监控方法
CN109492306A (zh) * 2018-11-12 2019-03-19 北京华大九天软件有限公司 一种设计规则验证结果的关联层反标方法
CN111012285A (zh) * 2019-12-06 2020-04-17 腾讯科技（深圳）有限公司 内窥镜移动时间确定方法、装置和计算机设备
CN111385522A (zh) * 2018-12-27 2020-07-07 杭州海康威视系统技术有限公司 一种运动对象的展示方法、装置、系统及电子设备
JP2022003831A (ja) * 2017-03-06 2022-01-11 キヤノン株式会社 装置、方法及びプログラム
JP7412614B1 (ja) 2023-02-07 2024-01-12 三菱電機インフォメーションシステムズ株式会社 追跡装置、追跡方法及び追跡プログラム

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
AU2009236675A1 (en) * 2008-04-14 2009-10-22 Gvbb Holdings S.A.R.L. Technique for automatically tracking an object
US8831279B2 (en) * 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8774455B2 (en) 2011-03-02 2014-07-08 Raf Technology, Inc. Document fingerprinting
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
US10402631B2 (en) 2011-09-23 2019-09-03 Shoppertrak Rct Corporation Techniques for automatically identifying secondary objects in a stereo-optical counting system
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US10346852B2 (en) 2016-02-19 2019-07-09 Alitheon, Inc. Preserving authentication under item change
US9472072B2 (en) 2012-05-04 2016-10-18 Honeywell International Inc. System and method of post event/alarm analysis in CCTV and integrated security systems
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
WO2013175836A1 (ja) 2012-05-23 2013-11-28 ソニー株式会社 監視カメラ管理装置、監視カメラ管理方法およびプログラム
WO2014039050A1 (en) 2012-09-07 2014-03-13 Siemens Aktiengesellschaft Methods and apparatus for establishing exit/entry criteria for a secure location
EP2725552A1 (en) * 2012-10-29 2014-04-30 ATS Group (IP Holdings) Limited System and method for selecting sensors in surveillance applications
US10212396B2 (en) 2013-01-15 2019-02-19 Israel Aerospace Industries Ltd Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US20140365891A1 (en) * 2013-06-10 2014-12-11 Honeywell International Inc. Frameworks, devices and methods configured for enabling touch/gesture controlled display for facility information and content with content and controls based on user attributes
US10474240B2 (en) * 2013-06-10 2019-11-12 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
JP5506990B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
EP3087734A4 (en) * 2013-12-23 2017-08-23 Pelco, Inc. Smart view selection in a cloud video service
KR102149271B1 (ko) * 2014-01-13 2020-08-28 한화테크윈 주식회사 카메라의 동작 방법, 카메라, 및 감시 시스템
US10412420B2 (en) * 2014-03-07 2019-09-10 Eagle Eye Networks, Inc. Content-driven surveillance image storage optimization apparatus and method of operation
US9928594B2 (en) 2014-07-11 2018-03-27 Agt International Gmbh Automatic spatial calibration of camera network
US9607245B2 (en) * 2014-12-02 2017-03-28 Xerox Corporation Adapted vocabularies for matching image signatures with fisher vectors
EP3029631A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for assisted object selection in video sequences
US10104345B2 (en) * 2014-12-16 2018-10-16 Sighthound, Inc. Data-enhanced video viewing system and methods for computer vision processing
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US9791264B2 (en) * 2015-02-04 2017-10-17 Sony Corporation Method of fast and robust camera location ordering
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
US9912838B2 (en) * 2015-08-17 2018-03-06 Itx-M2M Co., Ltd. Video surveillance system for preventing exposure of uninteresting object
US10372989B2 (en) * 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
US10002313B2 (en) 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
KR102237973B1 (ko) * 2015-12-21 2021-04-07 아마존 테크놀로지스, 인크. 오디오/비디오 레코딩 및 통신 디바이스들로부터의 비디오 영상의 공유
US10733456B2 (en) 2015-12-21 2020-08-04 A9.Com, Inc. Sharing video footage from audio/video recording and communication devices
GB2531975B (en) * 2016-01-30 2018-05-02 Gregory Hothersall Simon Traffic offence detection system and method
EP3229174A1 (en) 2016-04-06 2017-10-11 L-1 Identity Solutions AG Method for video investigation
US10867301B2 (en) 2016-04-18 2020-12-15 Alitheon, Inc. Authentication-triggered processes
CN105869330B (zh) * 2016-04-27 2018-03-23 深圳市万佳安物联科技股份有限公司 一种用于写字楼防止非法入侵的安防监控器
CN107370983B (zh) * 2016-05-13 2019-12-17 腾讯科技（深圳）有限公司 用于视频监控系统的行踪轨迹的获取方法和装置
SG10201604567SA (en) * 2016-06-06 2018-01-30 Arkemis Pte Ltd System and method for integrating heterogenous video sources and video analytic services into a video surveillance grid to achieve sustainable operations
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
US10902540B2 (en) 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
EP3513391A4 (en) 2016-09-15 2020-03-04 Axon Enterprise, Inc. SYSTEMS AND METHODS FOR RECOVERING INFORMATION FROM A RECORDING DEVICE
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
WO2018067058A1 (en) * 2016-10-06 2018-04-12 Modcam Ab Method for sharing information in system of imaging sensors
JP6939807B2 (ja) * 2016-10-25 2021-09-22 ソニーグループ株式会社 画像処理装置および画像処理方法
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
US20180308243A1 (en) * 2017-03-28 2018-10-25 Irvine Sensors Corporation Cognitive Tracker -- Appliance For Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems
US11114129B2 (en) * 2017-05-30 2021-09-07 Sony Corporation Information processing apparatus and information processing method
US10157476B1 (en) * 2017-06-15 2018-12-18 Satori Worldwide, Llc Self-learning spatial recognition system
CN107392937B (zh) * 2017-07-14 2023-03-14 腾讯科技（深圳）有限公司 目标跟踪方法、装置及电子设备
EP3435287A3 (en) 2017-07-25 2019-05-01 Alitheon, Inc. Model-based digital fingerprinting
US10783379B2 (en) * 2017-08-23 2020-09-22 Bossa Nova Robotics Ip, Inc. Method for new package detection
US11087013B2 (en) 2018-01-22 2021-08-10 Alitheon, Inc. Secure digital fingerprint key object database
CN110232701A (zh) * 2018-03-05 2019-09-13 奥的斯电梯公司 使用深度传感器网络的行人跟踪
JP6845172B2 (ja) * 2018-03-15 2021-03-17 株式会社日立製作所 データ収集システムおよびデータ収集方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10929675B2 (en) * 2018-03-29 2021-02-23 Ncr Corporation Decentralized video tracking
US10366293B1 (en) * 2018-04-24 2019-07-30 Synapse Technology Corporation Computer system and method for improving security screening
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
US11138418B2 (en) * 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
SG10201807675TA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd Duration and Potential Region of Interest for Suspicious Activities
KR101954717B1 (ko) * 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
US10347009B1 (en) * 2018-11-21 2019-07-09 Juan Ramon Terven Self callbrating camera system
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11074697B2 (en) * 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
EP3734506A1 (en) 2019-05-02 2020-11-04 Alitheon, Inc. Automated authentication region localization and capture
EP3736717A1 (en) 2019-05-10 2020-11-11 Alitheon, Inc. Loop chain digital fingerprint method and system
MX2021014250A (es) * 2019-05-20 2022-03-11 Massachusetts Inst Technology Herramientas de análisis y utilización de video forense.
US11238146B2 (en) 2019-10-17 2022-02-01 Alitheon, Inc. Securing composite objects using digital fingerprints
US11086491B1 (en) 2020-01-21 2021-08-10 Honeywell International Inc. Systems and methods for displaying video streams on a display
EP3859603A1 (en) 2020-01-28 2021-08-04 Alitheon, Inc. Depth-based digital fingerprinting
EP3885982A3 (en) 2020-03-23 2021-12-22 Alitheon, Inc. Hand biometrics system and method using digital fingerprints
EP3885984A1 (en) 2020-03-23 2021-09-29 Alitheon, Inc. Facial biometrics system and method of using digital fingerprints
US11074460B1 (en) * 2020-04-02 2021-07-27 Security Systems, L.L.C. Graphical management system for interactive environment monitoring
EP3929806A3 (en) 2020-04-06 2022-03-09 Alitheon, Inc. Local encoding of intrinsic authentication data
US11270118B2 (en) * 2020-04-10 2022-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Creating a valuable video clip using metadata flagging
US11663849B1 (en) 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
CN111586352A (zh) * 2020-04-26 2020-08-25 上海鹰觉科技有限公司 多光电最佳适配联合调度系统及方法
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
US11983957B2 (en) 2020-05-28 2024-05-14 Alitheon, Inc. Irreversible digital fingerprints for preserving object security
US11700123B2 (en) 2020-06-17 2023-07-11 Alitheon, Inc. Asset-backed digital security tokens
TWI799761B (zh) * 2020-12-02 2023-04-21 晶睿通訊股份有限公司 監控場域識別方法及其監控設備
CN112861629B (zh) * 2021-01-07 2022-05-10 天津大学 一种多窗口判别典型模式匹配方法及脑-机接口应用
JP7270855B2 (ja) * 2021-03-05 2023-05-10 三菱電機株式会社 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
JP2022182119A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method
EP4277264A1 (en) * 2022-05-11 2023-11-15 Axis AB A method and device for setting a value of an object property in a sequence of metadata frames corresponding to a sequence of video frames

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473369A (en) * 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
EP1450275A3 (en) * 1996-10-31 2007-08-08 Sensormatic Electronics Corporation Intelligent video information management system
US6711590B1 (en) * 1998-07-10 2004-03-23 Canon Kabushiki Kaisha Linking metadata with a time-sequential digital signal
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
JP4120378B2 (ja) * 2002-12-05 2008-07-16 カシオ計算機株式会社 監視システムおよびプログラム
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US8149278B2 (en) * 2006-11-30 2012-04-03 Mitsubishi Electric Research Laboratories, Inc. System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
US20080130949A1 (en) * 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
CN101778260B (zh) * 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EMANUEL E. ZELNIKER ET AL: "Global Abnormal Behaviour Detection Using a Network of CCTV Cameras", 《THE EIGHTH INTERNATIONAL WORKSHOP ON VISUAL SURVEILLANCE - VS2008》 *
JAVED ET AL: "Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views", 《COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIN PRESS, US》 *
SHEIKH Y A ET AL: "Trajectory Association across Multiple Airborne Cameras", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTERK, LOS ALAMITOS, CA, US》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572736B2 (en) 2015-03-16 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus, image processing system, method for image processing, and computer program
CN107431786A (zh) * 2015-03-16 2017-12-01 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和计算机程序
CN107431786B (zh) * 2015-03-16 2020-08-04 佳能株式会社 图像处理设备、图像处理系统和图像处理方法
CN104754267A (zh) * 2015-03-18 2015-07-01 小米科技有限责任公司 视频片段标注方法、装置及终端
CN107615758A (zh) * 2015-05-26 2018-01-19 松下知识产权经营株式会社 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
CN105338313A (zh) * 2015-10-27 2016-02-17 浙江宇视科技有限公司 一种摄像机定位方法及装置
JP7282851B2 (ja) 2017-03-06 2023-05-29 キヤノン株式会社 装置、方法及びプログラム
JP2022003831A (ja) * 2017-03-06 2022-01-11 キヤノン株式会社 装置、方法及びプログラム
CN108174147A (zh) * 2017-12-12 2018-06-15 山东科技大学 视频监控系统中视频源与追踪服务器的自动优化分配方法
CN108174147B (zh) * 2017-12-12 2020-01-03 山东科技大学 视频监控系统中视频源与追踪服务器的自动优化分配方法
CN109087470A (zh) * 2018-07-19 2018-12-25 广州市捍御者信息科技有限公司 入侵监控系统和入侵监控方法
CN109492306A (zh) * 2018-11-12 2019-03-19 北京华大九天软件有限公司 一种设计规则验证结果的关联层反标方法
CN111385522A (zh) * 2018-12-27 2020-07-07 杭州海康威视系统技术有限公司 一种运动对象的展示方法、装置、系统及电子设备
CN111385522B (zh) * 2018-12-27 2021-08-13 杭州海康威视系统技术有限公司 一种运动对象的展示方法、装置、系统及电子设备
CN111012285A (zh) * 2019-12-06 2020-04-17 腾讯科技（深圳）有限公司 内窥镜移动时间确定方法、装置和计算机设备
JP7412614B1 (ja) 2023-02-07 2024-01-12 三菱電機インフォメーションシステムズ株式会社 追跡装置、追跡方法及び追跡プログラム

Also Published As

Publication number Publication date
EP2596630A1 (en) 2013-05-29
IL224274A (en) 2017-02-28
US20130208124A1 (en) 2013-08-15
GB2515926B (en) 2015-02-11
IL242091B (en) 2019-11-28
DK2596630T3 (en) 2018-03-19
US20160065906A1 (en) 2016-03-03
WO2012010887A1 (en) 2012-01-26
GB201012095D0 (en) 2010-09-01
EP2840786A2 (en) 2015-02-25
US9336451B2 (en) 2016-05-10
EP2596630B1 (en) 2017-12-13
GB201416262D0 (en) 2014-10-29
US9363489B2 (en) 2016-06-07
GB2515926A (en) 2015-01-07
EP2840786A3 (en) 2015-03-25
CN105336077A (zh) 2016-02-17
GB2482127B (en) 2015-01-14
IL242091A0 (en) 2015-11-30
CN103004188B (zh) 2017-07-14
CN105336077B (zh) 2018-07-27
GB2482127A (en) 2012-01-25

Similar Documents

Publication Publication Date Title
CN103004188A (zh) 设备、系统和方法
US11941887B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
US10346688B2 (en) Congestion-state-monitoring system
Morris et al. A survey of vision-based trajectory learning and analysis for surveillance
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
US9928423B2 (en) Efficient retrieval of anomalous events with priority learning
US11615620B2 (en) Systems and methods of enforcing distancing rules
US8570376B1 (en) Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
CN104303218A (zh) 行为识别系统中的警报指令和聚焦警报指令
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN117520662B (zh) 一种基于定位的景区智能导览方法及系统
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
EP3910539A1 (en) Systems and methods of identifying persons-of-interest
KR102139524B1 (ko) 상황 인식 기반 지능형 선별 관제 시스템
Morris et al. Contextual activity visualization from long-term video observations
US20240211480A1 (en) Information aggregation in a multi-modal entity-feature graph for intervention prediction
CN114925994A (zh) 一种基于深度学习的城中村风险评估和风险因素定位方法
Xie et al. Spatiotemporal retrieval of dynamic video object trajectories in geographical scenes
US20240338839A1 (en) Image-based detection using distance data
US20240267491A1 (en) Video surveillance system
CN116681474A (zh) 一种基于人体头部检测的留驻率统计方法
Jeveme Panta et al. An Approach for CCTV Contents Filtering Based on Contextual Enrichment via Spatial and Temporal Metadata
MonItorIng Contextual Activity Visualization from Long-Term Video Observations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220512

Address after: Les cresos bers, France

Patentee after: BULL S.A.

Address before: London

Patentee before: Ipsotek Ltd.