CN103004188B - 设备、系统和方法 - Google Patents

设备、系统和方法 Download PDF

Info

Publication number
CN103004188B
CN103004188B CN201180035080.9A CN201180035080A CN103004188B CN 103004188 B CN103004188 B CN 103004188B CN 201180035080 A CN201180035080 A CN 201180035080A CN 103004188 B CN103004188 B CN 103004188B
Authority
CN
China
Prior art keywords
tracking
visual
time
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180035080.9A
Other languages
English (en)
Other versions
CN103004188A (zh
Inventor
伯格豪斯·伯格豪西恩
詹姆士·布莱克
萨迪斯·派达加迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ipsotek Ltd
Original Assignee
Ipsotek Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to GB1012095.4A priority Critical patent/GB2482127B/en
Priority to GB1012095.4 priority
Application filed by Ipsotek Ltd filed Critical Ipsotek Ltd
Priority to PCT/GB2011/051362 priority patent/WO2012010887A1/en
Publication of CN103004188A publication Critical patent/CN103004188A/zh
Application granted granted Critical
Publication of CN103004188B publication Critical patent/CN103004188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • G06K9/3241Recognising objects as potential recognition candidates based on visual cues, e.g. shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

公开了一种设备,该设备用于分析摄像头视场的视频帧序列以跟踪所述视场中的对象并确定在所述视场中所述跟踪的起点和终点。该设备也确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间;以及将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储。

Description

设备、系统和方法
技术领域
[0001] 本发明涉及用于分析视频帧序列的设备,使用这种设备的系统以及操作这种设备 和系统的方法。具体地,但不排他地,本发明实施例涉及视频监控网络。
背景技术
[0002] 视频监控网络包括用以提供特定地理位置的监控的一个或多个视频摄像头。网络 可以简单地包括单视频摄像头,单视频摄像头用于监视门口,例如可以是门、走廊、电梯、入 口门厅、出口门厅、大厅、机场安检门或可能有大量人通过的任何地方。在某些情况下,例如 大型购物中心的入口大厅或机场的出发大厅,在较短时间内可能有成千上万人经过。这使 得在这种情况下跟踪被认为可能对安全构成威胁或引起安全关注的人充满困难。
[0003] 通常,视频监控网络包括多个视频摄像头,它们布置成提供对诸如城市环境之类 的分布式地理位置的监控。每个视频摄像头具有特定的视野或者“视场”,在上面捕捉并可 以记录视频图像。视频摄像头可以是静止的,或者可以被远程控制在监控地区移动视场。在 特定时间的视场的视频图像通常可以称为“场景”,且可以与摄像头捕捉的视频图像帧对 应。
[0004] 使用如基于互联网协议的通信,可以将网络中的摄像头通过通信网络与控制中心 相连接。可选择地,通过专用的模拟或数字通信信道,可以将摄像头与控制中心相连接。通 常控制中心由操作人员操纵,甚至在出现针对网络内特定场景的自动警报响应的时候。操 作人员需要观察显示相关事件的摄像头,例如产生警报的场景。在包括许多摄像头的网络 中,即使当在控制中心每个摄像头具有专用的显示屏幕时,操作员也无法监视所有摄像头。
[0005] 此外,许多视频监控网络覆盖广泛的地理区域,而且可以具有不重叠或不邻接的 视场覆盖范围。另外,摄像头可以覆盖拥挤地区,可能包括被其它对象遮挡的对象,例如,在 静态遮挡的地方,由于城市特色建筑遮挡部分街道从而遮挡在该城市特色建筑后面通过的 行人和车辆,或者行人之间互相遮挡的诸如拥挤的环境之类的地方。
[0006] 监视这种视频监控网络可能非常复杂,导致难以观察到事件和/或跟踪在事件之 前或者事件之后接着发生的活动。
发明内容
[0007] 考虑到前述情况,设计了本发明的各方面和实施例。
[0008]就第一方面而言,本发明提供了设备,用于分析摄像头视场的视频帧序列以跟踪 所述视场中的对象;确定在所述视场中的跟踪的起点和终点;确定分别与所述起点和终点 对应的所述跟踪的起始时间和终止时间;以及将所述起点和终点以及所述起始时间和终止 时间作为所述跟踪的属性进行存储。
[0009]在摄像头视野的环境中的“跟踪”可以是用于定义对象存在的位置、时间和外观细 节的结合。这种对于对象的跟踪一直存在,直到他从场景中完全地消失或者满足所设置的 跟踪结束的条件为止。
[0010]就本发明的第二方面而言,提供了操作数据处理设备的方法,包括:分析摄像头视 场的视频帧序列以跟踪所述视场中的对象;确定在所述视场中的跟踪的起点和终点;确定 分别与所述起点和终点对应的所述跟踪的起始时间和终止时间;以及将所述起点和终点以 及所述起始时间和终止时间作为所述跟踪的属性进行存储。
[0011] 根据第一方面和第二方面的实施例处理视频帧序列中的视频图像数据,以将视频 帧序列中诸如人或车辆之类的对象的行为或路径简化为占用较低带宽的元数据格式,例 如,仅四个简单的数据点,这使得易于搜索。也就是说,将视频帧序列中的对象的行为简化 为合理的数据,该数据定义了对象在序列中起始和终止的地方以及与起点和终点对应的时 间。这实质上减少了存储关于对象行为的信息所需的数据存储空间的数量,而且如果将在 数据分析中使用对象的行为,也减少了必要的处理量。
[0012] 通常,一个或多个实施例可以处理多个监控网络摄像头视场的视频帧序列以跟踪 各个视场中的对象,并且将各个起点和终点以及起始时间和终止时间作为各个视场中的每 个所述跟踪的属性进行存储。例如,在覆盖诸如市中心、仓库或者其他这种设施之类的大型 地理区域的监控网络中,将使用多个视频摄像头。
[0013] 适当地,一个或多个实施例可以确定第一视场中的跟踪的终止时间与第二视场中 的跟踪的起始时间之间的时间关系,并且基于所述时间关系确定所述第一视场中的所述跟 踪过渡到所述第二视场中的所述跟踪的似然值。然后存储该似然值。就这种差异来说,似然 值可以是概率值。确定在第一视场和第二视场的跟踪之间的过渡的似然值提供了一种实施 例,其中可以根据它们的似然值对过渡进行排序。因此,可以丢弃或忽略具有低似然值的过 渡。由于可以忽略较低可能性的过渡并且在它们上没有进行数据处理,因此这在减少数据 处理开销方面可能特别重要,并且分析数据依赖于第一视场和第二视场之间的过渡。而且, 由于对定义不同视场中的跟踪之间的对应关系的元数据进行处理,而不是对视频帧进行处 理,因此需要较少的处理量。
[0014] 时间关系可以是基于物理空间中对应于所述起始时间的起点与对应于所述终止 时间的终点之间的空间关系。通常,这种空间关系是沿着道路或人行道的出口区和入口区 之间的距离,并且可以在系统内定义为系统参数。
[0015] 更具体地,根据本发明的实施例可以在所述第一视场和第二视场中跟踪多个对 象,并确定相应的多个起点和终点;基于所述多个起点和终点确定所述第一视场和第二视 场中的起始区和终止区;确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的 起始区之间的所述时间关系;以及基于所述时间关系确定从所述第一视场中的跟踪到所述 第二视场中的跟踪的过渡的所述似然值。因此,定义了物体可能从视场内出现或消失的区 域,这提供了对出口区和入口区更简单的识别。
[0016] 通常,时间关系基于物理空间中所述起始区和所述终止区之间的空间关系。
[0017] 通常,更多实施例对所述第一视场中所述对象的标记进行响应,以确定具有所述 第二窗口中的起始时间并满足所述时间关系的一个或多个跟踪,并向用户显示所述一个或 多个跟踪。
[0018] 具体地,一个或多个实施例确定对象的外观作为所述对象的属性,比较与所述一 个或多个跟踪对应的每个对象的外观属性,以确定每个对象成为被标记对象的概率值,并 根据所述概率值对所述一个或多个跟踪排序。为了比较的目的,利用如对象的外观之类的 描述信息而不是实际的对象图像,由于比较更少的数据点,因此使得比较过程更高效。
[0019] 适当地,通过仅显示个体可能已经经过的最可能的路线,仅显示最可能的跟踪,这 减少了操作人员分析所有可能的存在该个体的录像所花费的时间。
[0020] 更适当地,一个或多个实施例通过响应确认所述一个或多个跟踪之一作为正确的 跟踪的用户输入,选择正确的跟踪。因此,更多实施例可以被配置为接收用户的反馈以进一 步提高单个对象的跟踪。
[0021] 就本发明的第三方面而言,提供了设备,该设备用于显示摄像头位置的网络地图 和第一摄像头视场的场景;响应用户对所述场景中的对象所作的标记,以:基于在其它视场 中的可能的对象,确定所述网络中被标记对象可能出现的其它视场,所述其它视场满足所 述第一摄像头视场中的出口点和/或入口点与所述其他视场中的入口点和/或出口点之间 的时间关系和空间关系;以及显不所述网络中摄像头位置之间可能的路线,所述可治的路 线满足所述时间关系和空间关系。
[0022] 就本发明的第四方面而言,提供了操作数据处理设备的方法,包括:显示摄像头位 置的网络地图和第一摄像头视场的场景;响应用户对所述场景中的对象所作的标记,以:基 于在其它视场中可能的对象,确定所述网络中被标记对象可能出现的其它视场,所述其它 视场满足所述第一摄像头视场中的出口点和/或入口点与所述其它视场中的入口点和/或 出口点之间的时间关系和空间关系;以及显示所述网络中摄像头位置之间可能的路线,所 述可能的路线满足所述时间关系和空间关系。
[0023] 根据本发明的第三方面和第四方面的一个或多个实施例提供了工具,该工具允许 操作人员存取由标记跟踪系统生成的数据以及通过视频直观地导航并标记感兴趣的个别 对象。而且,这种使用方式可以有助于减少为了跟踪穿过监视区域的单个对象需要手工分 析的视频量。
[0024] 通常,一个或多个实施例基于所述可能的对象和所述被标记对象之间的外观元数 据的相似度,确定所述被标记对象可能出现的其他视场。这提供了进一步的方法来确定对 象可能符合被标记对象的可能性。
[0025] 适当地,一个或多个实施例显示所呈现的路线符合所述被标记对象采用的路线的 概率指示,这向操作人员提供了有用的反馈。具体地,突出最可能的路线。
[0026] 一个或多个实施例可以被配置为响应用户对与所述其它视场对应的摄像头位置 的选择,以显示所述可能的对象存在的视频场景。因此,用户可以快速地在感兴趣的视频场 景之间移动。同时用户可以在视频场景中选择所述可能的对象,以确认所述可能的对象作 为所述被标记对象,并确认通向所述摄像头位置的路线,并删除其它路线。
[0027] 更适当地,一个或多个实施例基于时间关系和空间关系,以及可选地外观元数据, 计算所述被标记对象的去往所述摄像头位置和来自所述摄像头位置的进一步可能的路线, 并显示所述可能的路线。
[0028] 甚至更适当地,更多实施例至多仅显示一定数量的可能的路线,这些可能的路线 对应于具有最高可能性的那些路线,并且可选地,至多仅显示一定数量的摄像头位置之间 的连接,从而进一步减少操作人员不得不做的工作量。通常示出任一方向的联系从而减少 视频混乱。
[0029]所述一定数量可以是用户可设置的,以便可以按照用户的喜好配置显示。
[0030] 可以提供滑块控制的场景,用户可来回滑动该滑块以向后或向前移动视频场景。 这允许用户控制回顾哪部分视频。 _
[0031] 更多实施例可以显示沿着所显示的时间线上的一个或多个书签,以指示对象进入 或离开与所显示的所述场景对应的视场的地方。书签使得操作员快速知道可能的候选对象 已经出现在他们正在观察的摄像头视场中的时间跨度,然后这能够通过变暗或选择对象进 行确认来影响导航。
[0032] 可以在具有与其相关诸如入口点或出口点之类的元数据的对象周围显示边界框, 以帮助识别它们。通常,更多的实施例通过以具有不同突出属性的边界框突出可能的对象 以区别没有归类为可能的对象的对象,并以具有不同突出属性的边界框突出确认的对象以 区别没有归类为确认的对象的对象。
[0033] 为了提供监控标记活动的记录,一个或多个实施例可以被配置为生成被标记对象 通过所述网络地图的路线的报告。
附图说明
[0034] 图1是示出城市地区的地图的图示,该地图示出了监控网络中的摄像头位置;
[0035] 图2是图1所示的监控网络中摄像头视场的场景的图示;
[0036] 图3是根据本发明实施例的监控系统的示意图;
[0037] 图4是视频数据元素的图表表示;
[0038] 图5是根据本发明实施例的视频内容分析模块的过程控制流程图;
[0039] 图6是根据本发明实施例的获得元数据的过程控制流程图;
[0040] 图7是元数据数据元素的图表表示;
[0041] 图8是根据本发明实施例的元数据数据库的实体关系图;
[0042] 图9是根据本发明实施例的确定跟踪片段的过程控制流程图;
[0043] 图10是根据本发明实施例的确定出口区和入口区的过程控制流程图;
[0044] 图11是源自本发明实施例的具有叠加的出口区和入口区的摄影图;
[0045] 图12是源自本发明实施例的一对相邻的出口区和入口区的摄影图;
[0046] 图13是根据本发明实施例的视频监控网络的拓扑结构的示意图;
[0047] 图14是根据本发明实施例的加入标记跟踪用户界面模块的监控系统的示意图;
[0048] 图15是根据本发明实施例的用户界面显示的第一阶段的示意图;
[0049] 图16是根据本发明实施例的用户界面显示的第二阶段的示意图;
[0050] 图17是根据本发明实施例的用户界面显示的第三阶段的示意图;以及
[0051] 图18是根据本发明实施例的用户界面显示的第四阶段的示意图。
具体实施方式
[0052] 图1示出了地图1〇,该地图1〇示出了城市地区的视频监控系统中个别摄像头的位 置12。每个摄像头的视场14由三角形表示,该三角形顶点位于摄像头位置处并从那儿伸出 来。从识别的摄像头视场14可以看出,在摄像头视场之间存在间隙,导致示出的城市地区的 视频监控不邻接。这不排除通过安装足够数量的摄像头将系统应用于邻接的视频监控。
[0053] 图2示出摄像头通常的场景,在这种情况下为摄像头C07,并且该场景示出车辆15、 穿过道路的行人16、拉着手推车的行人17、沿着人行道行走的行人18以及非常靠近彼此的 一对行人19。这对行人19互相足够靠近,以至于在视频分析系统看来可以作为单个对象。 [0054] 现在参照图3,示出了包括视频摄像头网络10的监控系统20。视频摄像头网络10可 以是IP网络的一部分,摄像头通过该IP网络向控制中心发送数据,例如视频数据,或者可以 包括视频摄像头与控制中心之间直接的连接(有线的或无线的)。视频摄像头网络1〇可以具 有一些与IP网络连接的摄像头和一些通过直接的连接与控制中心连接的摄像头。
[0055] 视频摄像头网络中的视频摄像头也可以具有与其相连的其它感知设备。
[0056] 视频监控系统20包括视频管理服务器22,该视频管理服务器22处理从视频摄像头 网络10中的不同摄像头接收的视频数据。这种视频管理服务器的例子是英国萨里(Surrey) 的BAE系统集成系统技术有限公司(BAE Systems Integrated System Technologies Ltd) 提供的通用视频管理系统(Universal Video Management System)。视频管理服务器22管 理视频数据的归档和存储以及提供实时视频数据输入。此外,视频管理服务器22可以提供 搜索界面,用于响应于搜索请求而请求、识别和返回视频数据。视频管理服务器22也可以与 其他技术或应用相结合。
[0057]用于视频图像数据的大容量存储的视频服务器24与视频管理服务器22相耦接,视 频管理服务器22在视频服务器24上存储视频图像数据并从视频服务器24检索视频图像数 据。视频管理服务器22与视频内容分析模块26相连接。在描述的实施例中,对于视频摄像头 网络10中的每个摄像头,视频内容分析模块26具有一个视频内容分析通道。可以向视频内 容分析模块26提供来自视频管理服务器22的视频图像数据,该视频图像数据对应于摄像头 网络10中的每个摄像头,例如为存储或归档的视频图像数据或者经过IP网络提供的视频图 像数据。可选地,可以直接向视频内容分析模块26提供来自视频摄像头网络10的视频图像 数据。视频图像数据可以是任何合适的格式,例如MPEG2、MPEG3、MPEG4、H264或者任何具有 适当编码的专有的视频格式(IP摄像头制造商)以允许从视频流或以模拟格式来自摄像头 的直接视频解码视频数据。
[0058] 根据视频管理服务器和视频内容分析模块的数量,可调整系统设计的规模。
[0059] 通常,为了同步来自视频管理服务器22的视频数据与直接提供给视频内容分析模 块26的视频数据,在视频管理服务器22和视频内容分析模块26之间交换同步信号。由于相 对于直接从视频摄像头网络10接收的视频,视频管理服务器22的信号处理可能引入时间延 迟,因此这种同步是必需的。有利地,由视频内容分析模块26从视频摄像头网络10接收的视 频数据信号质量可能高于从视频管理服务器22接收的视频数据的信号质量,因为其将不经 过数据压缩和解压缩。
[0060] 视频内容分析模块26分析视频图像数据以识别视频图像中诸如车辆和行人之类 的前景对象,并向那些对象分配在摄像头视场中识别它们以及描述它们行为和路径的属 性。由于这种属性包括对象的相关信息,因此可以被认为是“对象元数据”。
[0061] 也可以选择在场景中观察到的跟踪的子集,而不是跟踪不感兴趣的对象,这可以 使得系统更高效,这是因为搜索所有对象比搜索那些被选为感兴趣的对象将需要明显更大 的计算量。
[0062] 通过视频内容分析模块特有的直观的用户界面来建立对象在每个摄像头视场内 出现的一组规则,可以实现生成可靠的元数据或者跟踪信息的过程。这些规则描述预期的 行为,并且在元数据中记录所有表现这种行为的对象。可以通过低层属性或高层属性来描 述规则的特征。对象的低层属性可以是尺寸、颜色、速度。高层属性可以称为“行动”,一旦对 象出现在摄像头视场中就可能采取该“行动”。行动的例子包括“在图像中限定区域内的对 象”。在规则中低层属性和高层属性的结合将进一步加强提炼元数据的几率,这些元数据可 能有时是场景特有的。
[0063]就分配给前景对象的属性而言,这些属性可以存储在不存储视频图像数据而仅仅 存储元数据的元数据数据库20中。视频图像数据存储在视频服务器24中。
[0064] 在定义视频内容分析模块的检测规则的过程之前,准备元数据数据库,以便其符 合预定义的关系数据库模式。元数据数据库是网络部件,因此在视频分析模块的接近度方 面将不作限制。
[0065] 一旦视频分析模块的规则建立过程完成,元数据总体代理,例如VIRobot,被配置 为分别在输入处与视频分析模块相连接并在输出处与元数据数据库相连接。VIRobot的功 能是接收视频内容分析模块生成的元数据,并根据高层属性或低层属性将这种元数据转化 为元数据数据库特有的格式,并存储它以备将来之用。
[0066] VIRobot可以支持两种元数据报告模式。一种是以逐帧为基础存储来自所有摄像 头的元数据,存储在元数据数据库的“观察结果”表中。第二种选择是以每个对象为基础报 告元数据,即实时积累对象的跟踪信息,并定期更新跟踪的属性,直到视频内容分析模块结 束对象的跟踪的时候为止。这种信息存储在元数据数据库的“跟踪片段”表中。
[0067] 通过视频管理服务器模块在标记跟踪系统中的存在来决定使用模式其中之一的 情况。如果在系统中确实存在视频服务器管理模块,那么用户界面通过应用程序接口询问 摄像头内在特定时间点识别对象的边界框。多摄像头跟踪器模块接收这种询问请求,并以 随后在视频窗口视图上层叠的所有边界框答复用户界面,以允许用户标记物体/人。
[0068] 视频内容分析器26与元数据数据库28相连接,并向元数据数据库28发送元数据以 存储。各个模块处理或使用在元数据数据库28中存储的元数据以进一步识别行为或跟踪由 元数据描述的前景对象。
[0069] 与元数据数据库28相耦接的各个模块包括单摄像头跟踪器模块30、自动拓扑学习 器模块32、多摄像头跟踪器模块34和摄像头间颜色标准化模块36、内部摄像头拓扑学习模 块38、离线多摄像头跟踪器模块40和加拓扑模块42。应用程序接口 44与多摄像头跟踪器M 相耦接。随后将在说明书中更详细地描述每个模块的操作。
[0070] 图4示出视频管理服务器22中处理的视频图像数据元素50的示意图示。将这种视 频图像数据元素50从视频管理服务器22转移至视频内容分析模块26,以进行内容分析。视 频图像数据元素50包括摄像头标识52、以逐帧为基础增加的时间戳54以及与时间戳54和摄 像头标识52对应的视频帧的视频图像数据56。
[0071] 视频内容分析模块26在诸如计算机之类的数据处理设备上实现。本领域众所周 知,数据处理设备可以包含多种处理资源,多种处理资源包括处理器模块、存储器模块和其 它处理资源并且可以在这样的处理资源的一种或多种上执行数据处理。而且,数据处理设 备可以分布在不同的物理位置,一些处理资源甚至可以在地理上远离其它处理资源。现在 将参照如图5所示的过程流程控制图9〇描述视频内容分析模块26在数据处理设备上的实 现。
[0072] 视频内容分析模块26从视频管理服务器接收输入到对应于摄像头ID52的视频内 容分析通道的视频图像数据元素5〇。步骤92,视频内容分析模块26从视频图像数据元素中 提取视频图像数据56,以获取新的视频帧。视频内容分析模块跟踪摄像头视场内的对象,而 且可以使用任何合适的跟踪算法。在步骤94中,在视频帧中前景对象和背景对象分离的地 方开始跟踪,以及在步骤96中,分割前景对象以将它们彼此分开。可以在参考文献[1]中找 到分离背景对象和前景对象以及分割前景对象的技术。
[0073] 在步骤98中,当前景对象在摄像头视场内可见并保持唯一ID时,应用卡尔曼滤波 器跟踪每个前景物体。对于每个前景对象,视频内容分析模块26对对象应用元数据生成器 过程110以生成作为该对象的描述的对象属性。参照附图中的图6所示的过程流程控制图将 描述元数据生成器过程。
[0074] 步骤112,元数据生成器过程110向进行元数据生成的对象分配对象ID。在步骤114 中,从前景对象分割和对象跟踪过程的结合中获得视频帧中对象的位置。在步骤116中,根 据跨越对象的宽度和高度的像素数量,获得对象的尺寸。通过建立对象在视频帧的水平方 向上的边界与在竖直方向上的边界之间的以像素为单位的最大距离,可以实现对象的宽度 和高度的获取。此外,对象的宽度和高度确定对象的“边界框”的尺寸,边界框提供了视频帧 中对象的边界的简单的几何表示。
[0075] 形成部分元数据的另一对象属性是它的外观,外观可以简单地基于对象的颜色模 型。在步骤118中获得外观。在描述的实施例中,通过将对象拆分为四个邻接的水平部分并 确定每个部分的原色来获得对象的颜色。在描述的实施例中,四个邻接的水平部分是基于 分割对象的边界框。视频内容分析模块26通过简单地对部分内特定色相的像素数目进行计 数以及指定原色为像素数目最大的色相来识别原色。四个原色值,其中每部分有一个原色 值,形成元数据的外观属性的颜色模型。
[0076] 对于描述的实施例,定义了用于分析的两类感兴趣的对象,行人和车辆。通过将对 象的形状和速度与定义行人和车辆形状的模板数据比较并确定是否匹配来获得对象的分 类。在步骤120中获得对象的分类。在步骤122和步骤124中分别获得对象的方向和速度。此 夕卜,在步骤125中确定跟踪置信度值。跟踪置信度值是关于当前分配对象ID的对象是对该对 象ID来说正确的对象以及跟踪(即位置)是该对象的正确跟踪的置信度。可以使用任何合适 的跟踪技术或算法来跟踪对象。可以在参考文献[2]中找到跟踪对象的技术的例子。
[0077]然后在步骤126中向元数据数据库发送由元数据属性组成的元数据记录。过程流 程返回向帧中的下一个对象分配对象ID。在步骤102中,如果不再有对象用于生成,则用于 元数据记录的元数据发送至元数据数据库28。可选地,在步骤126中,当每个元数据记录完 成时,可以向元数据数据库28发送元数据记录。
[0078]图7示出了元数据记录㈤的示意表示。就像视频图像数据元素而言,提供了摄像头 标识62和时间戳64。此外,元数据记录60包括元数据66。在描述的实施例中,元数据包括以 下属性,对象ID68、外观70、位置72、尺寸74、分类76、速度78和跟踪置信度值79。根据本发明 各方面的实施例不需要包括如前述的所有元数据属性,或者可以包括其它属性。
[0079]在描述的实施例中,元数据数据库28是关系数据库,并且图8示出存储在元数据数 据库28的数据的实体关系(E-R)表。元数据数据库28包括一些包含相关数据的表。对于完全 理解本发明而言,并非表中的所有元素都需要描述,仅详细描述了那些与本发明相关的。如 稍后描述的,元数据数据库28中的表和它们的条目将和在元数据数据库28上运行并与其关 联的功能有关系。
[0080]与每个摄像头相关的数据保留在表82中,其以摄像头ID为键值,并且包括与摄像 头相关的信息,诸如摄像头位置的文本描述、摄像头图像的宽度和高度方面的摄像头图像 维数、如3D校准细节之类的元数据和关于摄像头的其他信息。观察结果表84包括与元数据 记录60的元数据对应的条目。例如,边界框“bbox”条目基于对象的尺寸74和位置72,同时, “外观”条目基于元数据记录的颜色模型条目70,以及“目标分类(target_class) ”条目基于 元数据记录中的类条目76。置信度条目和跟踪置信度(track_C〇nf)条目响应于60的元数据 记录元素的置信度值79。将描述与在元数据数据库28上运行和填充元数据数据库28功能相 关的其它表中的条目。
[0081]现在参照图9,示出单摄像头跟踪器模块30的过程流程控制图160。单摄像头跟踪 器模块30处理元数据数据库狀中的数据,也就是观察结果表84,并以其运行的结果填充该 数据库中的表。概括来说,单摄像头跟踪器模块30的作用是根据“跟踪片段”定义视场中的 对象的跟踪。跟踪片段具有对应于与跟踪片段相关的对象ID的标识。跟踪片段由视场内对 象采用的路径的关键参数进行定义,也就是对象进入和离开该视场的地点和时间。“跟踪片 段”定义了视场内的对象的行为。定义跟踪片段的数据存储在“跟踪片段”表90中。这样,视 场中对象的行为可以通过单属性来描述,也就是跟踪片段,从而减少描述视场中对象行为 的数据量。也就是说,当希望确定视场中对象的行为时,不必要分析对象所有的元数据属 性,而且不必要在每次分析对象的行为时分析视频图像数据。
[0082]跟踪片段的创建包括在视频内容分析模块中对所有摄像头内被跟踪对象的编索 引过程。这种索引机制可以提供标记跟踪期间对对象的快速搜索,也可以被其它模块使用, 所述其他模块也可以与元数据数据库相连接。
[0083]单摄像头跟踪器模块30过程在步骤162开始,其中选择将要分析的下一视场内的 摄像头ID。然后在步骤164中选择将要分析的下一个对象ID,对于初始分析将是视场内识别 的第一个对象ID。在步骤166中,确定所分析的对象ID的首次出现,并在步骤168中使用与视 场中对象的首次出现对应的边界框参数填充表90中的条目“起始bb (start_bb) ”。边界框参 数为边界框的位置和尺寸。此外,在步骤170中将与视场内对象的首次出现对应的时间存储 在表90的“起始巾贞(start_frame)”字段。
[0084] 步骤172,分析下一帧来看是否下一帧存在相同的对象ID。步骤174,如果是,则分 析转到下一帧。步骤176,如果下一帧中不存在该对象ID,那么确定前一帧为包含该对象的 最后出现。步骤178和步骤180,分别在表90中将边界框参数和时间存储为“终止bb(end_ bb)”条目和“终止帧(end_frame)”条目。此时,步骤182,单摄像头跟踪器通过创建四个片段 中的每个片段所观察到的颜色的直方图,创建对象外观的概要信息,并将其存储在“最优描 述(best_descriptions)”表86中。然后单摄像头跟踪器模块过程110返回步骤164,用于中贞 中下一对象ID。一旦己经分析了摄像头识别的所有对象,单摄像头跟踪器模块过程返回步 骤162,现在在单摄像头跟踪器中选择下一个摄像头标识,对下一摄像头ID的视场进行处 理。
[0085] 单摄像头跟踪器的这部分功能也可以实现为内联过程,这种内联过程在将元数据 存储在元数据数据库之前对由VCA模块生成的元数据进行处理。这减少了与数据库的交互, 并仅以提高效率的“跟踪片段”的形式报告摘要元数据。这种方法中将不使用观察结果表。 创建跟踪片段的过程完全相同,差别是观察结果数据在存储器中积累并在跟踪结束时停 止。
[0086]在单摄像头跟踪器的实施例中,一旦在场景中观察到对象就可以创建跟踪片段。 计算起点和终点并通过计算或其它方式获得外观描述。随着该对象的新的观察结果实时地 变得可用,从而相应地更新终点和观察模型。这都可以在跟踪片段表中完成。
[0087]单摄像头跟踪器模块30作为后台过程在元数据数据库28上运行。一旦确定特定跟 踪片段ID的跟踪片段,就将表84中的“set完成(SCt_d〇ne)”字段设置为真标志,以便不再对 该对象ID的跟踪数据进行进一步分析。
[0088] 单摄像头跟踪器模块过程也可以校正视频内容分析模块26的结果中的误差,例如 由于两个对象一起出现然后在视场内分开,给对象错误地分配了对象标识。单摄像头跟踪 器模块30可以使用与相关对象ID和帧号对应的元数据记录60的速度参数,以确定跟踪片段 中的方向的任何突然变化。这种方向的突然变化可能表明对象的错误识别,单摄像头跟踪 器模块30可以被配置为向目前为止其方位与该跟踪确定的速度更符合的对象重新分配对 象ID。
[0089] 单摄像头跟踪器模块也可以负责元数据数据库的运行稳定性。因为如标记跟踪之 类的系统中元数据的吞吐量非常高,因此需要数天甚至数月地维护元数据数据库的运行稳 定性。为了获得整个系统的空间和计算效率,每隔一段时间单摄像头跟踪器分析“观察结 果”表和“跟踪片段”表中的元数据,以查找无意义的数据并删除它,以便获取总体系统的空 间和计算效率增益。
[0090] 间隔的频率可以由用户定义,例如,可以是每10秒、每10分钟、每10小时或每10天。 可以根据情况或应用定义该频率。
[0091] 在单摄像头跟踪器的网络中,即一批单摄像头跟踪器,因为一些摄像头可以比其 它摄像头具有更高的吞吐量,所以可以对每个单摄像头跟踪器单独地定义该频率。
[0092] 查找无意义的元数据的过程包括使用单摄像头跟踪器内一些预配置参数。这种参 数包括一旦使用了“观察结果”表中的元数据记录生成“跟踪片段”就删除该元数据记录以 及删除比最短持续时间更短的“跟踪片段”。
[0093]因为单摄像头跟踪器模块30作为持续的后台进程运行,所以很可能确定的跟踪片 段完全是最新状态的,既然会在归档数据上运行该过程,因此尽管不是最新的也没关系。然 而,在元数据数据库28内将存在显著大量的跟踪片段。单摄像头跟踪器模块处理与网络中 的每个摄像头对应的每个视场。此外,单摄像头跟踪器模块可以跟踪视场中的不止一个对 象,每个对象具有自己的ID。
[0094]自动拓扑学习器模块32的操作使用跟踪片段表90中的信息,以获得每个视场的入 口区和出口区。入口区或出口区是视场中边界框通常第一次或最后一次出现的区域,将对 应于每个视场中视频内容分析模块所跟踪的每个对象的起点和终点的视场区域。单摄像头 跟踪器模块将使用观察结果表84中的条目以获得跟踪片段表84的起始bb条目和终止bb条 目,而且通常入口区和出口区将包含起始bb条目和终止bb条目的位置值。
[0095] 参照图10所示的过程流程控制图140,步骤144,对于每个摄像头ID,即摄像头视 场,对表90中的每个跟踪片段的每个起点条目起始bb应用聚类算法,例如最大期望算法,以 识别视场内的主要入口区。步骤146,对摄像头ID的跟踪片段表90中的终止bb条目应用类似 的过程,以识别每个摄像头视场中的主要出口区。步骤148和150,将入口区和出口区保存在 区表94中,并在步骤152和154中,对每个建模,例如图像平面的2D高斯分布,并连同它们的 标准偏差存储在标准偏差(std_deviation)条目中。将2D质心,即中心,也连同与区域尺寸 (协方差)相关的统计信息以及区域类型(z〇ne_type),即入口区或出口区一起存储。标准偏 差定乂了跟踪可能开始或尚开的摄像头视场区域。图11不出了城市摄像头网络中识别的主 要入口区和出口区。实线圆圈表示出口区,虚线圆圈表示入口区。可以将圆圈着色编码以表 示出口区和入口区。
[0096]由于每个跟踪片段具有相应的起始时间和终止时间(表90中的起始帧和终止帧), 因此可以确定个摄像头视场中的出口区域和另一摄像头视场中的入口区域之间的空间 联系。通过确定最符合跟踪片段数据的空间约束和时间约束的过渡时间模型,可以发现该 空间联系。通常,过渡时间模型将基于出口区和入口区之间的空间距离以及对应于跟踪片 段的对象的速度。基于对应于跟踪片段的对象的速度,应用适当的统计分布以提供出口区 和入口区之间的过渡时间的分布。利用直方图,以预定义的范围和二进制大小对观察到的 过渡时间的分布进行建模。二进制大小以秒定义过渡时间的粒度,而且也影响允许范围内 的二进制数目。选择统计结果最多的二进制作为入口区-出口区联系的过渡时间,并基于观 察到的最大的过渡时间计算该过渡时间的标准偏差。将各对入口区和出口区之间的关系存 储在拓扑表96中,该拓扑表包括各对入口区和出口区之间的过渡时间的标准偏差。为了避 免在估计过渡时间中使用异常数据,可以在过渡时间估计过程中使用至少一个滤波器。这 种滤波器可以包括外观或预定义时间窗口的使用。
[0097]图12示出在空间相邻的两个摄像头之间生成的过渡时间联系的例子。实线圆圈表 示一个摄像头的出口区,虚线圆圈表示相邻的摄像头的关联入口区。在摄像头视场中示出 估计的入口区的过渡时间。例如,对过渡时间建立如1 -D高斯分布的模型,但也可以使用其 它统计分布建模。
[0098] 也可以从摄像头网络环境的仿真获得过渡时间的分布。
[0099] 自动拓扑学习器模块32不需要作为后台进程运行,而是在网络拓扑需要更新时运 行。为了解决摄像头网络内的队列或多孔路线的情况,其中在这种情况下过渡时间变得可 变从而使得观察到的最大的过渡时间因素不可用,使用多重模态高斯分布采集一些观察到 的最大的过渡时间。在这种场景中使用的另一方法是及时估计人/物体在队列中停留的时 间并在拓扑表中存储过渡时间。
[0100] 在参考文献[3]中对摄像头视场之间的过渡可以如何建模提供了更详细的描述。 [0101]图13示出了自动拓扑学习模块32创建的网络拓扑的示意图。示出的网络包括多个 节点,其为不同摄像头视场的出口或者入口、或者结合的出口区和入口区。节点之间的连线 表示可能的过渡,且过渡时间由“0TE”表示,其中“0”是该过渡的起始节点号,“E”是过渡的 终止节点号。过渡时间包括通过定义时间分布窗口以及对象而可能在出口区和入口区之间 得到的过渡的标准偏差值。
[0102] 多摄像头跟踪器模块与元数据数据库和应用程序接口相连接。多摄像头跟踪器接 收来自用户界面的请求,并分析元数据数据库中的元数据以生成被标记的人/物体的跟踪 结果。然后通过应用程序接口向用户界面发送结果。多摄像头跟踪器使用作为跟踪片段存 储的编有索引的元数据,并调用一些并行处理技术,以在跟踪过程中快速搜索人/物体。元 数据数据库存储一些程序/方法以进行跟踪,多摄像头跟踪器在标记跟踪期间执行这些程 序以生成跟踪结果。跟踪过程涉及使用包含在“区”和“拓扑”表中的摄像头拓扑信息。
[0103] 在实施例中,多摄像头跟踪器中执行的跟踪过程可以是双向的,一个是正向以及 另一个是反向。在一些标记的例子中,可以假设人/物体已经从另一摄像头进入被标记摄像 头的视场并且已经发生过渡。相同概念的己过去的过渡可以重复地用于假设人/物体在过 去已经完成几次过渡以及假设已存在人/物体将进入摄像头网络的起点。多摄像头跟踪器 的反向跟踪的目的是及时反向计算候选跟踪片段,直到计算期间没有可用的结果或达到最 大数量的过渡的时候为止。相反地,正向跟踪过程目的是查找所有作为过渡并且总是随着 时间增加的候选跟踪片段。当标记跟踪系统以归档模式运行时,即参照对象的标记时间,如 果正向和反向的元数据都及时得到,将计算正向和反向跟踪结果并提供给用户界面。在实 时运行模式中,即参照对象的标记时间,由于得不到人/物体未来过渡到其它摄像头的元数 据,将仅得到反向跟踪结果。
[0104] 从节点E1开始,多摄像头跟踪器模块34可以通过应用程序接口 44接收请求,该请 求用于请求跟踪摄像头的摄像头视场内的对象,在该摄像头视场内节点E1是出口区。多摄 像头模块34分析元数据数据库28中的数据以识别在其它视场的跟踪片段中哪个在从节点 E1的入口区/出口区过渡的过渡时间窗口内具有起始帧。在图1中,这些是从节点E1至节点 S2、S3和S4的过渡。在建立了满足与被跟踪对象的空间和时间约束对应的候选跟踪片段之 后,多摄像头跟踪器模块34将与每个候选跟踪片段对应的对象相关的属性与被跟踪对象的 属性进行比较。在一个实施例中,多摄像头跟踪器的跟踪过程是三个步骤的过程。第一步骤 是根据在拓扑联系的拓扑表中存储的过渡时间,查找满足拓扑联系的候选跟踪片段的列 表,该拓扑联系涉及一个摄像头的出口区和最接近的摄像头内的入口区。为了解释,此处考 虑了正向跟踪阶段。
[0105] 在跟踪阶段,要计算合适的度量,例如被标记跟踪片段的终止bb与所有可得到的 出口区协方差之间的马氏距离(MD_EXIT)。所有预定义的从被标记摄像头的出口区进入其 它摄像头入口区的拓扑联系可以被看作被标记跟踪片段的可能的过渡联系。
[0106] 一旦计算了过渡联系的名单,所有在过渡联系中开始的跟踪片段就被看作可能的 候选跟踪过渡片段,该过渡联系在相应的拓扑联系中落入多个过渡时间标准偏差的范围 内。一旦生成这种过渡跟踪片段列表,就计算在每个跟踪片段的起始bb与过渡的摄像头中 所有现有的入口区之间的马氏距离(MD_ENTRY)。此外在这个阶段,仅考虑与被标记对象属 于相同对象分类的跟踪片段。
[0107] 第二阶段包括对第一阶段中计算的跟踪片段的MD_EX:tT值和MD_ENTRY值应用预定 义的阈值。这将过滤掉根本不接近被标记摄像头出口区或者过渡的摄像头入口区的跟踪片 段。计算并存储统一的分数(MD_TL),该分数用于识别候选跟踪片段与拓扑联系的空间和时 间关系。基于MD_TL对列表中所有这样的跟踪片段按照降序存储,且该列表中仅预定义数目 的跟踪片段转到第三阶段。
[0108] 跟踪过程的第三阶段涉及基于外观匹配分数计算外观匹配和排序。将最优描述表 中存储的被标记跟踪片段的每部分的外观直方图与来自第二阶段的候选跟踪片段的相应 部分的直方图进行匹配,而且该过程包括合适的度量的计算,例如值总是在〇和1之间的巴 氏距i^(Bhattacharya distance)。
[0109] 对全部四部分评估的巴氏距离分数进行平均,以推导出外观匹配阶段中最终的似 然分数。一旦得到所有候选跟踪片段的这种分数,就基于最终的似然分数对列表按照降序 进行分类。在这个过程的最后,因为在列表顶部的跟踪片段具有最高的分数而且进一步沿 着列表往下置信度减小,因此它将是最可能与被标记跟踪片段最佳匹配的那个。
[0110] 例如,可以比较外观和/或对象的尺寸,并且可能地,比较其分类。基于对应程度, 确定如似然结果或概率分数之类的分数,该分数反映候选跟踪片段中的对象是想要跟踪的 对象的似然性。
[0111] 对于基于上述过程评估的每个排列的候选跟踪片段,应用再次重复的跟踪过程来 计算下一个紧跟的过渡。重复这个过程直到达到从被标记摄像头的过渡的最大数目或者由 于不存在元数据而不能计算进一步的过渡为止。例如,基于候选跟踪片段的似然分数或概 率分数,将预定义数目的最高得分的过渡确定为最终候选过渡。正如上面讨论的,这样计算 的跟踪结果形成树结构,并发送到嵌入在合适的数据结构中的用户界面。
[0112] 提供了显示网络拓扑的用户界面,例如,使用图1的地图以及在该地图上绘制的过 渡。然后,系统用户可以打开在最终候选过渡列表中的每个入口区的相应视频以可视化地 检查视频中的对象。用户可以确认摄像头视场之一中的对象以确定哪个过渡是正确的。通 过响应用户对过渡的确认,更新显示,以仅示出该过渡以及从被确认的入口节点起多达四 条的候选路线。参照图13,如果被确认的过渡是从E1至S2,那么连同从S2起的候选路线一起 显示E1和S2之间的联系。对每个被跟踪对象可能离开的节点重复该过程,以便可以在网络 中跟踪对象直到它离开该网络。
[0113] 在用户界面上的操作可以指操作人员对由多摄像头跟踪器生成的正向跟踪结果 执行的可视化检查和确认/拒绝阶段。
[0114] 操作人员可以使用反向时间表对反向跟踪结果执行类似的操作,并且在这个过程 的最后,操作人员将得到被标记的人/物体采用的完整路线。在用户界面中包含生成可读格 式的报告的手段,该报告具有对应于个别踪迹的图片或者相关视频片段,并为了可作证据 的目的进一步地进行存储。
[0115] 多摄像头跟踪器模块34处理的元数据与存储的视频相关,即过去的事件。因此,多 摄像头跟踪器模块34可以被配置为识别与被标记对象进入节点E1对应的过渡。这样,可以 识别和验证被标记对象的正向和反向候选路线。因此,用户可以选择视频来观看,以便他们 可以观察到被跟踪对象在他们被标记的节点的正向和反向上的行为。
[0116] 值得注意地,通过分析在元数据数据库28中存储的元数据属性而不是视频图像数 据本身,来实现网络中对象的标记和跟踪,以及建立候选跟踪的置信度值等等。因此,有数 据处理较少且能够实现实时的标记和跟踪。
[0117] 根据本发明实施例的另一方面,提供了与发明的实施例中的应用程序接口 42相连 接的标记跟踪图形用户界面模块。图14示出包括标记跟踪图像用户界面模块206的系统。图 形用户界面模块206驱动显示器200,显示器200包括地图屏幕202和视频屏幕204。在控制中 心203,为了用户的使用,在各自的显示设备上安装有这样的显示器200。
[0118] 地图屏幕202显示由视频监控网络覆盖的地区的地图,以及视频屏幕204显示用户 在屏幕202上选择的摄像头的场景的视频图像。
[0119] 标记跟踪图形用户界面模块被配置为向用户提供在视频场景中标记感兴趣的对 象的工具,提供对象可能在监控地区采用的路线的可视化表示形式,并实时更新被标记对 象采用的路线的显示。
[0120] 图14是在用户调用标记跟踪用户界面模块206之后的显示器200的示意图。地图屏 幕202将监控地区的地图上在监控网络中的摄像头位置显示为一系列节点N1-N12。显示了 用户可启动的开始标记跟踪按钮302以及结束标记跟踪按钮304,当激活时它们引起标记跟 踪用户界面模块206分别开始和结束对被选择对象的标记和跟踪。
[0121] 视频显示屏幕204显示对应于被选择的摄像头节点N1-N12的视频场景。当首次调 用标记跟踪用户界面模块206时,视频场景可以是默认的摄像头视场,或者可以向用户提供 提示选择摄像头的屏幕信息。在屏幕204上显示的视频场景内是一些对象310、312和314。每 个对象具有围绕其画的边界框,边界框用于识别该对象是已经由视频内容分析模块26分析 的对象。此外,在屏幕底部显示有工具栏316。工具栏316包括时间线318,时间线318包括指 示被显示的视频的时间戳的时间指针。也显示了用户可启动的定位按钮320,当激活该按钮 时请求显示日历,用户可以从日历中选择要显示的视频场景的特定日期。此外,为了用户控 制视频场景的播放,提供了用户可启动的播放按钮322和暂停按钮224。显示了时间滑块 328,可以在光标控制下移动时间滑块328。通过响应光标在时间滑块328上的定位,标记跟 踪用户界面模块206以与光标在滑块上的位置相关的速度从视频服务器22请求相应的视 频。这将允许用户以不同速度播放视频以加速视频导航过程。
[0122] 可以为用户提供如计算机鼠标的指示设备,以控制在显示屏幕202和204上的光 标。可选地,它们中的一个或多个可以是触摸感应的。为了标记对象,例如通过在其上移动 光标并按压鼠标控制器上的按钮,或者如果是触摸感应的,通过简单地触摸显示屏幕,用户 选择在显示屏幕204上显示的对象之一。时间线包括书签326和327,书签326和327分别指示 被标记对象进入和离开对应于显示场景的摄像头视场的时间。
[0123] 现在转向图15,是在标记了对象312之后的显示器200的图示。突出了被标记对象 312。
[0124] 更新显示屏幕202以示出对象312在监控网络中的摄像头视场(图15中的N1)的正 向和反向可能采用的可能路线,用户在该摄像头视场内标记该对象。在描述的实施例中,显 示了摄像头节点之间在各自的正向和反向的多达四次的过渡。突出对应于视频场景列表的 摄像头位置节点N8,在示出的图中包括点线圆圈和实线圆圈。在示出的图中,通过单实线同 心环突出对应于将对象标记的摄像头位置的节点N1,同时通过点划线圆环和实线外环突出 所显示的路线的末端,N14。显示从节点N8穿过至节点N14的路线,该路线以实线表示,表明 标记跟踪系统已经确定这是被标记对象312的最高概率的路线。较低概率的路线可以通过 点线指示,例如,可以包括被标记对象312在进入节点N1之前来自节点Nl 1的可能性,以及对 象可能离开节点N1转到节点N3的可能性。
[0125] 用户可以选择与所显示的路线上的节点之一对应的摄像头位置,以便确认被标记 对象是否出现在与该节点的摄像头位置视场对应的场景中。通常,用户将选择实线上的摄 像头位置节点,因为这是最可能的路线。
[0126] 图16示出在用户选择对应于节点N9的摄像头位置之后的显示器200。视频屏幕204 显示与节点N9处的摄像头视场对应的视频场景。在示出的例子中,在视频场景中有四个对 象,350、352、354和356。突出视频内容分析模块26认为与用户标记的对象对应的对象,在示 出的例子中其为对象356。
[0127] 时间线316显示了六个书签,其中三个,358、360、362,对应于对象进入视场的时 间,该时间处于来自与节点N1对应的摄像头视场的对象的过渡时间窗口内。剩余的三个书 签,364、366和368,对应于对象从视场中离开的时间。也将突出与被突出的对象对应的书 签,362和364。书签对应于跟踪片段表90中的跟踪片段起始帧条目和终止帧条目。
[0128] 基于标记跟踪系统对存储在元数据数据库28中的元数据的分析,已经更新地图屏 幕202以指示当前选择的摄像头位置,N9,也指示进入该摄像头位置和来自该摄像头位置的 可能路线。可以从示出的例子中看出,相同的路线被认为是最可能的路线。
[0129] 用户可以调用确认/拒绝显示,例如通过将光标移动到与当前显示的摄像头视场 的场景对应的所突出的节点上并点击。可以利用其它用户命令调用确认/拒绝显示。图17示 出与之前的显示保持不变的摄像头地图和视频显示器204,视频显示器204现在显示三个用 户可启动的按钮,接受370、拒绝372和下一个374。例如对象理应看起来相同,通过点击接受 按钮370,用户可以确认对象356确实对应于被标记对象。可选地,用户可以通过启动拒绝按 钮372拒绝所突出的对象。通过启动下一个按钮374,用户可以突出在视频屏幕200上显示的 另一对象,并确认或拒绝它们对应于被标记的对象。
[0130] 如果用户点击拒绝按钮以及有候选跟踪片段可用于现有的过渡,那么在地图屏幕 和确认/拒绝显示中都显示/突出下一最佳匹配的跟踪片段。
[0131]可替代地,如果没有候选跟踪片段可用于现有的过渡,那么向多摄像头跟踪器发 送请求,以丢弃当前结果(对象的跟踪),并可以调用生成更多结果的跟踪过程。
[0132] 如果进一步调用跟踪过程,那么跟踪过程将为过渡时间设置更高的标准偏差以包 括再次呈现给用户的更多候选跟踪片段。此外,存在非标记按钮,用户可以使用该按钮在结 果确认/拒绝阶段纠正错误。在用户由于对正确结果错误地点击拒绝按钮而犯错的情况下 以及反过来的情况,他可以点击非标记按钮将结果状态改为中性状态,在这之后,他可以采 取正确的行动。非标记操作不依赖于对结果做出错误决定的时间,但限于跟踪期间。
[0133] 虽然参照存储的视频并因此及时产生从所选择的摄像头位置节点起的可能路线 已经描述了根据本发明的实施例,但系统可以被配置为提供可能路线的实时显示。例如,多 摄像头跟踪器模块34持续地运行,因此可以使用与标记跟踪用户界面模块206执行的标记 跟踪操作相关的新信息更新元数据数据库28。因此,对于屏幕202的下一次更新,使用新的 元数据以提供更新后的显示来显示可能的被标记对象可能在视频监控网络内中哪个地方。
[0134] 在摄像头网络中,很可能每个摄像头具有不同的颜色信号。这可能缘于制造差异、 不同部件的使用或者摄像头之间极可能不同的照明条件。内部颜色标准化模块36以根据摄 像头拓扑信息联系的成对为基础,使用现有的摄像头的元数据在摄像头之间变换颜色,并 自动地推断出跟踪过程中执行颜色标准化所需的信息。
[0135] 可以容易地了解摄像头内的对象的行为也是需要的,并且内部摄像头策略模块38 确定摄像头视场内的对象的行为。例如,它可以确定对象进入和离开视场的地方以及在视 场内它们做什么。对于在另一摄像头的视场内没有相应的入口区和出口区来说,在视场内 什么地方有入口区和出口区是重要的,例如相同的视场内的商店的什么地方有入口点和出 口点。
[0136] 多摄像头跟踪可以作为后台功能持续地执行,以便在没有用户首先标记对象时对 对象进彳丁标记和跟踪。尚线多摄像头跟踪器40执彳丁这个功能,该功能能够提供建立被标记 路线的速度和准确性。离线多摄像头跟踪器40创建与属于单个对象的跟踪片段关联的个别 表。
[0137] 3DT模块42应对摄像头重叠且必须3维校准的环境,从而基于3维几何学,建立并识 别不同摄像头视场的跟踪为相同的对象。这个模块分析跟踪片段表,使用每个摄像头的已 知的3D校准以将这些跟踪片段投影到地面上,从而对比个别跟踪片段以识别一些情况,在 这些情况中这种跟踪片段表示从具有重叠视场的两个或更多摄像头看到的相同个体。当识 别出这样的跟踪片段时,将匹配的跟踪片段对存储在跟踪片段匹配表中。多摄像头跟踪器 将使用该信息来关联具有3D校准信息的重叠的摄像头之间的跟踪片段。
[0138] 正如此处使用的,对“一个实施例”或者“实施例”的任何提及,意味着所描述的与 实施例相关的具体的元素、特征、结构或特点包括在至少一个实施例中。短语“在一个实施 例中”在说明书中不同地方的出现未必指代相同的实施例。
[0139] 正如此处使用的,术语“包含”、“包含有”、“包括”、“包括有”、“具有”、“有着”或其 任何其它的变化,目的是覆盖非排他的包括。例如,包括一系列元素的过程、方法、物品,或 者设备,未必仅限于那些元素,而可以包括没有清楚列出或者这些过程、方法、物品或设备 固有的其它元素。而且,除非清楚表明相反,“或者”指的是包括的或者以及非排他的或者。 例如,通过以下的任何一种形式满足条件A或B:A为真(或存在)和B为假(或不存在),A为假 (或不存在)和B为真(或存在),A和B都为真(或存在)。
[0M0] 此外,使用“一”或“一个”来描述本发明的元素或部件。这仅仅是为了方便以及给 予对本发明的通常理解。这种描述应当理解为包括一个或至少一个和单数,也包括复数,除 非显然其表示其他含义。
[0141] 从前述的说明书来看,本领域技术人员显然可以在本发明的范围内做出各种改 变。例如,候选路线的列表不需要限于四条候选路线,而可以包括更少或更多候选路线。
[0142] 本发明公开的范围包括任何新颖的特征,或者其中明确地或者隐含地公开的特征 的结合,或者其任何概括,而不管是否与要求保护的发明相关或者减轻任何或所有本发明 指出的问题。因此申请人通知可以在本申请或者从中得到的任何这种进一步的申请的起诉 期间就这些特征构造新的权利要求。具体地,参照所附的权利要求书,从属权利要求的特征 可以与独立权利要求的特征结合,并且各个独立权利要求的特征可以以任何合适的方式结 合,而不仅仅是权利要求书枚举的特定的结合方式。
[0143] 参考文献
[0144] [1] ^Adaptive background mixture models for real-time tracking^,Chris Stauffer,Proceedings IEEEConf. on Computer Visionand Pattern Recognition, pp.246-252,1999. t〇145] http: //www.ai.mit.edu/projects/vsam/Publications/stauffer_cvpr98_ track.pdf
[0146] [2] ^Object Tracking:A Survey^,Alper Yilmaz,0mar Javed&Mubarak Shah, ACM Computing SurveysJVol.38,No.4JArticlel3JDecember2006.
[0147] [3]’’Bridging the Gap between Cameras",D_Makris,T. Ell is,J. Black,IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR2004.
[0148] http://dircweb.king.ac.uk/papers/Makris_D.2004_729650/cvpr2004— Bridgingthe GapsbetweenCameras.pdf

Claims (17)

1. 一种操作数据处理设备的系统,包括: 用于分析摄像头视场的视频帧序列以跟踪所述视场中的对象的装置; 用于确定在所述视场中的所述跟踪的起点和终点的装置; 用于确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间的装置;以 及, 用于将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储 的装置; 所述系统进一步包括: 用于处理多个监控网络摄像头视场的视频帧序列,以跟踪各自视场中的对象,以及将 各自的起点和终点以及起始时间和终止时间作为各自视场的每个所述跟踪的属性进行存 储的装置; 所述系统进一步包括: 用于确定在第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时 间关系的装置; 用于基于所述时间关系确定从所述第一视场中的所述跟踪到第二视场中的所述跟踪 的过渡的似然值的装置;以及, 用于存储所述似然值的装置。
2. 根据权利要求1所述的系统,其中所述时间关系是基于物理空间中对应于所述起始 时间的起点与对应于所述终止时间的终点之间的空间关系。
3. 根据权利要求2所述的系统,进一步包括: 用于在所述第一视场和第二视场中跟踪多个对象,并确定相应的多个起点和终点的装 置; 用于基于所述多个起点和终点确定所述第一视场和第二视场的起始区和终止区的装 置; 用于确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的 所述时间关系的装置;以及 用于基于所述时间关系确定从所述第一视场中的所述跟踪到所述第二视场中的所述 跟踪的过渡的所述似然值的装置。
4. 根据权利要求3所述的系统,其中所述时间关系基于物理空间中所述起始区和所述 终止区之间的空间关系。
5.根据权利要求2或3所述的系统,进一步包括: 用于对所述第一视场中的所述对象的标记进行响应以确定具有所述第二视场中的起 始时间并满足所述时间关系的一个或多个跟踪,并向用户显示所述一个或多个跟踪的装 置。
6.根据权利要求5所述的系统,进一步包括: 用于确定所述对象的外观作为所述对象的属性,并比较与所述一个或多个跟踪对应的 每个对象的外观属性以确定每个对象成为被标记对象的概率值,并根据所述概率值对所述 一个或多个跟踪排序的装置。
7.根据权利要求6所述的系统,进一步包括:用于仅显示最有可能的跟踪的装置。
8. 根据权利要求5所述的系统,进一步包括用于响应将所述一个或多个跟踪中之一确 认为正确的跟踪的用户输入而选择正确的跟踪的装置。
9. 一种操作数据处理设备的方法,包括: 分析摄像头视场的视频帧序列以跟踪所述视场中的对象; 确定在所述视场中的所述跟踪的起点和终点; 确定分别与所述起点和终点对应的所述跟踪的起始时间和终止时间;以及 将所述起点和终点以及所述起始时间和终止时间作为所述跟踪的属性进行存储; 所述的方法进一步包括: 处理多个监控网络摄像头视场的视频帧序列,以跟踪在各个视场中的对象,并将各个 起点和终点以及起始时间和终止时间作为各个视场中的每个所述跟踪的属性进行存储; 所述方法进一步包括: 确定在第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时间关 系; 基于所述时间关系确定从所述第一视场中的所述跟踪到第二视场中的所述跟踪的过 渡的似然值;以及 存储所述似然值。
10. 根据权利要求9所述的方法,其中所述时间关系是基于物理空间中对应于所述起始 时间的起点与对应于所述终止时间的终点之间的空间关系。
11. 根据权利要求10所述的方法,进一步包括: 在所述第一视场和第二视场中跟踪多个对象,并确定相应的多个起点和终点; 基于所述多个起点和终点确定所述第一视场和第二视场的起始区和终止区; 确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的时间 关系;以及 基于所述时间关系确定从所述第一视场中的所述跟踪到所述第二视场中的所述跟踪 的过渡的似然值。
12. 根据权利要求11所述的方法,其中所述时间关系基于物理空间中所述起始区和所 述终止区之间的空间关系。
13. 根据权利要求11或12所述的方法,进一步包括对所述第一视场中的所述对象的标 记进行响应以确定具有所述第二视场中的起始时间并满足所述时间关系的一个或多个跟 踪,并向用户显示所述一个或多个跟踪。
14. 根据权利要求13所述的方法,进一步包括确定所述对象的外观作为所述对象的属 性,并比较与所述一个或多个跟踪对应的每个对象的外观属性以确定每个对象成为被标记 对象的概率值,并根据所述概率值对所述一个或多个跟踪排序。
15. 根据权利要求14所述的方法,进一步包括仅显示最有可能的跟踪。
16. 根据权利要求13所述的方法,进一步包括响应将所述一个或多个跟踪中之一确认 为正确的跟踪的用户输入而选择正确的跟踪。
17. 根据权利要求14所述的方法,进一步包括响应将所述一个或多个跟踪中之一确认 为正确的跟踪的用户输入而选择正确的跟踪。
CN201180035080.9A 2010-07-19 2011-07-19 设备、系统和方法 Active CN103004188B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB1012095.4A GB2482127B (en) 2010-07-19 2010-07-19 Apparatus, system and method
GB1012095.4 2010-07-19
PCT/GB2011/051362 WO2012010887A1 (en) 2010-07-19 2011-07-19 Apparatus, system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510737320.XA CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510737320.XA Division CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Publications (2)

Publication Number Publication Date
CN103004188A CN103004188A (zh) 2013-03-27
CN103004188B true CN103004188B (zh) 2017-07-14

Family

ID=42735143

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180035080.9A Active CN103004188B (zh) 2010-07-19 2011-07-19 设备、系统和方法
CN201510737320.XA Active CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510737320.XA Active CN105336077B (zh) 2010-07-19 2011-07-19 数据处理设备和操作其的方法

Country Status (7)

Country Link
US (2) US9336451B2 (zh)
EP (2) EP2596630B1 (zh)
CN (2) CN103004188B (zh)
DK (1) DK2596630T3 (zh)
GB (2) GB2482127B (zh)
IL (2) IL224274A (zh)
WO (1) WO2012010887A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
US8774455B2 (en) 2011-03-02 2014-07-08 Raf Technology, Inc. Document fingerprinting
US8831279B2 (en) * 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US9472072B2 (en) * 2012-05-04 2016-10-18 Honeywell International Inc. System and method of post event/alarm analysis in CCTV and integrated security systems
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote tracking of objects
US9948897B2 (en) 2012-05-23 2018-04-17 Sony Corporation Surveillance camera management device, surveillance camera management method, and program
EP2893521A1 (en) * 2012-09-07 2015-07-15 Siemens Schweiz AG Methods and apparatus for establishing exit/entry criteria for a secure location
EP2725552A1 (en) * 2012-10-29 2014-04-30 ATS Group (IP Holdings) Limited System and method for selecting sensors in surveillance applications
EP2946361B1 (en) 2013-01-15 2018-01-03 Israel Aerospace Industries Ltd. Remote tracking of objects
IL224273A (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックIpマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US10474240B2 (en) * 2013-06-10 2019-11-12 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
US20140365891A1 (en) * 2013-06-10 2014-12-11 Honeywell International Inc. Frameworks, devices and methods configured for enabling touch/gesture controlled display for facility information and content with content and controls based on user attributes
JP5506990B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
WO2015099675A1 (en) * 2013-12-23 2015-07-02 Pelco, Inc. Smart view selection in a cloud video service
KR102149271B1 (ko) * 2014-01-13 2020-08-28 한화테크윈 주식회사 카메라의 동작 방법, 카메라, 및 감시 시스템
US10412420B2 (en) * 2014-03-07 2019-09-10 Eagle Eye Networks, Inc. Content-driven surveillance image storage optimization apparatus and method of operation
US9928594B2 (en) 2014-07-11 2018-03-27 Agt International Gmbh Automatic spatial calibration of camera network
US9607245B2 (en) * 2014-12-02 2017-03-28 Xerox Corporation Adapted vocabularies for matching image signatures with fisher vectors
EP3029631A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for assisted object selection in video sequences
US10104345B2 (en) * 2014-12-16 2018-10-16 Sighthound, Inc. Data-enhanced video viewing system and methods for computer vision processing
US9791264B2 (en) * 2015-02-04 2017-10-17 Sony Corporation Method of fast and robust camera location ordering
JP6573361B2 (ja) 2015-03-16 2019-09-11 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
CN104754267A (zh) * 2015-03-18 2015-07-01 小米科技有限责任公司 视频片段标注方法、装置及终端
JP6399356B2 (ja) * 2015-05-26 2018-10-03 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
US9912838B2 (en) * 2015-08-17 2018-03-06 Itx-M2M Co., Ltd. Video surveillance system for preventing exposure of uninteresting object
CN105338313B (zh) * 2015-10-27 2019-07-16 浙江宇视科技有限公司 一种摄像机定位方法及装置
US10372989B2 (en) * 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
US10002313B2 (en) 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
WO2017112798A1 (en) 2015-12-21 2017-06-29 BOT Home Automation, Inc. Sharing video footage from audio/video recorpding and communication devices
GB2531975B (en) * 2016-01-30 2018-05-02 Gregory Hothersall Simon Traffic offence detection system and method
US10621594B2 (en) 2016-02-19 2020-04-14 Alitheon, Inc. Multi-level authentication
EP3229174A1 (en) * 2016-04-06 2017-10-11 L-1 Identity Solutions AG Method for video investigation
US10867301B2 (en) 2016-04-18 2020-12-15 Alitheon, Inc. Authentication-triggered processes
CN105869330B (zh) * 2016-04-27 2018-03-23 深圳市万佳安物联科技股份有限公司 一种用于写字楼防止非法入侵的安防监控器
CN107370983B (zh) * 2016-05-13 2019-12-17 腾讯科技(深圳)有限公司 用于视频监控系统的行踪轨迹的获取方法和装置
SG10201604567SA (en) * 2016-06-06 2018-01-30 Arkemis Pte Ltd System and method for integrating heterogenous video sources and video analytic services into a video surveillance grid to achieve sustainable operations
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
US10902540B2 (en) 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
WO2018052621A1 (en) * 2016-09-15 2018-03-22 Axon Enterprise, Inc. Systems and methods for recovering information from a recording device
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
WO2018067058A1 (en) * 2016-10-06 2018-04-12 Modcam Ab Method for sharing information in system of imaging sensors
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
US20180308243A1 (en) * 2017-03-28 2018-10-25 Irvine Sensors Corporation Cognitive Tracker -- Appliance For Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems
WO2018221068A1 (ja) * 2017-05-30 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10157476B1 (en) * 2017-06-15 2018-12-18 Satori Worldwide, Llc Self-learning spatial recognition system
US10783379B2 (en) * 2017-08-23 2020-09-22 Bossa Nova Robotics Ip, Inc. Method for new package detection
CN108174147B (zh) * 2017-12-12 2020-01-03 山东科技大学 视频监控系统中视频源与追踪服务器的自动优化分配方法
JP6845172B2 (ja) * 2018-03-15 2021-03-17 株式会社日立製作所 データ収集システムおよびデータ収集方法
US10929675B2 (en) * 2018-03-29 2021-02-23 Ncr Corporation Decentralized video tracking
US10366293B1 (en) * 2018-04-24 2019-07-30 Synapse Technology Corporation Computer system and method for improving security screening
CN109087470A (zh) * 2018-07-19 2018-12-25 广州市捍御者信息科技有限公司 入侵监控系统和入侵监控方法
KR101954717B1 (ko) * 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
CN109492306B (zh) * 2018-11-12 2020-04-07 北京华大九天软件有限公司 一种设计规则验证结果的关联层反标方法
US10347009B1 (en) * 2018-11-21 2019-07-09 Juan Ramon Terven Self callbrating camera system
CN111385522A (zh) * 2018-12-27 2020-07-07 杭州海康威视系统技术有限公司 一种运动对象的展示方法、装置、系统及电子设备
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
CN111586352A (zh) * 2020-04-26 2020-08-25 上海鹰觉科技有限公司 多光电最佳适配联合调度系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473369A (en) * 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
EP1450306A3 (en) * 1996-10-31 2009-07-15 Sensormatic Electronics Corporation Intelligent video information management system
US6711590B1 (en) * 1998-07-10 2004-03-23 Canon Kabushiki Kaisha Linking metadata with a time-sequential digital signal
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
JP4120378B2 (ja) * 2002-12-05 2008-07-16 カシオ計算機株式会社 監視システムおよびプログラム
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
WO2006106496A1 (en) * 2005-04-03 2006-10-12 Nice Systems Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
US20080130949A1 (en) * 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
US8149278B2 (en) * 2006-11-30 2012-04-03 Mitsubishi Electric Research Laboratories, Inc. System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
CN101778260B (zh) * 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Global Abnormal Behaviour Detection Using a Network of CCTV Cameras;Emanuel E. Zelniker ET AL;《The Eighth International Workshop on Visual Surveillance - VS2008》;20080929;摘要,第3栏第2.1节,第5栏 *
Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views;JAVED ET AL;《COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIN PRESS, US》;20080110;第109卷(第2期);第146-162页 *
Trajectory Association across Multiple Airborne Cameras;SHEIKH Y A ET AL;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTERK, LOS ALAMITOS, CA, US》;20080201;第30卷(第2期);第361-367页 *

Also Published As

Publication number Publication date
IL224274A (en) 2017-02-28
GB2482127B (en) 2015-01-14
US20160065906A1 (en) 2016-03-03
EP2840786A3 (en) 2015-03-25
CN103004188A (zh) 2013-03-27
GB2515926A (en) 2015-01-07
CN105336077A (zh) 2016-02-17
CN105336077B (zh) 2018-07-27
US9336451B2 (en) 2016-05-10
EP2596630B1 (en) 2017-12-13
US9363489B2 (en) 2016-06-07
EP2840786A2 (en) 2015-02-25
IL242091A (en) 2019-11-28
US20130208124A1 (en) 2013-08-15
IL242091D0 (en) 2015-11-30
GB201012095D0 (en) 2010-09-01
GB201416262D0 (en) 2014-10-29
GB2482127A (en) 2012-01-25
GB2515926B (en) 2015-02-11
DK2596630T3 (da) 2018-03-19
WO2012010887A1 (en) 2012-01-26
EP2596630A1 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
US10977519B2 (en) Generating event definitions based on spatial and relational relationships
Kok et al. Crowd behavior analysis: A review where physics meets biology
Bialkowski et al. Large-scale analysis of soccer matches using spatiotemporal tracking data
CN107832680B (zh) 用于视频分析的计算机化的方法、系统和存储介质
US9251425B2 (en) Object retrieval in video data using complementary detectors
US20200265085A1 (en) Searching recorded video
Natarajan et al. Multi-camera coordination and control in surveillance systems: A survey
US20190188998A1 (en) Alert directives and focused alert directives in a behavioral recognition system
AU2011352408B2 (en) Tracking moving objects using a camera network
US8547436B2 (en) Data processing apparatus
Grimson et al. Using adaptive tracking to classify and monitor activities in a site
JP2019512827A (ja) 機械学習によってオブジェクト分類器を訓練するためのシステム及び方法
Ge et al. Automatically detecting the small group structure of a crowd
Collins et al. Introduction to the special section on video surveillance
US10037607B2 (en) Topology determination for non-overlapping camera network
US7835578B2 (en) Automated video-to-text system
US8300102B2 (en) Apparatus and method for inferencing topology of multiple cameras network by tracking movement
Loy et al. Multi-camera activity correlation analysis
US9123129B2 (en) Multi-mode video event indexing
US9704393B2 (en) Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CN101310288B (zh) 采用视频原语的视频监视系统
Collins et al. A system for video surveillance and monitoring
Fernyhough et al. Constructing qualitative event models automatically from video input
KR20140095956A (ko) 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
AU2011352157B2 (en) Searching recorded video

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant