CN101208710A - 从俯视视频流进行目标检测及跟踪 - Google Patents

从俯视视频流进行目标检测及跟踪 Download PDF

Info

Publication number
CN101208710A
CN101208710A CNA2006800205679A CN200680020567A CN101208710A CN 101208710 A CN101208710 A CN 101208710A CN A2006800205679 A CNA2006800205679 A CN A2006800205679A CN 200680020567 A CN200680020567 A CN 200680020567A CN 101208710 A CN101208710 A CN 101208710A
Authority
CN
China
Prior art keywords
target
video
module
line segment
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800205679A
Other languages
English (en)
Inventor
阿兰·J·利普顿
彼得·L·韦奈蒂阿奈尔
张忠
刘海鹰
齐山·拉希德
希曼舒·古普塔
余立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objectvideo Inc
Diamondback Vision Inc
Original Assignee
Diamondback Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diamondback Vision Inc filed Critical Diamondback Vision Inc
Publication of CN101208710A publication Critical patent/CN101208710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)

Abstract

一种视频处理技术包括：接收来自场景的俯视图的视频；检测视频中的移动像素；基于检测到的移动像素检测视频中的线段；基于检测到的线段识别视频中的目标；基于识别的目标跟踪视频中的目标；以及管理视频中的被跟踪的目标。

Description

从俯视视频流进行目标检测及跟踪
技术领域
本发明涉及视频监控系统和视频验证系统。特别地，本发明涉及可配置用于在来自俯视照相机视图(overhead camera view)的视频流中检测及跟踪各个目标的视频监控系统。
背景技术
在生活的许多领域中，视频监控都是重点关心的。视频作为监控工具的一个问题是它可能对于监视来说是人力密集的。最近，针对自动视频监视的问题，已经提出了智能视频监控系统形式的解决方案。参见，例如，美国专利No.6,696,945，“Video Tripwire”，代理人档案号37112-175339；及美国专利申请No.09/987,707，“Surveillance System Employing VideoPrimitives，”，代理人档案号37112-175340，通过引用将这二者结合于此。视频监控的一个应用是检测人及其行为。不幸的是，落后于自动视频监视的计算机视觉科学对于识别照相机诸如那些用在住宅区、商业以及家庭监视应用中的俯视照相机视图中的各个目标有限制。
当前的视频监控系统(参见，例如，C.Srauffer，W.E.L.Grimson，“Learning Patterns of Activity Using Real-Time Tracking，”IEEETrans.PAMI，22(8)：747-757，2000年8月；和R.Collins，A.Lipton，H.Fujiyoshi，及T.Kanade，“Algorithm for Cooperative MultisensorSurveillance”，Proceedings of the IEEE，Vol.89，No.10，2001年10月，1456-1477页，通过引用将这二者结合于此)有两个基本限制。第一，目标组可能经常挤在一起并被检测为单个“斑点(blob)”。该斑点可被正确标记为“人体组”，但构成该组的个体的数量可能并没有确定。第二，其它无生命的目标，例如，家具，手推童车及购物车，一般不可能将其从合法目标中辨别出(特别在，例如，俯视照相机照片中)。此外，其它的“人体检测”算法(参见，例如，在网址http://vismod.media.mit.edu/vismod/demos/pfinder/上所讨论的技术以及2005年5月31号提交的美国专利申请No.11/139,986，“HumanDetection and Tracking for Security Applications”，代理人档案号37112-218471中所讨论的技术，通过引用这二者结合于此)依赖更加倾斜的照相机视图以及特别的人体模型以识别人体，但对俯视照相机视图一般不能很好地处理。
发明内容
本发明的一个实施例包括计算机可读介质，该计算机可读介质包含用于视频处理的软件，当计算机系统执行该软件时，该软件使该计算机系统执行包含下述方法的操作：接收来自场景的俯视图的视频；检测视频中的移动像素；基于检测到的移动像素检测视频中的线段；基于检测到的线段识别视频中的目标；基于识别的目标跟踪视频中的目标；以及管理视频中的被跟踪的目标。
本发明的一个实施例包括基于计算机的系统，该系统用于执行用于视频处理的方法，所述方法包括：接收来自场景的俯视图的视频；检测视频中的移动像素；基于检测到的移动像素检测视频中的线段；基于检测到的线段识别视频中的目标；基于识别的目标跟踪视频中的目标；以及管理视频中的被跟踪的目标。
本发明的一个实施例包括用于视频处理的方法，该方法包括：接收来自场景的俯视图的视频；检测视频中的移动像素；基于检测到的移动像素检测视频中的线段；基于检测到的线段识别视频中的目标；基于识别的目标跟踪视频中的目标；以及管理视频中的被跟踪的目标。
附图说明
如附图所示，根据下列本发明实施例的更具体的描述，本发明的前述及其它特征和优点会更加清楚。
图1示出根据本发明示例性实施例的视频监控系统。
图2示出根据本发明示例性实施例的来自视频监控系统的视频流的示例帧。
图3示出根据本发明示例性实施例的用于目标检测和计数的流程图。
图4示出根据本发明示例性实施例的用于检测移动像素流程图。
图5示出根据本发明示例性实施例的用于检测线段的流程图。
图6示出根据本发明示例性实施例的用于找到下一线段的流程图。
图7示出根据本发明示例性实施例的预测新的查找方向。
图8示出根据本发明示例性实施例的用于跟踪目标的流程图。
图9示出根据本发明示例性实施例的用于更新目标的流程图。
图10示出根据本发明示例性实施例的用于检测新的目标的流程图。
图11示出根据本发明示例性实施例的用于细化目标的流程图。
图12示出根据本发明示例性实施例的用于合并目标的流程图。
图13示出根据本发明示例性实施例的用于分割目标的流程图。
图14示出根据本发明示例性实施例的用于合并和分割目标的流程图。
图15示出根据本发明示例性实施例的用于分析斑点的流程图。
图16示出根据本发明示例性实施例的用于清除目标的流程图。
定义
在描述本发明时，全部适用下列定义(包括上面的描述)。
“计算机”可以指能接受结构输入，根据规定的规则处理结构输入，并产生处理结果作为输出的一个或多个设备和/或一个或多个系统。计算机的例子可包括：计算机；固定和/或便携式计算机；具有单处理器或多处理器的计算机，其可以以并行和/或非并行方式操作；通用计算机；超级计算机；大型机；超小型计算机；小型计算机；工作站；微型计算机；服务器；客户机；交互式电视；web设备；具有因特网接入的电信装置；计算机和交互式电视的混合组合；便携式计算机；个人数字助理(PDA)；便携式电话；用于模拟计算机和/或软件的专用的硬件，如，例如数字信号处理器(DSP)或现场可编程门阵列(FPGA)；用于通过网络链接的计算机系统来处理信息的分布式计算机系统；通过网络连接在一起的、用于在计算机系统间发送或接收信息的两个或多个计算机；以及可接受数据，可根据一个或多个存储的软件程序对数据进行处理，可产生结果，并且一般可包括输入，输出，存储，算术，逻辑以及控制单元的一个或多个装置和/或一个或多个系统。
“软件”可以指操作计算机的规定的规则。软件的例子可包括软件；代码段；指令；计算机程序；及编程的逻辑。
“计算机系统”可以指具有计算机的系统，其中所述计算机可包括具体体现用来操作计算机的软件的计算机可读介质。
“网络”可以指可通过通信设备来连接的多个计算机和相关联的装置。网络可包括如线缆的永久连接或如通过电话或其它通信链接的进行的临时连接。网络的例子可包括：如因特网的互联网；内联网；局域网(LAN)；广域网(WAN)；以及如互联网与内联网的组合的网络。
“视频”可以指以模拟和/或数字形式表示的运动图片。视频的例子可包括电视，电影，来自照相机或其它观测者的图像序列，以及计算机生成的图像序列。从例如现场报道，存储装置，基于IEEE1394的接口，视频数字转换器，计算机图形引擎，或网络连接可得到视频。
“视频照相机”可以指用于视频记录的装置。视频照相机的例子可包括下列的一个或多个：视频照相机；数字视频照相机；彩色照相机；黑白照相机；照相机；摄像放像机(camcorder)；PC照相机；网络照相机(webcom)；红外线(IR)视频照相机；低亮度视频照相机；热视频照相机；闭路电视(CCTV)照相机；水平垂直变焦(PTZ)照相机；视频传感器。可放置视频照相机以执行对所关心区域的监控。
“视频处理”可以指任何的视频操纵和/或分析，包括，例如压缩，编辑，监控，和/或验证。
“帧”可以指视频中的特定的图像或其它离散单元。
具体实施方式
在描述附图所示的本发明示例性实施例时，为清楚起见使用特定的术语。然而，并不企图用所选择的特定的术语来限制本发明。应当理解每个特定的元素包括以相似的方式操作来完成相似的目的的所有技术等同物。通过引用将所引证的各参考文献都结合于此。
本发明涉及可配置用于检测及跟踪来自俯视照相机视图的视频流的各个目标的视频监控系统以及可配置用于验证被测控的事件发生的视频验证系统。该系统可适于辨别即使是在紧密的组中相互作用的多个目标，并且适于在存在其它无生命的目标，诸如移动的购物车，手推童车，移动的家具，以及其它事物的条件下检测移动的目标。
本发明可被用于多种应用。在住宅或商业场景中，本发明可被用于在住宅或商业监视系统中检测人并减少假警报。在商业场景中，本发明可被用于通过对进入和离开区域的个体进行统计以确定建筑物的占用率和/或检测是否发生“借道(piggybacking)”(即，检测当两个人经过入口进入或离开并其中只有一个人可被授权进入或离开时的访问控制违规)。为了人身安全，本发明可被用于在单向走廊中检测向“错误方向”移动的人，诸如，例如，机场出口或公共运输自动扶梯。为了公共安全，本发明可被用于检测以危险方式相互作用的人，如，例如，抢劫或毒品交易。在零售场景中，本发明可被用于检测店铺占用率，检测收款通道的队列长度，或验证销售点(POS)业务。在公共交通场景中，本发明可被用于对进入公共运输工具或交通工具的人进行计数并对读票机执行视频监控以保证当人进入区域时，对票进行扫描(例如防止人跳过回转栏，或越过另一个这样的障碍)。
作为示例性实施例，本发明可被用于验证几类零售的销售点(POS)业务的合法性。例如，“退货”业务可要求顾客应该是物理存在的。再举个例子，“管理员佣金(manager override)”业务可要求管理员协助收银员。本发明所述的视频监控系统可监视POS控制台(例如，收银处)周围的个体的位置与数量并确定是否在特定业务的时刻存在合理的人员配置。
在图1和图2中，对本发明用于带有POS业务验证应用的零售进行了描述。图1示出根据本发明的示例性实施例的视频监控系统。对于示例性POS设置，视频监控系统101可与POS系统102交互。视频监控系统101可包括视频照相机103，目标(例如，人)检测和计数模块104，业务分类(有效/无效)模块105，以及预定义规则数据库106。
视频照相机103可从俯视位置俯瞰POS系统的控制台。视频照相机103的视场可以是俯视该场景。目标检测和计数模块104可接收来自POS系统102的作为业务报告的输入：特定业务被请求、在处理中或已经完成。该目标检测和计数模块104可确定视频场景中人的数量(如果有人)。下面会针对图4～16讨论目标检测和计数模块104的示例性实施例。业务分类模块105可基于从预定义规则数据库106收到的规则来确定参与者的布局。然后，该系统101可提供业务验证消息以返回POS系统102(或某个其它的数据监视或归档系统)来指示业务是否合法。
使用下列美国专利申请中所讨论的技术可实施模块105和106，所述专利申请包括例如，美国专利申请No.09/987,707，“Video SurveillanceSystem Employing Video Primitives，”，代理人档案号37112-175340；美国专利申请No.11/057,154，“Video Surveillance System，”代理人档案号为37112-213547；或美国专利申请No.11/098,385，“VideoSurveillance System Employing Video Primitives，”代理人档案号37112-215811。通过引用将这些申请结合于此。在这些文档中，讨论了规则的创建以及活动推理(例如，人的计数)的性能。对于本发明，举个例子，可使用，如在，例如，美国专利申请No.09/987,707，“VideoSurveillance System Employing Video Primitives，”，代理人档案号37112-175340中所讨论的人体目标原语。
对于POS系统的例子，可使用名为“POS业务原语”的原语。该原语可包括三个数据项：(1)POS业务的时间；(2)业务地点(哪个POS终端)以及(3)业务类型(销售、退货、管理员佣金等等)。对于POS业务原语，可使用规则数据库106的两条规则。第一可如下使用“退货业务验证”规则：如果注册了POS退货业务(原语)；并且在一段时间(参数)，都没有顾客出现(＞＝一个人在所关心的“顾客”区域中)；或在一段时间(参数)，都没有存在的收银员(＞＝一个人出现在所关心的“雇员”区域中)，那么该业务是无效的并且产生告警条件。第二可如下使用“管理员佣金”业务规则：如果注册了POS管理员佣金业务(原语)；并且在一段时间(参数)，没有两名雇员出现(＞1个人在所关心的“雇员”区域中)；那么该业务是无效的并且产生告警条件。
视频照相机103可与基于计算机的系统107连接，该基于计算机的系统107可以对来自视频照相机103的视频进行分析以确定该场景的人的位置及数量。基于计算机的系统107的例子可包括：如上述定义的计算机；个人计算机(PC)，膝上型电脑，个人数字助理(PDA)，数字信号处理器(DSP)，特定用途集成电路(ASIC)，现场可编程门阵列(FPGA)，微处理器；或其它的作为单独的装置或作为嵌入在视频照相机中的任何形状因子(form-factor)的处理器，数字视频记录器(DVR)，网络视频记录器(NVR)，网络交换机，网络路由器，POS终端，或任何其它的硬件装置。基于计算机的系统107可包括人体检测和计数模块104，业务分类模块105，以及预定义规则数据库106。用一个或多个使用软件且与网络连接的计算机可实现该基于计算机的系统107。可替代地，基于计算机的系统107可整体或部分合并到视频照相机103中。可将该人体检测和计数模块104及业务分类模块105实现为包括用以执行模块104和105的操作的软件的计算机可读介质，使得当通过计算机系统来执行该软件时，可引起该计算机系统来执行模块104和105的操作。可替代地，可使用模拟计算机和/或软件的专用硬件来实现人体检测和计数模块104，业务分类模块105，以及预定义规则数据库106。
图2示出根据本发明示例性实施例的来自视频监控系统的视频流的示例帧。该示例性照相机视图可来自俯视放置的视频照相机。在该示例帧中，顾客在右边，而两个雇员，即收银员和管理员在左边。
在图1和2的例子中，对本发明用于带有POS业务验证应用的零售进行了描述。然而，应当理解本发明可应用于本领域技术人员所能认识到的任何适当的应用。
图3示出根据本发明示例性实施例的用于目标检测和计数的流程图。在本发明中，可使用由视频场景中所提取的协同移动的线段组来描述目标。可使用模块301和302来提取这些线段组。在模块301中，使用，例如，3帧差分，或一些其它技术(参见，例如，美国专利No.6,625,310，“Video Segmentation Using Statistical Pixel Modeling，”代理人档案号37112-164995；或美国专利申请No.10/354,096，“Video SceneBackground Maintenance Using Change Detection andClassification，”代理人档案号37112-182386，通过引用将其结合于此)在视频流中检测移动的像素，并提取运动掩模。下面会针对图4讨论模块301的示例性实施例。在模块302中，使用，例如，边缘检测和线段生长技术(参见，例如，美国专利申请No.11/113,275，“Line TexturedTarget Detection and Tracking with Applications to‘BasketOrun’Detection，”代理人档案号37112-217049，通过引用将其结合于此)。下面会针对图5～7讨论模块302的示例性实施例。在模块303中，在给定视频照相机视场的条件下，可将目标识别为符合正常目标要求(例如，合适的目标形状及尺寸)的线段组。在模块304中，可使用应用于目标重心的如卡尔曼滤波器的跟踪滤波器或某个其它的技术来跟踪目标(参见，例如，美国专利申请No.09/987,707，“Video Surveillance SystemEmploying Video Primitives，”，代理人档案号37112-175340；或2005年5月31号提交的美国专利申请No.11/139,600，“Multi-State TargetTracking”，代理人档案号37112-218196，通过引用将其结合于此)。下面会针对图8～16讨论模块304的示例性实施例。
图4示出根据本发明示例性实施例的图3的模块301中的用于检测移动像素的流程图。在模块401中，可将前景移动区域与背景场景分离。使用变化检测可执行这种分离。近年来变化检测已经被广泛研究，并且有许多技术可用。变化检测的输出可以是每帧的前景掩模。在模块402中，可检测每个前景掩模的边缘。虽然可使用其它的边缘检测算法，但是本发明的示例性实施例可使用Canny边缘检测，该检测产生单像素宽度的边缘。可仅仅对前景区域进行边缘检测，这就会要求对Canny边缘监测器进行一些修改以合并前景掩模信息。
图5示出根据本发明示例性实施例的图3的模块302中的用于检测线段的流程图。根据示例性实施例，可使用确定性的方法通过从边缘像素地图提取所有线段来检测线段。为了找到新的线段该方法可反复查找边缘像素地图直到没有剩余的足够的未使用的边缘像素。每个边缘像素可仅仅在一条线段中，并且被使用后，可将该像素从边缘像素地图中移走。
模块501的输入可以是由，例如，图4中的模块402获得的帧的边缘像素地图。在模块501中，可以对边缘像素进行计数。在模块502中，可以确定是否存在(或剩余)用以识别线段的足够数量的边缘像素。检查该条件的门限可以由用户对示例性目标，例如购物车，的粗略图像尺寸的输入参数来确定。例如，如果购物车的粗略图像尺寸是60像素，对于足够剩余的边缘像素的门限可以是例如购物车的粗略图像尺寸的三分之一，即20像素。可将该门限称为最小线段长度门限。如果不存在(或剩余)足够数量的边缘像素，流程可进行到模块507；否则，流程可进行到模块503。在模块503中，可识别新的线段。下面会针对图6讨论模块503的示例性实施例。在模块504中，如前所述，可更新边缘像素来消除模块503中使用的像素。在模块505中，可基于例如新线段的长度及线性度确定该新的线段是是否有效。例如，如果来自模块503的该新线段的长度远短于期望购物车的图像尺寸或该线段的整体线性度太低，则该新的线段可被认为是无效线段。如果该新的线段不是有效的，那么可丢弃该新的线段，并且流程可进行到模块501；否则，流程进行到模块506。在模块506中，可以对帧中的线段列表增加有效的线段。在模块514中，可输出该有效线段列表。
图6示出根据本发明示例性实施例的图5的模块503中的用于找到下一线段的流程图。在模块601中，根据给定的边缘像素地图识别该新的线段的开始点。对于第一线段，通过从左上角扫描整个边缘地图直到找到第一个未使用的边缘点来获得该开始点。对于所有后续的线段，通过使用前面线段的开始点作为扫描开始位置可以加速该查找。在模块602中，可基于估计的线方向预测向着结束点的下一个查找方向。下面会针对图7讨论模块602的示例性实施例。在模块603中，通过循环每个预测的查找位置来识别下一个线像素以确定该像素是否为边缘像素。在模块604中，如果下一个线像素是边缘像素，可将该像素作为新的结束点增加到线段中，并且流程可进行到模块602。否则，可以在两个方向查找该下一个线像素，并且流程可进行到模块605。在模块605中，如果在一个方向不能找到下一个线像素，那么相反的方向可能已经查找过了。如果相反的方向还没有被查找，则流程可进行到模块606；否则，流程可进行到模块607。在模块6 06中，查找过程可以颠倒线方向。结束点可以变成开始点，开始点可以变成当前的结束点，并且流程可进行到模块602。在模块607中，可以到达当前线段的查找过程的结尾，并且可以输出该线段。
图7示出根据本发明示例性实施例的图6的模块602中的预测新的查找方向。区域702可描述图像区，其中每个框指示一个像素位置。区域704可指示当前线段的当前的结束点像素。当预测下次的查找位置时可以考虑三种不同的状态。对于第一状态(初始像素)，当前的结束点像素也可以是开始点。在这种情况下，如标号706所示查找该结束点像素的所有8个相邻方向A-H。
对于第二状态，当在线段中存在多个像素时，可使用由线段像素提供的信息来估计该线段的方向。确定该线段方向的一种方法是将线段像素聚类成两组，即开始像素和结束像素，其可分别对应于该线段的前半部分和后半部分。然后可通过使用这两组像素的平均位置来确定该线段方向。
对于第三状态，当当前的线段方向可用时，例如，如箭头708所示的，可选择距离该线段方向具有最小角度的前三个方向，如C、D及E，如标号710所如示。在这种情况下可考虑另外两种场景。第一，该线可能还不是足够长以变为连贯的线段，其中不清楚该像素列表是否是线段的一部分或仅仅是相邻边缘像素簇。确定当前线段是否足够连贯的一种方法可以是使用上面所讨论的最小长度门限。特别地，如果该线段小于这个门限，该线段可以被认为是不够连贯的。为了避免提取错误的线段，作为下次的查找位置可以包括这三个直接相邻的位置710。第二，该线段可能是足够长的并且可以被连贯地提取。在这种情况下，由于由噪声引起的边缘地图中的偶然的小间隙，可能会丢失该线的一部分。因此，如标号712所示还可以包括另外的附近的查找位置。
图8示出根据本发明示例性实施例的图3的模块304中的用于跟踪目标的流程图。在模块801中，可按照逐帧接收到的新的信息来更新现存目标。下面会针对图9讨论模块801的示例性实施例。在模块802中，可根据还没被认为是现存目标的部分的任何未分配的线段来识别新的目标。下面会针对图10讨论模块802的示例性实施例。在模块803中，可对目标进行细化以保证可以容纳可用的特征。下面会针对图11讨论模块803的示例性实施例。在模块804中，可对目标进行分析以确定是否应该将其合并(即两个目标变为一个目标)，而在模块805中，可对目标进行分析以确定是否应该将其分割(即一个目标变成两个目标)。下面会针对图12～15讨论模块804和805的示例性实施例。在模块806中，清除目标，这可被用于确定目标何时已经离开该视频照相机视场。下面会针对图16讨论模块806的示例性实施例。
图9示出根据本发明示例性实施例的图8的模块801中的用于更新目标的流程图。在模块901中，可以使用适当的跟踪滤波器，诸如，例如卡尔曼滤波器或其它滤波器(参见，例如美国专利申请No.09/987,707，“Video Surveillance System Employing Video Primitives，”，代理人档案号37112-175340；或2005年5月31号提交的美国专利申请No.11/139,600，“Multi-State Target Tracking”，代理人档案号37112-218196)来预测现存目标的参数(例如，位置和尺寸，或位置、尺寸、及速度)。在模块902中，已经被检测的线段可基于它们相对于现存目标的重心及尺寸的位置来分配给各个目标。在模块903中，可更新目标。例如，可根据该跟踪滤波器更新规则来更新该目标的新的位置，尺寸以及速度。
图10示出根据本发明示例性实施例的图8的模块802中的用于检测新的目标的流程图。在模块1001中，可使用，例如附近归组方法，来使任何未分配的线段聚类。例如，彼此距离在一定门限范围内的任何线段可聚类成单个组。在模块1002中，可对未分配的线段簇进行验证以保证其符合目标的预定义的要求。例如，如果使用图2视场中的人体目标来定义目标要求，该未分配的线段簇可能需要具有指示该人体目标存在的恰当的近似尺寸。如果该未分配的线段组太大或太小，可能拒绝该未分配的线段簇。在模块1003中，假设该未分配的线段簇符合来自模块1002的目标定义的要求，可以将该未分配的线段簇指定为新的目标，并且可利用该未分配的线段簇的位置和尺寸作为该新的目标的初始参数，使跟踪滤波器针对该新目标进行实例化。
图11示出根据本发明示例性实施例的图8的模块803中的用于细化目标的流程图。在模块1101中，还没有被分配给存在的或新的目标的剩余线段可以被聚结(agglomerate)到它们的最近的相邻目标。在模块1102中，基于新的特征对目标进行重新估计。例如，可重新计算目标的位置和速度，并且使用这些新的参数对相关的跟踪滤波器进行更新。在模块1103中，可确定各目标是否将变为静止(即停止移动)。如果和那个目标相关的线段的数目和尺寸减小，该目标可能会停止运动。如果确定该目标将变为静止，流程进行到模块1104；否则，流程可退出模块803。在模块1104中，可使用所有的(或一些)在该目标的临近区域的移动像素而不仅仅是移动的线段来更新该目标的参数(例如，尺寸、位置以及速度)。
图12示出根据本发明示例性实施例的图8的模块804中的用于合并目标的流程图。在模块1201中，可获得两个目标。在模块1202中，可比较获得的目标的参数。例如，可比较所述目标的尺寸及历史(或年龄)。如果这两个目标占有相似的空间，一个目标小于另一个目标，以及一个目标比另一个目标年轻，则这两个目标可以被认为是足够相似以致于可被合并成一个目标。如果这两个目标的参数是相似的，流程可进行到模块1203；否则，流程可进行到模块1201。在模块1203中，这两个目标可被合并成单个目标。例如，可将较小的和/或较年轻的目标合并到较大的目标中。在模块1203之后，流程可进行到模块1201。对于返回模块1201的流程，可以获得之前还没有被比较的两个目标。当已经比较了所有的(或足够数量的)用于合并的目标时，流程可退出模块804。
图13示出根据本发明示例性实施例的图8的模块805中的用于分割目标的流程图。在模块1301中，可获得目标。在模块1302中，可确定该目标是否与正常的目标相近似。例如，可以根据图2的人对正常的目标进行模型化。如果基于，例如目标和正常的目标的尺寸，对该目标和正常的目标进行比较，并且如果该目标大于正常目标，那么可以确定该目标和正常目标不近似。如果该目标与正常目标不近似，流程可进行到模块1303；否则，流程可进行到模块1301。在模块1303中，从该目标的线段可获得簇。例如，可识别在目标的范围内彼此相隔最远的两个线段，并且可以使用这两个线段作为开始点来重新初始化(如图10的模块1001所示)聚类。结果可能是两个新的线段簇。在模块1304中，可确定线段的两个簇是否与正常的目标相近似。例如，如果当得到的两个簇与正常目标比较时具有合适的尺寸和形状，那么这两个簇被认为是单独的目标。如果这两个线段簇与正常目标相似，流程可进行到模块1305；否则，流程可进行到模块1301。在模块1305中，可将目标身份分配到这两个新的线段簇中。例如，对较小的簇分配新的身份，而较大的簇可保持原来的目标身份。从模块1305，流程可进行到模块1301。当分析了所有的(或足够数量的)用于分割的目标时，流程可退出模块805。
作为关于图12和图13所讨论技术的替代技术，可考虑同时进行目标合并和分割并可基于，例如，移动目标斑点的形状的分析进行目标合并和分割。例如，参考图2，分析可导致将斑点中的人体目标数标记为“无目标”，“一个人体目标”，或“大于一个人体目标”。其它实施例可能设法以组对特定目标进行计数。图14示出根据本发明示例性实施例的图8的模块804和805中的用于合并和分割目标的流程图。在模块1401中，对于各视频帧可生成前景掩膜。可使用图3的模块301所讨论的移动像素的检测或另一前景目标检测技术(参见，例如，美国专利No.6,625,310，“VideoSegmentation Using Statistical Pixel Modeling，”代理人档案号37112-164995；美国专利申请No.09/987,707，“Video SurveillanceSystem Employing Video Primitives，”，代理人档案号37112-175340；美国专利申请No.11/057,154，“Video Surveillance System，”代理人档案号37112-213547；或美国专利申请No.11/098,385，“VideoSurveillance System Employing Video Primitives，”代理人档案号37112-215811，通过引用将这些申请结合于此)来生成该前景掩膜。
在模块1402中，可在模块1401所生成的移动掩膜内对前景目标(即，斑点)进行检测。可使用聚类算法(参见，例如，美国专利申请No.09/987,707，“Video Surveillance System Employing Video Primitives，”，代理人档案号37112-175340；美国专利申请No.11/057,154，“VideoSurveillance System，”代理人档案号37112-213547；或美国专利申请No.11/098,385，“Video Surveillance System Employing VideoPrimitives，”代理人档案号37112-215811)对该前景目标进行检测。
可选地，在模块1403中，可通过目标跟踪算法对该斑点进行跟踪并可生成跟踪信息(参见，例如，美国专利申请No.09/987,707，“VideoSurveillance System Employing Video Primitives，”，代理人档案号37112-175340；美国专利申请No.11/057,154，“Video SurveillanceSystem，”代理人档案号37112-213547；或美国专利申请No.11/098,385“Video Surveillance System Employing Video Primitives，”代理人档案号37112-215811；或2005年5月31号提交的美国专利申请No.11/139,600，“Multi-State Target Tracking”，代理人档案号37112-218196的美国专利申请)。模块1403可以是可选的。
从模块1402和1403，流程可进行到模块1404。在模块1404中，可使用来自模块1402的斑点和来自模块1403的跟踪信息来分析该斑点，并识别目标数。例如，可基于斑点的尺寸和形状分析该斑点。下面会针对图14讨论模块1403的示例性实施例。模块1404的结果可以是和前面目标相同，少于前面目标(即，前面目标的合并)，或多于前面的目标(即，前面目标的分割)的目标。
图15示出根据本发明示例性实施例的图14的1404模块中的用于分析斑点的流程图。在模块1501中，对模块1302中识别的各斑点执行流程。当已经分析了所有的(或足够数量的)斑点时，流程可退出模块1404。在模块1502中，可将该斑点的尺寸和多目标尺寸门限进行比较。例如，多目标尺寸门限可代表表示两个或多个正常目标(例如，两个或多个人)的尺寸。如果该斑点的尺寸大于多目标尺寸门限，流程可进行到模块1503；否则，流程可进行到模块1504。在模块1503中，该斑点的尺寸可大于或等于该多目标尺寸门限，并且可以将该斑点标记为多于一个目标(例如，标记为“＞1个人”)。
在模块1504中，可以将该斑点的尺寸与最小单目标尺寸门限进行比较。该最小单目标尺寸门限可代表正常目标的最小尺寸。如果该斑点的尺寸小于该最小目标尺寸门限，流程可进行到模块1505；否则，流程可进行到模块1507。在模块1505中，该斑点的尺寸可以小于该最小单目标尺寸门限，并且将该斑点标记为没有目标(例如，标记为“＝0个人”)。在模块1506中，将该斑点指定为代表没有目标。
在模块1507中，可以将该斑点的尺寸与最大单目标尺寸门限进行比较。该最大单目标尺寸门限可代表正常目标的期望的最大尺寸。如果该斑点的尺寸小于该最大单目标尺寸门限，流程可进行到模块1508；否则，流程可进行到模块1509。在模块1508中，该斑点的尺寸可以小于该最大单目标尺寸门限，并且将该斑点标记为一个目标(例如，标记为“＝1个人”)。
如果流程进行到模块1509，该斑点的尺寸可能小于或等于该多目标尺寸门限但大于该最大单目标尺寸门限，并且需要另外的分析来确定该斑点所代表的目标数(即，没有目标或一个目标)。在模块1509中，进行本征分析来确定该斑点的最大和最小轴。然后可沿着该斑点的最小轴将该斑点分成两个子斑点。在模块1510中，可确定各子斑点的凸出面积(例如，凸包的面积)。
在模块1511中，可分析该子斑点以确定这两个子斑点的每一个是否与该正常目标一致。例如，可分析这两个子斑点以确定它们的形状是否与该正常目标的形状相近似。可进行下列分析：如果每个子斑点面积与它的凸包的面积之比大于该最小目标充实度(solidity)门限，并且如果每个子斑点的凸出面积大于该最小单目标尺寸门限，那么可认为原来的斑点包括两个目标，并且流程可进行到模块1512；否则，流程可进行到模块1513。在模块1512中，可认为该斑点包含两个目标，且将该目标标记为多于一个目标(例如，标记为“＞1个人”)。在模块1513中，可认为该斑点包含一个目标，且将该目标标记为一个目标(例如，标识为“＝1个人”)。
在模块1514中，可接收来自模块1503、1508、1512、以及1513的流程，并且可分析该斑点以确定其是否是静止的。为了确定该斑点是否是静止的，可使用在下列专利申请中所描述的技术，例如，美国专利申请No.10/354,096，“Video Scene Background Maintenance Using ChangeDetection and Classification，”代理人档案号37112-182386；或2005年5月31号提交的美国专利申请No.11/139,600，“Multi-State TargetTracking”，代理人档案号37112-218196。如果该斑点是静止的，流程可进行到模块1515；否则，流程可进行到模块1506。在模块1515中，指定该斑点代表无目标。
图16示出根据本发明示例性实施例的图8的模块806中的用于清除目标的流程图。在图16中，单独分析每个目标。在模块1601中，可获得目标。在模块1602中，可分析该目标以确定是否在该帧中检测了该目标。如果在该帧中检测了该目标，流程可进行到模块1603；否则，流程可进行到模块1604。在模块1603中，在该帧中可检测并保持该目标。在模块1604中，可分析该目标以确定该目标是否在前一帧中移出了视频照相机的视场。如果该目标没有移出该视场，流程可进行到模块1603，并保持该目标；否则，流程可进行到模块1605。在模块1605中，可能未在该帧中检测该目标，该目标可能已经移出了所述视场，以及可以将该目标从当前目标列表中删除。当已经分析完所有的(或足够数量的)用于清除的目标时，流程可退出模块806。
这里所描述的例子和实施例是非限制性的例子。
在示例性实施例中详细描述了本发明，并且根据上述描述，对于本领域技术人员来说应当清楚在不偏离本发明的条件下在本发明更宽的范围内可对该发明进行变化和修改，因此，权利要求所定义的本发明的范围企图覆盖落入本发明精神范围内的所有的变化和修改。

Claims (15)

1.一种计算机可读介质，包含用于视频处理的软件，当计算机系统执行该软件时，该软件使该计算机系统执行包含下述方法的操作：
接收来自场景的俯视图的视频；
检测视频中的移动像素；
基于检测到的移动像素检测视频中的线段；
基于检测到的线段识别视频中的目标；
基于识别的目标跟踪视频中的目标；以及
管理视频中的被跟踪的目标。
2.如权利要求1所述的计算机可读介质，其中检测移动像素包括：
将视频中的前景与视频中的背景分离；以及
检测视频中的边缘。
3.如权利要求1所述的计算机可读介质，其中检测线段包括：
对边缘像素进行计数；以及
基于所述边缘像素识别线段。
4.如权利要求3所述的计算机可读介质，其中识别线段包括：
识别开始点；
预测下一个查找方向；
识别下一个线像素；以及
提供线段。
5.如权利要求1所述的计算机可读介质，其中识别目标包括：
更新现存目标；
检测新目标；
细化所述新目标；
合并所述现存目标和所述新目标；
分割所述现存目标和所述新目标；以及
清除所述现存目标和所述新目标。
6.如权利要求5所述的计算机可读介质，其中更新目标包括：
预测目标；
给所预测的目标分配线段；以及
更新目标。
7.如权利要求5所述的计算机可读介质，其中检测新目标包括：
执行线段聚类；
基于该线段聚类执行簇验证；以及
基于所述簇验证生成新目标。
8.如权利要求5所述的计算机可读介质，其中细化新目标包括：
将剩余的线段聚结到最近的目标；
重新估计目标；以及
更新目标。
9.如权利要求5所述的计算机可读介质，其中合并现存目标和新目标包括：
获得目标对；以及
如果该目标对的参数是相似的，则合并该目标对。
10.如权利要求5所述的计算机可读介质，其中分割现存目标和新目标包括：
获得目标；
如果该获得的目标与正常目标不相近似，则对获得的目标执行线聚类以获得簇；以及
如果所述簇与所述正常目标相近似，则给所述簇分配目标身份。
11.如权利要求5所述的计算机可读介质，其中合并和分割现存目标和新目标包括：
生成前景掩膜；
基于该前景掩膜检测前景目标；以及
分析该前景目标以获得多个目标。
12.如权利要求11所述的计算机可读介质，其中基于将该前景目标与多目标尺寸门限、最小单目标尺寸门限以及最大单目标尺寸门限进行比较来分析该前景目标。
13.如权利要求5所述的计算机可读介质，其中清除现存目标和新目标包括：
获得目标；
如果该获得的目标在当前帧中被检测到或未移出所述视频照相机的视场，则保持该获得的目标；以及
如果该获得的目标在当前帧中未被检测到并且移出了所述视频照相机的视场，那么移除该获得的目标。
14.一种基于计算机的系统，用于执行用于视频处理的方法，所述方法包括：
接收来自场景的俯视图的视频；
检测视频中的移动像素；
基于检测到的移动像素检测视频中的线段；
基于检测到的线段识别视频中的目标；
基于识别的目标跟踪视频中的目标；以及
管理视频中的被跟踪的目标。
15.一种用于视频处理的方法，包括：
接收来自场景的俯视图的视频；
检测视频中的移动像素；
基于检测到的移动像素检测视频中的线段；
基于检测到的线段识别视频中的目标；
基于识别的目标跟踪视频中的目标；以及
管理视频中的被跟踪的目标。
CNA2006800205679A 2005-06-24 2006-06-23 从俯视视频流进行目标检测及跟踪 Pending CN101208710A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/165,435 2005-06-24
US11/165,435 US7796780B2 (en) 2005-06-24 2005-06-24 Target detection and tracking from overhead video streams

Publications (1)

Publication Number Publication Date
CN101208710A true CN101208710A (zh) 2008-06-25

Family

ID=37567393

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800205679A Pending CN101208710A (zh) 2005-06-24 2006-06-23 从俯视视频流进行目标检测及跟踪

Country Status (8)

Country Link
US (1) US7796780B2 (zh)
EP (1) EP1894142B1 (zh)
JP (1) JP2008544705A (zh)
KR (1) KR20080021804A (zh)
CN (1) CN101208710A (zh)
CA (1) CA2611522A1 (zh)
MX (1) MX2007016406A (zh)
WO (1) WO2007002404A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356398A (zh) * 2009-02-02 2012-02-15 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
CN108024113A (zh) * 2017-12-15 2018-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法
CN108141567A (zh) * 2015-11-09 2018-06-08 三菱电机株式会社 图像生成系统以及图像生成方法
CN108205660A (zh) * 2017-12-12 2018-06-26 浙江浙大中控信息技术有限公司 基于顶视角的红外图像人流量检测装置和检测方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US20080062323A1 (en) * 2004-11-03 2008-03-13 Koninklijke Philips Electronics, N.V. High Intensity Display Screen Based Electronic Window
EP1904952A2 (en) * 2005-05-23 2008-04-02 Nextcode Corporation Efficient finder patterns and methods for application to 2d machine vision problems
US7796780B2 (en) 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US7773116B1 (en) * 2006-02-08 2010-08-10 Lockheed Martin Corporation Digital imaging stabilization
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
TW200817929A (en) * 2006-05-25 2008-04-16 Objectvideo Inc Intelligent video verification of point of sale (POS) transactions
WO2008008505A2 (en) 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
US8131010B2 (en) * 2007-07-30 2012-03-06 International Business Machines Corporation High density queue estimation and line management
TW200926011A (en) * 2007-09-04 2009-06-16 Objectvideo Inc Background modeling with feature blocks
US9646312B2 (en) * 2007-11-07 2017-05-09 Game Design Automation Pty Ltd Anonymous player tracking
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
JP5318863B2 (ja) * 2008-05-21 2013-10-16 パナソニック株式会社 撮像装置、撮像方法及び集積回路
KR101192429B1 (ko) * 2008-12-19 2012-10-17 주식회사 케이티 영상의 전송 에러 복원 방법 및 그 장치
WO2010080687A1 (en) * 2009-01-09 2010-07-15 Thomson Licensing Method and apparatus for detecting and separating objects of interest in soccer video by color segmentation and shape analysis
GB2475104A (en) * 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera
US8873798B2 (en) 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof
US20110249123A1 (en) * 2010-04-09 2011-10-13 Honeywell International Inc. Systems and methods to group and browse cameras in a large scale surveillance system
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
US10313635B2 (en) * 2011-05-12 2019-06-04 Solink Corporation Video analytics system for automated teller machine
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
US8520065B2 (en) 2011-07-26 2013-08-27 ByteLight, Inc. Method and system for video processing to determine digital pulse recognition tones
US8994799B2 (en) 2011-07-26 2015-03-31 ByteLight, Inc. Method and system for determining the position of a device in a light based positioning system using locally stored maps
US9418115B2 (en) 2011-07-26 2016-08-16 Abl Ip Holding Llc Location-based mobile services and applications
US9287976B2 (en) 2011-07-26 2016-03-15 Abl Ip Holding Llc Independent beacon based light position system
US9723676B2 (en) * 2011-07-26 2017-08-01 Abl Ip Holding Llc Method and system for modifying a beacon light source for use in a light based positioning system
US8432438B2 (en) 2011-07-26 2013-04-30 ByteLight, Inc. Device for dimming a beacon light source used in a light based positioning system
US9787397B2 (en) 2011-07-26 2017-10-10 Abl Ip Holding Llc Self identifying modulated light source
US8248467B1 (en) 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
US8436896B2 (en) 2011-07-26 2013-05-07 ByteLight, Inc. Method and system for demodulating a digital pulse recognition signal in a light based positioning system using a Fourier transform
US8416290B2 (en) * 2011-07-26 2013-04-09 ByteLight, Inc. Method and system for digital pulse recognition demodulation
US8457502B2 (en) 2011-07-26 2013-06-04 ByteLight, Inc. Method and system for modulating a beacon light source in a light based positioning system
US9444547B2 (en) 2011-07-26 2016-09-13 Abl Ip Holding Llc Self-identifying one-way authentication method using optical signals
US8334898B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
US9288450B2 (en) 2011-08-18 2016-03-15 Infosys Limited Methods for detecting and recognizing a moving object in video and devices thereof
US8809788B2 (en) * 2011-10-26 2014-08-19 Redwood Systems, Inc. Rotating sensor for occupancy detection
CN102842036B (zh) * 2011-11-30 2015-07-15 三峡大学 面向船闸视频监控的智能多目标检测方法
CN102521844A (zh) * 2011-11-30 2012-06-27 湖南大学 基于视觉注意机制的改进粒子滤波目标跟踪的方法
US8825368B2 (en) * 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
US9147114B2 (en) * 2012-06-19 2015-09-29 Honeywell International Inc. Vision based target tracking for constrained environments
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和系统
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
US10091556B1 (en) * 2012-12-12 2018-10-02 Imdb.Com, Inc. Relating items to objects detected in media
CN103079061B (zh) * 2013-01-30 2016-07-13 浙江宇视科技有限公司 一种视频跟踪处理装置以及视频链处理装置
US20140236653A1 (en) * 2013-02-15 2014-08-21 Tyco Fire & Security Gmbh Systems and methods for retail line management
DE102014209039A1 (de) * 2013-05-22 2014-11-27 Osram Gmbh Verfahren und System zur Präsenzortung
US9705600B1 (en) 2013-06-05 2017-07-11 Abl Ip Holding Llc Method and system for optical communication
KR20150018696A (ko) 2013-08-08 2015-02-24 주식회사 케이티 감시 카메라 임대 방법, 중계 장치 및 사용자 단말
KR20150018037A (ko) * 2013-08-08 2015-02-23 주식회사 케이티 관제 시스템 및 이를 이용한 관제 방법
CN103581630A (zh) * 2013-11-15 2014-02-12 东华大学 一种基于dsp和fpga的远程视频监控装置及方法
US9509402B2 (en) 2013-11-25 2016-11-29 Abl Ip Holding Llc System and method for communication with a mobile device via a positioning system including RF communication devices and modulated beacon light sources
KR20150075224A (ko) 2013-12-24 2015-07-03 주식회사 케이티 관제 서비스 제공 시스템 및 방법
CN104751157B (zh) * 2013-12-31 2018-07-27 中核控制系统工程有限公司 基于fpga的检测跟踪方法
US10552713B2 (en) * 2014-04-28 2020-02-04 Nec Corporation Image analysis system, image analysis method, and storage medium
EP3149909A4 (en) 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
CN105989367B (zh) 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
CN104932365A (zh) * 2015-06-03 2015-09-23 东莞市精致自动化科技有限公司 一种智能视觉系统
CN105096321B (zh) * 2015-07-24 2018-05-18 上海小蚁科技有限公司 一种基于图像边缘的低复杂度视频移动侦测方法
CN105931406A (zh) * 2016-06-24 2016-09-07 付韶明 一种基于人脸识别的视频监控报警系统
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
CN107004271B (zh) * 2016-08-22 2021-01-15 深圳前海达闼云端智能科技有限公司 显示方法、装置、电子设备、计算机程序产品和存储介质
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
CN108319918B (zh) * 2018-02-05 2022-07-08 中国科学院长春光学精密机械与物理研究所 一种嵌入式跟踪器及应用于嵌入式跟踪器的目标跟踪方法
US11295139B2 (en) 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices
US11615623B2 (en) 2018-02-19 2023-03-28 Nortek Security & Control Llc Object detection in edge devices for barrier operation and parcel delivery
CN108337486A (zh) * 2018-04-19 2018-07-27 北京软通智城科技有限公司 一种基于场景的算法配置的视频分析的装置及方法
US11928846B2 (en) 2018-05-18 2024-03-12 Essity Hygiene And Health Aktiebolag Presence and absence detection
CN109005327A (zh) * 2018-08-31 2018-12-14 北京诚志重科海图科技有限公司 一种视频结构化摄像设备和系统
CN109558817B (zh) * 2018-11-16 2021-01-01 西安电子科技大学 一种基于fpga加速的机场跑道检测方法
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
AU2020272775A1 (en) 2019-04-10 2021-11-18 Raptor Vision, Llc Monitoring systems
US11653052B2 (en) * 2020-10-26 2023-05-16 Genetec Inc. Systems and methods for producing a privacy-protected video clip
US11729445B2 (en) * 2021-12-28 2023-08-15 The Adt Security Corporation Video rights management for an in-cabin monitoring system
CN114612712A (zh) * 2022-03-03 2022-06-10 北京百度网讯科技有限公司 目标分类方法、装置、设备以及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263088B1 (en) * 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6639593B1 (en) * 1998-07-31 2003-10-28 Adobe Systems, Incorporated Converting bitmap objects to polygons
AU763178B2 (en) * 1998-09-10 2003-07-17 Ecchandes Inc. Visual device
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
EP1418555B1 (de) * 1999-12-17 2007-10-10 Siemens Schweiz AG Präsenzmelder und dessen Verwendung
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
TW582168B (en) * 2002-03-01 2004-04-01 Huper Lab Co Ltd Method for abstracting multiple moving objects
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US7825954B2 (en) * 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7796780B2 (en) 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7596241B2 (en) * 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
US8254625B2 (en) * 2006-11-02 2012-08-28 Hyperactive Technologies, Inc. Automated service measurement, monitoring and management

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356398A (zh) * 2009-02-02 2012-02-15 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
CN108141567A (zh) * 2015-11-09 2018-06-08 三菱电机株式会社 图像生成系统以及图像生成方法
CN108141567B (zh) * 2015-11-09 2020-07-10 三菱电机株式会社 图像生成系统以及图像生成方法
CN108205660A (zh) * 2017-12-12 2018-06-26 浙江浙大中控信息技术有限公司 基于顶视角的红外图像人流量检测装置和检测方法
CN108205660B (zh) * 2017-12-12 2020-04-14 浙江浙大中控信息技术有限公司 基于顶视角的红外图像人流量检测装置和检测方法
CN108024113A (zh) * 2017-12-15 2018-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法
CN108024113B (zh) * 2017-12-15 2021-05-11 东华大学 一种目标占比自适应的压缩域小目标跟踪方法

Also Published As

Publication number Publication date
EP1894142A4 (en) 2017-01-18
EP1894142A2 (en) 2008-03-05
US7796780B2 (en) 2010-09-14
CA2611522A1 (en) 2007-01-04
WO2007002404A2 (en) 2007-01-04
WO2007002404A8 (en) 2007-07-12
JP2008544705A (ja) 2008-12-04
WO2007002404A3 (en) 2007-05-31
MX2007016406A (es) 2008-03-05
KR20080021804A (ko) 2008-03-07
US20060291695A1 (en) 2006-12-28
EP1894142B1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
CN101208710A (zh) 从俯视视频流进行目标检测及跟踪
US7801330B2 (en) Target detection and tracking from video streams
Benezeth et al. Abnormal events detection based on spatio-temporal co-occurences
KR101085578B1 (ko) 비디오 트립와이어
Porikli et al. Video surveillance: past, present, and now the future [DSP Forum]
Snidaro et al. Video security for ambient intelligence
US20080074496A1 (en) Video analytics for banking business process monitoring
CN101366045A (zh) 视频中的对象密度估算
US20080018738A1 (en) Video analytics for retail business process monitoring
CN103119608A (zh) 根据事务日志的活动确定
WO2006036578A2 (en) Method for finding paths in video
Ranjith et al. Anomaly detection using DBSCAN clustering technique for traffic video surveillance
Ullah et al. Gaussian mixtures for anomaly detection in crowded scenes
Patil et al. Suspicious movement detection and tracking based on color histogram
Higa et al. Robust estimation of product amount on store shelves from a surveillance camera for improving on-shelf availability
Nagrath et al. Understanding new age of intelligent video surveillance and deeper analysis on deep learning techniques for object tracking
Agarwal et al. Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network
Shuoyan et al. Abnormal behavior detection based on the motion-changed rules
US11532158B2 (en) Methods and systems for customized image and video analysis
Kim et al. Abnormal object detection using feedforward model and sequential filters
Leo et al. Real‐time smart surveillance using motion analysis
Coetzer et al. Information management and video analytics: The future of intelligent video surveillance
Zhai et al. Composite spatio-temporal event detection in multi-camera surveillance networks
Sujatha et al. An efficient motion based video object detection and tracking system
Beigh et al. Motion Aware Video Surveillance System (MAVSS)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080625