CN1666528A - 在大量并行图像序列中有效进行事件检测的方法和系统 - Google Patents

在大量并行图像序列中有效进行事件检测的方法和系统 Download PDF

Info

Publication number
CN1666528A
CN1666528A CN038158248A CN03815824A CN1666528A CN 1666528 A CN1666528 A CN 1666528A CN 038158248 A CN038158248 A CN 038158248A CN 03815824 A CN03815824 A CN 03815824A CN 1666528 A CN1666528 A CN 1666528A
Authority
CN
China
Prior art keywords
image
stream
server
image stream
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN038158248A
Other languages
English (en)
Other versions
CN100348041C (zh
Inventor
加德·塔尔蒙
兹维·阿沙尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASPECTS CORP
Original Assignee
ASPECTS CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASPECTS CORP filed Critical ASPECTS CORP
Publication of CN1666528A publication Critical patent/CN1666528A/zh
Application granted granted Critical
Publication of CN100348041C publication Critical patent/CN100348041C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

一种用于通过在现场安装一组图像获取装置来在图像流中进行事件检测和对象跟踪的方法和系统，其中每一个图像获取装置包括：本地可编程处理器，用于将所获取的包括一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据该图像流生成多个特征。这些特征是与该图像流中的多个对象的属性相关的多个参数。每当该多个运动特征超过对应的阈值时，该编码器该发送特征流。每一个图像获取装置都通过对应的数据通信信道与数据网络相连。确定该阈值并处理该特征流的图像处理服务器也与该数据网络相连。每当该服务器通过其对应的数据通信信道和该数据网络从本地编码器接收到多个特征时，该服务器通过处理该特征流来获得与该多个图像流中的事件相关的多个指示，并将该多个指示发送给操作者。

Description

在大量并行图像序列中有效进行事件检测的方法和系统
技术领域
本发明涉及视频处理领域。更具体地，本发明涉及下述方法和系统，该方法和系统通过有效地处理大量并行输入的图像序列和/或从所获取的图像获得的特征，来实时地从多个并行压缩的图像序列中获得有意义的信息(knowledge)。
背景技术
已经进行很多努力来提高从通过视频和静物摄像机获取的图像中提取有意义数据的能力。这种能力可用于多种应用，例如消费、工业、医药和商业应用。作为标准安全措施，在街道、机场、学校、银行、办公室、住宅中设置有许多摄像机。这些摄像机用于使得操作者能够远程实时地观察安全情况，或者用于在稍后时间记录和分析安全情况。
新技术的引入使视频监视业转向显著提高这种系统的功能的新方向。对于实时和离线应用使用多种处理算法。根据应用，在从纯软件到纯硬件范围的平台上实现这些算法。然而，由于图像处理需要相当大的计算资源，而使得这些平台通常被设计为同时处理相对小数量的输入图像序列。此外，大多数的通用图像处理系统被设计为只处理未压缩的图像数据，例如美国专利6,188,381中所公开的系统。现代网络化视频环境需要高效地处理从多个图像源收集的大量压缩视频流的能力。
日益增加的操作需求以及成本限制导致对自动事件检测的需要。这种事件检测方案提供了更高的检测水平、节省了人力、替代了其它类型的传感器并降低了错误报警率。
尽管存在用于自动入侵者检测、牌照识别、人脸识别、交通违章检测和其它基于图像的应用的多种传统方法，但是它们通常使用需要现场安装的昂贵的硬件平台来支持少数的同时视频源，这意味着较高的安装、维护和更新成本。
传统的监视系统采用数字视频网络化技术和自动事件检测。数字视频网络化由于数字视频压缩技术的发展和基于IP的网络的可用性而得以实现。诸如MPEG-4的压缩标准和类似格式使得能够以相对较窄的带宽来传输高质量的图像。
使用数字视频网络的主要限制因素是带宽要求。因为始终传输所有的摄像数据非常昂贵，所以将网络设计为仅并行传输来自少数摄像机的数据。仅传输来自在任何给定时刻获取重要事件的摄像机的数据对于建立有效且节省成本的数字视频网络很关键。
为此，自动的基于视频的事件检测技术变得很有效。该技术包括一系列算法，这些算法能够实时地分析摄像机图像，并且如果发生特殊事件，则提供特殊事件的通知。现有的事件检测方案使用需要大量处理资源的传统图像处理方法。此外，它们为每一个摄像机输入分配固定的处理能力(通常为一个处理器)。因此，这些系统由于资源的限制而提供较低的性能，或者极其昂贵。
结果，任何现有的自动事件检测方案不能满足大规模的数字监视安装的需求，即，可靠检测、有效带宽使用、灵活的事件定义、大规模设计以及成本需求。
例如，在美国专利6,349,114、WO 02/37429、美国专利申请公报2002，041,626、美国专利申请公报No.2002，054,210、WO 01/63937、EP1107609、EP1173020、美国专利6,384,862、美国专利6,188,381、美国专利6,130,707以及美国专利6,069,655中公开了视频运动检测(VMD)方法。然而，上述所有这些方法都不能提供满意的方案以解决有效地从多个并行图像序列实时获得有意义的信息的问题。
本发明的一个目的是提供一种用于从多个并行图像序列实时地获取有意义的信息的方法和系统。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统节省成本。
本发明的另一目的是提供一种用于以减少的带宽资源量从多个并行图像序列获取有意义的信息的方法和系统。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统可靠，并且在噪声环境中具有高灵敏度。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统降低了安装和维护成本。
随着描述的进行，本发明的其它目的和优点将变得明了。
发明内容
尽管本说明书主要讨论视频摄像机，但是本领域的技术人员将认识到本发明延及任何合适的图像源，例如静物摄像机、计算机生成的图像、预先记录的视频数据等，并且应将这些图像源认为是等同的。类似地，应将术语视频和视频流广义地解释为包括视频序列、静态图像、计算机生成的图形、或被设置或转换为可由计算机处理的电子格式的任何其它图像序列。
本发明涉及一种用于对图像流进行事件检测和对象跟踪的方法。现场安装一组图像获取装置，以使每一个装置都包括：本地可编程处理器，用于将所获取的包含一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据图像流生成多个特征。这些特征是与图像流中的对象的属性相关的参数。每当特征的数量和类型超过对应阈值时，各个装置就传输特征流。各个图像获取装置都通过对应的数据通信信道与数据网络相连。与数据网络相连的图像处理服务器确定该阈值并处理该特征流。每当该服务器通过其对应的数据通信信道和数据网络从本地编码器接收到特征时，该服务器通过处理特征流来获得该图像流中与事件相关的指示，并将该指示传输给操作者。
本地编码器可以是合成编码器，该合成编码器为还包括用于压缩图像流的电路的本地编码器。该合成编码器可以根据从服务器发送的命令以第一模式和第二模式进行操作，在第一模式中，其生成特征并将这些特征传送给服务器，而在第二模式中，其除了将特征传送给服务器之外，还以期望的压缩水平将图像流的至少一部分传送给服务器。优选地，各个合成编码器都由从服务器发送的命令控制，以在其第一模式下进行操作。只要服务器从合成编码器接收到特征，就由从服务器发送的命令来控制该合成编码器，以在其第二模式下进行操作。服务器通过处理特征流来获得图像流中与事件有关的指示，并将这些指示和/或其对应的图像流传送给操作者。
每当通过操作台对所期望的包含事件的一个或更多个压缩图像流进行解码时，将所解码的图像流传送给操作者的显示器，以用于观察。可以记录压缩图像流，这些压缩图像流是在它们的本地编码器以其第二模式进行操作时获得的。
优选地，在服务器中，可以将附加图像处理资源动态地分配给接收图像流的数据通信信道。在以第一模式进行操作时获得的特征流可以只包括图像的一部分。
可以由服务器生成图形多边形，并显示给操作者，以用于观察，该图形多边形包围位于图像框架内或位于图像中的AOI(关注区域)内的关注对象。此外，该服务器可以生成并显示图形轨迹，该图形轨迹表示位于图像框架内或位于图像中的AOI内的关注对象的移动历史记录。
图像流可以选自包括视频流、静止图像、计算机生成的图像以及预先记录的数字、模拟视频数据或者使用MPEG格式压缩的视频流在内的一组图像。编码器可以在各种模式的操作过程中使用不同的分辨率和帧频。
优选地，这些特征可以包括运动特征、颜色、图像的多个部分、边缘数据和与频率相关的信息。
该服务器可以使用从至少一个图像获取装置的本地编码器接收的特征流来执行以下操作中的一个或更多个和/或这些操作的任何组合：
-牌照识别(LPR)；
-人脸识别(FR)；
-违反交通规则检测；
-行为识别；
-火灾检测；
-交通流量检测；
-烟雾检测。
本发明还涉及用于对图像流进行事件检测和对象跟踪的系统，其包括：
a)现场安装的一组图像获取装置，每一个图像获取装置都包括：
a.1)本地可编程处理器，用于将所获取的图像流转换成数字格式。
a.2)本地编码器，用于根据该图像流生成多个特征，这些特征是与图像流中的对象的属性相关的参数，并且每当运动特征超过对应的阈值时，该本地编码器传送特征流；
b)数据网络，各个图像获取装置通过对应的数据通信信道与该数据网络相连；
c)；以及
d)与该数据网络相连的图像处理服务器，该服务器能够确定该阈值，能够通过处理该特征流来获得与图像流中的事件相关的指示，并且能够将该指示传送给操作者。
该系统还包括：操作者显示器，用于接收和显示包含事件的一个或更多个图像流；以及网络视频记录器，用于记录一个或更多个图像流，该一个或更多个图像流是在它们的本地编码器以其第一模式进行操作时获得的。
附图说明
通过下面参照附图对本发明优选实施例的示例性但非限制性的详细描述，将更好地理解本发明的上述和其它特征和优点，其中：
图1示意性地表示根据本发明优选实施例的监视系统的结构，该监视系统包括与数据网络相连的多个摄像机；
图2表示根据本发明优选实施例的使用AOI(关注区域)来指定待进行事件检测的区域以及减少系统资源的使用；以及
图3A至3C表示根据本发明优选实施例的关注对象的生成及其运动轨迹。
具体实施方式
通过应用本发明提出的新的数据缩减技术可以显著地节省系统资源。在数以千计的摄像机与单台服务器相连的情况下，只有少数摄像机真正获取应该进行分析的重要事件。大规模的系统仅在其具有识别可能包含有用信息的输入的能力时才能适当地工作，并且仅对这些输入进行进一步处理。这种过滤机制需要最少的处理和带宽资源，从而可以将其并行地应用于大量数据流。本发明提出了被称为大规模并行图像处理(MCIP)技术的这种过滤机制，该技术基于对从所获取的图像获得的输入图像序列和/或特征流的分析，以满足在大规模数字视频网络环境中对自动图像检测能力的需求。
MCIP技术组合了多种技术，例如大规模数据缩减、有效服务器设计和最优图像处理算法，由此提供主要针对安全市场并且传统方案不能比拟的平台，该平台尤其具有相当大数量的潜在用户。MCIP是用于分布式安装中的事件检测的网络方案，该分布式安装是为并行支持数以千计的摄像机输入的大规模数字视频监视网络而设计的，其中这些摄像机输入分布在任意大的地理区域并具有实时性能。MCIP采用了一种独特的特征传输方法，该方法占用较窄的带宽，同时保持高的检测灵敏度和可能性。MCIP是基于服务器的方案，其与现代监视和数字视频记录系统兼容，并执行复杂的检测算法，减少现场维护并提供了经改善的可量测性(scalability)、高的实用性、低的每信道成本和后备效用。该系统并行地提供了多种应用，例如VMD、LPR和FR。此外，不同的检测应用可以与同一摄像机相关联。
MCIP包括具有各种应用的服务器平台、摄像机编码器(在摄像机内部或外部)、网络视频记录器(NVR)以及操作台。该服务器包括计算机，该计算机包括专有硬件和软件组件。MCIP基于图像处理算法在低水平特征提取和高水平处理应用之间的分布，其中该低水平特征提取由位于现场(即，摄像机附近)的编码器执行，而该高水平处理应用由收集和分析这些特征的远程中央服务器来执行。
下述MCIP系统不但解决了带宽问题，而且降低了服务器的负载，并使用独特类型的数据流(不是数字视频流)，并且在大规模视频监视环境中执行有效的处理，以实时地检测事件。
MCIP中的主要要素为数据缩减，该数据缩减通过图像处理算法的分布来实现。由于并行传输需要事件检测的所有视频源，所以通过在各个摄像机附近生成经减少的带宽特征流来减少所需的网络带宽。为了通过分析所传输的经减少的带宽特征来检测并跟踪数字传输的视频源中的运动对象，不必传输所有的视频流，而仅传输包含与运动对象相关的信息的部分数据。
由此，使用明显较小的数据带宽，这降低了对网络带宽和事件检测处理能力的要求。此外，如果仅需检测形状、尺寸、运动方向和速度，则不必传输与它们的亮度或颜色相关的数据，并由此实现带宽的进一步减少。如果发送端的编码器滤出处于运动阈值之下的所有运动，则可以实现进一步的带宽优化，该运动阈值由远程中央服务器确定。该阈值可以是移动目标的AC水平(level)、运动距离或其任何组合，并且可以根据所获取的图像的属性(例如分辨率、AOI、压缩水平等)来动态地确定和改变该阈值。将处于该阈值以下的运动对象视为噪声或非关注的运动。
一种用于在编码器端提取特征的方法是通过对现有的基于时间的视频压缩器进行稍微修改和降级来实现的，该视频压缩器最初被设计用来传送数字视频。也可以通过与视频压缩算法不相关的特定特征提取算法(例如任何运动矢量生成算法)来生成这些特征。当以这种减少带宽模式进行工作时，这些编码器的输出流绝对不是视频流，因此不能由任何接收方用来生成视频图像。
图1示意性地表示根据本发明优选实施例的监视系统的结构，该监视系统包括与数据网络相连的多个摄像机。系统100包括n个图像源(在该示例中，为n个摄像机，CAM1、…、CAMn)，每一个图像源都与数字编码器ENCj相连，该数字编码器ENCj用于将由CAMj获取的图像转换成压缩数字格式。每一个数字编码器ENCj在点pj处与数字数据网络101相连，并且能够通过其对应的信道Cj来传送数据，这些数据可以是减少的带宽特征流或者完全压缩的视频流。数据网络101收集从所有信道传送的数据，并通过数据总线103将其转发给MCIP服务器102。MCIP服务器102处理从各个信道接收的数据，并控制传送该减少的带宽特征流和完全压缩的视频流的任意组合的一个或更多个摄像机，减少的带宽特征流和完全压缩的视频流的任意组合可由MCIP服务器102实时进行分析或者由NVR 104进行记录并稍后由MCIP服务器102进行分析。操作台105也与MCIP服务器102相连，用于实时监视所选择的完全压缩视频流。操作台105可在需要时手动控制MCIP服务器102的操作。
MCIP(大规模并行图像处理)服务器通过数据总线103和网络101与图像源(在附图中表示为摄像机，但是也可以是任意图像源，例如录像带(taped video)、静物摄像机、视频摄像机、计算机生成的图像或者图形等)相连，并接收压缩格式的特征或图像。广义地说，这是任何类型的网络，有线或者无线的。可以采用任何类型的压缩技术来压缩图像。实际上，可以使用基于IP的网络，以及使用DCT、视频局域网客户端(VLC，其为WO 01/63937中公开的用于各种音频和视频格式以及数字通用光盘(DVD)、视频压缩光盘(VCD)和各种流传输协议的高度便携式多媒体播放器)和诸如MPEG的运动估测技术的压缩方案。
系统100使用可选择的负载平衡模块，该模块使得能够容易地度量可以进行处理的输入的数量，并且还通过建立备用MCIP服务器来提供去除单个故障点的能力。系统100还具有配置组件，用于限定对于各个输入应该执行的处理的类型、和处理结果的目的地。该目的地可以是另一计算机、电子邮件地址、监视应用或者能够接收文本和/或可视消息的任何其它设备。
另选地，该系统可以与外部数据库相连以帮助进行图像处理。例如，可以利用可疑的被盗汽车牌照号码的数据库来识别车辆。
图2表示根据本发明优选实施例的使用AOI(关注区域)来减少系统资源的使用。AOI为多边形(在该图中为六边形)，其包围待进行检测的区域。矩形表示与摄像机不同距离处的估测对象尺寸。在该示例中，该关注场景包括检测现场人员的移动(在第一矩形中示出)。可以将该关注场景用于过滤单元，以确定是否需要进一步处理。在这种情况下，该过滤单元检查特征数据。分析特征流以确定在AOI中是否存在足够的重要特征。如果位于AOI中并包括变化的特征数超过阈值，则将该帧指定为可能包含事件并传送该帧以进行进一步的处理。否则，丢弃该帧且不进行进一步的处理。
MCIP服务器从需要进行事件检测的所有视频源接收减少的带宽特征流(这种特征流根本不是视频流，因此不能重构其可视图像)。当在从特定视频源传发送的减少带宽流中检测到事件时，中央服务器可以指示该视频源将其操作模式改变为视频流模式，在视频流模式中该视频源可以作为普通的视频编码器来进行操作并发送标准视频流，该标准视频流可以由服务器或任何接收方解码，以用于观察、记录、进一步的处理或任何其它目的。可选择地，该视频编码器同时还继续发送特征流。
根据该方案进行工作，大多数的视频源都保持为减少的带宽模式，同时发送窄带宽数据流，而在MCIP服务器处足以以高的分辨率和帧频来检测事件。只将极小部分的源(其中检测到事件)控制为以视频流模式并行工作。这使得总网络带宽比从所有视频源并行传输所需的网络带宽显著降低。
例如，如果传统视频监视安装使用1000个摄像机，则为了以适当的质量来进行传输，每一个摄像机都需要大约500Kbp/s的带宽。在减少的带宽模式中，每一个摄像机只需要大约5Kbp/s的带宽来以相同的分辨率和帧频传输与运动对象相关的信息。因此，以这种模式工作的所有摄像机使用的总带宽为5Kbp/s乘以1000＝5Mbp/s。假设可疑对象以稳定的状态出现在1％的摄像机(10个摄像机)中，并且这些摄像机以视频流模式工作，则需要500Kbp/s乘以10＝5Mbp/s的额外带宽。因此，使用本发明提出的方案所需的总网络带宽为10Mbp/s。如果1000个摄像机都并行发送视频流，则传统系统将占用500Mbp/s的总的所需网络带宽。
所提出的方案不仅适用于在实况摄像机中的高水平移动对象检测和跟踪，而且适用于记录视频。由许多监视系统记录大量的视频镜头。为了在该记录视频中检测所关注的事件，需要大规模的处理能力。通过将数字或模拟的记录视频转换为根据上述技术的减少带宽流，使得事件检测变得更加容易，同时使处理要求更低并且操作更快。
本发明提出的系统包括以下组件：
1、一个或更多个MCIP服务器。
2、一个或更多个双模视频编码器，该视频编码器可以根据远程指令以减少带宽模式或视频流模式进行操作。
3、数字网络，LAN或者WAN、IP或其它网络，其在系统组件之间建立通信。
4、一个或更多个操作台，通过该操作台，操作者可以限定事件标准和其它系统参数，并实时地管理事件。
5、可选择的网络视频记录器(NVR)，其能够在需要时记录和播放网络上现有的任何所选择的视频源。
安全应用的实现：
以下是可以非常有效地使用本发明提出的方法而实现的图像处理应用的类型的部分列表：
视频运动检测—用于室内和室外应用。这种应用通常用于检测保护区的入侵者。希望忽视诸如运动的树、灰尘和动物等障碍。在本发明的该实施例中，以流级别对输入图像进行操控，以过滤特定图像和图像变化。这种过滤的示例为低于与过滤相关的预定阈值、尺寸或速度(全部优选地应用于AOI内)的运动，由此大大减少进一步处理所需的系统资源量。由于该系统是基于服务器的，并且不必在现场安装设备(除了摄像机之外)，所以该方案对于诸如住宅市场的低预算应用非常有吸引力。
异常静态对象检测—该应用用于在静态对象需要报警的情况下对这些对象进行检测。例如，这些对象可以包括在机场无人看管的包、停在公路上的汽车、在保护区域停留的人员等。在该实施例中，本发明以流级别对输入图像进行操控，并检查AOI处的运动矢量。对停止运动的对象进行进一步的处理。
牌照识别—该应用用于车辆访问控制、被盗或可疑汽车检测和泊车自动化。在该实施例中，可以使用安装在现场的数以百计或更多的摄像机来检测所期望的汽车，由此提供实用的检测方案。
人脸识别—该应用旨在用于生物统计确认或者检测装置，用于诸如定位罪犯或者恐怖分子的任务，以及用于个人访问控制目的。使用该实施例，为现场的许多摄像机提供人脸识别能力。这对于诸如机场和公众监视的大规模安装是非常有用的工具。
烟雾和火焰检测—该应用用于火灾检测。使用本发明的该实施例，除了没有安装任何烟雾或者火焰检测器的其他应用以外，所有配备有摄像机的场所都可以接收该服务。
交通违章—该应用检测各种交通违章，例如闯红灯、跨分隔线、在禁区泊车或停车等。使用该实施例，可以将该功能应用于沿道路和十字路口设置的许多摄像机，由此大大地优化警察的工作。
交通流量分析—该应用通过自动地检测任何异常交通事件(例如交通堵塞、事故、太慢或太快或者太拥挤的交通等)，而对于交通中心非常有用。使用该实施例，交通中心可以使用根据需要设置在覆盖区域处的许多摄像机，以提供明显更好的控制水平。
可疑车辆或人员跟踪—该应用用于跟踪所关注的对象。这需要将窃贼与逃脱的汽车相关联、定位逃跑的疑犯等。使用该实施例，可以将该功能与任何所选择的摄像机或现场摄像机相关联。
应该注意，将这些应用或其组合中的每一个认为是本发明的单独实施例，尽管特定的实施例可以采用专门的组件，但是这些应用或其组合中的每一个都使用了这里所述的基本结构。对于本领域的技术人员来说，应该清楚这种组件和在此提供的特征和应用的组合的选择是技术选择问题。
图3A到3C表示根据本发明优选实施例的关注对象的生成及其运动轨迹。图3A是所选择的AOI的图像(在该示例中为一细长区域，其中禁止存在任何人员)，MCIP服务器102在该AOI上生成对象，根据从对应的编码器接收的预定义尺寸和运动参数来确定该对象。该对象包括进入禁区并从右向左行走的人体。连续更新该运动参数，以跟踪对象的中心。MCIP服务器102生成轨迹(实线)，该轨迹提供与对象在禁区内的运动相关的图形表示。图3B是同一所选择的AOI的图像，MCIP服务器102在该AOI上生成对象和轨迹(实线)，该轨迹提供与对象在禁区内从左向右并且更靠近摄像机的运动相关的图形表示。图3C是同一所选择的AOI的图像，MCIP服务器102在该AOI上生成对象和轨迹(实线)，该轨迹提供与对象在禁区内再次从右向左并且更靠近摄像机的运动相关的图形表示。由对应编码器执行的过滤防止生成背景运动，例如树梢和低矮植物，将它们看作为背景噪声。
上述示例和描述当然仅用于示例的目的，并不旨在以任何方式限制本发明。本领域的技术人员应该理解，可以在不超出本发明的范围的情况下，采用上述那些技术中的一种以上的技术以多种方式来实施本发明。

Claims (29)

1、一种用于在多个图像流中进行事件检测和对象跟踪的方法，包括：
a)在现场安装一组图像获取装置，每一个图像获取装置都包括：本地可编程处理器，用于将所获取的包括一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据所述图像流生成多个特征，这些特征为与所述图像流中的多个对象的属性相关的多个参数，并且该本地编码器用于每当所述运动特征超过对应的阈值时发送特征流；
b)通过对应的数据通信信道将各个图像获取装置连接到数据网络；
c)将图像处理服务器连接到所述数据网络，所述服务器能够确定所述阈值，并且能够处理所述特征流；以及
d)每当所述服务器通过其对应的数据通信信道和所述数据网络从本地编码器接收到多个特征时，通过由所述服务器对所述特征流进行处理来获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示传送给操作者。
2、根据权利要求1所述的方法，其中
所述本地编码器可以是合成编码器，该合成编码器为还包括用于压缩所述图像流的电路的本地编码器，所述合成编码器能够根据从所述服务器发送的命令以第一模式和第二模式进行操作，在第一模式期间，所述合成编码器生成所述多个特征并将这些特征传送给所述服务器，而在第二模式期间，所述合成编码器除了将所述多个特征传送给所述服务器之外，还以所期望的压缩水平将所述图像流的至少一部分传送给所述服务器。
3、根据权利要求2所述的方法，还包括，
通过从所述服务器发送的命令控制各个合成编码器，以在其第一模式下进行操作；
只要所述服务器从合成编码器接收到多个特征，则：
a)通过从所述服务器发送的命令控制该合成编码器，以在其第二模式下进行操作；以及
b)通过由所述服务器对所述特征流进行处理来获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示和/或其对应的图像流传送给操作者。
4、根据权利要求1或2所述的方法，还包括
通过所述服务器对包含对多个事件的一个或更多个压缩图像流进行解码，并将所解码的图像流传送到操作者的显示器，以用于观察。
5、根据权利要求1或2所述的方法，还包括
记录一个或更多个压缩图像流，这些压缩图像流是在它们的本地编码器在其第二模式下进行操作时获得的。
6、根据权利要求1或2所述的方法，还包括
在所述服务器中，将额外的图像处理资源动态地分配给接收图像流的数据通信信道。
7、根据权利要求1或2所述的方法，其中
在以第一模式进行操作时获得的一个或更多个特征流仅包括所述图像的一部分。
8、根据权利要求6所述的方法，还包括
生成并显示一图形多边形，该图形多边形包围位于图像框架内或者位于所述图像中的AOI内的关注对象。
9、根据权利要求8所述的方法，还包括
生成并显示一图形轨迹，该图形轨迹表示位于图像框架内或者位于所述图像中的AOI内的关注对象的运动历史记录。
10、根据权利要求1或2所述的方法，其中
所述图像流选自包括视频流、静止图像、计算机生成的图像、以及预记录的数字或模拟视频数据在内的一组图像。
11、根据权利要求1或2所述的方法，其中
所述多个图像流是使用MPEG格式压缩的多个视频流。
12、根据权利要求1或2所述的方法，其中
在各种模式期间，所述编码器使用不同的分辨率和帧频。
13、根据权利要求1或2所述的方法，其中
所述多个特征选自以下组：
-运动特征；
-颜色；
-所述图像的一部分；
-边缘数据；以及
-与频率相关的信息。
14、根据权利要求1或2所述的方法，还包括
由所述服务器使用通过其数据通信信道从至少一个图像获取装置的本地编码器接收的特征流来执行以下多个操作中的一个或更多个，和/或其任意组合：
-牌照识另(LPR)；
-人脸识别(FR)；
-违反交通规则的检测；
-行为检测；
-火灾检测；
-交通流量检测；
-烟雾检测。
15、一种用于在多个图像流中进行事件检测和对象跟踪的系统，其包括：
a)现场安装的一组图像获取装置，每一个图像获取装置都包括：
a.1)本地可编程处理器，用于将所获取的图像流转换成数字格式
a.2)本地编码器，用于根据所述图像流生成多个特征，这些特征为与所述图像流中的多个对象的属性相关的多个参数，并且该本地编码器用于每当所述多个运动特征超过对应的阈值时传送特征流；
b)数据网络，每一个图像获取装置通过对应的数据通信信道与该数据网络相连；
c)；以及
d)与所述数据网络相连的图像处理服务器，所述服务器能够确定所述阈值，通过处理所述特征流获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示发送给操作者。
16、根据权利要求15所述的系统，其中
所述本地编码器是合成编码器，该合成编码器为还包括用于压缩所述图像流的电路的本地编码器，所述合成编码器能够根据从所述服务器发送的命令以第一模式和第二模式进行操作，在第一模式期间，所述合成编码器生成所述多个特征并将这些特征发送给所述服务器，而在第二模式期间，所述合成编码器除了将所述多个特征发送给所述服务器之外，还以所期望的压缩水平将所述图像流的至少一部分发送给所述服务器。
17、根据权利要求15或16所述的系统，还包括
操作者显示器，用于接收由所述服务器解码并包含多个事件的一个或更多个图像流。
18、根据权利要求15或16所述的系统，还包括
网络视频记录器，用于记录一个或更多个图像流，该一个或更多个图像流是在它们的本地编码器以其第一模式进行操作时获得的。
19、根据权利要求15或16所述的系统，其中
所述服务器能够将额外的图像处理资源动态地分配给接收图像流的数据通信信道。
20、根据权利要求15或16所述的系统，其中
在以第一模式进行操作时获得的一个或更多个图像流仅包括与所期望的AOI相对应的图像的一部分。
21、根据权利要求15或16所述的系统，其中
所述服务器还包括处理装置，用于生成和显示图形多边形，该图形多边形包围位于图像框架内或者位于所述图像中的AOI内的关注对象。
22、根据权利要求21所述的系统，其中
所述服务器还包括处理装置，用于生成和显示图形轨迹，该图形轨迹表示位于图像框架内或者位于所述图像中的AOI内的关注对象的运动历史记录。
23、根据权利要求15或16所述的系统，其中
所述图像流选自包括视频流、静止图像、计算机生成的图像以及预先记录的数字或模拟视频数据在内的一组图像。
24、根据权利要求15或16所述的系统，其中，
所述多个图像流是使用MPEG格式压缩的多个视频流。
25、根据权利要求15或16所述的系统，其中
在各种模式期间，所述编码器使用不同的分辨率和帧频。
26、根据权利要求15或16所述的系统，其中
所述多个特征选自以下组：
-运动特征；
-颜色；
-所述图像的一部分；
-边缘数据；以及
-与频率相关的信息。
27、根据权利要求15或16所述的系统，其中
所述服务器还包括处理装置，用于使用通过其数据通信信道从至少一个图像获取装置的本地编码器接收的特征流来执行以下操作中的一个或更多个，和/或其任意组合：
-牌照识另(LPR)；
-人脸识别(FR)；
-违反交通规则的检测；
-行为检测；
-火灾检测；
-交通流量检测；
-烟雾检测。
28、一种用于在图像流中进行事件检测和对象跟踪的方法，其基本上与所述和所示的相同。
29、一种用于在图像流中进行事件检测和对象跟踪的系统，其基本上与所述和所示的相同。
CNB038158248A 2002-07-05 2003-07-03 在大量并行图像序列中有效进行事件检测的方法和系统 Expired - Fee Related CN100348041C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39420502P 2002-07-05 2002-07-05
US60/394,205 2002-07-05

Publications (2)

Publication Number Publication Date
CN1666528A true CN1666528A (zh) 2005-09-07
CN100348041C CN100348041C (zh) 2007-11-07

Family

ID=30115689

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038158248A Expired - Fee Related CN100348041C (zh) 2002-07-05 2003-07-03 在大量并行图像序列中有效进行事件检测的方法和系统

Country Status (15)

Country Link
US (1) US8004563B2 (zh)
EP (1) EP1459544B1 (zh)
JP (1) JP2006514757A (zh)
KR (1) KR20050082442A (zh)
CN (1) CN100348041C (zh)
AT (1) ATE364299T1 (zh)
AU (1) AU2003237579A1 (zh)
BR (1) BR0312458A (zh)
CA (1) CA2525690C (zh)
DE (1) DE60314223D1 (zh)
ES (1) ES2288610T3 (zh)
HK (1) HK1082578A1 (zh)
IL (1) IL162879A0 (zh)
RU (1) RU2005102819A (zh)
WO (1) WO2004006184A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534655A (zh) * 2011-05-16 2014-01-22 奥斯兰姆施尔凡尼亚公司 用于显示结构中的控制和相关数据的系统和方法
CN101436348B (zh) * 2008-12-22 2014-04-23 北京中星微电子有限公司 电子警察系统以及应用于电子警察系统的信息识别方法
CN104346895A (zh) * 2013-08-02 2015-02-11 北京市劳动保护科学研究所 安全预警系统
CN108235017A (zh) * 2016-12-21 2018-06-29 安讯士有限公司 用于检测事件的方法和装置
CN109089120A (zh) * 2011-09-06 2018-12-25 英特尔公司 分析辅助编码
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统
CN110383242A (zh) * 2016-12-30 2019-10-25 德芙·顾皮塔 使用关键伪像和动态生成的循环进行有损数据压缩的系统和方法
CN109089120B (zh) * 2011-09-06 2024-05-17 英特尔公司 分析辅助编码

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7577199B1 (en) * 2003-06-19 2009-08-18 Nvidia Corporation Apparatus and method for performing surveillance using motion vectors
CN1926879A (zh) * 2004-03-01 2007-03-07 皇家飞利浦电子股份有限公司 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法
JP2006129152A (ja) * 2004-10-29 2006-05-18 Konica Minolta Holdings Inc 撮像装置および画像配信システム
JP4584674B2 (ja) * 2004-10-29 2010-11-24 富士通株式会社 画像センサ装置および画像センサシステム
WO2006049501A2 (en) * 2004-11-01 2006-05-11 Ultrawaves Design Holding B.V. Flexible surveillance network system
US7623676B2 (en) * 2004-12-21 2009-11-24 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
WO2006068463A1 (en) * 2004-12-24 2006-06-29 Ultrawaves Design Holding B.V. Intelligent distributed image processing
JP4449782B2 (ja) * 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
WO2006109162A2 (en) * 2005-04-15 2006-10-19 Emitall Surveillance S.A. Distributed smart video surveillance system
US20060244837A1 (en) * 2005-04-28 2006-11-02 Lucas Ekeroth Thermal imaging device
WO2007022011A2 (en) * 2005-08-12 2007-02-22 Core Memory Circuits Llc System and process for capturing processing, compressing, and displaying image information
JP2007228337A (ja) * 2006-02-24 2007-09-06 Olympus Corp 画像撮影装置
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
JP2007334623A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 顔認証装置、顔認証方法、および入退場管理装置
WO2008002128A1 (en) * 2006-06-30 2008-01-03 Ultrawaves Design Holding B.V. Surveillance method and system using object based rule checking
WO2008038288A2 (en) * 2006-09-28 2008-04-03 Soniclynx Ltd. System and method for reducing power consumption in a detection system
US8218821B2 (en) 2007-01-23 2012-07-10 Pips Technology, Inc. Video preprocessing of image information for character recognition
US8218822B2 (en) 2007-05-14 2012-07-10 Pips Technology, Inc. Apparatus and method for recognizing the state of origin of a vehicle license plate
US8587658B2 (en) * 2007-06-08 2013-11-19 Nikon Corporation Imaging device, image display device, and program with intruding object detection
WO2009045218A1 (en) 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US8013738B2 (en) 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
US8275647B2 (en) * 2007-12-27 2012-09-25 Genesys Telecommunications Laboratories, Inc. Method for assembling a business process and for orchestrating the process based on process beneficiary information
US9241094B2 (en) 2008-03-18 2016-01-19 Intel Corporation Capturing event information using a digital video camera
US9256789B2 (en) 2008-03-21 2016-02-09 Intel Corporation Estimating motion of an event captured using a digital video camera
US9251423B2 (en) 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
US20100246890A1 (en) * 2009-03-26 2010-09-30 Microsoft Corporation Detection of objects in images
CN101909148A (zh) * 2009-06-05 2010-12-08 鸿富锦精密工业（深圳）有限公司 摄影机
CN102484740B (zh) * 2009-07-08 2015-02-18 霍尼韦尔国际公司 用于管理视频数据的系统和方法
US8558862B2 (en) * 2009-09-28 2013-10-15 Lifesize Communications, Inc. Videoconferencing using a precoded bitstream
US8866901B2 (en) * 2010-01-15 2014-10-21 Honda Elesys Co., Ltd. Motion calculation device and motion calculation method
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
TW201222430A (en) * 2010-11-25 2012-06-01 Hon Hai Prec Ind Co Ltd Method for detecting objects and a corresponding control computer
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
IL210427A0 (en) * 2011-01-02 2011-06-30 Agent Video Intelligence Ltd Calibration device and method for use in a surveillance system for event detection
JP5769468B2 (ja) * 2011-03-30 2015-08-26 キヤノン株式会社 物体検出システム及び物体検出方法
US9031948B1 (en) * 2011-07-06 2015-05-12 Shawn B. Smith Vehicle prediction and association tool based on license plate recognition
US8768009B1 (en) 2011-07-26 2014-07-01 Shawn B. Smith Locating persons of interest based on license plate recognition information
US20130057693A1 (en) * 2011-09-02 2013-03-07 John Baranek Intruder imaging and identification system
US10769913B2 (en) * 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
JP2013200706A (ja) * 2012-03-26 2013-10-03 Hitachi Information & Telecommunication Engineering Ltd 入退連動システム
US20140025230A1 (en) 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device interaction methods and systems
US20140024999A1 (en) 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device utilization methods and systems
CN103576848B (zh) * 2012-08-09 2016-07-13 腾讯科技（深圳）有限公司 手势操作方法和手势操作装置
WO2014061181A1 (ja) 2012-10-18 2014-04-24 日本電気株式会社 カメラシステム
EP2995079A4 (en) * 2013-05-10 2017-08-23 Robert Bosch GmbH System and method for object and event identification using multiple cameras
US10104394B2 (en) 2014-01-31 2018-10-16 Here Global B.V. Detection of motion activity saliency in a video sequence
WO2015198299A1 (en) 2014-06-26 2015-12-30 Agent Video Intelligence Ltd. System and method for management of data transmission in a communication network
US10803143B2 (en) * 2015-07-30 2020-10-13 Siemens Healthcare Gmbh Virtual biopsy techniques for analyzing diseases
CN105554464A (zh) * 2015-12-30 2016-05-04 成都移动魔方科技有限公司 一种企业智能监控方法
CN105611251A (zh) * 2015-12-30 2016-05-25 成都移动魔方科技有限公司 一种实时安全监控方法
CN105635678A (zh) * 2015-12-30 2016-06-01 成都移动魔方科技有限公司 一种快速安全监控数据处理方法
JP6583688B2 (ja) * 2016-05-27 2019-10-02 三井金属アクト株式会社 画像情報認証システム
ITUA20164102A1 (it) * 2016-06-14 2017-12-14 Stefano Nasti Procedimento e apparecchiatura per la produzione, gestione ed archiviazione di sequenze di immagini ad alta risoluzione a bassa occupazione di risorse di rete
US9916493B2 (en) 2016-08-03 2018-03-13 At&T Intellectual Property I, L.P. Method and system for aggregating video content
US10691950B2 (en) 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
CN106997461B (zh) 2017-03-28 2019-09-17 浙江大华技术股份有限公司 一种烟火检测方法及装置
JP6878091B2 (ja) * 2017-03-31 2021-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11475671B2 (en) 2017-05-26 2022-10-18 Turing Video Multiple robots assisted surveillance system
US11501519B2 (en) 2017-12-13 2022-11-15 Ubiqisense Aps Vision system for object detection, recognition, classification and tracking and the method thereof
US10599947B2 (en) * 2018-03-09 2020-03-24 Ricoh Co., Ltd. On-demand visual analysis focalized on salient events
US10733451B2 (en) 2018-05-10 2020-08-04 Avigilon Corporation Automatic license plate recognition system and method therefor

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3842356A1 (de) 1988-12-16 1990-06-28 Martin Spies System zum feststellen einer bewegung bzw. einer veraenderung im ueberwachungsbereich mehrerer fernsehkameras
JPH09130783A (ja) * 1995-10-31 1997-05-16 Matsushita Electric Ind Co Ltd 分散映像監視装置
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
CN1156171C (zh) * 1997-04-07 2004-06-30 松下电器产业株式会社 提高处理效率的图象声音处理装置
US6130707A (en) * 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US6188381B1 (en) * 1997-09-08 2001-02-13 Sarnoff Corporation Modular parallel-pipelined vision system for real-time video processing
US6064303A (en) * 1997-11-25 2000-05-16 Micron Electronics, Inc. Personal computer-based home security system
US6546119B2 (en) * 1998-02-24 2003-04-08 Redflex Traffic Systems Automated traffic violation monitoring and reporting system
US6266369B1 (en) * 1998-06-09 2001-07-24 Worldgate Service, Inc. MPEG encoding technique for encoding web pages
US6493041B1 (en) * 1998-06-30 2002-12-10 Sun Microsystems, Inc. Method and apparatus for the detection of motion in video
WO2000042771A1 (en) * 1999-01-12 2000-07-20 Koninklijke Philips Electronics N.V. Camera motion parameters estimation method
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
JP2001045465A (ja) * 1999-07-29 2001-02-16 Nec Eng Ltd 遠隔監視方式
EP1107609A1 (en) 1999-12-02 2001-06-13 STMicroelectronics S.r.l. Method of processing motion vectors histograms to detect interleaved or progressive picture structures
JP2003533906A (ja) 2000-02-24 2003-11-11 サーノフ コーポレイション 圧縮ビデオ解析
US6646676B1 (en) * 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
FR2816427B1 (fr) 2000-11-03 2003-10-24 France Telecom Dispositif et procede de controle d'acces par traitement d'image
US7219364B2 (en) * 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436348B (zh) * 2008-12-22 2014-04-23 北京中星微电子有限公司 电子警察系统以及应用于电子警察系统的信息识别方法
CN103534655A (zh) * 2011-05-16 2014-01-22 奥斯兰姆施尔凡尼亚公司 用于显示结构中的控制和相关数据的系统和方法
CN103534655B (zh) * 2011-05-16 2016-08-17 奥斯兰姆施尔凡尼亚公司 用于显示结构中的控制和相关数据的系统和方法
CN109089120A (zh) * 2011-09-06 2018-12-25 英特尔公司 分析辅助编码
CN109089120B (zh) * 2011-09-06 2024-05-17 英特尔公司 分析辅助编码
CN104346895A (zh) * 2013-08-02 2015-02-11 北京市劳动保护科学研究所 安全预警系统
CN108235017A (zh) * 2016-12-21 2018-06-29 安讯士有限公司 用于检测事件的方法和装置
CN108235017B (zh) * 2016-12-21 2022-12-30 安讯士有限公司 用于检测事件的方法和装置
CN110383242B (zh) * 2016-12-30 2021-03-23 德芙·顾皮塔 使用关键伪像和动态生成的循环进行有损数据压缩的方法
US11086880B2 (en) 2016-12-30 2021-08-10 Dev Gupta Systems and methods for lossy data compression using key artifacts and dynamically generated cycles
CN110383242A (zh) * 2016-12-30 2019-10-25 德芙·顾皮塔 使用关键伪像和动态生成的循环进行有损数据压缩的系统和方法
CN110087099B (zh) * 2019-03-11 2020-08-07 北京大学 一种保护隐私的监控方法和系统
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统

Also Published As

Publication number Publication date
ATE364299T1 (de) 2007-06-15
CA2525690C (en) 2014-12-02
US8004563B2 (en) 2011-08-23
CN100348041C (zh) 2007-11-07
WO2004006184A2 (en) 2004-01-15
JP2006514757A (ja) 2006-05-11
KR20050082442A (ko) 2005-08-23
ES2288610T3 (es) 2008-01-16
CA2525690A1 (en) 2004-01-15
RU2005102819A (ru) 2005-08-20
EP1459544B1 (en) 2007-06-06
IL162879A0 (en) 2005-11-20
HK1082578A1 (en) 2006-06-09
AU2003237579A1 (en) 2004-01-23
EP1459544A2 (en) 2004-09-22
WO2004006184A3 (en) 2004-03-18
DE60314223D1 (de) 2007-07-19
BR0312458A (pt) 2005-04-19
US20050036659A1 (en) 2005-02-17

Similar Documents

Publication Publication Date Title
CN100348041C (zh) 在大量并行图像序列中有效进行事件检测的方法和系统
EP1631073B1 (en) Apparatus and methods for the detection of abnormal motion in a video stream
CN106331657A (zh) 人群聚集及移动的视频分析检测方法及系统
CN103065459B (zh) 基于Web地理信息系统技术的智能交通综合管控平台系统
CN101799876B (zh) 一种视音频智能分析管控系统
CN101846576B (zh) 一种基于视频的液体泄漏分析预警系统
AU2001238024B2 (en) System for automated screening of security cameras
CN106408833A (zh) 周界入侵检测方法及系统
CN1403949A (zh) 事件图象记录系统与记录方法
CN1568487A (zh) 视频绊网
Kurdi Review of closed circuit television (cctv) techniques for vehicles traffic management
CN106454253A (zh) 区域徘徊的检测方法及系统
CN106303469A (zh) 对室内外环境中火焰的视频分析检测方法及系统
CN104581081A (zh) 基于视频信息的客流分析方法
CN112969049A (zh) 一种船舶违章行为智能侦测系统
CN1665297A (zh) 公路交通电子监控管理系统
CN112330930A (zh) 一种城市隧道交通监测方法、系统及平台
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
JP2008092279A (ja) 監視システム及び監視方法
CN112087523A (zh) 基于云服务的智能建筑管理系统、装置及计算机可读存储介质
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN100341032C (zh) 彩信图像报警装置
CN112839198A (zh) 一种基于大数据处理的景区安防监控方法及监控系统
CN210777134U (zh) 行人及非机动车闯红灯抓拍系统
CN111382697B (zh) 影像数据处理方法及第一电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1082578

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1082578

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071107

Termination date: 20210703

CF01 Termination of patent right due to non-payment of annual fee