CN1338873A - 联网的监视和控制系统 - Google Patents

联网的监视和控制系统 Download PDF

Info

Publication number
CN1338873A
CN1338873A CN01122827A CN01122827A CN1338873A CN 1338873 A CN1338873 A CN 1338873A CN 01122827 A CN01122827 A CN 01122827A CN 01122827 A CN01122827 A CN 01122827A CN 1338873 A CN1338873 A CN 1338873A
Authority
CN
China
Prior art keywords
supervision
control system
digital video
compression
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN01122827A
Other languages
English (en)
Inventor
P·达格拉卡
A·维特罗
A·迪瓦卡兰
H·孙
浅井光太郎
西川博文
关口俊一
村上笃道
守屋芳美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1338873A publication Critical patent/CN1338873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种监视和控制系统包含:一个特征提取单元,用于从一个压缩的数字视频信号中动态地提取低级特征;一个与特征提取单元相连的描述编码器,用于将低级特征编码成为内容描述符。一个事件检测器与描述编码器相连,用于从内容描述符中测安全事件;以及与事件检测器相连的一个控制信号处理器用于响应安全事件的检测而产生控制信号。

Description

联网的监视和控制系统
相关申请
这是由Vetro等人于2000年五月17日提出的申请号为09/573-467的美国专利的后续申请。
发明领域
本发明通常涉及监视系统，尤其是涉及一种用于获取和存储有关安全事件的信息、并利用一个网络对那些事件作出响应的监视系统。
发明背景
运动图象专家组(MPEG)是一族用于以数字压缩格式表示视频和音频信息的质量和高效编码的标准。存在几个MPEG标准，例如用于静止图象编码的MPEG-1、用于运动图象(视频)编码的MPEG-2、用于多媒体编码的MPEG-4。
最近MPEG委员会采用的标准化成果是MPEG-7，正式称为“多媒体内容描述接口”。这个标准计划将一组用于说明各种类型多媒体内容的描述符和描述方案(DS)结合起来。描述符和描述方案允许快速而有效地搜索一个特定用户感兴趣的内容。
要注意到很重要的一点，即MPEG-7标准不意味着取代先前的编码标准、它建立在先前的标准表示之上。此外，这个标准和内容存储格式无关。
预计MPEG-7的首要用于搜索与检索应用中。在一个简单应用环境中，一个用户指定一特定对象的某些属性。在这个低级表示中，这些属性可包含用来说明该特定对象的纹理、运动和形状的描述符。为了获得一个高级的表示，可以考虑结合了几个低级描述符的更多详尽的说明方案。
现有的接收器100如图1所示。接收和解码分两个基本阶段进行。在第一阶段，从压缩的影像提取特征，然后在第二阶段，用提取的特征来重构影像。
在解码的第一阶段，多路分解器(demux)110接收一个压缩的位流101。多路分解器使收到的位流包同步，并将位流的视频、音频和数据部分分成基本位流102。利用一个存储控制器130将仍然压缩的基本位流发送到一个共享存储器单元120。一个前端语法分析器140对压缩位流进行语法分析。语法分析器140负责提取位流的高级语法，例如在MPEG-2标准的片层上面。
在这个级别以下，将位传送到一个符号处理器150，它主要负责可变长度解码(VLD)操作。例如在MPEG位流中，可以通过可变长度代码对运动矢量和离散余弦变换(DCT)系数以及其它信息例如宏模块模式等进行编码。
在解码的第二阶段，打开其它程序块以重构视频信号。将提取的宏模块和运动矢量信息从符号处理器发送到一个地址发生器160，并将DCT信息发送到一个逆DCT170。
地址发生器160负责产生将要在存储器单元120写入和读取视频数据的存储地址。地址发生器严重依赖于如一个预测模式、当前程序块的位置、和运动矢量值等这样的信息。将某些这种信息传送到一个运动补偿单元180，由它将存储器单元读取的数据和IDCT170接收的数据结合起来。
就内部模式预测来说，由于从存储器读取的数据是预测性信息，因此可以不从存储器中读取数据。将重构的数据从运动补偿单元180写入到存储器120中。当要显示这些数据时，一个显示处理器190读取这些数据用于其他可能需要的任何附加处理。一个用户接口195与存储控制器130相互作用，这样就能够实现有限的、定位的访问。
目前计算机技术是足够便宜的，从而有可能将许多遍及家庭和企业的智能电子设备联网。目前也有可能利用万维网，以声音、图象和视频的格式在设备之间传送数字数据，从而能够和其他用户共享这些数据信息。
通用的即插即用(UPNP)是一个向联网设备提供易用、灵活、基于标准的连接性的开始。UPNP是一种用于网络化PC、数字设备、和无线设备的结构。UPNP使用TCP/IP和网络或其它简单控制协议(SCP)在家庭、企业和所有能够进行网络连接的各个联网设备之间控制和传输数据。
UPNP打算在一个没有专门配置的网络中进行工作。一个设备能够动态地加入网络，获得一个网络协议(IP)地址，按要求宣布它本身和它的性能，并获悉有关网络中其它设备的存在和性能。除加入网络以外，该设备能够离开网络而不用留下任何不想要的状态。
大部分现有技术的监视系统使用闭路电视(CCTV)以获得一个室内和室外场景的视频。安全体系通常在监视器上显示视频用于保安人员的同时查看，和/或以一个延时模式记录视频用于以后的重放。
在这些方法中存在严重的局限性。人们在如视频监视这样的任务中所能够处理的可视信息数量会受到限制。一段时间以后，能够很容易地忽视重大的安全事件。当必须监视多个视频时，监视效率会进一步下降。记录的用于以后分析的视频不提供实时干涉。此外，视频记录容量有限，而且容易发生故障。
通常，视频是没有结构而且没有索引的。如果没有一个有效的装置来定位一个重大安全事件，安全人员监视或记录来自于所有可用摄像机的输出是不划算的。运动视频检测可用于粗略地检测安全事件。例如，在一个安全区域内的任何运动能够认为是一个有效事件。然而，在复杂的场景下，大多数简单的运动检测方案是不够。
美国专利5,594,842描述了一种使用群集运动矢量来检测事件的监视系统。美国专利6,031,582描述了一种使用对应于运动矢量的信号-强度差来检测事件的监视系统。
美国专利6,064,303描述了一种监视周围环境以检测可疑的或不典型的事件、基于PC的家庭安全体系。当检测到一个阈值事件时，该系统会实施对附加事件的密切监视。当累积检测到的事件超过某一阈值时，该安全体系就采取一个适当的补救动作。该系统通过模式识别检测声音和视频事件。声音事件使用通过一个快速傅里叶变换处理的事先录制的文件以，提供在各种离散的特征频率上的振幅作为一个时间函数，而且检测到的视频事件是运动(大小和持续时间)的，亮度对比发生变化，而且由暗到亮变化。这些事件是严重相关的。反应是用事先录制的信息向适当的号码打电话。
美国专利5,666,157描述了一种异常性检测和监视系统，它具有一个视频摄像机用于把一个区域的实时图象变成第一级分辩率的电子视频信号。该系统包含用于对位于该区域内部的个体运动进行取样的装置。取样运动的视频信号与表现出犯罪意图的个体运动的巳知特征进行电子比较。然后确定个体的犯罪意图级别，并产生一个适当的报警信号。
1999年7月的MPEG-7文档ISO/IEC JTC1/SC29/WG11/N2861“MPEG-7 Applications Documentv.9”，描述了一个监视应用，其中有一个摄像机监视敏感区域，如果有某一事件发生的话系统必须触发一个动作。该系统可以由没有信息或有限信息来构造它的数据库，并随时间的流逝积累一个视频数据库和元数据。元内容提取(在一个“编码器”位置)和元数据利用(在一个“解码器”位置)必须利用同一个数据库。
然而，许多安全应用要求实时的事件分析。MPEG-7应用文档没有提供关于如何获得实时性能方面的信息。此外，没有指定被提取用来完成快速、强大和准确的事件检测的实际元数据。最后，该文档没有说明任何关于提取单元及其他联网设备操作的事情。
希望提供一种改进的使用如上所述的视频编码和网络化技术的监视系统。
发明概述
本发明提供了一种监视和控制系统，它包含：一个特征提取单元，用于从一个压缩的数字视频信号中动态地提取低级特征；和一个与特征提取单元相连的描述编码器，用于将低级特征编码为内容描述符。该系统还包含：一个与该描述编码器相连的事件检测器，用于从内容描述符中检测安全事件；以及一个与事件检测器相连的控制信号处理器，用于响应安全事件的检测而产生控制信号。
该系统还可以包含一个电话机、一个个人计算机、以及一个录像机，彼此通过网络相连。该网络包含一个用于传送控制信号的低带宽网络，以及一个用于传送压缩数字视频信号和内容描述符的高带宽网络。一个存储器单元保存压缩的数字视频信号、内容描述符、控制信号、用户输入、以及可配置的用户偏爱项。
监视和控制系统进一步包含：一个与特征提取单元相连的符号处理器，用于从压缩的数字视频信号中提取运动矢量、宏模块和DCT系数；以及一个与存储器单元相连的位流处理器，用于产生一个包含压缩的数字视频信号和内容描述符的输出压缩数字视频信号。
附图简要说明
图1是一个现有技术中的视频接收器的框图；
图2是一个包含了一个依据本发明的监视和控制系统的网络框图；
图3是一个用于从一个压缩视频信号中检测安全事件并产生信号的一种监视和控制系统的高级框图；
图4是一个图3中的监视和控制系统的低级框图；以及
图5是一个图3中的监视和控制系统的一个存储器单元框图。
最佳实施例的详细说明
图2显示了一个包含一个依据本发明的监视和控制系统300的网络200。该系统包含一个或多个数字视频摄像机201-202、一个监视器(TV)203、一个遥控器203’、一个录像机(VCR)204、一个电话机205、一个无线电话206、一个存储设备(HDD)207、一台个人计算机208、一个数字通用盘(DVD-RW)209以及一个远程PC210。设备201-210与监视和控制系统300能够经由一个网络相互通信。在这儿，网络有局域网211、广域网212，例如国际互连网、以及无线网213等几个部分。
在操作期间，网络传送低带宽的控制信号、和高带宽的数据信息或视频内容。
控制信号可以在使用UPNP、电源线、家用插头、电话线或其它协议的设备之间进行传输。控制信号允许不同的兼容设备控制其它设备，以及彼此之间进行共享和通信。例如，控制信号能够使摄像机101-102打开和关闭、运动(向上/向下、向左/向右)、缩放(缩小/放大)。这些信息可以是自动的或是由用户产生的。例如，摄像机可以是周期性地打开和关闭，或者用户能够用遥控器203’、PC(当地的208或远程的209)、VCR 204、DVD 209、或TV来控制摄像机。相似地，PC或者电话机可用于向其它应用和消费者电子设备例如VCR和DVD发送控制信号。
可以使用IEEE-394标准通过网络211发送视频信号。当摄像机打开时，可以在作为一个完整窗口、或画中画(PIP)窗口在监视器上显示视频。该视频还可以是由VCR、DVD或HDD记录。对视频进行编码以包含高级的元数据，例如MPEG-7基于内容的描述符，用于将来的操作和查看。可以在摄像机、PC或监视和控制系统300上完成编码过程。PC还可以执行代码转换，即，将一个视频从MPEG-2或4转换成另一个更可取的、可能是一个低比特率、一个低空间分辨率、或NTSC格式的代码表示。编码后的视频可以记录在VCR、DVD、或HDD上。以下将非常详细地描述编码过程。
为了快速和有效地访问记录的安全事件，一个用户可以在记录之后使用一个视频浏览器检查视频。例如，如果用户已经记录了一个家庭持续一星期的视频，则该用户能够仅仅查看带有接近房屋的人们的视频，而不用查看没有重大安全事件的其它几百小时的视频。
做为对一个安全事件检测的响应，通过向电话使用控制信号，系统能够向一个适当的紧急事件处理机构例如警局、消防队、或急救中心拨号。该系统还可以取决于事件的性质向任何其它选定的电话号码拨打电话。此外，随着第三代(3G)移动电话的出现，就使得向任何启用3G的电话发送摄影机输出信号变得可能。
图3显示了监视和控制系统(SCS)300的主要组成部分。SCS包含一个视频接收器/解码器/显示器(“解码器”)与一个描述编码器320和一个事件检测器330相连。描述编码器320和事件检测器330也是连接在一起的，将在下面对它们进行非常详细的描述。一个控制信号处理器340与一个事件检测器的输出端相连。解码器接收用户输入305以配置SCS。下面将对能够接收的输入类型和它对SCS的操作的影响进行非常详细的描述。就图1中所示的系统来说，通过视频解码器310接收一个压缩的数字输入位流301，SCS的输出309能够包含一个可显示的视频信息流、控制信号和一个扩充的位流。控制信号发生器根据检测到的安全事件提供控制信号341。其优点是：扩充的位流包含可用于检测安全事件的信息。
为了能使联网的设备201-210提高安全操作，我们的系统使用描述编码器320来执行特征提取。描述编码器向扩充的输出位流产生内容描述。扩充的位流能够包含原来的输入位流301。
事件检测器330使用提取的特征以产生对内容的一个高级理解并向解码器310发送安全事件信号。作为对这些安全事件的响应，控制信号处理器340产生控制信号以传送给联网设备201-210。
图4非常详细地显示了SCS300。在内部操作和输出方面我们的SCS不同于图1中的回放系统。图4中的虚线表示现有技术的视频回放系统所没有的组成部分的连接。
SCS300包含一个多路分解器(demux)410、一个存储器单元500、一个存储控制器430，一个前端语法分析器440、以及一个符号处理器450。这些系统组件用于在对输入位流进行解码的第一阶段期间的特征提取445。
系统还包含一个地址发生器460、一个逆DCT(IDCT)470、一个运动补偿器480、以及一个显示处理器490。这些组件用于在解码的第二阶段期间的图象重构和显示402。在如下所述的某些操作模式中，和现有技术中的接收器相比，它能够将用于第二阶段的这些稍后组件关闭，从而使所有的存储器带宽和处理优先权都专用于特征提取和解码的第一阶段。
内部操作的改变是一个特征提取单元410和一个MPEG-7描述编码器320的结果。这里将描述特征提取单元455如何执行动态特征提取。包含运动矢量信息、DCT系数和波形信息在内的低级数据从符号处理器450传送到特征提取单元455。
如下所述，这些低级数据能够映射到MPEG-7描述符，这些可用于搜索与检索。这种映射是通过描述编码器320执行的。该编码器还可以从前端语法分析器440和系统多路分解器410接收信息。
在一个最佳实施例中，编码器依据一个选定标准例如MPEG-7标准用具体事例说明了一个描述方案。应当明白其它类型的编码器能够用具体事例说明其它标准。到一个标准的编码允许设备201-210的互操作性。将描述方案传送到事件检测器330。提取的数据还可以通过存储控制器430传送到主存储器单元500。这里，提取的数据可用于扩充输入位流。
事件检测器330负责检测安全事件，并向系统的其余部分、尤其是向控制信号处理器340发送此类事件信号。用户输入305用于配置系统的个人信息和优先选择。个人信息包含联系电话号码，例如：办公电话、蜂窝电话、传呼机、电子邮件地址、警局电话、消防队电话、急救电话，联系的优先级，(即首先发送电子邮件，然后给警局打电话，或者是如果在一个指定数量的时间内无应答就向所有联系方面发出警告，时间/日期定制，例如在下午6点以前打办公电话并发送电子邮件，在下午6点之后打蜂窝电话)，向哪儿发送视频输出，例如VCR、DVD、TV、PC、监视器等等。
如图5所示，安全系统的存储器500存储四种视频数据，初始压缩的位流(BS)的全部或一部分510、为了重构或概括所关心的视频而选取的帧(安全帧)520、描述方案(DS)530以及用户输入(UI)540。存储器还存储由事件检测器输出的控制信号(CS)501、以及配置的用户偏爱信息(UP)502。
除具有特征提取功能之外，该系统还可以经由一个位流处理器491输出一个扩充的位流401。位流处理器从主存储器单元经由存储控制器接收这些数据。输出位流能够包含压缩的内容，即初始位流301、内容概述、以及内容说明。位流处理器以一种适于向一个远程用户发送的方式，或是适于通过网络传输到一个记录装置的方式来格式化信息。
输出内容和/或它的相应描述的目的是向一个用户提供能够有助于追溯那些已经被发送了信号的安全事件信息。该描述能够用于内容中关键点的快速检索。
通过网络传送的实际控制信号341由一个控制信号处理器340产生。控制信号处理器接收有关已经从事件检测器检测到一个安全事件的通知，查阅用户偏爱信息，并向相应的网络设备产生适当的控制信号。
控制信号的类型可以分为三类：(i)安全联系信息，由用户输入提供；(ii)设备控制参数，例如摄像机运动、转换和操作，以及操作数据，例如记录、启动电话呼叫；以及(iii)路由信息，例如向HDD 207发送扩充的位流401，以及向电话205或PC210发送适当的电话号码。
SCS300从一个压缩的数字视频信号中动态地提取特征。使用这些特征，可以检测到安全事件，并且能够自动地启动操作。
该系统的一个主要特点是它和其它设备的互操作性。通过使用标准压缩技术来传递并重放一段视频的内容，以及使用标准描述方案(DS)来描述、检索并访问该内容，就可以实现互操作性。该SCS能够取决于事件的状态而运行在多个不同的模式下。
在第一模式下，由我们的SCS对收到的压缩位流进行语法分析，并部分解码。部分解码被定义为仅仅包含第一个阶段的解码操作。在这种模式下，第二阶段的解码用来重构视频是无效的。换句话说，在这个部分解码模式下，与一个传统的接收器不同，没有地址生成、没有逆DCT的计算、没有运动补偿，当然也没有显示。这样就绕过了第二阶段解码。在这个模式下SCS的主要目标是借助于已经从压缩的视频信号中提取的这些特征搜索一个安全事件。
由于没有显示，所有的存储器带宽都能够用于部分解码和特征提取、编码和事件检测。因此，在这个模式下，该系统能有效地处理压缩的输入位流的选定单元以便提取有关内容的低级和高级信息。部分解码能够在一个相对短的时间内提取重要的特征。例如，几个小时的视频能够在几分钟内或更少时间内进行处理。
对这个目的来说是有用的提取的位流单元例子为：位流中的运动矢量、DCT系数和图象/宏模块编码模式。这些单元从符号处理器450和前端语法分析器440中输出。此外，信息还可以从补充的位流中提取。这种信息从系统多路分解器(demux)410中输出。这种数据的一个例子是MPEG-7元数据，并且可以包含有关内容的注释信息，例如日期与时戳信息。
在部分解码位流和提取信息过程中可以获得的优点是：能够在一个相对短的时间内收集特征，并且检测安全事件。这个部分解码模式最适于被动监视，当还没有检测到特定事件时。
和第一个部分解码模式相比，第二种模式的不同之处在于：被分析的视频还要进行重构并输出到一个当地的显示设备中。在这个完全解码模式下，提取特征并将其作为内容描述符进行编码，如同部分模式下描述的一样。然而，在特征提取的同时显示该视频数据。也就是说，当视频正在重放时特征提取和编码是动态的。
这个操作模式适用于这样的系统：具有一个或多个摄像机、一个或多个正在输入到SCS的位流，并总有一个信号正被显示。可以有单个或多个显示设备。在有多个摄像机和少一些的显示设备时，SCS能够控制要重构的位流，而且要显示重构的位流。重点是在重构和显示视频时分析压缩的视频信号。
在一个特定情况下，有一个摄像机和一个显示设备时，当已经检测到一个安全事件时，SCS能够进入完全解码模式。
在第三模式下，当收到压缩位流并以一个最可能高的位速度进行处理时，对位流进行部分解码。将部分解码的位流保存在存储器单元500中。同时，还从保存在存储器单元中的解码位流中进行第二阶段重构，直到能够显示该视频为止。在提取和编码这些特征并检测事件所需要的时间内，能够将帧速率减少到例如每秒十五帧或更少，以致使更多的系统资源用于进行特征提取、编码和事件检测。
在这种模式的一个典型实例应用中，连续地从视频中提取特征。在检测到一个安全事件之后，可能需要更多的系统资源来分析该事件。在那种情况下，用于解码的资源具有一个较低优先级，可能仅仅有足够的资源用于显示、纪录或传送一个较低时间分辩率的视频信号，它仍然是足够的。
在任何一种模式下，关键一点是那些遵从选定标准的元数据是从有效的压缩数据中提取的。有效数据可以仅仅是那些从压缩位流中提取的低级特征或是从一个补充的数据流中提取的信息，甚至包含某些MPEG-7元数据，它可以是或不是完整的。这样，就实现了和其它设备的互操作性。
从压缩位流中提取特征已经在文献中进行了广泛地报导。这种提取的主要优点是：由于它通过依靠多路分解器、语法分析器、和符号处理器的输出而避免了逆DCT的计算，因此它计算简单。符号处理器的输出包含运动矢量信息和DCT系数。
最适于这种提取的特征是颜色、亮度和运动。还应注意到：特征提取单元455的输出传送到描述编码器320，由它用具体例子说明描述符的值。然后由事件检测器330使用这些描述符示例。
亮度和颜色－－注意到：有I-帧时，符号处理器340的输出包含块的亮度和色度的“dc”值。因此，能够使用符号处理器450的输出构造I-帧的“dc图象”。如何使用dc-图象来检测场景变化是公知的。从dc-图象中也可能确定颜色描述符例如主颜色、颜色直方图、压缩颜色、GOF/GOP颜色直方图、颜色结构直方图、颜色布局等等。例如，考虑以下的表A中主色描述符的二进制语法：
表A
Dominant_Color{ 位数 助记符
ColorSpace 在3.1.1.3中指定
ColorQuantization 在3.4.1.3中指定
DominantColorsNumber 3位 Uimsbf
ConfidenceMeasure 5位 uimsbf
}
struct DominantColor{ 位数
ColorValue 如颜色空间中定义
Percentage 5位 uimsbf
}
注意到：在一个MPEG压缩视频信号中，颜色空间缺省值为YUV或YcrCb、颜色量化即二进制数、颜色阈值的开始值等是由特征提取单元本身决定的，主颜色数目也是如此。然后，从图像本身通过使用一个宏模块的颜色dc值作为宏模块每个像素的颜色来确定置信度测量、颜色值和百分比。这简要地说明了如何从符号处理器450的输出中确定主颜色。
符号处理器的输出必须进行不同的处理以从P-帧中获得dc-图象。由于宏模块通常是进行预测性编码的，因此这个处理是不同的。为获得dc分量，可以使用在DCT域实行运动补偿的方法，例如在美国专利申请08/742,124“Digital video decoder and method ofdecoding a video signal”中所描述的方法。注意：这个计算开销与计算逆DCT需要的计算开销相比要小得多。
运动－－由于对运动补偿的帧来说符号处理器的输出包含每个宏模块的运动矢量，因此在压缩域中提取运动特征要相对容易。可以有几种从运动矢量中提取特征的方法，参见美国专利申请09/236,838“Method of feature extraction of video sequences”。
能够在压缩域中确定的MPEG-7运动描述符包含运动行为、摄像机运动、运动轨迹和参数运动。运动行为描述符的二进制表示语法如表B所示：
表B
MotionActivity{ 位数 助记符
Intensity 3 uimsbf
DirectionFlag 1 blsbf
SpatialDistributionFlag 1 blsbf
TemporalDistributionFlag 1 blsbf
If(DirectionFlag＝0)
DominantDirection 3 uimsbf
If(SpatialDirectionFlag＝0)
SpatialParameters＝{Nsr，Nmr，Nlr} 6，5，5 uimsbf
If(TemporalDistributionFlag＝＝0) uimsbf
TemporalParameters＝{N0，N1，N2，N3，N4} 5*6 uimsbf
}
注意到：以上显示的所有字段能够由从符号处理器输出的运动矢量计算得到。例如，通过首先计算运动矢量幅值的标准偏差、然后将标准偏差量化成一个3位值来计算强度参数。
在MPEG-2或MPEG-4中，必须使用一个规定好的编码器结构来产生一个兼容位流。一致之处是都基于规范/等级定义，即一个MPEG-2主规范@高级(MP@HL)编码器限制于图像尺寸、数据率等项。然而，我们知道必须有某一模块进行运动估计，某一模块进行DCT等等。如果我们在一个可扩充的规范内操作，我们就必须对一个基础和增强层进行编码，然后我们知道编码器结构需要怎样变化。这由标准明确定义。
在MPEG-7中，用具体例子说明的描述方案象一个MPEG-7编码器。然而，描述方案的广阔队列适合于许多不同类型的元数据。每一种类型数据如何产生，可能是独特的，是不能用标准加以规定的。由于MPEG-7不可能规定描述方案将如何用具体例子说明，这是标准的一个规范部分，因此一个MPEG-7编码器没有结构。这样，每一DS必须是在逐个情况基础上用具体例子说明，并能够在一个特定应用内起作用。
在这儿，一个普通的MPEG-7编码器没有意义，除非是有一个特定的目的或应用。我们的目的是提供改进的基于内容的访问，因此我们的SCS将用具体例子说明的描述方案和实例化方法是该系统独有的，并将在随后的部分中进行描述。
另一点要阐明的是：我们的安全体系对元数据进行编码以实现和其它设备的互操作性。如果不是为了互操作性，是不需要遵照MPEG-7标准对元数据进行编码的。一个系统可以简单地使用它自己所有的内部并且仅仅由该特定系统知晓的专用描述符和描述方案。在这种情况下，也就不需要输出扩充位流。
描述方案(DS)能够被看作是用于描述符的容器。它们还可以被看作是组织各种描述符的数据结构。考察从MPEG-7多媒体描述方案工作草案获得的，在附录A中描述的MPEG-7视频片段描述方案(DS)的语义。
要注意视频片段DS如何包含我们在描述符部分中提到的颜色和运动描述符。在这种情况下，能够通过确定前面所述的每个组成描述符，来用具体例子说明该描述方案。注意到视频片段DS让它本身通过压缩域下的特征提取来进行例示。因此，DS允许各个描述符自己本身使用，以及其它描述符的集合一起使用，从而允许这儿描述的监视应用。
视频片段DS是MPEG-7 DS的一个例子用来描述内容的结构特性。其它这样的DS包含段DS以及它的衍生如移动区域DS等等。其它的DS强调应用，这样的概括可以通过概括DS来启用。
权重DS表示在一个描述方案中各个描述符的相对权重，因此它能够按需要由MPEG-7 DS的示例用具体事例说明。实体关系图DS表示在不同实体之间的相互关系。符号处理器的输出允许标识这样的关系如更活跃的或最活跃的、或更快的、更大的、更绿色的等等。这样相应的实体关系图的类别就能够在压缩域中用具体事例说明。
基本的DS如时间DS、介质定位器DS、网格、直方图适用于所有的DS并且因此是最重要的。在编码器320中处理符号处理器450的输出能够产生所有的这些描述方案。例如使用存在于压缩位流中时戳信息能够产生时间DS，这对于监视应用程序来说是一个非常重要的特征。
MPEG-7还包含“高级的”DS，如表示纹理的描述(注解DS)、概念方面(例如，语义DS)以及内容的本征性质(例如，模式DS)。
简而言之，由系统多路分解器110，前端分析器440以及符号处理器450提供的信息可用于用具体事例说明一个描述方案的强大子集。
自动的安全事件检测涉及根据低级信息推导高级信息，因为只有低级信息能够直接并且自动地获取。在一个简单的例子中，考虑检测一个进入安全区域的入侵者。监视该区域的监测者，通过注意到该区域的语义或高级特征的改变，当然，会立即检测到该入侵者。我们的自动安全事件检测系统，从另一方面来说，不得不仅仅依赖由摄像机获取的视听信息的自动处理。来自摄像机的视听信息(信号)仅仅包含低级特征如颜色、运动、音量等等，并没有包含如标记的安全区域和入侵者这样的语义信息。然而，一般说来，语义事件，如入侵者的进入，对由摄像机记录的视听场景的低级特征有直接影响。
在上面描述的简单例子中，在没有入侵者时安全区域的活动动作为零，因为在该场景中没有活动物体。一旦有入侵者进入，活动动作会突然增加。在该入侵者离开之后，该活动动作再一次减少到它的平常低值。在这种情况下，仅仅视听场景的活动特征就足以检测侵入的开始和结束。类似地，如果入侵者的面部暴露的话，就会引发场景纹理上的变化，这将表示在该场景中存在一个面部。进入还将导致在音量方面的增加。
关键一点在于在记录的视听信息低级特征方面的改变经常表示该场景语义内容方面的改变。入侵者进入安全区域仅仅是一个事件的简单例子。我们的系统不局限于这样的简单事件，而是指所有使用低级特征能够检测出来的事件。
还要注意到我们的系统还能够检测在先前记录的视听信息中的事件。这样的“事后”监视在安全系统中还是有价值的。
在事件检测器330中另一个使用低级特征的具体例子是注意到该事件已经结束(例如，入侵者已经从摄像机观图中退出)以及提取导致事件发生的对象的参数化活动。参数化活动是一个已经被MPEG-7采纳的视觉描述符。使用该参数化活动，摄像机201-202的位置能够自动地调节来跟踪该事件。如果不可能使用检测到该事件的摄像机继续跟踪该事件，则该参数化活动还可以用来选取其它策略位置上的摄像机。
总而言之，我们监视系统的目标是从标准状态中辨别出反常状态。在入侵者的例子中，状态方面的改变是通过在音频和活动动作方面的改变识别出来的，其中标准状态的视听特征实质上为零。然而，在大多数实际的安全应用中，标准状态是非零的。我们称这个为非零正常状态(NZ-NS)监视。
作为第一个说明NZ-NS监视的例子，考察一个在高处监视交通区域的摄像机，该交通区域具有静止和移动的人、骑自行车者、汽车、巴士以及卡车、和一个很复杂的声频信号。使用MPEG 7描述符，以及训练数据，就有可能提取这样的安全事件如事故、攻击、违反交通规则，等等。NZ-NS监视还可以用于自选商店来检测商品盗窃，或用于娱乐场所来检测作弊。该系统还可以用于自动化生产设施，如检测在运输带上未对准的零件，来自一个机器的烟或奇怪的噪音。
CSP 340接收来自事件检测器330的中断，并且向连接在图2网络中的其它设备产生适当的控制信号。当检测到一个安全事件时，该控制信号能够在一个电视上显示一个PIP窗口；拨一个电话号码以及播放一个预先录制的信息；或者发送一个电子邮件；或在PC上启动一窗口到显示来自一个摄像机的视图。能够根据用户的偏好定制控制信号。还可以设置优先级，也就是设置反应活动的次序。
在一个局部的监视应用中，SCS 300向一个监视器/电视以及记录装置提供视频内容。它检测事件，触发警报，并且经由电话接通个人。该用户还可以经由其它兼容设备如遥控器控制该摄像机。在一个远程监视应用中，SCS 300执行所有的局部监视系统活动之外，还有扩展的外部监视。该外部监视与控制能够用远程PC 210来完成。
在一个商业应用中，该系统能够有效地消除用二十个监视器窗口来监视二十个不同的区域的需要。CSP 340能够取决于检测的事件来自动地选取要监视的场景。此外，通过仅仅记录异常事件，要记录的视频数量能够大大地减少。
虽然已经通过最佳实施例描述了本发明，应理解可以在本发明精神和范围之内做出其它各种适应和修改。因此，附加权利要求书的目的是含盖本发明真实精神和范围之内的所有这样的变化和修改。

Claims (16)

1.一种监视和控制系统，包含：
一个特征提取单元，用于从一个压缩的数字视频信号中提取低级特征；
一个与特征提取单元相连的描述编码器，用于将低级特征编码为内容描述符；
一个与描述编码器相连的事件检测器，用于从内容描述符中检测安全事件；以及
一个与事件检测器相连的控制信号处理器，用于响应安全事件的检测而产生控制信号。
2.如权利要求1所述的监视和控制系统，进一步包含一个电话机、一个个人计算机，以及一个录像机，彼此通过一个网络相互连接。
3.如权利要求1所述的监视和控制系统，其特征在于：该网络包含一个低带宽网络，用于传送控制信号；以及一个高带宽网络，用于传送压缩的数字视频信号和内容描述符。
4.如权利要求1所述的监视和控制系统，进一步包含：一个存储器单元，用于存储压缩的数字视频信号、内容描述符、控制信号、用户输入、和用户配置偏爱信息。
5.如权利要求1所述的监视和控制系统，进一步包含：
一个与特征提取单元相连的符号处理器，用于从压缩的数字视频信号中提取运动矢量、宏模块和DCT系数。
6.如权利要求4所述的监视和控制系统，进一步包含：
一个与存储器单元相连的位流处理器，用于产生一个包含压缩的数字视频信号和内容描述符的输出压缩数字视频信号。
7.如权利要求6所述的监视和控制系统，其中输出的压缩数字视频信号经由一个网络传送到一个远程视频接收器。
8.如权利要求1所述的监视和控制系统，其特征在于：依据一个视频编码标准编码内容描述符。
9.如权利要求1所述的监视和控制系统，其特征在于：编码器依据内容描述符产生一个对压缩的数字视频信号的概述。
10.如权利要求9所述的监视和控制系统，其特征在于：将压缩的数字视频信号的概述保存在一个存储器单元中。
11.如权利要求1所述的监视和控制系统，其特征在于：内容描述符基于在压缩的数字视频信号中的运动动作。
12.如权利要求1所述的监视和控制系统，进一步包含：至少一个摄像机、一个监视器、一个录像机、一个电话机、一个存储设备、一台个人计算机、一个数字通用盘、以及一个远程PC，彼此通过一个网络相互连接，并由控制信号进行操作。
13.如权利要求1所述的监视和控制系统，其特征在于：控制信号包含安全联系信息、设备控制参数和路由信息。
14.如权利要求1所述的监视和控制系统，其特征在于：为在压缩的数字视频信号中检测安全事件，一个正常的非零状态不同于一个异常的非零状态。
15.如权利要求1所述的监视和控制系统，其特征在于：控制信号具有相关的优先级。
16.一种用于对安全事件作出响应的方法，包含：
从一个压缩的数字视频信号中动态地提取低级特征；
将低级特征作为内容描述符进行编码；
从内容描述符中检测安全事件；以及
响应于安全事件的检测产生控制信号。
CN01122827A 2000-07-10 2001-07-09 联网的监视和控制系统 Pending CN1338873A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/612876 2000-07-10
US09/612,876 US6646676B1 (en) 2000-05-17 2000-07-10 Networked surveillance and control system

Publications (1)

Publication Number Publication Date
CN1338873A true CN1338873A (zh) 2002-03-06

Family

ID=24454971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01122827A Pending CN1338873A (zh) 2000-07-10 2001-07-09 联网的监视和控制系统

Country Status (6)

Country Link
US (1) US6646676B1 (zh)
EP (1) EP1173020B1 (zh)
JP (1) JP4601868B2 (zh)
CN (1) CN1338873A (zh)
DE (1) DE60102627D1 (zh)
HK (1) HK1041754A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100348041C (zh) * 2002-07-05 2007-11-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN101425135B (zh) * 2007-11-01 2013-08-14 国际商业机器公司 用于视频流的实时新事件检测的装置和方法
CN111435434A (zh) * 2019-01-11 2020-07-21 西部数据技术公司 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1068752A4 (en) * 1998-01-12 2002-09-18 David A Monroe APPARATUS AND METHOD FOR SELECTING CIRCUITS IN A MULTI-CIRCUIT TELECOMMUNICATIONS DEVICE
US6853302B2 (en) 2001-10-10 2005-02-08 David A. Monroe Networked personal security system
US20080201505A1 (en) * 2003-01-08 2008-08-21 Monroe David A Multimedia data collection device for a host with a single available input port
US20030067542A1 (en) 2000-10-13 2003-04-10 Monroe David A. Apparatus for and method of collecting and distributing event data to strategic security personnel and response vehicles
US6970183B1 (en) * 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7023913B1 (en) 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US7634662B2 (en) 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US7131136B2 (en) 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US7057647B1 (en) 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US7228429B2 (en) 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US6545601B1 (en) * 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
US6518881B2 (en) * 1999-02-25 2003-02-11 David A. Monroe Digital communication system for law enforcement use
US6461872B1 (en) * 1999-11-17 2002-10-08 General Electric Company Poly(1,4-ethylene-2-piperazone) composition, method for production of a poly(1,4-ethylene-2-piperazone) composition, TCE-detecting method and sensor
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
WO2002033977A1 (en) * 2000-10-17 2002-04-25 Koninklijke Philips Electronics N.V. Binary format for mpeg-7 instances
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7698450B2 (en) 2000-11-17 2010-04-13 Monroe David A Method and apparatus for distributing digitized streaming video over a network
US7839926B1 (en) 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
US20020104094A1 (en) * 2000-12-01 2002-08-01 Bruce Alexander System and method for processing video data utilizing motion detection and subdivided video fields
US20020080238A1 (en) * 2000-12-27 2002-06-27 Nikon Corporation Watching system
US20050025291A1 (en) * 2001-03-12 2005-02-03 Vidius Inc. Method and system for information distribution management
US7681032B2 (en) * 2001-03-12 2010-03-16 Portauthority Technologies Inc. System and method for monitoring unauthorized transport of digital content
US8478824B2 (en) * 2002-02-05 2013-07-02 Portauthority Technologies Inc. Apparatus and method for controlling unauthorized dissemination of electronic mail
US20020171734A1 (en) * 2001-05-16 2002-11-21 Hiroshi Arakawa Remote monitoring system
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US20030071902A1 (en) * 2001-10-11 2003-04-17 Allen Paul G. System, devices, and methods for switching between video cameras
EP1311124A1 (en) * 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
CN100367794C (zh) * 2002-04-12 2008-02-06 三菱电机株式会社 元数据编辑装置
US7453906B2 (en) * 2002-09-19 2008-11-18 Microsoft Corporation Systems and methods for providing automatic network optimization with application variables
US7257644B2 (en) * 2002-09-19 2007-08-14 Microsoft Corporation Systems and methods for providing presence tracking in a distributed computing system
US20040086152A1 (en) * 2002-10-30 2004-05-06 Ramakrishna Kakarala Event detection for video surveillance systems using transform coefficients of compressed images
US20040135879A1 (en) * 2003-01-03 2004-07-15 Stacy Marco A. Portable wireless indoor/outdoor camera
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US7005981B1 (en) * 2003-05-27 2006-02-28 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for the extraction and compression of surveillance information to facilitate high performance data fusion in distributed sensor systems
US7577199B1 (en) * 2003-06-19 2009-08-18 Nvidia Corporation Apparatus and method for performing surveillance using motion vectors
US20050132047A1 (en) * 2003-07-10 2005-06-16 University Of Florida Research Foundation, Inc. Targeted messaging system and related methods
KR100941139B1 (ko) 2003-09-15 2010-02-09 엘지전자 주식회사 유피엔피(UPnP) 기반 네트워크의 미디어 스트리밍 파라미터 설정 방법
KR101015811B1 (ko) * 2003-09-23 2011-02-22 엘지전자 주식회사 UPnP 기반의 미디어 콘텐츠 재생을 제어하는 전자기기 및 그 방법
NZ536913A (en) * 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
AU2004233453B2 (en) * 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
GB2408879A (en) * 2003-12-03 2005-06-08 Safehouse Internat Inc Storing data recorded over a period of time
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US20050151846A1 (en) * 2004-01-14 2005-07-14 William Thornhill Traffic surveillance method and system
KR20050077672A (ko) * 2004-01-30 2005-08-03 엘지전자 주식회사 미디어 파일 중계 서비스 방법 및 시스템
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7672370B1 (en) 2004-03-16 2010-03-02 3Vr Security, Inc. Deep frame analysis of multiple video streams in a pipeline architecture
US7664183B2 (en) * 2004-03-16 2010-02-16 3Vr Security, Inc. Correlation processing among multiple analyzers of video streams at stages of a pipeline architecture
US7663661B2 (en) * 2004-03-16 2010-02-16 3Vr Security, Inc. Feed-customized processing of multiple video streams in a pipeline architecture
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
AU2005272046B2 (en) * 2004-06-30 2009-02-05 Pelco, Inc. Method and apparatus for detecting motion in MPEG video streams
GB0416667D0 (en) * 2004-07-27 2004-08-25 Crimelocator Ltd Apparatus and method for capturing and transmitting images of a scene
US20060044394A1 (en) * 2004-08-24 2006-03-02 Sony Corporation Method and apparatus for a computer controlled digital camera
DE102004040941A1 (de) * 2004-08-24 2006-03-09 Macrosystem Digital Video Ag Bildgebende Sicherheitsüberwachungsvorrichtung
AR048477A1 (es) * 2004-11-19 2006-05-03 Alusud Argentina S R L Pico vertedor del tipo empleado en botellas contenedoras de sustancias liquidas con grado de viscosidad variable
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
US20060236375A1 (en) 2005-04-15 2006-10-19 Tarik Hammadou Method and system for configurable security and surveillance systems
DE102005019153A1 (de) 2005-04-25 2007-06-06 Robert Bosch Gmbh Verfahren und System zum Verarbeiten von Daten
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US8233042B2 (en) * 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US8681225B2 (en) 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US8253821B2 (en) 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US20070090972A1 (en) * 2005-06-10 2007-04-26 Monroe David A Airborne digital video recorder
US8508607B2 (en) * 2005-09-06 2013-08-13 Its-7 Method and system for a programmable camera for configurable security and surveillance systems
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
US20070150565A1 (en) 2005-12-22 2007-06-28 Arun Ayyagari Surveillance network system
JP4730663B2 (ja) * 2006-03-20 2011-07-20 富士フイルム株式会社 遠隔制御装置、遠隔制御システムおよび遠隔制御方法
JP4742394B2 (ja) * 2006-03-24 2011-08-10 富士フイルム株式会社 遠隔制御装置、方法、プログラムおよびシステム
US8762395B2 (en) 2006-05-19 2014-06-24 Oracle International Corporation Evaluating event-generated data using append-only tables
US8131696B2 (en) * 2006-05-19 2012-03-06 Oracle International Corporation Sequence event processing using append-only tables
US7961088B2 (en) * 2006-08-18 2011-06-14 Cattail Technologies, Inc. Asset monitoring system and portable security system therefor
CN101287091B (zh) * 2007-04-10 2010-11-24 华为技术有限公司 一种实现因特网协议电视业务的系统、装置和方法
TW200924534A (en) * 2007-06-04 2009-06-01 Objectvideo Inc Intelligent video network protocol
US8249141B1 (en) 2007-07-13 2012-08-21 Sprint Spectrum L.P. Method and system for managing bandwidth based on intraframes
US20100153146A1 (en) * 2008-12-11 2010-06-17 International Business Machines Corporation Generating Generalized Risk Cohorts
US20090195382A1 (en) * 2008-01-31 2009-08-06 Sensormatic Electronics Corporation Video sensor and alarm system and method with object and event classification
FR2932054B1 (fr) * 2008-06-03 2010-08-13 Thales Sa Systeme de videosurveillance intelligent reconfigurable dynamiquement
US8922659B2 (en) 2008-06-03 2014-12-30 Thales Dynamically reconfigurable intelligent video surveillance system
US8013730B2 (en) * 2008-07-29 2011-09-06 Honeywell International Inc. Customization of personal emergency features for security systems
US9141862B2 (en) * 2008-09-26 2015-09-22 Harris Corporation Unattended surveillance device and associated methods
US8301443B2 (en) 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US8041516B2 (en) * 2008-11-24 2011-10-18 International Business Machines Corporation Identifying and generating olfactory cohorts based on olfactory sensor input
US8749570B2 (en) * 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US8190544B2 (en) 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US20100153147A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Specific Risk Cohorts
US20100153174A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Retail Cohorts From Retail Data
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US8219554B2 (en) * 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US20100153180A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Receptivity Cohorts
US8493216B2 (en) * 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
US20100153133A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Never-Event Cohorts from Patient Care Data
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US10574614B2 (en) 2009-08-03 2020-02-25 Picpocket Labs, Inc. Geofencing of obvious geographic locations and events
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
US20110135170A1 (en) * 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images
US20120320966A1 (en) * 2010-03-09 2012-12-20 Telegent Systems Inc. c/o M & C Corporate Services Limited Adaptive video decoding circuitry and techniques
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
US9204112B2 (en) 2012-02-07 2015-12-01 Stmicroelectronics S.R.L. Systems, circuits, and methods for efficient hierarchical object recognition based on clustered invariant features
CN103297666B (zh) * 2012-02-24 2018-07-31 中兴通讯股份有限公司 基于通用即插即用实现视频监控的方法、装置及系统
US9344724B2 (en) 2012-06-25 2016-05-17 Verint Americas Inc. System and method for improved video operations
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
KR102192704B1 (ko) * 2013-10-22 2020-12-17 엘지전자 주식회사 영상 출력 장치
US20150163411A1 (en) 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9769522B2 (en) 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US9989507B2 (en) 2014-09-25 2018-06-05 Echostar Technologies International Corporation Detection and prevention of toxic gas
US9511259B2 (en) 2014-10-30 2016-12-06 Echostar Uk Holdings Limited Fitness overlay and incorporation for home automation system
US9983011B2 (en) 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
US10577912B2 (en) 2014-11-12 2020-03-03 Helmerich & Payne Technologies, Llc System and method for measuring characteristics of cuttings and fluid front location during drilling operations with computer vision
WO2016077468A1 (en) * 2014-11-12 2016-05-19 Covar Applied Technologies, Inc. System and method for inhibiting or causing automated actions based on person locations estimated from multiple video sources
US20160182249A1 (en) * 2014-12-19 2016-06-23 EchoStar Technologies, L.L.C. Event-based audio/video feed selection
US9967614B2 (en) 2014-12-29 2018-05-08 Echostar Technologies International Corporation Alert suspension for home automation system
EP3243181B1 (en) 2015-01-05 2021-10-20 PicPocket Labs, Inc. Use of a dynamic geofence to control media sharing and aggregation associated with a mobile target
US9729989B2 (en) 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
US9946857B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Restricted access for home automation system
US9948477B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Home automation weather detection
US9960980B2 (en) 2015-08-21 2018-05-01 Echostar Technologies International Corporation Location monitor and device cloning
US10984363B2 (en) * 2015-09-04 2021-04-20 International Business Machines Corporation Summarization of a recording for quality control
US9996066B2 (en) 2015-11-25 2018-06-12 Echostar Technologies International Corporation System and method for HVAC health monitoring using a television receiver
US10101717B2 (en) 2015-12-15 2018-10-16 Echostar Technologies International Corporation Home automation data storage system and methods
US9798309B2 (en) 2015-12-18 2017-10-24 Echostar Technologies International Corporation Home automation control based on individual profiling using audio sensor data
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10073428B2 (en) 2015-12-31 2018-09-11 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user characteristics
US10060644B2 (en) 2015-12-31 2018-08-28 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user preferences
US10685542B2 (en) * 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
US9882736B2 (en) 2016-06-09 2018-01-30 Echostar Technologies International Corporation Remote sound generation for a home automation system
US10294600B2 (en) 2016-08-05 2019-05-21 Echostar Technologies International Corporation Remote detection of washer/dryer operation/fault condition
US10049515B2 (en) 2016-08-24 2018-08-14 Echostar Technologies International Corporation Trusted user identification and management for home automation systems
US11025942B2 (en) * 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
US11622091B2 (en) * 2019-10-31 2023-04-04 Genetec Inc. Facilitating video monitoring of at least one location
US11064194B2 (en) 2019-10-31 2021-07-13 Western Digital Technologies, Inc. Encoding digital videos using controllers of data storage devices
US10841645B1 (en) 2019-12-09 2020-11-17 Western Digital Technologies, Inc. Storage system and method for video frame segregation to optimize storage
US11562018B2 (en) 2020-02-04 2023-01-24 Western Digital Technologies, Inc. Storage system and method for optimized surveillance search
US11301705B2 (en) 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
US11328511B2 (en) 2020-03-13 2022-05-10 Western Digital Technologies, Inc. Storage system and method for improved playback analysis
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
US11069225B1 (en) 2020-11-30 2021-07-20 Motorola Solutions, Inc. System and method for delaying an alert based on suspicious activity detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206651D0 (en) 1992-03-26 1992-05-06 Solid State Logic Ltd Video processing
US5666157A (en) 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
JPH08194714A (ja) * 1995-01-13 1996-07-30 Matsushita Electric Ind Co Ltd 圧縮動画像の検索方法および装置
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
JP3631868B2 (ja) 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
JPH10276359A (ja) * 1997-03-31 1998-10-13 Sony Corp 追尾装置および追尾方法
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6064303A (en) 1997-11-25 2000-05-16 Micron Electronics, Inc. Personal computer-based home security system
JP2000069442A (ja) * 1998-08-24 2000-03-03 Sharp Corp 動画システム
JP3997501B2 (ja) * 1998-09-03 2007-10-24 ソニー株式会社 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6570496B2 (en) * 2000-04-04 2003-05-27 Rick A. Britton Networks and circuits for alarm system operations
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100348041C (zh) * 2002-07-05 2007-11-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN101425135B (zh) * 2007-11-01 2013-08-14 国际商业机器公司 用于视频流的实时新事件检测的装置和方法
CN111435434A (zh) * 2019-01-11 2020-07-21 西部数据技术公司 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统
CN111435434B (zh) * 2019-01-11 2024-01-23 西部数据技术公司 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统

Also Published As

Publication number Publication date
DE60102627D1 (de) 2004-05-13
US6646676B1 (en) 2003-11-11
EP1173020A2 (en) 2002-01-16
EP1173020A3 (en) 2002-07-31
JP4601868B2 (ja) 2010-12-22
HK1041754A1 (zh) 2002-07-19
JP2002112253A (ja) 2002-04-12
EP1173020B1 (en) 2004-04-07

Similar Documents

Publication Publication Date Title
CN1338873A (zh) 联网的监视和控制系统
US10123051B2 (en) Video analytics with pre-processing at the source end
CN102598688B (zh) 流式传输经编码视频数据
US8922659B2 (en) Dynamically reconfigurable intelligent video surveillance system
US9846820B2 (en) Method and system for coding or recognizing of surveillance videos
CN101389029B (zh) 一种视频图像编码和检索的方法及装置
CN103503454A (zh) 场景形式的视频流编码
WO2001040995A1 (fr) Systeme et procede de recuperation d'images
CN104935886A (zh) 一种基于sopc的室内智能视频监控系统
CN1166202C (zh) 由视频重放系统从压缩数字视频信号中动态地提取特征
CN113489990B (zh) 视频编码方法、装置、电子设备及存储介质
CN101448146A (zh) 视频监控系统中的前端设备及前端设备中的信号处理方法
CN107578024A (zh) 一种人脸识别系统
CN103647940A (zh) 智能监控手机和所构成的远程视频监控系统及其监控方法
CN111277800A (zh) 监控视频编码及播放方法、装置、电子设备及存储介质
EP1815686A1 (en) Method for transferring image signals and system using the method
CN103546725A (zh) 手机客户端、远程视频监控系统及方法
CN103533353A (zh) 一种近似视频编码系统
JP2008269628A (ja) 画像検索システムおよび画像検索方法
JP2002133558A (ja) 監視用信号の通信方法、及び監視用信号通信装置
JP2004145564A (ja) 映像検索装置
Hata et al. Surveillance system with object-aware video transcoder
CN2653821Y (zh) 门禁视讯保安系统
AT&T SPECIAL ISSUE ON NETWORK-ADAPTIVE VIDEO COMMUNICATIONS
Georis et al. IP-distributed computer-aided video-surveillance system

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned