CN105391990A - 采用视频基元的视频监视系统 - Google Patents

采用视频基元的视频监视系统 Download PDF

Info

Publication number
CN105391990A
CN105391990A CN201510954472.5A CN201510954472A CN105391990A CN 105391990 A CN105391990 A CN 105391990A CN 201510954472 A CN201510954472 A CN 201510954472A CN 105391990 A CN105391990 A CN 105391990A
Authority
CN
China
Prior art keywords
attribute
video
event
processor
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510954472.5A
Other languages
English (en)
Inventor
彼得·L·韦奈蒂阿奈尔
艾伦·J·利普顿
安德鲁·J·肖克
马休·F·弗拉吉尔
尼尔斯·黑林
普瑞·梅耶斯
尹卫红
张忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prestige Zhi Lunfuzhi Fort Co
Objectvideo Inc
Original Assignee
Prestige Zhi Lunfuzhi Fort Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37074050&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105391990(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Prestige Zhi Lunfuzhi Fort Co filed Critical Prestige Zhi Lunfuzhi Fort Co
Publication of CN105391990A publication Critical patent/CN105391990A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种视频监视系统，提取视频基元，并使用事件鉴别器来从视频基元中提取事件发生。该系统可基于所提取的事件发生，做出响应，例如警报。

Description

采用视频基元的视频监视系统
技术领域
本发明涉及一种采用视频基元的自动视频监视系统。
参考文献
为了方便读者，下面列出在此引用的参考文献。在说明书中，括号内的数字表示各个参考文献。将所列的参考文献合并在此以作参考。
下面的参考文献描述了运动目标检测：
{1}A.Lipton，H.Fujiyoshi和R.S.Patil，″MovingTargetDetectionandClassificationfromReal-TimeVideo，″Proceedingsof IEEEWACV′98.Princeton，NJ，1998，pp.8-14.
{2}W.E.L.Grimson，etal.，″UsingAdaptiveTrackingtoClassifyandMonitorActivitiesinaSite″，CVPR.pp.22-29，June1998.
{3}AJ.Lipton，H.Fujiyoshi，R.S.Patil，″MovingTargetClassificationandTrackingfromReal-timeVideo.″IUW.pp.129-136，1998.
{4}TJ.Olson和F.Z.Brill，″MovingObjectDetectionandEventRecognitionAlgorithmforSmartCameras，″IUW.pp.159-175，May1997.
下面的参考文献描述了检测和人物跟踪：
{5}A.J.Lipton，″LocalApplicationofOpticalFlowtoAnalyzeRigidVersusNon-RigidMotion，″InternationalConferenceonComputer Vision.Corfu，Greece，September1999.
{6}F.Bartolini，V.Cappellini，和A.Mecocci，″Countingpeoplegettinginandoutofabusbyreal-timeimage-sequenceprocessing，″IVC.12(1)：36-41，January1994.
{7}M.Rossi和A.Bozzoli，″Trackingandcountingmovingpeople，″ICIP94.pp.212-216，1994：
{8}CR.Wren，A.Azarbayejani，T.Darrell，和A.Pentland，″Pfinder：Real-timetrackingofthehumanbody，″Vismod.1995.
{9}L.Khoudour，L.Duvieubourg，J.P.Deparis，″Real-TimePedestrianCountingbyActiveLinearCameras，″JEI，5(4)：452-459，October1996.
{10}S.Ioffe，D.A.Forsyth，″ProbabilisticMethodsforFindingPeople，″IJCV.43(1)：45-68，June2001.
{11}M.Isard和J.MacCormick，″BraMBLe：ABayesianMultiple-BlobTracker，″ICCV.2001.Thefollowingreferencesdescribeblobanalysis：
下面的参考文献描述了团迹(blob)分析：
{12}D.M.Gavrila，″TheVisualAnalysisofHumanMovement：ASurvey，″CVIU.73(1)：82-98，January1999.
{13}NielsHaering和NielsdaVitoriaLobo，″VisualEventDetection，″VideoComputingSeries，EditorMubarakShah，2001.
下面的参考文献描述了针对卡车、汽车和人物的团迹分析：
{14}Collins，Lipton，Kanade，Fujiyoshi，Duggins，Tsin，Tolliver，Enomoto，和Hasegawa，″ASystemforVideoSurveillanceandMonitoring：VSAMFinalReport，″TechnicalReportCMU-RI-TR-OO-12，RoboticsInstitute，CarnegieMellonUniversity，May2000.
{15}Lipton，Fujiyoshi，和Patil，″MovingTargetClassificationandTrackingfromReal-timeVideo，″98DarpaIUW.Nov.20-23，1998.
下面的参考文献描述了对单人的团迹及其轮廓的分析：
{16}CR.Wren，A.Azarbayejani，T.Darrell，和A.P.Pentland.″Pf[iota]nder：Real-TimeTrackingoftheHumanBody，″PAMI.vol19，pp.780-784，1997.
下面的参考文献描述了团迹的内部运动，包括任何基于运动的分割：
{17}M.Allmen和C.Dyer，″Long-RangeSpatiotemporalMotionUnderstandingUsingSpatiotemporalFlowCurves，″Proc.IEEECVPR.Lahaina，Maui，Hawaii，pp.303-309，1991.
{18}L.Wixson，″DetectingSalientMotionbyAccumulatingDirectionallyConsistentFlow″，IEEETrans.PatternAnal.Mach.Intell.，vol.22，pp.774-781，Aug，2000.
背景技术
公共场所的视频监视变得非常普遍，并被普通大众所接受。遗憾的是，传统的视频监视系统产生非常大量的数据，从而在视频监视数据的分析中造成难以处理的问题。
需要减少视频监视数据量，以便可以进行视频监视数据的分析。
需要过滤视频监视数据，以便识别出视频监视数据中需要的部分。
发明内容
本发明的目的是减少视频监视数据量，以便可以进行视频监视数据的分析。
本发明的目的是过滤视频监视数据，以便识别出视频监视数据中需要的部分。
本发明的目的是根据视频监视数据，基于对事件的自动检测，产生实时警报。
本发明的目的是整合来自监视传感器的数据而不是视频，以提高搜索能力。
本发明的目的是整合来自监视传感器的数据而不是视频，以提高事件检测能力。
本发明包括用于视频监视的制造产品、方法、系统和设备。
本发明的制造产品包括计算机可读介质，计算机可读介质包括用于视频监视系统的软件，并包括用于基于视频基元来操作视频监视系统的代码段。
本发明的制造产品包括计算机可读介质，计算机可读介质包括用于视频监视系统的软件，并包括用于访问存档的视频基元的代码段以及用于从所访问的存档视频基元中提取事件发生的代码段。
本发明的系统包括计算机系统，计算机系统包括计算机可读介质，计算机可读介质具有软件，用于根据本发明来操作计算机。
本发明的设备包括计算机，计算机包括计算机可读介质，计算机可读介质具有软件，用于根据本发明来操作计算机。
本发明的制造产品包括计算机可读介质，计算机可读介质具有软件，用于根据本发明来操作计算机。
此外，本发明的上述目的和优点是本发明可实现的目的和优点的示例，而不是穷尽列举的。因此，根据这里的说明，这里所体现的以及考虑到对于本领域技术人员而言显而易见的任意改变而做出的修改的本发明的这些和其它目的和优点将是显然的。
定义
“视频”是指以模拟和/或数字形式呈现的运动图像。视频的示例包括：电视、电影、来自摄像机或其它观察器的图像序列以及计算机产生的图像序列。
“帧”是指视频内的特定图像或其它离散单元。
“对象”是指视频中感兴趣的项目。对象的示例包括：人、车辆、动物和物理对象。
“活动”是指一个或多个对象的一个或多个动作和/或一个或多个动作的一个或多个合成。活动的示例包括：进入、退出、停止、移动、上升、下降、膨胀和收缩。
“位置”是指活动可能发生的空间。例如，位置可以是基于场景的或基于图像的。基于场景的位置的示例包括：公共空间、商店、零售商店、办公室、仓库、酒店房间、酒店大厅、建筑物大厅、娱乐场、公共汽车站、火车站、飞机场、港口、公共汽车、火车、飞机以及轮船。基于图像的位置的示例包括：视频图像；视频图像中的行；视频图像中的区域；视频图像的矩形部分；视频图像的多边形部分。
“事件”是指活动所涉及的一个或多个对象。可以相对于位置和/或时间而提及事件。
“计算机”是指能够接受结构化输入、根据预定规则来处理结构化输入、并产生处理结果作为输出的任意设备。计算机的示例包括：计算机、通用计算机、超型计算机、大型机、超小型计算机、小型计算机、工作站、微型计算机、服务器、交互式电视、计算机和交互式电视的混合组合、以及对计算机和/或软件进行仿真的专用硬件。计算机可具有单个处理器或多个处理器，这些处理器可并行操作也可不并行操作。计算机还指通过网络连接在一起、用于在计算机之间发送或接收信息的两个或多个计算机。这种计算机的示例包括分布式计算机系统，用于经由通过网络链接的计算机来处理信息。
“计算机可读介质”是指用于存储可由计算机访问的数据的任何存储设备。计算机可读介质的示例包括：磁硬盘、软盘、例如CD-ROM和DVD的光盘、磁带、存储芯片、以及用于载有计算机可读电信号的载波，例如用在发送和接收电子邮件或访问网络中的载波。
“软件”是指操作计算机的预定规则。软件的示例包括：软件、代码段、指令、计算机程序和可编程逻辑。
“计算机系统”是指具有计算机的系统，其中计算机包括包含有操作计算机的软件的计算机可读介质。
“网络”是指通过通信设施连接的多个计算机和相关的设备。网络包括例如电缆的永久性连接和例如通过电话或其它通信链路而进行的暂时性连接。网络的示例包括：例如因特网的互联网、内联网、局域网(LAN)、广域网(WAN)以及例如互联网和内联网等网络的组合。
附图说明
通过附图来更加详细地解释本发明的实施例，附图中相同的附图标记指代相同的特征。
图1示出了本发明的视频监视系统的平面图。
图2示出了本发明的视频监视系统的流程图。
图3示出了用于给视频监视系统分派任务的流程图。
图4示出了用于操作视频监视系统的流程图。
图5示出了用于提取视频监视系统的视频基元的流程图。
图6示出了对视频监视系统采取行动的流程图。
图7示出了视频监视系统的半自动校准的流程图。
图8示出了视频监视系统的自动校准的流程图。
图9示出了本发明的视频监视系统的附加流程图。
图10-15示出了本发明的视频监视系统用于监视杂货商店的示例。
图16a示出了根据本发明实施例的视频分析子系统的流程图。
图16b示出了根据本发明实施例的事件发生检测和响应子系统的流程图。
图17示出了示范性的数据库查询。
图18示出了根据本发明多个实施例的三个示范性活动检测器：检测横穿绊网(图18a)、闲逛(图18b)和偷窃(图18c)。
图19示出了根据本发明实施例的活动检测器查询。
图20示出了根据本发明实施例的使用活动检测器以及具有修饰符的布尔算子的示范性查询。
图21a和21b示出了使用多级组合算符(combinator)、活动检测器以及属性查询的示范性查询。
图22示出了根据本发明实施例的视频监视系统的示范性配置。
图23示出了根据本发明实施例的视频监视系统的另一示范性配置。
图24示出了根据本发明实施例的视频监视系统的另一示范性配置。
图25示出了可在本发明实施例的示范性配置中使用的网络。
具体实施方式
本发明的自动视频监视系统用于地点监视，以用于例如市场研究或安全目的。该系统可以是安装有为特定目的构造的监视组件的专用视频监视装置，或者该系统可以是对现有背负(piggybackoff)监视视频馈给的视频监视装置的改进。该系统能够分析来自现场源或来自记录媒体的视频数据。该系统能够实时处理视频数据，并存储所提取的视频基元以允许以后进行非常高速的法律(forensic)事件检测。该系统可具有针对该分析的规定响应，例如：记录数据，激活警报机制，或者激活另一个传感器系统。该系统还能够集成有其它监视系统组件。该系统可被用于制作例如可根据操作者的需要而定制的安全或市场研究报告，以及可选地，可通过基于交互式网络的界面或者其它报告机制而提供的报告。
通过使用事件鉴别器来配置系统，给操作者提供最大灵活性。事件鉴别器由一个或多个对象(其描述是基于视频基元的)、以及一个或多个可选空间属性和/或一个或多个可选时间属性来标识。例如，操作者可将事件鉴别器(在该示例中被称为“闲逛”事件)定义为“在10：00p.m.和6：00a.m.之间”“人物”对象在“自动售货机”空间“长于15分钟”。事件鉴别器可与修饰的布尔算子组合以形成更复杂的查询。
尽管本发明的视频监视系统利用来自公共领域的已知的计算机图像技术，但是本发明的视频监视系统具有当前并不可用的多个独特且新颖的特征。例如，当前的视频监视系统将大量视频图像用作信息交换的初级产品。本发明的系统将视频基元用作初级产品，而将代表性视频图像用作附属证据。可以(手动、半自动或自动)校准本发明的系统，从而本发明的系统可自动地从视频图像中推断出视频基元。该系统还可分析先前处理的视频，而不需要完全重新处理视频。通过分析先前处理的视频，该系统可基于先前记录的视频基元来执行推理分析，这极大地提高了计算机系统的分析速度。
视频基元的使用还可显著地降低对视频的存储需求。这是因为事件检测和响应子系统仅使用视频来对检测进行示例。因此，可以以低质量来存储或传输视频。在可能的实施例中，仅在检测到活动时才存储或传输视频，而不是总在存储或传输视频。在另一可能的实施例中，所存储或传输的视频的质量可取决于是否检测到活动：在检测到活动时以较高质量(更高的帧频和/或比特率)来存储或传输视频，并且在其它时候以低质量来存储或传输视频。在另一示范性实施例中，例如，可由数字视频记录器(DVR)独立地处理视频存储和数据库，并且视频处理子系统可仅控制是否且以何种质量来存储数据。在另一实施例中，视频监视系统(或其组件)可以处于例如数字摄像机、网络视频服务器、DVR或网络视频记录器(NVR)的视频管理设备上载有的处理设备(例如通用处理器、DSP、微控制器、ASIC、FPGA或其它设备)上，并且系统可对来自设备的视频的带宽进行调制。仅在检测到感兴趣的活动时，才通过IP视频网络传输高质量视频(高比特率或帧频)。在该实施例中，可通过网络将来自智能化设备的基元广播到位于不同物理位置处的多个活动推理应用，以使单摄像机网络能够通过分布式处理来提供多用途的应用。
图22示出了实现视频监视系统的一种配置。块221代表原始(未压缩的)数字视频输入。例如，这可通过模拟视频信号的模-数捕获或数字视频信号的解码而获得。块222代表容纳视频监视系统的主要组件(视频分析块225和活动推理块226)的硬件平台。该硬件平台可包含其它组件，例如：操作系统(块223)；视频编码器(块224)，用于使用任何可用压缩方案(JPEG、MJPEG、MPEG1、MPEG2、MPEG4、H.263、H.264、小波或其它)来压缩原始数字视频以便流传输或存储视频；存储机制(块227)，用于保持例如视频、压缩视频、警报和视频基元的数据，该存储设备可以是例如硬盘、板上RAM、板上FLASH存储器或其它存储介质；以及通信层(块228)，例如可以将数据分组和/或数字化，以在通信信道(块229)上传输。
可能有其它软件组件驻留在与通信信道229连接的网络的其它节点处的计算平台上。块2210示出了用作创建视频监视规则的用户接口的规则管理工具。块2211示出了用于向用户显示警报并向用户做出报告的警报控制台。块2212示出了用于存储警报、基元和视频以用于进一步的事后处理的存储设备(例如DVR、NVR或PC)。
硬件平台(块222)上的组件可在例如摄像机、数码摄像机、IP摄像机、IP视频服务器、数字视频记录器(DVR)、网络视频记录器(NVR)、PC、膝上型计算机或其它设备的任何视频捕获、处理或管理设备上的任何处理硬件(通用处理器、微控制器、DSP、ASIC、FPGA或其它处理设备)上实现。对于该配置，存在多种不同的可能的操作模式。
在一种模式下，系统被编程为查找特定事件。在发生这些事件时，通过通信信道(块229)将警报传输给其它系统。
在另一种模式下，在视频设备对视频数据进行分析的同时从视频设备中流传输视频。当发生事件时，通过通信信道(块229)来传输警报。
在另一种模式下，通过内容分析和活动推理来对视频编码和流传输进行调制。当没有活动(没有产生基元)时，没有流传输的视频(或者低质量、比特率、帧频、分辨率)。当存在某种活动(产生了基元)时，流传输高质量、比特率、分辨率的视频。当通过事件推理检测到感兴趣的事件时，流传输非常高的质量、比特率、帧频、分辨率的视频。
在另一种操作模式下，将信息存储在板上存储设备(块227)中。所存储的数据可包括数字视频(原始或压缩的)、视频基元、警报或其它信息。所存储的视频质量也可由基元或警报的存在与否来控制。当存在基元和警报时，可存储高质量、比特率、帧频、分辨率的视频。
图23示出了实现视频监视系统的另一种配置。块231代表原始(未压缩的)数字视频输入。例如，这可通过模拟视频信号的模-数捕获或数字视频信号的解码而获得。块232代表容纳视频监视系统的主要组件(块235)的硬件平台。该硬件平台可包含其它组件，例如：操作系统(块233)；视频编码器(块234)，用于使用任何可用压缩方案(JPEG、MJPEG、MPEG1、MPEG2、MPEG4、H.263、H.264、小波或其它)来压缩原始数字视频以便流传输或存储视频；存储机制(块236)，用于保持例如视频、压缩视频、警报和视频基元的数据，该存储设备可以是例如硬盘、板上RAM、板上FLASH存储器或其它存储介质；以及通信层(块237)，例如可以将数据分组和/或数字化，以在通信信道(块238)上传输。在图23所示的本发明实施例中，活动推理组件(块2311)被示出为在独立的硬件组件(块239)上，该独立的硬件组件与通信信道238所连接的网络相连。
可能有其它软件组件驻留在该网络的其它节点(块239)处的计算平台上。块2310示出了用作创建视频监视规则的用户接口的规则管理工具。块2312示出了用于向用户显示警报并向用户做出报告的警报控制台。块2313示出了可位于物理上相同硬件平台上的存储设备(例如硬盘、软盘、其它磁盘、CD、DVD、其它光盘、MD或其它磁光盘、例如RAM或FLASHRAM的固态存储设备或其它存储设备)，或者块2313也可以是独立的存储设备(例如外部磁盘驱动器、PC、膝上型计算机、DVR、NVR或其它存储设备)。
硬件平台(块222)上的组件可在例如摄像机、数码摄像机、IP摄像机、IP视频服务器、数字视频记录器(DVR)、网络视频记录器(NVR)、PC、膝上型计算机或其它设备的任何视频捕获、处理或管理设备上的任何处理平台(通用处理器、微控制器、DSP、ASIC、FPGA或其它处理设备)上实现。后端硬件平台(块239)上的组件可在例如PC、膝上型计算机、单板计算机、DVR、NVR、视频服务器、网络路由器、手持设备(例如视频电话、寻呼机或PDA)的任何处理设备上的任何处理硬件(通用处理器、微处理器、DSP、FPGA、ASIC、或任意其它设备)上实现。对于该配置，存在多种不同的可能的操作模式。
在一种模式下，系统被编程在后端设备(或任意其它与后端设备相连的设备)上，用于查找特定事件。视频处理平台(块232)上的内容分析模块(块235)产生传输到后端处理平台(块239)的基元。事件推理模块(块2311)确定是否违反了规则，并产生可显示在警报控制台(块2312)上或存储在存储设备(2313)中的警报以用于后面的分析。
在另一种模式下，可将视频基元和视频存储在后端平台(2313)上的存储设备中以用于后面的分析。
在另一种模式下，可由警报来调制所存储的视频的质量、比特率、帧频、分辨率。当存在警报时，可以以较高的质量、比特率、帧频、分辨率来存储视频。
在另一种模式下，可通过通信信道将视频基元存储在视频处理设备(块232中的块236)上，以用于后面的分析。
在另一种模式下，可由基元的存在与否来调制存储在视频处理设备(块232中的块236)上的视频的质量。当存在基元时(当出现某些事时)，可提高所存储的视频的质量、比特率、帧频、分辨率。
在另一种模式下，可经由通信信道238，通过编码器(234)从视频处理器向网络上的其它设备流传输视频。
在另一种模式下，可由内容分析模块(235)来调制视频质量。当没有基元(没有发生什么事)时，不流传输(或低质量、比特率、帧频、分辨率)视频。当存在活动时，流传输高质量、比特率、帧频、分辨率的视频。
在另一种模式下，可由警报的存在与否来对流传输的视频的质量、比特率、帧频、分辨率进行调制。当后端事件推理模块(块2311)检测到感兴趣的事件时，其可向视频处理组件(块232)发送信号或命令，以请求视频(或较高质量、比特率、帧频、分辨率的视频)。在接收到该请求时，视频压缩组件(块234)和通信层(块237)可改变压缩和流传输参数。
在另一种模式下，可由警报的存在与否来对存储在板上视频处理设备(块232中的块236)上的视频的质量进行调制。当后端处理器(块239)上的事件推理模块(块2311)产生警报时，其经由通信信道(块238)将消息发送到视频处理器硬件(块232)，以提高存储在板上存储设备(238)中的视频的质量、比特率、帧频、分辨率。
图24示出了图23所述的配置的扩展。通过将视频内容分析和后端活动推理的功能分离，可以通过后期应用绑定的过程来实现多用途智能化视频监视系统。智能化摄像机的单个网络可广播单个视频基元流，来分离组织中不同部分(处于不同物理位置处)的后端应用，并实现多种功能。由于基元流包含与场景中正在进行的所有事情有关的信息，并且并不依赖于特定的应用领域，所以这是可能的。图24所示的示例与零售环境相关，但是示出了一般原理，并且适用于任何其它应用领域和任何其它监视功能。块241示出了设施内或多个设施间的一个或多个摄像机的智能化网络。内容分析组件可驻留在与网络相连的摄像机内的处理设备、视频服务器、网络路由器、DVR、NVR、PC、膝上型计算机或任意其它视频处理设备上。经由标准网络，从这些内容分析组件将基元流广播到驻留在用于不同目的的不同物理区域中的后端处理器(块242-245)上的活动推理模块。后端处理器可以在计算机、膝上型计算机、DVR、NVR、网络路由器、手持设备(电话、寻呼机、PDA)或其它计算设备上。这种分布式的一个优点在于，不需要必须被编程为进行所有可能应用的所有处理的中央处理应用。另一个优点是安全性，因此组织的一个部分可基于本地存储的规则进行活动推理，而网络中的其它部分不能访问该信息。
在块242中，针对物理安全性应用而分析来自智能化摄像机网络的基元流，以便：确定是否存在周边侵犯、破坏，并保持关键资产。当然，这些应用仅仅是示例性的，任何其它应用都是可能的。
在块243中，针对丢失防止应用来分析来自智能化摄像机网络的基元流，以便：监控装载码头；监视顾客或雇员的偷窃行为，监控仓库，并跟踪库存。当然，这些应用仅仅是示例性的，任何其它应用都是可能的。
在块244中，针对公共安全和责任应用来分析来自智能化摄像机网络的基元流，以便：监控停车场中移动过快的人或车辆，监视人的滑到，并监控设施内和设施周围的人群。当然，这些应用仅仅是示例性的，任何其它应用都是可能的。
在块245中，针对商业智能应用来分析来自智能化摄像机网络的基元流，以便：观察队列长度，跟踪顾客行为，了解行为模式，执行例如在无人时控制照明和加热的建筑物管理任务。当然，这些应用仅仅是示例性的，任何其它应用都是可能的。
图25示出了有多个可能的智能化设备与之相连的网络(块251)。块252是载有内容分析组件的IP摄像机，可在网络上流传输基元。块253是载有内容分析和活动推理组件的IP摄像机，可直接对其进行规则编程，从而该块253直接产生网络警报。块254是不载有智能组件的标准模拟摄像机；但是，它与执行视频数字化和压缩以及内容分析和活动推理的IP视频管理平台(块256)相连。可用专用于查看的规则来对其进行编程，并且该块254能够经由网络来传输基元流和警报。块255是具有活动推理组件的DVR，它能够从其它设备汲取基元流并产生警报。块257是具有无线网络通信能力的手持PDA，载有活动推理算法，并能够从网络接受视频基元并显示警报。块258是完整的智能化视频分析系统，其能够接受模拟或数字视频流、执行内容分析和活动推理，并在一系列警报控制台上显示警报。
作为另一示例，本发明的系统提供独特的系统任务分派。使用设备控制指示，当前视频系统允许用户定位视频传感器，并且在一些复杂的传统系统中，允许用户指出感兴趣或不感兴趣的区域。设备控制指示是控制摄像机的位置、朝向和焦点的指令。代替设备控制指示，本发明的系统使用基于视频基元的事件鉴别器，作为主要任务分派机制。利用事件鉴别器和视频基元，给操作者提供了比传统系统更加直观的方法，以从系统提取有用信息。并不是用例如“摄像机A向左摇转45度”的设备控制指示来给系统分派任务，而是，可以用基于视频基元的一个或多个事件鉴别器，例如“人进入了限制区域A”，以人类直观方式给本发明的系统分派任务。
将本发明用于市场研究，下面是本发明可执行的视频监视类型的示例：计算商店内的人；计算商店部分区域中的人；计算在商店的特定位置处停下来的人；测量人在商店待了多长时间；测量人在部分区域中待了多长时间；以及测量商店中的队列长度。
将本发明用于保安目的，下面是本发明可执行的视频监视类型的示例：确定何时有人进入限制区域并存储有关图像；确定何时有人在异常时间进入区域；确定何时发生也许是未授权的对货架空间和存储空间的改变；确定何时机上乘客接近座舱；确定何时人们穿过安全入口；确定在机场是否有无人看管的包；以及确定是否有偷窃财物行为。
示范性的应用可以是访问控制，这可包括例如：检测是否有人爬过围墙，或者进入禁止区域；检测是否有人沿错误的方向移动(例如在机场，通过出口进入安全区域)；确定如果在感兴趣区域检测到的对象数目并不与基于RFID标签或刷卡进入而预计的数目匹配，指示未授权人员的存在。这在住宅应用中也是有用的，其中，视频监视系统能够区分人和宠物的动作，因此消除大多数错误的警报。注意，在多数住宅应用中，隐私是重要问题；例如，业主也许不希望有人远程监视家里并能够看到家中的物品和家中发生的事务。因此，在这些应用中使用的一些实施例中，可在本地执行视频处理，并且仅在需要时(例如但不局限于对动物活动或其它危险情况的检测)才将可选视频或镜头发送到一个或多个远程监控站。
另一个示范性应用领域可以是资产监控。这意味着，检测对象是否离开场景，例如，展品是否被从展览馆移走。在零售环境中，资产监控可具有多个方面，例如可包括：检测是否有单个可疑人员偷偷摸摸地拿了大量的指定物品；确定是否有人通过入口退出，尤其是是否推着购物车通过入口退出；确定是否有人将不匹配价格标签贴到物品上，例如，装满一包很贵的咖啡，但是使用了低价咖啡的价格标签；或者检测是否有人在装载码头留下了大箱子。
另一个示范性应用领域可以是针对安全目的。例如，这可以包括：检测是否有人滑倒，例如在商店或在停车场；检测是否有车在停车场开得很快；检测在站台没有车时是否有人离火车或地铁的站台边缘距离太近；检测是否有人在铁轨上；检测在火车开动时是否有人被车门夹住；或者计算进入和离开设施的人数，因此保持精确的人头数，这在紧急情况下非常重要。
另一个示范性应用领域可以是交通监控。这可包括：检测是否有车辆停住了，尤其是在诸如桥梁或隧道之类的地点，或者检测是否有车辆停在非停车区域。
另一个示范性应用领域可以是反恐怖主义。除了上面提到的一些应用之外，这还可包括：检测是否有物体被留在机场，是否有物体被扔过围墙，或者是否有物体被留在铁轨上；检测围绕关键基础设施移动的人或车辆；或者检测向港口或开放水域的轮船快速接近的小船。
另一个示范性应用领域可以照顾老弱病残，尤其是在家里。例如，这可以包括：检测是否有人跌倒；或者检测异常行为，例如在过长时间段上无人进入厨房。
图1示出了本发明的视频监视系统的平面图。计算机系统11包括计算机12，计算机12具有计算机可读介质13，计算机可读介质13包含用于根据本发明来操作计算机12的软件。计算机系统11连接到一个或多个视频传感器14、一个或多个视频记录器15以及一个或多个输入/输出(I/O)设备16。视频传感器14还可选地连接到视频记录器15，用于直接记录视频监视数据。该计算机系统可选地连接到其它传感器17。
视频传感器14向计算机系统11提供源视频。每个视频传感器14可通过例如直接连接(例如火线数码摄像机接口)或网络连接到计算机系统11。视频传感器14可在本发明的安装之前就存在，或者可作为本发明的一部分而安装。视频传感器14的示例包括：视频摄像机、数码摄像机、彩色摄像机、单色摄像机、摄像机、可携式摄像机、PC摄像头、网络摄像机(webcam)、红外视频摄像机和CCTV摄像机。
视频记录器15从计算机系统11接收视频监视数据以用于记录和/或将源视频提供给计算机系统11。每个视频记录器15可使用例如直接连接或网络连接到计算机系统11。视频记录器15可在本发明的安装之前就存在，或者可作为本发明的一部分而安装。计算机系统11中的视频监视系统可控制何时以何种质量来设置视频记录器15记录视频。视频记录器15的示例包括：磁带录像机、数字视频记录器、网络视频记录器、录像盘、DVD和计算机可读介质。该系统还可通过控制视频编码器和流传输协议，来调制在网络上流传输的视频的带宽和质量。当检测到感兴趣的活动时，可编码并流传输较高比特率、帧频或分辨率的图像。
I/O设备16向计算机系统11提供输入并从计算机系统11接收输出。I/O设备16可用于给计算机系统11分派任务，并从计算机系统11产生报告。I/O设备16的示例包括：键盘、鼠标、手写笔、监视器、打印机、其他计算机系统、网络和警报器。
其它传感器17给计算机系统11提供附加输入。每个其它传感器17可使用例如直接连接或网络连接到计算机系统11。其它传感器17可在本发明的安装之前就存在，或者作为本发明的一部分而安装。其它传感器17的示例包括但不局限于：运动传感器、光学绊网、生物测定传感器、RFID传感器和基于卡或基于键盘的授权系统。其它传感器17的输出可由计算机系统11、记录设备和/或记录系统记录。
图2示出了本发明的视频监视系统的流程图。参考图10-15，以本发明的多个方面为例，示出了用于监控杂货店的本发明视频监视系统的示例。
在块21中，如针对图1所述的，建立视频监视系统。每个视频传感器14朝向视频监视的位置。计算机系统11与来自视频装置14和15的视频馈送相连。可使用该位置的已有装置或新安装的装置来实现视频监视系统。
在块22中，校准视频监视系统。一旦视频监视系统从块21就位了，就进行校准。块22的结果是视频监视系统能够确定在视频传感器所提供的视频图像的各个位置处的特定对象(例如人)的近似绝对大小和速度。。可使用手动校准、半自动校准和自动校准来校准系统。在块24的论述之后进一步描述校准。
在图2的块23中，给视频监视系统分派任务。分派任务发生在块22的校准之后，并且是可选的。给视频监视系统分派任务包括指定一个或多个事件鉴别器。在没有分派任务的情况下，视频监视系统通过检测并存档视频基元和有关的视频图像，而不像图4中块45所示地采取任何动作，来进行操作。
图3示出了用于给视频监视系统分派任务以确定事件鉴别器的流程图。事件鉴别器是指可选地与一个或多个空间属性和/或一个或多个时间属性相互作用的一个或多个对象。根据视频基元(也称为活动描述元数据)来描述事件鉴别器。一些视频基元设计标准包括如下：能够被实时从视频流中提取；包括来自视频的所有有关信息；以及表征的简洁性。
希望从视频流实时提取视频基元，以便使系统能够产生实时警报。并且通过这么做，由于视频提供了连续的输入流，该系统不会落后。
视频基元还应该包含来自视频的所有有关信息，因为在提取视频基元时，系统不知道用户定义的规则。因此，视频基元应该包含信息以能够检测用户所指定的任何事件，而不需要返回视频并重新分析视频。
由于多种原因，也希望有简洁表征。所提出的本发明的一个目的是扩展监视系统的存储循环使用时间。如上所述，这可以通过存储活动描述元数据和质量取决于活动存在与否的视频来取代总是存储高质量的视频而实现。因此，视频基元越简洁，可存储的数据越多。此外，视频基元表征越简洁，数据访问越快，因此，可加速法律搜索。
视频基元的精确内容可取决于应用和可能的感兴趣事件。下面描述一些示范性实施例。
视频基元的示范性实施例可包括场景/视频描述符，描述整个场景和视频。通常，这可包括场景出现的详细描述，例如天空、植物、人造物体、水等的定位；和/或气象条件，例如降雨、雾等的存在/不存在。对于视频监视应用，例如，全景中的变化可能非常重要。示范性描述符可描述突然的照明变化；它们可以指示摄像机的运动，尤其是摄像机开始或停止移动，并且在后一种情况下，指示摄像机是否返回到前一景象或者至少返回到前一已知景象；它们可指示视频馈送的质量变化，例如，馈送是否突然变得噪声很大或变暗，可能指示出对馈送的篡改；或者它们可以示出沿着水体的水线的改变(对于该后一问题的特定方法的其它信息，例如，可以查阅2004年10月1日申请的待审美国专利申请No.10/954,479，并通过参考将其合并在此)。
视频基元的另一个示范性实施例可包括对在视频馈送中看到的对象的可观测属性进行指代的对象描述符。存储何种对象有关信息可取决于应用领域和可用的处理能力。示范性对象描述符可包括一般属性，包括但不局限于大小、形状、周长、位置、运动轨迹、速度和方向、运动突出性及其特征、颜色、刚性、纹理和/或类别。对象描述符还可包含一些对于应用和类别更加特定的信息：对于人，这可包括肤色的存在和比例、性别和种族信息、描述体形和姿态的一些人体模型；或者对于车辆，这可包括类别(例如卡车、SUV、轿车、自行车等)、品牌、型号、许可牌号。对象描述符还可包含活动，包括但不局限于携带对象、跑动、走动、站起或举手。例如谈话、打架或冲突的一些活动也可涉及到其它对象。对象描述符还可包含识别信息，包括但不局限于脸部或步态。
视频基元的另一个示范性实施例可包括描述视频的每个区域的运动方向的动向(flow)描述符。例如，可通过检测禁止方向上的任何运动，将这种描述符用于检测回传(passback)事件(对于该后一问题的特定方法的其它信息，例如，可以查阅2004年1月30日申请的待审美国专利申请No.10/766,949，并通过参考将其合并在此)。
基元还可来自非视频源，例如音频传感器、热传感器、压力传感器、读卡器、RFID标签、生物测定传感器等。
分类是指对对象属于特定种类或类别的标识。分类的示例包括：人、狗、车辆、警车、个人和特定种类的对象。
大小是指对象的尺寸属性。大小的示例包括：大、中、小、平、高于6英尺、短于1英尺、比3英尺宽、比4英尺薄、大约人体尺寸、比人大、比人小、大约车的大小、图像中具有近似像素大小的矩形以及多个图像像素。
位置是指对象的空间属性。例如，位置可以是：像素坐标形式的图像位置、一些世界坐标系中的绝对真实世界位置、或者相对于地理标志或另一对象的位置。
颜色是指对象的色彩属性。颜色的示例包括：白色、黑色、灰色、红色、HSV值的范围、YUV值的范围、RGB值的范围、平均RGB值、平均YUV值、RGB值的直方图。
刚性是指对象的形状一致性属性。非刚性对象(例如人或动物)的形状可在不同帧之间变化，而刚性对象(例如车辆或房子)的形状可在不同帧之间保持大体上不变(除非可能由于转向而稍有改变)。
纹理是指对象的图案属性。纹理特征的示例包括：自相似性、谱功率、线性和粗糙程度。
内部运动是指对象刚性的度量。完全刚性的对象的示例是车，其并不表现出大量内部运动。完全非刚性的对象的示例是四肢摆动的人，其表现出大量的内部运动。
运动是指可自动检测到的任何运动。运动的示例包括：对象的出现；对象的消失；对象的垂直运动；对象的水平运动；以及对象的周期运动。
突出(salient)运动是指可被自动检测到并在某个时间段上被跟踪的任何运动。这种运动的对象表现出明显有目的的运动。突出运动的示例包括：从一个地方移动到另一个地方；以及移动以与另一个对象相互作用。
突出运动的特征是指突出运动的性质。突出运动的特征的示例包括：轨迹；图像空间中轨迹的长度；轨迹在环境的三维表征中的近似长度；对象在图像空间随时间变化的位置；对象在环境的三维表征中随时间变化的近似位置；轨迹的持续时间；图像空间中的速度(例如速率和方向)；环境的三维表征中的近似速度(例如速率和方向)；在某一速度上的持续时间；图像空间中速度的改变；环境的三维表征中速度的近似改变；速度改变的持续时间；运动的停止；以及运动停止的持续时间。速度是指在特定时间出对象的速率和方向。轨迹是指在可跟踪对象的时间段或某一时间段上对象的(位置，速度)对集合。
场景变化是指可检测到随时间段而变化的场景的任何区域。场景变化的示例包括：静态对象离开场景；对象进入场景并变为静态的；对象在场景中改变位置；以及对象改变外观(例如颜色、形状或大小)。
场景变化的特征是指场景变化的性质。场景变化的特征的示例包括：图像空间中场景变化的大小；环境的三维表征中场景变化的近似大小；场景变化发生的时间；图像空间中场景变化的位置；以及环境的三维表征中场景变化的近似位置。
预定义模型是指对象的先验已知模型。预定义模型的示例可包括：成人；小孩；车辆和半拖车。
图16a示出了根据本发明实施例的视频监视系统的示范性视频分析部分。在图16a中，视频传感器(例如但不局限于视频摄像机)1601可向视频分析子系统1603提供视频流1602。视频分析子系统1603然后可执行视频流1602的分析，以导出视频基元，可将视频基元存储在基元存储器1605中。基元存储器1605还可用于存储非视频基元。视频分析子系统1603还可控制将视频流1602的所有或部分(例如上述的视频的质量和/或量)存储在视频存储器1604中。
现在参考图16b，一旦视频和(如果有其它传感器的话)非视频基元161可用，则系统可检测事件。用户通过使用规则和响应定义接口162，定义规则163和相应的响应164，来给系统分派任务。将规则转译为事件鉴别器，并且系统提取相应的事件发生165。所检测到的事件发生166触发用户定义的响应167。响应可包括来自视频存储器168(可以与图16a中的视频存储器1604相同，也可以与之不同)的检测到的事件的视频快照(snapshot)。视频存储器168可以是视频监视系统的一部分，或者可以是独立的记录设备15。响应的示例包括但不一定局限于如下：在系统显示器上激活视觉和/或听觉警报；现场激活视觉和/或听觉警报系统；激活静音警报；激活快速响应机制；锁门；联系保安服务；通过网络(例如但据不限于互联网)向另一计算机系统转发或流传输数据(例如图像数据、视频数据、视频基元和/或分析数据)；将这种数据保存到指定的计算机可读介质；激活另一个传感器或监视系统；给计算机系统11和/或另一计算机系统分派任务；和/或指挥计算机系统11和/或另一计算机系统。
基元数据可以被当作存储在数据库中的数据。为了在其中检测事件发生，需要有效的查询语言。本发明系统的实施例可包括活动推理语言，这将在下面进行描述。
传统的关系数据库查询方案通常按照布尔二叉树结构，以允许用户对各种存储数据创建灵活的查询。叶节点通常具有“性质关系值”的形式，而性质是数据的某个关键特征(例如时间或名称)；关系通常是数值运算符(“＞”、“＜”、“＝”等)；值是该性质的有效状态。分支节点通常代表一元或二元布尔逻辑算子，例如“与”、“或”和“非”。
这可以形成活动查询公式方案的基础，如在本发明的实施例中一样。在视频监视应用的情况下，性质可以是视频流中检测到的对象的特征，例如大小、速率、颜色、类别(人、车)，或者性质可以是场景变化性质。图17给出了使用这种查询的示例。在图17a中，提出了查询“向我显示任何红色车辆”171。这可以被分解为两个“性质关系值”(或简称为“性质”)查询，即测试对象的类别是否是车辆173以及其颜色是否主要为红色174。这两个子查询可利用布尔算子“与”172来组合。类似地，在图17b中，查询“向我显示摄像机何时开始或停止移动”可表达为性质子查询“摄像机是否开始移动”177和“摄像机是否停止移动”178的布尔“或”176的组合。
本发明的实施例可以以两个示范性方式来扩展这种数据库查询方案：(1)基本叶节点可增加用于描述场景内空间活动的活动检测符；以及(2)布尔算子分支节点可增加用于指定空间、时间和对象相互关系的修饰符。
活动检测符对应于与视频场景的区域有关的行为。它们描述了对象怎样与场景中的位置发生作用。图18示出了三个示范性活动检测符。图18a表示沿特定方向穿过使用虚拟视频绊网的周边的行为(对于关于怎样实现这种虚拟视频绊网的进一步信息，可以查阅例如美国专利No.6,696,945)。图18b表示在铁路轨道上闲逛一段时间的行为。图18c表示从墙壁部分拿走某东西的行为(对于怎样可以实现的示范性方法，可以查阅2003年1月30日申请的题为“VideoSceneBackgroundMaintenance-ChangeDetection&Classification”美国专利申请NO.10/331,778)。其它示范性活动检测符可包括检测人跌倒、检测人改变方向或速率、检测人进入区域或检测人沿错误方向前进。
图19示出了活动检测符叶节点(这里是指绊网横穿)怎样与简单的性质查询结合以便检测红色车辆横穿视频绊网191的示例。用布尔“与”算子192组合性质查询172、173、174和活动检测符193。
将查询与修饰的布尔算子相组合(组合算符)可进一步增加灵活性。示范性修饰符包括空间、时间、对象和计数修饰符。
空间修饰符可使布尔算子仅对在场景中邻近/非邻近的子活动进行操作(即，布尔算子的自变量，例如在图19中在布尔算子下示出的自变量)。例如，“与-在50像素内”可用于表示仅在活动之间的距离小于50像素时才适用“与”。
时间修饰符可使布尔算子仅对发生在彼此的特定时段内、这种时段外或时间范围内的子活动进行操作。还可指定事件的时间顺序。例如，“与-第一在第二的10秒内”可用于表示仅在第二子活动发生在第一子活动之后的10秒之内时才适用“与”。
对象修饰符可使布尔算子仅对涉及相同或不同对象的子活动进行操作。例如，“和-涉及相同对象”可用于表示仅在两个子活动涉及相同特定对象时才适用。
计数修饰符可使布尔算子仅在以预定次数满足条件时才被触发。计数修饰符通常可包括数值关系，例如“至少n次”、“精确n次”、“至多n次”等。例如，“或-至少两次”可用于表示至少两个“或”算子的子查询必须为真。计数修饰符的另一种使用可实现例如“如果同一个人从货架上取了至少五个物品则警报”的规则。
图20示出了使用组合算符的示例。这里，所需活动查询用于“找到做出非法左转的红色汽车”201。可通过活动描述符和修饰的布尔算子的组合来捕获非法左转。可使用一个虚拟绊网来检测对象出了边道193，并且可使用另一个虚拟绊网来检测对象沿着道路前进到左边205。这些可通过修饰的“与”算子202来组合。标准布尔“与”算子确保了必须检测活动193和205。对象修饰符203检查同一个对象穿过两个绊网，而时间修饰符204检查首先穿过从下到上绊网193，然后在10秒内穿过从右到左绊网205。
该示例还指示了组合算符的能力。理论上，可以针对左转而定义独立的活动检测符，而不依赖于简单的活动检测符和组合算符。然而，检测符是不灵活的，使得难以提供任意的转角和方向，并且对于所有可能的事件而写出独立的检测符也是麻烦的。相反地，使用组合算符和简单的检测符提供了极大的灵活性。
可作为简单活动的组合而被检测到的复杂活动的其它示例包括停车和人下车、或多个人形成一组并彼此紧随。这些组合算符还可组合不同类型和来源的基元。示例可包括如下规则，例如“示出关灯之前室内的人”、“示出之前没有刷卡就进门的人”、或“示出感兴趣的区域是否具有比RFID标签读取器所预计的更多的对象”，即是否有无RFID标签的非法对象处于区域内。
组合算符可以任何深度组合任意数目的子查询，并且甚至可以组合其它组合算符。图21a和21b所示的示例可以是如下规则：检测车辆是否左转2101、然后右转2104。可以由方向性绊网2102和2103来检测左转2101，而由方向性绊网2105和2106来检测右转2101。左转可被表达为绊网活动检测符2112和2113，分别对应于绊网2102和2103，并通过“与”组合算符2111与对象修饰符“相同”2117和时间修饰符“2112在2113之前”2118结合。类似地，右转可被表达为绊网活动检测符2115和2116，分别对应于绊网2105和2106，并通过“与”组合算符2114与对象修饰符“相同”2119和时间修饰符“2115在2116之前”2120结合。为了检测相同对象首先左转然后右转，左转检测符211和右转检测符2114通过“与”组合算符2121与对象修饰符“相同”2122和时间修饰符“2111在2114之前”2133结合。最终，为了确保被检测的对象是汽车，利用布尔“与”算子2125将左转和右转检测符2121和性质查询2124组合。
可选地，所有这些检测符均可与时间属性组合。时间属性的示例包括：每15分钟；在9：00pm和6：30am之间；小于5分钟；长于30秒；以及在周末。
在图2的块24中，操作视频监视系统。本发明的视频监视系统自动地操作，检测并存档场景中对象的视频基元，并使用事件鉴别器来实时检测事件发生。此外，在适当的情况下实时采取行动，例如激活警报、产生报告以及产生输出。可在系统本地或者经由网络(例如互联网)在其他地方显示和/或存储报告和输出。图4示出了用于操作视频监视系统的流程图。
在块41中，计算机系统11从视频传感器14和/或视频记录器15获得源视频。
在块42中，实时从源视频中提取视频基元。可选地，可从一个或多个其他传感器17中获得和/或提取非视频基元，并用于本发明。图5示出了视频基元的提取。
图5示出了用于提取视频监视系统的视频基元的流程图。块51和52并行操作，并且可按照任意顺序或者同时执行。在块51中，通过运动来检测对象。对于该块，可使用在像素级上对帧间运动进行检测的任何运动检测算法。例如，可使用三帧差分技术，这在{1}中有所讨论。将检测到的对象转发到块53。
在块52中，通过改变来检测对象。对于该块，可使用用于检测相对于背景模型的变化的任何变化检测算法。如果由于一个或多个像素并不与帧的背景模型一致而将它们认为处于帧的前景中，则在该块中检测到对象。例如，可使用例如动态自适应背景消减的随机背景建模技术，这在{1}和2000年10月24日申请的美国专利申请No.09/694,712中有所描述，将检测到的对象转发到块53。
块51的运动检测技术和块52的变化检测技术是互补技术，其中，每个技术有利地解决了另一技术中的缺陷。可选地，对于针对块51和52所讨论的技术，可使用附加的和/或备选的检测方案。附加的和/或备选的检测方案的示例包括如下：如{8}所述的用于找到人的Pfinder检测方案；肤色检测方案；人脸检测方案；以及基于模型的检测方案。将这种附加的和/或备选的检测方案的结果提供给块53。
可选地，如果视频传感器14运动(视频摄像机扫拍、变焦和/或平移)，则可在块51和52之间的块之前插入附加块，以给块51和52提供输入，以用于视频稳定。可通过仿射或射影的全局运动补偿来实现视频稳定。例如，在2000年7月3日申请的美国专利申请No.09/609,919(现在的美国专利No.6,738,424)中描述的图像对准可用于获得视频稳定，通过参考将其合并在此。
在块53中，产生团迹。通常，团迹是帧中的任何对象。团迹的示例包括：运动对象，例如人或车辆；以及消费类产品，例如家具、衣物或零售货物。使用从块32和33中检测到的对象来产生团迹。对于该块，可使用用于产生团迹的任何技术。用于根据运动检测和变化检测来产生团迹的示范性技术使用连接组成部分(connectedcomponents)方案。例如，可使用形态学和连接组成部分算法，这在{1}中有所描述。
在块54中，跟踪团迹。对于该块，可使用用于跟踪团迹的任意技术。例如，可使用Kalman滤波或CONDENSATION算法。作为另一个示例，可使用如在{1}中所述的模版匹配技术。作为另一个示例，可使用如{5}中所述的多重假设Kalman跟踪器。作为另一个示例，可使用在2000年10月24日申请的美国专利申请No.09/694,712中所述的逐帧跟踪技术。对于杂货店位置处的示例，可跟踪的对象的示例包括移动的人、库存物品和库存移动工具，例如购物车或手推车。
可选地，可用对于本领域技术人员而言是公知的任意检测和跟踪方案来代替块51-54。在{1}中描述了这种检测和跟踪方案的示例。
在块55中，分析所跟踪的对象的每个轨迹，以确定轨迹是否突出。如果轨迹不突出，则轨迹表示对象表现出不稳定的运动，或表示对象具有不稳定的大小或颜色，并且系统拒绝相应对象并不再分析该对象。如果轨迹是突出的，则轨迹表示可能对对象感兴趣。通过向轨迹应用突出性测量来确定轨迹是突出的还是不突出的。在{13}和{18}中描述了确定轨迹是突出的还是不突出的技术。
在块56中，对每个对象进行分类。将每个对象的一般类别确定为该对象的种类。可通过多种技术来执行分类，这种技术的示例包括使用神经网络分类器{14}和使用线性区别分类器{14}。种类的示例与针对块23所讨论的相同。
在块57中，使用来自块51-57的信息和必要的附加处理来识别视频基元。所识别的视频基元的示例与针对块23所讨论的相同。例如，对于大小，系统可将从块22中的校准所获得的信息用作视频基元。根据校准，系统具有足够的信息来确定对象的近似大小。作为另一示例，系统可将从块54测量的速度用作视频基元。
在块43中，将来自块42的视频基元存档。可将视频基元存档在计算机可读介质13或另一计算机可读介质中。可与视频基元一起，将来自源视频的有关帧或视频图像存档。该存档步骤是可选的；如果仅将系统用于实时事件，则可跳过该存档步骤。
在块44中，使用事件鉴别器，从视频基元中提取事件发生。在块42中确定视频基元，并且根据块23中的给系统分派任务来确定事件鉴别器。事件鉴别器用于对视频基元进行过滤以确定是否出现了事件发生。例如，事件鉴别器可查找由某人在上午9：00和下午5：00之间沿“错误路径”进入区域而定义的“错误路径”事件。事件鉴别器检查根据图5所产生的所有视频基元，并确定是否存在具有以下性质的任何视频基元：在上午9：00和下午5：00之间的时戳、“人”或“人群”的类别、区域内的位置、以及“错误”运动方向。事件鉴别器还可使用上述的其它类型的基元，和/或组合来自多个视频源的视频基元以检测事件发生。
在块45中，针对在块44中提取的每个事件发生，适当地采取行动。图6示出了对视频监视系统采取行动的流程图。
在块61中，如检测到事件发生的事件鉴别器所指示的，做出响应。如果有的话，针对块34中的每个事件鉴别器，识别响应。
在块62中，针对发生的每个事件发生，产生活动记录。活动记录包括例如：对象轨迹的细节；对象检测的时间；对象检测的位置；以及所采用的事件鉴别器的描述或定义。活动记录可包括事件鉴别器所需的例如视频基元的信息。活动记录还可包括事件发生所涉及的对象和/或区域的代表性视频或静止图像。活动记录被存储在计算机可读介质上。
在块63中，产生输出。该输出是基于在块44中提取的事件发生和来自块41的源视频的直接馈送的。该输出被存储在计算机可读介质上，显示在计算机系统11或另一计算机系统上，或者被转发到另一计算机系统。随着系统操作，收集关于事件发生的信息，并且操作者可在任何时间(包括实时)查看该信息。接收信息的格式的示例包括：显示在计算机系统的监视器上；硬拷贝；计算机可读介质；以及交互式网页。
该输出可包括经由模拟视频传输装置或经由网络视频流从块41传输来的源视频的直接馈送的显示。例如，源视频可被显示在计算机系统的监视器或闭路监视器的窗口中。此外，该输出可包括标出了图形以加亮事件发生所涉及的对象和/或区域的源视频。如果系统操作在法律分析模式下，则视频可来自视频记录器。
该输出可包括基于操作者和/或事件发生的需求、针对操作者的一个或多个报告。报告的示例包括：发生的事件发生的数目；场景中发生事件发生的位置；事件发生所发生的时间；每个事件发生的代表性图像；每个事件发生的代表性视频；原始统计数据；事件发生的统计(例如次数、频率、地点和时间)；和/或人类可读图形显示。
图13和14示出了针对图15的杂货店的走道的示范性报告。在图13和14中，在块22中识别多个区域，并相应地在图像中标记出。图13中的区域与图12中的区域匹配，并且图14中的区域是不同的区域。给系统分派任务以查找在区域中停留的人。
在途13中，示范性报告是来自被标记以包括标签、图形、统计信息和统计信息分析的视频的图像。例如，被识别为咖啡的区域具有在区域中的平均顾客人数为2人/小时并且区域中的平均逗留时间为5秒的统计信息。系统确定该区域是“冷点”区域，这意味着在该区域没有多少商业活动。作为另一个示例，被识别为苏打水的区域具有在区域中的平均顾客人数为15人/小时并且区域中的平均逗留时间为22秒的统计信息。系统确定该区域是“热点”区域，这意味着在该区域有大量的商业活动。
在图14中，示范性报告是来自被标记以包括标签、图形、统计信息和统计信息分析的视频的图像。例如，在走道背面的区域的平均顾客数人是14人/小时，并被确定为具有低流量。作为另一示例，在走道前面的区域的平均顾客人数是83人/小时，并被确定为具有高流量。
对于图13或图14，如果操作者想要关于任意特定区域的更多信息或任意特定区域，则指向-点击界面使得操作者可以在系统检测到并存档的区域和/或活动的代表性静止画面和视频图像中导航。
图15示出了对于杂货店的走道的另一示范性报告。该示范性报告包括来自被标记以包括标签和轨迹指示以及描述该带标记图像的文本的视频的图像。该示例的系统被分派了搜索多个区域的任务：对象轨迹的长度、位置和时间；对象静止的时间和位置；操作员所指定的轨迹与区域的相关；以及对象的类别，例如不是人、一个人、两个人和三个或更多个人。
图15的视频图像来自记录轨迹的时间段。在三个对象中，两个对象中的每个均被分类为一个人，而一个对象被分类为不是人。每个对象被分配有标签，即PersonID1032、PersonID1033以及ObjectID32001。对于PersonID1032，系统确定该人在区域逗留了52秒，并在圆圈所指定的位置处逗留了18秒。对于PersonID1033，系统确定该人在区域逗留了1分18秒，并在圆圈所指定的位置处逗留了12秒。在标记的图像中包括PersonId1032和PersonID1033的轨迹。对于ObjectID32001，系统并不进一步分析该对象，并用X指示该对象的位置。
转向图2中的块22，校准可以是(1)手动的；(2)使用来自视频传感器或视频记录器的图像的半自动的；或者(3)使用来自视频传感器或视频记录器的图像的自动的。如果需要图像，则假定要由计算机系统11分析的源视频是来自获得用于校准的源视频的视频传感器的。
对于手动校准，操作者给计算机系统11提供每个视频传感器14的朝向和内部参数，以及每个视频传感器14相对于位置的放置。计算机系统11可选地保持该位置的地图，并且可在地图上指示出视频传感器14的放置。该地图可以是环境的二维或三维表征。此外，手动校准给系统提供了足够的信息以确定对象的近似大小和相对位置。
可选地，对于手动校准，操作者可用表示已知大小对象(例如人)的外观的图像来标记来自传感器的视频图像。如果操作者可在至少两个不同位置标记图像，则系统可推断出近似摄像机校准信息。
对于半自动和自动校准，不需要知道摄像机参数或场景几何形状。根据半自动和自动校准，产生查找表以对场景中多个区域处的对象的大小进行近似，或者推断出摄像机的内部和外部摄像机校准参数。
对于半自动校准，使用组合有来自操作者的输入的视频源来校准视频监视系统。单个人位于要半自动校准的视频传感器的视野范围内。计算机系统11接收关于该单个人的源视频，并基于该数据来自动地推断出人的大小。随着视频传感器的视野范围中看到该人的位置数目增加，并且随着视频传感器的视野范围中看到该人的时间段增加，半自动校准的精确度也提高。
图7示出了视频监视系统的半自动校准的流程图。除了典型对象沿各种轨迹移动通过场景之外，块71与块41相同。该典型对象具有各种速度，并在各个位置处静止。例如，该典型对象移动到尽可能地靠近视频传感器，然后移动到尽可能地远离视频传感器。典型对象的这种运动可按照需要而重复。
块72-75分别与块51-54相同。
在块76中，在整个场景中监控典型对象。假定仅(或者至多)被跟踪的稳定对象是场景中的校准对象(即电信网对象移动通过该场景)。针对场景中所观察的每个点，收集稳定对象的大小，并且将该信息用于产生校准信息。
在块77中，针对整个场景的不同区域，识别典型对象的大小。典型对象的大小被用于确定场景中各个区域处类似对象的近似大小。利用该信息，产生查找表，以匹配图像的各个区域中的典型对象的典型外观大小，或者推断出内部和外部摄像机校准参数。作为采样输出，图像的各个区域中的棍状图的显示指示出系统将其确定为适当高度。图11示出了这种棍状图。
对于自动校准，执行学习阶段，其中，计算机系统11确定关于每个视频传感器的视野范围中的位置的信息。在自动校准中，计算机系统11在足以获得场景的典型对象的统计显著采样的代表性时段(例如分钟，小时或天)内接收位置的源视频，并因此推理出典型外观大小和位置。
图8示出了视频监视系统的自动校准的流程图。块81-86与图7中的块71-76相同。
在块87中，识别视频传感器的视野范围中的可跟踪区域。可跟踪区域是指视频传感器的视野范围中可容易且/或精确地跟踪对象的区域。不可跟踪区域是指视频传感器的视野范围中不能够容易且/或精确地跟踪对象的区域。不可跟踪区域可被称为不稳定或不突出区域。可能由于对象太小(例如小于预定阈值)、出现太短的时间(例如小于预定阈值)、或者表现出不突出的运动(例如无目的的)而难以跟踪对象。例如，可使用{13}中所述的技术来识别可跟踪区域。
图10示出了针对杂货店的走道所确定的可跟踪区域。由于在走道的远端的区域处出现很多混乱物，所以该区域被确定为不突出的。混乱物是指视频中使跟踪方案混乱的某种东西。混乱物的示例包括：飘落的叶子；部分被遮挡的对象；以及出现时间太短而难以精确地跟踪的对象。相反地，由于对于走道的近端的区域，确定了良好的跟踪，所以该区域被确定为突出的。
在块88中，针对整个场景中的不同区域，识别对象的大小。对象的大小被用于确定在场景的多个区域处类似对象的近似大小。例如使用直方图或统计中值的技术被用于确定根据场景中的位置而变的对象的典型外观高度和宽度。在场景的图像的一个部分中，典型对象可具有典型的外观高度和宽度。利用该信息，产生查找表，以匹配图像的各个区域中的对象的典型外观大小，或者推理出内部和外部摄像机校准参数。
图11示出了针对杂货店走道中的典型对象而从图10中识别典型大小。假定典型对象是人，并相应地由标签标识。通过突出区域中检测到的人的平均高度和平均宽度的图示，确定人的典型大小。在示例中，针对平常人的平均高度，确定图A，并针对一个人、两个人和三个人的平均宽度，确定图B。
对于图A，x轴示出了以像素为单位的团迹的高度，y轴示出了在x轴上所识别的特定高度处出现的实例个数。图A的线的峰值对应于场景的指定区域中的团迹的最常见高度，对于该示例，峰值对应于站在指定区域的人的平均高度。
假定人以松散组织成的组行进，对于宽度，产生与图A类似的图B。对于图B，x轴示出了以像素为单位的团迹的宽度，y轴示出了在x轴所识别的特定宽度处出现的实例个数。图B的线的峰值对应于多个团迹的平均宽度。假定大多数组仅包含一个人，则最大峰值对应于最常见的宽度，其对应于指定区域中单个人的平均宽度。类似地，第二最大峰值对应于指定区域中两个人的平均宽度，第三最大峰值对应于指定区域中三个人的平均宽度。
图9示出了本发明的视频监视系统的附加流程图。在该附加实施例中，系统利用事件鉴别器来分析存档的视频基元，以产生附加报告，而例如不需要重新查看整个源视频。在根据本发明处理了视频源之后的任意时刻，在图4的块43中对源视频的视频基元进行存档。由于仅重新查看视频基元，并且因为不处理视频源，所以附加实施例可在相对较短的时间内分析视频内容。这相对于现有系统极大地提高效率，因为处理视频图像数据的计算成本极高，而分析从视频提取的小尺寸视频基元的计算则成本很低。例如，可产生下面的事件鉴别器：“在上两个月内在区域A中停留长于10分钟的人数”。利用附加实施例，不需要重新查看上两个月的源视频。而是，仅需要重新查看来自上两个月的视频基元，显然这是更加有效的处理。
块91与图2中的块23相同。
在块92中，访问所存档的视频基元。在图4的块43中对视频基元进行了存档。
块93和94与图4中的块44和45相同。
作为示范性应用，本发明可用于通过测量零售展示的功效而分析零售市场空间。将大量金钱注入零售展示，使之尽可能今人注目，以促进展示物品以及附属物品的销售。本发明的视频监视系统可配置用于测量这些零售展示的效力。
对于该示范性应用，通过使视频传感器的视野范围朝向所希望的零售展示附近的空间，来建立视频监视系统。在分派任务期间，操作者选择代表所希望的零售展示附近的空间的区域。作为鉴别器，操作者定义他或她希望监控的人体大小的对象，该对象进入该区域并表现出可测量到的速率降低或停止了相当长时间。
在操作一段时间之后，视频监视系统可提供报告以供市场分析。该报告可包括：在零售展示附近减速的人数；在零售展示处停下来的人数；对零售展示感兴趣的人作为时间函数的分解，例如在周末有多少人感兴趣，在晚上有多少人感兴趣；以及对零售展示表示出兴趣的人的视频镜头。从视频监视系统所获得的市场研究信息可与来自商店的销售信息以及来自商店的顾客记录组合，以提高对零售展示的效力的分析理解。
这里所述的实施例和示例是非限制性的示例。
关于优选实施例而详细描述了本发明，从上述说明，对于本领域技术人员而言显而易见的是，在不背离本发明的情况下可在广泛方面做出改变和修改，因此，权利要求所限定的本发明意欲涵盖落入本发明的真实精神内的所有这种改变和修改。

Claims (35)

1.一种视频系统，包括：
第一处理器，所述第一处理器对视频进行分析以确定在所述视频中检测到的对象的属性，所述第一处理器与第一通信链路进行通信以通过所述通信链路传送所确定的属性；以及
第二处理器，所述第二处理器与所述第一处理器分离，所述第二处理器与所述第一通信链路进行通信以接收通过所述第一通信链路从所述第一处理器传送的所确定的属性，所述第二处理器通过对接收到的所确定的属性的组合进行分析来确定不是所确定的属性之一的第一事件，并且响应于所述第一事件的确定，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，所述第一处理器独立于所述第二处理器对所述第一事件的选择来确定属性，以及
所述第二处理器在无需对所述第一处理器分析的视频进行重新处理的情况下确定所述第一事件。
2.根据权利要求1所述的视频系统，其中，所述第一通信链路包括网络。
3.根据权利要求1所述的视频系统，其中，所述第二处理器通过仅对通过所述通信链路传送的属性进行分析来确定所述第一事件。
4.根据权利要求1所述的视频系统，其中，所述第二处理器对所述属性进行分析以实时地检测所述第一事件。
5.一种视频系统，包括：
输入端，所述输入端与通信信道进行通信；
处理器，被配置为从所述输入端接收通过所述通信信道接收的检测属性流，所述属性是在视频中检测到的一个或多个对象的属性，所述处理器被配置为通过对所接收的属性的组合进行分析来确定不是检测属性之一的事件，并且被配置为在确定所述事件时提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，通过所述通信信道接收到的属性独立于要由所述处理器确定的事件；以及
所述处理器被配置为在无需对所述视频进行重新处理的情况下确定所述事件。
6.根据权利要求5所述的视频系统，其中，所述通信信道包括网络。
7.根据权利要求5所述的视频系统，其中，所述处理器能够操作以通过仅对所接收的属性流的属性进行分析来确定事件。
8.一种根据视频来检测事件的方法，包括：
通过通信信道接收检测属性流，检测属性表示先前在远端位置处在所述视频中检测到的对象的属性；
对所述检测属性的组合进行分析，以在无需对所述视频进行重新处理的情况下检测不是所述检测属性之一的事件；
在检测到所述事件时，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，在所述属性流中接收到的检测属性独立于对要检测的事件的选择。
9.根据权利要求8所述的方法，其中，所述通信信道包括网络。
10.根据权利要求8所述的方法，其中，被执行以检测事件的分析通过仅对在所述检测属性流中接收到的属性进行分析来确定事件。
11.一种方法，包括：
对视频进行分析以检测对象；
在第一位置处通过对所述视频进行分析以确定检测到的对象的属性来创建属性流；
向第二位置发送从所述第一位置移除的所述属性流以进行后续分析，
其中，所述属性流是通过通信信道发送到所述第二位置的；以及
所述属性流足以允许所述后续分析以检测所述视频的事件从而提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件不是所确定的属性之一，
所述属性流足以允许在无需对所述第一位置的视频进行重新处理的情况下检测不是所确定的属性之一的事件。
12.根据权利要求11所述的方法，还包括：
使用视频捕获装置来获得所述视频。
13.根据权利要求11所述的方法，其中，所述通信信道包括网络。
14.根据权利要求11所述的方法，其中，所述属性流的属性是独立于所述后续分析来创建的。
15.根据权利要求11所述的方法，其中，所述属性流足以允许通过对所述属性的组合进行分析来检测不是所确定的属性之一的事件。
16.根据权利要求11所述的方法，其中，所述属性流是在无需在所述第一位置处检测事件的情况下通过通信信道发送的。
17.一种视频设备，包括：
第一位置处的处理器，所述处理器对视频进行分析以检测对象并且确定在所述视频中检测到的所述对象的属性；
输出端，被配置为通过通信链路发送由所述处理器确定的属性，
其中，所述输出端被配置为向第二位置发送从所述处理器移除的属性以用于在所述第二位置处对所述属性的组合进行后续分析，
所述处理器独立于对属性的组合的后续分析以确定不是所确定的属性之一的事件来确定属性，以及
所述属性足以允许检测事件以提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件不是所确定的属性之一并且能够通过对所述属性的组合进行分析来确定，
所述属性足以允许在无需对所述第一位置的所述视频进行重新处理的情况下检测事件。
18.根据权利要求17所述的视频设备，还包括：
视频捕获装置，用于向所述处理器提供所述视频。
19.根据权利要求17所述的视频设备，其中，所述输出端通过所述通信链路发送检测属性流。
20.根据权利要求19所述的视频设备，其中，所述通信链路包括网络。
21.根据权利要求17所述的视频设备，其中，所述属性是在无需由所述处理器对事件进行检测的情况下通过所述通信信道发送的。
22.一种视频系统，包括：
第一处理器，所述第一处理器对视频进行分析以确定在所述视频中检测到的对象的属性，所述第一处理器与第一通信链路进行通信以通过所述通信链路传送所确定的属性；以及
第二处理器，所述第二处理器与所述第一处理器分离，所述第二处理器与所述第一通信链路进行通信以接收通过所述第一通信链路从所述第一处理器传送的所确定的属性，所述第二处理器通过对接收到的所确定的属性的组合进行分析来确定不是所确定的属性之一的第一事件，并且响应于所述第一事件的确定，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，其中，对接收到的所确定的属性的组合进行分析包括滤波，
其中，所述第一处理器独立于所述第二处理器对所述第一事件的选择来确定属性，以及
所述第二处理器在无需对所述第一处理器分析的视频进行重新处理的情况下确定所述第一事件。
23.根据权利要求22所述的视频系统，其中，所述滤波包括：对接收到的所确定的属性的组合进行滤波以确定是否发生所述第一事件。
24.一种视频系统，包括：
输入端，所述输入端与通信信道进行通信；
处理器，被配置为从所述输入端接收通过所述通信信道接收的检测属性流，所述属性是在视频中检测到的一个或多个对象的属性，所述处理器被配置为通过对所接收的属性的组合进行分析来确定不是检测属性之一的事件，并且被配置为在确定所述事件时提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，其中，对接收到的所确定的属性的组合进行分析包括滤波，
其中，通过所述通信信道接收到的属性独立于要由所述处理器确定的事件；以及
所述处理器被配置为在无需对所述视频进行重新处理的情况下确定所述事件。
25.根据权利要求24所述的视频系统，其中，所述滤波包括：对接收到的属性的组合进行滤波以确定是否发生所述事件。
26.一种根据视频检测事件的方法，包括：
通过通信信道接收检测属性流，检测属性表示先前在远端位置处在所述视频中检测到的对象的属性；
对所述检测属性的组合进行分析，以在无需对所述视频进行重新处理的情况下检测不是所述检测属性之一的事件，其中，对所述检测属性的组合进行分析包括滤波；
在检测到所述事件时，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，在所述属性流中接收到的检测属性独立于对要检测的事件的选择。
27.根据权利要求26所述的方法，其中，所述滤波包括：对所述检测属性的组合进行滤波以确定是否发生所述事件。
28.一种视频系统，包括：
第一处理器，所述第一处理器对视频进行分析以确定在所述视频中检测到的对象的属性，所述第一处理器与第一通信链路进行通信以通过所述通信链路传送所确定的属性；以及
第二处理器，所述第二处理器与所述第一处理器分离，所述第二处理器与所述第一通信链路进行通信以接收通过所述第一通信链路从所述第一处理器传送的所确定的属性，所述第二处理器通过对接收到的所确定的属性的组合进行分析来确定不是所确定的属性之一的第一事件，并且响应于所述第一事件的确定，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，在所述视频中检测到的对象的属性包括第一对象和第二对象，并且所述第一事件是所述第一对象和所述第二对象一起到来，
所述第一处理器独立于所述第二处理器对所述第一事件的选择来确定属性，以及
所述第二处理器在无需对所述第一处理器分析的视频进行重新处理的情况下确定所述第一事件。
29.一种视频系统，包括：
输入端，所述输入端与通信信道进行通信；
处理器，被配置为从所述输入端接收通过所述通信信道接收的检测属性流，所述属性是在视频中检测到的第一对象和第二对象的属性，所述处理器被配置为通过对所接收的属性的组合进行分析来确定不是检测属性之一的事件，并且被配置为在确定所述事件时提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件是所述第一对象和所述第二对象一起到来，
其中，通过所述通信信道接收到的属性独立于要由所述处理器确定的事件；以及
所述处理器被配置为在无需对所述视频进行重新处理的情况下确定所述事件。
30.一种根据视频来检测事件的方法，包括：
通过通信信道接收检测属性流，检测属性表示先前在远端位置处在所述视频中检测到的第一对象和第二对象的属性；
对所述检测属性的组合进行分析，以在无需对所述视频进行重新处理的情况下检测不是所述检测属性之一的事件，所述事件是所述第一对象和所述第二对象一起到来；
在检测到所述事件时，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，在所述属性流中接收到的检测属性独立于对要检测的事件的选择。
31.一种方法，包括：
对视频进行分析以检测第一对象和第二对象；
在第一位置处通过对所述视频进行分析以确定检测到的第一对象的属性和检测到的第二对象的属性来创建属性流；
向第二位置发送从所述第一位置移除的所述属性流以进行后续分析，
其中，所述属性流是通过通信信道发送到所述第二位置的；以及
所述属性流足以允许所述后续分析以检测所述视频的事件从而提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件不是所确定的属性之一，所述事件是所述第一对象和所述第二对象一起到来，
所述属性流足以允许在无需对所述第一位置的视频进行重新处理的情况下检测不是所确定的属性之一的事件。
32.一种视频设备，包括：
第一位置处的处理器，所述处理器对视频进行分析以检测第一对象和第二对象并且确定在所述视频中检测到的所述第一对象的属性和在所述视频中检测到的所述第二对象的属性；
输出端，被配置为通过通信链路发送由所述处理器确定的属性，
其中，所述输出端被配置为向第二位置发送从所述处理器移除的属性以用于在所述第二位置处对所述属性的组合进行后续分析，
所述处理器独立于对属性的组合的后续分析以确定不是所确定的属性之一的事件来确定属性，所述事件是所述第一对象和所述第二对象一起到来，以及
所述属性足以允许检测事件以提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件不是所确定的属性之一并且能够通过对所述属性的组合进行分析来确定，
所述属性足以允许在无需对所述第一位置的所述视频进行重新处理的情况下检测事件。
33.一种视频系统，包括：
第一处理器，所述第一处理器对视频进行分析以确定在所述视频中检测到的对象的属性，所述第一处理器与第一通信链路进行通信以通过所述通信链路传送所确定的属性；以及
第二处理器，所述第二处理器与所述第一处理器分离，所述第二处理器与所述第一通信链路进行通信以接收通过所述第一通信链路从所述第一处理器传送的所确定的属性，所述第二处理器通过对接收到的所确定的属性的组合进行分析来确定不是所确定的属性之一的第一事件，并且响应于所述第一事件的确定，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，其中，对接收到的所确定的属性的组合进行分析包括滤波，
其中，在所述视频中检测到的对象的属性包括第一对象和第二对象，并且所述第一事件是所述第一对象和所述第二对象一起到来，
所述第一处理器独立于所述第二处理器对所述第一事件的选择来确定属性，以及
所述第二处理器在无需对所述第一处理器分析的视频进行重新处理的情况下确定所述第一事件。
34.一种视频系统，包括：
输入端，所述输入端与通信信道进行通信；
处理器，被配置为从所述输入端接收通过所述通信信道接收的检测属性流，所述属性是在视频中检测到的第一对象和第二对象的属性，所述处理器被配置为通过对所接收的属性的组合进行分析来确定不是检测属性之一的事件，并且被配置为在确定所述事件时提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，所述事件是所述第一对象和所述第二对象一起到来，其中，对接收到的属性的组合进行分析包括滤波，
其中，通过所述通信信道接收到的属性独立于要由所述处理器确定的事件；以及
所述处理器被配置为在无需对所述视频进行重新处理的情况下确定所述事件。
35.一种根据视频来检测事件的方法，包括：
通过通信信道接收检测属性流，检测属性表示先前在远端位置处在所述视频中检测到的第一对象和第二对象的属性；
对所述检测属性的组合进行分析，以在无需对所述视频进行重新处理的情况下检测不是所述检测属性之一的事件，其中，对所述检测属性的组合进行分析包括滤波，所述事件是所述第一对象和所述第二对象一起到来；
在检测到所述事件时，提供以下至少一项：针对用户的提醒、报告的信息、以及用于采取行动的指令，
其中，在所述属性流中接收到的检测属性独立于对要检测的事件的选择。
CN201510954472.5A 2005-04-05 2006-04-05 采用视频基元的视频监视系统 Pending CN105391990A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/098,385 2005-04-05
US11/098,385 US7868912B2 (en) 2000-10-24 2005-04-05 Video surveillance system employing video primitives
CNA2006800199112A CN101405779A (zh) 2005-04-05 2006-04-05 采用视频基元的视频监视系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800199112A Division CN101405779A (zh) 2005-04-05 2006-04-05 采用视频基元的视频监视系统

Publications (1)

Publication Number Publication Date
CN105391990A true CN105391990A (zh) 2016-03-09

Family

ID=37074050

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510954472.5A Pending CN105391990A (zh) 2005-04-05 2006-04-05 采用视频基元的视频监视系统
CNA2006800199112A Pending CN101405779A (zh) 2005-04-05 2006-04-05 采用视频基元的视频监视系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA2006800199112A Pending CN101405779A (zh) 2005-04-05 2006-04-05 采用视频基元的视频监视系统

Country Status (20)

Country Link
US (1) US7868912B2 (zh)
EP (2) EP1872583B1 (zh)
JP (1) JP2008538870A (zh)
KR (1) KR20080005404A (zh)
CN (2) CN105391990A (zh)
CA (1) CA2604875A1 (zh)
CY (1) CY1116257T1 (zh)
DK (1) DK1872583T3 (zh)
ES (1) ES2534250T3 (zh)
HK (2) HK1116969A1 (zh)
HR (1) HRP20150172T1 (zh)
IL (1) IL186455A0 (zh)
ME (1) ME02112B (zh)
MX (1) MX2007012431A (zh)
PL (1) PL1872583T3 (zh)
PT (1) PT1872583E (zh)
RS (1) RS53833B1 (zh)
SI (1) SI1872583T1 (zh)
TW (1) TW200715859A (zh)
WO (1) WO2006107997A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770486A (zh) * 2016-08-17 2018-03-06 韩华泰科株式会社 事件搜索设备和系统
CN109219956A (zh) * 2016-06-08 2019-01-15 三菱电机株式会社 监视装置
CN110264522A (zh) * 2019-06-24 2019-09-20 北京百度网讯科技有限公司 物品操作者的检测方法、装置、设备和存储介质

Families Citing this family (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
JP2002190043A (ja) * 2000-12-07 2002-07-05 Lg Electronics Inc Ｄｓｒｃ方式を利用した駐車料金の精算装置及びその方法
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
EP1303147A1 (en) * 2001-10-12 2003-04-16 CSEM Centre Suisse d'Electronique et de Microtechnique SA Method for calibration of an electronic camera
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
JP4417382B2 (ja) * 2003-09-02 2010-02-17 ジンク プロプライアトリー リミテッド 通話管理システム
US7975062B2 (en) * 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
WO2005125215A1 (ja) * 2004-06-18 2005-12-29 Fujitsu Limited 画像データ符号化装置、および符号化方法
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7627138B2 (en) * 2005-01-03 2009-12-01 Orb Networks, Inc. System and method for remotely monitoring and/or viewing images from a camera or video device
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US8902320B2 (en) 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US7982795B2 (en) * 2005-04-11 2011-07-19 Panayotis B. SPATHARIS Image acquisition and exploitation camera system and methods therefore
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US8233042B2 (en) * 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9191611B2 (en) * 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US8253821B2 (en) 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US8280676B2 (en) * 2005-06-02 2012-10-02 Hyo-goo Kim Sensing system for recognition of direction of moving body
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
WO2007029454A1 (ja) * 2005-09-07 2007-03-15 Pioneer Corporation 風景解析装置及び方法
US20070058040A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Video surveillance using spatial-temporal motion analysis
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
FR2894700B1 (fr) * 2005-12-09 2009-10-02 Eurecam Sarl Dispositif et installation de comptage d'objets mobiles
US20080100705A1 (en) * 2005-12-13 2008-05-01 Kister Thomas F Method and apparatus for notifying one or more networked surveillance cameras that another networked camera has begun recording
US20070217761A1 (en) 2006-03-07 2007-09-20 Coban Research And Technologies, Inc. Method for video/audio recording using unrestricted pre-event/post-event buffering with multiple bit and frame rates buffer files
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
US7636033B2 (en) 2006-04-05 2009-12-22 Larry Golden Multi sensor detection, stall to stop and lock disabling system
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8334906B2 (en) * 2006-05-24 2012-12-18 Objectvideo, Inc. Video imagery-based sensor
TW200817929A (en) 2006-05-25 2008-04-16 Objectvideo Inc Intelligent video verification of point of sale (POS) transactions
JP4201025B2 (ja) * 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP4453684B2 (ja) * 2006-06-30 2010-04-21 ソニー株式会社 監視システム、監視装置、検索方法及び検索プログラム
US20090315712A1 (en) * 2006-06-30 2009-12-24 Ultrawave Design Holding B.V. Surveillance method and system using object based rule checking
JP4363421B2 (ja) 2006-06-30 2009-11-11 ソニー株式会社 監視システム、監視システム用サーバ及び監視方法
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US20080062009A1 (en) * 2006-08-30 2008-03-13 Marton Keith J Method and system to improve traffic flow
DE102006043231A1 (de) * 2006-09-14 2008-03-27 Siemens Ag Österreich Informationssystem auf Basis von digitalem Fernsehen
DE102006044298B3 (de) * 2006-09-20 2008-01-31 Siemens Ag Verfahren zur Überwachung von Personenansammlungen
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
US20080170121A1 (en) * 2007-01-12 2008-07-17 Cwell Vision Corporation Vandal-Proof Rack Structure for Surveillance Monitors
US8218821B2 (en) * 2007-01-23 2012-07-10 Pips Technology, Inc. Video preprocessing of image information for character recognition
EP2115698A1 (en) * 2007-01-31 2009-11-11 Ultrawaves design holding B. V. Surveillance method and system using optimized object based rule checking
ES2522589T3 (es) 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
US8218822B2 (en) * 2007-05-14 2012-07-10 Pips Technology, Inc. Apparatus and method for recognizing the state of origin of a vehicle license plate
US8350908B2 (en) * 2007-05-22 2013-01-08 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US8411935B2 (en) 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
DE102007034010A1 (de) 2007-07-20 2009-01-22 Dallmeier Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Bearbeitung von Videodaten
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8013738B2 (en) 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
US7382244B1 (en) 2007-10-04 2008-06-03 Kd Secure Video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US20100153146A1 (en) * 2008-12-11 2010-06-17 International Business Machines Corporation Generating Generalized Risk Cohorts
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US9325951B2 (en) * 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
US8427552B2 (en) 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
JP5264582B2 (ja) * 2008-04-04 2013-08-14 キヤノン株式会社 監視装置、監視方法、プログラム、及び記憶媒体
JP5517417B2 (ja) * 2008-04-18 2014-06-11 キヤノン株式会社 監視装置及びその制御方法、並びに、プログラム
US8169481B2 (en) * 2008-05-05 2012-05-01 Panasonic Corporation System architecture and process for assessing multi-perspective multi-context abnormal behavior
US20100030804A1 (en) * 2008-07-31 2010-02-04 International Business Machines Corporation Synchronization of Locations in Real and Virtual Worlds
US8502869B1 (en) 2008-09-03 2013-08-06 Target Brands Inc. End cap analytic monitoring method and apparatus
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8126833B2 (en) * 2008-09-11 2012-02-28 Behavioral Recognition Systems, Inc. Detecting anomalous events using a long-term memory in a video analysis system
US8301443B2 (en) 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
US8749570B2 (en) * 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US8190544B2 (en) * 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input
US20100153147A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Specific Risk Cohorts
US20100153174A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Retail Cohorts From Retail Data
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US8219554B2 (en) 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US8493216B2 (en) 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
US20100153133A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Never-Event Cohorts from Patient Care Data
US20100153390A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Scoring Deportment and Comportment Cohorts
US20100153180A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Receptivity Cohorts
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8970654B1 (en) * 2008-12-22 2015-03-03 Verint Systems Inc. System and method for selecting portions of video data for high quality feed while continuing a low quality feed
US8451909B1 (en) * 2008-12-23 2013-05-28 Verint Americas, Inc. System and method for dynamically changing quality levels among a plurality of video scenes
US9697535B2 (en) 2008-12-23 2017-07-04 International Business Machines Corporation System and method in a virtual universe for identifying spam avatars based upon avatar multimedia characteristics
US9704177B2 (en) 2008-12-23 2017-07-11 International Business Machines Corporation Identifying spam avatars in a virtual universe (VU) based upon turing tests
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US20100208063A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
US8537219B2 (en) 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
US8553778B2 (en) 2009-03-19 2013-10-08 International Business Machines Corporation Coding scheme for identifying spatial locations of events within video image data
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8351766B2 (en) * 2009-04-30 2013-01-08 Honeywell International Inc. Multi DVR video packaging for incident forensics
US8656476B2 (en) 2009-05-28 2014-02-18 International Business Machines Corporation Providing notification of spam avatars
US11004093B1 (en) * 2009-06-29 2021-05-11 Videomining Corporation Method and system for detecting shopping groups based on trajectory dynamics
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US20110153582A1 (en) * 2009-12-22 2011-06-23 Daniel Buchmann Handling of classification data by a search engine
IT1398953B1 (it) * 2010-03-22 2013-03-28 Vislab S R L Sistema per il controllo di porte automatiche
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
IT1401301B1 (it) * 2010-07-19 2013-07-18 Vislab S R L Sistema per il controllo di cancelli automatici
CN102714729B (zh) * 2010-09-02 2016-06-08 英特赛尔美国股份有限公司 用于视频内容分析的系统和方法
US20120057633A1 (en) 2010-09-02 2012-03-08 Fang Shi Video Classification Systems and Methods
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
CA3060189C (en) * 2011-05-12 2021-09-21 Solink Corporation Video analytics system
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
EP3176729A1 (en) 2011-09-06 2017-06-07 Intel Corporation Analytics assisted encoding
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US10674709B2 (en) 2011-12-05 2020-06-09 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US11553692B2 (en) 2011-12-05 2023-01-17 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US11470814B2 (en) 2011-12-05 2022-10-18 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
TWI450207B (zh) 2011-12-26 2014-08-21 Ind Tech Res Inst 物件追蹤的方法、系統、電腦程式產品與記錄媒體
US9740937B2 (en) 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
IN2014DN08349A (zh) 2012-03-15 2015-05-08 Behavioral Recognition Sys Inc
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
WO2014004901A1 (en) 2012-06-29 2014-01-03 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US10289917B1 (en) 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
BR112015003444A2 (pt) 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
US9311645B2 (en) * 2012-08-31 2016-04-12 Ncr Corporation Techniques for checkout security using video surveillance
US9639760B2 (en) 2012-09-07 2017-05-02 Siemens Schweiz Ag Methods and apparatus for establishing exit/entry criteria for a secure location
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
JP6386217B2 (ja) 2012-09-12 2018-09-05 センシティ システムズ インコーポレイテッド 感知応用のためのネットワーク接続された照明インフラストラクチャ
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
WO2014075022A1 (en) 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
RU2637425C2 (ru) 2013-03-15 2017-12-04 Джеймс КАРЕЙ Способ формирования анализа поведения в системе наблюдения и мониторинга
US10657755B2 (en) * 2013-03-15 2020-05-19 James Carey Investigation generation in an observation and surveillance system
US9933297B2 (en) 2013-03-26 2018-04-03 Sensity Systems Inc. System and method for planning and monitoring a light sensory network
EP2976856B1 (en) 2013-03-26 2019-08-14 Sensity Systems Inc. Sensor nodes with multicast transmissions in lighting sensory network
US9565462B1 (en) * 2013-04-26 2017-02-07 SportXast, LLC System, apparatus and method for creating, storing and transmitting sensory data triggered by an event
US9792951B2 (en) 2013-05-08 2017-10-17 Vieu Labs, Inc. Systems and methods for identifying potentially interesting events in extended recordings
US9412245B2 (en) * 2013-08-08 2016-08-09 Honeywell International Inc. System and method for visualization of history of events using BIM model
US9639521B2 (en) 2013-08-09 2017-05-02 Omni Ai, Inc. Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
US20150077548A1 (en) * 2013-09-13 2015-03-19 At&T Mobility Ii Llc Mobile device intermediary for content analysis
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
WO2015076152A1 (ja) 2013-11-20 2015-05-28 日本電気株式会社 ヘルメット着用判定方法、ヘルメット着用判定システム、ヘルメット着用判定装置及びプログラム
US20150154463A1 (en) * 2013-12-04 2015-06-04 Irida Labs S.A. System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
KR101359332B1 (ko) * 2013-12-05 2014-02-24 (주)엔토스정보통신 불법 주정차 단속을 위한 자동차 번호판 추적 및 인식 방법
KR101804383B1 (ko) 2014-01-14 2017-12-04 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US9746370B2 (en) 2014-02-26 2017-08-29 Sensity Systems Inc. Method and apparatus for measuring illumination characteristics of a luminaire
CN106463032B (zh) 2014-03-03 2019-05-31 Vsk电子有限公司 利用方向感应的入侵检测方法及系统
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US10362112B2 (en) 2014-03-06 2019-07-23 Verizon Patent And Licensing Inc. Application environment for lighting sensory networks
US20150288928A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
US10552713B2 (en) 2014-04-28 2020-02-04 Nec Corporation Image analysis system, image analysis method, and storage medium
JP2017525064A (ja) 2014-05-30 2017-08-31 プレイスメーター インコーポレイテッドＰｌａｃｅｍｅｔｅｒ Ｉｎｃ． ビデオデータを用いた活動モニタリングのためのシステム及び方法
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9170707B1 (en) * 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9477877B2 (en) * 2014-07-31 2016-10-25 Landis+Gyr Innovations, Inc. Asset security management system
US9225527B1 (en) 2014-08-29 2015-12-29 Coban Technologies, Inc. Hidden plug-in storage drive for data integrity
US9307317B2 (en) 2014-08-29 2016-04-05 Coban Technologies, Inc. Wireless programmable microphone apparatus and system for integrated surveillance system devices
JP2016062131A (ja) * 2014-09-16 2016-04-25 日本電気株式会社 映像監視装置
US10733565B1 (en) 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
US9406294B2 (en) * 2014-10-01 2016-08-02 Shout to Me, LLC Information-sharing system
KR102282465B1 (ko) * 2014-10-27 2021-07-27 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
CN104360599B (zh) * 2014-11-10 2018-10-26 生迪光电科技股份有限公司 基于led照明装置的智能家庭控制方法、设备及系统
US10084609B2 (en) * 2014-11-10 2018-09-25 Sengled Optoelectronics Co., Ltd. Method, apparatus, and system for controlling smart home environment using LED lighting device
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US10687022B2 (en) 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
US10387794B2 (en) 2015-01-22 2019-08-20 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
JP6755853B2 (ja) * 2015-02-24 2020-09-16 博司 青山 管理システム、サーバ、管理装置、および、管理方法
US11080977B2 (en) 2015-02-24 2021-08-03 Hiroshi Aoyama Management system, server, management device, and management method
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9578261B1 (en) 2015-03-24 2017-02-21 Phillip Flagg Rockwell Portable security surveillance device
US9679420B2 (en) * 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10645908B2 (en) 2015-06-16 2020-05-12 Radio Systems Corporation Systems and methods for providing a sound masking environment
US10231440B2 (en) 2015-06-16 2019-03-19 Radio Systems Corporation RF beacon proximity determination enhancement
GB2556701C (en) * 2015-09-15 2022-01-19 Mitsubishi Electric Corp Image processing apparatus, image processing system, and image processing method
TWI557691B (zh) * 2015-09-23 2016-11-11 睿緻科技股份有限公司 監視攝影裝置及其使用的區域式移動偵測方法
WO2017066154A1 (en) * 2015-10-15 2017-04-20 Pixel Velocity, Inc. System and method for automated analytic characterization of scene image data
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017116840A (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 撮像装置
US20180376051A9 (en) * 2015-12-31 2018-12-27 Ground Zero at Center Stage LLC Surface integrated camera mesh for semi-automated video capture
US10165171B2 (en) 2016-01-22 2018-12-25 Coban Technologies, Inc. Systems, apparatuses, and methods for controlling audiovisual apparatuses
EP3405932A1 (en) 2016-01-29 2018-11-28 KiwiSecurity Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US10290194B2 (en) 2016-02-29 2019-05-14 Analog Devices Global Occupancy sensor
CN105704570B (zh) * 2016-03-08 2019-05-07 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
US11100335B2 (en) 2016-03-23 2021-08-24 Placemeter, Inc. Method for queue time estimation
US10152858B2 (en) 2016-05-09 2018-12-11 Coban Technologies, Inc. Systems, apparatuses and methods for triggering actions based on data capture and characterization
US10789840B2 (en) 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
DE102016108969A1 (de) 2016-05-13 2017-11-16 Dallmeier Electronic Gmbh & Co. Kg System und Verfahren zur Erfassung und Analyse von Videodaten betreffend den Spielverlauf auf einem Glückspieltisch in Kasinos
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10268220B2 (en) 2016-07-14 2019-04-23 Radio Systems Corporation Apparatus, systems and methods for generating voltage excitation waveforms
JP6854886B2 (ja) * 2016-09-26 2021-04-07 アマゾン テクノロジーズ インコーポレイテッド オーディオ／ビデオ記録通信装置用のビデオのストリーミング及び保存
EP3301656A3 (en) * 2016-09-29 2018-08-01 Essence Security International Ltd. System and method for an alarm system
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US11545013B2 (en) 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US12096156B2 (en) 2016-10-26 2024-09-17 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
WO2018080536A1 (en) * 2016-10-31 2018-05-03 Empire Technology Development Llc Venue monitoring through sentiment analysis
US10223911B2 (en) 2016-10-31 2019-03-05 Echelon Corporation Video data and GIS mapping for traffic monitoring, event detection and change prediction
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
TWI672628B (zh) 2016-12-08 2019-09-21 日商摩如富股份有限公司 影像處理裝置、方法以及電腦可讀取的記錄媒體
US10438071B2 (en) 2017-01-25 2019-10-08 Echelon Corporation Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
AU2018224313B2 (en) 2017-02-27 2023-10-12 Radio Systems Corporation Threshold barrier system
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
TWI672666B (zh) * 2017-08-09 2019-09-21 宏碁股份有限公司 圖像資料處理的方法及其裝置
TWI658728B (zh) * 2017-10-13 2019-05-01 中華電信股份有限公司 智慧型影像辨識防竊告警之系統及方法
US11394196B2 (en) 2017-11-10 2022-07-19 Radio Systems Corporation Interactive application to protect pet containment systems from external surge damage
US20190156270A1 (en) 2017-11-18 2019-05-23 Walmart Apollo, Llc Distributed Sensor System and Method for Inventory Management and Predictive Replenishment
US10986813B2 (en) 2017-12-12 2021-04-27 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US10842128B2 (en) 2017-12-12 2020-11-24 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US10514439B2 (en) 2017-12-15 2019-12-24 Radio Systems Corporation Location based wireless pet containment system using single base unit
US11372077B2 (en) 2017-12-15 2022-06-28 Radio Systems Corporation Location based wireless pet containment system using single base unit
TWI679886B (zh) * 2017-12-18 2019-12-11 大猩猩科技股份有限公司 一種影像分析系統與方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10510239B1 (en) 2018-06-14 2019-12-17 Honeywell International Inc. Systems and methods for managing alert notifications from a secured area
GB2575282A (en) * 2018-07-04 2020-01-08 Arm Ip Ltd Event entity monitoring network and method
EP3598764B1 (en) * 2018-07-17 2021-01-20 IDEMIA Identity & Security Germany AG Supplementing video material
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US10878255B2 (en) 2018-10-05 2020-12-29 International Business Machines Corporation Providing automatic responsive actions to biometrically detected events
US11312594B2 (en) 2018-11-09 2022-04-26 Otis Elevator Company Conveyance system video analytics
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
US10635906B1 (en) * 2019-02-21 2020-04-28 Motorola Solutions, Inc. Video annotation
DE102019204359A1 (de) 2019-03-28 2020-10-01 Airbus Operations Gmbh Situationserkennungseinrichtung, flugzeugpassagierabteil und verfahren zur überwachung von flugzeugpassagierabteilen
KR102656963B1 (ko) * 2019-04-03 2024-04-16 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
US11238889B2 (en) 2019-07-25 2022-02-01 Radio Systems Corporation Systems and methods for remote multi-directional bark deterrence
US11037571B2 (en) 2019-10-04 2021-06-15 Motorola Solutions, Inc. Speech-based two-way radio assistant
US11388487B2 (en) 2019-10-14 2022-07-12 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
US11490597B2 (en) 2020-07-04 2022-11-08 Radio Systems Corporation Systems, methods, and apparatus for establishing keep out zones within wireless containment regions
CN112002048B (zh) * 2020-10-30 2021-02-05 江苏未睐科技有限公司 一种来客智能登记系统及方法
FR3122268B1 (fr) * 2021-04-26 2023-12-22 Oberthur Fiduciaire Sas Dispositif et procédé de surveillance d’une installation de manipulation et de conditionnement d’objets de valeur
US11810350B2 (en) * 2021-05-21 2023-11-07 Western Digital Technologies, Inc. Processing of surveillance video streams using image classification and object detection
US20230290162A1 (en) * 2022-03-09 2023-09-14 Volvo Car Corporation Pedestrian detection via a boundary cylinder model
CN115083211B (zh) * 2022-06-30 2024-03-29 同济大学 一种基于多目立体视觉的分布式船舶高度检测系统
US11900778B1 (en) * 2023-03-29 2024-02-13 Micro Apps Group Inventions, LLC System for improving safety in schools

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
EP0967584A2 (en) * 1998-04-30 1999-12-29 Texas Instruments Incorporated Automatic video monitoring system
CN1413417A (zh) * 1999-12-23 2003-04-23 维斯波特股份公司 图象数据处理

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) * 1969-05-12 1974-05-21 J Lemelson Video detection system
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
FR2550388B1 (fr) * 1983-08-03 1985-12-27 Gipelec Matiere active positive pour generateurs electrochimiques et generateurs electrochimiques en faisant application
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JP2508439B2 (ja) 1987-05-29 1996-06-19 ソニー株式会社 高能率符号化装置
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US5610653A (en) * 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
WO1994003014A1 (en) 1992-07-24 1994-02-03 Koz Mark C Low power video security monitoring system
US5331417A (en) * 1992-09-15 1994-07-19 Digital Pictures, Inc. System and method of displaying a plurality of digital video images
US5987211A (en) * 1993-01-11 1999-11-16 Abecassis; Max Seamless transmission of non-sequential video segments
US5801943A (en) * 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US5696503A (en) 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6351265B1 (en) * 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5515453A (en) * 1994-01-21 1996-05-07 Beacon System, Inc. Apparatus and method for image processing in symbolic space
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5872865A (en) * 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5860086A (en) * 1995-06-07 1999-01-12 International Business Machines Corporation Video processor with serialization FIFO
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US5926210A (en) * 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5999189A (en) 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5886701A (en) * 1995-08-04 1999-03-23 Microsoft Corporation Graphics rendering device and method for operating same
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5959690A (en) * 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
JPH09247654A (ja) * 1996-03-07 1997-09-19 Fujitsu General Ltd 監視カメラシステム
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
KR100501902B1 (ko) * 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US6088484A (en) * 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6256115B1 (en) * 1997-02-21 2001-07-03 Worldquest Network, Inc. Facsimile network
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
JPH10290449A (ja) 1997-04-14 1998-10-27 Shimizu Corp 映像監視システム
US5963202A (en) * 1997-04-14 1999-10-05 Instant Video Technologies, Inc. System and method for distributing and managing digital video information in a video distribution network
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
KR100251051B1 (ko) 1997-07-14 2000-04-15 윤종용 임의 형상 부호화 방법
EP0893923A1 (en) 1997-07-23 1999-01-27 Texas Instruments France Video communication system
JP3223246B2 (ja) 1997-07-25 2001-10-29 東レ・ダウコーニング・シリコーン株式会社 半導体装置
US6091771A (en) * 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100281464B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
KR100281463B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
US6816184B1 (en) 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
AU4223399A (en) * 1998-06-01 1999-12-20 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection
JP2000175174A (ja) 1998-12-07 2000-06-23 Mitsubishi Electric Corp 監視用画像処理装置
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
US6924801B1 (en) * 1999-02-09 2005-08-02 Microsoft Corporation Method and apparatus for early culling of occluded objects
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
JP2000339923A (ja) 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
US6754664B1 (en) * 1999-07-02 2004-06-22 Microsoft Corporation Schema-based computer system health monitoring
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US7356830B1 (en) * 1999-07-09 2008-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for linking a video segment to another segment or information source
US6123123A (en) * 1999-08-03 2000-09-26 M. Carder Industries, Incorporated Non-stretch breakaway hose particularly for fuel dispenser
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
JP2001175868A (ja) 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
US7479980B2 (en) * 1999-12-23 2009-01-20 Wespot Technologies Ab Monitoring system
US6774905B2 (en) * 1999-12-23 2004-08-10 Wespot Ab Image data processing
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
JP3387911B2 (ja) 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
EP1968321B1 (en) * 2000-02-28 2015-06-17 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7307652B2 (en) 2000-03-10 2007-12-11 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
US6829371B1 (en) 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US6646676B1 (en) 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
US6504479B1 (en) * 2000-09-07 2003-01-07 Comtrak Technologies Llc Integrated security system
US7215795B2 (en) * 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
US6542075B2 (en) * 2000-09-28 2003-04-01 Vigilos, Inc. System and method for providing configurable security monitoring utilizing an integrated information portal
US6801662B1 (en) * 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20020082769A1 (en) * 2000-11-21 2002-06-27 Gary Church Airport auditing and information system
US20020191851A1 (en) 2001-05-01 2002-12-19 Giora Keinan Efficient encoding of video frames using pre-encoded primitives
US6525658B2 (en) * 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
GB2378339A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
AU2002337592A1 (en) * 2001-09-24 2003-04-07 Nice Systems Ltd. System and method for the automatic control of video frame rate
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
WO2003047258A1 (en) * 2001-11-21 2003-06-05 Etreppid Technologies, Llc Method and apparatus for storing digital video content provided from a plurality of cameras
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
KR100465244B1 (ko) 2002-02-05 2005-01-13 삼성전자주식회사 영상 데이터의 움직임 감지장치 및 방법
AU2002361483A1 (en) * 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
BR0312458A (pt) 2002-07-05 2005-04-19 Aspectus Ltd Método e sistema para efetuar a detecção de eventos e rastreamento de objetos em fluxos de imagens
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20040113933A1 (en) * 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US6987883B2 (en) * 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
US7660439B1 (en) * 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
US8558892B2 (en) * 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US20060232673A1 (en) * 2005-04-19 2006-10-19 Objectvideo, Inc. Video-based human verification system and method
US20070002141A1 (en) * 2005-04-19 2007-01-04 Objectvideo, Inc. Video-based human, non-human, and/or motion verification system and method
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
EP0967584A2 (en) * 1998-04-30 1999-12-29 Texas Instruments Incorporated Automatic video monitoring system
CN1413417A (zh) * 1999-12-23 2003-04-23 维斯波特股份公司 图象数据处理

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109219956A (zh) * 2016-06-08 2019-01-15 三菱电机株式会社 监视装置
CN109219956B (zh) * 2016-06-08 2020-09-18 三菱电机株式会社 监视装置
US11731856B2 (en) 2016-06-08 2023-08-22 Mitsubishi Electric Corporation Monitoring apparatus
CN107770486A (zh) * 2016-08-17 2018-03-06 韩华泰科株式会社 事件搜索设备和系统
CN107770486B (zh) * 2016-08-17 2021-09-24 韩华泰科株式会社 事件搜索设备和系统
CN110264522A (zh) * 2019-06-24 2019-09-20 北京百度网讯科技有限公司 物品操作者的检测方法、装置、设备和存储介质
CN110264522B (zh) * 2019-06-24 2021-07-13 北京百度网讯科技有限公司 物品操作者的检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP1872583B1 (en) 2014-11-19
EP2863372A1 (en) 2015-04-22
EP1872583A2 (en) 2008-01-02
ES2534250T3 (es) 2015-04-21
WO2006107997A2 (en) 2006-10-12
HK1116969A1 (zh) 2009-01-02
TW200715859A (en) 2007-04-16
CA2604875A1 (en) 2006-10-12
WO2006107997A3 (en) 2008-10-02
HK1209889A1 (zh) 2016-04-08
HRP20150172T1 (hr) 2015-04-10
IL186455A0 (en) 2008-01-20
DK1872583T3 (en) 2015-02-23
JP2008538870A (ja) 2008-11-06
CN101405779A (zh) 2009-04-08
US7868912B2 (en) 2011-01-11
US20050169367A1 (en) 2005-08-04
KR20080005404A (ko) 2008-01-11
MX2007012431A (es) 2007-12-13
RS53833B1 (en) 2015-06-30
PT1872583E (pt) 2015-02-27
PL1872583T3 (pl) 2015-06-30
EP1872583A4 (en) 2010-05-19
SI1872583T1 (sl) 2015-03-31
CY1116257T1 (el) 2017-02-08
ME02112B (me) 2015-10-20

Similar Documents

Publication Publication Date Title
CN105391990A (zh) 采用视频基元的视频监视系统
US10347101B2 (en) Video surveillance system employing video primitives
US9892606B2 (en) Video surveillance system employing video primitives
US10645350B2 (en) Video analytic rule detection system and method
CN105120221B (zh) 采用视频原语的视频监视方法及系统
US7932923B2 (en) Video surveillance system employing video primitives

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160309

RJ01 Rejection of invention patent application after publication