CN105120222A - 采用视频原语的视频监视系统 - Google Patents

采用视频原语的视频监视系统 Download PDF

Info

Publication number
CN105120222A
CN105120222A CN201510556652.8A CN201510556652A CN105120222A CN 105120222 A CN105120222 A CN 105120222A CN 201510556652 A CN201510556652 A CN 201510556652A CN 105120222 A CN105120222 A CN 105120222A
Authority
CN
China
Prior art keywords
video
primitives
symbol
frame
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510556652.8A
Other languages
English (en)
Inventor
彼得·L·韦奈蒂阿奈尔
艾伦·J·利普顿
安德鲁·J·肖克
马休·F·弗拉吉尔
尼尔斯·黑林
盖瑞·W·梅耶斯
尹卫红
张忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prestige Zhi Lunfuzhi Fort Co
Objectvideo Inc
Original Assignee
Prestige Zhi Lunfuzhi Fort Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prestige Zhi Lunfuzhi Fort Co filed Critical Prestige Zhi Lunfuzhi Fort Co
Publication of CN105120222A publication Critical patent/CN105120222A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

对一种视频监视系统进行安装、校准、分派任务以及操作。该系统提取出视频原语，并使用事件鉴别器从该视频原语中提取出事件发生。该系统可以基于所提取的事件发生来进行诸如警报之类的响应。

Description

采用视频原语的视频监视系统
技术领域
本发明涉及一种针对采用视频原语的自动视频监视的系统。
参考文献
为了方便读者，下面列出了这里所参考的参考文献。在规范中，括号内的数字表示相应的参考文献。所列出的参考文献在这里合并作为参考。
下列参考文献描述了运动目标检测：
{1}A.Lipton，H.FujiyoshiandR.S.Patil，″MovingTargetDetectionandClassificationfromReal-TimeVideo，″ProceedingsofIEEEWACV′98.Princeton，NJ，1998，pp.8-14.
{2｝W.E.L.Grimson，etal.，″UsingAdaptiveTrackingtoClassifyandMonitorActivitiesinaSite″，CVPR，pp.22-29，June1998.
{3}A.J.Lipton，H.Fujiyoshi，R.S.Patil，″MovingTargetClassificationandTrackingfromReal-timeVideo，″IUW，pp.129-136，1998.
{4}TJ.OlsonandF.Z.Brill，″MovingObjectDetectionandEventRecognitionAlgorithmforSmartCameras，″IUW，pp.159-175，May1997.
下列参考文献描述了对人的检测和跟踪：
{5}A.J.Lipton，″LocalApplicationofOpticalFlowtoAnalyseRigidVersusNon-RigidMotion，″InternationalConferenceonComputerVision，Corfu，Greece，September1999.
{6}F.Bartolini，V.Cappellini，andA.Mecocci，″Countingpeoplegettinginandoutofabusbyreal-timeimage-sequenceprocessing，″IVC，12(1)：36-41，January1994.
{7}M.RossiandA.Bozzoli，″Trackingandcountingmovingpeople，″ICIP94，pp.212-216，1994.
{8}CR.Wren，A.Azarbayejani，T.Darrell，andA.Pentland，″Pfinder：Real-timetrackingofthehumanbody，″Vismod，1995.
{9}L.Khoudour，L.Duvieubourg，J.P.Deparis，″Real-TimePedestrianCountingbyActiveLinearCameras，″JEI，5(4)：452-459，October1996.
{10}S.Ioffe，D.A.Forsyth，″ProbabilisticMethodsforFindingPeople，″IJCV，43(l)：45-68，June2001.
{11}M.IsardandJ.MacCormick，″BraMBLe：ABayesianMultiple-BlobTracker，″ICCV，2001.
下列参考文献描述了斑点分析：
{12}D.M.Gavrila，″TheVisualAnalysisofHumanMovement：ASurvey，″CVIU，73(l)：82-98，January1999.
{13}NielsHaeringandNielsdaVitoriaLobo，″VisualEventDetection，″VideoComputingSeries，EditorMubarakShah，2001.
下列参考文献描述了针对卡车、汽车、以及人的斑点分析：
{14}Collins，Lipton，Kanade，Fujiyoshi，Duggins，Tsin，Tolliver，Enomoto，andHasegawa，″ASystemforVideoSurveillanceandMonitoring：VSAMFinalReport，″TechnicalReportCMU-RI-TR-00-12，RoboticsInstitute，CarnegieMellonUniversity，May2000.
{15}Lipton，Fujiyoshi，andPatil，″MovingTargetClassificationandTrackingfromReal-timeVideo，″98DarpaIUW，Nov.20-23，1998.
下列参考文献描述了分析单个人的斑点及其轮廓：
{16}CR.Wren，A.Azarbayejani，T.Darrell，andA.P.Pentland.″Pfinder：Real-TimeTrackingoftheHumanBody，″PAMI，vol19，pp.780-784，1997.
以下参考文献描述了斑点的内部运动，包括任何基于运动的分割(segmentation)：
{17}M.AllmenandC.Dyer，″Long-RangeSpatiotemporalMotionUnderstandingUsingSpatiotemporalFlowCurves，″Proc.IEEECVPR.Lahaina，Maui，Hawaii，pp.303-309，1991.
{18}L.Wixson，″DetectingSalientMotionbyAccumulatingDirectionallyConsistentFlow″，IEEETrans.PatternAnal.Mach.Intell.，vol.22，pp.774-781，Aug，2000.
背景技术
公共场所的视频监视已经变得非常普遍，并为公众所接收。不幸的是，传统的视频监视系统产生了大量的数据，以至于在对视频监视数据进行分析时导致了难以处理的问题。
存在减少视频监视数据量的需要，这样可以实施对视频监视数据的分析。
存在对视频监视数据进行过滤的需要，以识别出视频监视数据的期望部分。
发明内容
本发明的目的是减少视频监视数据量，这样可以实施对视频监视数据的分析。
本发明的目的是对视频监视数据进行过滤，以识别出视频监视数据的期望部分。
本发明的目的是基于对来自视频监视数据的事件的自动检测而产生实时警报。
本发明的目的是将来自视频传感器的除了用于改进的搜索能力的视频以外的数据结合起来。
本发明的目的是将来自视频传感器的除了用于改进的事件检测能力的视频以外的数据结合起来。
本发明包括用于视频监视的一种产品(articleofmanufacture)、方法、系统以及装置。
本发明的产品包括计算机可读介质，该计算机可读介质包括针对视频监视系统的软件、包括用于基于视频原语来操作该视频监视系统的代码段。
本发明的产品包括计算机可读介质，该计算机可读介质包括针对视频监视系统的软件、包括用于访问存档视频原语的代码段，以及用于从所访问的存档视频原语中提取事件发生。
本发明的系统包括计算机系统，该计算机系统包括具有用以根据本发明来操作计算机的软件的计算机可读介质。
本发明的装置包括计算机，该计算机包括具有用以根据本发明来操作计算机的软件的计算机可读介质。
本发明的产品包括具有用以根据本发明来操作计算机的软件的计算机可读介质。
此外，本发明的上述目的和优点是对本发明所实现的那些的例证，而并非详尽的说明。因此，从这里的描述中，本发明的这些和其他目的和优点将变得显而易见，对本领域的那些技术人员而言，这里所体现的本发明的其他目的和优点以及考虑到任何变化对其所作的更改将变得显而易见。
定义
“视频”表示以模拟和/或数字形式表示的动画。视频的示例包括：电视、电影、来自摄像机或其他观测器的图像序列、计算机所产生的图像序列。
“帧”表示视频内的特定图像或其他离散单元。
“对象”表示视频中感兴趣的项目。对象的示例包括：人、车辆、动物、以及物理主体。
“活动”表示一个或多个动作和/或一个或多个对象的动作的一种或多种组合。活动的示例包括：进入、退出、停止、移动、提高、降低、增长、以及收缩。
“位置”表示活动可以发生的空间。例如，位置可以基于场景或基于图像。基于场景的位置的示例包括：公共场所、商店、零售场所、办公室、大商店、旅馆房间、酒店大堂、大厦门厅、娱乐场所、公共汽车站、火车站、飞机场、码头、公共汽车、火车、飞机以及轮船。基于图像位置的示例包括：视频图像、视频图像中的线、视频图像中的区域、视频图像中的矩形截面、以及视频图像的多边形截面。
“事件”表示一个或多个对象参与某个行为。事件可以涉及关于位置和/或时间。
“计算机”表示能够接收结构输入、根据指定规则处理结构输入、以及产生作为输出的处理结果的任意装置。计算机的示例包括：计算机、通用计算机、超级计算机、大型机、超小型计算机、迷你计算机、工作站、微型计算机、服务器、交互式电视、计算机和交互式电视的混合结构、以及模拟计算机的特定应用的硬件和/或软件。计算机可以具有单个处理器或多个处理器，该处理器可以并行和/或非并行地操作。计算机还表示通过用于在计算机之间发送或接收信息的网络连接在一起的两个或多个计算机。这种计算机的示例包括用于通过由网络所连接的计算机来处理信息的分布式计算机系统。
“计算机可读介质”表示用于存储可由计算机存取的数据的任意存储设备。计算机可读介质的示例包括：磁性硬盘、软盘、诸如CD-ROM和DVD之类的光盘、磁带、存储芯片、用于携带计算机可读电子数据的载波，诸如那些用于发送和接收电子邮件或访问网络。
“软件”表示用于操作计算机的指定规则。软件的示例包括：软件、代码段、指令、计算机程序、以及程序逻辑。
“计算机系统”表示具有计算机的系统，其中该计算机包括采用软件来操作计算机的计算机可读介质。
“网络”表示多个计算机以及通过通信设备所连接的关联设备。网络包括诸如电缆之类的永久性连接或诸如通过电话或其他通信线路所构成的暂时连接。网络的示例包括：诸如互联网的互联网络(internet)、内联网、局域网(LAN)、广域网(WAN)以及诸如互联网和内联网之类的网络的组合。
附图说明
通过附图，对本发明的实施例进行更详细的说明，在附图中相同的附图标记表示相同特征。
图1示出了本发明的视频监视系统的平面图。
图2示出了针对本发明的视频监视系统的流程图。
图3示出了用于给视频监视系统分派任务的流程图。
图4示出了用于操作视频监视系统的流程图。
图5示出了用于提取视频监视系统的视频原语的流程图。
图6示出了对视频监视系统采取行动的流程图。
图7示出了针对视频监视系统的半自动校准的流程图。
图8示出了针对视频监视系统的自动校准的流程图。
图9示出了针对本发明的视频监视系统的附加流程图。
图10-15示出了本发明的视频监视系统应用于监视杂货店的示例。
图16a示出了根据本发明的实施例的视频分析子系统的流程图。
图16b示出了根据本发明的实施例的事件发生检测和响应子系统的流程图。
图17示出了示例性数据库询问。
图18示出了根据本发明的不同实施例的三个示例性活动检测器：检测绊网道口(图18a)、徘徊(图18b)、盗窃(图18c)。
图19示出了根据本发明的实施例的活动检测器询问。
图20示出了根据本发明的实施例的使用活动检测器和具有修正符的布尔操作符的示例性询问。
图21a和图21b示出了使用组合操作符、活动检测器、以及特性询问的多级的示例性询问。
具体实施方式
本发明的自动视频监视系统是为了例如市场调查或保安目的而用于监视位置。该系统可以是具有为特定目的所建造的监视组件的专用视频监视装置，或者该系统可以是对借用监视视频馈入信号而工作的现有视频监视设备的改进。该系统能够分析来自实况源或记录介质的视频数据。该系统能够实时处理视频数据，并存储所提取的视频原语，以便随后允许非常高速的公开辩论事件的检测。该系统可以对分析具有指定的响应，诸如记录数据、激活警报机制、或激活另一个传感器系统。该系统还能够结合其他监视系统组件。例如，可以将该系统用于产生安全或市场调查报告，该安全或市场调查报告可以根据操作者的需要来进行加工，并且作为选择，可以通过基于交互式网络接口或其他报告机制来呈现。
通过使用事件鉴别器，操作者在配置系统方面具有最大灵活性。以一个或多个对象(其描述基于视频原语)连同一个或多个可选的空间属性和/或一个或多个可选的时间属性来识别事件鉴别器。例如，操作者可以将事件鉴别器(在这个示例中称为“徘徊”)“人物”对象在“自动取款机”空间停留“超过15分钟”以及“在10:00p.m到6:00a.m之间”。可以将事件鉴别器与改良后的布尔操作符相结合以形成更复杂的询问。
尽管本发明的视频监视系统利用来自公共域的公知的计算机视频技术，本发明的视频监视系统具有若干当前不可用的独特且新颖的特征。例如，当前视频监视系统使用大量视频图像作为信息交换的初级产物。本发明的系统使用视频原语作为具有被用作旁证的典型视频图像的初级产物。还可以校准(手动地、半自动地、或自动地)本发明的系统，并由此可以自动从视频图像中推断出视频原语。该系统还可以分析先前已处理的视频，而不需要整个对该视频进行重新处理。通过分析先前已处理的视频，该系统可以基于先前已记录的视频原语来执行推论分析，从而大大地改进了计算机系统的分析速度。
视频原语的使用还可以显著地减少针对视频的存储需要。这是因为事件检测和响应子系统只使用视频来例证检测。因此，可以以较低质量来存储该视频。在可能的实施例中，仅在检测到活动时(而非一直)可以存储视频。在另一个可能的实施例中，所存储的视频的质量可以取决于是否检测到活动：当检测到活动时，可以以较高质量(较高帧速率和/或比特率)来存储视频。在另一个示例性实施例中，例如可以由数字录像机(DVR)来对视频存储和数据库进行分别处理，并且该视频处理子系统可以只控制是否存储数据以及以什么质量来存储。
作为另一个示例，本发明的系统提供了独特的系统任务分派法。通过使用设备控制指示，当前视频系统允许用户决定视频传感器的位置以及，在一些复杂的传统系统中，允许用户屏蔽感兴趣或不感兴趣的区域。设备控制指示是用于控制摄像机的位置、方向、以及焦距的指令。本发明的系统使用基于视频原语的事件鉴别器作为初级任务分派机制，以代替设备控制指示。通过使用事件鉴别器和视频原语，操作者在传统的系统上具有更加直观的方法，用以从系统提取有用信息。可以以人类直觉的方式使用基于视频原语的一个或更多事件鉴别器(诸如“一个人进入限制区域A”)来为本发明的系统分派任务，而不是使用设备控制指示(诸如“摄像机A向左偏45度”)来为系统分派任务。
将本发明用于市场调查，下列是可以使用本发明来执行的视频监视类型的示例：计算商店里的人数、计算商店的一部分中的人数、计算停留在商店的特定位置的人数、测量人们在商店中所花费的时间、测量人们在商店的一部分中所花费的时间、以及测量商店中的队伍的长度。
将本发明用于保安，下列是可以使用本发明来执行的视频监视类型的示例：确定任何一个人进入受限区域的时间并存储关联图像；确定人们何时以不寻常的次数进入区域；确定在未被授权的情况下货架和储藏室何时发生变化；确定飞机器上的乘客何时靠近座舱；确定人们何时通过保安入口；确定机场是否存在无人看管的袋子；以及确定是否存在对财产的偷窃行为。
示例性应用区域可以是入口控制，这可以包括例如：检测人们是否翻过栅栏或进入禁止区域；检测是否有人在错误的方向上运动(例如，在机场，通过出口进入保安区域)；确定在感兴趣区域检测到的对象数量是否与基于RFID标签或针对条目的读卡的期望数量不匹配，从而指示了未授权人员的存在。这还可以用于住宅区应用，其中视频监视系统能够区分人和宠物的运动，从而消除多数错误的警报。要注意的是，在许多住宅区应用中，可能涉及到隐私；例如，房主可能不希望另一个人在远程监视他的住宅并能够看到房屋里有什么以及房屋里发生了什么。因此，在这种应用所使用的一些实施例中，可以局部地执行视频处理，并且只在必要的时候(例如，对罪犯行为或其他危险情况的检测，但不局限于此)将可选的视频或瞬象发送给一个或更多远端监视站。
另一个示例性应用区域可以是财产监视。这可以表示检测对象是否从场景中拿走对象，例如，如果将石器从博物馆拿走。在零售环境中，财产监视可以具有多个方面，并可以包括例如：检测是否有人拿走可疑的大量给定项目；确定是否有人通过入口离开，尤其是是否在推购物车时做这件事；确定是否有人将不匹配的价格标签贴到项目上，例如往袋子里装满最贵的咖啡种类，但使用较便宜种类的价格标签；或者检测是否有人带着具有大箱子的装载支架离开。
另一个示例性应用区域可以是针对防护目的。例如，这可以包括：检测是否有人滑倒和跌倒，例如在商店或停车场里；检测是否有车辆在停车场中超速驾驶；检测站台上没有火车时是否有人过于靠近火车或地铁站的站台边缘；检测铁轨上是否有人；检测当火车开始移动时是否有人夹在火车的门上；或者计算进入和离开该设施的人数，由此保持准确的总人数，这在紧急情况下非常重要。
另一个示例性应用区域可以是交通监视。这可以包括检测是否有车辆停止，尤其是在比如桥或隧道这样的地方，或者检测是否有车辆停放在禁止停车区域。
另一个示例性应用区域可以是防止恐怖行动。除了先前所提到的应用中的一些以外，这还可以包括：检测是否有对象留在机场中央大厅、是否有对象被栅栏所覆盖、或者是否有对象留在铁路轨道上；检测是否有人徘徊或者有车辆环绕在重要的基础设施周围；或者检测在码头或开阔水面上是否有快速移动的小船靠近轮船。
另一个示例性应用区域可以是护理病人和老人，包括在家里。例如，这可以包括：检测是否有人跌倒；或者检测不寻常的行为，比如有人在延长时间段内不进入厨房。
图1示出了本发明的视频监视系统的平面图。计算机系统11包括计算机12，计算机12包含用以根据本发明来操作计算机12的软件的计算机可读介质13。计算机系统11与一个或更多视频传感器14、一个或更多视频记录器15、以及一个或更多输入/输出(I/O)设备16相连。可选地，视频传感器14还可以与视频记录器15相连，以便对视频监视数据进行直接记录。可选地，该计算机系统与其他传感器17相连。
视频传感器14向计算机系统11提供源视频。例如，每个视频传感器14都可以使用直接连接(例如火警线数字摄像机接口)或网络来与计算机系统11相连。视频传感器14可以在本发明的安装之前存在，或者可以被安装作为本发明的一部分。视频传感器14的示例包括：摄像机、数字摄像机、彩色照相机、黑白照相机、照相机、可携式摄像机、PC照相机、网络摄像机、红外摄像机、以及CCTV摄像机。
视频记录器15从计算机系统11接收视频监视数据用于记录，或者向计算机系统11提供源视频。例如，每个视频记录器15都可以使用直接连接或网络来与计算机系统11相连。视频记录器15可以在本发明的安装之前存在或者被安装为本发明的一部分。计算机系统11中的视频监视系统可以控制视频记录器15何时以及以什么质量设置来记录视频。视频记录器15的示例包括：录像机、数字录像机、录像盘、以及计算机可读介质。
I/O设备16向计算机系统11提供输入并接收来自计算机系统11的输出。I/O设备16可用于给计算机系统11分派任务，并产生来自计算机系统11的报告。I/O设备16的示例包括：键盘、鼠标、输入笔、监视器、打印机、另一个计算机系统、网络、以及警报。
其他传感器17向计算机系统11提供附加输入。例如，每个其他传感器17都使用直接连接或网络来与计算机系统11相连。其他传感器17可以在本发明的安装之前存在或者被安装为本发明的一部分。其他传感器17的示例包括：运动传感器、光绊网、生物传感器、RFID传感器、以及基于卡或者基于键盘的授权系统，但不局限于此。其他传感器17的输出可以由计算机系统11、记录设备和/或记录系统来记录。
图2示出了针对本发明的视频监视系统的流程图。参考图10-15对本发明的各个方面进行例证，图10-15示出了适于监视杂货店的本发明的视频监视系统的示例。
在框21中，如图1中所讨论地对视频监视系统进行设置。每个视频传感器14都朝向视频监视的位置。计算机系统11与来自视频设备14和15的视频馈入相连。可以使用现有设备或针对该位置最新安装的设备来实现该视频监视系统。
在框22中，对视频监视系统进行校准。一旦该视频监视系统由于框21而位于适当位置，则校准发生。框22的结果是视频监视系统能够确定由视频传感器所提供的视频图像中的不同位置处的特定对象(例如人物)的近似绝对大小和速度。可以使用手动校准、半自动校准、和自动校准来对该系统进行校准。在框24的讨论之后，对校准进行进一步描述。
在图2的框23中，给视频监视系统分派任务。分派任务发生在框22的校准之后，并且是可选的。给视频监视系统分派任务包括指定一个或更多事件鉴别器。在没有分派任务的情况下，视频监视系统通过检测并存档视频原语以及关联视频图像来进行操作，而不采取如图4中的框45所示的任何行动。
图3示出为了给视频监视系统分派任务而确定事件鉴别器的流程图。事件鉴别器表示与一个或更多空间属性和/或一个或更多时间属性可选地互相作用的一个或更多对象。根据视频原语(也称为活动描述元数据)来描述事件鉴别器。视频原语设计准则中的一些包括下列：被从视频流中实时提取出来的能力；对来自视频的所有相关信息的包含；以及表示的简明扼要。
希望从视频流中实时提取出视频原语，以使得该系统能够产生实时警报，这样做的原因是因为视频提供了连续的输入流，从而系统不会落后。
因为在提取视频原语的时候，用户所定义的规则并不为系统所知，所以视频原语还应该包含来自视频的所有相关信息。因此，视频原语应该包含能够用以检测用户所指定的任何事件的信息，而不需要回到视频并对其进行重新分析。
出于多方面的原因，还希望简明扼要的表示。所提出的发明的一个目标可以是延长监视系统的存储再循环时间。如上述所讨论的，这可以通过存储活动描述元数据以及其质量取决于活动的存在的视频来代替始终存储优质视频。因此，视频原语越简明，则可以存储越多的数据。此外，视频原语的表示越简明，数据存取变得越快，并且反过来这可以加快辩论(forensic)搜索。
视频原语的准确内容可以依靠应用以及感兴趣的可能事件。下面对一些示例性实施例进行描述。
视频原语的示例性实施例可以包括描述了全部场景和视频的场景/视频描述符。通常，这可以包括对场景出现的详细描述，例如天空、植物、人造对象、水等的位置；和/或气象条件，例如降雨、雾等的存在/缺乏。例如，针对视频监视应用，全景的改变很重要。示例性描述符可以描述突然的光线改变；该描述符可以指示摄像机的运动，尤其是摄像机开始或停止运动的事实，以及在后者的情况下，摄像机是否回到其先前的场景或至少回到先前已知的场景；该描述符可以指示视频馈入的质量，例如，如果视频馈入突然变得更加嘈杂或变暗，则潜在地指示正在削弱馈入；或者该描述符可以示出沿着水主体的水线的改变(为了关于对后者问题的特定方法的更多信息，例如可以参考2004年10月1日提交的共同未决的美国专利申请No.10/954,479，其内容在此合并作为参考)
视频原语的另一个示例性实施例可以包括涉及在视频馈入中所观察到的对象的显著属性的对象描述符。存储关于对象的什么信息可以取决于应用区域和可用处理能力。示例性对象描述符可以包括通用属性，该通用属性包括大小、形状、周长、轨迹、速度和运动方向、运动前景及其特征、颜色、硬度、质地和/或分类，但不局限于此。对象描述符还可以包含更多应用和类型的特定信息：对于人类，这可以包括相貌和肤色比、性别和种族信息、描述了人类外形和姿态的一些人类身体模型；或者对于车辆，这包括类型(例如卡车、SUV、轿车、自行车等)、制造、型号、牌照号。对象描述符还可以包含活动，该活动包括携带对象、奔跑、步行、站立、或抬高手臂，但不局限于此。诸如交谈、打架、或碰撞之类的一些活动也可以涉及其他对象。对象描述符还可以包含识别信息，该识别信息包括脸或步态，但不局限于此。
视频原语的另一个示例性实施例可以包括描述视频中的每个区域的运动的方向的流描述符。例如，可以将这种描述符用于通过检测禁止方向上的任何运动来检测反传事件(为了得到关于对此后者问题的特定方法的更多信息，例如可以参考2004年1月30日提交的共同未决的美国专利申请No.10/766,949，其内容在此合并作为参考)。
原语也可以来自非视频源，例如音频传感器、热传感器、压力传感器、读卡机、RFID标签、生物传感器等。
分类指的是对属于特定类别或种类的对象的识别。分类的示例包括：人、狗、车辆、警车、个人、以及特定类型的对象。
大小指的是对象的尺寸属性。大小的示例包括：大、中、小、平、高于1英尺、低于1英尺、比3英尺宽、比4英尺薄；关于人类大小；比一个人大、比一个人小；关于汽车大小；具有近似像素尺寸的图像中的矩形；以及多个图像像素。
位置指的是对象的空间属性。例如，位置可以是像素坐标中的图像位置、一些地球坐标系统中的绝对的真实世界的位置、或相对于地标或另一个对象的位置。
颜色指的是对象的色彩属性。颜色的示例包括：白色、黑色、灰色、红色、HSV值的范围、YUV值的范围、RGB值的范围、平均RGB值、平均YUV值、以及RGB值的柱状图。
硬度指的是对象的形状一致性属性。非刚性对象(例如人或动物)的形状可以从帧到帧地改变，而刚性对象(例如车辆或房屋)可以基本上保持帧到帧不变(除非可能由于翻转而产生的微小变化)。
质地指的是对象的模式属性。质地特征的示例包括：自相似性、谱功率、线性、以及粗度。
内部运动指的是对象刚性的测量。完全刚性的对象的示例是汽车，其没有呈现出大量内部运动。完全非刚性对象的示例是具有摆动的手臂和腿的人，其呈现出了大量的内部运动。
运动指的是可以被自动检测到的任意运动。运动的示例包括：对象的出现、对象的消失、对象的垂直运动、对象的水平运动、以及对象的周期运动。
显著运动指的是可以被自动检测到并且可以在一段时间内跟踪的任意运动。这种移动着的对象呈现出目的明显的运动。显著运动的示例包括：从一个位置移动到另一个位置；以及移动到与另一个对象结合。
显著运动的特征指的是显著运动的特性。显著运动的特征的示例包括：轨迹、象空间中的轨迹的长度、对轨迹在环境的三维表示中的近似长度、对象在象空间中作为时间函数的位置、对象在环境的三维表示中作为时间函数的近似位置、轨迹的持续时间、象空间中的速度(例如速率和方向)、环境的三维表示中的近似速度(例如速率和方向)、速率的持续时间、象空间中的速率的改变、环境的三维表示中的速度的近似改变、速度的改变的持续时间、运动的中止、以及运动中止的持续时间。速度指的是对象在特定时刻处的速率和方向。轨迹表示在可以跟踪对象或者时间段内对象的(位置，速度)对的集合。
场景改变指的是可以检测到在一端时间内改变的场景中的任意区域。场景改变的示例包括：离开场景的固定对象；进入场景并变成固定的对象；在场景中改变位置的对象；以及改变外观的对象(例如，颜色、形状、或大小)。
场景变化的特征指的是场景变化的特性。场景变化的特征的示例包括：象空间中的场景变化的大小、环境的三维表示中的场景变化的近似大小、场景变化发生的时刻、象空间中的场景变化的位置、以及在环境的三维表示中的场景变化的近似位置。
预定模型指的是对象中的先验已知模型。预定模型的示例可以包括：成年人、儿童、车辆、以及半拖挂车。
图16a示出了根据本发明的实施例的视频监视系统的示例性视频分析部分。在图16a中，视频传感器(例如视频摄像机，但不局限于此)1601可以为视频分析子系统1603提供视频流1602。然后，视频分析子系统1603可以执行对视频流1602的分析以推导出视频原语，然后可以将该视频原语存储在原语存储器1605中。还可以将原语存储器1605用于存储非视频原语。视频分析子系统1603还可以控制视频流1602的全部或部分在视频存储器1604中的存储，例如如上述所讨论的视频质量和/或数量。
现在，参照图16b，一旦视频和非视频(如果存在其他传感器)原语161可用，则该系统可以检测事件。用户通过定义规则163以及使用该规则和响应定义接口162的相应响应164来给系统分派任务。将该规则翻译成事件鉴别器，然后系统提取相应的事件发生165。所检测到的事件发生166触发用户所定义的响应167。响应可以包括从视频存储器168(可以与图16a中的视频存储器1604相同，也可以不同)所检测到的事件的视频的快照。视频存储器168可以是视频监视系统的一部分，或者可以是单独的记录设备15。响应的示例可以包括：激活系统显示上的视觉和/或音频警报；激活某个位置处的视觉和/或音频警报系统；激活无声警报；激活快速响应机制；锁上门；联系保安服务；通过网络将数据(例如，图像数据、视频数据、视频原语、和/或分析数据)转发给另一个计算机系统(例如互联网，但不局限于)；将这种数据保存到指定的计算机可读介质中；激活一些其他传感器或视频系统；给计算机系统11和/或另一个计算机系统分派任务；和/或控制计算机系统11和/或另一个计算机系统，但不局限于此。
可以将原语数据设想为数据库中所存储的数据。为了检测其中的事件发生，需要有效的询问语言。本发明的系统的实施例可以包括下面将要描述的活动推断语言。
传统的关系数据库询问模式通常遵循布尔二进制树结构，以允许用户创建关于所存储的各种类型的数据的灵活询问。叶节点通常是“特性关系值”，其中特性是数据(诸如时间或名称)的一些关键特征；关系通常是数字操作符(“＞”、“＜”、“＝”等)；以及值是该特性的有效状态。分支节点通常表示诸如“与”、“或”、“非”之类的一元或二元布尔逻辑操作符。
这可以形成本发明的实施例中的活动询问公式模式的基础。在视频监视系统的情况下，特性可以是在视频流中所检测到的对象的特征，例如大小、速度、分类(人、车辆)，或者特性可以是场景变化特性。图17给出了使用这种询问的示例。在图17a中，提出了询问：“让我看任何一辆红色车辆”171。可以将此分解成两个“特性关系值”(或简单地为“特性”)询问，以测试对象的分类是否为车辆173，及其颜色是否主要是红色174。这两个子询问可以与布尔操作符“与”172组合在一起。类似地，在图17b中，可以将询问：“让我看摄像机何时开始或停止移动”表示成特性子询问(“使摄像机开始移动”177和“使摄像机停止移动”178)的布尔“或”176组合。
本发明的实施例可以将这种类型的数据库询问模式扩展成两种示例性方式：(1)可以使用描述场景内的空间活动的活动检测器来增加基本的叶节点；以及(2)可以使用指定空间、时间以及对象相互关系的修正符来增加布尔操作符的分支节点。
活动检测器与涉及视频场景的区域的行为相对应。活动检测器描述了对象如何与场景中的位置相互作用。图18示出了三种示例性活动检测器。图18a表示使用虚视频绊网横在特定方向的周边的行为(为了得到关于如何实现这种虚视频绊网的更多信息，例如可以参考美国专利申请No.6,696,945)。图18b表示在铁路轨道上徘徊一段时间的行为。图18c表示从墙截面取走某物的行为(对于如何完成上述的示例性方法，可以参考2003年1月30日提交的名为“VideoSceneBackgroundMaintenance-ChangeDetection&Classification”的美国专利申请No.10/331,778)。其他示例性活动检测器可以包括：检测倒下的人、检测变化方向或速度的人、检测进入一个区域的人、或检测沿着错误的方向离开的人。
图19示出了如何将活动检测器叶节点(这里，横着的绊网)与简单的特性询问相结合以检测一辆红色车辆是否越过视频绊网191的示例。将特性询问172、173、174以及活动检测器193与布尔“与”操作符192进行组合。
询问与改进后的布尔操作符的组合(组合操作符)可以增加更多的灵活性。示例性修正符包括空间、时间、对象以及计数器修正符。
空间修正符可以使得布尔操作符只对在场景内最接近/非最接近的儿童活动起作用(即，布尔操作符的自变量，例如下面图19中所示的布尔操作符)。例如，可以将“与-50个像素以内”用于表示“与”只应用于活动之间的距离小于50个像素的情况。
时间修正符可以使得布尔操作符只对相互的特定时间段内、这个时间段外、或次数范围内发生的儿童活动起作用。还可以指定事件的时间排序。例如，可以将“与-第二的10秒内的第一”用于表示“与”只应用于在第一儿童活动之后不超过10秒内发生第二儿童活动的情况。
对象修正符可以使得布尔操作符只对所发生的包括相同或不同对象的儿童活动起作用。例如，可以将“与-包括相同的对象”用于表示“与”只应用于两个儿童活动包括相同的特定对象的情况。
计数器修正符可以使得布尔操作符仅在以预定次数满足条件时被触发。计数器修正符通常可以包括数字关系，例如“至少n次”、“刚好n次”、“至多n次”等。例如，可以将“或-至少两次”用于表示“或”操作符的至少两次子询问必须是真实的。此外，可以将计数器修正符用于实现诸如“如果同一个人从架子上拿走至少五件物品，则警报”之类的规则。
图20示出了使用组合操作符的示例。这里，所需要的活动询问是“找到进行了违章左转的红色车辆”201。可以通过活动描述符和改进的布尔操作符的组合来捕捉违章左转。可以使用虚绊网(tripwire)来检测出了边道的对象193，并且可以使用另一个虚绊网来检测沿着公路204向左移动的对象205。这些可以由改进的“与”操作符202来组合。标准布尔“与”操作符保证必须检测行为193和205。对象修正符203检查相同的对象越过两个绊网，而时间修正符204检查首先自下而上地越过绊网193，之后在10秒内自右向左地越过绊网205。
这个示例还指示了组合操作符的能力。理论上，可以定义针对左转的单独活动检测器，而不需要依靠简单的活动检测器和组合操作符。然而，该检测器将是不可变的，从而很难适应任意旋转角度和方向，并且针对所有潜在的事件都写单独的描述符也比较麻烦。相比之下，使用组合操作符和简单的检测器提供极大的灵活性。
可以被检测作为较简单的组合的复杂活动的其他示例可以包括汽车停放、人走出汽车或者多个人形成群、紧跟在前面车辆之后行驶。这些组合操作符还可以组合不同类型及来源的原语。示例可以包括以下规则：例如“在关灯之前将人领进房间”、“在没有优先磁条卡的情况下让人进门”、或“示出是否感兴趣区域具有多于RFID标签读卡机所预期的对象”，即区域中没有RFID标签的非法对象。
组合操作符可以组合任意数量的子询问，并且组合操作符甚至可以将其他组合操作符组合成任意深度。图21a和21b中所示出的示例可以是检测车辆是否左转2101然后右转2104的规则。可以使用方向性绊网2102和2103来检测左转2101，而使用方向性绊网2105和2106来检测右转2104。通过与具有对象修正符“相同”2117以及时间修正符“2112在2113之前”的2118“与”组合操作符2111相结合，可以将左转表示为分别与绊网2102和2103相对应的绊网活动描述符2112和2113。类似地，通过与结合具有对象修正符“相同”2119以及时间修正符“2115在2116之前”2120的“与”组合操作符2114，可以将右转表示为分别与绊网2105和2106相对应的绊网活动描述符2115和2116。为了检测先左转然后右转的同一对象，左转检测器2111和右转检测器2114与具有对象修正符“相同”2122和时间修正符“2111在2114之前”2123的“与”组合操作符2121相结合。最后，为了保证所检测到的对象为车辆，将布尔“与”操作符2125用于将左右转检测器2121和特性询问2124进行组合。
所有这些检测器可选地与时间属性进行组合。时间属性的示例包括：每15分钟、9:00pm和6:30am之间、小于5分钟、超过30秒、以及超过周末。
在图2的框24中，对视频监视系统进行操作。本发明的视频监视系统自动操作、检测以及归档场景中的对象的视频原语，并使用事件鉴别器实时检测事件发生。此外，适当地采取实时行动，例如归档警报、产生报告、以及产生输出。可以将报告和输出显示和/或本地存储到系统或通过诸如互联网之类的网络存储到别处。图4示出了用于操作视频监视系统的流程图。
在框41中，计算机系统11从视频传感器14和/或视频记录器15中获得源视频。
在框42中，实时从源视频中提取出视频原语。可选地，可以从一个或更多其他传感器17中获得和/或提取出非视频原语，并且可以将其用于本发明。视频原语的提取如图5所示。
图5示出了用于为视频监视系统提取视频原语的流程图。框51和52并行操作，并且可以按照任意顺序或同时执行框51和52。在框51中，通过移动检测对象。可以将以像素等级来检测帧之间的运动的任意运动检测算法用于此框。作为示例，可以使用{1}中所讨论的三帧区分技术。将所检测到的对象转发到框53。
在框52中，通过变化检测对象。可以将从背景模型中检测变化的任意变化检测算法用于此框。如果认为帧中的一个或更多像素位于帧的显著位置，则在此框中检测对象，因为像素不符合帧的背景模型。作为示例，可以使用诸如在{1}中以及2000年12月24日提交的美国专利申请No.09/694,712中所描述的动态自适应背景减法之类的随机背景建模技术。将所检测到的对象转发给框53。
框51中的运动检测技术和框52中的变化检测技术是互补技术，其中每项技术都有利地提出了另一项技术中的不足。可选地，可以将另外和/或备选的检测方案用于针对框51和52所讨论的技术。另外和/或备选的检测方案的示例包括以下：如{8}中所述的用于找人的Pfinder检测方案；肤色检测方案；脸检测方案；以及基于模型的检测方案。将这种另外和/或备选的检测方案的结果提供给框53。
可选地，如果视频传感器14具有运动(例如扫描、放大和/或平移的视频摄像机)，则可以在框51和52之前插入附加框以便向框51和52提供为了视频稳定性的输入。可以通过仿射或投射全局运动补偿来实现视频稳定性。例如，可以将2000年7月3日提交的美国专利申请No.09/609,919(现在为美国专利No.6,738,424，其内容在此合并作为参考)中所描述的图像定位用于获得视频稳定性。
在框53中，产生斑点。通常，斑点是帧中的任一对象。斑点的示例包括：移动中的对象，例如人或车辆；以及消费品，例如一件家具、成衣制品、或零售货架物品。使用从框32和33中所检测到的对象来产生斑点。可以将用于产生斑点的任意技术用于此框。用于从运动检测和变化检测中产生斑点的示例性技术使用连通部件方案。例如，可以使用{1}中所述的形态学以及连通部件算法。
在框54中，跟踪斑点。可以将用于跟踪斑点的任何技术用于此框。例如，可以使用Kalman滤波或CONDENSATION算法。作为另一个示例，可以使用诸如{1}中所述的模板匹配技术。作为又一个示例，可以使用2000年10月24日所提交的美国专利申请No.09/694,712中所描述的帧到帧跟踪技术。针对以杂货店为地点的示例，可以被跟踪的对象的示例包括：移动中的人、库存物品、以及诸如购物手推车或推车之类的存货移动装置。
可选地，可以使用对于普通技术人员已知的任意检测和跟踪方案来取代框51-54。在{11}中描述了这种检测和跟踪方案的示例。
在框55中，分析所跟踪的对象的每个轨迹，以确定该轨迹是否显著。如果该轨迹不显著，则该轨迹表示呈现出不稳定运动的对象，或表示不稳定大小或颜色的对象，然后拒绝相应的对象，并不再通过系统对其进行分析。如果该轨迹显著，则该轨迹表示潜在的感兴趣的对象。通过将显著测量应用于轨迹来确定该轨迹是显著或不显著。在{13}和{18}中描述了用于确定轨迹显著与否的技术。
在框56中，对每个对象进行分类。将每个对象的通用类型确定为对象的分类。可以通过多种技术来执行分类，并且这种技术的示例包括使用神经网络分类器{14}以及使用线性鉴别分类器{14}。分类的示例与针对框23所讨论的那些相同。
在框57中，通过使用来自框51-56的信息并将其作为必要信息进行另外处理来识别视频原语。所识别的视频原语的示例与针对框23所讨论的那些相同。作为示例，针对大小，系统可以使用从框22的校准中所获得的信息作为视频原语。通过校准，系统具有足够的信息来确定对象的近似大小。作为另一个示例，系统可以使用从框54中所测量的速度作为视频原语。
在框43中，对来自框42的视频原语进行存档。可以将视频原语存档于计算机可读介质13或另一个计算机可读介质中。根据视频原语，可以将来自源视频的关联帧或视频图像存档。这个存档过程是可选的；如果只将该系统用于实时事件检测，则可以跳过存档步骤。
在框44中，使用事件鉴别器来从视频原语中提取出事件发生。在框42中确定视频原语，并在框23中通过给系统分派任务来确定事件鉴别器。将事件鉴别器用于过滤视频原语，以确定是否有事件发生出现。例如，事件鉴别器可以寻找由在9:00a.m到5:00p.m之间沿着“错误路线”进入区域的人所定义的“错误路线”事件。事件鉴别器检查根据图5所产生的所有视频原语，并确定是否存在具有以下特性的视频原语：9:00a.m到5:00p.m之间的时间戳、“人”或“人群”的分类、区域内的位置、以及运动的“错误”方向。事件鉴别器还可以使用如上面所讨论的其他类型的原语，和/或将来自多个视频源的视频原语进行组合以检测事件发生。
在框45中，针对框44中所提取的每个事件，适当地采取行动。图6示出了用于对视频监视系统采取行动的流程图。
在框61中，如检测事件发生的事件鉴别器所指定地进行响应。针对框34中的每个事件鉴别器，识别响应(如果存在的话)。
在框62中，针对所出现的每个事件发生，产生活动记录。该活动记录包括，例如：对象的轨迹的详图、对象的检测时间、对象的检测位置、以及对所采用的事件鉴别器的描述或定义。活动记录可以包括事件鉴别器所需要的诸如视频原语之类的信息。活动记录还可以包括事件发生中所包括的对象和/或区域的典型视频或静止图像。将活动记录存储在计算机可读介质中。
在框63中，产生输出。该输出基于在框44中所提取的事件产生，以及来自框41的源视频的直接馈入。将该输出存储在计算机可读介质中，并将其显示在计算机系统11或另一个计算机系统上，或者转发给另一个计算机系统。随着系统操作，收集关于事件发生的信息，并且操作者可以随时观看该信息，包括实时观看。用于接收该信息的格式的示例包括：在计算机系统的屏幕上的显示；硬拷贝；计算机可读介质；以及交互式网页。
该输出可以包括来自框41的源视频的直接馈入的显示。例如，可以将源视频显示在计算机系统的监视器或闭路监视器的窗口上。此外，该输出可以包括以图形标出的源视频，以便高亮事件发生中所包括的对象和/区域。如果该系统操作于取证分析模式，则该视频可以来自视频记录器。
该输出可以包括基于操作者和/或事件发生的需要而针对操作者的一个或更多报告。报告的示例包括：出现事件发生的次数；事件发生在场景出现的位置；事件发生的出现次数；每个事件发生的典型图像；每个事件发生的典型视频；原始统计数据；事件发生的统计(例如，多少、多经常、哪里以及何时)；和/或人类可读的图形显示。
图13和图14示出了针对图15中的杂货店中的过道的示例性报告。在图13和14中，在框22中识别若干区域，并由此在图像中对其做标记。图13中的区域与图12中的区域相匹配，并且图14中的区域是不同的区域。为该系统分派任务以寻找停留在区域中的人。
在图13中，示例性报告是来自所标出的视频的图像，以包括标签、图形、统计信息、以及对统计信息的分析。例如，被识别为咖啡的区域具有统计信息：区域中的平均顾客数为每小时2个，并且在该区域中的平均停留时间为5秒。系统确定这个区域为“冷”区域，表示这个区域中不存在大量商业行为。作为另一个示例，被识别为苏打水的区域具有统计信息：区域中的平均顾客数为每小时15个，并且在该区域的平均停留时间为22秒。系统确定这个区域为“热”区域，表示这个区域中存在大量商业行为。
在图14中，示例性报告是来自所标出的视频的图像，以包括标签、图像、统计信息、以及对统计信息的分析。例如，过道后面区域具有每小时14个的平均顾客数，并被确定为具有低业务量。作为另一个示例，过道前面区域具有每小时83个的平均顾客数，并被确定为具有高业务量。
对于图13或图14，如果操作者希望关于任意特定区域的更多信息，则点击界面允许操作者对系统已经检测并存档的区域和/或活动的典型的静止和视频图像进行操纵。
图15示出了针对杂货店中的过道的另一个示例性报告。该示例性报告包括来自所标出的视频中的图像，以包括标签、轨迹指示、描述所标出的图像的文本。通过搜索多个区域来给示例中的系统分派任务：对象的轨迹的长度、位置以及时间；对象稳定的时间和位置；轨迹与操作者所指定的区域的相关性；对并非一个人的对象的分类，一个人、两个人、以及三个或更多个人。
图15中的视频图像来自记录了轨迹的时段。在三个对象中，两个对象中的每个都被分类为一个人，而一个对象分类为不是一个人。给每个对象分配标签，即PersonID1032、PersonID1033以及ObjectID32001。针对PersonID1032，系统确定在区域中度过52秒的人以及在由圆圈所指定的位置处度过18秒的人。针对PersonID1033，系统确定在区域中度过1分钟零8秒的人以及在由圆圈所指定的位置处度过12秒的人。针对PersonID1032和PersonID1033的轨迹包括在所标出的图像中。针对对象ID32001，系统没有进一步分析对象，并以X指示该对象的位置。
回到图2中的框22对其进行参照，校准可以是(1)手动的、(2)半自动地使用来自视频传感器或视频记录器的图像、或(3)自动地使用来自视频传感器或视频记录器的图像。如果需要图像，则假设将要由计算机系统11进行分析的源视频来自视频传感器，该视频传感器获得用于校准的源视频。
针对手动校准，操作者为计算机系统11提供了针对每个视频传感器14中的定位和内部参数，以及每个视频传感器14相对于该位置的放置。计算机系统11可以随意保持该位置的映射，并且可以在该映射上指示该视频传感器14的放置。该映射可以是对环境的二维或三维表示。此外，手动校准给系统提供了足够的信息以确定对象的近似大小和相对位置。
可选地，针对手动校准，操作者可以使用表示已知大小的对象(例如人)的外观的图形来标出来自传感器的视频图像。如果操作者可以在至少两个不同位置处标出图像，则该系统可以推断出大概的摄像机校准信息。
针对半自动和自动校准，不需要对摄像机参数或场景几何的知识。针对半自动和自动校准，产生查找表，以便近似场景中的不同区域处的对象的大小，或者推断出摄像机的内部和外部摄像机校准参数。
针对半自动校准，使用与来自操作者的输入所组合的视频源来校准视频监视系统。将单个人置于视频传感器的观看范围内，以便进行自动校准。计算机系统11接收关于单个人的源视频，并基于此数据自动推断出人的大小。随着在视频传感器的观看范围内观看到人的位置数量的增大，以及在视频传感器的观看范围内观看人的时间段的增大，半自动校准的精确度增大。
图7示出了针对视频监视系统的半自动校准的流程图。框71与框41相同，除了典型对象以各种轨迹穿过场景。典型对象可以具有不同轨迹，并且在不同位置处静止。例如，典型对象尽可能地移近视频传感器，然后又从视频传感器尽可能远地移开。可以根据需要重复典型对象的这个运动。
框72-75分别与框51-54相同。
在框76中，在整个场景中监视典型对象。假设所跟踪的唯一(或至少最稳定的)稳定对象是场景中的校准对象(即穿过该场景的典型对象)。针对场景中观察稳定对象的每个点，收集稳定对象的大小，并将此信息用于产生校准信息。
在框77中，针对整个场景中的不同区域，识别典型对象的大小。将典型对象的大小用于确定场景中的各个区域处的相似对象的近似大小。以此信息，产生与图像中的各个区域中的典型对象的典型外观大小相匹配的查找表，或者推断出内部和外部摄像机的校准参数。作为采样输出，图像中的各个区域中的棒状大小的图形的显示指示系统确定了什么样的适当高度。这种棒状大小的图形如图11所示。
针对自动校准，在计算机系统11确定关于每个视频传感器的观看范围内的位置的信息处，进行学习阶段。在自动校准期间，计算机系统11在足以获得对场景而言为典型的对象的统计有效采样的代表时间段(例如，分钟、小时、或甜)内接收位置的源视频，并由此推断出典型的外观大小和位置。
图8示出了针对视频监视系统的自动校准的流程图。框81-86与图7中的框71-76相同。
在框87中，识别出在视频传感器的观看范围内可跟踪的区域。可跟踪区域指的是在其中可以很容易地和/或准确地跟踪对象的视频传感器的观看范围内的区域。不可跟踪区域指的是在其中无法容易地和/或准确地跟踪对象和/或对象很难跟踪的视频传感器的观看范围内的区域。不可跟踪的区域可以称为不稳定或不显著的区域。对象难以跟踪是因为：对象太小(例如，小于预定阈值)，出现时间过短(例如，小于预定阈值)，或者呈现出不显著的运动(例如，没有目的性)。例如，可以使用{13}中所描述的技术来识别可跟踪的区域。
图10示出了针对杂货店中的过道所确定的可跟踪的区域。将过道远端的区域确定为不显著，因为在这个区域有太多干扰物。干扰物指的是视频中混淆跟踪方案的一些东西。干扰物的示例包括：刮风、下雨、局部堵塞的对象、出现时间过短而无法精确跟踪的对象。相反地，将过道前端的区域确定为显著的，因为针对这个区域可以确定良好的跟踪。
在框88中，针对整个场景中的不同区域识别对象的大小。将对象的大小用于确定场景中的各个区域处的相似对象的大小。诸如使用柱状图或统计中值之类的技术用于将对象的典型外观高度和宽度确定为场景中的位置的函数。在场景中的图像的一部分中，典型对象可以具有典型的外观高度和宽度。以此信息，产生与图像中的各个区域中的对象的典型外观大小相匹配的查找表，或者可以推断出内部和外部摄像机的校准参数。
图11示出了从图10中示出杂货店的过道中的典型对象的典型大小。假设典型对象为人，并且由此通过标签来识别。人的典型大小通过在显著区域中所检测到的人的平均高度和平均宽度的图示来确定。在示例性中，图示A是针对平均一个人的平均高度所确定的，而图示B是针对一个人、两个人和三个人的平均宽度所确定的。
针对图示A，x轴描绘了像素中的斑点的高度，而y轴描述了所出现的如x轴所识别的特定高度的实例数。图示A的峰值线与场景中的指定区域中的斑点的最常规高度相对应，以及针对这个示例，峰值与位于指定区域中的人的平均高速相对应。
假设人们以松散结合的群行进，则产生针对图示B中的宽度的相似图示A。针对图示B，x轴描绘了像素中的斑点的宽度，而y轴描述了所出现的如x轴所识别的特定高度的实例数。图示B的峰值线与多个斑点的平均宽度相对应。假设大多数群只包含一个人，则最大峰值与最常规宽度相对应，该最常规宽度与指定区域中的单个人的平均宽度相对应。类似地，第二最大峰值与指定区域中的两个人的平均宽度相对应，而第三最大峰值与指定区域中的三个人的平均宽度相对应。
图9示出了针对本发明的视频监视系统的附加流程图。例如，在这个附加实施例中，系统使用事件鉴别器来分析所存档的视频原语，以产生附加报告，而不需要再检查整个源视频。在根据本发明对视频源进行处理之后，一定要对针对源视频的视频原语进行存档(图4中的框43)。以附加实施例，可以以相对短的时间来对视频内容进行再次分析，因此仅再检查视频原语，以及因为不对视频源进行重新处理。这对当前技术系统提供了相当有效的改进，因为处理视频图像数据需要非常强的计算能力，而对从视频中提取出的小尺寸原语进行分析不需要很强的计算能力。作为示例，可以产生以下事件鉴别器：“最近两个月内在区域A中停留超过10分钟的人数”。关于附加实施例，不需要再次检查最近两个月的源视频。取而代之的是，仅需要再次检查最近两个月的视频原语，这是更加有效的处理。
框91与图2中的框23相同。
在框92中，访问所存档的视频原语。在图4的框43中，将该视频原语存档。
框93和94与图4中的框44和45相同。
作为示例性应用，可以将本发明用于通过测量零售显示的效力来分析零售市场的空间。将大量资金投入到零售显示中，努力做到尽可能地引人注目，以促进对显示物品以及辅助物品的销售。可以将本发明的视频监视系统配置用于测量这些零售显示的有效性。
针对这个示例性应用，通过将视频传感器的视野朝向期望零售显示周围的空间来设置视频监视系统。在分派任务期间，操作者选择表示期望零售显示周围空间的区域。作为鉴别器，操作者定义了他或她想要监视进入区域并在速度上呈现出可测量的降低、或停留了可测时间量的人大小的对象。
在操作了一段时间之后，视频监视系统可以为市场分析提供报告。该报告可以包括：在零售显示周围放慢脚步的人数；在零售显示处停留的人数；依照时间对对零售显示感兴趣的人进行的细目分类，诸如多少人对周末感兴趣，以及多少人对晚上感兴趣；以及对零售显示显示出兴趣的人的视频快照。可以将从视频监视系统中获得的市场研究信息与来自商店的销售信息以及来自商店的顾客记录进行二进制组合，以改进对零售显示的效力的分析理解。
这里所讨论的实施例和示例是非限制性示例。
相对于优选实施例对本发明进行了详细描述，并且从前述可知，对于本领域的那些技术人员而言显而易见的是，可以在不偏离本发明的较广方面的前提下进行改变和修改，并且权利要求中所定义的本发明旨在覆盖落入本发明的真实精神内的所有这种改变和修改。

Claims (15)

1.一种视频监视方法，所述方法包括：
从视频传感器或视频记录器获得源视频；
从获得的源视频中导出视频原语；
将视频原语和非视频原语存档在原语存储器数据库中；
将源视频存储在视频存储器数据库中；以及
基于存储的视频原语和存储的非视频原语中的至少一个，提取出一个或更多事件发生，其中，所述提取包括：通过将至少一个用户定义的数据库询问应用于原语存储器数据库中存储的视频原语和存储的非视频原语，询问所述原语存储器数据库，以获得所述提取的一个或更多事件发生，
其中，存储的视频原语包含来自源视频的、能够检测一个或更多事件发生而无需重新分析存储的源视频的信息。
2.如权利要求1所述的方法，其中，所述应用至少一个用户定义的数据库询问包括：
将至少两个子询问应用于视频原语或非视频原语；以及
将至少一个组合运算符应用于所述至少两个子询问的结果。
3.如权利要求2所述的方法，其中，所述组合运算符包括布尔操作符。
4.如权利要求3所述的方法，其中，所述组合运算符还包括修正符。
5.如权利要求4所述的方法，其中，所述修正符选自包括时间修正符、空间修正符、对象修正符、以及计数修正符的组。
6.如权利要求1所述的方法，其中，所述至少一个用户定义的数据库询问包括：
至少一个活动描述符询问。
7.如权利要求1所述的方法，其中，所述至少一个用户定义的数据库询问包括：
至少一个特性询问。
8.如权利要求1所述的方法，其中，所述至少一个用户定义的数据库询问包括至少一个多层询问，所述多层询问包括：
至少三个子询问；以及
至少两个组合运算符。
9.如权利要求1所述的方法，其中，所述视频原语包括选自下列组中的至少一种类型的视频原语：场景/视频描述符、对象描述符、以及流描述符。
10.如权利要求1所述的方法，其中，所述至少一个用户定义的数据库询问包括一个或更多个布尔操作符以及时间修正符，所述时间修正符使所述布尔操作符仅对在指定时间段内发生的儿童活动起作用。
11.一种基于视频的保安方法，包括如权利要求1所述的视频监视方法。
12.一种基于视频的安全防护方法，包括如权利要求1所述的视频监视方法。
13.一种基于视频的交通监视的方法，包括如权利要求1所述的视频监视方法。
14.一种基于视频的市场调查和分析方法，包括如权利要求1所述的视频监视方法。
15.一种视频监视方法，所述方法包括：
将提取自视频序列的至少一个视频原语保存到至少一个存储设备，不在提取所述至少一个视频原语时对所述视频进行重新处理；
使用所述存储设备中存储的至少一个视频原语，向所述视频序列应用事件分析规则；以及
将所述视频序列的至少一部分保存到所述至少一个存储设备，其中，所述保存所述视频序列中的至少一部分包括以下至少一项：
仅保存所述视频序列中在其中检测到至少一个活动的部分，或
对于包含检测到的活动的所述视频序列的部分，其保存质量高于不包含检测到的活动的所述视频序列的部分的保存质量。
CN201510556652.8A 2005-02-15 2006-01-26 采用视频原语的视频监视系统 Pending CN105120222A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/057,154 US20050162515A1 (en) 2000-10-24 2005-02-15 Video surveillance system
US11/057,154 2005-02-15
CNA2006800124718A CN101180880A (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800124718A Division CN101180880A (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视系统

Publications (1)

Publication Number Publication Date
CN105120222A true CN105120222A (zh) 2015-12-02

Family

ID=36916915

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201510556652.8A Pending CN105120222A (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视系统
CN201510556254.6A Active CN105120221B (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视方法及系统
CNA2006800124718A Pending CN101180880A (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201510556254.6A Active CN105120221B (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视方法及系统
CNA2006800124718A Pending CN101180880A (zh) 2005-02-15 2006-01-26 采用视频原语的视频监视系统

Country Status (10)

Country Link
US (1) US20050162515A1 (zh)
EP (1) EP1864495A2 (zh)
JP (1) JP2008538665A (zh)
KR (1) KR20070101401A (zh)
CN (3) CN105120222A (zh)
CA (1) CA2597908A1 (zh)
IL (1) IL185203A0 (zh)
MX (1) MX2007009894A (zh)
TW (1) TW200703154A (zh)
WO (1) WO2006088618A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118464094A (zh) * 2024-07-09 2024-08-09 交通运输部天津水运工程科学研究所 港口基础设施性能监测结构传感器原位校准方法及系统

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7339609B2 (en) * 2001-08-10 2008-03-04 Sony Corporation System and method for enhancing real-time data feeds
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7286056B2 (en) * 2005-03-22 2007-10-23 Lawrence Kates System and method for pest detection
TW200634674A (en) * 2005-03-28 2006-10-01 Avermedia Tech Inc Surveillance system having multi-area motion-detection function
JP4601666B2 (ja) * 2005-03-29 2010-12-22 富士通株式会社 映像検索装置
GB0510890D0 (en) * 2005-05-27 2005-07-06 Overview Ltd Apparatus, system and method for processing and transferring captured video data
US9158975B2 (en) * 2005-05-31 2015-10-13 Avigilon Fortress Corporation Video analytics for retail business process monitoring
JP4718602B2 (ja) * 2005-06-02 2011-07-06 ヒョグ キム 動体入退方向認識装置
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US7944468B2 (en) * 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US20070085907A1 (en) * 2005-10-14 2007-04-19 Smiths Aerospace Llc Video storage uplink system
CN100417223C (zh) * 2005-12-30 2008-09-03 浙江工业大学 基于全方位视觉传感器的智能安保装置
US7613360B2 (en) * 2006-02-01 2009-11-03 Honeywell International Inc Multi-spectral fusion for video surveillance
ITRM20060153A1 (it) * 2006-03-20 2007-09-21 Neatec S P A Metodo per il riconoscimento di eventi per la videosorveglianza attiva
US8334906B2 (en) * 2006-05-24 2012-12-18 Objectvideo, Inc. Video imagery-based sensor
CN100459704C (zh) * 2006-05-25 2009-02-04 浙江工业大学 基于全方位计算机视觉的智能隧道安全监控装置
US7925536B2 (en) * 2006-05-25 2011-04-12 Objectvideo, Inc. Intelligent video verification of point of sale (POS) transactions
WO2007142777A2 (en) * 2006-06-02 2007-12-13 Intellivid Corporation Systems and methods for distributed monitoring of remote sites
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7778445B2 (en) * 2006-06-07 2010-08-17 Honeywell International Inc. Method and system for the detection of removed objects in video images
US7468662B2 (en) * 2006-06-16 2008-12-23 International Business Machines Corporation Method for spatio-temporal event detection using composite definitions for camera systems
US20080122926A1 (en) * 2006-08-14 2008-05-29 Fuji Xerox Co., Ltd. System and method for process segmentation using motion detection
US7411497B2 (en) * 2006-08-15 2008-08-12 Lawrence Kates System and method for intruder detection
US7791477B2 (en) * 2006-08-16 2010-09-07 Tyco Safety Products Canada Ltd. Method and apparatus for analyzing video data of a security system based on infrared data
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
DE102006047892A1 (de) * 2006-10-10 2008-04-17 Atlas Elektronik Gmbh Verfahren zur Überwachung eines Sicherungsbereichs
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
US20080198159A1 (en) * 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining
US8146811B2 (en) * 2007-03-12 2012-04-03 Stoplift, Inc. Cart inspection for suspicious items
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
GB0709329D0 (en) * 2007-05-15 2007-06-20 Ipsotek Ltd Data processing apparatus
US8350908B2 (en) * 2007-05-22 2013-01-08 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
FR2916562B1 (fr) * 2007-05-22 2010-10-08 Commissariat Energie Atomique Procede de detection d'un objet en mouvement dans un flux d'images
JP4948276B2 (ja) * 2007-06-15 2012-06-06 三菱電機株式会社 データベース検索装置及びデータベース検索プログラム
WO2009045218A1 (en) 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US20090150246A1 (en) * 2007-12-06 2009-06-11 Honeywell International, Inc. Automatic filtering of pos data
US8949143B2 (en) * 2007-12-17 2015-02-03 Honeywell International Inc. Smart data filter for POS systems
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US20100036875A1 (en) * 2008-08-07 2010-02-11 Honeywell International Inc. system for automatic social network construction from image data
US8797404B2 (en) * 2008-07-14 2014-08-05 Honeywell International Inc. Managing memory in a surveillance system
US8502869B1 (en) * 2008-09-03 2013-08-06 Target Brands Inc. End cap analytic monitoring method and apparatus
US20100114617A1 (en) * 2008-10-30 2010-05-06 International Business Machines Corporation Detecting potentially fraudulent transactions
US7962365B2 (en) * 2008-10-31 2011-06-14 International Business Machines Corporation Using detailed process information at a point of sale
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US9299229B2 (en) * 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
US8429016B2 (en) * 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
US8612286B2 (en) * 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
WO2010055205A1 (en) * 2008-11-11 2010-05-20 Reijo Kortesalmi Method, system and computer program for monitoring a person
US8253831B2 (en) * 2008-11-29 2012-08-28 International Business Machines Corporation Location-aware event detection
US8165349B2 (en) * 2008-11-29 2012-04-24 International Business Machines Corporation Analyzing repetitive sequential events
US20100201815A1 (en) * 2009-02-09 2010-08-12 Vitamin D, Inc. Systems and methods for video monitoring
JP5570176B2 (ja) * 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
US8988495B2 (en) 2009-11-03 2015-03-24 Lg Eletronics Inc. Image display apparatus, method for controlling the image display apparatus, and image display system
TWI478117B (zh) * 2010-01-21 2015-03-21 Hon Hai Prec Ind Co Ltd 影像監控系統及方法
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
TWI423148B (zh) * 2010-07-23 2014-01-11 Utechzone Co Ltd Method and system of monitoring and monitoring of fighting behavior
US10424342B2 (en) * 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
CN102419750A (zh) * 2010-09-27 2012-04-18 北京中星微电子有限公司 一种视频检索方法及系统
US20120182172A1 (en) * 2011-01-14 2012-07-19 Shopper Scientist, Llc Detecting Shopper Presence in a Shopping Environment Based on Shopper Emanated Wireless Signals
IN2014DN08349A (zh) * 2012-03-15 2015-05-08 Behavioral Recognition Sys Inc
CN102665071B (zh) * 2012-05-14 2014-04-09 安徽三联交通应用技术股份有限公司 一种社会治安视频监控图像智能处理和检索方法
US8825368B2 (en) * 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
TWI555407B (zh) * 2012-07-18 2016-10-21 晶睿通訊股份有限公司 影像播放設定方法
US10289917B1 (en) * 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
WO2014039050A1 (en) 2012-09-07 2014-03-13 Siemens Aktiengesellschaft Methods and apparatus for establishing exit/entry criteria for a secure location
CN102881106B (zh) * 2012-09-10 2014-07-02 南京恩博科技有限公司 一种热成像视频双鉴林火识别系统及其识别方法
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
CN103049746B (zh) * 2012-12-30 2015-07-29 信帧电子技术（北京）有限公司 基于面部识别的检测打架行为的方法
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
US20180278894A1 (en) * 2013-02-07 2018-09-27 Iomniscient Pty Ltd Surveillance system
US20140226007A1 (en) * 2013-02-08 2014-08-14 G-Star International Telecommunication Co., Ltd Surveillance device with display module
DE102013204155A1 (de) * 2013-03-11 2014-09-11 Marco Systemanalyse Und Entwicklung Gmbh Verfahren und Vorrichtung zur Positionsbestimmung
US10319145B2 (en) 2013-03-14 2019-06-11 Intel Corporation Asynchronous representation of alternate reality characters
US9965528B2 (en) 2013-06-10 2018-05-08 Remote Sensing Metrics, Llc System and methods for generating quality, verified, synthesized, and coded information
EP2847992A4 (en) 2013-03-15 2015-09-23 James Carey GENERATION OF A VERIFICATION IN AN OBSERVATION AND MONITORING SYSTEM
US10248700B2 (en) 2013-03-15 2019-04-02 Remote Sensing Metrics, Llc System and methods for efficient selection and use of content
US10657755B2 (en) * 2013-03-15 2020-05-19 James Carey Investigation generation in an observation and surveillance system
US9542627B2 (en) 2013-03-15 2017-01-10 Remote Sensing Metrics, Llc System and methods for generating quality, verified, and synthesized information
US10037466B2 (en) * 2013-08-23 2018-07-31 Nec Corporation Video processing apparatus, video processing method, and video processing program
KR101359332B1 (ko) * 2013-12-05 2014-02-24 (주)엔토스정보통신 불법 주정차 단속을 위한 자동차 번호판 추적 및 인식 방법
US9651656B2 (en) * 2014-02-28 2017-05-16 Tyco Fire & Security Gmbh Real-time location system in wireless sensor network
AU2015226202B2 (en) * 2014-03-03 2019-07-25 Vsk Electronics Nv Intrusion detection with motion sensing
US20150288928A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
WO2015166612A1 (ja) 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9224044B1 (en) 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9953187B2 (en) * 2014-11-25 2018-04-24 Honeywell International Inc. System and method of contextual adjustment of video fidelity to protect privacy
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US9743041B1 (en) * 2015-01-22 2017-08-22 Lawrence J. Owen AskMe now system and method
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
CN105336074A (zh) 2015-10-28 2016-02-17 小米科技有限责任公司 报警方法及装置
US10631040B2 (en) * 2015-12-14 2020-04-21 Afero, Inc. System and method for internet of things (IoT) video camera implementations
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
TWI749364B (zh) 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動偵測方法及移動偵測系統
CN112507765A (zh) * 2019-09-16 2021-03-16 瑞昱半导体股份有限公司 移动检测方法及移动检测系统
WO2021059769A1 (ja) * 2019-09-25 2021-04-01 日本電気株式会社 物品管理装置、物品管理システム、物品管理方法及び記録媒体
CN111582152A (zh) * 2020-05-07 2020-08-25 微特技术有限公司 一种识别图像中复杂事件的方法及系统
CN111582231A (zh) * 2020-05-21 2020-08-25 河海大学常州校区 一种基于视频监控的跌倒检测报警系统、方法
US11334085B2 (en) * 2020-05-22 2022-05-17 The Regents Of The University Of California Method to optimize robot motion planning using deep learning
CN112182286B (zh) * 2020-09-04 2022-11-18 中国电子科技集团公司电子科学研究院 一种基于三维实景地图的智能视频管控方法
US20220174076A1 (en) * 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Methods and systems for recognizing video stream hijacking on edge devices
EP4020981A1 (en) * 2020-12-22 2022-06-29 Axis AB A camera and a method therein for facilitating installation of the camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003044727A1 (en) * 2001-11-15 2003-05-30 Objectvideo, Inc. Video surveillance system employing video primitives
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US20030231769A1 (en) * 2002-06-18 2003-12-18 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
US20040113933A1 (en) * 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US20040161133A1 (en) * 2002-02-06 2004-08-19 Avishai Elazar System and method for video content analysis-based detection, surveillance and alarm management
CN1568487A (zh) * 2001-10-09 2005-01-19 实物视频影像公司 视频绊网

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2715083C3 (de) * 1977-04-04 1983-02-24 Robert Bosch Gmbh, 7000 Stuttgart System zur Diskrimination eines Videosignals
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
US5296852A (en) * 1991-02-27 1994-03-22 Rathi Rajendra P Method and apparatus for monitoring traffic flow
US5610653A (en) * 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
FR2706652B1 (fr) * 1993-06-09 1995-08-18 Alsthom Cge Alcatel Dispositif de détection d'intrusions et d'usagers suspects pour ensemble informatique et système de sécurité comportant un tel dispositif.
US6351265B1 (en) * 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
KR960028217A (ko) * 1994-12-22 1996-07-22 엘리 웨이스 움직임 검출 카메라 시스템 및 방법
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
US6028626A (en) * 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US5872865A (en) * 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US7076102B2 (en) * 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5860086A (en) * 1995-06-07 1999-01-12 International Business Machines Corporation Video processor with serialization FIFO
US5886701A (en) * 1995-08-04 1999-03-23 Microsoft Corporation Graphics rendering device and method for operating same
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
US6205239B1 (en) * 1996-05-31 2001-03-20 Texas Instruments Incorporated System and method for circuit repair
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US5875304A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation User-settable features of an intelligent video information management system
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
TR199700058A2 (xx) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayalı hareketli nesne bölütlemesi.
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6256115B1 (en) * 1997-02-21 2001-07-03 Worldquest Network, Inc. Facsimile network
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6188381B1 (en) * 1997-09-08 2001-02-13 Sarnoff Corporation Modular parallel-pipelined vision system for real-time video processing
US6349113B1 (en) * 1997-11-03 2002-02-19 At&T Corp. Method for detecting moving cast shadows object segmentation
US6182022B1 (en) * 1998-01-26 2001-01-30 Hewlett-Packard Company Automated adaptive baselining and thresholding method and system
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100281463B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6201476B1 (en) * 1998-05-06 2001-03-13 Csem-Centre Suisse D'electronique Et De Microtechnique S.A. Device for monitoring the activity of a person and/or detecting a fall, in particular with a view to providing help in the event of an incident hazardous to life or limb
AU4223399A (en) * 1998-06-01 1999-12-20 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
EP0971242A1 (en) * 1998-07-10 2000-01-12 Cambridge Consultants Limited Sensor signal processing
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection
AU1468500A (en) * 1998-11-06 2000-05-29 Trustees Of Columbia University In The City Of New York, The Systems and methods for interoperable multimedia content descriptions
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
JP2000339923A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
US6408293B1 (en) * 1999-06-09 2002-06-18 International Business Machines Corporation Interactive framework for understanding user's perception of multimedia data
US6754664B1 (en) * 1999-07-02 2004-06-22 Microsoft Corporation Schema-based computer system health monitoring
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
GB2352859A (en) * 1999-07-31 2001-02-07 Ibm Automatic zone monitoring using two or more cameras
US6546135B1 (en) * 1999-08-30 2003-04-08 Mitsubishi Electric Research Laboratories, Inc Method for representing and comparing multimedia content
US6539396B1 (en) * 1999-08-31 2003-03-25 Accenture Llp Multi-object identifier system and method for information service pattern environment
US6698021B1 (en) * 1999-10-12 2004-02-24 Vigilos, Inc. System and method for remote control of surveillance devices
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US6774905B2 (en) * 1999-12-23 2004-08-10 Wespot Ab Image data processing
US6697104B1 (en) * 2000-01-13 2004-02-24 Countwise, Llc Video based system and method for detecting and counting persons traversing an area being monitored
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US6509926B1 (en) * 2000-02-17 2003-01-21 Sensormatic Electronics Corporation Surveillance apparatus for camera surveillance system
US7823066B1 (en) * 2000-03-03 2010-10-26 Tibco Software Inc. Intelligent console for content-based interactivity
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US6535620B2 (en) * 2000-03-10 2003-03-18 Sarnoff Corporation Method and apparatus for qualitative spatiotemporal data processing
AU2001247315A1 (en) * 2000-03-10 2001-09-24 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
KR100776529B1 (ko) * 2000-03-13 2007-11-16 소니 가부시끼 가이샤 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US6504479B1 (en) * 2000-09-07 2003-01-07 Comtrak Technologies Llc Integrated security system
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US6525663B2 (en) * 2001-03-15 2003-02-25 Koninklijke Philips Electronics N.V. Automatic system for monitoring persons entering and leaving changing room
US6525658B2 (en) * 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
EP1396799B1 (en) * 2001-06-11 2008-04-23 Matsushita Electric Industrial Co., Ltd. Content management system
US7295755B2 (en) * 2001-06-22 2007-11-13 Thomson Licensing Method and apparatus for simplifying the access of metadata
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US7650058B1 (en) * 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US6859803B2 (en) * 2001-11-13 2005-02-22 Koninklijke Philips Electronics N.V. Apparatus and method for program selection utilizing exclusive and inclusive metadata searches
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
KR100912984B1 (ko) * 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
US20030010345A1 (en) * 2002-08-02 2003-01-16 Arthur Koblasz Patient monitoring devices and methods
US7184777B2 (en) * 2002-11-27 2007-02-27 Cognio, Inc. Server and multiple sensor system for monitoring activity in a shared radio frequency band
AU2003296850A1 (en) * 2002-12-03 2004-06-23 3Rd Millenium Solutions, Ltd. Surveillance system with identification correlation
US6987883B2 (en) * 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
US20040225681A1 (en) * 2003-05-09 2004-11-11 Chaney Donald Lewis Information system
US7310442B2 (en) * 2003-07-02 2007-12-18 Lockheed Martin Corporation Scene analysis surveillance system
US7660439B1 (en) * 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
US7774326B2 (en) * 2004-06-25 2010-08-10 Apple Inc. Methods and systems for managing data
US7487072B2 (en) * 2004-08-04 2009-02-03 International Business Machines Corporation Method and system for querying multimedia data where adjusting the conversion of the current portion of the multimedia data signal based on the comparing at least one set of confidence values to the threshold
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
US7982738B2 (en) * 2004-12-01 2011-07-19 Microsoft Corporation Interactive montages of sprites for indexing and summarizing video
CN100372769C (zh) * 2004-12-16 2008-03-05 复旦大学 一种用于合成纳米/亚微米高硅zsm-5沸石的非晶态无机结构导向剂及其制备方法
US7308443B1 (en) * 2004-12-23 2007-12-11 Ricoh Company, Ltd. Techniques for video retrieval based on HMM similarity
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
US20070002141A1 (en) * 2005-04-19 2007-01-04 Objectvideo, Inc. Video-based human, non-human, and/or motion verification system and method
WO2007014216A2 (en) * 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
CN100533541C (zh) * 2006-01-19 2009-08-26 财团法人工业技术研究院 以视觉绩效自动调整显示器参数的装置及其方法
US8325228B2 (en) * 2008-07-25 2012-12-04 International Business Machines Corporation Performing real-time analytics using a network processing solution able to directly ingest IP camera video streams

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
CN1568487A (zh) * 2001-10-09 2005-01-19 实物视频影像公司 视频绊网
WO2003044727A1 (en) * 2001-11-15 2003-05-30 Objectvideo, Inc. Video surveillance system employing video primitives
US20040161133A1 (en) * 2002-02-06 2004-08-19 Avishai Elazar System and method for video content analysis-based detection, surveillance and alarm management
US20030231769A1 (en) * 2002-06-18 2003-12-18 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
US20040113933A1 (en) * 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118464094A (zh) * 2024-07-09 2024-08-09 交通运输部天津水运工程科学研究所 港口基础设施性能监测结构传感器原位校准方法及系统
CN118464094B (zh) * 2024-07-09 2024-09-10 交通运输部天津水运工程科学研究所 港口基础设施性能监测结构传感器原位校准方法及系统

Also Published As

Publication number Publication date
CN105120221A (zh) 2015-12-02
IL185203A0 (en) 2008-01-06
WO2006088618A3 (en) 2007-06-07
WO2006088618A2 (en) 2006-08-24
JP2008538665A (ja) 2008-10-30
CN101180880A (zh) 2008-05-14
CA2597908A1 (en) 2006-08-24
CN105120221B (zh) 2018-09-25
EP1864495A2 (en) 2007-12-12
TW200703154A (en) 2007-01-16
KR20070101401A (ko) 2007-10-16
US20050162515A1 (en) 2005-07-28
MX2007009894A (es) 2008-04-16

Similar Documents

Publication Publication Date Title
CN105120221B (zh) 采用视频原语的视频监视方法及系统
US10347101B2 (en) Video surveillance system employing video primitives
CN101310288B (zh) 采用视频原语的视频监视系统
US7932923B2 (en) Video surveillance system employing video primitives
US7868912B2 (en) Video surveillance system employing video primitives
US8564661B2 (en) Video analytic rule detection system and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202

RJ01 Rejection of invention patent application after publication