DE602005005583T2 - Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen - Google Patents

Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen Download PDF

Info

Publication number
DE602005005583T2
DE602005005583T2 DE602005005583T DE602005005583T DE602005005583T2 DE 602005005583 T2 DE602005005583 T2 DE 602005005583T2 DE 602005005583 T DE602005005583 T DE 602005005583T DE 602005005583 T DE602005005583 T DE 602005005583T DE 602005005583 T2 DE602005005583 T2 DE 602005005583T2
Authority
DE
Germany
Prior art keywords
motion
movement
abnormal
video
statistical model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE602005005583T
Other languages
English (en)
Other versions
DE602005005583D1 (de
Inventor
Nahum Kiryati
Tamar Riklin-Raviv
Yan Ivanchenko
Shay Rochel
Igal Dvir
Daniel Harari
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ramot at Tel Aviv University Ltd
Nice Systems Ltd
Original Assignee
Ramot at Tel Aviv University Ltd
Nice Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ramot at Tel Aviv University Ltd, Nice Systems Ltd filed Critical Ramot at Tel Aviv University Ltd
Publication of DE602005005583D1 publication Critical patent/DE602005005583D1/de
Application granted granted Critical
Publication of DE602005005583T2 publication Critical patent/DE602005005583T2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Description

  • HINTERGRUND DER ERFINDUNG
  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen.
  • ERÖRTERTUNG DES STANDES DER TECHNIK
  • Videoüberwachung wird üblicherweise als maßgebliches Sicherheitsinstrument anerkannt. Menschliche Bedienpersonen verschaffen den Schlüssel zur Erfassung von Sicherheitsverstößen durch Betrachten von Überwachungsbildschirmen und indem sie eine unmittelbare Reaktion erleichtern. Bedienpersonen sehen sich jedoch mit einer Überlast von Information konfrontiert, indem sie mehrere Kameras auf geteilten Bildschirmen beobachten, und da die meiste Zeit nichts passiert, verlieren sie oft die Konzentration, werden müde und gelangweilt. Das führt zu operativer Ineffizienz, oft als „Kontrollsyndrom" bezeichnet, wobei Sicherheitsverletzungen üblicherweise erst erfasst werden, nachdem sie sich ereignen. Außerdem sind aufgezeichnete Videodaten schwierig zu lokalisieren und mühselig zugänglich und durchzusehen und werden daher selten verwendet.
  • Für viele Transportstandorte wie Flughäfen, Untergrundbahnen und Kraftfahrstraßen, sowie für andere Anlagen, wie etwa große Firmengebäude, Finanzinstitute, Vollzugsanstalten und Kasinos, wo Sicherheit und Kontrolle eine große Rolle spielen, sind durch Videoüberwachungs- und Internetkameras verwirklichte Videoüberwachungssysteme ein Haupt- und entscheidendes Instrument. Ein typischer Standort kann ein oder mehrere und in manchen Fällen Dutzende, Hunderte und sogar Tausende von Kameras ringsum aufweisen, die zur Beobachtung und manchmal auch zur Aufzeichnung mit dem Kontrollraum verbunden sind. Die Anzahl von Monitoren in dem Kontrollraum ist üblicherweise viel kleiner als die Anzahl Kameras, während die Anzahl menschlicher Augen, die diese Monitore beobachtet, noch kleiner ist. Rezente militärische Tests haben gezeigt, dass eine Bedienperson nach etwa 12 Minuten kontinuierlichen Betrachtens zweier oder mehr aufeinanderfolgender Monitore bis zu 45% der Szenenaktivität verpassen wird, während eine Bedienperson nach 22 Minuten bis zu 95% der Szenenaktivität verpassen wird.
  • Wenn man versucht, ein Ereignis unter Verwendung von Videoaufzeichnungen von einer spezifischen Kamera und anderer zugehöriger Kameras zu untersuchen, ist es üblicherweise nicht praktisch, das verfügbare gesamte aufgezeichnete Bildmaterial anzusehen. Die Fähigkeit, zwischen normaler und abnormaler Bewegung in Videosequenzen zu unterscheiden, kann ein Schlüsselfaktor für solche Anwendungen sein. Es besteht ein großer Bedarf an einem Mechanismus, der die Bedienperson automatisch alarmieren und seine oder ihre Aufmerksamkeit auf ungewöhnliche Aktivität in einer der überwachten Szenen lenken kann, sowie auch die wichtigen Ereignisse in Videoaufzeichnungen zusammenfassen und somit den Nachforschungsprozess drastisch verkürzen kann. US2002/0005898 sieht einen Mechanismus zur Erfassung abnormaler Bewegung vor, ist jedoch auf die Identifikation von Fahrbahnhindernissen begrenzt, und spezifischer derjenigen Hindernisse, die dadurch gekennzeichnet sind, dass sie eine zu normaler Bewegung auf der Fahrbahn unterschiedliche Bewegungsrichtung haben. Normale Bewegungen an einem Standort können jedoch mehrere Richtungen annehmen, was die Nutzbarkeit von US2002/005898 einschränkt.
  • ZUSAMMENFASSUNG DER VORLIEGENDEN ERFINDUNG
  • Die Erfindung ist eine Vorrichtung mit den Merkmalen von Anspruch 1 und ein Verfahren, bestehend aus den Schritten von Anspruch 9.
  • Ein Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zur Erfassung abnormaler Bewegung in einem Videostrom, der Videostrom umfasst ein oder mehrere Videobilder, die Videobilder umfassen einen oder mehrere Bewegungsvektoren, wobei jeder Bewegungsvektor die ungefähre gemeinsame Bewegungsrichtung eines Teils eines Videobildes darstellt. Die Vorrichtung umfasst weiter ein Extraktionsmodul zum Extrahieren eines Bewegungsvektors aus dem Videobild, wobei jeder Bewegungsvektor die ungefähre gemeinsame Bewegungsrichtung eines Teils des Videobildes darstellt. Die Vorrichtung umfasst auch ein Vergleichsmodul zum Empfangen eines oder mehrerer statistischer Modelle, die Bewegung in der von den Videobildern festgehaltenen Szene darstellen; und Erfassen abnormaler Bewegung in den Videobildern aufgrund der Beziehung zwischen dem Bewegungsvektor des Videobildes und einem statistischen Modell.
  • Innerhalb der Vorrichtung stellt das statistische Modell normale Bewegung an dem Standort dar, abgedeckt von dem einen oder mehreren Videobildern. Das Vergleichsmodul erfasst abnormale Bewegung aufgrund der Nichtübereinstimmung zwischen dem einen oder den mehreren Bewegungsvektoren des einen oder der mehreren Videobilder und dem einen oder den mehreren statistischen Modellen. Das statistische Modell stellt abnormale Bewegung an dem Standort, der durch die Bewegungsvektoren des Videobildes abgedeckt ist, dar. Das Vergleichsmodul erfasst abnormale Bewegung aufgrund der Übereinstimmung zwischen Bewegungsvektoren der Videobilder und dem statistischen Modell. Das statistische Modell kann auf einem oder mehreren Bewegungsmerkmalen des einen oder der mehreren Videobilder, aufgenommen an dem Standort, der von dem einen oder mehreren Videobildern abgedeckt wird, beruhen.
  • Das Vergleichsmodul extrahiert Bewegungsmerkmale aus den Bewegungsvektoren der Videobilder. Das Bewegungsmerkmal kann eines der folgenden umfassen: (1) Summe des absoluten Werts der Bewegung gegenüber den Teilen in dem Videobild; (2) Index des Bereichs in dem Videobild, wo der größte Teil der Bewegung stattfindet; (3) den größten Teil der gesamten Bewegung in dem Videobild, der in einem Bereich stattfindet; (4) Index des Winkelbereichs, worin die absolute Summe der Bewegung am größten ist; (5) den Teil der gesamten Bewegung, der in dem Winkelbereich aus der gesamten Bewegung stattfindet. Das Bewegungsmerkmal kann auch zeitabhängige, aus zwei oder mehr Videobildern extrahierte Information beinhalten. Die Bewegungsvektoren können quantisiert werden, um die Anzahl möglicher Werte der Elemente des Bewegungsvektors einzuschränken. Die Bewegungsvektoren können auch gefiltert werden, um Fehler zu reduzieren.
  • Die Vorrichtung kann weiter ein Trainingsmodul zur Erzeugung eines oder mehrerer statistischer Modelle umfassen, basiert auf einem oder mehreren Bewegungsvektoren oder einem oder mehreren Bewegungsmerkmalen, die Bewegung darstellen. Das Trainingsmodul führt auch eine Einschätzung der Wahrscheinlichkeitsverteilung durch. Das Trainingsmodul kann ein oder mehrere eindimensionale Histogramme erzeugen, welche die Verteilung von Werten von einem der Bewegungsmerkmale darstellen. Das Trainingsmodul kann alternativ ein mehrdimensionales Histogramm erzeugen, wobei jede Dimension des mehrdimensionalen Histogramms die Verteilung von Werten von einem des einen oder der mehreren Bewegungsmerkmale darstellt. Das Trainingsmodul kann auch ein Gaussches statistisches Modell erzeugen, das die Verteilung eines oder mehrerer Bewegungsmerkmale darstellt. Das Trainingsmodul kann ein k-Mittelwert-Verfahren einsetzen, um ein statistisches Modell zu erzeugen, das die Verteilung eines oder mehrerer Bewegungsmerkmale darstellt. In Verbindung mit den Vorrichtungen und Verfahren können die verwendeten statistischen Modelle alternativ vorbestimmt werden.
  • Die Vorrichtung kann weiter einen Mechanismus zur Erzeugung eines Alarms, wenn abnormale Bewegung erfasst wird, umfassen. Der Alarm kann eines der folgenden sein eine Audioanzeige, eine visuelle Anzeige, eine zu einer vorbestimmten Person oder System zu sendende Mitteilung, eine zu einem System gesendete Instruktion zur Durchführung eines dem Alarm zugeordneten Schrittes. Die Vorrichtung kann weiter ein Systemwartungs- und Einrichtmodul zum Initialisieren der Systemparameter und Wartung des Systems umfassen.
  • Ein anderer Aspekt der vorliegenden Erfindung beinhaltet einen Videostrom, der ein oder mehrere komprimierte Videobilder umfasst, wobei die komprimierten Videobilder einen oder mehrere Bewegungsvektoren umfassen, die jeder die ungefähre gemeinsame Bewegungsrichtung eines Teils des komprimierten Videobildes darstellen.
  • Ein anderer Aspekt der vorliegenden Erfindung beinhaltet eine Vorrichtung, die mehrere Instanzen der Vorrichtung und eine Steuereinheit umfasst, wobei die Steuereinheit die Schwere von durch die Instanzen erfasster abnormaler Bewegung klassifiziert und für die von den Instanzen erfasste abnormalste Bewegung einen Alarm erzeugt.
  • Noch ein anderer Aspekt der vorliegenden Erfindung zeigt ein Verfahren zur Erfassung abnormaler Bewegung in einem Videostrom, der Videostrom umfasst ein oder mehrere Videobilder; das Verfahren umfasst die Schritte des Extrahierens eines oder mehrerer Bewegungsvektoren, wobei jeder Bewegungsvektor die ungefähre gemeinsame Bewegung eines Teils des einen oder der mehreren Videobilder darstellt; zum Vergleichen des einen oder der mehreren Bewegungsvektoren der Videobilder mit einem oder mehreren statistischen Modellen, wobei jedes statistische Modell Bewegung an dem von dem Videostrom abgebildeten Standort darstellt. Das Verfahren kann weiter den Schritt des Erfassens der Nichtübereinstimmung zwischen dem statistischen Modell und dem einen oder den mehreren Bewegungsvektoren des einen oder der mehreren Videobilder umfassen. Das Verfahren kann weiter den Schritt des Erfassens der Übereinstimmung zwischen dem statistischen Modell und dem einen oder den mehreren Bewegungsvektoren des einen oder der mehreren Videobilder umfassen. Das Verfahren kann weiter den Schritt des Extrahierens eines oder mehrerer Bewegungsmerkmale eines oder mehrerer Videobilder und Vergleichens von Bewegungsmerkmalen des statistischen Modells mit den Bewegungsmerkmalen der Videobilder umfassen.
  • Das statistische Modell kann normale oder abnormale Bewegung an dem von dem Videostrom abgebildeten Standort darstellen. Das statistische Modell kann auf einem oder mehreren Bewegungsmerkmalen der Videobilder in dem von den Videobildern abgedeckten oder gezeigten Standort beruhen. Das Verfahren kann weiter den Schritt des Trainierens zur Erzeugung der statistischen Modelle, basiert auf einem Videostrom, der Bewegung an der von Videobildern abgedeckten Szene zeigt, umfassen, das Verfahren kann die Schritte des Berechnens der Bewegungsmerkmale für jedes Videobild umfassen; und Erstellens des statistischen Modells auf Basis der Bewegungsmerkmale der Bilder. Das Trainingsmodul führt eine Einschätzung der Wahrscheinlichkeitsverteilung der Bilder durch. Das Trainingsmodul erzeugt eindimensionale Histogramme, welche die Verteilung von Werten der Bewegungsmerkmale darstellen. Das Trainingsmodul erzeugt auch ein mehrdimensionales Histogramm, wobei jede Dimension des mehrdimensionalen Histogramms die Verteilung von Werten der Bewegungsmerkmale darstellt. Das Trainingsmodul erzeugt auch ein Gaussches statistisches Modell, das die Verteilung der Bewegungsmerkmale darstellt. Das Trainingsmodul erzeugt ein statistisches k-Mittelwert-Modell, das die Verteilung der Bewegungsmerkmale darstellt. Das Verfahren umfasst weiter den Schritt des Abgebens eines Alarms, wenn abnormale Bewegung erfasst wird.
  • Noch ein anderer Aspekt der vorliegenden Erfindung beinhaltet ein Verfahren zur Klassifizierung der Schwere abnormaler Bewegung, die mittels der vorangehend beschriebenen Verfahren in mindestens zwei Videoströmen festgestellt wurde. Das Verfahren umfasst auch den Schritt der Erzeugung eines Alarms für die gravierendste abnormale Bewegung.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die vorliegende Erfindung wird umfassender verstanden und gewürdigt anhand der folgenden detaillierten Beschreibung, zusammengenommen mit den Zeichnungen, worin:
  • 1 ein schematisches Blockdiagramm der vorgeschlagenen Vorrichtung in Übereinstimmung mit den bevorzugten Ausführungsformen der vorliegenden Erfindung ist;
  • 2 ein schematisches Blockdiagramm der Betriebskomponenten der Anwendung zur Erfassung abnormaler Bewegung in Übereinstimmung mit den bevorzugten Ausführungsformen der vorliegenden Erfindung ist;
  • 3 ein Ablaufdiagramm ist, das die Betriebsschritte beschreibt, welche die Trainingsphase des in der ersten bevorzugten Ausführungsform der vorliegenden Erfindung verwendeten Verfahrens betreffen;
  • 4 ein Ablaufdiagramm ist, das die Betriebsschritte beschreibt, welche die Erfassungsphase des in der ersten bevorzugten Ausführungsform der vorliegenden Erfindung verwendeten Verfahrens betreffen;
  • 5 ein Ablaufdiagramm ist, das die Betriebsschritte beschreibt, welche die Trainingsphase des in der zweiten bevorzugten Ausführungsform der vorliegenden Erfindung verwendeten Verfahrens betreffen;
  • 6 ein Ablaufdiagramm ist, das die Betriebsschritte beschreibt, welche die Erfassungsphase des in der zweiten bevorzugten Ausführungsform der vorliegenden Erfindung verwendeten Verfahrens betreffen.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
  • Definitionen:
    • Normale Bewegung – eine Bewegung, die während einer vorbestimmten Zeitspanne gesehen und durch eine Bedienperson bestätigt oder als normal vordefiniert wurde. Solche Bewegung wird üblicherweise an dem von dem System der vorliegenden Erfindung zu der relevanten Zeit abgedeckten Standort erwartet oder ist akzeptabel.
    • Abnormale Bewegung – jede Bewegung, die keine normale Bewegung ist. Solche Bewegung ist üblicherweise an dem von dem System der vorliegenden Erfindung abgedeckten Standort irregulär oder unerwartet.
    • Alarm – jede Art des Aufmerksammachens auf eine abnormale Bewegung, sei es eine Audioanzeige, eine visuelle Anzeige, eine zu einer vorbestimmten Person oder System zu sendende Mitteilung oder eine zu einem System gesendete Instruktion zur Durchführung eines dem Alarm zugeordneten Schrittes.
    • Teil – ein Bruchteil eines Videobildes, bestehend aus mindestens zwei benachbarten Pixeln. In der bevorzugten Ausführungsform dieser Erfindung ist das Bild in 16×16 Pixelteile, auch als Makroblöcke bezeichnet, aufgeteilt. Daher kann jedes Teil durch seine Kennziffern in der x- und y-Dimension gekennzeichnet werden.
    • Bewegungsvektor – ein zweidimensionaler Vektor (x, y), der die ungefähre Bewegung eines Makroblocks zwischen kurzzeitig einander nahen Videobildern anzeigt.
    • Merkmal – ein durch Anwenden mathematischer Operationen auf die einem oder mehreren Makroblöcken in einem oder mehreren Bildern zugeordneten Bewegungsvektoren erzeugter Wert. Die sich ergebende Zahl beschreibt einen gewissen Aspekt der Bewegung in dem einen oder mehreren Bildern. Merkmal kann auch als Bewegungsmerkmale bezeichnet werden.
    • Statistisches Bewegungsmodell – eine Darstellung der Wahrscheinlichkeitsverteilung der der Bewegung in den Bildern, die in das System eingebracht wurde, zugeordneten Werte.
  • Offenbart sind eine Vorrichtung und Verfahren zur Erfassung einer abnormalen Bewegung in einem Videostrom. Die Vorrichtungen und Verfahren können in einer Echtzeit- oder Offline-Umgebung eingesetzt werden. Die Verwendung der vorgeschlagenen Vorrichtungen und Verfahren eliminiert die Notwendigkeit der Segmentierung und des Verfolgens verschiedenartiger Objekte. Die vorgeschlagenen Vorrichtungen und Verfahren nutzen Bewegungsvektoren zur Analyse von Bewegungsmustern in einer überwachten Szene. Die Bewegungsvektoren werden statistisch analysiert, um abnormale Bewegung in einem Einzelbild oder durch Indikationen von einer Anzahl von Bildern zu erfassen.
  • Die vorgelegten Vorrichtungen und Verfahren verwenden statistische Modelle normaler und/oder abnormaler Bewegungen in der überwachten Szene, die während einer Trainingsphase erzeugt wurden, und überprüfen den eingegebenen Videostrom gegen die statistischen Modelle, um abnormale Bewegung in einer Erfassungsphase zu erfassen. Die Vorrichtung verwendet ein Trainingsmodul, das statistische Modelle von Eingabeströmen erzeugt, entweder in Echtzeit oder offline. Es werden zeitabhängige statistische Modelle verwendet, da normale Bewegung für unterschiedliche Situationen unterschiedlich definiert sein kann. Beispielsweise sind normale Bewegungen in der Halle eines Geschäftsgebäudes während Tag und Nacht völlig unterschiedlich. Sobald eine abnormale Bewegung erfasst worden ist, liegt es bei dem Benutzer der Vorrichtung, festzulegen, wie der Alarm auszudrücken ist, beispielsweise durch Erzeugung einer Audio-, Video- oder jeglicher anderer Anzeige. Weiter kann, da die Vorrichtung eine quantitative Indikation für die Abnormalität der Bewegung in einer Szene erzeugt, ein betriebsfähiges System eine Anzahl von Instanzen der obigen Vorrichtung einsetzen, sowie ein Steuergerät, das die Indikationen in einen Rang einreiht und nur für die signifikantesten Fälle einen Alarm erzeugt.
  • Bewegungsvektorfelder, die Bewegungen von Makroblöcken beschreiben, sind ein integraler Teil derzeitiger Videokompressionsnormen. Die Vorrichtung kann jedoch genauso gut mit nichtkomprimierten Videoströmen arbeiten, indem sie die Bewegungsvektoren ohne Vorbereitung berechnet.
  • Bezugnehmend auf 1 zeigt diese eine beispielhafte Umgebung, worin die vorgeschlagene Vorrichtung und zugehörige Verfahren verwirklicht werden. In dem vorliegenden, nicht einschränkenden Beispiel ist die Umgebung ein in Sicherheitshinsicht sensitiver Standort, wie etwa eine Bank, ein Flughafen oder dergleichen, der von einem Mehrkamera-System überwacht wird. Im Rahmen dieses beispielhaften Überwachungssystems umfasst der Standort eine Videokamera 11, einen Videokodierer 13, eine Vorrichtung 14 zur Erfassung abnormaler Bewegung und eine Vorrichtung 20 zum Abgeben eines Alarms bei abnormaler Bewegung. Fachleute in der Technik werden würdigen, dass Umgebungen mit einer einzigen oder einigen wenigen Kameras in Verbindung mit der Lehre der vorliegenden Erfindung auf die nachstehend beschriebene Weise genutzt werden können. Ein nicht einschränkendes Beispiel ist ein Kindergarten oder ein Heim, wo eine einzige Kamera strategisch plaziert ist, um ein Gebiet von Interesse zu überwachen. Optionsweise umfasst die Umgebung eines oder mehrere der folgenden eine Videokompressorvorrichtung 17, eine Videorecordervorrichtung 12, eine Videospeichervorrichtung 16 und eine Videodisplayeinheit 18. Die Videokamera 11 ist eine Bildaufnahmevorrichtung, die Sequenzen kurzfristiger aufeinanderfolgender Schnappschüsse der Umgebung festhält. Die Kamera 11 übermittelt die Sequenz festgehaltener Bilder zu einer Videorecordereinheit 13. Die Einheit 13 umfasst einen Video-Kodierer-Dekodierer. Die Funktion der Vorrichtung 13 ist das Kodieren der visuellen Bilder in einen Satz digitaler Signale. Die Signale werden optional zu einem Videokompressor 17 übertragen, der die digitalen Signale in Übereinstimmung mit jetzt bekannten oder später entwickelten Kompressionsprotokollen, wie etwa H261, H263, MPEG1, MPEG2, MPEG4 oder dergleichen, zu einem komprimierten Videostrom komprimiert. Der Kodierer 13 und Kompressor 17 können integrale Teile der Kamera 11 oder extern zu der Kamera 11 sein. Die Kodierer-Dekodierer-Vorichtung 13 oder die Kompressorvorrichtung 17, falls vorhanden, übertragen den kodierten und optional komprimierten Videostrom zu der Videodisplayeinheit 18. Die Einheit 18 ist bevorzugt ein Videomonitor. Die Einheit 18 nutzt einen darin installierten Video-Kodierer-Dekodierer, der die Videobilder dekomprimiert und dekodiert. Optionsweise überträgt, auf parallele Weise, die Kodierer-Dekodierer-Vorrichtung 13 oder die Kompressorvorrichtung 17 die kodierten und komprimierten Videobilder zu einer Videorecordervorrichtung 12. Optionsweise speichert die Recordervorrichtung 12 die Videobilder zum anschließenden Abruf und Wiederholung in eine Videospeichereinheit 16. Die Speichereinheit 16 kann ein Magnetband, eine Magnetdisk, eine optische Disk, eine Laserdisk, eine Massenspeichervorrichtung oder dergleichen sein. Parallel zur Übertragung der kodierten und komprimierten Videobilder zu der Videodisplayeinheit 18 und der Videorecordervorrichtung 12 übermittelt die Kodierer-Dekodierer-Vorrichtung 13 oder die Kompressoreinheit 17 die Videobilder weiter zu der Erfassungsvorrichtung 14 für abnormale Bewegung. Optionsweise kann die Erfassungvorrichtung 14 für abnormale Bewegung den Videostrom von der Videospeichervorrichtung 16 oder von jeder anderen Quelle erhalten, wie etwa einer entfernt befindlichen Quelle, einem entfernt befindlichen oder örtlichen Netz, einem Satelliten, einer Diskette, einer entfernbaren Vorrichtung und dergleichen. Die Erfassungsvorrichtung 14 für abnormale Bewegung ist bevorzugt eine Rechenplattform, wie etwa ein Personal Computer, ein Großrechner oder jede andere Art von Rechenplattform, die mit einer Speichervorrichtung (nicht dargestellt), einer Hauptprozessor- oder Mikroprozessorvorrichtung und mehreren Ein/Aus-Anschlüssen (nicht dargestellt) versehen ist. Alternativ kann die Vorrichtung 14 ein DSP-Chip, eine anwendungsspezifische Schaltkreis (ASIC)-Vorrichtung, welche die zur Ausführung der Verfahren der vorliegenden Erfindung notwendigen Befehle und Daten speichert, oder dergleichen sein. Die Erfassungsvorrichtung 14 für abnormale Bewegung kann weiter eine Speichervorrichtung (nicht dargestellt) umfassen, welche die Anwendung der Erfassung abnormaler Bewegung (AMD) speichert. Die AMD-Anwendung ist ein Satz logisch miteinander zusammenhängender Computerprogramme und zugehöriger Datenstrukturen, die miteinander zusammenwirken, um abnormale oder unübliche Bewegungsmuster in einem oder mehreren Videobildern zu erfassen. Die kodierten und optionsweise komprimierten Videobilder werden von der Vorrichtung 14 mittels eines vordefinierten Ein/Aus-Anschlusses empfangen und werden von der AMD-Anwendung verarbeitet. Die Ergebnisse der Verarbeitung sind Indikationen statistischer Natur, welche das Vorhandensein oder Nichtvorhandensein abnormaler Bewegung in einem oder mehreren Videobildern betreffen. In Übereinstimmung mit den Ergebnissen der Verarbeitung erzeugt die Vorrichtung 14 ein Alarmanzeigesignal und übermittelt das Signal zu der Alarmvorrichtung 20 für abnormale Bewegung. Die Vorrichtung 20 kann eine Audioanzeige, eine visuelle Anzeige, eine zu einer vorbestimmten Person oder System, örtlich oder entfernt befindlich, zu sendende Mitteilung zur Durchführung eines dem Alarm zugeordneten Schrittes sein. Der Alarm kann auch die Aufmerksamkeit einer menschlichen Bedienperson erregen, um die auf der Displayeinheit 18, falls vorhanden, gezeigten Bilder näher zu untersuchen.
  • Es ist anzumerken, dass, obwohl die betreffende Zeichnung eine einzige Videokamera und einen Satz einzelner Vorrichtungen zeigt, es deutlich ist, dass in einer realistischen Umgebung eine Vielzahl von Kameras eine Vielzahl von Videoströmen zu einer Vielzahl von Videodisplayeinheiten, Videorecordern und Erfassungsvorrichtungen für abnormale Bewegung senden könnte. In einer solchen Umgebung kann optionsweise eine Klassifiziereinheit (hier nicht dargestellt) vorhanden sein, welche die Ausgangsdaten der Erfassungsvorrichtungen für abnormale Bewegung klassifiziert und nur für die n am meisten störenden Bewegungen Alarme erzeugt, wobei n die Anzahl von Alarmen ist, zu deren Handhabung das System der vorliegenden Erfindung in der Lage ist.
  • Weiter ist anzumerken, dass die vorgelegte Vorrichtung lediglich beispielhaft ist. In anderen bevorzugten Ausführungsformen der vorliegenden Erfindung könnten die AMD-Anwendung, die Videospeicher-, Videorecordervorrichtung oder die Erfassungsvorrichtung für abnormale Bewegung gemeinsam auf derselben Rechenplattform angeordnet sein. In noch weiteren Ausführungsformen der vorliegenden Erfindung könnte eine Multiplexvorrichtung hinzugefügt sein, um mehrere Videoströme von mehreren Kameras in einen einzigen multiplexbearbeiteten Videostrom zu multiplexen. Die Erfassungsvorrichtung 14 für abnormale Bewegung könnte optionsweise eine Demultiplexeinheit umfassen, um den kombinierten Videostrom vor der geeigneten Verarbeitung zu demultiplexen, um für Kameraidentifikation bei dem Alarm zu sorgen.
  • Unter Bezugnahme auf 2 ist die Anwendung 24 zur Erfassung abnormaler Bewegung (AMD) ein Satz logisch miteinander zusammenhängender Computerprogramme und zugehöriger Datenstrukturen, die in den in Verbindung mit 1 gezeigten Vorrichtungen arbeiten. In den bevorzugten Ausführungsformen der vorliegenden Erfindung sitzt die AMD-Anwendung 24 auf einer Speichervorrichtung der Vorrichtung 14 zur Erfassung abnormaler Bewegung (AMD) von 1. Die AMD-Vorrichtung 14 lädt die AMD-Anwendung 24 von der Speichervorrichtung in den Prozessor und führt die AMD-Anwendung 24 aus. Die Anwendung 24 umfasst ein Systemwartungs- und Einrichtmodul 28, ein Bewegungsvektor-Vorprozessormodul 26, ein Systemtrainingsmodul 30, ein Bewegungserfassungsmodul 32, eine Schwellenwerttabelle 34, statistische Referenzmodelle 36 und einen Warnanzeigegenerator 40. Das Systemwartungs- und Einrichtmodul 28 wird zum Einstellen der Parameter des Systems genutzt, wie etwa vordefinierter Schwellenwerte und dergleichen, und für routinemäßige Wartungszwecke, wie etwa Backupvorgänge und dergleichen.
  • Noch immer unter Bezugnahme auf 2 umfasst das Bewegungsvektor-Vorprozessormodul 26 einen Bewegungsvektorextraktor 45, ein Bewegungsquantisierprogramm 46 und ein Bewegungsvektorfilterprogramm 46. Der Bewegungsvektorextraktor 45 ist nur notwendig, wenn der Eingabestrom nicht komprimiert ist und keine Bewegungsvektoren enthält, oder wenn ein Bild oder eine Gruppe von Bildern in dem Videostrom keine Bewegungsvektoren enthält.
  • Das Bewegungsvektorquantisierprogramm 46 wird optionsweise verwendet, um den dynamischen Bereich der Bewegungsvektoren und folglich den Speicherverbrauch und die für gewisse statistische Modelle erforderliche Trainingsperiode zu reduzieren. Das Bewegungsvektorquantisierprogramm 46 kartografiert die möglichen Werte der Elemente des Bewegungsvektors in einen kleinen diskreten Satz von Werten hinein.
  • Das Bewegungsvektorfilterprogramm 48 wird optionsweise verwendet und ist dazu gestaltet, den möglichen Unterschied zwischen dem von dem Videokompressor zur optimalen Beschreibung der Bewegung eines Makroblocks ausgewählten Bewegungsvektor und der wirklichen Bewegung dieses Makroblocks zu handhaben. Dieses Problem ist üblich in glatten Bildbereichen, wo viele Blöcke einander ähnlich sind, und insbesondere, wenn starkes Kamerarauschen (dunkle Bereiche) vorliegen. Ein Bewegungsvektor kann auch bei diagonalen Kanten bewegender Objekte falsch sein, wo ein Objekt, das sich horizontal bewegte, als sich diagonal bewegend interpretiert wird. In diesen Fällen ist der falsche Bewegungsvektor üblicherweise senkrecht zu der Kante. Dieses optionsweise Filterprogramm wird eine Spitzenwertverringerung oder Glättung, oder Filter zur Entfernung von Ausreißern anwenden.
  • Noch unter Bezugnahme auf 2 führt das Systemtrainingsmodul 30 den Trainingsvorgang durch. Der Trainingsvorgang wird entweder offline oder online durchgeführt, vor dem Bewegungserfassungsvorgang. Das Systemtrainingsmodul 30 umfasst optionsweise ein Bewegungsvektorquantisier- und Filterprogramm 50, einen Bewegungsmerkmalrechner 51 und einen Erstellungselement 52 für statistische Referenzmodelle. Der Bewegungsvektorquantisierer und Filter 50 ist gleichartig zu dem vorangehend beschriebenen Bewegungsvektorquantisier- 46 und Bewegungsvektorfilterprogramm 48. Der Bewegungsmerkmalrechner 51 berechnet spezifische Merkmale, die gewisse Aspekte des Sammelns der einem spezifischen Bild oder Sammlung von Bildern zugeordneten Bewegungsvektoren darstellen. Das statistische Referenzmodellerstellungselement 52 erzeugt ein statistisches Referenzmodell während der Trainingsphase zur Verwendung als Datenstruktur, die Bewegungen darstellt, mit denen während der Erfassungsphase verglichen wird.
  • Das Bewegungserfassungsmodul 32 führt die Erfassung abnormaler Bewegung in dem komprimierten Video durch.
  • Das Modul 32 umfasst einen Bewegungsmerkmalrechner 51', ein Vergleichsmodul 56 und einen statistischen Analysator 60.
  • In der ersten bevorzugten Ausführungsform der vorliegenden Erfindung erzeugen die Bewegungsmerkmalrechner 51 und 51' bevorzugt fünf Bewegungsmerkmale aus den von dem Videostrom erhaltenen Bewegungsvektoren. In Übereinstimmung mit der bevorzugten Ausführungsform der vorliegenden Erfindung können die Bewegungsmerkmale gemäß dem folgenden Beispiel berechnet werden.
  • Die in Video zur Überwachung verwendete typische Bildauflösung ist CIF (d. h. 352×288 Pixel). Im Kontext der vorliegenden Erfindung ist jedes Bild in Teile aufgeteilt, die Makroblöcke von 16×16 Pixel sind, das heißt, jedes Bild enthält 396 Bewegungsvektoren, die jeder zwei Komponenten haben. Aus diesen 792 Komponenten wird eine viel kleinere Anzahl von Merkmalen extrahiert. Für jeden typischen Teil i ist Vi = (Vxi, Vyi) der der Bewegung in diesem Teil in einem spezifischen Bild f zugeordnete Bewegungsvektor. Zusätzlich ist das Bild f in eine vorbestimmte Anzahl n gleich dimensionierter Bereiche {An} unterteilt. Im Kontext der vorliegenden Erfindung sind Bereiche bevorzugt größer als Teile. Die folgenden Bewegungsmerkmale werden verwendet: (1) m1 = V = Σ1|V1|
  • Dieses Merkmal wird als Bewegungssumme bezeichnet. Das Bewegungssummenmerkmal integriert die absoluten Werte der Bewegungsvektoren in dem gesamten Bild. Dieses Merkmal kann als die gesamte absolute Bewegung in dem Bild beschrieben werden.

    (2) m2 ist ein als Bewegungsbereich bezeichnetes Merkmal.
  • Der Bewegungsbereich ist der Index des Bereichs (eines von {An}) des Bildes f mit der größten Summe absoluter Werte von Bewegungsvektoren. Dieses Merkmal ist der Teil des Bildes f, wo die größte Bewegung stattfindet.
  • Figure 00200001
  • Dieses Merkmal wird als Bewegungsdichte bezeichnet. Das Bewegungsdichtemerkmal stellt das Verhältnis zwischen der Summe der absoluten Werte der Bewegungsvektoren im Bereich m2 und der gesamten absoluten Bewegung in Bild f, m1, dar. Das Bewegungsdichtemerkmal misst die Konzentration von Bewegung in einem bestimmten Bereich. Eine kleine, positive vorbestimmte Konstante ε wird zu dem Nenner hinzuaddiert, um Teilen durch 0 in statischen Bildern zu vermeiden.

    (4) m4 ist ein als Bewegungsrichtung bezeichnetes Merkmal.
  • Der 360°-Bereich wird in eine vorbestimmte Anzahl gleichgroßer Bereiche (beispielsweise acht Bereiche von jeweils 45° und dergleichen) aufgeteilt. Das Bewegungsrichtungsmerkmal ist der index des Winkelbereichs, worin die absolute Summe der Bewegungsvektoren der größte in den gleichgroßen Bereichen ist. Die Bewegungsrichtung ist die dominante Bewegungsrichtung in Bild f.

    (5) m5 ist ein als Richtungsdichte bezeichnetes Merkmal. Das Richtungsdichtemerkmal stellt das Verhältnis zwischen der Summe des absoluten Bewegungswerts in der Richtung m4 und der Summe der absoluten Bewegung in dem gesamten Bild f dar. Die Richtungsdichte stellt die Dominanz der üblichsten Bewegungsrichtung in Bezug auf andere Bewegungsrichtungen in dem Bild f dar.
  • Die vorangehend beschriebenen fünf beispielhaften Merkmale sind nicht einschränkend und können auch auf andere Weisen errechnet bzw. erreicht werden. Fachleute in der Technik werden leicht einsehen, dass weniger, zusätzliche oder unterschiedliche Merkmale ebenso im Kontext der vorliegenden Erfindung eingesetzt werden können.
  • Noch unter Bezugnahme auf 2 ist die Schwellenwerttabelle 34 eine Datenstruktur, die vordefinierte Schwellenwerte speichert, die während der Bewegungserfassungsphase verwendet werden. Die statistischen Referenzmodelle 36 sind Datenstrukturen, welche die während der Lernphase erzeugten statistischen Modelle speichern. In der ersten bevorzugten Ausführungsform dieser Erfindung ist dieses Modell beispielsweise ein 5-dimensionales Histogramm, worin jeder Eintrag die Wahrscheinlichkeit der Kombination der relevanten Werte der fünf Merkmale darstellt. Eine andere Möglichkeit ist ein Gaussches Mischmodell (GMM), das Konzentrationen von Kombinationen der fünf Merkmalwerte darstellt, die wahrscheinlich auftreten. In der zweiten bevorzugten Ausführungsform dieser Erfindung extrahieren wir keine Merkmale, sondern arbeiten vielmehr direkt an den Bewegungsvektoren. Die Datenstruktur für die zweite bevorzugte Ausführungsform ist ein statistisches Modell, wie etwa ein zweidimensionales Histogramm oder ein GMM, das die Verteilung der Bewegungsvektoren selbst und dergleichen darstellt.
  • Das Warnindikatorerzeugungsmodul 40 ist verantwortlich für die Erzeugung von Warnindikatoren nachfolgend an die Erfassung abnormaler Bewegung und bei der Übermittlung der Indikatoren zu den geeigneten Warnvorrichtungen.
  • Noch unter Bezugnahme auf 2 schlägt die vorliegende Erfindung zwei bevorzugte Verfahren zur Erfassung abnormaler Aktivität durch Nutzung von Bewegungsvektoren von komprimiertem Videostrom vor. Jedes der Verfahren ist einer bevorzugten Ausführungsform der vorliegenden Erfindung zugeordnet. Das Funktionsprinzip der ersten Ausführungsform basiert auf der statistischen Analyse von Bewegungsmerkmalen, berechnet aus Bewegungsvektoren, wie hierin vorangehend beschrieben. Die zweite bevorzugte Ausführungsform bezieht ein zweites Verfahren ein, das direkt an den Bewegungsvektoren arbeitet, indem es örtliche statistische Analyse an jedem Bewegungsvektor durchführt. Die zwei jeweils den zwei bevorzugten Ausführungsformen zugeordneten Verfahren umfassen eine Trainingsphase und eine Erfassungsphase. In der Trainingsphase erstellen beide Verfahren ein statistisches Modell der Aktivität in der Szene. In der Erfassungsphase vergleichen das erste und das zweite Verfahren die Bewegungsdaten in einem zeitweiligen bewegenden Fenster (einige Bilder) mit dem statistischen Modell. Abnormale Aktivität wird dann erfasst, wenn eine erhebliche Unverträglichkeit mit einem statistischen Modell ungewöhnlicher Aktivität vorliegt, oder erhebliche Verträglichkeit mit einer unüblichen oder verbotenen Aktivität (wie etwa, wenn eine Bewegung in einer bestimmten Richtung in einem Gebiet erfasst wird, wo solche Bewegung unerwartet ist). Beide Verfahren können die quantisierten und gefilterten Bewegungsvektoren anwenden, wie hierin vorangehend beschrieben, sie können jedoch auch vermeiden, sie zu benutzen, abhängig von den eingesetzten statistischen Modellen.
  • Unter Bezugnahme auf 3 nutzt die erste bevorzugte Ausführungsform der vorliegenden Erfindung eine Arbeitsweise, die generell als die vereinte Wahrscheinlichkeit von Bewegungsmerkmalen bezeichnet wird. Optionsweise werden bei Schritt 63 die von dem analysierten Videostrom empfangenen Bewegungsvektoren quantisiert oder gefiltert. Bei Schritt 64 werden die in Zusammenhang mit 2 erörterten fünf Bewegungsvektoren für jedes Videobild errechnet. In Schritt 66 werden Bilder ohne Bewegung optisch ignoriert, um nicht andere Werte in den statistischen Modellen zu verschleiern. Solche Bilder können optionsweise ignoriert werden, da viele überwachte Szenen üblicherweise statisch sind. Ein statistisches Modell, das die fünf Merkmale berücksichtigt, wird in Schritt 70 konstruiert. In anderen Ausführungsformen können zusätzliche Modelle in Schritt 70 konstruiert werden. Bevorzugte Beispiele statistischer Modelle können ein GMM, ein Modell, das das Ergebnis eines k-Mittelwert-Algorithmus darstellt, ein fünfdimensionales Histogramm und dergleichen sein.
  • Das hierin vorangehend erstellte Modell stellt die Wahrscheinlichkeitsverteilung der beispielhaften fünfdimensionalen Vektoren dar. Oft wiederholte, übliche Bewegungen werden in identische oder gleichartige fünfdimensionale Vektoren umgewandelt, daher wird den relevanten Nachbarschaften in dem fünfdimensionalen Merkmalsraum hohe Wahrscheinlichkeit zuerkannt, während abnormalen oder selten auftretenden Kombinationen von Bewegungsmerkmalen niedrige Wahrscheinlichkeit zuerkannt wird.
  • Unter Bezugnahme auf 4 wird das Erfassungsverfahren in der ersten bevorzugten Ausführungsform beschrieben. Das erste Verfahren quantisiert und filtert optionsweise die Bewegungsvektoren in Schritt 72, dann werden die fünf Bewegungsmerkmale für jedes Bild in Schritt 74 auf die gleiche Weise, wie sie während der in Schritt 64 von 3 gezeigten Trainingsphase durchgeführt wurden, errechnet. Die fünf Merkmale werden als ein 5-dimensionaler Vektor behandelt. Die dem fünfdimensionalen Vektor in dem in der Trainingsphase erstellten statistischen Modell zugeordnete Wahrscheinlichkeit wird dann mit einem vorbestimmten Schwellenwert in Schritt 76 verglichen, wodurch eine Indikation verschafft wird, ob der überprüfte Vektor von Bewegungsmerkmalen von geringer Wahrscheinlichkeit ist und daher als abnormale Bewegung darstellend verdächtig ist. In Schritt 78 wird die in Schritt 76 empfangene Indikation im Licht der in Schritt 76 erzeugten Indikationen weiter für die Bilder untersucht, die zeitlich dicht bei dem analysierten Bild liegen (ein paar Bilder, die dem vorliegenden vorausgehen und folgen, oder wie von dem Benutzer der Vorrichtung der vorliegenden Erfindung vorbestimmt). Schritt 78 ist bevorzugt ein zeitlicher Filter, der dazu gestaltet ist, erfasste kurze Spitzen zu glätten, die nicht auf bedeutungsvolle abnormale Bewegung zurückzuführen sind, sowie dazu, kurze Unterbrechungen während abnormaler Aktivität nicht zu beachten.
  • Sobald abnormale Aktivität erfasst wird, wird ein Alarm erzeugt. Der Alarm kann jeden visuellen oder Audioalarm umfassen, wie auch Senden einer Nachricht zu einer Vorrichtung oder Person, die sich entweder vor Ort oder entfernt befindet. Alternativ umfasst der Alarm die Erzeugung eines Protokolls oder anderen Dateneintrags an einer dem System der vorliegenden Erfindung zugeordneten Datenspeichervorrichtung.
  • Unter Bezugnahme auf 5 nutzt die zweite bevorzugte Ausführungsform der vorliegenden Erfindung eine zweite Arbeitsweise, die generell als die örtlichen Verteilungen von Bewegungsvektoren bezeichnet wird. Dieses Verfahren arbeitet direkt mit den (optionsweise) quantisierten und gefilterten Bewegungsvektoren statt mit errechneten Bewegungsmerkmalen. Somit umfasst das zweite Verfahren die Fähigkeit, die Aktivität in der Szene zu lokalisieren. Das Verfahren verwendet einen zeitweiligen Filter (nicht dargestellt), um Bewegungsvektorspitzen und kurze Unterbrechungen während abnormaler Aktivität zu unterdrücken. Während des Betriebs des Trainingsblocks werden für jedes Videobild die Bewegungsvektoren bei Schritt 102 optional quantisiert. Die Quantisierung wird pro jede Bewegungsvektorkomponente durchgeführt, d. h. getrennt für Vx und Vy. Bevorzugt kann jede Komponente sieben verschiedene Werte haben (statisch, drei positive Werte, die langsamer, misslerer und rascher Bewegung entsprechen, und drei gleichartige negative Werte). Somit kann der quantisierte Bewegungsvektor V = (Vx, Vy) 49 verschiedene Werte haben. Ein Histogramm oder jedes andere statistische Modell wird pro Makroblock erstellt und enthält Wahrscheinlichkeitsinformation für jeden Wert des Bewegungsvektors (Schritt 104). In einem nicht einschränkenden Beispiel einer Histogramm-Modelldarstellung seien (i, j) die Indices eines Makroblocks, der für das Bild f den Bewegungsvektor = (Vx1,j, Vyi,j) und den quantisierten und gefilterten Vektor Vi,j = (Vxi,j, Vyi,j). Hi,j ist das Histogramm, das dem Makroblock (i, j) entspricht, der eine 7×7-Matrix ist. H ist die aus allen Hi,j-Histogrammen erstellte Matrix.
  • Figure 00260001
  • In diesem Beispiel wird zu Beginn des Betriebs der Trainingsphase die Hi,j-Matrix auf Null initialisiert. Während des Betriebs des Trainingsblocks inkrementiert das Verfahren für jedes Bild f und für jeden Makroblock dieses Bildes die Zelle (Vxi,j, Vyi,j) der Matrix Hi,j in der Blockmatrix H. Bei Beendigung des Betriebs des Trainingsblocks wird jede Matrix Hi,j von sich aus normalisiert, während der Wert von „keine Bewegung" ignoriert wird.
  • Unter Bezugnahme auf 6 quantisiert oder filtert das Verfahren in Schritt 106 während des Betriebs der Bewegungserfassungsphase für jedes Bild f und für jeden Makroblock (i, j) optimal den Bewegungsvektor. Dann wird die empirische Wahrscheinlichkeit des quantisierten und gefilterten Vektors (Vxi,j, Vyi,j) in Hi,j überprüft (Schritt 110) und mit einem vorbestimmten Schwellenwert T1 verglichen (Schritt 112). Wenn die Wahrscheinlichkeit unter dem vorbestimmten Schwellenwert T1 liegt, wird der Makroblock als verdächtig angesehen. Anschließend vergleicht das Verfahren bei Schritt 114 die Anzahl verdächtiger Makroblöcke pro ein zeitweiliges bewegendes Fenster von Bildern mit einem zweiten Schwellenwert T2. Wenn es mehr Makroblöcke gibt als den vorbestimmten Schwellenwert T2, dann wird bei Schritt 116 eine positive Entscheidung bezüglich des Vorhandenseins abnormaler Aktivität gefällt.
  • In der zweiten bevorzugten Ausführungsform der Erfindung wird eine einfache Regel von Mindestzeit zwischen Ereignissen angewendet, um mehrfache Erfassungen pro Ereignis zu vermeiden. In anderen bevorzugten Ausführungsformen könnte weitere zeitliche Segmentierung durchgeführt werden, um zwischen verschiedenen Aktionen zu unterscheiden.
  • Während des Betriebs des räumlichen Lokalisationsblocks 118 wird der räumliche Standort des Ereignisses gefunden durch Berechnen der durchschnittlichen Position der Makroblöcke, wovon der Wert des Bewegungsvektors in ihrem Histogramm weniger als T1 beträgt, d. h., die weniger wahrscheinlich sind.
  • Die vorangehend dargestellten Beispiele dienen lediglich zur Verschaffung eines deutlichen Verständnisses der Erfindung und nicht zur Einschränkung der Reichweite der vorliegenden Erfindung oder der daran angefügten Ansprüche. Fachleute in der Technik werden würdigen, dass andere Merkmale oder statistische Modelle in Verbindung mit der vorliegenden Erfindung verwendet werden können, um die Ziele der Erfindung zu erfüllen.
  • Die vorgeschlagenen Vorrichtungen und Verfahren sind innovativ in Begriffen der Verwendung komprimierter Videodomain für die Aufgabe der Erfassung abnormaler Bewegung. Die Vorrichtungen und Verfahren der vorliegenden Erfindung erfordern nicht die Durchführung von Verarbeitung der Bild- oder Abbildungsschicht oder das Vorsehen eines Ereignismodells. Die Vorrichtungen und Verfahren der vorliegenden Erfindung können jedoch in Zusammenwirken mit der Bildverarbeitung, oder dem Vorsehen eines Ereignismodells oder dergleichen betrieben werden. Die vorgeschlagenen Verfahren sind durch das Lernen ihrer normalen oder abnormalen Bewegungsstatistiken an jede Szene anpassbar. Die vorgeschlagenen Verfahren erfordern minimale Verarbeitungsenergie, da keine Objektsegmentierung oder Objektverfolgung beteiligt ist. Daher sind die vorgeschlagenen Vorrichtungen und Verfahren optimal geeignet für Echtzeit-Mehrfachkameraüberwachung oder Beobachtungssysteme, die in vielen Einsatzgebieten arbeiten. Fachleute in der Technik werden würdigen, dass die vorliegende Erfindung auch auf Einzelkamerasysteme und auf jedes Videosystem, das eine Abfolge von Ereignissen festhält, angewendet werden kann. Solche Anwendungen sind nicht auf den Sicherheitsbereich beschränkt, sondern können auch für eine Vielzahl anderer Gebiete gelten, einschließlich Videoverarbeitung im allgemeinen und andere.
  • Wie hierin vorangehend detailliert beschrieben wurde, schlägt die vorliegende Erfindung zwei verschiedene Verfahren zur Erfassung abnormaler Bewegung in komprimiertem Video vor. Beide Verfahren sind auf dem Konzept der Verwendung von Bewegungsvektoren des komprimierten Videos und Durchführung einer Trainingsphase zur Erstellung eines statistischen Modells normaler Bewegung in der Szene basiert. In der Erfassungsphase wird das statistische Modell verwendet, um Bewegung in einem Bild oder einer Gruppe von Bildern als normal oder abnormal einzustufen.
  • Es ist wichtig, anzumerken, dass mehrere Trainingssitzungen abgehalten werden können, wodurch Modelle normaler Bewegungen und Modelle abnormaler Bewegungen erzeugt werden. Zusätzlich zu der obigen Beschreibung des Vergleichens von Bewegungen mit Modellen normaler Bewegungen kann die Bewegung innerhalb des Standorts auch mit einem Modell verglichen werden, das abnormale Bewegung darstellt, und ein Alarm würde erzeugt, wenn die Bewegung signifikant ähnlich der trainierten abnormalen Bewegung wäre.
  • Beide vorangehend detailliert beschriebenen bevorzugten Verfahren verbrauchen minimale Verarbeitungsenergie, da die eigentlichen Bilder nicht verarbeitet werden, sondern Meta-Daten von Bewegung (Bewegungsvektoren), was 256 mal weniger zu handhabende Daten umfasst (angenommen, dass 16×16 Teile verwendet werden). Die Verarbeitungsanforderungen des ersten bevorzugten Verfahrens sind niedrig, da nur die Extraktion von Bewegungsmerkmalen aus den Bewegungsvektoren und Vergleich mit einem bestehenden Modell erforderlich sind. Die Verarbeitungsanforderungen des zweiten bevorzugten Verfahrens sind ebenfalls niedrig, da nur eine einzige Nachschlagtabelle pro Makroblock pro Bild erforderlich ist.
  • Da die Arbeitsprinzipien des ersten und zweiten bevorzugten Verfahrens unterschiedlich sind, wäre es für die Fachleute offensichtlich, dass durch Kombinieren der bevorzugten Verfahren eine effizientere Leistung des vorangehend beschriebenen Systems erzielt werden könnte. Durch Anwenden einer Logikoperation, wie etwa OR oder dergleichen, an den von den bevorzugten Verfahren produzierten Entscheidungswerten könnten zusätzliche Ereignisse ohne nennenswerten Anstieg der Anzahl von Fehlalarmen oder der Verarbeitungsenergie erfasst werden.
  • Die Vorrichtung ist nicht auf die Verwendung von mit dem Trainingsmodul erzeugten statistischen Modellen begrenzt, sondern kann vielmehr verschiedene Modelle nutzen, die auf jede andere Weise erzeugt oder erworben wurden.
  • Von Fachleuten wird gewürdigt werden, dass die vorliegende Erfindung nicht auf das speziell hierin vorangehend Dargestellte und Beschriebene begrenzt ist. Vielmehr wird die Reichweite der vorliegenden Erfindung nur durch die folgenden Ansprüche definiert.

Claims (17)

  1. Vorrichtung zur Erfassung einer abnormalen Bewegung in einem Videostrom, wobei der Videostrom Videobilder umfasst, wobei jedes Videobild Bewegungsvektoren umfasst, wobei jeder Bewegungsvektor die ungefähre gemeinsame Bewegungsrichtung eines Teils des Videobildes darstellt, wobei die Vorrichtung gekennzeichnet ist durch: ein Systemwartungs- und Einrichtmodul (28); ein Bewegungsvektor-Vorbearbeitungsmodul (26); ein Systemtrainingsmodul (30) zur Erzeugung mindestens eines statistischen Modells, das eine normale Bewegung darstellt, auf Basis eines Bewegungsvektors oder mindestens eines aus den Bewegungsvektoren erzeugten Bewegungsmerkmals, und ein Bewegungserfassungsmodul (32) zur Erfassung einer abnormalen Bewegung durch Vergleichen mindestens eines der Bewegung zugeordneten Bewegungsvektors oder mindestens eines Bewegungsmerkmals, das aus dem mindestens einem, der Bewegung zugeordneten Bewegungsvektor extrahiert ist, mit dem mindestens einen statistischen Modell; wobei das mindestens eine statistische Modell ein zweidimensionales Histogramm ist, das die Verteilung der Bewegungsvektoren selbst darstellt, oder mindestens ein eindimensionales Histogramm, das die Verteilung von Werten eines des mindestens einen Bewegungsmerkmals darstellt, oder mindestens ein mehrdimensionales Histogramm, worin jede Dimension die Verteilung von Werten von einem des mindestens einen Bewegungsmerkmals darstellt.
  2. Vorrichtung nach Anspruch 1, wobei das mindestens eine Bewegungsmerkmal eines der folgenden umfasst: Summe des absoluten Werts der Bewegung gegenüber den Teilen in dem mindestens einen Videobild; Index des Bereichs in jedem Videobild, wo der größte Teil der Bewegung stattfindet; den größten Teil der gesamten Bewegung in jedem Videobild, die in einem Bereich stattfindet; Index eines Winkelbereichs, worin die absolute Summe der Bewegung am größten ist; oder einen Teil der gesamten Bewegung, der in dem Winkelbereich außerhalb der gesamten Bewegung in jedem Videobild stattfindet.
  3. Vorrichtung nach Anspruch 1, wobei die Bewegungsvektoren gefiltert werden, um Fehler zu verringern.
  4. Vorrichtung nach Anspruch 1, wobei das Trainingsmodul ein k-Mittelwert-Verfahren anwendet, um ein statistisches Modell zu erzeugen, das die Verteilung mindestens eines Bewegungsmerkmals darstellt.
  5. Vorrichtung nach Anspruch 1, welche weiter eine Alarmvorrichtung (20) für abnormale Bewegung zur Erzeugung eines Alarms, wenn eine abnormale Bewegung erfasst wird, umfasst.
  6. Vorrichtung nach Anspruch 5, wobei der Alarm eines der folgenden ist: eine Audioanzeige, eine visuelle Anzeige, eine zu einer vorbestimmten Person oder System zu sendende Mitteilung, eine zu einem System gesendete Instruktion zur Durchführung eines dem Alarm zugeordneten Schrittes.
  7. Vorrichtung, umfassend: mindestens zwei Instanzen der Vorrichtung nach Anspruch 1; und eine Klassifiziereinheit zum Klassifizieren der Schwere abnormaler Bewegungen, die von den mindestens zwei Instanzen der Vorrichtung nach Anspruch 1 erfasst worden sind, und zum Erzeugen eines Alarms für die mindestens eine schwerste abnormale Bewegung, die von diesen Instanzen erfasst worden ist.
  8. Vorrichtung nach Anspruch 1, wobei das Systemtrainingsmodul auch mindestens ein statistisches Modell erzeugt, das abnormale Bewegung darstellt, und wobei das Bewegungserfassungsmodul (32) mindestens einen der Bewegung zugeordneten Bewegungsvektor oder mindestens ein aus dem mindestens einen, der Bewegung zugeordneten Bewegungsvektor extrahiertes Bewegungsmerkmal mit dem mindestens einen, abnormale Bewegung darstellenden statistischen Modell vergleicht.
  9. Verfahren zur Erfassung abnormaler Bewegung in einem Videostrom, wobei der Videostrom Videobilder umfasst, wobei jedes Videobild Bewegungsvektoren umfasst, wobei jeder Bewegungsvektor die ungefähre gemeinsame Bewegungsrichtung eines Teils des Videobildes darstellt, wobei das Verfahren gekennzeichnet ist durch die Schritte des Erstellens (70, 104) mindestens eines statistischen Modells auf Basis von Bewegungsvektoren, oder von mindestens einem aus den Bewegungsvektoren erzeugten Bewegungsmerkmal, und Ermittelns, ob eine Bewegung normal oder abnormal ist (78, 116), durch Vergleichen mindestens eines der Bewegung zugeordneten Bewegungsvektors oder mindestens eines aus dem mindestens einen, der Bewegung zugeordneten Bewegungsvektor extrahierten Bewegungsmerkmals mit dem mindestens einen statistischen Modell, wobei das mindestens eine statistische Modell ein zweidimensionales Histogramm ist, das die Verteilung der Bewegungsvektoren selbst darstellt, oder ein mindestens eines, eindimensionales Histogramm, das die Verteilung von Werten von einem des mindestens einen Bewegungsmerkmals darstellt, oder mindestens ein mehrdimensionales Histogramm, worin jede Dimension die Verteilung von Werten von einem des mindestens einen Bewegungsmerkmals darstellt.
  10. Verfahren nach Anspruch 9, wobei das mindestens eine Bewegungsmerkmal eines der folgenden umfasst: Summe des absoluten Werts der Bewegung gegenüber den Teilen in jedem Videobild; Index des Bereichs in jedem Videobild, wo der größte Teil der Bewegung stattfindet; den größten Teil der gesamten Bewegung in jedem Videobild, die in einem spezifischen Bereich stattfindet; Index des Winkelbereichs, worin die absolute Summe der Bewegung in jedem Videobild am größten ist; den Teil der gesamten Bewegung, der in diesem Winkelbereich stattfindet, außerhalb der gesamten Bewegung in jedem Videobild.
  11. Verfahren nach Anspruch 9, weiter den Schritt des Filterns mindestens eines Bewegungsvektors (72, 106), um Fehler zu reduzieren, umfassend.
  12. Verfahren nach Anspruch 9, wobei der Erstellungsschritt ein k-Mittelwert-Statistikmodell erzeugt, das die Verteilung des mindestens einen Bewegungsmerkmals darstellt.
  13. Verfahren nach Anspruch 9, weiter einen Schritt der Erzeugung eines abnormale Bewegung anzeigenden Alarms beim Erfassen abnormaler Bewegung umfassend.
  14. Verfahren nach Anspruch 13, wobei der Alarm einer der folgenden ist: eine Audioanzeige, eine visuelle Anzeige, eine zu einer vorbestimmten Person oder System zu sendende Mitteilung, eine zu einem System gesendete Instruktion zur Durchführung eines dem Alarm zugeordneten Schrittes.
  15. Verfahren zur Klassifizierung der Schwere abnormaler Bewegungen, die in mindestens zwei Videoströmen erfasst worden sind, durch Anwenden des Verfahrens nach Anspruch 9.
  16. Verfahren nach Anspruch 15, weiter einen Schritt der Erzeugung eines Alarms für die mindestens eine meist gravierende abnormale Bewegung umfassend.
  17. Verfahren nach Anspruch 16, wobei der Erstellungsschritt auch mindestens ein statistisches Modell erzeugt, das abnormale Bewegung darstellt, und wobei der Schritt der Ermittlung dessen, ob eine Bewegung normal oder abnormal ist, mindestens ein aus den der Bewegung zugeordneten Bewegungsvektoren extrahiertes Bewegungsmerkmal mit dem mindestens einen, abnormale Bewegung darstellenden statistischen Modell vergleicht.
DE602005005583T 2004-08-31 2005-06-15 Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen Active DE602005005583T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/930,254 US8724891B2 (en) 2004-08-31 2004-08-31 Apparatus and methods for the detection of abnormal motion in a video stream
US930254 2004-08-31

Publications (2)

Publication Number Publication Date
DE602005005583D1 DE602005005583D1 (de) 2008-05-08
DE602005005583T2 true DE602005005583T2 (de) 2008-07-24

Family

ID=35447462

Family Applications (1)

Application Number Title Priority Date Filing Date
DE602005005583T Active DE602005005583T2 (de) 2004-08-31 2005-06-15 Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen

Country Status (4)

Country Link
US (1) US8724891B2 (de)
EP (1) EP1631073B1 (de)
AT (1) ATE390799T1 (de)
DE (1) DE602005005583T2 (de)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
US8942283B2 (en) 2005-03-31 2015-01-27 Euclid Discoveries, Llc Feature-based hybrid video codec comparing compression efficiency of encodings
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US8094790B2 (en) 2005-05-18 2012-01-10 Mattersight Corporation Method and software for training a customer service representative by analysis of a telephonic interaction between a customer and a contact center
US8094803B2 (en) * 2005-05-18 2012-01-10 Mattersight Corporation Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto
US8169484B2 (en) * 2005-07-05 2012-05-01 Shai Silberstein Photography-specific digital camera apparatus and methods useful in conjunction therewith
US20070071404A1 (en) * 2005-09-29 2007-03-29 Honeywell International Inc. Controlled video event presentation
US9346397B2 (en) 2006-02-22 2016-05-24 Federal Signal Corporation Self-powered light bar
WO2007120985A2 (en) * 2006-02-22 2007-10-25 Federal Signal Corporation Public safety warning network
US7746794B2 (en) * 2006-02-22 2010-06-29 Federal Signal Corporation Integrated municipal management console
US7476013B2 (en) 2006-03-31 2009-01-13 Federal Signal Corporation Light bar and method for making
US9002313B2 (en) * 2006-02-22 2015-04-07 Federal Signal Corporation Fully integrated light bar
US8125522B2 (en) * 2006-03-24 2012-02-28 Siemens Industry, Inc. Spurious motion filter
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
US7343267B1 (en) * 2006-09-21 2008-03-11 International Business Machines Corporation Methods and systems for statistical based monitoring and power management
JP2010517427A (ja) 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法
CA2676219C (en) 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US9172918B2 (en) * 2007-02-02 2015-10-27 Honeywell International Inc. Systems and methods for managing live video data
US9183716B2 (en) * 2007-03-20 2015-11-10 International Business Machines Corporation System and method for managing moving surveillance cameras
US20080240374A1 (en) * 2007-03-30 2008-10-02 Kelly Conway Method and system for linking customer conversation channels
US8718262B2 (en) * 2007-03-30 2014-05-06 Mattersight Corporation Method and system for automatically routing a telephonic communication base on analytic attributes associated with prior telephonic communication
US8023639B2 (en) 2007-03-30 2011-09-20 Mattersight Corporation Method and system determining the complexity of a telephonic communication received by a contact center
US20080240404A1 (en) * 2007-03-30 2008-10-02 Kelly Conway Method and system for aggregating and analyzing data relating to an interaction between a customer and a contact center agent
DE102007041893A1 (de) * 2007-09-04 2009-03-05 Robert Bosch Gmbh Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
US10419611B2 (en) 2007-09-28 2019-09-17 Mattersight Corporation System and methods for determining trends in electronic communications
US8169481B2 (en) * 2008-05-05 2012-05-01 Panasonic Corporation System architecture and process for assessing multi-perspective multi-context abnormal behavior
WO2010050699A2 (ko) * 2008-10-27 2010-05-06 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
US20100208063A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
WO2010099575A1 (en) 2009-03-04 2010-09-10 Honeywell International Inc. Systems and methods for managing video data
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
MY161490A (en) * 2010-12-01 2017-04-14 Mimos Berhad A system and method to detect human loitering activity using trajectory information
US9158976B2 (en) 2011-05-18 2015-10-13 International Business Machines Corporation Efficient retrieval of anomalous events with priority learning
US10117309B1 (en) * 2012-08-17 2018-10-30 Kuna Systems Corporation Internet protocol security camera with behavior detection
US10289917B1 (en) 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9020190B2 (en) * 2013-01-31 2015-04-28 International Business Machines Corporation Attribute-based alert ranking for alert adjudication
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
US11601620B2 (en) 2013-07-22 2023-03-07 Intellivision Technologies Corp. Cloud-based segregated video storage and retrieval for improved network scalability and throughput
EP3025317B1 (de) * 2013-07-22 2019-05-22 Intellivision Technologies Corp. System und verfahren für skalierbare video-cloud-dienste
US10979674B2 (en) 2013-07-22 2021-04-13 Intellivision Cloud-based segregated video storage and retrieval for improved network scalability and throughput
CN103631917B (zh) * 2013-11-28 2017-01-11 中国科学院软件研究所 一种基于移动对象数据流的突发事件检测方法
US10104394B2 (en) * 2014-01-31 2018-10-16 Here Global B.V. Detection of motion activity saliency in a video sequence
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10277805B2 (en) * 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9213903B1 (en) * 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9449229B1 (en) * 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US10083233B2 (en) 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
JP6672712B2 (ja) * 2015-11-04 2020-03-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
SG10201510337RA (en) * 2015-12-16 2017-07-28 Vi Dimensions Pte Ltd Video analysis methods and apparatus
US10447562B2 (en) * 2016-03-06 2019-10-15 Nice Ltd. System and method for detecting screen connectivity monitoring application malfunctions
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10121103B2 (en) * 2016-12-09 2018-11-06 Cisco Technologies, Inc. Scalable deep learning video analytics
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10176684B2 (en) * 2017-06-08 2019-01-08 Verint Systems Ltd. Counter-flow detection in compressed video
US10810414B2 (en) 2017-07-06 2020-10-20 Wisconsin Alumni Research Foundation Movement monitoring system
US10482613B2 (en) 2017-07-06 2019-11-19 Wisconsin Alumni Research Foundation Movement monitoring system
US11450148B2 (en) 2017-07-06 2022-09-20 Wisconsin Alumni Research Foundation Movement monitoring system
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US10440229B2 (en) * 2017-11-15 2019-10-08 Dean Drako Aerial imaging privacy enhancement system
US10939074B2 (en) * 2017-11-15 2021-03-02 Dean Drako Aerial imaging privacy enhancement system
US10607462B2 (en) * 2017-11-15 2020-03-31 Eagle Eye Networks, Inc. Aerial imaging privacy enhancement system
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
GB2569557B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
US10706701B2 (en) * 2018-01-12 2020-07-07 Qognify Ltd. System and method for dynamically ordering video channels according to rank of abnormal detection
US10003688B1 (en) 2018-02-08 2018-06-19 Capital One Services, Llc Systems and methods for cluster-based voice verification
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
AU2020272887B2 (en) * 2019-04-09 2023-03-02 Motorola Solutions, Inc. Anomaly detection method, system and computer readable medium
US11164047B2 (en) 2019-07-22 2021-11-02 International Business Machines Corporation Object detection optimization
US11587361B2 (en) 2019-11-08 2023-02-21 Wisconsin Alumni Research Foundation Movement monitoring system
CN112954408B (zh) * 2021-01-25 2023-05-12 中央广播电视总台 超高清视频信号的异常监测方法及相应装置

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4145715A (en) * 1976-12-22 1979-03-20 Electronic Management Support, Inc. Surveillance system
US4527151A (en) * 1982-05-03 1985-07-02 Sri International Method and apparatus for intrusion detection
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
US4821118A (en) * 1986-10-09 1989-04-11 Advanced Identification Systems, Inc. Video image system for personal identification
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JP3035920B2 (ja) * 1989-05-30 2000-04-24 ソニー株式会社 動体抽出装置及び動体抽出方法
US5353618A (en) * 1989-08-24 1994-10-11 Armco Steel Company, L.P. Apparatus and method for forming a tubular frame member
GB9000105D0 (en) * 1990-01-03 1990-03-07 Racal Recorders Ltd Recording system
US5051827A (en) * 1990-01-29 1991-09-24 The Grass Valley Group, Inc. Television signal encoder/decoder configuration control
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
CA2054344C (en) * 1990-10-29 1997-04-15 Kazuhiro Itsumi Video camera having focusing and image-processing function
DE69124777T2 (de) * 1990-11-30 1997-06-26 Canon Kk Gerät zur Detektion des Bewegungsvektors
US5291563A (en) * 1990-12-17 1994-03-01 Nippon Telegraph And Telephone Corporation Method and apparatus for detection of target object with improved robustness
GB2259212B (en) * 1991-08-27 1995-03-29 Sony Broadcast & Communication Standards conversion of digital video signals
GB2268354B (en) * 1992-06-25 1995-10-25 Sony Broadcast & Communication Time base conversion
US5519446A (en) * 1993-11-13 1996-05-21 Goldstar Co., Ltd. Apparatus and method for converting an HDTV signal to a non-HDTV signal
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
IL113434A0 (en) 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
US6028626A (en) * 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
MY132441A (en) * 1995-01-17 2007-10-31 Sarnoff Corp Method and apparatus for detecting object movement within an image sequence
US5751345A (en) * 1995-02-10 1998-05-12 Dozier Financial Corporation Image retention and information security system
US5796439A (en) * 1995-12-21 1998-08-18 Siemens Medical Systems, Inc. Video format conversion process and apparatus
US5742349A (en) * 1996-05-07 1998-04-21 Chrontel, Inc. Memory efficient video graphics subsystem with vertical filtering and scan rate conversion
US6081606A (en) * 1996-06-17 2000-06-27 Sarnoff Corporation Apparatus and a method for detecting motion within an image sequence
US7304662B1 (en) 1996-07-10 2007-12-04 Visilinx Inc. Video surveillance system and method
US5895453A (en) * 1996-08-27 1999-04-20 Sts Systems, Ltd. Method and system for the detection, management and prevention of losses in retail and other environments
US5790096A (en) * 1996-09-03 1998-08-04 Allus Technology Corporation Automated flat panel display control system for accomodating broad range of video types and formats
GB9620082D0 (en) * 1996-09-26 1996-11-13 Eyretel Ltd Signal monitoring apparatus
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US6067367A (en) * 1996-10-31 2000-05-23 Yamatake-Honeywell Co., Ltd. Moving direction measuring device and tracking apparatus
US6037991A (en) * 1996-11-26 2000-03-14 Motorola, Inc. Method and apparatus for communicating video information in a communication system
EP0858066A1 (de) * 1997-02-03 1998-08-12 Koninklijke Philips Electronics N.V. Verfahren und Vorrichtung zur Umwandlung der digitalen Bildrate
JP3812985B2 (ja) * 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
US6628323B1 (en) * 1997-06-04 2003-09-30 Ascom Systec Ag Method and apparatus for surveying a predetermined surveillance area
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6092197A (en) 1997-12-31 2000-07-18 The Customer Logic Company, Llc System and method for the secure discovery, exploitation and publication of information
US6014647A (en) * 1997-07-08 2000-01-11 Nizzari; Marcia M. Customer interaction tracking
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
US6704409B1 (en) * 1997-12-31 2004-03-09 Aspect Communications Corporation Method and apparatus for processing real-time transactions and non-real-time transactions
US6327343B1 (en) * 1998-01-16 2001-12-04 International Business Machines Corporation System and methods for automatic call and data transfer processing
US6230197B1 (en) * 1998-09-11 2001-05-08 Genesys Telecommunications Laboratories, Inc. Method and apparatus for rules-based storage and retrieval of multimedia interactions within a communication center
US6138139A (en) * 1998-10-29 2000-10-24 Genesys Telecommunications Laboraties, Inc. Method and apparatus for supporting diverse interaction paths within a multimedia communication center
US6167395A (en) * 1998-09-11 2000-12-26 Genesys Telecommunications Laboratories, Inc Method and apparatus for creating specialized multimedia threads in a multimedia communication center
US6212178B1 (en) * 1998-09-11 2001-04-03 Genesys Telecommunication Laboratories, Inc. Method and apparatus for selectively presenting media-options to clients of a multimedia call center
US6170011B1 (en) * 1998-09-11 2001-01-02 Genesys Telecommunications Laboratories, Inc. Method and apparatus for determining and initiating interaction directionality within a multimedia communication center
US6134530A (en) * 1998-04-17 2000-10-17 Andersen Consulting Llp Rule based routing system and method for a virtual sales and service center
US6070142A (en) * 1998-04-17 2000-05-30 Andersen Consulting Llp Virtual customer sales and service center and method
US20010043697A1 (en) 1998-05-11 2001-11-22 Patrick M. Cox Monitoring of and remote access to call center activity
US6604108B1 (en) * 1998-06-05 2003-08-05 Metasolutions, Inc. Information mart system and information mart browser
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
US6549613B1 (en) * 1998-11-05 2003-04-15 Ulysses Holding Llc Method and apparatus for intercept of wireline communications
US6092797A (en) * 1999-03-10 2000-07-25 You; Yen-Jen Quick clamping type vice
US6330025B1 (en) * 1999-05-10 2001-12-11 Nice Systems Ltd. Digital video logging system
WO2000073996A1 (en) 1999-05-28 2000-12-07 Glebe Systems Pty Ltd Method and apparatus for tracking a moving object
US7103806B1 (en) * 1999-06-04 2006-09-05 Microsoft Corporation System for performing context-sensitive decisions about ideal communication modalities considering information about channel reliability
GB2352948B (en) 1999-07-13 2004-03-31 Racal Recorders Ltd Voice activity monitoring apparatus and methods
GB9918248D0 (en) * 1999-08-04 1999-10-06 Matra Bae Dynamics Uk Ltd Improvements in and relating to surveillance systems
US6427137B2 (en) * 1999-08-31 2002-07-30 Accenture Llp System, method and article of manufacture for a voice analysis system that detects nervousness for preventing fraud
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US20010052081A1 (en) * 2000-04-07 2001-12-13 Mckibben Bernard R. Communication network with a service agent element and method for providing surveillance services
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
JP2001357484A (ja) * 2000-06-14 2001-12-26 Kddi Corp 道路異常検出装置
US6981000B2 (en) * 2000-06-30 2005-12-27 Lg Electronics Inc. Customer relationship management system and operation method thereof
US20020059283A1 (en) * 2000-10-20 2002-05-16 Enteractllc Method and system for managing customer relations
US20020054211A1 (en) 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system
US6441734B1 (en) 2000-12-12 2002-08-27 Koninklijke Philips Electronics N.V. Intruder detection through trajectory analysis in monitoring and surveillance systems
US20020087385A1 (en) * 2000-12-28 2002-07-04 Vincent Perry G. System and method for suggesting interaction strategies to a customer service representative
US7953219B2 (en) * 2001-07-19 2011-05-31 Nice Systems, Ltd. Method apparatus and system for capturing and analyzing interaction based content
GB0118921D0 (en) 2001-08-02 2001-09-26 Eyretel Telecommunications interaction analysis
US6912272B2 (en) * 2001-09-21 2005-06-28 Talkflow Systems, Llc Method and apparatus for managing communications and for creating communication routing rules
US20030128099A1 (en) 2001-09-26 2003-07-10 Cockerham John M. System and method for securing a defined perimeter using multi-layered biometric electronic processing
US6559769B2 (en) * 2001-10-01 2003-05-06 Eric Anthony Early warning real-time security system
US6823011B2 (en) * 2001-11-19 2004-11-23 Mitsubishi Electric Research Laboratories, Inc. Unusual event detection using motion activity descriptors
US6999613B2 (en) * 2001-12-28 2006-02-14 Koninklijke Philips Electronics N.V. Video monitoring and surveillance systems capable of handling asynchronously multiplexed video
EP1472869A4 (de) * 2002-02-06 2008-07-30 Nice Systems Ltd System und verfahren zur detektion, überwachung und alarmverwaltung auf der basis der videoinhaltsanalyse
AU2003207979A1 (en) 2002-02-06 2003-09-02 Nice Systems Ltd. Method and apparatus for video frame sequence-based object tracking
US7386113B2 (en) * 2002-02-25 2008-06-10 Genesys Telecommunications Laboratories, Inc. System and method for integrated resource scheduling and agent work management
EP1345174A1 (de) * 2002-03-12 2003-09-17 Eidgenossisch Technische Hochschule Zurich Verfahren und Gerät zur visuellen Bewegungserkennung
US7012888B2 (en) * 2002-08-16 2006-03-14 Nuasis Corporation High availability VoIP subsystem
US7076427B2 (en) * 2002-10-18 2006-07-11 Ser Solutions, Inc. Methods and apparatus for audio data monitoring and evaluation using speech recognition
US20040098295A1 (en) * 2002-11-15 2004-05-20 Iex Corporation Method and system for scheduling workload
JP2004247812A (ja) * 2003-02-12 2004-09-02 Alps Electric Co Ltd 電気音響変換装置およびこれを用いた電子機器
AU2003271736A1 (en) 2003-04-09 2004-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Lawful interception of multimedia calls
US7447909B2 (en) 2003-06-05 2008-11-04 Nortel Networks Limited Method and system for lawful interception of packet switched network services
DE10358333A1 (de) 2003-12-12 2005-07-14 Siemens Ag Verfahren, Netzelement und Netzanordnung zur Telekommunikationsüberwachung
US7441271B2 (en) * 2004-10-20 2008-10-21 Seven Networks Method and apparatus for intercepting events in a communication system
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems

Also Published As

Publication number Publication date
DE602005005583D1 (de) 2008-05-08
EP1631073A3 (de) 2006-03-08
US8724891B2 (en) 2014-05-13
US20060045185A1 (en) 2006-03-02
ATE390799T1 (de) 2008-04-15
EP1631073B1 (de) 2008-03-26
EP1631073A2 (de) 2006-03-01

Similar Documents

Publication Publication Date Title
DE602005005583T2 (de) Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen
DE60132622T2 (de) Verfahren und vorrichtung zur auswahl des besten videoeinzelbildes zur übermittlung an einen entfernten standort innerhalb eines geschlossenen fernsehsystems zur wohnbereichssicherheitsüberwachung
DE602004005520T2 (de) Anordnung und Verfahren zur Bilderkennung
EP3058556B1 (de) Verfahren und vorrichtung zur automatisierten waldbrandfrüherkennung mittels optischer detektion von rauchwolken
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE102009044083A1 (de) System und Verfahren zur Zählung der Personenanzahl
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
DE112016002252T5 (de) Automatische erkennung von panoramagesten
DE4332753C2 (de) Verfahren zur Erkennung bewegter Objekte
EP1346330A2 (de) Video-rauchdetektionssystem
DE69918533T2 (de) Verfahren zur detektion von übergängen in abgetastenen digitalen videosequenzen
CN108174198A (zh) 一种视频图像质量诊断分析检测设备及应用系统
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE102014209039A1 (de) Verfahren und System zur Präsenzortung
EP2483834A1 (de) Verfahren und vorrichtung zum erkennen einer fehldetektion eines objekts in einem bild
DE10018157A1 (de) Überwachungseinrichtung
DE19848490B4 (de) Bildinformationsübertragungsverfahren und -vorrichtung
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
DE10316775A1 (de) Verfahren und Vorrichtung für eine digitale Bildanzeige
DE102019114451A1 (de) Aktivitätsbereiche in Videoinhalten
WO2016087202A1 (de) Bildverarbeitung mittels kreuzkorrelation
WO2006114353A1 (de) Verfahren und system zum verarbeiten von daten
DE10153484B4 (de) Video-/Audio-System und Auswertungsverfahren für Video-/Audio-Daten
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm

Legal Events

Date Code Title Description
8364 No opposition during term of opposition