DE102007031302A1 - Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm - Google Patents

Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm Download PDF

Info

Publication number
DE102007031302A1
DE102007031302A1 DE102007031302A DE102007031302A DE102007031302A1 DE 102007031302 A1 DE102007031302 A1 DE 102007031302A1 DE 102007031302 A DE102007031302 A DE 102007031302A DE 102007031302 A DE102007031302 A DE 102007031302A DE 102007031302 A1 DE102007031302 A1 DE 102007031302A1
Authority
DE
Germany
Prior art keywords
movement pattern
pattern
contraption
patterns
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102007031302A
Other languages
English (en)
Inventor
Matthias König
Julia Ebling
Hartmut Loos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102007031302A priority Critical patent/DE102007031302A1/de
Priority to PCT/EP2008/057127 priority patent/WO2009003793A2/de
Priority to EP08760696A priority patent/EP2174260A2/de
Priority to US12/666,923 priority patent/US8761436B2/en
Publication of DE102007031302A1 publication Critical patent/DE102007031302A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen, Industrieanlagen, Gebäuden oder dergleichen. Die Videoüberwachungssysteme umfassen meist eine oder mehrere Überwachungskameras, welche auf Überwachungsszenen ausgerichtet sind und Bilddatenströme in Form von Bildsequenzen an ein Auswertezentrum übermitteln. Es wird eine Vorrichtung 1 zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer Überwachungsszene mit einer Vielzahl von bewegten Objekten mit einer Schnittstelle 2 zur Einspielung der Bildsequenz, mit einem Berechnungsmodul 5 zur Bestimmung eines optischen Flussfeldes 10 in der Überwachungsszene durch Auswertung der Bildsequenz und mit einem Erkennungsmodul 6, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon mit einem oder mehreren Mustern zu vergleichen, um das Bewegungsmuster in der Bildsequenz zu erkennen, vorgeschlagen.

Description

  • Stand der Technik
  • Die Erfindung betrifft eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, wobei die Vorrichtung eine Schnittstelle zur Einspielung der Bildsequenz und ein Berechnungsmodul zur Bestimmung eines optischen Flussfeldes in der Überwachungsszene durch Auswertung der Bildsequenz aufweist. Weiterhin betrifft die Erfindung ein entsprechendes Verfahren und ein Computerprogramm.
  • Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen, Industrieanlagen, Gebäuden oder dergleichen. Die Videoüberwachungssysteme umfassen meist eine oder mehrere Überwachungskameras, welche auf Überwachungsszenen ausgerichtet sind und Bilddatenströme in Form von Bildsequenzen an ein Auswertezentrum übermitteln. Während es früher üblich war, die Bildsequenzen durch geschultes Überwachungspersonal auszuwerten, werden in der Zwischenzeit vermehrt automatisierte Auswertungen auf Basis der digitalen Bildverarbeitung durchgeführt. Die Vorteile von derartigen automatisierten Auswertungen liegen insbesondere darin, dass zum einen die Personalkosten deutlich verringert sind und zum anderen die Überwachungsqualität stets gleichbleibend ist.
  • Ein oftmals praktizierter Ansatz zur Erkennung und/oder Klassifizierung von Bewegungsmustern in Überwachungsszenen ist es, bewegte Objekte vom (im wesentlichen statischen) Szenenhintergrund zu trennen, über die Zeit zu verfolgen und bei relevanten Bewegungen Alarm auszulösen. Die verwendeten Verfahren werten im ersten Schritt für die sogenannte Objektsegmentierung typischerweise die Bildunterschiede zwischen dem aktuellen Kamerabild und einem sogenannten Szenenreferenzbild aus, das den statischen Szenenhintergrund modelliert, um bewegte Objekte zu detektieren.
  • Ein anderer Ansatz analysiert dagegen den sogenannten optischen Fluss in der Überwachungsszene durch Auswertung der Bildsequenz. Bei der Berechnung des optischen Flusses werden die Translationsbewegungen von Pixeln oder Bildbereichen von einem Bild zu einem nachfolgenden Bild der Bildsequenz ausgewertet und auf Basis dieser Translationsbewegungen ein Vektorfeld erstellt, welches für die untersuchten Pixel bzw. Bereiche jeweils eine Translationsrichtung sowie eine Translationsgeschwindigkeit bereitstellt. Bei diesem Ansatz wird eine Objektsegmentierung durchgeführt, indem Objekte, welche hinsichtlich der Translationsvektoren, also hinsichtlich des optischen Flusses, übereinstimmen, zu einem gemeinsamen Objekt zugehörig klassifiziert werden.
  • Offenbarung der Erfindung
  • Erfindungsgemäß wird eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene mit den Merkmalen des Anspruchs 1, ein entsprechendes Verfahren mit den Merkmalen des Anspruchs 12 und ein Computerprogramm mit den Merkmalen des Anspruchs 14 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich durch die Unteransprüche, die nachfolgende Beschreibung und/oder die beigefügten Figuren.
  • Die erfindungsgemäße Vorrichtung zeichnet sich gegenüber dem bekannten Stand der Technik insbesondere dadurch aus, dass die Bewegungsmuster nicht unbedingt über den Zwischenweg einer Objektsegmentierung und einer nachfolgenden Objektverfolgung erkannt und dann klassifiziert werden, sondern, dass das optische Flussfeld selbst auf charakteristische Bewegungsmuster durch einen Vergleich mit vorgegebenen und/oder vorgebbaren Mustern, insbesondere Flussmasken, untersucht wird. Während im Stand der Technik somit ein Einzelobjektansatz verfolgt wird, schlägt die Erfindung einen Mehrobjektansatz vor, welcher zugleich sämtliche bewegten Objekte in der Überwachungsszene und/oder in einem Teilbereich der Überwachungsszene analysiert.
  • Die Vorrichtung ist vorzugsweise als ein Videoüberwachungssystem ausgebildet, welches beispielsweise als eine Datenverarbeitungseinrichtung, Computer, DSP, Microcontroller, FPGA, ASIC oder dergleichen realisiert ist und/oder eine oder mehrere Schnittstellen zur Einspielung von Bildsequenzen einer oder mehrerer Überwachungsszenen aufweist. Die Schnittstellen sind mit einer Mehrzahl von Kameras, Recorder und/oder anderen Speichermedien verbunden und/oder verbindbar, auf denen die Bildsequenzen bereitgestellt werden bzw. bereitstellbar sind. Die erfindungsgemäße Vorrichtung eignet sich insbesondere aufgrund einer vergleichsweise geringen Rechenleistungsanforderung für den Echtzeiteinsatz, kann jedoch auch bereits gespeicherte Bildsequenzen insbesondere „Off-Line" analysieren.
  • Die Überwachungsszene kann – wie zum Beispiel bereits in der Einleitung dargestellt – als Straßenszene, Kreuzung, öffentliches Gebäude, Bahnhof, etc. ausgebildet sein. Vorzugsweise zeigt die Überwachungsszene eine Mehrzahl von bewegten Objekten, die insbesondere als Menschen, z. B. Passanten, aber auch als Fahrzeuge oder dergleichen ausgebildet sein können. Die Bildsequenz umfasst eine Mehrzahl von insbesondere zeitlich äquidistant aufgenommenen Bilder der Überwachungsszene, wobei die Bilder eine beliebige Spezifikation aufweisen können, so zum Beispiel als Farb-, Graustufen-, Schwarzweiß-, Infrarot- und/oder UV-Bild realisiert sind.
  • Die erfindungsgemäße Vorrichtung weist ein Berechnungsmodul auf, welches programmtechnisch und/oder schaltungstechnisch zur Bestimmung eines optischen Flussfeldes in der Überwachungsszene durch Auswertung der Bildsequenz ausgebildet ist. Das optische Flussfeld – auch optischer Fluss oder „optical flow" genannt – ist als ein Vektorfeld darstellbar, das die vorzugsweise zweidimensionale Bewegungsrichtung und/oder Bewegungsgeschwindigkeit für jeden oder jeden ausgewählten Bildpunkt, für jedes oder jedes ausgewählte Pixel und/oder für jeden oder jeden ausgewählten Bildbereich der Bilder einer Bildsequenz angibt. Die Berechnung des optischen Flussfeldes kann über differentielle Methoden, jedoch auch über jede beliebige andere bekannte Methode erfolgen.
  • Erfindungsgemäß wird vorgeschlagen, dass die Vorrichtung ein Erkennungsmodul aufweist, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon, mit einem oder mehreren Muster zu vergleichen, um ein Bewegungsmuster in der Bildsequenz zu erkennen.
  • Insbesondere erfolgt die Erkennung des Bewegungsmusters ohne die Zwischenschritte der Objektsegmentierung – und -verfolgung, so dass zum einen Ungenauigkeiten bei der Analyse vermieden und zum anderen Rechenzeit eingespart werden kann. Die vorgeschlagene Erfindung nutzt somit die Informationen, die durch Berechnung der Bewegung von kleinen Bildbereichen gewonnen werden, wobei ein Bildbereich auch aus einem einzigen Pixel bestehen kann. Für die Berechnung dieser optischen Flussfelder ist es auch nicht nötig, ein Szenenreferenzbild zu haben, da nur die aktuellen Kamerabilder verwendet werden. Vorzugsweise wird auch die Entwicklung der Flussfelder über die Zeit betrachtet.
  • Ein weiterer nutzbarer Vorteil der Erfindung liegt darin, dass das zugrundeliegende Verfahren anwendbar ist, auch wenn in der Überwachungsszene so viele bewegte Objekte auftreten, dass diese sich gegenseitig überdecken, verschmelzen und/oder, dass eine Objektsegmentierung z. B. über ein Szenenreferenzbild nicht oder nicht mehr mit der notwendigen Zuverlässigkeit möglich ist. Damit erlaubt die Erfindung die Erkennung von Bewegungsmustern in den Bildsequenzen auch bei überbevölkerten Überwachungsszenen. Insbesondere ist die Erfindung geeignet, Bewegungsmuster zu erkennen, die durch ein massenpsychologisches und/oder gruppendynamisches Verhalten begründet sind, also insbesondere durch das gemeinsame Verhalten von großen Menschenansammlungen. Beispiele für derartige Bewegungsmuster sind Zusammenströmen, Auseinanderströmen, um ein Zentrum Herumströmen etc.
  • Bei einer bevorzugten Ausführungsform der Erfindung ist das Bewegungsmuster als ein globales Bewegungsmuster ausgebildet, welches die Bewegung in der gesamten Überwachungsszene beschreibt. Diese Ausführungsform ist besonders geeignet, wenn die Überwachungsszene eine Menschenmenge zeigt und ein gemeinsames Verhalten der Menschen in der Menschenmenge über die Analyse des Bewegungsmusters klassifiziert werden soll.
  • Bei einer anderen Ausführungsalternative ist das Bewegungsmuster als ein lokales Bewegungsmuster ausgebildet, das die Bewegung in einem Teilbereich der Überwachungsszene beschreiben. Der Teilbereich kann bei einer möglichen Ausführungsalternative durch einen Benutzer eingestellt sein, so dass beispielsweise eine Rolltreppe als Teilbereich ausgewählt wird, oder bei einer anderen möglichen Ausführungsalternative automatisiert ermittelt werden, indem beispielsweise Teilbereiche ausgewählt werden, in denen gegenüber anderen Teilbereichen der Überwachungsszene mehr Objektbewegungen nachgewiesen werden. Es ist jedoch bevorzugt, dass der Teilbereich der Überwachungsszenen eine Vielzahl von bewegten Objekten aufweist, um die Vorteile der Erfindung am besten ausnützen zu können.
  • Bei einer Weiterbildung der Erfindung weist die Vorrichtung ein Klassifikationsmodul auf, welches unter Berücksichtigung des oder der erkannten Bewegungsmuster der Überwachungsszenen eine Überwachungssituation zuordnet. Insbesondere erfährt die erfindungsgemäße Vorrichtung eine anwendungsspezifische Ausprägung, indem die Überwachungsszene als reale Überwachungsszene einer realen Überwachungssituation zugeordnet wird. Im Allgemeinen können derartige reale Überwachungssituationen beliebig ausgebildet sein, zum Beispiel als eine Menschenschlange, eine regulär befahrene Straße, ein bestimmungsgemäß benutzter Kreisverkehr etc. Damit eignet sich die Erfindung reale Überwachungssituationen, vorzugsweise Gefahrensituationen wie zum Beispiel gestürzte Personen, Fluchtverhalten, Panik und Situationen, welche Schaulustige anlocken, insbesondere in überbevölkerten Überwachungsszenen automatisch zu erkennen und eine Reaktion auszulösen, wie zum Beispiel die Aussendung eines Alarmrufs. Vorzugsweise ist jedoch vorgesehen, dass das Klassifikationsmodul eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist:
    • – Ein Bewegungsmuster mit auf einem gemeinsamen Punkt gerichteten Flusslinien, also eine Konvergenz, wird der Überwachungssituation „Versammeln" zugeordnet. Ein derartige Überwachungssituation entsteht beispielsweise beim Anströmen von bewegten Objekten, insbesondere Menschen oder Schaulustigen zu einem gemeinsamen Zentrum.
    • – Ein Bewegungsmuster mit von einem gemeinsamen Punkt weggerichteten Flusslinien, also einer Divergenz, wird der Überwachungssituation „Verstreuen" zugeordnet. Eine derartige Überwachungssituation entseht beim Auseinanderströmen von bewegten Objekten, zum Beispiel bei einer Flucht von Personen vor einem zentralen Punkt.
    • – Ein Bewegungsmuster mit um einen gemeinsamen Punkt laufenden Flusslinien wird der Überwachungssituation „Ausweichen" zugeordnet und ist ein Beispiel für eine Überwachungssituation, wobei die Überwachungsszene ein Hindernis aufweist, welches von den bewegten Objekten umgangen wird.
  • Für den Fall, dass das Berechnungsmodul mit den vorhandenen Mustern keine oder nur eine ungenügende Übereinstimmung bei dem Mustervergleich feststellen kann, ist das Berechnungsmodul ausgebildet, statistische Kenngrößen des optischen Flussfeldes zu ermitteln. Diese Ausführungsform ist besonders nützlich, wenn bei einem optischen Flussfeld keine Struktur oder Bewegungsmodell feststellbar ist. Durch die Ermittlung von statistischen Kenngrößen wird geprüft, ob der Überwachungsszene die Überwachungssituation Chaos oder einer Panik zugeordnet werden kann. Auch bei erkannten Bewegungsmustern ist die Vorrichtung vorzugsweise so ausgebildet, dass die erkannten Bewegungsmuster mit statistischen oder anderen Kenngrößen bestätigt oder verizifiziert werden.
  • Bei einer bevorzugten Realisierung der Vorrichtung ist das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet. Es kann dabei vorgesehen sein, dass die Größe des Musters der Größe eines Bildes der Bildsequenz entspricht. Alternativ kann vorgesehen sein, dass die Größe des Musters der Größe eines Teilbereiches, insbesondere des zu untersuchenden Teilbereichs des Bildes und damit auf die relevante Überwachungsszene beschränkt ist. Bei einer möglichen Alternative ist das Muster als Fenster ausgebildet, mit dem das optische Flussfeld, zum Beispiel gleitend, abgefahren wird.
  • Bei einer bevorzugten Ausbildung der Erfindung wird das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens erkannt. Bei einem derartigen Klassifikationsverfahren wird das optische Flussfeld in einer ersten Klassifikationsstufe mit einem ersten Muster, in einer zweiten Klassifikationsstufe mit einem zweiten Muster und in einer n-ten Klassifikationsstufe mit einem n-ten Muster verglichen. Ein Bewegungsmuster wird somit durch eine Mehrzahl von positiv klassifizierten Einzelmustern erkannt. Zur Ersparung von Rechenzeit kann beispielsweise vorgesehen sein, dass sobald ein Muster einer Klassifikationsstufe in dem optischen Flussfeld nicht gefunden werden kann, dieses Muster verworfen wird.
  • Bei weiteren Ausführungsformen ist das Klassifikationsverfahren als ein Klassifikationsbaum ausgebildet, wobei die Verzweigungen des Baumes durch Klassifikationsstufen gebildet werden.
  • Nachdem bei der Anwendung von mehreren Muster auf das optische Flussfeld als Ergebnis eine Bewertung der Übereinstimmung der mehreren Muster mit dem optischen Flussfeld vorliegt, ist es bevorzugt, dass das Bewegungsmuster auf Basis von mehreren gefundenen Mustern erkannt wird. Die Zuordnung der mehreren Muster zu einem Bewegungsmuster kann beispielsweise automatisiert durch ein Lernverfahren umgesetzt werden.
  • Bei einer Implementierung ist bzw. sind die Muster als lineare, verschiebungsinvariante Muster ausgebildet und/oder wird der Mustervergleich über eine Clifford-Faltung umgesetzt. Die besonderen Vorteile einer Clifford-Faltung und die Anwendung auf Vektorfelder ergeben sich beispielsweise aus der Dissertationsschrift der Erfinderin Julia Ebling mit dem Titel „Visualization and Analysis of Flowfields based an Clifford-Convolution", Universität Leipzig, Diss.,.
  • Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Erkennung und/oder Klassifizierung eines oder des Bewegungsmusters in einer Bildsequenz von einer oder der Überwachungsszene mit den Merkmalen des Anspruchs 12, welches vorzugsweise auf der soeben beschriebenen Vorrichtung bzw. auf der Vorrichtung gemäß der vorhergehenden Ansprüche ausgeführt wird.
  • Bei dem Verfahren wird in einem ersten Schritt das optische Flussfeld in der Bildsequenz der Überwachungsszene berechnet und in einem zweiten Schritt das optische Flussfeld mit einem oder mehreren Mustern verglichen, um ein oder das Bewegungsmuster in der Bildsequenz bzw. in der Überwachungsszene zu erkennen. Ein weiterer, optionaler Schritt besteht darin, dass dem erkannten Bewegungsmuster eine Überwachungssituation zugeordnet wird.
  • Ein weiterer Gegenstand betrifft ein Computerprogramm mit Programmcode-Mitteln mit den Merkmalen des Anspruchs 15.
  • Kurze Beschreibung der Zeichnungen
  • Weitere Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie den beigefügten Figuren. Dabei zeigen:
  • 1 eine Blockdarstellung eines Videoüberwachungssystems als ein erstes Ausführungsbeispiel der Erfindung;
  • 2 eine schematisierte Darstellung als ein erstes Beispiel für ein optisches Flussfeld mit einem ersten Bewegungsmuster;
  • 3 eine schematisierte Darstellung als ein zweites Beispiel für ein optisches Flussfeld mit einem zweiten Bewegungsmuster;
  • 4 eine schematisierte Darstellung als ein drittes Beispiel für ein optisches Flussfeld mit einem dritten Bewegungsmuster;
  • 5 eine schematisierte Darstellung als ein viertes Beispiel für ein optisches Flussfeld mit einem vierten Bewegungsmuster.
  • Ausführungsform(en) der Erfindung
  • Die 1 zeigt in einer schematischen Blockdarstellung ein Videoüberwachungssystem 1, welches zur Überwachung von Plätzen, Gebäuden, Kreuzungen, Verkehrsknotenpunkten und dergleichen einsetzbar und beispielsweise als Computersystem ausgebildet ist.
  • Das Videoüberwachungssystem 1 ist über eine Schnittstelle 2 mit einer oder mehreren Überwachungskamera(s) 3 sowie einer oder mehreren Videorecorder(n) 4 verbunden. Die Überwachungskameras 3 sind zur Überwachung der genannten Überwachungsszenen positioniert und leiten den Bilddatenstrom entweder zunächst zur Zwischenspeicherung in den oder die Videorecorder 4 oder direkt in das Videoüberwachungssystem 1.
  • Ausgehend von der Schnittstelle 2 werden die Bilddatenströme, welche Bildsequenzen der Überwachungsszene entsprechen, zunächst an ein Berechnungsmodul 5 übergeben. Das Berechnungsmodul 5 ist programmtechnisch und/oder schaltungstechnisch ausgebildet, um aus einer Bildsequenz einer Überwachungsszene ein optisches Flussfeld bzw. ein sich zeitlich veränderndes optisches Flussfeld zu erzeugen. Das optische Flussfeld wird beispielsweise für die Translationsbewegungen von Pixeln oder Bildbereichen in den Bildern der Bildsequenz über mindestens zwei und vorzugsweise mehr als zehn Bilder erstellt. Es kann auch vorgesehen sein, dass das optische Flussfeld quasi gleitend für die Bildsequenz erstellt wird, indem für die Berechnung des aktuellen optischen Flussfelds jeweils das älteste Bild aus der Berechnung für das optische Flussfeld entfernt wird und durch das neueste Bild der Bildsequenz ersetzt wird (FiFo).
  • Das erzeugte optische Flussfeld wird an ein Erkennungsmodul 6 übergeben, welches ausgebildet ist, das optische Flussfeld mit Muster oder Mustermasken aus einem Musterspeicher 7 zu vergleichen, wobei die Muster in dem Musterspeicher 7 so konzipiert sind, dass Bewegungsmuster in der Bildsequenz bzw. in der Überwachungsszene erkannt werden können. Die Muster in dem Musterspeicher 7 können hierfür als zwei- oder dreidimensionale Datenfelder ausgebildet sein und von der Größe eine ähnliche Größe wie ein Bild der Bildsequenz oder wie ein Teilbereich eines Bildes der Bildsequenz aufweisen. Zur Erkennung eines Bewegungsmusters in dem optischen Flussfeld kann ein einziges Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt werden, alternativ werden mehrere Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt und das Bewegungsmuster anhand von Klassifikationsprozeduren, Entscheidungsbäumen, etc. erkannt.
  • Nachdem ein Bewegungsmuster erkannt wurde, wird dieses an ein Klassifizierungsmodul 8 übergeben, wobei das Klassifizierungsmodul 8 gestaltet ist, um dem erkannten Bewegungsmuster eine bestimmte reale Überwachungssituation, wie zum Beispiel Flucht, Zusammenströmen, Chaos, Panik etc. zuzuordnen. Sobald die Zuordnung des Bewegungsmusters zu der Überwachungssituation vollendet ist, kann optional über ein Benachrichtigungsmodul 9 eine Nachricht an ein Überwachungspersonal abgesetzt werden.
  • Das auf dem Videoüberwachungssystem 1 ablaufende Verfahren umfasst somit die Schritte der Annahme von Bildern bzw. Bildsequenzen einer Überwachungsszene, der Berechnung des optischen Flussfeldes für das aktuelle Bild der Bildsequenz, optional eine zeitliche Filterung des optischen Flussfeldes, um Störungen zu unterdrücken und die Bestimmung von Überwachungssituationen über den Vergleich des oder der optischen Flussfelder mit vorgegebenen Flussmasken oder Muster, welche typische Bewegungsmuster beschreiben, eine Analyse der berechneten Ähnlichkeiten, optional eine statistische Analyse der Bewegungsrichtungen für weitere Informationen und zur Absicherung der Ergebnisse und schließlich die Klassifikation der Überwachungssituation gegebenenfalls für verschiedene Bildbereiche.
  • Die 2 zeigt in einer stark schematisierten Darstellung ein erstes Beispiel für ein optisches Flussfeld 10 mit einem Bewegungsmuster wie es beim Anströmen von Personen, wie zum Beispiel Schaulustigen, entsteht. Wie der Figur zu entnehmen ist, sind alle oder die meisten der Bewegungsvektoren 11 auf ein gemeinsames Zentrum 12 gerichtet, so dass dieses Bewegungsmuster in einfacher Weise automatisiert durch das Erkennungsmodul 6 erkannt werden kann. Das Bewegungsmuster ist beispielsweise als konvergentes Bewegungsmuster zu bezeichnen. Das durch das Erkennungsmodul 6 erkannte Bewegungsmuster wird dann dem Klassifizierungsmodul 8 gemeldet, welches diesem konvergenten Bewegungsmuster die Überwachungssituation „Anströmen von Personen" zuordnet. Nachdem das Anströmen von Personen zu einem gemeinsamen Zentrum 12 meistens dadurch ausgelöst ist, dass in dem gemeinsamen Zentrum 12 eine nicht vorhergesehene Gegebenheit passiert ist, wie zum Beispiel ein Unfall oder dergleichen, führt die Klassifizierung des konvergierenden Bewegungsmusters zu der Auslösung eines Alarms in dem Benachrichtigungsmodul 9.
  • Die 3 zeigt ein zweites Ausführungsbeispiel eines schematisierten optischen Flussfelds 10, welches ein Bewegungsmuster aufweist, das dem Auseinanderströmen von Personen, wie es zum Beispiel bei einer Flucht passiert, entspricht. Alle oder die meisten Flussvektoren 11 weisen bei diesem Ausführungsbeispiel von dem gemeinsamen Zentrum 12 sternförmig weg. Das Erkennungsmodul 6 wird dieses Bewegungsmuster beispielsweise als divergierendes Bewegungsmuster erkennen und an das Klassifizierungsmodul 8 weitergeben. Das Klassifizierungsmodul 8 wird diesem divergierenden Bewegungsmuster die Überwachungssituation „Flucht" zuordnen und das Benachrichtigungsmodul 9 anweisen, einen Alarm auszulösen.
  • Die 4 zeigt ein drittes Beispiel für ein optische Flussfeld 10, wobei dieses dritte Beispiel das Bewegungsmuster von Personen zeigt, die ein Hindernis umlaufen. Hier ergeben sich für die Flussvektoren 11 zwei Strömungen, wobei die auf der linken Seite der 4 angeordnete Strömung von oben nach unten verläuft und die auf der rechten Seite angeordnete Strömung von unten nach oben läuft. Das gemeinsame Zentrum 12 wird dabei von beiden Strömen umgangen. Nachdem das Klassifizierungsmodul 8 dieses Bewegungsmuster erhalten hat, wird es der Überwachungsszene die Überwachungssituation eines aufgetretenen Hindernisses zuordnen und ebenfalls in dem Benachrichtigungsmodul 9 einen Alarm auslösen.
  • Die 5 zeigt schließlich ein letztes Ausführungsbeispiel für ein optisches Flussfeld 10, wobei die Flussvektoren 11 keine einheitliche Richtung aufweisen und kein gemeinsames Zentrum feststellbar ist. Bei der Übergabe eines derartigen Bewegungsmusters, welches möglicherweise als chaotisches Bewegungsmuster bezeichenbar ist, oder der Nachricht, dass kein Bewegungsmuster auffindbar war, wird das Klassifizierungsmodul 8 als Überwachungssituation von einer Paniksituation ausgehen und ebenfalls das Benachrichtigungsmodul 9 aktivieren.
  • Bei allen in den 2 bis 5 gezeigten Bewegungsmustern ist es möglich, die Ergebnisse und die Klassifizierung der Überwachungssituation in der Qualität dadurch zu verbessern, dass ergänzend statistische Auswertungen der Flussvektoren 11 durchgeführt werden und geprüft wird, ob die zu klassifizierende Überwachungssituation beispielsweise mit den Bewegungsgeschwindigkeiten der Flussvektoren logisch vereinbar ist. Die statistische Absicherung stellt somit eine zusätzliche Überprüfung der Ergebnisse dar.
  • Insgesamt wird mit der Erfindung ein videobasiertes Überwachungssystem vorgestellt, welches zur Beobachtung von Komplettszenarien einsetzbar ist, wobei es besonders für die Beobachtung von Gefahrensituationen in übervölkerten Szenen, also in Szenen, in denen sich sehr viele bewegte Objekte bewegen, geeignet ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • - Julia Ebling mit dem Titel „Visualization and Analysis of Flowfields based an Clifford-Convolution", Universität Leipzig, Diss. [0021]

Claims (14)

  1. Vorrichtung (1) zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer Überwachungsszene mit einer Vielzahl von bewegten Objekten mit einer Schnittstelle (2) zur Einspielung der Bildsequenz und mit einem Berechnungsmodul (5) zur Bestimmung eines optischen Flussfeldes (10) in der Überwachungsszene durch Auswertung der Bildsequenz, gekennzeichnet durch ein Erkennungsmodul (6), welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon mit einem oder mehreren Mustern zu vergleichen, um das Bewegungsmuster in der Bildsequenz zu erkennen.
  2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Bewegungsmuster als globales Bewegungsmuster ausgebildet ist, das die Bewegungen in der gesamten Überwachungsszene beschreibt.
  3. Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegungsmuster als lokales Bewegungsmuster ausgebildet ist, das die Bewegung in einem Teilbereich der Überwachungsszene beschreibt, wobei der Teilbereich mehrere der bewegten Objekte aufweist und/oder aufweisen kann.
  4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Klassifikationsmodul (7), welches ausgebildet ist, auf Basis des erkannten Bewegungsmusters die Überwachungsszene einer insbesondere realen Überwachungssituation zuzuordnen.
  5. Vorrichtung (1) nach Anspruch 4, dadurch gekennzeichnet, dass das Klassifikationsmodul (7) eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist: – ein Bewegungsmuster mit auf einen gemeinsamen Punkt (12) gerichteten Flusslinien (11) wird der Überwachungssituation „Versammeln" zugeordnet; – ein Bewegungsmuster mit von einem gemeinsamen Punkt (11) weggerichteten Flusslinien (11) wird der Überwachungssituation „Verstreuen" zugeordnet; – ein Bewegungsmuster mit um einen gemeinsamen Punkt (12) laufenden Flusslinien (11) wird der Überwachungssituation „Ausweichen" zugeordnet.
  6. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Berechnungsmodul (5) ausgebildet ist, in dem Fall einer fehlenden oder ungenügenden Übereinstimmung bei dem Mustervergleich statistische Kenngrößen des Flussfelds zu ermitteln.
  7. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet ist.
  8. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens zu erkennen.
  9. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster auf Basis mehrerer gefundener Muster zu erkennen.
  10. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die Muster als lineare verschiebungsinvariante Muster ausgebildet sind.
  11. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, den Mustervergleich über eine Cliffordfaltung umzusetzen.
  12. Verfahren (1) zur Erkennung und zur Klassifizierung eines oder des Bewegungsmusters, vorzugsweise unter Verwendung der Vorrichtung nach einem der vorhergehenden Ansprüche, mit den Schritten: – Berechnung eines oder des optischen Flussfeldes (10) in einer oder der Bildsequenz von einer oder der Überwachungsszene mit bewegten Objekten; – Vergleich des optischen Flussfeldes (10) mit einem oder mehreren Muster, um das Bewegungsmuster in der Bildsequenz zu erkennen.
  13. Verfahren nach Anspruch 12, gekennzeichnet durch den Schritt: – Zuordnung des erkannten Bewegungsmusters zu einer insbesondere realen Überwachungssituation.
  14. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 12 oder 13 durchzuführen, wenn das Programm auf einem Computer und/oder einer Vorrichtung von jedem Beliebigen der Ansprüche 1 bis 11 ausgeführt wird.
DE102007031302A 2007-07-05 2007-07-05 Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm Ceased DE102007031302A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102007031302A DE102007031302A1 (de) 2007-07-05 2007-07-05 Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
PCT/EP2008/057127 WO2009003793A2 (de) 2007-07-05 2008-06-06 Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
EP08760696A EP2174260A2 (de) 2007-07-05 2008-06-06 Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
US12/666,923 US8761436B2 (en) 2007-07-05 2008-06-06 Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007031302A DE102007031302A1 (de) 2007-07-05 2007-07-05 Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm

Publications (1)

Publication Number Publication Date
DE102007031302A1 true DE102007031302A1 (de) 2009-01-08

Family

ID=40092439

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007031302A Ceased DE102007031302A1 (de) 2007-07-05 2007-07-05 Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm

Country Status (4)

Country Link
US (1) US8761436B2 (de)
EP (1) EP2174260A2 (de)
DE (1) DE102007031302A1 (de)
WO (1) WO2009003793A2 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010081577A1 (de) * 2009-01-13 2010-07-22 Robert Bosch Gmbh Vorrichtung, verfahren und computer zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
DE102016210056A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
DE102016211049A1 (de) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum eine Vorrichtung und ein Verfahren zur Ausgabe wenigstens eines Alarmsignals
EP3499473A1 (de) * 2017-12-15 2019-06-19 Siemens Mobility GmbH Automatisiertes detektieren von gefahrensituationen
WO2020058175A1 (de) * 2018-09-21 2020-03-26 Bayer Aktiengesellschaft Detektion von gliederfüssern
EP4112420A1 (de) * 2021-07-01 2023-01-04 Siemens Mobility GmbH Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361706B2 (en) * 2009-11-30 2016-06-07 Brigham Young University Real-time optical flow sensor design and its application to obstacle detection
US20110157355A1 (en) * 2009-12-28 2011-06-30 Yuri Ivanov Method and System for Detecting Events in Environments
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
JP5776769B2 (ja) * 2011-05-24 2015-09-09 富士通株式会社 物体接近検知装置、物体接近検知方法、及びプログラム
CA2973866C (en) * 2013-04-19 2019-10-01 James Carey Video identification and analytical recognition system
DE102018108204B4 (de) 2018-04-06 2023-07-27 Rheinmetall Air Defence Ag Interventionssystem zur Abwehr eines Schwarms von unbemannten Flugkörpern und Verfahren zur Abwehr eines Schwarms von unbemannten Flugkörpern mittels eines solchen Interventionssystems
WO2021100043A2 (en) * 2019-11-21 2021-05-27 Trigo Vision Ltd. Item identification and tracking system
US11580833B2 (en) * 2020-03-24 2023-02-14 Object Video Labs, LLC Camera detection of human activity with co-occurrence
CN112633100B (zh) * 2020-12-14 2023-08-08 深兰人工智能应用研究院(山东)有限公司 行为识别方法、装置、电子设备和存储介质
US11388555B1 (en) 2020-12-30 2022-07-12 Here Global B.V. Method, apparatus, and computer program product for quantifying human mobility

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US7123745B1 (en) * 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US7646887B2 (en) * 2005-01-04 2010-01-12 Evolution Robotics Retail, Inc. Optical flow for object recognition
DE102006053286A1 (de) 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Julia Ebling mit dem Titel "Visualization and Analysis of Flowfields based an Clifford-Convolution", Universität Leipzig, Diss.

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010081577A1 (de) * 2009-01-13 2010-07-22 Robert Bosch Gmbh Vorrichtung, verfahren und computer zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
US9418300B2 (en) 2009-01-13 2016-08-16 Robert Bosch Gmbh Device, method, and computer for image-based counting of objects passing through a counting section in a specified direction
DE102016210056A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
DE102016211049A1 (de) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum eine Vorrichtung und ein Verfahren zur Ausgabe wenigstens eines Alarmsignals
EP3499473A1 (de) * 2017-12-15 2019-06-19 Siemens Mobility GmbH Automatisiertes detektieren von gefahrensituationen
WO2020058175A1 (de) * 2018-09-21 2020-03-26 Bayer Aktiengesellschaft Detektion von gliederfüssern
EP3959978A1 (de) * 2018-09-21 2022-03-02 Bayer AG Detektion von gliederfüssern
US11659826B2 (en) 2018-09-21 2023-05-30 Bayer Aktiengesellschaft Detection of arthropods
EP4112420A1 (de) * 2021-07-01 2023-01-04 Siemens Mobility GmbH Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs

Also Published As

Publication number Publication date
WO2009003793A3 (de) 2009-05-14
WO2009003793A2 (de) 2009-01-08
US8761436B2 (en) 2014-06-24
US20100177936A1 (en) 2010-07-15
EP2174260A2 (de) 2010-04-14

Similar Documents

Publication Publication Date Title
DE102007031302A1 (de) Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
EP2386092B1 (de) Vorrichtung, verfahren und computerprogramm zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
AT506928A1 (de) Verfahren zur videoanalyse
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
DE102008043954A1 (de) Sensornetzwerksystem, Übertragunsprotokoll, Verfahren zum Wiedererkennen eines Objekts sowie Computerprogramm
DE102007041893A1 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
EP2875498B1 (de) Überwachungssystem mit positionsabhängigem schutzbereich, verfahren zur überwachung eines überwachungsbereichs sowie computerprogramm
DE102009055127A1 (de) Vorrichtung und Verfahren zum Überwachen von Videoobjekten
DE102007058959A1 (de) Konfigurationsmodul für ein Überwachungssystem, Überwachungssystem, Verfahren zur Konfiguration des Überwachungssystems sowie Computerprogramm
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
DE102009024066A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Situationen
DE102016223106A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102005006989A1 (de) Verfahren für die Überwachung eines Überwachungsbereichs
DE102010003669A1 (de) Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
DE102009048117A1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objektss in einem Bild
DE102014219829A1 (de) Rauchdetektionsvorrichtung, Verfahren zur Detektion von Rauch sowie Computerprogramm
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
WO1997004428A1 (de) Interaktives überwachungssystem
EP0777864B1 (de) System und verfahren zur bildauswertung
DE19600958A1 (de) Interaktives Überwachungssystem
DE102012200504A1 (de) Analysevorrichtung zur Auswertung einer Überwachungsszene, Verfahren zur Analyse der Überwachungsszenen sowie Computerprogramm
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm
EP3352111A1 (de) Verfahren zum erkennen von kritischen ereignissen

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20140318

R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final