-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren zur Detektion von bewegungsauffälligen Bildbereichen
in einer Bildsequenz von einer Szene, eine Vorrichtung, insbesondere
zur Durchführung
des genannten Verfahrens, sowie ein entsprechendes Computerprogramm.
Videoüberwachungssysteme
dienen dazu, Bereiche, wie zum Beispiel Straßen, Bahnhöfe, Industrieanlagen, Gebäude oder öffentliche
Plätze
mit Videokameras zu überwachen
und anhand von den mit den Videokameras aufgenommenen Bildersequenzen,
Auffälligkeiten
in den überwachten
Bereichen zu entdecken.
-
Während zu
früheren
Zeiten die Auswertung der Bildersequenzen meist von geschultem Überwachungspersonal
durchgeführt
wurde, wird diese Überwachungstätigkeit
immer mehr von Computern entweder übernommen oder zumindest unterstützt. Die
Computer setzen dabei Bildverarbeitungsalgorithmen zur automatisierten
Auswertung von Bildersequenzen ein. Ein üblicher Ansatz zur Extraktion von
bewegten Objekten in einer überwachten
Szene ist es, bewegte Objekte vom – im wesentlichen statischen – Szenenhintergrund
zu trennen, über
die Zeit zu verfolgen und bei relevanten Bewegungsmustern Alarme
auszulösen.
Typischerweise werden für
die Objektsegmentierung, insbesondere im Rahmen der Detektion des
Objekts in einer Bildersequenz, die Bildunterschiede zwischen einem
aktuellen Kamerabild und einem sogenannten Szenenreferenzbild, welches
den statischen Szenenhintergrund modelliert, ausgewertet. Derartige
Bildverarbeitungsalgorithmen sind beispielsweise in dem wissenschaftlichen
Artikel von K. Toyama, J. Krumm, B. Brumitt, B. Meyers: „Wallflower:
Principles and Proctice of Backgroung Maintainance" in ICCV
1999, Korfu, Griechenland beschrieben.
-
Aus
anderen Bereichen der Bildverarbeitung, nämlich der Kompression von Videodaten,
ist die Verwendung des sogenannten optischen Flusses bekannt. Zum
Beispiel definiert die Druckschrift
WO 2005/006762A2 den
optischen Fluss als die Verteilung von Bewegungsgeschwindigkeiten
von Helligkeitsmustern in einem Bild und verwendet den optischen
Fluss, um die Kompression in Videodatenströme zu verbessern. Hinweise
auf Objektdetektion oder -verfolgung ergeben sich allerdings nicht
aus dieser Druckschrift.
-
Offenbarung der Erfindung
-
Das
erfindungsgemäße Verfahren
dient zur Detektion von bewegungsauffälligen Bildbereichen in einer
Bildersequenz einer Szene. Die Szene ist insbesondere der mit einer
Videokamera oder dergleichen aufgenommene Bereich und kann stationär ausgebildet
sein, so dass der Blickwinkel oder Blickbereich der Kamera über die
Zeit unverändert
ist. Alternativ kann die Szene auch bewegt sein, wie zum Beispiel
durch eine hin- und hergeschwenkte Kamera aufgenommen. Eine Bildersequenz
bezeichnet eine Reihe von Bildern, die nacheinander, insbesondere
jeweils mit gleichem zeitlichem Abstand aufgenommen wurde.
-
Ausgehend
von der Bildersequenz der Szene wird ein aktuelles optisches Flussfeld
berechnet, welches Bewegungsvektoren von Bildbereichen der Szene
umfasst. Die Bewegungsvektoren sind im einfachstem Fall als Ortsvektoren
ausgebildet, die die Translation der Bildbereiche von einem Bild
zu einem nächsten
oder einem nachfolgenden Bild der Szene beschreiben, und/oder als
Geschwindigkeitsvektoren, die die Richtung der Bewegung der Bildbereiche sowie
die Geschwindigkeit oder scheinbare Geschwindigkeit der Bildbereiche
von Bild zu Bild oder über
die Bildersequenz hinweg beschreiben. Das optische Flussfeld ist
zeitabhängig
und wird bevorzugt – insbesondere
um Störungen
zu unterdrücken – zeitlich
gefiltert. Bevorzugt wird für
jedes neue Bild der Bildersequenz ein optisches Flussfeld erzeugt.
-
In
einem weiteren Schritt, der zeitlich auch vor der Bestimmung des
aktuellen optischen Flussfeldes durchgeführt werden kann, wird ein Hauptflussfeld
bestimmt, welches Hauptflussrichtungen von Bildbereichen der Szene
umfasst. Dieses Hauptflussfeld dient als Referenzflussfeld und gibt
für Bildbereiche
der Szene Hauptflussrichtungen an, die einer „normalen" Bewegung in der Szene entsprechen. Beispielsweise
ist die Hauptflussrichtung eines Bildbereichs einer Szene, in der
eine bewegte Rolltreppe abgebildet ist, in Bewegungsrichtung der
Rolltreppe, da gewöhnlich
alle Personen sowie die Treppen der Rolltreppe sich in diese Bewegungsrichtung
bewegen.
-
Erfindungsgemäß werden
aus allen Bildbereichen der Szene bestimmte Bildbereiche ausgewählt, bei
denen die Bewegungsvektoren abweichend zu den Hauptflussrichtungen
ausgerichtet sind. Diese ausgewählten
Bildbereiche bilden bewegungsauffällige Bildbereiche, und werden
zur Konstruktion eines Gegenflussfeldes genutzt. Das Gegenflussfeld
enthält
somit ausschließlich
Bewegungsvektoren von bewegungsauffälligen Bildbereichen.
-
Die
Erfindung geht dabei von der Überlegung aus,
dass die bekannten Verfahren zur Detektion von relevanten Bewegungsmustern,
die über
eine Trennung der Bewegungsobjekte von dem Szenenhintergrund basieren,
so lange funktionieren, wie sich einzelne Objekte ausreichend voneinander
unterscheiden lassen. Für
den Fall, dass die Anzahl der Objekte immer mehr zunimmt und sich
diese Objekte immer näher
kommen, also sich die Objektdichte in der Szene erhöht, sind
die einzelnen Objekte untereinander nicht mehr unterscheidbar und
es werden segmentierte Bereiche im Bild von verschiedenen Objekten zu
einem gemeinsamen Objekt verschmolzen. Sobald nun jedoch die Objektsegmentierung
nicht mehr fehlerfrei durchführbar
ist, kann auch die Objektverfolgung nicht mehr erfolgreich durchgeführt werden und
scheitert letztendlich mit dem bekannten Verfahren.
-
Erfindungsgemäß wird zunächst auf
eine Objektsegmentierung verzichtet, und die Bildersequenz unter
Verwendung des optischen Flusses untersucht, um so eine Analyse
der Bewegung von kleinen Bereichen des Bildes über die Bildersequenz hinweg
zu erreichen. Auf diese Weise können
Bildbereiche detektiert werden, die z.B. entgegen einer Hauptflussrichtung
strömen
und damit Objekte erkannt werden, die sich gegen den Hauptstrom
bewegen. Damit nutzt die vorgeschlagene Erfindung Informationen,
die durch Berechnung der Bewegung von kleinen Bildbereichen entstehen.
Für die
Berechnung dieser Flussfelder ist es nicht nötig, ein Szenenreferenzbild
zu haben, da nur die aktuellen Kamerabilder benötigt werden.
-
Bei
einer bevorzugten Ausführungsform
der Erfindung sind die Bildbereiche des aktuellen Flussfeldes und/oder
des optischen Hauptflussfeldes und/oder des Gegenflussfeldes als
Pixel, Blöcke oder
Segmente ausgebildet. Eine erste Möglichkeit besteht darin, die
verschiedenen Felder pixelweise zu bearbeiten, so dass zum Beispiel
für jeden
Pixel ein Bewegungsvektor beziehungsweise eine Hauptflussrichtung
definiert wird. Eine weitere Möglichkeit besteht
darin, Blöcke
festzulegen, die insbesondere jeweils eine gleiche Größe aufweisen,
so dass die Szene beziehungsweise das Flussfeld, Hauptflussfeld
und/oder Gegenflussfeld regelmäßig unterteilt ist.
Eine weitere Möglichkeit
ist die Unterteilung in Segmente, die beliebig definiert sein können. Beispielsweise
kann die bereits erwähnte
Rolltreppe ein Segment im Gegenflussbild bilden. Insbesondere sei darauf
hingewiesen, dass Flussfeld, Hauptflussfeld und Gegenflussfeld nicht
die gleiche Einteilung der Bildbereiche aufweisen müssen. So
ist es beispielsweise im Rahmen der Erfindung, dass das optische Flussfeld
pixelweise berechnet wird, dass optische Hauptflussfeld dagegen
in Segmente eingeteilt ist.
-
Das
Hauptflussfeld wird bei einer möglichen Ausführungsalternative
a priori oder von Hand von einem Benutzer vorgegeben. Diese Ausführungsalternative
ist bevorzugt, wenn sich aufgrund der beobachten Szene „normale" Bewegungsrichtungen
den Benutzer schließen,
wie zum Beispiel bei der bereits erwähnten Rolltreppe.
-
Alternativ
kann das Hauptflussfeld auch durch das aktuelle optische Flussfeld
entweder erzeugt oder aktualisiert werden. Bei der Erzeugung des
Hauptflussfeldes ist es insbesondere vorgesehen, dass das Hauptflussfeld
durch eine Filterung, insbesondere eine zeitliche Mittelung, von
aufeinander abfolgenden aktuellen optischen Flussfeldern gebildet
wird. Im Falle einer Aktualisierung wird das Hauptflussfeld durch
das insbesondere gefilterte aktuelle Flussfeld aktualisiert, wobei
bereits berechnete Informationen zum größten Teil erhalten bleiben.
-
Optional
kann ein Aging-Algorithmus eingesetzt werden, bei dem das Hauptflussfeld
grundsätzlich über eine
zeitliche Mittelung erzeugt oder aktualisiert wird, zudem jedoch
logische Bedingungen geprüft
werden, so dass beispielweise eine Hauptflussumkehr erkannt und
eine Änderung
des Hauptflussfeldes initiiert werden kann.
-
Das
Gegenflussfeld umfasst bzw. besteht aus Bildbereichen, bei denen
die Bewegungsvektoren und die Hauptflussrichtungen jeweils abweichend angeordnet
sind.
-
Der
Grad der Abweichung ist prinzipiell als Parameter anwendungsabhängig einstellbar.
Insbesondere sind bei Bildbereichen des Gegenflussfeldes die Bewegungsvektoren
und die Hauptflussrichtungen gegenläufig und/oder senkrecht zueinander und/oder
in einem Zwischenzustand dazu angeordnet. Bei alternativen Ausführungsformen
kann vorgesehen sein, dass auch geringe Abweichung in der Ausrichtung,
zum Beispiel über
10 Grad, insbesondere über
20 Grad, vorzugsweise über
30 Grad ausreichend sind, dass ein entsprechender Bildbereich als
bewegungsauffällig
einklassifiziert und dem Gegenflussfeld zugerechnet wird.
-
Bei
einer bevorzugten Weiterbildung der Erfindung werden in dem Gegenflussfeld
aus den Bildbereichen zusammenhängende
Gegenflussbereiche mit gleicher oder ähnlicher Bewegungsrichtung und/oder
-geschwindigkeit bestimmt. Diese Zusammenfassung von einzelnen Bildbereichen
zu einem Gegenflussfeldbereich entspricht einer Segmentierung bei
den bekannten Bildverarbeitungsverfahren. Dadurch, dass die Segmentierung
jedoch in dem Gegenflussfeld und nicht in den einzelnen Bildern
der Bildersequenz durchgeführt
wird, sind die Fehlerquellen minimiert. Eine zusätzliche Sicherheit wird erhalten,
wenn nicht nur geprüft
wird, ob die Bewegungsrichtung übereinstimmt
oder ausreichend übereinstimmt,
sondern auch die gemeinsame Bewegungsgeschwindigkeit berücksichtigt
wird. Auf diese Weise können
mit hoher Sicherheit zusammenhängende
Gegenflussfeldbereiche bestimmt werden, die ein Objekt, zum Beispiel
eine Person, repräsentieren, auch
wenn dieses Objekt teilweise durch andere Objekte verdeckt ist.
-
Bei
einer Weiterbildung des Verfahrens werden die zusammenhängenden
Gegenflussfeldbereiche über
die Zeit verfolgt. Insbesondere wird für jedes neu hinzukommende Bild
der Bildersequenz ein neues aktuelles optisches Flussfeld erzeugt
und die zusammenhängenden
Gegenflussfeldbereiche detektiert. Auf diese Weise können zeitabhängige Trajektorien
der zusammenhängenden
Gegenflussfeldbereiche erzeugt werden, und – als Resultat – ein auf diese
Weise detektiertes Objekt verfolgt werden.
-
Bei
einer bevorzugten Weiterbildung des Verfahrens wird bei Auftreten
eines zusammenhängenden
Gegenflussfeldbereiches und/oder bei vordefinierten Bewegungsmustern
eines zusammenhängenden
Gegenflussfeldbereiches ein Alarm ausgelöst.
-
Die
Erfindung betrifft im Weiteren eine Vorrichtung zur Detektion von
bewegungsauffälligen Bildbereichen
in einer Bildersequenz von einer Szene mit den Merkmalen des Anspruchs
8, wobei die Vorrichtung vorzugsweise zur Durchführung des Verfahrens wie es
soeben beschrieben wurde, ausgebildet ist.
-
Die
Vorrichtung ist bevorzugt in Form eines Computers oder eines anderen
programmierbaren Geräts
realisiert. Insbesondere bildet die Vorrichtung einen Teil eines
Videoüberwachungssystems,
welches neben der Vorrichtung eine Mehrzahl von Videokameras und/oder
Videoüberwachungsrekordern aufweist,
die mit der Vorrichtung kabelgebunden und/oder kabellos, zum Beispiel über das
Internet, verbunden sind.
-
Die
Vorrichtung weist ein Berechnungsmodul auf, welches zur Berechnung
eines aktuellen optischen Flussfeldes in der Szene ausgebildet ist,
wobei das optische Flussfeld Bewegungsvektoren von Bildbereichen
der Szene umfasst. Die Bewegungsvektoren können als Ortsvektoren und/oder
als Geschwindigkeits- und/oder als Beschleunigungsvektoren ausgebildet
sein.
-
Des
Weiteren ist ein Bestimmungsmodul zur Bestimmung des optischen Hauptflussfeldes
vorgesehen, wobei das Hauptflussfeld die Hauptflussrichtungen von
Bildbereichen der Szene beschreibt. Das Bestimmungsmodul kann das
optische Hauptflussfeld anhand von vorhergehenden aktuellen optischen Flussfeldern
der Szene erzeugen oder aktualisieren, alternativ ist das Bestimmungsmodul
als Schnittstelle oder Eingabevorrichtung ausgebildet, so dass ein Hauptflussfeld
von einem Benutzer definiert werden kann.
-
Ein
Erzeugungsmodul ist programmtechnisch und/oder schaltungstechnisch
ausgebildet, um ein Gegenflussfeld zu erzeugen, wobei das Gegenflussfeld
aus Bewegungsvektoren von bewegungsauffälligen Bildbereichen gebildet
ist. Die Bewegungsvektoren der bewegungsauffälligen Bildbereiche sind dabei
abweichend zu den Hauptflussrichtungen der gleichen Bildbereiche
ausgerichtet.
-
Optional
umfasst die Vorrichtung ein Segmentierungsmodul, welches Bildbereiche
mit gleichen oder ähnlichen
Bewegungsvektoren in dem Gegenflussfeld zu einem zusammenhängenden
Gegenflussbereich segmentiert.
-
Ein
ebenfalls optionales Verfolgungsmodul ist ausgebildet, um den detektierten
Gegenflussbereich über
die Zeit, das heißt über weitere
Bilder der Bildersequenz zu verfolgen und insbesondere eine Trajektorie
des Gegenflussbereichs zu erzeugen.
-
Weiterhin
ist optional ein Identifikationsmodul vorgesehen, welches die Identifikation
des detektieren beziehungsweise erzeugten Gegenflussbereichs ermöglicht.
Bei der Identifizierung erfolgt eine Zuordnung des Gegenflussbereichs
zu einer Objektklasse, also zum Beispiel Personen, Auto, Koffer, Hund
oder dergleichen.
-
Bei
einer vorteilhaften Weiterbildung der Vorrichtung weist diese ein
Alarmmodul auf, welches ausgebildet ist um einen Alarm bei der Detektion
eines Gegenflussbereichs und/oder bei einer Übereinstimmung der ermittelten
Trajektorie des Gegenflussbereichs mit vorgegebenen Bewegungsmustern
auslöst.
-
Ein
weiterer Gegenstand der Erfindung betrifft ein Computerprogramm
mit Programmcodemitteln mit den Merkmalen des Anspruchs 12, welches zur
Durchführung
des Verfahrens gemäß der Ansprüche 1 bis
7 auf einer Computeranlage und/oder eine Vorrichtung gemäß den Ansprüchen 8 bis
11 ausgebildet ist.
-
Kurze Beschreibung der Zeichnungen
-
Weitere
Vorteile, Merkmale und Wirkungen der Erfindung ergeben sich aus
der nachfolgenden Beschreibung eines Ausführungsbeispiels der Erfindung.
Dabei zeigen:
-
Ausführungsform(en)
der Erfindung
-
Die 1 zeigt
ein erstes Ausführungsbeispiel
einer erfindungsgemäßen Vorrichtung 1 in
Form eines Computersystems zur Detektion von bewegungsauffälligen Bildbereichen
in einer Bildersequenz einer Szene in Form einer schematischen Blockdarstellung.
Die Vorrichtung 1 umfasst eine erste Schnittstelle 2 zur
Anbindung an eine oder mehrere Kameras 3 und eine optionale
Schnittstelle 4 zur Anbindung einer Datenbank 5 oder
alternativ einer Eingabevorrichtung (nicht gezeigt).
-
Ausgehend
von der Kamera 3 werden Bildersequenzen über die
Schnittstelle 2 zu einem Berechnungsmodul 6 geführt, in
dem auf Basis der Bildersequenzen der optische Fluss von der in
den Bildersequenzen dargestellten Szene berechnet werden. Bei der
Berechnung des optischen Flusses werden Bildbereiche, also zum Beispiel
Pixel, frei definierbare Segmente oder vordefinierte Blöcke von
Bild zu Bild der Bildersequenz verfolgt. Aus den Ergebnissen der Berechnungen
werden Bewegungsvektoren ermittelt, die die Bewegung der Bildbereiche
von Bild zu Bild z.B. in Bildkoordinaten beschreiben. In einer einfachen
Ausführungsform
sind die Bewegungsvektoren als Translationsvektoren, also Ortsvektoren,
ausgeprägt,
die den Versatz des jeweiligen Bildbereichs von Bild zu Bild repräsentieren.
Bei komplexeren Anwendungen sind die Bewegungsvektoren als Geschwindigkeits-
und/oder Beschleunigungsvektoren gebildet. Insbesondere im letzteren
Fall kann der optische Fluss auch als eine Schätzung der auf die Bildebene
projizierten Geschwindigkeitsvektoren von sichtbaren Objekten, die
sich auf Helligkeitsmustern im Bild stützen, bezeichnet werden. Die
Gesamtheit aller Bewegungsvektoren der in der Bildersequenz dargestellten
Szene wird als optisches Flussfeld bezeichnet und wird für neu hinzukommende
Bilder der Bildersequenz schrittweise aktualisiert.
-
Ein
Bestimmungsmodul 7 bestimmt ein optisches Hauptflussfeld,
welches Hauptflussrichtungen von Bildbereichen der Szene umfasst.
Das optische Hauptflussfeld entspricht einem Referenzfeld für die nachfolgende
Bestimmung von bewegungsauffälligen
Bildbereichen. Die Hauptflussrichtungen entsprechen den Bewegungsrichtungen
von Objekten, Bildbereichen etc. die im Sinne einer Überwachung als
normal eingestuft werden.
-
In
einem Erzeugungsmodul 8 wird auf Basis des aktuellen optischen
Flussfeldes und des bestimmten optischen Hauptflussfeldes ein Gegenflussfeld
erzeugt.
-
Für ein besseres
Verständnis
der Erzeugung des Gegenflussfeldes wird auf die 2a,
b und c verwiesen. Die 2a zeigt in einer stark schematisierten
Darstellung ein Hauptflussfeld 9, welches nur Bewegungsvektoren 10 enthält, die
in eine gemeinsame Richtung gerichtet sind. Es ist darauf hinzuweisen,
dass dieses Hauptflussfeld 9 zur besseren Verständlichkeit
einen einfachen Aufbau hat, bei realitätsnahen Anwendungen kann das
Hauptflussfeld 9 auch Bereiche mit unterschiedlich orientiertem
Bewegungsvektoren 10 enthalten.
-
Die 2b zeigt
in einer ähnlich
schematischen Darstellung ein aktuelles optisches Flussfeld 11,
wie es aus der Bildersequenz einer Szene berechnet wurde. Ein Großteil der
Bewegungsvektoren 12 des optischen Flussfeldes sind gleichgerichtet und
entsprechen in der Richtung den Bewegungsvektoren 10 des
Hauptflussfeldes 9. Im zentralen Bereich sind jedoch eine
Gruppe von Bewegungsvektoren 13 zu erkennen, die gegenläufig zu
den Bewegungsvektoren 12 orientiert sind. Diese Bewegungsvektoren 13 repräsentieren
die Bewegung von Objekten, zum Beispiel Personen, die sich gegen
den Hauptstrom bewegen. In dem Erzeugungsmodul 8 (1)
wird das aktuelle Flussfeld 11 mit dem Hauptflussfeld 9 gefiltert,
so dass Bewegungsvektoren in Hauptflussrichtung des Hauptflussfeldes 9 unterdrückt werden.
Das dabei entstehende Gegenflussfeld 14 ist schematisiert
in gleicher Darstellung wie das Hauptflussfeld 9 und das
aktuelle Flussfeld 11 in der 2c dargestellt
und weist ausschließlich
die Bewegungsvektoren 13 auf, die gegenläufig zu
den Bewegungsvektoren 10 des Hauptflussfeldes 9 ausgerichtet
sind.
-
Nachdem
die in den verschiedenen Feldern 9, 11 und 14 verwendeten
Bildbereiche sehr klein sein können,
ist es möglich
auf diese Weise auch teilweise verdeckte Objekte, die sich entgegen
einem Hauptstrom bewegen, zu detektieren. Der Ansatz ist dabei,
nicht im ursprünglichen
Bild der Bildersequenz das Objekt zu segmentieren, sondern zunächst Bildbereiche
mit bewegungsauffälligen
Mustern zu extrahieren und die extrahierten Bildbereiche in einem weiteren
Schritt zu untersuchen bzw. zu segmentieren.
-
Zur
Bestimmung des Hauptflussfeldes 9 gibt es verschiedene
Alternativen. Zum einen kann das Hauptflussfeld von einem Benutzer
manuell, zum Beispiel in die Datenbank 5 (1),
eingegeben sein. Dieses Vorgehen ist beispielsweise empfehlenswert,
wenn die beobachtete Szene eine eindeutige Fließrichtung der Objekte, zum
Beispiel wie bei einer Einbahnstraße, zeigt. Ergänzend dazu,
kann das Hauptflussfeld durch das aktuelle optische Flussfeld aktualisiert
werden, um die Detektionsergebnisse zu verbessern. Auch ein voll
automatischer Betrieb dahingehend, dass das Hauptflussfeld durch
aktuelle optische Flussfelder erzeugt wird, ist eine vorteilhafte Alternative,
wenn der Einrichtungsaufwand der Vorrichtung gering gehalten werden
soll. Dabei kann es sich als vorteilhaft erweisen, den optischen
Fluss zeitlich zu filtern und/oder nur mit Bewegungsvektoren 12,
die in der ursprünglich
vorgegebenen Bewegungsrichtung orientiert sind, das Hauptflussfeld
zu aktualisieren.
-
Wie
sich wieder aus der 1 am einfachsten ablesen lässt, wird
das Gegenflussfeld 14 einem Segmentierungsmodul 15 übergeben,
welches aus zusammenhängenden
oder nahe beieinander liegenden, bewegungsauffälligen Bildbereichen mit gleichen
oder ähnlichen
Bewegungsvektoren einen oder mehrere Gegenflussbereiche bildet.
Die Bildung der Gegenflussbereiche ist aufgrund der stark verminderten
Anzahl von Bewegungsvektoren im Gegenflussfeld 14 gegenüber dem
ursprünglichen
aktuellen optischen Flussfeld 11 stark vereinfacht. Insbesondere
wird bei der Gegenflussbereichbildung berücksichtigt, dass die Bildbereiche
gleich gerichtete oder in etwa gleich gerichtete Bewegungsvektoren
bzw. gleichgerichtete oder in etwa gleichgerichtete Geschwindigkeitsvektoren
aufweisen.
-
In
einem nachgeschalteten Verfolgungsmodul 16 werden die gebildeten
Gegenflussbereiche als Verfolgungsobjekte über die Zeit verfolgt. Hierzu
wird die Vorrichtung 1 sequentiell betrieben, wobei für jedes
neu gelieferte Bild einer Bildersequenz ein aktuelles optisches
Flussfeld erzeugt wird und – der
geschilderten Vorgehensweise folgend – ein neuer Gegenflussbereich
gebildet wird. Auf Basis der verfolgten Gegenflussbereiche oder
Verfolgungsobjekte wird eine Trajektorie der Gegenflussbereiche
beziehungsweise Verfolgungsobjekte gebildet, die im Weiteren in
einem Alarmmodul 17 ausgewertet wird. Das Alarmmodul vergleicht
die Trajektorie oder bereits den bestimmten Gegenflussbereich mit
vorgegebenen Alarmregeln und löst
entsprechend den Alarmregeln ein Alarmsignal auf.
-
Die 3 illustriert
schematisch eine mögliche
Verfahrensalternative zur Erzeugung oder Aktualisierung des Hauptflussfeldes.
Hierbei wird ausgehend von einem aktuellen optischen Flussfeld 11 oder
einer Reihe bzw. Serie von aktuellen optischen Flussfeldern ein
neues Hauptflussfeld 9 erzeugt oder ein bestehendes Hauptflussfeld 9 aktualisiert.
Dieser Vorgang kann als einfache zeitliche Mittelung der eingehenden
optischen Flussfelder ausgebildet sein. Optional ergänzend werden
die eingehenden optischen Flussfelder 11 logisch ausgewertet,
so dass beispielsweise zwischen verschiedenen Zuständen der
beobachteten Szene unterschieden werden kann (z.B. Tag-Nacht-Übergang) oder so dass eine
Richtungsumkehr detektiert wird (z.B. Ändern der Bewegungsrichtung
einer Rolltreppe) und das Hauptflussfeld 9 aufgrund der
Zustandsänderung
kurzfristig geändert
wird. Das aktualisierte Hauptflussfeld 9 wird – z.B. gemäß einer
Benutzeingabe in Blöcke
oder Segmente unterteilt, wobei in dem Hauptflussfeld 9 auch eine
gemischte Einteilung möglich
ist. Insbesondere bei der Einteilung in Segmente können diese
wahlweise von extern – also
durch einen Benutzer – vorgegeben
sein oder mittels einer Segmentierung des Hauptflussfeldes erzeugt
werden, wobei Bildbereiche mit ähnlichen
Hauptflussrichtungen zusammengefasst werden. Als Ergebnis wird ein
in Blöcke
bzw. Segmente aufgeteiltes Hauptflussfeld 9 ausgegeben, welches
zur Detektion der bewegungsauffälligen Bildbereiche
im weiteren genutzt wird.
-
Die 4a und 4b zeigt
die Anwendung der Vorrichtung 1 bei der Beobachtung einer
Szene in Form eines Treppenaufganges. Die Hauptflussrichtung in
der Szene ist in der Blattebene von oben nach unten gemäß dem Pfeil 18 gerichtet.
Entsprechend der Hauptflussrichtung bewegen sich auf fast alle gezeigten
Personen 19 in diese Richtung. In einem ersten Schritt
wird ausgehend von einer Bildersequenz dieser Szene das optische
Flussfeld 11 der Szene bestimmt und danach mit dem Hauptflussfeld
gefiltert, welches nur Bewegungsvektoren oder Richtungsvektoren
in Richtung des Pfeils 18 aufweist. Als Ergebnis der Filterung
wird ein Bildbereich 20 extrahiert, der eine Person zeigt,
die entgegen der Hauptflussrichtung 18 die Treppe nach
oben läuft.
Wie sich aus der 4b ergibt, können die extrahierten Bildbereiche
in einfacher Weise nun zu einem Verfolgungsobjekt segmentiert werden,
welches in diesem speziellen Fall sogar klassifizierbar ist. Zum
einen kann ein Alarm ausgelöst
werden, weil das sich entgegen den Hauptstrom bewegende Objekt als
Person klassifiziert wurde, zum anderen kann bei weiterer Verfolgung
dieses Verfolgungsobjekts auf Basis der Trajektorien ein Alarm ausgelöst werden.
-
Zusammenfassend
ist die Analyse optischer Flussfelder über die Zeit ein mächtiges
Werkzeug, entgegen den Hauptstrom bewegende Objekt zu erkennen.
Die Erkennung ist insbesondere in stark bevölkerten Szenen möglich, ist
jedoch natürlich
in anderen Szenen anwendbar.