-
Die
vorliegende Erfindung betrifft ein Verfahren zum Erfassen von Situationen
und eine Situationsüberwachungsvorrichtung,
beispielsweise, um bildmäßig überwachte
Szenen zu klassifizieren.
-
Dynamische
Situationen, in denen viele bewegte Objekte auftreten, werden häufig mittels
Sensordaten und computergestützt überwacht.
Dabei ist es wünschenswert,
die zum Beispiel über
eine Kamera überwachten
Szenen, in bestimmte Situationsklassen einzuordnen, um weitere Maßnahmen
einzuleiten.
-
Es
ist zum Beispiel häufig
gewünscht,
bei Großveranstaltungen,
an Verkehrsknotenpunkten oder auch in Fabrikanlagen, den jeweiligen
Betriebszustand zu erfassen und automatisiert zu klassifizieren.
Denkbar ist zum Beispiel die Erkennung einer aktuellen Betriebsphase
auf einem Bahnsteig. Dabei ist zum Beispiel eine Wartephase, in
der Personen auf dem Bahnsteig die Einfahrt eines Zuges erwarten,
die Zugeinfahrtsphase, eine Aussteigephase, eine Einsteigephase
und eine Ausfahrtsphase als mögliche
Betriebsphasen zu erkennen. Auch im Straßenverkehr, zum Beispiel bei
der Überwachung
einer Kreuzung, ist die Erkennung der Ampelphasen lediglich durch
die Aufzeichnung, beispielsweise eines Videobildes, möglich. Videoüberwachungssysteme werden
bereits weitgehend eingesetzt bei der Überwachung von Plätzen oder
auch Großveranstaltungen,
wie in Stadien. Dabei wird die jeweilige Situationsbewertung üblicher
Weise durch das betrachtende Bedienpersonal der jeweiligen Anlage
vorgenommen. Es ist allerdings auch eine automatisierte Erkennung
komplexer dynamischer Situationen, beispielsweise um Paniksituationen
oder bestimmte untypische Betriebsabläufe automatisiert zu erkennen, gewünscht.
-
Automatisierte
Ansätze
basieren meist auf der mikroskopischen Analyse der raum-zeitlichen Relationen
von Bilddaten. Dabei werden beispielsweise in einer Bildaufzeichnung
zunächst
bestimmte Schlüsselmuster,
wie Personen, erkannt und anschließend zum Beispiel eine Trajektorie
auf der Bildfläche
ermittelt. Die Erkennung von einzelnen Bildelementen wie beispielsweise
Fahrzeugen oder Personen bei der Verkehrsüberwachung, ist jedoch rechenaufwendig
und häufig
nur unzuverlässig
möglich.
-
Es
ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes
Verfahren zum Erfassen von Situationen und ein entsprechendes Erkennungssystem
bereitzustellen.
-
Demgemäß sind bei
einem Verfahren zum Erfassen von Situationen die Schritte vorgesehen: Erfassen
einer Bildfolge von Bildern mit Bildpixeln, Zuordnen der Bildpixel
in Bildsegmente, Berechnen eines optischen Flusses für mehrere
Bildsegmente, und Klassifizieren der Bildfolge in eine Situationsklasse
in Abhängigkeit
von einem zeitlichen Verlauf der optischen Flüsse der Bildsegmente.
-
Insbesondere
digitale Aufzeichnungen von Situationen über Videokameras liefern Bildfolgen
mit Bildpixeln. Um nicht die erfassten Objekte in dem jeweiligen
Bild mikroskopisch bestimmen zu müssen, wird als makroskopische
Erkennungsgröße der optische
Fluss in mehreren Segmenten der Bilder berechnet. Als optischen
Fluss bezeichnet man häufig ein
Vektorfeld, das Bewegungsrichtungen und Geschwindigkeit für jeden
Bildpunkt einer Bildsequenz angibt. Mittelbar hängt der berechnete optische
Fluss mit auf die Bildebene projizierten Geschwindigkeitsvektoren
von dargestellten Objekten zusammen. Es sind verschiedene Verfahren
bekannt, um den optischen Fluss zu berechnen oder zu schätzen. Dabei werden
in der Regel die Helligkeitsmuster um einen jeweiligen Pixel herum
betrachtet. Bei dem Verfahren wird pro Bildsegment zum Beispiel
ein optischer Fluss berechnet.
-
Wie
vorgeschlagen, werden Bildpixel zu Segmenten oder Blöcken von
Pixeln zusammengefasst, für
die ein jeweiliger optischer Fluss zum Beispiel als Richtungsvektor
und Betrag bestimmt wird. Es ist daher gegenüber konventionellen Verfahren,
in denen zunächst
eine mikroskopische Erkennung von Bildbestandteilen erfolgen muss,
nur eine deutlich geringere Rechenleistung erforderlich. Die Klassifizierung
erfolgt nun in Abhängigkeit
von dem zeitlichen Verlauf der bestimmten optischen Flüsse für die Bildsegmente.
Als Situationsklassen können
beispielsweise Betriebsphasen einer erfassten und betrachteten Situation
verwendet werden.
-
Für jede Situationsklasse
wird zum Beispiel ein Situationsmodel für den zeitlichen Verlauf der
optischen Flüsse
bestimmt. Ein Situationsmodel für
den optischen Fluss einer Einfahrt eines Zuges auf einem Bahnsteig,
der von einer Kamera überwacht
wird, kann dabei modelliert werden. Auch die Ampelphasen bei einer
Kreuzung oder anderen Verkehrsanlagen, sind durch ein jeweiliges
Situationsmodell zu erfassen. Man kann auch fließenden Fahrzeugverkehr auf
beliebigen Verkehrswegen bildtechnisch aufzeichnen und mithilfe
von Situationsmodellen klassifizieren. Das hinsichtlich der zeitlichen
Verläufe
von optischen Flüssen
am besten passende Situationsmodell für eine jeweilige Situationsklasse,
liefert dann die höchste
Wahrscheinlichkeit für
das Vorliegen der jeweiligen Klasse. Das Situationsmodell ist insbesondere
ein Hidden-Markov-Modell,
bei dem die verborgenen Zustände
von der Statistik der Kombinationen von optischen Flüssen der
Bildsegmente beeinflusst sind. Es ist auch möglich, eine Überwachung
derart vorzunehmen, dass eine Verteilung von Zuständen der
optischen Fluss-Kombinationen akzeptable Situationen oder Normalsituationen
beschreibt. Falls Kombinationen von optischen Flüssen auftreten, die nicht in
diese statistische Verteilung fallen, könnte eine Warnmeldung ausgegeben
werden. Das heißt,
man erkennt eine außergewöhnliche
Situation, zum Beispiel eine Unfallsituation bei der Verkehrsüberwachung.
-
Es
ist möglich,
ein Hidden-Markov-Modell zu erstellen oder zu trainieren, wobei
in die Situationsklassen vorklassifizierte Sequenzen von optischen Flüssen der
Bildsegmente verwendet werden. Man kann zum Beispiel mit den Aufzeichnungen
einer bekannten Ampelphase, in der die Fahrzeuge einer Straße stehen,
und die kreuzende Straße
mit bewegten Fahrzeugen als Videobildfolge erfasst wird, ein Hidden-Markov-Modell
mit den berechneten optischen Flüssen
trainieren.
-
Der
optische Fluss eines jeweiligen Bildsegmentes wird bei Varianten
des Erkennungs- oder Klassifizierungsverfahrens als Mittelwert von
mehreren für
die den Bildsegmenten zugeordneten Bildpixeln berechnet.
-
Es
kann darüber
hinaus zum Klassifizieren eine Grammatik für die Situationsklassen berücksichtigt
werden. Somit können
logische oder grammatische Verknüpfungen
zwischen Situationsklassen berücksichtigt
werden. Beispielsweise ist es möglich, dass
vorgegebene Abfolgen von Situationsklassen vorliegen müssen. Es
ist zum Beispiel unmöglich, dass
die Situation an einem Bahnsteig, bei der das Aussteigen von Personen
aus einem Zug, erkannt wird, unmittelbar auf die Situationsklasse
für eine
Zugausfahrt aus dem Bahnsteig folgt. Durch das Verwenden von logischen
oder grammatischen Verknüpfungen
lässt sich
die Klassifizierung in Situationsklassen zuverlässiger gestalten.
-
Der
zeitliche Verlauf der optischen Flüsse wird zum Beispiel über ein
laufendes, vorgebbares Zeitintervall berechnet. Es kann zum Beispiel
jeweils ein Zeitintervall von einigen Sekunden um den aktuellen
Zeitpunkt herum verwendet werden, um optische Flüsse zu berechnen oder auch
zu mitteln.
-
Der
optische Fluss kann auch zu vorgegebenen Zeitpunkten ermittelt werden,
also Taktweise. Durch die Taktdichte, mit der die vorgegebenen Zeitpunkte
festgelegt werden, kann die Genauigkeit und auch somit die Rechenlast
für einen
entsprechenden computerimplementierten Algorithmus eingestellt werden.
-
Vorzugsweise
werden Situationen mit beweglichen Objekten klassifiziert, die besonders
hohe Schwankungen im optischen Fluss der einzelnen Segmente hervorrufen.
Es ist bei einer Variante des Verfahrens möglich, auch jedem Bildpixel
ein Bildsegment zuzuordnen. Das bedeutet, dass für jeden Bildpixel ein optischer
Fluss berechnet wird. Ferner ist es möglich, die einem Bildsegment
zugeordneten Pixel derart zuzuweisen, dass zusammenhängende Bildbereiche
einem einzigen Segment entsprechen. Es ist auch ebenso möglich, dass
ein Bildsegment Bildpixel umfasst, welche nicht zusammenhängende Bildbereiche
bilden.
-
Die
Bildsegmente werden vorzugsweise in Abhängigkeit von statischen Bildinhalten
der Bilder bestimmt. Es ist zum Beispiel möglich, dass der jeweilige Bildbereich,
der einen Straßenzug
wiedergibt, der sich über
die Zeit nicht ändert,
als ein Bildsegment betrachtet wird.
-
Das
Verfahren kann ferner zuverlässiger ausgestaltet
werden, wenn ein konstanter Bildausschnitt einer Situation als Bildfolge
erfasst wird. Prinzipiell können
auch bewegte Kameras bei der Überwachung
von Plätzen
eingesetzt werden. Dann ist es denkbar, in Abhängigkeit von einem Schwenkwinkel, auch
die Segmente für
die Berechnung der optischen Flüsse
anzupassen. Zum Beispiel erfolgt mittels dem Verfahren zum Erfassen
von Situationen eine Verkehrsüberwachung
und Klassifizierung der Verkehrssituation.
-
Die
Erfindung betrifft ferner ein Computerprogrammprodukt, welches die
Durchführung
eines entsprechenden Verfahrens auf einer programmgesteuerten Rechner-
oder Steuereinrichtung veranlasst. Als programmgesteuerte Rechner-
oder Steuereinrichtung kommt zum Beispiel ein PC oder ein Rechner
einer Leitwarte zur Steuerung und Regelung von Anlagen in Frage,
auf dem entsprechende Software installiert ist. Das Computerprogrammprodukt
kann beispielsweise in der Art eines Datenträgers wie zum Beispiel USB-Stick,
Floppy-Disk, CD-ROM, DVD implementiert werden oder auch auf einer
Servereinrichtung als herunterladbare Programmdatei implementiert
sein.
-
Ferner
ist eine Situationsüberwachungsvorrichtung
vorgeschlagen, welche eine Bilderfassungseinrichtung zum Erfassen
von Bildfolgen von Bildern mit Bildpixeln umfasst und eine Verarbeitungsplattform,
die derart eingerichtet ist, dass ein, wie vorbeschriebenes, Verfahren
durchgeführt
wird. Als Verarbeitungsplattform kommen beispielsweise Rechenanlagen,
Computer oder PCs oder dezidiert eingerichtete Mikroprozessoren
in Frage. Als Bilderfassung sind zum Beispiel digitale Videokameras
einsetzbar.
-
Die
Verarbeitungsplattform verfügt
vorzugsweise über
ein Flussberechnungsmodul zum Berechnen von optischen Flüssen und
ein Erkennungsmodul zum Durchführen
eines Mustererkennungsalgorithmus. Die Module können beispielsweise als Computerroutinen
oder -Funktionen implementiert werden. Ein Mustererkennungsalgorithmus
basiert in bestimmten Ausführungsformen
auf Hidden-Markov-Modellen, die für die Situationsmodellierung
eingesetzt werden.
-
Die
Situationsüberwachungsvorrichtung kann
darüber
hinaus eine Situationsmodelldatenbank zum Bereitstellen von Situationsmodellen
für die
Situationsklassen aufweisen. Es wird somit eine einfache Möglichkeit
bereitgestellt, ohne auf mikroskopische Analysen der Sensordaten,
also der Bilddaten, zurückgreifen
zu müssen,
vielmehr erfolgt eine makroskopische Erkennung von Situationsklassen. Es
ist dabei keine Erkennung der beteiligten Entitäten oder bildlich erfassten
Objekte in der jeweiligen dynamischen Situation notwendig. Insbesondere
durch die Verwendung von Hidden-Markov-Modellen lassen sich Zustandsfolgen
repräsentieren.
Mit Hilfe von Bilderfassungssensoren oder Kameras lassen sich diese
makroskopischen Merkmale, also die optischen Flüsse in Situationsmodelle für die Zustandsfolgen
einpflegen.
-
Als
Anwendungen kommen insbesondere Verkehrsüberwachungssituationen, beispielsweise an
einer Kreuzung mit Ampelphasen, an einem Bahnstein, an einer Fabrik,
Fließbandstationen
oder andere Situationen, in denen im Wesentliche bewegliche Objekte
betrachtet werden, in Frage.
-
Weitere
mögliche
Implementierungen der Erfindung umfassen auch nicht explizit genannte
Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele
beschriebenen Merkmale oder Ausführungsformen.
Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder
Ergänzungen
zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche sowie
der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme
auf die beigelegten Figuren näher
erläutert.
-
Es
zeigen:
-
1:
eine schematische Darstellung eines Bildes mit Bildpixeln;
-
2A:
eine schematische Darstellung eines Bildes, das einer Situation
entspricht;
-
2B:
eine schematische Darstellung eines segmentierten Bildes;
-
2C:
eine schematische Darstellung von optischen Flussvektoren für Segmente
eines Bildes;
-
2D, 2E:
schematische Darstellungen von Bildern mit Situationen;
-
3:
zu vorgegeben Zeitpunkten berechnete optische Flussvektoren;
-
4:
ein Blockdiagramm für
ein beispielhaftes Situationserkennungssystem oder einen Situationserkennungsprozess;
und
-
5:
eine schematische Darstellung eines Situationserkennungsprozess.
-
In
den Figuren sind gleiche oder funktionsgleiche Elemente, sofern
nichts anderes angegeben ist, mit denselben Bezugszeichen versehen
worden.
-
In
der 1 ist ein Bild mit Pixeln und einer gerasterten
Aufteilung schematisch dargestellt. Die Bildfläche 1 wird beispielsweise über eine
Digitalkamera geliefert, welche eine Situation aufnimmt. Dabei sind
Pixelbereiche 10 und einzelne Pixel 1–18 angedeutet. Üblicherweise überdecken
die Pixel die gesamte Bildfläche 1.
Ferner sind Bildbereiche zu Segmenten zusammengefasst, die bei dem
Beispiel der 1 mit acht Segmenten 2–9 die
Bildfläche 1 in
einem regelmäßigen Raster überdecken.
Es ist möglich,
die Aufteilungen 2–9 als
einzelne Bildsegmente oder Pixelblöcke aufzufassen. Dabei bilden
die zusammenhängenden
Pixel 10 beispielsweise das Segment 2. Dabei sind
nicht alle Pixel des Segmentes 2 explizit dargestellt.
-
Es
ist auch möglich,
zum Beispiel ein Segment, das aus den Blöcken 3 und 9 besteht
zu definieren. Die Pixel 11, 12, 16–18 gehören dann
zu einem einzigen Segment. Insofern ist es nicht notwendig, dass
Pixel, die einem Bildsegment zugeordnet sind, zusammenhängende Bildbereiche überdecken. Die
Pixel 11 und 18 gehören dann zu dem kombinierten
Segment 3 und 9, sind jedoch durch Bildbereiche, die
in den Segmenten 4 und 8 liegen, getrennt.
-
Die
Wahl der Bildsegmente 2–9 oder die Zuordnung
der Pixel 10–18 auf
die Bildsegmente, kann in Abhängigkeit
von dem Bildinhalt erfolgen. Beispielsweise zeigt die 2A eine schematische
Darstellung eines Bildes, welches der Situation an einem U-Bahn-Bahnsteig
entspricht. Das Bild 1 zeigt auf der linken Seite einen
U-Bahnzug 19, der geöffnete
Türen aufweist
und an einer Bahnsteigkante 20 steht. Auf dem Bahnsteig 21 sind
Personen 22, 23, 24 angedeutet. Sofern
die Überwachungskamera,
mit der eine Situationserkennung durchgeführt werden soll, diesen konstanten
Bildausschnitt der Situation zeigt, können Segmente an die statischen
Bildelemente angepasst werden. Dies ist zum Beispiel in der 2B angedeutet.
Es werden Segmente 2–7 definiert,
welche das Bild 1 überdecken.
Dabei wird die Grenze zwischen den Segmenten 2, 4 und 6 mit
den Segmenten 3, 5 und 7 durch eine Linie
entlang der Bahnsteigkante 20 definiert. Insofern liegt
in den Segmenten 2, 4 und 5 je nach Situation
der eingefahrene oder fahrende U-Bahnzug 19 vor, und in
den Segmenten 3, 5 und 7 die Bahnsteigfläche, die
Bahnsteigkante und auf dem Bahnsteig stehende Personen. Die Person 24 ist
zum Beispiel in dem Segment 5.
-
Um
die erfasste Situation, beispielsweise in der 2A,
ein eingefahrener U-Bahnzug mit geöffneten Türen und Passagieren zu erkennen,
werden nicht die einzelnen in dem Bild 1 erfassten Bildelemente
erkannt oder einer Musterkennung unterzogen. Vielmehr sieht das
vorgeschlagene Erkennungsverfahren vor, die optischen Flüsse in den
Segmenten 2–7 zu
berechnen und aus deren zeitlichen Verlauf, die Situation zu erkennen
bzw. zu klassifizieren. Als Situationsklasse werden zum Beispiel
die Betriebsphasen auf dem Bahnsteig gewählt. Mögliche Betriebsphasen sind
die Wartephase, in der Passagiere auf einen Zug warten, eine Phase,
in der die Einfahrt des Zuges vorliegt, die Aussteigephase von Personen,
die aus dem Zug auf den Bahnsteig treten, die Einsteigephase, in
der Personen in den Zug einsteigen und die Ausfahrtphase des Zuges.
Je nach Betriebsphase ergeben sich verschiedene Flussabläufe. In
der 2C ist zum Beispiel eine schematische Darstellung
der optischen Flussvektoren, welche für die Segmente 2–7 ermittelt
wurden, dargestellt. Anstelle einer rechenaufwendigen Mustererkennung
wird jedem Segment des Bildes 1 ein opti scher Flussvektor
F1–F7
zugeordnet bzw. aus den Bilddaten errechnet. Das erfasste Videobild
wird somit in ein Flussbild 1' abgebildet.
-
Eine
Möglichkeit,
den optischer Fluss zu berechnen, besteht in der Betrachtung des
zeitlichen Verlaufs der Intensität
der Pixel I(x, y, t), wobei x und y Koordinaten in der Bildebene,
t die Zeit und I ein Intensitätsmaß ist. Als
Intensität
kann eine auf eine Durchschnittshelligkeit des Bildes bezogene Helligkeit
sein. Aus der zeitlichen Entwicklung unter Vernachlässigung
höherer
Terme kann eine Kontinuitätsgleichung
aufgestellt werden, die lautet: IxVx + IyVy = –It, wobei V = (Vx,
Vy) der optische Fluss ist und Ii = ∂I/∂i mit i
= x, y, t.
-
Zur
Berechnung des optischen Flusses können bekannte Berechnungsverfahren,
wie beispielsweise das Lucas-Kanade-Verfahren, das Horn-Schunck-Verfahren,
das Buxton-Buxn-Verfahren
oder das Black-Japson-Verfahren angewendet werden.
-
Es
ist zum Beispiel möglich,
für alle
einem Segment zugeordneten Pixel nach einem bekannten Verfahren
den optischen Flussvektor zu bestimmen und für die Segmente einen gemittelten
optischen Flussvektor zu errechnen. Die Pfeile F2–F7 in der 2C entsprechen
zum Beispiel einem entsprechenden gemittelten optischen Flussvektor,
der in den Segmenten 2–7 vorliegenden
Pixel. Die optischen Flussvektoren oder optischen Flüsse werden kontinuierlich
oder zum Beispiel getaktet, für
die in einem Videobildstrom enthaltenen Bilddaten ermittelt. Je
nach erfasster Situation oder Betriebsphase in dem vorliegenden
Beispiel ergeben sich verschiedene zeitliche Verläufe der
optischen Flüsse.
-
In
der 3 ist beispielsweise ein zeitlicher Verlauf zu
verschiedenen Zeiten t1–t8
eines optischen Flussvektors F4 dargestellt. Der Pfeil F4 könnte zum
Beispiel dem Segment 4 zugeordnet sein. Der sich ergebende
optische Fluss spiegelt die Bewegung des ein- und ausfahrenden U-Bahnzuges 19 als Bildpixel
wieder, wie er in den 2A, 2D und 2E darge stellt
ist. Dabei kann zum Beispiel angenommen werden, dass zu den in dem
Zeitraum t1–t5
der Zug in einen Sackbahnsteig einfährt und während der Zeiten t6, t7, t8
wieder in entgegen gesetzter Richtung herausfährt. Dadurch ergibt sich ein optischer
Flussvektor, wie er in der 3 schematisch
angedeutet ist.
-
Die 2D zeigt
beispielsweise eine Betriebsphase in der ein U-Bahnzug 19 auf
den Bahnsteig einfährt.
Die Personen 23, 24, 25 warten auf dem
Bahnsteig 21. Die 2E zeigt
eine Situation, in der der Zug in den Bahnsteig eingefahren ist
und die Personen aus ihm aus- und einsteigen. Das Bild 2 zeigt
somit eine Person 22, die einen hellen Mantel trägt und auf
den Einstieg in den Zug 19 wartet. Die Person 23 entfernt
sich von der Tür
der U-Bahn 19. All diese sich zeitlich verändernden
Bildpixel des Bildes 2, führen zu verschiedenen optischen
Flüssen. Die
Klassifizierung in die jeweilige Betriebsphase erfolgt nun in Abhängigkeit
von einem erstellten Situationsmodell für die zeitlichen Abläufe der
optischen Flüsse.
Dabei werden zum Beispiel Hidden-Markov-Modelle eingesetzt.
-
Bei
einem Hidden-Markov-Modell (HMM) zur Situationserkennung werden Übergangswahrscheinlichkeiten
von einem Zustand zum nächsten
in einer Abfolge von Zuständen
betrachtet. Dabei entsprechen bei dem vorgeschlagenen Klassifizierungsverfahren
Zustände
Kombinationen von optischen Flüssen
der Bildsegmente. Da die aufgezeichneten Bilder bewegliche Objekte
aufweisen, ändert
sich der jeweilige optische Fluss im zeitlichen Verlauf, bzw. von Takt
zu Takt. Es wird davon ausgegangen, dass die optischen Flüsse oder
Zustände
im Sinne eines HMM taktweise berechnet werden.
-
Ein
Hidden-Markov-Modell ist dabei durch die Parameter λ = (A, B, π) charakterisiert,
wobei A = {aij} die Übergangswahrscheinlichkeiten
von einem (verborgenen) Zustand i zum Zustand j, π = {πi}
die Startwahrscheinlichkeiten für
den Zustand i und B = {bi} die Wahrscheinlichkeiten
für eine
Beobachtung i, wobei ein jeweiliger Zustand i eine Beobachtung Ot zum Zeitpunkt t emittiert. Bei dem eingesetzten
Hidden-Markov-Situationsmodell
wird eine Sequenz von Zuständen
in Form der optische Flüsse
aufgezeichnet und die Wahrscheinlichkeit bestimmt, mit der gemäß eines
beispielsweise trainierten oder angepassten HMMs der aufgenommene
zeitliche Verlauf erzeugt werden kann. Jedes HMM entspricht dabei
beispielsweise einer Situationsklasse, sodass durch Auswahl der
höchsten
Wahrscheinlichkeit die aufgenommene Sequenz der optischen Flüsse einer
Klasse bzw. einem Situation zugeordnet werden kann. Im Folgenden
wird auch der Begriff Situationsmodell für das jeweilige HMM, das einer
Situationsklasse entspricht, verwendet.
-
Eine
ein entsprechendes Erkennungsverfahren implementierende Situationsüberwachungsvorrichtung
ist als Blockdiagramm in der 4 dargestellt.
Ein Situationserkennungssystem 33 ist dabei beispielsweise
an eine Videoüberwachungskamera 26 angeschlossen,
die Videobilddaten C1 liefert.
-
Ferner
ist in der 4 ein Nutzer oder Bediener 32 dargestellt,
der für
Trainingszwecke der entsprechenden Situationsmodelle Annotierungsdaten C3
an ein Annotierungsmodul 30 liefert. Das Situationserkennungssystem 33 umfasst
beispielsweise computerimplementierte Module für die Berechnung des optischen
Flusses 27, ein Annotierungsmodul 30, um beispielsweise
manuell optische Flussdaten C5 vorzuklassifizieren, ein Modellerzeugungsmodul 31,
um Situationsmodelle, wie HMM-Modelle,
für die optischen
Flüsse
zu erzeugen, welche wie mittels Pfeil C6 angedeutet wird, abgespeichert
werden. Es liegen somit in einer Situationsmodelldatenbank 29, Situationsmodelle
für die
beispielsweise vorliegenden Betriebsphasen hinsichtlich der 2 vor.
-
Schließlich ist
ein Erkennungsmodul 28 vorgesehen, das auf Basis der aus
den Bilddaten C1 abgeleiteten optischen Flüsse C2 und dem Zugriff auf die
Modelldatenbank C7 eine Klassifizierung vornimmt und als Ergebnis
C8 ausgibt. Um ein HMM- oder
Situationsmodell zu erzeugen, werden bekannte Daten, beispielsweise
C1, mittels dem Flussberechnungsmodul 27 in ihre jeweiligen
optischen Flüsse
umgerechnet und dem Annotierungsmodul 30 zugeleitet. Beispielsweise
werden Bilddaten C1 verwendet, die eine Situation, wie sie in der 2D,
also eine Betriebsphase bei einfahrendem Zug an einem Bahnsteig
darstellt. Der Nutzer 32 annotiert dan diese optischen
Flussdaten C5 und gibt eine manuelle Klassifizierung C3 vor. Es
werden zum Beispiel mehrere Trainingssequenzen mit Bilddaten manuell
annotiert und als Eingabedaten für
die tatsächliche
Modellerzeugung, beispielsweise mit einem HMM-Algorithmus 31 verwendet.
-
Jedes
Situationsmodell entspricht dann einer Situationsklasse und bildet
den charakteristischen Merkmalszeitverlauf ab. Als Merkmale sind
hier die optischen Flussvektoren für die Segmente vorgesehen.
In einem entsprechend vorbereiteten Situationserkennungssystem 33,
liegt in der Modelldatenbank 29 für jede Situationsklasse ein
HMM-Modell bereit. Um nun beispielsweise Überwachungsdaten einer Kamera 26 automatisiert
und computergestützt
zu klassifizieren, führt
das Erkennungsmodul 28 einen Vergleich der modellierten
Zeitverläufen
der optischen Flüsse,
die in der Modelldatenbank 29 vorliegen, mit den tatsächlich errechneten
online-optischen Flüssen
C2 durch. Das zum aktuellen Zeitpunkt am besten geeignete Modell
wird zum Beispiel anhand einer Maximum-Likelyhood-Auswahl zur Situationsklassifizierung
verwendet.
-
Dabei
wird die Wahrscheinlichkeit berechnet, dass der beobachtete Zeitverlauf,
beispielsweise über
ein laufendes Zeitintervall für
die optischen Flüsse,
durch das jeweilige Situationsmodell erklärt werden kann. Dies ist in
der 5 schematisch angedeutet. 5 kann auch
als Prozess- oder Verfahrensflussdiagramm verstanden werden. Zunächst werden
Bilddaten bzw. Folgen von Bildern eingesetzt. Wie mittels dem Block 1' angedeutet
ist, erfolgt eine Bestimmung der optischen Flussvektoren durch das
Flussberechnungsmodul 27 aus 4. In dem Erkennungsmodul 28 werden
nun Wahrscheinlich keiten für
das Vorliegen einer bestimmten Situationsklasse berechnet.
-
Es
liegen beispielsweise Situationsmodelle HMM1–HMM5 für die Betriebsphasen Einfahrt,
Aussteigen, Einsteigen, Ausfahrt und Warten vor. Dabei berechnet
das Erkennungsmodul 28 als Klassifizierungsergebnis R1–R5 die
jeweilige Wahrscheinlichkeit. Ist zum Beispiel über die Digitalkamera 26 eine Zugausfahrt
aus dem Bahnsteig 1 als Bildsequenz geliefert, ergibt sich
durch eine Maximum-Likelyhood-Auswahl, die Wahrscheinlichkeit dafür, dass das
HMM1, also ein Situationsmodell für eine Zugeinfahrt, die berechneten
optischen Flüsse 1' modelliert,
eine Wahrscheinlichkeit von P = 0,01. Analog ergeben sich für die HMM-Modelle
HMM2 für
das Aussteigen, eine Wahrscheinlichkeit P = 0,03, für das Einsteigen
P = 0,04 und das Warten P = 0,01. Dies ist in der 5 durch
die Kästen
R1, R2, R3 und R5 angedeutet. Bei gut trainierten und ausgebildeten
Situationsmodellen wird für
das M4 Modell, also ein Hidden-Markov-Modell, das mit optischen Flussdaten
für eine
Zugausfahrt trainiert und eingerichtet wurde, eine Wahrscheinlichkeit
für das
Vorliegen der jeweiligen Situationsklasse Ausfahrt von P = 0,91.
Das Erkennungsmodul 28 liefert somit als Ergebnis C8 des Klassifizierungsverfahrens,
dass die vorliegenden Bilddaten einer Zugausfahrt aus einem Bahnsteig entsprechen.
Somit wurde die Situation erkannt und klassifiziert.
-
Optional
lässt sich
durch das Erkennungsmodul beispielsweise über eine Ausgabeeinheit angeben,
mit welcher Wahrscheinlichkeit jeweils eine Situationsklasse vorliegt,
d. h. eine Ausgabewahrscheinlichkeit R1–R5, wie sie in der 5 angedeutet
sind.
-
Es
ist darüber
hinaus möglich,
eine Grammatik zu verwenden und damit die Klassifizierungsgenauigkeit
zu verbessern. Mittels einer Grammatik kann zum Beispiel festgelegt
werden, dass auf eine Zugeinfahrt immer eine Betriebsphase ”Einsteigen” und ”Aussteigen” folgen
muss, bevor eine Betriebsphase ”Ausfahrt” des Zuges
erfolgen darf. Abweichungen von einer entsprechend modellierten
Reihenfolge können
somit erkannt werden. Falls aus betriebsstörungstechnischen Gründen eine
Zugdurchfahrt über
den Bahnsteig erfolgt, ohne dass Personen ein- oder aussteigen können, wird
dies automatisiert durch die Situationserfassungsvorrichtung, welche ein
entsprechendes Verfahren umsetzt, erkannt. Das beispielsweise über einen
Alarm benachrichtigte Betriebspersonal kann dann geeignete Maßnahmen einleiten.
-
Durch
die Verwendung von makroskopischen Merkmalen, also die optischen
Flussvektoren oder optischen Flüsse
und eine datengetriebenen Situationsmodellierung, ist eine robuste
Erkennung oder Klassifizierung der aufgezeichneten Situation möglich. Mikroskopische
Modellierungen, bei denen die tatsächlichen Bildelemente mittels
einer Mustererkennung aus den Bilddaten extrahiert werden, sind weitaus
aufwendiger und fehleranfälliger.
-
Die
Durchführung
des Verfahrens bzw. der angesprochenen Verfahrensschritte lässt sich
jeweils durch die Einrichtungen oder Module 26–31 implementieren.
Dabei ist dem Fachmann klar, welche Verfahrenssteile welcher Einrichtung
zugeordnet sind. Zum Beispiel kann das Flussberechungsmodul einen Algorithmus
zum Bestimmen eines optischen Flusses oder davon abgeleiteter Größen ausführen. Demgemäß sind die
Einrichtungen derart ausgestaltet das jeweilige Verfahrensschritte
oder Teilprozesse umgesetzt und durchgeführt werden. Insofern sind die
funktionalen Blöcke 27–31 der 4 auch
als Programmmodule oder Routinen aufzufassen oder aber als dezidiert
eingerichtete Einrichtungen, welche zur Implementierung der jeweiligen
Funktion während
des Situationserkennungsverfahrens dienen.
-
Bei
dem Verfahren oder der Implementierung als Situationserkennungssystem
werden physikalische Größen, wie
Helligkeiten, Kontraste oder Bewegungen, erfasst und in menschlich
zugängliche Ausgabegrößen umgewandelt.
Zum Beispiel werden die Klassifizierungsergebnisse auf einem Bildschirm visuell
oder als akustisches Signal ausgegeben und können weiterverarbeitet oder
ausgewertet werden.