AT502516B1 - Verfahren zur verfolgung von objekten - Google Patents

Description

2 AT 502 516 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.

Aus der US 6,895,329 B1 ist ein einschlägiges Verfahren bekannt, bei dem unter Zuhilfenahme eines "Shortest path"-Kriteriums die Objekte verfolgt werden. Eine Auswertung unter Anwen-5 düng einer lokalen Statistik oder einer statistischen Kurvenapproximation erfolgt nicht. Damit ist die Ermittlung einer exakten Trajektorie nicht möglich.

Die US 6,674,877 B1 betrifft die Objektdetektierung im Zuge der Bildverarbeitung, wobei Kal-mann-Filter eingesetzt werden. Diese Objektverfolgung arbeitet nicht mit akkumulierten Raum-io Zeit-Werten und die Verfolgung erfolgt lediglich im Zuge der Auswertung von aufeinanderfolgenden aufgenommenen Bildern. Darunter leidet die Genauigkeit und die praxisgerechte Auswertung. Aus der AU 2002318859 A1 ist ein Verfahren zur Abschätzung von Trajektorienseg-menten bekannt. Diese Abschätzung liefert keine exakten €rgebnisse. 15 Die Verfolgung von mehreren Objekten, z.B. von Personen oder Fahrzeugen, ist ein relevantes Thema der automatischen Videoüberwachung. Die Analyse des zeitlichen Ablaufs der Bewegungsvorgänge der Objekte im Kamerabild gibt wesentliche Rückschlüsse für die automatische Einstufung einer Situation. Die Bewegungspfade der Objekte geben über das Verhalten Aufschluss. 20

Die Problematik der Objektverfolgung wird durch die Wechselwirkung der Objekte miteinander (Verdeckungen) oder mit Szenenobjekten (Verdeckungen, Schatten, variierende Beleuchtung, usw.) erheblich erschwert. Übliche Verfolgungs- oder so genannte Tracking-Verfahren versuchen Korrespondenzen zwischen Objekten zu etablieren, die in unterschiedlichen Zeitpunkten 25 erfasst worden sind. Während der Korrespondenzsuche werden Informationen nur für wenige (2 oder 3) Zeitinstanzen (Frames) berücksichtigt, da sich die Anzahl der möglichen Korrespondenzen mit erhöhter Anzahl der Zeitinstanzen wesentlich erhöhen (viele kombinatorische Möglichkeiten) würde. Die Evaluierung aller Möglichkeiten würde dadurch an die Grenzen der zur Verfügung stehenden Rechenleistung stoßen. Die Berücksichtigung weniger Zeitinstanzen hat den 30 negativen Effekt, dass die Verfolgungsmethode unter temporären Störungen {falsch oder nicht detektierte Objekte zum Beispiel) inkonsistente Ergebnisse liefert.

Ziel der Erfindung ist die Erstellung einer Tracking Methode, die zur Verfolgung mehrerer Objekte Detektionsergebnisse in einem großen Zeitbereich (typischerweise mehr als 10 Frames) 35 statistisch auf eine effiziente Weise auswertet und Ergebnisse in Echtzeit liefern kann.

Diese Ziele werden bei einem Verfahren der eingangs genannten Art mit den im Kennzeichen des Anspruches 1 angeführten Merkmalen erreicht. 40 Das erfindungsgemäße Verfahren ermöglicht eine fehlertolerante Kurvenapproximation mittels lokaler Statistik im 3-dimenisonalen Raum definiert durch räumliche und zeitliche Komponenten. Es ergibt sich eine robuste Objektverfolgung. Ferner erfolgt eine Erzeugung von Bewegungskurven bzw. Trajektorien in Echtzeit. 45 Ein Kriterium, mit dem der Wirklichkeit entsprechende Trajektorien gut erreicht, werden, ist durch die Merkmale des Anspruches 2 gegeben. Für eine rasche Übermittlung der Trajektorien und deren Übereinstimmung mit den tatsächlichen Verhältnissen zu gewährleisten, sind die Merkmale des Anspruches 3 von Vorteil. 50

Eine rasche und exakte Vorgangsweise ergibt sich mit den Merkmalen des Anspruches 4.

Zur Verbindung von Trajektoriensegmenten ist es von Vorteil, wenn die Merkmale des Anspruches 5 vorgesehen sind. 3 AT 502 516B1

Letztlich betrifft die Erfindung auch ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um auf diese Weise das erfindungsgemäße Verfahren durchführen zu können, wenn das Programmprodukt auf einem Computer ausgeführt wird. 5

Im folgenden wird die Erfindung anhand der Zeichnungen näher erläutert.

Fig. 1 zeigt eine Anzahl von Objekten, die durch Bewegungsdetektion detektiert werden. Fig. 2 zeigt mit räumlichen und zeitlichen Koordinaten dargestellte Datenpunkte. Fig. 3 zeigt-einzelne io Schritte einer lokalen Kurvenapproximation. Fig. 4 zeigt die Verbindung von Segmenten. Pig. 5 zeigt ein Flussdiagramm.

Bei der Durchführung des erfindungsgemäßen Tracking-Verfahrens werden, wie in Abb. 1 dargestellt, Objekte durch Bewegungsdetektion erfasst. Die in Fig. 1 dargestellten schwarzen 15 Punkte stellen die räumlichen Objektkoordinaten der Objekte dar. Die Bildindioes geben eine zeitliche Koordinate für alle im Bild detektierten Objekte an. Es ist dabei zu beachten, dass die Ergebnisse der Objektdetektion typischerweise mit Fehlern behaftet sein können; insbesondere werden bestimmte Objekte nicht erfasst, wie z.B. ein in der Mitte des Bildes dargestelltes Objekt. Zusätzlich können auch falsche Detektionsergebnisse entstehen, wie im Bild Mitte oben 20 dargestellt ist.

Die detektierten Objekte sind durch räumliche Bildkoordinaten und zeitliche (wie z. B. Bildindex) Komponenten beschrieben. Die Objektdaten befinden sich in einem dreidimensionalen Raum, der durch die Bild- und Zeit-Koordinaten beschrieben bzw. definiert ist. Die Objektdaten bilden 25 Strukturen, wie z.B. Spuren, aus, die die Bewegung der detektierten Objekte wiederspiegeln. Diesbezüglich wird auf Fig. 2 verwiesen, in der die Datenpunkte, d.h. die detektierten Objektpositionen mit Hilfe von räumlichen und zeitlichen Koordinaten dargestellt werden können. Ziel der Objektverfolgung ist die Extraktion von Spuren oder Kurven, die die Datenpunkte konsistent beschreiben. Derartige Spuren und Kurven entsprechen den Bewegungen der «erfassten Objek-30 te.

Entsprechend Fig. 3 werden innerhalb eines lokalen Fensters statistische Größen berechnet, nämlich 35 1. der Schwerpunkt und Absatz 2. die lokale Orientierung (Hauptachsen) der Datenpunktverteilung

Der Schwerpunkt deutet auf die wahrscheinlichste Objektposition hin und die lokale Orientierung zeigt die Haupt-Bewegungsrichtung an. Die Kurvenverfolgung wird an allen Datenpunkten 40 iterativ ausgeführt. Entlang der dominanten Orientierung wird schrittweise eine Kurve gelegt, und zwar dort, wo die Kurvenstützpunkte durch die Schwerpunktpositionen der Datenverteilung definiert sind. Die vorgenommene Kurvenapproximation ist in Fig. 3 näher dargestellt. Datenpunkte, die durch eine Kurve beschrieben sind, werden markiert und nur einmal für die Kurvenbeschreibung verwendet. 45

Gemäß Fig. 3 beginnt die lokale Kurvenapproximation, die hier anhand von zweidimensionalen Daten erläutert wird, indem von einem beliebigen Startpunkt ausgehend, der Schwerpunkt einer vorgegebenen lokalen Datenpunktverteilung bestimmt wird. -Entlang der Hauptachse der Verteilung wird ein neuer Startpunkt gewählt. Wie in Fig. 3 Mitte dargestellt, wird in der Umgebung so des neuen Startpunktes erneut der Schwerpunkt und ferner die Orientierung um den Schwerpunkt bestimmt. Im folgenden wird, wie in Fig. 3 rechts dargestellt, basierend auf den gefundenen Schwerpunkten, die Kurvenstützpunkte definieren, eine Verbindungslinie gezogen, die als Kurvensegment betrachtet wird. 55 Es ist festzustellen, dass die Datenpunkte in der Praxis üblicherweise unvollständig sind. 4 AT 502 516B1 Lückenhafte Objektdetektion erzeugt kleinere oder größere Lücken in der Datenverteilung. Die durch lokale Kurvenapproximation generierten Kurvensegmente werden aus diesem Grund miteinander verglichen und Segmente mit ähnlichen Eigenschaften, insbesondere in Hinblick auf die (räumliche) Steigung der Kurve bzw. (räumliche) Steigung der Verbindungslinie werden 5 miteinander verbunden und bilden sodann die Trajektorie des Objektes.

Auf diese Weise können Objekte verlässlich verfolgt werden und Störungen in den Daten, z.ß. aufgrund des Fehlens von Datenpunkten oder aufgrund stark verrauschter Datenpunkten werden zu großen Maßen toleriert. 10

Es ist vor allem zu bemerken, dass durch Anwendung einer lokalen Statistik, die eine größere Zeitspanne umfasst, Messwerte erzeugt werden, die gegen Störungen wie Rauschen oder fehlende Datenpunkte robuster sind. 15 Die Auswertung der lokalen Statistik der Punktverteilung erfolgt vorteilhaft nach der Methode von Einbeck et al., so wie diese in J. Einbeck, G. Tutz, L. Evers, "Exploring Multivariate Data Structures with lokal Principal Curves", Proceedings-GfKI (Conference of the German Classification Society), April 2004, beschrieben ist. Es ist auch möglich, andere lokale Statistiken einzusetzen. 20

Die Datenpunkte werden konsekutiv verarbeitet und Trajektoriensegmente werden generiert. Eine Trajektorie wird beendet, falls keine Datenpunkte mehr zur Verfügung stehen oder die Grenze des Raumes (zeitliche oder räumliche Koordinaten) erreicht wird. 25 Die Kurvenapproximation durch lokale Statistik toleriert größere Unterbrechungen in der Datenverteilung nicht, da dies über die Grenzen einer lokalen Beschreibung geht. Die Kurvenverfolgung liefert k Trajektorienseg mente {Ti......T*} mit 2k Endpunkten. Fig. 4 stellt ein Beispiel dar, wie eine Verbindung zwischen zwei Segmenten erzeugt wird. 30 Eine Verbindung muss folgende Bedingungen erfüllen: (1) die Verbindung zwischen zwei Segmenten soll stetig verlaufen, d.h. die Orientierung und Länge der Verbindungslinie muss ähnlich sein wie die von den Segmenten. Anders ausgedrückt: die Geschwindigkeitsvektoren der Segmente und der Verbindung müssen konsistent 35 und möglichst stetig sein, d.h. vorgegebene Verbindungskriterien erfüllen. (2) die Endpunkte der Segmente müssen ferner eine vorgegebene räumliche und zeitliche Proximität haben. 40 Fig. 4 zeigt eine Möglichkeit der Verbindung von zwei Segmenten. Die Verbindung dieser zwei Segmente kann erfolgen, wenn die räumlichen Steigungen der Enden der beiden Segmente einen gewissen Wert unterschreiten. In der dargestellten "Form gemäß Fig. 4 müssen die Winkel α und ß ein gewissen Ähnlichkeitskriterium erfüllen. Des weiteren darf der Abstand / zwischen den Enden der beiden Segmente einen vorgegebenen Wert nicht überschreiten. 45

Bei der Bestimmung des Neigungswinkels bzw. des Abstandes des Endpunktes der Segmente, kann dabei derart vorgegangen werden, dass die Neigung bestimmt wird, indem durch eine vorgegebene Anzahl von die Segmente beendenden Datenpunkten eine Gerade gelegt wird. Die Anzahl der Datenpunkte, die von dieser Geraden angenähert wird, wird vorgegeben und so kann z.B. größer als 5 sein, insbesondere zwischen 8 und 12 Datenpunkten liegen.

Sofern sodann die Enden der Segmente einen vorgegebenen Abstand unterschreiten, werden die Enden der Segmente durch eine Verbindungslinie verbunden oder die Segmente durch Verschieben direkt aneinander gereiht. 55

Claims (6)

1. I I 5 AT 502 516 B1 Fig. 5 zeigt einen Verfahrensablauf die Objektverfolgung im Raum betreffend, so wie sie durch die Bild- und Zeitkoordinaten definiert ist. Die Generierung der Trajektorien aus den ursprünglichen Datenpunkten erfolgt in Echtzeit. Die Trajektorien werden immer verzögert (relativ zum aktuellen Zeitpunkt) generiert, da für das System eine Ansammlung der Datenpunkte notwendig 5 ist. In Fig. 6 ist das Ergebnis der Kurvenverfolgung im zeitlichen und räumlichen Raum der Datenpunkte dargestellt. Man erkennt, dass über eine Anzahl von betrachteten Bildpunkten eine Bewegung der Objekte innerhalb der einzelnen aufgenommenen Bilder erkannt werden kann, io die solange detektierbar ist, als sich das Objekt im Raum bzw. im betrachteten Bild befindet. Patentansprüche: 1. Verfahren zur Verfolgung von Objekten, insbesondere Personen oder Fahrz-eugen, wobei mit bildgebenden optischen Einrichtungen und Verfahren die zu verfolgenden Objekte erfasst und jedem erfassten Objekt in dem jeweils aufgenommenen Bild ein bezüglich seiner Koordinaten festgelegter bzw. beschriebenen Punkt zugeordnet wird, wobei die in zeitlich aufeinanderfolgend aufgenommenen Bildern erfassten Punkte in einem 3D-Raum mit ihren 20 Bildkoordinaten und einer Zeitachse aufgezeichnet bzw. projiziert werden und wobei unter Heranziehung einer vorgegebenen Anzahl aufeinanderfolgender Bilder aus der Menge von zeitlich aufeinanderfolgend erhaltenen Punkten Trajektoriensegmente ermittelt werden, dadurch gekennzeichnet, - dass die Trajektoriensegmente unter Anwendung einer lokalen Statistik bzw. einer statis- 25 tischen Kurvenapproximation ermittelt werden, - dass die die Punkte in dieser Punktmenge annähernden Trajektoriensegmente in Hinblick auf ihre gegenseitige zeitliche und räumliche Distanz und räumliche Orientierung unter Anwendung eines Ähnlichkeitsmaßes überprüft werden, und - dass für jeweils zugelassene Verbindungsmöglichkeiten die Ähnlichkeitswerte ermittelt 30 und die Enden der Trajektorien verbunden werden, sofern der jeweilige Ähnlichkeitswert einen vorgegebenen Wert überschreitet.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Verbindung von Trajekto-riensegmenten zugelassen wird, wenn die Verbindung dieser Segmente konsistent und 35 stetig ist.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei der Durchführung der lokalen Statistik bzw. der Kurvenapproximation jeder Punkt nur einmal zur Ermittlung eines Trajektoriensegmentes innerhalb eines vorgegebenen Zeitraumes herangezogen 40 wird.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass unter der untersuchten Anzahl von zeitlich aufeinanderfolgenden Punkten entlang einer dominanten Orientierung, ausgehend von einem Startpunkt, der Schwerpunkt und die durch den 45 Schwerpunkt verlaufende Hauptachse für eine lokal abgegrenzte Punktemenge ermittelt werden, worauf für eine neue lokal abgegrenzte Punktmenge ein neuer, auf der Hauptachse liegender Startpunkt gewählt und wiederum der Schwerpunkt und die durch den Schwerpunkt verlaufende Hauptachse ermittelt werden und die iterativ ermittelten Schwerpunkte als Kurvenstützpunkte eines Trajektoriensegments angesehen werden. 50
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für die Ermittlung der einzelnen Trajektoriensegmente von einer Anzahl in einem vorgegebenen Zeitabschnitt liegender Punkte ausgegangen wird, und dass für die Ermittlung von weiteren, allenfalls anschließenden Trajektoriensegmente in einem folgenden Berechnungsschritt eine 55 im zeitlichen Endbereich des vorangehenden Zeitabschnittes liegende Teilmenge der 6 AT 502 516 B1 Punkte herangezogen und diese Teilmenge mit der in dem unmittelbar folgenden Zeitabschnitt liegenden Punktmenge ergänzt wird.
6. 6. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren 5 Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 5 durch zuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Hiezu 3 Blatt Zeichnungen 10 15 20 25 30 35 40 45 50 55