-
Die
Erfindung betrifft ein Verfahren zur Objektdetektion auf Bildpunktebene
in digitalen Bildsequenzen.
-
Leistungsfähige Geräte der Video-
und Computertechnik ermöglichen
den Einsatz digitaler Bildverarbeitung in nahezu allen wissenschaftlichen
Bereichen und Ingenieurdisziplinen. Dabei ist eine häufig gestellte
Aufgabe die Erkennung von Objekten. Bei der Objektdetektion werden üblicherweise
in einem ersten Schritt interessierende Objekte von anderen Objekten
und dem Bildhintergrund separiert. Dazu werden mittels Bildverarbeitungsverfahren Merkmale
aus Bildern segmentiert. Anschließend werden die segmentierten
Merkmale in einem weiteren Schritt mittels Klassifikationsverfahren
erkannt und eindeutig einer Objektklasse zugeordnet. Die Detektion
bewegter Objekte wird oft durch das Verfolgen vorher segmentierter
Objekte oder Objektteile möglich.
In diesen Fällen
hängt die
Leistungsfähigkeit
eines Verfahrens zur Detektion schnell bewegter Objekte im Wesentlichen
von der Qualität
der Segmentierung ab. Gerade bei räumlich eng benachbarten Objekten
treten im Zusammenhang mit der Segmentierung aber häufig Probleme
auf. Die Objekterkennung wird beispielsweise bei der Qualitätskontrolle
für industrielle
Zwecke mit großem
Erfolg eingesetzt. Gleichermaßen
eignet sich die Objekterkennung mittels digitaler Bildverarbeitung
auch beim Einsatz zur Umgebungserfassung in Fahrzeugen oder anderen
mobilen Systemen.
-
Aus
dem Stand der Technik sind Verfahren zur Stereobildanalyse bekannt.
Hierbei wird durch Analyse eines Bildpaares einer kalibrierten Stereokameraanordnung
die 3D-Position
relevanter Bildpunkte bestimmt. Beispielsweise wird in "Real-time Stereo Vision
for Urban Traffic Scene Understanding, U. Franke, IEEE Conference
on intelligent Vehicles 2000, Oktober 2000, Dearborn" ein derartiges Verfahren
zur Stereobildanalyse beschrieben, wobei zunächst mittels Interestoperator
Bildpunkte bestimmt werden, an denen die Stereodisparität gut gemessen werden
kann. Anschließend
wird sodann ein hierarchisches Korrelationsverfahren angewandt,
um die Disparität
zu messen und damit die 3D-Position
relevanter Bildpunkte zu bestimmen. Mit einem derartigen Bildanalyseverfahren
können
Objekte vom Hintergrund unterschieden werden, indem benachbarte Bildpunkte
mit gleichem Abstand zum Bildsensor zu einem Objekt zusammengefasst
werden. Auch ist es bekannt, die Genauigkeit von 3D-Messungen mittels einer
Stereobildanalyse zu verbessern, indem die zu betrachtenden Bildpunkte über die
Zeit nachverfolgt werden. Ein Verfahren zum Nachverfolgen von Bildpunkten
in Bildszenen ist beispielsweise aus "Dynamic Stereo with Self-Calibration,
A. Tirumalai, B.G. Schunk, R.C. Jain, IEEE Trans. on Pattern Analysis and
Machine Intelligence, Vol.14 No.12, December 1992, pp.1184–1189" bekannt, wobei nach
einer speziellen Initialisierungsphase die Position statischer Bildpunkte
mit erhöhter
Genauigkeit ermittelt werden.
-
Aus
dem Stand der Technik sind weiterhin Verfahren zur Bildgestützten Objektdetektion
bekannt, bei welchen lediglich Informationen über die 3D-Position einfließen, wobei
nach einer initialen Segmentierung potenzielle Objekte in der Form
einer Entität
nachverfolgt und deren Bewegungsparameter anhand eines Kalman-Filters
bestimmt werden. Beispielsweise wird in der
US 6677941 B2 ein System zum
dreidimensionalen relativen Nachverfolgen und Positionieren im Zusammenhang
mit unbemannten Micro-Raumtransportern zum Andocken an Satellitenmodule
vorgestellt. Hierbei werden mittels eines Laserbildsensors Umgebungsinformationen
in der Form von Entfernungswerten und Grauwerten erfasst. Die erfassten
Umgebungsinformationen werden sodann mittels Bildverarbeitungsverfahren
wie z.B. Korrelationsverfahren, Subpixel-Tracking, Brennweitenbestimmung,
Kalman-Filterung und Orientierungsbestimmung ausgewertet, um damit
die relative 3D-Position und Orientierung eines Zielobjektes zu
bestimmen. Da ein Zielobjekt durch mehrere Marken beschrieben sein
kann, genügt
es hierbei die das Objekt beschreibenden Marken nachzuverfolgen.
Somit wird es selbst bei großen
Zielobjekten möglich,
dass diese mit nur einem Sensor sicher zu detektieren sind.
-
Der
Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren
zur Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
anzugeben.
-
Die
Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
-
Gemäß der Erfindung
wird ein Verfahren zur Objektdetektion auf Bildpunktebene in digitalen
Bildsequenzen vorgeschlagen. Bei dem Verfahren wird in einer erfinderischen
Weise innerhalb einer ersten Bildaufnahme die 2D-Position relevanter
Bildpunkte ermittelt und zu jedem relevanten Bildpunkt ein zugehöriger Entfernungswert
bestimmt. Diese Bildpunkte werden in wenigstens einer zweiten Bildaufnahme nachverfolgt
und lokalisiert, wobei zu jedem der Bildpunkte erneut die 2D-Position
oder die Verschiebung des Bildpunktes sowie der zugehörige Entfernungswert
bestimmt werden. Zudem werden mittels wenigstens eines geeigneten
Filters die Position und Bewegung relevanter Bildpunkte ermittelt.
Schließlich
werden unter vorgegebenen Bedingungen relevante Bildpunkte sodann
zu Objekten zusammengefasst. Das erfindungsgemäße Verfahren liefert aufgrund
der Fusion von räumlicher
und zeitlicher Information zu jedem betrachteten Bildpunkt eine
genaue 3D-Position sowie die dazugehörige 3D-Bewegungsrichtung. Damit kann der Verarbeitungsaufwand
gegenüber
den aus dem Stand der Technik bekannten Segmentierverfahren, welche
eine aufwändige
Vorverarbeitung erfordern, deutlich vereinfacht werden, wodurch
eine schnelle und robuste Detektion bewegter Objekte selbst bei
schwierigen geometrischen Konstellationen möglich ist. Hierbei werden keine
zusätzlichen,
fehleranfälligen
Auswertestufen wie z.B. Klassifikatoren benötigt. Mit dem erfindungsgemäßen Verfahren
wird der wesentliche Vorteil erzielt, dass sich damit auf sehr einfache
Weise stationäre Bildinhalte
von bewegten Bildinhalten auf der Bildpunktebene voneinander trennen
lassen. Insbesondere kann gezielt nach Bildpunktgruppen und Objekten
mit bestimmten Bewegungsrichtungen und Geschwindigkeiten anhand
der Bildpunktebene gesucht werden. Dabei können sogar eng benachbarte
Objekte gut voneinander unterschieden werden, insbesondere auch
an den seitlichen Bildrändern,
wo üblicherweise
aufgrund der Eigenbewegung selbst bei direkt aufeinander folgenden
Bildaufnahmen bereits starke Änderungen
an den Bildinhalten auftreten. Beispielsweise kann ein Fußgänger oder
Fahrradfahrer der sich dicht vor einem stationären Objekt bewegt, z.B. vor
einer Hauswand, mit dem erfindungsgemäßen Verfahren auf zuverlässige Weise
detektiert und davon unterschieden werden. Wohingegen die aus dem
Stand der Technik bekannten rein auf einem Stereoansatz basierenden
Verfahren diese zumindest bei größeren Entfernungen
nicht voneinander trennen kann.
-
Im
Zusammenhang mit der Erfindung werden unter relevanten Bildpunkten
diejenigen Bildpunkte verstanden, welche sich für eine Nachverfolgung in wenigstens
zwei oder mehr aufeinander folgenden Bildaufnahmen einer Bildsequenz
eignen, z.B. einen bestimmten Kontrast aufweisen. Zur Auswahl relevanter
Bildpunkte eignet sich beispielsweise das in "Detection and Tracking of Point Features, School
of Computer Science, Carnegie Mellon University, Pittsburg, PA,
April 1991 (CMU-CS-91-132)" beschriebene
Verfahren. Zu diesen relevanten Bildpunkten wird eine 3D-Positionsbestimmung
durchgeführt,
daher ist es weiterhin von Vorteil, falls sich anhand dieser relevanten
Bildpunkte auch die Stereodisparität gut bestimmen lässt. Nach
der Bestimmung der 3D-Position werden relevante Bildpunkte anschließend nachverfolgt
und im nächsten
Bild lokalisiert. Hierbei muss es sich nicht notwendigerweise um
eine sich der ersten Bildaufnahme direkt anschließende Bildaufnahme
handeln. Zum Nachverfolgen eignet sich beispielsweise der in der
o.g. Schrift gezeigte "KLT-Tracker". Mit einer erneuten stereoskopischen
3D-Positionsbestimmung
schließt sich
sodann der Kreis, wobei das Verfahren in gleicher Weise fortgeführt wird.
-
In
einer besonders gewinnbringenden Weise der Erfindung wird die Eigenbewegung
des Bildsensors bei der Ermittlung von Position und Bewegung relevanter
Bildpunkte berücksichtigt.
Hierdurch wird es möglich,
selbst bei einem bewegten Bildsensor Objekte zuverlässig zu
detektieren. Bei den zu detektierenden Objekten kann es sich hierbei
sowohl um stationäre
als auch um bewegte Objekte handeln. Die im Rahmen der Objektdetektion
erfassten Positionen und Bewegungen relevanter Bildpunkte können dabei
auf ortsfeste Koordinaten oder aber auf das mitbewegte Koordinatensystem
eines beweglichen Bildsensors, welcher z.B. an einem Fahrzeug angeordnet
ist, bezogen sein.
-
In
vorteilhafter Weise wird die Eigenbewegung des Bildsensors dabei
anhand der Bildaufnahmen und/oder mittels Inertialsensorik bestimmt.
Beispielsweise ist in modernen Fahrzeugen bereits Inertialsensorik
verbaut, welche die Bewegung, Neigung, Beschleunigung, Drehrate
usw. erfassen. Diese die Eigenbewegung des Fahrzeugs und damit auch
die eines mit dem Fahrzeug verbundenen Bildsensors beschreibenden
Messgrößen werden
z.B. über
das Fahrzeugbussystem zur Verfügung
gestellt. Bei der Bestimmung der Eigenbewegung des Bildsensors anhand
von Bildaufnahmen werden im Gegensatz hierzu Bildpunkte in den Bildaufnahmen
hinreichend lange nachverfolgt und dahingehend geprüft, ob diese
sich in Ruhe befinden und sich nicht bewegen. Anhand ausgesuchter
unbewegter Bildpunkte kann sodann mittels geeigneter Bildauswerteverfahren
die Eigenbewegung des Fahrzeugs bzw. des Bildsensors bestimmt werden.
Ein derartiges zur Bestimmung der Eigenbewegung geeignetes Verfahren
ist beispielsweise in "A.
Mallet, S. Lacroix, L. Gallo, Position estimation in outdoor environments
using Pixel tracking and stereovision, Proc. IEEE Int. Conference on
Robotics and Automation, Vol.4, pp. 3519–3524, 24–28, Apr. 2000" beschrieben.
-
In
einer weiteren vorteilhaften Weise der Erfindung ist der wenigstens
eine Filter zur Ermittlung von Position und Bewegung relevanter
Bildpunkte ein Kalman-Filter. Bei dem erfindungsgemäßen Verfahren
wird jedem nachverfolgten relevanten Bildpunkt ein Kalmanfilter
mit einem Zustandsvektor [x y z vx vy vz] zugeordnet. Die Größen x, y
und z beschreiben dabei die Raumposition des Bildpunktes z.B. in
einem mitbewegten fahrzeugfesten Koordinatensystem. Die Größen vx,
vy und vz kennzeichnen dabei die Geschwindigkeit in der jeweiligen
Raumrichtung. Obwohl nur die die Raumposition beschreibenden Eintragungen
x, y und z des Zustandvektors direkt messbar sind, wird es unter
Verwendung von Modellannahmen mit dem Kalman-Filter möglich, alle 6
Werte des Zustandsvektors zu bestimmen. Somit können unter Verwendung eines
Kalman-Filters relevante Bildpunkte anhand von zwei oder mehr Bildaufnahmen
auf zuverlässige
Weise nachverfolgt und deren Raumposition sowie deren Bewegungsrichtung und
Bewegungsgeschwindigkeit bestimmt werden. Mit anderen Worten ausgedrückt, wird
mittels des Kalman-Filters die räumliche
und zeitliche Information integriert, wodurch eine zuverlässige Detektion schnell
bewegter Objekte erst möglich
wird. In der Diplomarbeit "Detektion
von Hindernissen vor Fahrzeugen durch Bewegungsanalyse, C. Rabe,
Fachhochschule Würzburg-Schweinfurt, Fachbereich
Informatik und Wirtschaftsinformatik, Februar 2005" werden die im Zusammenhang
mit einem derartigen auf Kalman-Filtern basierendem Mehrfiltersystem
zur Fahzeugumgebungsanalyse erforderlichen mathematischen Berechnungen
detailliert aufgezeigt.
-
Als
besonders vorteilhaft hat es sich im Zusammenhang mit dem erfindungsgemäßen Verfahren
dabei erwiesen, dass jedem relevanten Bildpunkt nicht nur ein Filter
sondern mehrere Filter bei der Ermittlung derer Position und Bewegung
herangezogen werden. Für
den Fall, dass mehrere Filter zur Ermittlung von Position und Bewegung
relevanter Bildpunkte herangezogen werden, werden in gewinnbringender
Weise entweder verschiedene Bewegungsmodelle oder ein Bewegungsmodell
mit unterschiedlichen Initialisierungen und/oder Parametrisierungen zu
Grunde gelegt. Die Initialisierung der Filter unterscheidet sich
dabei vorzugsweise hinsichtlich der Bewegungsrichtung und dem Geschwindigkeitsbetrag. Beispielsweise
kann ein Filter von der Hypothese ausgehen, dass der zu betrachtende
relevante Bildpunkt sich in Ruhe befindet und nicht bewegt. Ein weiteres
Filter kann währenddessen
von einem bewegten Bildpunkt ausgehen. Hierbei können insbesondere im Kontext
der jeweiligen Anwendung weitere Annahmen getroffen werden. Beispielsweise
kann im Zusammenhang mit einer Fahrzeuganwendung ein Filter von
der Hypothese ausgehen, dass der zu betrachtende Bildpunkt einen
Teil eines mit hoher Relativgeschwindigkeit entgegenkommenden Fahrzeugs
repräsentiert,
wobei ein weiteres Filter von der Hypothese ausgeht, dass es sich
bei dem Bildpunkt um einen Bildpunkt handelt, welcher einen Teil
eines mit ähnlicher
Geschwindigkeit vorausfahrenden Fahrzeugs handelt. Unter Berücksichtigung
der Innovationsfehler der einzelnen Filter kann bereits nach wenigen
Bildzyklen eine Entscheidung darüber
getroffen werden, ob eine Hypothese zutrifft oder nicht.
-
Weiterhin
ist es von großem
Vorteil, falls das Ergebnis der einzelnen Filter zu einem Gesamtergebnis
der Filterung fusioniert wird. Beispielsweise können unterschiedliche Filter
dadurch fusioniert werden, indem die Einzelergebnisse als gewichteter Mittelwert
zu einem Gesamtergebnis zusammengefasst werden. Damit erhält man im
Gegensatz zu Ein-Filter-Systemen sehr viel schneller eine Konvergenz
zwischen geschätzten
Werten und dem tatsächlichen
Wert, was insbesondere bei Echtzeitanwendungen wie beispielsweise
bei einer Kollisionsvermeidung von besonders großem Vorteil ist. Dabei besteht
die Möglichkeit,
dass das Gesamtergebnis der Filterung in einer weiteren gewinnbringenden Weise
auf die Eingänge
der Einzelfilter rückgekoppelt wird.
Das Gesamtergebnis nimmt hierbei insbesondere auf die Parametereinstellungen
der einzelnen Filter Einfluss und wirkt sich daher auch in gewinnbringender
Weise auf die künftige
Bestimmung von Position und Bewegung relevanter Bildpunkte aus.
-
Der
zu einem Bildpunkt zugehörige
Entfernungswert wird in einer gewinnbringenden Weise anhand von
Bildaufnahmen und/oder mittels entfernungsauflösender Sensorik bestimmt. Beispielsweise
kann die zu einem Bildpunkt zugehörige Entfernung mittels eines
Verfahrens zur Stereobildanalyse bestimmt werden. Hierbei wird durch
Analyse eines Bildpaares einer kalibrierten Stereokameraanordnung
die 3D-Position relevanter Bildpunkte bestimmt. Alternativ oder
zusätzlich
besteht aber auch die Möglichkeit
den zu einem Bildpunkt zugehörigen
Entfernungswert mittels einem geeigneten entfernungsauflösenden Sensor
zu bestimmen. Hierbei kann es sich beispielsweise um einen zusätzlichen
punktförmigen Lasersensor
handeln, welcher direkt Abstandswerte zu einem bestimmten Objektpunkt
liefert. Auch sind aus dem Stand der Technik z.B. Laserscanner oder Entfernungsbildkameras
bekannt, welche zu jedem Bildpunkt einen Tiefwert liefern.
-
Im
Zusammenhang mit der Erfindung werden vorzugsweise diejenigen Bildpunkte
zu Objekten zusammengefasst welche ähnliche Zustandsvektoren aufweisen,
wobei beispielsweise Schranken für die
maximale zulässige
Abweichung einzelner oder mehrerer Elemente des Zustandsvektors
vorgegeben sind. In einer gewinnbringenden Weise werden dabei nur
diejenigen relevanten Bildpunkte zu Objekten zusammengefasst, welche
vorgegebene Bedingungen hinsichtlich deren Position und/oder Bewegung
erfüllen
und/oder ein bestimmtes Mindestalter aufweisen. Beispielsweise kann
die Objektdetektion nur auf bestimmte Bildbereiche eingeschränkt sein, z.B.
kann die Objektdetektion im Zusammenhang mit Fahrzeuganwendungen
auf bestimmte Fahrspuren eingegrenzt sein. Dabei ist es weiterhin
denkbar, dass nur diejenigen relevanten Bildpunkte zu Objekten zusammengefasst
werden, welche eine bestimmte Bewegungsrichtung aufweisen. Beispielsweise
besteht die Möglichkeit,
dass bei einer Anwendung bei der dem Fahrer die auf die eigene Fahrspur
ein oder ausscherenden Fahrzeuge angezeigt werden sollen auch nur
diejenigen Bildpunkte zu Objekten zusammengefasst werden, welche
unter Beachtung bestimmter Toleranzen eine diagonale Bewegungsrichtung
aufweisen. Weiterhin ist es denkbar, dass nur solche Bildpunkte
zu Objekten zusammengefasst werden, welche ein bestimmtes Mindestalter
aufweisen. Beispielsweise kann ein Mindestalter von 5 Bildzyklen
gefordert sein, um damit diejenigen Bildpunkte von der Objektdetektion
auszuschließen,
welche aufgrund von Rauschen bestimmte Eigenschaften hinsichtlich
ihrer Position und Bewegung aufweisen. Im Rahmen der Zusammenfassung
von relevanten Bildpunkten zu Objekten besteht auch die Möglichkeit,
dass eine beliebige Kombination der o.g. Kriterien herangezogen
wird.
-
Auch
ist es von großem
Vorteil, falls bereits zusammengefasste Objekte weiterhin in Bildaufnahmen
mittels Filter nachverfolgt werden. Verfahren, welche nach einer
initialen Segmentierung die 3D-Position potenzieller Objekte als
Entität
nachverfolgen sind aus dem Stand der Technik bereits bekannt und
basieren vorzugsweise auf einfachen Kalman-Filter. Dieses Nachverfolgen
von bereits zusammengefassten Bildpunkten zu Objekten wird auch
im Zusammenhang mit dem erfindungsgemäßen Verfahren genutzt. Damit
können
einerseits sehr zuverlässige
Segmentierungen generiert werden und andererseits sehr gute Initialschätzungen
von Objektbewegungen vorgenommen werden. In einer gewinnbringenden
Weise werden zur Initialisierung der Filterung die Positionen und
Bewegungen, insbesondere die Zustandsvektoren zusammengefasster
Bildpunkte genutzt werden. Wohingegen zum Nachverfolgen von Objekten
vorzugsweise die kontinuierlich ermittelten Positionen und Bewegungen
einzelner Bildpunkte genutzt werden.
-
Das
erfindungsgemäße Verfahren
zur Objektdetektion auf Bildpunktebene kann beispielsweise im Zusammenhang
mit Fahrerassistenzsystemen eingesetzt werden. Es sind bereits etliche
Anwendungen für
Fahrerassistenzsysteme bekannt, welche auf einer Bildgestützten Objektdetektion
basieren. Beispielsweise sind Systeme zur Verkehrszeichenerkennung,
zum Einparken, zur Spurhaltung usw. bekannt. Da sich das erfindungsgemäße Verfahren
insbesondere durch seine Schnelligkeit und Robustheit hinsichtlich
der Detektionsergebnisse auszeichnet, bietet es sich dabei vor allem
im Zusammenhang mit einem Einsatz zur Kollisionserkennung bzw. Kollisionsvermeidung
an. Der Fahrer kann dadurch rechtzeitig auf plötzlich herannahende Verkehrsteilnehmer aufmerksam
gemacht werden oder es kann z.B. aktiv in die Fahrzeugdynamik eingegriffen.
-
Auch
lässt sich
das erfindungsgemäße Verfahren
zur Objektdetektion auf Bildpunktebene im Zusammenhang mit Robotersystemen
einsetzen. Künftige
Roboter werden mit bildgebenden Sensoren ausgerüstet sein. Dabei kann es sich
beispielsweise um autonome Transportsysteme, welche an Ihrem Einsatzort
frei navigieren oder um stationäre
Roboter handeln. Das erfindungsgemäße Verfahren kann in diesem
Zusammenhang beispielsweise zur Kollisionserkennung oder zur Kollisionsvermeidung
genutzt werden. Es ist aber auch denkbar, dass das Verfahren in
Verbindung mit einem Roboter zum sicheren Greifen bewegter Objekte
eingesetzt wird. Bei den bewegten Objekten kann es sich hierbei
z.B. um bewegte Werkstücke
oder um einen Menschen handeln, dem der Roboter assistiert.