DE10358770A1

DE10358770A1 - Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern

Info

Publication number: DE10358770A1
Application number: DE10358770A
Authority: DE
Inventors: Lars Dipl.-Inform. Krüger; Christian Dr.rer.nat. Wöhler; Martin Dipl.-Phys. Wendler
Original assignee: DaimlerChrysler AG; Pilz GmbH and Co KG
Current assignee: Pilz GmbH and Co KG; Mercedes Benz Group AG
Priority date: 2002-12-18
Filing date: 2003-12-12
Publication date: 2004-08-12

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern, das folgende Schritte umfasst: synchrone Aufnahme einer Szene mit einer Vielzahl von Kameras; Segmentierung der Bilder der Szene und Ermittlung der Objektkonturen der Bilder im zweidimensionalen Bildraum; Berechnung einer initialen Parametrisierung der räumlichen Kurve der Objektkonturen der Bilder und Ermittlung einer optimalen Parametrisierung der räumlichen Snake-Funktion. Die synchrone Aufnahme einer Szene im Stereoverfahren kann mittels zwei Kameras erfolgen.

Description

Die vorliegende Erfindung betrifft allgemein ein Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern. Darüber hinaus betrifft die vorliegende Erfindung ein Verfahren zur Bestimmung der räumlichen Koordinaten der Kontur von Objekten, die sich im gemeinsamen Bildfeld mehrerer Kameras befinden.
Stand der Technik
Aus der US-2002/0102023 A1 ist ein Verfahren bekannt, das eine Einheit zur Bestimmung von Konturen aus Ultraschallbildern umfasst. Im Rahmen dieser Einheit werden eine erste Einheit zur Bestimmung von rohen Konturen eines Ultraschallbildes mittels eines vorgegebenen Vorgangs (wie beispielsweise Ausgleich, Binarisierung/Digitalisierung oder Degenerierung) und eine zweite Einheit zur dynamischen Ermittlung von Konturen, bereitgestellt. Die zweite Einheit liefert ausgehend von den rohen Konturen der ersten Einheit und mittels eines aktiven Modells, wie beispielsweise einem Snake-Modell, eine exakte Kontur des Ultraschallbildes. Snake-Modelle sind unter anderem aus der Veröffentlichung von K. R. Castleman, Digital Image Processing, Prentice Hall, Englewood Cliffs, NJ, 1996, bekannt, deren Inhalt durch die Bezugnahme hierin eingeschlossen ist.
Das Verfahren gemäß der US-2002/0102023 A1 arbeitet jedoch nicht mit einer ausreichender Genauigkeit und ist nicht für die Verarbeitung von synchron aufgenommenen Bildern zur Bestimmung räumlicher Objektkonturen der Bilder geeignet. Darüber hinaus liefert das Verfahren gemäß der US-2002/0102023 A1 keine zufriedenstellenden Ergebnisse zur Bestimmung der räumlichen Koordinaten der Kontur von Objekten, die sich im gemeinsamen Bildfeld mehrerer Kameras befinden.
Daher besteht eine Aufgabe der vorliegenden Erfindung in der Bereitstellung eines Verfahrens, das die Nachteile aus dem Stand der Technik beseitigt und das für die Verarbeitung von synchron aufgenommenen Bildern zur Bestimmung von Objektkonturen geeignet ist.
Eine weitere spezielle Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung eines Stereo-Verfahrens, das in der Lage ist, die räumlichen Koordinaten der Kontur von Objekten, die sich im gemeinsamen Bildfeld von synchron arbeitenden Kamera-Paaren befinden.
Diese und weitere der nachstehenden Beschreibung zu entnehmenden Aufgaben werden von einem Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern nach den anliegenden Ansprüchen gelöst.
Weitere Merkmale und Vorteile der vorliegenden Erfindung sowie die Wirkungsweise verschiedener Ausführungsformen der vorliegenden Erfindung werden unten mit Bezug auf die begleitenden Zeichnungen beschrieben. Die begleitenden Zeichnungen veranschaulichen die vorliegende Erfindung und dienen zusammen mit der Beschreibung weiterhin dazu, die Grundsätze der Erfindung zu erklären und einem Fachmann auf dem betreffenden Gebiet zu ermöglichen, die Erfindung herzustellen und zu verwenden. Dabei zeigt:
1 das Ausgangsbild eines Kamerapaares, das das im erfindungsgemäßen Verfahren verarbeitete Bild aufzeichnet;
2 die Ergebnisse des Segmentierungsschritts der vorliegenden Erfindung, der am Ausgangsbild der 1 durchgeführt wird.
3 die erfindungsgemäße Ermittlung der dreidimensionalen Höhenkonturen ausgehend von dem segmentierten Bild der 2.
Beschreibung der bevorzugten Ausführungsformen der Erfindung
Erfindungsgemäß wird ein Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern bereitgestellt, das folgende Schritte umfasst:
1. Synchrone Aufnahme der Szene mit einer Vielzahl von Kameras. In der nachstehenden Beschreibung wird die Anzahl der Kameras mit K bezeichnet, wobei K eine ganze Zahl größer oder gleich 2 ist.
Die synchrone Aufnahme einer Szene mittels Stereoverfahren ist aus dem Stand der Technik wohl bekannt, wie unter anderem von U. Franke, I. Kutzbach in Fast Stereo based Object Detection for Stop&Go Traffic, Intelligent Vehicles Symposium, S. 339-344, Tokio, 1996 und von U. Franke, A. Joos. in Real-time Stereo Vision for Urban Traffic Scene Understanding IEEE Intelligent Vehicles Symposium, 2000 beschrieben. Dabei wird durch die Stereoaufzeichnung einer dynamischen Szene möglich, Tiefeninformation zu gewinnen, die die Objekterfassung in einer Telematikanwendung beträchtlich vereinfacht. Die Inhalte der vorstehenden Veröffentlichungen werden hierin durch die in Bezugnahme eingeschlossen. Ein mögliches Ergebnis einer synchronen Aufnahme einer Szene mit zwei Kameras (Stereoverfahren) ist in der 1 der vorliegenden Erfindung dargestellt.
2. Segmentierung der Bilder und Ermittlung der Objektkonturen im zweidimensionalen Bildraum.
Die Segmentierung der Bilder erfolgt erfindungsgemäß z. B. durch Binarisierung oder Mehrschwellen-Verfahren, die Farb-Graustufen-, Textur- oder andere diskrete Informationen verwenden. Binarisierung erfordert weniger Rechenaufwand, wohingegen Mehrschwellen-Verfahren ein erhöhtes Volumen an Information liefern.
Die Ermittlung der Objektkonturen im zweidimensionalen Bildraum erfolgt entsprechend der Binarisierung oder dem Mehrschwellen-Verfahren durch BCC-Verfahren (BCC = binary connected component) bzw. CCC-Verfahren (CCC = colored connected component).
Weitere Einzelheiten zur Segmentierung insbesondere zu den BCC- und CCC-Algorithmen werden bei E. Mandler, M. Oberländer in der Veröffentlichung One Pass Encoding of Connected Components in Multi-Valued Images. IEEE Int. Conf. on Pattern Recognition, S. 64-69, Atlantic City, 1990 aufgezeigt, deren Inhalt ebenfalls durch die in Bezugnahme hierin eingeschlossen wird.
Das Ergebnis der Segmentierung des Zweikamera-Bildes der 1 ist in der 2 dargestellt.
3. Berechnung einer initialen räumlichen Kurve.
Bei diesem Berechnungsschritt werden ausgehend von den korrespondierenden Punkten auf den zweidimensionalen Konturen in den einzelnen Bildern räumliche Koordinaten für die Korrespondenzpunkte ermittelt.
Im Spezialfall von K = 2 (Stereo-Bildanalyse) kann eine Disparität unter Berücksichtigung der Kalibrierdaten des Kamera-Paares (z. B. Epipolargeometrie) direkt in räumliche Koordinaten umgerechnet werden. Unter Ausnutzung der topologischen Nachbarschaftsbeziehungen in den Bildern kann durch Regression eine räumliche Kurve an die Menge der so erhaltenen Korrespondenzpunkte angepasst werden.
Die 3 zeigt die Ermittlung der dreidimensionalen Höhenkonturen nach dem erfindungsgemäßen Schritt 3. im Spezialfall von K = 2 (Stereo-Bildanalyse). Darin erscheinen die dreidimensionalen Höhenkonturen nach einer Segmentierung, einer Konturanalyse durch glatte Funktionen, z. B. B-Splines, und nach der Bestimmung der Disparität auf korrespondierenden Konturpunkten. Im konkreten Beispiel der 3 ist D_kopf > D_boden.
4. Ermittlung einer optimalen Parametrisierung der räumlichen Kurve.
Nach einem Aspekt der vorliegenden Erfindung wird vorgeschlagen – unter Verwendung eines geeigneten Optimierungsverfahrens (z. B. Simplex, Gradientenabstieg) – das Minimum einer Zielfunktion der folgenden Form zu suchen:
Hierbei bedeutet
|| ... || eine geeignet definierte Norm, z. B. die euklidische Norm;
K die Anzahl der Kameras. Wie erläutert, ist K eine ganze Zahl, die größer gleich 2 ist;
N die Anzahl der Parameter der räumlichen Kurve;
I_k das aktuelle Bild der k-ten Kamera,
h(x) die Segmentierung bzw. allgemein die Vorverarbeitung;
g({x}) die Transformation der Projektion der räumlichen Kurve in den Wertebereich der Vorverarbeitungsfunktion h(x),
P_k die Projektionsmatrix von Kamera k,
T_k die Transformation vom Weltkoordinatensystem in das Koordinatensystem von Kamera k (z.B. Transformation mittels Lochkameramodell;
w({x}) die Formerhaltungsfunktion der räumlichen Kurve ("Strafterme"), die die an die räumliche Kurve gestellten Randbedingungen beschreibt. Dieser Term kann auch zu Null gesetzt werden.
Beispiele für eine projektive Abbildung werden von 0. Faugeras. in der Veröffentlichung Three-Dimensional Computer Vision, MIT Press, 1993 geschildert, deren Inhalt durch die in Bezugnahme ebenfalls hierin eingeschlossen wird.
Die vorliegende Erfindung erfüllt die gestellten Aufgaben und stellt ein vorteilhaftes Verfahren zur Verfügung, das die Gewinnung räumlicher Koordinaten der Konturpunkte, die zueinander in topologischer Beziehung stehen, gestattet. Die räum lichen Kuven sind direkt den segmentierten Objekten in der Szene zugeordnet.
Darüber hinaus erfordert das erfindungsgemäße Verfahren einen geringen Rechenaufwand, da die Korrespondenzen nur auf Merkmalsebene (nach der Segmentierung) ermittelt zu werden brauchen. Dieses bietet besondere Vorteile in Telematik-Anwendungen.
Das erfindungsgemäße Verfahren stellt grundlegend ein anderes Funktionsprinzip als die "klassische" korrelationsbasierte Stereo-Bildanalyse zur Verfügung, wodurch die Einsatzmöglichkeit in sicherheitstechnisch relevanten Erkennungssystemen, z. B. als diversitärer Ansatz gemeinsam mit "klassischer" Stereo-Bildanalyse geeignet ist.

Claims

Verfahren zur Bestimmung räumlicher Objektkonturen anhand von synchron aufgenommenen Bildern, das folgende Schritte umfasst: synchrone Aufnahme einer Szene mit einer Vielzahl von Kameras; Segmentierung der Bilder der Szene und Ermittlung der Objektkonturen der Bilder im zweidimensionalen Bildraum; Berechnung einer initialen räumlichen Kurve, die die Objektkonturen in den Bildern beschreibt; und Ermittlung einer optimalen Kurve.
Verfahren nach Anspruch 1, wobei die synchrone Aufnahme einer Szene im Stereoverfahren mittels zwei Kameras erfolgt.
Verfahren nach Anspruch 1 oder 2, wobei die Segmentierung der Bilder durch Binarisierung oder Mehrschwellen-Verfahren erfolgt.
Verfahren nach Anspruch 3, wobei die Ermittlung der Objektkonturen im zweidimensionalen Bildraum entsprechend der Binarisierung oder dem Mehrschwellen-Verfahren durch BCC-Verfahren bzw. CCC-Verfahren erfolgt.
Verfahren nach einem oder mehreren der Ansprüche 1– 4, wobei die Berechnung der initialen räumlichen Kurve, die die Objektkonturen in den Bildern beschreibt, von korrespondierenden Punkten auf den zweidimensionalen Konturen in den einzelnen Bildern ausgeht, wobei räumliche Koordinaten für die Korrespondenzpunkte ermittelt werden.
Verfahren nach einem oder mehreren der Ansprüche 2– 5, wobei eine Disparität unter Berücksichtigung der Kalibrierdaten des Kamera-Paares, insbesondere der Epipolargeometrie direkt in räumliche Koordinaten umgerechnet wird, um unter Ausnutzung der topologischen Nachbarschaftsbeziehungen in den Bildern durch Regression eine räumliche Kurve an die Menge der so erhaltenen Korrespondenzpunkte anzupassen.
Verfahren nach einem oder mehreren der Ansprüche 1– 6, wobei die Ermittlung der optimalen Parametrisierung der räumlichen Kurve die Bestimmung des Minimums der folgenden Zielfunktion umfasst:
worin || ... || eine geeignet definierte Norm ist, insbesondere die euklidische Norm ; K die Anzahl der Kameras darstellt, wobei K eine ganze Zahl größer oder gleich 2 ist; N die Anzahl der Parameter der räumlichen Kurve; I_k das aktuelle Bild der k-ten Kamera, h(x) die Segmentierung bzw. allgemein die Vorverarbeitung; g({x}) die Transformation der Projektion der räumlichen Kurve in den Wertebereich der Vorverarbeitungsfunktion h(x), P_k die Projektionsmatrix von Kamera k, T_k die Transformation vom Weltkoordinatensystem in das Koordinatensystem von Kamera k; w({x}) die Formerhaltungsfünktion der räumlichen Kurve, die die an die räumliche Kurve gestellten Randbedingungen beschreibt. Diese Term kann auch zu Null gesetzt werden.