DE10103870A1 - Verfahren zur Bilderkennung bei Kraftfahrzeugen - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Bilderkennung bei Kraftfahrzeugen, bei dem von einem Gegenstand ausgehende elektromagnetische Wellen von wenigstens einem Sensor sowohl bezüglich ihrer Intensität als auch bezüglich ihrer Richtung aufgenommen, ausgewertet und einer Bildmatrix übergeben werden. Von dem Sensor wird das ungestörte Originalbild des Gegenstandes und zusätzlich Reflexionswellen von dem Gegenstand, welche an der Karosserie reflektiert werden, im folgenden Spiegelbild genannt, aufgenommen. Anschließend wird das Spiegelbild und das Originalbild zur Auswertung herangezogen, wobei zuvor die Lage und die Geometrie der reflektierenden Fläche der Karosserie zu dem Sensor ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zur Bilderkennung bei Kraftfahrzeugen, bei dem von einem Gegenstand ausgehende elekt­ romagnetische Wellen von wenigstens einem Sensor sowohl bezüg­ lich ihrer Intensität als auch bezüglich ihrer Richtung aufge­ nommen, ausgewertet und einer Bildmatrix übergeben werden, wie es in der Industrie und insbesondere in der Automobilindustrie verwendet wird.

Aus dem Artikel Nayar S. K., 1988, Sphereo: Determining Depth u­ sing Two Specular Spheres and a Single Camera, In Proceedings of SPIE: Optics, Illumination, and Image Sensing for Machine Vision III, Vol. 1005., SPIE, Society of Photo-Optical Enginee­ ring, 245-254 ist ein Verfahren und eine Vorrichtung zur Ent­ fernungsmessung von Gegenständen bekannt, bei dem eine Kamera das Originalbild eines Gegenstandes sowie zwei Spiegelbilder des Gegenstandes, die an zwei spiegelnden Flächen reflektiert werden, aufnimmt. Mit diesen drei Bildern kann dann unter Zu­ hilfenahme eines mathematischen Algorithmus der Abstand des Ge­ genstandes bestimmt werden. Bei diesem Verfahren ist es wesent­ lich, daß die spiegelnden Flächen eine bestimmte Geometrie auf­ weisen. Ferner ist es unabdingbar, daß auch die örtlich Lage der spiegelnden Flächen sowohl hinsichtlich ihrer Entfernung und ihres Winkels bezüglich der Kamera als auch zueinander be­ kannt und immer gleichbleibend ist. Eine derartige Vorrichtung und damit das zugehörige Verfahren ist für eine Verwendung in einem Kraftfahrzeug und hierbei insbesondere einem Automobil allenfalls bedingt geeignet.

Des weiteren ist insbesondere im Bereich der Computer und Ro­ bottechnik eine Verfahren (Stereobildverarbeitung) bekannt, bei dem unter Zuhilfenahme zweier Kameras die Entfernung eines Ge­ genstandes bestimmt wird. Dabei geht die Basislinie, also die Entfernung der Kameras zueinander, in die Meßgenauigkeit ein. Aus diesem Blickwinkel wäre eine möglichst große Basislinie wünschenswert, was in einem Fahrzeug nur in engen Grenzen mög­ licht ist. Des weiteren muß um die Entfernung des Gegenstandes bestimmen zu können, muß das Objekt im linken Bild und im rech­ ten Bild eindeutig identifiziert werden. Die Wahrscheinlich­ keit, diese Korrespondenz korrekt zu finden, wird Matching ge­ nannt und nimmt mit wachsender Basislinie und damit wachsendem Blickwinkelunterschied ab. Es muß also eine Abwägung zwischen Meßgenauigkeit und Matching-Wahrscheinlichkeit vorgenommen wer­ den.

Darüber hinaus treten beim Zwei-Kamera-Stereo Probleme mit re­ petitiven Mustern auf. Lattenzäune, Alleenbäume oder Geländer, speziell wenn Teile des Musters für eine Kamera durch andere Objekte verdeckt sind, führen bei zwei Kameras zu falschem Mat­ ching und damit zu falschen Objektentfernungen. Verdeckungen treten durch die verschiedensten Objekte auf. Dies kann ein vo­ rausfahrendes Fahrzeug oder auch der Scheibenwischer sein, der den Blick einer Kamera gerade verdeckt.

Aufgabe der Erfindung ist es, ein Verfahren zur Entfernungsmes­ sung zur Verfügung zu stellen, daß bei möglichst geringen Kos­ ten zumindest einige der genannten Nachteile verringert, insbe­ sondere beseitigt.

Die Aufgabe wird durch ein Verfahren mit den Verfahrensschrit­ ten des Anspruch 1 gelöst. Da insbesondere eine in hoher Quali­ tät lackierte Motorhaube bei Kraftfahrzeugen quasi als Spiegel betrachtet werden kann, ist es möglich, die Spiegelung eines Gegenstandes auf der Motorhaube als Referenz zu betrachten. Die Wirkung ist hierbei mit dem Einsatz einer weiteren Kamera zu vergleichen, die direkt beobachtbare Gegenstände aus einem anderen Blickwinkel zeigt. Die Spiegelbilder können direkt den zu betrachteten Gegenständen zugeordnet werden. Durch die insbe­ sondere auch aus der Astronomie bekannten mathematischen Algo­ rithmen können diese Reflexionen perspektivisch richtig zu re­ konstruiert werden. Daher ist es möglich, ohne jeden weiteren Hardware-Aufwand, nur durch modellbasierte Berechnungen, insbe­ sondere Probleme der Stereokamera zu minimieren oder zu elimi­ nieren. Bei geeigneter Konfiguration kann mit einer Kamera Ste­ reobildverarbeitung betrieben werden, um andere Problemstellun­ gen in Monokamera-Anwendungen zu unterstützen. Die Rekonstruk­ tionsmöglichkeiten werden beispielsweise durch die Verschmut­ zung der Motorhaube eingeschränkt. Wenn die Bildqualität die Verarbeitung aber erlaubt, können die Probleme in der Stereo­ bildverarbeitung gelöst werden, da dann auch mit nur einer Ka­ mera Stereoberechnung betrieben werden kann bzw. eine Lösung für selektive Matching-Hypothesenauswahl bei repetitiven Mus­ tern möglich ist. Allerdings können die Bilder aus der Motor­ haubenspiegelung nicht komplett, sondern nur lokal perspekti­ visch rekonstruiert werden. Eine komplette Rekonstruktion ist nur möglich, wenn die Motorhaube eine einem Kegelschnitt ähnli­ che Oberfläche aufweist. Lokal kann eine solche Oberfläche ap­ proximiert werden. Trotz dieser Einschränkung ist durch die er­ findungsgemäße Erweiterung der Funktionalität in der Objektzu­ ordnung die Zuverlässigkeit der Entfernungsbestimmung wesent­ lich verbessert.

Weitere sinnvolle Ausgestaltungen sind den Unteransprüchen ent­ nehmbar. Im übrigen wird die Erfindung anhand eines in den Zeichnungen dargestellten Ausführungsbeispiels erläutert. Dabei zeigt

Fig. 1 eine Seitenansicht mit einer schematischen Darstellung eines Strahlengangs und

Fig. 2 ein Reflexionsbild des Strahlenganges nach Fig. 1 auf einer Motorhaube.

In Fig. 1 ist eine Seitenansicht mit einer schematischen Dar­ stellung eines Strahlengangs dargestellt, wie er bei einem er­ findungsgemäßen Verfahren bei einem Fahrzeug in einem Auge ei­ ner Kamera, insbesondere in einer Stereokamera, auftritt. Die Punkte B und A beschreiben einen zwei Gegenstände, von denen der Gegenstand A zumindest teilweise durch den Gegenstand B verdeckt ist; d. h. das Originalbild der Lichtwelle von A liegt bzgl. der betrachteten Kamera entlang der gleichen Linie wie der Strahls. Da die Kamera in ihrer Lage zur Motorhaube fest ist, ergeben sich allerdings für die von ihr beobachtbaren Spiegelbilder der Gegenstände A und B unterschiedliche Ort. Mit Kenntnis der Geometrie der Motorhaube kann das zumindest zu­ meist verzerrte Spiegelbild B' bspw. durch einen modifizierten Bildvergleich mit dem Gegenstand B identifiziert werden. Durch diese Identifizierung wiederum ist es möglich, daß der Gegens­ tand A von dem von ihm zumindest teilweise verdeckten Gegens­ tand B meßtechnisch getrennt werden kann. Aufgrund dieser Trennbarkeit und der Kenntnis des Abstands von der Kamera und den Spiegelbildern A' und B' sowie deren Winkellage zur Kamera ist es ferner möglich, den Abstand zwischen A und B und somit zu berechnen.

Wie schon erwähnt ist es bei der Bildverarbeitung sinnvoll, ei­ ne Methoden zur Darstellung verzerrter Bilder anzuwenden. Eine Methode, in der gezielt Bildverzerrungen eingesetzt werden, sind bspw. Anamorphoten in der korrektiven Optik und der Film­ technik. Jedes optische System mit verschiedenen Werten in den zwei Hauptschnitten bezeichnet man als anamorphotisch. Dies wird zumeist dazu verwendet, Astigmatismen zu korrigieren, wenn der Fehler nur in einem Meridian existiert.

Zur Rekonstruktion der Bilder sind einige Methoden denkbar, von denen einige beschrieben werden. Sinnvollerweise werden für die Rekonstruktion der Bilder einige Annahmen gemacht, die nachfol­ gend aufgeführt werden.

• 1. Die Motorhaube ist ein spekularer Reflektor.
  Bei der Reflexion können spekulare und diffuse Anteile un­ terschieden werden. Bei der Modellierung von Computergra­ phiken oder bei der Formbestimmung aus dem Schattenwurf hängt die Richtungsverteilung der reflektierten Strahlung von den relativen Positionen von Beobachter, Fläche und Lichtquelle ab. Diese Verteilung wird durch ein sogenanntes BRDF-Modell (Bi-directional Reflectance Distribution Func­ tion) beschrieben. Diese Funktionen wurden für die ver­ schiedenen Reflexionsmodelle ntwickelt. Da de glatte, glän­ zend lackierte Motorhaube eines der besten Lackteile am Au­ to ist und nur Rauhigkeiten im Mikrometerbereich aufweist, kann sie als spekularer Reflektor betrachtet. Dieser Um­ stand erlaubt die Behandlung der Abbildung durch die Strah­ lenoptik.
• 2. Die Kamera ist eine perspektivische Lochkamera.
  Aufgrund der technischen Anordnung und der verwendeten Ka­ meras kommt die Behandlung einer perspektivischen Abbildung in Frage. Zweckmäßigerweise sollte aufgrund der Lichtschwä­ che in der Realität keine Lochkamera eingesetzt werden. Al­ lerdings ist es durch die Korrektur der Linsenfehler mög­ lich, das verwendete System auf eine Lochkamera zurückzu­ führen.
• 3. Das Bild wird auf einer Ebene rekonstruiert.
  Diese ist die Rekonstruktionsfläche, die einer korrekten menschlichen Perspektive entspricht, und die zum verwende­ ten Lochkameramodell gehört.
• 4. Im Bereich zwischen Spiegel und Kamera sind keine Objekte vorhanden.
  Sollten sich in diesem Bereich Objekte befinden, so müßten diese von Spiegelungen durch entsprechende Bildverarbei­ tungsschritte identifiziert werden. Wie es sich im Rahmen der beabsichtigten Anwendung und zur Lösung des Problems herausgestellt hat, ist günstigerweise die Annahme möglich, daß im entsprechenden Bildbereich nur Spiegelungen zu sehen sind.
• 5. Die Rekonstruktion beschränkt sich auf den mittleren, kon­ kaven Bereich der Motorhaube.
  Da in den konvexen Bereichen der Motorhaube die stärksten Verzerrungen auftreten wird in diesen Bereichen die Rekon­ struktion sehr komplex. Daher wird zur Rekonstruktion nur die Front des Fahrzeugs und der konkave mittlere Bereich der Motorhaube herangezogen. Aufgrund der Kameraposition, die vorzugsweise im Bereich des Innenrückspiegels angeord­ net ist, enthält dieser Bereich auch die Richtungen, die bei dem erfindungsgemäßen Verfahren für die Rekonstruktion am wichtigsten sind. Hinzu kommt, daß diese Fläche in den CAD-Daten einem Flächenelement entspricht und nicht zusam­ mengesetzt ist.
• 6. Die Konfiguration ist statisch.
  Unter einer statischen Konfiguration wird eine Konstanz der geometrischen Gegebenheiten verstanden. Es treten keine Veränderungen in der Haubengeometrie und relativen Position der ersten Modelle auf. In Rahmen einer Kamerakalibrierung und speziell einer adaptiven Kamerakalibrierung fällt diese Annahme weg.

Für eine Rekonstruktion ist es ferner günstig, daß die geomet­ rischen Daten, wie Aufpunkte der reflektierten Strahlen auf der Motorhaube und Normalenvektoren, an diesen Stellen bekannt sind. Diese könnten entweder aus CAD-Daten oder entsprechenden Kalibrierungsverfahren stammen, die später noch beschrieben werden.

Eine Möglichkeit, das Bild zu rekonstruieren besteht darin, ein bekanntes Muster abzubilden, und die Reflexion mit dem Original zu vergleichen. Hierzu wird die Reflexion einer senkrecht vor dem Auto stehenden Kalibrierwand in der Motorhaube simuliert. Dabei ist die Verzerrung der quadratischen Struktur gut zu beo­ bachten. Nun werden die korrespondierende Punkte der Bildebene und der Spiegelebene gesucht. Daraus ergibt sich ein zweidimen­ sionales Feld mit Verschiebungsvektoren.

Für die Stereobildverarbeitung ist es nötig, Bilder mit einem anderen Blickwinkel zu erhalten. Wird allerdings das Spiegel­ bild mit dem direkt sichtbaren Bereich korrigiert, so geht da­ bei genau diese zusätzliche Information verloren. In diesem Fall muß das Spiegelbild auf die Sichtweise einer solchen vir­ tuellen Kamera korrigiert werden. Die extrinsischen Parameter dieser virtuellen Kamera sind so aber nicht bekannt.

Werden andere Verfahren angewandt, um diese Kamera zu berech­ nen, so ist die Lösung der Rekonstruktionsaufgabe vollbracht und dieses zweidimensionale bildbasierte Korrekturverfahren obsolet.

Die oben Vorgehensweisen zielen im wesentlichen darauf ab, die Position und Blickrichtung einer virtuellen Kamera zur Bildre­ konstruktion zu finden. Sind diese extrinsischen Kameraparame­ ter der virtuellen Kamera gefunden, kann das Spiegelbild mit Hilfe der Haubengeometrie rekonstruiert werden. Um diese äuße­ ren Parameter der virtuellen Kamera genau bestimmen zu können, müssen zuerst die äußeren Parameter der realen Kamera bekannt sein.

Insbesondere ist die Auswirkungen unterschiedlicher Kameraposi­ tionen auf einen Meßfehler beachtlich. Daher werden in den fol­ genden Abschnitten werden verschiedene Verfahren vorgestellt, die dazu dienen könnten, die Position und Blickrichtung der re­ alen Kamera relativ zur Motorhaube zu bestimmen. In vorteilhafter Weise können mit diesen Verfahren sogar teilweise auch die geometrischen Eigenschaften der Oberfläche mitbestimmt werden, so daß nicht auf CAD-Daten zurückgegriffen werden muß. Die in­ trinsischen Kameraparameter der virtuellen Kamera können hinge­ gen frei gewählt werden.

Zur Vereinfachung der Weiterverarbeitung im multiokularen Sys­ tem werden die inneren Parameter der realen Kamera übernommen.

Die Streifenprojektion ist eine Methode zur Vermessung von dreidimensionalen Oberflächen. Dazu wird ein spezieller Aufbau verwendet, bei dem die relativen Positionen des Streifenpro­ jektors und der Kamera genau bekannt sind. Dann wird eine Folge verschiedener Streifenmuster auf das Objekt projiziert und durch die Kamera aufgenommen. Die Streifen durchschneiden das Objekt in Ebenen, und durch die Positionsbestimmung des be­ kannten Streifens im Bild der Kamera kann die Schnittebene be­ rechnet werden. Bei entsprechender Dauer der Messung und Ent­ fernung des Objekts vom Meßaufbau kann Genauigkeit in Submilli­ meterbereich erzielt werden. Diese Daten können durch Triangu­ lation angenähert werden, so daß die Oberfläche mathematisch bekannt ist und Aufpunkte und Normalenvektoren berechnet werden können.

Durch die Aufnahme des Bildes mit einer CCD und/oder einer CMOS oder sonstig geeigneten Kamera findet eine Diskretisierung statt, so daß eine entsprechende Diskretisierung der Oberfläche ausreichend sein könnte. Durch die Zuordnung von Bildbereichen zu Objekten kann dann wiederum eine Verbesserung der Berechnung erzielt werden. Bei dem nun vorgestellten Verfahren, das an die sogenannte Laser Guide Star Methode angelehnt ist, werden zwei Aufnahmen einer Kalibrierungswand verwendet. Da sowohl der Auf­ punkt wie auch die Reflexionsrichtung bzw. der Normalenvektor an der Stelle bestimmt werden müssen, benötigt man mehr als ei­ ne Aufnahme. Für jedes Pixel im Bereich der Motorhaube (z0) wird das entsprechende Pixel des korrespondierenden Gegenstands im direkten Sichtbereich gesucht (z). Nach der Verschiebung der Wand wird dasselbe Pixel z0 verwendet und das nun verschobene korrespondierende Pixel z0 gesucht. Da die Geometrie und die Entfernung der Kalibrierungswand (a, a0, x, x0) bekannt sind, kann der Aufpunkt (xp, zp) berechnet werden. Die Bestimmung des Normalenvektors ist nicht mehr nötig, da mit dem Aufpunkt und x, a bzw. x0, a0 die Reflexionsrichtung im dreidimensionalen Raum direkt berechnet werden kann.

Diese Methode verzichtet komplett auf CAD-Daten oder andere Da­ tenquellen, die abhängig verwendet werden müßten. Neben der Ka­ librierung liefert dieser Ansatz auch die geometrischen Infor­ mationen, die zur Berechnung der Objektentfernungen benötigt werden.

Die beschriebenen Lösungsansätze zielen in verschiedenen Rich­ tungen, in denen jeweils unterschiedliche Probleme zu lösen sind. In jedem Fall nimmt jedoch die Kamerakalibrierung, also die Bestimmung der Position und Blickrichtung relativ zur Mo­ torhaube, eine wichtige Stellung ein.

Wird eine Rekonstruktion des Bildes im üblichen Sinn durchge­ führt, so ist die Wahl des Blickpunktes und der Blickrichtung wichtig. Da nur rotierte Kegelschnitte in Verbindung mit einer entsprechenden Kamera ein katadioptrisches System mit einem einzelnen Blickpunkt liefern, werden bei der Rekonstruktion mit einem gewählten Blickpunkt immer Fehler auftreten. Die Blick­ richtung spiegelt sich dabei in der Wahl der Rekonstruktions­ ebene, als Ebene senkrecht zur Blickrichtung, wider. Selbst die Wahl der Entfernung dieser Rekonstruktionsebene spielt in die­ sem fehlerbehafteten Ansatz dann eine Rolle. Wird also eine derartige Rekonstruktion verwendet, sind ausführliche Fehlerbe­ trachtungen nötig.

Wird der Ansatz verwendet, daß zuerst die Objekterkennung in geeigneten Suchfenstern durchgeführt und dann für die entspre­ chende Pixel trianguliert wird, ist die zu erwartende Entfernungsgenauigkeit wesentlich größer, da in diesem Sinne keine Rekonstruktionsfehler auftreten.

Um eine sinnvolle Rekonstruktion der von der Motorhaube reflek­ tierten Bilder vorzunehmen, werden zuvor in zweckmäßiger Weise die Epipolaren der reflektierenden Fläche der Karosserie ermit­ telt.

Zur Definition einer Epipolaren: Ein Sehstrahl SO geht durch den Brennpunkt F0 einer Kamera K0 und eine Punkt P0 in der Bildebene der Kamera K0. Der Brennpunkt einer weiteren Kamera K1, die an einem anderen Ort wie K0 ist, hat den Brennpunkt F1. Die Epipolarebene, die durch Sehstrahl S0 und den Brennpunkt F1 definiert ist, schniedet die Bildebene der Kamera 1 entlang der Epipolarkurve L1. Bei einer Lochkamera ist die Epipolare L1 ei­ ne Linie.

Zur Ermittelung der Epipolaren werden vorzugsweise Spiegelungen von Eichgegenständen bekannter Geometrie aufgenommen, die von der Motorhaube einen bekannten Abstand aufweisen. Aus diesen (Eich-)Spiegelungen werden die Epipolaren ermittelt und eine Eichfunktion erstellt, welche später zur Auswertung herangezo­ gen wird.

Claims (10)

1. Verfahren zur Bilderkennung bei Kraftfahrzeugen, bei dem von einem Gegenstand ausgehende elektromagnetische Wellen von we­ nigstens einem Sensor sowohl bezüglich ihrer Intensität als auch bezüglich ihrer Richtung aufgenommen, ausgewertet und ei­ ner Bildmatrix übergeben werden, dadurch gekennzeichnet,
daß die Lage und die Geometrie einer reflektierenden Fläche der Karosserie zu dem Sensor ermittelt wird,
daß von dem Sensor das ungestörte Originalbild des Gegens­ tandes aufgenommen wird,
daß zusätzlich Reflexionswellen von dem Gegenstand, welche von der reflektierenden Fläche gespiegelt werden, im folgen­ den Spiegelbild genannt, aufgenommen wird und
daß das Spiegelbild und das Originalbild zur Auswertung he­ rangezogen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß die Epipolaren der reflektierenden Fläche der Karosserie ermittelt werden,
daß mit Eichgegenständen bekannter Geometrie und bekanntem Abstand die Spiegelungen an den Epipolaren aufgenommen wer­ den und
daß daraus eine Eichfunktion erstellt wird,
daß die Eichfunktion zur Auswertung herangezogen wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Position des Spiegelbildes im Bezug zu den Epipolaren bestimmt wird und daß die Position des Spiegelbildes zur Be­ stimmung der Entfernung des Gegenstandes verwendet wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Sensor eine Stereo-Kamera, insbesondere eine Stereo- CCD-Kamera, gewählt wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Sensor eine Kamera gewählt wird und daß mit einer Kame­ ra das Originalbild des Gegenstandes sowie die Reflexion an der Karosserie und als Referenzbild die Reflexion an einer in be­ kanntem Abstand von der Kamera angeordneten spiegelnden Fläche bekannter Geometrie, bevorzugt an einer Kugel, aufgenommen wird.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Originalbild eines Gegenstandes getrennt von dem Spie­ gelbild des Gegenstandes ermittelt und ausgewertet wird und daß zwischen dem fertig bearbeiteten Originalbild und dem entspre­ chend aufbereiteten Spiegelbild korrespondierende Bildpunkte und/oder -ausschnitte ermittelt werden.

7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mittels korrespondierender Bildpunkte und/oder -flächen ei­ ne Triangulation zur Abstandsbestimmung des Gegenstandes durch­ geführt wird.

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mittels korrespondierender Bildpunkte und/oder -flächen ei­ ne Triangulation zur Winkelbestimmung des Gegenstandes durchge­ führt wird.

9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mittels korrespondierender Bildpunkte und/oder -flächen ei­ ne Triangulation zur Ortsbestimmung des Gegenstandes durchge­ führt wird.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Meßbereich der elektromagnetischen Wellen von dem Ult­ ravioletten bis zum FIR, insbesondere zwischen dem Ultraviolet­ ten und dem FIR gewählt wird.