-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zum Erfassen einer Fahrzeugumgebung eines Fahrzeuges mittels einer ersten Kamera und einer zweiten Kamera.
-
Fahrassistenzsysteme dienen dazu, einen Fahrer beim Lenken eines Fahrzeuges zu unterstützen. Eine solche Unterstützung kann beispielsweise auf die folgenden Arten erfolgen:
- – Darstellen einer Nahbereichsumgebung des Fahrzeuges für den Fahrer, um Zusammenstöße mit Hindernissen zu vermeiden, die nicht im Blickfeld des Fahrers liegen,
- – Übernehmen einzelner Aufgaben des Fahrers, um einen Fahrkomfort zu erhöhen,
- – Überwachen von Aktivitäten des Fahrers und Eingreifen in gefährlichen Situationen, und/oder
- – autonomes Fahren des Fahrzeuges, ohne dass eine Aktion des Fahrers notwendig ist.
-
Als Fahrassistenzsysteme haben sog. Surround-View-Systeme zunehmend an Bedeutung gewonnen. Solche Surround-View-Systeme dienen dazu, dem Fahrer ein Fahrzeugumfeld des Fahrzeuges darzustellen, um diesem ein Führen des Fahrzeuges zu erleichtern. Dabei ist typischerweise jeweils eine Kamera auf jeder Seite des Fahrzeuges angeordnet. Die Positionen, an denen diese Kameras angeordnet sind, sind dabei derart gewählt, dass eine 360° Rundumsicht um das Fahrzeug ermöglicht wird und sich die Kameras gleichzeitig in ein Erscheinungsbild des Fahrzeuges einfügen.
-
In einigen Surround-View-Systemen werden mittels der Bilder dieser Kameras auch Abstandsinformationen bezüglich der im Umfeld des Fahrzeuges liegenden Objekte erfasst. Dies ist für solche Bereiche möglich, die gleichzeitig von zwei an dem Fahrzeug angeordneten Kameras erfasst werden.
-
Bei einer dreidimensionalen Erfassung der Fahrzeugumgebung mittels paralleler Kameras erfolgt zunächst eine epipolare Ausrichtung der Bilder der Kameras. Dazu werden die Bilder entsprechend verzerrt, damit Bildpunkte, die auf einer Linie einer Pixelmatrix liegen, epipolare Linien bilden. Dies wird auch als parallel-epipolare Ausrichtung bezeichnet. Damit wird ein Suchen gemeinsamer Merkmale in den Bildern vereinfacht. Die Epipole selbst liegen dabei außerhalb der Bilder.
-
Sind die Kameras jedoch so ausgerichtet, dass eine Kamera in einem Blickfeld der anderen Kamera liegt, so fallen liegen die Epipole innerhalb der von diesen erfassten Bilder. Dies führt jedoch dazu, dass die Bilder bei einer parallel-epipolaren Ausrichtung insbesondere im Bereich der Epipole stark verzerrt werden, was ein Erkennen gemeinsamer Merkmale aus mehreren Bildern erheblich erschwert und somit eine herkömmliche parallel-epipolare Auswertung unmöglich macht.
-
Aus der
DE 196 36 028 C1 ist ein Verfahren zur Detektion und Bewegungsverfolgung von Objekten mittels Stereobildauswertung bekannt.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zum Erfassen einer Fahrzeugumgebung eines Fahrzeuges mittels einer ersten Kamera und einer zweiten Kamera, wobei die erste Kamera einen ersten Teilbereich der Fahrzeugumgebung erfasst und die zweite Kamera einen zweiten Teilbereich der Fahrzeugumgebung erfasst, wobei der erste Teilbereich den zweiten Teilbereich überlappt und die erste Kamera derart angeordnet ist, dass diese in dem zweiten Teilbereich liegt, umfasst ein Beziehen einer Lage eines ersten Epipols in einem ersten Bild der ersten Kamera, ein Beziehen einer Lage des ersten Epipols in einem zweiten Bild der zweiten Kamera, ein Durchführen einer ersten Bildbearbeitung, bei welcher das erste Bild derart verändert wird, dass der erste Epipol in ein Zentrum des veränderten ersten Bildes fällt, ein Durchführen einer zweiten Bildberechnung, bei welcher das zweite Bild derart verändert wird, dass der erste Epipol in ein Zentrum des veränderten zweiten Bildes fällt, und ein Erkennen gemeinsamer Merkmale in dem aus der ersten Bildberechnung resultierenden veränderten ersten Bild und dem aus der zweiten Bildberechnung resultierenden veränderten zweiten Bild entlang einander entsprechender Epipolarlinien, die jeweils geradlinig von dem ersten Epipol ausgehen.
-
Das Verfahren ist vorteilhaft, da ein besonders einfaches Erkennen gemeinsamer Merkmale in dem ersten Bild und dem zweiten Bild ermöglicht wird, wenn eine Kamera in einem Blickfeld der jeweils anderen Kamera liegt. Diese Information ist eine Grundlage jeglicher weiterer räumlicher Auswertung der Kamerabilder, um Informationen bezüglich der Fahrzeugumgebung zu beziehen. Durch die vorliegende Erfindung wird das Erkennen gemeinsamer Merkmale auf besonders einfache Weise ermöglicht, wodurch ein benötigter Rechenaufwand minimiert wird. Dabei ist es insbesondere vorteilhaft, dass keine bestimmte Ausrichtung der ersten Kamera gegenüber der zweiten Kamera notwendig ist und somit ein großer Freiraum bei einer Anordnung der Kameras an einem Fahrzeug geschaffen wird. Des Weiteren wird ein Parallaxenfehler reduziert, der bei Abstandsmessungen mittels der ersten und der zweiten Kamera auftreten kann. Eine Ortsauflösung bei dem Erkennen der gemeinsamen Merkmale wird vergrößert, wodurch auch sehr kleine gemeinsame Merkmale erkannt werden können. Zudem wird ein Verfahren geschaffen, welches äußerst robust gegenüber Licht-Reflexionen ist und welches eine Anordnung der Kameras erlaubt, durch welche insbesondere schmale Wege und Parkplätze räumlich erfasst werden können. Es wird eine besonders korrekte epipolare Ausrichtung der Bilder der Kameras im Bereich der Epipole erreicht, wobei zudem kaum eine Verzerrung einzelner Bildpunkte erfolgt. Das Verfahren ermöglicht eine beliebige Anordnung der Kameras, solange deren Blickfelder einander überschneiden. Es wird somit eine polar-epipolare Ausrichtung des ersten und des zweiten Bildes geschaffen.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt wird bei dem Durchführen der ersten Bildberechnung das erste Bild derart verändert, als ob das erste Bild nach einer Drehung der ersten Kamera erfasst worden wäre, wobei die Drehung der ersten Kamera derart gewählt ist, dass der erste Epipol in ein Zentrum des veränderten ersten Bildes fällt, und/oder bei dem Durchführen der zweiten Bildberechnung das zweite Bild derart verändert, als ob das zweite Bild nach einer Drehung der zweiten Kamera erfasst worden wäre, wobei die Drehung der zweiten Kamera derart gewählt ist, dass der erste Epipol in ein Zentrum des veränderten zweiten Bildes fällt. Es erfolgt somit eine virtuelle Ausrichtung der beiden Kameras zueinander. Diese Ausrichtung ist derart gestaltet, dass eine optische Achse einer der beiden Kameras auf die andere der beiden Kameras gerichtet ist und die optische Achse der anderen Kamera derart ausgerichtet ist, dass die beiden optischen Achsen mit gleicher Ausrichtung in einer Geraden liegen. Das veränderte erste Bild sowie das veränderte zweite Bild ist dabei bevorzugt eine ideale Projektion, wodurch weitere Verzerrungen minimiert werden. Auf diese Weise wird unabhängig von einer Verzerrung, welche durch eine Linse der ersten Kamera oder eine Linse der zweiten Kamera verursacht wird, sichergestellt, dass die Epipolarlinien geradlinig von dem ersten Epipol ausgehen. Das Erkennen gemeinsamer Merkmale wird dadurch erheblich vereinfacht.
-
Auch ist es vorteilhaft, wenn bei der ersten Bildberechnung die Bildpunkte des veränderten ersten Bildes mittels einer ersten Zuordnungstabelle aus Bildpunkten des ersten Bildes ermittelt werden und/oder bei der zweiten Bildberechnung die Bildpunkte des veränderten zweiten Bildes mittels einer zweiten Zuordnungstabelle aus Bildpunkten des zweiten Bildes ermittelt werden. Durch Anwendung solcher Zuordnungstabellen wird ein rechnerischer Aufwand, der bei der ersten und/oder zweiten Bildberechnung anfällt, erheblich verringert.
-
Zudem ist es vorteilhaft, wenn das Verfahren ferner ein Ermitteln von Abstandsinformationen für die detektierten gemeinsamen Merkmale mittels einer Triangulation umfasst. Auf diese Weise können auf einfache Weise sehr präzise Abstandsinformationen gewonnen werden.
-
Auch ist es vorteilhaft, wenn basierend auf den ermittelten Abstandsinformationen eine dreidimensionale Bildbearbeitung erfolgt.
-
Insbesondere ist eine dreidimensionale Bildbearbeitung dabei eine grafische Verarbeitung des ersten Bildes und des zweiten Bildes bei welcher eine räumliche Lage einzelner Bildpunkte berücksichtigt wird. So wird es unter Anderem ermöglicht, eine besonders realitätsgetreue Abbildung der Fahrzeugumgebung zu erzeugen. Dabei kann beispielsweise eine Ansicht der Fahrzeugumgebung aus einer beliebigen Position in der Fahrzeugumgebung erzeugt werden.
-
Auch ist es vorteilhaft, wenn basierend auf den ermittelten Abstandsinformationen eine Karte der Fahrzeugumgebung generiert wird. Auf diese Weise können Informationen für weitere Fahrassistenzsysteme bereitgestellt werden. Es kann auf eventuell notwendige weitere Abstandssensoren verzichtet werden.
-
Bevorzugt umfasst das Verfahren ferner ein Beziehen einer Lage eines zweiten Epipols in einem dritten Bild einer dritten Kamera, wobei die dritte Kamera einen dritten Teilbereich der Fahrzeugumgebung erfasst, wobei der dritte Teilbereich mit dem ersten Teilbereich überlappt, ein Beziehen einer Lage des zweiten Epipols in dem ersten Bild der ersten Kamera, ein Durchführen einer dritten Bildberechnung, bei welcher das erste Bild derart verändert wird, dass der zweite Epipol in ein Zentrum des veränderten ersten Bildes fällt, ein Durchführen einer vierten Bildberechnung, bei welcher das dritte Bild derart verändert wird, dass der zweite Epipol in ein Zentrum des veränderten dritten Bildes fällt, und ein Erkennen gemeinsamer Merkmale in dem aus der dritten Bildberechnung resultierenden verschobenen ersten Bild und dem aus der vierten Bildberechnung resultierenden verschobenen dritten Bild entlang einander entsprechender Epipolarlinien, die jeweils geradlinig von dem zweiten Epipol ausgehen. Gerade in Systemen, welche drei Kameras aufweisen, ist es nicht möglich, alle drei Kameras derart aufeinander auszurichten, dass zwei optimal ausgerichtete Stereokamerasysteme entstehen. Da eine Ausrichtung der Kameras erfindungsgemäß nicht notwendig ist, wird somit eine optimale Nutzung der verfügbaren Kameras erzielt und ein hoher Freiheitsgrad bei einer Anordnung der Kameras an dem Fahrzeug ermöglicht.
-
Auch ist es vorteilhaft, wenn bei dem Durchführen der dritten Bildberechnung das erste Bild derart verändert wird, also ob das erste Bild nach einer Drehung der ersten Kamera erfasst worden wäre, wobei die Drehung der ersten Kamera derart gewählt ist, dass der zweite Epipol in ein Zentrum des veränderten ersten Bildes fällt, und/oder bei dem Durchführen der vierten Bildberechnung das dritte Bild derart verändert wird, also ob das dritte Bild nach einer Drehung der dritten Kamera erfasst worden wäre, wobei die Drehung der dritten Kamera derart gewählt ist, dass der zweite Epipol in ein Zentrum des veränderten dritten Bildes fällt. Es erfolgt somit eine virtuelle Ausrichtung der ersten bis dritten Kameras zueinander. Es wird unabhängig von einer Verzerrung, welche durch eine Linse einer der Kameras verursacht wird, sichergestellt, dass die Epipolarlinien geradlinig von dem ersten Epipol ausgehen. Das Erkennen gemeinsamer Merkmale wird dadurch erheblich vereinfacht.
-
Ebenfalls vorteilhaft ist eine Vorrichtung zum Erfassen einer Fahrzeugumgebung, welche eine Recheneinheit umfasst, die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen, und ferner die erste Kamera umfasst, die dazu eingerichtet ist, den ersten Teilbereich der Fahrzeugumgebung in dem ersten Bild zu erfassen, und die zweite Kamera umfasst, die dazu eingerichtet ist, den zweiten Teilbereich der Fahrzeugumgebung in dem zweiten Bild zu erfassen, wobei der erste Teilbereich mit dem zweiten Teilbereich überlappt. Eine solche Vorrichtung weist alle Vorteile auf, die das erfindungsgemäße Verfahren aufweist, wenn dieses basierend auf den Bildern zweier Kameras ausgeführt wird.
-
Zudem ist eine Vorrichtung zum Erfassen einer Fahrzeugumgebung vorteilhaft, welche eine Recheneinheit umfasst, die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen, und ferner die erste Kamera umfasst, die dazu eingerichtet ist, den ersten Teilbereich der Fahrzeugumgebung in einem ersten Bild zu erfassen, die zweite Kamera umfasst, die dazu eingerichtet ist, den zweiten Teilbereich der Fahrzeugumgebung in einem zweiten Bild zu erfassen, wobei der erste Teilbereich mit dem zweiten Teilbereich überlappt, und zudem die dritte Kamera umfasst, die dazu eingerichtet ist, den dritten Teilbereich der Fahrzeugumgebung in einem dritten Bild zu erfassen, wobei der erste Teilbereich mit dem dritten Teilbereich überlappt. Eine solche Vorrichtung weist alle Vorteile des erfindungsgemäßen Verfahrens auf, wenn dieses basierend auf den Bildern dreier Kameras ausgeführt wird.
-
Kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
-
1 eine schematische Darstellung eines Fahrzeuges mit einer Vorrichtung, die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen,
-
2 ein beispielhaftes erstes Bild einer ersten Kamera,
-
3 ein beispielhaftes zweites Bild einer zweiten Kamera,
-
4 ein durch die Vorrichtung verändertes erstes Bild der ersten Kamera,
-
5 ein durch die Vorrichtung verändertes zweites Bild der zweiten Kamera, und
-
6 eine mittels der Vorrichtung erzeugte Karte einer Fahrzeugumgebung.
-
Ausführungsformen der Erfindung
-
1 zeigt eine Darstellung eines Fahrzeuges 4 mit einer Vorrichtung zum dreidimensionalen Erfassen einer Fahrzeugumgebung des Fahrzeuges 4 gemäß einer ersten Ausführungsform der Erfindung. An dem Fahrzeug sind eine erste Kamera 1, eine zweite Kamera 2 und eine dritte Kamera 3 angeordnet.
-
Die erste Kamera 1 ist an einer Front des Fahrzeuges 4 angeordnet und ist derart ausgerichtet, dass diese einen ersten Teilbereich 5 der Fahrzeugumgebung des Fahrzeuges 4 erfasst, welcher vor dem Fahrzeug 4 liegt. Die zweite Kamera 2 ist an einer Dachreling des Fahrzeuges 4 angeordnet und ist derart ausgerichtet, dass diese einen zweiten Teilbereich 6 erfasst, welcher vor und rechts neben dem Fahrzeug liegt. Die dritte Kamera 3 ist an einer linken Dachreling des Fahrzeuges 4 angeordnet und ist derart ausgerichtet, dass diese einen dritten Teilbereich 7 erfasst, welcher vor und links neben dem Fahrzeug 4 liegt. Sowohl die zweite Kamera 2 als auch die dritte Kamera 3 bilden die Front des Fahrzeuges 4 ab. Somit ist die erste Kamera 1 derart angeordnet ist, dass diese in dem zweiten Teilbereich 6 und in dem dritten Teilbereich 7 liegt.
-
Da sowohl durch den ersten Teilbereich 5 als auch durch den zweiten Teilbereich 6 ein Bereich vor dem Fahrzeug 4 erfasst wird, überlappt der erste Teilbereich 5 den zweiten Teilbereich 6. Da sowohl der dritte Teilbereich 7 als auch der erste Teilbereich 5 einen Bereich vor dem Fahrzeug 4 erfasst, überlappt der erste Teilbereich 5 den dritten Teilbereich 7. Die Anordnung der ersten bis dritten Kamera 1 bis 3 ist dabei beispielhaft gewählt, da das erfindungsgemäße Verfahren einen hohen Freiheitsgrad bei einer Anordnung der Kameras 1 bis 3 ermöglicht. Die Anordnung der Kameras ist somit frei wählbar, solange der erste Teilbereich 5 den zweiten Teilbereich 6 und den dritten Teilbereich 7 überlappt und die erste Kamera 1 derart angeordnet ist, dass diese in dem zweiten Teilbereich 6 und dem dritten Teilbereich 7 liegt.
-
Die erste bis dritte Kamera 1 bis 3 sind jeweils mit einer Weitwinkellinse ausgerüstet, um mit jeder der Kameras 1 bis 3 einen möglichst großen Teilbereich der Fahrzeugumgebung zu erfassen.
-
Die erste bis dritte Kamera 1 bis 3 sind jeweils über eine Videoleitung mit einer Recheneinheit 8 verbunden, die ebenfalls an dem Fahrzeug 4 angeordnet ist und die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen.
-
Im Folgenden wird das erfindungsgemäße Verfahren zunächst beispielhaft anhand der ersten Kamera 1 und der zweiten Kamera 2 beschrieben.
-
Zunächst werden von der ersten Kamera 1 ein erstes Bild 11 erfasst und von der zweiten Kamera 2 ein zweites Bild 12 erfasst. Diese Bilder werden an die Recheneinheit 8 übertragen.
-
Es erfolgt ein Beziehen einer Lage eines ersten Epipols EP1 in dem ersten Bild 11 und ein Beziehen einer Lage des ersten Epipols EP1 in dem zweiten Bild 12. Ein beispielhaftes erstes Bild 11 ist in 2 dargestellt und ein beispielhaftes zweites Bild 12 ist in 3 dargestellt.
-
In dem ersten Bild 11 sind der erste Epipol EP1 und eine Vielzahl von Epipolarlinien 17 des ersten Bildes 11 dargestellt. Epipolarlinien sind solche Linien, auf welche in zwei unterschiedlichen Bildern, hier dem ersten Bild 11 und dem zweiten Bild 12, die gleichen in dem Bild dargestellten Merkmale fallen. Da eine Epipolarlinie durch eine Lage gleicher Merkmale in zwei unterschiedlichen Bildern definiert ist, findet sich für jede Epipolarlinie 17 des ersten Bildes 11 eine zugehörige Epipolarlinie 18 in dem zweiten Bild 12. Der erste Epipol EP1 ist der Punkt in dem ersten Bild 11, an dem sich alle Epipolarlinien 17 des ersten Bildes 11 treffen. Der erste Epipol EP1 ist der Punkt in dem zweiten Bild 12, an dem sich alle Epipolarlinien 18 des zweiten Bildes 12 treffen. Der erste Epipol EP1 liegt somit innerhalb des ersten Bildes 11 und innerhalb des zweiten Bildes 12. Dies ergibt sich daraus, dass die erste Kamera 1 derart angeordnet ist, dass diese in dem zweiten Teilbereich 6 liegt, also von der zweiten Kamera 2 erfasst wird. Dabei ist es nicht relevant, ob die erste Kamera 1 eventuell aus Sicht der zweiten Kamera 2 von einem Objekt, beispielsweise einer Komponente des Fahrzeuges 4, verdeckt wird.
-
Beispielhaft wird eine erste Epipolarlinie 17a in dem ersten Bild 11 und deren zugehörige zweite Epipolarlinie 18a in dem zweiten Bild betrachtet: Alle Objekte, die sich in dem ersten Bild 11 auf der ersten Epipolarlinie 17a befinden, sind in dem zweiten Bild 12 auf der zugehörigen zweiten Epipolarlinie 18a wieder zu finden. Selbiges gilt auch für eine zweite Epipolarlinie 17b in dem ersten Bild 11 und deren zugehörige zweite Epipolarlinie 18b in dem zweiten Bild.
-
Sowohl die Lage des ersten Epipols EP1 in dem ersten Bild 11 als auch die Lage des ersten Epipols EP1 in dem zweiten Bild 12 lassen sich basierend auf einer Anordnung der ersten und zweiten Kamera 1, 2 an dem Fahrzeug 4 und den optischen Eigenschaften, insbesondere den Linseneigenschaften, der Kameras 1, 2 ermitteln. Werden weder eine Lage der Kameras 1, 2 an dem Fahrzeug 4 verändert noch die optischen Eigenschaften der Kameras 1, 2 verändert, so befindet sich der erste Epipol EP1 zu jedem Zeitpunkt an der gleichen Stelle in dem ersten Bild 11 und in dem zweiten Bild 12. Die Lage des ersten Epipols EP1 wird daher nur einmalig bestimmt und gespeichert, um dann in den entsprechenden Verfahrensschritten durch ein Auslesen bezogen zu werden. Aus geometrischen Gründen ergibt es sich dabei, dass die Lage des ersten Epipols EP1 in dem zweiten Bild 12 die Stelle ist, auf welche eine Position der ersten Kamera 1 fällt.
-
Es ist ersichtlich, dass die Epipolarlinien 17, 18 in dem ersten Bild 11 und in dem zweiten Bild 12 keine Geraden sind, sondern eine Krümmung aufweisen. Wäre dies nicht der Fall, so würden gleiche Merkmale nicht auf einander entsprechende Epipolarlinien 17, 18 fallen.
-
In einem weiteren Schritt des Verfahren erfolgt ein Durchführen einer ersten Bildberechnung, bei welcher das erste Bild 11 derart verändert wird, als ob das erste Bild 11 nach einer Drehung der ersten Kamera 1 erfasst worden wäre, wobei die Drehung der ersten Kamera 1 derart gewählt ist, dass der erste Epipol EP1 in ein Zentrum des veränderten ersten Bildes 13 fällt. Das veränderte erste Bild 13 ist in 4 dargestellt. Es wird in diesem Schritt also eine Drehung der ersten Kamera 1 in der realen Welt simuliert. Dadurch, dass die Drehung der ersten Kamera 1 simuliert wird, kann auf eine tatsächliche Drehung der ersten Kamera, bzw. eine Ausrichtung der ersten Kamera 1 und der zweiten Kamera 2 zueinander verzichtet werden. Dabei erfolgt nicht nur eine Verschiebung eines Bildmittelpunkts auf den ersten Epipol EP1, sondern zugleich eine Verzerrung des gesamten ersten Bildes 11.
-
Bei der ersten Bildberechnung werden die Bildpunkte des veränderten ersten Bildes 13 mittels einer ersten Zuordnungstabelle aus Bildpunkten des ersten Bildes 11 ermittelt. Um einen komplexen Rechenaufwand zu minimieren, den die erforderliche Verzerrung des ersten Bildes mit sich bringen würde, wurde in dieser ersten Ausführungsform die erste Zuordnungstabelle in einer Kalibrierungsphase ermittelt und in der Recheneinheit 8 gespeichert. Dabei wird für jeden Bildpunkt des ersten Bildes 11 ermittelt, wo dieser nach der virtuellen Drehung der ersten Kamera 1 in dem veränderten ersten Bild 13 liegt. Dies kann beispielsweise experimentell ermittelt werden. In der ersten Bildberechnung wird auf diese Information zurückgegriffen und das veränderte erste Bild 13 erstellt, indem für jeden Bildpunkt in einer Bildmatrix des veränderten ersten Bildes 13 der zugehörige Bildpunkt aus dem ersten Bild 11 gemäß der ersten Zuordnungstabelle eingetragen wird.
-
Zugleich erfolgt ein Durchführen einer zweiten Bildberechnung, bei welcher das zweite Bild 12 derart verändert wird, als ob das zweite Bild 12 nach einer Drehung der zweiten Kamera 2 erfasst worden wäre, wobei die Drehung der zweiten Kamera 2 derart gewählt ist, dass der erste Epipol EP1 in ein Zentrum des veränderten zweiten Bildes 14 fällt. Das veränderte zweite Bild 14 ist in 5 dargestellt. Es wird in diesem Schritt also eine Drehung der zweiten Kamera 2 in der realen Welt simuliert. Dadurch, dass die Drehung der zweiten Kamera 2 simuliert wird, kann auf eine tatsächliche Drehung der ersten Kamera 1, bzw. eine Ausrichtung der ersten Kamera 1 und der zweiten Kamera 2 zueinander verzichtet werden. Dabei erfolgt nicht nur eine Verschiebung eines Bildmittelpunkts auf den ersten Epipol EP1, sondern zugleich eine Verzerrung des gesamten zweiten Bildes 12.
-
Bei der zweiten Bildberechnung werden die Bildpunkte des veränderten zweiten Bildes 14 mittels einer zweiten Zuordnungstabelle aus Bildpunkten des zweiten Bildes 12 ermittelt. Um einen komplexen Rechenaufwand zu minimieren, den die erforderliche Verzerrung des zweiten Bildes mit sich bringen würde, wurde in dieser ersten Ausführungsform die zweite Zuordnungstabelle in einer Kalibrierungsphase ermittelt und in der Recheneinheit 8 gespeichert. Dabei wird für jeden Bildpunkt des zweiten Bildes 12 ermittelt, wo dieser nach der virtuellen Drehung der zweiten Kamera 2 in dem veränderten zweiten Bild 14 liegt. Dies kann beispielsweise experimentell ermittelt werden. In der zweiten Bildberechnung wird auf diese Information zurückgegriffen und das veränderte zweite Bild 14 erstellt, indem für jeden Bildpunkt in einer Bildmatrix des veränderten zweiten Bildes 14 der zugehörige Bildpunkt aus dem zweiten Bild 12 gemäß der zweiten Zuordnungstabelle eingetragen wird.
-
In einem weiteren Schritt des Verfahrens erfolgt ein Erkennen gemeinsamer Merkmale in dem aus der ersten Bildberechnung resultierenden veränderten ersten Bild 13 und in dem aus der zweiten Bildberechnung resultierenden veränderten zweiten Bild 14 entlang einander entsprechender Epipolarlinien 15, 16 in diesen Bildern, die jeweils geradlinig von dem ersten Epipol EP1 ausgehen. Wie aus den 4 und 5 ersichtlich ist, ist der erste Epipol EP1 nun aufgrund des Durchführens der ersten und zweiten Bildberechnung im Zentrum des veränderten ersten Bildes 13 und im Zentrum des veränderten zweiten Bildes 14 angeordnet. Es ist ferner ersichtlich, dass die Epipolarlinien 15 des veränderten ersten Bildes 13 geradlinig von dem ersten Epipol EP1 ausgehen. Ferner ist ersichtlich, dass auch die Epipolarlinien 16 in dem veränderten zweiten Bild 14 geradlinig von dem ersten Epipol EP1 ausgehen. Die Tatsache, dass die Epipolarlinien in den veränderten Bildern 13, 14 geradlinig sind, ergibt sich aus der ersten und zweiten Bildberechnung und durch die erfindungsgemäße Veränderung des ersten Bildes 13 und des zweiten Bildes 14. Es ergibt sich dass jede Epipolarlinie 17 in dem ersten Bild 11 eine zugehörige Epipolarlinie 15, 16, 18 in dem zweiten Bild 18, dem veränderten ersten Bild 13 und dem veränderten zweiten Bild 14 hat.
-
Bei dem Erkennen gemeinsamer Merkmale werden nur solche Merkmale miteinander verglichen, die auf einander entsprechenden Epipolarlinien 15, 16 der veränderten Bilder 13, 14 liegen. So wird beispielsweise jedes Merkmal, welches auf einer ersten Epipolarlinie 15a des veränderten ersten Bildes 13 liegt, mit den Merkmalen, die auf einer ersten Epipolarlinie 16a des veränderten zweiten Bildes 14 liegen, verglichen. Jedes Merkmal, welches auf einer zweiten Epipolarlinie 15b des veränderten ersten Bildes 13 liegt, wird mit den Merkmalen, die auf einer zweiten Epipolarlinie 16b des veränderten zweiten Bildes 14 liegen, verglichen. Wird ein gemeinsames Merkmal erkannt, so wird dieses markiert.
-
Für jedes gemeinsame Merkmal, welches sowohl in dem veränderten ersten Bild 13 als auch in dem veränderten zweiten Bild 14 erkannt wurde, erfolgt ein Ermitteln von Abstandsinformationen mittels einer Triangulation.
-
Da sowohl die optischen Eigenschaften der ersten und der zweiten Kamera 1, 2 bekannt ist, kann für jede der Kameras 1, 2 ein Winkel bestimmt werden, welcher eine Lage eines Objektes beschreibt, welches als gemeinsames Merkmal erkannt wurde. Da auch eine Anordnung der Kameras 1, 2 an dem Fahrzeug 4 bekannt ist, und somit auch ein Abstand zwischen den Kameras bekannt ist, wird die Lage eines tatsächlichen Objektes in der Fahrzeugumgebung mittels einer Dreiecksberechnung ermittelt. Die so ermittelte Lage des Objektes gegenüber den Kameras und somit gegenüber dem Fahrzeug 4, wird in eine Karte 30 der Fahrzeugumgebung eingefügt.
-
Eine solche Karte 30 der Fahrzeugumgebung ist beispielhaft in 6 gezeigt. In der in 6 gezeigten Karte ist ein Abbild des Fahrzeug 4 gezeigt, an dem die erste Kamera 1 und die zweite Kamera 2 angeordnet ist. Das Abbild des Fahrzeuges 4 dient als ein Bezugspunkt für eine Position der als gemeinsames Merkmal detektierten Objekte in der Fahrzeugumgebung. Es wird für jedes gemeinsame Merkmal, also jedes Merkmal, welches sowohl in dem veränderten ersten Bild 13 als auch in dem veränderten zweiten Bild 14 erkannt wurde, ein Punkt in die Karte 30 eingetragen und somit eine Lage des zugehörigen Objektes in der Karte 30 markiert. Die genaue Position wird dabei mittels der zuvor beschriebenen Triangulation bestimmt. Dies ist für einen Punkt 31 beispielhaft dargestellt. Es ergibt sich ein Dreieck, welches durch den Punkt 31, die erste Kamera 1 und die zweite Kamera 2 aufgespannt wird. Eine Länge einer Dreiecksseite, die sich zwischen der ersten Kamera 1 und der zweiten Kamera 2 erstreckt, ist aufgrund der Kameraanordnung bekannt. Zwei Winkel des aufgespannten Dreiecks ergeben sich aus der Lage des Punktes 31 in den Bildern der Kameras 1, 2. Basierend auf den Winkeln und der bekannten Länge einer Dreiecksseite kann die Lage des ersten Punktes 31 errechnet werden.
-
In der ersten Ausführungsform wurde das erfindungsgemäße Verfahren beispielhaft mittels der ersten Kamera 1 und der zweiten Kamera 2 beschrieben. In einer zweiten Ausführungsform wird das Verfahren auf die dritte Kamera 3 ausgedehnt. Dabei wird das in der ersten Ausführungsform beschriebene Verfahren in entsprechender Weise basierend auf den Bildern der ersten Kamera 1 und der dritten Kamera 3 ausgeführt.
-
Entsprechend erfolgt dabei ein Beziehen einer Lage eines zweiten Epipols in einem dritten Bild der dritten Kamera 3 und ein Beziehen einer Lage des zweiten Epipols in dem ersten Bild 11. Im Folgenden erfolgt ein Durchführen einer dritten Bildberechnung, bei welcher das erste Bild derart verändert wird, als ob das dritte Bild nach einer Drehung der ersten Kamera 1 erfasst worden wäre, wobei die Drehung der ersten Kamera 1 derart gewählt ist, dass der zweite Epipol in ein Zentrum des veränderten ersten Bildes fällt, und ein Durchführen einer vierten Bildberechnung, bei welcher das dritte Bild derart verändert wird, als ob das dritte Bild nach einer Drehung der dritten Kamera 3 erfasst worden wäre, wobei die Drehung der dritten Kamera 3 derart gewählt ist, dass der zweite Epipol in ein Zentrum des veränderten dritten Bildes fällt. Entsprechend erfolgt ein Erkennen gemeinsamer Merkmale in dem aus der dritten Bildberechnung resultierenden verschobenen ersten Bild und dem aus der vierten Bildberechnung resultierenden verschobenen dritten Bild entlang einander entsprechender epipolarer Linien, die jeweils geradlinig von dem zweiten Epipol ausgehen.
-
Zusammenfassend ist es die der Erfindung zugrundeliegende Idee, dass eine virtuelle Rotation der Bilder zweier Kameras erfolgt, die so gewählt ist, dass die zueinander gehörigen Epipolarlinien dieser Bilder in den Bildern beider Kameras aufeinander ausgerichtet werden. Auf diese Weise gehen alle Epipolarlinien geradlinig von einem gemeinsamen Epipolarpunkt aus.
-
Nebst oben stehender Offenbarung wird explizit auf die Offenbarungen der 1 bis 6 verwiesen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
