DE102015212370B4 - Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges - Google Patents

Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges Download PDF

Info

Publication number
DE102015212370B4
DE102015212370B4 DE102015212370.7A DE102015212370A DE102015212370B4 DE 102015212370 B4 DE102015212370 B4 DE 102015212370B4 DE 102015212370 A DE102015212370 A DE 102015212370A DE 102015212370 B4 DE102015212370 B4 DE 102015212370B4
Authority
DE
Germany
Prior art keywords
vehicle
area
texture
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015212370.7A
Other languages
English (en)
Other versions
DE102015212370A1 (de
Inventor
Raphael Cano
Jose Domingo Esparza Garcia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102015212370.7A priority Critical patent/DE102015212370B4/de
Publication of DE102015212370A1 publication Critical patent/DE102015212370A1/de
Application granted granted Critical
Publication of DE102015212370B4 publication Critical patent/DE102015212370B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges (1) umfassend, einen ersten Schritt, der zu einem ersten Zeitpunkt ausgeführt wird, umfassend:- ein Erfassen eines ersten Bereiches (11) vor dem Fahrzeug (1) mittels einer ersten Kamera (21) in einem ersten Bild,- ein Erfassen eines zweiten Bereiches (12) hinter dem Fahrzeug (1) mittels einer zweiten Kamera (22) in einem zweiten Bild,- ein Erfassen eines dritten Bereiches (13) auf einer linken Seite des Fahrzeuges (1) mittels einer dritten Kamera (23) in einem dritten Bild,- ein Erfassen eines vierten Bereiches (14) auf einer rechten Seite des Fahrzeuges (1) mittels einer vierten Kamera (24) in einem vierten Bild, wobei der erste Bereich (11) und der zweite Bereich (12) jeweils mit dem dritten Bereich (13) und dem vierten Bereich (14) überlappen,- Erzeugen einer ersten Textur (3), durch ein Zusammenfügen des ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung,- ein Übertragen der ersten Textur (3) auf eine virtuelle Projektionsfläche (2) in einem virtuellen Raum (7), wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden und die erste Textur (3) einen ersten Oberflächenbereich (4) der Projektionsfläche (2) überlagert, und einen zweiten Schritt, der zu einem zweiten Zeitpunkt ausgeführt wird, umfassend:- ein Ermitteln einer relativen Positionsänderung des Fahrzeuges (1) zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt,- ein erneutes Erfassen des ersten bis vierten Bereiches (11, 12, 13, 14) in jeweils einem aktualisierten ersten bis vierten Bild,- ein Verschieben der ersten Textur (3) auf der virtuellen Projektionsfläche (2) entsprechend der ermittelten relativen Positionsänderung des Fahrzeuges (1),- ein Erzeugen einer zweiten Textur (5), durch ein Zusammenfügen des aktualisierten ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung, und- ein Übertragen der zweiten Textur (5) auf den ersten Oberflächenbereich (4) der virtuellen Projektionsfläche (2), wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden, und wobei die zweite Textur (5) die erste Textur (3) in diesem ersten Oberflächenbereich (4) ersetzt.

Description

  • Stand der Technik
  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges.
  • Fahrassistenzsysteme sind dazu ausgelegt, einen Fahrer eines Fahrzeuges bei einem Bewegen des Fahrzeuges zu unterstützen. Diese Unterstützung kann dabei auf die folgenden Weisen erfolgen:
    • - Darstellen einer Fahrzeugumgebung im Nahbereich des Fahrzeuges für den Fahrer, um Kollisionen mit Hindernissen zu vermeiden, die nicht in einem Sichtfeld des Fahrers liegen,
    • - Übernehmen einiger Aufgaben des Fahrers, um einen Komfort des Fahrers beim Bewegen des Fahrzeuges zu erhöhen,
    • - Überwachen von Handlungen des Fahrers und eingreifen im Falle einer gefährlichen Situation und/oder
    • - autonomes Fahren des Fahrzeuges, wobei eine Anwesenheit des Fahrers in dem Fahrzeug nicht zwingend notwendig ist.
  • Die vorliegende Erfindung betrifft insbesondere ein Verfahren zum Darstellen einer zusammengesetzten Ansicht einer Fahrzeugumgebung eines Fahrzeuges in einem sogenannten Surround-View-System. Dabei sind typischerweise Kameras zum Erfassen der Fahrzeugumgebung an dem Fahrzeug angeordnet, wobei diese derart angeordnet sind, dass eine 360°-Darstellung der Fahrzeugumgebung ermöglicht wird. Eine solche Anordnung der Kameras bringt es mit sich, dass ein Fahrzeuguntergrund unter dem Fahrzeug und sehr nahe an dem Fahrzeug nicht erfasst werden kann, da solche Bereiche von keiner Kamera erfasst werden und somit für diese Bereiche keine Bildinformation verfügbar ist.
  • Daher werden solche Bereiche in einem darzustellenden Bereich zumeist mit einem vorgegebenen Muster oder einer vorgegebenen Farbe gefüllt.
  • Aus der JP 2001-218 197 A , der DE 10 2006 000 245 A1 und der DE 10 2010 051 206 A1 sind Systeme zur Darstellung eines Umfeldes eines Fahrzeuges bekannt, in denen das Umfeld des Fahrzeuges durch eine oder mehrere Kameras in Bildern erfasst und auf einer Anzeige dargestellt wird. Die DE 10 2012 018 326 A1 offenbart ein Verfahren für ein bildgebendes Fahrerassistenzsystem zur Abbildung von im Umgebungsbereich von Land-, Wasser oder Luftfahrzeugen angeordneten Objekten, bei dem an einem Fahrzeug mindestens zwei Kameras zur Erzeugung einer im Innenraum oder Außenraum des Fahrzeuges darstellbaren Umsicht angeordnet sind, und der Blickwinkel benachbart angeordneter Kameras im Umgebungsbereich des Fahrzeuges sich mindestens teilweise überschneidet und dort mindestens einen Überlappungsbereich ausbildet, wobei zur Erzeugung der Umsichtdarstellung ein oder mehrere Kamerabilder der Kameras entsprechend ihrer Aufnahmeposition am Fahrzeug auf einer virtuellen Projektionsfläche angeordnet werden, die Teil eines virtuellen dreidimensionaler Raumkörpers das Fahrzeug an mindestens zwei Seiten mit Abstand umgibt, und zur Erreichung einer annähernd verdeckungsfreie Umsichtfunktion von Objekten im Überlappungsbereich der Kameras eine dynamische Anpassung der Zusammenfügung der Kamerabilder auf der Projektionsfläche durch die mathematische Verschiebung der virtuellen Projektionsfläche dergestalt erfolgt, dass das Objekt annähernd in der Ebene der virtuellen Projektionsfläche abgebildet wird.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges umfasst einen ersten Schritt, der zu einem ersten Zeitpunkt ausgeführt wird. Dieser erste Schritt umfasst ein Erfassen eines ersten Bereiches vor dem Fahrzeug mittels einer ersten Kamera in einem ersten Bild, ein Erfassen eines zweiten Bereiches hinter dem Fahrzeug mittels einer zweiten Kamera in einem zweiten Bild, ein Erfassen eines dritten Bereiches auf einer linken Seite des Fahrzeuges mittels einer dritten Kamera in einem dritten Bild und ein Erfassen eines vierten Bereiches auf einer rechten Seite des Fahrzeuges mittels einer vierten Kamera in einem vierten Bild. Dabei überlappen der erste Bereich und der zweite Bereich jeweils mit dem dritten Bereich und dem vierten Bereich. Der erste Schritt umfasst ferner ein Erzeugen einer ersten Textur durch ein Zusammenfügen des ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung und ein Übertragen der ersten Textur auf eine virtuelle Projektionsfläche in einem virtuellen Raum, wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden und die erste Textur einen ersten Oberflächenbereich der Projektionsfläche überlagert. Das Verfahren umfasst ferner einen zweiten Schritt, der zu einem zweiten Zeitpunkt ausgeführt wird. Der zweite Schritt umfasst ein Ermitteln einer relativen Positionsänderung des Fahrzeuges zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt, ein erneutes Erfassen des ersten bis vierten Bereiches in jeweils einem aktualisierten ersten bis vierten Bild, ein Verschieben der ersten Textur auf der virtuellen Projektionsfläche entsprechend der ermittelten relativen Positionsänderung des Fahrzeuges, ein Erzeugen einer zweiten Textur durch ein Zusammenfügen des aktualisierten ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung und ein Übertragen der zweiten Textur auf den ersten Oberflächenbereich der virtuellen Projektionsfläche, wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden und wobei die zweite Textur die erste Textur in diesem ersten Oberflächenbereich ersetzt.
  • Auf diese Weise wird es ermöglicht, dass eine Fahrzeugumgebung des Fahrzeuges, welche in einer unmittelbaren Fahrzeugumgebung des Fahrzeuges liegt aber nicht von der ersten bis vierten Kamera erfasst wird, jederzeit vollständig dargestellt werden kann. Dabei ist bei einer beliebigen Eigenbewegung des Fahrzeuges gewährleistet, insbesondere bei einer Kurvenfahrt, gewährleistet, dass keine Lücken in einer Darstellung der Fahrzeugumgebung auftreten. Es kann somit auf eine Anwendung von sogenannten Füllungstexturen verzichtet werden, durch welche Bereiche visualisiert werden, für die keine kamerabasierten Texturen bereitstehen.
  • Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
  • Es ist vorteilhaft, wenn zumindest eine der Kameras derart ausgerichtet ist, dass zwischen dem Fahrzeug und der zumindest einen Kamera ein weiterer Bereich liegt, der von der zumindest einen Kamera nicht erfasst wird. Dies bedeutet, dass die zumindest eine Kamera derart ausgerichtet ist, dass ein Bereich, welcher weiter von dem Fahrzeug entfernt liegt, umfassender erfasst wird. Somit kann ein Fernbereich der Fahrzeugumgebung verbessert dargestellt werden. Dennoch ist eine Darstellung der Fahrzeugumgebung in einem Nahbereich des Fahrzeuges, also in dem weiteren Bereich, vollständig gewährleistet.
  • Ebenfalls vorteilhaft ist es, wenn in dem virtuellen Raum eine virtuelle Kamera angeordnet ist, aus deren Sicht eine Abbildung der virtuellen Projektionsfläche errechnet wird. Auf diese Weise kann eine perspektivisch korrekte Darstellung der Fahrzeugumgebung des Fahrzeuges aus einem beliebigen Blickwinkel für einen Anwender, beispielsweise einen Fahrer des Fahrzeuges, korrekt dargestellt werden.
  • Auch ist es vorteilhaft, wenn in dem virtuellen Raum ein zumindest teilweise transparentes Modell des Fahrzeuges angeordnet ist. Somit wird der Bereich unter dem Fahrzeug für den Anwender sichtbar, da dieser nicht durch das Modell des Fahrzeuges verdeckt wird. Dennoch ist das Modell des Fahrzeuges erkennbar und ermöglicht dem Anwender eine Orientierung in der Darstellung der Fahrzeugumgebung. Teilweise transparent ist dabei derart zu verstehen, dass das Modell des Fahrzeuges für einen Hintergrund durchscheinend aber dennoch erkennbar ist und/oder in bestimmten Bereichen transparent ist, in anderen Bereichen jedoch nicht transparent ist.
  • Ebenso vorteilhaft ist es, wenn das Erfassen der relativen Positionsänderung des Fahrzeuges mittels einer Odometrie erfolgt. Auf diese Weise wird eine besonders hohe Präzision bei dem Erfassen der relativen Positionsänderung erreicht.
  • Ferner ist es vorteilhaft, wenn die Bilder der Kamers entsprechend einer Kalibrierung der zugehörigen Kamera entzerrt werden, bevor diese auf der virtuellen Projektionsfläche angeordnet werden. Die Kalibrierung ist dabei bevorzugt so gewählt, dass perspektivische Verzerrungen, welche beispielsweise durch eine Kameraoptik der zugehörigen Kamera erzeugt werden, kompensiert werden. Auf diese Weise können vorteilhafte Optiken für die Kameras genutzt werden, wie zum Beispiel Weitwinkellinsen. Dennoch wird eine perspektivisch korrekte Darstellung beim Darstellen der Fahrzeugumgebung ermöglicht.
  • Eine Vorrichtung zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges, die dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen, ist vorteilhaft und weist alle Vorteile des erfindungsgemäßen Verfahrens auf.
  • Figurenliste
  • Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
    • 1 eine Draufsicht auf ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges,
    • 2 eine schematische Darstellung einer virtuellen Projektionsfläche zu einem ersten Zeitpunkt und
    • 3 eine schematisch Darstellung der virtuellen Projektionsfläche zu einem zweiten Zeitpunkt.
  • Ausführungsformen der Erfindung
  • 1 zeigt ein Fahrzeug 1 mit einer Vorrichtung 25, welche zum Ausführen des erfindungsgemäßen Verfahrens zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges 1 eingerichtet ist. An dem Fahrzeug 1 ist eine erste Kamera 21, eine zweite Kamera 22, eine dritte Kamera 23 und eine vierte Kamera 24 angeordnet.
  • Die erste Kamera 21 ist an einer Front des Fahrzeuges 1 angeordnet. Dabei ist ein Objektiv der ersten Kamera 21 aus Sicht des Fahrzeuges 1 nach vorne gerichtet. Die erste Kamera 21 erfasst einen ersten Bereich 11 in einem ersten Bild. Der erste Bereich 11 ist somit ein Bereich, welcher vor dem Fahrzeug 1 liegt. Die zweite Kamera 22 ist an einem Heck des Fahrzeuges 1 angeordnet. Dabei ist ein Objektiv der zweiten Kamera 22 aus Sicht des Fahrzeuges 1 nach hinten gerichtet. Die zweite Kamera 22 erfasst einen zweiten Bereich 12 in einem zweiten Bild. Der zweite Bereich 12 ist somit ein Bereich, welcher hinter dem Fahrzeug 1 liegt. Die dritte Kamera 23 ist an einem linken Außenspiegel des Fahrzeuges 1 angeordnet. Dabei ist ein Objektiv der dritten Kamera 23 aus Sicht des Fahrzeuges 1 nach links gerichtet. Die dritte Kamera 23 erfasst einen dritten Bereich 13 in einem dritten Bild. Der dritte Bereich 13 ist somit ein Bereich, welcher links neben dem Fahrzeug 1 liegt. Die vierte Kamera 24 ist an einem rechten Außenspiegel des Fahrzeuges 1 angeordnet. Dabei ist ein Objektiv der vierten Kamera 24 aus Sicht des Fahrzeuges 1 nach rechts gerichtet. Die vierte Kamera 24 erfasst einen vierten Bereich 14 in einem vierten Bild. Der vierte Bereich 14 ist somit ein Bereich, welcher rechts neben dem Fahrzeug 1 liegt. Die Objektive der erste bis vierte Kamera 21 bis 24 sind jeweils Weitwinkelobjektive.
  • Der erste Bereich 11 und der zweite Bereich 12 überlappt jeweils mit dem dritten Bereich 13 und dem vierten Bereich 14. Dabei überlappt der erste Bereich 11 mit dem dritten Bereich 13 links vor dem Fahrzeug 1 in einem ersten Überlappungsbereich 16. Der erste Bereich 11 überlappt mit dem vierten Bereich 14 rechts vor dem Fahrzeug 1 in einem zweiten Überlappungsbereich 15. Der zweite Bereich 12 überlappt mit dem dritten Bereich 13 links hinter dem Fahrzeug 1 in einem dritten Überlappungsbereich 17. Der zweite Bereich 12 überlappt mit dem vierten Bereich 14 rechts hinter dem Fahrzeug 1 in einem vierten Überlappungsbereich 18.
  • Die Vorrichtung 25 ist über jeweils eine Kommunikationsleitung mit jeder der Kameras 21 bis 24 gekoppelt. Wird von einer der Kameras 21 bis 24 ein Bild erfasst, so wird dieses an die Vorrichtung 25 übertragen. Die Vorrichtung 25 ist dabei eine Recheneinheit zur digitalen Datenverarbeitung.
  • Erfindungsgemäß wird ein erster Schritt des Verfahrens zu einem ersten Zeitpunkt ausgeführt. Ein zweiter Schritt des Verfahrens wird zu einem zweiten Zeitpunkt ausgeführt, welcher auf den ersten Zeitpunkt folgt.
  • In dem ersten Schritt des Verfahrens wird zunächst das erste Bild, das zweite Bild, das dritte Bild und das vierte Bild erfasst. Aus dem ersten bis vierten Bild wird dabei eine erste Textur 3 erzeugt.
  • Die Bilder der Kameras 21 bis 24 weisen eine Verzerrung auf, die sich aus der räumlichen Lage der Kameras 21 bis 24 gegenüber der Fahrzeugumgebung des Fahrzeuges 1 ergibt und zudem durch die Verzerrung der Weitwinkelobjektive verstärkt wird. Daher werden die Bilder der ersten bis vierten Kamera 21 bis 24 entsprechend einer Kalibrierung der zugehörigen Kamera 21 bis 24 zunächst entzerrt. Eine entsprechende Kalibrierung der Kameras 21 bis 24 könnte dabei beispielsweise werksseitig mittels eines Kalibiermusters erfolgen.
  • Die entzerrten Bilder werden entsprechend der darin abgebildeten Fahrzeugumgebung zusammengefügt. Das Zusammenfügen der Bilder erfolgt beispielsweise dadurch, dass ein Objekt, welches sich in einem Bereich befindet, der von zwei der Kameras 21 bis 24 erfasst wird, in den jeweiligen Bildern dieser Kameras erkannt wird und die beiden Bilder gemäß dem in beiden Bildern dargestellten Objekt zusammengefügt werden. So könnte beispielsweise ein Objekt, welches sich rechts vor dem Fahrzeug 1 befindet, sowohl von der ersten Kamera 21 als auch von der vierten Kamera 24 erfasst werden. Um das erste Bild der ersten Kamera 21 mit dem vierten Bild der vierten Kamera 24 zusammenzufügen wird dieses Objekt in dem ersten und dem zweiten Bild erkannt und die Bilder derart aneinandergefügt, dass die Stellen welche das Objekt abbilden aufeinander zu liegen kommen.
  • Es ist ersichtlich, dass die erste Textur 3 somit Bereiche aufweist in denen ausschließlich das erste Bild, das zweite Bild, das dritte Bild und das vierte Bild dargestellt wird. Ferner weist die erste Textur 3 solche Bereiche auf, die durch mehrere der Kameras 21 bis 24 erfasst wurden, und in denen zwei der Bilder dargestellt werden. Dabei können Abschnitte der beiden betreffenden Bilder nebeneinander angeordnet sein und/oder die betreffenden Bilder können einander überlagern.
  • Die erste Textur 3 wird in dem ersten Schritt auf eine virtuelle Projektionsfläche 2 übertragen. Die virtuelle Projektionsfläche 2 befindet sich in einem dreidimensionalen virtuellen Raum 7. Sowohl die virtuelle Projektionsfläche 2 als auch der virtuelle Raum 7 ist dabei ein mathematisches Konstrukt, welches von der Vorrichtung 25 errechnet wird. Der virtuelle Raum 7 ist ein mathematisches Abbild der tatsächlichen Fahrzeugumgebung des Fahrzeuges 1. Somit gibt es einen Bereich in dem virtuellen Raum 7, welcher einer Lage des Fahrzeuges 1 entspricht. In diesem Bereich des virtuellen Raumes 7 wird ein zumindest teilweise transparentes Modell 11 des Fahrzeuges 1 angeordnet. Dazu ist das Modell 11 des Fahrzeuges 1 derart gestaltet, dass ein Objekt, welches in dem virtuellen Raum 7 von einem gewählten Betrachtungspunkt aus hinter dem Modell 11 liegt erkennbar ist und zugleich das Modell 11 erkennbar ist.
  • Die virtuelle Projektionsfläche 2 weist einen ebenflächigen Bodenbereich auf, auf dem das transparente Modell 11 des Fahrzeuges 1 angeordnet ist. Dieser Bodenbereich entspricht somit im Wesentlichen einer Fahrbahnoberfläche in der tatsächlichen Fahrzeugumgebung des Fahrzeuges 1. Ferner weist die virtuelle Projektionsfläche 2 einen Randbereich auf, welcher sich gegenüber dem Bodenbereich erhebt und eine Wandung ergibt, die das transparente Modell 11 des Fahrzeuges 1 umläuft. Die virtuelle Projektionsfläche 2 hat somit die Form einer Schüssel. Am Boden der Schüssel, also auf dem Bodenbereich, befindet sich das transparente Modell 11 des Fahrzeuges 1. Bei dem Übertragen der ersten Textur 3 auf die virtuelle Projektionsfläche 2 wir die erste Textur 3 und somit die Bilder, aus welchen die erste Textur 3 erzeugt wurde, entsprechend der in diesen Bildern erfassten Bereichen der Fahrzeugumgebung angeordnet. Es ergibt sich somit, dass ein Objekt aus der tatsächlichen Fahrzeugumgebung des Fahrzeuges 1 derart auf der virtuellen Projektionsfläche 2 abgebildet wird, dass dessen Abbild eine Lage bezüglich des transparenten Modells 11 eine Lage aufweist, die einer Lage des tatsächlichen Objektes gegenüber dem Fahrzeug 1 in der tatsächlichen Fahrzeugumgebung entspricht.
  • Da durch die erste bis vierte Kamera 21 bis 24 nicht jeder Punkt der Fahrzeugumgebung des Fahrzeuges 1 erfasst wird, wird nicht die gesamte virtuelle Projektionsfläche 2 von der ersten Textur 3 überlagert. So wird ein Bereich, welcher unter dem Fahrzeug 1 liegt, nicht von der ersten bis vierten Kamera 21 bis 24 erfasst. Dieser Bereich der virtuellen Projektionsfläche 2 wird somit zunächst nicht mit einer Textur versehen. Der Bereich der virtuellen Projektionsfläche 2, welcher mit der ersten Textur 3 überlagert wird, wird als erster Oberflächenbereich 4 bezeichnet.
  • In dem zweiten Schritt erfolgt zunächst ein Ermitteln einer relativen Positionsänderung des Fahrzeuges 1 zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt. Dies erfolgt mittels einer Odometrie. So wird beispielsweise eine Drehung der Laufräder des Fahrzeuges 1 und ein Lenkwinkel des Fahrzeuges 1 erfasst. Basierend darauf wird die relative Positionsänderung des Fahrzeuges 1 errechnet.
  • Es folgt ein erneutes Erfassen des ersten bis vierten Bereiches 11 bis 14 in jeweils einem aktualisierten ersten bis vierten Bild. Dieses erneute Erfassen des aktualisierten ersten bis vierten Bildes entspricht im Wesentlichen dem Erfassen des ersten bis vierten Bereiches 11 bis 14 in dem ersten bis vierten Bilde in dem ersten Schritt.
  • Nach dem erneuten Erfassen des ersten bis vierten Bereiches 11 bis 14 erfolgt ein Verschieben der ersten Textur 3 auf der virtuellen Projektionsfläche 2 entsprechend der ermittelten relativen Positionsänderung des Fahrzeuges 1. Sollten auf der Projektionsfläche noch weitere Texturen angeordnet sein, die sich aus einem früheren Durchlauf des erfindungsgemäßen Verfahrens ergeben haben, so werden diese ebenfalls entsprechend der ermittelten relativen Positionsänderung des Fahrzeuges 1 verschoben. Die relative Positionsänderung des Fahrzeuges 1 wird beispielsweise durch eine Drehung des Fahrzeuges 1 um eine Hochachse und eine Verschiebung des Fahrzeuges 1 entlang einer Fahrbahnoberfläche beschrieben. Diese Verschiebung und Drehung wird in den dreidimensionalen virtuellen Raum übertragen und die erste Textur 3 wird auf der virtuellen Projektionsfläche 2 entsprechend verschoben und/oder gedreht. Dabei wird die erste Textur 3 derart verschoben, dass eine Lage der in dieser ersten Textur dargestellten Objekt gegenüber dem Modell 11 weiterhin einer tatsächlichen Lage dieser Objekte gegenüber dem Fahrzeug 1 entspricht.
  • Im Weiteren erfolgt ein Erzeugen einer zweiten Textur 5 durch ein Zusammenfügen des aktualisierten ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung. Das Erzeugen der zweiten Textur 5 erfolgt entsprechend dem Erzeugen der ersten Textur 3, wobei die zweite Textur 5 jedoch aus Bildern zusammengefügt wird, die zu dem zweiten Zeitpunkt erfasst wurden.
  • Im Folgenden erfolgt ein Übertragen der zweiten Textur 5 auf den ersten Oberflächenbereich 4 der virtuellen Projektionsfläche 2, wobei die Bilder entsprechend der in diesen erfassten Bereichen der Fahrzeugumgebung angeordnet werden und wobei die zweite Textur 5 die erste Textur 3 in diesem ersten Oberflächenbereich 4 ersetzt. Die zweite Textur 5 wird folglich derart auf der virtuellen Projektionsfläche 2 angeordnet, wie dies mit der ersten Textur 3 zu dem ersten Zeitpunkt geschehen ist. Da sich zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt jedoch eine relative Positionsänderung des Fahrzeuges 1 ergeben hat und die erste Textur 3 auf der virtuellen Projektionsfläche 2 verschoben wurde, wird nun eine Textur des ersten Oberflächenbereiches 4 aktualisiert und auf einigen Bereichen der Projektionsfläche 2, die außerhalb des ersten Oberflächenbereiches 4 liegen, ist die erste Textur 3 angeordnet.
  • In dem virtuellen Raum 7 ist eine virtuelle Kamera 6 angeordnet, aus deren Sicht eine Abbildung der virtuellen Projektionsfläche 2 errechnet wird. Da auf der virtuellen Projektionsfläche 2 die zweite Textur 5 und zumindest teilweise die erste Textur 3 angeordnet ist, wird somit eine Ansicht der Fahrzeugumgebung des Fahrzeuges 1 erzeugt. Eine Position der virtuellen Kamera 6 in dem virtuellen Raum ist dabei beliebig wählbar. So kann die virtuelle Kamera 6 beispielsweise derart angeordnet sein, dass sich eine Ansicht des Fahrzeuges 1 aus der Vogelperspektive ergibt.
  • Das erfindungsgemäße Verfahren ermöglicht eine besonders vorteilhafte Ausrichtung der ersten bis vierten Kamera 21 bis 24. Mit Hinblick auf 1 ist ersichtlich, dass vor dem Fahrzeug 1 und dem ersten Bereich 11, welcher von der ersten Kamera 21 erfasst wird, ein weiterer Bereich 19 liegt, der von keiner der vier Kameras 21 bis 24 erfasst wird obwohl dieser noch nicht unter dem Fahrzeug 1 liegt. Dies ist insofern vorteilhaft, weil in dieser Ausführungsform die erste Kamera in einem Winkel gegenüber der Fahrbahnoberfläche ausgerichtet sein kann, das ein Fernbereich, welcher weit von dem Fahrzeug 1 entfernt liegt, besonders umfangreich erfasst wird. Dennoch können Objekte, die sich dem Fahrzeug 1 bei einem Manövrieren annähern, zu jeder Zeit auch in diesem weiteren Bereich 19 dargestellt werden.
  • Die erfindungsgemäß erzeugte Darstellung der Fahrzeugumgebung wird an einen Monitor im Innenraum des Fahrzeuges 1 übertragen und dem Anwender angezeigt.
  • 2 zeigt eine beispielhafte Darstellung des virtuellen Raums 7 zu dem ersten Zeitpunkt. Es ist die schalenförmige virtuelle Projektionsfläche 2 ersichtlich, deren ebene Bodenfläche sich in 2 horizontal erstreckt und auf der das teilweise transparente Modell 11 des Fahrzeuges 1 angeordnet ist. Da in dem ersten Schritt die erste Textur 3 erzeugt und auf der virtuellen Projektionsfläche 2 angeordnet wurde, ist vor dem Modell 11 des Fahrzeuges 1 die erste Textur 3 auf der virtuellen Projektionsfläche angeordnet. Diese liegt in dem ersten Oberflächenbereich 4. Es wird darauf verwiesen, dass in 2 lediglich ein Teilbereich des ersten Oberflächenbereiches 4 dargestellt ist. Der ersten Oberflächenbereich 4 umläuft das Modell 11 des Fahrzeuges 1 und erstreckt sich typischerweise auch auf den Randbereich der virtuellen Projektionsfläche 2, welcher an die ebene Bodenfläche anschließt. Über dem Modell 11 des Fahrzeuges 1 ist die virtuelle Kamera 6 angeordnet, welche aus der Vogelperspektive auf das Modell 11 herabblickt.
  • 3 zeigt den virtuellen Raum zu dem zweiten Zeitpunkt. Das Fahrzeug 1 hat sich zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt um eine Distanz d nach vorne bewegt. Daher wird die erste Textur 3 um diese Distanz d auf der virtuellen Projektionsfläche 2 gegenüber dem Modell 11 des Fahrzeuges 1 nach hinten verschoben. Zudem wurde in dem ersten Oberflächenbereich 4 nun die zweite Textur 5 angeordnet. Da noch ein Anteil der ersten Textur 3 in dem ersten Oberflächenbereich 4 liegt, wird diese in diesem ersten Oberflächenbereich von der zweiten Textur 5 überdeckt, also ersetzt. Es ergibt sich, dass nun auch für den Bereich unter dem Modell 11 des Fahrzeuges eine Textur verfügbar ist. Dabei ist es unerheblich, ob das Fahrzeug sich gradlinig oder in einer Kurvenfahrt bewegt.
  • Das erfindungsgemäße Verfahren wird in einer Schleife ausgeführt. Dabei wird der zweite Zeitpunkt einer ersten Schleife als der erste Zeitpunkt einer folgenden zweiten Schleife angesehen. Es ergibt sich ein Verfahren, bei dem ältere Texturen gemäß der relativen Positionsänderung des Fahrzeuges 1 auf der Projektionsfläche 2 verschoben werden und aktuelle Texturen in den Bereichen der Projektionsfläche 2 dargestellt werden, für welche aktuelle Texturen verfügbar sind.
  • Die Erfindung basiert also darauf, dass solche Bereiche, welche sich unter dem Fahrzeug befinden und nicht von den Kameras 21 bis 24 erfasst werden, zu einem früheren Zeitpunkt bereits erfasst wurden. Dabei ist es ebenfalls vorteilhaft, wenn solche Texturen, die bereits auf der Projektionsfläche 2 angeordnet waren nicht erneut berechnet werden müssen, also beispielsweise nicht erneut entzerrt werden müssen, da diese eine entsprechende Bildverarbeitung bereits durchlaufen haben.
  • Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der 1 bis 3 verwiesen.

Claims (7)

  1. Verfahren zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges (1) umfassend, einen ersten Schritt, der zu einem ersten Zeitpunkt ausgeführt wird, umfassend: - ein Erfassen eines ersten Bereiches (11) vor dem Fahrzeug (1) mittels einer ersten Kamera (21) in einem ersten Bild, - ein Erfassen eines zweiten Bereiches (12) hinter dem Fahrzeug (1) mittels einer zweiten Kamera (22) in einem zweiten Bild, - ein Erfassen eines dritten Bereiches (13) auf einer linken Seite des Fahrzeuges (1) mittels einer dritten Kamera (23) in einem dritten Bild, - ein Erfassen eines vierten Bereiches (14) auf einer rechten Seite des Fahrzeuges (1) mittels einer vierten Kamera (24) in einem vierten Bild, wobei der erste Bereich (11) und der zweite Bereich (12) jeweils mit dem dritten Bereich (13) und dem vierten Bereich (14) überlappen, - Erzeugen einer ersten Textur (3), durch ein Zusammenfügen des ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung, - ein Übertragen der ersten Textur (3) auf eine virtuelle Projektionsfläche (2) in einem virtuellen Raum (7), wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden und die erste Textur (3) einen ersten Oberflächenbereich (4) der Projektionsfläche (2) überlagert, und einen zweiten Schritt, der zu einem zweiten Zeitpunkt ausgeführt wird, umfassend: - ein Ermitteln einer relativen Positionsänderung des Fahrzeuges (1) zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt, - ein erneutes Erfassen des ersten bis vierten Bereiches (11, 12, 13, 14) in jeweils einem aktualisierten ersten bis vierten Bild, - ein Verschieben der ersten Textur (3) auf der virtuellen Projektionsfläche (2) entsprechend der ermittelten relativen Positionsänderung des Fahrzeuges (1), - ein Erzeugen einer zweiten Textur (5), durch ein Zusammenfügen des aktualisierten ersten bis vierten Bildes entsprechend der darin abgebildeten Fahrzeugumgebung, und - ein Übertragen der zweiten Textur (5) auf den ersten Oberflächenbereich (4) der virtuellen Projektionsfläche (2), wobei die Bilder entsprechend der in diesen erfassten Bereiche der Fahrzeugumgebung angeordnet werden, und wobei die zweite Textur (5) die erste Textur (3) in diesem ersten Oberflächenbereich (4) ersetzt.
  2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass zumindest eine der Kameras (21, 22, 23, 24) derart ausgerichtet ist, dass zwischen dem Fahrzeug (1) und dem Bereich, der von der zumindest einen Kamera erfasst wird, ein weiterer Bereich (19) liegt, der von der zumindest einen Kamera nicht erfasst wird.
  3. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem virtuellen Raum eine virtuelle Kamera (6) angeordnet ist, aus deren Sicht eine Abbildung der virtuellen Projektionsfläche (2) errechnet wird.
  4. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem virtuellen Raum (7) ein zumindest teilweise transparentes Modell (11) des Fahrzeuges (1) angeordnet ist.
  5. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln der relativen Positionsänderung des Fahrzeuges (1) mittels einer Odometrie erfolgt.
  6. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilder der Kameras entsprechend einer Kalibrierung der zugehörigen Kamera (21, 22, 23, 24) entzerrt werden, bevor diese auf der virtuellen Projektionsfläche (2) angeordnet werden.
  7. Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges (1), die dazu eingerichtet ist, das Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
DE102015212370.7A 2015-07-02 2015-07-02 Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges Active DE102015212370B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015212370.7A DE102015212370B4 (de) 2015-07-02 2015-07-02 Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015212370.7A DE102015212370B4 (de) 2015-07-02 2015-07-02 Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges

Publications (2)

Publication Number Publication Date
DE102015212370A1 DE102015212370A1 (de) 2017-01-05
DE102015212370B4 true DE102015212370B4 (de) 2023-02-23

Family

ID=57582977

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015212370.7A Active DE102015212370B4 (de) 2015-07-02 2015-07-02 Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges

Country Status (1)

Country Link
DE (1) DE102015212370B4 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016208369A1 (de) * 2016-05-17 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren
DE102021212154A1 (de) 2021-10-27 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren einer Darstellung eines verdeckten Bereiches einer Umgebung einer mobilen Plattform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001218197A (ja) 2000-01-31 2001-08-10 Matsushita Electric Ind Co Ltd 車両用周辺表示装置
DE102006000245A1 (de) 2005-05-26 2007-01-18 Aisin AW Co., Ltd., Anjo Parkunterstützungsverfahren und Parkunterstützungsvorrichtung
DE102010051206A1 (de) 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102012018326A1 (de) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001218197A (ja) 2000-01-31 2001-08-10 Matsushita Electric Ind Co Ltd 車両用周辺表示装置
DE102006000245A1 (de) 2005-05-26 2007-01-18 Aisin AW Co., Ltd., Anjo Parkunterstützungsverfahren und Parkunterstützungsvorrichtung
DE102010051206A1 (de) 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102012018326A1 (de) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion

Also Published As

Publication number Publication date
DE102015212370A1 (de) 2017-01-05

Similar Documents

Publication Publication Date Title
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE102010034139A1 (de) Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102010034140A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
DE102012025322A1 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP3117399B1 (de) Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild
DE102007049821A1 (de) Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102009031650B4 (de) Verfahren zur Erweiterung eines Kamerasystems, Kamerasystem, Fahrerassistenzsysem und entsprechendes Fahrzeug
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
DE102011014368A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102015212370B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges
WO2023284920A1 (de) Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102015208343B4 (de) Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
EP3556090A1 (de) Dreidimensionales rundumsichtsystem
DE102015205479A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE102017219123B4 (de) Verfahren zum Ermitteln von Objektgrenzen eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102012025580A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Master-Kamera, Kamerasystemund Kraftfahrzeug
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001270000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final