EP4758579A1 - Verfahren zum erzeugen einer eine fahrzeugumgebung darstellenden umgebungsdarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug - Google Patents

Abstract

Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung (15) umfassend die Schritte: - Bereitstellen von mit einer oder mehreren Kameras (3) des Fahrzeugs (1) aufgenommenen Kamerabildern (12), wobei in den Kamerabildern (12) jeweils zumindest ein Teil der Fahrzeugumgebung dargestellt ist, - Erzeugen von dreidimensionalen Umgebungsdaten aus wenigstens einem der Kamerabilder (12), wobei das wenigstens eine Kamerabild (12) an einem ersten Aufnahmezeitpunkt aufgenommen wurde, - Ermitteln eines verdeckten Umgebungsbereichs (14) für wenigstens eine der Kameras aus den Umgebungsdaten, - Ermitteln von Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs (14), wobei die Bilddaten aus wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einer weiteren der Kameras (3) und/oder aus wenigstens einem gespeicherten, an einem vor dem ersten Aufnahmezeitpunkt liegenden zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild der einen oder mehreren Kameras (3) ermittelt werden, Erzeugen der Umgebungsdarstellung aus dem wenigsten einen Kamerabild (12) sowie den Bilddaten, wobei mit den Bilddaten zumindest ein Teil des in dem wenigstens einen Kamerabild (12) verdeckten Umgebungsbereichs (14) in der Umgebungsdarstellung (15) dargestellt wird.

Description

Beschreibung

Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug

Die Erfindung betrifft ein Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung. Weiterhin betrifft die Erfindung eine Steuereinrichtung, ein Fahrerassistenzsystem und ein Fahrzeug.

Moderne Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer durch die Darstellung einer Umgebungsansicht bei der Durchführung von Fahrmanövern unterstützen. Bei solchen Umgebungsansichten kann es sich zum Beispiel um sogenannte Surround-View-Darstellungen handeln, auf welchen zumindest ein Teil der Fahrzeugumgebung abgebildet wird. Eine solche Umgebungsansicht wird in der Regel auf Grundlage von Kamerabildern, welche mithilfe einer oder mehrerer Kameras des Fahrzeugs aufgenommen wurden, erzeugt.

Die Darstellung des Umgebungsbereichs kann dabei ausgehend von einer virtuellen Kameraposition, welche sich von einer tatsächlichen Anordnungsposition der Kameras am Fahrzeug unterscheidet, erfolgen. Dazu können die Kamerabilder zum Beispiel auf eine virtuelle Projektionsfläche projiziert werden, wobei mithilfe der Projektionsfläche eine Umgebungsansicht ausgehend von einem anderen Blickpunkt ermittelt wird. Dabei kann jedoch der Fall auftreten, dass einzelne Bereiche der Fahrzeugumgebung von Objekten in der Umgebung des Fahrzeugs verdeckt werden.

Aus DE 10 2015 223 176 A1 ist ein Fahrerassistenzsystem für ein Fahrzeug mit Umgebungssensoren, die eine Fahrzeugumgebung des Fahrzeuges sensorisch erfassen, bekannt. Dabei werden die Sensordaten der Umgebungssensoren zur Erkennung von Hindernissen in der Fahrzeugumgebung des Fahrzeuges ausgewertet, wobei in Abhängigkeit von erkannten Hindernissen Verdeckungsbereiche in der Fahrzeugumgebung des Fahrzeugs ermittelt werden. Die Verdeckungsbereiche werden dabei von den Hindernissen verdeckt und schränken einen Sichtbereich von optischen Umgebungssensoren des Fahrerassistenzsystems ein. Die ermittelten Verdeckungsbereiche können bei einer Darstellung der Kamerabilder mit Texturflächen überdeckt werden.

In DE 10 2018 203 590 A1 wird ein Surroundview-System für ein Fahrzeug beschrieben. Dabei wird mithilfe einer Auswerteeinheit des Surroundview-Systems ein Objekt in erfassten Umfelddaten erkannt und die 3D-Form des Objekts ermittelt. Eine für die Erzeugung einer Surroundview-Ansicht verwendete Projektionsfläche wird anschließend mit der bestimmten 3D-Form des Objekts ergänzt. Von dem Objekt verdeckte Bildbereiche können weiterhin mit einer vordefinierten Farbe, mit einer Interpolation umliegender Bereiche und/oder mit einer Spiegelung von Umfelddaten der Vorderseite des Objekts aufgefüllt werden.

Um dem Fahrer einen möglichst vollständigen Überblick über das Fahrzeugumfeld zu ermöglichen, ist es wünschenswert, dass bei einer Umgebungsdarstellung ausgehend von einer virtuellen Kameraposition, welche nicht der tatsächlichen Kameraposition entspricht, möglichst wenig Bereiche vorhanden sind, in denen nicht das tatsächliche Fahrzeugumfeld abgebildet wird.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung anzugeben, welches insbesondere das Auftreten von Bereichen ohne eine Darstellung des tatsächlichen Fahrzeugumfelds vermeidet oder zumindest reduziert.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung gelöst, wobei das Verfahren die folgenden Schritte umfasst:

Bereitstellen von mit einer oder mehreren Kameras des Fahrzeugs aufgenommenen Kamerabildern, wobei in den Kamerabildern jeweils zumindest ein Teil der Fahrzeugumgebung dargestellt ist, - Erzeugen von dreidimensionalen Umgebungsdaten aus wenigstens einem der Kamerabilder, wobei das wenigstens eine Kamerabild an einem ersten Aufnahmezeitpunkt aufgenommen wurde,

- Ermitteln eines verdeckten Umgebungsbereichs für wenigstens eine der Kameras aus den Umgebungsdaten,

- Ermitteln von Bilddaten zum zumindest teilweisen Ausfüllen des verdeckten Umgebungsbereichs, wobei die Bilddaten aus wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einer weiteren der Kameras und/oder aus wenigstens einem gespeicherten, an einem vor dem ersten Aufnahmezeitpunkt liegenden zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild der einen oder mehreren Kameras ermittelt werden,

- Erzeugen der Umgebungsdarstellung aus dem wenigsten einen Kamerabild sowie den Bilddaten, wobei mit den Bilddaten zumindest ein Teil des in dem wenigstens einen Kamerabild verdeckten Umgebungsbereichs in der Umgebungsdarstellung dargestellt wird.

Die für die Erzeugung der Umgebungsdarstellung verwendeten Kamerabilder können beispielsweise von einer oder mehreren Kameras des Fahrzeugs erzeugt und an eine zur Durchführung des Verfahrens ausgebildete Steuereinrichtung über eine Kommunikationsverbindung zur Bereitstellung der Kamerabilder übermittelt werden. Die Kamerabilder können insbesondere kontinuierlich erzeugt und übermittelt werden. Zumindest ein Teil der Kamerabilder kann weiterhin in einer Speichereinrichtung des Fahrzeugs zumindest zeitweise gespeichert werden. Auf diese Weise stehen für die Erzeugung der Umgebungsdarstellung auch an zurückliegenden Aufnahmezeitpunkten aufgenommene Kamerabilder zur Verfügung.

Der in den Kamerabildern jeweils abgebildete Teilbereich der Fahrzeugumgebung hängt von der Anordnungsposition der die jeweiligen Kamerabilder erzeugenden Kamera am Fahrzeug ab. Es ist möglich, dass mehrere an unterschiedlichen Positionen des Fahrzeugs angeordnete Kameras zur Erzeugung der Kamerabilder verwendet werden. Beispielsweise können wenigstens eine an einer Front des Fahrzeugs angeordnete Frontkamera, eine oder mehrere seitlich am Fahrzeug angeordnete Seitenkameras und/oder wenigstens eine am Fahrzeugheck angeordnete Rückfahrkamera verwendet werden. Erfindungsgemäß können mehrere Kameras einer als Surroundview-System des Fahrzeugs ausgebildeten Kameraanordnung verwendet werden.

Als Umgebungsdarstellung kann insbesondere eine Surroundview-Ansicht erzeugt werden. Die Umgebungsdarstellung kann dabei insbesondere ausgehend von einer virtuellen Kameraposition, welche sich von den tatsächlichen Anordnungspositionen der einen oder mehreren Kameras am Fahrzeug unterscheidet, erzeugt werden. Der Wechsel der Perspektive kann durch die Projektion der Kamerabilder auf eine Projektionsfläche, beispielsweise eine das Fahrzeug virtuell umgebende, schüsselförmige Projektionsfläche, erfolgen, wobei die Umgebungsdarstellung dann ausgehend von der virtuellen Kameraposition aus den projizierten Kamerabildern abgeleitet werden kann.

Durch den Wechsel einer Perspektive der Darstellung von der tatsächlichen Kameraposition, von der ausgehend die Kamerabilder erzeugt werden, zu der Position der virtuellen Kamera kann der Fall auftreten, dass in den Kamerabildern von einem Umgebungsobjekt verdeckte Bildbereiche aus dem Blickwinkel der virtuellen Kamera nicht mehr verdeckt sind. Für einen solchen verdeckten Umgebungsbereich sind jedoch in dem Kamerabild keine die Fahrzeugumgebung innerhalb des verdeckten Umgebungsbereich beschreibende Informationen enthalten.

Um diese verdeckten Umgebungsbereiche zu ermitteln, werden zunächst dreidimensionale Umgebungsdaten aus wenigstens einem der Kamerabilder erzeugt, wobei das wenigstens eine Kamerabild an einem ersten Aufnahmezeitpunkt aufgenommen wurde. Die dreidimensionalen Umgebungsdaten beschreiben dabei die Fahrzeugumgebung insbesondere in einem dreidimensionalen Koordinatensystem. Insbesondere können die dreidimensionalen Umgebungsdaten die Geometrie von Umgebungsobjekten sowie die jeweilige Lage der Umgebungsobjekte zum Fahrzeug beschreiben. Mithilfe der Umgebungsdaten kann anschließend ein verdeckter Umgebungsbereich ermittelt werden. Der verdeckte Umgebungsbereich bezieht sich dabei auf eine der Kameras und beschreibt den Teil der Fahrzeugumgebung, welcher von der Kamera aus durch ein Objekt verdeckt ist und somit nicht eingesehen werden kann. Mit anderen Worten ist der einer der Kameras zugeordnete verdeckte Umgebungsbereich also eine Beschreibung desjenigen Teilbereichs der Fahrzeugumgebung, für welchen in den mit der jeweiligen Kamera aufgenommenen Kamerabildern keine Bildinformationen enthalten sind.

Anschließend werden Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs ermittelt. Die zum Ausfüllen des verdeckten Umgebungsbereich verwendeten Bilddaten zeigen dabei insbesondere zumindest einen Teil der Fahrzeugumgebung innerhalb des verdeckten Umgebungsbereichs. Mit anderen Worten enthalten die zum Ausfüllen des verdeckten Umgebungsbereich verwendeten Bilddaten eine Beschreibung zumindest eines Teils der tatsächlichen Fahrzeugumgebung in dem verdeckten Bildbereich, sodass sie in der Umgebungsansicht zur Darstellung des verdeckten Umgebungsbereichs verwendet werden können. Dabei können die Bilddaten den ganzen verdeckten Umgebungsbereich beschreiben oder es können Bilddaten ermittelt werden, welche nur einen oder mehrere Teilbereiche des verdeckten Umgebungsbereichs beschreiben.

Die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs können dabei aus wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen Kamerabild einer weiteren der Kameras entnommen werden. Dies kann zum Beispiel der Fall sein, wenn das Fahrzeug mehrere Kameras aufweist, mit welchen jeweils Kamerabilder aufgenommen werden, wobei sich die Erfassungsbereiche der Kameras und somit auch die in den Kamerabilder abgebildeten Umgebungsteilbereiche teilweise überlappen. Dabei können die Bilddaten zum Beispiel einem der Überlappungsbereiche eines Kamerabilds der weiteren Kamera entnommen werden. Zusätzlich oder alternativ dazu können erfindungsgemäß Bilddaten aus einem zu einem zweiten Aufnahmezeitpunkt aufgenommenen, gespeicherten Kamerabild verwendet werden. Der zweite Aufnahmezeitpunkt liegt dabei vor dem ersten Aufnahmezeitpunkt, sodass die Bilddaten einem früher aufgenommenen Kamerabild, welches auch als historisches Kamerabild bezeichnet werden kann, entnommen werden. Das gespeicherte Kamerabild kann dabei zum Beispiel in einer Speichereinrichtung des Fahrzeugs hinterlegt sein.

Das früher aufgenommene Kamerabild kann bei einer Verdeckung eines Bildbereichs durch ein statisches Umgebungsobjekt insbesondere dann verwendet werden, wenn sich das Fahrzeug zwischen dem ersten Aufnahmezeitpunkt und dem zweiten Aufnahmezeitpunkt bewegt hat. Bei einer Mehrzahl an gespeicherten Kamerabildern kann also insbesondere ein gespeichertes Kamerabild ausgewählt werden, welches von einer anderen Position des Fahrzeugs aus, und somit auch von einer anderen Kameraposition aus, aufgenommen wurde.

Das gespeicherte Kamerabild, dessen Bilddaten zum Ersetzen des für eine der Kameras ermittelten, verdeckten Umgebungsbereichs verwendet werden, kann dabei von derselben Kamera, deren verdeckter Umgebungsbereich ersetzt werden soll, aufgenommen worden sein. Zusätzlich oder alternativ dazu kann auch ein gespeichertes Kamerabild verwendet werden, welches von einer anderen Kamera des Fahrzeugs aufgenommen wurde.

Die Umgebungsdarstellung wird anschließend aus dem wenigsten einen Kamerabild sowie den Bilddaten erzeugt. Dabei wird mit den Bilddaten zumindest ein Teil des in dem wenigstens einen Kamerabild verdeckten Umgebungsbereich in der Umgebungsdarstellung dargestellt. Mit anderen Worten wird in der Umgebungsdarstellung der verdeckte Umgebungsbereich wenigstens zum Teil mit den Bilddaten einer weiteren der Kameras und/oder mit zu einem früheren Zeitpunkt aufgenommenen Bilddaten aufgefüllt. Dies bewirkt, dass die Umgebungsdarstellung zusätzliche Informationen über die tatsächliche Fahrzeugumgebung enthält, welche bei einem Erzeugen der

Umgebungsdarstellung nur aus einem Kamerabild oder nur aus mehreren, an ihren Überlappungsbereichen zusammengefügten Kamerabildern nicht enthalten wären. Die Verwendung von Bilddaten aus einem früher aufgenommenen Kamerabild stellt dabei zumindest eine Näherung des aktuellen Fahrzeugumfelds dar, insbesondere wenn der erste Aufnahmezeitpunkt und der zweiten Aufnahmezeitpunkt nur eine kurze Zeitspanne auseinanderliegen.

Die Umgebungsdarstellung kann insbesondere auf einer Anzeigeeinrichtung des Fahrzeugs, insbesondere auf einem in einem Fahrzeuginnenraum angeordneten Display, für einen Fahrer sichtbar dargestellt werden. Auf diese Weise wird einem Fahrer des Fahrzeugs eine Hilfestellung, beispielsweise bei einer Durchführung von Fahrmanövern auf engem Raum, geboten.

Durch das erfindungsgemäße Verfahren kann vorteilhaft eine verbesserte Situationswahrnehmung durch den Fahrer erfolgen. Durch das Einfügen der Bilddaten in die Umgebungsdarstellung wird zusätzliche Information bzw. zusätzlicher Kontext bereitgestellt, welcher dem Fahrer das Führen des Fahrzeugs erleichtern kann. Insbesondere wird das Erlangen eines Situationsverständnisses vereinfacht, wodurch der Fahrer vorteilhaft schneller und/oder besser auf die aktuelle Verkehrssituation im Fahrzeugumfeld reagieren kann.

Durch das Ausfüllen von verdeckten Umgebungsbereichen in der Darstellung des Fahrzeugumfelds kann das Auftreten von toten Winkeln oder blinden Flecken verhindert oder zumindest reduziert werden, was vorteilhaft eine Steigerung der Verkehrssicherheit zur Folge hat. Durch das bessere Situationsverständnis eines Fahrers kann das Risiko für Kollisionen oder Unfälle aufgrund von nicht einsehbaren Umgebungsbereichen reduziert werden.

Insbesondere das Einfügen von Bilddaten aus einem gespeicherten Kamerabild ermöglicht es, bei einer Auswertung der dreidimensionalen Fahrzeugumgebung, welche beispielsweise auf Grundlage der erzeugten Umgebungsdarstellung erfolgen kann, zusätzliche Funktionen wie eine Objektverfolgung, eine Objekterkennung und/oder eine Augmentierung der Umgebungsdarstellung mit weiteren Informationen umzusetzen. Auch das Implementieren weiterer Funktionen, welche auf ein möglichst vollständiges Verständnis der aktuellen Verkehrssituation angewiesen sind, wird dadurch vereinfacht.

Insbesondere im Fall von statischen Umgebungsobjekten können auch vorangehend aufgenommenen Kamerabildern wertvolle Informationen hinsichtlich der Anwesenheit sowie der Position von Objekten, Landmarken und/oder Hindernissen entnommen werden, wenn diese mit einem aktuellen Kamerabild der Fahrzeugumgebung in der Umgebungsdarstellung zusammengefügt werden.

Durch das Reduzieren von verdeckten Bildbereichen, in welchen kein Bildinhalt oder nur ein schematischer Bildinhalt wie eine statische Farbe oder dergleichen angezeigt werden, wird weiterhin erreicht, dass das Fahrzeugumfeld fortlaufend in einer konsistenten Weise wiedergegeben werden kann. Dies vereinfacht insbesondere das Erfassen der Umgebung, wenn dynamische Bedingungen, wie sich ändernde Beleuchtungsbedingungen und/oder dynamische Objekte in der Umgebung des Fahrzeugs, vorhanden sind. In solchen Fällen kann mithilfe des erfindungsgemäßen Verfahrens vorteilhaft eine konsistente und im Wesentlichen der menschlichen Wahrnehmung entsprechende Umgebungsdarstellung erzeugt und von einem Fahrer des Fahrzeugs betrachtet werden.

Erfindungsgemäß kann vorgesehen sein, dass zunächst überprüft wird, ob die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs in wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einer weiteren der Kameras vorhanden sind, wobei bei Vorhandensein der Bilddaten aus dem wenigstens einen weiteren Kamerabild diese Bilddaten für die Erzeugung der Umgebungsdarstellung verwendet werden und wobei bei Nichtvorhandensein der Bilddaten aus dem wenigstens einen weiteren Kamerabild die Bilddaten aus dem wenigstens einen gespeicherten Kamerabild für die Erzeugung der Umgebungsdarstellung verwendet werden.

Dieses zweistufige Vorgehen ermöglicht vorteilhaft, dass zunächst überprüft wird, ob aktuelle, d. h. ebenfalls an dem ersten Aufnahmezeitpunkt aufgenommene, weitere Kamerabilder vorhanden sind, denen die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereich entnommen werden können. Dies kann zum Beispiel anhand der dreidimensionalen Umgebungsdaten bzw. anhand der daraus abgeleiteten, verdeckten Umgebungsbereiche erfolgen, wenn diese jeweils für mehrere Kameras des Fahrzeugs ermittelt wurden. Wenn solche aktuellen Bilddaten vorliegen, können diese bevorzugt zum Ausfüllen des verdeckten Umgebungsbereichs verwendet werden.

Wenn keine weiteren Kamerabilder einer weiteren Kamera zum ersten Aufnahmezeitpunkt, denen die Bilddaten für den verdeckten Umgebungsbereich entnommen werden könnten, vorliegen, dann kann anschließend überprüft werden, ob mittels der Kamera oder einer weiteren Kamera des Fahrzeugs zu einem früheren, zweiten Aufnahmezeitpunkt aufgenommene, gespeicherte Kamerabilder vorliegen, in welchen die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs enthalten sind. Entsprechend können dann die Bilddaten aus dem wenigstens einen gespeicherten Kamerabild für das Erzeugen der Umgebungsansicht herangezogen werden.

Bei einer Umgebungsdarstellung, welche aus mehreren, zum ersten Aufnahmezeitpunkt aufgenommenen Kamerabildern gebildet wird, kann für jedes der Kamerabilder entsprechend überprüft werden, ob für einen gegebenenfalls vorhandenen verdeckten Umgebungsbereich die Bilddaten einer weiteren Kamera zum ersten Aufnahmezeitpunkt oder historische Bilddaten, welche einem zu einem zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild entnommen werden, verwendet werden.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs anhand der Umgebungsdaten ermittelt werden, wobei der verdeckte Umgebungsbereich der wenigstens einen Kamera zum ersten Aufnahmezeitpunkt mit dem verdeckten Umgebungsbereich der wenigstens einen weiteren Kamera und/oder mit einer dem gespeicherten Kamerabild zugeordneten Verdeckungsinformation, welche den verdeckten Umgebungsbereich der das gespeicherte Kamerabild erzeugenden Kamera zum zweiten Aufnahmezeitpunkt beschreibt, verglichen wird. Durch einen Vergleich der verdeckten Umgebungsbereiche für zwei der Kameras kann in einfacher Weise ermittelt werden, ob für den verdeckten Umgebungsbereich in den Kamerabildern einer der Kameras Bilddaten in den Kamerabildern der anderen Kamera enthalten sind. Dies ist der Fall, wenn der für die eine Kamera verdeckte Umgebungsbereich für die weitere Kamera nicht verdeckt ist. Dies gilt gleichermaßen für den Vergleich zweier zum ersten Aufnahmezeitpunkt aufgenommenen Kamerabilder und für den Vergleich zwischen einem zum ersten Aufnahmezeitpunkt aufgenommenen Kamerabild mit einem gespeicherten, zu einem zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild.

Zusätzlich oder alternativ dazu ist es möglich, dass die Bilddaten anhand einer Verdeckungsinformation ermittelt werden, welche einem gespeicherten Kamerabild zugeordnet ist. Die Verdeckungsinformation kann dabei beschreiben, welcher Teil des Fahrzeugumfelds in dem gespeicherten Kamerabild verdeckt ist, sodass eine Überprüfung, ob das Kamerabild Bilddaten zum Auffüllen eines verdeckten Umgebungsbereich enthält, vereinfacht werden kann. Die Verdeckungsinformation kann dabei beispielsweise an oder kurz nach dem Aufnahmezeitpunkt des Kamerabildes ermittelt und mit dem Kamerabild in einer Speichereinrichtung hinterlegt werden.

Erfindungsgemäß kann vorgesehen sein, dass die Umgebungsdaten in Abhängigkeit einer dem Kamerabild zugeordneten Tiefeninformation, in Abhängigkeit einer die Position des Fahrzeugs und die Fahrzeugumgebung beschreibenden Karteninformation und/oder in Abhängigkeit der Messdaten wenigstens eines Abstandssensors des Fahrzeugs ermittelt werden. Die dreidimensionalen Umgebungsdaten können aus dem Kamerabild durch eine Ermittlung von Tiefeninformationen aus dem in dem Kamerabild wiedergegebenen Bildinhalt erzeugt werden.

Zusätzlich oder alternativ dazu ist es möglich, dass die dreidimensionalen Umgebungsdaten in Abhängigkeit einer die Fahrzeugumgebung beschreibenden Karten information ermittelt werden. Die Karteninformation kann dabei zum Beispiel mittels eines Verfahrens wie einer simultan Positionsbestimmung und Kartierung (englisch: Simultaneous Localization and Mapping, SLAM) und/oder vergleichbarer Verfahren ermittelt werden.

Es ist auch möglich, dass die dreidimensionalen Umgebungsdaten in Abhängigkeit der Messdaten wenigstens eines Abstandssensors des Fahrzeugs ermittelt werden. Mithilfe des Abstandsensors kann ein Abstand zwischen dem Sensor bzw. dem Fahrzeug und einem Umgebungsobjekt im Fahrzeugumfeld bestimmt werden. Der Abstandssensor kann zum Beispiel als ein Radarsensor, als ein Lidarsensor und/oder als ein Ultraschallsensor ausgeführt sein.

Erfindungsgemäß kann die Umgebungsdarstellung ausgehend von einer virtuellen Kameraposition erzeugt werden, wobei die Bilddaten zur Darstellung des zumindest einen Teils des verdeckten Umgebungsbereichs in Abhängigkeit der virtuellen Kameraposition transformiert werden. Dadurch, dass die Bilddaten einem Kamerabild entnommen werden können, dessen Perspektive sich von der Perspektive ausgehend von der virtuellen Kamera unterscheidet, kann durch das Transformieren der Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs in der Umgebungsdarstellung eine verbesserte Wiedergabe der tatsächlichen Fahrzeugumgebung erfolgen. Durch die Transformation der Bilddaten kann der Unterschied in der Perspektive dabei zumindest teilweise ausgeglichen werden, sodass sich ein stimmiges Gesamtbild ergibt.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Bilddaten und das wenigstens eine Kamerabild zur Erzeugung der Umgebungsansicht in Abhängigkeit wenigstens einer Bildharmonisierungsfunktion zusammengefügt werden. Mithilfe der Bildharmonisierungsfunktion können zum Beispiel Unterschiede in einer Belichtung, in der Farbgebung und/oder in einer Auflösung zwischen dem Kamerabild und den eingefügten Bilddaten zumindest teilweise ausgeglichen werden. Durch das Verwenden wenigstens einer Bildharmonisierungsfusion kann somit ein stimmigeres Gesamtbild in der Umgebungsdarstellung erreicht werden. Erfindungsgemäß kann vorgesehen sein, dass mehrere Kameras einer als Surroundview-System des Fahrzeugs ausgebildeten Kameraanordnung verwendet werden. Entsprechend kann es sich bei der Umgebungsdarstellung bevorzugt um eine Surroundview-Darstellung handeln, welche ausgehend von einer virtuellen Kameraposition beispielsweise ein virtuelles Modell des Fahrzeugs sowie den aus der Position der virtuellen Kamera sichtbaren Teil des Fahrzeugumfelds wiedergibt.

Weiterhin betrifft die Erfindung eine Steuereinrichtung, welche zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtet ist. Der Schritt der Bereitstellung der Kamerabilder kann zum Beispiel dadurch erfolgen, dass die Steuereinrichtung zum Empfang der Kamerabilder über eine Kommunikationsverbindung und/oder zum Abrufen der Kamerabilder aus einer Speichereinrichtung des Fahrzeugs ausgebildet ist.

Für ein erfindungsgemäßes Fahrerassistenzsystems vorgesehen, dass es wenigstens eine Kamera, welche zur Bereitstellung von zumindest ein Teil einer Fahrzeugumgebung darstellenden Kamerabildern ausgebildet ist, sowie eine zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtete Steuereinrichtung umfasst.

Für eine Erfindung gemäß des Fahrzeuges vorgesehen, dass es ein erfindungsgemäßes Fahrerassistenzsystem aufweist.

Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend auch für das erfindungsgemäße Steuergerät, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Fahrzeug und umgekehrt. Auch die in Bezug zu der erfindungsgemäßen Steuereinrichtung, dem erfindungsgemäßen Fahrerassistenzsystem und dem erfindungsgemäßen Fahrzeug beschriebenen Vorteile und Ausgestaltungen sind auf die jeweils anderen Gegenstände analog übertragbar. Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:

Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs umfassend ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems,

Fig. 2 ein Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,

Fig. 3 ein Beispiel für ein mit einer Kamera des Fahrzeugs aufgenommenes Kamerabild und

Fig. 4 ein Ausführungsbeispiel einer mit dem erfindungsgemäßen Verfahren erzeugten Umgebungsdarstellung.

In Fig. 1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich zum Beispiel um ein Kraftfahrzeug, insbesondere einen

Personenkraftwagen, einen Lastkraftwagen oder eine andere Art von Nutzfahrzeug, handeln. Es ist auch möglich, dass das Fahrzeug 1 ein unmotorisiertes Fahrzeug wie ein Anhänger ist oder dass es sich um ein Gespann aus einem Zugfahrzeug und einem Anhänger handelt. Das Fahrzeug 1 kann auch ein schienengebundenes Fahrzeug, wie eine Straßenbahn oder dergleichen, oder ein Roboter sein.

Das Fahrzeug 1 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 2, welches eine oder mehrere Kameras 3 sowie eine Steuereinrichtung 4 umfasst. Im vorliegenden Ausführungsbeispiel umfasst das Fahrzeug 1 vier Kameras 3, welche eine als Surroundview-System ausgeführte Kameraanordnung bilden. Eine erste Kamera 5 ist dabei als eine Frontkamera des Fahrzeugs 1 , eine zweite Kamera 6 als eine Rückfahrkamera des Fahrzeugs 1 , sowie eine dritte Kamera 7 und eine vierte Kamera 8 jeweils als eine Seitenkamera des Fahrzeugs 1 angeordnet. Die Steuereinrichtung 4 kann zum Beispiel als ein Mikrocontroller, als ein Prozessor oder als eine andere Art von Recheneinrichtung ausgebildet sein.

Das Fahrerassistenzsystem 2 umfasst weiterhin eine Anzeigeeinrichtung 9, über die grafische Informationen für einen Fahrer bzw. einen Benutzer des Fahrzeugs 1 dargestellt werden können. Bei der Anzeigeeinrichtung 9 kann es sich zum Beispiel um einen oder mehrere in einem Innenraum des Fahrzeugs 1 angeordnete Bildschirme bzw. Displays handeln.

Weiterhin umfasst das Fahrzeug 1 wenigstens einen Abstandssensor 10. Über den wenigstens einen Abstandssensor 10 können die Abstände zu Objekten, insbesondere zu vor, neben und hinter dem Fahrzeug angeordneten Objekten, bestimmt werden. Der Abstandssensor 10 kann zum Beispiel als ein Radarsensor, als ein Lidarsensor und/oder als ein Ultraschallsensor ausgeführt sein. Das Fahrzeug 1 kann insbesondere mehrere Abstandssensoren 10 aufweisen, welche als eine beliebige Kombination von unterschiedlichen Sensortypen ausgeführt und an unterschiedlichen Positionen am Fahrzeug 1 angeordnet sein können.

Mittels der Kameras 3 können jeweils Bilddaten aus einem Teilbereich einer Umgebung des Fahrzeugs 1 erzeugt werden. Die Kameras 3 und der wenigstens eine Abstandsensor 10 sind mit der Steuereinrichtung 4 über eine Kommunikationsverbindung 11 verbunden. Die Kommunikationsverbindung 11 kann zum Beispiel eine Mehrzahl von Punkt-zu-Punkt-Verbindungen umfassen oder eine Bus-Verbindung wie ein CAN-Bus oder dergleichen sein. Über die Kommunikationsverbindung 11 werden, insbesondere kontinuierlich, Bilddaten bzw. Kamerabilder von den Kameras 3 an das Steuergerät 4 übermittelt.

Die Steuereinrichtung 4 ist dazu ausgebildet, ein Verfahren zum Erzeugen einer die Fahrzeugumgebung darstellenden Umgebungsdarstellung auszuführen. Die Steuereinrichtung 4 verwendet dazu mehrere Kamerabilder, welche mittels der Kameras 3 des Fahrzeug 1 aufgenommen wurden. Um Zugriff auf an einem früheren Zeitpunkt bzw. einer früheren Fahrzeugposition aufgenommene Kamerabilder zu erhalten, können zumindest ein Teil der aufgenommenen Kamerabilder im Fahrzeug 1 gespeichert werden, zum Beispiel in einer Speichereinrichtung der Steuereinrichtung 4 und/oder in einer Speichereinrichtung der jeweiligen Kamera. Bei der Speichereinrichtung kann es sich zum Beispiel um einen temporären Datenspeicher wie einen Arbeitsspeicher oder um einen dauerhaften Datenspeicher wie eine Festplatte handeln.

In Fig. 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erzeugen einer die Fahrzeugumgebung darstellenden Umgebungsdarstellung abgebildet.

In einem ersten Schritt S1 des Verfahrens erfolgt das Bereitstellen von mehreren Kamerabildern, welche mithilfe der Kameras 3 des Fahrzeugs 1 aufgenommen wurden, wobei die Kamerabilder jeweils einen Teilbereich des Fahrzeugumfelds zeigen. Die Kamerabilder können dabei aktuelle Kamerabilder sein, welche an einem ersten Aufnahmezeitpunkt erzeugt und an die Steuereinrichtung übermittelt werden. Zusätzlich oder alternativ dazu können auch historische Kamerabilder bereitgestellt werden, welche an einem vor dem ersten Aufnahmezeitpunkt liegenden zweiten Aufnahmezeitpunkt aufgenommen wurden und welche in dem Fahrzeug 1 für die Steuereinrichtung 4 abrufbar gespeichert sind.

Anschließend erfolgt in einem Schritt S2 das Erzeugen von dreidimensionalen Umgebungsdaten aus wenigstens einem der Kamerabilder, das an einem ersten Aufnahmezeitpunkt aufgenommen wurde. Die dreidimensionalen Umgebungsdaten beschreiben Objekte und/oder Merkmale der Umgebungsstruktur hinsichtlich ihrer geometrischen Form sowie hinsichtlich ihrer Anordnung, insbesondere in Bezug zu der Position des Fahrzeugs 1 .

Die Umgebungsdaten können dabei aus dem Bildinhalt des wenigstens einen Kamerabildes abgeleitet werden. Die Umgebungsdaten können durch die Steuereinrichtung 4 bestimmt werden, welche beispielsweise mittels einer oder mehrerer Algorithmen den Bildinhalt eines oder mehrerer der Kamerabilder auswerten kann. Eine Auswertung des Bildinhalts kann beispielsweise mittels Verfahren wie semantischer Segmentierung, Structure-from-Motion, SLAM oder ähnlichen Verfahren erfolgen.

Die Umgebungsdaten können dabei in Abhängigkeit einer dem Kamerabild zugeordneten Tiefeninformation ermittelt werden. Die Tiefeninformation kann dabei angeben, welche Bildbereiche welche Tiefe, also welchen Abstand zum Fahrzeug 1 , aufweisen. Die Tiefeninformation kann beispielsweise, wie vorangehend beschrieben wurde, durch die Steuereinrichtung 4 mittels einer oder mehrerer der Algorithmen ermittelt werden. Für gespeicherte Kamerabilder ist es möglich, dass eine entsprechende Tiefeninformation zu den gespeicherten Kamerabildern ebenfalls in einer Speichereinrichtung für die Steuereinrichtung 4 abrufbar gespeichert wird.

Es ist auch möglich, dass die Umgebungsdaten in Abhängigkeit einer die Position des Fahrzeugs und die Fahrzeugumgebung beschreibenden Karteninformation ermittelt werden. Die Karteninformation kann dabei Informationen über die Fahrzeugumgebung sowie über die Position des Fahrzeugs innerhalb der Fahrzeugumgebung enthalten. Eine in dem Kraftfahrzeug verwendete

Karten information kann insbesondere fortlaufend in Abhängigkeit der Kamerabilder der Kameras 3 und/oder der Messdaten des Abstandsensors 10 aktualisiert werden.

Es ist auch möglich, dass die Messdaten des Abstandsensors 10, welche die Abstände von Objekten in der Umgebung des Fahrzeugs 1 zum Fahrzeug 1 beschreiben, für die Ermittlung der Umgebungsdaten herangezogen werden. Dazu können die Messdaten des Abstandsensors 10 vom Abstandsensor 10 an die Steuereinrichtung 4 über eine Kommunikationsverbindung übertragen werden.

Anschließend werden einem Schritt S3 des Verfahrens für die einzelnen Kameras 3 des Fahrzeugs 1 jeweils verdeckte Umgebungsbereiche aus den vorangehend bestimmten, dreidimensionalen Umgebungsdaten ermittelt. Dabei werden insbesondere die Bereiche identifiziert, in denen jeweils ein Teil der Fahrzeugumgebung aufgrund einer Verdeckung durch ein Umgebungsobjekt nicht eingesehen werden kann.

In Fig. 3 ist beispielhaft ein Kamerabild 12 dargestellt, bei dem jeweils ein Teil der Fahrzeugumgebung durch ein Objekt 13 verdeckt wird. Das Kamerabild 12 kann zum Beispiel von einer der Seitenkameras 7, 8 des Fahrzeugs 1 aufgenommen worden sein. Der verdeckte Bildbereich 14 umfasst diejenigen Teilbereiche, welche hinter den als Pfosten ausgebildeten Objekten 13 liegen. Für die hinter den Objekten 13 liegenden Bereiche der Fahrzeugumgebung liegen in dem Kamerabild 12 keine Bildinformationen vor. Die verdeckten Bildbereiche 14 beziehen sich dabei jeweils auf ein Kamerabild 12 bzw. auf eine der Kameras 3, sodass sich die verdeckten Bildbereiche 14 für verschiedene der Kameras 3 unterscheiden können.

Im Schritt S4 erfolgt das Ermitteln von Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs 14. Dabei können in einem ersten Teilschritt S4A die Bilddaten aus wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen, weiteren Kamerabild einer der weiteren Kameras 3 des Fahrzeugs 1 entnommen werden. Beispielweise kann ein ebenfalls an dem ersten Aufnahmezeitpunkt aufgenommenes Kamerabild der Frontkamera 5 bzw. der Rückfahrkamera 6 verwendet werden, wenn diese aufgrund einer Überlappung der Erfassungsbereiche mit den seitlichen Kameras 7, 8 den verdeckten Umgebungsbereich 14 der Seitenkameras 7, 8 unverdeckt erfassen.

In einem Teilschritt S4B können die Bilddaten aus wenigstens einem gespeicherten, an einem vor dem ersten Aufnahmezeitpunkt liegenden zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild der einen oder mehreren Kameras 3 des Fahrzeugs 1 ermittelt werden. In diesem Teilschritt werden also die Bilddaten einem historischen Kamerabild, welches zu einem früheren Zeitpunkt aufgenommen wurde, entnommen. Dieses gespeicherte Kamerabild kann von der Steuereinrichtung 4 aus einer Speichereinrichtung des Fahrzeugs 1 geladen werden. Das gespeicherte Kamerabild kann von derselben Kamera aufgenommen werden, wie das die verdeckten Umgebungsbereich aufweisenden Kamerabild, oder es kann sich um ein gespeichertes Kamerabild handeln, welches von einer anderen der Kameras 3 aufgenommen wurde.

Die Teilschritte S4A und S4B können alternativ oder nacheinander durchgeführt werden. Insbesondere kann zunächst überprüft werden, ob die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs 14 in wenigstens einen an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einer weiteren der Kameras 3 vorhanden sind, wobei bei Vorhandensein der Bilddaten aus dem wenigstens einen weiteren Kamerabild diese Bilddaten anschließend für die Erzeugung der Umgebungsdarstellung verwendet werden.

Die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereich können beispielsweise anhand der dreidimensionalen Umgebungsdaten ermittelt werden. Dabei kann der verdeckte Umgebungsbereich 14 der wenigstens einen Kamera 3 zum ersten Aufnahmezeitpunkt mit dem verdeckten Umgebungsbereich der wenigstens einen weiteren Kamera verglichen werden. Auf diese Weise kann überprüft werden, ob in dem weiteren Kamerabild Bilddaten für die verdeckten Umgebungsbereiche 14 vorhanden sind.

Wenn ein weiteres Kamerabild vom ersten Aufnahmezeitpunkt nicht vorhanden ist bzw. wenn aus den weiteren vorhandenen Kamerabildern die Bilddaten nicht gewonnen werden können, so kann anschließend ein gespeichertes Kamerabild ermittelt und für die Erzeugung der Umgebungsdarstellung verwendet werden. Das gespeicherte Kamerabild kann insbesondere derart ermittelt werden, dass es die Fahrzeugumgebung ausgehend von einer anderen Kameraposition abbildet. Dies kann beispielsweise der Fall sein, wenn das Fahrzeug sich zwischen dem zweiten Aufnahmezeitung und dem ersten Aufnahmezeitpunkt bewegt hat. Dies bewirkt, dass in dem gespeicherten Kamerabild Bilddaten für die im ersten Aufnahmezeitpunkt aufgenommenen Kamerabild verdeckten Umgebungsbereiche 14 vorhanden sind.

Bei der Verwendung eines gespeicherten Kamerabild können die Bilddaten zum

Ausfüllen des verdeckten Umgebungsbereichs 14 zum Beispiel auch mit einer dem gespeicherten Kamerabild zugeordneten Verdeckungsinformation ermittelt werden. Die Verdeckungsinformation kann den verdeckten Umgebungsbereich der das gespeicherten Kamerabild erzeugenden Kamera 3 zum zweiten Aufnahmezeitpunkt beschreiben. Mithilfe der Verdeckungsinformation können der verdeckte Umgebungsbereich des gespeicherten Kamerabildes sowie des weiteren Kamerabildes verglichen werden. Die Verdeckungsinformation kann beispielsweise dem gespeicherten Kamerabild zugeordnet und ebenfalls in der Speichereinrichtung hinterlegt sein. Es ist möglich, dass die Verdeckungsinformation bereits bei Aufnahme des gespeicherten Kamerabildes erzeugt und für die spätere Verwendung in der Speichereinrichtung hinterlegt wurde.

In einem Schritt S5 wird schließlich die Umgebungsdarstellung auf Grundlage des wenigstens einen Kamerabildes 12 sowie den Bilddaten, welche zum Auffüllen des verdeckten Umgebungsbereichs verwendet werden, erzeugt. Die vorangehend in Schritt S4 ermittelten Bilddaten werden dabei in den verdeckten Umgebungsbereich 14 eingesetzt, sodass dieser, insbesondere bei Darstellung der Umgebungsdarstellung ausgehend von der Position einer virtuellen Kamera, zumindest teilweise mit die tatsächliche Umgebung des Fahrzeugs 1 zumindest näherungsweise beschreibenden Bilddaten dargestellt werden kann.

In Fig. 4 ist eine Umgebungsdarstellung 15 dargestellt. Die Umgebungsdarstellung 15 wurde ausgehend von einer virtuellen Kameraposition erzeugt, sodass der Blickwinkel auf die Fahrzeugumgebung nicht von einer tatsächlichen Position einer der Kameras 3 abhängt. Dies ermöglicht es, dass das Fahrzeug 1 , bzw. ein virtuelles Modell des Fahrzeugs 1 , ebenfalls in der Umgebungsdarstellung gezeigt werden kann. Die Bilddaten zur Darstellung zumindest eines Teils des verdeckten Umgebungsbereichs 14 können dabei insbesondere in Abhängigkeit der virtuellen Kameraposition transformiert werden, um den Unterschied in der Perspektive auszugleichen.

In der in Fig. 4 gezeigten Umgebungsdarstellung 15 wurden die Bilddaten verwendet, um die von den als Pfosten ausgebildeten Objekten 13 verdeckten Teilbereiche des verdeckten Umgebungsbereichs 14 mit Daten über das tatsächliche Fahrzeugumfeld aufzufüllen. Das Verwenden der Bilddaten ermöglicht es dabei, dass der Fahrer ein vollständiges Bild des Fahrzeugumfelds betrachten kann, welches keine oder zumindest weniger Lücken und/oder schwarze bzw. nicht mit Bilddaten ausgefüllte Bereiche aufweist. Bevorzugt werden für die Umgebungsdarstellung 15 Bilddaten für alle verdeckten Bereiche 14 ermittelt, sodass eine vollständige, lückenfreie Wiedergabe der Umgebung möglich ist. In dem Fall, dass nicht für alle verdeckten Umgebungsbereiche 14 Bilddaten vorhanden sind, können die verbleibenden verdeckten Teilbereiche, für welche keine Bilddaten vorliegen, beispielsweise in schwarz dargestellt oder mittels einer Extrapolation der jeweils umgebenden Bildbereiche aufgefüllt werden.

Weiterhin ist es möglich, dass die Bilddaten und das wenigstens eine Kamerabild 12 zur Erzeugung der Umgebungsdarstellung 15 in Abhängigkeit wenigstens einer Bildharmonisierungsfunktion zusammengefügt werden. Mithilfe der Bildharmonisierung kann beispielsweise ein Ausgleich unterschiedlicher Helligkeiten, unterschiedlicher Farbsättigungen und dergleichen vorgenommen werden, um eine harmonische Umgebungsdarstellung 15 zu erzeugen.

Die in Fig. 4 gezeigte Umgebungsdarstellung 15 ist rein beispielhaft, es können insbesondere auch andere Arten von Umgebungsdarstellungen, beispielsweise unter einem anderen Winkel bzw. einer anderen virtuellen Kameraposition aufgenommene Umgebungsdarstellungen 15 erzeugt werden. Beispielsweise ist es möglich, dass als Umgebungsdarstellung 15 auch ein Topview, welcher eine Aufsicht auf das Fahrzeug 1 in einer Vogelperspektive zeigt, erzeugt wird.

Die Umgebungsdarstellung 15 kann einem Fahrer des Fahrzeugs 1 auf der Anzeigeeinrichtung 9 dargestellt werden, sodass diese vom Fahrer 1 für die Durchführung von Fahrzeugmanövern betrachtet werden kann. Dadurch wird die Durchführung präziser Fahrmanöver, insbesondere auf engem Raum durchgeführte Manöver wie Parkmanöver, signifikant vereinfacht. Zusätzlich kann die Umgebungsdarstellung 15 auch für weitere Fahrerassistenzfunktionen des Fahrzeugs 1 , welche beispielsweise eine Verfolgung von Objekten, Landmarken oder Hindernissen im Umfeld des Fahrzeugs 1 beinhalten, verwendet werden.

Claims

Patentansprüche

1 . Verfahren zum Erzeugen einer eine Fahrzeugumgebung darstellenden Umgebungsdarstellung (15) umfassend die Schritte:

- Bereitstellen von mit einer oder mehreren Kameras (3) des Fahrzeugs (1 ) aufgenommenen Kamerabildern (12), wobei in den Kamerabildern (12) jeweils zumindest ein Teil der Fahrzeugumgebung dargestellt ist,

- Erzeugen von dreidimensionalen Umgebungsdaten aus wenigstens einem der Kamerabilder (12), wobei das wenigstens eine Kamerabild (12) an einem ersten Aufnahmezeitpunkt aufgenommen wurde,

- Ermitteln eines verdeckten Umgebungsbereichs (14) für wenigstens eine der Kameras aus den Umgebungsdaten,

- Ermitteln von Bilddaten zum zumindest teilweisen Ausfüllen des verdeckten Umgebungsbereichs (14), wobei die Bilddaten aus wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einerweiteren der Kameras (3) und/oder aus wenigstens einem gespeicherten, an einem vor dem ersten Aufnahmezeitpunkt liegenden zweiten Aufnahmezeitpunkt aufgenommenen Kamerabild der einen oder mehreren Kameras (3) ermittelt werden,

- Erzeugen der Umgebungsdarstellung aus dem wenigsten einen Kamerabild (12) sowie den Bilddaten, wobei mit den Bilddaten zumindest ein Teil des in dem wenigstens einen Kamerabild (12) verdeckten Umgebungsbereichs (14) in der Umgebungsdarstellung (15) dargestellt wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zunächst überprüft wird, ob die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs (14) in wenigstens einem an dem ersten Aufnahmezeitpunkt aufgenommenen weiteren Kamerabild einer weiteren der Kameras (3) vorhanden sind, wobei bei Vorhandensein der Bilddaten aus dem wenigstens einen weiteren Kamerabild diese Bilddaten für die Erzeugung der Umgebungsdarstellung (15) verwendet werden und wobei bei Nichtvorhandensein der Bilddaten aus dem wenigstens einen weiteren Kamerabild die Bilddaten aus dem wenigstens einen gespeicherten Kamerabild für die Erzeugung der Umgebungsdarstellung (15) verwendet werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilddaten zum Ausfüllen des verdeckten Umgebungsbereichs (14) anhand der Umgebungsdaten ermittelt werden, wobei der verdeckte Umgebungsbereich (14) der wenigstens einen Kamera (3) zum ersten Aufnahmezeitpunkt mit dem verdeckten Umgebungsbereich (14) der wenigstens einen weiteren Kamera (3) und/oder mit einer dem gespeicherten Kamerabild zugeordneten Verdeckungsinformation, welche den verdeckten Umgebungsbereich (14) der das gespeicherte Kamerabild erzeugenden Kamera (3) zum zweiten Aufnahmezeitpunkt beschreibt, verglichen wird.

4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungsdaten in Abhängigkeit einer dem Kamerabild (12) zugeordneten Tiefeninformation, in Abhängigkeit einer die Position des Fahrzeugs (1 ) und die Fahrzeugumgebung beschreibenden Karteninformation und/oder in Abhängigkeit der Messdaten wenigstens eines Abstandssensors (10) des Fahrzeugs (1 ) ermittelt werden.

5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungsdarstellung (15) ausgehend von einer virtuellen Kameraposition erzeugt wird, wobei die Bilddaten zur Darstellung des zumindest einen Teils des verdeckten Umgebungsbereichs (14) in Abhängigkeit der virtuellen Kameraposition transformiert werden.

6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten und das wenigstens eine Kamerabild (12) zur Erzeugung der Umgebungsansicht (15) in Abhängigkeit wenigstens einer Bildharmonisierungsfunktion zusammengefügt werden.

7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Kameras (3) einer als Surroundview-System des Fahrzeugs (1) ausgebildeten Kameraanordnung verwendet werden.

8. Steuereinrichtung, eingerichtet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche.

9. Fahrerassistenzsystem umfassend wenigstens eine Kamera (3), welche zur Bereitstellung von zumindest einen Teil einer Fahrzeugumgebung darstellenden Kamerabildern ausgebildet ist, sowie eine Steuereirichtung (4) nach Anspruch 8.

10. Fahrzeug umfassend ein Fahrerassistenzsystem (2) nach Anspruch 9.