DE102015201642A1

DE102015201642A1 - Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges

Info

Publication number: DE102015201642A1
Application number: DE102015201642.0A
Authority: DE
Inventors: Raphael Cano; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-01-30
Filing date: 2015-01-30
Publication date: 2016-08-04
Anticipated expiration: 2035-01-31
Also published as: DE102015201642B4

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung und ein entsprechendes Verfahren zur Darstellung einer Umgebung eines Fahrzeuges (1). Die Vorrichtung umfasst zumindest eine Kamera (2, 3, 4, 5), die dazu eingerichtet ist, die Umgebung des Fahrzeuges (1) zu erfassen, einen Blickrichtungsdetektor (8), der dazu eingerichtet ist, eine Blickrichtung eines Anwenders (6) zu detektieren eine Recheneinheit (9), die basierend auf der erfassten Umgebung des Fahrzeuges (1) ein Videobild (11) erzeugt, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges (1) entsprechend der detektierten Blickrichtung des Anwenders (6) abbildet, wobei ein Bereich der Umgebung des Fahrzeuges (1), der zu einem aktuellen Zeitpunkt nicht von der zumindest einen Kamera (2, 3, 4, 5) erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges (1) abgebildet wird, und eine Videobrille (7), die dazu eingerichtet ist, das Videobild (11) für den Anwender (6) darzustellen.

Description

Stand der Technik
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Darstellung einer Umgebung eines Fahrzeuges.
Umfelderfassungssysteme ermöglichen zweidimensionale oder dreidimensionale Visualisierungen der Umgebung eines Fahrzeuges, um den Fahrer bei einem Führen des Fahrzeuges zu unterstützen. Solche Umfelderfassungssysteme werden auch als Surround-View-Systeme bezeichnet. Solche Systeme nutzen typischerweise Kameras, die extern an dem Fahrzeug angeordnet sind. Mittels einer Bildsynthese wird eine freie Bewegung einer virtuellen Kamera um ein Modell des Fahrzeuges ermöglicht.
Ferner ist aus dem Bereich der Videospiele das Prinzip der virtuellen Realität bekannt. Verschiedene kommerzielle Produkte werden angeboten, die es einem Spieler erlauben, mit einer virtuellen Welt aus der Ego-Perspektive zu interagieren. Diese Produkte haben unterschiedliche Arten von Sensoren, wie z.B. Beschleunigungssenoren oder Kameras, die es ermöglichen die Bewegungen eines Anwenders, z.B. Augenbewegung und Kopfbewegung, zu verfolgen. Ein Beispiel für ein solches Produkt ist die Videobrille Oculus.
Die DE102010010030A1 beschreibt eine Vorrichtung zum Darstellen einer Umgebung mit einer Kamera. Die Umgebung wird auf einem Anzeigemittel eines optischen Visiers zum Darstellen der Umgebung in einem Bild abgebildet.
Die DE102010013395A1 beschreibt ein Verfahren zum Anzeigen einer Grafik, die die Betriebsumgebung eines Fahrzeuges darstellt, wobei der Ort der Augen des Bedieners überwacht wird, und ein Objekt, das von einer Ansicht des Bedieners durch eine nicht transparente Komponente des Fahrzeuges verdeckt ist, auf der nicht transparenten Komponente angezeigt wird.
Die DE102012208288A1 , beschreibt ein Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige.
Offenbarung der Erfindung
Die erfindungsgemäße Vorrichtung zur Darstellung einer Umgebung eines Fahrzeuges umfasst zumindest eine Kamera, die dazu eingerichtet ist, die Umgebung des Fahrzeuges zu erfassen, einen Blickrichtungsdetektor, der dazu eingerichtet ist, eine Blickrichtung eines Anwenders zu detektieren, eine Recheneinheit, die basierend auf der erfassten Umgebung des Fahrzeuges ein Videobild erzeugt, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges entsprechend der detektierten Blickrichtung des Anwenders abbildet, wobei ein Bereich der Umgebung des Fahrzeuges, der zu einem aktuellen Zeitpunkt nicht von der zumindest einen Kamera erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges abgebildet wird, und eine Videobrille, die dazu eingerichtet ist, das Videobild für den Anwender darzustellen.
Das erfindungsgemäße Verfahren zur Darstellung einer Umgebung eines Fahrzeuges umfasst ein Erfassen der Umgebung des Fahrzeuges mittels zumindest einer Kamera, ein Detektieren einer Blickrichtung eines Anwenders, ein Erzeugen eines Videobildes basierend auf der erfassten Umgebung des Fahrzeuges, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges entsprechend der detektierten Blickrichtung des Anwenders abbildet, wobei ein Bereich der Umgebung des Fahrzeuges, der zu einem aktuellen Zeitpunkt nicht von der zumindest einen Kamera erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges abgebildet wird, und ein Darstellen des Videobildes für den Anwender mittels einer Videobrille.
Ein solches Verfahren und eine solche Vorrichtung sind vorteilhaft, da dem Anwender eine verbesserte Sicht auf die Umgebung des Fahrzeuges ermöglicht wird. Dabei ist es nicht notwendig, eine Position einer virtuellen Kamera gegenüber dem Fahrzeug festzulegen, da eine Darstellung aus der Ego-Perspektive ermöglicht wird. Dabei ist es auch möglich solche Bereich dazustellen, die aktuell nicht von einer Kamera erfasst werden, da diese beispielsweise unter dem Fahrzeug liegen.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. Bevorzugt umfasst die Vorrichtung einen Sensor, durch den eine Position und/oder Bewegung des Fahrzeuges erfasst wird, wobei die Recheneinheit eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges ermittelt. Auf diese Weise kann eine korrekte Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild gewährleistet werden. Ferner wird somit die für eine Einpassung des gespeicherten Bildes in das Videobild benötigte Rechenleitung minimiert.
Es ist vorteilhaft, wenn Komponenten des Fahrzeuges als transparent erscheinende Objekte in das Videobild eingefügt werden. Somit wird eine räumliche Orientierung für den Anwender erleichtert. Bei einer Bewegung des Fahrzeuges ist es für den Anwender somit auch einfacher, die Position des Fahrzeuges gegenüber Hindernissen einzuschätzen.
Ferner ist es vorteilhaft, wenn der Blickrichtungsdetektor von der Videobrille umfasst wird. Somit wird ein unmittelbares Detektieren der Blickrichtung ermöglicht und eine zeitliche Verzögerung verringert. Auch wird somit auf einfache Weise eine besonders hohe Präzision beim Detektieren der Blickrichtung erreicht.
Auch ist es vorteilhaft, wenn das Videobild ein 3D-Bild ist. Somit wird die Darstellung der Umgebung für den Anwender besonders realistisch. Auch wird ein Einschätzen von Abständen und Entfernungen zu möglichen Hindernissen für den Anwender ermöglicht.
Ebenso vorteilhaft ist es, wenn die Recheneinheit das Videobild basierend auf einer Position des Anwenders in dem Fahrzeug erzeugt. Somit wird eine perspektivische Korrektur des Videobildes ermöglicht und dem Anwender ein Einschätzen von Abständen und Entfernungen von seiner Position gegenüber möglichen Hindernissen ermöglicht.
Bevorzugt umfasst das Verfahren ein Erfassen einer Position und/oder einer Bewegung des Fahrzeuges, wobei bei dem Erzeugen des Videobildes eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges erfolgt. Auf diese Weise kann eine korrekte Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild gewährleistet werden. Ferner wird somit die für eine Einpassung des gespeicherten Bildes in das Videobild benötigte Rechenleitung minimiert.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
1 ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Darstellung einer Umgebung eines Fahrzeuges in einer ersten vorteilhaften Ausführungsform,
2 eine Darstellung eines für einen Anwender sichtbaren beispielhaften Videobildes, welches von der erfindungsgemäßen Vorrichtung erzeugt wurde,
3A eine Ansicht einer Umgebung des Fahrzeuges hinter dem Fahrzeugheck zu einem ersten Zeitpunkt,
3B eine Ansicht einer Umgebung des Fahrzeuges hinter dem Fahrzeugheck zu einem zweiten Zeitpunkt,
3C eine Ansicht einer Umgebung des Fahrzeuges hinter dem Fahrzeugheck zu einem dritten Zeitpunkt, und
4 zeigt ein Ablaufdiagram des in der ersten Ausführungsform durchgeführten erfindungsgemäßen Verfahrens.
Ausführungsformen der Erfindung
1 zeigt ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung zur Darstellung einer Umgebung des Fahrzeuges 1 in einer ersten Ausführungsform.
Die Vorrichtung zur Darstellung der Umgebung des Fahrzeuges 1 umfasst eine erste Kamera 2, eine zweite Kamera 3, eine dritte Kamera 4 und eine vierte Kamera 5. Die erste Kamera 3 ist an einer Front des Fahrzeuges 1 angeordnet und erfasst die Umgebung des Fahrzeuges 1, die vor dem Fahrzeug 1 liegt. Die zweite Kamera 4 ist an einer rechten Seite des Fahrzeuges 1 angeordnet und erfasst die Umgebung des Fahrzeuges 1, die rechts neben dem Fahrzeug 1 liegt. Die dritte Kamera 4 ist an einem Fahrzeugheck 12 des Fahrzeuges 1 angeordnet und erfasst die Umgebung des Fahrzeuges 1, die hinter dem Fahrzeug 1 liegt. Die vierte Kamera 5 ist an einer linken Seite des Fahrzeuges 1 angeordnet und erfasst die Umgebung des Fahrzeuges 1, die links neben dem Fahrzeug 1 liegt. Die erste bis vierte Kamera 2 bis 5 sind somit dazu eingerichtet ist, die Umgebung des Fahrzeuges 1 zu erfassen. In der ersten Ausführungsform weist jede der ersten bis vierten Kamera 2 bis 5 jeweils eine Weitwinkellinse auf, um einen möglichst großflächigen Bereich in der Umgebung des Fahrzeuges 1 zu erfassen. Dabei Überlappen sich die von benachbarten Kameras erfassten Bereiche der Umgebung des Fahrzeuges. So wird beispielsweise ein Bereich, der rechts vor dem Fahrzeug 1 liegt sowohl von der ersten Kamera 2 als auch von der zweiten Kamera 3 erfasst.
Die Vorrichtung zur Darstellung der Umgebung des Fahrzeuges 1 umfasst ferner einen Blickrichtungsdetektor 8, der dazu eingerichtet ist, eine Blickrichtung eines Anwenders zu detektieren. Der Anwender ist in dieser Ausführungsform ein Fahrer 6 des Fahrzeuges 1. Die Vorrichtung zur Darstellung der Umgebung des Fahrzeuges 1 umfasst zudem eine Videobrille 7, die dazu eingerichtet ist, ein Videobild 11 für den Fahrer 6 darzustellen. Die Videobrille 7 ist dabei eine tragbare Vorrichtung, die das Videobild 11 großflächig im Sichtfeld des Fahrers 6 darstellt. Unter den Begriff Videobrille 7 fallen dabei ebenfalls sogenannte Datenbrillen. Der Blickrichtungsdetektor 8 ist an der Videobrille 7 angeordnet und umfasst einen Richtungssensor und einen Neigungssenor, durch welche eine räumliche Lage der Videobrille 7 erfasst wird. Da bei einem Betrieb der erfindungsgemäßen Vorrichtung die Videobrille 7 auf dem Kopf des Fahrers 6 sitzt, wird mir der räumlichen Lage der Videobrille 7 gleichzeitig eine Blickrichtung des Fahrers 6 detektiert.
In weiteren Ausführungsformen kann der Blickrichtungsdetektor 8 jede Vorrichtung sein, die dazu geeignet ist, ein Sichtfeld des Fahrers 6 zu ermitteln. Dies kann insbesondere dadurch erreicht werden, dass die Lage des Kopfes des Fahrers 6 ermittelt wird. Als Beispiel für einen Blickrichtungsdetektor 8, der nicht von der Videobrille 7 umfasst wird, sei hier eine Kamera genannt, die im Immenraum des Fahrzeuges angeordnet ist und ein Bild des Fahrers 7 erfasst. Aus diesem Bild des Fahrers wird dann mittels einer Bildanalyse die Lage des Kopfes des Fahrers 6 ermittelt. Ein Blickrichtungsdetektor 8 kann insbesondere eine Blickrichtung anhand der Ausrichtung der Pupillen des Fahrers 6 ermitteln.
In der hier beschriebenen ersten Ausführungsform sind die erste Kamera 2, die zweite Kamera 3, die dritte Kamera 4, die vierte Kamera 5, die Videobrille 7 und der Blickrichtungsdetektor 8, über jeweils eine Datenverbindung mit einer Recheneinheit 9 verbunden, die in dem Fahrzeug 1 angeordnet ist.
Die Recheneinheit 9 erzeugt basierend auf der erfassten Umgebung des Fahrzeuges 1 ein Videobild 11, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges 1 entsprechend der detektierten Blickrichtung des Fahrers 6 abbildet. Dieses Bild wird für den Fahrer 6 mittels der Videobrille 7 dargestellt. Es wird also von der Recheneinheit 9 das Videobild 11 auf eine Weise erzeugt, dass es dem Fahrer 6 beim Tragen der Videobrille 7 innerhalb des Fahrzeuges 1 ermöglicht, die Umgebung des Fahrzeuges aus seiner Perspektive so wahrzunehmen, als ob das Fahrzeug 1 transparent wäre.
Das Fahrzeug 1 selbst kann dabei in dem Videobild 11 entweder vollständig transparent dargestellt sein oder nur zu einem Anteil transparent sein. Ein transparenter Anteil bedeutet dabei, dass alle Komponenten des Fahrzeuges 1 für den Fahrer 6 erkennbar sind, aber der Fahrer 6 dennoch durch diese hindurchsehen kann. Alternativ oder in Kombination dazu bedeutet ein transparenter Anteil ebenfalls, dass nur einige ausgewählte Komponenten des Fahrzeuges 1 für den Fahrer 6 transparent sind.
2 zeigt eine Darstellung eines für einen Fahrer 6 sichtbaren beispielhaften Videobildes 11, welches von der erfindungsgemäßen Vorrichtung erzeugt wurde. Gezeigt ist das Videobild 11, welches für den Fahrer 6 mittels der Videobrille 7 dargestellt wird, wenn dieser nach hinten blickt. Der Fahrer 6 erblickt eine Rückbank 15a des Fahrzeuges 1 und eine Heckscheibe mit Rahmen 15b des Fahrzeuges 1. Die Rückbank 15a und der Rahmen 15b sind Komponenten des Fahrzeuges 1. Durch die Heckscheibe ist, wie in einer realen Ansicht auch, ein Passant 14, der sich hinter dem Fahrzeug 1 befindet, erkennbar. In einer realen Ansicht würde ein großer Teil des Passanten 14 jedoch von der Rückbank 15a und dem Rahmen 15b verdeckt. In dem Videobild 11 ist der Passant 14 jedoch in voller Größe zu erkennen, da sowohl die Rückbank 15a als auch der Rahmen 15b transparent dargestellt werden.
Die Recheneinheit 8 ist ein Computersystem auf dem eine Bildverarbeitungssoftware betrieben wird. Eine beispielhafte Arbeitsweise der Recheneinheit 8 ist im Folgenden beschrieben: Durch die Bildverarbeitungssoftware werden die von der ersten bis vierten Kamera 2 bis 5 erfassten Bilder in einem virtuellen Raum auf einen virtuellen Hohlkörper projiziert, der das Fahrzeug 1 umgibt. Innerhalb dieses virtuellen Hohlkörpers wird rechnerisch eine virtuelle Kamera platziert. Die Blickrichtung dieser virtuellen Kamera wird dabei entsprechend der von dem Blickrichtungsdetektor 8 detektierten Blickrichtung des Fahrers 6 gewählt. In dem virtuellen Hohlkörper ist ferner ein dreidimensionales Modell des Fahrzeuges 1 angeordnet, welches zu einem Anteil transparent ist. Die virtuelle Kamera erfasst somit die auf den virtuellen Hohlkörper projizierte Abbildung der Umgebung des Fahrzeuges 1 durch das zumindest teilweise transparente dreidimensionale Modell des Fahrzeuges 1 hindurch. Die Position der virtuellen Kamera innerhalb des virtuellen Hohlkörpers und innerhalb des dreidimensionales Modell des Fahrzeuges 1 wird dabei derart gewählt, dass die Position der der virtuellen Kamera einer Position des Kopfes des Fahrers in dem Fahrzeug 1 und somit auch einer entsprechenden Position des Kopfes des Fahrers in dem dreidimensionalen Modell des Fahrzeuges 1 entspricht. Die Position des Kopfes des Fahrers wird dabei entweder als eine typische Position festgelegt oder voreingestellt. Alternativ kann der Kopf des Fahrers oder der Videobrille durch eine entsprechende Sensorik erfasst werden und als Position des Kopfes des Fahrers genutzt werden. Das von der virtuellen Kamera erfasste Bild wird errechnet und als das Videobild 11 an die Videobrille 7 übertragen. Es wird somit ein Ausschnitt der Umgebung des Fahrzeuges 1 entsprechend der detektierten Blickrichtung des Fahrers 6 abgebildet. Insbesondere wird eine Form des Hohlkörpers dabei durch Informationen ermittelt, welche der Recheneinheit 8 durch eine Abstandssensorik des Fahrzeuges 1, z.B. Ultraschallsensoren oder ein Lidar-System, bereitgestellt werden.
Bei dem Erzeugen des Videobildes 11 kommen insbesondere solche Verfahren zum Einsatz, die auch in Umfelderfassungssystemen genutzt werden. In Umfelderfassungssystemen werden die Bilder einer virtuellen Kamera beispielsweise errechnet, um eine Darstellung des Fahrzeuges 1 aus einer Vogelperspektive zu erzeugen.
In weiteren Ausführungsformen der Erfindung wird durch die Recheneinheit 9 ein dreidimensionales Modell der Umgebung des Fahrzeuges 1 errechnet und optional ein teilweise transparentes dreidimensionales Modell des Fahrzeuges 1 in diesem angeordnet. Das dreidimensionale Modell der Umgebung des Fahrzeuges 1 wird dabei mit Texturen belegt, die aus den erfassten Bildern der ersten bis vierten Kamera 2 bis 5 ermittelt werden. Auch hier kann eine Genauigkeit des dreidimensionales Modells verbessert werden, indem durch eine Abstandssensorik des Fahrzeuges 1 Informationen bereitgestellt werden.
In der beschriebenen ersten Ausführungsform der Erfindung kann es vorkommen, dass der Fahrer 6 seinen Blick auf einen Bereich in der Umgebung des Fahrzeuges 1 richtet, der zu diesem Zeitpunkt von keiner der ersten bis vierten Kamera 2 bis 5 erfasst wird. Dieser Fall würde beispielsweise eintreten, wenn der Fahrer 6 seinen Blick auf den Fahrzeugboden, also nach unten, richten würde.
Um dennoch ein fehlerfreies Videobild 11 darzustellen, wird ein Bereich der Umgebung des Fahrzeuges 1, der zu einem aktuellen Zeitpunkt nicht von der ersten bis vierten Kamera 2 bis 5 erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges 1 abgebildet. Dazu ist in dieser Ausführungsform ein Sensor 10 an dem Fahrzeug 1 angeordnet und mit der Recheneinheit 9 gekoppelt, durch den eine Bewegung des Fahrzeuges 1 erfasst wird. Der Sensor 10 ermittelt dabei einen Lenkwinkel des Fahrzeuges 1 und eine Drehbewegung der Räder des Fahrzeuges 1. Die Bewegung des Fahrzeuges 1 gegenüber seiner Umgebung wird dabei mittels einer Odometrie erfasst.
Die Arbeitsweise der Recheneinheit 8 wird im Folgenden anhand der 3A bis 3C verdeutlicht.
3A zeigt eine Ansicht einer Umgebung des Fahrzeuges 1 hinter dem Fahrzeugheck 12 zu einem ersten Zeitpunkt. Es ist eine Straßenmarkierung 13 ersichtlich, die auf einer Straße angebracht ist, auf der sich das Fahrzeug 1 zu dem ersten Zeitpunkt befindet. Durch die dritte Kamera 4 wird der Bereich hinter dem Fahrzeug 1 erfasst. Von der Recheneinheit 8 wird aus diesem von der dritten Kamera 4 erfassten Bereich ein erstes Segment 14 extrahiert, welches einen Bereich abbildet der unmittelbar an das Fahrzeugheck 12 anschließt. Das erste Segment 14 ist quadratisch. Eine Größe des ersten Segments 14 ist vordefiniert. Dabei ist es vorteilhaft, wenn dieses sich in seiner Breite über eine volle Breite des Fahrzeuges 1 erstreckt. In dieser ersten Ausführungsform ist das erste Segment 14 derart gewählt, dass sich dieses 10 cm tief in einer Fahrzeuglängsrichtung erstreckt und über die volle Breite des Fahrzeuges 1 in Querrichtung erstreckt. Es ist ersichtlich, dass ein erster Teil der Straßenmarkierung 13 in dem ersten Segment 14 liegt. Das erste Segment 14 und somit die Bild- und Texturinformationen für diesen Bereich werden in der Recheneinheit 9 gespeichert.
3B zeigt eine Ansicht der Umgebung des Fahrzeuges 1 hinter dem Fahrzeugheck 12 zu einem zweiten Zeitpunkt. Zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt wurde das Fahrzeug 1 um 10 cm rückwärts bewegt. Diese Rückwärtsbewegung wird durch den Sensor 10 erfasst und an die Recheneinheit 9 übermittelt. Der Bereich der Straße, der in dem ersten Segment 14 liegt und somit der erste Teil der Straßenmarkierung 13 liegt nun unter dem Fahrzeug 1 und wird nicht weiter von der dritten Kamera 4 erfasst. Dennoch kann dieses in dem Videobild 11 dargestellt werden, da dieser Bereich in der Umgebung der Fahrzeugs 1 zu dem früheren ersten Zeitpunkt gespeichert wurde. Eine entsprechende Anordnung der Bildinformationen des ersten Segments 14 erfolgt basierend auf Odometrieinformationen, die mittels des Sensors 10 berechnet werden. In diesem Falle werden die Bildinformationen des ersten Segments 14 um 10cm in Richtung der Front des Fahrzeuges 1 verschoben. Entsprechend dem ersten Segment 14 zu dem ersten Zeitpunkt wird zu dem zweiten Zeitpunkt ein zweites Segment 15 extrahiert und die Bildinformationen des zweiten Segments 15 werden in der Recheneinheit 9 gespeichert.
3C zeigt eine Ansicht der Umgebung des Fahrzeuges 1 hinter dem Fahrzeugheck 12 zu einem dritten Zeitpunkt. Zwischen dem zweiten Zeitpunkt und dem dritten Zeitpunkt wurde das Fahrzeug 1 um weitere 10 cm rückwärts bewegt. Es ist ersichtlich, dass ein drittes Segments 16 aus dem von der dritten Kamera 4 zu dem dritten Zeitpunkt erfassten Bereich extrahiert wird. Die Bildinformationen des ersten Segments 14 und des zweiten Segments 15 wurden entsprechend der Bewegung des Fahrzeuges 1 verschoben. Die Recheneinheit 9 ermittelt somit eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild 11 basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges 1. Auch wenn der Bereich unter dem Fahrzeug von keiner Kamera erfasst wird, so kann die Beispielhafte Straßenmarkierung 13 dennoch vollständig abgebildet werden.
Erfolgt eine Kurvenbewegung des Fahrzeuges 1, so wird die Position der Bildinformationen des ersten bis dritten Segments 14 bis 16 mit einer entsprechenden Drehung und Verschiebung in dem Videobild 11 angepasst. Auch wenn die Segmente 14 bis 15 hier als rechteckig beschrieben werden, ist es ersichtlich, dass die Segmente 14 bis 15 in weiteren Ausführungsformen nicht auf eine rechteckige Formgebung beschränkt sind.
Dieser Ausführungsform liegt der Gedanke zugrunde, dass Texturinformationen abhängig von einer Odometrie verschoben werden. Die Größe des notwendigen Speichers kann von einer aktuellen Geschwindigkeit oder Bewegungsbahn des Fahrzeuges 1 abhängig gemacht werden. Dabei ist es vorteilhaft zunächst zu ermitteln, wie viele Segmente gespeichert werden sollen und einen verfügbaren Speicherplatz entsprechend der aktuellen Geschwindigkeit und/oder Bewegungsbahn des Fahrzeuges 1 anzupassen. Dann erfolgt ein Speichern der entsprechenden Segmente. Bei einem Erzeugen des Videobildes 11 wird zunächst eine aktuelle Position des Fahrzeuges 1 gegenüber seiner Position bei einem Erzeugen eines zeitlich vorhergehenden Videobildes ermittelt. Dies erfolgt mittels der beschriebenen Odometrie. Alternativ kann dies aber auch durch eine visuelle Odometrie erfolgen, die auch als „structure from motion“ bezeichnet wird. Basierend auf der aktuellen Position werden aus den gespeicherten Segmenten passende Texturen für das Videobild 11 errechnet. Das Videobild ist somit eine Kombination aus aktuell erfassten und vorab gespeicherten Texturen.
In weiteren Ausführungsformen ist insbesondere die Datenverbindung zwischen der Videobrille 7 und der Recheneinheit 9 eine Funkverbindung. Wird der Blickrichtungsdetektor 8 von der Videobrille 7 umfasst, so ist die Verbindung zwischen Blickrichtungsdetektor 8 und Recheneinheit 9 vorteilhafterweise ebenfalls eine Funkverbindung. Somit wird eine verbesserte Bewegungsfreiheit für den Fahrer 6 erreicht.
In weiteren Ausführungsformen der Erfindung ist das Videobild ein 3D-Bild. Die notwendigen 3D-Indormationen können dabei entweder aus einem dreidimensionalen Umgebungsmodell errechnet werden oder aber durch ein Erfassen der Umgebung des Fahrzeuges 1 durch 3D-Kameras erhalten werden. Auch ist es vorteilhaft, wenn sich ein Erfassungsbereich von einzelnen Kameras welche unterschiedliche Bereiche in der Umgebung des Fahrzeuges erfassen, beispielsweise der ersten und der zweiten Kamera 2 und 3, überschneidet, und basierend auf den Bildern beider Kameras ein 3D-Bild für den Bereich der Überschneidung erzeugt wird.
4 zeigt ein Ablaufdiagram des Verfahrens welches bevorzugt von der in der ersten Ausführungsform beschriebenen Vorrichtung durchgeführt wird. Das Verfahren wird gestartet, sobald die Vorrichtung zur Darstellung einer Umgebung des Fahrzeuges 1 aktiviert wird. Es wird damit eine Ausführung eines ersten Schrittes S1 ausgelöst. Das Verfahren wird von der Recheneinheit 9 gesteuert.
In dem ersten Schritt S1 erfolgt ein Erfassen der Umgebung des Fahrzeuges 1 mittels zumindest einer Kamera. Die zumindest eine Kamera ist in der ersten Ausführungsform die erste bis vierte Kamera 2 bis 5. Anschließend wird ein zweiter Schritt S2 ausgeführt.
In dem zweiten Schritt S2 erfolgt ein Detektieren der Blickrichtung eines Anwenders. Dies erfolgt in der ersten Ausführungsform durch ein Auslesen des Blickrichtungsdetektors 8. Anschließend wird ein dritter Schritt S3 ausgeführt.
In dem dritten Schritt S3 erfolgt ein Erfassen einer Position und/oder Bewegung des Fahrzeuges 1. Dies erfolgt in der ersten Ausführungsform durch ein Auslesen des Sensors 10. Anschließend wird ein vierter Schritt S4 ausgeführt.
In dem vierten Schritt S4 erfolgt ein Erzeugen eines Videobildes 11 basierend auf der erfassten Umgebung des Fahrzeuges 1, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges 1 entsprechend der detektierten Blickrichtung des Fahrers 6 abbildet. Dabei wird ein Bereich der Umgebung des Fahrzeuges 1, der zu diesem aktuellen Zeitpunkt nicht von der zumindest einen Kamera erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges 1 abgebildet. Das Erzeugen des Videobildes 11 erfolgt basierend auf einer Position des Fahrers 6 in dem Fahrzeug 1. Dabei erfolgt eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild 11 basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges 1. Anschließend wird ein fünfter Schritt S5 ausgeführt.
In dem fünften Schritt S5 erfolgt ein Speichern aktueller Bildinformationen. Diese werden mit Positionsinformationen markiert und für eine spätere Nutzung und Darstellung des betreffenden Bereichs in der Umgebung des Fahrzeuges 1 bereitgehalten. Anschließend wird ein sechster Schritt S6 ausgeführt.
In dem sechsten Schritt S6 erfolgt ein Einfügen von Komponenten des Fahrzeuges 1 als transparent erscheinende Objekte in dem Videobild 11. Dabei werden die Komponenten derart in das Videobild 11 eingefügt, dass diese entsprechenden einer Anordnung tatsächlicher Komponenten des Fahrzeuges 1 in der detektierten Blickrichtung des Fahrers 6 in dem Videobild 11 erscheinen. Anschließend wird ein siebter Schritt S7 ausgeführt.
In dem siebten Schritt S7 erfolgt ein Darstellen des Videobildes 11 für den Fahrer 6 mittels der Videobrille 7. Anschließend springt der Verfahrensablauf zurück auf den ersten Schritt S1. Das Verfahren wird somit in einer Schleife ausgeführt, bis dieses durch eine Deaktivierung der Vorrichtung abgebrochen wird.
Erfindungsgemäß wird somit ein Umfelderfassungssystem durch eine Videobrille erweitert. Dabei wird eine Blickrichtung eines Anwenders detektiert und entschieden, welche Bilder von externen Kameras des Umfelderfassungssystems relevant für eine aktuelle Situation sind. Dann werden Bilder vom Umfeld des Fahrzeuges 1 mit einem transparenten Modell des Fahrzeuges 1 überlagert, um dem Fahrer den Eindruck zu vermitteln, dass dieser durch das Fahrzeug 1 hindurch blickt.
Es wird darauf hingewiesen, dass die erfindungsgemäße Vorrichtung nicht auf eine bestimmte Anzahl von Kameras beschränkt ist.
Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der 1 bis 4 verwiesen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010010030 A1 [0004]
DE 102010013395 A1 [0005]
DE 102012208288 A1 [0006]

Claims

Vorrichtung zur Darstellung einer Umgebung eines Fahrzeuges (1), umfassend: – zumindest eine Kamera (2, 3, 4, 5), die dazu eingerichtet ist, die Umgebung des Fahrzeuges (1) zu erfassen, – einen Blickrichtungsdetektor (8), der dazu eingerichtet ist, eine Blickrichtung eines Anwenders (6) zu detektieren – eine Recheneinheit (9), die basierend auf der erfassten Umgebung des Fahrzeuges (1) ein Videobild (11) erzeugt, welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges (1) entsprechend der detektierten Blickrichtung des Anwenders (6) abbildet, wobei ein Bereich der Umgebung des Fahrzeuges (1), der zu einem aktuellen Zeitpunkt nicht von der zumindest einen Kamera (2, 3, 4, 5) erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges (1) abgebildet wird, und – eine Videobrille (7), die dazu eingerichtet ist, das Videobild (11) für den Anwender (6) darzustellen.
Vorrichtung gemäß Anspruch 1, ferner umfassend einen Sensor (10), durch den eine Position und/oder Bewegung des Fahrzeuges (1) erfasst wird, wobei die Recheneinheit (9) eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild (11) basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges (1) ermittelt.
Vorrichtung gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Komponenten (15a, 15b) des Fahrzeuges (1) als transparent erscheinende Objekte in das Videobild (11) eingefügt werden.
Vorrichtung gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Blickrichtungsdetektor (8) von der Videobrille (7) umfasst wird.
Vorrichtung gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Videobild (11) ein 3D-Bild ist.
Vorrichtung gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (9) das Videobild (11) basierend auf einer Position des Anwenders (6) in dem Fahrzeug (1) erzeugt.
Verfahren zur Darstellung einer Umgebung eines Fahrzeuges (1), umfassend: – ein Erfassen der Umgebung des Fahrzeuges (1) mittels zumindest einer Kamera (2, 3, 4, 5), – ein Detektieren einer Blickrichtung eines Anwenders (6), – ein Erzeugen eines Videobildes (11) basierend auf der erfassten Umgebung des Fahrzeuges (1), welches zumindest einen Ausschnitt der Umgebung des Fahrzeuges (1) entsprechend der detektierten Blickrichtung des Anwenders (6) abbildet, wobei ein Bereich der Umgebung des Fahrzeuges (1), der zu einem aktuellen Zeitpunkt nicht von der zumindest einen Kamera (2, 3, 4, 5) erfasst wird, durch eine Darstellung eines zu einem früheren Zeitpunkt gespeicherten Bildes dieses Bereiches der Umgebung des Fahrzeuges (1) abgebildet wird, und – ein Darstellen des Videobildes (11) für den Anwender (6) mittels einer Videobrille (7).
Verfahren gemäß Anspruch 7, ferner umfassend ein Erfassen einer Position und/oder Bewegung des Fahrzeuges (1), wobei bei dem Erzeugen des Videobildes (11) eine Anordnung des zu einem früheren Zeitpunkt gespeicherten Bildes in dem Videobild (11) basierend auf der erfassten Position und/oder Bewegung des Fahrzeuges (1) erfolgt.
Verfahren gemäß einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass Komponenten (15a, 15b) des Fahrzeuges (1) als transparent erscheinende Objekte in das Videobild (11) eingefügt werden.
Verfahren gemäß einem der Ansprüche 7 bis 9, dass das Erzeugen des Videobildes (11) basierend auf einer Position des Anwenders (6) in dem Fahrzeug (1) erfolgt.