-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges. Fahrassistenzsysteme zielen darauf ab, einen Fahrer beim Manövrieren eines Fahrzeuges zu unterstützen. Der Fahrer kann beispielsweise dadurch unterstützt werden, dass ein Bereich in einem Nahbereich des Fahrzeuges für den Fahrer dargestellt wird, um Zusammenstöße mit Hindernissen zu verhindern, welche nicht in einem Sichtfeld des Fahrers liegen.
-
In sogenannten Surround-View-Systemen wird eine Umgebung eines Fahrzeuges für dessen Fahrer aus einer Vogelperspektive oder einer anderen Perspektive, welche das Fahrzeug von außen zeigt, dargestellt. Die Kameras eines solchen Surround-View-Systems sind typischerweise in einer Weise an dem Fahrzeug angeordnet, welche eine 360°-Darstellung der Umgebung des Fahrzeuges ermöglicht.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zum Darstellen einer Umgebung eines Fahrzeuges umfasst ein Erfassen einer Umgebung eines Fahrzeuges in Kamerabildern mittels zumindest einer an dem Fahrzeug angeordneten Kamera, ein Ermitteln einer Lage eines Objektes in der Umgebung des Fahrzeuges gegenüber dem Fahrzeug, ein Erzeugen einer Ansicht der Umgebung des Fahrzeuges aus Sicht einer virtuellen Kamera, basierend auf den erfassten Kamerabildern, wobei das Fahrzeug in der Ansicht der Umgebung des Fahrzeuges durch ein Fahrzeugmodell dargestellt wird, ein Modifizieren einer Sichtbarkeit des Fahrzeugmodells in der Ansicht der Umgebung des Fahrzeuges, basierend auf der ermittelten Lage des Objekts gegenüber dem Fahrzeug, und ein Darstellen der Ansicht der Umgebung des Fahrzeuges aus Sicht der virtuellen Kamera.
-
Die erfindungsgemäße Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges umfasst zumindest eine an dem Fahrzeug angeordnete Kamera, welche dazu eingerichtet ist, eine Umgebung des Fahrzeuges in Kamerabildern zu erfassen, eine Fahrzeugsensorik, die dazu eingerichtet ist, eine Lage eines Objekts in der Umgebung des Fahrzeugs gegenüber dem Fahrzeug zu ermitteln, eine Recheneinheit, die dazu eingerichtet ist, eine Ansicht der Umgebung des Fahrzeugs aus Sicht einer virtuellen Kamera, basierend auf den erfassten Kamerabildern, zu erzeugen, wobei das Fahrzeug in der Ansicht der Umgebung des Fahrzeuges durch ein Fahrzeugmodell dargestellt wird, und eine Sichtbarkeit des Fahrzeugmodells in der Ansicht der Umgebung des Fahrzeuges, basierend auf der ermittelten Lage des Objekts gegenüber dem Fahrzeug, zu modifizieren, und eine Anzeigevorrichtung, welche dazu eingerichtet ist, die Ansicht der Umgebung des Fahrzeuges aus Sicht der virtuellen Kamera darzustellen.
-
Bei dem Erzeugen der Ansicht der Umgebung des Fahrzeuges aus Sicht der virtuellen Kamera wird eine Außenansicht des Fahrzeuges errechnet. Insbesondere werden dabei Kamerabilder in einem virtuellen Raum auf eine Projektionsfläche projiziert, welche das Fahrzeugmodell umläuft. Das Fahrzeugmodell, welches das Fahrzeug repräsentiert, ist dabei innerhalb der Projektionsfläche angeordnet. Die mit den Kamerabildern texturierte Projektionsfläche und das Fahrzeugmodell werden dabei mittels der virtuellen Kamera abgebildet und für den Fahrer des Fahrzeuges bereitgestellt. Das Fahrzeugmodell ist ein virtuelles Modell des Fahrzeuges. In der erzeugten Ansicht wird ein Abbild des Fahrzeugmodells dargestellt. Das Fahrzeugmodell ist insbesondere eine dreidimensionale Rekonstruktion des Fahrzeuges. Es wird somit das Fahrzeugmodell in einer virtuellen Umgebung dargestellt. Die virtuelle Umgebung ist eine dreidimensionale Abbildung der tatsächlichen Umgebung des Fahrzeuges.
-
Das Ermitteln der Lage des Objektes in der Umgebung des Fahrzeuges gegenüber dem Fahrzeug erfolgt bevorzugt durch eine Fahrzeugsensorik. Die Fahrzeugsensorik wird insbesondere aus einer Anordnung von Ultraschallsensoren und/oder Kameras gebildet. Auch ist es vorteilhaft, wenn die Fahrzeugsensorik ein LIDAR-System umfasst. Die Sichtbarkeit des Fahrzeugmodells in der Ansicht ist ein Grad, zu dem das Fahrzeugmodell für einen Betrachter bei dem Darstellen der Ansicht der Umgebung des Fahrzeuges aus Sicht der virtuellen Kamera sichtbar ist, während das Fahrzeugmodell in einem Sichtfeld der virtuellen Kamera liegt. Die Sichtbarkeit des Fahrzeugmodells kann auf vielfältige Weise verändert werden. Das bedeutet, dass diese verringert oder erhöht werden kann. Eine verringerte Sichtbarkeit immer dann gegeben, wenn das Fahrzeugmodell für den Betrachter schlechter wahrnehmbar ist und Objekte, welche in der Ansicht hinter dem Fahrzeugmodell angeordnet sind, sichtbar werden. Eine erhöhte Sichtbarkeit ist immer dann gegeben, wenn das Fahrzeugmodell für den Betrachter besser wahrnehmbar ist und Objekte, welche in der Ansicht hinter dem Fahrzeugmodell angeordnet sind, sichtbar werden. Die Sichtbarkeit des Fahrzeugmodells beschreibt somit eine Deckkraft des Fahrzeugmodells in der Ansicht der Umgebung des Fahrzeugs. Die Sichtbarkeit des Fahrzeugmodells verhält sich umgekehrt proportional zu einer Sichtbarkeit von Objekten, welche aus Sicht der virtuellen Kamera hinter dem Fahrzeugmodell gelegen sind.
-
Die virtuelle Kamera ist keine tatsächliche Kamera, sondern lediglich ein definierter Punkt in der Umgebung des Fahrzeuges. Dieser dient als eine Berechnungsgrundlage für die Berechnung eines Blickfeldes. Dieses Blickfeld entspricht dann dem sichtbaren Bereich, welcher in der Ansicht der Umgebung des Fahrzeuges dargestellt wird. Die virtuelle Kamera befindet sich somit in einem virtuellen Raum.
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung ist vorteilhaft, da diese es ermöglicht, dass in bestimmten Situationen auch Objekte für einen Betrachter der Ansicht der Umgebung des Fahrzeuges sichtbar werden, welche in der dargestellten Ansicht, also aus Sicht der virtuellen Kamera, hinter dem Fahrzeugmodell liegen. Gleichzeitig bleibt das Fahrzeugmodell situationsabhängig sichtbar, wodurch dem Anwender ein Bezugspunkt gegeben wird, um die Position des Fahrzeuges gegenüber dem Objekt in der tatsächlichen Umgebung des Fahrzeuges richtig abzuschätzen. Es wird somit verhindert, dass wichtige Informationen in der Ansicht von dem Fahrzeugmodell verdeckt werden.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Es ist vorteilhaft, wenn das Modifizieren der Sichtbarkeit des Fahrzeugmodells abhängig von einer Position der virtuellen Kamera ist, wobei die Position der virtuellen Kamera insbesondere basierend auf der Lage des Objekts in der Umgebung des Fahrzeuges gewählt wird. Mit anderen Worten bedeutet dies, dass es vorteilhaft ist, wenn das Modifizieren der Sichtbarkeit des Fahrzeugmodells zusätzlich abhängig von einem dargestellten Sichtfeld der virtuellen Kamera ist. Insbesondere ist das Modifizieren der Sichtbarkeit des Fahrzeugmodells dabei abhängig von einer Lage der virtuellen Kamera gegenüber dem Fahrzeugmodell. Die Lage der virtuellen Kamera ist dabei insbesondere durch eine Distanz definiert, welche in einem virtuellen Raum zwischen dem Fahrzeugmodell und der virtuellen Kamera besteht. Auf diese Weise kann in solchen Situationen, in denen das Fahrzeugmodell besonders ungünstig in einem Sichtfeld der virtuellen Kamera angeordnet ist, die Sichtbarkeit des Fahrzeugmodells verringert werden. Ferner lässt die Position der virtuellen Kamera allgemein darauf schließen, ob es vorteilhaft ist, die Sichtbarkeit des Fahrzeugmodells zu modifizieren.
-
Auch ist es vorteilhaft, wenn das Modifizieren der Sichtbarkeit des Fahrzeugmodells ein Darstellen des Fahrzeugmodells in einer transparenten Darstellung umfasst. So kann durch ein transparentes Darstellen des Fahrzeugmodells die Sichtbarkeit des Fahrzeugmodells verringert werden. Das Darstellen des Fahrzeugmodells in einer transparenten Darstellung ist vorteilhaft, da zum einen Objekte, welche aus Sicht der virtuellen Kamera hinter dem Fahrzeugmodell liegen, sichtbar werden und gleichzeitig das Fahrzeugmodell vollständig erkenntlich bleibt.
-
Auch ist es vorteilhaft, wenn das Modifizieren der Sichtbarkeit des Fahrzeugmodells ein Darstellen des Fahrzeugmodells in einer Konturendarstellung umfasst, in der eine äußere Kontur des Fahrzeugmodells sichtbar dargestellt wird und Flächenbereiche innerhalb der äußeren Kontur teilweise oder vollständig transparent dargestellt werden. Die äußere Kontur stellt somit einen Orientierungspunkt bereit, anhand dessen ein Anwender sich in der Darstellung der Ansicht der Umgebung des Fahrzeuges orientieren kann. Da eine Kontur von einem Betrachter als vollständiges Objekt wahrgenommen wird, ist somit eine besonders vorteilhafte Vorgabe zur Orientierung eines Anwenders gegeben.
-
Ferner ist es vorteilhaft, wenn das Fahrzeugmodell bei einer Bewegung der virtuellen Kamera und bei einem Stillstand der virtuellen Kamera in unterschiedlichen Darstellungsweisen dargestellt wird, wobei die Darstellungsweisen die transparente Darstellung und die Konturendarstellung umfassen. So ist es insbesondere vorteilhaft, dass das Fahrzeugmodell in einer transparenten Darstellung dargestellt wird, wenn die virtuelle Kamera in dem virtuellen Raum bewegt wird. Stoppt eine Bewegung der virtuellen Kamera in dem virtuellen Raum, so wird das Fahrzeugmodell in der Konturendarstellung dargestellt. Dies ist vorteilhaft, da die Konturendarstellung in einer Ansicht, in der sich eine Position des Fahrzeugmodels verändert, schlechter wahrgenommen wird. Eine Orientierung, basierend auf einer transparenten Darstellung, ist vorteilhafter. Umgekehrt ist davon auszugehen, dass der Betrachter ein besonderes Interesse an einer vollständigen Darstellung von Objekten, welche aus Sicht der virtuellen Kamera hinter dem Fahrzeugmodell liegen, hat, wenn die virtuelle Kamera nicht weiter bewegt wird. Der Anwender wird somit unter anderem bei dem Bewegen der virtuellen Kamera in dem virtuellen Raum unterstützt, so dies durch eine Anwendereingabe erfolgt.
-
Auch ist es vorteilhaft, wenn bei dem Modifizieren der Sichtbarkeit des Fahrzeugmodells, basierend auf der ermittelten Lage des Objekts gegenüber dem Fahrzeug, eine Verkehrssituation erkannt wird und die Sichtbarkeit des Fahrzeugmodells basierend darauf modifiziert wird, welche Verkehrssituation erkannt wurde. Eine Verkehrssituation ist eine Situation, in welcher das Fahrzeug sich aktuell befindet. Beispiele für Verkehrssituationen sind beispielsweise eine Einparksituation, eine Ausparksituation, eine Situation, in der eine Kreuzung überquert werden soll, eine Situation, bei der ein Spurwechsel durch das Fahrzeug erfolgen soll und ähnliche weitere Situationen. Eine Verkehrssituation ist eine vordefiniert Situation, wobei eine Auswahl, ob eine bestimmte Verkehrssituation vorliegt, auf der ermittelten Lage des Objekts gegenüber dem Fahrzeug basiert. Insbesondere wird bei dem Erkennen der Verkehrssituation auch auf weitere Informationen zugegriffen, beispielsweise auf Sensorwerte des Fahrzeuges, wie beispielsweise eine Geschwindigkeit, eine Fahrtrichtung und einen Lenkeinschlag.
-
Auch ist es vorteilhaft, wenn bei dem Ermitteln der Lage des Objekts in der Umgebung des Fahrzeuges ein Abstand des Objekts gegenüber dem Fahrzeug ermittelt wird, und bei dem Modifizieren der Sichtbarkeit des Fahrzeuges die Sichtbarkeit des Fahrzeugmodells abhängig von dem ermittelten Abstand modifiziert wird. Insbesondere wird dabei die Sichtbarkeit des Fahrzeugmodells verringert, wenn eine Annäherung an das Objekt erfolgt und es wird eine Sichtbarkeit des Fahrzeugmodells erhöht, wenn ein Entfernen von dem Objekt erfolgt. Dies ist vorteilhaft, da es gerade bei einer Annäherung des Fahrzeuges an das Objekt wichtig ist, dass das Objekt gut erkenntlich ist. Dies ist vorteilhaft, da es gerade bei einer Annäherung des Fahrzeuges an das Objekt wichtig ist, dass das Objekt gut erkenntlich ist. Alternativ wird die Sichtbarkeit des Fahrzeugmodells erhöht, wenn eine Annäherung an das Objekt erfolgt und es wird die Sichtbarkeit des Fahrzeugmodells verringert, wenn ein Entfernen von dem Objekt erfolgt. Dies ist vorteilhaft, da es gerade bei einer Annäherung des Fahrzeuges an das Objekt wichtig ist, dass das Fahrzeugmodell als Orientierungspunkt erkenntlich ist. Insbesondere erfolgt dabei eine Auswahl zwischen den beiden voranstehenden Alternativen basierend auf einer Position der virtuellen Kamera gegenüber dem Fahrzeugmodell.
-
Ferner ist es vorteilhaft, wenn einzelnen Komponenten des Fahrzeugmodells von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells ausgenommen sind. Einzelne Komponenten des Fahrzeugmodells sind dabei insbesondere solche Teile des Fahrzeugmodells, welche von einem Betrachter als Bauelemente des Fahrzeuges wahrgenommen werden. Vorteilhafte einzelne Komponenten sind beispielsweise die Räder des Fahrzeugmodells, die Scheinwerfer des Fahrzeugmodells oder die Stoßstangen des Fahrzeugmodells. Die einzelnen Komponenten des Fahrzeugmodells sind von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells ausgenommen. Insbesondere werden diese Komponenten des Fahrzeugmodells dabei vollständig sichtbar dargestellt, das bedeutet, dass diese ein Objekt, welches aus Sicht der virtuellen Kamera hinter der Komponente des Fahrzeugmodells liegt, vollständig verdecken, sodass das Objekt in dem Bereich, in dem dieses von der einzelnen Komponente des Fahrzeugmodells verdeckt wird, nicht in der Ansicht der Umgebung des Fahrzeuges sichtbar ist. Die einzelnen Komponenten des Fahrzeugmodells, die von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells ausgenommen sind, werden somit bevorzugt bei voller Deckkraft dargestellt.
-
Zudem ist es vorteilhaft, wenn ein Bodenbereich in der Ansicht der Umgebung des Fahrzeuges, welche in der tatsächlichen Umgebung des Fahrzeuges unter dem Fahrzeug liegt, mit einer Textur belegt wird, wobei die Textur basierend auf Kamerabildern errechnet wird, die erfasst wurden, bevor der Bodenbereich von dem Fahrzeug bedeckt wurde. Wird die Sichtbarkeit des Fahrzeugmodells verringert, so wird, abhängig von Ausrichtung und Position der virtuellen Kamera, ein Untergrund, auf dem sich das Fahrzeug zu diesem Zeitpunkt befindet, sichtbar. Dieser Untergrund wird als Bodenbereich bezeichnet. Dieser Bodenbereich kann nicht mittels aktueller Kamerabilder texturiert werden, da unter dem Fahrzeug typischerweise keine Kameras angeordnet sind. Ein Bereich, der sich aktuell unter dem Fahrzeug befindet, war jedoch in den Bildern der Kamera sichtbar, als sich das Fahrzeug der aktuellen Position angenähert hat. Zu dieser Zeit wurde der aktuelle Bodenbereich in Kamerabildern der Kameras erfasst. Der entsprechende Bereich aus den zuvor aufgenommenen Kamerabildern wird daher entsprechend verzerrt, zwischengespeichert, und als Textur auf den aktuellen Bodenbereich gelegt. Alternativ ist es vorteilhaft, wenn eine zuvor bereitgestellte Textur einer Straßenoberfläche als Textur in dem Bodenbereich dargestellt wird.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
- 1 ein Ablaufdiagramm eines beispielhaften erfindungsgemäßen Verfahrens zum Darstellen einer Umgebung eines Fahrzeuges gemäß einer ersten Ausführungsform der Erfindung,
- 2 eine Darstellung eines Fahrzeuges, welches eine Vorrichtung zum Darstellen der Umgebung des Fahrzeuges gemäß der ersten Ausführungsform der Erfindung umfasst,
- 3 eine Darstellung des Fahrzeuges in einer beispielhaften ersten Situation,
- 4 eine Darstellung einer erfindungsgemäß erzeugten Ansicht der Umgebung des Fahrzeuges in der ersten Situation,
- 5 eine Darstellung des Fahrzeuges in einer beispielhaften zweiten Situation,
- 6 eine Darstellung einer erfindungsgemäß erzeugten Ansicht der Umgebung des Fahrzeuges in der zweiten Situation,
- 7 eine Darstellung einer erfindungsgemäß erzeugten Ansicht der Umgebung des Fahrzeuges in einer dritten Situation, und
- 8 eine Darstellung einer erfindungsgemäß erzeugten Ansicht der der Umgebung des Fahrzeuges in einer vierten Situation.
-
Ausführungsform(en) der Erfindung
-
1 zeigt ein Ablaufdiagramm eines Verfahrens zum Darstellen einer Umgebung 2 eines Fahrzeuges 1 gemäß einer ersten Ausführungsform der Erfindung. Das Verfahren wird gestartet, wenn von einem Anwender ein Darstellen einer Ansicht 4 der Umgebung 2 des Fahrzeuges 1 angefordert wird. Sobald das Verfahren gestartet wurde, wird ein erster Verfahrensschritt S1 ausgeführt.
-
In dem ersten Verfahrensschritt S1 erfolgt ein Erfassen einer Umgebung 2 des Fahrzeuges 1 in Kamerabildern mittels zumindest einer an dem Fahrzeug 1 angeordneten Kamera 3a, 3b, 3c, 3d.
-
2 ist eine Darstellung des Fahrzeuges 1, in dem das Verfahren zum Darstellen der Umgebung 2 des Fahrzeuges 1 ausgeführt wird. An dem Fahrzeug 1 ist eine erste Kamera 3a, eine zweite Kamera 3b, eine dritte Kamera 3c und eine vierte Kamera 3d angeordnet. Jede der Kameras 3a, 3b, 3c, 3d ist mit einer Weitwinkellinse ausgerüstet. Die erste Kamera 3a ist an einer Fahrzeugfront angeordnet, die zweite Kamera 3b ist an einer rechten Seite des Fahrzeugs 1 angeordnet, die dritte Kamera 3c ist an einem Heck des Fahrzeugs 1 angeordnet und die vierte Kamera 3d ist an einer linken Seite des Fahrzeugs 1 angeordnet. Da die Kamera 3a, 3b, 3c, 3d mit Weitwinkellinsen ausgerüstet sind, wird durch diese die Umgebung 2 des Fahrzeuges 1 vollständig erfasst. Es wird somit eine 360°-Rundumsicht erfasst. Nachdem von jeder der Kameras 3a, 3b, 3c, 3d ein Kamerabild erfasst wurde, werden die Kamerabilder an eine Recheneinheit 9 des Fahrzeuges übertragen, welche mit den Kameras 3a, 3b, 3c, 3d gekoppelt ist. Die Recheneinheit 9 umfasst einen Speicher und einen Prozessor und ist dazu eingerichtet, das erfindungsgemäße Verfahren zu steuern.
-
In dem ersten Verfahrensschritt S1 wird von jeder der an dem Fahrzeug 1 angeordneten Kamera 3a, 3b, 3c, 3d Kameras ein Kamerabild erfasst. Aufgrund der Anordnung der Kameras 3a, 3b, 3c, 3d ist die die Umgebung 2 des Fahrzeuges 1 in den Kamerabildern der Kameras 3a, 3b, 3c, 3d abgebildet. Somit wurde die Umgebung 2 des Fahrzeuges 1 in Kamerabildern erfasst. Nach dem ersten Verfahrensschritt S1 wird ein zweiter Verfahrensschritt S2 ausgeführt.
-
In dem zweiten Verfahrensschritt S2 erfolgt ein Ermitteln einer Lage eines Objekts 7a, 7b, 7c in der Umgebung 2 des Fahrzeuges 1 gegenüber dem Fahrzeug 1. In 2 ist ein beispielhaftes erstes Objekt 7a dargestellt, welches sich vor dem Fahrzeug 1 befindet. Es ist ferner in 2 ersichtlich, dass auf jeder Seite des Fahrzeuges 1 ein Ultraschallsensor 8a, 8b, 8c, 8d angeordnet ist. So ist ein erster Ultraschallsensor 8a an der Front des Fahrzeuges 1 angeordnet, ein zweiter Ultraschallsensor 8b ist auf der rechten Seite des Fahrzeuges 1 angeordnet, ein dritter Ultraschallsensor 3d ist an dem Heck des Fahrzeuges 1 angeordnet und ein vierter Ultraschallsensor 8d ist auf der rechten Seite des Fahrzeuges 1 angeordnet. Wie auch die Kameras 3a, 3b, 3c, 3d sind auch die Ultraschallsensoren 8a, 8b, 8c, 8d mit der Recheneinheit 9 gekoppelt. Die Ultraschallsensoren 8a, 8b, 8d, 8d bilden eine Fahrzeugsensorik, die dazu eingerichtet ist, die Lage des Objekts 7a, 7b, 7c in der Umgebung 2 des Fahrzeugs 1 gegenüber dem Fahrzeug 1 zu ermitteln. So wird in dem in 2 gezeigten Beispiel ein Abstand 12 zu dem ersten Objekt 7a durch den ersten Ultraschallsensor 8a ermittelt. Es wurde somit die Lage des ersten Objekts 7a in der Umgebung 2 des Fahrzeuges gegenüber dem Fahrzeug 1 ermittelt. Das erste Objekt 7a liegt in einem Abstand 12 vor dem Fahrzeug 1. Es sei darauf hingewiesen, dass die in 2 dargestellte Fahrzeugsensorik auch durch eine Vielzahl weiterer Sensoren erweitert werden kann. So ist es beispielsweise vorteilhaft, wenn weitere Ultraschallsensoren an dem Fahrzeug 1 angeordnet sind. Nach dem zweiten Verfahrensschritt S2 wird ein dritter Verfahrensschritt S3 ausgeführt.
-
In dem dritten Verfahrensschritt S3 erfolgt ein Erzeugen der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 aus Sicht einer virtuellen Kamera 5, basierend auf den erfassten Kamerabildern. Dabei wird das Fahrzeug 1 in der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 durch ein Fahrzeugmodell 6 dargestellt. Das Erzeugen der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 erfolgt durch die Recheneinheit 9. Durch die Recheneinheit 9 wird ein virtueller Raum bereitgestellt, welcher ein mathematisches Konstrukt ist. Der virtuelle Raum repräsentiert die Umgebung 2 des Fahrzeuges 1. In dem virtuellen Raum wird das Fahrzeugmodell 6 angeordnet. Das Fahrzeugmodell 6 ist ein virtuelles Modell des Fahrzeuges 1. Das Fahrzeugmodell 6 wird an einer Position in dem virtuellen Raum angeordnet, welcher einer Position des Fahrzeuges 1 in der tatsächlichen Umgebung des Fahrzeuges entspricht. Um das Fahrzeugmodell 6 wird eine Projektionsfläche in Form einer Schüssel in dem virtuellen Raum aufgespannt, wobei sich das Fahrzeugmodell 6 innerhalb der Schüssel auf einem Boden der Schüssel befindet. Auf die inneren Wandungen der schüsselförmigen Projektionsfläche werden die Kamerabilder angeordnet, welche von den Kameras 3a, 3b, 3c, 3d erfasst wurden. Dabei werden die Kamerabilder derart angeordnet, dass in den Kamerabildern dargestellte Objekte an einer Position auf die Projektionsfläche gelegt wird, die einer tatsächlichen Position der Objekte in der tatsächlichen Umgebung 2 des Fahrzeuges 1 aus Sicht des Fahrzeuges 1 entspricht. In dem virtuellen Raum wird die virtuelle Kamera 5 angeordnet. Es wird ein Bild errechnet, welches die Projektionsfläche und das Fahrzeugmodell 6 darstellt, wenn dieses aus der Position der virtuellen Kamera 5 betrachtet wird. Dieses Bild ist die Ansicht 4 der Umgebung 2 des Fahrzeuges 1. Nach dem zweiten Verfahrensschritt S2 wird ein dritter Verfahrensschritt S3 ausgeführt.
-
In dem dritten Verfahrensschritt S3 erfolgt zudem ein Modifizieren einer Sichtbarkeit des Fahrzeugmodells 6 in der Ansicht der Umgebung 2 des Fahrzeuges 1, basierend auf der ermittelten Lage des Objektes 7a, 7b, 7c gegenüber dem Fahrzeug 1. Dieses Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 erfolgt, bevor die Ansicht 4 der Umgebung 2 des Fahrzeuges 1 erstellt wird.
-
In dieser ersten Ausführungsform wird bei dem Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 die Sichtbarkeit des Fahrzeugmodells 6 abhängig von dem ermittelten Abstand 12 modifiziert. Dabei wird das erste Objekt 7a vollständig sichtbar dargestellt, wenn der Abstand 12 größer als ein Schwellenwert ist. Vollständig sichtbar bedeutet dabei, dass Objekte, welche aus Sicht der virtuellen Kamera 5 hinter dem Fahrzeugmodell befindlich sind, nicht in dem Bild der virtuellen Kamera 5 dargestellt werden, sondern dass ausschließlich das Fahrzeugmodell 6 in diesem Bereich dargestellt wird. Nähert sich das Fahrzeug 1 an das erste Objekt 7a an, so verringert sich der Abstand 12. Fällt der Abstand 12 unter den Grenzwert, so wird das Fahrzeugmodell 6 transparent. Es erfolgt somit ein Modifizieren der Sichtbarkeit des Fahrzeugmodells 6, welches ein Darstellen des Fahrzeugmodells 6 in einer transparenten Darstellung umfasst. Eine transparente Darstellung ist dabei eine Darstellung, bei der sowohl das Fahrzeugmodell 6 als auch ein aus Sicht der virtuellen Kamera 5 hinter dem Fahrzeugmodell 6 gelegenes Objekt sichtbar ist. Mit der transparenten Darstellung wird somit eine Deckkraft des Fahrzeugmodells 6 verändert.
-
Bei dem Erzeugen der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 wird das Fahrzeugmodell 6 somit derart in der Ansicht 4 erzeugt, dass dieses mit der modifizierten Sichtbarkeit dargestellt wird. Es sei angenommen, dass der Abstand 12 unter dem vorgegebenen Schwellenwert liegt. Die Sichtbarkeit des Fahrzeugmodells 6 wird daher verringert. Das Fahrzeugmodell 6 wird also transparent dargestellt. So wird beispielsweise eine Deckkraft des Fahrzeugmodells 6 auf 50 % reduziert. Das Fahrzeugmodell 6 wird somit beispielsweise halbtransparent dargestellt. In der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 ist das Fahrzeugmodell 6 somit ebenfalls halbtransparent.
-
Nach dem dritten Verfahrensschritt S3 wird ein vierter Verfahrensschritt S4 ausgeführt. In dem vierten Verfahrensschritt S4 erfolgt ein Darstellen der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 aus Sicht der virtuellen Kamera 5. Dazu wird die erzeugte Ansicht 4 an eine von der Recheneinheit 9 an eine Anzeigevorrichtung 10 übertragen, welche dazu eingerichtet ist, die Ansicht 4 der Umgebung 2 des Fahrzeuges 1 aus Sicht der virtuellen Kamera 5 darzustellen. Die Anzeigevorrichtung 10 ist ein Display im Inneren des Fahrzeuges 1, welches mit der Recheneinheit 9 verbunden ist.
-
Nach dem vierten Verfahrensschritt S4 verzweigt das Verfahren zurück auf den ersten Verfahrensschritt S1 und wird in einer Schleife ausgeführt. Bewegt sich das Fahrzeug 1 in der Umgebung 2 des Fahrzeuges 1, so ergibt sich, dass der Abstand 12 sich verändert. Nähert sich das Fahrzeug 1 beispielsweise dem ersten Objekt 7a an, so ist das Fahrzeugmodell 6 zunächst nicht transparent dargestellt und sobald der Abstand 12 unter den Schwellenwert fällt, wird das Fahrzeugmodell 6 transparent dargestellt.
-
3 zeigt das Fahrzeug 1 in einer beispielhaften ersten Situation. Dabei wird in dem Fahrzeug 1, welches dem in 2 dargestellten Fahrzeug 1 entspricht, ein Verfahren zum Darstellen einer Umgebung 2 des Fahrzeuges 1 gemäß einer zweiten Ausführungsform der Erfindung ausgeführt. Die zweite Ausführungsform der Erfindung entspricht im Wesentlichen der ersten Ausführungsform der Erfindung. In dieser zweiten Ausführungsform ist das Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 zusätzlich abhängig von einer Position der virtuellen Kamera 5. Die Position der virtuellen Kamera 5 wird dabei insbesondere basierend auf der Lage des Objekts 7a, 7b, 7c in der Umgebung 2 des Fahrzeuges 1 gewählt. 4 zeigt dazu eine erfindungsgemäß erstellte Ansicht 4 der Umgebung 2 des Fahrzeuges 1, die sich beispielhaft bei der in 3 dargestellten ersten Situation bei Durchführung des erfindungsgemäßen Verfahrens gemäß der zweiten Ausführungsform der Erfindung ergibt.
-
Nähert sich das Fahrzeug 1 an das erste Objekt 7a an, welches in 3 beispielhaft durch ein zweites Fahrzeug dargestellt ist, so kann darauf geschlossen werden, dass für den Anwender, also einen Betrachter der erfindungsgemäß erzeugten Ansicht 4, dieser Bereich vor dem Fahrzeug 1 von Interesse ist. Die virtuelle Kamera 5, welche in dem virtuellen Raum zunächst neben dem Fahrzeug 1 angeordnet war, wird somit vor und über das Fahrzeug 1 bewegt und zeigt die Fahrzeugfront des Fahrzeugs 1 aus einer Vogelperspektive. Die virtuelle Kamera 5 ist ebenfalls in 3 dargestellt. Auch wenn die virtuelle Kamera 5 in 3 dargestellt ist, so befindet sich diese nicht tatsächlich in der Umgebung 2 des Fahrzeuges 1. Die virtuelle Kamera 5 befindet sich an einer entsprechenden Stelle in dem virtuellen Raum, welcher von der Recheneinheit 9 bereitgestellt wird und die tatsächliche Umgebung 2 des Fahrzeuges 1 repräsentiert. Durch den Pfeil 16 in 3 ist eine Bewegungstrajektorie der virtuellen Kamera 5 dargestellt. Unterschreitet der Abstand 12 zwischen dem Fahrzeug 1 und dem ersten Objekt 7a den Schwellenwert, so wird die virtuelle Kamera 5 entlang der Trajektorie 16 vor und über die Front des Fahrzeuges 1 bewegt und eine Blickrichtung der virtuellen Kamera 5 wird nach unten gerichtet. Gleichzeitig wird die Sichtbarkeit des Fahrzeugmodells 6 verringert.
-
In dieser zweiten Ausführungsform der Erfindung wird die Sichtbarkeit des Fahrzeugmodells 6 jedoch nicht dadurch verringert, dass das Fahrzeugmodell 6 transparent dargestellt wird, sondern es erfolgt ein Darstellen des Fahrzeugmodells 6 in einer Konturendarstellung. In der Konturendarstellung ist eine äußere Kontur 11 des Fahrzeugmodells 6 sichtbar dargestellt und ein Flächenbereich innerhalb der äußeren Kontur 11 ist teilweise oder vollständig transparent dargestellt. In dem in 4 gezeigten Beispiel ist der Flächenbereich innerhalb der äußeren Kontur 11 vollständig transparent dargestellt.
-
Es wird Bezug auf 4 genommen. Im unteren Bereich von 4 ist das in der Konturendarstellung dargestellte Fahrzeugmodell 6 abgebildet. In einem oberen Bereich der 4 und somit der Ansicht 4 ist das erste Objekt 7a abgebildet, welches ein Fahrzeug ist. In einem unteren Bereich der 4 und somit der Ansicht 4 ist das Fahrzeugmodell 6 abgebildet. Es ist ersichtlich, dass das Fahrzeugmodell 6 in der Umgebung 2 des Fahrzeuges 1 durch die äußere Kontur 11 abgegrenzt ist. Die äußere Kontur 11 ist eine Linie, welche einen äußeren Rand des Fahrzeugmodells 6 aus Sicht der virtuellen Kamera 5 abläuft. Innerhalb der äußeren Kontur 11 ist das Fahrzeugmodell 6 vollständig transparent.
-
In dieser zweiten Ausführungsform sind einzelne Komponenten 13 des Fahrzeugmodells 6 von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 ausgenommen. In dem in 4 dargestellten Beispiel sind die Räder des Fahrzeugmodells 6 die Komponenten 13, die von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 ausgenommen sind. Daher sind diese vollständig sichtbar und weisen eine Deckkraft von 100 % auf.
-
In dieser zweiten Ausführungsform der Erfindung wird ein Bodenbereich 14 in der Ansicht 4 der Umgebung 2 des Fahrzeuges 1, welcher in der tatsächlichen Umgebung 2 des Fahrzeuges 1 unter dem Fahrzeug 1 liegt, mit einer Textur belegt, wobei die Textur basierend auf Kamerabildern errechnet wird, die erfasst wurden, bevor der Bodenbereich von dem Fahrzeug 1 bedeckt wurde. Dazu werden von der ersten Kamera 3a kontinuierlich Kamerabilder erfasst, welche von der Recheneinheit 9 gespeichert werden.
-
Diese werden als Textur auf die virtuelle Projektionsfläche gelegt. Bewegt sich das Fahrzeug 1 vorwärts, so werden die Texturen auf der Projektionsfläche entgegen der Bewegungsrichtung des Fahrzeuges 1 in den virtuellen Raum auf der Projektionsfläche verschoben. Eine Textur, die auf der Projektionsfläche vor dem Fahrzeugmodell 6 angeordnet war, wird somit bei einer Bewegung des Fahrzeugs 1 unter das Fahrzeugmodell 6 geschoben. Auf diese Weise wird erreicht, dass in der erfindungsgemäß erstellten Ansicht der Umgebung 2 des Fahrzeuges 1 auch Objekte abgebildet werden können, die sich unter dem Fahrzeug 1 befinden und aktuell nicht von einer der Kameras 3a, 3b, 3c, 3d erfasst werden. Dies ist in 4 beispielhaft dargestellt. Unter dem Fahrzeug 1 befindet sich ein Abfluss 15. Dieser befindet sich zu dem Zeitpunkt, zu dem die in 4 abgebildete Ansicht 4 der Umgebung 2 des Fahrzeugs 1 errechnet wurde, nicht im Sichtfeld der Kameras 3a, 3b, 3c, 3d. Dennoch ist der Abfluss 15 in der sichtbar. Dies ist zum einen darin begründet, dass das Fahrzeugmodell 6 innerhalb der äußeren Kontur 11 transparent ist und die den Abfluss 15 darstellende Textur auf der Projektionsfläche somit von der über dem Fahrzeugmodell 6 angeordneten virtuellen Kamera 5 erfasst wird, also von dem Fahrzeugmodell 6 nicht optisch verdeckt wird, obwohl sich dieses zwischen der virtuellen Kamera 5 und dem Teil der Projektionsfläche befindet, in dem der Abfluss 15 in der Textur dargestellt ist.
-
Zusätzlich werden in der Ansicht 4 der Umgebung 2 des Fahrzeuges 1 in dieser zweiten Ausführungsform im Bereich des Objektes 7a, 7b, 7c Flächenelemente 18 dargestellt, durch welche der Abstand 12 farblich indiziert wird. Das bedeutet, dass sich die Flächenelemente 18 entsprechend dem Abstand 12 zwischen dem Fahrzeug 1 und dem ersten Objekt 7a verfärben. Eine Sichtbarkeit der Flächenelemente 18 wird bevorzugt entsprechend der Sichtbarkeit des Fahrzeugmodells 6 gewählt.
-
5 zeigt das Fahrzeug 1 in einer beispielhaften zweiten Situation. Dabei wird in dem Fahrzeug 1, welches dem in 2 dargestellten Fahrzeug 1 entspricht, ein Verfahren zum Darstellen einer Umgebung 2 des Fahrzeuges 1 gemäß einer dritten Ausführungsform der Erfindung ausgeführt. Die dritte Ausführungsform der Erfindung entspricht im Wesentlichen der ersten und zweiten Ausführungsform der Erfindung.
-
In dieser dritten Ausführungsform der Erfindung erfolgt das Modifizieren der Sichtbarkeit des Fahrzeugmodells 6, basierend auf einer Verkehrssituation. Die Verkehrssituation wird basierend auf der ermittelten Lage des Objekts 7a, 7b, 7c gegenüber dem Fahrzeug 1 erkannt. Dabei wird beispielsweise auf eine Datenbank mit definierten Verkehrssituationen zurückgegriffen. 5 stellt beispielsweise eine Verkehrssituation dar, welche eine Einparksituation ist. Dabei ist das erste Objekt 7a und ein zweites Objekt 7b in der Umgebung 2 des Fahrzeuges 1 vorhanden. Sowohl das erste Objekt 7a als auch das zweite Objekt 7b ist jeweils ein parkendes Fahrzeug. Beide Fahrzeuge werden bei dem Ermitteln der Lage des Objektes in der Umgebung 2 des Fahrzeuges 1 gegenüber dem Fahrzeug 1 erkannt. Basierend auf deren Position und Abstand gegenüber dem Fahrzeug 1 wird erkannt, dass die Einparksituation vorliegt. Es wird darauf hingewiesen, dass bei dem Erkennen der Verkehrssituation auch auf weitere Parameter zugegriffen werden kann, welche einen Aktuellen Zustand des Fahrzeuges 1 oder der Umgebung 2 beschreiben. Da sich das Fahrzeug 1 in einer Einparksituation befindet, wird die Sichtbarkeit des Fahrzeugmodells 6 modifiziert. In dieser dritten Ausführungsform wird das Fahrzeugmodell 6 transparent dargestellt, so wie dieses auch in der ersten Ausführungsform dargestellt wird, wenn sich das Fahrzeug 1 an das erste Objekt 7a annähert. Ein Auslöser für das transparente Darstellen des Fahrzeugmodells 6 ist dabei in dieser dritten Ausführungsform jedoch die erkannte Verkehrssituation und nicht ausschließlich der Abstand 12 zu dem ersten Objekt 7a. In 5 ist erneut die virtuelle Kamera 5 dargestellt, welche auf Höhe des Fahrzeuges 1 angeordnet ist und auf die rechte Seite des Fahrzeuges 1 gerichtet ist.
-
6 zeigt die Ansicht 4 der Umgebung 2 des Fahrzeuges 1 aus Sicht der virtuellen Kamera 5, welche gemäß dieser dritten Ausführungsform der Erfindung erzeugt wurde. Das Fahrzeugmodell 6 ist transparent dargestellt. Somit ist die hinter dem Fahrzeugmodell 6 gelegene Umgebung 2 des Fahrzeuges 1 vollständig erkennbar. Gleichzeitig ist das Fahrzeugmodell 6 erkennbar. Die Räder des Fahrzeugmodells 6 sind wiederum als einzelne Komponenten 13 des Fahrzeugmodells 6 von dem Modifizieren der Sichtbarkeit des Fahrzeugmodells 6 ausgenommen.
-
7 und 8 zeigen Situationen, in denen eine Darstellung des Fahrzeugmodells 6 mit modifizierter Sichtbarkeit vorteilhaft ist. Sowohl in 7 als auch in 8 ist das Fahrzeugmodell 6 in der Konturendarstellung dargestellt. Aus 7 ist ersichtlich, dass hinter dem Fahrzeugmodell 6 wiederum Flächenelemente 18 angeordnet sind, welche eine Annäherung des Fahrzeuges 1 an ein hinter dem Fahrzeug gelegenes drittes Objekt 7c indizieren. Das dritte Objekt 7c ist in 7 beispielhaft als ein Baum gewählt. Die Flächenelemente 18 sind in dem virtuellen Raum im Bereich des dritten Objektes 7c angeordnet, welches sich in der Umgebung 2 des Fahrzeuges 1 befindet und zeigen einen Abstand des Fahrzeuges 1 gegenüber dem dritten Objekt 7c farblich an. Die Flächenelemente 18 sind sichtbar, obwohl diese aus Sicht der virtuellen Kamera 5 hinter dem Fahrzeugmodell 6 liegen, da das Fahrzeugmodell 6 in der Konturendarstellung dargestellt ist.
-
Ferner ist in 7 der Bodenbereich 14 markiert, der in der realen Welt unter dem Fahrzeug 1 liegt und der mit einer Textur belegt wird, welche basierend auf Kamerabildern errechnet wird, die erfasst wurden, bevor der Bodenbereich von dem Fahrzeug 1 bedeckt wurde.
-
In 8 ist eine Verkehrssituation dargestellt, in der das Fahrzeug 1 sich an einer unübersichtlichen Kreuzung befindet. Dadurch, dass das Fahrzeugmodell 6 in der Konturendarstellung dargestellt ist, ist es möglich, Einsicht in eine Querstraße 17 zu nehmen. Gleichzeitig bleibt in der Ansicht 4 das Fahrzeugmodell 6 erkenntlich und es kann abgeschätzt werden, wie weit die Fahrzeugfront sich bereits in einem Kreuzungsbereich befindet.
-
Eine weitere Verkehrssituation, in welcher es sich als besonders vorteilhaft erweist, die Sichtbarkeit des Fahrzeugmodells 6 zu modifizieren, ist eine Situation, bei der das Fahrzeug 1 über einer induktiven Ladevorrichtung ausgerichtet wird. Dabei ist es besonders vorteilhaft, wenn der Bodenbereich 14 mit der Textur belegt wird, welche basierend auf Kamerabildern errechnet wird, die erfasst wurden, bevor der Bodenbereich von dem Fahrzeug 1 bedeckt wurde. So kann der Fahrer des Fahrzeuges sich durch das beispielsweise transparente Fahrzeugmodell 6 besonders gut orientieren, wobei gleichzeitig die induktive Ladevorrichtung, welche beispielsweise durch eine Fahrbahnmarkierung angedeutet wird, als Bezugspunkt sichtbar ist.
-
Aufgrund von Sensorinformationen der Fahrzeugsensorik ist es der erfindungsgemäßen Vorrichtung bekannt, wo Hindernisse in der Umgebung 2 des Fahrzeuges 1 liegen. Eine Veränderung des Blickfeldes der virtuellen Kamera 5 verändert sich beispielsweise, wenn ein Objekt in der Nähe des Fahrzeuges 1 erkannt wird. Die virtuelle Kamera 5 wird entsprechend bewegt, um das Objekt darzustellen. Wenn die virtuelle Kamera 5 ihre Zielposition erreicht, wird das Fahrzeugmodell 6 vollständig transparent oder teilweise transparent dargestellt, sodass ein Anwender die Situation besser überblicken kann und insbesondere nieder gelegene Hindernisse unter dem Fahrzeug 1 erkennen kann. Einzelne Komponenten des Fahrzeugmodells 6 können dabei undurchsichtig dargestellt werden. Alternativ können diese transparent dargestellt werden.
-
Ein transparentes Darstellen des Fahrzeugmodells 6 ist vorteilhaft für eine Sichtbarkeit von Objekten, welche hinter dem Fahrzeugmodell 6 liegen. Dies hat jedoch auch Nachteile, da ein Anwender eine Beziehung zwischen einer Fahrzeugform und dessen Kanten verliert. Dem Fahrer muss jedoch eine Beziehung zwischen dem Fahrzeugmodell 6 und der Umgebung 2 des Fahrzeuges 1 klar sein, damit dieser Abstände in der dargestellten Ansicht 4 der Umgebung 2 des Fahrzeuges 1 korrekt einschätzen kann. Daher ist die Konturendarstellung ebenfalls vorteilhaft, wobei in der Konturendarstellung das Fahrzeugmodell 6 insgesamt transparent oder halbtransparent dargestellt wird. Lediglich die äußere Kontur 11 des Fahrzeugmodells 6 wird mit voller Deckkraft dargestellt. Die Darstellung in der Konturenansicht kann ebenfalls abhängig von dem Sichtfeld der virtuellen Kamera 5 sein. Es wird somit vermieden, dass relevante Objekte, beispielsweise sich annähernde Fahrzeuge, durch das Fahrzeugmodell 6 verdeckt werden. Ferner ist es möglich, in Ausführungsformen der Erfindung die transparente Darstellung und die Konturendarstellung zu kombinieren. So wird das Fahrzeugmodell 6, beispielsweise wenn das Objekt sehr nah ist, transparent dargestellt und die äußere Kontur verblasst.
-
Nebst obenstehender Beschreibung wird explizit auf die Offenbarung der 1 bis 8 verwiesen.
