-
Die Erfindung betrifft ein Verfahren zum Darstellen einer Umgebung eines Fahrzeugs und ein System zum Darstellen einer Umgebung eines Fahrzeugs.
-
Die Druckschrift
DE 10 2013 206 435 A1 beschreibt ein Visualisierungssystem und eine Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung.
-
Ein Verfahren zum Überwachen eines Umgebungsbereichs eines Kraftfahrzeugs und ein Kamerasystem sind aus der Druckschrift
DE 10 2017 122 261 A1 bekannt.
-
In der Druckschrift
DE 10 2017 204 168 A1 sind ein Betriebsverfahren für ein Kamera-Anzeigesystem und ein Kamera-Anzeigesystem beschrieben.
-
Ein Gerät und ein Verfahren zur Bildbearbeitung sind aus der Druckschrift
JP 2019/202584 A bekannt. Diese zeigt, dass ein Ausschnitt von mindestens einem zweiten Teilbild ersetzt und zumindest ein Abschnitt eines Fahrzeugs ausgeblendet wird, wobei ein sog. „contour erasure process“ durchgeführt wird.
-
In der Druckschrift
DE 20 2010 005 203 U1 ist ein elektronischer Fahrzeug-Außenspiegel mit einer Infrarot-Breitwinkelkamera für eine verbesserte Sicht beschrieben.
-
Vor diesem Hintergrund war es eine Aufgabe, einem Fahrer eines Fahrzeugs eine Umgebung des Fahrzeugs entgegen einer Vorwärtsfahrtrichtung des Fahrzeugs besser darzustellen.
-
Diese Aufgabe wird durch ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Ausführungsformen des Verfahrens und des Systems gehen aus den abhängigen Patentansprüchen und der Beschreibung hervor.
-
Das erfindungsgemäße Verfahren ist zum Darstellen einer Umgebung eines Fahrzeugs, bspw. eines Kraftfahrzeugs, ausgebildet, in der Regel entgegen einer Vorwärtsfahrtrichtung des Fahrzeugs, die üblicherweise entgegen einer Blick- bzw. Sichtrichtung eines Fahrers des Fahrzeugs bei einer Vorwärtsfahrt des Fahrzeugs orientiert ist. Das Fahrzeug weist eine erste Kamera an einer Position eines zu simulierenden und/oder virtuellen Außenspiegels, einen Bildschirm bzw. Monitor bzw. Display zum Darstellen eines Bilds des zu simulierenden Außenspiegels und mindestens eine zweite Kamera auf. Dabei wird bzw. ist jede Kamera vektoriell zumindest teilweise entgegen der Vorwärtsfahrtrichtung des Fahrzeugs orientiert und/oder ausgerichtet. Dabei wird von der ersten Kamera ein erstes Teilbild und von der mindestens einen zweiten Kamera mindestens ein zweites Teilbild aufgenommen, wobei die Teilbilder zu einem Gesamtbild kombiniert und/oder fusioniert werden. Dabei wird ein Ausschnitt des ersten Teilbilds, auf dem neben der Umgebung auch zumindest ein Abschnitt des Fahrzeugs dargestellt wird, durch mindestens einen Ausschnitt des mindestens einen zweiten Teilbilds ersetzt und/oder überblendet, wobei statt dem zumindest einen Abschnitt des Fahrzeugs ersatzweise nur bzw. ausschließlich die Umgebung hinter dem Fahrzeug ohne den zumindest einen Abschnitt des Fahrzeugs dargestellt wird, wobei der zumindest eine Abschnitt des Fahrzeugs aus dem Gesamtbild ausgeblendet wird, wobei das Gesamtbild einem Fahrer des Fahrzeugs von, mit und/oder auf dem Bildschirm dargestellt wird.
-
In der Regel wird von jeder Kamera die Umgebung, bspw. Bereiche der Umgebung, entgegen der Fahrtrichtung hinter dem Fahrzeug aufgenommen. Es ist weiterhin vorgesehen, dass von der ersten Kamera und ggf. auch von der mindestens einen zweiten Kamera auch die Umgebung, bspw. Bereiche der Umgebung, neben dem Fahrzeug aufgenommen wird. Dabei ist bei dem Verfahren vorgesehen, dass die Umgebung hinter und/oder neben dem Fahrzeug, in der Regel ggf. auch neben dem Fahrzeug, auf dem Bildschirm in dem kombinierten und/oder fusionierten Gesamtbild dargestellt wird.
-
Es ist zudem möglich, dass mindestens ein Objekt, bspw. ein als Fremd-Fahrzeug zu bezeichnendes und ausgebildetes weiteres Fahrzeug, als sich ggf. bewegendes Objekt in der Umgebung des Fahrzeugs bei einer Bildanalyse automatisch erkannt und/oder identifiziert wird, wobei ein Abstand dieses Objekts zu dem als Eigen-Fahrzeug zu bezeichnenden Fahrzeug, dessen Umgebung darzustellen ist, ermittelt wird, wobei dieses mindestens eine Objekt in dem Gesamtbild bspw. farbig markiert und/oder optisch hervorgehoben wird, wenn es zu dem Fahrzeug, d. h. Eigen-Fahrzeug, einen Abstand aufweist, der geringer als ein hierfür vorgesehener Toleranzwert ist. Dabei wird durch Warnfarben eine Abstandswarnung zu dem Fremd-Fahrzeug bereitgestellt, das sich dem Eigen-Fahrzeug bspw. von hinten nähert.
-
Weiterhin ist bzw. wird jede Kamera in eine für die jeweilige Kamera vorgesehene, u. a. winkelabhängige, Richtung orientiert und/oder ausgerichtet, wobei die Richtung der jeweiligen Kamera maximal um einen jeweils hierfür vorgesehenen Grenzwinkel von einer Längsachse des Fahrzeugs abweicht, wobei die jeweils vorgesehene Richtung entgegen der Vorwärtsfahrrichtung des Fahrzeugs orientiert wird bzw. ist. Dabei ist es möglich, dass mindestens zwei Kameras, also die erste und die mindestens eine zweite Kamera, ggf. sämtliche Kameras in dieselbe Richtung orientiert werden bzw. sind. Es ist jedoch auch möglich, dass die Kameras, also die erste Kamera und die mindestens eine zweite Kamera, in unterschiedlichen Richtungen orientiert sind bzw. werden. Es ist jedoch auch möglich, mindestens eine erste zweite Kamera in dieselbe Richtung wie die erste Kamera und mindestens eine zweite zweite Kamera in eine andere Richtung zu orientieren bzw. auszurichten.
-
Es ist zudem möglich, dass die Teilbilder unterschiedlicher Kameras aus unterschiedlichen Perspektiven aufgenommen werden, wobei jedes Teilbild jeweils einer Kamera in einer virtuellen Bildebene liegt, wobei Bildebenen der Teilbilder in Ausgestaltung zueinander parallel, in der Regel parallel zur Vorwärtsfahrrichtung, liegen und zu der ersten Kamera unterschiedliche Abstände aufweisen, wobei es möglich ist, dass ein jeweiliges Teilbild der jeweiligen Kamera in der hierfür vorgesehenen Bildebene scharf ist. Falls einige Teilbilder der Kameras aus unterschiedlichen, u. a. winkelabhängigen, Richtungen und somit aus unterschiedlichen, u. a. winkelabhängigen, Perspektiven aufgenommen werden, ist es möglich, dass die Teilbilder bezüglich winkelabhängiger Abweichungen der Richtungen zum Aufnehmen der Teilbilder zum Fusionieren und/oder Kombinieren des Gesamtbilds aus derartigen Teilbildern, bspw. durch winkelabhängige Drehungen, korrigiert und/oder ausgeglichen werden. Außerdem werden die Teilbilder aus und/oder in unterschiedlichen Bildebenen hinsichtlich ihrer Größe aneinander angepasst, wobei Abstände der Bildebenen relativ zueinander bzw. zu der ersten Kamera ausgeglichen werden. Dabei ist es möglich, dass eine Bildebene für das erste Teilbild, das von der ersten Kamera aufgenommen wird, als Referenzebene für mindestens ein zweites Teilbild der mindestens einen zweiten Kamera mit davon abweichender Bildebene verwendet wird.
-
Das erfindungsgemäße System ist zum Darstellen einer Umgebung eines Fahrzeugs, bspw. eines Kraftfahrzeugs, zumindest während einer Fahrt des Fahrzeugs und ggf. auch bei einem Stillstand des Fahrzeugs ausgebildet. Das System weist als Komponenten eine erste Kamera an einer Position eines zu simulierenden und/oder virtuellen Außenspiegels, mindestens eine zweite Kamera und eine Recheneinheit auf, wobei diese Komponenten auch als Komponenten des Fahrzeugs ausgebildet sind. Dabei ist die Recheneinheit dazu ausgebildet, jede Kamera zu kontrollieren, bspw. zu steuern und/oder zu regeln, und zu veranlassen, jede Kamera vektoriell zumindest teilweise entgegen einer Vorwärtsfahrtrichtung des Fahrzeugs zu orientieren und/oder auszurichten. Die erste Kamera ist dazu ausgebildet, ein erstes Teilbild von der Umgebung aufzunehmen. Die mindestens eine zweite Kamera ist dazu ausgebildet, mindestens ein zweites Teilbild von der Umgebung aufzunehmen. Der Bildschirm bzw. Monitor des Systems ist zum Darstellen eines Bilds des zu simulierenden Außenspiegels ausgebildet. Die Recheneinheit ist auch dazu ausgebildet, die Teilbilder zu einem Gesamtbild zu kombinieren und/oder zu fusionieren und dabei zu veranlassen, einen auf bzw. von dem Bildschirm darzustellenden bzw. darstellbaren Ausschnitt des ersten Teilbilds, auf bzw. mit dem von dem Bildschirm neben der Umgebung auch zumindest ein Abschnitt des Fahrzeugs darzustellen bzw. darstellbar ist, durch mindestens einen Ausschnitt des mindestens einen zweiten Teilbilds zu ersetzen. Dabei ist bzw. sind die Recheneinheit und/oder der Bildschirm dazu ausgebildet, den zumindest einen Abschnitt des Fahrzeugs aus dem Gesamtbild auszublenden und statt dem zumindest einen Ausschnitt des Fahrzeugs nur die Umgebung hinter dem Fahrzeug darzustellen, wobei der Bildschirm zum Darstellen des Gesamtbilds ausgebildet ist.
-
Es ist möglich, dass eine Ausführungsform des vorgestellten Verfahrens mit einer Ausführungsform des vorgestellten Systems ausgeführt wird. Durch Kombination der Kameras und Fusion ihrer Teilbilder zu dem Gesamtbild kann dem Fahrer die Umgebung hinter dem Fahrzeug ohne Fahrzeug mit bzw. auf dem Gesamtbild dargestellt werden. Dabei werden die Teilbilder in Ausgestaltung, bspw. retinal, relativ zueinander verschoben, wobei das in dem ersten Teilbild zumindest teilweise dargestellte Fahrzeug von mindestens einem Bereich mindestens eines zweiten Teilbilds abgedeckt wird und einen Bereich der Umgebung ohne Fahrzeug ersetzt, wobei das Fahrzeug aus dem Gesamtbild ausgeblendet wird. Dabei ist es auch möglich, einen toten Winkel des zu simulierenden Außenspiegels zur erfassen.
-
Es ist vorgesehen, dass das System als Komponente die erste Kamera aufweist, die an einer seitlichen Außenwand des Fahrzeugs an einer Position des zu simulierenden Außenspiegels und/oder Seitenspiegels des Fahrzeugs angeordnet ist. Entsprechend weist das System die mindestens eine zweite Kamera auf, die auf einem Dach, an einem Heck und/oder im Innenraum des Fahrzeugs angeordnet ist und als Dach-, Heck- und/oder Innenkamera bezeichnet werden kann. Mindestens eine Kamera kann als Farbkamera und/oder als Nachtsichtkamera, also bspw. auch als Farb-Nachtsichtkamera, ausgebildet sein. Die erste Kamera kann auch als Spiegelkamera ausgebildet sein bzw. bezeichnet werden. Es ist möglich, dass ein Abstand zwischen der ersten Kamera und der mindestens einen zweiten Kamera senkrecht zu der Längsachse des Fahrzeugs mindestens einer halben Breite des Fahrzeugs und/oder parallel zu der Längsachse mindestens einer halben Länge des Fahrzeugs entspricht.
-
Außerdem ist es möglich, dass der Bildschirm in einem Gehäuse des zu simulierenden Außenspiegels angeordnet ist. Der Bildschirm in dem Gehäuse ist im Rahmen des Verfahrens zum Darstellen des aus den Teilbildern fusionierten Gesamtbilds ausgebildet, wobei der Bildschirm, bspw. von der Recheneinheit, hierzu in einen ersten Darstellungsmodus versetzt wird. Es kann jedoch auch in einen zweiten Darstellungsmodus versetzt werden, bei dem der Bildschirm bspw. von der Recheneinheit als optisch reflektierend bzw. spiegelnd eingestellt wird und die Umgebung wie ein typischer verspiegelter Außenspiegel darstellt.
-
Jede hier verwendete Kamera kann als Rückfahrkamera ausgebildet sein bzw. bezeichnet werden, wobei die erste Kamera in Kombination mit dem Bildschirm den zu simulierenden und/oder einen virtuellen Außenspiegel ersetzt. Zum Bereitstellen des Gesamtbilds wird das erste Teilbild der ersten Kamera, d. h. zumindest jener Bereich, der das Fahrzeug bzw. Eigen-Fahrzeug zeigt, von dem mindestens einen zweiten Testbild zumindest teilweise ersetzt und/oder überlagert und somit ausgeblendet. Die erste Kamera kann als Außenkamera, bspw. Seitenkamera, ausgebildet sein bzw. bezeichnet werden, die einen Seitenerfassungsbereich als Erfassungsbereich aufweist. Die mindestens eine zweite Kamera kann als Heckkamera ausgebildet sein, die einen Heckerfassungsbereich als Erfassungsbereich aufweist.
-
Beim Fusionieren und/oder Kombinieren der Teilbilder zu dem Gesamtbild durch die Recheneinheit wird das Fahrzeug, also das Eigen-Fahrzeug, das auf dem ersten Teilbild der ersten Kamera noch teilweise dargestellt ist bzw. wird, von der Recheneinheit entfernt und durch einen Ausschnitt aus dem mindestens einen zweiten Teilbild ersetzt. Dabei ist vorgesehen, dass ein Aussehen des Fahrzeugs der Recheneinheit aus einer, u. a. winkelabhängigen, Richtung und/oder Perspektive bekannt ist, wobei Daten hierzu in einem Speicher der Recheneinheit gespeichert sind. Im Rahmen des Verfahrens wird von der Recheneinheit das ihr bekannte Aussehen des Fahrzeugs beim Entfernen des Fahrzeugs aus dem Gesamtbild berücksichtigt. In dem Gesamtbild wird nur die durch Entfernen des Fahrzeugs korrigierte Umgebung des Fahrzeugs dargestellt. Dabei wird das als Eigen-Fahrzeug zu bezeichnende Fahrzeug aus der im Gesamtbild darzustellenden Umgebung ausgeblendet. Dabei ist es möglich, auf dem Gesamtbild auch Objekte in der Umgebung darzustellen, die ansonsten aus der Perspektive des zu simulierenden Außenspiegels und/oder der ersten Kamera durch das Fahrzeug abgedeckt werden. Somit ist es möglich, in dem Gesamtbild sämtliche relevante Objekte in der Umgebung hinter und auch neben dem Fahrzeug darzustellen. Es ist dabei auch möglich, einen toten Winkel des Fahrzeugs und/oder des zu simulierenden Außenspiegels zur erfassen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung schematisch und ausführlich beschrieben.
- 1 zeigt in schematischer Darstellung ein Fahrzeug mit einer Ausführungsform des erfindungsgemäßen Systems zum Durchführen einer Ausführungsform des erfindungsgemäßen Verfahrens.
- 2 zeigt ein Detail des Systems aus 1 bei Durchführung des Verfahrens.
-
Die Figuren werden zusammenhängend und übergreifend beschrieben. Gleichen Bezugszeichen sind dieselben Komponenten zugeordnet.
-
1 zeigt in schematischer Darstellung das Fahrzeug 2, hier ein Kraftfahrzeug, mit einer Längsachse 20, die hier parallel zu einer Vorwärtsfahrtrichtung des Fahrzeugs 2 orientiert ist. An einer ersten seitlichen, hier in Vorwärtsfahrtrichtung rechten, Außenwand ist hier ein erstes Gehäuse 4 für einen ersten virtuellen bzw. zu simulierenden Seiten- und/oder Außenspiegel des Fahrzeugs 2 angeordnet. Dieses Gehäuse 4 ist in 2a und 2b auch aus einem weiteren Blickwinkel detaillierter dargestellt. Außerdem ist an einer zweiten seitlichen, hier in Vorwärtsfahrtrichtung linken, Außenwand ein zweites Gehäuse 6 für einen zweiten Seiten- und/oder Außenspiegel des Fahrzeugs 2 angeordnet.
-
Die Ausführungsform des erfindungsgemäßen Systems weist eine erste Kamera 8, die hier an dem Gehäuse 4 für den virtuellen bzw. zu simulierenden rechten Außenspiegel angeordnet ist, und eine zweite Kamera 10, die hier auf einem Dach des Fahrzeugs 2 angeordnet ist. Ferner zeigen die 2a und 2b auch einen Bildschirm 5 bzw. Monitor, der in dem Gehäuse 4 angeordnet und ausgehend von einem Innenraum des Fahrzeugs 2 einsehbar ist.
-
Beide Kameras 8, 10 sind hier weitgehend parallel zur Längsachse 20 und somit weitgehend entgegen der Vorwärtsfahrtrichtung ausgerichtet und dazu ausgebildet, eine Umgebung des Fahrzeugs 2 entgegen seiner Vorwärtsfahrtrichtung, also hinter dem Fahrzeug 2 und zumindest auch bereichsweise neben dem Fahrzeug 2 zu erfassen, wobei für die erste Kamera 8 ein erster Erfassungsbereich 12 für die Umgebung und für die zweite Kamera 10 ein zweiter Erfassungsbereich 14 für die Umgebung vorgesehen ist. Jeder Erfassungsbereich 12, 14 ist hier bspw. kegelförmig ausgebildet, wobei eine zentrale Achse eines jeweiligen Erfassungsbereichs 12, 14 parallel zu der Richtung der jeweiligen Kamera 8, 10 orientiert ist. Dabei wird berücksichtigt, dass die Richtung der jeweiligen Kamera 8, 10 bzw. der Erfassungsbereich 12, 14 der jeweiligen Kamera 8, 10 maximal um einen jeweils hierfür vorgesehenen Grenzwinkel von einer Längsachse 20 des Fahrzeugs 2 abweicht, wobei die Richtung bzw. der Erfassungsbereich 12, 14 weitgehend parallel und entgegen der Vorwärtsfahrtrichtung orientiert wird bzw. ist.
-
Bei der Ausführungsform des Verfahrens wird zu jeweils einem Zeitpunkt von der ersten Kamera 8 ein erstes Teilbild 16 und von der zweiten Kamera 10 ein zweites Teilbild 18 von der Umgebung aufgenommen. Dabei ist hier vorgesehen, dass sich die beiden Teilbilder 16, 18 in unterschiedlichen Bildebenen befinden, wobei jedes Teilbild 16, 18 in seiner jeweiligen Bildebene scharf ist. Dabei ist hier vorgesehen, dass eine erste Bildebene des ersten Teilbilds 16 zu der ersten Kamera 8 einen geringeren Abstand als eine zweite Bildebene des zweiten Teilbilds 18 aufweist, wobei die erste Bildebene entlang der Vorwärtsfahrtrichtung vor der zweiten Bildebene angeordnet wird.
-
Bei dem Verfahren werden die beiden Teilbilder 16, 18 bezüglich ihrer Grö-ße, die abhängig von einem Abstand der Bildebenen ist, und ggf. auch bezüglich der winkelabhängigen Richtungen der Kameras 8, 10 bzw. der Erfassungsbereiche 12, 14 aneinander angepasst. Außerdem werden die beiden Teilbilder 16, 18 zu einem Gesamtbild 22 fusioniert.
-
Dabei zeigt 2a eine Überlagerung der beiden Teilbilder 16, 18 zu einem Zwischenbild, das auch einen Bereich bzw. Ausschnitt des Fahrzeugs 2 zeigt, der hier in dem ersten Teilbild 16 der ersten Kamera 8 sichtbar ist. Beim Fusionieren und/oder Kombinieren der beiden Teilbilder 16, 18 bei der Ausführungsform des Verfahrens wird jener Ausschnitt bzw. Bereich des ersten Teilbilds 16, in dem das Fahrzeug 2 zumindest noch teilweise erkennbar ist, von einem Ausschnitt bzw. Bereich des zweiten Teilbilds 18 der zweiten Kamera 10 abgedeckt, ausgeblendet und/oder ersetzt, wobei das Gesamtbild 22 erzeugt und auf dem Bildschirm 5 dargestellt wird (2b), wobei in dem Gesamtbild 22 nur die Umgebung hinter dem Fahrzeug 2 ohne Fahrzeug dargestellt wird, wobei es möglich ist, dass Objekte in der Umgebung hinter dem Fahrzeug 2, die aus der Perspektive der ersten Kamera 8 von dem Fahrzeug 2 ansonsten abgedeckt werden und sich im toten Winkel befinden, nun auf dem Gesamtbild 22 der Umgebung erkennbar sind. Somit wird dem Fahrer im Innenraum des Fahrzeugs 2 eine freie Sicht in die bzw. zu der Umgebung hinter dem Fahrzeug 2 bereitgestellt, wenn er den Bildschirm 5 betrachtet und diesen als virtuellen Außenspiegel verwendet.
-
Bezugszeichenliste
-
- 2
- Fahrzeug
- 4
- Gehäuse
- 5
- Bildschirm
- 6
- Gehäuse
- 8, 10
- Kamera
- 12, 14
- Erfassungsbereich
- 16, 18
- Teilbild
- 20
- Längsachse
- 22
- Gesamtbild
