-
Die Erfindung betrifft ein Verfahren zur Erzeugung einer virtuellen Aussicht aus einem Fahrzeug, bei welchem von mehreren Bildaufnahmeeinheiten bereitgestellte Bilder in einer Bildverarbeitungseinheit ausgewertet und direkt im Sichtfeld am Kopf eines Fahrzeuginsassen überlagert werden, sowie eine Vorrichtung zur Durchführung des Verfahrens.
-
Aus der
US-PS 7,180,476 B1 ist ein externes Flugzeugaufnahmesystem bekannt, welches ein helmmontiertes Display aufweist. Dieses System umfasst mehrere Sensoren, beispielsweise Infrarotsensoren, die Signale über die Umgebung des Flugzeuges erfassen. Die von diesen Sensoren ausgegebenen Bilder können nebeneinander gestellt oder übereinander geblendet werden, so dass sich ein Umgebungsbild ergibt. Der Benutzer des helmmontierten Displays kann verschiedene Ansichten der Bilder auswählen und sich in seine Blickrichtung durch das Display anzeigen lassen. Nachteilig dabei ist, dass die Wiedergabe des Bildes auf dem Display durch feste Karosserieelemente im Fahrzeug gestört wird.
-
Aufgabe der Erfindung ist es, ein Verfahren zur Erzeugung einer virtuellen Aussicht aus einem Fahrzeug anzugeben, bei welchem die Aussicht durch feste Karosserieelemente des Fahrzeuges nicht beeinträchtigt wird.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
-
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass die Bildverarbeitungseinheit aus den, von den als Außenkameras ausgebildeten Bildaufnahmeeinheiten bereitgestellten Bildern ein virtuelles Bild erstellt, welches in einer Augmented Reality-Brille oder Virtual Reality-Brille zur Anzeige gebracht wird. Dies hat den Vorteil, dass nicht nur das virtuelle Bild direkt in einem Sichtfeld des Fahrzeuginsassen wiedergegeben wird, sondern dass Bereiche des Fahrzeuges, wo sich feste Karosserieteile, wie z. B. die B-Säule befinden, als durchsichtig ausgebildet erscheinen, so dass der Fahrzeuginsasse den Eindruck einer transparenten Karosserie gewinnt.
-
Vorteilhafterweise werden durch die Außenkameras Bilder der Umgebung des Fahrzeuges aus verschiedenen Perspektiven und/oder verschiedenen Richtungen aufgenommen. Daraus lässt sich ein virtuelles Bild ableiten, das immer genau der Blickrichtung des Fahrzeuginsassen entspricht.
-
In einer Ausgestaltung nehmen die Außenkameras die Bilder bei einer Bewegung des Fahrzeuges auf. Dies erfolgt in einer kurzen zeitlichen Abfolge, wo eine Vielzahl von Bildern aus unterschiedlichen Perspektiven aufgenommen wird. Aus dieser Abfolge von Bildern wird eine virtuelle Außenansicht berechnet, welche in der Virtual Reality- oder Augmented Reality-Brille des Fahrzeuginsassen entsprechend seiner Blickrichtung wiedergegeben wird. Somit hat der Fahrzeuginsasse immer den Eindruck, dass er durch das Fahrzeug hindurch die tatsächliche Umgebung des Fahrzeuges wahrnehmen kann.
-
In einer Variante werden bei der Aufnahme mehrerer zeitlich aufeinanderfolgender Bilder eine Fahrzeugeigenbewegung und/oder eine Eigenbewegung von Objekten in der Umgebung des Fahrzeuges berücksichtigt. Dies hat den Vorteil, dass eine exakte Perspektive jedes einzelnen Bildes der einzelnen Außenkameras ermittelt werden kann. Da gleichzeitig auch Nick- und Wankbewegungen des Fahrzeuges umfasst werden, werden Rotationen der einzelnen Bilder sowie gegebenenfalls eine Verschiebung der Außenkameras nach oben oder nach unten bei einem Nicken des Fahrzeuges ausgeglichen.
-
In einer Ausführungsform wird aus den von den Außenkameras aufgenommenen Bildern eine virtuelle Außenansicht des Fahrzeuges bestimmt, die exakt für die Blickrichtung und Perspektive der Virtual Reality-Brille oder Augmented Reality-Brille errechnet wird. Somit wird gewährleistet, dass der Fahrzeuginsasse immer den korrekten Blick auf der Umgebung mittels des virtuellen Bildes hat. Verzerrungen werden unterbunden.
-
In einer weiteren Ausführungsform wird eine Position und Ausrichtung der Virtual Reality-Brille oder der Augmented Reality-Brille in Echtzeit bestimmt. Die virtuelle Sicht aus dem Fahrzeug wird hinsichtlich Position und Ausrichtung berechnet und in der Brille angezeigt. Dabei wird eine möglichst verzögerungsfreie Rechnung und Darstellung ermöglicht, um den Effekt einer „Reisekrankheit” zu vermeiden.
-
Die Position der Virtual Reality-Brille oder der Augmented Reality-Brille kann mithilfe verschiedener Verfahren ermittelt werden. In einer Ausgestaltung wird eine externe Trackingeinheit, vorzugsweise eine Infrarotkamera oder eine Kamera im visuellen Bereich, die Virtual Reality-Brille oder die Augmented Reality-Brille erfassen, was durch Marker auf der Virtual Reality-Brille oder Augmented Reality-Brille unterstützt wird.
-
In einer Alternative kann die Virtual Reality-Brille oder die Augmented Reality-Brille selbst ihre Ausrichtung im Fahrzeug ermitteln, was mithilfe einer in der Virtual Reality-Brille oder der Augmented Reality-Brille eingebauten Kamera erfolgt. Das hat den Vorteil, dass die Kamera der Virtual Reality-Brille oder der Augmented Reality-Brille das Interieur des Fahrzeuges erfasst und mit CAD-Daten abgleichen kann.
-
In einer weiteren Alternative umfasst die Virtual Reality-Brille oder die Augmented Reality-Brille ein Gyroskop, welches Bewegungen der Brille besonders latenzarm ermittelt. Dadurch wird die Ermittlung der Position und Ausrichtung der Virtual Reality-Brille oder der Augmented Reality-Brille unterstützt und eine präzise und latenzarme Darstellung des visuellen Bildes ermöglicht.
-
Eine Weiterbildung der Erfindung betrifft eine Vorrichtung zur Erzeugung einer virtuellen Aussicht aus einem Fahrzeug, umfassend mehrere eine Umgebung des Fahrzeuges aufnehmende Bildaufnahmeeinheiten, die mit einer Bildverarbeitungseinheit verbunden sind, welche mit einer am Kopf eines Fahrzeuginsassen angeordneten Anzeigeeinheit gekoppelt ist. Bei einer Vorrichtung, bei welcher das virtuelle Bild störungsfrei wiedergegeben wird, sind die Bildaufnahmeeinheiten als Außenkameras und die Anzeigeeinheit als Virtual Reality-Brille oder Augmented Reality-Brille ausgebildet, wobei die Bildverarbeitungseinheit zum Empfang von fahrzeugspezifischen Parametern und zur Erstellung von einem virtuellen Bild aus den von den Außenkameras aufgenommenen Bildern und den fahrzeugspezifischen Parametern sowie zur Ausgabe des virtuellen Bildes an die Virtual Reality-Brille oder Augmented Reality-Brille ausgebildet ist. Mittels dieser Vorrichtung lässt sich für den Fahrzeuginsassen ein virtuelles Bild erzeugen, bei welchem feste Karosserieteile ausgeblendet werden, so dass der Eindruck einer transparenten Karosserie entsteht.
-
Vorteilhafterweise sind die Außenkameras in verschiedene Richtungen gerichtet, wobei vorzugsweise eine Innenraumkamera zur Bestimmung von Position und Ausrichtung der Virtual Reality-Brille oder Augmented Reality-Brille auf diese gerichtet ist. Aufgrund der Ausrichtung in verschiedene Richtungen durch die Außenkameras werden eine Vielzahl von Perspektiven und Blickrichtungen aufgenommen, die sich zu dem gewünschten virtuellen Bild zusammenfügen lassen. Die Innenraumkamera kann dabei die Position und die Ausrichtung der Blickrichtung des Fahrzeuginsassen bestimmen, so dass das virtuelle Bild sich einfach auf diese Ausrichtung der Blickrichtung erstellen lässt.
-
Eine weitere Weiterbildung der Erfindung betrifft ein Fahrzeug, umfassend eine Vorrichtung zur Erzeugung einer virtuellen Aussicht aus einem Fahrzeug. Bei einem Fahrzeug ist die Vorrichtung zur Erzeugung der virtuellen Aussicht nach mindestens einem in dieser Schutzrechtsanmeldung beschriebenen Merkmal ausgebildet.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
-
1 ein Ausführungsbeispiel des erfindungsgemäßen Fahrzeuges,
-
2 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
-
In 1 ist ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeuges 1 dargestellt, welches beispielsweise vier Außenkameras 3, 5, 7, 9 aufweist, die außen an der Karosserie des Fahrzeuges 1 angeordnet sind. Die Kamera 3 ist dabei im Außenspiegel 11 des Fahrzeuges 1 positioniert und erfasst den Boden neben dem Fahrzeug 1 mit einer möglichst geringen Verzerrung. Die Kamera 5 ist an der A-Säule, die Kamera 7 an der B-Säule und die Kamera 9 an der C-Säule außen am Fahrzeug 1 befestigt, welche zur Seite ausgerichtet sind, um so die Umgebung des Fahrzeuges 1 möglichst vollständig zu erfassen. Die Kameras 3, 5, 7, 9 sind mit einer Recheneinheit 13 verbunden, die gleichzeitig mit Sensoren des Fahrzeuges, wie einem Gyroskop 15, einem Raddrehzahlsensor 17 und einem Neigungswinkelsensor 19 verbunden sind. Diese Sensoren 15, 17, 19 geben der Recheneinheit 13 Informationen darüber, in welchem Bewegungszustand sich das Fahrzeug 1 während der Fahrt, bei welcher die Bilder aufgenommen werden, befindet. Darüber hinaus ist die Recheneinheit 13 mit einer Innenraumkamera 21 verbunden, die am Rückspiegel des Fahrzeuges 1 angeordnet ist und auf einen Fahrzeuginsassen, vorzugsweise den Fahrer, gerichtet ist, welcher eine Augmented Reality-Brille oder eine Virtual Reality-Brille 23 trägt. Diese Augmented Reality-Brille oder Virtual Reality-Brille 23 ist ebenfalls mit der Recheneinheit 13 verbunden.
-
In 2 ist ein Ausführungsbeispiel für das erfindungsgemäße Verfahren angegeben, bei welchem drei physikalische Außenkameras 5, 7, 9 dargestellt sind, welche Bilder von physikalischen Objekten A, B, C, die sich im Sichtbereich der drei physikalischen Karners 5, 7, 9 befinden, aufnahmen. Aus diesen aufgenommenen Bildern wird ein neues virtuelles Bild mithilfe der Bildverarbeitungsalgorithmen umfassenden Recheneinheit 13 errechnet, dessen Perspektive der Sicht einer virtuellen Kamera 25 entspricht, welche sich an einer Position zwischen den physikalischen Außenkameras 5, 7, 9 befindet. Dies ist in 2 für eine Verschiebung auf einer Achse illustriert. Es ist jedoch offensichtlich, dass nicht nur eine Verschiebung nach links oder rechts möglich ist, sondern auch eine Verschiebung nach oben oder unten, wobei hierzu auch einige der physikalischen Kameras 5, 7, 9 nach oben oder unten verschoben angeordnet werden müssen.
-
Die Berechnung des virtuellen Bildes der virtuellen Kamera 25 erfolgt über die Bildverarbeitung aus den Bildern der physikalischen Außenkameras 5, 7, 9. Hierzu werden Verfahren der 3D-Szenen-Rekonstruktion verwendet. Dies ermöglicht es, die Perspektive aller im Sichtbereich sichtbaren Objekte A, B, C für die virtuelle Sicht korrekt zu ermitteln. So verdeckt beispielsweise in 2 das Objekt B aus Sicht der Außenkamera 5 das Objekt A teilweise, wohingegen beide Objekte A, B für die virtuelle Kamera 25 deutlich nebeneinander sichtbar sind.
-
Bei einem fahrenden Fahrzeug 1 nehmen die Außenkameras 5, 7.9 in kurzer zeitlicher Abfolge Bilder aus einer Vielzahl verschiedener Positionen auf. Bewegt sich das Fahrzeug 1 beispielsweise mit einer Geschwindigkeit von 50 h/km, so bewegen sich die Außenkameras 5, 7, 9 bei einer typischen Bildwiederholrate von 60 Hz um ca. 23 cm weiter. Befinden sich die Außenkameras 5, 7, 9 in einem äquidistanten Abstand von z. B. 50 cm, so entstehen bei einer Bildwiederholrate von 60 Hz innerhalb von 1/60 s nicht drei, sondern sechs ungefähr äquidistante Bilder, welche für die Berechnung des virtuellen Bildes herangezogen werden können. Dies ist auch deswegen möglich, weil sich in urbanen Gebieten viele Objekte außerhalb des Fahrzeuges 1, zumindest in Relation zur Geschwindigkeit des Fahrzeuges 1, sehr langsam oder gar nicht bewegen. Dies betrifft beispielsweise Häuser, Fußgänger oder parkende Autos.
-
Die Kameras 5, 7, 9 können dabei nicht nur in verschiedene Richtungen ausgerichtet sein, sondern können auch auf unterschiedlichen Höhen positioniert werden, um eine möglichst große Anzahl verschiedener Perspektiven für die Generierung einer virtuellen Aussicht zu erzeugen. Es ist jedoch besonders vorteilhaft, die Kameras 3, 5, 7, 9 ungefähr auf die Höhe der Augen des Fahrzeuginsassen anzubringen.
-
Über einen größeren Zeitraum werden wesentlich größere Mengen an Bildern aufgenommen. Dieser Zeitraum kann beispielsweise 1 Sekunde betragen. Diese große Anzahl von Bildern ermöglicht es zusätzlich, die Eigenbewegung von den Objekten A, B, C im Sichtfeld zu ermitteln. Dies geschieht beispielsweise mithilfe eines optischen Flusses oder mit anderen Verfahren, wie sie beispielsweise zur Zwischenbildberechnung in Fernsehgeräten zum Einsatz kommen.
-
Vorteilhafterweise kann bei der Aufnahme mehrerer zeitlich aufeinanderfolgender Bilder zusätzlich die Schätzung der Fahrzeugeigenbewegung (Ego Motion) verwendet werden, um die exakte Perspektive jedes einzelnen Bildes jeder einzelnen Außenkamera 3, 5, 7, 9 zu ermitteln. Dies ist zum einen bei Kurvenfahrten von Bedeutung. Zum anderen muss auch die zwischen zwei Bildern zurückgelegte Wegstrecke bekannt sein. Ebenso müssen Nick- und Wankbewegungen beispielsweise mithilfe des Gyroskops 15 erfasst werden, um die Rotation der einzelnen Bilder auszugleichen, sowie gegebenenfalls die Verschiebung der Außenkameras 3, 5, 7, 9 nach oben oder unten bei einem Nicken des Fahrzeuges 1 auszugleichen.
-
Durch die Kombination der beschriebenen Ausführungen wird zu einem bestimmten Zeitpunkt eine sehr genaue Ansicht der Umgebung des Fahrzeuges ermöglicht.
-
Mittels der Innenraumkamera 21 wird die Position und Ausrichtung der Augmented Reality-Brille oder Virtual Reality-Brille 23 bzw. der Augen des Fahrers in Echtzeit ermittelt. Die virtuelle Sicht aus dem Fahrzeug 1 wird daraufhin für genau diese Positionen und Ausrichtung der virtuellen Kamera 25 berechnet und in der jeweiligen Augmented Reality- oder Virtual Reality-Brille 23 angezeigt, wobei die virtuelle Kamera 25 das virtuelle Bild wiedergibt, welches die Recheneinheit 13 aufgrund der Bewegung des Fahrzeuges 1 und der Vielzahl von aufgenommenen Bildern durch die Außenkameras 3, 5, 7, 9 errechnet hat.
-
Bei der Verwendung einer Virtual Reality-Brille 23 wird typischerweise direkt die virtuelle Außenansicht dargestellt, so dass der Fahrzeuginsasse den Eindruck hat, er würde in einem transparenten Fahrzeug 1 sitzen. Dabei können die virtuellen Fahrzeugkarosserieteile, basierend auf CAD-Daten oder im Fahrzeug 1 über Bildverarbeitung erkannten Teile, überblendet werden, beispielsweise mit einem bestimmten Transparenzlevel.
-
Bei der Verwendung einer Augmented Reality-Brille kann die virtuelle Außensicht ebenfalls direkt angezeigt werden. Jedoch zeichnen sich Augmented Reality-Brillen im Gegensatz zu Virtual Reality-Brillen 23 dadurch aus, dass die Realität auch sichtbar ist und die Anzeige teiltransparent erscheint. Hierdurch ist es z. B. möglich, die virtuelle Außenansicht nur in den Bereichen anzuzeigen, in denen sich kein Fenster befindet. Dabei besteht auch die Möglichkeit, dass die Außenansicht im Bereich des Fensters nur dann ausmaskiert wird, wenn ein Fensterrollo nicht geschlossen ist oder nur in dem Bereich, den das Fensterrollo gerade nicht verdeckt.
-
Bei der Verwendung einer Augmented Reality-Brille ist es weiterhin möglich, dass die Anzeige in verschiedenen Bereichen unterschiedliche Deckgrade aufweist. Das kann beispielsweise von der Blickrichtung abhängig gemacht werden. Es kann aber auch davon abhängen, ob in eine bestimmte Blickrichtung z. B. ein anderer Fahrzeuginsasse sitzt oder sich bestimmte Gegenstände befinden, welche durch die Innenraumkamera 21 erfasst wurden. Es ist auch denkbar, dass innerhalb der virtuellen Außenansicht Objekte erkannt werden und nur diese erkannten Objekte angezeigt werden. So kann ein solches Objekt ein Fahrzeug oder ein Fußgänger sein.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 3
- Außenkamera
- 5
- Außenkamera
- 7
- Außenkamera
- 9
- Außenkamera
- 11
- Außenspiegel
- 13
- Recheneinheit
- 15
- Gyroskop
- 17
- Raddrehzahlsensor
- 19
- Neigungswinkelsensor
- 21
- Innenraumkamera
- 23
- Virtual Reality-Brille
- 25
- virtuelle Kamera
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
