DE102019101058A1

DE102019101058A1 - Verfahren zum Darstellen einer virtuellen Realität in einem Landfahrzeug sowie Landfahrzeug

Info

Publication number: DE102019101058A1
Application number: DE102019101058.6A
Authority: DE
Inventors: Timo Mugele
Original assignee: Framegrabber Medien GmbH
Current assignee: Framegrabber Medien GmbH
Priority date: 2019-01-16
Filing date: 2019-01-16
Publication date: 2020-07-16

Abstract

Die Erfindung betrifft ein Verfahren zum Darstellen einer virtuellen Realität in einem Landfahrzeug (10), mit den Schritten: (a) Aufnehmen zumindest eines Teils eines Fahrzeug-Innenraums (46) des Landfahrzeugs (10) mittels zumindest einer Kamera (44), sodass Innenraum-Bilder erhalten werden, (b) automatisch und kontinuierlich Bestimmen zumindest einer Augen-Lage von Augen eines Benutzers (38) im Fahrzeug-Innenraum (46), insbesondere durch Bestimmen einer Brillen-Lage einer VR-Brille (42), (c) Berechnen zumindest einer Objekt-Referenzposition (P) zumindest eines Innenraum-Objekts des Innenraums (46) aus den Innenraum-Bildern mittels eines Bilderkennungsverfahrens, (d) automatisch und kontinuierlich Erfassen von Bilddaten von einem Datenträger, denen eine Bilddaten-Referenzposition zugeordnet ist, und (e) automatisch und kontinuierlich Darstellen des Fahrzeug-Innenraums (46) und der Bilddaten mittels einer VR-Darstellvorrichtung (24), sodass die Bilddaten-Referenzposition der Objekt-Referenzposition (P) entspricht.

Description

Die Erfindung betrifft ein Verfahren zum Darstellen einer virtuellen Realität in einem Landfahrzeug sowie Landfahrzeug. Gemäß einem zweiten Aspekt betrifft die Erfindung ein Landfahrzeug mit (i) einem Bordrechner und (ii) einem Bord-Stromnetz.
Landfahrzeuge werden vielfältig genutzt, beispielsweise als Taxis und dienen der Fortbewegung auf dem Land. In letzter Zeit wurden Fahrzeuge entwickelt, die zumindest weitgehend autonom fahren können. Hierunter wird verstanden, dass das Landfahrzeug eine vorgegebene Strecke ganz oder teilweise ohne Eingriff des Fahrers zurücklegen kann. Insbesondere sind voll-autonome Landfahrzeuge (sogenannte Level-5-Fahrzeuge) entwickelt worden, die eine vorgegebene Fahrstrecke vollständig ohne menschlichen Eingriff zurücklegen können.
Es hat sich herausgestellt, dass vollständig autonom fahrende Landfahrzeuge von den Benutzern nur zögerlich angenommen werden. Ein Grund dafür ist, dass viele Benutzer wenig Vertrauen und dadurch eine Unfallgefahr annehmen, die tatsächlich nicht existiert.
Um die Unfallgefahr zu minimieren, sind vollständig autonom fahrende Landfahrzeuge in der Regel so programmiert, dass abrupte Beschleunigungen möglichst unwahrscheinlich sind. Das führt bei manchen Benutzern zu Langeweile. Es werden daher Unterhaltungssysteme vorgesehen, die den Benutzer während der Fahrt unterhalten. Die angebotenen Inhalte unterscheiden sich jedoch in der Regel nicht von Inhalten, die auch in einem anderen Kontext zur Verfügung stehen, beispielsweise im heimischen Wohnzimmer oder in Flugzeugen.
Der Erfindung liegt die Aufgabe zugrunde, die Akzeptanz selbstfahrender Landfahrzeuge zu verbessern.
Die Erfindung löst das Problem durch ein Verfahren mit den Schritten (a) Aufnehmen zumindest eines Teils eines Fahrzeug-Innenraums des Landfahrzeugs mittels zumindest einer Kamera, sodass Innenraum-Bilder erhalten werden, (b) automatisch und kontinuierlich Bestimmen zumindest einer Augen-Lage von Augen eines Benutzers des Landfahrzeugs im Fahrzeug-Innenraum, insbesondere durch Bestimmen einer Brillen-Lage einer VR-Brille, (c) Berechnung zumindest einer Objekt-Referenzposition zumindest eines Innenraum-Objekts des Innenraums aus den Innenraum-Bildern mittels eines Bilderkennungsverfahrens, (d) automatisch und kontinuierlich Erfassen von Bilddaten von einem Datenträger, denen eine Bilddaten-Referenzposition zugeordnet ist, und (e) automatisch und kontinuierlich Darstellen des Fahrzeug-Innenraums und der Bilddaten mittels einer VR-Darstellvorrichtung, sodass die Bilddaten-Referenzposition der Objekt-Referenzposition entspricht.
Gemäß einem zweiten Aspekt löst die Erfindung das Problem durch ein Landfahrzeug mit den Merkmalen von Anspruch 8. Die Erfindung löst das Problem zudem durch ein Landfahrzeug mit den Merkmalen von Anspruch 11.
Vorteilhaft an der Erfindung ist, dass die Bilddaten so dargestellt werden, dass ein virtuelles Objekt als im Landfahrzeug befindlich vom Benutzer wahrgenommen wird. Besonders günstig ist es, wenn die Bilddaten eine Person kodieren, wobei es sich um eine reale oder eine fiktive Person handeln kann. Insbesondere ist es möglich und stellt eine bevorzugte Ausführungsform dar, dass die Bilddaten eine Person kodieren, die das Landfahrzeug fährt. In diesem Fall hat der Benutzer des Landfahrzeugs, bei dem es sich vorzugsweise um ein autonomes Taxi handelt, den Eindruck, als würde ein Fahrer existieren. Besonders günstig ist es, wenn dieser Fahrer ein Prominenter ist. Der Benutzer des Landfahrzeugs hat dann den Eindruck, von dem Prominenten gefahren zu werden. Das gibt der Fahrt mit dem Landfahrzeug einen Unterhaltungswert, der beispielsweise über das bloße Zeigen eines Films hinausgeht.
Vorteilhaft ist zudem, dass die Bilddaten eine reelle oder fiktive Person kodieren können, die vom Benutzer als virtueller Mitfahrer wahrgenommen werden. Es besteht daher die Möglichkeit, mit einer, gegebenenfalls prominenten, Person im Landfahrzeug zu fahren. Das lenkt den Benutzer des Landfahrzeugs davon ab, dass er sich in einem autonom fahrenden Fahrzeug befindet.
Im Rahmen der vorliegenden Beschreibung wird unter dem Fahrzeug-Innenraum des Landfahrzeugs insbesondere der Raum verstanden, in dem sich der Benutzer aufhält, um vom Landfahrzeug transportiert zu werden. Das Aufnehmen zumindest eines Teils des Fahrzeug-Innenraums gemäß Schritt (a) wird vorzugsweise automatisch und kontinuierlich durchgeführt, beispielsweise mittels einer Kamera, die sich an einer VR-Brille befindet. Das ermöglicht es, wie gemäß einer bevorzugten Ausführungsform des Verfahrens vorgesehen, das aufgenommene Bild des Fahrzeug-Innenraums mittels der VR-Brille erneut darzustellen, sodass der Benutzer zumindest in guter Näherung den gleiche Eindruck vom Fahrzeug-Innenraum hat, wenn er die VR-Brille trägt.
Unter dem Bestimmen der Augen-Lage von Augen des Benutzers wird insbesondere verstanden, dass Daten erfasst werden, anhand derer bestimmt werden kann, an welcher Position, die in x-y- und z-Koordinaten ausgedrückt werden kann, sich die Augen des Benutzers befinden. Aus den Koordinaten-Sätzen der beiden Augen lässt sich zudem eine Blickrichtung ermitteln. Die Augen-Lage wird beispielsweise dadurch ermittelt, dass eine Position der VR-Brille bestimmt wird. Dies kann beispielsweise durch Triangulation und/oder zweifache Integration von Beschleunigungssignalen von Beschleunigungssensoren der VR-Brille, geschehen. Unter dem Berechnen der zumindest einen Objekt-Referenzposition wird insbesondere verstanden, dass aus den Innenraum-Bildern zumindest ein Punkt berechnet wird, der die Lage eines Objekts im Fahrzeug-Innenraum charakterisiert. Beispielsweise beschreibt die zumindest eine Objekt-Referenzposition die Lage einer Sitzfläche eines Sitzes.
Unter einem Landfahrzeug wird insbesondere ein Auto, ein Bus oder ein Taxi verstanden.
Unter dem Merkmal, dass Bilddaten erfasst werden, denen eine Bilddaten-Referenzposition zugeordnet ist, wird insbesondere verstanden, dass anhand dieser Bilddaten-Referenzposition das Objekt, das von Bilddaten kodiert wird, an einer vorgegebenen Stelle angezeigt werden kann. Kodiert beispielsweise die Bilddaten-Referenzposition die Stellung, an der eine Sitzfläche angeordnet ist, auf der eine Person sitzt, deren Bild von den Bilddaten kodiert wird, so kann durch In-Übereinstimmung-Bringen der Bilddaten-Referenzposition mit der Objekt-Referenzposition erreicht werden, dass der Benutzer den Eindruck hat, als säße die entsprechende Person auf dem Sitz.
Gemäß einer bevorzugten Ausführungsform umfasst das Verfahren die Schritte (a) Erfassen einer Sitz-Position eines Sitzes, insbesondere eines Fahrersitzes, im Fahrzeug-Innenraum, (b) Erfassen der Bilddaten in Form eines Auslesens von Filmdaten aus einem Datenspeicher, die einen Film mit einer Filmperson kodieren, und (c) Einblenden des Films auf Basis der Filmdaten, sodass die Film-Person vom Träger der VR-Brille als auf dem Sitz sitzend wahrgenommen wird.
Vorzugsweise umfasst das Verfahren die Schritte (a) kontinuierliches Aufnehmen einer Umgebung des Landfahrzeugs mit zumindest einer Außen-Kamera, sodass Umgebungsbilder erhalten werden, und (b) Ausblenden eines Teils des Fahrzeug-Innenraums und stattdessen Einblenden der Umgebungsbilder mittels der VR-Darstellvorrichtung, insbesondere der VR-Brille. Auf diese Weise erhält der Benutzer den Eindruck, als würde der ausgeblendete Teil des Fahrzeug-Innenraums nicht existieren. Beispielsweise kann der ausgeblendete Teil das Dach sein, sodass der Benutzer den Eindruck hat, in einem Cabriolet zu sitzen. Es ist zudem möglich, dass die Umgebungsbilder so eingeblendet werden, dass sie einer veränderten Sitzposition entsprechen. Beispielsweise werden die Umgebungsbilder so eingeblendet, dass der Benutzer den Eindruck hat, in einem tiefer gelegten Fahrzeug zu sitzen oder in einem höher gelegten Fahrzeug zu sitzen.
Vorzugsweise umfasst das Verfahren die kontinuierlich durchgeführten Schritte:

(a) Erfassen einer Haltung einer Person auf dem Fahrersitz des Landfahrzeugs mittels zumindest einer Kamera, (b) Berechnen von Bilddaten einer virtuellen Person mit gleicher Haltung und (c) Ausblenden der Person auf dem Fahrersitz und Darstellen der virtuellen Person anstelle der Person auf einem Fahrersitz. Es kann sich bei der virtuellen Person beispielsweise um eine fiktive Person handeln. Derartige Personen, beispielsweise eine Comic-Person, kann durch ein mathematisches Modell beschrieben werden. Derartige mathematische Modelle existieren beispielsweise zur Herstellung von voll animierten Spielfilmen.

Die Haltung der auf dem Fahrersitz sitzenden Person kann beispielsweise durch die Lage des Kopfes, die Stellung der Schultern und die Lage des Unterarms sowie der Hände mit hoher Genauigkeit beschrieben werden. Unter der Lage wird dabei stets die Angabe von drei Positionskoordinaten und drei Winkelkoordinaten verstanden.
Vorzugweise umfasst das Verfahren die Schritte (a) Erfassen einer Fahrtrichtung des Landfahrzeugs, (b) Bestimmen einer Lenkrad-Stellung, die der Fahrtrichtung entspricht, (c) Berechnen der Film-Person in einer Filmperson-Handlung, bei der eine virtuelle Hand der Filmperson an einem virtuellen Lenkrad anliegt, das die Lenkrad-Stellung hat, und Darstellung der Filmperson. Der Benutzer des Landfahrzeugs, insbesondere des selbstfahrenden Taxis, hat dann den Eindruck, die Film-Person sei der Fahrer.
Aus der Fahrtrichtung, also dem zeitlichen Verlauf der Tangenten an die Trajektorie des Landfahrzeugs, kann die Trajektorie berechnet werden. Aus der Trajektorie kann ein momentaner Krümmungskreisradius berechnet werden, aus dem sich über eine Lenkungs-Charakteristik, die die Winkelstellung des Lenkrads mit dem resultierenden Krümmungskreisradius verknüpft.
Vorzugsweise umfasst das Verfahren die Schritte (a) Erfassen eines Fahrziel des Landfahrzeug, (b) Berechnen einer Fahrzeit bis zum Fahrziel und (c) Darstellen des Films auf Basis der Filmdaten, sodass der Film an einem vorgegebenen Zeitintervall um das Ende der Fahrzeit endet. Das Berechnen der Fahrzeit ist eine strenge Funktion bekannter Satellitennavigationssysteme. Ausgegeben wird die zu erwartende Dauer der Fahrt bis zum Endpunkt. Anhand der zur Verfügung stehenden Zeit wird ein Film ausgewählt, der in der zur Verfügung stehenden Zeit gezeigt werden kann. Es ist möglich und stellt eine bevorzugte Ausführungsform dar, dass die voraussichtliche Fahrzeit in regelmäßigen Abständen neu berechnet wird. Stellt sich heraus, dass sich die Fahrzeit ändert, so wird die Filmsequenz schneller oder langsamer abgespielt, sodass der Film mit Ankunft am Ziel endet. Das hat den Vorteil, dass ein Film mit einer Verabschiedungsszene eingespielt werden kann. Das verstärkt bei dem Benutzer des Landfahrzeugs den Eindruck, von einem realen Fahrer gefahren worden zu sein.
Vorzugsweise umfasst das Verfahren die kontinuierlich durchgeführten Schrittes eines Erfassens einer Fahrzeugs-Position und des Darstellens eines Films, der zu Filmdaten gehört, die mit einer Orts-Information verknüpft sind, die von der Fahrzeug-Position höchstens um einen vorgegebenen Schwellenwert abweichen. So ist es möglich, beispielsweise frühere Ansichten des jeweiligen Ortes einzublenden, an dem sich das Fahrzeug gerade befindet. Beispielsweise kann eine Stadtrundfahrt durch eine Stadt angezeigt werden, die so nicht mehr existiert.
Es ist zudem möglich, dass anhand der Fahrzeug-Position die Position in einer virtuellen Stadt angezeigt wird. So ist es möglich, dass sich die Person durch eine rein fiktive Stadt bewegt, wobei die Beschleunigung, die der Benutzer des Landfahrzeugs erfährt, mit den Bilddaten übereinstimmt, die ihm angezeigt werden.
Vorzugsweise umfasst das Verfahren die Schritte (a) Erfassen einer Fahrzeug-Geschwindigkeit, insbesondere durch Auslesen eines Bord-Rechners, und (b) Anpassen einer virtuellen Film-Geschwindigkeit an die Fahrzeug-Geschwindigkeit. Die virtuelle Film-Geschwindigkeit ist diejenige Geschwindigkeit, die der Benutzer der VR-Darstellvorrichtung wahrnimmt. Bekannte VR-Darstellvorrichtung besitzen meist Beschleunigungssensoren und berechnen die Geschwindigkeit der VR-Darstellvorrichtung durch Integrieren der Geschwindigkeit über die Zeit. Das hat aber den Nachteil, dass numerische Fehler zu Geschwindigkeitsfehlern führen. Dadurch, dass die reale Fahrzeug-Geschwindigkeit erfasst wird, stimmt die virtuelle Film-Geschwindigkeit stets mit der Fahrzeug-Geschwindigkeit überein. Das Erfassen der Fahrzeug-Geschwindigkeit erfolgt beispielsweise durch Auslesen eines Tachometers, der Teil des Bord-Rechners sein kann.
Zur Anpassung der virtuellen bzw. Filmdarstellungen an die reale Bewegung des Landfahrzeugs, ist der VR-Rechner also beispielsweise mit einem Bordcomputer des Fahrzeugs verbunden. Über diese Verbindung werden vorzugsweise sämtliche auswertbaren Fahrzeugdaten übermittelt, wie z.B. Geschwindigkeit, Beschleunigung, Verzögerung, aber auch Fahrtrichtung, Fahrtzeit, Fahrtziel usw. Auch die Übermittlung exakter Lenkbewegungen wird vorzugsweise übermittelt. Vorzugsweise umfasst das Landfahrzeug daher einen Lenkwinkelmesser, der an der Lenkachse angeordnet sein kann. Durch die permanente Übermittlung der Daten vom Bordcomputer an den VR-Rechner ist es möglich die Filmdaten der Außendarstellung außerhalb des Landfahrzeugs und die damit verbundenen Auswirkungen auf den Innenraum, wie z.B. Lichtreflexe an die Realität anzupassen.
Die Erfindung löst das Problem zudem durch ein gattungsgemäßes Landfahrzeug, das ein VR-System aufweist, dass mit dem Brod-Stromnetz zum Versorgen mit Strom verbunden ist und einen VR-Rechnung und eine VR-Darstellvorrichtung aufweist, die mit dem Rechner verbunden ist. Der VR-Rechner ist eingerichtet zum automatischen Durchführen eines Verfahrens mit den Schritten (a) Erfassen einer Objekt-Referenzposition eines Objektes des Landfahrzeugs, insbesondere eines Sitzes, (b) kontinuierliches Erfassen von Bilddaten, denen eine Bilddaten-Referenzposition zuordenbar ist und (c) kontinuierlich Darstellen des Fahrzeug-Innenraums und der Bilddaten mittels der VR-Darstellvorrichtung, sodass die Bilddaten-Referenzposition der Objekt-Referenzposition entspricht.
Günstig ist es, wenn die VR-Darstellvorrichtung ein stereoskopischer Bildschirm, vorzugsweise ein transparenter stereoskopischer Bildschirm ist. Dieser ist vorzugsweise so angeordnet, dass ein Passagier, der auf einem Passagiersitz des Landfahrzeugs sitzt und in Fahrtrichtung blickt, auf den Bildschirm blickt. Es ist möglich, nicht aber notwendig, dass der stereoskopische Bildschirm gebogen ist. Vorzugsweise ist der zumindest eine Bildschirm so angeordnet, dass der auf dem Passagiersitz sitzende Benutzer einen virtuellen Fahrer sehen kann. Der Begriff Passagier und der Begriff Benutzer meinen im Rahmen der vorliegenden Beschreibung das Gleiche.
Die Erfindung löst das Problem zudem durch ein gattungsgemäßes Landfahrzeug, dessen VR-System mit dem Bord-Stromnetz zum Versorgen mit Strom verbunden ist und zumindest zwei Kameras, einen VR- Rechnung, der mit den zumindest zwei Kameras verbunden ist, und eine VR-Darstellvorrichtung, insbesondere eine VR-Brille, aufweist, die mit dem VR-Rechner verbunden ist, wobei das VR-System eingerichtet ist zum automatischen kontinuierlichen Durchführen eines Verfahrens mit den Schritten (a) Erfassen von Innenraum-Bilddaten zumindest eines Teils des Fahrzeug-Innenraums des Landfahrzeugs mittels der zumindest einen Kamera, sodass Innenraum-Bilder erhalten werden, (b) Berechnen zumindest einer Objekt-Referenzposition eines Objekts des Innenraums aus den Innenraum-Bildern mittels eines Bilderkennungsverfahrens, (c) Erfassen von Bilddaten, insbesondere von einem digitalen Speicher, dem eine Bilddaten-Referenzposition zugeordnet ist, und (d) kontinuierlich Darstellen des Fahrzeug-Innenraums und der Bilddaten mittels der VR-Darstellvorrichtung, sodass die Bilddaten-Referenzposition der Objekt-Referenzposition entspricht.
Insbesondere ist es bevorzugt, dass die VR-Darstellvorrichtung eine VR-Brille umfasst und die Kameras an der VR-Brille befestigt sind. Vorzugsweise sind die Kameras entlang einer optischen Achse der Augen des Benutzers der VR-Brille angeordnet, sodass das von den Kameras aufgenommene Bild direkt auf Bildschirmen der VR-Brille dargestellt wird. Der Benutzer, der diese VR-Brille aufgesetzt hat, sieht den Innenraum des Fahrzeugs, so wie er ihn sehen würde, wenn er keine VR-Brille aufhätte. In die Bilder, die von den Kameras aufgenommen werden, wird die virtuelle Person eingefügt.
Es ist möglich, dass die VR-Brille eine erste Aktivlage, mittels der auf die VR-Brille einfallendes Licht ausblendbar ist und eine zweite Aktivlage, die direkt benachbart zur ersten Aktivlage angeordnet ist und ausgebildet ist zum Einblenden von Bilddaten an den Stellen, an denen das einfallende Licht ausgeblendet ist, aufweist. Das ist insbesondere dann vorteilhaft, wenn die VR-Brille transparente Anzeigeelemente enthält. Sind die Anzeigeelemente transparent, so kann der Benutzer der VR-Brille durch diese hindurchblicken, ohne dass der Seheindruck verändert wird. Die VR-Brille verhält sich in diesem Fall ein transparentes, klares Objekt, beispielsweise wie Glas. Mittels der ersten Aktivlage ist es möglich, Teile des Sichtbereiches auszublenden und stattdessen alternative Bilder einzuspielen. Beispielsweise ist es möglich, einen Teil des Fahrzeugs auszublenden, beispielsweise das Dach, und stattdessen ein alternatives Bild einzuspielen, beispielsweise das eines Himmels.
Vorzugsweise besitzt das Landfahrzeug einen Passagiersitz für einen Benutzer des Landfahrzeugs und einen Frontabschnitt, der bezüglich einer Fahrtrichtung vor dem Passagiersitz angeordnet ist, sowie einen VR-Bildschirm, der zwischen dem Passagiersitz und dem Frontabschnitt angeordnet ist. Vorzugsweise ist auch dieser VR-Bildschirm transparent, das heißt, dass er in einen Zustand bringbar ist, in dem er wie Fensterglas wirkt. Dem Fahrer können auf diesem VR-Bildschirm Bilder angezeigt werden, eine virtuelle Film-Person. Günstig ist es, wenn das Landfahrzeug eine Vorrichtung zum Erfassen einer Position des Kopfes des Benutzers aufweist, insbesondere Kameras, mittels derer die Position von Augen erfasst werden kann. Die Erkennung von Augen aus Bildern gehört zum Stand der Technik und wird daher nicht weiter beschrieben.
Vorzugsweise handelt es sich bei dem Landfahrzeug um ein autonom fahrendes Fahrzeug, also um ein Fahrzeug, das in der Lage ist, eine vorgegebene Strecke auf öffentlichen Straßen grundsätzlich oder stets ohne Eingriff durch einen Benutzer zu fahren. Bei einem derartigen Fahrzeug ist es besonders vorteilhaft, wenn der Benutzer den Eindruck hat, es sei ein Fahrer anwesend, obwohl das de facto nicht der Fall ist.
Alternativ ist es aber nicht notwendig, dass es sich um ein autonom fahrendes Fahrzeug handelt. Es ist auch möglich, dass das Fahrzeug einen Fahrer hat, wobei es dann günstig ist, wenn die Bewegung des Fahrers, beispielsweise mittels Kameras, aufgenommen wird und eine Film-Person über die Bilddaten des Fahrers gelegt wird, sodass der Benutzer den Eindruck hat, er würde mit der Film-Person als Fahrer fahren.
Im Folgenden wird die Erfindung anhand der beigefügten Zeichnungen näher erläutert. Dabei zeigt

1 eine perspektivische Ansicht eines erfindungsgemäßen Landfahrzeugs,
2 einen Blick in den Innenraum des Landfahrzeugs gemäß 1 und
3 eine Innenansicht des Landfahrzeugs gemäß 1.

1 zeigt ein erfindungsgemäßes Landfahrzeug 10, das einen Motor 12 und Räder 14.1, 14.2., 14.3, 14.4 aufweist, die von dem Motor angetrieben werden. Bei dem Motor kann es sich um einen Verbrennungsmotor oder einen Elektromotor oder einen sonstigen Motor handeln.
Das Landfahrzeug 10 besitzt zudem einen Passagiersitz 16, auf dem Benutzer des Landfahrzeugs sitzen kann.
Das Landfahrzeug 10 besitzt einen Bord-Rechner 18, der mit einer Stromquelle 20 verbunden ist. Die Stromquelle 20 kann beispielsweise eine Batterie, eine Brennstoffzelle oder eine Lichtmaschine sein. Der Bord-Rechner 18 steuert die Funktionen des Landfahrzeugs 10, die sich auf die Fortbewegung beziehen.
Das Landfahrzeug 10 umfasst zudem einen VR-Rechner 22, der in 3 schematisch eingezeichnet ist. Der VR-Rechner 22 ist eingerichtet zum automatischen Darstellen von virtuellen und realen Objekten mittels einer VR-Darstellvorrichtung 24, die, wie in 3 gezeigt, beispielsweise einen ersten Bildschirm 26.1 und einen zweiten Bildschirm 26.2 aufweisen kann. Im vorliegenden Fall sind die Bildschirme 26.1, 26.2 transparent ausgebildet, sodass ein Benutzer 28 durch die Bildschirme 26.1, 26.2 auf ein Lenkrad 30 und einen Fahrersitz 32 blicken kann, wenn die Bildschirme 26.1, 26.2 transparent sind.
Auf dem Fahrersitz 32 kann ein Fahrer des Landfahrzeugs 10 Platz nehmen, um das Landfahrzeug 10 zu fahren. Der Bord-Rechner 18 ist mit einem Lenkwinkelsensor zum Erfassen eines Lenkwinkels, der Winkelstellung des Lenkrads 30 beschreibt, und einem Tachometer verbunden, mittels dem eine Fahrzeug-Geschwindigkeit v des Landfahrzeugs 10 gemessen wird. Der Bord-Rechner umfasst zudem ein Satellitennavigationssystem und eine Eingabekonsole zum Eingeben eines Fahrtziels.
Der VR-Rechner 22 ist mit dem Bord-Rechner 18 verbunden und empfängt Daten, die die Fahrzeug-Geschwindigkeit v und den Lenkwinkel. Vorzugsweise werden zudem die Beschleunigung, die Verzögerung, die Fahrtrichtung, die voraussichtliche Fahrtzeit und/oder das Fahrtziel an den VR-Rechner 22 übermittelt.
Es ist aber auch möglich, dass das Landfahrzeug 10 als autonom fahrendes Fahrzeug ausgebildet ist. Dazu besitzt es, wie in 1 dargestellt, Sensoren 34.1, 34.2, mittels derer eine Umgebung des Landfahrzeugs 10 erfasst wird. Bei den Sensoren 34.i (i = 1, 2, ...) kann es sich beispielsweise um einen Lidar-Sensor, einen Ultraschall-Sensor und/einen Radar-Sensor handeln. Zudem kann zumindest einer der Sensoren 34.i als Kamera ausgebildet sein. Selbstfahrende Autos gehören zum Stand der Technik.
3 zeigt schematisch einen Speicher 36, beispielsweise einen Halbleiterspeicher. Auf dem Speicher 36 sind Filmdaten gespeichert, die einen Film mit einer Film-Person kodieren. Bei dieser Film-Person kann es sich um eine reale oder fiktive Person handeln. Bei der realen Person kann es sich um eine lebende oder eine nicht mehr lebende Person handeln. Der VR-Rechner ist ausgebildet zum automatischen Auslesen der Filmdaten und zum Einblenden des Films, sodass die dargestellte Film-Person vom Benutzer als auf dem Fahrersitz 32 sitzend wahrgenommen wird.
3 zeigt zudem eine weitre Ausführungsform der Erfindung, bei der der Benutzer 28 eine VR-Darstellvorrichtung in Form einer VR-Brille 42 trägt. Die VR-Brille besitzt zwei Kameras 44.1, 44.2, mit denen ein Innenraum 46 des Landfahrzeugs 10 aufgenommen werden kann. Die VR-Brille 42 ist, per Kabel oder drahtlos, mit dem VR-Rechner 22 verbunden. Die von den Kameras 44.1, 44.2 aufgenommenen Bilder werden an den VR-Rechner 22 übermittelt und dort mit den Filmdaten kombiniert, sodass der Benutzer 28 den Eindruck hat, die Film-Person 38 würde sich in dem Landfahrzeug 10 befinden.
Der VR-Rechner 22 erfasst die Innenraum-Bilder, die von den Kameras 44.1, 44.2 aufgenommen werden und mittelt daraus zumindest eine Objekt-Referenzposition P. Bei der Objekt-Referenzposition handelt es sich um eine charakteristische Struktur des Fahrzeug-Innenraums 46. In dem in 3 gezeigten Beispiel handelt es sich um eine Außenkontur des Fahrersitzes 32.
Die virtuelle Film-Person 38, die gestrichelt eingezeichnet ist, wird so dargestellt, dass eine Bilddaten-Referenzposition der Objekt-Referenzposition entspricht. Im vorliegenden Fall handelt e sich bei der Bilddaten-Referenzposition um diejenige Ebene, die sie entlang eines Rückens der Film-Person 38 erstreckt. Dadurch, dass diese Bilddaten-Referenzposition der Objekt-Referenzposition entspricht, wird sichergestellt, dass die Film-Person 38 als auf dem Fahrersitz 32 sitzend wahrgenommen wird.
Bei der Objekt-Referenzposition P kann es sich auch um eine Oberseite des Passagiersitzes 16 handeln. In diesem Fall erscheint die Film-Person 38 als auf dem Passagiersitz 16 sitzend, sodass der Benutzer 28 den Eindruck hat, mit der Film-Person gemeinsam im Landfahrzeug 10 zu sitzen.
Um eine perspektivisch korrekte Darstellung zu erreichen, wird die Augen-Lage von Augen des Benutzers 28 ermittelt, im vorliegenden Fall geschieht das dadurch, dass die Position der VR-Brille 42 ermittelt wird. Das kann durch zweifaches Integrieren von Beschleunigungssignalen von Beschleunigungssensoren in der VR-Brille 42 geschehen. Alternativ oder zusätzlich kann dies durch Triangulationsmessung erfolgen.
1 zeigt, dass das Landfahrzeug 10 eine Mehrzahl von Außenkameras 48.1, 48.2, ... aufweisen kann, die kontinuierlich die Umgebung des Landfahrzeugs 10 aufnehmen. Die von den Kameras aufgenommen Bilder werden mittels künstlicher Intelligenz auf Basis eines neuronalen Netzwerks in solche Bilder umgerechnet, die von einer Kamera oder den Augen des Benutzers 28 am jeweiligen Ort der Augen des Benutzers 28 wahrgenommen wird. Die Bilder werden mittels der VR-Brille 42 dargestellt, sofern sich der entsprechende Bildabschnitt oberhalb einer Begrenzungslinie, die beispielsweise durch eine gedachte Struktur einer Oberkante eines Cabriolets gebildet ist. Der Benutzer hat dann den Eindruck, in einem Cabriolet zu sitzen.
Das neuronale Netzwerk wird dadurch trainiert, dass ein zweites 10' verwendet wird, bei dem das Dach entfernt ist und die Kameras sich an den gleichen Stellen befinden. Zielgröße für das neuronale Netzwerk ist eine minimale Abweichung zwischen dem berechneten Bild und dem von den Kameras 44.1, 44.2 aufgenommenen Bild.
Anhand von 2 wird ein weiteres erfindungsgemäßes Verfahren unter Verwendung eines erfindungsgemäßen Fahrzeugs beschrieben. Ein realer Fahrer 48 sitzt auf dem Fahrersitz 32. Der Fahrer 48 trägt Kleidung, an der eine Mehrzahl an Markierungen 50.1, 50.2, ... angebracht sind. Mittels schematisch eingezeichneter Kameras 52.1, 52.2 werden die Markierungen 50.j (j = 1, 2, ...) erfasst. Anhand dieser Markierungen wird die Haltung einer virtuellen Film-Person 38 berechnet. Das Berechnen von Bildern einer virtuellen Film-Person aus solchen Markierungen gehört zum Stand der Technik und wird daher nicht weiter erläutert.
Mittels der VR-Darstellvorrichtung 24 kann dem Benutzer gemäß einer bevorzugten Ausführungsform der Erfindung eine virtuelle Landschaft angezeigt werden, die sich mit einer Film-Geschwindigkeit relativ zum Benutzer 28 bewegt. Der VR-Rechner 22 erfasst die tatsächliche Fahrzeug-Geschwindigkeit v und berechnet die Bewegung der virtuellen Landschaft so, dass die wahrgenommene Film-Geschwindigkeit der Fahrzeug-Geschwindigkeit entspricht.
Bezugszeichenliste

10: Landfahrzeug
12: Motor
14: Rad
16: Passagiersitz
18: Bord-Rechnung
20: Stromquelle
22: VR-Rechner
24: VR-Darstellvorrichtung
26: Bildschirm
28: Benutzer
30: Lenkrad
32: Fahrersitz
34: Sensor
36: Speicher
38: Film-Person
40: Frontscheibe
42: VR-Brille
44: Kamera
46: Innenraum
48: Fahrer
50: Markierung
52: Kamera
54: Lenkwinkelsensor
F: Fahrtrichtung
P: Objekt-Referenzposition
W: Handposition

Claims

Verfahren zum Darstellen einer virtuellen Realität in einem Landfahrzeug (10), mit den Schritten: (a) Aufnehmen zumindest eines Teils eines Fahrzeug-Innenraums (46) des Landfahrzeugs (10) mittels zumindest einer Kamera (44), sodass Innenraum-Bilder erhalten werden, (b) automatisch und kontinuierlich Bestimmen zumindest einer Augen-Lage von Augen eines Benutzers (38) im Fahrzeug-Innenraum (46), insbesondere durch Bestimmen einer Brillen-Lage einer VR-Brille (42), (c) Berechnen zumindest einer Objekt-Referenzposition (P) zumindest eines Innenraum-Objekts des Innenraums (46) aus den Innenraum-Bildern mittels eines Bilderkennungsverfahrens, (d) automatisch und kontinuierlich Erfassen von Bilddaten von einem Datenträger, denen eine Bilddaten-Referenzposition zugeordnet ist, und (e) automatisch und kontinuierlich Darstellen des Fahrzeug-Innenraums (46) und der Bilddaten mittels einer VR-Darstellvorrichtung (24), sodass die Bilddaten-Referenzposition der Objekt-Referenzposition (P) entspricht.
Verfahren nach Anspruch 1, gekennzeichnet durch die Schritte: (a) Erfassen einer Sitz-Position eines Sitzes, insbesondere eines Fahrersitzes (32) oder eines Passagiersitzes (16), im Fahrzeug-Innenraum (46), (b) Erfassen der Bilddaten in Form eines Auslesens von Filmdaten aus einem Datenspeicher, die einen Film mit einer Film-Person (38) kodieren, und (c) Einblenden des Films auf Basis der Filmdaten, sodass die Film-Person (38) vom Träger der VR-Brille (42) als auf dem Sitz sitzend wahrgenommen wird.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die kontinuierlich durchgeführten Schritte: (a) Erfassen einer Haltung einer Person auf einem Fahrersitz (32) des Landfahrzeugs (10), (b) Berechnen von Bilddaten einer virtuellen Person mit gleicher Haltung und (c) Ausblenden der Person auf dem Fahrersitz (32) und Darstellen der virtuellen Person anstelle der Person auf einem Fahrersitz (32).
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die Schritte: (a) Erfassen einer Fahrtrichtung des Landfahrzeugs (10), (b) Bestimmen einer Lenkrad-Stellung, die der Fahrtrichtung entspricht, (c) Berechnen der Film-Person (38) in einer Filmpersonen-Haltung, bei der eine virtuelle Hand der Film-Person an einem virtuellen Lenkrad anliegt, das die Lenkrad-Stellung hat, und (d) Darstellen der Film-Person (38).
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die Schritte: (a) Erfassen eines Fahrziels des Landfahrzeugs (10), (b) Berechnen einer Fahrtzeit bis zum Fahrtziel und (c) Darstellen des Films auf Basis der Filmdaten, sodass der Film in einem vorgegebenen Zeitintervall um das Ende der Fahrtzeit endet.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die automatisch kontinuierlich durchgeführten Schritte: (a) Erfassen einer Fahrzeug-Position und (b) Darstellen eines Films, der zu Filmdaten gehört, die mit einer Orts-Information verknüpft sind, die von der Fahrzeug-Position höchstens um einen vorgegebenen Schwellenwert abweichen.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch die automatisch kontinuierlich durchgeführten Schritte: (a) Erfassen einer Fahrzeug-Geschwindigkeit, insbesondere durch Auslesen eines Bord-Rechners (18), und (b) Anpassen einer virtuellen Film-Geschwindigkeit an die Fahrzeug-Geschwindigkeit.
Landfahrzeug (10) mit (i) einem Bord-Rechner (18) und (ii) einem Bord-Stromnetz, gekennzeichnet durch (iii) ein VR-System, das - mit dem Bord-Stromnetz zum Versorgen mit Strom verbunden ist und - einen VR-Rechner (22) und - eine VR-Darstellvorrichtung (24), die mit dem VR-Rechner (22) verbunden ist, aufweist, (iv) wobei der VR-Rechner (22) eingerichtet ist zum automatischen Durchführen eines Verfahrens mit den Schritten: (a) Erfassen einer Objekt-Referenzposition (P) eines Objekts des Landfahrzeugs (10), insbesondere eines Sitzes, (b) kontinuierlich Erfassen von Bilddaten, denen eine Bilddaten-Referenzposition zuordenbar ist, und (c) kontinuierlich Darstellen des Fahrzeug-Innenraums (46) und der Bilddaten mittels der VR-Darstellvorrichtung (24), sodass die Bilddaten-Referenzposition der Objekt-Referenzposition (P) entspricht.
Landfahrzeug (10) nach Anspruch 8, dadurch gekennzeichnet, dass das VR-System eingerichtet ist zum automatischen Durchführen eines Verfahrens mit den Schritten: (a) Erfassen einer Fahrtrichtung (F) des Landfahrzeugs (10), (b) Bestimmen einer Lenkrad-Stellung, die der Fahrtrichtung (F) entspricht, (c) Berechnen der Film-Person in einer Filmpersonen-Haltung, bei der eine virtuelle Hand der Film-Person (38) an einem virtuellen Lenkrad (30) anliegt, das die Lenkrad-Stellung hat, und (d) Darstellen der Film-Person (38) auf der VR-Darstellvorrichtung (24).
Landfahrzeug (10) nach dem Oberbegriff von Anspruch 8, dadurch gekennzeichnet, dass (a) die VR-Darstellvorrichtung zumindest einen autostereoskopischen Bildschirm (26) umfasst, (b) wobei das Landfahrzeug (10) zumindest einen Passagiersitz (16) aufweist, der so ausgerichtet ist, dass ein auf dem Passagiersitz (16) sitzender Benutzer(28) in eine Fahrtrichtung des Landfahrzeugs (10) blickt und (c) wobei der autostereoskopische Bildschirm in Fahrtrichtung vor dem Passagiersitz (16) angeordnet ist.
Landfahrzeug (10) mit (i) einem Bord-Rechner (18) und (ii) einem Bord-Stromnetz, gekennzeichnet durch (iii) ein VR-System, das - mit dem Bord-Stromnetz zum Versorgen mit Strom verbunden ist und - zumindest zwei Kameras (44.1, 44.2), - einen VR-Rechner (22) , der mit den zumindest zwei Kameras (44.1, 44.2) verbunden ist, - eine VR-Darstellvorrichtung (24), insbesondere einer VR-Brille (42), die mit dem VR-Rechner (22) verbunden ist, aufweist und das - eingerichtet ist zum automatischen kontinuierlichen Durchführen eines Verfahrens mit den Schritten: (a) Erfassen von Innenraum-Bilddaten zumindest eines Teils eines Fahrzeug-Innenraums (46) des Landfahrzeugs (10) mittels der zumindest einen Kamera (44), sodass Innenraum-Bilder erhalten werden, (b) Berechnen zumindest einer Objekt-Referenzposition (P) eines Objekts des Innenraums (46) aus den Innenraum-Bildern mittels eines Bilderkennungsverfahrens, (c) kontinuierlich Erfassen von Bilddaten, insbesondere von einem digitalen Speicher, denen eine Bilddaten-Referenzposition zugeordnet ist, und (d) kontinuierlich Darstellen des Fahrzeug-Innenraums (46) und der Bilddaten mittels der VR-Darstellvorrichtung (24), sodass die Bilddaten-Referenzposition der Objekt-Referenzposition (P) entspricht.
Landfahrzeug (10) nach Anspruch 11, dadurch gekennzeichnet, dass (i) die VR-Darstellvorrichtung (24) eine VR-Brille (42) umfasst und (ii) die Kameras (44) an der VR-Brille (42) befestigt sind.
Landfahrzeug (10) nach Anspruch 8 oder 12, dadurch gekennzeichnet, dass die VR-Brille (42) (i) eine erste Aktivlage, mittels der auf die VR-Brille einfallendes Licht ausblendbar ist, und (ii) eine zweite Aktivlage, die direkt benachbart zur ersten Aktivlage angeordnet ist und ausgebildet ist zum Einblenden von Bilddaten an den Stellen, an denen das einfallende Licht ausgeblendet ist, aufweist.
Landfahrzeug (10) nach einem der vorstehenden Ansprüche 8 bis 13, gekennzeichnet durch (i) einen Passagiersitz (16) für einen Benutzer (28) des Landfahrzeugs (10), (ii) einen Frontabschnitt, der bezüglich einer Fahrtrichtung vor dem Passagiersitz (16) angeordnet ist, und (iii) einen VR-Bildschirm (26), der zwischen dem Passagiersitz (16) und dem Frontabschnitt angeordnet ist.
Landfahrzeug (10) nach einem der vorstehenden Ansprüche 8 bis 12, dadurch gekennzeichnet, dass es ein autonom fahrendes (fahrerloses) Fahrzeug ist.