DE102021117453B3

DE102021117453B3 - Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug während einer Fahrt, entsprechend betreibbare Datenbrille, Prozessorschaltung sowie Kraftfahrzeug

Info

Publication number: DE102021117453B3
Application number: DE102021117453.8A
Authority: DE
Inventors: Gerrit Lochmann
Original assignee: Holoride GmbH
Current assignee: Holoride GmbH
Priority date: 2021-07-06
Filing date: 2021-07-06
Publication date: 2022-10-20
Anticipated expiration: 2041-07-07
Also published as: GB202401325D0; GB2623041A; WO2023280919A1; CN117916706A; US20240328810A1; WO2023280919A9

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Datenbrille (17) in einem Kraftfahrzeug (10) während einer Fahrt durch eine reale Außenumgebung (11), wobei Einzelbilder oder Frames einer Ansicht (21) einer virtuellen Umgebung (20) nacheinander neu gerendert werden, damit die virtuelle Umgebung (20) mit der realen Außenumgebung (11) deckungsgleich gehalten wird, indem durch Verschieben und/oder Drehen der Ansicht (21) der virtuellen Umgebung (20) eine durch eine Kopfbewegung und/oder eine Fahrtbewegung verursachte Änderung einer Brillenpose (19) kompensiert wird. Die Erfindung sieht vor, dass Pixel des jeweiligen Frames (40) in zumindest zwei unterschiedlichen Kontextebenen gerendert werden und der jeweilige Frame aus den Pixeln der Kontextebenen danach zusammengesetzt wird, wobei in jeder der Kontextebenen die Pixel unterschiedlicher der virtuellen Objekte (22) dargestellt sind und beim Neurendern (38) der Frames (40) für das Verschieben und/oder Drehen der Ansicht (21) in zumindest zwei der Kontextebenen unterschiedliche Posensignale (36, 37) zugrunde gelegt werden.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Datenbrille (HMD - head mounted device) in einem Kraftfahrzeug während das Kraftfahrzeug eine Fahrt durch eine reale Außenumgebung durchführt. Mittels der Datenbrille wird einem Benutzer eine Ansicht einer virtuellen Umgebung in das Sichtfeld eingeblendet. Dies kann als virtuelle Realität (VR - virtual reality) oder als augmentierte Realität (AR - augmented reality) erfolgen. Die virtuelle Umgebung wird dabei kontaktanalog zur realen Außenumgebung gehalten, d.h. ein Koordinatensystem der virtuellen Umgebung wird mit einem Koordinatensystem der realen Außenumgebung deckungsgleich gehalten und/oder diesem nachgeführt, indem in den nacheinander mit einer vorgegebenen Framerate neu berechneten Frames der Ansicht eine Bewegung der Datenbrille bezüglich der realen Außenumgebung kompensiert wird.
Virtual-Reality Headsets stellen virtuelle Szenen einer Umgebung dar, indem auf zwei in die Datenbrille integrierte Bildschirme Einzelbilder oder Frames einer virtuellen 3D-Szenen für beide Augen in Echtzeit gerendert werden, während die Ansicht oder Perspektive durch die in die Datenbrille integrierte Sensorik (z. B. eine IMU - inertial measurement unit) bestimmt und die resultierende Brillenpose (Brillenposition und/oder Brillenausrichtung) auf die virtuelle Renderkamera übertragen wird. Dies hält die Koordinatensysteme der virtuellen Umgebung und der realen Außenumgebung deckungsgleich und/oder zumindest führt es das Koordinatensystem der virtuellen Welt dem Koordinatensystem der realen Außenumgebung nach.
Wenn dabei die zeitliche Auflösung (Framerate) der gerenderten Bilder oder Frames unter die physikalische zeitliche Auflösung (Display-Refreshrate) fällt oder die Latenz zwischen Posenmessung und Renderergebnis zunimmt - etwa durch eine zu hohe Komplexität der grafischen Berechnungen - vergrößert sich bei einer Kopfbewegung die Disparität zwischen der aktuellen Brillenpose und der Brillenpose zum Zeitpunkt des Renderbeginns des jeweiligen Frames, die als Grundlage des verspätet angezeigten Bildes diente. Dieser Effekt ist insofern nachteilig, als einzelne virtuelle Objekte der virtuellen Umgebung sich ruckelnd bewegen (was ein Beispiel für Renderartefakte ist) und daher insbesondere granulare Strukturen, wie z.B. Text, in der virtuellen Umgebung von Benutzer nur mit großer Sehanstrengung mit dem Blick verfolgt werden können.
Um die Disparität zu korrigieren und eine schnellstmögliche Antwortzeit zu gewährleisten, kann in bekannter Weise z. B. in einem parallelen Renderthread eine sogenannte asynchrone Reprojektion von Zwischenbildern oder Zwischenframes auf Grundlage der aktuellsten gemessenen Kopfpose erzeugt werden, was je nach Ausgestaltung als Asynchronous Timewarp (ATW) oder Asynchronous Spacewarp (ASW) oder Positional Spacewarp (PSW) bezeichnet wird. Diese Korrektur in Zwischenframes erhöht die Qualität eines VR-Erlebnisses, und macht sich aber insbesondere bei schnellen Kopfbewegungen durch undefinierte (z.B. schwarz dargestellte) Randbereiche in der Peripherie der Ansicht auf die virtuelle Umgebung bemerkbar. Darüber hinaus wird die Pixelverschiebung beim Warp (z.B. mittels homographischer Reprojektion) auf das gesamte Bild / den gesamten Frame (d. h. im Global-Space des Hintergrundpanoramas oder der Globalebene) ohne Berücksichtigung des Kontextes der dargestellten virtuellen Objekte angewendet. Diese Annahme liefert in bestimmten Situationen falsche Ergebnisse: Anstatt Renderartefakte zu reduzieren, werden infolgedessen inverse Renderartefakte induziert. Insbesondere virtuelle Objekte, die im Sichtfeld des Benutzers fixiert sein sollen (z. B. bei einem HUD - Head-Up-Display) oder eingeblendeter Text beginnen hin und her zu zucken, obwohl sie lediglich an die selbe Stelle gerendert und mit dem Kopf mitbewegt werden müssten. Dies ist ein weiteres Beispiel für Renderartefakte.
In State-of-the-Art Anwendungen erhält der VR-Programmierer neuerdings die Möglichkeit, in der 3D-Szene eine separate Kontextebene als Fixed-Space zu bestimmen, auf den die homographische Reprojektion nicht angewendet wird und der nach der Korrektur der übrigen Szeneninhalte in einem Final-Compositing-Schritt unverändert übergeblendet wird.
Komplexere Zusammenhänge ergeben sich aber beim Rendern und bei der homographischen Reprojektion, wenn die Datenbrille in einem fahrenden Kraftfahrzeug benutzt wird. Hier muss z.B. eine Kopfdrehung des Benutzers von einer Kurvenfahrt des Kraftfahrzeugs unterschieden werden, um eine korrekte Ansicht der virtuellen Umgebung zu rendern oder zu berechnen, obwohl beide Bewegungen eine Drehung der Datenbrille bezüglich einer Außenumgebung des Kraftfahrzeugs darstellen, können sich aus der Perspektive des Benutzers (d. h. in der gerenderten Ansicht der virtuellen Umgebung) unterschiedliche Renderartefakte ergeben. Diese können z. B. die Reisekrankheit (Kinetose) beim Benutzer verursacht, insbesondere wenn der Benutzer Informationen, z.B. Zahlen oder Text, in der virtuellen Umgebung betrachtet, d. h. wenn der Benutzer allgemein auf granulare Strukturen oder Texturen betrachtet.
In der US 10 223 835 B2 ist ein Warping am Beispiel eines HUD beschrieben.
In der US 2017 / 0251176 A1 ist eine Variante der Erzeugung von Zwischenframes für den Fall beschrieben, dass aufgrund einer großen Übertragungslatenz eine Framerate zu gering ist.
Der Erfindung liegt die Aufgabe zugrunde, eine Sehanstrengung eines Benutzers einer Datenbrille Renderartefakte insbesondere beim visuellen Verfolgen einer granulären Struktur oder Textur, wie z. B. Text, während einer Fahrt in einem Kraftfahrzeug gering zu halten.
Ein Aspekt der Erfindung umfasst ein Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug während das Kraftfahrzeug eine Fahrt durch eine reale Außenumgebung durchführt. Eine Prozessorschaltung blendet über die Datenbrille eine Ansicht einer virtuellen Umgebung mit darin enthaltenen virtuellen Objekten in ein Sichtfeld eines Benutzers ein, der die Datenbrille zu diesem Zweck trägt. Dabei wird in nacheinander neu berechneten oder gerenderten Einzelbildern oder Frames der Ansicht ein Koordinatensystem der virtuellen Umgebung mit einem Koordinatensystem der realen Außenumgebung deckungsgleich gehalten und/oder diesem nachgeführt. Die Neuberechnung / das Neu-Rendern erfolgt mit einer vorgegebenen Framerate, die sich unter anderem aus der verfügbaren Rechenleistung und der Komplexität der Ansicht (Anzahl und Detailreichtum der Objekte) ergeben kann. In der Ansicht der virtuellen Umgebung, wie sie dem Benutzer in der Datenbrille gezeigt wird, drehen sich also stillstehende virtuelle Objekte nicht mit dem Kopf des Benutzers mit, sondern sie behalten ihre Position im Raum bei, insbesondere in Bezug auf die reale Außenumgebung. Dies wird auch als kontaktanaloge Anzeige bezeichnet. Eine andere Beschreibung ist, dass der Norden der virtuellen Umgebung nach Norden der realen Außenumgebung ausgerichtet bleibt. Dreht der Benutzer den Kopf sehr schnell, so wird zumindest diese Ausrichtung in mehreren aufeinanderfolgenden Frames nachgeführt, bis die Koordinatensysteme wieder deckungsgleich sind. Durch diese Ausrichtung bewegt sich der Benutzer in der virtuellen Umgebung so, wie sich die Datenbrille in der realen Umgebung bewegt. Dies kann für sechs Dimensionen erfolgen (drei translatorische Bewegungsrichtungen x, y, z und drei rotatorische Bewegungen durch Drehung um die Raumachsen x, y, z) oder nur in drei Dimensionen (die drei besagten Drehrichtungen um die drei Raumachsen). Aus Sicht des Benutzers wird also die Kamerapose der Renderkamera in der virtuellen Umgebung in derselben Weise ausgerichtet, wie es für die Brillenpose der Datenbrille in der realen Außenumgebung gemessen wird. Eine Bewegung der Datenbrille entspricht dann einer Bewegung der Renderkamera, was dann die gerenderte Ansicht auf die virtuelle Umgebung festlegt.
Dies wird bewirkt, indem durch Verschieben und/oder Drehen der Ansicht der virtuellen Umgebung eine durch eine Kopfbewegung des Benutzers und/oder eine Fahrtbewegung des Kraftfahrzeugs in der realen Außenumgebung verursachte Änderung einer Brillenpose der Datenbrille bezüglich der realen Außenumgebung gegenläufig nachgebildet wird. Dreht sich der Benutzer mit dem Kopf beispielsweise nach rechts und verschwenkt somit die Datenbrille nach rechts, so wird in der Ansicht entsprechend das zumindest eine virtuelle Objekt der virtuellen Umgebung um den entsprechenden Raumwinkel nach links bewegt oder gedreht, wodurch es aus der Sicht des Benutzers unabhängig von der Bewegung der Datenbrille oder der Änderung der Brillenpose der Datenbrille im Raum zu verharren scheint. Die Änderung der Brillenpose kann gemessen werden, indem die aktuelle räumliche Ausrichtung (Ausrichtungsvektor oder Blickrichtungsvektor) zyklisch gemessen wird und/oder eine translatorische und/oder rotatorische Bewegungsdynamik (Geschwindigkeit und/oder Beschleunigung) gemessen wird. Die Messung kann jeweils zumindest mittels eines Sensors für Positionsmarker und/oder eines Bewegungssensors und/oder Beschleunigungssensors (IMU) erfolgen.
Durch zumindest ein daraus resultierendes Posensignal ergibt sich eine Sollpose für die Ansicht in der virtuellen Umgebung, d. h. diejenige Sollpose, die die Renderkamera in der virtuellen Umgebung einnehmen soll. Wird durch ein Posensignal dagegen die Fahrzeugpose signalisiert, so ergibt sich in der virtuellen Umgebung hieraus eine Sollpose einer virtuellen Repräsentation des Kraftfahrzeugs. Durch das zumindest eine Posensignal ist also beschrieben, welche aktuelle Brillenpose die Datenbrille in Bezug auf einen Innenraum des Kraftfahrzeugs und/oder in Bezug auf die Außenumgebung aufweist und/oder welche Fahrzeugpose das Kraftfahrzeug in Bezug auf die Außenumgebung und/oder in Bezug auf die Datenbrille aufweist. Das jeweilige Posensignal kann z.B. eine Winkelangabe (z.B. eine Winkellage um zumindest eine Raumachse) und/oder einen Richtungsvektor und/oder eine Himmelsrichtung und/oder eine Winkelgeschwindigkeit und/oder eine Winkelbeschleunigung und/oder eine Positionskoordinate bezüglich des jeweiligen Koordinatensystems angeben, um nur Beispiele zu nennen. Das Verschieben und/oder Drehen der Ansicht erfolgt als Funktion dieses zumindest einen Posensignals, das die durch die Kopfbewegung und/oder die Fahrtbewegung resultierende neue Brillenpose und/oder Fahrzeugpose beschreibt.
Um Renderartefakte zu verringern, hat es sich als vorteilhaft herausgestellt, wenn Pixel des jeweiligen Frames in zumindest zwei unterschiedlichen Kontextebenen gerendert oder berechnet werden und der jeweilige Frame aus den Pixeln der Kontextebenen danach zusammengesetzt wird, wobei in jeder der Kontextebenen die Pixel unterschiedlicher virtueller Objekte dargestellt sind und beim Neuberechnen oder Neurendern der Frames für das Verschieben und/oder Drehen der Ansicht in zumindest zwei der Kontextebenen unterschiedliche Posensignale zugrunde gelegt werden. Zu beachten ist, dass die beschriebene „Pixelverschiebung“ eine lineare Verschiebung von Pixeln oder eine nicht-geradlinige Verschiebung, d. h. eine Verzerrung und/oder eine Dehnung / Stauchung darstellen kann. Dies ist allgemein als Pixel-Warping bekannt. Die Pixel können jeweils als Pixeldaten oder Bilddaten, d. h. als Farbwerte und/oder Helligkeitswerte, in einem jeweiligen Datenspeicher oder Grafikpuffer der jeweiligen Kontextebene gespeichert gehalten werden. Die Pixel zweier Kontextebenen können beispielsweise durch so genanntes Alpha-Blending zusammengesetzt werden, was auch als Compositing bezeichnet wird. Die Pixelinformationen oder Bildinformationen einzelner oder getrennter virtueller Objekte sind also in unterschiedlichen Kontextebenen bereitgestellt und für jede Kontextebene und damit für jedes darin dargestellte virtuelle Objekt kann somit das Anpassen der Ansicht dieses virtuellen Objekts in Abhängigkeit von einer Änderung der Brillenpose und/oder der Fahrzeugpose getrennt erfolgen. Diejenigen Bereiche einer Kontextebene, in denen das virtuelle Objekt nicht zu sehen ist, können als „transparent“ markiert sein, wie es vom Alpha-Blending bekannt ist, so dass in einem solchen Bereich ein virtuelles Objekt aus einer anderen Kontextebene beim Zusammensetzen oder Compositing des Frames sichtbar wird. Die Kontextebenen können auch dahingehend gekennzeichnet sein, welche Kontextebene sich aus Sicht des Benutzers über welcher anderen Kontextebene liegt, sich also in der Ansicht näher am Benutzer befindet als eine andere Kontextebene, wodurch eine Überlagerung virtueller Objekte entsprechend der Perspektive des Benutzers korrekt dargestellt werden kann.
Durch die Erfindung ergibt sich der Vorteil, dass für einzelne virtuelle Objekte ein individuelles oder angepasstes Posensignal zugrunde gelegt werden kann. Hierdurch kann ein virtuelles Objekt, dessen Objektpose (Position und/oder räumliche Ausrichtung) in der virtuellen Umgebung deckungsgleich oder entsprechend einer Pose eines realen Objekts gehalten werden soll, durch ein Posensignal dieses realen Objekts gesteuert werden. Repräsentiert ein virtuelles Objekt beispielsweise das Kraftfahrzeug, so kann dessen virtuelle Objektpose in der virtuellen Umgebung durch das Posensignal für die Fahrzeugpose ausgerichtet werden. Es hat sich herausgestellt, dass dies beim Rendern von Frames während einer Änderung der Brillenpose die Renderartefakte in vorteilhafter Weise reduziert.
Die Erfindung umfasst auch Weiterbildungen mit Merkmalen, durch die sich zusätzliche Vorteile ergeben.
Bisher wurde das Rendering der Frames beschrieben, also das tatsächliche Neuberechnen der Ansicht der virtuellen Welt, d. h. das Neuberechnen der Einzelansichten der virtuellen Objekte in Abhängigkeit von der aktuellen Brillenpose. Wie bereits eingangs beschrieben, kann aber bei einer zu geringen Framerate zusätzlich die homographische Reprojektion angewendet werden. Auch hier hat es sich als vorteilhaft erwiesen, die homographische Reprojektion separat auf die unterschiedlichen virtuellen Objekte einzeln individuell getrennt in den jeweiligen Kontextebenen anzuwenden. Eine Weiterbildung umfasst daher, dass nach dem Anzeigen des jeweils aktuell berechneten oder gerenderten Frames und bevor der nächste Frame fertig berechnet oder gerendert ist, mittels einer homographischen Reprojektion zumindest ein Zwischenframe der Ansicht erzeugt und angezeigt wird, welcher durch eine Pixelverschiebung von die virtuellen Objekte darstellenden Pixeln des aktuellen Frames in der jeweiligen Kontextebene erzeugt wird. Eine Verschiebeweite der Pixelverschiebung wird hierbei individuell für die jeweilige Kontextebene in Abhängigkeit von dem darin verwendeten oder berücksichtigten oder zugeordneten zumindest einen Posensignal getrennt durchgeführt. Damit weist die Pixelverschiebung jeweils eine andere Verschiebeweite auf. Der jeweilige Zwischenframe wird dann aus den verschobenen Pixeln der Kontextebenen zusammengesetzt. Somit wird auch für die homographische Reprojektion für jede Kontextebene ein individuelles Posensignal zugrunde gelegt. Zu beachten ist, dass zwei oder mehrere Kontextebenen zusätzlich auch ein gemeinsames Posensignal nutzen können. Es wird aber davon ausgegangen, dass sich bei den unterschiedlichen Kontextebenen zumindest ein Posensignal unterscheidet, in dem dieses Posensignal in einer Kontextebene verwendet wird, in einer anderen Kontextebene aber ignoriert wird. Durch die Anwendung der homographischen Reprojektion getrennt auf die einzelnen Kontextebenen ergibt sich der Vorteil, dass eine Aktualisierung der Ansicht der virtuellen Welt mit einer höheren Rate erfolgen kann als die Framerate, wie sie durch die gerenderten Frames verfügbar ist. Dennoch können durch Verwendung der Kontextebenen die beschriebenen Renderartefakte vermieden oder zumindest verringert werden.
Das jeweilige Posensignal kann mittels eines Positionssensors oder Bewegungssensors oder Beschleunigungssensors ermittelt werden, beispielsweise eines Sensors für eine Geoposition (beispielsweise eines Empfängers für ein Positionssignal eines GNSS - Global Navigation Satellite System, wie beispielsweise des GPS - Global Positioning System) und/oder eines Geschwindigkeitssensors und/oder eines Beschleunigungssensors (beispielsweise der besagten IMU). Weiter Beispiele sind der Kompass und das Magnetometer, mittels welchen jeweils die absolute Rotation im Raum zu messen, und ein kamerabasiertes optisches Trackingsystem, das in einem HMD verbaut sein kann. Das jeweilige Posensignal kann auch aus mehrere Positionssensoren mittels einer Sensorfusion generiert werden (z.B. durch eine Mittelwertberechnung von Sensorsignalen). Die durch das Posensignal signalisierte Änderung der jeweiligen Pose beispielsweise der Datenbrille und/oder des Kraftfahrzeugs, kann eine translatorische und/oder rotatorische Änderung sein, d. h. eine Bewegung in eine Raumrichtung und/oder eine Rotation .
Eine Weiterbildung umfasst, dass in einer der Kontextebenen ein absolutes Posensignal, das die Brillenpose bezüglich der Außenumgebung beschreibt, angewendet wird und damit eine umgebungsgekoppelte Globalebene bereitgestellt wird und in einer anderen der Kontextebenen ein Posensignal, das eine Fahrzeugpose des Kraftfahrzeugs bezüglich der Außenumgebung beschreibt, angewendet wird und damit eine Cockpitebene bereitgestellt wird, in welcher als virtuelles Objekt ein Cockpit (z. B. Sitze, Armaturen, Steuerelemente) und/oder eine Karosserie (z. B. A-Säule, Motorhaube, Seitenspiegel) einer virtuellen Repräsentation eines Innenraums des Kraftfahrzeugs und/oder einem Avatar des Benutzers bereitgestellt wird. Die Globalebene stellt somit den eingangs beschriebenen Global-Space dar, also ein Hintergrundpanorama oder denjenigen Teil der virtuellen Umgebung, der bezüglich der realen Außenumgebung stillsteht oder starr angeordnet ist (Norden des Global-Space entspricht Norden in der realen Außenumgebung). Zusätzlich kann die Cockpitebene angezeigt werden, d. h. der Benutzer sieht eine Innenansicht eines Cockpits der virtuellen Repräsentation des Kraftfahrzeugs. Zu beachten ist, dass diese virtuelle Repräsentation das Aussehen des Innenraums des Kraftfahrzeugs nachbilden kann oder ein anderes, eigenständiges Aussehen haben kann, beispielsweise das Aussehen einer Brücke eines Schiffs oder eines Cockpits eines Flugzeugs oder eines Raumschiffs. Die Objektpose dieses virtuellen Objekts in der Cockpitebene kann somit deckungsgleich mit der Fahrzeugpose gehalten werden, während ein virtuelles Objekt in der Globalebene unbewegt bezüglich der Außenumgebung gehalten werden kann. Diese Unterscheidung zwischen Globalebene und Cockpitebene hat sich für den Fall, dass in der Ansicht der virtuellen Umgebung auch ein virtuelles Cockpit dargestellt wird, das dem Innenraum des Kraftfahrzeugs entsprechen soll, als besonders vorteilhaft zur Reduktion von Renderartefakten erwiesen. Beide Kontextebenen werden bezüglich dem Benutzer verschoben, aber auf der Grundlage unterschiedlicher Posensignale.
Eine Weiterbildung umfasst, dass in einer der Kontextebenen ein gedrosseltes Posensignal, das eine bezüglich der Änderung der Brillenpose der Datenbrille dynamikbegrenzte Änderung der Brillenpose angibt, angewendet wird und damit eine dynamikbegrenzte Kontextebene bereitgestellt ist. Die dynamikbegrenzte Kontextebene ist mit der Cockpitebene gekoppelt. In der dynamikbegrenzten Kontextebene wird ein gedrosseltes Posensignal, das eine bezüglich der tatsächlichen Änderung der Brillenpose dynamikbegrenzte Änderung der Brillenpose angibt, angewendet. Ein virtuelles Objekt in der dynamikbegrenzten Kontextebene wird also langsamer bewegt oder verschwenkt, als es gemäß der Änderung der Brillenpose korrekt wäre. Ein virtuelles Objekt in der dynamikbegrenzten Kontextebene wird also nachgezogen oder es wird dem virtuellen Objekt eine Trägheit zugeordnet, durch welche es zu einer Begrenzung einer maximalen Änderungsgeschwindigkeit einer Positionsänderung des virtuellen Objekts in der dynamikbegrenzten Kontextebene kommt. Die Kopplung mit der Cockpitebene ergibt sich dadurch, dass es sich um ein Objekt handelt, das in der Cockpitebene dargestellt werden sollte, und lediglich für die Begrenzung der Dynamik in die Dynamik begrenzte Kontextebene übertragen ist. Es kann sich beispielsweise um eine Schrift handeln, die auf einer Anzeige in dem virtuellen Innenraum des Kraftfahrzeugs angezeigt wird. Um Die Dynamikbegrenzung in der dynamikbegrenzten Kontextebene zu erreichen, wird für die dynamikbegrenzten Kontextebene ein gedrosseltes Posensignal künstlich generiert oder vorgetäuscht, bei welchem eine Änderungsgeschwindigkeit und/oder Drehgeschwindigkeit oder Winkelgeschwindigkeit auf eine maximale Geschwindigkeit und/oder maximale Drehrate begrenzt ist. Dies kann durch Anwenden eines Tiefpassfilters auf das Posensignal der Cockpitebene selbst erreicht werden. Ein in der dynamikbegrenzten Kontextebene dargestelltes virtuelles Objekt scheint sich aus Sicht des Benutzers durch eine zähe Flüssigkeit oder ein zähes Fluid zu bewegen oder es scheint der Kopfbewegung nachzuschwenken. Als Konsequenz daraus verrutscht ein virtuelles Objekt in der dynamikbegrenzten Kontextebene temporär oder vorübergehend in Bezug auf andere, umgebende virtuelle Objekte aus der Cockpitebene. Wird beispielsweise ein Text auf einer Anzeige eines virtuellen Cockpits (z.B. eines virtuellen Kombiinstruments) in der dynamikbegrenzten Kontextebene gerendert (nur der Text, während die umgebende Anzeigerahmen des Cockpits in einer Cockpitebene selbst dargestellt ist), so kann der Text vorübergehend aus dem Rahmen der Anzeige herausbewegt sein oder verrutscht, weil sich der Rahmen beispielsweise gemäß der Änderungsgeschwindigkeit des virtuellen Cockpits in der Cockpitebene bewegt, während der Text sich in der dynamikbegrenzten Kontextebene verlangsamt oder gedrosselt, d. h. dynamikbegrenzt, bewegt und seine finale Sollpose innerhalb des Rahmens der Anzeige mit einem Zeitversatz erreicht. Dies hat sich als besonders vorteilhaft erwiesen, um Reisekrankheit oder Sehanstrengung beim Betrachten von virtuellen Objekten erwiesen. Es geht daher bewusst um eine neuartige, dem Cockpit-Space nachschwenkende Bewegung im Global-Space oder in der dynamikbegrenzten Kontextebene, unabhängig von der Brillenpose, weil diese nachschwenkende Bewegung auch durch eine Kurvenfahrt oder allgemein einer Bewegung des Kraftfahrzeugs in Bezug auf seine Umgebung durchgeführt werden kann, selbst wenn der Benutzer dabei den Kopf (bezüglich des Kraftfahrzeugs) stillhält.
Um aber nach einer Änderung der Brillenpose durch eine Kopfbewegung des Benutzers ein virtuelles Objekt in der dynamikbegrenzten Kontextebene schließlich wieder an seine bestimmungsgemäße oder korrekte Position bezüglich der Cockpitebene anzuordnen (z.B. in dem beschriebenen Rahmen einer Anzeige), muss die final einzunehmende Sollpose des virtuellen Objekts bezüglich der virtuellen Umgebung bereitgehalten gehalten werden, bis diese finale Sollposition durch das virtuelle Objekt in der dynamikbegrenzten Kontextebene eingenommen oder erreicht ist. Eine Weiterbildung umfasst hierzu, dass eine aktuelle Sollpose des virtuellen Objekts, auf die sich das virtuelle Objekt zubewegen soll, in der dynamikbegrenzten Kontextebene jeweils aus dem aktuellen Signalwert des Posensignals der Cockpitebene ausgelesen wird oder diesem entspricht. Das Verschieben und/oder Drehen in der dynamikbegrenzten Kontextebene wird also solange durchgeführt bis die Istpose des virtuellen Objekts in der dynamikbegrenzten Ebene die Sollpose erreicht, wobei hierzu das gedrosselte Posensignal eine betragsmäßige begrenzte Änderungsgeschwindigkeit der Objektpose des virtuellen Objekts in der dynamikbegrenzten Kontextebene auf einen vorbestimmten Maximalwert, der größer als Null ist, insbesondere durch eine betragsmäßige Begrenzung auf eine maximale Drehrate, vorgibt.
Das gedrosselte Posensignal gibt eine betragsmäßig begrenzte Änderungsgeschwindigkeit der Objektpose des virtuellen Objekts in der dynamikbegrenzten Kontextebene auf einen vorbestimmten Maximalwert, der größer als Null ist, insbesondere durch eine betragsmäßige Begrenzung auf eine maximale Drehrate, vor. Die Änderungsgeschwindigkeit bezieht sich hier auf eine translatorische und/oder rotatorische Geschwindigkeit, mit welcher das virtuelle Objekt seine Objektpose in der Darstellung in der dynamikbegrenzten Kontextebene in der virtuellen Umgebung oder bezüglich des Kopfes des Benutzers ändert. Diese Geschwindigkeit ist jeweils auf einen Maximalwert begrenzt, der aber größer als null ist, d. h. es handelt sich nicht um ein fest an der Perspektive des Benutzers haftendes virtuelles Objekt. Durch das Anwenden einer Begrenzung oder eines Limiters kann also die Änderungsgeschwindigkeit der Objektpose bei einer langsamen Änderung der Brillenpose (z. B. langsames Drehen des Kopfes des Benutzers) ohne Verzögerung oder entsprechend dieser Geschwindigkeit des Kopfes seine Objektpose ändern und nur bei Überschreiten des Maximalwerts bleibt das virtuelle Objekt mit seiner Istpose hinter der einzunehmenden Sollpose temporär oder vorübergehend hinterher. Dies wird auch als Gummiband-Effekt oder Rubberband-Effect bezeichnet. Das Verschieben und/oder Drehen der Objektpose in der dynamikbegrenzten Kontextebene wird aber so lange weitergeführt, selbst wenn die Datenbrille nach einer Bewegung des Benutzers wieder stillsteht, bis das virtuelle Objekt in der dynamikbegrenzten Kontextebene seine korrekte Sollpose erreicht hat.
Der beschriebene Gummiband-Effekt, also die Dynamikbegrenzung, wird bevorzugt ausschließlich beim Rendern der Frames und nicht für die homographische Reprojektion genutzt. Insbesondere ist er also für die homographische Reprojektion inaktiv.
Eine Weiterbildung umfasst, dass der Maximalwert als Funktion eines aktuellen Werts der Framerate eingestellt wird. Somit kann in Abhängigkeit von der aktuell verfügbaren Framerate, also dem aktuellen Wert der Framerate, der Gummiband-Effekt geschaltet werden. Zusätzlich oder alternativ dazu kann der Maximalwert auch zwischen unterschiedlichen Werten kontinuierlich oder stufenweise in mindestens zwei oder drei oder vier unterschiedlichen Stufen eingestellt werden. Hierzu können Versuche mit Testpersonen durchgeführt werden, um eine Anpassung an den aktuellen Wert der Framerate dahingehend anzupassen, dass die Sehanstrengung und/oder die Minderung von Reisekrankheit bei Personen erreicht wird.
Eine Weiterbildung umfasst, dass in der dynamikbegrenzten Kontextebene das virtuelle Objekt eine granulare Struktur oder Textur ist, die einen Text und/oder eine Werteanzeige und/oder ein Bedienmenü dargestellt. Allgemein kann als granulare Struktur oder Textur verstanden werden, dass es sich um Bildteile handelt, die eine Information an den Benutzer vermitteln sollen, also beispielsweise Worte und/oder Zahlen und/oder Werte. Eine Werteanzeige kann beispielsweise hierzu einen Zeiger und/oder eine Digitalanzeige umfassen, wie es beispielsweise als Tachometer in einem virtuellen Cockpit vorgesehen sein kann.
Um in den unterschiedlichen Kontextebenen das Neurendern der Frames und/oder die homographische Reprojektion zu steuern, werden in der beschriebenen Weise Posensignale oder zumindest ein Posensignal pro Kontextebene verwendet.
Eine Weiterbildung umfasst, dass zumindest eines der Posensignale als Funktion eines jeweiligen Sensorsignals zumindest eines Bewegungssensors der Datenbrille und/oder eines der Posensignale als Funktion eines jeweiligen Sensorsignals zumindest eines Bewegungssensors des Kraftfahrzeugs erzeugt wird. In einer Datenbrille kann als Bewegungssensor beispielsweise die beschriebene IMU und/oder eine kamerabasierte Beobachtung von Orientierungspunkten (Positionsmarker) im Innenraum des Kraftfahrzeugs verwendet werden (so genanntes Inside-out-Tracking). Das Posensignal kann die aktuelle Brillenpose signalisieren, während das zugrundeliegende Sensorsignal beispielsweise eine Geoposition und/oder Relativposition zum Innenraum des Kraftfahrzeugs und/oder eine Bewegungsgeschwindigkeit und/oder eine Beschleunigung signalisieren kann, wobei die Geschwindigkeit und die Beschleunigung translatorisch und/oder eine translatorische Geschwindigkeit und/oder eine Rotationsgeschwindigkeit sein kann. Es kann also ein 6D-DOF- oder ein 3D-DOF-Tracking (DOF - Degrees of Freedom) vorgesehen sein. Bei einem Sensorsignal eines Bewegungssensors des Kraftfahrzeugs kann es sich beispielsweise um ein CAN-Bus-Signal handeln (CAN - controller area network).
Ein Posensignal kann ein zusammengesetztes Signal sein, das als Funktion von mehr als einem Sensorsignal, das also als Kombination zumindest zweier Sensorsignale berechnet wird, beispielsweise als Differenz eines Sensorsignals eines Bewegungssensors der Datenbrille und eines Sensorsignals eines Bewegungssensors des Kraftfahrzeugs, wodurch dieses Posensignal dann die Relativpose (Relativposition und/oder relative Ausrichtung bezüglich beispielsweise der Fahrzeuglängsachse) in Bezug auf das Kraftfahrzeug signalisieren kann. Eine Weiterbildung umfasst entsprechend, dass in zumindest einer Kontextebene die Verschiebungsweite der Pixelverschiebung als Funktion einer Differenz aus einem Sensorsignal eines Bewegungssensors des Kraftfahrzeugs und eines Sensorsignals eines Bewegungssensors der Datenbrille berechnet oder gerendert wird.
Eine Weiterbildung umfasst, dass die Verschiebungsweite der Pixelverschiebung in einer Kontextebene als Funktion eines Trackingsignals eines in dem Kraftfahrzeug betriebenen Headtrackers der Datenbrille berechnet wird. Hierdurch kann das so genannte Outside-in-Tracking angewendet werden, das heißt die Relativpose der Datenbrille bezüglich des Kraftfahrzeugs kann von außerhalb der Datenbrille durch den im Kraftfahrzeug betriebenen und die Relativpose der Datenbrille beobachtenden Headtracker ermittelt werden. Hierdurch ist insbesondere in vorteilhafter Weise das 6D-Tracking (also auch Relativposition der Datenbrille bezüglich des Kraftfahrzeugs) möglich, was insbesondere ohne störenden Einfluss der bewegten Außenumgebung, wie sie durch Fensterscheiben des Kraftfahrzeugs sichtbar ist, erfolgen kann.
Eine Weiterbildung umfasst, dass in zumindest einer Kontextebene die Verschiebungsweite der Pixelverschiebung als Funktion eines Sensorsignals eines Gierratensensors des Kraftfahrzeugs, welcher eine Gierrate des Kraftfahrzeugs bezüglich der Außenumgebung signalisiert, erzeugt wird. Hierdurch kann insbesondere die beschriebene Cockpitebene realisiert werden, so dass Sendeartefakte für virtuelle Objekte eines virtuellen Cockpits reduziert werden können.
Ein weiterer Aspekt der Erfindung umfasst eine Prozessorschaltung zum Betreiben einer Datenbrille, wobei die Prozessorschaltung eine Datenschnittstelle zum Empfangen eines jeweiligen Sensorsignals zumindest eines Bewegungssensors aufweist und wobei die Prozessorschaltung dazu eingerichtet ist, aus dem zumindest einen empfangen Sensorsignal zumindest ein Posensignal, das eine durch eine Kopfbewegung eines die Datenbrillen tragenden Benutzers und/oder durch eine Fahrtbewegung eines Kraftfahrzeugs resultierende neue Brillenpose und/oder Fahrzeugpose beschreibt, zu berechnen und eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
Die Prozessorschaltung stellt eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung dar. Sie kann dazu eingerichtet sein, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) und/oder zumindest einen ASIC (Application Specific Integrated Circuit) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
Die Prozessorschaltung kann beispielsweise zumindest zu einem Teil oder gemäß einem Aspekt der Erfindung vollständig in dem Kraftfahrzeug fest verbaut sein. Zusätzlich oder alternativ dazu kann die Prozessorschaltung in einem portablen Benutzergerät, Bestückungsplatzes einem Smartphone oder einem Tablet-PC und/oder einer Smartwatch ganz oder teilweise bereitgestellt sein. Bei teilweise Bereitstellung handelt es sich dann entsprechend um eine verteilte Prozessorschaltung, die in mehr als einem Gerät, beispielsweise teilweise im Kraftfahrzeug und teilweise im Benutzergerät und/oder teilweise in der Datenbrille, angeordnet sein kann. Der jeweilige Bewegungssensor, von dem die Prozessorschaltung das jeweilige Sensorsignal empfängt, kann in die Prozessorschaltung integriert oder an die Prozessorschaltung angeschlossen sein und/oder zumindest ein Bewegungssensor kann in einer separaten portablen Messeinheit angeordnet sein, die beispielsweise im Innenraum des Kraftfahrzeugs angeordnet oder abgelegt werden kann. Zumindest ein Bewegungssensor kann in dem Kraftfahrzeug eingebaut sein. Die Datenschnittstelle kann dann entsprechend vom Fachmann angepasst oder ausgelegt werden, um das jeweilige Sensorsignal zu empfangen. Die Übertragung des Sensorsignals von einer portablen Messeinheit und/oder von dem Kraftfahrzeug zur Prozessorschaltung kann insbesondere funkbasiert oder kabellos erfolgen. Es kann aber auch ein Übertragungskabel vorgesehen sein. Die Prozessorschaltung kann für den Fall, dass sie außerhalb der Datenbrille bereitgestellt ist oder diejenigen Teile der Prozessorschaltung, die außerhalb der Datenbrille bereitgestellt sind, können mit der Datenbrille über eine kabellose Funkverbindung (beispielsweise WiFi und/oder Bluetooth) kommunizieren. Auch die Datenschnittstelle kann auf Basis von WiFi und/oder Bluetooth oder USB realisiert sein.
Ein weiterer Aspekt der Erfindung umfasst eine Datenbrille mit einer Ausführungsform der Prozessorschaltung. Bei dieser Ausgestaltung ist also die Prozessorschaltung in die Datenbrille integriert. Dies ergibt eine besonders kompakte und damit komfortable Ausgestaltung, da der Benutzer die Prozessorschaltung zusammen mit der Datenbrille am Kopf tragen kann.
Ein weiterer Aspekt der Erfindung umfasst ein Kraftfahrzeug mit einer zumindest einen Bewegungssensor aufweisenden Sensorschaltung zum Erzeugen zumindest eines Sensorsignals, das einen Zeitverlauf einer Fahrzeugposition und/oder einer Geschwindigkeit und/oder einer Beschleunigung des Kraftfahrzeug bezüglich einer Außenumgebung des Kraftfahrzeugs signalisiert, wobei das Kraftfahrzeug eines Sendeschaltung aufweist, die dazu eingerichtet ist, das zumindest eine Sensorsignal an eine Ausführungsform der Prozessorschaltung auszusenden. In dem Kraftfahrzeug ist also zumindest ein Bewegungssensor integriert, dessen zumindest eines Sensorsignals genutzt werden kann, um für die virtuelle Umgebung ein Posensignal für eine Fahrzeugpose des Kraftfahrzeugs bereitzustellen.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs mit einer Ausführungsform der erfindungsgemäßen Prozessorschaltung;
2 eine Skizze zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
3 eine Skizze zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens bei Erzeugung des Gummiband-Effekts bei einer Kopfbewegung;
4 eine Skizze zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens bei Erzeugung des Gummiband-Effekts bei einer Kurvenfahrt ohne Kopfbewegung.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. Das Kraftfahrzeug 10 kann in einer Außenumgebung 11, beispielsweise auf einer Straße 12 fahren. Die Außenumgebung 11 ist beispielhaft durch ein Umgebungselement 13 repräsentiert, das hier als Baum dargestellt ist. Während der Fahrt ändert das Kraftfahrzeug 10 durch eine Fahrtbewegung oder Fahrzeugbewegung 14 seine Fahrzeugpose 15, also seine Position in der Außenumgebung 11 und/oder seine räumliche Orientierung oder Ausrichtung in der Außenumgebung 11.
In dem Kraftfahrzeug 10 kann sich während der Fahrt ein Benutzer 16 aufhalten und eine Datenbrille 17 am Kopf tragen und benutzen, um eine virtuelle Umgebung zu betrachten. Durch eine Körperhaltung des Benutzers 16 in einem Innenraum 18 des Kraftfahrzeugs 10 ergibt sich für die Datenbrille 17 einen Brillenpose 19, also eine Position der Datenbrille 17 im Innenraum 18 und damit auch absolut in Bezug auf die Außenumgebung 11 und/oder eine räumliche Orientierung oder Ausrichtung der Datenbrille 17.
In der virtuellen Umgebung 20 kann eine Ansicht 21 beispielsweise als ein mögliches virtuelles Objekt 22 ein Cockpit einer virtuellen Repräsentation des Innenraums 18 des Kraftfahrzeugs 10 zeigen. Als weiteres virtuelles Objekt 23 kann beispielsweise ein Hintergrundpanorama 24 dargestellt werden, das als virtuelle Hintergrundelemente 25 beispielsweise einen Baum und ein Einhorn aufweisen kann. Das Einhorn soll den virtuellen Charakter der Darstellung repräsentieren. Der Baum als virtuelles Hintergrundelement 25 kann den realen Baum also ein reales Umgebungselement 13 repräsentieren und kann somit in der virtuellen Umgebung an derselben Position dargestellt und gehalten werden die der Position des realen Umgebungselement 13 in der realen Außenumgebung 11 entspricht.
In an sich bekannter Weise kann hierzu für die Ansicht 21 der virtuellen Umgebung 20 ein Koordinatensystem 26 der virtuellen Umgebung 20 an einem Koordinatensystem 27 der realen Außenumgebung 11 ausgerichtet oder mit diesem deckungsgleich gehalten oder an dieses angenähert oder nachgeführt werden. Hierzu muss eine jeweilige Posenänderung 29 der Brillenpose 19 der Datenbrille 17 gegensinnig in der Ansicht 21 nachgeführt werden, damit beispielsweise das virtuelle Objekt 23 im Hintergrundpanorama 24 aus der Sicht des Benutzers 16 starr oder stillstehend bezüglich der Außenumgebung 11 erscheint.
Zu diesem Zweck kann eine Prozessorschaltung 30 über eine Datenschnittstelle 31 aus einem Bewegungssensor 32 der Datenbrille 17 ein Sensorsignal 33 und aus einem Bewegungssensor 34 des Kraftfahrzeugs 10 oder einer portablen, im Kraftfahrzeug angeordneten Messeinheit ein Sensorsignal 35 empfangen. Es kann sich jeweils um ein Sensorsignal 33, 35, das eine Position und/oder Geschwindigkeit und/oder Drehrate oder Drehgeschwindigkeit des jeweiligen Bewegungssensors 32, 34 handeln. Aus den Sensorsignalen 33, 35 kann durch die Prozessorschaltung 30 in an sich bekannter Weise ein Posensignal 36 der Brillenpose 19 und ein Posensignal 37 der Fahrzeugpose 15 berechnet werden. Da sich Brillenpose 19 und die Fahrzeugpose 15 mit der Zeit ändern, ergibt sich ein Zeitsignal als jeweiliges Posensignal 36, 37. In der Prozessorschaltung 30 kann in Abhängigkeit von den Posensignalen 36, 37 durch Rendern 38 die Ansicht 21 auf die virtuelle Umgebung 20 durch neu gerenderte Frames-Einzelbilder oder Frames 40 aktualisiert werden. Die Frames 40 werden dabei in zeitlichen Abständen neu gerendert oder berechnet, was eine Framerate bei der Aktualisierung der Frames 40 in der Datenbrille 17 ergibt. Um Renderartefakte zu vermeiden, kann zusätzlich vorgesehen sein, durch eine homographische Reprojektion HR Zwischenframes 41 in der beschriebenen Weise zu berechnen.
2 veranschaulicht, wie bei einer Posenänderung 29 der Brillenpose 19 der Datenbrille 17 die Ansicht 21 angepasst werden kann und hierzu das Posensignal 36 der Brillenpose 19 und das Posensignal 37 der Fahrzeugpose 15 verwendet werden kann.
2 veranschaulicht auf der linken Seite eine Vogelperspektive auf das Kraftfahrzeug 10 in der realen Außenumgebung 11. In dem dargestellten Beispiel ist angenommen, dass das Kraftfahrzeug 10 aktuell eine Kurvenfahrt K durchführt, wodurch sich für das Kraftfahrzeug 10 und damit für seine Fahrzeugpose 15 eine Gierrate B bezüglich der Außenumgebung 11 ergibt. In dem Innenraum 18 des Kraftfahrzeugs 10 kann der Benutzer 16 währenddessen die Posenänderung 29 der Datenbrille 17 durch Drehen seines Kopfes H bewirken, an welchem er die Datenbrille 17 trägt. Hierdurch ergibt sich bezüglich des Innenraums 18 des Kraftfahrzeugs 10 für die Datenbrille 17 eine Winkelgeschwindigkeit oder Drehgeschwindigkeit A. Zu beachten ist, dass die Drehgeschwindigkeit bei der Posenänderung 29 der Datenbrille 17 bezüglich der Außenumgebung 11 somit die Summe aus der Drehgeschwindigkeit A und der Gierrate B ist, also A + B. Entsprechend ändert sich die Brillenpose 19 und es ergibt sich eine Posenänderung 42 der Datenbrille 17 sowohl bezüglich des Kraftfahrzeugs als auch der Außenumgebung.
In 2 auf der rechten Seite ist die mittels der Datenbrille 17 ins Sichtfeld des Benutzers eingeblendete Ansicht 21 auf die virtuelle Umgebung 20 dargestellt. Als ein virtuelles Objekt 22 ist das virtuelle Cockpit dargestellt und als virtuelles Objekt 23 das Hintergrundpanorama 24 mit den Hintergrundelementen 25. Zumindest für das Berechnen der Zwischenframes 41, bevorzugt aber allgemein auch für das Rendern neuer Frames 40, kann auf Grundlage oder als Funktion der Posensignale 36, 37 für das virtuelle Objekt 22 eine Posenänderung 43 berechnet werden, die im Falle der homographischen Reprojektion eine Pixelverschiebung 44 sein kann und/oder bei der Neuberechnung oder dem Neurendern der Frames 40 eine Posenänderung 43 durch Neuberechnen der jeweiligen Objektpose erfolgen kann.
Ein virtuelles Objekt 23 im Hintergrundpanorama 24, also ein bezüglich der Außenumgebung 11 stillstehendes virtuelles Objekt, wird bei den Zwischenframes 41 mit einer Pixelverschiebung 46 verändert dargestellt, die in dem dargestellten Beispiel größer ist als die Pixelverschiebung 44. Denn für das virtuelle Objekt 23 im Hintergrundpanorama 24 gilt eine Drehrate bezüglich der Datenbrille 17 aus der Summe A + B im dargestellten Beispiel, während für die Pixelverschiebung 44 des Cockpits bezüglich des Benutzers nur die Winkelgeschwindigkeit A der Datenbrille 17 bezüglich des Innenraums 18 zugrunde zu legen ist. Für das Neurendern beziehungsweise die Pixelverschiebung 44 kann dies anhand der Posensignale 36, 37 unterschieden werden.
Um insbesondere die korrekte Pixelverschiebungen 44, 46 getrennt voneinander anwenden zu können, kann vorgesehen sein, die Ansicht 20 in unterschiedlichen Kontextebenen 50 zu rendern, wobei beispielsweise das virtuelle Objekt 23 des Hintergrundpanoramas 24 in einer Hintergrundebene oder Globalebene 51 gerendert werden kann, also die Pixel des virtuellen Objekts 23 in einem Grafikspeicher der Globalebene 51 berechnet oder erzeugt werden können, insbesondere für die Pixelverschiebung 46. In einer Kontextebene für das virtuelle Cockpit, der Cockpitebene 50, kann das entsprechende oder zugehörige virtuelle Objekt 22 in einer Cockpitebene 52 beim Rendern 38 und/oder bei der Pixelverschiebung 44 erzeugt werden. Durch ein Zusammenfügen oder Compositing, d. h. durch ein Überlagern der Pixel der Cockpitebene 50 kann bei dem Compositing 53 die aktuelle Ansicht 21 der virtuellen Umgebung 20 bereitgestellt werden, d. h. es können hier die Frames 40 und/oder die Zwischenframes 41 durch das Compositing 53 erzeugt werden.
3 veranschaulicht, wie für die Cockpitebene 50 und eine damit assoziierte oder gekoppelte dynamikreduzierte Kontextebene 60 ein zusammengesetztes virtuelles Objekt mit einem Anzeigerahmen 61 als virtuelles Objekt der Cockpitebene 50 und einem darin dargestellten Anzeigeinhalt 62 als virtuelles Objekt der dynamikreduzierten Kontextebene 60. 3 anschaulich dies am Beispiel eines Anzeigerahmens 61 einer Uhr und eines Anzeigeinhalt 62 in Form eines analogen Ziffernblattes 63. Durch eine Kopfbewegung des Benutzers kann sich eine Posenänderung 64 für die Objekte in den beiden Ebenen, der Cockpitebene 50 und der dynamikreduzierten Kontextebene 60 ergeben. Ein Posensignal 65 kann ausgehend von einer Startpose 66 eine neue Sollpose 67 für alle Objekte der beiden Kontextebenen 50, 60 vorgeben. Die Cockpitebene 50 kann hierbei vorsehen, dass direkt dem Posensignal 65 gefolgt wird und somit der Anzeigerahmen 61 als virtuelles Objekt der Cockpitebene 50 auf die neue Sollpose 67 gesetzt oder gestellt oder positioniert wird, sodass der Anzeigerahmen 61 mit der Dynamik der Kopfbewegung folgt und somit den jeweiligen Signalwert des Posensignal 65 als Vorgabe für die Sollposition 67 und das dortige Positionieren einnimmt.
Die dynamikreduzierte Kontextebene 60 sieht dagegen vor, durch die Posenänderung 64 vorgegebene neue Sollpose 67 in mehreren Zwischenschritten, d.h. über mehrere Frames hinweg mit einer reduzierten Änderungsgeschwindigkeit 68 anzustreben oder sich darauf zuzubewegen. 3 veranschaulicht dies durch mehrere dargestellte Zwischenschritte 69, die jeweils für beispielsweise die Dauer von einem Rahmen oder einem Frame lang angezeigt werden können. Das dargestellte Ziffernblatt 63 bewegt sich somit schrittweise zu der finalen Sollpose 67 in dem Anzeigerahmen 61 hin. Zwischenzeitlich erscheint es dem Benutzer aber so, als sei der Anzeigeinhalt 62 (im Beispiel in Form des Ziffernblattes 63) bezüglich des Anzeigerahmens 61 bezüglich des Anzeigerahmens 61 verschoben (aufgrund der unterschiedlichen Änderungsgeschwindigkeit der Positionen der Objekte 61, 63). Das hierfür künstlich generierte dynamikreduzierte Posensignal 65' kann beispielsweise aus dem Posensignal 65 der Cockpitebene 50 mittels eines Tiefpassfilters 70 erzeugt werden.
4 veranschaulicht in einer alternativen Darstellung, wie während einer Fahrt auf der Straße 12 in einer Kurve 70 dem Benutzer 16 auch ohne Bewegung seines Kopfes in Relation zum Kraftfahrzeug der Gummiband-Effekt dabei hilft, ein virtuelles Objekt in der dynamikreduzierten Kontextebene 60 zu betrachten, indem während einer Fahrt des Kraftfahrzeugs durch die Kurve 70 ein virtuelles Objekt in der dynamikreduzierten Kontextebene 60 mit einer Änderungsgeschwindigkeit 68 bewegt wird, die geringer ist als die Winkelgeschwindigkeit B (siehe 2), die sich bei der Fahrt durch die Kurve 70 ergibt. Erst nach der Kurve 70, bei weiterer Geradeausfahrt nimmt dann die Cockpitebene 60, bzw. das darin enthaltene virtuelle Objekt, die sich dann bei der Geradeausfahrt ergebende Sollpose 67 final oder schließlich an. Der Gummiband-Effekt kann also auch bei fehlender Kopfbewegung oder stillgehaltenem Kopf bereitgestellt werden, nämlich bei einer Drehung oder Gierbewegung des Kraftfahrzeugs in der Umgebung.
Um also das dargestellte Bild einer Ansicht schneller aktualisieren zu können, kann man zwischendrin (bis der neue Frame berechnet ist) den alten Frame pixelweise auf dem Bildschirm nach links verschieben (Pixel-Shift), was jeweils einen Zwischenframe ergibt. D.h. bei einer Drehung um den Winkel α nach rechts ergeben sich soundsoviel Pixel nach links (2). Diese Technik wird als ATW bezeichnet: https://en.wikipedia.org/wiki/Asynchronous_reprojection. Dies ist in der Regel eine Hardware-Lösung, weil nichts berechnet werden soll, sondern möglichst schnell im Grafik-Speicher der Dateninhalt pixelweise nach rechts oder links verschoben wird, um einen geshifteten alten Frame oder ATW-Frame zu erhalten.
VR im Kraftfahrzeug, z.B. Auto, mit der speziellen Darstellung, dass man auch in der VR-Darstellung in einem virtuellen Cockpit (virtuelles Auto) sitzt und durch die Fensterscheiben des Cockpits nach draußen in eine virtuelle Umgebung einer VR-Welt blickt, lässt sich ATW nicht so einfach durch einen Pixel-Shift lösen. Grund dafür ist, dass bei einer Kurvenfahrt des realen Autos schon das reale Auto selbst eine Drehung bezüglich der realen Umgebung ausführt, nämlich mit der Gierrate B. Zusätzlich kann nun im realen Auto der Benutzer dann seinen Kopf zusätzlich um den Winkel A bzgl. des realen Autos drehen.
In der VR-Perspektive sieht der Benutzer sein virtuelles Cockpit und durch die Fensterscheiben hindurch die virtuelle Umgebung. Das virtuelle Cockpit dreht sich dabei bezüglich des Benutzers nur mit der Winkelgeschwindigkeit A (denn der Benutzer sitzt ja still im Auto und nur sein Kopf dreht sich). Der virtuelle Hintergrund der virtuellen Umgebung dreht sich dagegen mit der Winkelgeschwindigkeit A plus die Gierrate B, weil der Benutzer zusätzlich in seinem realen Kraftfahrzeug mit der Gierrate B in der realen Umgebung gedreht wird.
Möchte man nun den Pixel-Shift oder ATW anwenden, also den alten Frame auf die Schnelle pixelweise auf dem Bildschirm verschieben, bis der nächste neuberechnete Frame zur Verfügung steht, ist man nun in der Lage, getrennt festzulegen, um wie viele Pixel der alte Frame z.B. nach links geschoben werden soll, wenn der Benutzer den Kopf im realen Kraftfahrzeug mit der Winkelgeschwindigkeit A um einen gemessenen Winkel z.B. nach rechts dreht.
In der In-Car-VR Anwendung existiert hierzu eine weitere Kontextebene, die mit der Pose des Autos transformiert wird: Das virtuelle Fahrzeug bestehend aus Cockpit (z.B. Sitze, Amaturen, Steuerelemente), Karosserie (z.B. A-Säule, Motorhaube, Seitenspiegel) sowie dem Avatar des Nutzers. Diese Pose ist weder im konstanten Verhältnis zum Global-Space noch zum Fixed-Space und beschreibt somit einen neuen „Car-Space“ der Cockpitebene. Führt das Auto eine Kurvenfahrt durch und hält der Benutzer den Kopf starr am Sitz, wird ein Artefakt reduziert. Bewegt der Nutzer zusätzlich seinen Kopf während der Kurvenfahrt, stimmt diese Bewegung jedoch nicht mit der fixierten Renderebene überein. Eine korrektes Warpingergebnis kann nur dann erfolgen, wenn die homographische Reprojektionsmatrix mit dem Posensignal der Sensorantwort des Autos (z.B. IMU - inertial measurement unit) verrechnet wird und dieser modifizierte Asynchronous Timewarp nur auf virtuelle Objekte, die starr mit dem Auto verbunden sind, angewendet wird. Im Final-Compositing-Schritt kann schließlich die korrigierte Renderebene zwischen die Kontextebenen des korrigierten Global-Space und Fixed-Space geblendet werden.
Wird ein solcher Car-Space nicht zur Verfügung gestellt, sind als Resultat in Kurvenfahrten Texte und Auswahlmenüs erschwert lesbar, die wahrgenommene Qualität durch zuckende Bewegungen verringert und die Wahrscheinlichkeit der Motion-Sickness erhöht. Eine weitere Lösung um diesen Effekten entgegenzuwirken ist das künstliche Hinzufügen eines Trägheitsmoments auf die Transformation des Car-Space. Führt das Auto eine Kurvenfahrt durch, schwenkt etwa ein im Bild befindliches Menü verlangsamt nach (in anderem Kontext auch bekannt als Rubberbanding bezeichnet). Hierdurch ist die Disparität zwischen Car-Space und Global-Space verringert und ebenso die Artefaktstärke. Da die ursprüngliche Artefaktstärke wie eingangs beschrieben abhängig von der Framerate ist, kann auch die Stärke des Rubberbandings von in deren Abhängigkeit erfolgen und adaptiv angepasst werden: Wird eine hohe Framerate gemessen, wird das Rubberbanding verringert, bei niedrigen Framerates erhöht. In unseren Versuchen sind Texte bedeutend besser lesbar und die zusätzlich erforderliche Kopfbewegung um dem Menü in Kurven zu folgen wird von den Benutzern nicht als besonders störend empfunden.
Aber es wird nicht nur die Wahrnehmungsqualität/Präzision von granulären Strukturen wie Text besser wird sondern die Qualität der Nutzererfahren (user experience) insgesamt, da auch zum Beispiel umgebenden Cockpitstrukturen oder Objekte deutlich flüssiger dargestellt werden.
Bezugszeichenliste

10: Kraftfahrzeug
11: Außenumgebung
12: Straße
13: Umgebungselement
14: Fahrzeugbewegung
15: Fahrzeugpose
16: Benutzer
17: Datenbrille
18: Innenraum
19: Brillenpose
20: virtuelle Umgebung
21: Ansicht
22: Objekt
24: Hintergrundpanorama
25: Element
25: Hintergrundelementen
26: Koordinatensystem
27: Koordinatensystem
29: Posenänderung
30: Prozessorschaltung
31: Datenschnittstelle
32: Bewegungssensor
33: Sensorsignal
34: Bewegungssensor
35: Sensorsignal
36: Posensignal
37: Posensignal
38: Rendern
40: Frames
41: Zwischenframes
42: Posenänderung
43: Posenänderung
44: Pixelverschiebung
46: Pixelverschiebung
50: Cockpitebene
51: Globalebene
52: Cockpitebene
53: Compositing
K: Kopf

Claims

Verfahren zum Betreiben einer Datenbrille (17) in einem Kraftfahrzeug (10) während das Kraftfahrzeug (10) eine Fahrt durch eine reale Außenumgebung (11) durchführt, wobei durch eine Prozessorschaltung (30) mittels der Datenbrille (17) eine Ansicht (21) einer virtuellen Umgebung (20) mit virtuellen Objekten (22) in ein Sichtfeld eines Benutzers (16) eingeblendet und in nacheinander mit einer vorgegebenen Framerate neu gerenderten Frames (40) der Ansicht (21) ein Koordinatensystem (26, 27) der virtuellen Umgebung (20) mit einem Koordinatensystem (26, 27) der realen Außenumgebung (11) deckungsgleich gehalten wird, indem durch Verschieben und/oder Drehen der Ansicht (21) der virtuellen Umgebung (20) eine durch eine Kopfbewegung des Benutzers (16) und/oder eine Fahrtbewegung des Kraftfahrzeugs (10) in der realen Außenumgebung (11) verursachte Änderung einer Brillenpose (19) der Datenbrille (17) bezüglich der realen Außenumgebung (11) nachgebildet wird, wobei das Verschieben und/oder Drehen als Funktion von zumindest einem Posensignal (36, 37), das die durch die Kopfbewegung und/oder die Fahrtbewegung resultierende neue Brillenpose (19) und/oder Fahrzeugpose (15) beschreibt, durchgeführt wird, dadurch gekennzeichnet, dass Pixel des jeweiligen Frames (40) in zumindest zwei unterschiedlichen Kontextebenen gerendert werden und der jeweilige Frame aus den Pixeln der Kontextebenen danach zusammengesetzt wird, wobei in jeder der Kontextebenen die Pixel unterschiedlicher der virtuellen Objekte (22) dargestellt sind und beim Neurendern (38) der Frames (40) für das Verschieben und/oder Drehen der Ansicht (21) in zumindest zwei der Kontextebenen unterschiedliche Posensignale (36, 37) zugrunde gelegt werden.
Verfahren nach Anspruch 1, wobei nach dem Anzeigen des jeweils aktuell gerenderten Frames (40) und bevor der nächste Frame fertig gerendert ist, mittels einer homographischen Reprojektion zumindest ein Zwischenframe der Ansicht (21) erzeugt und angezeigt wird, welcher durch eine Pixelverschiebung (44, 46) von die virtuellen Objekte (22) darstellenden Pixeln des aktuellen Frames (40) in der jeweiligen Kontextebene erzeugt wird, wobei eine Verschiebeweite der Pixelverschiebung (44, 46) individuell für die jeweilige Kontextebene in Abhängigkeit von dem darin verwendeten zumindest einen Posensignal (36, 37) getrennt durchgeführt wird und damit die Pixelverschiebung (44, 46) jeweils eine andere Verschiebeweite aufweist und der jeweilige Zwischenframe aus den verschobenen Pixeln der Kontextebenen zusammengesetzt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in einer der Kontextebenen ein absolutes Posensignal (36, 37), das die Brillenpose (19) bezüglich der Außenumgebung (11) beschreibt, angewendet wird und damit eine umgebungsgekoppelte Globalebene (51) bereitgestellt wird und in einer anderen der Kontextebenen ein Posensignal (36, 37), das eine Fahrzeugpose (15) des Kraftfahrzeugs (10) bezüglich der Außenumgebung (11) beschreibt, angewendet wird und damit eine Cockpitebene (50, 52) bereitgestellt wird, in welcher als virtuelles Objekt (22) ein Cockpit und/oder eine Karosserie einer virtuellen Repräsentation eines Innenraums (18) des Kraftfahrzeugs (10) und/oder einem Avatar des Benutzers (16) bereitgestellt wird.
Verfahren nach Anspruch 3, wobei mit der Cockpitebene eine andere der Kontextebenen gekoppelt ist, in welcher ein gedrosseltes Posensignal (36, 37), das eine bezüglich der Änderung der Brillenpose (19) der Datenbrille (17) dynamikbegrenzte Änderung der Brillenpose (19) angibt, angewendet wird und damit eine dynamikbegrenzte Kontextebene bereitgestellt ist.
Verfahren nach Anspruch 4, wobei eine aktuelle Sollpose des virtuellen Objekts (22) in der dynamikbegrenzten Kontextebene jeweils aus dem aktuellen Signalwert des Posensignals der Cockpitebene ausgelesen wird und das Verschieben und/oder Drehen in der dynamikbegrenzten Kontextebene solange durchgeführt wird bis eine Istpose des virtuellen Objekts (22) in der dynamikbegrenzten Ebene die Sollpose erreicht, wobei hierzu das gedrosselte Posensignal (36, 37) eine betragsmäßige begrenzte Änderungsgeschwindigkeit der Objektpose des virtuellen Objekts (22) in der dynamikbegrenzten Kontextebene auf einen vorbestimmten Maximalwert, der größer als Null ist, insbesondere durch eine betragsmäßige Begrenzung auf eine maximale Drehrate, vorgibt.
Verfahren nach Anspruch 5, wobei die der Maximalwert als Funktion eines aktuellen Werts der Framerate eingestellt wird.
Verfahren nach einem der Ansprüche 4 bis 6, wobei in der dynamikbegrenzten Kontextebene das virtuelle Objekt (22) eine granulare Struktur ist, die einen Text und/oder eine Werteanzeige und/oder ein Bedienmenü dargestellt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest eines der Posensignale (36, 37) als Funktion eines jeweiligen Sensorsignals (33, 35) zumindest eines Bewegungssensors (32, 34) der Datenbrille (17) und/oder eines der Posensignale (36, 37) als Funktion eines jeweiligen Sensorsignals (33, 35) zumindest eines Bewegungssensors (32, 34) des Kraftfahrzeugs (10) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in zumindest einer Kontextebene die Verschiebungsweite der Pixelverschiebung (44, 46) als Funktion einer Differenz aus einem Sensorsignal (33, 35) eines Bewegungssensors (32, 34) des Kraftfahrzeugs (10) und eines Sensorsignals (33, 35) eines Bewegungssensors (32, 34) der Datenbrille (17) gerendert wird und/oder wobei die Verschiebungsweite der Pixelverschiebung (44, 46) in einer Kontextebene als Funktion eines Trackingsignals eines in dem Kraftfahrzeug (10) betriebenen Headtrackers der Datenbrille (17) berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in zumindest einer Kontextebene die Verschiebungsweite der Pixelverschiebung (44, 46) als Funktion eines Sensorsignals (33, 35) eines Gierratensensors des Kraftfahrzeugs (10), welcher eine Gierrate des Kraftfahrzeugs (10) bezüglich der Außenumgebung (11) signalisiert, erzeugt wird.
Prozessorschaltung (30) zum Betreiben einer Datenbrille (17), wobei die Prozessorschaltung (30) eine Datenschnittstelle (31) zum Empfangen eines jeweiligen Sensorsignals (33, 35) zumindest eines Bewegungssensors (32, 34) aufweist und wobei die Prozessorschaltung (30) dazu eingerichtet ist, aus dem zumindest einen empfangen Sensorsignal (33, 35) zumindest ein Posensignal (36, 37), das eine durch eine Kopfbewegung eines die Datenbrillen (17) tragenden Benutzers (16) und/oder durch eine Fahrtbewegung eines Kraftfahrzeugs (10) resultierende neue Brillenpose (19) und/oder Fahrzeugpose (15) beschreibt, zu berechnen und ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Datenbrille (17) mit einer Prozessorschaltung (30) nach Anspruch 11.
Kraftfahrzeug (10) mit einer zumindest einen Bewegungssensor (32, 34) aufweisenden Sensorschaltung zum Erzeugen zumindest eines Sensorsignals (33, 35), das einen Zeitverlauf einer Fahrzeugposition und/oder einer Geschwindigkeit und/oder einer Beschleunigung des Kraftfahrzeug (10) bezüglich einer Außenumgebung (11) des Kraftfahrzeugs (10) signalisiert, wobei das Kraftfahrzeug (10) eines Sendeschaltung aufweist, die dazu eingerichtet ist, das zumindest eine Sensorsignal (33, 35) an eine Prozessorschaltung (30) nach Anspruch 11 auszusenden, wobei die Prozessorschaltung (30) vollständig in dem Kraftfahrzeug (10) fest verbaut ist.