DE102022104134A1

DE102022104134A1 - Verfahren und Prozessorschaltung und Computerprogramm zum Steuern einer Datenbrille zur routenadaptiven Wiedergabe einer Abfolge von vorgegebenen Ereignissen in einer virtuellen Umgebung während einer Fahrt eines Kraftfahrzeugs sowie zugehörige Datenbrille

Info

Publication number: DE102022104134A1
Application number: DE102022104134.4A
Authority: DE
Inventors: Gerrit Lochmann
Original assignee: Holoride GmbH
Current assignee: Holoride GmbH
Priority date: 2022-02-22
Filing date: 2022-02-22
Publication date: 2023-08-24
Anticipated expiration: 2042-02-23
Also published as: WO2023161002A1; DE102022104134B4

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer Datenbrille (12) für eine routenadaptive Wiedergabe einer Abfolge von Ereignissen in einer virtuellen Umgebung (14) während einer Fahrt (13) eines Kraftfahrzeugs (10) entlang einer Fahrtroute (18), wobei durch jedes der Ereignisse (38) ein Ortsverteilung (45) eines Darstellungsmerkmals (44) der virtuellen Umgebung (14) und eine Auslöseregel (37) zum Erzeugen des Ereignisses festgelegt wird, für diejenigen Auslöseregeln (37), deren jeweils geforderte lokale Eigenschaft (39) mit zumindest einer der aktuellen lokalen Eigenschaften (22) der Fahrtroute (18) übereinstimmt, deren jeweiliges Ereignis (38) in der virtuellen Umgebung (14) ausgelöst wird.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer Datenbrille, insbesondere einer teiltransparenten AR-Brille (AR - Augmented Reality) oder einer blickdichten VR-Brille (VR - Virtual Reality), um mittels der Datenbrille während einer Fahrt eines Kraftfahrzeugs eine virtuelle Umgebung darzustellen. In der virtuellen Umgebung wird eine Abfolge von im Voraus festgelegten Ereignissen dargestellt, die dann routenadaptiv ausgelöst oder erzeugt werden. Für unterschiedliche Fahrtrouten ergibt sich also eine Veränderung in der Abfolge und/oder im Abstand der Ereignisse zueinander, nämlich abhängig von der gefahrenen Fahrtroute. Zu der Erfindung gehören auch eine Prozessorschaltung, die mittels eines Computerprogramms das erfindungsgemäße Verfahren durchführt, sowie eine Datenbrille mit einer solchen Prozessorschaltung.
In einem Kraftfahrzeug kann von einem Fahrzeuginsassen, beispielsweise einem Fahrgast oder einem Fahrer eines automatisiert fahrenden Kraftfahrzeugs, beispielsweise zu Unterhaltungszwecken eine Datenbrille benutzt werden. Mittels einer solchen Datenbrille kann eine virtuelle Umgebung in das Sichtfeld ihres Benutzers eingeblendet werden. So kann dem Benutzer während der Fahrt des Kraftfahrzeugs eine bewegungssynchrone virtuelle Fahrt oder ein virtueller Flug durch die virtuelle Umgebung präsentiert oder dargestellt werden. Ein Erscheinungsbild der virtuellen Umgebung, also Darstellungsmerkmale, wie beispielsweise Bäume und/oder Berge und/oder Objekte in der virtuellen Umgebung, werden dabei bevorzugt an die reale Fahrtroute des Kraftfahrzeugs angepasst, damit die während der Fahrt auftretenden Beschleunigungskräfte, wie sie beispielsweise bei einer Kurvenfahrt oder bei einem Gefälle oder einer Steigung auf den Fahrzeuginsassen wirken, zum Erscheinungsbild der virtuellen Umgebung passen und somit für eine Steigerung oder Verbesserung des immersiven Erlebnisses in der virtuellen Umgebung sorgen. Dazu müssen synchron zum Verlauf der Fahrt des Kraftfahrzeugs auch die Darstellungsmerkmale in der virtuellen Umgebung eingestellt oder festgelegt werden. Ein weiterer Vorteil einer solchen Anpassung der Darstellungsmerkmal an die Fahrtroute ist, dass eine gegenseitige Okklusionen von Darstellungsmerkmalen in der virtuellen Umgebung verhindert wird.
Allgemein ist aus der US 10,724,874 B2 bekannt, anhand von Kartendaten einer Region, durch welche die Fahrtroute des Kraftfahrzeugs während der Fahrt führt, das Erscheinungsbild der virtuellen Umgebung festzulegen, indem aus den Kartendaten der Verlauf oder die Topographie des Straßennetzes sowie Landmarken ausgelesen werden und daraus ein virtuelles Äquivalent für das Erscheinungsbild der virtuellen Umgebung berechnet wird. Es muss dazu aber eine Abbildung von realen Landmarken auf virtuelle Repräsentationen derselben programmiert werden. Damit lässt sich eine virtuelle Umgebung nur begrenzt für solche reale Regionen präsentierten, für die zuvor eine entsprechende virtuelle Umgebung programmiert wurde, um die virtuellen Repräsentationen bereitzuhaben. Fährt das Kraftfahrzeug durch eine neue Region, für die noch nicht festgelegt wurde, wie die Kartendaten in eine virtuelle Umgebung umgerechnet oder abgebildet werden können, so kann überhaupt keine virtuelle Umgebung erzeugt werden. Im Stand der Technik ist eine routen-unabhängige Anpassung der virtuellen Umgebung nur dahingehend vorgesehen, dass eine Änderung des Fahrzeugzustands, z.B. ein Beschleunigen, im Erscheinungsbild der virtuellen Umgebung wiedergegeben wird, z.B. als als gesteigerte Bewewegung eines Objektes, und dass umgebende Fahrzeuge in der virtuellen Umgebung repräsentiert werden können.
Für die Benutzung einer virtuellen Datenbrille in einem Kraftfahrzeug ist aus der DE 10 2014 019 579 A1 bekannt, dem Benutzer einen Warnhinweis in sein Sichtfeld einzublenden, falls vor dem Kraftfahrzeug eine holprige Fahrstrecke vorausliegt. Der Benutzer kann dann zur Vermeidung von Reisekrankheit (Kinetose) die Datenbrille ausschalten.
Der Erfindung liegt die Aufgabe zugrunde, das Erscheinungsbild einer virtuellen Umgebung routenadaptiv für eine Fahrt durch eine reale, im Voraus unbekannte Region festlegen zu können.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen der Erfindung ergeben sich durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren.
Als eine Lösung umfasst die Erfindung ein Verfahren zum Steuern einer Datenbrille für eine routenadaptive Wiedergabe von vorbestimmten Ereignissen, d.h. einer Abfolge von vor der Fahrt festgelegten Ereignissen, in einer virtuellen Umgebung während einer Fahrt eines Kraftfahrzeugs entlang einer Fahrtroute (durch eine reale Region). Die Fahrtroute kann vorher bekannt sein, beispielsweise auf Grundlage von Navigationsdaten aus einem Navigationssystem, aber sie kann stattdessen auch unbekannt sein und während des Verlaufs der Fahrt aus Positionsdaten des Kraftfahrzeugs, beispielsweise Positionsdaten eines GNSS (Global navigation satellite system) ermittelt werden. Ein unmittelbar vorausliegender Streckenabschnitt, beispielsweise die nächsten X Kilometer (z.B. mit X im Bereich 0.5 bis 5) können anhand eines kartographierten Straßenverlaufs geschätzt werden.
Die virtuelle Umgebung ergibt sich bei dem Verfahren aus unterschiedlichen Events oder Ereignissen, die während der Fahrt nacheinander oder auch gleichzeitig überlagert in der virtuellen Umgebung dargestellt oder erzeugt werden. Die Abfolge der Ereignisse, also beispielsweise wie häufig oder mit welcher Dauer ein jeweiliges Ereignis in der virtuellen Umgebung dargestellt wird, ist hierbei an die tatsächlich gefahrene Fahrtroute angepasst, das heißt, die Abfolge der Ereignisse wird routenadaptiv wiedergegeben.
Das Verfahren geht davon aus, dass ein jedes Ereignis als eine Ortsverteilung eines Darstellungsmerkmals der virtuellen Umgebung definiert ist, also als Eigenschaftsbeschreibung der virtuellen Umgebung, wie sie durch das Ereignis hervorgerufen wird (beispielswiese eine Darstellung eines Waldes). Als ein mögliches Darstellungsmerkmal kann also beispielsweise angegeben sein, dass sich um den virtuellen Aufenthaltsort des Benutzers der Datenbrille oder um die Datenbrille in der virtuellen Umgebung herum ein Gebirge oder ein Wald oder eine Wiese oder eine Stadt befindet, um nur Beispiele für Darstellungsmerkmale anzugeben. Die Ortsverteilung des Darstellungsmerkmals legt fest, wo sich in der virtuellen Umgebung dabei beispielsweise konkret Bäume oder Häuser oder Felsen befinden sollen. Ein Ereignis kann auch als Darstellungsmerkmal beispielsweise ein Wesen der virtuellen Umgebung, beispielsweise im Zusammenhang mit einem Computerspiel ein Monster oder ein Raumschiff, umfassen, wobei sich dann die Ortsverteilung auf den jeweiligen Aufenthaltsort eines solchen Wesens bezieht. Zusätzlich oder alternativ ist eine Platzierung einer (auf die virtuelle Umgebung bezogene) Textanzeige (z.B. ein Spielstand) und/oder Audioquelle möglich.
Zu jedem Ereignis gehört zudem eine Auslöseregel zum Erzeugen des Ereignisses. Mittels der Auslöseregel legt das Ereignis fest, welche lokale Eigenschaft die (reale) Fahrtroute aktuell aufweisen muss, damit in der virtuellen Umgebung das Ereignis ausgelöst oder dargestellt wird. Eine solche geforderte lokale Eigenschaft kann beispielsweise angeben, dass die Fahrtroute eine Kurve, beispielsweise eine Rechtskurve oder Linkskurve, aufweisen soll und/oder dass als geforderte lokale Eigenschaft die Fahrtroute auf einer Autobahn oder entlang von Serpentinen verlaufen soll. Tritt dann während der Fahrt auf der Fahrtroute die geforderte lokale Eigenschaft tatsächlich auf, so löst die Auslöseregel das entsprechende Ereignis aus, das heißt, in der virtuellen Umgebung wird die Ortsverteilung des Darstellungsmerkmals angewendet, das heißt, es erscheinen beispielsweise Felsen oder eine Stadt oder Wesen der virtuellen Umgebung. Die Ereignisse betreffen dabei stets die Ausgestaltung der virtuellen Umgebung selbst. Es geht nicht um die Steuerung von Hinweisen auf die lokale Eigenschaft der realen Fahrtroute selbst. Die jeweilige Auslöseregel ist zudem „generisch“ definiert, d.h. sie bezieht sich nicht auf einen bestimmten Ort in der realen Welt, also nicht auf eine Geoposition, sondern beschreibt eine lokale Eigenschaft, die an mehreren unterschiedlichen Stellen in einem realen Straßennetz vorkommen kann und damit auf unterschiedlichen Fahrtrouten an unterschiedlichen Stellen zutreffen kann.
Das Steuern der Datenbrille wird bei dem Verfahren durch eine Prozessorschaltung durchgeführt, die beispielsweise in einem Zentralrechner des Kraftfahrzeugs oder in der Datenbrille oder in einem Backend-Server des Kraftfahrzeugs, also einem stationären Internetserver, oder verteilt auf mehrere der beschriebenen Orte implementiert sein kann. Durch die Prozessorschaltung werden während der Fahrt des Kraftfahrzeugs jeweilige aktuelle (tatsächliche) lokale Eigenschaften der Fahrtroute ermittelt. Hierzu kann die Prozessorschaltung beispielsweise auf Kartendaten zurückgreifen, welche eine Topographie der Region, durch welche die Fahrtroute führt, und/oder Landmarken entlang der Fahrtroute (beispielsweise Gebäude und/oder Sehenswürdigkeiten) beschreiben können. Zusätzlich oder alternativ dazu kann eine lokale Eigenschaft auch mittels einer Umgebungssensorik des Kraftfahrzeugs ermittelt werden, beispielsweise können als lokale Eigenschaft auch andere Verkehrsteilnehmer, beispielsweise ein vorausfahrendes und/oder ein nachfolgendes Kraftfahrzeug, erkannt oder detektiert werden.
Somit kann durch die Prozessorschaltung ein Abgleich der tatsächlich vorhandenen aktuellen lokalen Eigenschaften der Fahrtroute mit der jeweiligen geforderten lokalen Eigenschaft der Auslöseregeln der Ereignisse durchgeführt werden. Für diejenigen Auslöseregeln, deren jeweils geforderte lokale Eigenschaft mit zumindest einer der aktuellen lokalen Eigenschaften der Fahrtroute übereinstimmt, wird entsprechend deren jeweiliges Ereignis in der virtuellen Umgebung ausgelöst. Somit wird die virtuelle Umgebung aus diese Ereignissen zusammengesetzt. Dies wird erfindungsgemäß dadurch implementiert oder erreicht, dass durch einen Kombinationsprozess oder Überlagerungsprozess in der Prozessorschaltung die Ortsverteilungen der Darstellungsmerkmale derjenigen Ereignisse, die gemäß den Auslöseregeln darzustellen sind, zu einem aktuellen 3D-Modell der virtuellen Umgebung kombiniert oder überlagert werden. Treffen beispielsweise die Auslöseregeln für das Ereignis „Gebirge“ und das Ereignis „Wald“ zu, so kann durch den Überlagerungsprozess ein 3D-Modell eines bewaldeten Gebirges erzeugt werden. Allgemein können also Bestandteile oder Objekte der virtuellen Umgebung als jeweiliges einzelnes Ereignis definiert sein und durch die Auslöseregeln werden diese dann abhängig von einem Verlauf der Fahrtroute im Überlagerungsprozess kombiniert oder überlagert. Das so erzeugte 3D-Modell wird dann gemäß dem Verfahren durch einen Renderingprozess durch Rendern der Darstellungsmerkmale in eine Anzeige der virtuellen Umgebung umgesetzt oder übersetzt. Das Rendern erzeugt in bekannter Weise aus dem 3D-Modell eine Ansicht aus der Perspektive des Benutzers. Diese Anzeige ist dabei mittels des 3D-Modells auch bewegungssynchron zum Kraftfahrzeug und zur Datenbrille, wie dies an sich aus dem Stand der Technik bekannt ist. Mit anderen Worten wird bei der Bewegung des Kraftfahrzeugs durch die reale Region und durch die Bewegung der Datenbrille in dem Kraftfahrzeug (z.B. durch Drehen des Kopfes) eine sich dynamisch verändernde Perspektive auf die virtuellen Umgebung erzeugt. Das 3D-Modell kann hierbei beispielsweise als Gittermodell realisiert oder implementiert sein. Für Flächenelemente des Gittermodells kann dann jeweils die Überlagerung oder Kombination der Darstellungsmerkmale der darzustellenden oder anzuzeigenden Ereignissen definiert oder festgelegt sein. Die so gerenderte Anzeige der virtuellen Umgebung wird mittels der Datenbrille ausgegeben oder angezeigt. Somit wird dem Benutzer der Datenbrille, beim Betrachten der Ansicht oder Anzeige der Eindruck vermittelt, die Fahrt des Kraftfahrzeugs führe durch die virtuelle Umgebung. Indem lokale Eigenschaften der Fahrtroute berücksichtigt werden, beispielsweise eine Straßenneigung oder Kurvenverlauf oder allgemein eine Topographie der befahrenen Straße oder des befahrenen Untergrunds, werden Darstellungsmerkmale verwendet, die an den Routenverlauf angepasst sind, so dass der visuelle Eindruck oder die Anzeige der virtuellen Umgebung zu der Fahrtroute passt, also beispielsweise bei einer Fahrt durch eine Kurve auch in der virtuellen Umgebung ein passend zur Kurve gekrümmter Bewegungsweg vorgesehen ist und deshalb beispielsweise kein Objekt im Weg steht, also beispielsweise kein Baum oder kein Berg.
Durch die Erfindung ergibt sich der Vorteil, dass beim Entwerfen des Erscheinungsbilds der virtuellen Umgebung der tatsächliche Verlauf der Fahrtroute nicht feststehen muss oder unbekannt sein kann. Es werden lediglich Ereignisse festgelegt, die in der virtuellen Umgebung sichtbar sein sollen, wenn die Fahrtroute entsprechende lokale Eigenschaften aufweist, beispielsweise durch eine Kurve und/oder durch ein hügeliges Gebiet führt, um Beispiele zu nennen. Die routenadaptive Wiedergabe dieser Abfolge von Ereignissen ist dann für mehrere unterschiedliche Fahrtrouten möglich, da die Abfolge der Ereignisse angepasst an die tatsächlich befahrene Fahrtroute wiedergegeben werden kann. Die Anpassung der generisch definierten Ereignisse auf die Fahrtroute erfolgt erst zur Laufzeit, also während der Fahrt. Damit kann die Abfolge der Ereignisse an mehreren unterschiedlichen Fahrtrouten jeweils adaptiert wiedergegeben werden, auch für Fahrtrouten, die durch eine beim Definieren der Ereignisse unbekannte reale Region führen.
Die Erfindung umfasst auch Weiterentwicklungen oder Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.
Das Überwachen der Auslöseregeln kann je nach deren Anzahl und/oder Komplexität derart viel Rechenleistung der Prozessorschaltung in Anspruch nehmen, dass das 3D-Modell nicht mit der Wiederholungsrate der Einzelbilder des Rendering aktualisiert oder erneuert werden kann. Um dennoch bei der eigentlichen Anzeige der virtuellen Umgebung in der Datenbrille eine vorgegebene Bildwiederholungsrate oder Framerate zu erreichen (beispielsweise in einem Bereich von 50 Hz bis 200 Hz), ist in einer Weiterentwicklung vorgesehen, dass in der Prozessorschaltung der Überlagerungsprozess und der Renderingprozess mittels des 3D-Modells entkoppelt sind, also unabhängig voneinander ausgeführt werden. Der Überlagerungsprozess und der Renderingprozess können hierzu jeweils als eigenständiges Programmmodul oder als eigenständiger Thread betrieben oder ausgeführt werden. Das Entkoppeln mittels des 3D-Modells erfolgt, indem der Renderingprozess so lange das zuletzt fertig erzeugte 3D-Modell verwendet, bis durch den Überlagerungsprozess das nächste 3D-Modell fertig erzeugt wird. Die virtuelle Bewegung durch die virtuelle Umgebung wird also auf Basis eines stets fertig erzeugten 3D-Modells mittels des Renderingprozesses durchgeführt. In an sich bekannter Weise kann der Renderingprozess Oberflächeneigenschaften, d.h. allgemein die Darstellungsmerkmale, beispielsweise mittels eines Raytracing oder eines Stylized Rendering oder eines PBR (physically based rendering) in Bilddaten für die Anzeige umwandeln. So lange die Bewegung der Datenbrille in der realen Region, also insbesondere die Bewegung des Fahrzeugs aufgrund der Fahrt, sich noch innerhalb der durch das 3D-Modell modellierten virtuellen Umgebung befinden, kann das zuletzt fertig erzeugte 3D-Modell verwendet werden. Somit ist ein neu erzeugtes 3D-Modell erst notwendig, wenn die Bewegung des Kraftfahrzeugs an den Rand des bisher verwendeten 3D-Modells führt. Ein Update des 3D-Modells kann mit einer Rate von weniger 50 Hz, insbesondere weniger als 1 Hz erfolgen.
Eine Weiterentwicklung der Erfindung sieht hierzu vor, dass das 3D-Modell eine „Umgebungskachel“ der virtuellen Umgebung beschreibt oder angibt, deren Grenzen eine aktuelle Renderposition umgeben. Mit anderen Worten wird für das Aktualisieren des 3D-Modells zunächst ermittelt, wo sich die Datenbrille aktuell befindet und dies wird als virtueller Kamerastandort oder als Renderposition für den Blick oder die Betrachtung der virtuellen Umgebung gewählt. Hiervon ausgehend wird um die Renderposition herum die Umgebungskachel definiert, die eine Kantenlänge aufweisen kann, die in einem Bereich von beispielsweise 100 Meter bis 1 Kilometer aufweisen kann. Innerhalb einer solchen Umgebungskachel ist dann eine Veränderung der Renderposition (korrespondierend zur Bewegung des Kraftfahrzeugs) möglich, ohne dass das 3D-Modell aktualisiert werden muss. Für einen Blick über die Grenzen der Umgebungskachel hinaus kann z.B. ein verschwommener Hintergrund gerendert werden. Abhängig von der Größe der Umgebungskachel ergibt sich entsprechend Zeit für den Überlagerungsprozess, ein aktualisiertes 3D-Modell für den weiteren Verlauf der Fahrt vorzubereiten. Die Größe der Umgebungskachel kann auch adaptiv in Abhängigkeit von der Fahrgeschwindigkeit des Kraftfahrzeugs eingestellt werden, und zwar je schneller desto größer. Es kann beispielsweise mittels Kartendaten ermittelt werden, wo die Fahrtroute innerhalb eines Bereichs von beispielsweise 30 Sekunden bis 10 Minuten oder allgemein innerhalb eines vorbestimmten zukünftigen Zeitraums verlaufen wird, und es können dann entsprechende tatsächliche lokale Eigenschaften der Fahrtroute für diesen vorausliegenden Bereich ermittelt werden, um das 3D-Modell zu aktualisieren.
Wie bereits ausgeführt, ist in den Auslöseregeln zum Auslösen der Ereignisse die jeweilige geforderte lokale Eigenschaft, wie sie für die Erzeugung eines bestimmten Ereignisses gefordert oder vorgegeben wird, unabhängig von der tatsächlichen Fahrtroute beschrieben, so dass damit für mehrere unterschiedliche Fahrtrouten diese Auslöseregeln auslösbar sind. Es wird durch eine Auslöseregel lediglich generisch beschrieben, welche generische lokale Eigenschaft (Kurve, Autobahn oder dergleichen) vorliegen muss, damit in der virtuellen Umgebung das zugehörige Ereignis ausgelöst wird. So kann beispielsweise durch Ereignisse folgender Ablauf festgelegt werden: „In der dritten Kurve der Fahrt springt ein Gegner aus einem Krater eines Berges hervor“, was definiert werden kann, ohne dass die Fahrtroute an sich bekannt ist. Ergibt sich dann während einer konkreten oder tatsächlichen Fahrtroute die dritte Kurve, so wird in der virtuellen Umgebung entsprechend die Ereignisse „Berg mit Krater“ und „hervorspringender Gegner“ ausgelöst. Für unterschiedliche Fahrtrouten erfolgt ein Ereignis an einer anderen, geeigneten Stelle entlang der Fahrtroute, obwohl das Ereignis durch dieselbe Auslöseregel gesteuert wird. Somit können die Ereignisse im Voraus durch deren Ortsverteilungen der Darstellungsmerkmale beschrieben und ihre Auslösung durch die Auslöseregeln festgelegt werden und die aktuelle Straßenkarte oder die topologische oder topographische Information über die Fahrtroutendaten werden dann erst danach oder im Nachhinein während der Fahrt ermittelt oder heruntergeladen und die Ereignisse werden an die tatsächliche Fahrtroute angepasst.
Um dennoch in der virtuellen Umgebung aufeinander aufbauende oder voneinander abhängige Ereignisse schaffen zu können, sieht eine Weiterentwicklung vor, dass zumindest ein Darstellungsmerkmal zumindest eines Ereignisses (abhängiges Ereignis) in Abhängigkeit von einem Benutzerverhalten festgelegt wird, das der Benutzer der Datenbrille während eines vorangegangenen Ereignisses gezeigt hat und/oder welches während eines vorangegangenen Ereignisses erfasst oder beobachtet wurde. Somit kann beispielsweise ein Verhalten von Wesen der virtuellen Umgebung, die ein abhängiges Ereignis darstellen, in Abhängigkeit davon festgelegt werden, wie sich der Benutzer während des vorangegangenen Ereignisses beispielsweise bei einer Interaktion mit vorangegangenen, anderen Wesen verhalten hat. Hat der Benutzer beispielsweise diese anderen Wesen angegriffen, so können sich auch in dem nachfolgenden, abhängigen Ereignis die dort dargestellten oder angezeigten Wesen entsprechend verhalten. Folgt beispielsweise in dem vorangegangenen Ereignis der Angriff des Benutzers, so können in dem nachfolgenden, abhängigen Ereignis die Wesen dem Benutzer hinter einer Kurve auflauern. Ein Abstand der beiden Ereignisse ist dabei abhängig von der Fahrtroute, so dass in der Abfolge der Ereignisse das zweite, darauffolgende Ereignis (beispielsweise die hinter einer nächsten Kurve lauernden Wesen) so lange zurückgehalten oder abgewartet wird, bis sich auf der Fahrtroute tatsächlich eine solche geeignete lokale Eigenschaft (z.B. nächste Kurve) ergibt, die dann durch die Auslöseregel definiert oder erkannt wird.
Eine weitere Verknüpfung von Ereignissen wird durch eine Weiterentwicklung dadurch erreicht, dass durch zumindest einige der Auslöseregeln eine relative Reihenfolge der Ereignisse untereinander festgelegt ist. Mit anderen Worten kann eines der Ereignisse nur ausgelöst werden, wenn bereits zumindest ein anderes Ereignis ausgelöst werden konnte (also dessen Auslöseregel erfüllt werden konnte). Dies kann durch eine entsprechende Verknüpfung oder Bedingung zwischen den Auslöseregeln festgelegt werden. Somit können auch beispielsweise Handlungsabfolgen aus einzelnen Ereignissen entsprechend einer vorgegebenen Chronologie oder Geschichte in der virtuellen Umgebung präsentiert oder angezeigt werden. Auch die beschriebene Textanzeige und/oder Audioquelle zu platzieren, ist chronologisch steuerbar. Diese sind besonders vorteilhaft mit der Chronologie kombinierbar, womit sich routengestützte chronologische Abfolgen modellieren lassen. Die Intervallregeln sind also auch ein Werkzeug, um prozedurale Geschichte zu erzählen, die sich mit den Bildern aus den 3D-Modellen oder Objekten der virtuellen Umgebung illustrieren lassen.
Um ein Ereignis auszulösen, muss die Fahrtroute eine entsprechende lokale Eigenschaft aufweisen, also eine örtlich begrenzte Eigenschaft, wie es beispielsweise eine Kurve oder eine Straßeneigenschaft eines Streckenabschnitts („Autobahn“ oder „Landstraße“ oder „Geschwindigkeitsbegrenzung“ oder „urbane Umgebung“) der Fall sein kann. Es kann sich hierbei um eine Eigenschaft der Straße an sich und/oder der die Straße umgebenden Region handeln.
Um Auslöseregeln komplexer zu gestalten, ist bevorzugt vorgesehen, dass die lokale Eigenschaft der Fahrtroute aus mehreren Einzeleigenschaften zusammengesetzt sein kann (z.B. „dritte Rechtskurve seit Beginn der Fahrt“, also Einzeleigenschaften „Rechtskurve“ und „Kurvenzähler = 3“). Um hieraus eine Auslöseregel zu formulieren, sieht eine Weiterentwicklung vor, dass durch eine Operanden-Anordnungskette die jeweilige Auslöseregel gebildet ist. Eine solche Operanden-Anordnungskette verknüpft mehrere unterschiedliche, geforderte Einzeleigenschaften der Fahrtroute durch logische Operationen (beispielsweise UND, ODER). Die Einzeleigenschaften können beispielsweise angeben: „Kurve“, „S-Kurve“, „erste X Fahrminuten“, „urbane Umgebung“, „ländliche Umgebung“, „Gebirge“, „Serpentinen“, um Beispiele zu nennen. Diese Einzeleigenschaften und die logischen Operationen sind hierbei frei durch einen Nutzer mittels Konfigurationsdaten vorgebbar. Mit anderen Worten kann ein Nutzer, beispielsweise ein Designer oder Programmierer der virtuellen Umgebung, die Einzeleigenschaften und deren logische Verknüpfung mittels der logischen Operatoren zum Bilden einer Auslöseregel frei kombinieren. Die jeweilige Auslöseregel, die durch diese Einzeleigenschaften und die logischen Operationen gebildet ist (beispielsweise „Rechtskurve“, UND „Gebirge“), wird aus den eingegebenen Konfigurationsdaten durch einen Compiler zu einem Signal-auslösendes Filter kompiliert. Ein solches Filter löst ein Auslösesignal zum Erzeugen des zugeordneten Ereignisses aus oder gibt dieses Auslösesignal aus, falls die aktuellen lokalen Eigenschaften die geforderten Einzeleigenschaft in der vorgegebenen Verknüpfung enthalten. Mit anderen Worten kann die Fahrtroute auf eine Vielzahl unterschiedlicher aktueller lokaler Eigenschaften hin untersucht werden und mit dem signalauslösenden Filter wird immer dann ein Auslösesignal erzeugt, falls in diesen aktuellen lokalen Eigenschaften die geforderten Einzeleigenschaften in der geforderten logischen Verknüpfung erkannt oder detektiert werden. Eine Eigenschaft kann bei im Voraus bekannter Fahrtroute beispielsweise auch einen relativen Anteil der Fahrstrecke angeben, also beispielsweise „erstes Drittel der Fahrtroute“. Die Einzeleigenschaften und deren logische Verknüpfung ergeben eine Schnittmenge oder eine Vereinigungsmenge der Einzeleigenschaften, woraus in vorteilhafter Weise eine komplexe lokale Eigenschaft für die Fahrtroute und damit das Auslösen eines Ereignisses definiert werden kann. Indem die Konfigurationsdaten mittels eines Compilers in signalauslösende Filter umgewandelt werden können, ergibt sich ein Vorteil bei der Ausführungsgeschwindigkeit des Verfahrens in der Prozessorschaltung.
Bisher wurde beschrieben, dass durch Auslöseregeln zusätzliche Darstellungsmerkmale in der virtuellen Umgebung hinzugefügt oder ergänzt werden, wann immer eine Auslöseregel erfüllt ist. Eine Weiterentwicklung umfasst, dass durch zumindest eine der Auslöseregeln ein Auslöschungsereignis vorgegeben wird, welches ein Ereignis zumindest einer anderen Auslöseregel unterdrückt oder blockiert. Mit anderen Worten wird in dem Verarbeitungspfad der unterschiedlichen Auslöseregel dahingehend eine Abhängigkeit der Auslöseregeln erzeugt, dass bei Erfüllt-Sein der Auslöseregel mit dem Auslöschungsereignis eine andere Auslöseregel blockiert wird oder deren Ereignis unterdrückt oder wieder entfernt wird, selbst wenn dessen Auslöseregel erfüllt ist. Somit können Auslöseregeln auch maskiert werden, indem die Auslöseregel eine Maskierung eines anderen Ereignisses hervorruft. Hierdurch können in vorteilhafter Weise widersprüchliche Darstellungen von Ereignissen in der virtuellen Umgebung vermieden oder verhindert werden.
Wie bereits ausgeführt, ergibt sich bei einem Ereignis durch die Ortsverteilung von dessen Darstellungsmerkmal, wo in der virtuellen Umgebung in Bezug auf die virtuelle Perspektive der Datenbrille in der virtuellen Umgebung ein Objekt oder allgemein eine Ausprägung des Darstellungsmerkmals, beispielsweise Felsen oder Bäume, angezeigt werden soll. Eine solche Ortsverteilung kann aber schwierig im Voraus festzulegen sein, wenn die Fahrtroute einen unbekannten Verlauf aufweist. Es kann zu einer Kollision des Fahrtwegs durch die virtuelle Umgebung gegen ein Darstellungsmerkmal kommen, weil beispielsweise die Bewegung durch ein solides Objekt, z.B. einen Baum, hindurch führt. Hierdurch kann es beispielsweise schwierig sein, die Positionen und/oder die Größe von Objekten des Darstellungsmerkmals (z.B. von Bäumen eines Darstellungsmerkmals „Wald“) in der virtuellen Umgebung derart festzulegen, dass sich kein Konflikt mit der Bewegung des Kraftfahrzeugs in Bezug auf die virtuelle Umgebung und/oder keine Sichtbehinderung (Okklusion) ergibt, es ist also eine Kollisionsvermeidung und/oder eine Okklusionsvermeidung vorteilhaft. Eine Weiterentwicklung umfasst daher, dass bei zumindest einem Ereignis die Ortsverteilung dynamisch oder situationsabhängig in Abhängigkeit von einem Fahrbahnverlauf der Fahrtroute und/oder in Abhängigkeit von einer (realen) Landmarke der Fahrtroute erzeugt wird. Mit anderen Worten wird die Ortsverteilung nicht im Voraus vollständig festgelegt, sondern sie ist dahingehend parametrisiert oder anpassbar, dass der aktuelle tatsächliche Fahrbahnverlauf und/oder die Position zumindest einer Landmarke, beispielsweise eines Gebäudes und/oder einer Straßenkreuzung, berücksichtigt wird. Hierzu werden Verlaufsdaten des Fahrbahnverlaufs und/oder die Landmarke beschreibende Kartendaten mittels einer Distanztransformation in eine Entfernungskarte umgewandelt. Mit anderen Worten werden in der Entfernungskarte Kartenorte oder Kartenpunkte durch einen Kartenwert dahingehend bewertet, in welcher Entfernung sich dieser Kartenort oder Kartenpunkt in Bezug auf die Fahrbahn und/oder die Landmarke befindet. Somit kann in der Entfernungskarte beispielsweise abgelesen werden, ob sich ein Kartenpunkt beispielsweise in einem halben Meter Entfernung zur Fahrbahn oder in 100 Meter Entfernung zur Fahrbahn befindet. Diese Entfernungswerte aus der Entfernungskarte werden dann als Gewichtungswerte für zumindest einen Ausprägungsparameter des Darstellungsmerkmals angewendet. Beispielsweise kann eine Objektgröße von Objekten, beispielsweise Bäume und/oder Felsen, in Abhängigkeit von der Entfernung zum Fahrbahnverlauf und/oder zu einer Landmarke festgelegt werden. Die Distanztransformation ermittelt hierzu für unterschiedliche Kartenorte in der Entfernungskarte deren Abstand zu dem Fahrbahnverlauf und/oder der Landmarke. Weitere mögliche Ausprägungsparameter können sein: eine lokale Bestandsdichte von Objekten, beispielsweise Bäumen, eine Lautstärke und/oder ein Ort einer Geräuschquelle, deren Geräusch mittels Lautsprechern der Datenbrille wiedergegeben wird. Somit ist bei einem Ereignis die Ortsverteilung in vorteilhafter Weise dynamisch an die Fahrtroute anpassbar.
Eine weitere Ausprägung umfass, dass sich ein virtuelles Objekt mittels eines Gradientenabstiegs auf den Entfernungswerten oder Distanztransformationsdaten auf einen dem Objekt nächstgelegenen Ort auf der Fahrbahn hinzu bewegt oder sich von allen der Fahrbahn zugehörigen Orten gemäß eines Gradientenaufstiegs entfernt. Der Gradient ergibt sich dabei auf den Distanzwerten der Distanztransformation (Distanztransformationsdaten). Diese Technik führt zu intuitiv nachvollziebaren Ergebnissen bei der Platzierung von Objekten und deren Verhalten in der virtuellen Umgebung.
In dem Kraftfahrzeug wird das Ermitteln der tatsächlichen lokalen Eigenschaften einer Fahrtroute einerseits und die Software oder das Programmmodul für das Erzeugen der virtuellen Umgebung andererseits bevorzugt getrennt betrieben. D.h. es gibt eine allgemeine Software für das Ermitteln der lokalen Eigenschaften der Fahrtroute und eine spielespezifische oder anbieterspezifische oder nutzerspezifische Software für die virtuelle Umgebung. Somit kann für unterschiedliche anbieterspezifische oder nutzerspezifische Programmmodule für unterschiedliche virtuelle Umgebungen, beispielsweise unterschiedliche VR-Videospiele und/oder unterschiedliche VR-Experiences, dieselbe Hardware, bevorzugt Hardware des Kraftfahrzeugs, mit der zugehörigen Software für das Ermitteln der lokalen Eigenschaft der Fahrtroute genutzt werden. Entsprechend werden die tatsächlichen lokalen Eigenschaften bevorzugt an einer Software-Schnittstelle eines Steuer-Frameworks der Datenbrille bereitgestellt. Ein solches Steuer-Framework kann beispielsweise durch ein Betriebssystem der Datenbrille bereitgestellt werden. Die Auslöseregeln werden in der beschriebenen Weise bevorzugt in einem nutzerspezifischen Programmmodul, beispielsweise einer so genannten App (Applikation) der Datenbrille ausgeführt. Das Programmmodul kann hierzu von dem Steuer-Framework mittels der beschriebenen Prozessorschaltung ausgeführt werden. Die Software-Schnittstelle kann beispielsweise als so genannte API (Application programming interface) realisiert sein. Durch sie kann der Datenstrom, der die tatsächlichen lokalen Eigenschaften der Fahrtroute beschreibt, an das nutzerspezifische Programmmodul übergeben werden. Es werden dabei an der Software-Schnittstelle abwechselnd unterschiedliche Programmmodule, also beispielsweise unterschiedliche Computerspiele und/oder unterschiedliche VR-Experiences, abwechselnd mittels der Prozessorschaltung betrieben. Für jedes dieser Programmmodule kann dabei die gleiche Hardware für die Ermittlung der tatsächlichen lokalen Eigenschaften der Fahrtroute genutzt werden.
In Bezug auf die Ereignisse kann durch die Ortsverteilung eines Darstellungsmerkmals bevorzugt Folgendes festgelegt werden: eine Topographie der Landschaft (z. B. Berge, Täler, ebene Fläche, Höhenverläufe), eine grafische Textur (Farbe und/oder Musterung und/oder Schattierung), eine Population von Wesen der virtuellen Umgebung (z. B. Monster oder Aliens), eine Geometrie zumindest eines Objekts des Ereignisses (z. B. von Bäumen und/oder Felsen und/oder Gebäuden), eine Bebauung (z. B. urbane Umgebung oder ländliche Umgebung). Die Ortsverteilung des jeweiligen Darstellungsmerkmals kann beispielsweise für die beschriebene Umgebungskachel zu unterschiedlichen Ortspunkten oder Pixeln der Umgebungskachel festlegen, mit welcher Gewichtung oder mit welchem Parameterwert das Darstellungsmerkmal dort in dem 3D-Modell jeweils darzustellen ist. Beispielsweise kann für das Darstellungsmerkmal „Wald“ durch die Ortsverteilung angegeben werden, wo einzelne Bäume und/oder wie groß die Bäume innerhalb der Umgebungskachel zu realisieren sind.
Die Überlagerung der Ortsverteilungen unterschiedlicher Ereignisse kann durch den Überlagerungsprozess beispielsweise in der beschriebenen Weise multiplikativ oder additiv (z.B. Ereignis1 + Ereignis2, also z.B. Wald + Felsen) oder logisch (Bäume ODER Wasser) kombiniert werden. Mit anderen Worten kann in dem Überlagerungsprozess das Überlagern der Ortsverteilung in eine logische (beispielsweise Schnittmenge oder Vereinigungsmenge oder exklusives ODER) und/oder algebraische Verknüpfung (Multiplizieren oder Addieren oder Subtrahieren) von ortsabhängigen Eigenschaftswerten, wie sie für das Darstellungsmerkmal durch die Ortsverteilung festgelegt werden, umfassen. Eine andere Bezeichnung für ein solches Überlagern von Ortsverteilungen ist auch „Masking“, das heißt, die Ortsverteilungen stellen Merkmalsmasken dar.
In Bezug auf das Erfassen der lokalen Eigenschaften entlang der Fahrtroute kann es sich hierbei um eine absolute Umgebungseigenschaft (beispielsweise Bebauung oder Landschaftstyp, wie z.B. Gebirge oder ländliche Region) oder eine relative Umgebungseigenschaft (beispielsweise relative Höhe bezüglich der Fahrbahn) handeln.
Eine weitere Lösung der Erfindung ist durch eine Prozessorschaltung gegeben, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. In der beschriebenen Weise kann die Prozessorschaltung beispielsweise in der Datenbrille oder dem Kraftfahrzeug oder einem Backend-Server implementiert sein oder auf zwei oder drei dieser Elemente verteilt realisiert sein. Die Prozessorschaltung kann auf zumindest einen Mikroprozessor und/oder zumindest einem Mikrocontroller beruhen. In der Prozessorschaltung kann ein Computerprogramm bereitgestellt sein, das bei Ausführen durch die Prozessorschaltung diese veranlasst, die Ausführungsformen des erfindungsgemäßen Verfahrens durchzuführen. Das Computerprogramm kann hierzu in einem Datenspeicher der Prozessorschaltung gespeichert sein. Das Computerprogramm kann in an sich bekannter Weise beispielsweise als Binärcode oder Script implementiert sein.
Schließlich umfasst die erfindungsgemäße Lösung auch das Computerprogramm mit den Programminstruktionen, die dazu eingerichtet sind, bei Ausführen durch eine Prozessorschaltung diese zu veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
Als weiterer Teil der Erfindung ist eine Datenbrille anzusehen, die eine Ausführungsform der erfindungsgemäßen Prozessorschaltung enthält. Die Datenbrille kann als VR-Brille (blickdicht und für stereoskopisches Sehen ausgestaltet) oder als AR-Brille (blickdurchlässig oder lichtdurchlässig zum Überlagern der virtuellen Umgebung mit Umgebungslicht der realen Umgebung). Datenbrillen dieses Typs sind an sich aus dem Stand der Technik bekannt, wobei die erfindungsgemäße Datenbrille durch die Prozessorschaltung weitergebildet ist.
Die Erfindung umfasst auch Kombinationen der Merkmale der Weiterentwicklungen, die hier beschrieben worden sind.
Im Folgenden sind Implementierungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Kraftfahrzeugs, in welchem eine Ausführungsform der erfindungsgemäßen Datenbrille und/oder eine Ausführungsform der erfindungsgemäßen Prozessorschaltung betrieben wird;
2 eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Prozessorschaltung, durch welche eine Ausführungsform des erfindungsgemäßen Verfahrens betrieben werden kann;
3 eine schematische Darstellung zur Veranschaulichung einer Operanden-Anordnungskette zum Bilden einer Auslöseregel; und
4 eine schematische Darstellung zur Veranschaulichung einer dynamischen Abhängigkeit einer Ortsverteilung, wie sie mittels einer Distanztransformation gebildet werden kann.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Kraftfahrzeug 10, bei dem es sich beispielsweise um einen Kraftwagen oder einen Personenbus handeln kann. Im Kraftfahrzeug 10 kann ein Benutzer 11 eine Datenbrille 12 verwenden, um während einer Fahrt 13 des Kraftfahrzeugs 10 eine virtuelle Umgebung 14 zu betrachten. In dem hier veranschaulichten Beispiel ist ohne Beschränkung der Allgemeingültigkeit angegeben, dass die virtuelle Umgebung 14 für den Benutzer 11 in der Datenbrille 12 einen Ritt auf einem Pferd 15 durch eine Landschaft 16 darstellen kann, während sich das Kraftfahrzeug 10 auf der Fahrt 13 durch eine reale Umgebung oder eine reale Region 17 entlang einer Fahrtroute 18 bewegt. Die Darstellung von Bewegungen in der virtuellen Umgebung 14 kann dabei bewegungssynchron zu einer Bewegung der Datenbrille 12 bezüglich des Kraftfahrzeugs 10 und des Kraftfahrzeugs 10 bezüglich der Region 17, also bezüglich eines absoluten Geokoordinatensystems, erfolgen.
Hierzu kann eine Prozessorschaltung 19 vorgesehen sein, die beispielsweise in der Datenbrille 12 bereitgestellt sein kann und durch welche in an sich bekannter Weise eine stereoskopische Anzeigeeinheit 20, beispielsweise LCD-Bildschirme, angesteuert werden kann. Damit durch die Prozessorschaltung 19 ein Erscheinungsbild der virtuellen Umgebung 14 mit einem Bewegungsverlauf entlang der Fahrtroute 18 in Einklang gebracht oder synchronisiert werden kann, also beispielsweise Kurven der Fahrtroute 18 in der virtuellen Umgebung 14 nachgebildet werden können, können durch eine Hardware oder eine Sensorschaltung 21 Eigenschaftsdaten von aktuellen lokalen Eigenschaften 22 der Fahrtroute 18 ermittelt werden. Die Sensorschaltung 21 kann beispielsweise als Bestandteil des Kraftfahrzeugs 10 oder als Nachrüstlösung für das Kraftfahrzeug 10 bereitgestellt sein. Beispielsweise kann mittels der Sensorschaltung 21 aus einem GNSS 23 ein Positionssignal 24 empfangen werden, um eine Geoposition des Kraftfahrzeugs 10 in der Region 17 zu ermitteln und in Abhängigkeit von der ermittelten Geoposition 25 aus einer Navigationsdatenbank 26, also einer digitalen Straßenkarte, Kartendaten 27 auszulesen, durch welche lokale Eigenschaften 22 der Region 17 und/oder der Fahrtroute 18 an der aktuellen und/oder einem vorausliegenden Streckenabschnitt der Fahrtroute 18 beschrieben sind, beispielsweise ein Kurvenverlauf und/oder eine Beschaffenheit eines Fahruntergrunds (uneben oder glatt). Zusätzlich oder alternativ dazu können lokale Eigenschaften 22 mittels zumindest eines Umgebungssensors 28 des Kraftfahrzeugs 10 ermittelt werden, um beispielsweise als lokale Eigenschaften eine Präsenz oder Gegenwart anderer Verkehrsteilnehmer und/oder deren Relativposition zum Kraftfahrzeug 10 zu ermitteln und durch Sensordaten 29 der Sensorschaltung 21 bereitzustellen, damit diese lokale Eigenschaften 22 an die Prozessorschaltung 19 signalisiert. Als Umgebungssensor 28 kann jeweils z.B. eine Kamera, ein Radar, ein Ultraschallsensor, eine Fahrwerkssensorik für eine Erfassung einer Bodenunebenheit, ein Gierratensensor, ein Nickbewegungssensor, ein Wankbewegungssensor genutzt werden, um nur Beispiele zu nennen.
2 veranschaulicht, wie wiederholt oder zyklisch aus den Eigenschaftsdaten der lokalen Eigenschaften 22 durch die Prozessorschaltung 19 ein Steuersignal 30 für die Anzeigeeinheit 20 erzeugt werden kann.
Die lokalen Eigenschaften 22 können in der Prozessorschaltung 19 über eine Software-Schnittstelle 31 einem Computerprogramm 32 übergeben werden, welches durch die Prozessorschaltung 19 ausgeführt werden kann.
Durch das Computerprogramm 32 können ein Filterprozess 33, ein Überlagerungsprozess 34 und ein Renderingprozess 35 implementiert sein.
Der Filterprozess 33 kann vorsehen, dass zum Erzeugen einer jeweiligen aktuellen Ansicht 36 der virtuellen Umgebung 14 die tatsächlichen aktuellen lokalen Eigenschaften 22 der Fahrtroute 18, also die lokalen Eigenschaften 22 der Fahrtroute 18 um das Kraftfahrzeug 10 herum, mit Auslöseregeln 37 verglichen werden, von denen jede zu einem Ereignis 38 gehört, das in der virtuellen Umgebung 14 sichtbar werden soll, wenn die lokalen Eigenschaften 22 der Fahrtroute 18 mit den Auslöseregeln 37 übereinstimmen. Durch die Auslöseregeln 37 können entsprechend geforderte lokale Eigenschaften 39 definiert sein, beispielsweise das Vorhandensein einer Kurve 40 und/oder einer Kreuzung 41 und/oder ein unebener Verlauf 42 der Fahrstrecke entlang der Fahrtroute 18, um nur Beispiele zu nennen. Treffen die tatsächlichen lokalen Eigenschaften 22 auf geforderte lokale Eigenschaften 39 einer Auslöseregel 37 zu, so wird durch die Auslöseregel 37 durch ein Auslösesignal 43 signalisiert, dass eine jeweilige Ortsverteilung 45 eines Darstellungsmerkmals 44, durch welches das Ereignis 38 repräsentiert ist, in die aktuelle Ansicht 36 der virtuellen Umgebung inkludiert oder einbezogen oder integriert werden soll. Somit ergeben sich zu einem jeweiligen Zeitpunkt die zu diesem Zeitpunkt in der virtuellen Ansicht 36 oder in der virtuellen Umgebung 14 zu integrierenden ausgelösten Ereignisse mit deren darzustellenden Darstellungsmerkmalen.
Durch den Überlagerungsprozess 34 können die Ortsverteilungen 44 der Darstellungsmerkmale 46 beispielsweise durch eine Verknüpfung 50 kombiniert oder überlagert werden, so dass sich kombinierte Darstellungsmerkmale für einen Umgebungsbereich um die virtuelle Renderposition 53 in der virtuellen Umgebung ergeben. Diese ergeben ein 3D-Modell 51, welches für eine Umgebungskachel 52 um die virtuelle Renderposition 53 herum beispielsweise mittels eines Gittermodells 54 definiert, wie sichtbare Oberflächen (beispielsweise von Steinen, Bäumen, Erde, Weg) und/oder Lichtquellen aus der Perspektive der Renderposition 53 heraus aussehen sollen. Die Renderposition 53 ist die virtuelle Position des Benutzers 11 in der virtuellen Umgebung 14.
Das 3D-Modell 51 kann dann durch den Renderingprozess 35 in an sich bekannter Weise in Abhängigkeit von einer aktuellen Position des Kraftfahrzeugs und/oder der Datenbrille 12 in die aktuelle Ansicht 36 umgerechnet werden, woraus sich das Steuersignal 30 zum Ansteuern der Anzeigeeinheit 20 ergibt, also entsprechende Grafikdaten zum Festlegen von Pixelwerten der Pixel der Anzeigeeinheit 20.
3 veranschaulicht, wie eine Auslöseregel 37 als Operanden-Anordnungskette 60 mit mehreren Einzeleigenschaften 61 und logischen Operationen 62 definiert werden kann. Als ein Beispiel ist hier angegeben, dass Einzeleigenschaften 61 angeben können, dass es bei der geforderten Eigenschaft eine Kurve 40 geben soll und sich das zugeordnete Ereignis, für welches die Auslöseregel 37 gebildet ist, im ersten Drittel der Fahrtroute 18 befinden soll und die Fahrtroute einen unebenen Verlauf 42 aufweisen soll. Durch UND-Operationen und ODER-Operationen V kann dann beispielhaft definiert werden, dass als geforderte lokale Eigenschaft 39 Kurven im ersten Drittel der Fahrtroute 18 oder unebene Verläufe 42 im ersten Drittel der Fahrtroute 18 durch die Auslöseregel 37 in der Fahrtroute 18 herausgesucht werden sollen. Das erste Drittel ist natürlich nur detektierbar, wenn Routendaten zur vorausliegenden Fahrtroute 18 beispielsweise aus einem Navigationssystem bekannt sind. Die Operanden-Anordnungskette kann als eine mathematischer Graph implementiert werden.
4 veranschaulicht, wie eine Ortsverteilung 45 eines vorgegebenen Darstellungsmerkmals 46 dynamisch in Abhängigkeit von einem Fahrbahnverlauf der Fahrtroute 18 und/oder in Abhängigkeit von zumindest einer Landmarke 70 der Region 17 gestaltet werden kann. Hierbei wird davon ausgegangen, dass die lokalen Eigenschaften 22 durch die Fahrtroute 18 und deren Fahrbahnverlauf sowie die Landmarke 70 gegeben sind. Beispielsweise kann die Region 17 im Umfang oder in der Größenordnung der Umgebungskachel 52 durch die Eigenschaftsdaten beschrieben sein. Die Umgebungskachel 52 mit den Ortsinformationen zur Fahrtroute 18 und der Landmarke 70 kann mittels einer Distanztransformation 71 in eine Entfernungskarte 72 umgewandelt werden, die ausgehend von der Landmarke 70 und der Fahrtroute 18 zu unterschiedlichen Kartenpunkten oder Kartenorten 73 einen Entfernungswert 74 angeben kann. In 4 ist dies symbolisch durch Höhenlinien oder Iso-Linien angegeben, die Entfernungswerte repräsentieren sollen. Beispielsweise kann für die Fahrtroute 18 und die Landmarke 70 selbst der Wert 0 definiert sein und für den am weitesten entfernten Kartenort 73 kann der Wert definiert sein. Dann ergeben sich für alle dazwischenliegenden Kartenorte 73 Entfernungswerte 74 in einem Bereich zwischen 0 und 1.
In 4 ist beispielhaft angegeben, dass das Darstellungsmerkmal 44 ein Wald 75 sein soll, bei welchem als Ortsverteilung Positionen und/oder eine Dichte der Bäume 76 des Waldes vorgesehen sein können, wobei als Ausprägungsparameter 77 für die Bäume 76 beispielsweise deren Größe und/oder deren Dicke festgelegt sein kann. Wird nun zu dem Darstellungsmerkmal 44 und aus der Entfernungskarte 72 mittels einer beispielsweise multiplikativen Verknüpfung oder Überlagerung 78 der jeweilige Ausprägungsparameter 77 mit den Entfernungswerten 74 multipliziert, so ergeben sich skalierte Darstellungsmerkmale 44, die dann die adaptive oder dynamische Ortsverteilung 45 darstellen. So können beispielsweise die Bäume 76 umso kleiner sein, je näher sie sich an der Fahrtroute 18 und der Landmarke 70 befinden.
Die sich so ergebende adaptive oder dynamische Ortsverteilung 45 des Darstellungsmerkmals 44 wird dann als ausgewählte oder ausgelöste Ortsverteilung 46 durch den Überlagerungsprozess 34 in der beschriebenen Weise mit weiteren ausgelösten Ortsverteilungen 46 in der Verknüpfung 50 kombiniert, um beispielsweise das Gittermodell 54 des 3D-Modells 51 zu aktualisieren.
Mittels der Software zur graph-basierten Modellierung vom Zusammenspiel von orts-unabhängigen Routenintervallen, die aus statisch definierten Parametern oder aus automatischen Analysen (etwa einer Kurvenanalyse oder anderen Verfahren) gewonnen und mittels Operationen, wie logischen Verknüpfungen kombiniert werden können, lässt sich die Platzierung und maskenbasierten Filterung von virtuellen Objekten (fiktive Berge, Bäume, Geräusche) in Abhängigkeit von realen Strukturen (z.b. in der Nähe von Straßen, entlang Fahrtrouten, beeinflusst von topologischer Parametern) beschreiben. Nach anschließender maschinenbasierter Erzeugung einer Operanden-Anordnungskette lässt sich eine ortsabhängige 3D-Szene angepasst an jede beliebige Fahrtroute generieren, die sich zur Kollisionsvermeidung mit virtuellen Objektpositionen und/oder zur Umsetzung einer routenbasierten Computerspiellogik in einer VR-Szene der virtuellen Umgebung eignet. Die Operanden-Anordnungskette über Routenintervalle (z.B. über alle Rechtskurven) kann jederzeit ausgewertet werden und als Eingabe etwa wie in einem System zur Fahrzeit, aber auch zur Entwicklungszeit oder zur Testzeit in einem Simulator dienen.
Insgesamt zeigen die Beispiele, wie für Streckenintervalle einer realen Fahrstrecke eine regelbasierte Erzeugung von Ereignissen in einer virtuellen Umgebung bereitgestellt werden kann.
Bezugszeichenliste

10: Kraftfahrzeug
11: Benutzer
12: Datenbrille
13: Fahrt
14: Umgebung
15: Pferd
16: Landschaft
17: Region
18: Fahrtroute
19: Prozessorschaltung
20: Anzeigeeinheit
21: Sensorschaltung
22: lokale Eigenschaft
23: GNSS
24: Positionssignal
25: Geoposition
26: Navigationsdatenbank
27: Kartendaten
28: Umgebungssensors
29: Sensordaten
30: Steuersignal
31: Software-Schnittstelle
32: Computerprogramm
33: Filterprozess
34: Überlagerungsprozess
35: Renderingprozess
36: Ansicht
37: Auslöseregel
38: Ereignis
39: geforderte Eigenschaft
40: Kurve
41: Kreuzung
42: Verlauf
43: Auslösesignal
44: Darstellungsmerkmal
45: Ortsverteilung
46: Darstellungsmerkmale
50: Verknüpfung
51: Modell
52: Umgebungskachel
53: Renderposition
54: Gittermodell
60: Operanden-Anordnungskette
61: Einzeleigenschaften
62: Operationen
70: Landmarke
71: Distanztransformation
72: Entfernungskarte
73: Kartenort
74: Entfernungswert
75: Wald
76: Bäume
77: Ausprägungsparameter
78: Überlagerung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10724874 B2 [0003]
DE 102014019579 A1 [0004]

Claims

Verfahren zum Steuern einer Datenbrille (12) für eine routenadaptive Wiedergabe einer Abfolge von Ereignissen in einer virtuellen Umgebung (14) während einer Fahrt (13) eines Kraftfahrzeugs (10) entlang einer Fahrtroute (18), wobei die Ereignisse vor der Fahrt (13) festgelegt sind und jedes der Ereignisse (38) eine Ortsverteilung (45) eines Darstellungsmerkmals (44) der virtuellen Umgebung (14) und eine Auslöseregel (37) zum Erzeugen des Ereignisses umfasst, wobei die Auslöseregel (37) eine geforderte lokale Eigenschaft (39) der Fahrtroute (18) angibt, und bei dem Verfahren durch eine Prozessorschaltung (19) während der Fahrt (13) jeweilige aktuelle lokale Eigenschaften (22) der Fahrtroute (18) ermittelt werden und für diejenigen Auslöseregeln (37), deren jeweils geforderte lokale Eigenschaft (39) mit zumindest einer der aktuellen lokalen Eigenschaften (22) der Fahrtroute (18) übereinstimmt, deren jeweiliges Ereignis (38) in der virtuellen Umgebung (14) ausgelöst wird, indem durch einen Überlagerungsprozess (34) die Ortsverteilungen (45) der Darstellungsmerkmale (44) der gemäß den Auslöseregeln (37) darzustellenden Ereignisse (38) zu einem aktuellen 3D-Modell (51) der virtuellen Umgebung (14) überlagert werden und durch einen Renderingprozess (35) aus dem aktuellen 3D-Modell (51) durch Rendern der Darstellungsmerkmale (44) eine zum Kraftfahrzeug (10) und zur Datenbrille (12) bewegungssynchrone Ansicht (36) der virtuellen Umgebung (14) erzeugt und in der Datenbrille (12) angezeigt wird.
Verfahren nach Anspruch 1, wobei in der Prozessorschaltung (19) der Überlagerungsprozess (34) und der Renderingprozess (35) durch das 3D-Modell (51) entkoppelt sind, indem der Renderingprozess (35) solange das zuletzt fertig erzeugte 3D-Modell (51) verwendet, bis durch den Überlagerungsprozess (34) das nächste 3D-Modell (51) fertig erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das 3D-Modell (51) eine Umgebungskachel (52), die eine aktuelle Renderposition (53) in der virtuellen Umgebung (14) umgibt, beschrieben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die jeweilige geforderte lokale Eigenschaft (39) unabhängig von der Fahrtroute (18) beschrieben ist und damit für mehrere unterschiedliche Fahrtrouten (18) anwendbar ist und/oder wobei zumindest ein Darstellungsmerkmal (44) zumindest eines Ereignisses in Abhängigkeit von einem Benutzerverhalten eines Benutzers (11) der Datenbrille (12) während eines vorangegangenen Ereignisses festgelegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch zumindest einige der Auslöseregeln (37) eine relative Reihenfolge der Ereignisse (38) untereinander festgelegt ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest eine der Auslöseregeln (37) durch eine Operanden-Anordnungskette (60) gebildet ist, über welche mehrere unterschiedliche geforderte Einzeleigenschaften (61) der Fahrtroute (18) durch logische Operationen (62) verknüpft werden, wobei die Einzeleigenschaften (61) und die logischen Operationen (62) mittels frei durch einen Nutzer vorgebbaren Konfigurationsdaten konfigurierbar sind und wobei die jeweilige Auslöseregel (37) aus den Konfigurationsdaten durch einen Compiler als signalauslösendes Filter erzeugt wird, welches ein Auslösesignal (43) zum Anzeigen des zugeordneten Ereignisses ausgibt, falls die aktuellen lokalen Eigenschaften (22) die geforderte Eigenschaft (39) enthalten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch zumindest eine der Auslöseregeln (37) ein Auslöschungsereignis (38) vorgegeben wird, welches ein Ereignis (38) zumindest einer anderen Auslöseregel (37) unterdrückt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei zumindest einem Ereignis (38) die Ortsverteilung (45) dynamisch in Abhängigkeit von einem Fahrbahnverlauf (42) der Fahrtroute (18) und/oder von einer Landmarke (70) der Fahrtroute (18) erzeugt wird und hierzu Verlaufsdaten des Fahrbahnverlaufs (42) und/oder die Landmarke (70) beschreibende Kartendaten (27) mittels einer Distanztransformation (71) in eine Entfernungskarte (72) umgewandelt werden und Entfernungswerte (74) der Entfernungskarte (72) als Gewichtungswerte für zumindest einen Ausprägungsparameter (77) des jeweiligen Darstellungsmerkmals (44) angewendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in der virtuellem Umgebung (14) ein virtuelles Objekt gemäß eines Gradientenabstiegs auf die Entfernungswerte der Distanztransformation (71) auf einen Ort auf der Fahrbahn hinzu bewegt oder sich von allen der Fahrbahn zugehörigen Orten gemäß eines Gradientenaufstiegs entfernt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die tatsächlichen lokalen Eigenschaften (22) an einer Softwareschnittstelle eines Steuerframeworks der Datenbrille (12) bereitgestellt werden und die Auslöseregeln (37) in einem nutzerspezifisches Programmmodul, welches von dem Steuerframework mittels der Prozessorschaltung (19) ausgeführt wird, bereitgestellt werden, und an der Softwareschnittstelle abwechselnd unterschiedliche Programmmodule abwechselnd mittels der Prozessorschaltung (19) betrieben werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als jeweiliges Darstellungsmerkmal (44) eines der folgenden festgelegt wird: eine Topographie einer Landschaft (16), eine graphische Textur, eine Population von Wesen der virtuellen Umgebung (14), eine Geometrie eines Objekts, eine Bebauung.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Überlagerungsprozess (34) das Überlagern der Ortsverteilungen (45) eine logische und/oder algebraische Verknüpfung (50) von ortabhängigen Eigenschaftswerten der Ortsverteilungen (45) umfasst.
Prozessorschaltung (19), die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Computerprogramm (32) mit Programminstruktionen, die dazu eingerichtet sind, bei Ausführen durch eine Prozessorschaltung (19) diese zu veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Datenbrille (12) mit einer Prozessorschaltung (19) nach Anspruch 13.