EP4698972A1 - System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems - Google Patents

System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems

Info

Publication number
EP4698972A1
EP4698972A1 EP24710723.8A EP24710723A EP4698972A1 EP 4698972 A1 EP4698972 A1 EP 4698972A1 EP 24710723 A EP24710723 A EP 24710723A EP 4698972 A1 EP4698972 A1 EP 4698972A1
Authority
EP
European Patent Office
Prior art keywords
cockpit
augmented environment
environment
component
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24710723.8A
Other languages
English (en)
French (fr)
Inventor
Cagdas TEKCAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4698972A1 publication Critical patent/EP4698972A1/de
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die vorliegende Erfindung betrifft ein System (1) für die Validierung einer Komponente eines Fortbewegungsmittels. Die Erfindung betrifft weiterhin ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben eines solchen Systems (1). Das System (1) umfasst eine Bewegungsplattform (3), ein Mixed-Reality-Anzeigegerät (5) und ein Grafiksystem (7). Die Bewegungsplattform (3) weist zumindest drei Freiheitsgrade für eine dynamische Bewegungssimulation eines Cockpits (4) des Fortbewegungsmittels auf, in dem die zu validierende Komponente (2) verbaut ist. Das Mixed-Reality-Anzeigegerät (5) ist eingerichtet zum Anzeigen einer augmentierten Umgebung für einen im Cockpit (4) befindlichen Anwender (6). Das Grafiksystem (7) ist eingerichtet zum Berechnen der augmentierten Umgebung, wobei die augmentierte Umgebung derart berechnet wird, dass für den Anwender (6) zumindest seine Hände und die zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind.

Description

Beschreibung
System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems
Die vorliegende Erfindung betrifft ein System für die Validierung einer Komponente eines Fortbewegungsmittels. Die Erfindung betrifft weiterhin ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben eines solchen Systems.
Für die Absicherung bzw. Validierung von Funktionen in der Automobilentwicklung kommen oftmals dynamische Fahrsimulationen zum Einsatz. Dabei wurden in den Fahrsimulatoren zunächst überwiegend Projektoren zur Visualisierung verwendet. In den letzten Jahren hat sich eine Kombination von dynamischen Fahrsimulatoren mit Virtual-Reality-Technologien etabliert. Bei Virtual Reality (VR), auf Deutsch „virtuelle Realität“, taucht der Nutzer in eine vollständige virtuelle, computergenerierte Welt ein. Für diesen Zweck werden üblicherweise Head-Mounted- Display-Geräte (HMD) genutzt, z.B. VR-Brillen. Die Verwendung von VR-Brillen hat den Vorteil, dass in der Fahrsimulation keine Hardwarekomponenten benötigt werden. Änderungen in Design, Konzept oder Funktion sind daher schnell und virtuell realisierbar.
Allerdings haben VR-Brillen den Nachteil, dass realitätsnahe, haptische Interaktionsmöglichkeiten in der virtuellen Realität nur sehr begrenzt möglich sind. Ein Hauptproblem besteht darin, dass die jeweilige Testperson durch die VR-Brille von der realen Welt isoliert wird. Insbesondere sieht die jeweilige Testperson nicht ihre eigenen Hände, sondern lediglich virtuelle Repräsentationen der Hände. Aufgrund der Positionsungenauigkeit dieser virtuellen Repräsentationen der Hände können beispielsweise Funktionen in der Automobilentwicklung, die realitätsnahe, haptische Interaktionen zwischen Fahrer und Fahrzeug benötigen, in frühen Entwicklungsphasen in der virtuellen Realität nicht bewertet werden. Diese Funktionen werden deshalb erst in späteren Entwicklungsphasen bewertet, wobei Kosten für Änderungen und Optimierungen in diesen Entwicklungsphasen rasant steigen.
Versuchsweise wurden mehrere Handverfolgungsgeräte gleichzeitig verwendet, um die Positionsungenauigkeit der virtuellen Repräsentationen der Hände zu verringern. Allerdings konnte bisher keine ausreichende Genauigkeit erzielt werden. Auch auf Datenhandschuhen basierende Lösungsansätze ermöglichten bisher nicht die gewünschte Genauigkeit. Als Alternative zu VR-Technologien können Augmented-Reality-Technologien in Kombination mit Fahrsimulatoren verwendet werden.
Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der Wahrnehmung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Für die Darstellung von AR-Anzeigen können beispielsweise Datenbrillen genutzt werden. Eine Datenbrille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann.
Vor diesem Hintergrund beschreibt WO 2022 / 070 033 A1 eine Vorrichtung zur Erstellung und Verwaltung von Prototypen mit einer Vielzahl von physischen Aufbauten und einem digitalen Medium, das eine CPU und eine Anzeige- und Steuervorrichtung umfasst. Die physischen Aufbauten sind mittels einer Vielzahl von jeweiligen Aktuatoren beweglich und einstellbar. Die CPU ist so konfiguriert, dass sie die Aktuatoren ansteuert, um die Positionierung der physischen Aufbauten auf vorbestimmte Positionen einzustellen oder die Position der physischen Aufbauten anzuzeigen.
AU 2018 200 822 A1 beschreibt einen Simulator für ein Fahrzeug. Der Simulator nutzt Green- Screening, damit ein Nutzer seine Hände oder seinen Körper in einer augmentierten Umgebung sehen kann.
KR 2017 0 005 971 A beschreibt einen Fahrsimulator. Der Fahrsimulator verwendet keine oder nur zu einem geringen Teil physische Komponenten. Ein Gefühl für den Betrieb, eine Fahrumgebung und eine Umgebungssituation, die identisch oder ähnlich der Realität sind, werden als Augmented-Reality-Bilder bereitgestellt.
Bei den beschriebenen Lösungen kann die jeweilige Testperson ihre Hände sehen, sodass eine verbesserte haptische Interaktion zwischen der Testperson und realen Objekten möglich ist. Allerdings sind weiter verbesserte Lösungen für eine Validierung von Komponenten wünschenswert, die Interaktionen im Fährbetrieb erfordern. Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für die Validierung einer Komponente eines Fortbewegungsmittels bereitzustellen, bei der Interaktionen im Fährbetrieb erforderlich sind.
Diese Aufgabe wird durch ein System mit den Merkmalen des Anspruchs 1 , durch ein Verfahren gemäß Anspruch 9 und durch ein Computerprogramm mit Instruktionen gemäß Anspruch 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein System für die Validierung einer Komponente eines Fortbewegungsmittels eine Bewegungsplattform, ein Mixed-Reality- Anzeigegerät und ein Grafiksystem. Die Bewegungsplattform weist zumindest drei Freiheitsgrade für eine dynamische Bewegungssimulation eines Cockpits des Fortbewegungsmittels auf, in dem die zu validierende Komponente verbaut ist. Das Mixed- Reality-Anzeigegerät ist eingerichtet zum Anzeigen einer augmentierten Umgebung für einen im Cockpit befindlichen Anwender. Das Grafiksystem ist eingerichtet zum Berechnen der augmentierten Umgebung. Dabei wird die augmentierte Umgebung derart berechnet, dass für den Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Betreiben eines erfindungsgemäßen Systems für die Validierung einer Komponente eines Fortbewegungsmittels die Schritte:
- Ansteuern einer Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung;
- Berechnen einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems, wobei die augmentierte Umgebung derart berechnet wird, dass für einen Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln von Grafikdaten der augmentierten Umgebung an das Mixed- Reality- Anzeigegerät.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Betreiben eines erfindungsgemäßen Systems für die Validierung einer Komponente eines Fortbewegungsmittels veranlassen: - Ansteuern einer Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung;
- Berechnen einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems, wobei die augmentierte Umgebung derart berechnet wird, dass für einen Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln von Grafikdaten der augmentierten Umgebung an das Mixed- Reality- Anzeigegerät.
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Bei der erfindungsgemäßen Lösung werden Mixed-Reality-Technologien mit einem dynamischen Fahrsimulator kombiniert. Bei Mixed Reality (MR), auf Deutsch „gemischte Realität“, werden Elemente von Virtual Reality und Augmented Reality verbunden, d.h. die reale Welt wird mit virtuellen Umgebungen verbunden, sodass eine neue Umwelt entsteht. Der Nutzer interagiert zeitgleich mit der realen und einer virtuellen Umgebung. Auf diese Weise ist es möglich, die gewünschten realen Komponenten in die virtuelle Simulation zu integrieren. Dadurch können die Simulationen so gestaltet werden, dass die realen Komponenten gleichzeitig mit virtuellen Komponenten verwendet werden. Ein konkretes Beispiel ist eine Kombination aus einem realen Lenkrad, einem Display, dem Körper des Fahrers und einem ansonsten virtuellen Interieur. Das Mixed-Reality-Anzeigegerät kann beispielsweise als Head- Mounted-Display ausgestaltet sein. Bei der zu validierenden Komponente kann es sich sowohl um ein physisches Bauteil als auch um eine Funktionalität bzw. Software handeln, sodass beispielsweise auch die auf einem Display angezeigten Inhalte validiert werden können.
Die Kombination von Mixed Reality und dynamischer Fahrsimulation eröffnet zahlreiche neue Möglichkeiten für die Funktionenabsicherung. In einem statischen Aufbau sind die Inhalte der Bewertung deutlich begrenzt, weil viele Fahrzeugfunktionen während der Fahrt geprüft werden müssen. Das Spektrum an bewertbaren Inhalten, insbesondere in der Automobilentwicklung, wird durch die erfindungsgemäße Lösung deutlich vergrößert, da der Fahrsimulator eine Erfüllung der Fahraufgabe ermöglich. Die vorgesehene Zahl der Freiheitsgrade für die dynamische Bewegungssimulation gewährleistet dabei, dass beim Anwender keine Simulationskrankheit auftritt bzw. diese deutlich reduziert ist. Simulationskrankheit, in der Literatur oft auch als Motion-Sickness bezeichnet, tritt ohne eine geeignete Bewegungssimulation häufig auf, weil der Anwender in der Simulation fährt, sich sein Körper aber in der realen Welt nicht bewegt. Ein großer Vorteil gegenüber dynamischen Fahrsimulatoren, die VR-Technologien nutzen, besteht darin, dass durch die direkte haptische Interaktion mit Bedienelementen ein deutlich größeres Spektrum an bewertbaren Inhalten z.B. in der Automobilentwicklung ermöglicht wird.
Gemäß einem Aspekt der Erfindung ist die Bewegungsplattform ein Hexapod. Ein Hexapod zeichnet sich durch sechs Freiheitgrade und eine hohe Dynamik aus. Diese ermöglichen eine sehr realitätsnahe Fahrsimulation, wodurch das Auftreten von Simulationskrankheit weitgehend vermieden wird. Zugleich wird ein ausgeprägtes Gesamterlebnis für den Anwender und damit eine sehr gute Bewertbarkeit der zu validierenden Komponente bzw. ihrer Funktion erzielt.
Gemäß einem Aspekt der Erfindung ist das Cockpit farblich präpariert und das Grafiksystem ist eingerichtet, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen. Für die Anwendung von Chroma-Key-Techniken kann das Cockpit ganz oder teilweise mit einer geeigneten Farbe überzogen werden. Alternativ können die Bauteile des Cockpits, die in der augmentierten Umgebung durch eine virtuelle Umgebung ersetzt werden sollen, direkt in der gewählten Farbe hergestellt werden. Eine weitere Möglichkeit besteht darin, dass Teile des Cockpits durch entsprechend gefärbte Abdeckungen verdeckt werden. Die am besten geeigneten Farben für Chroma-Key-Techniken sind je nach menschlicher Hautfarbe Grün- und Blautöne. Das Mixed-Reality-Anzeigegerät zeigt die in der gewählten Farbe ausgeführten, bemalten oder abgedeckten Teile des Cockpits als virtuelle Inhalte. Die Bedienelemente, die nicht in dieser Farbe ausgeführt oder bemalt bzw. abgedeckt sind, z.B. das Lenkrad und Touchdisplays, werden hingegen real angezeigt.
Gemäß einem Aspekt der Erfindung weist das Mixed-Reality-Anzeigegerät einen Tiefensensor auf und das Grafiksystem ist eingerichtet, die augmentierte Umgebung unter Verwendung von Tiefendaten des Tiefensensors zu berechnen. Beispielsweise kann der Tiefensensor ein LIDAR-Sensor sein. Der Tiefensensor ist dabei vorzugsweise in das Mixed-Reality- Anzeigegerät eingebaut. Die Nutzung der Tiefendaten ermöglicht es, dass Objekte innerhalb eines bestimmten, vom Anwender bevorzugten Entfernungsbereichs als real angesehen und somit nicht durch eine virtuelle Umgebung ersetzt werden. Vorteilhaft ist dabei insbesondere, dass keine umfangreiche Vorbereitung des Cockpits erforderlich ist. Gemäß einem Aspekt der Erfindung ist das Grafiksystem eingerichtet, die augmentierte Umgebung unter Verwendung einer virtuellen Maske zu berechnen. Bei einer virtuellen Maske können reale und virtuelle Inhalte mit Hilfe von virtuellen Grenzen getrennt werden, die in verschiedenen zwei- oder dreidimensionalen Formen bestimmt werden können. Auch bei dieser Lösung ist keine umfangreiche Vorbereitung des Cockpits erforderlich.
Gemäß einem Aspekt der Erfindung weist das System ein Trackingsystem für ein Tracking des Cockpits auf. Dabei kann das Trackingsystem ein aktives oder passives Trackingsystem sein oder eingerichtet sein, eine Pose des Cockpits aus Bewegungsdaten der Bewegungsplattform zu bestimmen. Ein solches Trackingsystem ist insbesondere dann vorteilhaft, wenn virtuellen Masken verwendet werden. Um virtuelle Masken im dynamischen Simulator zu verwenden, sollten diese sich mit dem Simulator mitbewegen.
Die Vorbereitung des Cockpits für die Verwendung von Chroma-Key-Techniken erfordert einen gewissen Aufwand. Dies ist insbesondere der Fall, wenn im dynamischen Fahrsimulator verschiedene Fahrzeuge validiert werden, da in diesem Fall die Komponenten des Cockpits jeweils in neue Positionen verfahren werden müssen. Dies kann dazu führen, dass die Anbringung einer Abdeckung für die Chroma-Key-Techniken aufgrund des unterschiedlichen Aufbaus nicht möglich ist. Es kann in solchen Fällen vorteilhaft sein, die oben beschriebenen Ansätze zu kombinieren. Auf diese Weise kann es für die Chroma-Key-Techniken ausreichend sein, nur einen begrenzten Teil des Cockpits farblich zu präparieren.
Besonders vorteilhaft wird ein erfindungsgemäßes System für die Validierung einer Komponente eines Kraftfahrzeugs eingesetzt, insbesondere eines Personenkraftwagens oder eines Nutzfahrzeugs. Durch die erfindungsgemäße Lösung können Fahrzeugfunktionen, z.B. Funktionen des autonomen Fahrens, bereits in sehr frühen Entwicklungsphasen ohne physische Prototypen validiert und entwickelt werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
Fig. 1 zeigt schematisch ein System für die Validierung einer Komponente eines Fortbewegungsmittels;
Fig. 2 zeigt schematisch ein Verfahren zum Betreiben des Systems aus Fig. 1 ; Fig. 3 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung;
Fig. 4 zeigt schematisch ein farblich präpariertes Cockpit;
Fig. 5 zeigt schematisch die Verwendung eines Tiefensensors; und
Fig. 6 zeigt schematisch die Verwendung von virtuellen Masken.
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
Fig. 1 zeigt schematisch ein System 1 für die Validierung einer Komponente 2 eines Fortbewegungsmittels. Das System 1 weist eine Bewegungsplattform 3 mit zumindest drei Freiheitsgraden auf. Im dargestellten Beispiel handelt es sich bei der Bewegungsplattform 3 um einen Hexapod mit sechs Freiheitsgraden. Bei Bedarf kann der Hexapod zusätzlich auf einer hier nicht dargestellten Rotationsplattform montiert sein. Die Bewegungsplattform 3 ermöglicht eine dynamische Bewegungssimulation eines auf der Bewegungsplattform 3 angeordneten Cockpits 4 des Fortbewegungsmittels, in dem die zu validierende Komponente 2 verbaut ist. Das Cockpit 4 ist vorzugsweise anpassbar, um für unterschiedliche Fortbewegungsmittel jeweils die gewünschte Ergonomie einstellen zu können. Das Fortbewegungsmittel ist im dargestellten Beispiel ein Kraftfahrzeug, die zu validierende Komponente 2 ein Lenkrad des Kraftfahrzeugs. Im Cockpit 4 befindet sich ein Anwender 6, der ein Mixed-Reality-Anzeigegerät 5 trägt. Das Mixed-Reality-Anzeigegerät 5 zeigt dem Anwender 6 eine augmentierte Umgebung an und kann beispielsweise als Head-Mounted-Display ausgestaltet sein. Ein Grafiksystem 7, hier als Bestandteil eines Steuerrechners 9 dargestellt, dient zum Berechnen der augmentierten Umgebung. Das Grafiksystem 7 ist dabei eingerichtet, die augmentierte Umgebung derart zu berechnen, dass für den Anwender 6 zumindest seine Hände und die zu validierende Komponente 2 real innerhalb einer virtuellen Umgebung wahrnehmbar sind. Zu diesem Zweck kann das Cockpit 4 farblich präpariert sein. Das Grafiksystem 7 ist in diesem Fall eingerichtet, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen. Alternativ oder zusätzlich kann das Mixed-Reality-Anzeigegerät 5 einen hier nicht dargestellten Tiefensensor aufweisen, z.B. einen LIDAR-Sensor. Das Grafiksystem 7 ist in diesem Fall eingerichtet, die augmentierte Umgebung unter Verwendung von Tiefendaten des Tiefensensors zu berechnen. Schließlich besteht auch die Möglichkeit, die augmentierte Umgebung unter Verwendung virtueller Masken zu berechnen. Dazu ist es vorteilhaft, wenn durch ein Trackingsystem 8 ein Tracking des Cockpits 4 erfolgt, damit sich die virtuellen Masken mit dem Cockpit 4 bzw. der Bewegungsplattform 3 mitbewegen. Das Trackingsystem 8 kann als aktives oder passives Trackingsystem 8 ausgestaltet sein. Alternativ ist es möglich, die Pose des Cockpits 4 aus Bewegungsdaten der Bewegungsplattform 3 zu bestimmen.
Fig. 2 zeigt schematisch ein Verfahren zum Betreiben des Systems aus Fig. 1. Bei dem Verfahren wird eine Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung angesteuert 10. Zudem wird eine augmentierte Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems berechnet 11. Die augmentierte Umgebung wird dabei derart berechnet 11 , dass für einen Anwender zumindest seine Hände und eine zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind. Zu diesem Zweck kann ein Cockpit des Systems farblich präpariert sein. Die augmentierte Umgebung kann in diesem Fall unter Verwendung einer Chroma-Key-Technik berechnet werden 11. Alternativ oder zusätzlich kann das Mixed-Reality-Anzeigegerät einen Tiefensensor aufweisen, z.B. einen LIDAR-Sensor. In diesem Fall kann die augmentierte Umgebung unter Verwendung von Tiefendaten des Tiefensensors berechnet werden 11. Schließlich besteht auch die Möglichkeit, die augmentierte Umgebung unter Verwendung einer virtuellen Maske zu berechnen 11. Dazu ist es vorteilhaft, wenn durch ein Trackingsystem ein Tracking des Cockpits erfolgt, damit sich die virtuellen Masken mit dem Cockpit bzw. der Bewegungsplattform mitbewegen. Die Trackingdaten des Trackingsystems werden dann für die Berechnung der augmentierten Umgebung herangezogen. Die verschiedenen Ansätze können dabei auch kombiniert werden. Die aus der Berechnung resultierenden Grafikdaten der augmentierten Umgebung werden schließlich an das Mixed-Reality-Anzeigegerät übermittelt 12 und von diesem angezeigt 13.
Fig. 3 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung. Das System 1 umfasst eine Bewegungsplattform 3 mit dem darauf angeordneten Cockpit 4, ein Mixed-Reality- Anzeigegerät 5 und ein Grafiksystem 7. Das Grafiksystem 7 kann als eigenständiges System oder auch als Bestandteil eines Steuerrechners 9 ausgestaltet sein und generiert Grafikdaten GD für das Mixed-Reality-Anzeigegerät 5. Der Steuerrechner 9 generiert Steuerdaten SD für die Bewegung der Bewegungsplattform 3. Das Mixed-Reality-Anzeigegerät 5 kann einen Tiefensensor 50 aufweisen, der Tiefendaten TD für das Grafiksystem 7 bereitstellt. Das System 1 kann des Weiteren ein Trackingsystem 8 für ein Tracking des Cockpits 4 umfassen, das Trackingdaten TR zur Verfügung stellt. Alternativ oder zusätzlich kann der Steuerrechner 9 Bewegungsdaten BD der Bewegungsplattform 3 für das Grafiksystem 7 bereitstellen. Das Grafiksystem 7 nutzt die bereitgestellten Daten BD, TD, TR bei der Berechnung einer augmentierten Umgebung, die vom Mixed-Reality-Anzeigegerät 5 angezeigt werden soll.
Fig. 4 zeigt schematisch ein farblich präpariertes Cockpit 4. Damit die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik berechnet werden kann, ist das Cockpit im dargestellten Beispiel teilweise mit einer geeigneten Farbe überzogen, was in Fig. 4 durch eine Schraffur angedeutet ist. Alternativ können die Bauteile des Cockpits 4, die in der augmentierten Umgebung durch eine virtuelle Umgebung ersetzt werden sollen, direkt in der gewählten Farbe hergestellt werden. Zudem sind Teile des Cockpits 4 im dargestellten Beispiel durch eine entsprechend gefärbte Abdeckung FA verdeckt. Die am besten geeigneten Farben für das Chroma-Key-Techniken sind je nach menschlicher Hautfarbe Grün- und Blautöne. Das Mixed-Reality-Anzeigegerät 5 zeigt die in der gewählten Farbe ausgeführten oder bemalten Teile bzw. die abgedeckten Teile des Cockpits 4 als virtuelle Inhalte. Andere Komponenten 2, die nicht in dieser Farbe ausgeführt, bemalt oder abgedeckt sind, z.B. das Lenkrad und Touchdisplays, werden hingegen real angezeigt.
Fig. 5 zeigt schematisch die Verwendung eines Tiefensensors 50 des Mixed-Reality- Anzeigegeräts 5. Bei diesem Ansatz wird ein Tiefenbereich TB definiert, der für den Anwender 6 real sichtbar ist. Zusätzlich ist das Cockpit 4 im dargestellten Beispiel wiederum farblich präpariert. Die Vorbereitung des Cockpits 4 für die Verwendung von Chroma-Key-Techniken erfordert einen gewissen Aufwand. Durch die Verwendung des definierten Tiefenbereichs TB ist es ausreichend, für die Chroma-Key-Techniken nur einen begrenzten Teil des Cockpits farblich zu präparieren. Der erforderliche Aufwand kann somit deutlich reduziert werden.
Fig. 6 zeigt schematisch die Verwendung von virtuellen Masken VM bei der Berechnung der augmentierten Umgebung. Für bestimmte Bereiche werden virtuelle Masken VM definiert. Diese erlauben es, reale und virtuelle Inhalte mit Hilfe von virtuellen Grenzen zu trennen. Die Grenzen können dabei in verschiedenen zwei- oder dreidimensionalen Formen bestimmt werden. Durch die Verwendung virtueller Masken VM kann der Aufwand für eine farbliche Präparierung des Cockpits 4 reduziert werden. Die Präparierung kann sich auch diejenigen Bereiche des Cockpits 4 beschränken, die nicht von einer virtuellen Maske VM verdeckt sind. Bezugszeichenliste
1 System
2 Komponente
3 Beweg u n gs p I attfo rm
4 Cockpit
5 Mixed-Reality-Anzeigegerät
50 Tiefensensor
6 Anwender
7 Grafiksystem
8 Trackingsystem
9 Steuerrechner
10 Ansteuern einer Bewegungsplattform
11 Berechnen einer augmentierten Umgebung
12 Übermitteln von Grafikdaten
13 Anzeigen der augmentierten Umgebung
BD Bewegungsdaten
FA Farbige Abdeckung
GD Grafikdaten
SD Steuerdaten
TB Tiefenbereich
TD Tiefendaten
TR Trackingdaten
VM Virtuelle Maske

Claims

Patentansprüche
1. System (1) für die Validierung einer Komponente (2) eines Fortbewegungsmittels, mit
- einer Bewegungsplattform (3) mit zumindest drei Freiheitsgraden für eine dynamische Bewegungssimulation eines Cockpits (4) des Fortbewegungsmittels, in dem die zu validierende Komponente (2) verbaut ist;
- einem Mixed-Reality-Anzeigegerät (5) zum Anzeigen einer augmentierten Umgebung für einen im Cockpit (4) befindlichen Anwender (6); und
- einem Grafiksystem (7) zum Berechnen (11) der augmentierten Umgebung, wobei das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung derart zu berechnen (11), dass für den Anwender (6) zumindest seine Hände und die zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind.
2. System (1) gemäß Anspruch 1, wobei die Bewegungsplattform (3) ein Hexapod ist.
3. System (1) gemäß Anspruch 1 oder 2, wobei das Cockpit (4) farblich präpariert ist und das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen (11).
4. System (1) gemäß Anspruch 3, wobei das Mixed-Reality-Anzeigegerät (5) einen Tiefensensor (50) aufweist und das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung von Tiefendaten (TD) des Tiefensensors (50) zu berechnen (11).
5. System (1) gemäß Anspruch 4, wobei der Tiefensensor (50) ein LIDAR-Sensor ist.
6. System (1) gemäß einem der Ansprüche 3 bis 5, wobei das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung einer virtuellen Maske (VM) zu berechnen (11).
7. System (1) gemäß Anspruch 6, mit einem Trackingsystem (8) für ein Tracking des Cockpits (4).
8. System (1) gemäß Anspruch 7, wobei das Trackingsystem (8) ein aktives oder passives Trackingsystem (8) ist oder eingerichtet ist, eine Pose des Cockpits (4) aus Bewegungsdaten (BD) der Bewegungsplattform (3) zu bestimmen.
9. Verfahren zum Betreiben eines Systems (1) gemäß einem der Ansprüche 1 bis 8, mit den Schritten:
- Ansteuern (10) einer Bewegungsplattform (3) des Systems (1) entsprechend einer zu simulierenden Bewegung;
- Berechnen (11) einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality- Anzeigegerät (5) des Systems (1), wobei die augmentierte Umgebung derart berechnet wird (11), dass für einen Anwender (6) zumindest seine Hände und eine zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln (12) von Grafikdaten (GD) der augmentierten Umgebung an das Mixed- Reality-Anzeigegerät (5).
10. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte des Verfahrens gemäß Anspruch 9 zum Betreiben eines Systems (1) gemäß einem der Ansprüche 1 bis 8 veranlassen.
EP24710723.8A 2023-04-18 2024-03-08 System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems Pending EP4698972A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023203522.7A DE102023203522B4 (de) 2023-04-18 2023-04-18 System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems
PCT/EP2024/056183 WO2024217772A1 (de) 2023-04-18 2024-03-08 System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems

Publications (1)

Publication Number Publication Date
EP4698972A1 true EP4698972A1 (de) 2026-02-25

Family

ID=90364021

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24710723.8A Pending EP4698972A1 (de) 2023-04-18 2024-03-08 System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems

Country Status (4)

Country Link
EP (1) EP4698972A1 (de)
CN (1) CN121014023A (de)
DE (1) DE102023203522B4 (de)
WO (1) WO2024217772A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
SG192864A1 (en) * 2011-02-22 2013-09-30 Rheinmetall Defence Elect Gmbh Simulator for training a team, in particular for training a helicopter crew
DE102015103735A1 (de) * 2015-03-13 2016-09-15 Airbus Defence and Space GmbH Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
KR102097180B1 (ko) 2015-07-07 2020-04-09 임진국 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
WO2018141023A1 (en) 2017-02-02 2018-08-09 Advancing Projects Pty Ltd A vehicle driving simulator for training or use of automotive car drivers or mobile devices controlled or occupied by humans
US10565799B2 (en) * 2018-06-21 2020-02-18 Lockheed Martin Corporation Automatic cockpit identification and augmented image placement
CN209044930U (zh) * 2018-07-21 2019-06-28 河南黄烨科技有限公司 基于混合现实和多自由度运动平台的特种车辆驾驶训练模拟系统
CN116420180A (zh) 2020-09-30 2023-07-11 观作坊股份有限公司 集成有物理和虚拟工具的用于创建和管理风格原型的设备
CN112669671B (zh) * 2020-12-28 2022-10-25 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统

Also Published As

Publication number Publication date
DE102023203522B4 (de) 2025-03-20
DE102023203522A1 (de) 2024-10-24
CN121014023A (zh) 2025-11-25
WO2024217772A1 (de) 2024-10-24

Similar Documents

Publication Publication Date Title
DE102012023925A1 (de) Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
EP4028276B1 (de) Verfahren zum betreiben einer virtual-reality-brille in einem fahrzeug sowie virtual-reality-system mit einer virtual-reality-brille und einem fahrzeug
DE102014208352A1 (de) System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings
AT525369B1 (de) Testumfeld für urbane Mensch-Maschine Interaktion
AT516409B1 (de) Simulator
DE102009029318A1 (de) Verfahren und Vorrichtung zur Erprobung einer Fahrzeugkonstruktion
WO2019063157A1 (de) Verfahren zum steuern einer sitzvorrichtung eines kraftfahrzeugs bei betrieb einer virtuellen-realität-anwendung sowie sitzvorrichtung
WO2016165799A1 (de) Verfahren zum betreiben einer virtual-reality-brille und system mit einer virtual-reality-brille
WO2024074308A1 (de) Simulationssystem zum gefechtstraining von besatzungsmitgliedern eines militärischen wasserfahrzeugs
DE102018206657A1 (de) Verfahren und Steuervorrichtung zum Betreiben eines Kraftfahrzeugs
DE102015007246B4 (de) Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem für ein Kraftfahrzeug
DE102023203522B4 (de) System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems
DE102013224510B4 (de) Motion Cueing zur Fahrdynamikbewertung
DE102021111104B4 (de) Verfahren und Steuereinheit zum Steuern eines überbestimmten Systems, System und Luftfahrzeug
DE202012011693U1 (de) Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
DE112021007780T5 (de) Fahrzeugentwicklungs-unterstützungssystem
DE102019131740A1 (de) Verfahren und Anzeigevorrichtung zur Erzeugung eines Tiefeneffekts in der Perspektive eines Beobachters auf einem flachen Anzeigemedium sowie Kraftfahrzeug
DE102022206536B3 (de) Simulationssystem zum Trainieren von Besatzungsmitgliedern eines militärischen Wasserfahrzeugs
DE102024110143B4 (de) Verfahren und Vorrichtung zum Simulieren eines Kraftfahrzeuges
DE102019218109A1 (de) Unterseebootsimulator mit einer anpassbaren Trainingsumgebung
DE102024118595A1 (de) Simulieren eines vorbestimmten Kraftfahrzeugs
WO2019086222A1 (de) Verfahren und vorrichtung zur nutzung einer virtual-reality-einrichtung
DE102025147427A1 (de) Autonomes Fahrzeug und computerimplementiertes Verfahren zum Simulieren eines virtuellen Fahrbetriebs in dem autonomen Fahrzeug
DE102024109106A1 (de) Visualisierungsanordnung zur Generierung und Anzeige von virtuellen Objekten sowie Verfahren
DE102023133913A1 (de) Verfahren zur Durchführung einer Fahrt mit einem realen Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20251118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR