EP4698972A1 - System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems - Google Patents
System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systemsInfo
- Publication number
- EP4698972A1 EP4698972A1 EP24710723.8A EP24710723A EP4698972A1 EP 4698972 A1 EP4698972 A1 EP 4698972A1 EP 24710723 A EP24710723 A EP 24710723A EP 4698972 A1 EP4698972 A1 EP 4698972A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- cockpit
- augmented environment
- environment
- component
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Die vorliegende Erfindung betrifft ein System (1) für die Validierung einer Komponente eines Fortbewegungsmittels. Die Erfindung betrifft weiterhin ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben eines solchen Systems (1). Das System (1) umfasst eine Bewegungsplattform (3), ein Mixed-Reality-Anzeigegerät (5) und ein Grafiksystem (7). Die Bewegungsplattform (3) weist zumindest drei Freiheitsgrade für eine dynamische Bewegungssimulation eines Cockpits (4) des Fortbewegungsmittels auf, in dem die zu validierende Komponente (2) verbaut ist. Das Mixed-Reality-Anzeigegerät (5) ist eingerichtet zum Anzeigen einer augmentierten Umgebung für einen im Cockpit (4) befindlichen Anwender (6). Das Grafiksystem (7) ist eingerichtet zum Berechnen der augmentierten Umgebung, wobei die augmentierte Umgebung derart berechnet wird, dass für den Anwender (6) zumindest seine Hände und die zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind.
Description
Beschreibung
System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems
Die vorliegende Erfindung betrifft ein System für die Validierung einer Komponente eines Fortbewegungsmittels. Die Erfindung betrifft weiterhin ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben eines solchen Systems.
Für die Absicherung bzw. Validierung von Funktionen in der Automobilentwicklung kommen oftmals dynamische Fahrsimulationen zum Einsatz. Dabei wurden in den Fahrsimulatoren zunächst überwiegend Projektoren zur Visualisierung verwendet. In den letzten Jahren hat sich eine Kombination von dynamischen Fahrsimulatoren mit Virtual-Reality-Technologien etabliert. Bei Virtual Reality (VR), auf Deutsch „virtuelle Realität“, taucht der Nutzer in eine vollständige virtuelle, computergenerierte Welt ein. Für diesen Zweck werden üblicherweise Head-Mounted- Display-Geräte (HMD) genutzt, z.B. VR-Brillen. Die Verwendung von VR-Brillen hat den Vorteil, dass in der Fahrsimulation keine Hardwarekomponenten benötigt werden. Änderungen in Design, Konzept oder Funktion sind daher schnell und virtuell realisierbar.
Allerdings haben VR-Brillen den Nachteil, dass realitätsnahe, haptische Interaktionsmöglichkeiten in der virtuellen Realität nur sehr begrenzt möglich sind. Ein Hauptproblem besteht darin, dass die jeweilige Testperson durch die VR-Brille von der realen Welt isoliert wird. Insbesondere sieht die jeweilige Testperson nicht ihre eigenen Hände, sondern lediglich virtuelle Repräsentationen der Hände. Aufgrund der Positionsungenauigkeit dieser virtuellen Repräsentationen der Hände können beispielsweise Funktionen in der Automobilentwicklung, die realitätsnahe, haptische Interaktionen zwischen Fahrer und Fahrzeug benötigen, in frühen Entwicklungsphasen in der virtuellen Realität nicht bewertet werden. Diese Funktionen werden deshalb erst in späteren Entwicklungsphasen bewertet, wobei Kosten für Änderungen und Optimierungen in diesen Entwicklungsphasen rasant steigen.
Versuchsweise wurden mehrere Handverfolgungsgeräte gleichzeitig verwendet, um die Positionsungenauigkeit der virtuellen Repräsentationen der Hände zu verringern. Allerdings konnte bisher keine ausreichende Genauigkeit erzielt werden. Auch auf Datenhandschuhen basierende Lösungsansätze ermöglichten bisher nicht die gewünschte Genauigkeit.
Als Alternative zu VR-Technologien können Augmented-Reality-Technologien in Kombination mit Fahrsimulatoren verwendet werden.
Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der Wahrnehmung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Für die Darstellung von AR-Anzeigen können beispielsweise Datenbrillen genutzt werden. Eine Datenbrille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann.
Vor diesem Hintergrund beschreibt WO 2022 / 070 033 A1 eine Vorrichtung zur Erstellung und Verwaltung von Prototypen mit einer Vielzahl von physischen Aufbauten und einem digitalen Medium, das eine CPU und eine Anzeige- und Steuervorrichtung umfasst. Die physischen Aufbauten sind mittels einer Vielzahl von jeweiligen Aktuatoren beweglich und einstellbar. Die CPU ist so konfiguriert, dass sie die Aktuatoren ansteuert, um die Positionierung der physischen Aufbauten auf vorbestimmte Positionen einzustellen oder die Position der physischen Aufbauten anzuzeigen.
AU 2018 200 822 A1 beschreibt einen Simulator für ein Fahrzeug. Der Simulator nutzt Green- Screening, damit ein Nutzer seine Hände oder seinen Körper in einer augmentierten Umgebung sehen kann.
KR 2017 0 005 971 A beschreibt einen Fahrsimulator. Der Fahrsimulator verwendet keine oder nur zu einem geringen Teil physische Komponenten. Ein Gefühl für den Betrieb, eine Fahrumgebung und eine Umgebungssituation, die identisch oder ähnlich der Realität sind, werden als Augmented-Reality-Bilder bereitgestellt.
Bei den beschriebenen Lösungen kann die jeweilige Testperson ihre Hände sehen, sodass eine verbesserte haptische Interaktion zwischen der Testperson und realen Objekten möglich ist. Allerdings sind weiter verbesserte Lösungen für eine Validierung von Komponenten wünschenswert, die Interaktionen im Fährbetrieb erfordern.
Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für die Validierung einer Komponente eines Fortbewegungsmittels bereitzustellen, bei der Interaktionen im Fährbetrieb erforderlich sind.
Diese Aufgabe wird durch ein System mit den Merkmalen des Anspruchs 1 , durch ein Verfahren gemäß Anspruch 9 und durch ein Computerprogramm mit Instruktionen gemäß Anspruch 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein System für die Validierung einer Komponente eines Fortbewegungsmittels eine Bewegungsplattform, ein Mixed-Reality- Anzeigegerät und ein Grafiksystem. Die Bewegungsplattform weist zumindest drei Freiheitsgrade für eine dynamische Bewegungssimulation eines Cockpits des Fortbewegungsmittels auf, in dem die zu validierende Komponente verbaut ist. Das Mixed- Reality-Anzeigegerät ist eingerichtet zum Anzeigen einer augmentierten Umgebung für einen im Cockpit befindlichen Anwender. Das Grafiksystem ist eingerichtet zum Berechnen der augmentierten Umgebung. Dabei wird die augmentierte Umgebung derart berechnet, dass für den Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Betreiben eines erfindungsgemäßen Systems für die Validierung einer Komponente eines Fortbewegungsmittels die Schritte:
- Ansteuern einer Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung;
- Berechnen einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems, wobei die augmentierte Umgebung derart berechnet wird, dass für einen Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln von Grafikdaten der augmentierten Umgebung an das Mixed- Reality- Anzeigegerät.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Betreiben eines erfindungsgemäßen Systems für die Validierung einer Komponente eines Fortbewegungsmittels veranlassen:
- Ansteuern einer Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung;
- Berechnen einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems, wobei die augmentierte Umgebung derart berechnet wird, dass für einen Anwender zumindest seine Hände und die zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln von Grafikdaten der augmentierten Umgebung an das Mixed- Reality- Anzeigegerät.
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Bei der erfindungsgemäßen Lösung werden Mixed-Reality-Technologien mit einem dynamischen Fahrsimulator kombiniert. Bei Mixed Reality (MR), auf Deutsch „gemischte Realität“, werden Elemente von Virtual Reality und Augmented Reality verbunden, d.h. die reale Welt wird mit virtuellen Umgebungen verbunden, sodass eine neue Umwelt entsteht. Der Nutzer interagiert zeitgleich mit der realen und einer virtuellen Umgebung. Auf diese Weise ist es möglich, die gewünschten realen Komponenten in die virtuelle Simulation zu integrieren. Dadurch können die Simulationen so gestaltet werden, dass die realen Komponenten gleichzeitig mit virtuellen Komponenten verwendet werden. Ein konkretes Beispiel ist eine Kombination aus einem realen Lenkrad, einem Display, dem Körper des Fahrers und einem ansonsten virtuellen Interieur. Das Mixed-Reality-Anzeigegerät kann beispielsweise als Head- Mounted-Display ausgestaltet sein. Bei der zu validierenden Komponente kann es sich sowohl um ein physisches Bauteil als auch um eine Funktionalität bzw. Software handeln, sodass beispielsweise auch die auf einem Display angezeigten Inhalte validiert werden können.
Die Kombination von Mixed Reality und dynamischer Fahrsimulation eröffnet zahlreiche neue Möglichkeiten für die Funktionenabsicherung. In einem statischen Aufbau sind die Inhalte der Bewertung deutlich begrenzt, weil viele Fahrzeugfunktionen während der Fahrt geprüft werden müssen. Das Spektrum an bewertbaren Inhalten, insbesondere in der Automobilentwicklung, wird durch die erfindungsgemäße Lösung deutlich vergrößert, da der Fahrsimulator eine Erfüllung der Fahraufgabe ermöglich. Die vorgesehene Zahl der Freiheitsgrade für die dynamische Bewegungssimulation gewährleistet dabei, dass beim Anwender keine
Simulationskrankheit auftritt bzw. diese deutlich reduziert ist. Simulationskrankheit, in der Literatur oft auch als Motion-Sickness bezeichnet, tritt ohne eine geeignete Bewegungssimulation häufig auf, weil der Anwender in der Simulation fährt, sich sein Körper aber in der realen Welt nicht bewegt. Ein großer Vorteil gegenüber dynamischen Fahrsimulatoren, die VR-Technologien nutzen, besteht darin, dass durch die direkte haptische Interaktion mit Bedienelementen ein deutlich größeres Spektrum an bewertbaren Inhalten z.B. in der Automobilentwicklung ermöglicht wird.
Gemäß einem Aspekt der Erfindung ist die Bewegungsplattform ein Hexapod. Ein Hexapod zeichnet sich durch sechs Freiheitgrade und eine hohe Dynamik aus. Diese ermöglichen eine sehr realitätsnahe Fahrsimulation, wodurch das Auftreten von Simulationskrankheit weitgehend vermieden wird. Zugleich wird ein ausgeprägtes Gesamterlebnis für den Anwender und damit eine sehr gute Bewertbarkeit der zu validierenden Komponente bzw. ihrer Funktion erzielt.
Gemäß einem Aspekt der Erfindung ist das Cockpit farblich präpariert und das Grafiksystem ist eingerichtet, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen. Für die Anwendung von Chroma-Key-Techniken kann das Cockpit ganz oder teilweise mit einer geeigneten Farbe überzogen werden. Alternativ können die Bauteile des Cockpits, die in der augmentierten Umgebung durch eine virtuelle Umgebung ersetzt werden sollen, direkt in der gewählten Farbe hergestellt werden. Eine weitere Möglichkeit besteht darin, dass Teile des Cockpits durch entsprechend gefärbte Abdeckungen verdeckt werden. Die am besten geeigneten Farben für Chroma-Key-Techniken sind je nach menschlicher Hautfarbe Grün- und Blautöne. Das Mixed-Reality-Anzeigegerät zeigt die in der gewählten Farbe ausgeführten, bemalten oder abgedeckten Teile des Cockpits als virtuelle Inhalte. Die Bedienelemente, die nicht in dieser Farbe ausgeführt oder bemalt bzw. abgedeckt sind, z.B. das Lenkrad und Touchdisplays, werden hingegen real angezeigt.
Gemäß einem Aspekt der Erfindung weist das Mixed-Reality-Anzeigegerät einen Tiefensensor auf und das Grafiksystem ist eingerichtet, die augmentierte Umgebung unter Verwendung von Tiefendaten des Tiefensensors zu berechnen. Beispielsweise kann der Tiefensensor ein LIDAR-Sensor sein. Der Tiefensensor ist dabei vorzugsweise in das Mixed-Reality- Anzeigegerät eingebaut. Die Nutzung der Tiefendaten ermöglicht es, dass Objekte innerhalb eines bestimmten, vom Anwender bevorzugten Entfernungsbereichs als real angesehen und somit nicht durch eine virtuelle Umgebung ersetzt werden. Vorteilhaft ist dabei insbesondere, dass keine umfangreiche Vorbereitung des Cockpits erforderlich ist.
Gemäß einem Aspekt der Erfindung ist das Grafiksystem eingerichtet, die augmentierte Umgebung unter Verwendung einer virtuellen Maske zu berechnen. Bei einer virtuellen Maske können reale und virtuelle Inhalte mit Hilfe von virtuellen Grenzen getrennt werden, die in verschiedenen zwei- oder dreidimensionalen Formen bestimmt werden können. Auch bei dieser Lösung ist keine umfangreiche Vorbereitung des Cockpits erforderlich.
Gemäß einem Aspekt der Erfindung weist das System ein Trackingsystem für ein Tracking des Cockpits auf. Dabei kann das Trackingsystem ein aktives oder passives Trackingsystem sein oder eingerichtet sein, eine Pose des Cockpits aus Bewegungsdaten der Bewegungsplattform zu bestimmen. Ein solches Trackingsystem ist insbesondere dann vorteilhaft, wenn virtuellen Masken verwendet werden. Um virtuelle Masken im dynamischen Simulator zu verwenden, sollten diese sich mit dem Simulator mitbewegen.
Die Vorbereitung des Cockpits für die Verwendung von Chroma-Key-Techniken erfordert einen gewissen Aufwand. Dies ist insbesondere der Fall, wenn im dynamischen Fahrsimulator verschiedene Fahrzeuge validiert werden, da in diesem Fall die Komponenten des Cockpits jeweils in neue Positionen verfahren werden müssen. Dies kann dazu führen, dass die Anbringung einer Abdeckung für die Chroma-Key-Techniken aufgrund des unterschiedlichen Aufbaus nicht möglich ist. Es kann in solchen Fällen vorteilhaft sein, die oben beschriebenen Ansätze zu kombinieren. Auf diese Weise kann es für die Chroma-Key-Techniken ausreichend sein, nur einen begrenzten Teil des Cockpits farblich zu präparieren.
Besonders vorteilhaft wird ein erfindungsgemäßes System für die Validierung einer Komponente eines Kraftfahrzeugs eingesetzt, insbesondere eines Personenkraftwagens oder eines Nutzfahrzeugs. Durch die erfindungsgemäße Lösung können Fahrzeugfunktionen, z.B. Funktionen des autonomen Fahrens, bereits in sehr frühen Entwicklungsphasen ohne physische Prototypen validiert und entwickelt werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
Fig. 1 zeigt schematisch ein System für die Validierung einer Komponente eines Fortbewegungsmittels;
Fig. 2 zeigt schematisch ein Verfahren zum Betreiben des Systems aus Fig. 1 ;
Fig. 3 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung;
Fig. 4 zeigt schematisch ein farblich präpariertes Cockpit;
Fig. 5 zeigt schematisch die Verwendung eines Tiefensensors; und
Fig. 6 zeigt schematisch die Verwendung von virtuellen Masken.
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
Fig. 1 zeigt schematisch ein System 1 für die Validierung einer Komponente 2 eines Fortbewegungsmittels. Das System 1 weist eine Bewegungsplattform 3 mit zumindest drei Freiheitsgraden auf. Im dargestellten Beispiel handelt es sich bei der Bewegungsplattform 3 um einen Hexapod mit sechs Freiheitsgraden. Bei Bedarf kann der Hexapod zusätzlich auf einer hier nicht dargestellten Rotationsplattform montiert sein. Die Bewegungsplattform 3 ermöglicht eine dynamische Bewegungssimulation eines auf der Bewegungsplattform 3 angeordneten Cockpits 4 des Fortbewegungsmittels, in dem die zu validierende Komponente 2 verbaut ist. Das Cockpit 4 ist vorzugsweise anpassbar, um für unterschiedliche Fortbewegungsmittel jeweils die gewünschte Ergonomie einstellen zu können. Das Fortbewegungsmittel ist im dargestellten Beispiel ein Kraftfahrzeug, die zu validierende Komponente 2 ein Lenkrad des Kraftfahrzeugs. Im Cockpit 4 befindet sich ein Anwender 6, der ein Mixed-Reality-Anzeigegerät 5 trägt. Das Mixed-Reality-Anzeigegerät 5 zeigt dem Anwender 6 eine augmentierte Umgebung an und kann beispielsweise als Head-Mounted-Display ausgestaltet sein. Ein Grafiksystem 7, hier als Bestandteil eines Steuerrechners 9 dargestellt, dient zum Berechnen der augmentierten Umgebung. Das Grafiksystem 7 ist dabei eingerichtet, die augmentierte Umgebung derart zu berechnen, dass für den Anwender 6 zumindest seine Hände und die zu validierende Komponente 2 real innerhalb einer virtuellen Umgebung wahrnehmbar sind. Zu diesem Zweck kann das Cockpit 4 farblich präpariert sein. Das Grafiksystem 7 ist in diesem Fall eingerichtet, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen. Alternativ oder zusätzlich kann das Mixed-Reality-Anzeigegerät 5 einen hier nicht dargestellten Tiefensensor aufweisen, z.B. einen LIDAR-Sensor. Das Grafiksystem 7 ist in diesem Fall eingerichtet, die augmentierte Umgebung unter Verwendung von Tiefendaten des
Tiefensensors zu berechnen. Schließlich besteht auch die Möglichkeit, die augmentierte Umgebung unter Verwendung virtueller Masken zu berechnen. Dazu ist es vorteilhaft, wenn durch ein Trackingsystem 8 ein Tracking des Cockpits 4 erfolgt, damit sich die virtuellen Masken mit dem Cockpit 4 bzw. der Bewegungsplattform 3 mitbewegen. Das Trackingsystem 8 kann als aktives oder passives Trackingsystem 8 ausgestaltet sein. Alternativ ist es möglich, die Pose des Cockpits 4 aus Bewegungsdaten der Bewegungsplattform 3 zu bestimmen.
Fig. 2 zeigt schematisch ein Verfahren zum Betreiben des Systems aus Fig. 1. Bei dem Verfahren wird eine Bewegungsplattform des Systems entsprechend einer zu simulierenden Bewegung angesteuert 10. Zudem wird eine augmentierte Umgebung zur Anzeige durch ein Mixed-Reality-Anzeigegerät des Systems berechnet 11. Die augmentierte Umgebung wird dabei derart berechnet 11 , dass für einen Anwender zumindest seine Hände und eine zu validierende Komponente real innerhalb einer virtuellen Umgebung wahrnehmbar sind. Zu diesem Zweck kann ein Cockpit des Systems farblich präpariert sein. Die augmentierte Umgebung kann in diesem Fall unter Verwendung einer Chroma-Key-Technik berechnet werden 11. Alternativ oder zusätzlich kann das Mixed-Reality-Anzeigegerät einen Tiefensensor aufweisen, z.B. einen LIDAR-Sensor. In diesem Fall kann die augmentierte Umgebung unter Verwendung von Tiefendaten des Tiefensensors berechnet werden 11. Schließlich besteht auch die Möglichkeit, die augmentierte Umgebung unter Verwendung einer virtuellen Maske zu berechnen 11. Dazu ist es vorteilhaft, wenn durch ein Trackingsystem ein Tracking des Cockpits erfolgt, damit sich die virtuellen Masken mit dem Cockpit bzw. der Bewegungsplattform mitbewegen. Die Trackingdaten des Trackingsystems werden dann für die Berechnung der augmentierten Umgebung herangezogen. Die verschiedenen Ansätze können dabei auch kombiniert werden. Die aus der Berechnung resultierenden Grafikdaten der augmentierten Umgebung werden schließlich an das Mixed-Reality-Anzeigegerät übermittelt 12 und von diesem angezeigt 13.
Fig. 3 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung. Das System 1 umfasst eine Bewegungsplattform 3 mit dem darauf angeordneten Cockpit 4, ein Mixed-Reality- Anzeigegerät 5 und ein Grafiksystem 7. Das Grafiksystem 7 kann als eigenständiges System oder auch als Bestandteil eines Steuerrechners 9 ausgestaltet sein und generiert Grafikdaten GD für das Mixed-Reality-Anzeigegerät 5. Der Steuerrechner 9 generiert Steuerdaten SD für die Bewegung der Bewegungsplattform 3. Das Mixed-Reality-Anzeigegerät 5 kann einen Tiefensensor 50 aufweisen, der Tiefendaten TD für das Grafiksystem 7 bereitstellt. Das System 1 kann des Weiteren ein Trackingsystem 8 für ein Tracking des Cockpits 4 umfassen, das Trackingdaten TR zur Verfügung stellt. Alternativ oder zusätzlich kann der Steuerrechner 9
Bewegungsdaten BD der Bewegungsplattform 3 für das Grafiksystem 7 bereitstellen. Das Grafiksystem 7 nutzt die bereitgestellten Daten BD, TD, TR bei der Berechnung einer augmentierten Umgebung, die vom Mixed-Reality-Anzeigegerät 5 angezeigt werden soll.
Fig. 4 zeigt schematisch ein farblich präpariertes Cockpit 4. Damit die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik berechnet werden kann, ist das Cockpit im dargestellten Beispiel teilweise mit einer geeigneten Farbe überzogen, was in Fig. 4 durch eine Schraffur angedeutet ist. Alternativ können die Bauteile des Cockpits 4, die in der augmentierten Umgebung durch eine virtuelle Umgebung ersetzt werden sollen, direkt in der gewählten Farbe hergestellt werden. Zudem sind Teile des Cockpits 4 im dargestellten Beispiel durch eine entsprechend gefärbte Abdeckung FA verdeckt. Die am besten geeigneten Farben für das Chroma-Key-Techniken sind je nach menschlicher Hautfarbe Grün- und Blautöne. Das Mixed-Reality-Anzeigegerät 5 zeigt die in der gewählten Farbe ausgeführten oder bemalten Teile bzw. die abgedeckten Teile des Cockpits 4 als virtuelle Inhalte. Andere Komponenten 2, die nicht in dieser Farbe ausgeführt, bemalt oder abgedeckt sind, z.B. das Lenkrad und Touchdisplays, werden hingegen real angezeigt.
Fig. 5 zeigt schematisch die Verwendung eines Tiefensensors 50 des Mixed-Reality- Anzeigegeräts 5. Bei diesem Ansatz wird ein Tiefenbereich TB definiert, der für den Anwender 6 real sichtbar ist. Zusätzlich ist das Cockpit 4 im dargestellten Beispiel wiederum farblich präpariert. Die Vorbereitung des Cockpits 4 für die Verwendung von Chroma-Key-Techniken erfordert einen gewissen Aufwand. Durch die Verwendung des definierten Tiefenbereichs TB ist es ausreichend, für die Chroma-Key-Techniken nur einen begrenzten Teil des Cockpits farblich zu präparieren. Der erforderliche Aufwand kann somit deutlich reduziert werden.
Fig. 6 zeigt schematisch die Verwendung von virtuellen Masken VM bei der Berechnung der augmentierten Umgebung. Für bestimmte Bereiche werden virtuelle Masken VM definiert. Diese erlauben es, reale und virtuelle Inhalte mit Hilfe von virtuellen Grenzen zu trennen. Die Grenzen können dabei in verschiedenen zwei- oder dreidimensionalen Formen bestimmt werden. Durch die Verwendung virtueller Masken VM kann der Aufwand für eine farbliche Präparierung des Cockpits 4 reduziert werden. Die Präparierung kann sich auch diejenigen Bereiche des Cockpits 4 beschränken, die nicht von einer virtuellen Maske VM verdeckt sind.
Bezugszeichenliste
1 System
2 Komponente
3 Beweg u n gs p I attfo rm
4 Cockpit
5 Mixed-Reality-Anzeigegerät
50 Tiefensensor
6 Anwender
7 Grafiksystem
8 Trackingsystem
9 Steuerrechner
10 Ansteuern einer Bewegungsplattform
11 Berechnen einer augmentierten Umgebung
12 Übermitteln von Grafikdaten
13 Anzeigen der augmentierten Umgebung
BD Bewegungsdaten
FA Farbige Abdeckung
GD Grafikdaten
SD Steuerdaten
TB Tiefenbereich
TD Tiefendaten
TR Trackingdaten
VM Virtuelle Maske
Claims
1. System (1) für die Validierung einer Komponente (2) eines Fortbewegungsmittels, mit
- einer Bewegungsplattform (3) mit zumindest drei Freiheitsgraden für eine dynamische Bewegungssimulation eines Cockpits (4) des Fortbewegungsmittels, in dem die zu validierende Komponente (2) verbaut ist;
- einem Mixed-Reality-Anzeigegerät (5) zum Anzeigen einer augmentierten Umgebung für einen im Cockpit (4) befindlichen Anwender (6); und
- einem Grafiksystem (7) zum Berechnen (11) der augmentierten Umgebung, wobei das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung derart zu berechnen (11), dass für den Anwender (6) zumindest seine Hände und die zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind.
2. System (1) gemäß Anspruch 1, wobei die Bewegungsplattform (3) ein Hexapod ist.
3. System (1) gemäß Anspruch 1 oder 2, wobei das Cockpit (4) farblich präpariert ist und das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung einer Chroma-Key-Technik zu berechnen (11).
4. System (1) gemäß Anspruch 3, wobei das Mixed-Reality-Anzeigegerät (5) einen Tiefensensor (50) aufweist und das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung von Tiefendaten (TD) des Tiefensensors (50) zu berechnen (11).
5. System (1) gemäß Anspruch 4, wobei der Tiefensensor (50) ein LIDAR-Sensor ist.
6. System (1) gemäß einem der Ansprüche 3 bis 5, wobei das Grafiksystem (7) eingerichtet ist, die augmentierte Umgebung unter Verwendung einer virtuellen Maske (VM) zu berechnen (11).
7. System (1) gemäß Anspruch 6, mit einem Trackingsystem (8) für ein Tracking des Cockpits (4).
8. System (1) gemäß Anspruch 7, wobei das Trackingsystem (8) ein aktives oder passives Trackingsystem (8) ist oder eingerichtet ist, eine Pose des Cockpits (4) aus Bewegungsdaten (BD) der Bewegungsplattform (3) zu bestimmen.
9. Verfahren zum Betreiben eines Systems (1) gemäß einem der Ansprüche 1 bis 8, mit den Schritten:
- Ansteuern (10) einer Bewegungsplattform (3) des Systems (1) entsprechend einer zu simulierenden Bewegung;
- Berechnen (11) einer augmentierten Umgebung zur Anzeige durch ein Mixed-Reality- Anzeigegerät (5) des Systems (1), wobei die augmentierte Umgebung derart berechnet wird (11), dass für einen Anwender (6) zumindest seine Hände und eine zu validierende Komponente (2) real innerhalb einer virtuellen Umgebung wahrnehmbar sind; und
- Übermitteln (12) von Grafikdaten (GD) der augmentierten Umgebung an das Mixed- Reality-Anzeigegerät (5).
10. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte des Verfahrens gemäß Anspruch 9 zum Betreiben eines Systems (1) gemäß einem der Ansprüche 1 bis 8 veranlassen.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023203522.7A DE102023203522B4 (de) | 2023-04-18 | 2023-04-18 | System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems |
| PCT/EP2024/056183 WO2024217772A1 (de) | 2023-04-18 | 2024-03-08 | System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP4698972A1 true EP4698972A1 (de) | 2026-02-25 |
Family
ID=90364021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP24710723.8A Pending EP4698972A1 (de) | 2023-04-18 | 2024-03-08 | System für die validierung einer komponente eines fortbewegungsmittels, verfahren und computerprogramm zum betreiben eines solchen systems |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4698972A1 (de) |
| CN (1) | CN121014023A (de) |
| DE (1) | DE102023203522B4 (de) |
| WO (1) | WO2024217772A1 (de) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8040361B2 (en) * | 2005-04-11 | 2011-10-18 | Systems Technology, Inc. | Systems and methods for combining virtual and real-time physical environments |
| SG192864A1 (en) * | 2011-02-22 | 2013-09-30 | Rheinmetall Defence Elect Gmbh | Simulator for training a team, in particular for training a helicopter crew |
| DE102015103735A1 (de) * | 2015-03-13 | 2016-09-15 | Airbus Defence and Space GmbH | Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts |
| KR102097180B1 (ko) | 2015-07-07 | 2020-04-09 | 임진국 | 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법 |
| WO2018141023A1 (en) | 2017-02-02 | 2018-08-09 | Advancing Projects Pty Ltd | A vehicle driving simulator for training or use of automotive car drivers or mobile devices controlled or occupied by humans |
| US10565799B2 (en) * | 2018-06-21 | 2020-02-18 | Lockheed Martin Corporation | Automatic cockpit identification and augmented image placement |
| CN209044930U (zh) * | 2018-07-21 | 2019-06-28 | 河南黄烨科技有限公司 | 基于混合现实和多自由度运动平台的特种车辆驾驶训练模拟系统 |
| CN116420180A (zh) | 2020-09-30 | 2023-07-11 | 观作坊股份有限公司 | 集成有物理和虚拟工具的用于创建和管理风格原型的设备 |
| CN112669671B (zh) * | 2020-12-28 | 2022-10-25 | 北京航空航天大学江西研究院 | 一种基于实物交互的混合现实飞行仿真系统 |
-
2023
- 2023-04-18 DE DE102023203522.7A patent/DE102023203522B4/de active Active
-
2024
- 2024-03-08 CN CN202480026108.XA patent/CN121014023A/zh active Pending
- 2024-03-08 WO PCT/EP2024/056183 patent/WO2024217772A1/de not_active Ceased
- 2024-03-08 EP EP24710723.8A patent/EP4698972A1/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102023203522B4 (de) | 2025-03-20 |
| DE102023203522A1 (de) | 2024-10-24 |
| CN121014023A (zh) | 2025-11-25 |
| WO2024217772A1 (de) | 2024-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102012023925A1 (de) | Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem | |
| EP4028276B1 (de) | Verfahren zum betreiben einer virtual-reality-brille in einem fahrzeug sowie virtual-reality-system mit einer virtual-reality-brille und einem fahrzeug | |
| DE102014208352A1 (de) | System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings | |
| AT525369B1 (de) | Testumfeld für urbane Mensch-Maschine Interaktion | |
| AT516409B1 (de) | Simulator | |
| DE102009029318A1 (de) | Verfahren und Vorrichtung zur Erprobung einer Fahrzeugkonstruktion | |
| WO2019063157A1 (de) | Verfahren zum steuern einer sitzvorrichtung eines kraftfahrzeugs bei betrieb einer virtuellen-realität-anwendung sowie sitzvorrichtung | |
| WO2016165799A1 (de) | Verfahren zum betreiben einer virtual-reality-brille und system mit einer virtual-reality-brille | |
| WO2024074308A1 (de) | Simulationssystem zum gefechtstraining von besatzungsmitgliedern eines militärischen wasserfahrzeugs | |
| DE102018206657A1 (de) | Verfahren und Steuervorrichtung zum Betreiben eines Kraftfahrzeugs | |
| DE102015007246B4 (de) | Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem für ein Kraftfahrzeug | |
| DE102023203522B4 (de) | System für die Validierung einer Komponente eines Fortbewegungsmittels, Verfahren und Computerprogramm zum Betreiben eines solchen Systems | |
| DE102013224510B4 (de) | Motion Cueing zur Fahrdynamikbewertung | |
| DE102021111104B4 (de) | Verfahren und Steuereinheit zum Steuern eines überbestimmten Systems, System und Luftfahrzeug | |
| DE202012011693U1 (de) | Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem | |
| DE112021007780T5 (de) | Fahrzeugentwicklungs-unterstützungssystem | |
| DE102019131740A1 (de) | Verfahren und Anzeigevorrichtung zur Erzeugung eines Tiefeneffekts in der Perspektive eines Beobachters auf einem flachen Anzeigemedium sowie Kraftfahrzeug | |
| DE102022206536B3 (de) | Simulationssystem zum Trainieren von Besatzungsmitgliedern eines militärischen Wasserfahrzeugs | |
| DE102024110143B4 (de) | Verfahren und Vorrichtung zum Simulieren eines Kraftfahrzeuges | |
| DE102019218109A1 (de) | Unterseebootsimulator mit einer anpassbaren Trainingsumgebung | |
| DE102024118595A1 (de) | Simulieren eines vorbestimmten Kraftfahrzeugs | |
| WO2019086222A1 (de) | Verfahren und vorrichtung zur nutzung einer virtual-reality-einrichtung | |
| DE102025147427A1 (de) | Autonomes Fahrzeug und computerimplementiertes Verfahren zum Simulieren eines virtuellen Fahrbetriebs in dem autonomen Fahrzeug | |
| DE102024109106A1 (de) | Visualisierungsanordnung zur Generierung und Anzeige von virtuellen Objekten sowie Verfahren | |
| DE102023133913A1 (de) | Verfahren zur Durchführung einer Fahrt mit einem realen Kraftfahrzeug |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20251118 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR |