DE102017130714A1 - Pilotenunterstützung mittels Augmented Reality - Google Patents

Pilotenunterstützung mittels Augmented Reality Download PDF

Info

Publication number
DE102017130714A1
DE102017130714A1 DE102017130714.1A DE102017130714A DE102017130714A1 DE 102017130714 A1 DE102017130714 A1 DE 102017130714A1 DE 102017130714 A DE102017130714 A DE 102017130714A DE 102017130714 A1 DE102017130714 A1 DE 102017130714A1
Authority
DE
Germany
Prior art keywords
aircraft
pilot
displayed
control
supporting information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017130714.1A
Other languages
English (en)
Other versions
DE102017130714B4 (de
Inventor
Daniel Nonnenmacher
Hyun-Min Kim
Paul Lehmann
Christian Walko
Philippe Petit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE102017130714.1A priority Critical patent/DE102017130714B4/de
Publication of DE102017130714A1 publication Critical patent/DE102017130714A1/de
Application granted granted Critical
Publication of DE102017130714B4 publication Critical patent/DE102017130714B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Piloten beim Führen eines Luftfahrzeugs mittels eines Augmented Reality (AR)-Systems, durch das dem Piloten mittels einer AR-Bildanzeigeeinrichtung unterstützende Informationen angezeigt werden, wobei wenigstens eine unterstützende Information mittels des AR-Systems dem Piloten an einem Bedienelement des Luftfahrzeugs angezeigt wird, wobei die unterstützende Information einen Flugparameter des Luftfahrzeugs charakterisiert, der durch das Bedienelement beeinflussbar ist. Die Erfindung betrifft außerdem eine Einrichtung zur rechnergesteuerten Unterstützung eines Piloten beim Führen eines Luftfahrzeugs, aufweisend ein AR-System mit wenigstens einer AR-Bildanzeigeeinrichtung und wenigstens einem Rechner. Die Erfindung betrifft ferner ein Luftfahrzeug sowie ein Computerprogramm.

Description

  • Die Erfindung betrifft ein Verfahren zur Unterstützung eines Piloten beim Führen eines Luftfahrzeugs mittels eines Augmented Reality (AR)-Systems, durch das dem Piloten mittels einer AR-Bildanzeigeeinrichtung unterstützende Informationen angezeigt werden. Die Erfindung betrifft außerdem eine Einrichtung zur rechnergesteuerten Unterstützung eines Piloten beim Führen eines Luftfahrzeugs, aufweisend ein AR-System mit wenigstens einer AR-Bildanzeigeeinrichtung und wenigstens einem Rechner. Die Erfindung betrifft ferner ein Luftfahrzeug sowie ein Computerprogramm.
  • Es gibt bereits Vorschläge, Piloten beim Führen eines Luftfahrzeugs mittels Augmented Reality (abgekürzt AR) zu unterstützen, z. B. durch Darstellung zusätzlicher Informationen auf einem Heimet Mounted Display (abgekürzt HMD). In der DE 10 2014 104 572 A1 wird diesbezüglich eine rechnergesteuerte Anzeige von Geschwindigkeitsinformationen vorgeschlagen.
  • Die computerunterstützten Funktionen, die ein Pilot beim Führen eines modernen Luftfahrzeugs, z. B. eines Hubschraubers oder eines Flugzeuges, kennen muss, werden zunehmen komplexer. Moderne automatische Flugsteuerungssysteme (Automatic Flight Control System, abgekürzt AFCS) mit Autopilotenfunktionen stellen unterschiedlich geartete Unterstützungsfunktionen bereit, auf deren Funktionsweise und Auswirkungen sich der Pilot einstellen muss. Es gibt daher bereits Vorschläge, durch Anzeige auf einem Display im Cockpit das Situationsbewusstsein (Situational Awareness oder Mode Awareness) des Piloten zu verbessern. Es zeigt sich aber, dass die Mode Awareness der Piloten in der Praxis noch verbesserungsbedürftig ist.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, das dem Piloten das Führen eines Luftfahrzeugs erleichtert. Ferner soll eine hierfür geeignete Einrichtung, ein Luftfahrzeug sowie ein Computerprogramm angegeben werden.
  • Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass wenigstens eine unterstützende Information mittels des AR-Systems dem Piloten an einem Bedienelement des Luftfahrzeugs angezeigt wird, wobei die unterstützende Information einen Flugparameter des Luftfahrzeugs charakterisiert, der durch das Bedienelement beeinflussbar ist. Die Erfindung hat den Vorteil, dass der Pilot die jeweils für das Bedienelement relevanten unterstützenden Informationen an der erwarteten Stelle, nämlich dort wo sich das Bedienelement befindet, angezeigt wird. Durch Nutzung des AR-Systems können diese Information dem Piloten sozusagen ortsfest an dem Bedienelement angezeigt werden, auch wenn der Pilot den Kopf bewegt. Die Darstellung der unterstützenden Information an dem Bedienelement kann in visuell-konformer Darstellung mit der Außensicht erfolgen. Der Pilot hat dabei zu jeder Zeit die volle Außensicht, da die unterstützenden Informationen mittels der AR-Bildanzeigeeinrichtung lediglich der realen Umgebung überlagert dargestellt werden. So kann beispielsweise bei einem Bedienelement im Cockpit, z. B. am ACFS, das je nach ACFS-Modus unterschiedliche Funktionen ausführt, die jeweils aktuelle Funktion des Bedienelements oder deren Auswirkung auf das Luftfahrzeug angezeigt werden. Vorteilhaft ist insbesondere auch die Anzeige unterstützender Informationen am Steuerknüppel, z. B. direkt am Primärsteuer (beim Hubschrauber z. B. zyklisches Steuer, Kollektivsteuer) oder am Sekundärsteuer (beim Hubschrauber z. B. Beep Trim).
  • Die AR-Bildanzeigeeinrichtung kann als ein beliebiges, derzeit verfügbares oder zukünftig zu entwickelndes Augmented Reality Display ausgebildet sein, wie z.B. ein teildurchsichtiges Spiegeldisplay, ggf. kombiniert mit einem Projektor, z.B. ein Beamer oder ein Laserprojektor, oder ein Virtual Retinal Display. Die AR-Bildanzeigeeinrichtung kann z. B. als Head-Up-Display ausgebildet sein, z. B. in Form eines Heimet Mounted Display, wie nachfolgend noch beschrieben.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die unterstützende Information durch das AR-System ortsfest an dem realen Bedienelement angezeigt wird. Auf diese Weise kann dem Piloten der unmittelbare Bezug zwischen dem realen Bedienelement und dessen Funktionalität durch die unterstützende Information optimal visualisiert werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass durch das AR-System eine Abbildung des realen Bedienelements angezeigt wird und die unterstützende Information durch das AR-System ortsfest an der dargestellten Abbildung des realen Bedienelements dargestellt wird. Die Abbildung des realen Bedienelements erfolgt dabei auf der AR-Bildanzeigeeinrichtung beispielsweise nicht an dem realen Bedienelement und auch nicht in dessen Nähe, sondern z. B. im Randbereich der AR-Bildanzeigeeinrichtung (oberer, unterer, linker oder rechter Rand). Dabei kann die Abbildung des realen Bedienelements nicht außensichtkonform erfolgen, d. h. die Darstellung erfolgt an einer festen Stelle der AR-Bildanzeigeeinrichtung. Auch auf diese Weise kann dem Piloten die Funktionsweise des Bedienelements vorteilhaft visualisiert werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass das Bedienelement ein Bedienelement im Cockpit des Luftfahrzeugs und/oder ein Primärsteuerelement oder ein am Primärsteuerelement angeordnetes Sekundärsteuerelement des Luftfahrzeugs ist. Das Primärsteuerelement und das Sekundärsteuerelement befinden sich beispielsweise an einem Steuerknüppel. Bei einem Hubschrauber steuert das Primärsteuerelement beispielsweise das zyklische Steuer und das kollektive Steuer. Als Sekundärsteuer bezeichnet man weitere Bedienelemente am Steuerknüppel, die in der Regel in Form von Tasten, Schaltern oder ähnlichem ausgebildet sind. Auf diese Weise kann dem Piloten die erforderliche Mode Awareness gerade bei den Hauptsteuerelementen des Luftfahrzeugs vorteilhaft vermittelt werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die unterstützende Information eine Mode Awareness-relevante Kenngröße eines automatischen Flugzeugsteuerungssystems (AFCS) ist. Hierdurch kann die kognitive Belastung des Piloten bei der Nutzung des AFCS deutlich reduziert werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Mode Awareness-relevante Kenngröße eine, mehrere oder alle der folgenden Größen ist:
    1. a) Transitionen und/oder Transitions-Konditionen zwischen Betriebsmodi des automatischen Flugzeugsteuerungssystems (1),
    2. b) Kontrollverhalten des automatischen Flugzeugsteuerungssystems (1) für die Erreichung eingestellter Zielwerte,
    3. c) mögliche Interaktionen des ausgewählten Betriebsmodus des automatischen Flugzeugsteuerungssystems (1) mit anderen auswählbaren Betriebsmodi des automatischen Flugzeugsteuerungssystems (1).
  • Die Erfindung schafft hiermit Möglichkeiten, dem Piloten ein verbessertes Feedback der Funktion der automatischen Flugzeugsteuerungseinrichtung zu geben, sodass der Pilot in besserer Weise ein sogenanntes Betriebsmodus-Bewusstsein aufbaut. Das Betriebsmodus-Bewusstsein, nachfolgend auch Betriebsmode Awareness genannt, ist ein Informationszustand des Piloten, der zum sicheren Betrieb des Flugzeugs bei aktivierter automatischer Flugzeugsteuerungseinrichtung einen erheblichen Beitrag leistet.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass nach Betätigung eines Bedienelements, an dem eine unterstützende Information angezeigt wird, automatisch eine unterstützende Information an einem weiteren Bedienelement angezeigt wird. Dies erlaubt eine erweiterte Benutzerführung des Piloten beim Führen des Luftfahrzeugs, z. B. zum Durchführen eines Notfall-Bedienplans. Auf diese Weise kann dem Piloten beispielsweise der Reihe nach für verschiedene Bedienelemente angezeigt werden, welches Bedienelement wie zu betätigen ist. Hierfür kann beispielsweise in einem Bordcomputer des Luftfahrzeugs eine elektronische Notfall-Checkliste gespeichert sein, die dann als Datenbasis herangezogen wird, um den Ablauf der unterstützenden Informationen an den Bedienelementen darzustellen.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass unter Nutzung von Bedienelement-Daten eines Bordrechners des Luftfahrzeugs, der Betätigungen des Bedienelements, an dem eine unterstützende Information angezeigt wird, auswertet und als Bedienelement-Daten bereitstellt, die relative Lage des Bedienelements zu der AR-Bildanzeigeeinrichtung bestimmt wird. Für die außensichtkonforme Darstellung der unterstützenden Information muss diese unterstützende Information auf der AR-Bildanzeigeeinrichtung mitbewegt werden, wenn beispielsweise der Pilot den Kopf bewegt. Durch die zuvor erwähnte Weiterbildung der Erfindung kann besonders vorteilhaft ein weiterer Effekt kompensiert werden, nämlich die Bewegung eines Bedienelements, das einen vergleichsweise großen Bedienweg aufweist, wie z. B. der Steuerknüppel. Hierzu kann grundsätzlich eine separate Steuerknüppel-Bewegungserfassungsvorrichtung eingesetzt werden, die die relative Lage des Bedienelements zu der AR-Bildanzeigeeinrichtung bestimmt. Da die Betätigungen des Bedienelements im Luftfahrzeug sowieso in der Regel elektronisch erfasst werden, können die auf diese Weise bereits erzeugten Bedienelement-Daten des Bordrechners zugleich genutzt werden, um die relative Lage des Bedienelements zu bestimmen. Hierdurch wird der apparative Aufwand für die Realisierung der Erfindung weiter reduziert.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass mittels der AR-Bildanzeigeeinrichtung ein automatischer Übergang zwischen Betriebsmodi des automatischen Flugzeugsteuerungssystems durch wenigstens ein variierendes graphisches Symbol dargestellt wird. Die unterstützende Information kann in diesem Falle auch nicht außensichtkonform dargestellt werden, z. B. an einer festen Stelle auf der AR-Bildanzeigeeinrichtung. Auf diese Weise kann die Mode Awareness des Piloten weiter verbessert werden.
  • Die eingangs genannte Aufgabe wird außerdem gelöst durch eine Einrichtung zur rechnergesteuerten Unterstützung eines Piloten beim Führen eines Luftfahrzeugs, aufweisend ein AR-System mit wenigstens einer AR-Bildanzeigeeinrichtung und wenigstens einem Rechner, wobei die Einrichtung zur Anzeige der unterstützenden Informationen mittels der AR-Bildanzeigeeinrichtung gemäß einem Verfahren der zuvor erläuterten Art eingerichtet ist. Auch hierdurch können die zuvor erläuterten Vorteile realisiert werden. Die Einrichtung kann weitere Komponenten aufweisen, wie z. B. Headtracker oder eine Schnittstelle zu einem Headtracker.
  • Die eingangs genannte Aufgabe wird außerdem gelöst durch ein Luftfahrzeug mit einer Einrichtung der zuvor erläuterten Art. Auch hierdurch können die zuvor erläuterten Vorteile realisiert werden.
  • Die eingangs genannte Aufgabe wird ferner gelöst durch ein Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens der zuvor erläuterten Art, wenn das Computerprogramm auf einem Rechner ausgeführt wird. Das Computerprogramm kann z. B. auf einem Rechner eine Einrichtung der zuvor erläuterten Art ausgeführt werden.
  • Nachfolgend werden beispielhaft verschiedene Ausführungsmöglichkeiten der Erfindung im Falle eines Hubschraubers erläutert. Die Erläuterungen gelten sinngemäß auch für andere Arten von Luftfahrzeugen.
  • Ein modernes AFCS mit seinen umfassenden Funktionen verlangt vom Piloten eine aufwendige Einarbeitung in die richtige Bedienung der AFCS-Funktionen. Die Anzahl der Bedienelemente, z.B. am zyklischen Steuer und die Mehrfachbelegung von Bedienelementen, erfordern ein gutes Systemverständnis und ein hohes Situationsbewusstsein des Piloten im AFCS-Betrieb. Um in Notfallsituationen schnell reagieren können, muss der Pilot die richtigen Bedienelemente kennen, mit denen er gefährliche Flugsituationen abwenden kann. Zum Beispiel sind am zyklischen Steuer Knöpfe zur Deaktivierung der höheren Autopilotenfunktionen (Upper Modes) oder der Autopilotenfunktion allgemein angebracht. Am Kollektivhebel sind Bedienelemente zur Initialisierung eines Durchstartmanövers (Go Around) auf eine sichere Flughöhe, zum Abwurf des Windenseils (Cable Cut) oder zur Befüllung der Landewerkluftkissen (Floats) bei einer Wasserlandung angebracht. Da Notfallsituationen nur selten auftreten, ist die Gefahr für den Piloten, nicht das richtige Bedienelement zu finden, erhöht.
  • Beispiel A:
  • Außensichtkonforme Anzeigen von AFCS-Informationen werden im AR-System direkt an den Bedienelementen des zyklischen Steuers und des Kollektivsteuers angezeigt. Die Vorteile bestehen darin, dass der Pilot auf einem Blick erfassen kann, welche Funktionen durch die Bedienelemente angesteuert werden. Von Vorteil ist, dass die an den Steuern angezeigten Informationen nicht im direkten Blickfeld des Piloten liegen, wenn dieser aus dem Hubschrauber heraus oder auf die Instrumente/Displays blickt. So kann der Pilot selbst entscheiden, ob er die zusätzlichen Informationen nutzt, in dem er den Blick auf die Steuer richtet.
  • Beispiel B:
  • Das aktive Antwortverhalten des Hubschraubers wird direkt am Primärsteuer (zyklisches Steuer, Kollektivsteuer) über Symbole (z.B. Pfeile) angezeigt. Zum Beispiel erscheint dann am Steuer in der jeweiligen Achse (Nicken, Rollen), ob der Pilot die Drehrate, Lage oder die Geschwindigkeit des Hubschraubers steuert. Bisher muss der Pilot aus seiner Erfahrung heraus und anhand der Hubschrauberreaktion infolge der Eingabe in dem Primärsteuer erkennen, welcher Mode zu welchem Antwortverhalten führt.
  • Beispiel C:
  • An einem Sekundärsteuer (z.B. BeepTrim) wird dem Piloten angezeigt, welche Referenzwerte vorgegeben werden. Zum Beispiel würde im Mode zur Schwebeflughaltung am BeepTrim-Knopf eine Positionsangabe angezeigt, während im AFCS-Mode mit einer Geschwindigkeitsregelung eine Geschwindigkeitsangabe erscheint. Bisher muss der Pilot aus seiner Erfahrung heraus und anhand der Hubschrauberreaktion infolge seiner Eingaben an dem Sekundärsteuer erkennen, welcher Mode welche Änderung der Referenzwerte bedeutet.
  • Beispiel D:
  • An den Bedienelementen der Primärsteuer werden dem Piloten an den für Notfallsituationen zu betätigenden Bedienelementen die Funktionen angezeigt, z.B. Deaktivierung Autopilot, Initialisierung eines Durchstartmanövers oder Lastabwurf. Bisher muss der Pilot aus seiner Erfahrung heraus oder anhand der Beschriftungen an den Bedienelementen die richtigen Bedienelemente finden.
  • Beispiel E:
  • Der Wechsel zwischen zwei AFCS-Modi wird dem Piloten ebenfalls im AR-System mittels Statusanzeigen angezeigt.
  • Beispiel F:
  • Dem Piloten wird in einfacher Form angezeigt, wann ein Modewechsel des AFCS stattfinden wird, so dass sich der Pilot darauf einstellen kann. Die Anzeige kann z.B. die Form einer Statusleiste haben. Bisher erfolgt der Wechsel zwischen einigen AFCS-Modi automatisch im Hintergrund, sobald die für den jeweiligen AFCS-Mode zulässigen Flugparameter vorliegen. Bei einigen AFCS-Modi wird dem Piloten auf dem Display in den Instrumenten durch kleine Symbole die Aktivierungsschwelle angezeigt (z.B. im Fahrtmesser).
  • Beispiel G:
  • Anzeige der AFCS-Informationen an einem Bedienelement in Form einer abstrakten Darstellung des Bedienelements auf der AR-Bildanzeigeeinrichtung. Abstrakte Form bedeutet, dass zum Beispiel ein Bild des Steuers zusammen mit den Informationen nicht außensichtkonform angezeigt wird.
  • Beispiel H:
  • Zulässige Steuerbereiche werden direkt dynamisch an den Steuern angezeigt, z.B. abhängig vom jeweiligen Fugzustand. In bestimmten Flugzuständen und unter bestimmten Umgebungsbedingungen gelten maximal zulässige Flugparameter. Zum Beispiel maximaler Rollwinkel im Kurvenflug, maximale Gierrate im Schwebeflug. Bisher überprüft der Pilot die Einhaltung der zulässigen Flugparameter anhand der Beobachtung der Instrumente (Künstlicher Horizont, First Limit Indicator), in einigen Fällen werden akustische Warnsignale ausgegeben.
  • Beispiel I:
  • Erfassung der relativen Lage des Steuers zur AR-Bildanzeigeeinrichtung für die Anzeige der AFCS-Informationen an den Bedienelementen der Steuer. Zur robusten Erfassung der Lage der AR-Bildanzeigeeinrichtung im Cockpit können ggf. weitere Sensoren im Cockpit verteilt werden, die anhand von Markern an der AR-Bildanzeigeeinrichtung die Lage optisch detektieren. Die Messung kann zusätzlich durch inertiale Sensoren an der AR-Bildanzeigeeinrichtung gestützt werden.
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert.
  • Es zeigen
    • 1 - eine Einrichtung zur rechnergesteuerten Unterstützung eines Piloten und
    • 2 bis 4 - verschiedene Darstellungsarten der unterstützenden Information auf der AR-Bildanzeigeeinrichtung.
  • Die 1 zeigt den prinzipiellen Aufbau eines sogenannten Helmet-Mounted-Displays, das insbesondere für den Fall einer Hubschrauber-Steuerung vorteilhaft als AR-Bildanzeigeeinrichtung für eine Realisierung der Erfindung genutzt werden kann. Ein Hubschrauberpilot ist beim heutigen technischen Stand häufig ohnehin mit einem solchen HMD ausgerüstet, so dass für eine Realisierung der Erfindung nur wenige Ergänzungen notwendig sind, wie z.B. eine Erweiterung des Computerprogramms eines Rechners, z.B. eines Grafik-Computers.
  • Bei dem HMD gemäß 1 wird dem Anwender mittels eines opto-elektronischen Projektors 1 ein Rechner- bzw. Computer-generiertes grafisches Bild auf einen halbdurchlässigen Spiegel 2 projiziert. Das Auge des Anwenders erfasst die Außensicht, d.h. zumindest einen Bereich 3 der realen Umgebung des Luftfahrzeugs, in diesem Fall eines Hubschraubers. In der für den Anwender sichtbaren Darstellung sind der Außensicht die projizierten Elemente des computergenerierten Bildes überlagert. Durch geeignete optische Elemente, z.B. einen Kollimator, zwischen dem Auge des Anwenders und dem halbdurchlässigen Spiegel 2 wird dafür gesorgt, dass die Adaption des Auges auf das projizierte Bild der Adaption für die „Ferne“ entspricht und damit beide Informationen mit gleicher Abbildungsschärfe auf der Netzhaut des Anwenders abgebildet werden.
  • Die Orientierung des Kopfes des Anwenders relativ zum beweglichen realen Objekt wird durch ein am Helm befestigtes Element 4 erfasst. Dieses arbeitet mit einem in der Umgebung des Helms fest montierten Element 9 zusammen. Die Elemente 4, 9 bilden zusammen einen sogenannten Headtracker. Für die technische Realisierung solcher Headtracker gibt es bereits Vorschläge für mechanische, magnetische, optische und akustische Realisierungen, die jeweils für eine Realisierung der vorliegenden Erfindung geeignet sind. Die vom Headtracker 4, 9 gemessenen Raumwinkel des Helms relativ zur unmittelbaren Umgebung werden in einer Helmsteuereinheit 5 erfasst. Die Helmsteuereinheit 5 überträgt die Helmorientierung an einen daran angeschlossenen Grafik-Computer 6. Dieser dient als zentraler Rechner zur rechnergesteuerten Anzeige der auf der AR-Bildanzeigeeinrichtung wiedergegebenen Informationen, wie z.B. in das HMD eingeblendete Bilder und unterstützende Informationen. Die Helmsteuereinheit 5 empfängt die im Grafik-Computer 6 erzeugten Bilddaten und bereitet diese so auf, dass diese mittels des Projektors 1 projiziert werden können und das gewünschte Bild ergeben.
  • Damit die Bilderzeugung im Grafik-Computer 6 in der Lage ist, der Bewegung des Luftfahrzeugs (3D-Winkel und 3D-Position) visuell-konform zu folgen, werden über eine Schnittstelle zum Luftfahrzeug, z.B. zu einem zentralen Bordrechner 7, die relevanten Betriebsdaten des Luftfahrzeugs an den Grafik-Computer 6 übermittelt, z.B. Flugzustandsdaten wie Position, Geschwindigkeit, Lage, Höhe usw.
  • Informationen mit den Parametern möglicher Landeplätze, wie Position, Höhe, Orientierung, gewünschte Anflugrichtung usw., werden über eine lokale bordseitige Datenbank 8 bereitgehalten. Ergänzend können auch bordseitig montierte abbildende Sensoren, Kameras, optische oder Millimeterwellen-basierte Radarsysteme kurzfristige Erfassungsdaten von potenziellen Landeplätzen in dieser Datenbank zur Verfügung stellen. Die zugeführten Daten werden im Grafik-Computer 6 verarbeitet zu einer visuell-konformen Darstellung der erzeugten Bilddaten. Hierbei können z.B. bestimmte Elemente oder Objekte in der Umgebung, z.B. die Ränder eines Landplatzes, durch den Grafik-Computer mit besonderen Markierungen in der Bilddarstellung versehen werden.
  • Die 1 zeigt außerdem ein AFCS 10 mit Bedienelementen 12 sowie einen Steuerknüppel 11 des Luftfahrzeugs mit einem daran angeordneten Bedienelement 13. Das AFCS 10 sowie der der Steuerknüppel 11 sind über Datenleitungen mit dem Bordrechner 7 verbunden. Auf diese Weise stehen dem Bordrechner 7 beispielsweise die Bedienelement-Daten der Bedienelemente 12, 13 sowie die Betätigungen des Steuerknüppels 11 in digitaler Form zur Verfügung.
  • Die 2 zeigt eine beispielhafte Darstellung von Informationen auf der AR-Bildanzeigeeinrichtung 1, 2. Zudem sind verschiedene Elemente des realen Cockpits des Luftfahrzeugs erkennbar, z. B. das Instrumentenpanel mit dem AFCS 10 sowie der Steuerknüppel 11 mit dem Bedienelement 13. Dieser realen Sicht werden durch das AR-System mittels der AR-Bildanzeigeeinrichtung 1, 2 folgende unterstützende Informationen überlagert:
    • - Eine Anzeige 14, die ortsfest bezüglich eines Bedienelements 13 dargestellt wird, zeigt an, dass mittels dieses Bedienelements 13 die Autopilot-Funktion abgeschaltet werden kann.
    • - Eine Anzeige 15, die ortsfest an dem anderen Bedienelement 13 des Steuerknüppels 11 dargestellt wird, zeigt die Funktion dieses Bedienelements 13 an, dass beim gegenwärtigen AFCS-Modus eine Betätigung des anderen Bedienelements 13 eine Positionsänderung des Luftfahrzeugs um ein Fuß pro Knopfdruck bewirkt („x+1 ft“), ausgehend von der aktuellen Flugposition „x“.
    • - Eine Anzeige 16 gibt eine Information über den derzeitigen Grad des Übergangs zwischen zwei Betriebsmodi des AFCS, in diesem Fall dem TRC-Modus und dem Hover-Modus. Die Darstellung kann in Form eines sich in der Länge verändernden Balkens erfolgen, so dass der aktuelle Grad des Übergangs zwischen den Betriebsmodi vom Piloten leicht erfassbar ist.
    • - Eine Anzeige 17 gibt dem Piloten eine Information über eine Referenzposition des Luftfahrzeugs.
    • - Eine Anzeige 18 gibt dem Piloten eine Information über den mit dem Luftfahrzeug abzufliegenden Flugkorridor.
    • - Eine Anzeige 19 weist den Piloten auf Luftfahrthindernisse hin, z. B. Kraftwerke, Windenergieanlagen oder andere hochbauende Konstruktionen.
  • In der 3 ist, ähnlich wie in der 2, ein Teil des realen Cockpits des Luftfahrzeugs einschließlich des Steuerknüppels 11 dargestellt. Durch Anzeigen 20, die durch die AR-Bildanzeigeeinrichtung ortsfest am Steuerknüppel 11 eingeblendet werden, werden dem Piloten unterstützende Informationen bezüglich möglicher AFCS-Regelungsmodi angezeigt, z. B. durch die Anzeige 21 der TRC-Modus und durch die Anzeige 22 der AC-Modus.
  • Die 4 zeigt eine vergleichbare Ansicht wie die 3, wobei auf der AR-Bildanzeigeeinrichtung in diesem Fall andere unterstützende Informationen angezeigt werden. Über sich überkreuzende Linien 23 wird der zulässige Betätigungsbereich des Steuerknüppels 11 dem Piloten visualisiert, und zwar mit einer ortsfest am Steuerknüppel 11 wiedergegebenen Darstellung. Die Anzeigen 24 geben eine Information über entsprechende Steuerreaktionen des Luftfahrzeugs bei einer entsprechenden Betätigung des Steuerknüppels in die entsprechende Richtung.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014104572 A1 [0002]

Claims (13)

  1. Verfahren zur Unterstützung eines Piloten beim Führen eines Luftfahrzeugs mittels eines Augmented Reality (AR)-Systems, durch das dem Piloten mittels einer AR-Bildanzeigeeinrichtung (1, 2) unterstützende Informationen (14, 15, 20, 21, 22, 23, 24) angezeigt werden, dadurch gekennzeichnet, dass wenigstens eine unterstützende Information (14, 15, 20, 21, 22, 23, 24) mittels des AR-Systems dem Piloten an einem Bedienelement (11, 12, 13) des Luftfahrzeugs angezeigt wird, wobei die unterstützende Information (14, 15, 20, 21, 22, 23, 24) einen Flugparameter des Luftfahrzeugs charakterisiert, der durch das Bedienelement (11, 12, 13) beeinflussbar ist.
  2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die unterstützende Information durch das AR-System ortsfest an dem realen Bedienelement (11, 12, 13) angezeigt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das AR-System eine Abbildung des realen Bedienelements (11, 12, 13) angezeigt wird und die unterstützende Information durch das AR-System ortsfest an der dargestellten Abbildung des realen Bedienelements (11, 12, 13) dargestellt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bedienelement (11, 12, 13) ein Bedienelement im Cockpit des Luftfahrzeugs und/oder ein Primärsteuerelement oder ein am Primärsteuerelement angeordnetes Sekundärsteuerelement des Luftfahrzeugs ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die unterstützende Information (14, 15, 20, 21, 22, 23, 24) eine Mode Awareness-relevante Kenngröße eines automatischen Flugzeugsteuerungssystems (AFCS, 10) ist.
  6. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Mode Awareness-relevante Kenngröße eine, mehrere oder alle der folgenden Größen ist: a) Transitionen und/oder Transitions-Konditionen zwischen Betriebsmodi des automatischen Flugzeugsteuerungssystems (10), b) Kontrollverhalten des automatischen Flugzeugsteuerungssystems (10) für die Erreichung eingestellter Zielwerte, c) mögliche Interaktionen des ausgewählten Betriebsmodus des automatischen Flugzeugsteuerungssystems (10) mit anderen auswählbaren Betriebsmodi des automatischen Flugzeugsteuerungssystems (10).
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach Betätigung eines Bedienelements (11, 12, 13), an dem eine unterstützende Information (14, 15, 20, 21, 22, 23, 24) angezeigt wird, automatisch eine unterstützende Information an einem weiteren Bedienelement angezeigt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass unter Nutzung von Bedienelement-Daten eines Bordrechners (7) des Luftfahrzeugs, der Betätigungen des Bedienelements (11, 12, 13) an dem eine unterstützende Information (14, 15, 20, 21, 22, 23, 24) angezeigt wird, auswertet und als Bedienelement-Daten bereitstellt, die relative Lage des Bedienelements (11, 12, 13) zu der AR-Bildanzeigeeinrichtung bestimmt wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der AR-Bildanzeigeeinrichtung (1, 2) ein automatischer Übergang zwischen Betriebsmodi des automatischen Flugzeugsteuerungssystems (10) durch wenigstens ein variierendes graphisches Symbol (16) dargestellt wird.
  10. Einrichtung zur rechnergesteuerten Unterstützung eines Piloten beim Führen eines Luftfahrzeugs, aufweisend ein AR-System mit wenigstens einer AR-Bildanzeigeeinrichtung (1, 2) und wenigstens einem Rechner (6), dadurch gekennzeichnet, dass die Einrichtung zur Anzeige der unterstützenden Informationen mittels der AR-Bildanzeigeeinrichtung (1, 2) gemäß einem Verfahren der vorhergehenden Ansprüche eingerichtet ist.
  11. Einrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Einrichtung wenigstens einen Headtracker (4, 9) oder eine Schnittstelle zu einem Headtracker (4, 9) aufweist und zur visuell-konformen Ausgabe graphischer Informationen auf der AR-Bildanzeigeeinrichtung (1, 2) eingerichtet ist.
  12. Luftfahrzeug mit einer Einrichtung nach einem der Ansprüche 10 bis 11.
  13. Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Computerprogramm auf einem Rechner ausgeführt wird.
DE102017130714.1A 2017-12-20 2017-12-20 Pilotenunterstützung mittels Augmented Reality Active DE102017130714B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017130714.1A DE102017130714B4 (de) 2017-12-20 2017-12-20 Pilotenunterstützung mittels Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017130714.1A DE102017130714B4 (de) 2017-12-20 2017-12-20 Pilotenunterstützung mittels Augmented Reality

Publications (2)

Publication Number Publication Date
DE102017130714A1 true DE102017130714A1 (de) 2019-06-27
DE102017130714B4 DE102017130714B4 (de) 2020-10-08

Family

ID=66768374

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017130714.1A Active DE102017130714B4 (de) 2017-12-20 2017-12-20 Pilotenunterstützung mittels Augmented Reality

Country Status (1)

Country Link
DE (1) DE102017130714B4 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045448A (zh) * 2019-11-22 2020-04-21 北京青云航空仪表有限公司 多模态复杂自动飞行控制系统的人机交互方法
CN112102502A (zh) * 2020-09-03 2020-12-18 上海飞机制造有限公司 用于飞机驾驶舱功能试验的增强现实辅助方法
DE102019127183A1 (de) * 2019-10-09 2021-04-15 Audi Ag Anzeigesystem zum Anzeigen eines Bedienhinweises für ein Bedienelement in einem Kraftfahrzeug
US11130592B1 (en) 2020-03-27 2021-09-28 Nicky Rosenberg Method of avoiding controlled flight into terrain and a controlled flight into terrain avoidance system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE330004C (de) * 1919-07-29 1920-12-03 Oskar Schleehauf Steuerknueppel fuer Flugzeuge
DE102004010310A1 (de) * 2003-04-15 2004-12-09 Volkswagen Ag Bedienelemente mit integriertem Anzeigeelement und Verfahren zur Befehlsgabe mit einem Bedienelement sowie Verwendungen eines Bedienelementes
US20050273222A1 (en) * 2004-05-18 2005-12-08 Airbus France Flight control indicator for an aircraft
US20060092129A1 (en) * 2004-10-20 2006-05-04 Visteon Global Technologies, Inc. Human machine interface for vehicle
DE102007014015A1 (de) * 2007-03-23 2008-09-25 Eads Deutschland Gmbh Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht
WO2009042309A2 (en) * 2007-08-17 2009-04-02 Sikorsky Aircraft Corporation Stabilized approach to a point in degraded visual environment
DE102010049175A1 (de) * 2010-10-21 2012-04-26 Eads Deutschland Gmbh Verfahren zur Darstellung der Driftwerte eines Luftfahrzeugs
DE102014104572A1 (de) 2014-04-01 2015-10-01 Deutsches Zentrum für Luft- und Raumfahrt e.V. Geschwindigkeitsanzeige
US20170106996A1 (en) * 2015-10-20 2017-04-20 Airbus Defence and Space GmbH Display assembly, use of a display assembly, and aircraft assembly having such a display assembly
WO2017195133A1 (en) * 2016-05-11 2017-11-16 Bombardier Inc. Method of and system for displaying an aircraft control input

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE330004C (de) * 1919-07-29 1920-12-03 Oskar Schleehauf Steuerknueppel fuer Flugzeuge
DE102004010310A1 (de) * 2003-04-15 2004-12-09 Volkswagen Ag Bedienelemente mit integriertem Anzeigeelement und Verfahren zur Befehlsgabe mit einem Bedienelement sowie Verwendungen eines Bedienelementes
US20050273222A1 (en) * 2004-05-18 2005-12-08 Airbus France Flight control indicator for an aircraft
US20060092129A1 (en) * 2004-10-20 2006-05-04 Visteon Global Technologies, Inc. Human machine interface for vehicle
DE102007014015A1 (de) * 2007-03-23 2008-09-25 Eads Deutschland Gmbh Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht
WO2009042309A2 (en) * 2007-08-17 2009-04-02 Sikorsky Aircraft Corporation Stabilized approach to a point in degraded visual environment
DE102010049175A1 (de) * 2010-10-21 2012-04-26 Eads Deutschland Gmbh Verfahren zur Darstellung der Driftwerte eines Luftfahrzeugs
DE102014104572A1 (de) 2014-04-01 2015-10-01 Deutsches Zentrum für Luft- und Raumfahrt e.V. Geschwindigkeitsanzeige
US20170106996A1 (en) * 2015-10-20 2017-04-20 Airbus Defence and Space GmbH Display assembly, use of a display assembly, and aircraft assembly having such a display assembly
WO2017195133A1 (en) * 2016-05-11 2017-11-16 Bombardier Inc. Method of and system for displaying an aircraft control input

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019127183A1 (de) * 2019-10-09 2021-04-15 Audi Ag Anzeigesystem zum Anzeigen eines Bedienhinweises für ein Bedienelement in einem Kraftfahrzeug
CN111045448A (zh) * 2019-11-22 2020-04-21 北京青云航空仪表有限公司 多模态复杂自动飞行控制系统的人机交互方法
CN111045448B (zh) * 2019-11-22 2023-11-14 北京青云航空仪表有限公司 多模态复杂自动飞行控制系统的人机交互方法
US11130592B1 (en) 2020-03-27 2021-09-28 Nicky Rosenberg Method of avoiding controlled flight into terrain and a controlled flight into terrain avoidance system
CN112102502A (zh) * 2020-09-03 2020-12-18 上海飞机制造有限公司 用于飞机驾驶舱功能试验的增强现实辅助方法

Also Published As

Publication number Publication date
DE102017130714B4 (de) 2020-10-08

Similar Documents

Publication Publication Date Title
DE102017130714B4 (de) Pilotenunterstützung mittels Augmented Reality
US10339828B2 (en) Operator training and maneuver refinement system for powered aircraft
DE69910344T2 (de) Cockpitanzeige mit dreidimensionaler Flugbahnabweichungssymbolik
DE102013102624A1 (de) Piloten-Briefinginstrument zur Situationserfassung
EP2166372B1 (de) Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start oder Landung eines Fluggeräts unter verminderter Außensicht
DE60132469T2 (de) Cursorsteuerungssystem im rahmen einer elektronischen fluginstrumentation mit mehreren anzeigen
DE60303832T2 (de) Flugzeuginstrumententafel
DE102007014015B4 (de) Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht
DE102017220268B4 (de) Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
DE102014101365A1 (de) Verfahren zur Veranschaulichung von Flugzeug-Situationsinformation
DE102009042557A1 (de) Um Flugzeug zentriertes Überwachungs- und Alarmsystem für Bodenmanöver
DE10102938B4 (de) Nicklage-Symbolik
DE102011082609A1 (de) Verfahren und Vorrichtung zur Markierung eines relevanten Punktes
DE102014104572B4 (de) Geschwindigkeitsanzeige
DE102006060904B4 (de) Flughafenverkehrsinformations-Anzeigesystem
DE102014104724B4 (de) Außenlastbewegungsanzeige
EP2618110B1 (de) Verfahren und System zur Landehilfe für Helikopter
EP4059758A1 (de) Dynamischer ar-hinweis
EP3967538A1 (de) Verfahren zur darstellung eines virtuellen elements
DE102021202246A1 (de) Verbesserte Visualisierung mit einem AR HUD
DE102020109642B4 (de) Verfahren zur Unterstützung des Betriebs eines bemannten VTOL-Luftfahrzeugs, VTOL-Luftfahrzeug und Softwareprodukt
EP3299768A1 (de) Mensch-maschinen-interface für den piloten eines fluggeräts
DE19836002B4 (de) Stereoskopische Flugführungshilfe
DE102014214698B3 (de) Benutzerschnittstelle und Bedienverfahren zur blickbasierten Bedienung eines Geschwindigkeitsregelungssystems
DE102020120571B4 (de) Verfahren zum Bestimmen einer Manövrierreserve bei einem Fluggerät, Flugsteuerungseinrichtung bei einem Fluggerät und entsprechend ausgerüstetes Fluggerät

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R083 Amendment of/additions to inventor(s)
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final