DE69721976T2

DE69721976T2 - System und verfahren zum abrufen und synchronen anzeigen vom mehreren mit zeitmarken versehenen datenstrompaketen zwecks nachflugbesprechnung

Info

Publication number: DE69721976T2
Application number: DE69721976T
Authority: DE
Inventors: G. Louis NEMETH; James Williams Blanchard Iii
Original assignee: Training Innovations Group LLC
Current assignee: Training Innovations Group LLC
Priority date: 1996-03-12
Filing date: 1997-03-07
Publication date: 2004-05-19
Also published as: ATE240572T1; WO1997034277A1; CA2248010A1; IL125764A; IL125764A0; EP0886848B1; BR9708182A; AU2319097A; EP0886848A1; US5826206A; DE69721976T8; US6370457B1; CA2248010C; DE69721976D1; AU709627B2; CN1214783A; JP2001500981A

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen Ereignis-Berichterstattungssysteme, und insbesondere Systeme zur Berichterstattung für Ereignisteilnehmer.
HINTERGRUND DER ERFINDUNG
Es ist in der Luftfahrtindustrie allgemein bekannt, dass Fehler der Flugbesatzung bei einer hohen Zahl von Flugzeugunfällen ein entscheidender Faktor sind. Viele der Fehler, die von mehrköpfigen Flugbesatzungen begangen werden, haben jedoch sehr wenig mit den technischen Aspekten des Fliegens eines Flugzeugs zu tun. Stattdessen stehen eine große Anzahl dieser Fehler mit dürftiger Gruppenentscheidungsfindung, ineffektiver Kommunikation, ungeeigneter Führung und dürftiger Aufgabensteuerung (kollektiv als Fehler durch den "menschlichen Faktor" bezeichnet) innerhalb der Flugbesatzung in Beziehung.
In den späten 60er und frühen 70er Jahren wurden Flugsimulatoren entwickelt, um die Fertigkeiten von Flugbesatzungen in den technischen Aspekten des Fliegens zu steigern. Flugsimulatoren sind Computer-gesteuerte Geräte, die tatsächliche Flugbedingungen eines Flugzeugs simulieren und Flugbesatzungen darin trainieren, verschiedene Situationen zu bewältigen, bevor sie ihnen tatsächlich in einem Flugzeug ausgesetzt sind. Die Luftfahrtindustrie erkannte früh die Bedeutung der Steigerung der Flugbesatzungsfertigkeiten in Bezug auf das Beseitigen von Fehlern durch den menschlichen Faktor, und begann damit, das Training sowohl technischer als auch menschlicher Faktoren bei Flugsimulationsübungen zu kombinieren. Eine Umgebung unter hohem Stress, die eine klare, unzweideutige Kommunikation unter allen Besatzungsmitgliedern erfordert, ist zum Beispiel der Verlust eines Triebwerks beim Start. Obwohl dies häufig als ein technisches Manöver betrachtet wird, erfordert es auch genaue Informationsübermittlung zwischen der Flugbesatzung, dem Kontrollturm und dem Flugbegleitpersonal.
Das Steigern der Fertigkeiten von Flugbesatzungen in Bezug auf Wissen und Fähigkeiten des menschlichen Faktors wurde als "cockpit resource management" (CRM)-Training bekannt. CRM-Training beinhaltet typischerweise das Aufzeichnen einer Flugsimulatortrainingsübung auf Video zum späteren Abspielen und Prüfen durch die Flugbesatzung beim Berichterstatten. Mit Videokameras ausgestattete Flugsimulatoren können Flugbesatzungen dabei helfen, ihre Kommunikationsfähigkeiten und andere Fähigkeiten des menschlichen Faktors in verschiedenen Notfallsituationen zu verbessern. Leider ist die herkömmliche Videorecorder(VCR)-Technologie, die gegenwärtig zum Aufzeichnen von Flugsimulatorübungen benutzt wird, beim Berichterstatten häufig unzulänglich. Rück- und Vorspulen ist häufig erforderlich, um einen besonderen Abschnitt eines Ereignisses zu lokalisieren, das auf einem Videoband aufgezeichnet ist, und um einen Abschnitt eines Videobands mehrfach zu prüfen. Eine zeitliche Verzögerung in einem gewissen Grad ist typischerweise damit verbunden, da es ziemlich schwierig ist, schnell zwischen verschiedenen Abschnitten des Videobands vor und zurück zu springen. Ein weiterer Nachteil des Benutzens herkömmlicher VCR-Technologie zum Aufzeichnen einer Flugsimulatortrainingsübung zu Berichterstattungszwecken liegt darin, dass es einigermaßen schwierig ist, Flugdaten, wie sie durch die verschiedenen Anzeigen und Skalen im Simulator dargestellt sind, und die Aktionen der Flugbesatzung gleichzeitig mit Videokameras aufzuzeichnen.
US-Patent Nr. 5,467,274 beschreibt ein Verfahren zum Berichterstatten von Flugzeugoperationen. Wie beschrieben werden Flugzeugoperationen sowohl durch Videorecorder als auch durch Audiorecorder aufgezeichnet und durch ein MAZ-Gerät an Bord ("airborne videotape recorder"; AVTR) gespeichert. Das AVTR zeichnet außerdem ausgewählte Flugdaten sowie einen assoziierten Zeitparameter auf. Bei Berichterstattungsoperationen werden die verschiedenen Signale, die aufgezeichnet wurden, wie Videosignale, Audiosignale und andere Signale, die sich auf Flugparameter beziehen, synchronisiert und auf einer dreidimensionalen Anzeige angezeigt.
Die veröffentlichte PCT-Anmeldung Nr. WO 95/25313 (im Folgenden die '313-Anmeldung genannt) ist nicht auf ein Berichterstattungssystem oder -verfahren ausgerichtet, sondern beschreibt stattdessen ein Verfahren und eine Vorrichtung zum Synchronisieren und Planen mehrfacher Datenströme, wie sie in verschiedenen Multimediaanwendungen einschließlich Rechner-integriertem Fernsprechwesen erforderlich sind. Die Vorrichtung der '313-Anmeldung schließt eine Auswahlvorrichtung ein, die den Status von jedem der Datenströme verfolgt. Außerdem sind ein Startzeiger und ein Endzeiger mit jedem Datenstrom assoziiert. Wenn die Systemzeit gleich der Startzeit eines jeweiligen Datenstroms ist, aktualisiert die Auswahlvorrichtung seinen Status, um anzuzeigen, ob die Startzeit erreicht wurde. Jeder Datenstrom schließt außerdem im Allgemeinen eine Auslösebedingung ein. Wenn die Startzeit erreicht ist, bestimmt die Auswahlvorrichtung daher, dass die Auslösebedingung erfüllt wurde, und leitet in diesem Fall den jeweiligen Datenstrom an ein Wiedergabegerät weiter. Zum Synchronisieren mehrfacher Datenströme könnten die Auslösebedingungen der Datenströme erfordern, dass die Startzeiten zweier oder mehrerer der Datenströme erreicht wurden, so dass jeder der Datenströme zur selben Zeit an das Abspielgerät weitergeleitet wird.
Ein Dokument mit dem Titel "Applications of Video Technology in Crew Resource Management Training", das auf der Asia Commercial Aviation Training Conference (ACATC) 1993 in Hong Kong vorgestellt wurde, behandelte ein Deja Vu-Berichterstattungssystem, das es ermöglicht, Operationen von Flugbesatzungen in einem Computer aufzuzeichnen, wodurch die normalerweise mit der herkömmlichen Videoausstattung assoziierten Einschränkungen vermieden werden. Das System ermöglicht es, dass spezifische Teile der Computeraufzeichnung unter Verwendung einer einfachen Handsteuerung zum nachfolgenden Wiedergeben markiert werden. Außerdem ermöglicht das System die Zuteilung spezifischer Ausführungskategorien an Knöpfe auf der Handsteuerung.
KURZDARSTELLUNG DER ERFINDUNG
Es ist daher eine Aufgabe der vorliegenden Erfindung, verbesserte Berichterstattungssysteme und -verfahren bereitzustellen.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, verbesserte Berichterstattungssysteme und -verfahren bereitzustellen, die die Einschränkungen und Nachteile herkömmlicher VCR-Technologie bewältigen.
Diese und andere Aufgaben werden gemäß der vorliegenden Erfindung durch Ereignis-Berichterstattungssysteme und -verfahren zum Aufzeichnen und Wiedergeben verschiedener Informationsarten, die während eines Ereignisses, sowohl simuliert als auch real, erzeugt werden, gelöst. Es sind Einrichtungen zum Aufzeichnen einer Vielzahl von Datenströmen, die sich auf ein Ereignis beziehen, bereitgestellt, wobei jeder Datenstrom eine chronologische Information in Bezug auf wenigstens einen Aspekt des Ereignisses einschließt. Aufgezeichnete Datenströme schließen Videoaufzeichnungen der Aktionen von Ereignisteilnehmern und Audioaufzeichnungen hörbarer Kommunikationen von Ereignisteilnehmern ein. Außerdem sind Instrumentierungs-Datenströme von verschiedenen Ereignis-Überwachungsinstrumenten eingeschlossen, einschließlich derjenigen, die zum Erzeugen von Flugzeug-Fluganimation notwendig sind.
Es sind Einrichtungen bereitgestellt, bei denen jeder Zeitpunkt während eines Ereignisses mit einer Zeitangabemarkierung "angegeben" wird, die entweder von einem Überwacher oder automatisch durch das Berichterstattungssystem erzeugt wird. Ein Überwacher des Ereignisses kann Zeitangabemarkierungen erzeugen, die während der Berichterstattung das Erinnern erleichtern, was während jedem besonderen Zeitpunkt des Ereignisses passierte. Dem Überwacher werden, vorzugsweise über Computeranzeigen, Menüs von Kategorien und Subkategorien vorgegebener Zeitangabemarkierungen dargeboten, die ausgewählt und mit dem Ereignis assoziiert werden können. Gleicherweise kann das Berichterstattungssystem dazu konfiguriert werden, Zeitangabemarkierungen automatisch zu erzeugen, wenn während des Ereignisses bestimmte Parameter erfüllt werden.
Zeitangabemarkierungen können für so gut wie jeden Aspekt eines Ereignisses definiert sein, einschließlich, jedoch nicht beschränkt auf Kategorien in Bezug auf die Aktionen von Teilnehmern an dem Ereignis (z. B. CRM) und Kategorien in Bezug auf technische Aspekte des Ereignisses. Durch Assoziieren einer Zeit während des Ereignisses mit einer besonderen Kategorie von Zeitangabemarkierungen wird ein selektives Wiedergeben der verschiedenen aufgezeichneten Datenströme während der Berichterstattung ermöglicht. Wenn zum Beispiel Kommunikationen zwischen Ereignisteilnehmern an einem besonderen Zeitpunkt während eines Ereignisses gut (oder schlecht) sind, kann eine vorgegebene Zeitangabemarkierung aus einem Menü ausgewählt und mit jedem der aufgezeichneten Datenströme assoziiert werden. Während der Berichterstattung können die Ereignisteilnehmer die Datenströme in einer Zeitsynchronität an oder nahe dieser Zeitangabemarkierung aufrufen. Es können auch Zeitangabemarkierungen, die nicht vorgegeben sind, erzeugt und mit den aufgezeichneten Datenströmen assoziiert werden. Wenn zum Beispiel während eines Ereignisses etwas auftreten sollte, das es wert wäre, bei der Berichterstattung aufgerufen zu werden, jedoch nicht unter eine vordefinierte Kategorie fällt, kann ein Überwacher trotzdem eine Zeitangabemarkierung erzeugen.
Die aufgezeichneten Datenströme werden ausgelesen und in einer Zeitsynchronität dargeboten. Insbesondere können die Datenströme beginnend an den markierten Zeitangaben und in chronologischer Fortsetzung danach ausgelesen und dargeboten werden. Während der Berichterstattung werden einem Benutzer verschiedene Computerbildschirme dargeboten, aus denen besondere Zeitangabemarkierungen ausgewählt werden können. Es kann zum Beispiel eine Liste aller Markierungen aufgeführt sein, die während eines Ereignisses erzeugt wurden. Alternativ dazu können einem Benutzer verschiedene Daten aus einem Ereignis mit assoziierten Zeitangabemarkierungen zur Auswahl dargeboten werden. Durch Auswählen einer besonderen Zeitangabemarkierung werden die verschiedenen aufgezeichneten Datenströme beginnend an oder nahe der mit der Zeitangabemarkierung assoziierten Zeit in einer Zeitsynchronität wiedergegeben.
Eine Anzeige mit einer Vielzahl von Zonen wird zum Darbieten von Video- und Instrumentierungs-Datenströmen in einer Zeitsynchronität verwendet. Ereignis-überwachende Instrumentierung und andere Daten werden in einer dynamischen Animation angezeigt. Ein Audio-Datenstrom wird in einer Zeitsynchronität mit Video- und Instrumentierungs-Datenströmen ausgeführt. Infolgedessen werden die Nachteile herkömmlicher VCR-Technologie durch die vorliegende Erfindung bewältigt. Jeglicher Abschnitt eines aufgezeichneten Ereignisses kann so gut wie ohne zeitliche Verzögerung auf Knopfdruck aufgerufen werden.
Die vorliegende Erfindung kann in Verbindung mit Flugzeugflug-Simulatorberichterstattungssystemen und -verfahren verwendet werden. Daten, sowohl von dem Flug-Simulator als auch von der Videokamera auf dem Simulator-Flugdeck, werden zu einem Computer geleitet. Ein Computerbildschirm ist zum Anzeigen verschiedener vordefinierter Kategorien von Zeitangabemarkierungen konfiguriert. Ein/e Trainingsleiter/in, "Kontrollpilot" genannt, überwacht die Interaktion der Besatzung während der Simulatorübung und wählt Zeitangabemarkierungen aus der Anzeige aus. Die Zeitangabemarkierungen können mit verschiedenen Aspekten des simulierten Flugs assoziiert sein, einschließlich technischer und CRM-Aspekte. Zum Beispiel kann der Kontrollpilot, wenn er/sie ein Verhalten der Flugbesatzung während eines simulierten Ereignisses beobachtet, das wünschenswert wäre, bei der Berichterstattung aufgerufen zu werden, eine vordefinierte Zeitangabemarkierung auswählen, oder eine Markierung erzeugen, die nicht vordefiniert ist, und die Markierung mit den aufgezeichneten Datenströmen assoziieren.
Eine Software, die mit dem Berichterstattungscomputer assoziiert ist, rekonstruiert den Simulatorflug automatisch, verknüpft ihn mit dem Video- und Audiosignal aus dem Flugdeck und zeigt digitalisiertes Video, dynamische Animation und ausgewählte Instrumentierung auf dem Monitor an, der in einem Berichterstattungsraum angeordnet ist. Bei einer Berichterstattung, die auf eine Simulatorübung folgt, ist ein Kontrollpilot in der Lage, jegliches Ereignis während des Flugs aufzurufen und der Besatzung exakt zu zeigen, was auf dem Flugdeck passiert ist, komplett mit animierter Instrumentierung und mehrfachen Ansichten des Flugzeug- und Flugwegs, alles auf einem einzigen Monitor. Es kann auch Spracherkennungssoftware mit eingeschlossen sein, mit der die Gespräche der Besatzung nach ausgewählten Worten und Sätzen während der Simulatorübung abgesucht werden können.
Die vorliegende Erfindung ist vorteilhaft, weil sie eine Trainingseffizienz und -effektivität erhöht, indem sie es der Besatzung ermöglicht, ihre Flugerfahrung auf einer einzigen integrierten Anzeige ihrer Leistung bezüglich des technischen und menschlichen Faktors noch einmal zu durchleben. Ein weiterer Vorteil des Berichterstattungssystems gemäß der vorliegenden Erfindung ist, dass ein Flugbesatzungsmitglied nach einer Trainingsübung über sich selbst Bericht erstatten lassen kann. Dies beseitigt die Subjektivität des Kontrollpiloten und bringt das Besatzungsmitglied in die Position, nur die Interaktion zwischen der Flugbesatzung und dem Simulatorsystem bedienen zu müssen. Als zusätzlicher Vorzug hat die vorliegende Erfindung eine erhöhte Standardisierung von Unterweisungen, Berichterstattungen und Bewertungen durch den Kontrollpiloten zur Folge.
Vor der vorliegenden Erfindung fehlten den Markierungen auf Videoband Identifizierungsinformationen. Der Kontrollpilot wusste, dass eine Markierung vorhanden war, es gab aber keine beschreibende Information, die mit der Markierung assoziiert war. Zeitangabemarkierungen gemäß der vorliegenden Erfindung ermöglichen den Abruf von Ereignissen, die bei der simulierten Übung insbesondere in kritischen Augenblicken passiert sind, wenn die Übung während der Berichterstattungssitzung wiedergegeben wird. Da eine enorme Menge an Reizen vorliegt, die während einer simulierten Flugübung auftreten (z. B. bewegen sich die Fluginstrumente dynamisch, die sichtbaren Szenen außerhalb des Cockpits bewegen sich, und es finden verschiedene Audio-Kommunikationen einschließlich Klingeln, Signalhupen, Kommunikation der Flugbesatzung untereinander und mit der Flugleitung statt), ist es für die Flugbesatzung und den Kontrollpiloten schwierig, sich an all die Ereignisse und Daten zu erinnern, die während einer Sitzung vorkamen. Die kognitiven Abläufe der Flugbesetzung und des Kontrollpiloten können all die Reize zum effektiven Trainieren motorischer und kognitiver Fähigkeiten nicht assimilieren.
Wie im Vorgehenden beschrieben implementiert die Erfindung Systeme und Verfahren zum: (1) Aufzeichnen, Markieren und Darbieten mehrfacher Datenströme in einer Zeitsynchronität; (2) Aufzeichnen, kategorisierten Markieren und Darbieten mehrfacher Datenströme in einer Zeitsynchronität; und (3) Aufzeichnen, automatischen Markieren und Darbieten mehrfacher Datenströme in einer Zeitsynchronität. Jeder dieser Aspekte kann einzeln oder kombiniert zum Verbessern von Trainingseffizienz und -effektivität während der Berichterstattung eines Ereignisses genutzt werden.
Die vorliegende Erfindung ist nicht auf das Aufzeichnen und Berichterstatten von simulierten Ereignissen beschränkt. Unter Verwendung der vorliegenden Erfindung können zahlreiche "reale" Ereignisse aufgezeichnet und über die tatsächlichen Ereignisteilnehmer Bericht erstattet werden. Die Systeme und Verfahren der vorliegenden Erfindung können zum Beispiel in der Steuerzentrale eines Kernkraftwerks, dem Operationssaal eines Krankenhauses, dem Kontrollzentrum der National Aeronautics and Space Administration (NASA) während eines Weltraumunternehmens, am Fließband eines Herstellungsbetriebs und an zahlreichen anderen Orten unter Einbezug sowohl technischer Aspekte eines Ereignisses als auch einer Interaktion unter Ereignisteilnehmern zur Anwendung kommen. Die vorliegende Erfindung ist ein leistungsfähiges Lernmittel mit zahlreichen potenziellen Anwendungsmöglichkeiten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1A stellt schematisch Operationen zum Aufzeichnen, Markieren und Auslesen mehrfacher Datenströme gemäß der vorliegenden Erfindung dar.
1B stellt schematisch Operationen zum Markieren einer Zeitangabe während eines Ereignisses gemäß der vorliegenden Erfindung dar.
1C stellt schematisch Operationen zum Auslesen und Darbieten mehrfacher Datenströme in einer Zeitsynchronität über Zeitangabemarkierungen gemäß der vorliegenden Erfindung dar.
2 stellt schematisch eine Hardwarekonfiguration der vorliegenden Erfindung dar, wenn sie in Verbindung mit einem Flugsimulator verwendet wird.
3 ist ein hierarchisches Menü von Zeitangabemarkierungen, wenn die Erfindung in Verbindung mit einem Flugsimulator verwendet wird.
4 stellt eine integrierte Berichterstattungs-Computeranzeige gemäß der vorliegenden Erfindung dar, wenn sie in Verbindung mit einem Flugsimulator verwendet wird.
5 stellt einen Anzeigenbildschirm für das Auswählen einer besonderen Zeitmarkierung aus einer Liste von Zeitangabemarkierungen während der Berichterstattung dar.
6 stellt einen alternativen Anzeigenbildschirm für das Auswählen von Zeitangabemarkierungen während der Berichterstattung dar.
7 ist ein hierarchisches Menü von Zeitangabemarkierungen gemäß einem anderen Aspekt der vorliegenden Erfindung.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Die vorliegende Erfindung wird im Folgenden unter Bezugnahme auf die beiliegenden Zeichnungen vollständiger beschrieben, in denen bevorzugte Ausführungsformen der Erfindung gezeigt sind. Diese Erfindung kann jedoch in vielen unterschiedlichen Formen ausgeführt sein und sollte nicht als auf die hierin aufgeführten Ausführungsformen beschränkt ausgelegt werden; diese Ausführungsformen sind eher vorgesehen, damit diese Offenbarung gründlich und vollständig ist und dem Fachmann das Anwendungsgebiet der Erfindung vollständig vermittelt.
Unter Bezugnahme auf 1A schließen Berichterstattungsoperationen der vorliegenden Erfindung das Aufzeichnen mehrfacher Datenströme, die sich auf ein Ereignis beziehen (Block 100), das Markieren einer Zeitangabe während des Ereignisses (Block 200) und das Auslesen und Darbieten der Datenströme in einer Zeitsynchronität augenblicklich über die markierte Zeitangabe (Block 300) ein. Die mehrfachen Datenströme könnten Video-, Audio-, Ereignis-überwachende und Instrumentierungsdatenströme einschließen. Das Berichterstattungssystem weist die Fähigkeit auf, mehrfache Datenströme zu digitalisieren und zu synchronisieren, die Daten gleichzeitig auf einem Computerbildschirm anzuzeigen und augenblicklichen Zugriff auf Information innerhalb jeden Datenstroms für jeglichen besonderen Zeitpunkt zu gewähren.
Unter Bezugnahme auf 1B werden nun Operationen zum Markieren einer Zeitangabe während eines Ereignisses beschrieben. Ein Überwacher eines Ereignisses kann eine Zeitangabemarkierung mit aufgezeichneter Information assoziieren, um eine Prüfung während der Berichterstattung zu ermöglichen. Eine Zeitangabemarkierung ist ein Datenfeld, das die Kategorie- und Subkategoriekopfzeilen und einen Zeitcode für die Zeit enthält, an der die Markierung erzeugt wurde. Vorzugsweise ist eine Vielzahl von vorgegebenen Zeitangabemarkierungen durch Kategorie und Subkategorie innerhalb einer Kategorie organisiert (Block 202 und 204). Einem Überwacher wird eine Computeranzeige dargeboten, die eine Vielzahl von Menüs, Fenstern oder dergleichen enthält, aus denen eine besondere Zeitangabemarkierung ausgewählt werden kann (Block 206).
Ein Zeitcode ist mit einer ausgewählten Zeitangabemarkierung assoziiert (Block 208).
Zum Beispiel kann bei einem Ereignis, das mehrfache interagierende Teilnehmer einschließt, wenn ein Beobachter ein Teilnehmerverhalten während des Ereignisses erlebt, das besonders gut oder schlecht ist, eine vordefinierte Zeitangabemarkierung aus der Computeranzeige ausgewählt und ein Zeitcode mit der ausgewählten Markierung assoziiert werden. Während der Berichterstattung können die Ereignisteilnehmer die Datenströme in einer Zeitsynchronität beginnend an oder nahe der Zeit auf rufen, die durch diese Zeitangabemarkierung dargestellt ist. Die Angabemarkierungen, die nicht vordefiniert sind, können auch erzeugt und mit den aufgezeichneten Datenströmen assoziiert werden. wenn zum Beispiel während eines Ereignisses etwas auftreten sollte, das es wert wäre, bei der Berichterstattung aufgerufen zu werden, jedoch nicht unter eine vordefinierte Kategorie fällt, ist ein Überwacher mit der Fähigkeit versehen, eine Zeitangabemarkierung zu erzeugen. Außerdem können Zeitangabemarkierungen automatisch erzeugt werden (Block 210 und 212). Zum Beispiel könnten bestimmte Ereignisse die Erzeugung von Zeitangabemarkierungen unabhängig von einem Überwacher erzeugen.
Unter Bezugnahme auf 1C werden nun Operationen zum Auslesen und Darbieten der aufgezeichneten Datenströme in einer Zeitsynchronität über eine markierte Zeitangabe beschrieben. Während der Berichterstattung eines Ereignisses werden einem Benutzer, vorzugsweise über eine Computeranzeige, eine Liste von Zeitangabemarkierungen dargeboten, die während des Ereignisses erzeugt wurden (Block 302). Wenn der Benutzer eine Zeitangabemarkierung auswählt (Block 304), werden die mehrfachen aufgezeichneten Datenströme in einer Zeitsynchronität an oder nahe dem Zeitpunkt angezeigt, der durch die Zeitangabemarkierung vertreten ist (Block 306). Vorzugsweise werden die Zeitangabemarkierungen nach Kategorie angezeigt. Es können jedoch verschiedene Konfigurationen zum Ermöglichen der Auswahl einer Zeitangabemarkierung durch einen Benutzer zur Anwendung kommen.
Die vorliegende Erfindung ermöglicht es, dass mehrere Zeitangabemarkierungen mit den mehrfachen Datenströmen assoziiert werden, woraufhin während der Berichterstattung an diesen Zeitangabemarkierungen auf die Datenströme zugegriffen werden kann. Die vorliegende Erfindung ermöglicht es auch, dass die Zeitangabemarkierungen aus verschiedenen Kategorien ausgewählt werden, einschließlich technischer Aspekte des aufgezeichneten Ereignisses und menschlicher Interaktionsaspekte der Ereignisteilnehmer. Die Erfindung ist als ein Lehrmittel für verschiedene simulierte Ereignisse vorteilhaft, insbesondere jene, welche mehrfache Teilnehmer einbeziehen, bei denen Risiko und Kosten des tatsächlichen Ereignisses hoch sind. Beispielhafte Ereignisse, für die das Berichterstattungssystem gemäß der vorliegenden Erfindung vorteilhaft ist, schließen Flugzeugoperationen, Land-gestützte Fahrzeugoperationen einschließlich Busse und Züge, chirurgische Verfahren, Seesimulationen und Kriegssimulationen ein, sind aber nicht darauf beschränkt. Die Erfindung ist auch als Lehrmittel für verschiedene reale Ereignisse vorteilhaft, insbesondere jene, welche technische Aspekte des Ereignisses und mehrfache Teilnehmer einbeziehen. Beispielhafte Orte realer Ereignisse schließen Kraftwerksteuerzentralen, Krankenhausoperationssäle, Weltraumorganisationskontrollzentren, Kriegsstrategieräume, Flughafenoperationszentren, Flugleitungseinrichtungen, Fernsehübertragungsräume, die Brücke eines Schiffs, Sportereignisse, Verhandlungs-/Vermittlungsräume und verschiedene Industrie- und Herstellereinrichtungen ein, sind aber nicht darauf beschränkt.
In einer Ausführungsform schließt die vorliegende Erfindung Berichterstattungssysteme und -verfahren ein, die in Verbindung mit einem Flugzeugflug-Simulator verwendet werden. Die Leistung einer Flugbesatzung bei Flugsimulatorübung wird im Allgemeinen über zwei Komponenten gemessen: technische Fertigkeit und menschliche Faktoren oder CRM-Fertigkeit. Die technische Komponente der Leistung einer Flugbesatzung schließt Kenntnisse und Fähigkeiten in Bezug auf Flugzeugsysteme; normale, anormale und Notbetriebsvorgänge; Flugleitungsvorgänge; Instrumentenflugvorgänge; und Navigation und Karten ein, ist aber nicht darauf beschränkt. Die CRM-Komponente der Leistung einer Flugbesatzung schließt Kommunikationsfähigkeiten; Gruppenbildung; die Ausübung der Kommandogewalt und den Gebrauch der Führerschaft; und das Management von Ressourcen, Arbeitsbelastung und Stress ein, ist aber nicht darauf beschränkt.
Die vorliegende Erfindung umfasst Hardware, Software und Schnittstellen, die zum Erfassen mehrfacher Datenströme aus dem Flugsimulator und aus Videokameras und Mikrofonen im Simulator-Cockpit notwendig sind. Daten aus dem Flugsimulator schließen Flug- und Triebwerkinstrumentierungsdaten und andere Daten ein, die zum Erzeugen animierter Instrumentierungs- und Flugzeugpositionsanzeigen erforderlich sind. Typischerweise werden diese Datenströme in digitalem Format erzeugt. Audio- und Video-Datenströme andererseits werden typischerweise in analogem Format erzeugt. Die vorliegende Erfindung könnte analoge Datenströme in digitale Datenströme umwandeln. Überdies kann die vorliegende Erfindung die mehrfachen Datenströme synchronisieren und speichern. Ein bedeutender Aspekt der vorliegenden Erfindung ist die Fähigkeit, verschiedene Zeitangabemarkierungen zu erzeugen, die mit den aufgezeichneten Datenströmen assoziiert werden können. Die Zeitangabemarkierungen ermöglichen so gut wie augenblicklichen Zugriff auf die mehrfachen Datenströme während der Berichterstattung.
Während einer typischen Flugsimulator-Berichterstattungssitzung im Anschluss an eine simulierte Flugübung zeigt die vorliegende Erfindung den digitalisierten Video-Datenstrom in einer Zeitsynchronität mit dynamischer Animation von Fluginstrumentierung und Flugzeugposition in einer Reihe von Fenstern auf einem Computermonitor an. Eine Audio-Wiedergabe, ebenfalls in einer Zeitsynchronität mit den angezeigten Video- und animierten Datenströmen, ist durch ein Lautsprechersystem vorgesehen. Es können daher Flugzeugposition, Instrumentenanzeigen und Aktionen/Interaktionen der Besatzung zu jedem Zeitpunkt leicht abgerufen werden. Bei der Wiedergabe können die verschiedenen synchronisierten Datenströme auf so gut wie jeden Zeitpunkt während der Flugübung nahezu ohne Verzögerung vor- und zurückgesetzt werden.
Unter Bezugnahme auf 2 ist eine bevorzugte Hardware-Konfiguration der vorliegenden Erfindung, wenn sie als Berichterstattungssystem in Verbindung mit einem Flugsimulator zur Anwendung kommt, schematisch dargestellt. Im Allgemeinen schließen die Komponenten des Berichterstattungssystems 10 eine Flugsimulatorkabine 20, einen Flugsimulator-Hostcomputer 30, eine Kontrollpilotschnittstelle 40, ein Markierungssystem 50, ein Audio- und Video-Aufzeichnungssystem 60, einen Berichterstattungscomputer 70 und eine Benutzerschnittstelle 80 für den Berichterstattungscomputer ein. Wie dem Fachmann bekannt ist, unterzieht sich eine Flugbesatzung einer Flugtrainingsübung innerhalb der Flugsimulatorkabine 20, die durch den Flugsimulator-Hostcomputer 30 gesteuert wird. Die Instrumentierung innerhalb der Flugsimulatorkabine 20, die typischerweise eine Nachbildung des Cockpits eines besonderen Flugzeugs ist, ist über den Hostcomputer 30 Computer-gesteuert. Ein Kontrollpilot ist über die Kontrollpilotenschnittfläche 40 mit der Kontrolle über eine Trainingsübung versehen.
In der dargestellten Ausführungsform ist die Flugsimulatorkabine 20 mit einer Vielzahl von Mikrofonen 22 zum Aufzeichnen der hörbaren Kommunikationen von Flugbesatzungsmitgliedern ausgestattet. In einer typischen Konfiguration werden vier (4) Cockpit-Mikrofone in Verbindung mit einem Cockpitbereichsmikrofon, Gurtmikrofonen für Kapitän und Ersten Offizier und Schalttafelmikrofonen verwendet. Ein Audio-Mischpult 23 kombiniert die Audioeingabe aus jedem Mikrofon zu einer einzigen Audio-Quelle. Die Aktionen der Flugbesatzung werden über eine oder mehrere Videokameras 24 aufgezeichnet, die innerhalb der Flugsimulatorkabine 20 angeordnet sind. Vorzugsweise ist jede Videokamera 24 eine Infrarotrestlichtkamera. Ein Video- und Audio-Verstärker 25 verstärkt die analogen Video- und Audio-Datenströme über Langstrecken zwischen dem Aufzeichnungssystem 60 und dem Berichterstattungsraumcomputer 70, wodurch er die anschließende Digitalisierung dieser Datenströme ermöglicht. Vorzugsweise ist ein Brummgeräuschunterdrücker 26 zum Minimieren von Audio- und Video-Datenstromrauschen über Langstrecken zwischen dem Aufzeichnungssystem 60 und dem Berichterstattungsraumcomputer 70 vorgesehen. Die vorliegende Erfindung ist jedoch nicht auf analoge Video- und Audio-Aufzeichnungsgeräte beschränkt. Es könnten digitale Aufzeichnungsgeräte, einschließlich CCD-Kameras, verwendet werden.
Die vorliegende Erfindung beinhaltet kritische Fluginformation mit digitalisiertem Audio und Video, die direkt vom Flugsimulator erhalten wird. Diese Information wird augenblicklich in einer konfigurierbaren Anzeige des Berichterstattungsraumcomputers 70 wiedergegeben. Der Monitor sieht vorzugsweise eine Begleitflugzeugansicht aus jedem Blickwinkel vor, der das Bewusstsein für die Situation während der Berichterstattung fördert. Vorzugsweise ist der Berichterstattungsraumcomputer 70 ein Silicon Graphics Model R4000 oder gleichwertig, mit: Audio- und Video-Erfassungs- und Wiedergabekarten; seriellen oder Ethernet-Kommunikationsports; einer Tastatur, einem zur Ansicht für kleine Gruppen geeigneten Monitor, einer Maus und einer Datenspeicherkapazität von zumindest vier (4) Gigabyte. Software auf dem Berichterstattungsraumcomputer 70 führt die folgenden Aufgaben aus: Video- und Audio-Datenströme erfassen und speichern; Fluginstrumentierungsdatenströme und andere Datenströme aus dem Simulator speichern; Daten aus dem Markierungssystem-PC speichern; Audio- und Video-Datenströme wiedergeben; und Flugsimulatordaten in 4D-Animation wiedergeben. 4D-Animation sieht die Fähigkeit vor, dreidimensionale (3D-)Animation von jedem Punkt im Raum aus zu sehen. Vorzugsweise ermöglicht es die Verschiebung einer Computermaus an jeglichen Punkt um ein Objekt einem Benutzer, das Objekt von diesem Punkt im Raum zu betrachten. Außerdem ist Software vorgesehen, die den 4D-Animator die Bildfolgenwiedergabe beschleunigen oder verlangsamen lässt, um in Synchronität mit der Video-Wiedergabe zu bleiben.
Es ist außerdem Software vorgesehen, die Simulatorfluginstrumentenanzeigen in Überschreitungen decodiert. Der Begriff Überschreitung bezeichnet etwas, was passiert ist, jedoch nicht hätte passieren sollen. Wenn ein Flugzeug zum Beispiel eine Höchstgeschwindigkeit überschreitet, wäre dies eine Überschreitung. Die Höchstgeschwindigkeit für ein Flugzeug ist in einer Computerdatei gespeichert. Die Höchstgeschwindigkeit kann weiter durch Bedingungssätze eingeschränkt sein, wie etwa Höchstgeschwindigkeit auf einer besonderen Höhe. Das Programm vergleicht fortlaufend die Geschwindigkeit des simulierten Flugzeugs mit der Datei, um zu bestimmen, ob die Höchstgeschwindigkeit überschritten wurde. Wenn sie überschritten wurde, wird eine Markierung und eine Überschreitung erzeugt.
Die Kontrolle über den Berichterstattungscomputer 70 wird durch eine Maus-betriebene Oberfläche unterhalten, die vorzugsweise verschiedene Menüs für Inbetriebnahme und Konfiguration aufweist. Außerdem wird bevorzugt, dass die Benutzeroberfläche ein Bedienfeld aufweist, das dem von einer VCR-Oberfläche verwendeten Protokoll gleicht, um Bedienerfreundlichkeit zu ermöglichen. Auf dem Bildschirm sind zum Beispiel "Vorspulen"-, "Zurückspulen"-, "Wiedergabe"-, "Pause"- und "Stop"-Knöpfe angezeigt. Vorzugsweise sind Knöpfe zum Springen zur vorhergehenden oder nächsten Zeitangabemarkierung vorgesehen. Der Benutzer kann die Wiedergabe während der Berichterstattung einfach durch Anklicken des passenden, auf dem Bildschirm angezeigten Knopfes steuern. Alle Fenster auf dem Berichterstattungscomputermonitor sind synchronisiert, um bei der Wiedergabe in Übereinstimmung mit dem Video zu bleiben. Audio ist durch ein Lautsprechersystem vorgesehen, das mit dem Berichterstattungscomputer verknüpft ist und mit der Video- und Grafikanzeige völlig synchronisiert ist.
Unter Bezugnahme auf 4 ist eine bevorzugte Ausführungsform der Berichterstattungscomputeranzeige 72 dargestellt, wenn sie in Verbindung mit einem Flugsimulator zur Anwendung kommt. Vorzugsweise ist die Anzeige ein 35-Inch (35'')-Farbmonitor mit zumindest vier (4) verschiedenen Fenstern. Ein fünftes Fenster könnte zum Anzeigen einer Liste von Zeitangabemarkierungen vorgesehen sein. Die konfigurierbaren Anzeigefenster können nach Wunsch vergrößert, bewegt und verkleinert werden. In der dargestellten Konfiguration zeigt Videoanzeigefenster 73 eine digitale Videoaufzeichnung einer Flugbesatzung während einer Simulatorübung an. Flugzeugpositionsanzeigefenster 74 stellt die Position eines Flugzeugs aus verschiedenen Blickpunkten in jeder Phase während einer simulierten Flugübung dar. Außerdem können im Flugzeugpositionsanzeigefenster 74 ideale Flugzeugpositionen über tatsächliche Flugzeugpositionen gelagert werden. Das Flugzeugpositionsanzeigefenster 74 könnte auch sachdienliche Information wie etwa Gleitweg oder Wettermerkmale anzeigen. Instrumentenanzeigefenster 75 enthalten animierte Anzeigen von ausgewählter Flugzeuginstrumentierung, die abhängig von der Flugzeugart, die im Simulator "geflogen" wird, und der besonderen einbezogenen Flugsimulationsübung konfigurierbar ist. Die animierte Instrumentierung ist eine genaue Nachbildung des Erscheinungsbildes der tatsächlichen Instrumentierung im Cockpit des Simulators. Die Animation ist dahingehend dynamisch, dass die verschiedenen angezeigten Instrumente Daten in Echtzeit darzubieten scheinen. Zum Beispiel zeigen die Grundgeschwindigkeitsanzeige und der Höhenmesser, die in 4 dargestellt sind, während der Wiedergabe eines besonderen Abschnitts der simulierten Übung kontinuierliche Stände an.
Alle Anzeigefenster sind so synchronisiert, dass die dynamische Instrumentierungs- und Flugzeugpositionsanimation und digitales Video und Audio von Flugbesatzungsaktionen darstellen, was an einem besonderen Zeitpunkt während der aufgezeichneten Übung passiert ist. Da alle angezeigten Video- und Instrumentierungsdaten im digitalen Format sind, kann auf jeden Zeitpunkt während der aufgezeichneten Flugübung augenblicklich zugegriffen werden. Außerdem können, wie im Folgenden eingehender beschrieben, Zeitangabemarkierungen sowohl manuell durch den Kontrollpiloten als auch automatisch durch eine Überschreitungsroutine sowie automatisch durch den Simulator an verschiedenen Zeitpunkten während der Aufzeichnung der Flugübung erzeugt werden, so dass während der Berichterstattung auf diese besonderen Zeitpunkte augenblicklich zugegriffen werden kann.
Jede Zeitangabemarkierung ermöglicht schnellen Zugriff auf das, was an einem besonderen Zeitpunkt während der simulierten Flugübung passiert ist, wenn die aufgezeichneten Datenströme während der Berichterstattung wiedergegeben werden. Während der Berichterstattung kann die Flugbesatzung ihre Aktionen beobachten, ihre Gespräche hören, Fluginstrumentierung und Flugzeugposition vor, zum Zeitpunkt und nach jeglicher Zeitmarkierung beobachten. Zum Beispiel können die aufgezeichneten Datenströme zehn (10) Sekunden vor einer gegebenen Zeitmarkierung beginnend wiedergegeben werden und von dort an weiterlaufen. Eine Unmenge von Wiedergabeoptionen wird durch die vorliegende Erfindung möglich, die nicht auf die hierin beschriebenen beschränkt sind. Die vielen möglichen Wiedergabeoptionen schaffen ein wertvolles Hilfsmittel für Ereignisteilnehmer zum Gebrauch beim Lernen aus einem tatsächlichen oder simulierten Ereignis.
Das Markierungssystem 50 ermöglicht es einem Kontrollpiloten, Zeitangabemarkierungen während einer simulierten Flugübung zu erzeugen und eine oder mehrere Kategorien von Ausführungsfaktoren mit den Zeitmarkierungen zu assoziieren. Vorzugsweise wird das Markierungssystem 50 durch einen PC mit einer Sensorbildschirmanzeige gesteuert und ist in der Flugsimulatorkabine 20 angeordnet. Die Markierungssystembenutzeroberfläche, die auf dem Sensorbildschirm dargeboten ist, wird im Folgenden eingehend beschrieben und ist für Bedienungsfreundlichkeit durch den Kontrollpiloten ausgelegt. Es können jedoch auch Computermonitore ohne Sensorbildschirm zum Darbieten der Markierungssystembenutzeroberfläche verwendet werden. Es könne auch herkömmliche Auswahltechniken, die Tastatur- und Mausfunktionen einschließen, zum Erzeugen von Zeitangabemarkierungen zur Anwendung kommen.
Das Markierungssystem 50 schließt Software zum Aufrufen eines Hauptmenüs und hierarchischer Submenüs auf der Markierungssystemanzeige und zum Senden von Zeitmarkierungsdaten an den Berichterstattungsraumcomputer 70 ein. Vorzugsweise ist das Markierungssystem 50 über eine Ethernet-Verbindung oder einen seriellen Port per Kabel an den Berichterstattungscomputer 70 angeschlossen. Zudem versieht das Markierungssystem 50 den Kontrollpiloten mit der Fähigkeit, die Aufzeichnung der verschiedenen Video-, Audio- und Instrumentierungsdatenströme durch den Berichterstattungsraumcomputer 70 zu steuern. Das Markierungssystem 50 weist das Berichterstattungssystem an, wann es starten, anhalten und markieren soll.
Während einer Flugsimulationsübung wird dem Kontrollpiloten auf der Markierungssystemanzeige ein Hauptmenü 52 dargeboten, wie es oben in 3 gezeigt ist, das die folgenden Kategorien von Zeitangabemarkierungen einschließt: Menschliche Faktoren, Technik, LOFT-Ereignisauslöser, Auto Erfassen und Beenden. Aus diesem Hauptmenü 52 werden dem Kontrollpiloten Subkategorien 54 innerhalb jeder Kategorie dargeboten, wie in 3 dargestellt. Jede Subkategorie enthält vorzugsweise eine Vielzahl von vordefinierten Zeitangabemarkierungen, die wie unten beschrieben ausgewählt werden können. Vordefinierte Zeitangabemarkierungen und ihre jeweiligen Kategorien und Subkategorien könnten dem Benutzer auf verschieden Art und Weise dargeboten werden und sind nicht auf Menüs beschränkt. Andere Verfahren, um einem Benutzer Kategorien und Subkategorien von Zeitangabemarkierungen darzubieten, schließen den Gebrauch separater Fenster und Symbole ein.
Eine Zeitangabemarkierung ist als ein Datenfeld definiert, das die Hauptkategoriekopfzeile, die Subkategoriekopfzeile(n) und einen Zeitcodeindex an dem Zeitpunkt, an dem die Markierung im Berichterstattungsraumcomputer 70 empfangen wird, enthält. Nach dem Auswählen jeder Markierung, werden die Zeitangabemarkierungsdaten im Berichterstattungsraumcomputer 70 gespeichert, und das Markierungssystem 50 kehrt zum Hauptmenü der Zeitmarkierungskategorien zurück, bereit für die nächste Zeitmarke.
Subkategorien der Markierungen Menschlicher Faktor schließen: "Unterweisungen", "Untersuchung/Behauptung/Befürwortung", "Selbstkritik der Besatzung", "Kommunikationen/Entscheidungen", "Führung/Befolgung", "Zwischenmenschliche Beziehungen", "Vorbereitung/Planung/Wachsamkeit" und "Arbeitsbelastungsmanagement" ein, sind aber nicht darauf beschränkt. Diese Subkategorien werden von der Federal Aviation Administration (FAA) im Crew Ressource Management Advisory Circular (AC 120-51) empfohlen, das hierin durch Bezugnahme in seiner Gesamtheit aufgenommen ist. Diese Subkategorien sind CRM-Themen, die Fluggesellschaftstrainingsabteilungen als Kriterien, Ziele und Modelle übernommen haben, in denen sie Fertigkeiten zu erwerben suchen. Unten stehende Tabelle 1 bis 8 legt anschauliche, vordefinierte Zeitangabemarkierungen für jede der oben stehenden Subkategorien von Menschliche Faktoren auf.
TABELLE 1
TABELLE 2
TABELLE 3
TABELLE 4
TABELLE 5
TABELLE 6
TABELLE 7
TABELLE 8
Sollte der Kontrollpilot im Simulator positives oder negatives Verhalten in diesen Subkategorien beobachten, zeigt er oder sie diese Beobachtung durch Erzeugen einer der obigen oder anderer Zeitangabemarkierungen an. Vorzugsweise erfolgt die Erzeugung der Zeitangabemarkierung durch Berühren einer dieser aufgeführten Zeitangabemarkierungen auf dem Sensorbildschirm. Eine Zeitangabemarkierung kann jedoch auch auf andere Weise als über einen Sensorbildschirm erzeugt werden, wie etwa über eine Maus- oder Tastaturfunktion. Außerdem können Zeitangabemarkierungen erzeugt werden, die nicht innerhalb einer besonderen Kategorie oder Subkategorie vordefiniert sind. Wenn zum Beispiel etwas während eines simulierten Ereignisses auftreten sollte, das es wert wäre, bei der Berichterstattung aufgerufen zu werden, jedoch nicht unter eine besondere vordefinierte Kategorie fällt, kann ein Kontrollpilot eine generische Zeitangabemarkierung erzeugen, um diesen besonderen Zeitpunkt während des simulierten Ereignisses zu markieren.
Technische Subkategorien von Zeitangabemarkierungen schließen die Mindestanzahl von Manövern ein, die eine Flugbesatzung kompetent auszuführen imstande sein sollte. Diese Subkategorien können von Land zu Land variieren, der Großteil davon ist jedoch Standard bei den Fluggesellschaften weltweit. Im Allgemeinen schließen diese Subkategorien "Abgelehnter Start", "V1 Abgeschnitten", "Bereich Abflug", "Bereich Ankunft", "Ungenaue Anflüge", "Halten", "ILS-Anflüge", "Verfehlte Anflüge", "Landungen" und "Scherwind" ein, sind jedoch nicht darauf beschränkt. Der Kontrollpilot in dem Simulator kann Zeitangabemarkierungen für jede der technischen Subkategorien auswählen.
"LOFT" ist das Akronym für "Line Oriented Flight Training" (Linien-orientiertes Flugtraining). Die Fluglinienindustrie hat sich von auf Fertigkeiten gestützten Manövern einer technischen Natur weg und eher zu Simulationen hin bewegt, die eng auf tatsächliche Linienoperationen ausgerichtet sind. Der Begriff "line oriented" bezieht sich auf den Passagierflug. Der Schwerpunkt liegt eher auf dem Training und der Bewertung der menschlichen Faktoren als auf motorischen Kenntnissen, Training, Demonstration und Bewertung. Ein "LOFT"-Ereignisauslöser wird als ein externes Ereignis definiert, das in eine simulierte Flugübung eingeführt wird und spezifisch dazu gestaltet ist, ein Ereignis menschlicher Faktoren einzuleiten. Zum Beispiel könnte während eines simulierten Flugs eine Motoröltemperaturanzeige einen schwankenden Wert anzeigen, um die Flugbesatzung abzulenken. Die Ablenkung könnte zu einer Störung des Arbeitsbelastungsmanagements oder von Kommunikationen zwischen der Flugbesatzung führen. Der Fokus während der Berichterstattung läge dann darauf, die Ablenkung zu bewältigen, so dass der Flug trotz der Ablenkung erfolgreich fortgesetzt werden kann. Der Kontrollpilot in dem Simulator kann Zeitangabemarkierungen aus jeder LOFT-Kategorie und -Subkategorie auswählen.
"Auto Erfassen" schließt verschiedene automatisch erzeugte Zeitangabemarkierungssubkategorien ein. Beispielhafte Subkategorien beinhalten: wenn der Kontrollpilot bestimmte Simulatorfunktionen einleitet und wenn bestimmte Ausführungsparameter überschritten werden. Zum Beispiel kann eine Zeitangabemarkierung automatisch erzeugt werden, wenn der Kontrollpilot vom Simulator abruft, Scherwind einzuleiten. Als anderes Beispiel kann eine Zeitangabemarkierung automatisch erzeugt werden, wenn das Flugzeug in Überschreitung einer besonderen Luftgeschwindigkeit auf einer besonderen Höhe betrieben wird. Automatisch erzeugte Zeitangabemarkierungen können zahlreich sein, und es wird erwartet, dass die Benutzer die vorliegende Erfindung so einrichten, dass sie ihren besonderen Bedürfnissen entspricht.
Unter Bezugnahme auf 5 ist ein Berichterstattungsraumcomputer-Anzeigebildschirm 82 zum Auswählen einer besonderen Zeitangabemarkierung aus einer Liste von Zeitangabemarkierungen 83 während der Berichterstattung dargestellt. Ein Benutzer gibt die Nummer der Zeitangabemarkierung in das mit "Markierungs-Nr. eingeben" gekennzeichnete Feld ein und drückt eine Maus- oder Tastaturfunktion, um die Wiedergabe der verschiedenen Datenströme an dem Zeitpunkt zu beginnen, der durch die ausgewählte Markierung angegeben ist. Der Bildschirm 82 ermöglicht es dem Benutzer, zusätzliche Bildschirmauflistungen von Zeitmarkierungen durch "Nächste Seite"- und "Vorige Seite"-Funktionen und ihre Entsprechungen aufzurufen. Alternativ kann eine Anzeige von abgelaufener Zeit an einer besonderen Markierung zusammen mit Steuerungen für eine Wiedergabe von einer ausgewählten abgelaufenen Zeit dargeboten werden.
Wie gezeigt, ist ein Zeitcode 84, der einen Zeitpunkt während einer besonderen aufgezeichneten Flugübung darstellt, mit jeder Zeitangabemarkierung assoziiert. Außerdem sind sowohl eine Markierungskategorie 85 und -Subkategorie 86 mit jeder Zeitangabemarkierung assoziiert. Zum Beispiel wurde, wie in 5 gezeigt, zu einem Zeitpunkt, der zehn (10) Sekunden nach Beginn einer besonderen Flugübung entspricht, eine Zeitmarkierung für ein technisches "V1 Abgeschnitten"-Manöver erzeugt. Bei Auswahl dieser Markierung während des Berichterstattens würde die Anzeige, die in 4 dargestellt ist, in digitalem Format und in einer Zeitsynchronität das Video der Flugbesatzung, die Flugzeugposition und verschiedene Fluginstrumentierungen beginnend bei zehn (10) Sekunden nach Beginn der Flugübung wiedergeben. Es versteht sich jedoch, dass es die vorliegende Erfindung ermöglicht, die Wiedergabe zu konfigurieren, woraufhin sie vor, nach oder genau an der Zehn-Sekunden-Markierung beginnen oder enden kann.
Unter Bezugnahme auf 6 ist ein anderer Berichterstattungsraumcomputer-Anzeigebildschirm 88 zum Auswählen von Zeitangabemarkierungen während der Berichterstattung dargestellt. Der dargestellte Bildschirm zeigt eine Grafik 91 einer Flugzeughöhe während eines besonderen Abschnitts einer Flugübung. Die Höhe in Fuß ist entlang der y-Achse 89 eingezeichnet, und die Zeit ist entlang der x-Achse 90 eingezeichnet. Vertikale Markierungen 92 stellen Zeitangabemarkierungen dar, die über das Markierungssystem 50 während einer simulierten Flugübung erzeugt wurden. Während der simulierten Flugübung wurden die Markierungen entweder automatisch durch den Simulator oder durch den Kontrollpiloten erzeugt, wie im Vorgehenden beschrieben.
Während der Berichterstattung wählt ein Benutzer eine besondere Markierung durch Anklicken der Markierung mit einer Maus aus. Bei Auswahl können die Einzelheiten des Geschehens an diesem Zeitpunkt auf dem Berichterstattungsraummonitor angezeigt werden, wie oben beschrieben. Außerdem wird, wenn eine Markierung ausgewählt wird, vorzugsweise ein Fenster geöffnet, das die Daten für die ausgewählte Zeitangabemarkierung enthält. Vorzugsweise sind die Zeitmarkierungen auf Grundlage der Markierungsart farbcodiert, um ein leichtes Erkennen zu ermöglichen. Zum Beispiel können einige oder alle der vertikalen Markierungen 92 in 6 purpurrot sein, um Technik-Markierungen darzustellen. Einige oder alle der vertikalen Markierungen 92 in 6 können rot sein, um Menschliche Faktoren-Markierungen darzustellen. Einige oder alle der vertikalen Markierungen 92 in 6 können gelb sein, um LOFT-Ereignisauslöser-Markierungen darzustellen. Einige oder alle der vertikalen Markierungen 92 in 6 können weiß sein, um Auto-Erfassen-Markierungen darzustellen. Außerdem weist der Bildschirm eine Fähigkeit zum Heran- und Wegzoomen auf, um Gebrauchsfreundlichkeit zu ermöglichen, falls ein Bereich des Bildschirms von Markierungen überhäuft sein sollte.
Unter Bezugnahme auf 7 kann das Hauptmenü 52 auf der Markierungssystemanzeige eine Kategorie für Spracherkennung einschließen. Audio-Datenströme, die durch Aufzeichnen der hörbaren Kommunikationen der Flugbesatzungsmitglieder erzeugt wurden, können unter Verwendung von Spracherkennungssoftware analysiert werden. Wie dem Fachmann bekannt ist, können Wörter, Sätze und andere Abschnitte eines Audio-Datenstroms unter Verwendung der Spracherkennungssoftware selektiv lokalisiert werden. Vorzugsweise ist eine Stichwortsuche vorgesehen, um das Lokalisieren selektiver Abschnitte eines Audio-Datenstroms zu erleichtern. Zum Beispiel könnte während des Berichterstattens eine Suche durchgeführt werden, um festzustellen, ob die Besatzung während der simulierten Übung das Wort "abbrechen" oder "Feuer" benutzt hat. Selektiv lokalisierte Wörter und andere Abschnitte eines Audio-Datenstroms können als Zeitangabemarkierungen dienen und zum späteren Auslesen gespeichert werden.
Gemäß der vorliegenden Erfindung können Videobeispiele für geeignetes Flugbesatzungsverhalten für ein besonderes Ereignis während einer simulierten Übung augenblicklich verfügbar sein. Wenn zum Beispiel ein CRM-Fehler während einer Sitzung auftritt, wird das System auf Abruf während der Berichterstattung oder Unterweisung mit einem Videobeispiel von Besatzungsaktionen/-interaktionen reagieren, das dem besonderen Ereignis angemessen wäre.
Die Systeme und Verfahren gemäß der vorliegenden Erfindung können als Lehrmittel für vielerlei Ereignisse zur Anwendung kommen. Zum Beispiel während einer chirurgischen Prozedur kann eine Videokamera verwendet werden, um das Ereignis aufzuzeichnen. Das System kann so konfiguriert werden, dass es sich sowohl an die Videokamera als auch an die Instrumentierung anschließen lässt, die während der Prozedur verwendet wird, wie etwa Monitore, Beatmungsgeräte und dergleichen. Das Video- und/oder Audio-Signal wird digitalisiert und mit den Instrumentendaten synchronisiert und dann gespeichert. Anschließend können die gespeicherten Video- und Instrumentendaten angezeigt werden, wobei die Aktionen/Interaktionen eines Operationsteams gleichzeitig mit verschiedenen Instrumentierungsanzeigen gezeigt werden. Das Endergebnis ist eine wertvolle Lehrhilfe zum Gebrauch beim Berichterstatten des Operationsteams und zum Ausbilden anderer.
Die vorliegende Erfindung ist eine gewaltige Verbesserung gegenüber bestehenden Hilfsmitteln zum Berichterstatten über Trainingsübungen und reale Ereignisse. Die vorliegende Erfindung steigert Ausbildungseffizienz und -effektivität, indem sie den Auszubildenden ermöglicht, ihre Trainings- oder Operationserfahrung ihrer Leistung über eine einzelne integrierte Anzeige in Bezug auf sowohl technische Aspekte als auch Aspekte der menschlichen Faktoren noch einmal zu durchleben.
Vorstehendes veranschaulicht die vorliegende Erfindung und ist nicht als einschränkend zu verstehen. Obwohl einige Ausführungsformen dieser Erfindung als Beispiel beschrieben wurden, wird der Fachmann ohne weiteres verstehen, dass zahlreiche Modifikationen an den beispielhaften Ausführungsformen vorgenommen werden können, ohne grundlegend von den neuen Lehren und Vorteilen dieser Erfindung abzuweichen. Dementsprechend ist beabsichtigt, dass alle derartigen Modifikationen im Anwendungsbereich dieser Erfindung wie in den Ansprüchen definiert eingeschlossen sind. In den Ansprüchen ist beabsichtigt, dass die "Means-plus-function"-Absätze die Strukturen, die hierin als die angegebene Funktion ausführend beschrieben sind, und nicht nur strukturelle Äquivalente, sondern auch äquivalente Strukturen abdecken. Daher ist zu verstehen, dass Vorstehendes die vorliegende Erfindung veranschaulicht und nicht als auf die spezifischen offenbarten Ausführungsformen beschränkt zu verstehen ist, und dass beabsichtigt ist, dass Modifikationen an den offenbarten Ausführungsformen sowie an anderen Ausführungsformen im Anwendungsbereich der beiliegenden Ansprüche eingeschlossen sind. Die Erfindung ist durch die folgenden Ansprüche definiert, wobei Äquivalente der Ansprüche darin einzuschließen sind.

Claims

Ereignis-Berichterstattungssystem (10), umfassend eine Einrichtung (60) zum Aufzeichnen einer Vielzahl von Datenströmen, die sich auf ein Ereignis beziehen, welches über eine ausgedehnte Zeitperiode auftritt, wobei jeder Datenstrom eine chronologische Information in Bezug auf wenigstens einen Aspekt des Ereignisses über der ausgedehnten Zeitperiode einschließt, wobei das Ereignis-Berichterstattungssystem (10) gekennzeichnet ist durch und ferner umfasst: eine Einrichtung (50) für eine kategorisierte Markierung, die gleichzeitig mit der Aufzeichnungseinrichtung (60) arbeitet, um diskrete Zeiten während der ausgedehnten Zeitperiode, zu der interessante Einzelheiten auftreten, zu markieren, und um eine Kategorie mit jeder der markierten Zeiten auf Grundlage von Charakteristiken der jeweiligen Einzelheit zu assoziieren, wobei die Einrichtung (50) für eine kategorisierte Markierung eine Eingabeeinrichtung mit einer Anzeige zum Erzeugen eines Hauptmenüs (52) von Kategorien für eine Auswahl durch einen Benutzer und assoziierten Submenüs (54) zum Auflisten von Subkategorien innerhalb jeder Kategorie einschließt; und eine Einrichtung (70) für eine synchronisierte Darbietung, die auf die Markierungseinrichtung (50) und auf die Auswahl einer jeweiligen Kategorie anspricht, um Information aus den aufgezeichneten Datenströmen auf Grundlage der markierten Zeiten in der gewählten Kategorie auszulesen und um die ausgelesene Information von den aufgezeichneten Datenströmen derart darzubieten, dass diejenigen Abschnitte des Ereignisses, die mit der gewählten Kategorie assoziiert werden, dargeboten werden.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, ferner umfassend einen Flugzeugflug-Simulator (20) zum Simulieren eines Flugzeugflugs derart, dass das Ereignis ein simulierter Flugzeugflug ist.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1 zur Verwendung bei der Simulierung von Land-gestützten Fahrzeugoperationen.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1 zur Verwendung bei der Überwachung einer Herstellungseinrichtung.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die assoziierte Kategorie eine Kategorie in Bezug auf Aktionen von menschlichen Teilnehmern an dem Ereignis einschließt.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die assoziierte Kategorie eine Kategorie in Bezug auf technische Parameter des Ereignisses einschließt.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die Einrichtung (70) für eine synchronisierte Darbietung eine Einrichtung zum Auslesen von Information von den Datenströmen beginnend an der markierten Zeit und in chronologischer Fortsetzung danach und zum Darbieten der ausgelesenen Information von den Datenströmen in einer Zeitsynchronität umfasst.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die Aufzeichnungseinrichtung (60) umfasst: eine Video-Aufzeichnungseinrichtung (24) zum Erzeugen eines Video-Datenstroms von Aktionen von Ereignisteilnehmern; eine Audio-Aufzeichnungseinrichtung (24) zum Erzeugen eines Audio-Datenstroms von hörbaren Kommunikationen von Ereignisteilnehmern; eine Instrumentierungs-Aufzeichnungseinrichtung zum Erzeugen eines Instrumentierungs-Datenstroms von verschiedenen Ereignis-Überwachungsinstrumenten.
Ereignis-Berichterstattungssystem (10) nach Anspruch 7, wobei die Einrichtung (70) für eine synchronisierte Darbietung eine Anzeige (72) mit einer Vielzahl von Zonen umfasst, und wobei die Video- und Instrumentierungs-Datenströme in einer jeweiligen der Vielzahl von Zonen in einer Zeitsynchronität dargeboten werden.
Ereignis-Berichterstattungssystem (10) nach Anspruch 9, wobei die Einrichtung (70) für eine synchronisierte Darbietung eine Einrichtung zum Ausführen der Audio-Datenströme mit den angezeigten Video- und Instrumentierungs-Datenströmen in einer Zeitsynchronität umfasst.
Ereignis-Berichterstattungssystem (10) nach Anspruch 10, wobei die Ausführungseinrichtung ferner eine Spracherkennungseinrichtung zum selektiven Lokalisieren von Abschnitten des Audio-Datenstroms umfasst.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die Markierungseinrichtung (50) auf eine Benutzeridentifikation einer Zeit während der ausgedehnten Zeitperiode anspricht.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, wobei die Einrichtung (70) für synchronisierte Darbietung eine Einrichtung (75) zum Anzeigen des Erscheinungsbilds einer gewählten Instrumentierung einschließt.
Ereignis-Berichterstattungssystem (10) nach Anspruch 1, ferner umfassend eine Automatikmarkierungseinrichtung (50) zum automatischen Markieren einer Zeit während der ausgedehnten Zeitperiode, zu der wenigstens einer der Aspekte vorgegebene Kriterien erfüllt, wobei die Darbietungseinrichtung (70) auf die Automatikmarkierungseinrichtung anspricht zum Auslesen und Darbieten von Information von den aufgezeichneten Datenströmen auf Grundlage der automatisch markierten Zeit und zum Darbieten der ausgelesenen Information von den aufgezeichneten Datenströmen.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14, ferner umfassend einen Flugzeugflug-Simulator (20) zum Simulieren eines Flugzeugflugs derart, dass das Ereignis ein simulierter Flugzeugflug ist.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14 zur Verwendung bei der Simulation von Land-gestützten Fahrzeugoperationen.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14 zur Verwendung bei der Überwachung bei der Herstellungseinrichtung.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14, wobei die Einrichtung (70) für eine synchronisierte Darbietung eine Einrichtung zum Auslesen von Information von den Datenströmen beginnend zu der markierten Zeit und in chronologischer Fortsetzung danach, und zum Darbieten der ausgelesenen Information von den Datenströmen in einer Zeitsynchronität umfasst.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14, wobei die Aufzeichnungseinrichtung (60) umfasst: eine Video-Aufzeichnungseinrichtung (24) zum Erzeugen eines Video-Datenstroms von Aktionen von Ereignisteilnehmern; eine Audio-Aufzeichnungseinrichtung (24) zum Erzeugen eines Audio-Datenstroms von hörbaren Kommunikationen von Ereignisteilnehmern; und eine Instrumentierungs-Aufzeichnungseinrichtung zum Erzeugen eines Instrumentierungs-Datenstroms von verschiedenen Ereignis-Überwachungsinstrumenten.
Ereignis-Berichterstattungssystem (10) nach Anspruch 19, wobei die Einrichtung (70) für synchronisierte Darbietung eine Anzeige (72) mit einer Vielzahl von Zonen umfasst, und wobei die Video- und Instrumentierungs-Datenströme in einer jeweiligen der Vielzahl von Zonen in einer Zeitsynchronität dargeboten werden.
Ereignis-Berichterstattungssystem (10) nach Anspruch 20, wobei die Einrichtung (70) für eine synchronisierte Darbietung umfasst: eine Einrichtung zum Ausführen des Audio-Datenstroms mit den angezeigten Video- und Instrumentierungs-Datenströmen in einer Zeitsynchronität.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14, ferner umfassend eine Einrichtung (50) eine für kategorisierte Markierung zum Markieren einer Zeit während der ausgedehnten Zeitperiode und zum Assoziieren einer Kategorie mit den markierten Zeiten.
Ereignis-Berichterstattungssystem (10) nach Anspruch 14, wobei die Einrichtung (70) für eine synchronisierte Darbietung eine Einrichtung (75) zum Anzeigen des Erscheinungsbilds einer gewählten Instrumentierung umfasst.
Verfahren für eine Ereignis-Berichterstattung, umfassend ein Aufzeichnen (100) einer Vielzahl von Datenströmen bezüglich eines Ereignisses, welches über einer ausgedehnten Zeitperiode auftritt, wobei jeder Datenstrom eine chronologische Information in Bezug auf wenigstens einen Aspekt des Ereignisses über der ausgedehnten Zeitperiode einschließt, wobei das Verfahren für eine Ereignis-Berichterstattung durch die folgenden weiteren Schritte gekennzeichnet ist: Identifizieren von diskreten Zeiten während des Ereignisses, zu denen interessante Einzelheiten auftreten; Markieren (200) von diesen diskreten Zeiten während des Aufzeichnungsschritts der Vielzahl von Datenströmen, zu denen interessante Einzelheiten auftreten, einschließlich eines Erzeugens eines Hauptmenüs (52) von Kategorien für eine Auswahl durch einen Benutzer und von assoziierten Submenüs (54) zum Auflisten von Subkategorien innerhalb der Kategorie auf einer Eingabeeinrichtungsanzeige; und Auslesen (300) von Information von den aufgezeichneten Datenströmen auf Grundlage der markierten Zeiten, und Darbieten der ausgelesenen Information von den Datenströmen in einer Zeitsynchronität derart, dass ausgewählte Abschnitte des Ereignisses angezeigt werden.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, wobei der Markierungsschritt (200) ein automatisches Markieren (212) von diesen diskreten Zeiten während des Schritts (100) zum Aufzeichnen der Vielzahl von Datenströmen, zu denen wenigstens einer der Aspekte vorgegebene Kriterien erfüllt, so dass diejenigen Abschnitte des Ereignisses, in denen wenigstens einer der Aspekte vorgegebene Kriterien erfüllt, angezeigt werden können, umfasst.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, wobei der Schritt (200) zum Markieren von Zeiten umfasst: Markieren von diskreten Zeiten während der verlängerten Zeitperiode, zu der interessante Einzelheiten auftreten; Assoziieren (208) einer Kategorie mit jeder der markierten Zeiten auf Grundlage von Charakteristiken der jeweiligen Einzelheit; und Auslesen von Information von den aufgezeichneten Datenströmen auf Grundlage der markierten Zeiten in einer gewählten Kategorie, und Darbieten der ausgelesenen Information von den aufgezeichneten Datenströmen derart, dass diejenigen Abschnitte des Ereignisses, die mit der gewählten Kategorie assoziiert sind, dargeboten werden.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 26, wobei der Schritt (208) zum Assoziieren der Kategorie das Assoziieren einer Kategorie in Bezug auf Aktionen von menschlichen Teilnehmern an dem Ereignis mit den markierten Zeiten einschließt.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 26, wobei der Schritt (208) zum Assoziieren einer Kategorie ein Assoziieren einer Kategorie in Bezug auf technische Parameter des Ereignisses einschließt.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, ferner umfassend einen Schritt zum Simulieren eines Flugzeugflugs derart, dass das Ereignis ein simulierter Flugzeugflug ist.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24 zur Verwendung bei der Simulation von Land-gestützten Fahrzeugoperationen.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24 zur Verwendung bei der Überwachung einer Herstellungseinrichtung.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, wobei der Schritt (300) zum Auslesen von Information von den Datenströmen auf Grundlage der markierten Zeit ein Auslesen von Information von den Datenströmen beginnend zu der markierten Zeit und in chronologischer Fortsetzung danach, und ein Darbieten (306) der ausgelesenen Information von den Datenströmen in einer Zeitsynchronität umfasst.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, wobei der Schritt (100) zum Aufzeichnen einer Vielzahl von Datenströmen in Bezug auf ein Ereignis umfasst: Erzeugen eines Video-Datenstroms von Aktionen von Ereignisteilnehmern; Erzeugen eines Audio-Datenstroms von hörbaren Kommunikationen von Ereignisteilnehmern; und Erzeugen eines Instrumentierungs-Datenstroms von verschiedenen Ereignis-Überwachungsinstrumenten.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 33, wobei der Schritt (300) zum Auslesen und Darbieten der ausgelesenen Information ein Anzeigen der Video- und Instrumentierungs-Datenströme in einer jeweiligen einer Vielzahl von Anzeigezonen in einer Zeitsynchronität umfasst.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 34, ferner umfassend den Schritt zum Ausführen der Audio-Datenströme mit den angezeigten Video- und Instrumentierungs-Datenströmen in einer Zeitsynchronität.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 35, wobei der Ausführungsschritt ferner den Schritt zum selektiven Lokalisieren von Sprachabschnitten des Audio-Datenstroms umfasst.
Verfahren für eine Ereignis-Berichterstattung nach Anspruch 24, wobei eine Darbietung der ausgelesenen Information ferner das Erzeugen einer Animation (74, 75) bezüglich des aufgezeichneten Ereignisses für eine Darbietung zusammen mit den gewählten Abschnitten des Ereignisses, die angezeigt werden, umfasst, wobei die Animation dynamisch erzeugt wird, um eine Echtzeit-Simulation von Information in Bezug auf das aufgezeichnete Ergebnis darzubieten.