DE60208415T2 - Verfahren zur optimierung von testdaten - Google Patents

Verfahren zur optimierung von testdaten Download PDF

Info

Publication number
DE60208415T2
DE60208415T2 DE60208415T DE60208415T DE60208415T2 DE 60208415 T2 DE60208415 T2 DE 60208415T2 DE 60208415 T DE60208415 T DE 60208415T DE 60208415 T DE60208415 T DE 60208415T DE 60208415 T2 DE60208415 T2 DE 60208415T2
Authority
DE
Germany
Prior art keywords
data
flight
test
maneuver
flight test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60208415T
Other languages
English (en)
Other versions
DE60208415D1 (de
Inventor
W. Robert VANDERWIEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Corp
Original Assignee
Lockheed Corp
Lockheed Martin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockheed Corp, Lockheed Martin Corp filed Critical Lockheed Corp
Application granted granted Critical
Publication of DE60208415D1 publication Critical patent/DE60208415D1/de
Publication of DE60208415T2 publication Critical patent/DE60208415T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00Systems involving sampling of the variable controlled
    • G05B21/02Systems involving sampling of the variable controlled electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0256Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults injecting test signals and analyzing monitored process response, e.g. injecting the test signal while interrupting the normal operation of the monitored system; superimposing the test signal onto a control signal during normal operation of the monitored system

Description

  • Hintergrund der Erfindung
  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft allgemein das Gebiet der Systemtests und insbesondere die Ermittlung, ob ein Testmanöver mit Mehrfach-Status-Variablen neue Daten erzeugt.
  • Beschreibung des Standes der Technik
  • Flugzeugtests sind kostspielige und zeitraubende Aspekte bei der Zulassung von Flugzeugen zur Verwendung.
  • Üblicherweise wird für ein Flugzeug eine Anzahl von Flugtests durchgeführt, wobei jeder Flugtest eine Anzahl vorausgeplanter Manöver umfasst. Während des Flugtests zeichnen die Instrumente verschiedene das Flugzeug während der Tests betreffende Daten auf.
  • Die Flugtests wiederholen zwar nicht die Manöver von vorausgegangenen Flugtests oder Manöver; trotzdem bringen einige Manöver keine zusätzlichen Informationen bezüglich des Flugzeugs aus den Daten, die bisher auch schon bei anderen Manövern registriert wurden. Wenn durch ein Manöver keine neuen Daten erhalten werden, von einem vollständig neuen Datenerfassungsmodell, könnten Manöver zur Beibehaltung der Effizienz Kandidaten für die Modifikation oder das Entfernen aus dem Flugtest sein, sowohl in Bezug auf die Zeit als auch die Kosten für den Flugtest.
  • In dem EP-Patent Nr. 0 892 248 ist ein computergestütztes Navigationssystem angegeben, das einem Anwender eine Reihe von Manöveranweisungen liefert, um von einem ersten zu einem zweiten Ort in einem geografischen Gebiet zu gelangen. Die Serie von Manöveranweisungen wird aus einer Liste von Dateneinheiten abgeleitet, die eine Flugstrecke vom ersten zum zweiten Ort darstellen. Die Liste von Dateneinheiten umfasst Daten, die eine Mehrzahl von Orten entlang der Flugroute darstellen, an denen Manöveranweisungen geliefert werden. Das Manövererzeugungsprogramm bestimmt einen, und vorzugsweise nicht mehr als einen Manövertyp, der aus einer zuvor bestimmten Anzahl von Manövertypen für jeden Ort der Mehrzahl der entlang der Flugroute befindlichen Orte ausgewählt wurde. Das Manövererzeugungsprogramm führt eine Reihe von Tests aufgrund der jedem Ort entsprechenden Daten durch. Jeder der Mehrzahl von Manövertypen ist durch einen eindeutigen Testsatz charakterisiert, der aus einer zuvor bestimmten Obermenge von Tests ausgewählt wurde.
  • Kurze Beschreibung der Erfindung
  • Dementsprechend betrifft die Erfindung in einem ersten Aspekt ein Verfahren zur Erzeugung eines optimierten Flugzeug-Flugtests, das Folgendes enthält: Bilden eines ersten Flugzeug-Flugtests, der eine Mehrzahl von Flugmanövern enthält, um Flugtestdaten zu erhalten, Erstellen wenigstens einer Datenvariablen für jedes der Mehrzahl von Flugmanöver des ersten Flugzeug-Flugtests, Zusammenfassen der Flugtestdaten jedes der Flugmanöver in einem ursprünglichen Datensatz, Entfernen von Flugtestdaten aus dem ursprünglichen Datensatz zur Erzeugung eines revidierten Datensatzes, Vergleichen der Datenvariablen jedes Flugmanövers mit dem geänderten Datensatz, Entfernen jedes Flugmanövers aus dem ersten Flugzeug-Flugtest, wenn die Datenvariablen des Flugmanövers im Vergleich zu dem geänderten Datensatz vorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen, und Erhalten jedes Flugmanövers innerhalb des ersten Flugzeug-Flugtests, wenn die Datenvariablen des Flugmanövers im Vergleich zu dem geänderten Datensatz unvorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Optimierung von Flugtestdaten, die in Flugzeug-Flugtests erhalten wurden, mit einem Computersystem zur Ausführung eines Algorithmus, wobei der Algorithmus wenigstens eine Datenvariable für jedes einer Mehrzahl von Flugmanövern aus einem ersten Flugzeug-Flugtest erstellt, er jede Datenvariable aus jedem Flugmanöver in einen ursprünglichen Datensatz zusammenfasst, er die Datenvariablen eines ersten Flugmanövers aus dem ursprünglichen Datensatz entfernt, um einen geänderten Datensatz zu erzeugen, die Datenvariablen des ersten Flugmanövers mit dem geänderten Datensatz vergleicht, jedes Flugmanöver aus dem ersten Flugzeug-Flugtest entfernt, wenn die Datenvariablen des ersten Flugmanövers im Vergleich zu dem geänderten Datensatz vorteilhaft sind, um einen optimierten Flugzeug-Flugtest zu erzeugen, und wobei der Algorithmus das erste Flugmanöver in dem ersten Flugzeug-Flugtest aufrecht erhält, wenn die Datenvariablen des ersten Flugmanövers im Vergleich zu dem geänderten Datensatz unvorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen.
  • Ein besseres Verständnis der Erfindung lässt sich durch Bezugnahme auf die folgende detaillierte Beschreibung der bevorzugten Ausführungsform erzielen.
  • Kurze Beschreibung der Zeichnungen
  • Für ein vollständiges Verständnis der vorliegenden Erfindung und deren Vorteile wird in Verbindung mit den beigefügten Zeichnungen auf die folgende detaillierte Beschreibung Bezug genommen, wobei die Figuren Folgendes darstellen:
  • 1A eine Schulungsdatei der Gleichung X = Y zwischen 0 < X < 1, 2 < X < 3 und 4 < X < 5;
  • 1B dieselbe Gleichung X = Y, Bereich 0 < X < 5, aber ohne die Datenlücken der Schulungsdatei;
  • 1C einen Mustererkennungs-Vergleich zwischen den Schulungsdateien gegenüber der Testdatei;
  • 2A eine in drei Blöcken angeordnete anormale Verteilung von Schulungsdateidaten;
  • 2B eine Testdatei mit Zufallsdaten, die den Bereich 0 < X < 10 und 0 < Y < 1 umfasst;
  • 2C die vorliegende Erfindung, die diejenigen Testdateidaten außerhalb der Schulungsdatei markiert;
  • 2D die elektronische Bildanzeige des Ergebnisses der Testdatei, die die für die Erzeugung der 2C erforderlichen Daten lieferte;
  • 3A eine dreivariable Testdatei im Vergleich zu den Testdateiergebnissen, wobei das Beispiel ein Variablenpaar mit einer Störgröße DM bei 35 verwendet;
  • 3B die Daten von 3A mit einer DM von 15;
  • 3C die Daten von 3A mit einer DM von 7;
  • 4 die Fähigkeit der vorliegenden Erfindung, unter Verwendung von Flugzeugdaten-Distributionen neue Informationen in einer Testdatei nachzuweisen;
  • 5 die Wechselwirkung zwischen einer von zwei variablen Verknüpfungen;
  • 6 die Wechselwirkung zwischen den beiden Variablenverknüpfungen gemäß 5, wobei ein anderer Flug als Testdatei verwendet wird;
  • 7A ein Beispiel für ein Variablenpaar, vertikale Last und seitliche Beschleunigung;
  • 7B ein Beispiel für ein Variablenpaar, seitliche Beschleunigung und Rollbeschleunigung;
  • 7C ein Beispiel für ein Variablenpaar, seitliche Beschleunigung und Anstellwinkel;
  • 8 eine Datenteilsatz-Analysedarstellung, die einen Vergleich eines Flugs mit einer Testdatei des zuvor getätigten Fluges darstellt;
  • 9 in Tabellenform die Menge an wertvollen Information in jedem Flugtest, verglichen mit einer Testdatei, die aus allen zuvor getätigten Flügen zusammengestellt wurde;
  • 10 den Prozentsatz nützlicher Informationen in jedem Flugtest (y-Achse), bei Vergleich mit einer Schulungsdatei aller zuvor getätigten Flüge (x-Achse);
  • 11 die enge Beziehung zwischen der Menge an neuen Informationen in der unabhängigen (y-Achse), im Vergleich zum Prozentsatz nützlicher Informationen in unabhängigen Variablen (x-Achse);
  • 12A Manöverkandidaten für die Elimination;
  • 12B verschiedene Manöverkandidaten für die Elimination;
  • 12C verschiedene Manöverkandidaten für die Elimination;
  • 13 eine typische Variablenkombination, die zeigt, dass alle Daten in den Testdateien tatsächlich in die Schulungsdatei einbezogen sind;
  • 14 wenigstens einen brauchbaren Datenpunkt unter Verwendung der statistischen Parameter Flug A Lauf B Manöver, im Vergleich zu der Schulungsdatei-Datenbank unter Verwendung der selben Variablenkombination;
  • 15 ein Beispiel für aus drei hypothetischen Flügen erfasste Daten;
  • 16 den Prozentsatz von aufgelaufenen Manövern, die während der Durchführung des Flugtests als Kandidaten für die Elimination (y-Achse) ausgewählt wurden als laufende Flugstrecke (x-Achse);
  • 17A einen Flugtest mit allen Daten (Vertikalbelastung gegenüber lateraler Beschleunigung);
  • 17B einen Flugtest nach 41,1 % Datenreduktion (Vertikallast gegenüber lateraler Beschleunigung);
  • 17C einen Flugtest mit allen Daten (Vertikallast gegenüber Anstellwinkel);
  • 17D einen Flugtest nach 41,1 % Datenreduktion (Vertikallast gegenüber Ausstellwinkel);
  • 17E einen Flugtest mit allen Daten (laterale Beschleunigung gegenüber Rollbeschleunigung);
  • 17F einen Flugtest nach 41,1 % Datenreduktion (laterale Beschleunigung gegenüber Rollbeschleunigung);
  • 17G einen Flugtest mit allen Daten (laterale Beschleunigung gegenüber Anstellwinkel);
  • 17H einen Flugtest nach 41,1 % Datenreduktion (laterale Beschleunigung gegenüber Anstellwinkel);
  • 18 die Methodik der vorliegenden Erfindung in Flussdiagramm-Form;
  • 19 Schritt 5 von 18 ausführlicher;
  • 20 Schritt 7 von 18 ausführlicher;
  • 21 Schritt 9 von 18 ausführlicher.
  • Detaillierte Beschreibung der bevorzugten Ausführungsform
  • Die vorliegende Erfindung umfasst einen hoch entwickelten Mustererkennungs-Algorithmus, gekoppelt mit einem Fehlerdiagnosemodell und basierend auf einem Satz von statistischen Hypothesetests. Ein derartig hoch entwickelter Mustererkennungs-Algorithmus, entwickelt von Argonne National Laboratory und Multivariate State Estimation Technique (MSET) genannt, hat die Tauglichkeit zur Erkennung der Anzahl nützlicher Informationen in einer aus multivariablen Daten bestehenden Testdatei im Vergleich zu den in einer Schulungsdatei-Datenbank enthaltenen Daten nachgewiesen. Die vorliegende Erfindung, die Algorithmen wie z.B. MSED (es können andere geeignete Algorithmen benutzt werden) verwendet, kann Situationen analysieren, bei denen Tausende von verschiedenen Variablen verwendet werden. Diese Merkmale machen es der vorliegenden Erfindung möglich, jeglichen Datenerfassungsprozess einschließlich Flugtests zu verbessern. Der MSET-Algorithmus wurde nach einem Vertrag mit der Regierung der Vereinigten Staaten ins Leben gerufen.
  • Die Nutzung der vorliegenden Erfindung zur Bestimmung der Menge an wertvollen Informationen in einer Testdatei unter Vergleich mit den Informationen in einer Schulungsdatei umfasst eine Schulungsphase, eine Systemphase sowie eine Testphase. In der Schulungsphase verwendet die vorliegende Erfindung die Schulungsdatei zur Festlegung normaler Datenbegrenzungen und Selbstlernelemente, um normale Ablaufsreaktionen und Korrelationen zwischen Variablen oder Sensoren zu erkennen.
  • In der Systemphase wird ein Schätzwert für jeden Datenpunkt in der Testdatei berechnet, indem man die Testdatei-Datenpunktwerte mit vergleichbaren Datenpunkten in der Übungsdatei vergleicht. Die Differenz zwischen dem Testdatei-Datenpunktwert und dem Schätzwert ((Bewertungsfehler) wird dann in der Testphase durch eine auf Statistik basierenden Hypothesetest ausgewertet, um zu bestimmen, welche Testdatei-Datenpunkte verwendbare Informationswerte enthalten (z.B. welche Testdatenpunkte sich maßgeblich und aussagekräftig von den schon angesammelten Datenpunkten unterscheiden).
  • Das Hauptkriterium für die erfolgreiche Anwendung der vorliegenden Erfindung umfasst einen geringen Grad von gegenseitiger Korrelation unter den gesammelten Sensormesswerten. Wichtige Entscheidungen bei Anwendung der vorliegenden Erfindung beinhalten das Bestimmen von Parametereinstellungen (durchschnittliche Test-Störungsgröße, Abweichungs-Teststörungsgröße, Fehlalarmwahrscheinlichkeit; oder z.B. die fehlende Alarmwahrscheinlichkeit). Unterschiedliche von Parametereinstellungen erhöhen oder verringern die Anfälligkeit des Algorithmus.
  • Die folgenden Figuren und Beschreibungen illustrieren die Fähigkeit der vorliegenden Erfindung, neue Informationen in einer Testdatei zu erkennen, wenn diese mit vorhandenen Informationen in einer Schulungsdatei verglichen werden, unter Anwendung theoretischer Distributionen.
  • 1A zeigt ein Beispiel für eine Schulungsdatei der Gleichung X = Y zwischen 0 < X < 1, 2 < X < 3 und 4 < X < 5. Die Variablen in dieser Distribution haben ein hohes Maß (Korrelationskoeffizient r = 1,0) an Korrelation. Die in 1B dargestellte Testdatei enthält dieselbe Gleichung X = Y, Bereich 0 < X < 5, aber ohne die Datenlücken der Schulungsdatei.
  • Ein Mustererkennungsvergleich zwischen der Schulungsdatei im Vergleich zu der Testdatei (in 1C dargestellt) hebt die in der Testdatei gefundenen Daten 110 hervor, die nicht in der Schulungsdatei enthalten sind. Man könnte argumentieren, dass die Testdateidaten 110 „wertvolle" Daten seien, da sie die Lücken der Übungsdatei füllen. Die Testdateidaten 115 könnten als überflüssig betrachtet werden, da sie bereits in der Schulungsdatei vorhanden sind. Demzufolge beträgt die Menge an in dieser Testdatei enthaltenen „wertvollen" Daten im Vergleich zur Schulungsdatei 2/5 bzw. 40%.
  • 2A zeigt eine anormale Verteilung von in drei Blöcken 205 angeordneten Schulungsdateidaten. Die Korrelation zwischen X und Y beträgt nahezu Null (r = 0,124). Eine Testdatei von Zufallsdaten 210 (vgl. 2B) erfasst den Bereich 0 < X < 10 und 0 < Y < 1. Man hätte erwarten können, dass die vorliegende Erfindung unter diesen Umständen nicht gut arbeitet, da die Korrelation zwischen den beiden Variablen in der Schulungsdatei fast nicht vorhanden ist. Jedoch zeigt 2C, das die vorliegende Erfindung in der Lage ist, diese Testdateidatenpunkte 220 außerhalb der Schulungsdatei hervorzuheben. 2D zeigt die elektronische Darstellung des Ergebnisses der Testdatei der vorliegenden Erfindung, die die für die Erzeugung der 2C erforderlichen Daten lieferte.
  • Zur Veranschaulichung der Bedeutung der vorliegenden Erfindung sei der Störgröße (DM) genannte Parameter hervorgehoben. Eine Schulungsdatei und eine Testdatei wurden beide wahllos aus derselben dreivariablen Distribution (drei Variablen) mit einem Korrelationskoeffizienten zwischen XY von r = 0,791 und zwischen XZ von r = 0,367. Alpha (Wahrscheinlichkeit der fehlerhaften Ablehnung) und Beta (Wahrscheinlichkeit der fehlerhaften Akzeptanz) erzeugt und blieben während des gesamten Tests bei 0,1. Die Störgröße für den Durchschnittstest gibt die Anzahl von Standardabweichungen an, um die der Durchschnitt der alternativen Hypothesenverteilung relativ zur Null-Hypothesenverteilung verschoben ist.
  • Da beide in 3A dargestellte Dateien aus derselben Distribution erzeugt wurden, fand die vorliegende Erfindung (mit einem DM = 35) keine wertvollen Daten in der Testdatei gemäß 3A. In 3A subsumieren die Schulungsdaten 310 (gefüllte Punkte) und Testdateidaten 320 (nicht ausgefüllte Punkte) alle neuen Daten, weshalb keine neuen Daten erstellt werden. Wenn wir jedoch die Empfindlichkeit des Algorithmus (indem z.B. der DM auf 15 verringert wird und dann bis hinunter auf 7) erhöhen, steigt die Anzahl der in der Testdatei als nützlich identifizierten Datenpunkte an (vgl. 3B und 3C). In 3B sind im Diagramm neue Daten 330 (Striche) vorhanden, während in 3C mehr neue Daten 330 vorhanden sind. Wenn folglich derartige Mustererkennungs-Algorithmen verwendet werden, sollte berücksichtigt werden, dass beim Parametrisieren ein empfindliches Gleichgewicht erzielt werden muss.
  • 4 zeigt die Fähigkeit der vorliegenden Erfindung, neue Informationen in einer Testdatei zu erkennen, wenn Flugzeugdatendistributionen verwendet werden. 4 zeigt einen Vergleich einer theoretischen Distribution im Vergleich zu einer Distribution mit Flugzeugdaten. Eine aus Datenvariablen (Motorleistungswert gegen Gebläsedrehzahl) von einem Flugzeugflug zusammengestellte Schulungsdatei wird mit einer aus den beiden selben Variablen erstellten Testdatei entlang einer diagonalen Linie verglichen (sich zufällig außermittig bewegend). Da die Testdateilinie die Daten der Schulungsdatei kreuzt, zeichnet sich der Anteil der Daten 410 (gestrichelte Linie) aus der diagonalen Linientestdatei 420 (gefüllte Punkte) ab.
  • Vergleiche zwischen Flugzeugdatendistributionen zeigen die Fähigkeit der vorliegenden Erfindung, die Menge an wertvollen Daten zu bestimmen, die in einer Distribution erhalten werden, wenn diese miteinander verglichen werden. Mit jedem Datenpunkt können nicht nur zwei, sondern Hunderte von Variablen miteinander in Zusammenhang stehen. Einer der Vorteile bei der Verwendung eines Mustererkennungsalgorithmus ist die Fähigkeit, mit einer großen Anzahl von Variablen assoziierte Datenpunkte im mehrdimensionalen Raum zu analysieren. Zur einfacheren Darstellung sind die hier verwendeten Vergleichsbeispiele auf zwei Diagramme zweier signifikanter Variablen beschränkt.
  • 5 zeigt einen zwischen zwei Flugzeugflügen angestellten Vergleich, bei dem den Flugzeugmotor betreffende Daten gesammelt wurden. Datendistributionen von drei Variablen (Pegelwinkel der Motorleistung, Gebläsedrehzahl N1 und Hochdruck-Rotordrehzahl N2) wurden verwendet, um die Menge und Lage der während des Flugs XXA (Testdatei) gesammelten Daten im Vergleich zu den in Flug XXB (Schulungsdatei) gesammelten Motordaten zu illustrieren. 5 zeigt die Wechselwirkungen zwischen einer oder zwei variablen Verknüpfungen. Die Menge an neuen oder wertvollen Informationen 530 (Striche) in der Testdatei 520 (nicht ausgefüllte Punkte) und 530 im Vergleich zu der Schulungsdatei 510 (gefüllte Punkte) wurde auf ca. 19% geschätzt.
  • Wenn Flug XXA zuerst geflogen worden wäre anstatt Flug XXB und wenn die Flugingenieure daran interessiert gewesen wären, die Menge an neuen oder wertvollen in Flug XXB gesammelten Informationen zu bestimmen (betreffend die drei selben Variablen), würden Flug-XXA-Daten in der Schulungsdatei platziert und Flug-XXB-Daten würden in der Testdatei platziert. 6 stellt die Wechselwirkung zwischen diesen beiden dar, wenn Flug XXB als Testdatei verwendet wurde. Die Menge an wertvollen Informationen 630 (Striche) in der Testdatei Flug XXB im Vergleich zu der Schulungsdatei Flug XXA (sowohl gefüllte als auch unausgefüllte Punkte) wurde auf ca. 16 % geschätzt.
  • Zur Demonstration der Fähigkeit, diesen Ansatz dazu zu verwenden, Daten außerhalb einer Schulungsdatei in einer höheren (fünf Dimensionen) Situation mit multiplen Variablen zu verwenden, wurde eine Schulungsdatei eines Flugmanövers (während eines Flugtests) mit einer Testdatei eines anderen Manövers verglichen, unter Verwendung von Daten, die fünf Variablen enthielten, die mit jedem Datenpunkt verbunden waren. Der Lauf G eines speziellen Flugs, Manöver 9G Hochziehkurve (wind up turn) (geplant Mach 1,1 bei 15.000 Fuß) wurde als Schulungsdatei verwendet und ein zweiter Flug, Lauf M, Manöver 5,86 g 360 Rolle (L) (geplant Mach 1,2 bei 5000 Fuß) wurde als Testdatei verwendet. Schulungs- und Testdateivariablen umfassten vertikale Last (N2), seitliche Beschleunigung (Ny), Rollbeschleunigung, welche Luftgeschwindigkeit, sowie Anstellwinkel. Die Auswertung gab zu erkennen, dass ca. 53 % der in der Testdatei gemachten Beobachtungen außerhalb der Schulungsdatei lagen. 7A bis 7C stellen die Interaktion zwischen drei der Variablenkombinationen dar. In jedem dieser Beispiele werden signifikante neue Daten 730 (Striche) außerhalb der Schulungsdatei 710 (gefüllte Punkte) identifiziert.
  • Zur weiteren Illustration der vorliegenden Erfindung wurde ein Flugtest zur Sammlung struktureller Flugzeugdaten durchgeführt. Verfügbare Flugtestdaten wurden aus 16 Flügen zusammengestellt, die aus 163 Manövern und 47.711 Beobachtungen bestanden. Ablesedaten bestanden aus 28 unabhängigen Variablen (Luftgeschwindigkeit, Flugzeug-Gesamtfluggewicht, Anstellwinkel usw.) und 33 abhängigen Variablen (vertikale Heckscherung, Mittelrumpf-Endmoment, usw.). Wenn jeder nachfolgende Flug mit einer aus den vorangegangenen Flügen erzeugten Schulungsdatei verglichen wird, zeigt sich im Laufe des Tests ein Anhaltspunkt, wie viele neue und nützliche Daten in jedem Flug erhalten werden können. 8 stellt eine Datenteilsatz-Analysefigur dar, die einen Abgleich eines Flugs gegen eine Testdatei des zuvor getätigten Fluges zeigt. Teilsätze 810, 815 und 820 stellen die Schulungsdateidaten dar, wobei Teilsatz 830 den Prozentsatz an Informationen aus der Testdatei darstellt, der außerhalb der Schulungsdatei liegt.
  • Für sich liefert 9 in jedem Flugtest eine weitere Illustration der Menge an wertvollen Information aus einem zuvor erfassten Flugtest, verglichen mit einer Schulungsdatei, die aus allen zuvor getätigten Flügen zusammengestellt wurde.
  • Wenn das Testprogramms fortschreitet und mehr Daten in die Schulungsdatei aufgenommen werden, verringert sich die Menge neuer Daten in jedem Flug allmählich. 10 illustriert den Prozentsatz wertvoller Informationen in jedem Flugtest (y-Achse) im Vergleich mit einer Schulungsdatei aller zuvor getätigten Flüge (x-Achse). Während der gesamte Leistungsumfang in der Schulungsdatei erfasst wird, wird es für nachfolgende Testflüge viel schwieriger, neue Informationen hinzuzufügen. Wenn ein Flugtestprogramm den Punkt erreicht, an dem nachfolgende Testflüge keine signifikante Menge an neuen Informationen mehr liefern können, sollte überlegt werden, das Flugtestprogramm zu beenden.
  • Zur Reduzierung von Flugtestkosten kann die vorliegende Erfindung mit einer Flugsimulation verwendet werden. Die Strategie zur Reduktion von Flugtestkosten reduziert die Anzahl spezieller Manöver, die keine oder nützliche Informationen beisteuern. Wenn jedes Manöver mit einer Schulungsdatei aus allen anderen verbliebenen Testmanövern verglichen wird, gibt der resultierende Schätzwert von neuen Informationen in jedem Manöver einen Hinweis auf die Kosteneffizienz der jeweiligen einzelnen Manöverdatensammlung. Manöver, die wenig oder keine signifikante Menge an wertvollen Informationen oder einen Beitrag zum Programm liefern, werden aus der Schulungsdatei entfernt, bevor der nächste Vergleich durchgeführt wird, bis alle Manöver eliminiert sind, die keine neuen Erkenntnisse liefern.
  • Zur Illustration dieser Strategie wurden in dem Programm enthaltene Daten mit Speicherkonfiguration QA analysiert, um eine Liste von Speicherkonfiguration-QA-Manöver-Eliminationskandidaten zu erhalten. Die Speicherkonfiguration QA-Daten bestanden aus 6 von 16 Flugtestprogrammflügen, 65 von 163 Manövern und 11.968 von 47.711 Überwachungspunkten. Die Überwachungsdaten bestanden aus 28 unabhängigen Variablen (Luftgeschwindigkeit, Flugzeug-Gesamtfluggewicht, Anstellwinkel usw.) und 22 abhängigen Variablen (vertikale Heckscherung, Mittelrumpf-Endmoment, usw.). Da bei Flugsimulationen lediglich Daten unabhängiger Variablen gesammelt werden, wurden in der Analyse ausschließlich unabhängige Variablen verwendet. Wenn die Simulation zur Sammlung von Daten verwendet wird, kann die Anzahl von Daten, die abhängige Variablen betreffen, aufgrund der Korrelation zwischen abhängigen und unabhängigen Variablen geschätzt werden. 11 zeigt ein Schaubild, das die enge Beziehung zwischen der Menge an neuen Informationen in der Unabhängigen (y-Achse), im Vergleich zum Prozentsatz nützlicher Informationen in unabhängigen Variablen (x-Achse) illustriert. In der Simulation gesammelte neue Informationen bezüglich unabhängiger Variablen bedeuten, dass neue abhängige Variableninformationen in einem Flugtest gesammelt würden.
  • Bei der Verwendung der vorliegenden Erfindung zur Speicherkonfiguration QA-Flugtestdaten (Simulationsdaten waren nicht erhältlich) galten 27 von 65 oder 41,54% der Manöver als Lieferanten insignifikanter neuer Datenmengen und wurden als sichere Kandidaten für die Elimination angesehen, vorausgesetzt, dass kein Sicherheitsrisiko bestand (vg. 12A und B). 12A zeigt Manöverkandidaten für die Elimination. 12B zeigt verschiedene Manöverkandidaten 1205 für die Elimination. Es wurden Datensätze berücksichtigt, die eine insignifikante neue Datenmenge lieferten, wenn die Menge an neuen Daten in dem Datensatz weniger oder gleich 0,5 % betrug. Der Prozentsatz von 0,5 % wurde gewählt, da 0,5 % weniger als einen Datenpunkt darstellt.
  • Flug A Lauf 12 war eines der Manöver, bei dem ermittelt wurde, dass es keine wertvollen Daten enthielt (d.h. null neue Beobachtungen), wenn man es mit einer Datenbank anderer Manöver verglich. 13 zeigt eine typische Kombination von Variablen, die zeigt, dass alle Daten in der Testdatei 1320 tatsächlich in der Schulungsdatei 1310 enthalten sind. Andere Zweivariablen-Kombinationen führen zum selben Ergebnis.
  • Unter Verwendung derselben statistischen Parameter wurde festgestellt, dass Flug A Lauf 12 wenigstens einen wertvollen Datenpunkt 1430 (gestrichelt) aufwies, wenn das Manöver mit der Schulungsdatei-Datenbank 1410 (gefüllte Punkte) verglichen wurde. Dieser wertvolle Punkt ist dargestellt (14) unter Verwendung derselben Variablenkombination. 14 zeigt wenigstens einen verwendbaren Datenpunkt unter Verwendung der statistischen Parameter Flug A Lauf 12 Manöver, im Vergleich zu der Schulungsdatei-Datenbank unter Verwendung derselben Variablenkombination.
  • Einer der Hauptbelange beim Einsatz der Reduktionsmethoden der vorliegenden Erfindung liegt in der Vorstellung, signifikante Mengen an redundanten Daten sammeln zu müssen, bis ein Leistungsumfang erhalten wird. 15 liefert ein einfaches Beispiel für in drei hypothetischen Flügen (in alphabetischer Reihenfolge) gesammelte Daten. Wenn unsere Mustererkennungsdaten-Sammlungsoptimierungsanalyse auf diese Situation angewendet werden würde, würde sich höchstwahrscheinlich herausstellen, dass die Flüge A und B signifikante Mengen an redundanten Daten enthalten und Eliminationskandidaten sind. Jedoch waren die Flüge A und B höchstwahrscheinlich notwendig, um Flug C auszuführen, so dass keine Reduzierung der Flugtestprogrammkosten erhalten werden konnte, indem dieses Verfahren verwendet wurde und lediglich Flug C durchgeführt wurde.
  • Aufgrund dieser Sache würden die Reduktionstechniken für die Mustererkennungs-Flugtestprogrammkosten wahrscheinlich nicht viele nützliche Informationen liefern, wenn Flugtestprogramme geplant werden könnten, die eine geringe, überschaubare Anzahl von Variablen oder Sensoreingaben verwenden. Leider nimmt die Anzahl der erfassten unabhängigen und abhängigen Variablen, die in Flugtestsensoren und Flugschreibern gespeichert werden, mit weiteren Flugtestprogrammen immer mehr zu. Die Bestimmung, ob ein Flugzeug im 15 A-, B- oder C-Bereich agiert, wird eine schwierige Aufgabe, wenn 100 Variablen, die in 4950 Kombinationen aus zwei Variablen resultieren, zusammenwirken. Mit dem Anstieg der Variablenanzahl wird die Notwendigkeit zur Verwendung einer Mustererkennungs-Datensammel-Optimierungsanalyse zur Unterstützung der Flugtestplaner beim möglichst kostengünstigen Sammeln von Flugtestdaten immer dringender.
  • Bei dem oben beschriebenen speziellen Flugzeug-Speicherkonfigurations-Flugtest zeigten 41,5 % der Manöver keine wertvollen Informationen. Die meisten dieser Manöver lagen am Anfang oder am Ende des Flugtestprogramms. Am Ende des Testflugprogramms angeordnete Manöver, die keine wertvollen Informationen lieferten, dienten kaum dem Zweck der Datensammlung und hätten für die Elimination in Betracht gezogen werden können, hätte dieses Hilfsmittel zur Verfügung gestanden. Dies hätte das Flugtestprogramm um konservative 20% reduziert.
  • 16 zeigt den Prozentsatz an aufgelaufenen Manövern, die als Kandidaten für die Elimination (Y-Achse) ausgewählt wurden, während das QA-Speicherkonfigurations-Flugtestprogramm fortschritt (X-Achse). Der aufgelaufene Prozentsatz von Manövern mit redundanten Informationen (Kandidaten für die Elimination) erhöhte sich bei Fortführung des Programms nicht, sondern schwankte um 40 % während des gesamten Testprogramms.
  • Wie zuvor erwähnt, galten 27 von 65 oder 41,54% der Manöver als Lieferanten bedeutungsloser neuer Datenmengen als die vorliegende Erfindung verwendet wurde, um die Konfiguration QA-Flugtestdaten abzuspeichern und wurden als geeignete Kandidaten für die Elimination angesehen, vorausgesetzt, dass dadurch kein Sicherheitsrisiko entstand (vgl. Tabelle 12A und B). Die vorliegende Erfindung ermöglicht das Sammeln dieser Informationen unter Verwendung der Flugsimulation vor Beginn des Testprogramms, und wenn alle der 27 nicht neue Daten liefernden Manöver entfernt werden könnten (d.h. nie geflogen werden), würde die Datenmenge in dem Flugtestprogramm um 41,1% reduziert und die Menge der Manöver um 41,54%. In diesem Beispielsfall sind mit jedem entfernten Datenpunkt 28 unabhängige Variablen verbunden. 17A bis 17H zeigen mehrere Speicherkonfigurationen 29A Flugtest zwei Variablen vor/nach Vergleich, wenn alle Daten berücksichtigt wurden und wenn die Daten der 27 nicht mitwirkenden Manöver entfernt wurden. Signifikante Punkte (Punkte an den Kantengrenzen) sind noch vorhanden, obgleich 41,1 % der Datenpunkte entfernt wurden.
  • 18 zeigt die Methodik der vorliegenden Erfindung in Flussdiagramm-Form. In Schritt 1 wird für einen Systemtest eine Anfrage eingegeben, in diesem Fall ein Flugtest für ein spezifisches Flugzeug. Sobald die Anfrage eingegeben ist, werden die Ziele und Anforderungen für die Sammlung der Flugtestdaten in Schritt 2 definiert. Der Flugtest, der aus zahlreichen Flügen und Manövern besteht, die so ausgebildet sind, dass sie die Datensammlungsziele und -anforderungen erfüllen, wird der Flugtestkonstruktions, -analyse- und Entwicklungsgruppe in Schritt 3 vorgeschlagen. Unter Verwendung ihrer Erfahrungen entwickeln dann die Flugtestingenieure den Flugtest. In Schritt 4 wird der vorgeschlagene Flug, wie er durch die Flugtestkonstruktionsgruppe entwickelt wurde, unter Verwendung eines Simulators mit den verschiedenen Flügen und Manövern durchgeführt, und die Flugdaten werden für die Analyse gesammelt.
  • In Schritt 5 werden die Flugsimulationsdaten unter Verwendung eines statischen Algorithmus zur Datensammlungs-Optimierung ausgewertet, um zu bestimmen, welche Manöver wenige Informationen liefern und für das Entfernen aus dem Flugtest in Frage kommen. Zusätzlich werden die Flüge und Manöver in Bezug auf die Datensammlungseffektivität priorisiert. In Schritt 6 werden keine neuen Daten sammelnde Manöver des Flugtests als mögliche Kandidaten für die Entfernung aus dem Flugtest identifiziert. Diese werden der Flugtestkonstruktions, -analyse- und Entwicklungsgruppe zur Auswertung vorgelegt. Dann bestimmt in Schritt 7 die Flugtestkonstruktionsgruppe, welche Manöverkandidaten entfernt werden können und der Flugtest wird unter Verwendung der in Schritt 5 bestimmten priorisierten Datensammlungsinformationen umkonzipiert, so dass der Flugtest in der wirtschaftlichsten Datensammlungsweise durchgeführt wird.
  • In Schritt 8 wird der tatsächliche Flugtest mit der reduzierten Anzahl von Flügen und Manövern durchgeführt, um die tatsächlichen Flugtestdaten zu sammeln. In Schritt 9 werden die tatsächlichen in Schritt 8 gesammelten Flugtestdaten analysiert, während der Test durchgeführt wird, um die tatsächliche Menge an gesammelten signifikanten Daten zu bestimmen, unter Verwendung der Datensammlungsoptimierungstechniken in Schritt 5. Nach Beendigung des Flugtest werden die vervollständigten Flugtestdaten ebenfalls analysiert, um die Richtigkeit der auf der Flugsimulation basierenden früheren Schätzungen zu bestimmen.
  • 19 stellt Schritt 5 von 18 ausführlicher dar. In Schritt 5.1 wird jeder Flugsimulationsdatenpunkt, der aus einem Vektor besteht, welcher aus zahlreichen unabhängigen Variablen zusammengesetzt ist, wie z.B. Geschwindigkeit, Höhe, und Flugzeitmarken, die anzeigen, wann die Daten während der verschiedenen Flugsimulationsflüge und -manöver gesammelt wurden, während des Flugsimulationsfluges gesammelt. In Schritt 5.2 werden die Flugsimulationsdaten für jedes Flugtestmanöver in eine Datenbank-Tabellendatei umgesetzt, wobei Flugtestflugnummer, Manövernummer und Zeitmarker in getrennten Spalten aufgenommen werden, um die Identifikation zu erleichtern. Eine separate Reihe in der Tabelle kann für jeden gesammelten Datenvektor vorgesehen sein und eine separate Spalte in der Tabelle kann jeder unabhängigen Variable zugeordnet sein.
  • In Schritt 5.3 werden die Tabelleninformationen für jedes Manöver zu einer großen Datenbankdatei kombiniert. Eine typische große Datenbankdatei kann über 50.000 Reihen und 50 Spalten umfassen. In Schritt 5.4 wird die Wichtigkeit jeder unabhängigen Variablen, die jedem Vektor zugeordnet ist, bestimmt. Eine Bestimmung wird ebenfalls für die Anzahl von unabhängigen Variablen- Alarmkriterien für die Identifizierung gemacht, wenn ein einer Testdatei zugeordneter Vektor als außerhalb der Datenregion bezüglich einer Testdatei erkannt wird. Dann wird in Schritt 5.5 eine Bestimmung für die Menge an signifikanten Datenkriterien durchgeführt, die jene Manöver identifizieren, die Daten sammeln, die keine neuen Erkenntnisse bringen, wenn man sie mit den anderen Manövern des Testflugs vergleicht. Die signifikanten Datenkriterien umfassen den Prozentsatz von Daten in einer Testdatei, der als außerhalb der mit einer Schulungsdatei assoziierten Datenregion angesehen wird.
  • Dann wird in Schritt 5.6 der Wert an Dateninformationen eines Manövers aus der Hauptdatenbankdatei entfernt. Dieser Datensatz ist die Testdatei. Der verbleibende Teil der Datenbankinformationsdatei ist die Schulungsdatei. Die Testdatei und die Schulungsdatei werden in Textdateien konvertiert, damit diese dann durch einen nachfolgenden hoch entwickelten Mustererkennungsalgorithmus wie z.B. den Multivariate State Estimation Technique (MSET), der von Argonne National Laboratory entwickelt wurde, analysiert und evaluiert werden können.
  • In Schritt 5.7 wird die grundlegende Beschreibung der Bestimmung, welche Vektoren innerhalb der Testdatei in der Norm liegen oder außerhalb der Vektorregion liegen und so neue Daten repräsentieren, die in der Schulungsdatei enthalten sind, bestimmt. Dies wird durch Aufbau eines Systemmodels erreicht, das analytisch abgeleitete Werte aller überwachten Sensoren liefert und das in einen auf Statistiken basierenden Hypothesetest eingebunden wird, der den analytisch bestimmten Signalwert mit den durch die Testdatei gemessenen Werten vergleicht, um die Entwicklung oder das Vorhandensein von neuen Daten zu bestimmen. Drei grundlegende Modelle des Flugs für den Algorithmus umfassen einen Übungsalgorithmus für das Sammeln von repräsentativen Daten von Sensoren während normaler Systemabläufe, ein auf Empirie basierendes Modell für die Bestimmung des Systemstatus, und ein Fehlermeldungssystem, das auf Statistik basiert.
  • Das Übungssystem wird verwendet, um einen Schulungssatz oder Sollwerte zu erzeugen, deren Daten Idealerweise alle erwarteten normalen Betriebsstadien des Systems umfassen. Das systemmodellierende Modul (die Testdatei) wird verwendet, um die Werte aller im Verfahren vorhandenen und überwachten Signale zu schätzen. Das Fehlersuchsystem wird verwendet, um Störungen durch eine Auswertung der Differenz zwischen den geschätzten und den gemessenen Signalwerten zu entdecken. Ein Algorithmus (z.B. MSET) wird verwendet, um beginnende Fehler zwischen der laufenden und der normalen Reaktion zu erkennen. Anstatt jedoch beginnende Fehler zu erkennen, schätzt der Algorithmus, welche Vektoren in der Testdatei anormale Reaktion zeigen oder welche als neue oder nützliche Datenpunkte betrachtet werden könnten, wenn man sie mit den in der Schulungsdatei gespeicherten Vektordaten vergleicht.
  • In Schritt 5.8 wird eine Testdatei erzeugt. Dies wird unter Verwendung der mit einem Manöver aus der Schulungsdatei-Datenbank assoziierten Daten durchgeführt. Die mit der Testdatei assoziierten Daten werden in Schritt 5.8.1 zum Zwecke der Manöveranalyse aus der Schulungsdatei entfernt. In Schritt 5.8.2 wird dann weiter die Testdatei absichtlich mit bestimmten Daten durchsetzt, von denen bekannt ist, dass sie außerhalb der Schulungsdatei liegen. Dann wird in Schritt 5.8.3 ein Vergleich der Testdatei mit der Schulungsdatei durchgeführt, unter Verwendung des hoch entwickelten Mustererkennungsalgorithmus. Nachdem der Vergleich durchgeführt wurde, werden dann in Schritt 5.8.4 die Mustererkennungsalgorithmus-Parameter wie z.B. fälschliche Ablehnungswahrscheinlichkeit, fälschliche Annahmewahrscheinlichkeit, Empfindlichkeit für aufeinanderfolgenden Wahrscheinlichkeits-Verhältnis-Test, abgeglichen, um sicherzustellen, dass der Algorithmus optimal arbeitet, wenn er Daten erkennt, die außerhalb der Schulungsdatei liegen.
  • In Schritt 5.9 wird weiterhin, sobald die Algorithmusparameter, die Anzahl an unabhängigen Alarmkriterien und die Kriterien, die dazu führen, dass Daten für Manöver nicht gesammelt werden, ermittelt wurden, die Testdatei, durchsetzt mit falschen Daten für die optimale Bestimmung der Algorithmus-Parameterwerte, in ihrem Ursprungszustand, d.h. nach Entfernen der zugeführten Daten, wieder in die Schulungs-Hauptdatenbank zurückgeführt. An diesem Punkt kann der Algorithmus die vollständige Analyse jedes Manövers der simulierten Flugdaten oder des Systemtests beginnen.
  • In Schritt 5.10 wird die Analyse der Flugtestmanöver durchgeführt. In Schritt 5.10.1 werden die mit einem speziellen Manöver assoziierten Daten aus der Schulungsdatei entfernt und in eine Testdatei überführt.
  • Die Schulungsdatei wird normalisiert oder einer normalen Datenverteilung angepasst. Wenn festgestellt wird, dass die Testdatei des Manövers keine neuen Daten beisteuert, werden diese Manöverdaten aus der Schulungsdatei entfernt und das Klassifizierungsverfahren der Manöver im Hinblick auf Datensammlungstauglichkeit beginnt wieder von vorn.
  • Dann wird in Schritt 5.10.2 die Testdatei unter Verwendung des Algorithmus mit der Schulungsdatei, die mit den Daten aller verbleibender Manöver assoziiert ist, verglichen, um die Abweichung des Manövers vom Normalen zu bestimmen. Sobald der Vergleich durchgeführt wurde, werden in Schritt 5.10.3 die mit dem Manöver assoziierten Daten in die Schulungsdatei zurückgeführt und das nächste Manöver wird entfernt und in die Testdatei eingegeben. Dieses Verfahren wird wiederholt, bis die Daten aller Manöver in die Testdatei überführt wurden und mit der Schulungsdatei verglichen wurden, die die Daten aller anderen nicht in der Testdatei befindlichen Daten enthält. Die resultierende Abschätzung der neuen Informationen jedes Manövers gibt einen Hinweis auf die Kosteneffektivität der einzelnen Manöverdaten. Ein keine neuen Erkenntnisse bringendes Manöver enthält überwiegend überflüssige Informationen, wenn man dieses mit den Daten der restlichen Manöver in der Schulungsdatei vergleicht.
  • Nachdem der Vergleich in Schritt 5.10 abgeschlossen wurde, wird eine Tabelle vorbereitet, die die Flugtestmanöver und den Prozentsatz an wertvollen Informationen umfasst, die in jedem einzelnen Manöver enthalten sind. Der Prozentsatz an wertvollen Informationen wird durch Bestimmung der Anzahl von Vektoren berechnet, die die Anzahl von Alarmkriterien der unabhängigen Variablen erfüllen, geteilt durch die Gesamtzahl an Vektoren in dem Manöver. Die Flugtestingenieure wählen dann das Manöver mit dem geringsten Prozentsatz an wertvollen Informationen aus. Wenn dieser Wert geringer ist als der zuvor festgelegte Wert- für die Kriterien zur Identifizierung eines Manövers, das keine neue Informationen beisteuernden Daten liefert, kann der Flugtestingenieur die Manöverdaten aus der Hauptschulungsdatei entfernen.
  • Dann wird in Schritt 5.12 eine Aufzeichnung aller derjenigen Manövervektorwerte beibehalten, die mit den Variablenalarmen für die keine neuen Erkenntnisse liefernden Daten Manöverdaten assoziiert sind, die aus der Schulungsdatei für die weitere Analyse entfernt wurden. Wenn ein Manöver lediglich einen signifikanten Datenvektor erfasst, der einen Hinweis darauf liefert, dass die Daten sich außerhalb des Schulungsdateibereichs befinden, kann der Vektorwert entscheidende Informationen liefern und rechtfertigen, das das Manöver in dem Flugtest erhalten bleibt, wenn auch lediglich ein einziger signifikanter Vektorwert erfasst wurde.
  • Nachdem das erste keine neuen Erkenntnisse liefernde Datenerfassungsmanöver identifiziert und aus der Hauptschulungsdatendatei entfernt wurde, sollte in Schritt 5.13 das Verfahren der Analyse der simulierten Daten wiederholt werden (von Schritt 5.9 bis 5.11). Folglich sollte danach jedes Mal, wenn ein keine neuen Daten lieferndes Manöver entfernt wird, die Analyse der Schulungsdatei gegen eine Testdatei für jedes Manöver wie oben beschrieben wiederholt werden, um sicherzustellen, dass alle Daten, die keine neuen Erkenntnisse liefern, sorgfältig analysiert und identifiziert werden. Schließlich wird in Schritt 5.14 eine Auflistung aller keine neuen Erkenntnisse liefernder Manöver und Manövervektorwerte, die mit Variablenalarmen assoziiert sind, für die Präsentation für die Flugtestingenieure aufbereitet. Diese Liste zeigt die Manöverkandidaten für die Flugtestelimination.
  • 20 illustriert Schritt 7 von 18 genauer. In Schritt 7.1 erhalten die Flugtestkonstruktions-, -analyse- und -ausführungsgruppen eine Auflistung von keine neuen Erkenntnisse liefernden Manöver, die als mögliche Kandidaten für die Entfernung aus dem Flugtest identifiziert wurden. Die Flugtestingenieure bestimmen, welche keine neuen Erkenntnisse liefernden Manöver aus dem Flugtest in Schritt 7.2 entfernt werden können. Kriterien für die Elimination können das Fehlen von Daten, die Wichtigkeit der wenigen erfassten Daten, oder Flugtestsicherheitsaspekte bei Elimination des Manövers sein, als auch andere.
  • Sobald die Flugtestingenieure die in Fig. 7.2 beschriebene Festlegung abgeschlossen haben, wird in Schritt 7.3 eine endgültige Schulungsdateidatenbank erzeugt, die aus lediglich denjenigen Manövern besteht, die für den letzten Testflug ausgewählt wurden. Eine Tabelle, die den Prozentsatz an wertvollen Informationen auflistet, die in jedem endgültigen Flugtestmanöver unter Durchführung der Schritt 5.9 bis 5.10 enthalten ist, wird in Schritt 7.4 erstellt. Die Manöverliste ist priorisiert, wodurch sie zeigt, welche Manöver die meisten wertvollen Informationen sammeln, sowie die Datenerfassungs-Kosteneffektivität jedes Manövers. Die Flugtestingenieure gestalten den Flugtest reduzierter Größe um, um die Elimination der keine neuen Erkenntnisse liefernden Manöver, die zur Entfernung ausgewählt wurden, anzupassen. Die priorisierte Manöverliste, die die Datenerfassungseffektivität jedes Manövers anzeigt, kann auch für die Umgestaltung des Flugtests verwendet werden, um sicherzustellen, dass die Umgestaltung des Flugtests so durchgeführt wird, dass die Daten auf die effizienteste Weise erfasst werden.
  • 21 illustriert Schritt 9 von 18 genauer. In Schritt 9.1 werden tatsächliche Flugtestdaten mit Manövermarkern und Zeitmarkern zur weiteren Verarbeitung in verschiedene Datenbankdateien und Testdateien übertragen. Jedes anschließende Manöver mit einer Schulungsdatei, die aus vorausgegangenen Manövern zusammengestellt ist, wird verglichen, um eine Einschätzung zu erhalten, wie viele neue und wertvolle Daten während eines Flugtests in Schritt 9.2 erfasst wurden. Da das gesamte Leistungspaket in die Schulungsdatei aufgenommen ist, wird es für nachfolgende Manöver schwierig, neue Informationen hinzuzufügen und die zuzufügende Menge an neuen Informationen sollte abnehmen.
  • Nach Beendigung des Flugtests und Verwendung der in Schritt 5 aufgestellten Parameter, wird der Prozentsatz wertvoller abhängiger und unabhängiger Informationen in jedem Manöver bestimmt, wenn man dieses mit einer Schulungsdatei vergleicht, die aus Daten erzeugt wurde, die alle Flugtestmanöver in Schritt 9.3 enthalten. Die wertvollen Informationswerte der unabhängigen Variablen, die für jedes Manöver im tatsächlichen Flugtest erhalten wurden, mit denjenigen, die in der Flugsimulation erhalten wurden, um die Exaktheit des Fluges zu bestimmen.
  • Dann werden in Schritt 9.4 Diagramme verschiedener Variablenkombinationen, die die Schulungsdateidaten und die Testdateidaten darstellen, aufbereitet, um zu bestätigen, dass die als wertvoll identifizierten Testdateidaten visuell außerhalb des Schulungsdateigebiets liegen. Der Korrelationskoeffizient zwischen erhaltenen neuen Informationen aus unabhängigen Variablen im Vergleich zu neuen Informationen aus abhängigen Variablen wird bestimmt, um erweiterte zukünftige Abschätzungen zu erhalten. Schließlich werden in Schritt 9.6 die Testdateien der Flugsimulationsdaten mit der Schulungsdatei der tatsächlichen Flugtestdaten unter Verwendung der in Schritt 5 gesetzten Parameter verglichen. Jene Simulationsregionen, die noch abgeglichen werden müssen, werden hervorgehoben, um die tatsächliche Flugzeugleistung besser zu repräsentieren und die Flugsimulation wird verbessert, indem man die Flugsimulationsparameter abgleicht.
  • Die folgenden Beispiele illustrieren die Fähigkeit der vorliegenden Erfindung, neue Informationen in einer Testdatei zu detektieren, wenn Flugzeugdatendistributionen verwendet werden. 4 zeigt einen Vergleich einer theoretischen Distribution mit einer Flugzeugdatendistribution. Eine aus Datenvariablen (Gebläserotorgeschwindigkeit gegenüber EPLA Motorleistungspegelwinkel) zusammengestellte Schulungsdatei, die aus einem Flugzeugflug entnommen wurde, wird mit einer Testdatei verglichen, die aus denselben beiden Variablen erzeugt ist, die in einer diagonalen Linie angeordnet sind (sich zufällig außermittig bewegend). Da die Testdateilinie die Schulungsdateidaten kreuzt, wird der Anteil der Daten aus der Testdatei (in Pink angeleuchtet) von der diagonalen Linie außerhalb der Schulungsdatei deutlich.
  • Vergleiche zwischen Flugzeugdatendistributionen demonstrieren die Fähigkeit der Erfindung, die Menge an wertvollen Informationen zu bestimmen, die in einer Distribution erhalten wird, wenn sie miteinander verglichen werden. Jeder Datenpunkt kann nicht nur mit zwei, sondern mit hunderten Variablen assoziiert sein. Einer der Vorteile bei der Verwendung eines Mustererkennungsalgorithmus ist die Fähigkeit, Datenpunkte zu analysieren, die mit einer großen Anzahl von Variablen im multidimensionalen Raum assoziiert sind. Zur einfacheren Illustration werden Vergleichsbeispiele auf Diagramme zweier signifikanter Variablen beschränkt.
  • Nachdem wir nun unsere Erfindung beschrieben haben, wird, was wir als neu geltend machen und durch ein Patent schützen wollen, in den nachfolgenden Ansprüchen dargelegt.

Claims (9)

  1. Verfahren zur Erzeugung eines optimierten Flugzeug-Flugtests, das Folgendes enthält: Bildung eines ersten Flugzeug-Flugtests, der eine Mehrzahl von Flugmanövern enthält, um Flugtestdaten (730) zu erhalten, Erstellen wenigstens einer Datenvariablen für jedes der Mehrzahl von Flugmanövern des ersten Flugzeug-Flugtests, Zusammenfassung der Flugtestdaten (730) jedes der Flugmanöver in einem ursprünglichen Datensatz (710), gekennzeichnet durch die Schritte: Entfernen von Flugtestdaten (730) aus dem ursprünglichen Datensatz (710) zur Erzeugung eines revidierten Datensatzes, Vergleichen der Datenvariablen jedes Flugmanövers mit dem geänderten Datensatz, Entfernen jedes Flugmanövers aus dem ersten Flugzeug-Flugtest, wenn die Datenvariablen des Flugmanövers im Vergleich zu dem geänderten Datensatz vorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen und Erhalten jedes Flugmanövers innerhalb des ersten Flugzeug-Flugtests, wenn die Datenvariablen des Flugmanövers im Vergleich zu dem geänderten Datensatz unvorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen.
  2. System zur Optimierung von Flugtestdaten, die in Flugzeug-Flugtests erhalten wurden, mit einem Computersystem zur Ausführung eines Algorithmus, indem der Algorithmus: wenigstens eine Datenvariable für jedes einer Mehrzahl von Flugmanövern aus einem ersten Flugzeug-Flugtest erstellt, jede Datenvariable aus jedem Flugmanöver in einen ursprünglichen Datensatz (710) zusammenfasst, dadurch gekennzeichnet, dass der Algorithmus die Datenvariablen eines ersten Flugmanövers aus dem ursprünglichen Datensatz (710) entfernt, um einen geänderten Datensatz zu erzeugen, die Datenvariablen des ersten Flugmanövers mit dem geänderten Datensatz vergleicht, jedes Flugmanöver aus dem ersten Flugzeug-Flugtest entfernt, wenn die Datenvariablen des ersten Flugmanövers im Vergleich zu dem geänderten Datensatz vorteilhaft sind, um einen optimierten Flugzeug-Flugtest zu erzeugen und das erste Flugmanöver in dem ersten Flugzeug-Flugtest aufrecht erhält, wenn die Datenvariablen des ersten Flugmanövers im Vergleich zu dem geänderten Datensatz unvorteilhaft sind, um den optimierten Flugzeug-Flugtest zu erzeugen.
  3. Verfahren nach Anspruch 1 oder System nach Anspruch 2, bei dem eine Flugsimulation dem ersten Flugzeug-Flugtest simuliert, indem jedes der Vielzahl von Flugmanövern simuliert wird und die Flugsimulation verwendet wird, um die wenigstens eine Datenvariable zu bestimmen, die mit jedem der Mehrzahl von Flugmanövern verbunden ist.
  4. Verfahren nach Anspruch 1 oder System nach Anspruch 2, bei dem die Datenvariablen aufeinander folgender Flugmanöver aus dem optimierten Flugzeug-Flugtestdatensatz entfernt werden können, um einen geänderten Flugzeug-Flugdatensatz zu erzeugen, wobei die Datenvariablen aufeinander folgender Flugmanöver mit dem geänderten Datensatz des Flugzeug-Flugtests verglichen werden, wobei das nachfolgende Flugmanöver aus dem optimierten Flugzeug-Flugtest entfernt wird, wenn die Datenvariablen des folgenden Flugmanövers im Vergleich zum überarbeiteten Datensatz des Flugzeug-Flugtests vorteilhaft sind, um einen neu optimierten Flugzeug-Flugtest zu erzeugen, und wobei das folgende Flugmanöver in dem optimierten Flugzeug-Flugtest erhalten bleibt, wenn die Datenvariablen des folgendes Flugmanövers im Vergleich zum bearbeiteten Flugzeug-Flugtestdatensatz unvorteilhaft sind.
  5. Verfahren nach einem der Ansprüche 1, 3 oder 4 oder System nach einem der Ansprüche 2, 3 oder 4, bei dem der gesammelte erste Satz von Daten normalisiert wird und eine Varianz der Daten des ersten Flugmanövers aus dem normalisierten ersten Datensatz gewonnen wird.
  6. Verfahren nach Anspruch 5 oder System nach Anspruch 5, bei dem ein bestimmter Sollwert festgelegt wird, wobei die variablen Daten des ersten Flugmanövers als neue Daten betrachtet werden, wenn die Varianz den Sollwert überschreitet.
  7. Verfahren nach Anspruch 1 oder System nach Anspruch 2, bei dem ein MSET-Algorithmus zum Vergleich der Datenvariablen des ersten Flugmanövers mit dem veränderten Datensatz verwendet wird.
  8. Verfahren nach Anspruch 1 oder System nach Anspruch 2, bei dem eine Mustererkennungsanalyse ausgeführt wird, um festzustellen, ob die variablen Daten des Flugmanövers von dem ersten Datensatz abweichen.
  9. Verfahren oder System nach Anspruch 5, wenn dieser von Anspruch 4 abhängt, bei dem ein bestimmter Sollwert festgelegt wird, wobei die variablen Daten des folgenden Manövers als neue Daten betrachtet werden, wenn die Varianz den Sollwert überschreitet.
DE60208415T 2001-10-15 2002-10-15 Verfahren zur optimierung von testdaten Expired - Fee Related DE60208415T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US978817 2001-10-15
US09/978,817 US7401013B2 (en) 2001-10-15 2001-10-15 Method to optimize test data
PCT/US2002/033084 WO2003034167A2 (en) 2001-10-15 2002-10-15 Method to optimize test data

Publications (2)

Publication Number Publication Date
DE60208415D1 DE60208415D1 (de) 2006-02-02
DE60208415T2 true DE60208415T2 (de) 2006-09-07

Family

ID=25526416

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60208415T Expired - Fee Related DE60208415T2 (de) 2001-10-15 2002-10-15 Verfahren zur optimierung von testdaten

Country Status (4)

Country Link
US (1) US7401013B2 (de)
EP (1) EP1436679B1 (de)
DE (1) DE60208415T2 (de)
WO (1) WO2003034167A2 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1706718A2 (de) * 2004-01-14 2006-10-04 ABB Inc. Verfahren und vorrichtung zur diagnostizierung mechanischer probleme in maschinen
EP2005382A4 (de) * 2006-03-20 2012-01-11 Joel Berman Bewertung von verkehrsqualität an netzwerkstandorten mittels zusammenhängender verkehrsparameter
US7769562B2 (en) * 2006-11-13 2010-08-03 Oracle America, Inc. Method and apparatus for detecting degradation in a remote storage device
US8042073B1 (en) * 2007-11-28 2011-10-18 Marvell International Ltd. Sorted data outlier identification
PT2349346T (pt) 2008-09-23 2019-10-24 Nektar Therapeutics Método de dosagem metronómica com profármacos de camptotecina (e.g. peg-irinotecano).
FR3050351B1 (fr) * 2016-04-15 2018-05-11 Thales Procede de controle d'integrite de l'avionique d'un aeronef, dispositif et produit programme d'ordinateur associes
CN106114876B (zh) * 2016-08-25 2019-04-02 中国商用飞机有限责任公司 飞机试飞数据的参数辨识方法
CN109325059A (zh) * 2018-12-03 2019-02-12 枘熠集成电路(上海)有限公司 一种数据比较方法及装置
US11379578B1 (en) 2020-10-16 2022-07-05 Trend Micro Incorporated Detecting malware by pooled analysis of sample files in a sandbox

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4442491A (en) * 1981-06-23 1984-04-10 General Dynamics Corporation Training evaluation process
US4646241A (en) * 1984-06-21 1987-02-24 United Technologies Corporation Solid-state flight data recording system
US5270642A (en) 1992-05-15 1993-12-14 Hewlett-Packard Company Partitioned boundary-scan testing for the reduction of testing-induced damage
GB9514008D0 (en) * 1995-07-10 1995-09-06 Secr Defence Sensor fault detection system
US5742513A (en) 1996-05-15 1998-04-21 Abb Power T&D Company Inc. Methods and systems for automatic testing of a relay
US5908176A (en) * 1997-01-14 1999-06-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration In-flight adaptive performance optimization (APO) control using redundant control effectors of an aircraft
US6389333B1 (en) * 1997-07-09 2002-05-14 Massachusetts Institute Of Technology Integrated flight information and control system
US6199013B1 (en) 1997-07-15 2001-03-06 Navigation Technologies Corp. Maneuver generation program and method
US6216063B1 (en) * 1998-05-06 2001-04-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line μ method for robust flutter prediction in expanding a safe flight envelope for an aircraft model under flight test
DE19850612C1 (de) * 1998-11-03 2000-02-24 Daimler Chrysler Ag Trimmverfahren zum Abgleich eines Simulationssystems mit einem geregelten Referenzsystem
US6446015B1 (en) * 2000-02-23 2002-09-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for flight data acquisition using an optimized multiple frequency waveform
US6609036B1 (en) * 2000-06-09 2003-08-19 Randall L. Bickford Surveillance system and method having parameter estimation and operating mode partitioning
US6529821B2 (en) * 2001-06-05 2003-03-04 The United States Of America As Represented By The Secretary Of The Navy Route planner with area avoidance capability

Also Published As

Publication number Publication date
EP1436679A2 (de) 2004-07-14
DE60208415D1 (de) 2006-02-02
WO2003034167A3 (en) 2004-02-26
EP1436679B1 (de) 2005-12-28
US20030074169A1 (en) 2003-04-17
WO2003034167A2 (en) 2003-04-24
US7401013B2 (en) 2008-07-15

Similar Documents

Publication Publication Date Title
DE102012208537B4 (de) Verfahren zum Identifizieren einer Grundursache eines Fehlers in einem gewarteten Fahrzeug und zum Durchführen von Korrekturhandlungen
EP0789861B1 (de) Verfahren zur analyse von prozessdaten einer technischen anlage
DE102016011520B4 (de) Produktionsausrüstung mit Maschinenlernsystem und Montage-und Prüfeinheit
WO2001055805A1 (de) System und verfahren zur ermittlung der produktionsanlagen-effektivität, von fehlerereignissen und der fehlerursachen
WO2001055806A1 (de) Verfahren zum automatisierten generieren einer fehlerbaumstruktur
WO2002013015A1 (de) System zur ermittlung von fehlerursachen
EP2186003A2 (de) Verfahren und vorrichtung zur ermittlung einer eintrittswahrscheinlichkeit
DE102018116696A1 (de) Verfahren zum Erzeugen von normalen Zustandsvorhersagedaten einer Anlage und Vorrichtung, die dasselbe verwendet
EP0789864B1 (de) Überwachungssystem für eine technische anlage
DE102019124018A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
DE112017006733T5 (de) Fehlerfaktor-Schätzvorrichtung und Fehlerfaktor-Schätzverfahren
DE60208415T2 (de) Verfahren zur optimierung von testdaten
EP3282399A1 (de) Verfahren zur verbesserten erkennung von prozessanomalien einer technischen anlage sowie entsprechendes diagnosesystem
DE4406723A1 (de) Verfahren zur Überwachung des Betriebszustands einer Maschine oder Anlage
EP3757792A2 (de) Verfahren und vorrichtung zum prüfen eines systems, zur auswahl realer tests und zum testen von systemen mit komponenten maschinellen lernens
DE102018109794A1 (de) Fehlersignalrückgewinnungssystem und Verfahren
EP3731043A1 (de) Verfahren zur sicherheitsbeurteilung, computerprogramm, maschinenlesbares speichermedium und sicherheitsbeurteilungseinrichtung
EP3812949A1 (de) Konfigurierbarer digitaler zwilling
EP1451689A2 (de) Verfahren und system zur bearbeitung von fehlerhypothesen
DE102019103257A1 (de) Vorhersagesystem und -verfahren für anlagenanomalien
EP0956531B1 (de) Verfahren und vorrichtung zur transformation einer zur nachbildung eines technischen prozesses dienenden fuzzy-logik in ein neuronales netz
DE19742448C1 (de) Diagnosemodul zum Erstellen einer Diagnose für elektrisch ansteuerbare Systeme und Diagnoseeinrichtung zum Erstellen einer Gesamtsystemdiagnose
AT519777B1 (de) Verfahren zur Erkennung des normalen Betriebszustands eines Arbeitsprozesses
EP3757698A1 (de) Verfahren und vorrichtung zur bewertung und auswahl von signal-vergleichsmetriken

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee