DE102008036759A1

DE102008036759A1 - Vorrichtung und Verfahren zum Testen von Systemen mit visueller Ausgabe

Info

Publication number: DE102008036759A1
Application number: DE102008036759A
Authority: DE
Inventors: Hartmut Dr. Braun; Bernd Gumpel; Jürgen Müller
Original assignee: Eurocopter Deutschland GmbH; ESG Elektroniksystem und Logistik GmbH
Current assignee: Airbus Helicopters Deutschland GmbH; ESG Elektroniksystem und Logistik GmbH
Priority date: 2008-08-07
Filing date: 2008-08-07
Publication date: 2010-02-11
Also published as: EP2154591B1; AU2009206183A1; AU2009206183B2; EP2154591A1; US20100067735A1; US8532329B2

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Testen von Systemen bzw. Geräten mit visueller Ausgabe und mindestens einem mechanischen Eingabe-Element. Die Vorrichtung umfasst eine Eingabeeinheit zur automatisierten mechanischen Betätigung des mindestens einen Eingabe-Elements des Gerätes, eine Bildanalyseeinheit, welche die visulle Ausgabe des Gerätes erfasst und analysiert, und eine Steuerungseinheit, welche die Eingabeeinheit und die Bildanalyseeinheit steuert und auf Basis von vorgegebenen Soll-Ausgaben und der Ergebnisse der Bildanalyseeinheit automatisch ein Testergebnis ermittelt.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Testen von Systemen bzw. Geräten mit visueller Ausgabe.
Der Einsatz digitaler Technik in modernen Systemen bewirkt eine erhebliche Steigerung des Funktionsumfanges und der Komplexität solcher Systeme. Dabei wird im Allgemeinen gleichzeitig versucht, die Bedienung auf möglichst wenige Anzeigegeräte und Bedienelemente zu konzentrieren. In vielen Bereichen, wie zum Beispiel insbesondere in sicherheitskritischen Systemen in der Luft- und Raumfahrt oder der Automobilbranche, ist der Qualitätsanspruch sehr hoch. Diese Situation führt zu einer überproportional ansteigenden Anzahl von Tests, die notwendig sind, um den kompletten Funktionsumfang moderner Systeme abzudecken und um den hohen Qualitätsansprüchen an diese Systeme gerecht zu werden.
Insbesondere bei sicherheitskritischen Systemen in der Luftfahrt sind die Komplexität und die Qualitätsansprüche so hoch, dass die notwendigen Tests kaum noch manuell zu bewältigen sind, da in diesem Zusammenhang durchaus mehrere 1000 bis zu 10000 Testschritten nicht ungewöhnlich sind. Außerdem ist die Subjektivität bei der Bewertung der Ausgaben durch einen Menschen kritisch zu betrachten und eine nicht zu vernachlässigende Fehlerquelle.
Beim Testen von solchen komplexen Systemen, die optische Ausgabeeinheiten, wie z. B. Displays, Instrumente, etc., sowie mechanische Eingabeeinheiten, wie z. B. Tasten, Schalter, Knöpfe, etc., enthalten ist bislang kein vollautomatisches Testen möglich. Es wird ein Bediener benötigt, der je nach durchzuführendem Test die richtigen, häufig mechanischen, Eingaben macht und die optischen Ausgaben bewertet. Das Testen von technischen Systemen, die Anzeigegeräte und Bedienelemente enthalten, wird derzeit so durchgeführt, dass die Eingaben manuell getätigt und die Ausgaben visuell geprüft werden. Das Testergebnis leitet der Tester aus dem Vergleich der beobachteten und der erwarteten Anzeige ab und protokolliert dieses. Diese Vorgehensweise hat u. a. folgende Nachteile:

– sie ist zeitaufwändig, was dazu führt, dass sich Abnahmetests in der Luftfahrtindustrie über mehrere Monate erstrecken können;
– sie ist fehleranfällig, was durch lange Testzeiten und monotones Arbeiten, die Ermüdung des Testers und die subjektive Bewertung der Ausgabe bedingt ist;
– sie führt zu Qualitätseinbußen durch eine limitierte Aufnahmefähigkeit der Testperson; So sind z. B. die Beobachtung des zeitlichen Verhaltens einer Anzeige und/oder die Überwachung multipler und paralleler Ausgaben durch eine Testperson nur bedingt möglich; und
– es fehlt ihr an Reproduzierbarkeit.

Die vorliegende Erfindung dient dazu, insbesondere die Funktionstests der Anzeigegeräte und Bedienelemente vollautomatisch durchzuführen, um den Testaufwand bei gesteigerter Qualität zu bewältigen. Außerdem sollen die oben genannten Nachteile der bisherigen Vorgehensweise überwunden werden.
Die Erfindung betrifft eine Vorrichtung und ein entsprechendes Verfahren zum Testen von Geräten mit visueller Ausgabe und mindestens einem mechanischen Eingabe-Element. Die Vorrichtung umfasst eine Eingabeeinheit zur automatisierten mechanischen Betätigung des mindestens einen Eingabe-Elements des Gerätes, eine Bildanalyseeinheit, welche die visuelle Ausgabe des Gerätes erfasst und analysiert, und eine Steuerungseinheit, welche die Eingabeeinheit und die Bildanalyseeinheit steuert und auf Basis von vorgegebenen Soll-Ausgaben und der Ergebnisse der Bildanalyseeinheit automatisch ein Testergebnis ermittelt. Unter anderem für die Dokumentierung der Tests und für eine mögliche Nachbearbeitung kann es von Vorteil sein, dass die Testergebnisse und/oder Informationen bezgl. der Eingabe und der visuellen Ausgabe abspeichert werden.
Die Erfindung kann bevorzugt zum Testen von sicherheits- und qualitätsrelevanten Geräten z. B. in der Luft- und Raumfahrt-Industrie eingesetzt werden. In diesem Bereich sind insbesondere die zentralen Rechnersysteme und visuellen Anzeigen aus dem Cockpit bzw. der Pilotenkanzel eines Flugzeugs oder eines Hubschrau bers zu nennen, die ein aufwändiges Testen erfordern. In diesem Fall kann es sich bei den mechanischen Eingabe-Elementen um Knöpfe, Regler oder Schalter im Cockpit handeln, die durch eine Eingabeeinheit der Testvorrichtung automatisch betätigt werden können. Eine Eingabeeinheit kann z. B. durch einen steuerbaren Roboterarm oder durch einen mit einem Eingabe-Element zusammen wirkenden Aktuator realisiert werden. Bei der visuellen Ausgabe kann es sich u. a. um Kontrolllampen, Anzeigen, Bordinstrumenten, wie z. B. Höhenmesser, Kompass, etc., sowie auch um Primary Flight Displays oder Multifunktions-Displays (MFD), welche u. a. in den heutigen elektronischen Fluginformationssystemen (engl. EFIS) eingesetzt werden, handeln. Die visuelle Ausgabe des Gerätes wird in der erfindungsgemäßen Vorrichtung z. B. anhand einer Kamera, einem Framegrabber und/oder einem digitalen Bildeingang von der Bildanalyseeinheit erfasst.
Als weitere Ausführungsform eines zu testendes Gerätes bzw. eines Prüflings kann ein Prüfling betrachtet werden, der aus mehreren Komponenten bzw. verschiedenen Eingabe-Elementen, Rechnern und visuellen Ausgaben besteht. Ein Beispiel für den Test eines solchen aus mehreren Komponenten bestehenden Prüflings ist der Test bzw. die Prüfung einer sogenannten funktionalen Kette, bei der die Reaktionen auf mechanische Eingaben in einer Reihe von visuellen Ausgaben getestet werden. Z. B. können mechanische Eingaben auf einer Control Display Unit (CDU) und auf einem MFD gemacht werden. Die mechanischen Eingaben können von verschiedenen Computern verwertet werden. Daraufhin können verschiedene visuelle Ausgaben auf der CDU, dem MFD und/oder einem Helm Visor erscheinen. Dabei könnte es erforderlich sein, mit einer weiteren zwischengelagerten mechanischen Eingabe zunächst eine bestimmte visuelle Ausgabe, z. B. den Helm Visor, zu aktivieren. So kann eine gesamte funktionale Kette geprüft werden, bei der die Funktionalität einer Reihe von zusammenhängender Komponenten eines Prüflings getestet wird. Als Beispiel können als Reaktion auf eine mechanische Eingabe verschiedene visuelle Ausgaben getestet werden. Dazu kann es erforderlich sein, dass während der Durchführung eines Tests weitere mechanische Eingaben getätigt werden, z. B. zum Aktivieren einer weiteren bzw. alternativen visuellen Ausgabe.
In einem Bespiel könnte der Prüfling ein komplettes Luftfahrzeugsystem sein. Als Reaktion auf eine mechanische Eingabe bzw. auf eine Reihe von mechanischer Eingaben können dann ganzheitliche meist komplexe funktionale Ketten des Prüflings getestet werden. Aufeinanderfolgend oder auch parallel können verschiedene visuelle Ausgaben analysiert werden. Diese könnten auch extra für Testzwecke eingebrachte visuelle Ausgaben an definierten Testpunkten innerhalb der funktionalen Kette umfassen. Solche Testpunkte können von Vorteil sein, um Teilkomponenten des Gesamtsystems zu testen. Wie bereits erwähnt, kann es dabei erforderlich sein, dass diese visuellen Ausgaben über weitere mechanische Eingaben aktiviert werden.
Gemäß eines weiteren Aspektes der Erfindung verfügt die Steuerungseinheit über einen Ablaufplan, anhand dessen eine Abfolge von Tests mit unterschiedlichen Eingaben und Soll-Ausgaben durchgeführt wird. Dieser Ablaufplan kann z. B. in einer proprietären Testbeschreibungssprache verfasst sein. Vorzugsweise wird jedoch eine standardisierte Auszeichnungssprache, wie z. B. XML, oder Programmiersprache, wie z. B. C, verwendet. Die Steuerungseinheit interpretiert diesen XML Code und weist daraufhin die Eingabeeinheit an, gewisse mechanische Eingaben zu machen, d. h. z. B. einen Knopf zu drücken oder einen bestimmten Schalter zu betätigen. Außerdem umfasst der Ablaufplan Informationen zu den für den vorliegenden Test erwarteten Soll-Ausgaben. Diese werden an die Bildanalyseeinheit weitergeleitet, welche in der erfassten visuellen Ausgabe nach bestimmten Elementen sucht und deren Attribute gemäß der Soll-Ausgabe bestimmt. Wenn die Steuerungseinheit ermittelt, dass die von der Bildanalyseeinheit ermittelten Attribute der in der visuellen Ausgabe gefundenen Elemente die Erwartungen der Soll-Ausgabe erfüllen, so liegt ein positives Testergebnis vor, andernfalls gilt der Test üblicherweise als nicht bestanden. Die Testergebnisse inklusive der erfassten visuellen Ausgabe können zur späteren Weiterbehandlung oder Nachbearbeitung abgespeichert werden. Anschließend kann durch die Steuerungseinheit der nächste Test gemäß dem Ablaufplan durchgeführt werden.
Zum vollständigen Test des Gerätes kann es von Vorteil sein, wenn die Vorrichtung weiter eine Datenschnittstelle zum Austausch von Daten zwischen der Steue rungseinheit und dem zu testenden Gerät umfasst. Über eine solche Datenschnittstelle kann die Steuerungseinheit dem Gerät Simulationsdaten einer Geräte-Peripherie zur Verfügung stellen. Dies ist insbesondere bei den Tests von komplexen Rechnersystemen, wie z. B. den Rechnersystemen eines Luftfahrzeugs, der Fall. Zur Geräte-Peripherie zählen hier u. a. die Vielzahl von Sensoren, Messgeräten (Höhenmesser, Kompass, Durchflussmesser, Geschwindigkeitsmesser, etc.) und Luftfahrzeugkomponenten (Antriebe, Ruder, Fahrwerk, etc.), welche das zentrale Rechnersystem mit Daten versorgen, die dort verarbeitet und dann auf der visuellen Ausgabe dargestellt werden. Zur vollständigen Durchführung der Tests kann es daher sinnvoll sein, das zu testende Rechnersystem über die Datenschnittstelle mit Simulationsdaten der Geräte-Peripherie zu versorgen und so z. B. zu testen, ob ein ausgefahrenes Fahrwerk auf der visuellen Ausgabe korrekt angezeigt wird.
Dabei kann es von Vorteil sein, dass alle Ereignisse innerhalb des Testsystems, insbesondere die von der Eingabeeinheit getätigten Eingaben, die von der Bildanalyseeinheit erfassten Reaktionen der visuellen Ausgabe des Gerätes und die von der Datenschnittstellen durchgeführten Ein- und Ausgaben mit einem Zeitstempel versehen werden können und die Steuerungseinheit ebenfalls alle Aktionen mit Zeitstempeln versehen kann. Dies ist insbesondere dann sinnvoll, wenn z. B. die Reaktionszeit des Gerätes, z. B. des Rechnersystems des Luftfahrzeugs, getestet werden soll. So kann es z. B. erforderlich sein, dass eine, durch einen Schwellwert definierte, Änderung des Kabinendrucks innerhalb eines vordefinierten Zeitraums durch eine Warnlampe angezeigt wird. Es könnte dabei auch erforderlich sein, dass diese Warnlampe mit einer bestimmten Frequenz blinkt, was ebenfalls durch das Versehen der erfassten visuellen Ausgabe und der mechanischen Eingabe mit Zeitstempeln berücksichtigt werden kann.
Gemäß eines weiteren Aspektes der Erfindung umfasst die Bildanalyseeinheit eine Objektdatenbank mit visuellen Attributen der von der Bildanalyseeinheit zu findenden Mustern/Objekte. Bevorzugt setzen sich diese Attribute aus einer beliebigen Kombination bestimmter Aspekte zusammen, wie z. B. das Vorhandensein der vordefinierten Muster und/oder Objekte, bestimmten Positionen von Mustern und/oder Objekten innerhalb der visuellen Ausgabe, bestimmten Farben und/oder Farbkombinationen, vordefinierten Texten und vordefinierten Formen. Auch der zeitliche Verlauf eines Attributes, z. B. das Blinken, könnte als ein Aspekt eines Attributs definiert werden und so in der Objektdatenbank berücksichtigt werden. Die Definition von bestimmten visuellen Attributen ist vorteilhaft, um die Fülle von möglichen visuellen Ausgaben zu meistern, die bei der üblicherweise hohen Anzahl von Testschritten auftreten können. Zur Ermittlung von Attributen kann man sich z. B. einer interaktiven Lern-Software bedienen, welche eine vorgegebene Soll-Ausgabe aus einer Systemspezifikation aufnimmt und daraus die zu messenden visuellen Attribute extrahiert und in der Objektdatenbank abspeichert.
Zur Definition eines Testschrittes kann man sich somit der Attribute aus der Objektdatenbank bedienen und vorgegebene Soll-Ausgaben definieren, welche mindestens ein visuelles Attribut aus der Objektdatenbank umfassen. Insbesondere bei sicherheitsrelevanten Systemen, wie z. B. dem zentralen Rechnersystem eines Luftfahrzeugs, kann es dabei erforderlich sein, dass die Soll-Ausgabe neben dem mindestens einen visuellen Attribut die gesamte visuelle Ausgabe umfasst. Dies kann erforderlich sein, um sicherzustellen, dass nicht nur das Vorhandensein der visuellen Attribute geprüft wird, sondern auch geprüft wird, dass sich die restliche visuelle Ausgabe nicht unerwartet verändert. Das kann z. B. dadurch sichergestellt werden, dass zu Beginn eines Testschritts oder Tests die aktuelle visuelle Ausgabe erfasst wird und als Hintergrund-Ausgabe mit den vorgegebenen visuellen Attributen zur visuellen Soll-Ausgabe zusammengefasst wird. Durch diese Vorgehensweise kann sichergestellt werden, dass auch bei der Verwendung von visuellen Attributen zu jedem Zeitpunkt die gesamte visuelle Ausgabe überprüft und getestet wird. Weiterhin kann es nützlich sein, in der Definition eines Testschrittes einen oder mehrere Teilbereiche der restlichen visuellen Ausgabe festzulegen, die von der Prüfung der restlichen visuellen Ausgabe ausgeschlossen werden sollten. Dadurch kann erreicht werden, dass durch erwartete Änderungen in der restlichen visuellen Ausgabe, die nicht durch visuelle Attribute repräsentiert werden können oder sollen, kein falsch negatives Testergebnis ermittelt wird. Diese Situation tritt insbesondere in Phasen der Testentwicklung auf.
Gemäß eines weiteren Aspektes der Erfindung umfasst die Bildanalyseeinheit eine Vergleichseinheit, welche innerhalb der visuellen Ausgabe in einem vorgegebenen Umfeld das Vorhandensein des mindestens einen visuellen Attributs ermittelt. Wenn die gesamte visuelle Ausgabe überprüft werden soll, so kann die Vergleichseinheit weiter ermitteln, ob neben dem Vorhandensein des mindestens einen visuellen Attributs die visuelle Ausgabe unverändert bleibt. Zur Suche der visuellen Attribute innerhalb einer visuellen Ausgabe kann durch die Steuerungseinheit ein Umfeld, d. h. ein Ausschnitt, innerhalb der visuellen Ausgabe vorgegeben werden. Dieses Umfeld kann Teil der Soll-Vorgaben für den vorliegenden Testschritt sein, es kann aber auch zur beschleunigten Durchführung eines Tests dienen, da die Bildanalyseeinheit nur einen kleineren Bereich der visuellen Ausgabe überwachen und auswerten muss.
Zur Bestimmung des Vorhandenseins des mindestens einen visuellen Attributs in der visuellen Ausgabe und/oder zur Bestimmung der graphischen Übereinstimmung eines Soll-Attributs mit Ausschnitten der visuellen Ausgabe werden bevorzugt Bildverarbeitungsalgorithmen verwendet. Diese Bildverarbeitungsalgorithmen umfassen im Allgemeinen Funktionen wie Mustererkennung, Kantendetektion und Formerkennung, welche zumeist in beliebigen Kombinationen eingesetzt werden.
Im Weiteren wird die Erfindung anhand eines Ausführungsbeispiels näher beschrieben. Dabei zeigt
1 ein Ausführungsbeispiel der erfindungsgemäßen Test-Vorrichtung;
2 ein Ausführungsbeispiel einer Bildanalyseeinheit der erfindungsgemäßen Test-Vorrichtung;
3a bis 3e Beispiele für von der Test-Vorrichtung berücksichtigte Analyseaspekte; und
4 ein Beispiel für die von der Test-Vorrichtung berücksichtigten zeitlichen Aspekte.
Wie bereits erwähnt, betrifft die Erfindung eine Vorrichtung und ein Verfahren für das vollautomatische Testen von Systemen mit mechanischer Eingabe und visueller Ausgabe. Ein Ausführungsbeispiel für eine derartige Test-Vorrichtung ist in 1 gezeigt. Sie zeigt einen Prüfling oder ein zu prüfendes Gerät 110, welches ein oder mehrere bildliche Ausgaben 104, 105, 106 sowie ein oder mehrere mechanische Eingabe-Elemente 107, 108, 109 aufweist. Dabei ist die Anzahl der mechanischen Eingabe-Elemente 107–109 völlig unabhängig von der Anzahl der bildlichen Ausgaben 104–106. Ein zu prüfenden Gerät 110 kann somit durchaus über mehr Eingabe-Elemente 107–109 als bildliche Ausgaben 104–106 oder umgekehrt verfügen. Bei den visuellen bzw. bildlichen Ausgaben 104–106 kann es sich um beliebige Typen, wie z. B. LCD-Display, CRT-Display, Lampen, Anzeigeelement, Zeiger etc., handeln. Außerdem sind unter anderem Primary Flight Displays (PFDs), Multifunctional Displays (MFDs), Control Display Units (CDUs), Leuchtdioden, Visor in einem Helm, aber auch Armaturen aus der Automobilindustrie denkbar. Es ist dabei zu beachten, dass nicht unbedingt das Display 104–106 selbst getestet wird, sondern bevorzugt das gesamte zu testende System 110 in einem End-to-End Test. Bei einem solchen System 110 kann es sich z. B. um das Computer- und Steuerungssystem eines Luftfahrzeugs oder eines Automobils handeln. Es sind aber auch andere Prüfsysteme 110 denkbar, welche über mechanische Eingabe-Elemente 107–109 und bildliche Ausgaben 104–106 verfügen, unter anderem aus der Medizintechnik (z. B. Kernspintomographen, etc.). Das System 110 umfasst weiter eine oder mehrere Datenschnittstellen 111, z. B. ein Bussystem oder eine Schnittstelle zum Austausch von analogen bzw. digitalen Signalen. Die Datenschnittstellen 111 können dazu verwendet werden, Simulationswerte von Sensoren, z. B. von dem Drehzahlmesser eines Triebwerks, an den Prüfling 110 zu liefern, um so z. B. die korrekte Darstellung der Drehzahl zu überprüfen. Außerdem können über die Datenschnittstellen 111 auch Ausgaben des Systems 110 abgegriffen werden, z. B. das digitale Signal der bildlichen Ausgaben 104–106. Das kann u. a. dann von Vorteil sein, wenn nur Teilkomponenten des Systems getestet werden sollen, z. B. zur Isolierung einer Fehlerquelle.
Die Test-Vorrichtung zum Testen eines derartigen Prüflings 110 umfasst eine Steuerungseinheit 103, bei der es sich um ein Standard-Testsystem oder eine spezifische Entwicklung handeln kann. Die Steuerungseinheit kommuniziert über definierte Schnittstellen mit einer oder mehreren Eingabeeinheiten 115, 116, 117, welche ein automatisches Bedienen der Eingabe-Elemente 107–109 des Prüflings ermöglichen, und mit einer oder mehreren Bildanalyseeinheiten 112, 113, 114, welche die bildlichen Ausgaben 104–106 des Prüflings erfassen und analysieren. Außerdem kommuniziert die Steuerungseinheit über die Datenschnittstelle 111 mit dem Prüfling 110 selbst.
Für die Steuerungseinheit 103 wird ein Ablaufplan 102 zur Verfügung gestellt, der im Wesentlichen die Testvorschrift, d. h. die durchzuführenden Testfälle, abbildet und die anderen Einheiten der Test-Vorrichtung, d. h. insbesondere die Eingabeeinheiten 115–117 und die Bildanalyseeinheiten 112–114, sowie den Prüfling 110 für einen Test konfiguriert. Ein solcher Ablaufplan 102 kann beispielsweise durch einen Testingenieur geschrieben werden. Für jeden Testfall umfasst der Ablaufplan 102 Anweisungen an die Eingabeeinheiten 115–117, Stimulationsdaten über die Datenschnittstelle 111 und Soll-Ausgaben der bildlichen Ausgaben 104–106. In der Praxis werden bereits für die herkömmlichen Testverfahren sehr streng formalisierte Testvorschriften/Ablaufpläne 102 mit genauen Angaben an das Testpersonal bezüglich mechanischer Eingaben, bildlicher Soll-Ausgaben und möglicherweise zusätzlichem Datenaustausch über die Datenschnittstelle 111 formuliert. Diese Testvorschriften/Ablaufpläne 102 können für das erfindungsgemäße Testverfahren und die erfindungsgemäße Testvorrichtung direkt in einer für die Steuerungseinheit 103 verständlichen Sprache, z. B. einer Beschreibungs- bzw. Auszeichnungssprache wie XML, verfasst werden. Der Aufwand ist daher vergleichbar mit der Erstellung der Testvorschriften für die herkömmlichen manuellen Testverfahren. Zusätzlich ist zu berücksichtigen, dass es bei sicherheitskritischen Anwendungen, wie z. B. in der Luftfahrt, erforderlich ist, dass die Testvorschriften qualifiziert werden müssen. Insbesondere ist darauf zu achten, dass bei der automatischen Durchführung der Tests die gesamten bildlichen Ausgaben 104–106, d. h. nicht nur Teilaspekte eines Bildes, erfasst und geprüft werden. Dies gilt insbesondere für das offenbarte automatisierte Testverfahren, welches eine Qualitäts abnahme der Testvorschriften bzw. der Test-Software und häufig – insbesondere in der Luftfahrt – eine Zulassung durch öffentliche Qualitätssicherungs-Stellen erfordert.
Dieser Ablaufplan wird von der Steuerungseinheit 103 interpretiert und startet einen Test in dem er:

• dem Prüfling 110 über die Datenschnittstelle 111 oder die Eingabeeinheiten 115–117 die nötigen Stimulationen verabreicht, um den gewünschten Testschritt zu ermöglichen und die damit korrespondierende bildliche oder visuelle Ausgabe anzuzeigen; Diese Stimulationen können z. B. Sensordaten und Anweisungen zur mechanischen Betätigung von Schaltern/Knöpfen umfassen;
• der entsprechenden Eingabeeinheit 115–117 mitgeteilt, wann sie welche mechanischen Bewegungen der Eingabe-Elemente 107–109 zu bewirken hat, d. h. beispielsweise wann sie welche Tasten zu drücken oder wann sie welche Knöpfe zu drehen hat. Diese Bewegungen können z. B. anhand von Aktuatoren, welche als Teil einer Eingabeeinheit 115–117 realisiert sind und mit dem jeweiligen Eingabe-Element 107–109 in Verbindung stehen, bewirkt werden. Die Eingabeeinheit 115–117 kann dann der Steuerungseinheit 103 einen Status der bewirkten Bewegungen mit Zeitstempel zurückliefern, wobei der Zeitstempel den tatsächlichen Zeitpunkt der mechanischen Eingabe an dem Eingabe-Element 107–109 angibt; und
• den Bildanalyseeinheiten 112–114 mitteilt, welche Soll-Ausgaben auf den bildlichen Ausgaben 104–106 des Prüflings 110 erwartet werden. Wenn beispielsweise ein bestimmtes Muster auf der bildlichen Ausgabe 104 erwartet wird, dann wird der korrespondierenden Bildanalyseeinheit 112 das Muster mitgeteilt, welches erkannt werden sollen. Die Bildanalyseeinheit 112 lädt das entsprechende Muster aus einer Objektdatenbank, zeichnet ein Bild der bildlichen Ausgabe 104 auf und startet die Bilderkennung, bei der bestimmt wird, ob das erwartet Muster auch tatsächlich auf der bildlichen Ausgabe 104 erschienen ist. Das Aufzeichnen von Bildern und das Analysieren laufen so lange, bis der jeweilige Test von der Steuerungseinheit 103 gestoppt wird. Die jeweilige Bildanalyseeinheit, z. B. 112 in dem o. g. Beispiel, liefert während des Tests kontinuierlich die auf wenige Werte reduzierten und relevanten Informationen, wie z. B. die Information „Muster vorhanden” oder „Muster nicht vorhanden” oder Informationen über Position, Farbe, erkanntem Text usw., an die Steuerungseinheit 103. Weiterhin kann die Bildanalyseeinheit 112 alle relevanten Bilder in einer Log-Datei speichern.

Die Steuerungseinheit 103 kann anschließend gemäß dem Ablaufplan 102 unter Berücksichtigung der zurück gelieferten Werte, d. h. insbesondere die gewonnen Informationen aus den Bildanalyseeinheiten 112–114, Rückmeldungen der Eingabeeinheiten 115–117 sowie weiteren Information über die Datenschnittstelle 111, den Test automatisch auswerten und das Ergebnis in eine Testbericht-Datei 101 schreiben. Nach Beendigung eines jeweiligen Tests kann sofort der nächste Test gestartet werden. Dies ermöglicht ein schnelles unbeaufsichtigtes Testen des zu testenden Geräts 110.
In 2 ist eine der Bildanalyseeinheiten 112–114 der erfindungsgemäßen Test-Vorrichtung beispielhaft dargestellt. Die Bildanalyseeinheit 114 erfasst die bildliche Ausgabe 106 des Prüflings 110 anhand von bildlichen Detektoren, wie z. B. einer digitalen Kamera 207 oder einem Framegrabber 208 für das Erfassen eines analogen Ausgangssignals. Bei der digitalen Kamera 207 kann es sich z. B. um CCD-Kameras, CMOS- oder APD-Arrays handeln. Alternativ könnte das Signal der bildlichen Ausgabe 106 auch direkt über eine digitale Schnittstelle 111 des Prüflings 110 erfasst werden. Die so erfasste bildliche Ausgabe 106 wird an den Bildanalyse-Rechner 202 weitergeleitet, der eine Bildanalyse-Software oder Bildanalyse-Logik 201 umfasst. Anhand dieser Bildanalyse-Software 201 wird die erfasste bildliche Ausgabe 106 analysiert und bezüglich bildlicher Objekte untersucht, welche auf Anweisungen der Steuerungseinheit 103 hin aus einer Objektdatenbank 203 entnommen werden. Zur Nachbearbeitung werden die erfassten bildlichen Ausgaben 106 und mögliche Zwischenergebnisse in einem Video-Log 204 gespeichert. Die aus der Analyse gewonnen Informationen werden an die Steuerungseinheit 103 ausgegeben.
Die Aufgaben der Bildanalyseeinheit 114 lassen sich im Rahmen eines Tests folgendermaßen einordnen. Die Anforderungen an das zu testende System 110 stellen die Grundlage des Tests dar. Aus den Anforderungen wird der Ablaufplan 102 mit dem genauen Testverlauf und den erwarteten Ergebnissen abgeleitet. Für die bildliche Ausgabe 106 eines Prüflings 110 liegen die Anforderungen meist in einem eigenständigen Dokument fest. Diese Anforderungen müssen von der Steuereinheit 103 in Testanweisungen und Testerwartungen an die Eingabeeinheiten 115–117, die Bildanalyseeinheiten 112–114 und an das zu prüfende Gerät 111 selbst umgewandelt werden. Um dies leisten zu können, ermöglicht die Bildanalyseeinheit 114 u. a. folgende Funktionen:

• die visuelle Erscheinung graphischer Elemente, z. B. eines Symbols oder eines Textes, wird erkannt und ausgewertet;
• die Position, an der ein Symbol dargestellt wird, oft in Abhängigkeit von weitern Parametern, wird ermittelt;
• neben dem Erkennen des Erscheinens oder des Vorhandenseins eines bestimmten graphischen Elements, wird erkannt, ob die verbleibende bildliche Ausgabe unverändert bleibt; Dadurch sollen ungewünschte Seiteneffekte erkannt werden.

Die Bildanalyseeinheit 114 erfasst das Bild einer vor der optischen Ausgabe 106 positionierten Kamera 207. Alternativ kann auch ein Video Signal über einen Framegrabber 208 oder direkt ein digitaler Videostream eingelesen werden. Danach analysiert die Bildanalyseeinheit 114 das Bild und transformiert das Ergebnis in eine Form, die direkt mit den in den Anforderungen beschriebenen Erwartungswerten bzw. Soll-Ausgaben verglichen werden kann. Die Analyse eines Bildes und die Recherche nach einem Symbol oder Attribut kann dadurch vereinfacht, aber auch weiter bestimmt, werden, dass durch die Steuerungseinheit 103 für den durchzuführenden Testfall ein Suchrahmen innerhalb des Bildes vorgeben wird.
Als Ergebnis dieser Analyse werden Informationen wie z. B. „Symbol wird dargestellt” oder „Symbol wird nicht dargestellt” bzw. „Symbol hat korrekte Form” oder „Symbol hat nicht die korrekte Form” bzw. „Symbol befinden sich an der richtigen Position” oder „Symbol befindet sich an der falschen Position” bzw. „Symbol hat die korrekte Farbe(n)” oder „Symbol hat nicht die korrekte Farbe(n)”, etc. ermittelt. Außerdem können auch Hintergrund-Aspekte, d. h. Aspekte der verbleibenden bildlichen Ausgabe, bei der Ermittlung berücksichtigt werden, so dass ein mögliches Ergebnis sein könnte „Symbol wird dargestellt und Hintergrund bleibt unverändert” oder „Symbol wird dargestellt aber zusätzlich verändert sich das Hintergrundbild”.
Aus dem Ergebnis eines solchen Vergleichs leitet sich direkt das Ergebnis für den betreffenden Testschritt, d. h. „Testschritt bestanden” oder „Testschritt nicht bestanden” ab. Alle ausgewerteten Bilder werden in der Log-Datei 204 gespeichert, um eine spätere manuelle Zusatzauswertung zu ermöglichen.
Als Voraussetzung für die Erkennung von Symbolen oder bildlicher Elemente, welche häufig auch allgemein als Objekte bezeichnet werden, in einer bildlichen Ausgabe 106 vertilgt die Bildanalyseeinheit 114 über eine Objektdatenbank 203, welche eine Vielzahl von zu erkennenden Objekten und deren Attributen umfasst. Zur Erstellung dieser Objektdatenbank 203 ist es erforderlich, dass die zur Ermittlung dieser Attribute erforderlichen Informationen aus der bildlichen Ausgabe 106 isoliert werden und separat abgespeichert werden können. Bei den erforderlichen Informationen kann es sich z. B. um ein zu erkennendes Muster handeln, dessen Position auf dem Bildschirm ermittelt werden soll. Die Isolierung der Information kann z. B. anhand einer Lern-Software 205 realisiert werden, welche es ermöglicht, dass die zu isolierenden Attribute in einem automatisierten oder aber auch teilautomatisierten/interaktiven Prozess, aus einem Musterbild oder einer Spezifikation 206 zu ermitteln. Dabei können neben den Attributen und der reinen bildlichen bzw. visuellen Information auch Informationen über die Position der Attribute in nerhalb der bildlichen Ausgabe 106 erfasst werden. Neben der Ermittlung der Attribute über eine Lern-Software 205 sind natürlich auch andere Möglichkeiten denkbar, nicht zuletzt die direkte Eingabe aus Spezifikationen in die Objektdatenbank 203.
Die 3a bis 3e zeigen beispielhaft Vergleichs- und Analyseschritte der Bildanalyseeinheit 114. In 3a ermittelt die Bildanalyseeinheit 114, ob in einer bildlichen Ausgabe 106 ein bestimmter Schriftzug 308 dargestellt ist. Die Bildanalyseeinheit 114 ist befähigt, einen solchen Text 308 aus der bildlichen Darstellung 309 zu extrahieren. In 3b hat die Bildanalyseeinheit 114 zu ermitteln, ob als Reaktion auf eine mechanische Eingabe ein bestimmter Bildschirmteil eine bestimmte Farbe annimmt. So ist die Bildanalyseeinheit 114 dazu befähigt zu erkennen, dass der Schriftzug 301 amber-farben und der Schriftzug 302 grün-farben dargestellt ist.
Weiter ist die Bildanalyseeinheit 114 befähigt vordefinierte Kanten in einer bildlichen Ausgabe 106 zu erkennen. 3c zeigt einen Zeiger in einer oberen Position 303 von 0 Grad (Bild oben) und in einer unteren Position 304 von 90 Grad (Bild unten). Die Bildanalyseeinheit 114 kann durch Kantenerkennung die genaue Position des Zeigers bestimmen und so die Zeigerposition in einen numerischen Wert überführen. Als weiteres Beispiel werden in 3d die Formerkennungs-Fähigkeiten der Bildanalyseeinheit 114 gezeigt. Das linke Bild zeigt ein bildliches Symbol 306 für ein geöffnetes Ventil und das rechte Bild ein bildliches Symbol 305 für ein geschlossenes Ventil. Durch Anwendung von Formerkennungs-Verfahren kann die Bildanalyseeinheit 114 diese Symbole 306 und 305 erkennen und so ermitteln, ob ein Ventil als offen bzw. geschlossen dargestellt wird.
Schließlich werden in 3e die Fähigkeiten der Bildanalyseeinheit 114 dargestellt, die genaue Position eines Symbols 307 innerhalb der bildlichen Ausgabe 106 zu ermitteln. Diese Position ist häufig in Abhängigkeit von noch weiteren Parametern zu bestimmen.
Das zeitliche Verhalten eines getesteten Systems kann ebenfalls eine wichtige Rolle spielen. Z. B. legen bestimmte System-Anforderungen fest, welches die maximale Zeitdauer sein darf, die vom Auslösen eines Tastendrucks bis zum Erscheinen eines Symbols verstreichen darf, oder mit welcher Frequenz ein Symbol blinken muss. Um solche Anforderungen zu testen, ist ein kontinuierliches Durchführen der Bildanalyse notwendig. Sobald die Analyse beendet ist, werden die Ergebnisse an die Steuerungseinheit 103 weitergereicht und sofort eine erneute Analyse gestartet. Dabei werden alle Ergebnisse mit einem Zeitstempel versehen. Das Ergebnis kann dann, wie in der 4 beispielhaft dargestellt, in der Teststeuereinheit ausgewertet werden. Dabei stellt 4 einen Zeitstrahl 400 dar und die Punkte 403 und 404 die erfassten Bilder der bildlichen Ausgabe 106. Zum Zeitpunkt 401 erfolgt eine mechanische Eingabe an einem der Eingabeelemente 107–109. Als Reaktion auf die Eingabe wird als Soll-Ausgabe zum Zeitpunkt 402 erwartet, dass ein Symbol, welches zuvor nicht angezeigt wurde, angezeigt wird. Dieser erwartete Verlauf bzw. diese Soll-Ausgabe wird durch die durchgezogenen Linie 405 dargestellt. Wie aus dem Beispiel in 4 hervorgeht, ermittelt die Bildanalyseeinheit 106, dass noch kurz vor dem Zeitpunkt 402 kein Symbol, repräsentiert durch die leeren Kreise 403, angezeigt wird, dass aber kurz nach dem Zeitpunkt 402 das gewünschte Symbol, repräsentiert durch die gefüllten Kreise 404, angezeigt wird. In diesem Fall kann daraus das Testergebnis ”bestanden” abgeleitet werden, denn der tatsächliche zeitliche Verlauf des Wertes ”Symbol dargestellt” entspricht dem erwarteten zeitlichen Verlauf innerhalb definierter Toleranzen.
In der vorliegenden Erfindung wurde eine Vorrichtung und ein Verfahren offenbart, welches es ermöglicht das Testen von komplexen System mit mechanischer Eingabe und bildlicher bzw. optischer Ausgabe zu automatisieren. Durch diese Erfindung werden die einleitend dargestellten Probleme von Testverfahren aus dem Stand der Technik überwunden und es ergeben sich Vorteile, wie u. a.

• eine erhebliche Reduktion des zeitlichen Testaufwandes und damit verbunden eine signifikante Kostenreduktion, eine Verbesserung des Time-To- Markets und eine realistischere Machbarkeit von erforderlichen oder gewünschten Testvorhaben;
• eine Reduktion der Fehleranfälligkeit, da insbesondere Fehler durch menschliches Versagen reduziert und möglicherweise sogar ganz ausgeschaltet werden können;
• eine Erhöhung der Reproduzierbarkeit, da insbesondere Interpretationsmöglichkeiten durch das menschliche Auge ausgeschaltet werden;
• eine Qualitätssteigerung durch eine breitere Testabdeckung, da z. B. eine gleichzeitige Überwachung aller Ausgaben und/oder eine Korrelation der Ein- und Ausgabe ermöglicht wird;
• die Tatsache, dass Tests unbeaufsichtigt durchgeführt werden können, und somit Testprogramme kontinuierlich und schneller durchgeführt werden können;
• die Tatsache, dass das offenbarte Verfahren prinzipiell in jedem System mit visueller Ausgabe anwendbar ist; und
• die Tatsache, dass subjektive Einflüsse, welche durch die Person, die die Bewertung der Ergebnisse durchführt, sowie Irregularitäten bei der Testdurchführung, z. B. verursacht durch Ermüdung des Testpersonals, eliminiert werden können.

101: Testbericht
102: Ablaufplan
103: Steuereinheit
104, 105, 106: bildliche Ausgaben des Prüflings 110
107, 108, 109: Eingabe-Elemente des Prüflings 110
110: Prüfling, zu testendes Gerät bzw. System
111: Datenschnittstelle des Prüflings 110
112, 113, 114: Bildanalyseeinheiten der Test-Vorrichtung
115, 116, 117: Eingabeeinheiten der Test-Vorrichtung
201: Bildanalyse Software
202: Bildanalyse Rechner
203: Objektdatenbank
204: Video Log Datei
205: Lern Software
206: Musterbild, Spezifikation
207: Kamera
208: Framegrabber
301: Farbe „amber” des Symbols
302: Farbe „grün” des Symbols
303: 0 Grad Stellung des Zeigers
304: 90 Grad Stellung des Zeigers
305: Symbol für ein geschlossenes Ventil
306: Symbol für ein geöffnetes Ventil
307: graphisches Symbol (innerhalb einer bildlichen Ausgabe 106)
308: Schriftzug
309: graphische Darstellung des Schriftzugs 308
400: Zeitstrahl
401: Zeitpunkt einer mechanischen Eingabe
402: Zeitpunkt einer erwarteten Reaktion der bildlichen Ausgabe
403: Messwerte (kein Symbol) der Bildanalyseeinheit der bildlichen Ausgabe
404: Messwerte (Symbol vorhanden) der Bildanalyseeinheit der bildlichen Ausgabe
405: erwarteter Verlauf (Soll-Ausgabe) der bildlichen Ausgabe

Claims

Eine Vorrichtung zum Testen von Geräten mit visueller Ausgabe und mindestens einem mechanischen Eingabe-Element, welche umfasst: – eine Eingabeeinheit zur automatisierten mechanischen Betätigung des mindestens einen Eingabe-Elements des Gerätes; – eine Bildanalyseeinheit, welche die visuelle Ausgabe des Gerätes erfasst und analysiert; und – eine Steuerungseinheit, welche die Eingabeeinheit und die Bildanalyseeinheit steuert und auf Basis von vorgegebenen Soll-Ausgaben und der Ergebnisse der Bildanalyseeinheit automatisch ein Testergebnis ermittelt.
Die Vorrichtung gemäß Anspruch 1, wobei die Steuerungseinheit über einen Ablaufplan verfügt, anhand dessen eine Abfolge von Tests mit unterschiedlichen Eingaben und Soll-Ausgaben durchgeführt wird.
Die Vorrichtung gemäß Anspruch 2, wobei es der Ablaufplan durch die Abfolge von Tests ermöglicht, funktionale Ketten des Gerätes zu testen.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei das zu testende Gerät das zentrale Rechnersystem eines Luftfahrzeugs ist.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei die visuelle Ausgabe ein Multifunktions-Display ist.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei die Vorrichtung weiter umfasst: – eine Datenschnittstelle zum Austausch von Daten zwischen der Steuerungseinheit und dem zu testenden Gerät.
Die Vorrichtung gemäß Anspruch 6, wobei die Steuerungseinheit befähigt ist, dem zu testenden Gerät Simulationsdaten einer Geräte-Peripherie zur Verfügung zu stellen.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei die visuelle Ausgabe des Gerätes anhand einer Kamera, einem Framegrabber oder einem digitalen Bildeingang der Bildanalyseeinheit erfasst wird.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei die Steuerungseinheit die Testanweisungen an die Eingabeeinheit und die von der Bildanalyseeinheit erfassten Reaktionen der visuellen Ausgabe des Gerätes jeweils mit einem Zeitstempel versieht.
Die Vorrichtung gemäß einem beliebigen vorangegangenen Anspruch, wobei die Bildanalyseeinheit eine Objektdatenbank mit visuellen Attributen umfasst.
Die Vorrichtung gemäß Anspruch 10, wobei die Attribute eine beliebige Kombination von folgenden Aspekten umfassen: – vordefinierte Muster und/oder Objekte; – bestimmte Position von Mustern und/oder Objekten; – bestimmte Farben und/oder Farbkombinationen; – vordefinierte Texte; und – vordefinierte Formen.
Die Vorrichtung gemäß Anspruch 10 oder 11, wobei die vorgegebene Soll-Ausgabe mindestens ein visuelles Attribut aus der Objektdatenbank um fasst.
Die Vorrichtung gemäß Anspruch 12, wobei die Soll-Ausgabe neben dem mindestens einen visuellen Attribut die gesamte visuelle Ausgabe des zu testenden Gerätes umfasst.
Die Vorrichtung gemäß Anspruch 12 oder 13, wobei die Bildanalyseeinheit eine Vergleichseinheit umfasst, welche innerhalb der visuellen Ausgabe in einem vorgegebenen Umfeld das Vorhandensein des mindestens einen visuellen Attributs ermittelt.
Die Vorrichtung gemäß Anspruch 14 in Bezug auf Anspruch 13, wobei die Vergleichseinheit weiter ermittelt, ob neben dem Vorhandensein des mindestens einen visuellen Attributs die restliche visuelle Ausgabe unverändert bleibt.
Die Vorrichtung gemäß Ansprüchen 14 oder 15, wobei die Vergleichseinheit das Vorhandensein des mindestens einen visuellen Attributs anhand von Bildverarbeitungsalgorithmen ermittelt, welche eine beliebige Kombination von Mustererkennung, Kantendetektion und Formerkennung umfassen.
Ein Verfahren zum Testen eines Gerätes mit mindestens einem mechanischen Eingabe-Element und visueller Ausgabe, welches umfasst: – automatische mechanische Betätigung des mindestens einen Eingabe-Elements des Gerätes; – Erfassen der visuellen Ausgabe des Gerätes; – Analysieren der erfassten visuellen Ausgabe; – Ermitteln eines Testergebnisses auf Basis der Analyse einer vorgegebenen Soll-Ausgabe und der erfassten visuellen Ausgabe.