-
Die folgende Patentschrift beschreibt und bestimmt die Natur der vorliegenden Erfindung und die Art und Weise, wie sie durchgeführt werden soll:
-
Erfindungsgebiet
-
Die vorliegende Erfindung betrifft ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik.
-
Allgemeiner Stand der Technik
-
Automatische Testtechniken werden zum Testen einer auf einer Displayeinrichtung angezeigten Grafik verwendet. Eine mit Diagnostiksoftware eingebettete Testeinrichtung ist mit der Displayeinrichtung verbunden, um die Displayeinrichtung zu testen. Üblicherweise überträgt die Testeinrichtung einen Testbefehl an die Displayeinrichtung. Die Displayeinrichtung wird beim Empfangen der Testbefehle den Testbefehl ausführen und als Reaktion auf den Testbefehl ein Ergebnis liefern. Dieses Ergebnis wird von der Testeinrichtung erfasst und weiterhin analysiert die Testeinrichtung das Ergebnis, um zu bestimmen, ob die Displayeinrichtung das Ergebnis wie erwünscht anzeigt.
-
Gemäß einem indischen Anmeldungsdokument
IN201302900 wird eine Technik für eine automatische grafische Benutzerschnittstellentechnik in einer nicht-standardmäßigen Displayeinrichtung offenbart. Das Verfahren beinhaltet das Konfigurieren eines Displayschirms auf der nicht-standardmäßigen Displayeinrichtung mit einem Interpretations- und Rekonstruktionsmodul, Ausführen mindestens eines von mehreren Testfällen auf der nicht-standardmäßigen Displayeinrichtung unter Verwendung des Interpretations- und Rekonstruktionsmoduls, Interpretieren eines Displayinhalts entsprechend dem ausgeführten Testfall unter Verwendung des Interpretations- und Rekonstruktionsmoduls und Verifizieren des rekonstruierten Displayinhalts unter Verwendung eines Automatisierungsmoduls.
-
Kurze Beschreibung der beiliegenden Zeichnungen
-
Es werden verschiedene Ausführungsformen der Erfindung in der Beschreibung und in den Darstellungen in den beiliegenden Zeichnungen ausführlich offenbart:
-
1 ist ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik gemäß einer Ausführungsform der vorliegenden Offenbarung;
-
2 ist ein Blockdiagramm, das eine Vorrichtung zum Testen einer durch eine Displayeinrichtung angezeigten Grafik gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt; und
-
3 ist eine beispielhafte Darstellung des Testens einer durch eine Displayeinrichtung angezeigten Grafik gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
Ausführliche Beschreibung
-
1 ist ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
Das Verfahren beinhaltet: Empfangen von Inhalt von mindestens einem auf der Displayeinrichtung angezeigten Bild, Abrufen mindestens eines eines Referenzobjekts und eines Referenzorts aus einem Speicher, Detektieren, ob das Referenzobjekt in dem Inhalt des Bilds an dem Referenzort vorliegt, und Liefern eines Grafiktestergebnisses auf der Basis der Detektion.
-
Bei Schritt 105 wird der Inhalt des auf der Displayeinrichtung angezeigten Bilds von einer Kamera oder einem Framegrabber oder einer bildübertragenden Schnittstelle empfangen. Der Inhalt des auf der Displayeinrichtung angezeigten Bilds ist ein Ergebnis eines durch die Displayeinrichtung ausgeführten Testbefehls. Der Testbefehl wird durch eine Vorrichtung an die Displayeinrichtung geliefert. Die Vorrichtung wird zum Testen einer durch die Displayeinrichtung angezeigten Grafik verwendet. Das Bild enthält den auf der Displayeinrichtung angezeigten Inhalt ganz oder teilweise. Bei einem Beispiel kann der Inhalt ein Symbol, ein Icon, einen Text, eine Zahl und dergleichen enthalten. Eine bilderfassende Einrichtung wie etwa die Kamera oder der Framegrabber oder die bildübertragende Schnittstelle erfasst den Inhalt des durch die Displayeinrichtung angezeigten Bilds und überträgt ihn zu der Vorrichtung, die das Testen der durch die Displayeinrichtung angezeigten Grafik durchführt. Die Kamera oder der Framegrabber oder die bildübertragende Schnittstelle kann als ein Teil der Vorrichtung enthalten sein, die zum Testen der Grafik verwendet wird, oder sie können separate Einheiten sein, die den erfassten Inhalt des Bilds an die Vorrichtung zum Testen übertragen.
-
Bei Schritt 110 werden ein Referenzobjekt und ein Referenzort aus einem Speicher abgerufen. Das Referenzobjekt und der Referenzort können aus dem Speicher der Vorrichtung oder aus dem Speicher der Displayeinrichtung abgerufen werden. Falls das Referenzobjekt und der Referenzort aus dem Speicher der Displayeinrichtung abgerufen werden, dann können verschiedene Kommunikationsprotokolle verwendet werden, so dass das Referenzobjekt und der Referenzort durch die Vorrichtung abgerufen werden, die zum Testen der Grafik verwendet wird. Das Referenzobjekt wird als ein bestimmtes Objekt bezeichnet, das zum Testen der Korrektheit der durch die Displayeinrichtung angezeigten Grafik durchsucht werden soll. Das Referenzobjekt beinhaltet ein Symbol, ein Icon, einen Text und eine Zahl und dergleichen. Der Referenzort kann ein spezifischer Ort auf der Displayeinrichtung sein, wo das Referenzobjekt angezeigt wird. Der Referenzort kann auch ein Teilbereich der Displayeinrichtung sein. Bei einem Beispiel beinhaltet der Teilbereich Quadranten wie etwa rechter oberer Quadrant, linker oberer Quadrant, rechter unterer Quadrant und linker unterer Quadrant der Displayeinrichtung. Das Vorliegen des Referenzobjekts am Referenzort der Displayeinrichtung beim Testen des Inhalts des auf der Displayeinrichtung angezeigten Bilds bestimmt die Korrektheit des Grafiktestens.
-
Bei Schritt 115 wird auf der Basis der Referenz detektiert, ob das Referenzobjekt in dem Inhalt des Bilds vorliegt. Die Detektion wird unter Verwendung eines oder mehrerer Bildverarbeitungsalgorithmen durchgeführt. Beim Abrufen des Referenzorts suchen die Bildverarbeitungsalgorithmen nach dem Referenzobjekt an einem spezifischen Ort des Bilds, der dem abgerufenen Referenzort entspricht. Durch Suchen nach dem Referenzobjekt an dem Referenzort ist das Verfahren zum Testen einer Grafik zeiteffizient, da die Suche nach dem Referenzobjekt auf einen spezifischen Ort auf der Displayeinrichtung begrenzt ist.
-
Wenn in einem Fall der Inhalt Text enthält, dann können das Zeichen, die Größe und die Farbe des auf der Displayeinrichtung angezeigten Texts getestet werden. In solchen Fällen ist ein Referenzobjekt, das im Speicher gespeichert ist, ein Referenztext. Der durch die Displayeinrichtung angezeigte Text wird durch die Vorrichtung abgerufen, um die Grafik zu testen. Weiterhin wird der abgerufene Text bezüglich ASCII und UNICODE validiert. Der detektierte Text wird mit dem Referenztext verglichen, um zu bestimmen, ob der abgerufene Text zu dem Referenztext, der im Speicher gespeichert ist, äquivalent ist.
-
Weiterhin können auch die Größe und die Farbe des Textes getestet werden. Der Referenztext ist üblicherweise mit einer Referenzgröße assoziiert. Zum Bestimmen der Größe wird die Größe des abgerufenen Textes bestimmt. Die Größe des abgerufenen Textes wird dann mit der Referenzgröße verglichen, um zu bestimmen, ob die Größe des abgerufenen Textes die gleiche ist wie die Referenzgröße.
-
Analog kann auch die Farbe des auf der Displayeinrichtung angezeigten Textes detektiert werden. Der Text wird abgerufen und die Farbe des Textes wird unter Verwendung verschiedener Farbdetektierungsalgorithmen bestimmt. Außerdem ist zum Bestimmen der Farbe ein Referenzfarbcode mit dem Referenzobjekt assoziiert und ist im Speicher gespeichert. Beim Bestimmen der Farbe des abgerufenen Textes wird die bestimmte Farbe mit dem im Speicher gespeicherten Referenzfarbcode verglichen.
-
Bei Schritt 120 wird das Grafiktestergebnis auf der Basis der Detektion geliefert. Falls das Referenzobjekt am Referenzort im Inhalt des auf der Displayeinrichtung angezeigten Bilds vorliegt, dann wird davon ausgegangen, dass das Grafiktestergebnis positiv ist. Falls das Referenzobjekt nicht am Referenzort im Inhalt des auf der Displayeinrichtung angezeigten Bilds vorliegt, dann wird davon ausgegangen, dass das Grafiktestergebnis negativ ist. Das Testergebnis, das negativ ist, kann weiterhin zur Analyse durch einen Benutzer, beispielsweise einen Entwickler, verwendet werden.
-
In einem anderen Fall wird detektiert, ob das Referenzobjekt im Inhalt des Bilds vorliegt, ohne Berücksichtigung des Referenzorts. In solchen Fällen wird das Referenzobjekt durchsucht, um zu bestimmen, ob es irgendwo auf der Displayeinrichtung vorliegt. Falls das Referenzobjekt irgendwo in der Displayeinrichtung vorliegt, wird das Grafiktestergebnis dann als positiv angesehen.
-
In Fällen, bei denen der Inhalt Text enthält, wird, falls das Zeichen, die Größe und die Farbe zu dem Referenzzeichen, der Referenzgröße und der Referenzfarbe, die mit dem Text assoziiert sind, äquivalent sind, das Grafiktestergebnis dann als positiv angesehen.
-
Das Verfahren umfasst weiterhin das Berechnen einer Änderungsrate einer Referenzobjektposition in mehreren Bildern, um eine flüssige Bewegung des Referenzobjekts im Inhalt des Bilds zu bestimmen. In einem grafischen Bild bestimmt die flüssige Bewegung, ob sich das Referenzobjekt wie gewünscht bewegt, so dass das grafische Bild frei von Jitter ist. Somit wird die Referenzobjektposition in mehreren Bildern berechnet, um die flüssige Bewegung des Objekts zu bestimmen.
-
Die Änderungsrate der Referenzobjektposition wird durch sequenzielles Empfangen mehrerer Bilder berechnet, die durch eine bilderfassende Einrichtung erfasst werden, wie etwa die Kamera und den Framegrabber oder die bildübertragende Schnittstelle. Weiterhin wird die Distanz des Referenzobjekts von einem Referenzpunkt in jedem der Bilder berechnet. Der Referenzpunkt beinhaltet einen spezifischen Ort im ersten Bild der mehreren Bilder.
-
Weiterhin wird eine flüssige Bewegung des Referenzobjekts im Inhalt des Bilds durch Vergleichen der berechneten Distanz des Referenzobjekts in jedem Bild von dem Referenzpunkt mit mehreren im Voraus gespeicherten Distanzen oder zuvor berechneten Distanzen bestimmt. Die im Voraus gespeicherten Distanzen oder die zuvor berechneten Distanzen entsprechen der Distanz zwischen den Referenzobjektpositionen in jedem der Bilder von dem Referenzpunkt. Falls die berechnete Distanz der Referenzobjektposition in jedem der Bilder mit oder ohne einer vordefinierten Toleranz gleich der im Voraus gespeicherten Distanz oder der zuvor berechneten Distanz für entsprechende Bilder ist, sind die Referenzobjektbewegungen auf der Displayeinrichtung dann flüssig und frei von Jitter.
-
Um die Berechnung der Änderungsrate der Referenzobjektposition zu verstehen, wird eine beispielhafte Erläuterung in diesem Absatz vorgelegt. Es sei betrachtet, dass zwei Bilder durch die bilderfassende Einrichtung erfasst werden und diese zwei Bilder sequenziell durch die Vorrichtung empfangen werden, die das Grafiktesten durchführt. Das Referenzobjekt bleibe an einem Referenzpunkt im ersten Bild bei (x1, y1). Zum Berechnen der Flüssigkeit wird nun die Distanz des Referenzobjekts im zweiten Bild von dem Referenzpunkt (x1, y1) gemessen. Weiterhin wird die gemessene Distanz mit einer gespeicherten Distanz verglichen, die im Speicher gespeichert ist. Die gespeicherte Distanz zeigt die Distanz zwischen dem Referenzpunkt (x1, y1) im ersten Bild und einem anderen Punkt (x2, y2) im zweiten Bild an. Falls die gemessene Distanz im Vergleich zu der gespeicherten Distanz innerhalb eines akzeptablen Bands liegt, dann ist die Referenzobjektposition wie erwünscht und die Referenzobjektbewegung ist flüssig. Analog kann die Distanz des Referenzobjekts in verschiedenen Bildern von dem Referenzpunkt gemessen werden und die gemessene Distanz wird mit mehreren im Voraus gespeicherten Distanzen oder zuvor berechneten Distanzen für jedes der Bilder verglichen. Falls die gemessene Distanz gleich den im Voraus gespeicherten oder zuvor berechneten Distanzen für jedes der Bilder ist, dann ist die Referenzobjektbewegung flüssig und frei von Jitter.
-
2 ist ein Grafiktestsystem zum Testen einer durch eine Displayeinrichtung angezeigten Grafik.
-
Die Vorrichtung 200 überträgt ein Testskript an die Displayeinrichtung 215. Die Displayeinrichtung wird auch als eine zu testende Einrichtung (DUT – Device Under Test) bezeichnet. Der Inhalt der durch die Displayeinrichtung 215 angezeigten Bilder wird durch die Vorrichtung getestet.
-
Das Testskript wird durch die DUT 215 ausgeführt und ein Ergebnis des Testskripts wird auf der Displayeinrichtung 215 angezeigt. Das Ergebnis ist der Inhalt eines auf der Displayeinrichtung 215 angezeigten Bilds. Der Inhalt des Bilds wird dann durch eine bilderfassende Einrichtung wie etwa eine Kamera, einen Framegrabber oder eine bildübertragende Schnittstelle erfasst. Das durch die Displayeinrichtung 215 angezeigte Ergebnis, das durch die bilderfassende Einrichtung erfasst wird, wird als das Bild bezeichnet.
-
Die bilderfassende Einrichtung kann als Teil der Vorrichtung 200 oder der Displayeinrichtung 215 enthalten sein. In einigen Fällen kann die bilderfassende Einrichtung eine separate Einheit sein, die kein Teil der Vorrichtung 200 und der Displayeinrichtung 215 ist, die den Inhalt des durch die Displayeinrichtung 215 angezeigten Bilds erfasst und das erfasste Bild an die Vorrichtung 200 überträgt.
-
Die Vorrichtung 200 umfasst eine Schnittstelle 205 zum Empfangen des Inhalts der durch die Displayeinrichtung 215 angezeigten Bilder von der Kamera oder dem Framegrabber. Die Schnittstelle 205 enthält Hardware- und Softwarekomponenten, die ausgelegt sind zum Empfangen des Inhalts des Bilds. Der Inhalt des Bilds beinhaltet unter anderem ein Icon, ein Symbol, einen Text, eine Zahl und dergleichen.
-
Die Vorrichtung 200 umfasst auch einen Prozessor 210, der ausgelegt ist zum Abrufen mindestens eines eines Referenzobjekts und eines Referenzorts aus einem Speicher. Der Speicher kann in der Vorrichtung enthalten sein, oder der Speicher kann ein Teil der Displayeinrichtung sein. Falls das Referenzobjekt und der Referenzort im Speicher der Displayeinrichtung gespeichert sind, können dann verschiedene Kommunikationsprotokolle verwendet werden, so dass die Vorrichtung das Referenzobjekt und den Referenzort aus dem Speicher der Displayeinrichtung abruft.
-
Beim Abrufen des Referenzobjekts und des Referenzorts detektiert der Prozessor 210, ob das Referenzobjekt im Inhalt des Bilds an dem Referenzort vorliegt. Das Referenzobjekt kann unter anderem ein Icon, ein Symbol, einen Text, eine Zahl und dergleichen enthalten. Der Referenzort ist ein spezifischer Ort der Displayeinrichtung. Ein oder mehrere Bildverarbeitungsalgorithmen, die in die Vorrichtung eingebettet sind, werden zum Detektieren des Referenzobjekts am Referenzort verwendet. Durch Suchen nach dem Referenzobjekt am Referenzort würde der Grafiktestprozess zeiteffizient sein, da die Suche auf einen spezifischen Ort begrenzt ist.
-
In einigen Fällen ist der Prozessor 210 ausgelegt zu detektieren, ob das Referenzobjekt im Inhalt des Bilds vorliegt, ohne Berücksichtigung des Referenzorts. In solchen Fällen wird getestet, ob das Referenzobjekt irgendwo auf der Displayeinrichtung vorliegt. Die Detektion des Referenzobjekts am Referenzort oder die Detektion des Referenzobjekts irgendwo auf der Displayeinrichtung hängt von dem Testskript ab.
-
Beim Detektieren des Referenzobjekts liefert der Prozessor 210 ein Grafiktestergebnis auf der Basis der Detektion. Falls das Referenzobjekt im Inhalt des durch die Displayeinrichtung angezeigten Bilds an dem Referenzort vorliegt, wird das Grafiktestergebnis dann als positiv bezeichnet. Falls in einigen Fällen das Referenzobjekt irgendwo in der Displayeinrichtung 215 vorliegt, wird das Grafiktestergebnis dann als positiv bezeichnet. Das Grafiktestergebnis kann auf der Displayeinrichtung oder auf einem Display der Vorrichtung angezeigt werden. Die Grafiktestergebnisse können auch in der Form eines Audio vorgelegt werden.
-
Der Prozessor 210 ist auch ausgelegt zum Berechnen einer Änderungsrate einer Referenzobjektposition in mehreren Bildern, um eine flüssige Bewegung des Referenzobjekts zu bestimmen. Zum Berechnen der Änderungsrate der Referenzobjektposition wird die Position des Referenzobjekts in mehreren Bildern überwacht. Zum Bestimmen der Position des Referenzobjekts bestimmt der Prozessor 210 die Distanz des Referenzobjekts in jedem der Bilder von einem Referenzpunkt. Der Referenzpunkt entspricht einem spezifischen Ort in dem ersten Bild der mehreren Bilder.
-
Weiterhin bestimmt der Prozessor 210 eine flüssige Bewegung des Referenzobjekts auf der Basis einer berechneten Änderungsrate einer Referenzobjektposition. Die flüssige Bewegung wird bestimmt, um zu prüfen, ob die Referenzobjektbewegung in einem Grafikbild bei Anzeige auf der Displayeinrichtung frei von Jitter ist. Der Prozessor 210 vergleicht die Distanz des Referenzobjekts in jedem der Bilder von dem Referenzpunkt mit im Voraus gespeicherten oder zuvor berechneten Distanzen, die jedem der Bilder entsprechen. Falls die Distanz des Referenzobjekts bezüglich des Referenzpunkts in jedem Bild gleich der im Voraus gespeicherten, zuvor berechneten Distanz ist, die dem jeweiligen Bild entspricht, dann ist die Referenzobjektbewegung flüssig und frei von Jitter.
-
Durch Detektieren der Referenzobjekte in dem Inhalt des an dem Referenzort angezeigten Bilds ermöglicht die Offenbarung ein Grafiktesten auf zeiteffiziente Weise. Weiterhin kann durch Bestimmen einer Änderungsrate einer Referenzobjektposition eine flüssige Bewegung des Referenzobjekts auf der Displayeinrichtung bestimmt werden, wodurch die Notwendigkeit für komplexe Softwaretools zum Bestimmen einer flüssigen Bewegung des Grafikbilds eliminiert wird.
-
3 ist eine beispielhafte Darstellung des Testens einer durch eine Displayeinrichtung angezeigten Grafik gemäß einer Ausführungsform der vorliegenden Offenbarung. Die Vorrichtung 200 überträgt ein Testskript an die Displayeinrichtung 215. In diesem Beispiel ist das Testskript ein Befehl für einen ankommenden Anruf.
-
Das Testskript wird durch die DUT 215 ausgeführt, und das Ergebnis des Testskripts soll ein Telefonicon 300 rechts unten auf der Displayeinrichtung 215 bei Empfang des Testskripts anzeigen. Die Vorrichtung 200 ist ausgelegt zu testen, ob das Icon 300 rechts unten auf der Displayeinrichtung 215 angezeigt wird.
-
Das Bild, das die ganze Displayeinrichtung 215 enthält, wird von einer Kamera, einem Framegrabber oder einer bildübertragenden Schnittstelle erfasst. Der Inhalt des Bilds, das das Telefonicon 300 enthält, wird erfasst. Das erfasste Bild wird durch die Schnittstelle 205 zur Vorrichtung 200 übertragen.
-
Bei Empfang des Bilds, das den durch die Displayeinrichtung 215 angezeigten Inhalt enthält, ruft der Prozessor 210 nun aus einem Speicher ein Referenzobjekt und einen Referenzort ab. Bezüglich dieses Beispiels ist das Referenzobjekt das Telefonicon 300 und der Referenzort enthält einen Teilbereich der Displayeinrichtung 215. Bezüglich dieses Beispiels ist der Teilbereich rechts unten in der Displayeinrichtung 215.
-
Bei Abrufen des Referenzobjekts und des Referenzorts sucht der Prozessor 210 nach dem Telefonicon 300 nur im Teilbereich rechts unten in der Displayeinrichtung 215. Beim Finden des Telefonicons 300 vergleicht der Prozessor 210 das Telefonicon 300 mit dem Referenzobjekt, um zu bestimmen, ob das Telefonicon 300 dem abgerufenen Referenzobjekt ähnlich ist. Durch Begrenzen der Suche nach dem Telefonicon 300 innerhalb des Teilbereichs rechts unten in der Displayeinrichtung 215 würde der Grafiktestprozess zeiteffizient sein, da die Suche auf einen spezifischen Ort begrenzt ist.
-
Beim Detektieren des Telefonicons 300 unten rechts in der Displayeinrichtung 215 liefert der Prozessor 210 ein Grafiktestergebnis auf der Basis der Detektion. Bei diesem Beispiel ist das Grafiktestergebnis positiv, weil das Telefonicon 300 dem Referenzobjekt ähnlich ist und weiterhin das Telefonicon 300 an einem Ort vorliegt, der dem Referenzort ähnlich ist. Das Grafiktestergebnis kann auf der Displayeinrichtung 215 oder auf einem Display der Vorrichtung angezeigt werden. Die Grafiktestergebnisse können auch in Form von Audio präsentiert werden.
-
Es ist zu verstehen, dass die in der obigen detaillierten Beschreibung erläuterten Ausführungsformen nur veranschaulichend ist und den Schutzbereich der vorliegenden Erfindung nicht beschränkt. Viele Modifikationen bei den Ausführungsformen werden in Betracht gezogen und bilden einen Teil der vorliegenden Erfindung. Der Schutzbereich der vorliegenden Erfindung wird nur durch den Schutzbereich der Ansprüche beschränkt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
