DE102019204657A1

DE102019204657A1 - Vorrichtung und Verfahren zur Prüfung von Displays

Info

Publication number: DE102019204657A1
Application number: DE102019204657.6A
Authority: DE
Inventors: Arsenii SAWCHUK; Daniel Schroeter
Original assignee: PSA Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2020-10-08

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Prüfung eines Displays (20), das mindestens einen berührungsempfindlichen Bereich (28) oder mindestens eine Taste (30) aufweist, die mindestens drei beabstandete, optisch detektierbare Marker (22) aufweist, umfassend mindestens einen Robotermanipulator (14) mit einem Finger (16), eine Stereokamera (18) sowie eine mit beiden verbundene Kontrolleinheit (12), wobei die Kontrolleinheit (12) Positionsdaten über mindestens ein berührungsempfindliches Feld (28) oder eine Taste (30) im Display (20) aufweist, wobei die Kontrolleinheit (12) ferner ausgebildet ist, auf der Grundlage der von der Stereokamera (18) erfassten Positionen der Marker (22) die Lage des Displays (20) in einem Koordinatensystem zu ermitteln und auf der Grundlage der gespeicherten Positionsdaten den Robotermanipulator (14) derart anzusteuern, dass dessen Finger (16) das berührungsempfindliche Feld (28) oder die mindestens eine Taste (30) zur Auslösung der betreffenden Funktion im Display (20) berührt.Dies ermöglicht, eine automatisierte Prüfung von Displays, insbesondere zur Verwendung bei Kraftfahrzeugen, mit einer geringen Rüstzeit auszuführen.

Description

Die Erfindung betrifft eine Vorrichtung zur Prüfung eines Displays, umfassend mindestens einen Robotermanipulator und eine damit gekoppelte Stereokamera, wobei an dem Touchscreen anbringbare Markierungselemente mittels der Stereokamera erfassbar sind. Die Erfindung betrifft ferner ein mit einer solchen Vorrichtung durchzuführendes Verfahren.
Unter einem Robotermanipulator wird ein Roboterarm mit mindestens drei, vorzugsweise aber sechs Achsen verstanden.
Aus der WO 2017/050761 A1 ist ein System zur Erfassung der Lage eines Objektes auf der Grundlage von Markierungen bekannt, die von einer Stereokamera erfasst werden.
Aus der US 2011/0254922 A1 ist eine Vorrichtung bekannt, bei der mittels einer Stereokamera Markierungselemente zur Positionsbestimmung erfasst werden, wobei die Markierungselemente verschiedene zusätzliche Markierungen aufweisen.
Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung zur Prüfung von Displays mit einem Touchscreen oder Tasten bereitzustellen, die in der Lage ist, eine automatisierte Prüfung mit einer geringen Rüstzeit vorzunehmen.
Die Erfindung ergibt sich aus den Merkmalen des Anspruchs 1. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
Die Aufgabe wird durch eine Vorrichtung gelöst, die mindestens einen Robotermanipulator mit einem Finger, eine Stereokamera sowie eine mit beiden verbundene Kontrolleinheit aufweist, wobei die Kontrolleinheit Positionsdaten über mindestens ein berührungsempfindliches Feld oder eine Taste im Display enthält, wobei die Kontrolleinheit ferner ausgebildet ist, auf der Grundlage der von der Stereokamera erfassten Positionen der Marker die Lage des Displays in einem Koordinatensystem zu ermitteln und auf der Grundlage der gespeicherten Positionsdaten den Robotermanipulator derart anzusteuern, dass dessen Finger das berührungsempfindliche Feld oder die mindestens eine Taste zur Auslösung der betreffenden Funktion im Display berührt.
Die Erfindung umfasst also eine Kontrolleinheit, eine Stereokamera und einen Robotermanipulator. Der Robotermanipulator und die Stereokamera sind dabei zueinander kalibriert, d. h. dass diese ein gemeinsames Koordinatensystem verwenden, in dem von der Stereokamera erfasste Positionsinformationen erfasst werden und auf der Grundlage davon die Bewegungen des Robotermanipulators ausgeführt werden. Üblicherweise erfolgt eine derartige Kalibrierung durch Verwendung eines Schachbrettmusters im Blickfeld der Stereokamera, wobei die Stereokamera mehrere Kreuzungspunkte der Schachbrettfelder mittels Strahlverfolgung (ray-tracing) erfasst und diese von der Kontrolleinheit in 3D-Koordinaten im besagten Koordinatensystem bestimmt werden. Vorzugsweise wird dabei das Schachbrettmuster kollinear zum Koordinatensystem ausgerichtet, das bevorzugterweise zugleich einen festen Bezugspunkt zum Koordinatensystem des Robotermanipulators beinhaltet.
Unter Displaygerät wird im Zusammenhang mit der Erfindung ein Gerät verstanden, welches eine optische Anzeige aufweist, Insbesondere bei Kraftfahrzeugen kann es sich um ein Gerät zur Anzeige von Fahrzeugdaten wie Geschwindigkeit oder der Drehzahl handeln. Auch Geräte zur Eingabe und Anzeige von Navigationsdaten oder Radio- bzw. Multimediaeinstellungen. Derartige Displaygeräte müssen nicht notwendigerweise ein berührungsempfindliches Touchscreen oder Tasten aufweisen. Aber die Erfindung betrifft Displaygeräte mit einem Touchscreen oder Tasten. Ein berührungsempfindliches Feld eines Touchscreens ist ein meist rechteckiger Bereich, der eine bestimmte Funktion auslöst, sobald ein Benutzer mit dem Finger auf diesen Bereich drückt.
Zunächst werden erfindungsgemäß mindestens drei Marker beabstandet auf dem Touchscreen angebracht, wobei die Marker vorzugsweise eine Kodierung aufweisen, welche das Displaygerät nach dessen Typ identifiziert, damit auf zugehörige Daten für berührempfindliche Felder oder Tasten zugegriffen werden kann. Vorzugsweise werden vier Marker in den vier Ecken des Displays angebracht. Mittels der Stereokamera werden diese vier Marker hinsichtlich der räumlichen Position erfasst, wobei von der Kontrolleinheit daraus die Lage des Displays im eigenen Koordinatensystem bestimmt wird, in dem auch die Bewegungen des Robotermanipulators gesteuert werden. Aufgrund der dann vorliegenden Informationen können alle berührungsempfindlichen Felder des Displays bzw. die Tasten vom Finger des Roboters angefahren bzw. berührt oder gedrückt werden. Es ist möglich, eine beliebige Anzahl derartiger Felder aus einer Speichereinrichtung auszulesen, und so diese Felder nach vorgegebenen Kriterien durch den Finger des Robotermanipulators zur Auslösung der betreffenden Funktionen zu berühren. Vorzugsweise sind weitere Informationen zu den einzelnen Feldern bzw. Tasten gespeichert, die angeben, ob es sich um ein berührungsempfindliches Feld handelt, das mit einer geringen Druckkraft zur Auslösung der Funktion gedrückt werden muss oder eine Taste, die eine gewisse Strecke senkrecht zur Displayebene gedrückt werden muss, um die zugeordnete Funktion auszulösen.
Auf diese Weise können nacheinander verschiedene Funktionen des Displaygerätes ausgeführt werden durch automatisierte Bewegung des Finger und dementsprechende Berührung der zugeordneten berührungsempfindlichen Felder bzw. Drücken der Tasten.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die Vorrichtung ausgebildet, mehrere im Sichtbereich der Stereokamera angeordnete, mit Markern versehene, vorzugsweise datentechnisch vernetzte Displays parallel zu erfassen, so dass der Finger des Roboters in der Lage ist, beliebige Felder der Touchscreens aller Displaygeräte anzufahren. Da in der Kontrolleinheit vorzugsweise Datensätze aller Felder zu den einzelnen Displaygeräten mit den zugehörigen Funktionen gespeichert sind, ist es auf diese Weise möglich, alle Funktionen der vernetzten Displays zu überprüfen.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die Kontrolleinheit eingerichtet, Änderungen der Anzeige des Displays auf die durch den Finger des Roboters bewirkte Auslösung der Funktion mittels der Stereokamera zu erfassen und auszuwerten. Gemäß dieser Weiterbildung wird die Änderung der Anzeige der Displays optisch erfasst und kann mittels Bildverarbeitung von der Kontrolleinheit ausgewertet werden.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die Kontrolleinheit zusätzlich eingerichtet, Änderungen des Displays von einem Displaygerät ohne Touchscreen bzw. berührungsempfindliche Felder mittels der Stereokamera zu erfassen und auszuwerten. Somit können auch Änderungen von Anzeigen in Reaktion auf die Auslösung von Funktionen ausgewertet werden, die kein berührungsempfindliches Feld bzw. keinen Touchscreen aufweisen, wie beispielsweise Einblendungen von Informationen im Fahrzeugdateninformationsdisplay über dem Lenkrad eines Fahrzeugs.
Gemäß einer vorteilhaften Weiterbildung der Erfindung sind die Marker aufklebbare Markierungsfolien, die eine optisch erfassbare erste Kodierung zur Identifizierung des Displaygerätetyps umfassen. Die Marker werden vorab manuell auf die Ecken eines Displays geklebt, vorzugsweise in alle vier Ecken.
Gemäß einer vorteilhaften Weiterbildung der Erfindung weisen die Marker ein aus vier Quadranten gebildetes Kreuz von Hell-Dunkel-Übergängen auf, wobei zwei gegenüberliegende sektorenartige Quadranten einen dunklen Farbton aufweisen und die zwei verbleibenden Quadranten einen hellen Farbton aufweisen, wobei ferner zum Untergrund farblich kontrastierende zweite Kodierungen zur Kennzeichnung der Position auf dem Display vorgesehen sind. Mittels der zweiten Kodierungen kann gekennzeichnet werden, um welche Ecke des Displays es sich handelt. Beispielsweise kann ein Punkt die linke obere Ecke kennzeichnen, zwei Punkte die rechte obere Ecke, u.s.w.
Die Erfindung betrifft ferner ein Verfahren zur gemeinsamen Prüfung mindestens eines Displays mit einem Touchscreen und/oder Tasten mittels einer der vorbeschriebenen Ausführungen der Vorrichtung, wobei an mindestens drei beabstandeten Stellen des Displays Marker angebracht werden, wobei ferner mittels der Stereokamera die Marker erfasst werden und von der Kontrolleinheit die Lage des Displays im Koordinatensystem bestimmt wird und zur Auslösung einer Funktion des Displaygerätes der Roboterarm bewegt wird, um das der Funktion zugeordnete Feld auf dem Display zu berühren. Das erfindungsgemäße Verfahren ermöglicht eine umfassende Überprüfung von Displaygeräten oder Systemen von verschiedenen Displaygeräten. Über eine Ansteuerung der Kontrolleinheit mittels eines Computers können manuell oder automatisiert beliebige Funktionen ausgelöst und die betreffenden Reaktionen ausgewertet werden.
Eine bevorzugte Verwendung einer vorbeschriebenen Vorrichtung bzw. eines solchen Verfahrens ist die Prüfung von Displaygeräten eines Kraftfahrzeugs.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnungen - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:

1: ein schematisches Blockschaltbild der erfindungsgemäßen Vorrichtung,
2: ein Beispiel für ein Display.

Die Vorrichtung 10 umfasst eine Kontrolleinheit 12, einen Robotermanipulator 14 mit einem Finger 16 und einer Stereokamera 18. Bei dem Robotermanipulator 14 handelt es sich vorzugsweise um einen Sechsachsen Leichtbauroboter. Die Kontrolleinheit 12 kann ein üblicher Rechner sein, der in der Lage ist, die Daten aus der Stereokamera 18 zu verarbeiten und von dieser erfasste Bilder mittels Bildverarbeitungsverfahren auszuwerten. Dabei werden von der Stereokamera 18 ein oder mehrere im Sichtbereich befindliche Displays 20 (in der Figur sind zwei miteinander vernetzte Displays 20 dargestellt) erfasst und daran angebrachte - in 2 vergrößert dargestellte - Marker 22 in Koordinaten eines eigenen 3D-Koordinatensystems umgerechnet. Mittels Strahlverfolgungsverfahren werden die räumlichen Positionen der Marker 22 von der Stereokamera 18 erfasst und der Kontrolleinheit 12 in ein eigenes, vorzugsweise das dem Robotermanipulator 14 zugeordnete, Koordinatensystem umgerechnet. Daraus wird von der Kontrolleinheit 12 die räumliche Lage der Displays 20 berechnet.
In 2 ist ein Beispiel für ein Display 20 mit vier Markern 22a, 22b, 22c, 22d gezeigt, wobei alle Marker 22a, 22b, 22c, 22d eine Art Kreuz aufweisen, das jeweils durch zwei gegenüberliegende Hell-Dunkel-Übergänge gebildet sind. Alle vier Marker 22a, 22b, 22c, 22d weisen eine erste Kennung auf in Form von zwei dunklen Punkten 24 in den beiden hellen Sektoren. Es lassen sich analog in den dunklen Sektoren helle Punkte anordnen, so dass sich hierdurch je nach Konstellation der Punkte mehrere Geräte individualisieren bzw. kennzeichnen lassen. Mit den vier Sektoren lassen sich maximal 2⁴ verschiedene Geräte unterscheiden.
Ferner weisen die vier Marker 22a, 22b, 22c, 22d jeweils unterschiedliche zweite Kodierungen in Form der außen liegenden Punkte 26 auf. Der linke obere Marker 22a enthält einen Punkt 26a, der rechte obere Marker 22b enthält zwei Punkte 26b, der rechte untere Marker 22c enthält drei Punkte 26c und der linke untere Marker 22d enthält vier Punkte 26d. Durch diese zweite Kodierung kann eine Person die vorzugsweise als Aufkleber ausgebildeten Marker 22 korrekt auf den zugehörigen Ecken des Displays aufkleben, die vom Bildverarbeitungssystem der Kontrolleinheit 12 ausgewertet werden können.
Die Kontrolleinheit 12 ist mit der Stereokamera 18 in der Lage, die auf den Markern 22 erkennbaren sich senkrecht kreuzenden Hell-Dunkel-Übergänge zu erkennen daraus die exakte Position und damit die Lage des Displays 20 im eigenen Koordinatensystem zu bestimmen. Auf dem Display 20 angeordnete Felder 28 oder Tasten 30 lassen sich daraus im eigenen Koordinatensystem berechnen. Die Kontrolleinheit 12 ist dann in der Lage, den Robotermanipulator 14 derart anzusteuern, dass dessen Finger 16 ein Feld 28 berührt und die damit verknüpfte Funktion auszulösen oder eine der Tasten 30 niederdrückt.
Von der Stereokamera 18 können die sich bei der Ausführung der Funktion ergebenden Änderungen der angezeigten Inhalte des Displays 20 erfasst und ausgewertet werden. Beispielsweise kann das Feld 28 dazu dienen, ein Navigationssystem zu aktivieren , dann würde sich als Folge davon die Anzeige im Display 20 ändern, beispielsweise um die verfügbaren Funktionen des Navigationssystems darzustellen. Dann können die Felder 28 auf dem Display 20 anders angeordnet oder anderen Funktionen zugeordnet sein. Alles das lässt sich über die Kontrolleinheit 12 steuern. Die Kontrolleinheit 12 umfasst dazu ferner geeignete Bildbearbeitungssoftware, um ein durch eine nicht senkrechte zur Displayebene erfolgtes Bild des Displays 20 in ein Bild aus einer senkrecht zur Displayebene aufgenommenen Richtung zu ändern.
Vorzugsweise wird das gespeicherte Bild rechteckiger Ausschnitt zwischen den vier Markern 22a, 22b, 22c, 22d gespeichert. Dabei kann von den Markern entweder der Mittelpunkt genommen werden oder im Fall der rechteckigen Außenrahmen können die Rahmen durch die Eckpunkte der Rahmen definiert sein, vorzugsweise bei dem oberen linken Marker 22a die obere linke Ecke, beim oberen rechten Marker 22b die obere rechte Ecke, beim unteren rechten Marker 22c die untere rechte Ecke und beim unteren linken Marker 22d die untere linke Ecke.
Bei dem Display 20 kann es sich auch um ein solches eines Mobiltelefons oder eines sonstigen Multimediagerätes handeln.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste

10: Vorrichtung
12: Kontrolleinheit
14: Robotermanipulator
16: Finger
18: Stereokamera
20: Display
22a,b,c,d: Marker
24: Punkte (erste Kodierungen)
26a,b,c,d: Punkte (zweite Kodierungen)
28: Felder
30: Tasten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/050761 A1 [0003]
US 2011/0254922 A1 [0004]

Claims

Vorrichtung zur Prüfung eines Displays (20) mit mindestens einem berührungsempfindlichen Bereich (28) oder mindestens einer Taste (30), die mindestens drei beabstandete, optisch detektierbare Marker (22) aufweist, umfassend mindestens einen Robotermanipulator (14) mit einem Finger (16), eine Stereokamera (18) sowie eine mit beiden verbundene Kontrolleinheit (12), wobei die Kontrolleinheit (12) Positionsdaten über mindestens ein berührungsempfindliches Feld (28) oder eine Taste (30) im Display (20) aufweist, wobei die Kontrolleinheit (12) ferner ausgebildet ist, auf der Grundlage der von der Stereokamera (18) erfassten Positionen der Marker (22) die Lage des Displays (20) in einem Koordinatensystem zu ermitteln und auf der Grundlage der gespeicherten Positionsdaten den Robotermanipulator (14) derart anzusteuern, dass dessen Finger (16) das berührungsempfindliche Feld (28) oder die mindestens eine Taste (30) zur Auslösung der betreffenden Funktion im Display (20) berührt.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass diese ausgebildet ist, mehrere im Sichtbereich der Stereokamera (18) angeordnete, mit Markern (22) versehene Displays (20) parallel zu erfassen, so dass der Roboterfinger in der Lage ist, beliebige Felder (28) oder Tasten (30) aller Displays (20) anzufahren.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kontrolleinheit (12) eingerichtet ist, Änderungen der Anzeige des mindestens einen Displays (20) auf die durch den Finger (16) bewirkte Auslösung der Funktion des Feldes (28) oder der Taste (30) mittels der Stereokamera (18) zu erfassen und auszuwerten.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kontrolleinheit (12) eingerichtet ist, Änderungen eines Displays (20) ohne ein berührungsempfindliches Feld (28) oder Taste (30) mittels der Stereokamera (18) zu erfassen und auszuwerten.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Marker (22) aufklebbare Markierungsfolien sind, die eine optisch erfassbare erste Kodierung (24) zur Identifizierung eines Displaytyps umfassen.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Marker (22) ein aus vier Quadranten gebildetes Kreuz aufweisen, wobei zwei gegenüberliegende Quadranten einen dunklen Farbton aufweisen und die zwei verbleibenden Quadranten einen hellen Farbton aufweisen, wobei ferner zum Untergrund farblich kontrastierende zweite Kodierungen (26) zur Kennzeichnung der Position auf dem Display (20) vorgesehen sind.
Verfahren zur gemeinsamen Prüfung mindestens eines Displays (20) mit einem Touchscreen und/oder Tasten mittels einer Vorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei an mindestens drei beabstandeten Stellen des Displays Marker (22a, 22b, 22c, 22d) angebracht werden, wobei ferner mittels der Stereokamera (18) die Marker (22a, 22b, 22c, 22d) erfasst werden und von der Kontrolleinheit (12) die Lage des Displays (20) im Koordinatensystem bestimmt wird und zur Auslösung einer Funktion der Roboterarm (14) derart bewegt wird, um das der Funktion zugeordnete Feld (28) auf dem Display (20) zu berühren.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass vier Marker (22) an vier Ecken eines rechteckigen Displays (20) angebracht werden.
Verwendung einer Vorrichtung nach einem der Ansprüche 1 bis 7 zur Prüfung der Displaygeräte eines Kraftfahrzeugs.