DE102016012744A1

DE102016012744A1 - Robotersystem mit einer CNC-Steuerung und einer Robotersteuereinrichtung, die über ein Kommunikationsnetzwerk miteinander verbunden sind

Info

Publication number: DE102016012744A1
Application number: DE102016012744.9A
Authority: DE
Inventors: Hiroji Nishi; Masahiro Oyamada
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-10-28
Filing date: 2016-10-25
Publication date: 2017-05-04
Anticipated expiration: 2036-10-26
Also published as: CN106625657A; JP2017084108A; DE102016012744B4; JP6250901B2; US20170123820A1; US10303495B2; CN106625657B

Abstract

Ein Robotersystem, das verhindert, dass ein Arbeiter aufgrund fälschlicher Annahmen, die aus Unterschieden bei der Bedienung der GUIs resultieren, eine falsche Bedienung durchführt. Das Robotersystem umfasst ein Maschinenattributwertspeicherteil, das eine Kombination von Attributen des Typs, des Erscheinungsbilds und der Anzeigeposition entsprechenden Werten zum Hinzufügen von Anzeigeelementen des Roboters zum GUI-Bildschirm der Anzeigeeinrichtung und eine Kombination von Attributen verschiedener Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelemente entsprechenden Werten speichert, und ein Maschinenbildschirmerzeugungsteil, das eine Kombination von Werten, die den im Maschinenattributwertspeicherteil gespeicherten Attributen entsprechen, als Basis zum Erzeugen und Hinzufügen von Anzeigeelementen des Roboters zum GUI-Bildschirm der Maschine verwendet. Das Maschinenbildschirmerzeugungsteil ist dazu eingerichtet, den GUI-Bildschirm der Anzeigeeinrichtung einschließlich der Anzeigeelemente des Roboters zu erzeugen.

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Robotersystem, das eine Maschine und einen Roboter mit CNC-Steuerung umfasst.
2. Beschreibung des zugehörigen Standes der Technik
In den letzten Jahren wurden Systeme zum Automatisieren von Fertigungsprozessen durch Verbinden von Werkzeugmaschinen oder anderen Maschinen, die eine computergestützte numerische Steuerung (CNC) verwenden, mit Robotern vorgeschlagen. Solche automatisierten Systeme ermöglichen eine Erhöhung der Produktionsmenge, ohne die Anzahl der Arbeiter in der Fabrik zu erhöhen. Diese werden bei der Umgestaltung von Teilen von Fertigungsprozessen zur Erhöhung der Produktionsmenge, beim Bau neuer Fabriken, etc. proaktiv eingeführt.
Bei durch solche automatisierten Systeme durchgeführten Fertigungsprozessen wird ein Roboter mitunter auf seinen Status überprüft und von einem rationalisierten Bedienpanel einer programmierbaren logischen Steuerung (PLC) der Fabrik oder einer grafischen Benutzeroberfläche (GUI/Graphical User Interface) einer Anzeigeeinrichtung einer Maschine mit CNC-Steuerung aus bedient. Aufgrund dessen kann sich der Arbeiter in der Fabrik auf die Bedienung der Maschine mit CNC-Steuerung, beispielsweise einer Werkzeugmaschine, konzentrieren oder parallel zur durch die Maschine ausgeführten Bearbeitung andere Arbeiten durchführen.
Beispielsweise offenbart die Patenschrift der japanischen Patentveröffentlichung Nr. H06-149329A , dass eine Werkzeugmaschine so arbeitet, dass ein Roboterprogramm editiert und gestartet und ein Roboter bewegt wird. Die japanische Patentveröffentlichung H06-149329A beschreibt jedoch nicht ausdrücklich erwünschte Bildschirmoberflächen für die Maschinenbedienung. Die japanische Patentveröffentlichung Nr. 2010-277425A offenbart ein Bearbeitungssystem, das zum Bedienen einer Werkzeugmaschine mit einer Bildschirm-GUI des Handprogrammiergeräts des Roboters ausgestattet ist. Aufgrund dessen kann der Bediener den Status der Werkzeugmaschine überprüfen und einen Teil des Betriebs der Werkzeugmaschine vom Roboter aus steuern.
Für einen Fabrikarbeiter sind Roboter in zwei Typen eingeteilt. Ein Robotertyp bearbeitet ein Produkt direkt. Aus diesem Grund hängen die Produktionsmenge und die Qualität jedes Produkts von der Leistung und dem Anwendungsverfahren des Roboters ab. Der andere Robotertyp führt Hilfsarbeiten, z. B. Aufheben und Platzieren eines Werkstücks, automatisches Austauschen von Werkzeugen für sich selbst oder eine Maschine oder Waschen von Werkstücken oder Werkzeugen, im Fertigungsprozess aus. In diesem Fall bearbeitet eine Werkzeugmaschine oder irgendeine Maschine das Produkt.
Als erstere Anwendungsbeispiele werden das Roboter-Lichtbogenschweißen eines Maschinenteils und das Roboter-Punktschweißen eines Kraftfahrzeugchassis-Herstellungsverfahrens genannt. In diesen Fällen besteht die Gefahr, dass, wenn der Roboter nicht wie vorgesehen bedient wird, Qualitätsprobleme auftreten und große Mengen defekter Produkte erzeugt werden können. Daher wird ein Fabrikarbeiter dazu angehalten, die Verfahren zum Bedienen des Roboters sorgfältig zu studieren. Des Weiteren wird ein Vorgesetzter des Arbeiters dazu tendieren, bereitwillig ausreichend Zeit zum Studieren der Roboterbedienung während der Arbeitszeit festsetzen.
In letzterem Fall ist die Situation eine andere. Das Produkt wird durch eine Maschine mit CNC-Steuerung etc. bearbeitet, so dass der Arbeiter genau verstehen muss, wie die Maschine zu bedienen ist, und ausreichendes Fachwissen über die Bearbeitung selbst haben muss. Wenn der Arbeiter die verschiedenen Funktionen zur Unterstützung der Bearbeitung bei der Maschinenbedienung nicht nutzen kann, ist es ferner nicht möglich, die Bearbeitung unter Einhaltung der gewünschten Qualität durchzuführen und sie in kurzer Zeit und ohne Nachbesserung abzuschließen. Bei Verwendung eines Bearbeitungszentrums beispielsweise muss der Arbeiter verschiedene Dinge, wie etwa Fachwissen zum geeigneten Darreichen des Werkstücks, Verwenden von CAD/CAM zum Ausgeben von NC-Programmen, Einstellen des Kühlmittelflusses, Einrichten einer geeigneten Halterung für das Werkstück und Ausgleichen der Werkzeuglänge bei abgenutzten Werkzeugen, genau beachten.
Bei der Bedienung einer solchen Maschine mit CNC-Steuerung neigt der Arbeiter dazu, zu glauben, dass der Roboter nichts anderes tut, als dieselbe Arbeit unter denselben Bedingungen zu wiederholen. Des Weiteren denkt der Vorgesetzte des Arbeiters, dass die Produktqualität vom Roboter unabhängig ist, solange der Roboter richtig arbeitet, und hat somit häufig denselben Eindruck.
Infolgedessen neigen der Arbeiter oder der Vorgesetzte dazu, zu dem Schluss zu kommen, dass es ausreichend ist, sich eine oder zwei Routinen zu merken, die für den üblichen Herstellungsbetrieb erforderlich sind, und lesen das Bedienungshandbuch des Roboters häufig nicht sorgfältig durch. Der Lieferant des Roboters kann dies nicht bemängeln. Der Grund dafür besteht darin, dass, wenn die Verwaltungskosten für die Einführung und Bedienung des Roboters die Verbesserung der Gesamtproduktivität der Fabrik aufheben, der Wert der Einführung des Roboters verloren ginge.
Solange der Roboter richtig arbeitet, entsteht auch dann kein Problem, wenn der Arbeiter den Roboter nicht beherrscht. Wenn jedoch der Arbeiter oder Vorgesetzte die gesamte Arbeit des Roboters neu bewerten muss, um das gesamte Verfahren zu verbessern, wird aufgrund des voluminösen Bedienungshandbuchs selbst dann enorm viel Zeit benötigt, um die zugehörigen Erläuterungen zu finden, wenn die Person nur kleine Änderungen benötigt.
Des Weiteren konzentriert sich ein Arbeiter für gewöhnlich auf verschiedene Arbeiten, ohne groß auf den Roboter zu achten. Wenn etwas passiert und der Roboter dann stoppt, sieht der Arbeiter dies daher mitunter als unerwartetes Ereignis an und könnte psychisch dadurch gestresst werden. Das GUI-Design des Roboters unterscheidet sich ferner vom GUI-Design der Maschine mit CNC-Steuerung, die der Arbeiter normalerweise benutzt. Daher können während der ungewohnten Arbeit eventuell menschliche Fehler passieren und die Person kann die normalen Bedingungen nicht wieder problemlos herstellen (hinsichtlich menschliche Fehler siehe insbesondere "The Design of Everyday Things Revised and Expanded Edition", Donald A. Norman, Kapitel 4. 'Know what to do – constraints, discoverability, and feedback', Kapitel 5. 'Human Error? No, Bad Design').
Es wurden einige Vorschläge zum Wechseln eines GUI-Bildschirms entweder der Maschine mit CNC-Steuerung oder des Roboters bezüglich des Erscheinungsbildes und der Definitionen sowohl für Tätigkeiten als auch für Rückantworten gemacht. Beispielsweise offenbart die japanische Patentveröffentlichung Nr. 6-168020A eine Technik zum Wechseln des Anzeigezustands der Maschine mit CNC-Steuerung. Die internationale Veröffentlichung Nr. WO2007/018753 offenbart eine Technik zum Ändern des Rahmens in der HTML-(Hyper Text Markup Language)Datei und zum Ändern des Layouts der Anzeigeelemente im Rahmen. Die japanische Patentveröffentlichung Nr. 2-051720A offenbart ein Verfahren zum Ändern des Tastenlayout beim Anzeigen eines Benutzereingabebereichs von Tasten durch das Bildschirm-Tastfeld.
Selbst wenn verschiedene Verfahren oder Software zur Unterstützung der Entwicklung einer GUI verwendet werden können, werden, wenn zwei GUIs von verschiedenen Entwicklern für verschiedene Zwecke und unterschiedliche Anwendungen entworfen werden, die endgültigen Spezifikationen für die zwei GUIs in dieser Hinsicht im Allgemeinen stark voneinander abweichen. Daher dürfte es ein Arbeiter, der mit dem Gebrauch einer GUI vertraut ist, schwierig finden, die andere GUI zu beherrschen, ohne auf das Bedienerhandbuch oder Anleitung durch eine erfahrenere Person zurückzugreifen.
Zum Umgang mit einem solchen Problem auf die gleiche Weise wie im zugehörigen Stand der Technik, der in der japanischen Patentveröffentlichung Nr. 6-149329A offenbart ist, existiert das Verfahren, dass entweder der Lieferant der Maschine mit CNC-Steuerung oder der Entwickler der GUI der Maschine oder beide ein Design einer GUI zum Bedienen sowohl der Maschine als auch des Roboters integrieren und das Produkt einschließlich der integrierten GUI liefern. Aufgrund dessen wäre es möglich, den Roboter mit derselben Leichtigkeit zu bedienen wie beim Bedienen der Maschine.
In diesem Fall würden sich jedoch bei Verwendung der Maschine mit CNC-Steuerung, die mit der integrierten GUI versehen ist, die Kosten des gesamten Maschinensystems erhöhen. Schließlich müsste der Verbraucher die höheren Kosten tragen. Aus diesem Grund ist es faktisch selten, dass entweder ein Lieferant oder ein Entwickler oder beide eine integrierte GUI zum Bedienen sowohl der Maschine als auch eines Roboters entwickeln und an Kunden liefern.
Zusammenfassung der Erfindung
Im Allgemeinen erwartet man, dass es ein Arbeiter in den folgenden zwei Fällen als schwierig empfindet, einen Roboter zu benutzen: Erstens werden bei dem Original-GUI-Bildschirm des Roboters keine bekannten GUI-Designrichtlinien für Menschen angewandt, so dass es schwierig ist, die Roboterbedienung zu beherrschen. Zweitens neigt der Arbeiter dazu, da er den Gebrauch des GUI-Bildschirms der Anzeigeeinrichtung der Maschine mit CNC-Steuerung beherrscht, aufgrund der Bedienungsunterschiede zwischen den zwei GUIs bei der Roboterbedienung falsche Annahmen zu machen. Die vorliegende Erfindung ist dazu in der Lage, mit letzterem Problem umzugehen.
Gemäß der vorliegenden Erfindung wird ein Robotersystem bereitgestellt, das eine Maschine mit CNC-Steuerung, eine Robotersteuereinrichtung, die über ein Kommunikationsnetzwerk mit der CNC-Steuerung verbunden ist, und eine Anzeigeeinrichtung umfasst, die einen GUI-Bildschirm der Maschine anzeigt, wobei das Robotersystem ein Maschinenattributwertspeicherteil, das eine Kombination von Attributen des Typs, des Erscheinungsbilds und der Anzeigeposition von Anzeigeelementen entsprechenden Werten zum Hinzufügen der Anzeigeelemente des Roboters zum GUI-Bildschirm der Anzeigeeinrichtung und eine Kombination von Attributen verschiedener Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten entsprechenden Werten speichert, und ein Maschinenbildschirmerzeugungsteil umfasst, das die Anzeigeelemente des Roboters unter Verwendung der im Maschinenattributwertspeicherteil gespeicherten Attributwerte erzeugt und diese dem GUI-Bildschirm der Maschine hinzufügt. Somit kann der Zustand des Roboters von der Maschine aus bestätigt und der Roboter von der Maschine im Robotersystem aus bedient werden, wobei, wenn das Maschinenattributwertspeicherteil Kombinationen von Werten, die Attributen des Typs, des Erscheinungsbilds, der Anzeigeposition von Anzeigeelementen und verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten entsprechen, bezüglich sowohl der Maschine als auch des Roboters speichert, das Maschinenbildschirmerzeugungsteil dazu eingerichtet ist, den GUI-Bildschirm der Anzeigeeinrichtung einschließlich der Anzeigeelemente des Roboters zu erzeugen, wenn die CNC-Steuerung mit der Robotersteuereinrichtung kommuniziert.
Bei einer bevorzugten Ausführungsform umfasst die Robotersteuereinrichtung ein Roboterattributwertspeicherteil, das Attributwerte des Anzeigeelementtyps und -erscheinungsbilds und Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten speichert, zum Hinzufügen von Anzeigeelementen zum GUI-Bildschirm der Anzeigeeinrichtung der Maschine zur Steuerung des Roboters.
Das Robotersystem umfasst ferner ein erstes Senderteil, das Attributwerte des Maschinenattributwertspeicherteils an die Robotersteuereinrichtung sendet.
Die Robotersteuereinrichtung umfasst ferner ein erstes Erzeugungsteil, das die Attributwerte des Anzeigeelementtyps und -erscheinungsbilds sowie ausführbare Tätigkeiten und Rückmeldungen durch Vergleichen der gesendeten Attributwerte mit den im Roboterattributwertspeicherteil gespeicherten Attributen an den GUI-Bildschirm der Anzeigeeinrichtung angleicht, und ein zweites Erzeugungsteil, das Attributwerte der Anzeigeposition jedes der Anzeigeelemente durch Extrahieren der Anordnungsregeln der Anzeigeelemente in dem Bereich des GUI-Bildschirms der Anzeigeeinrichtung vorgibt, der zumindest gemäß dem Nutzen oder Zweck durch Analysieren der Attributwerte der Anzeigepositionen der gesendeten Attributwerte aufgeteilt wird, und die Regel auf die Anzeigepositionen der im Roboterattributwertspeicherteil gespeicherten Anzeigeelemente anwendet.
Das Maschinenattributwertspeicherteil im Robotersystem ist dazu eingerichtet, über das Kommunikationsnetzwerk die gesendeten Attributwerte des Erscheinungsbildes der Anzeigeelemente wiederzugeben und die Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten anzugleichen und die Attributwerte der Anzeigeposition jedes der Anzeigeelemente zur Roboterbedienung anzuordnen.
Das Maschinenbildschirmerzeugungsteil wird auf den GUI-Bildschirm der Anzeigeeinrichtung aktualisiert, wenn sich die Attributwerte des Maschinenattributwertspeicherteils ändern.
Bei einer bevorzugten Ausführungsform umfasst die Robotersteuereinrichtung ferner ein Roboterattributwertspeicherteil zum Hinzufügen von Anzeigeelementen und verschiedener Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten zum GUI-Bildschirm der Anzeigeeinrichtung der Maschine zur Steuerung des Roboters.
Das Robotersystem umfasst ferner ein Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil, durch das die Maschine den GUI-Bildschirm der Anzeigeeinrichtung aufnimmt, um Bildschirmaufnahmebilddaten zu erhalten, ein zweites Senderteil, das die Bildschirmaufnahmebilddaten vom Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil über das Kommunikationsnetzwerk an die Robotersteuereinrichtung sendet, ein drittes Erzeugungsteil, durch das die Robotersteuereinrichtung die gesendeten Bildschirmaufnahmebilddaten analysiert, um das Erscheinungsbild, die Anzeigeposition und den Typ der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung zu erkennen, die im Roboterattributwertspeicherteil gespeicherten Attributwerte des Erscheinungsbildes der Anzeigeelemente vorgibt, um das anhand der Bildschirmaufnahmebilddaten erkannte Erscheinungsbild anzugleichen, und ein viertes Erzeugungsteil, das eine Anordnungsregel der Anzeigeelemente in dem Bereich des GUI-Bildschirms der Anzeigeeinrichtung extrahiert, der zumindest gemäß dem Nutzen oder Zweck durch Analysieren der Position der anhand der Bildschirmaufnahmebilddaten erkannten Anzeigeelemente aufgeteilt wird, und sie auf die im Roboterattributwertspeicherteil gespeicherten Anzeigeelemente anwendet.
Das Maschinenattributwertspeicherteil ist dazu eingerichtet, über das Kommunikationsnetzwerk die Attributwerte der Anzeigeelemente wiederzugeben und das Erscheinungsbild der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung und die erzeugte Kombination von Attributwerten der Anzeigeposition jedes der Anzeigeelemente des Roboters anzugleichen.
Das Maschinenbildschirmerzeugungsteil ist dazu eingerichtet, einen GUI-Bildschirm der Anzeigeeinrichtung zu aktualisieren, wenn sich die Attributwerte des Maschinenattributwertspeicherteils ändern.
Bei einer bevorzugten Ausführungsform ist das zweite Senderteil dazu eingerichtet, periodisch durch das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil erhaltene Bildschirmaufnahmebilddaten über das Kommunikationsnetzwerk an die Robotersteuereinrichtung zu senden, das vierte Erzeugungsteil dazu eingerichtet, die neu erfassten Bildschirmaufnahmebilddaten zu analysieren, die immer dann mit den erhaltenen früheren Bilddaten verglichen werden, wenn die Robotersteuereinrichtung sie erfasst, den Inhalt der operativen Rückantwort des GUI-Bildschirms der Anzeigeeinrichtung zu erkennen und im Roboterattributwertspeicherteil gespeicherte Attributwerte der verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten vorzugeben.
Das Maschinenattributwertspeicherteil ist dazu eingerichtet, die Attributwerte der verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten bezüglich des Roboters über das Kommunikationsnetzwerk wiederzugeben.
Kurzbeschreibung der Zeichnungen
Diese und andere Ziele, Merkmale und Vorteile der vorliegenden Erfindung gehen durch Bezugnahme auf die genaue Beschreibung illustrativer Ausführungsformen der vorliegenden Erfindung genauer hervor, die in den beigefügten Zeichnungen dargestellt sind.
1 ist eine Ansicht, die ein Beispiel für die Konfiguration eines Robotersystems gemäß einer Ausführungsform zeigt.
2 ist ein Funktionsblockdiagramm eines Robotersystems gemäß einer ersten Ausführungsform.
3 ist ein Flussdiagramm, das eine gemäß der ersten Ausführungsform ausgeführte Verarbeitung zeigt.
4 ist eine Ansicht, die ein erstes Beispiel eines GUI-Bildschirms zeigt.
5 ist eine Ansicht, die ein zweites Beispiel eines GUI-Bildschirms zeigt.
6 ist eine Ansicht, die ein drittes Beispiel eines GUI-Bildschirms zeigt.
7 ist ein Funktionsblockdiagramm eines Robotersystems gemäß einer zweiten Ausführungsform.
8 ist ein Flussdiagramm, das die gemäß der zweiten Ausführungsform ausgeführte Verarbeitung zeigt.
9 ist ein Flussdiagramm, das die Verarbeitung gemäß Schritt S206 aus 8 zeigt.
10 ist eine Ansicht, die einen Modus zum Hinzufügen eines Icons zeigt.
11 ist eine Ansicht, die einen Modus zum Hinzufügen eines Icons zeigt.
12 ist ein Flussdiagramm, das die Verarbeitung zum Hinzufügen eines Icons zeigt.
13 ist ein Funktionsblockdiagramm eines Robotersystems gemäß einer dritten Ausführungsform.
14 ist ein Flussdiagramm, das die gemäß der dritten Ausführungsform ausgeführte Verarbeitung zeigt.
15 ist ein Flussdiagramm, das die Verarbeitung gemäß Schritt S507 aus 14 zeigt.
16 ist ein Flussdiagramm, das die gemäß einer vierten Ausführungsform ausgeführte Verarbeitung zeigt.
17 ist eine Ansicht, die ein Robotersystem gemäß einer Modifikation der ersten Ausführungsform zeigt.
18 ist eine Ansicht, die ein Robotersystem gemäß einer Modifikation der zweiten Ausführungsform zeigt.
19 ist eine Ansicht, die ein Robotersystem gemäß einer anderen Modifikation der ersten Ausführungsform zeigt.
20 ist eine Ansicht, die ein Robotersystem gemäß einer anderen Modifikation der zweiten Ausführungsform zeigt.
21 ist eine Ansicht, die ein Robotersystem gemäß einer Modifikation der dritten oder vierten Ausführungsform zeigt.
22 ist eine Ansicht, die ein Robotersystem gemäß einer anderen Modifikation der dritten oder vierten Ausführungsform zeigt.
23 ist eine Ansicht, die ein Robotersystem gemäß einer weiteren Modifikation der ersten Ausführungsform zeigt.
24 ist eine Ansicht, die ein Robotersystem gemäß einer weiteren Modifikation der zweiten Ausführungsform zeigt.
25 ist eine Ansicht, die ein Robotersystem gemäß noch einer weiteren Modifikation der ersten Ausführungsform zeigt.
26 ist eine Ansicht, die ein Robotersystem gemäß noch einer weiteren Modifikation der zweiten Ausführungsform zeigt.
27 ist eine Ansicht, die ein Robotersystem gemäß einer weiteren Modifikation der dritten oder vierten Ausführungsform zeigt.
28 ist eine Ansicht, die ein Robotersystem gemäß noch einer weiteren Modifikation der dritten oder vierten Ausführungsform zeigt.
Genaue Beschreibung
Nachstehend sind Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die Bestandteile der dargestellten Ausführungsformen sind im Maßstab entsprechend geändert. Für dieselben oder entsprechende Bestandteile werden dieselben Bezugszeichen verwendet.
1 ist eine Ansicht, die ein Beispiel für die Konfiguration eines Robotersystems gemäß einer Ausführungsform zeigt. Das Robotersystem 1 umfasst eine Maschine 2 mit CNC-Steuerung (computergestützte numerische Steuerung), einen Roboter 3 und eine Robotersteuereinrichtung 4, die den Roboter 3 steuert. Des Weiteren umfasst die Maschine 2, wie in 1 gezeigt, eine Anzeigeeinrichtung 5 mit einem GUI-Bildschirm 51.
Das Robotersystem 1 gemäß der vorliegenden Erfindung ist, wie später erläutert, dafür ausgelegt, über ein Kommunikationsnetzwerk 6 durch Bedienen des GUI-Bildschirms 51 der Maschine 2 den Status des Roboters 3 bestätigen oder den Roboter 3 bedienen zu können.
Die Maschine 2 mit CNC-Steuerung ist nicht speziell beschränkt, kann jedoch beispielsweise eine NC-Drehbank, eine NC-Fräsmaschine, ein Bearbeitungszentrum (MC), ein Drehzentrum (TC), eine Schleifmaschine, ein Schleifzentrum, eine Abwälzfräsmaschine, eine Zahnradschneidemaschine, eine Zahnradschleifmaschine, eine Zahnradendbearbeitungsmaschine, eine Senkerodiermaschine, eine Drahtschneideerodiermaschine, eine Laserbearbeitungsmaschine oder eine andere Werkzeugmaschine oder Pressmaschine, eine NC-Revolverstanzpresse, eine Biegepresse oder eine andere Schmiedemaschine, eine elektrisch betriebene Spritzgießmaschine, etc. sein.
Der Roboter 3 ist nicht speziell beschränkt, sondern ist beispielsweise ein vertikaler Multi-Knickarmroboter mit sechs Achsen, wie dargestellt. Der Roboter 3 ist dazu eingerichtet, auf einen Steuerbefehl von der Robotersteuereinrichtung 4 anzusprechen. Der Werkzeugmittelpunkt (TCP/Tool Center Point) des Roboters 3 ist so ausgeführt, dass er die vorgegebene Position mit der vorgegebenen Haltung erreichen kann.
Die Robotersteuereinrichtung 4 ist über ein bekanntes Kommunikationsnetzwerk mit der Maschine 2 verbunden. Die Robotersteuereinrichtung 4 ist ein digitaler Computer mit einer CPU (Zentraleinheit) zum Ausführen verschiedener Verarbeitungsvorgänge, einem Speicher, der Steuerprogramme und Parameter des Roboters 3 oder andere Informationen speichert, und einer Schnittstelle, die zur Verbindung mit externen Geräten verwendet wird.
Das bei einer Ausführungsform verwendete Kommunikationsnetzwerk 6 ist ein Kommunikationsnetzwerk, das für M2M etc. verwendet wird, und kann drahtgebunden oder drahtlos sein. Das Kommunikationsnetzwerk 6 stellt bevorzugt eine Echtzeitkommunikation bereit. Das Kommunikationsnetzwerk 6 kann beispielsweise auch eine Kommunikation eines Feldnetzwerks oder eine Kommunikation eines Servosteuernetzwerks einschließen, wenn es Kommunikationsspezifikationen umfasst, die den Transfer allgemeiner Daten ermöglichen.
Der GUI-Bildschirm 51 der Anzeigeeinrichtung 5 ist beispielsweise ein Bildschirm-Tastfeld, ein Flüssigkristallanzeige-(LCD-)Bildschirm, ein elektronisches Papier, eine Kathodenstrahlröhre (CRT) oder ein anderer flacher Bildschirm. Ein 3D-Bildschirm, der bei Verwendung einer speziellen Brille eine dreidimensionale Ansicht ermöglicht, oder eine 3D-Holografieeinrichtung können verwendet werden, wenn die Anzeigeelemente sowohl der Maschine 2 als auch des Roboters 3 die Spezifikationen für eine automatische Erzeugung einer Benutzeroberfläche (UI/User Interface) erfüllen, die auf einem allgemeinen Modell basieren.
2 ist ein Funktionsblockdiagramm des Robotersystems 1. Das Robotersystem 1 umfasst ein Maschinenbildschirmerzeugungsteil 11 und ein Maschinenattributwertspeicherteil 12.
Das Maschinenbildschirmerzeugungsteil 11 ist basierend auf modellbasierten Spezifikationen zur automatischen Erzeugung von UIs konfiguriert, die auf Definitionen und Attributwerten basieren. Das Maschinenbildschirmerzeugungsteil 11 analysiert die Definitionen und Werte der Attribute, um ein Modell zu bilden, um dadurch eine Nachkonstruktion zu ermöglichen. Zu den Grundlagen der Modellbildung siehe z. B. "The CAMELEON Reference Framework", September 2002, 4.2.2.3. 'Multi-Targeting by Reverse Engineering', 4.3.1. 'Run-Time Adaptation: a Three-Step Process' oder 'Model-Based UI XG Final Report', Mai 2010.
Das Maschinenbildschirmerzeugungsteil 11 kann UIs ohne Programmierung wechseln. Eine Ausführungsform bezieht sich sowohl auf (1) den Fall, in dem alle die Statusbestätigung und Bedienung der Maschine 2 am GUI-Bildschirm der Maschine 2 betreffenden Dinge und alle die Statusbestätigung und Bedienung des Roboters 3 betreffenden Dinge als Kombination von Attributwerten gemäß den Definitionen von Attributen mit denselben Spezifikationen erzeugt werden, als auch (2) den Fall, in dem die die Statusbestätigung und Bedienung der Maschine betreffenden Dinge nicht auf das Verfahren beschränkt sind, das auf den Definitionen von Attributen und Attributwerten basiert, und lediglich die die Statusbestätigung und Bedienung des Roboters 3 betreffenden Dinge die modellbasierten Spezifikationen zur automatischen Erzeugung von UIs unterstützen.
Die auf dem GUI-Bildschirm 51 angezeigten Anzeigeelemente sind sichtbare und verschiedenartige Objekte und lassen sich anhand von Bezeichnungen auf dem GUI-Bildschirm 51 klassifizieren, so dass sie der GUI-Entwickler für gewöhnlich beim Prüfen des GUI-Bildschirms 51 verwendet. Diese Anzeigeelemente sind nicht beschränkt und können vielmehr Icons, Labels, Textfelder, Menüs, Bildanzeigebereiche (Bilder), Listen, Gitter, Ankreuzfelder, Auswahltasten, Gruppierungsbereiche, Kreisdiagramme, Balkendiagramme, Liniendiagramme, Messanzeigen, Bildlaufleisten, etc. umfassen.
Das in dieser Beschreibung verwendete ”Attribut des Erscheinungsbildes eines Anzeigeelements” ist ein die Form betreffendes Merkmal. Es kann beispielsweise eine rechteckige Form, eine dreieckige Form, eine sechseckige Form, einen Kreis, einen echten Kreis oder eine andere Form, Größe, Position, effektive Grenze, die durch die Form, Größe und Position bestimmt wird, ein Gebiet, das von einer Grenze umgeben ist, die aus einer Geraden besteht, welche an einem Verbindungspunkt unter einem Winkel mit einer anderen Geraden verbunden ist, einen ”Winkelkreis”, der durch Bilden von Bögen an den Verbindungspunkten von Geraden mit anderen Geraden erhalten wird, etc. umfassen. Das Attribut des Erscheinungsbilds kann auch einen Schattierungseffekt, das Vorhandensein eines zugehörigen Texts, die Art der Sprache des Texts, die Art und Größe der Schrift und eine Anzeigeposition umfassen.
Wenn das Anzeigeelement ein Gitter ist, kann das Attribut des Erscheinungsbildes eine Definition der Matrix, des Vorhandenseins einer Überschrift der Zeilen oder Überschrift der Spalten und des Typs der Anzeigeelemente in den Zellen (Text, Ankreuzfelder, Bildanzeigebereiche, etc.) umfassen.
Die in dieser Beschreibung verwendeten ”ausführbaren Tätigkeiten und Rückmeldungen eines Anzeigeelements” umfassen eine Vorgabe und Beschränkung von durch einen Benutzer ausführbaren Tätigkeiten jedes Elements und der Art der Antwortrückmeldungen von jeder Tätigkeit (Animation, wechselnde Farbe, Blinkeffekt). Ob der Arbeiter findet, dass die GUI des Roboters 3 zu der der Maschine 2 passt, hat damit zu tun, ob die Antwortrückmeldungen des GUI-Bildschirms 51 dieselben Spezifikationen haben. Aus diesem Grund können die die Anzeigeelemente des Roboters 3 definierenden Attributspezifikationen bei der vorliegenden Erfindung auch Attribute umfassen, die die Rückmeldungen des GUI-Bildschirms 51 definieren.
Der in dieser Beschreibung verwendete ”Gruppierungsbereich” entspricht einem ”zumindest gemäß dem Nutzen oder Zweck aufgeteilten Bereich des GUI-Bildschirms 51”. Ein Gruppierungsbereich ist beispielsweise ein durch den CSS3-Standard definiertes Box-Modell oder ein durch den HTML-Standard definierter Rahmen. Bei HTML wird ein Fenster in rechteckige Bereichseinheiten aufgeteilt und die Anzeigeelemente werden entsprechend gruppiert. Beim GUI-Bildschirm 51 einer Maschine 2 mit CNC-Steuerung kann jedoch die Außenseite viereckiger Formen, sechseckiger Formen, echter Kreise, Ellipsen oder anderer allgemeiner geometrischer Formen zum Gruppieren der Anzeigeelemente verwendet werden.
Bei einem tatsächlichen GUI-Bildschirm, bei dem Anzeigeelemente durch geometrische Formen gruppiert werden, die keine rechteckigen Formen sind, können, um Missverständnisse des Arbeiters bezüglich des GUI-Bildschirms zu verhindern, von GUI-Entwicklern gestaltete Ergebnisse oft so gedeutet werden, dass die Gestaltgesetze der visuellen Wahrnehmung angewandt wurden. In letzter Zeit war die freie Verwendung allgemeiner geometrischer Formen (sechseckiger Formen, echter Kreise, Ellipsen, etc.) beim Design nicht unüblich. Aus diesem Grund wird bei einer Ausführungsform der Bereich, in dem die Anzeigeelemente gruppiert sind, nicht als Rahmen oder Box bezeichnet, sondern als ”Gruppierungsbereich”.
Das Maschinenattributwertspeicherteil 12 speichert Maschinenattributwerte. Das Maschinenattributwertspeicherteil 12 umfasst ferner ein Attributwertspeicherteil 121 der Anzeigeelemente des Roboters 3.
Wie in 2 gezeigt, umfasst die CNC-Steuerung der Maschine 2 ein Kommunikationsteil 21, das mit einem Roboterbedienungsinhaltssenderteil 211 ausgestattet ist. Ferner umfasst die Robotersteuereinrichtung 4 ein Kommunikationsteil 41, das mit einem Roboterbedienungsinhaltsempfängerteil 411 ausgestattet ist. Aufgrund dessen wird der Bedienungsinhalt des Roboters 3 zwischen der CNC-Steuerung 20 und der Robotersteuereinrichtung 4 gesendet und empfangen.
Bezug nehmend auf 3 wird die durch das Robotersystem 1 gemäß einer Ausführungsform ausgeführte Verarbeitung beschrieben. Zunächst wird in Schritt S101 bestimmt, ob die CNC-Steuerung 20 und die Robotersteuereinrichtung 4 miteinander kommunizieren.
Wenn die CNC-Steuerung 20 und die Robotersteuereinrichtung 4 kommunizieren, fährt die Routine mit Schritt S102 fort. In Schritt S102 wird bestimmt, ob das Maschinenattributwertspeicherteil 12 Attributwerte der Anzeigeelemente des Roboters 3 gespeichert hat.
Wenn das Ergebnis der Bestimmung in Schritt S102 positiv ist, fährt die Routine mit Schritt S103 fort, in dem das Maschinenattributwertspeicherteil 12 die dem Typ, dem Erscheinungsbild und der Anzeigeposition entsprechenden Attributwerte und Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten bezüglich des Roboters 3 an das Maschinenbildschirmerzeugungsteil 11 sendet.
In Schritt S104 fügt das Maschinenbildschirmerzeugungsteil 11 die Anzeigeelemente des Roboters 3 hinzu, um den GUI-Bildschirm 51 gemäß der Kombination von Attributwerten der Anzeigeelemente des Roboters 3 zu erzeugen. Der GUI-Bildschirm 51 umfasst ursprünglich Informationen zur Statusbestätigung und Bedienung der Maschine 2. Hierbei fügt das Maschinenbildschirmerzeugungsteil 11 zusätzlich Anzeigeelemente des Roboters 3, die mit ein gemeinsames Erscheinungsbild und gemeinsame Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten haben, innerhalb jedes Gruppierungsbereichs des GUI-Bildschirms 51 der Maschine 2 hinzu. Daher kann der Arbeiter der Maschine 2 den Roboter 3 vom GUI-Bildschirm 51 der Maschine 2 aus bedienen.
Wenn die CNC-Steuerung 20 und die Robotersteuereinrichtung 4 nicht miteinander kommunizieren (wenn das Ergebnis der Bestimmung in Schritt S101 negativ ist) oder wenn die Attributwerte bezüglich der Anzeigeelemente des Roboters 3 nicht gespeichert sind (wenn das Ergebnis der Bestimmung in Schritt S102 negativ ist), fährt die Routine mit Schritt S105 fort, in dem das Maschinenbildschirmerzeugungsteil 11 einen Bildschirm zur Statusbestätigung und Bedienung nur der Maschine 2 erzeugt. Das bedeutet, die Anzeigeelemente des Roboters 3 sind nicht im GUI-Bildschirm 51 enthalten.
Die Anzeigeelemente des Roboters 3 werden nicht beschränkt auf rechteckige Bereiche von Teilabschnitten des GUI-Bildschirms 51 der Anzeigeeinrichtung 5 hinzugefügt. Beispielsweise kann dem die Navigation der Maschine 2 betreffenden Anzeigebereich eine Navigation hinzugefügt werden, um durch Anzeigeelemente äquivalenten Erscheinungsbildes und äquivalenter Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten zu einem Bildschirm zur Statusbestätigung oder Bedienung des Roboters 3 zu wechseln.
4 zeigt ein erstes Beispiel eines GUI-Bildschirms 51. Die linke Seite von 4 zeigt einen GUI-Bildschirm 51, der nur Anzeigeelemente der Maschine 2 enthält, während die rechte Seite einen GUI-Bildschirm 51 mit Anzeigeelementen der Maschine 2 und Anzeigeelementen des Roboters 3 zeigt.
In den verschieden wechselnden Bildschirmbereichen des GUI-Bildschirms 51 der Anzeigeeinrichtung werden die verschiedenen Einstellungen und der Verwaltungsbildschirm etc. der Maschine 2 angezeigt, wenn die CNC-Steuerung 20 nicht mit dem Roboter 3 kommuniziert. Wenn eine Kommunikation mit dem Roboter 3 gestartet wird, werden die verschiedenen wechselnden Bildschirmbereiche als Bereiche zur Statusbestätigung oder Bedienung des Roboters 3 zugewiesen.
Dem Bereich der Globalnavigation der Icons der Maschine 2 wird ein Icon zum Öffnen eines Bildschirms zur Statusbestätigung und Bedienung des Roboters 3 hinzugefügt. Des Weiteren wird auch dem Textuntermenübereich ein Textuntermenü zum Öffnen anderer Bildschirme des Roboters 3 hinzugefügt.
5 zeigt ein zweites Beispiel für einen GUI-Bildschirm 51. Wie in 4, zeigt die linke Seite von 5 einen GUI-Bildschirm 51, der nur Anzeigeelemente der Maschine 2 enthält, während die rechte Seite einen GUI-Bildschirm 51 mit Anzeigeelementen der Maschine 2 und Anzeigeelementen des Roboters 3 zeigt.
Im Icon-Globalnavigationsbereich auf dem GUI-Bildschirm 51 der Maschine 2 ist es möglich, das angezeigte Icon zu wechseln, wenn ein eine Verschiebung zeigendes dreieckiges Symbol berührt und verschoben wird. Das Icon des Roboters 3 wird der Icon-Liste der Globalnavigation hinzugefügt. Ferner gibt es im oberen Teil einen Statusanzeigebereich, der kleine Icons verwendet, die durch Aufteilen des Bereichs durch ein Gitter gebildet werden. Wenn in diesem Bereich ein Spielraum vorhanden ist, ist es auch möglich, durch dasselbe Erscheinungsbild eine Warnung für den Roboter 3 anzuzeigen.
6 zeigt ein drittes Beispiel für einen GUI-Bildschirm 51. Wie vorstehend, zeigt die linke Seite von 6 einen GUI-Bildschirm 51, der nur Anzeigeelemente der Maschine 2 enthält, während die rechte Seite einen GUI-Bildschirm 51 mit Anzeigeelementen der Maschine 2 und Anzeigeelementen des Roboters 3 zeigt.
Auf dem GUI-Bildschirm 51 der Maschine 2 befindet sich ein Globalnavigationsanzeigebereich mit Icons. Ein Icon des Roboters 3 wird dort hinzugefügt. Wie in 6 gezeigt, können bei einem Modus, bei dem der Mehrzweckbildschirm der Maschine 2 in vier Bereiche aufgeteilt werden kann, beispielsweise zwei dieser Bereiche als Bildschirme zur Statusbestätigung und Bedienung des Roboters 3 zugewiesen werden.
Gemäß dem Robotersystem 1 gemäß der vorliegenden Ausführungsform werden die folgenden Vorteile erzielt.
Der Maschinenhersteller, der die auf der Anzeigeeinrichtung 5 der Maschine 2 mit der CNC-Steuerung 20 anzuzeigende GUI 51 entwirft, stellt die gemäß den Definitionen der Attributwerte zu kommunizierenden und zu verbindenden Anzeigeelemente des Roboters 3 ein, und speichert sie vorab im Attributwertspeicherteil 121 der Anzeigeelemente des Roboters 3. Hierbei werden die Anzeigeelemente des Roboters 3 so eingestellt, dass im Erscheinungsbild und bezüglich der Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten den Anzeigeelementen der Maschine 2 gleichen. Aufgrund dessen kann bei der Kommunikation mit dem Roboter 3 die GUI zur Statusbestätigung und Bedienung des Roboters 3 auf dem GUI-Bildschirm 51 der Maschine 2 angezeigt werden.
Dadurch wird der Arbeiter in die Lage versetzt, ungeachtet des Herstellers oder Modells der Maschine 2 den Roboter 3 auf dieselbe Weise wie die Maschine 2 zu bedienen. Aufgrund dessen kann der Arbeiter sogar dann, wenn sich der Arbeiter nicht sehr gut mit dem Roboter 3 auskennt, und ferner sogar dann, wenn der Arbeiter das Bedienungshandbuch des Roboters 3 nicht gelesen hat, die zur Statusbestätigung des Roboters 3 erforderlichen Informationen anhand der auf der Anzeigeeinrichtung 5 der Maschine 2 angezeigten Informationen erfassen.
Sogar heutzutage, wo die Nutzung von Bedienvorgängen auf einem GUI-Bildschirm beim Handhaben von Industrieanlagen üblich ist, unterscheiden sich die tatsächlichen Nutzungsverfahren abhängig von der Anlage. Gemäß der vorliegenden Ausführungsform wird ein Arbeiter in die Lage versetzt, den Roboter betreffende Informationen zu erschließen, indem er lediglich auf den GUI-Bildschirm der Maschine 2 mit CNC-Steuerung blickt. Dadurch wird die zum Erlernen der Bedienung des Roboters erforderliche Zeit verkürzt. Bei dem vorliegenden System kann die Robotersteuereinrichtung den Hersteller und das Modell der Maschine mit CNC-Steuerung durch einen Datentransfer über das Kommunikationsnetzwerk 6 erkennen. Daher ist es, wenn vorab eine Mehrzahl Kombinationen von Maschinen mit CNC-Steuerung verschiedener Hersteller entsprechenden Attributwerden im Attributwertspeicherteil 121 der Anzeigeelemente des Roboters des Maschinenattributwertspeicherteils 12 gespeichert wird, selbst wenn der Roboter mit einer Maschine verbunden wird, die sich von der aktuellen Maschine 2 unterscheidet, solange eine Kombination von dieser anderen Maschine entsprechenden Attributwerten gespeichert ist, möglich, Anzeigeelemente zur Bedienung und Statusbestätigung des Roboters entsprechend hinzuzufügen, die dem Design des GUI-Bildschirms der anderen Maschine entsprechen.
Wenn die Kommunikation zwischen der CNC-Steuerung und der Robotersteuereinrichtung unterbrochen wird, wird die GUI des Roboters nicht auf der Anzeigeeinrichtung der Maschine angezeigt. Somit kann der Arbeiter feststellen, ob eine Verbindung mit dem Roboter vom GUI-Bildschirm der Maschine aus möglich ist. Wenn die Anzeigeelemente des Roboters verschwinden, nachdem die Anzeigeelemente des Roboters einmal in normaler Weise dem GUI-Bildschirm der Maschine hinzugefügt worden sind, kann der Arbeiter folgern, dass die Kommunikation mit dem Roboter aus irgendeinem Grund unterbrochen worden ist. Mit diesem System kann dem Arbeiter ein dem ”Plug-and-Play-” (sofortige Betriebsbereitschaft) Nutzererlebnis (UX/User Experience) ähnliches Gefühl vermittelt werden, so dass er es schneller beherrschen kann.
Ob die Nutzung tatsächlich einfacher wird oder nicht, kann durch Bitten eines Roboterbedieners mit geringen Fachkönnen, an dem Test bezüglich wechselnder Bildschirme teilzunehmen, durch verschiedene Verfahren untersucht werden, die allgemein als Nutzbarkeitstests (oder Messung der UX-Metrik (Nutzererlebnismetrik)) bekannt sind. Alternativ kann das Verfahren zum Durchführen eines Test unter Verwendung der aufgezeichneten Bedieninformationen des Arbeiters, das in der japanischen Patentveröffentlichung Nr. 2010-102465A offenbart ist, als Basis zum Einschätzen des Niveaus des Fachkönnens gemäß einer erstellten Formel genutzt werden.
7 ist ein Funktionsblock eines Robotersystems 1 gemäß einer ersten Ausführungsform. Bei einer Ausführungsform umfasst das Maschinenattributwertspeicherteil 12 ein Maschinenattributwertspeicherteil 122, das Attributwerte von Anzeigeelementen der Maschine 2 speichert, und ein Roboterattributwertspeicherteil 121, das Attributwerte von Anzeigeelementen des Roboters 3 speichert.
Das Kommunikationsteil 21 der CNC-Steuerung 20 umfasst ein Roboterbedienungsinhaltssenderteil 211, ein Attributwertsenderteil 212, das Attributwerte der Anzeigeelemente der Maschine 2 sendet, und ein Attributwertempfängerteil 213, das Attributwerte von Anzeigeelementen des Roboters 3 empfängt.
Das Kommunikationsteil 41 der Robotersteuereinrichtung 4 umfasst ein Roboterbedienungsinhaltsempfängerteil 411, ein Attributwertempfängerteil 412, das Attributwerte der Anzeigeelemente der Maschine 2 empfängt, ein Attributwertsenderteil 413, das Attributwerte von Anzeigeelementen des Roboters 3 sendet, ein Roboterattributwertspeicherteil 42, ein Attributwertanalyseteil 43 zum Analysieren der Attributwerte der Anzeigeelemente der Maschine 2 und ein Attributwertbestimmungsteil 44 zum Bestimmen von Attributwerten von Anzeigeelementen des Roboters 3.
Bei einer Ausführungsform wird das Attributwertspeicherteil 122 des Maschinenattributwertspeicherteils 12 dazu verwendet, die Attributwerte zur Statusbestätigung und Bedienung der Maschine 2 zu speichern. Im Gegensatz dazu, speichert das Maschinenattributwertspeicherteil 12 keine Attributwerte zur Statusbestätigung und Bedienung des Roboters 3. Die Attributwerte zum Erzeugen von Bildschirminformationen zur Statusbestätigung und Bedienung des Roboters 3 werden im Roboterattributwertspeicherteil 42 der Robotersteuereinrichtung 4 gespeichert.
Bezug nehmend auf 8 wird die im Robotersystem 1 gemäß der vorliegenden Ausführungsform ausgeführte Verarbeitung erläutert. Die Verarbeitung in den Schritten S201 bis S205 ist dieselbe wie die Verarbeitung in den Schritten S101 bis S105, die unter Bezugnahme auf 3 erläutert wurde. Bei der vorliegenden Ausführungsform wird jedoch, wenn das Ergebnis der Bestimmung in Schritt S202 negativ ist, die Verarbeitung gemäß den Schritten S206 und S207 ausgeführt.
In Schritt S206 bestimmt die Robotersteuereinrichtung 4 die Kombination von Attributwerten von Anzeigeelementen des Roboters 3. Einzelheiten der Verarbeitung gemäß Schritt S206 sind später beschrieben. In Schritt S207 sendet die Robotersteuereinrichtung 4 die Kombination von Attributwerten der Anzeigeelemente des Roboters 3 an das Maschinenattributwertspeicherteil 12.
Als Nächstes wird unter Bezugnahme auf 9 die Verarbeitung gemäß Schritt S206 von 8 erläutert. Das Maschinenattributwertspeicherteil 12 speichert eine Kombination sowohl der Attributdefinitionen als auch der Attributwerte bezüglich der Anzeigeelemente der Maschine 2. Diese Informationen können nur ausgelesen und nicht geändert werden. Daher werden diese Informationen an die Robotersteuereinrichtung 4 gesendet und durch die Robotersteuereinrichtung 4 analysiert.
In Schritt S301 wird die den GUI-Bildschirm 51 der Anzeigeeinrichtung 5 bildende Kombination der Attributdefinitionen und Attributwerte vom Maschinenattributwertspeicherteil 12 an die Robotersteuereinrichtung 4 gesendet.
In Schritt S302 wird bestimmt, ob alle Attributdefinitionen und Attributwerte des Modus des GUI-Bildschirms der Maschine 2 öffentlich gemacht wurden. Das heißt, es wird bestimmt, ob die Kombination des Typs, des Erscheinungsbilds, der Anzeigeposition, der Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten oder anderer Attributwerte der Anzeigeelemente der Maschine 2 öffentlich gemacht wurde.
Wenn die Kombination aller Attributdefinitionen und Attributwerte öffentlich gemacht wurde (wenn das Ergebnis der Bestimmung in Schritt S302 positiv ist), fährt die Routine mit Schritt S303 fort, in dem das Erscheinungsbild, die Anzeigeposition, der Typ und die Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten der Anzeigeeinrichtung anhand der Kombination sowohl der Attributdefinitionen als auch der Attributwerte erkannt werden.
In Schritt S304 wird durch das Icon-Menü oder Text-Menü, das der Globalnavigation der Bedienung der Maschine 2 entspricht, eine Suche durchgeführt. Die Kombination von Attributen und Werten der Anzeigeelemente des Roboters 3 wird bestimmt, um ein Navigations-Icon oder -Menü zur Statusbestätigung und Bedienung des Roboters 3 in Form des ermittelten Suchergebnisses hinzuzufügen.
In Schritt S305 werden alle Beziehungen zwischen den Gruppierungsbereichen der Maschine 2 und Bildschirmwechseln durchsucht, um diese zu ermitteln. In Schritt S306 werden die Anordnungsregeln der Anzeigeelemente jedes Gruppierungsbereichs ermittelt.
In Schritt S307 wird die Kombination der Attributdefinitionen und Attributwerte der Anzeigeelemente des Roboters 3 bestimmt, um die Anordnung der Anzeigeelemente umzugestalten, die vorab auf den verschiedenen Bildschirmen zur Handhabung des Roboters 3 gemäß den ermittelten Anordnungsregeln erstellt wurde. Der Algorithmus zur Bestimmung des Layouts ist später beschrieben.
Wenn in Schritt S302 hingegen die Kombination aller Attributdefinitionen und Attributwerte nicht öffentlich gemacht wurde (wenn das Ergebnis der Bestimmung negativ ist), das heißt, wenn nur die Kombination von Attributwerten der Anzeigeelemente der Maschine 2 zum Bestimmen des Mindestumfangs der Attribute und Attributwerte, die zum Hinzufügen der Anzeigeelemente des Roboters 3 erforderlich sind, öffentlich gemacht wurde, fährt die Routine mit Schritt S308 fort. In Schritt S308 werden, da die potentiell hinzugefügten Gruppierungsbereiche und Typen von Anzeigeelementen durch die öffentlich gemachten Attribute begrenzt sind, die Attributdefinitionen und Attributwerte, die geändert und hinzugefügt werden können, durch eine Suche ermittelt.
In Schritt S309 werden anhand der ermittelten Suchergebnisse die Gruppierungsbereiche der Maschine ermittelt, die der Globalnavigation und den Menüs entsprechen, und es werden Werte zum Hinzufügen der erforderlichen Anzeigeelemente des Roboters vorgegeben.
Als Nächstes werden die Größe und Position eines Bereichs ermittelt, in dem die Anzeigeelemente des Roboters 3 frei hinzugefügt werden können. Im Hinblick auf die Anordnungsregeln der Anzeigeelemente werden diese nur für die öffentlich gemachten Modi befolgt. Für den Rest werden die vorhandenen Werte belassen wie sie sind, um dadurch die Layoutverarbeitung abzuschließen. Die geänderte Kombination der Attributwerte der Anzeigeelemente des Roboters 3 wird von der Robotersteuereinrichtung 4 in das Maschinenattributwertspeicherteil 12 gespeichert. Unter Nutzung des Ergebnisses wird das Maschinenbildschirmerzeugungsteil 11 dazu verwendet, den GUI-Bildschirm 51 der Anzeigeeinrichtung 5 zu aktualisieren.
Beim Wechseln vom Bildschirm zur Handhabung der Maschine 2 zum Bildschirm zur Handhabung des Roboters 3, ist es erwünscht, um den Arbeiter daran zu hindern, einen menschlichen Fehler, der einen Aufnahmefehler oder Modusfehler einschießt, zu begehen (siehe "The Design of Everyday Things Revised and Expanded Edition", Donald A. Norman, in japanischer Sprache veröffentlicht von Shin-Yo-Sha, Kapitel 4. 'Know What to Do – Limitations, Findability, and Feedback', Kapitel 5. 'Human Error? No. Poor Design'), dass die betrachteten Bereiche und die bedienten Bereiche den Bereichen beim Handhaben der Maschine 2 entsprechen und selbstverständlich anhand der Bereiche beim Handhaben der Maschine 2 erschlossen werden können.
Zu diesem Zweck werden die verschiedenen Anzeigeelemente des Roboters 3 nahe ähnlichen Typen auf dem GUI-Bildschirm 51 der Anzeigeeinrichtung 5 angeordnet. Als Nächstes wird ein Beispiel für die Bestimmung des Layouts angegeben, wobei es jedoch innerhalb eines Bereichs, der keine menschlichen Fehler hervorruft, auch möglich ist, eine andere Regel zur Bestimmung des Layouts zu definieren, um das Layout zu erzeugen.
Bezug nehmend auf 10 und 11 wird die Verarbeitung zur Hinzufügung von Icons erläutert. Das Maschinenattributwertspeicherteil 12 speichert Attributdefinitionen und Attributwerte zur Statusbestätigung und Bedienung der Maschine 2. Es speichert jedoch keine Attributdefinitionen und Attributwerte zur Statusbestätigung und Bedienung des Roboters 3.
Das Roboterattributwertspeicherteil 42 der Robotersteuereinrichtung 4 hingegen speichert Attributdefinitionen und Definitionswerte bestehender GUIs zur Statusbestätigung und Bedienung des Roboters 3, die dem GUI-Bildschirm 51 der Maschine 2 hinzuzufügen sind. Bezug nehmend auf 11 zeigt der GUI-Bildschirm 51 der Anzeigeeinrichtung 5 ein Icon des Roboters an, das so hinzugefügt wurde, dass es mit dem Design der Maschine 2 übereinstimmt. Das Icon wird gemäß den in 12 gezeigten Schritten S401 bis S411 hinzugefügt.
Gemäß dem Robotersystem 1 gemäß der vorliegenden Ausführungsform wird die Kombination von Attributdefinitionen und Definitionswerten bezüglich der Erzeugung im Maschinenbildschirmerzeugungsteil 11 nachkonstruiert, um die Analyse des Bildschirms zu automatisieren, um die Anzeigeelemente des Roboters 3 übereinstimmend mit der Maschine 2 auszuführen. Aufgrund dessen ist es möglich, die Verarbeitung zum Hinzufügen von Anzeigeelementen des Roboters 3 zu automatisieren.
Daher muss der Hersteller der Maschine 2 keine Kombination der jedem Hersteller oder Modell eines Roboters 3 entsprechenden unterschiedlichen Werte im Maschinenattributwertspeicherteil 12 vorgeben, bevor die Maschine 2 in den Verkauf kommen kann. Dieses Robotersystem 1 automatisiert die Verarbeitung, so dass die Designkosten des GUI-Bildschirms gesenkt werden können. Selbst wenn der Roboter 3 mit einer anderen Maschine als der Maschine 2 verbunden wird, werden ferner, solange die andere Maschine eine ähnliche Konfiguration wie die Maschine 2 hat, die Anzeigeelemente zur Bedienung und Statusbestätigung des Roboters 3 für die andere Maschine automatisch bestimmt. Wenn der Roboter 3 wieder mit der Maschine 2 verbunden wird, ist ferner bereits eine geeignete Kombination der Attributwerte der Anzeigeelemente des Roboters im Attributwertspeicherteil 121 der Anzeigeelemente des Roboters des Maschinenattributwertspeicherteils 12 vorhanden. Die Anzeigeelemente des Roboters werden dem GUI-Bildschirm der Maschine problemlos hinzugefügt. Eine neu mit dem Roboter 3 verbundene Maschine bewirkt bei jeder Verbindung eine Analyse des GUI-Bildschirms der Maschine durch den Roboter 3 und eine automatische Bestimmung des Modus zur Hinzufügung geeigneter Anzeigeelemente des Roboters 3. Dadurch müssen, wenn die Maschinen einer Mehrzahl Hersteller eine ähnliche Konfiguration wie die Maschine 2 der vorliegenden Ausführungsform haben, die GUI-Bildschirme dieser Mehrzahl Hersteller nicht durch menschliche Entwickler analysiert werden. Der Roboter 3 kann den Modus zur Hinzufügung von Anzeigeelementen zur Bedienung und Statusbestätigung des Roboters 3 entsprechend bestimmen.
13 ist ein Funktionsblockdiagramm eines Robotersystems 1 gemäß einer dritten Ausführungsform. Gemäß der vorliegenden Ausführungsform analysiert die Robotersteuereinrichtung 4 anstelle der Attributwerte zum Erzeugen eines Bildschirms zur Statusbestätigung und Bedienung der Maschine 2 Bildschirmaufnahmedaten des GUI-Bildschirms 51 der Anzeigeeinrichtung 5. Die vorliegende Ausführungsform ist besonders effektiv, wenn Attributwerte bezüglich der Maschine 2 nicht aus dem Maschinenattributwertspeicherteil 12 ausgelesen werden können.
Gemäß der vorliegenden Ausführungsform umfasst das Robotersystem 1 ferner ein Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil 13. Des Weiteren umfasst die CNC-Steuerung 20 ferner ein Bildaufnahmedatensenderteil 214 des GUI-Bildschirms 51 der Anzeigeeinrichtung 5. Die Robotersteuereinrichtung 4 umfasst ferner ein Bildaufnahmedatenempfängerteil 414 des GUI-Bildschirms 51 der Anzeigeeinrichtung 5 und ein Bildaufnahmedatenanalyseteil 45 des GUI-Bildschirms 51 der Anzeigeeinrichtung 5.
14 ist ein Flussdiagramm, das das Verfahren gemäß dem Robotersystem 1 gemäß der vorliegenden Ausführungsform zeigt. Das Robotersystem 1 analysiert die Bildschirmaufnahmedaten des GUI-Bildschirms 51 gemäß den Schritten S501 bis S509. Die im Flussdiagramm von 15 gezeigten Schritte S601 bis S608 zeigen die Verarbeitung gemäß Schritt S507 genauer.
Die Bildschirmaktualisierungsdauer beträgt sowohl bei der Maschine 2 mit CNC-Steuerung als auch beim Roboter 3 im langsamsten Fall 15 fps (Frames per Sekunde) und liegt beispielsweise bei 60 fps oder 30 fps. Wenn sich die Bildschirmaktualisierungsdauer zwischen der Maschine 2 und dem Roboter 3 unterscheidet, wird die Bildschirmaktualisierungsdauer des Roboters 3 bevorzugt gleich oder kleiner als die Bildschirmaktualisierungsdauer der Maschine 2 ausgeführt.
Die vom GUI-Bildschirm 51 der Maschine 2 erhaltenen Standbilddaten oder Bewegtbilddaten werden zur Beurteilung der Anzeigeelemente des GUI-Bildschirms 51 verwendet. Beispielsweise wird eine Bitmapdaten ähnelnde Bilddatei verwendet, die während der Bedienung des GUI-Bildschirms 51 am Bildschirm aufgenommen wird. Bekannte Dateibildformate umfassen ”bmp”, ”GIF”, ”png”, ”jpeg”, etc.
Des Weiteren kann auch die Software ”Sikuli” zur automatischen Analyse des Bildschirms eines Computers als bekanntes Verfahren verwendet werden, die in "Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata", 15.–19. Oktober 2011, UIST'11, offenbart ist.
Die Technik zur Analyse des GUI-Bildschirms eines PCs oder eines anderen Arbeitsplatzrechners ist bekannt. Als Algorithmus zur Analyse des GUI-Bildschirms einer Maschine mit CNC-Steuerung kann ein Algorithmus verwendet werden, der dem im Stand der Technik bekannten ähnelt.
Der Algorithmus zur automatischen Analyse des GUI-Bildschirms einer Maschine mit CNC-Steuerung umfasst die folgenden Schritte 1 und 2.
Schritt 1: Die Robotersteuereinrichtung 4 erkennt die Anzeigeelemente der Maschine 2 anhand der erhaltenen Bildaufnahmedaten des GUI-Bildschirms 51 der Anzeigeeinrichtung 5.
Schritt 2: Da die Robotersteuereinrichtung 4 nicht dazu in der Lage ist, immer alle Attributwerte zu erkennen, wird das Erscheinungsbild der verschiedenen Typen von Anzeigeelementen der Maschine 2 so ausgeführt, dass sie einen ähnlichen Eindruck wie die Anzeigeelemente des Roboters 3 nachbilden. Die Attributwerte bezüglich der Anzeigepositionen werden bestimmt, um die Anordnungsregeln nachzubilden.
Es wird darauf hingewiesen, dass, wenn Anzeigeelemente des Roboters 3 dem GUI-Bildschirm 51 der Anzeigeeinrichtung 5 hinzugefügt werden, sofern die Nachbildung des ähnlichen Eindrucks unzureichend ist, der Arbeiter die Bildschirmaufnahmedaten mehrmals an die Robotersteuereinrichtung 4 senden kann, damit diese die Daten analysiert. Dann nähern sich die hinzugefügten Anzeigeelemente dem ursprünglichen GUI-Eindruck der Maschine an. Dieser Schritt kann beispielsweise durchgeführt werden, indem der GUI-Bildschirm 51 der Anzeigeeinrichtung 5 veranlasst wird, eine Meldebox anzuzeigen, wenn die Hinzufügung der Anzeigeelemente des Roboters 3 abgeschlossen ist, und der Arbeiter veranlasst wird, zu antworten, ob er dem Abschluss der Hinzufügung zur GUI des Roboters 3 zustimmt.
Als Nächstes wird das Verfahren zur Erkennung des Typs der Anzeigeelemente erläutert.
Anders als beim Analysieren eines normalen fotografischen Bildes ist es möglich, die Bilddaten des GUI-Bildschirms durch Erstellen eines Algorithmus genau zu analysieren, der die Trends beim Design bestehender GUI-Bildschirme aufnimmt. Der Grund warum das beim Design der GUI-Bildschirme von Industrieanlagen der Fall ist, besteht darin, dass dies angewandt wird, was die Entwickler häufig als skeuomorphes Design bezeichnen. Zitiert man aus "The Design of Everyday Things Revised and Expanded Edition", Donald A. Norman, in japanischer Sprache veröffentlicht von Shin-Vo-Sha, Kapitel 4. 'Know What to Do – Limitations, Findability, and Feedback', Kapitel 5. 'Human Error? No. Poor Design', Seite 220, bedeutet skeuomorphes Design ”alte, vertraute Vorstellungen selbst dann in neue Technologien zu integrieren, wenn sie keine funktionale Rolle mehr spielen”. ”Ein Weg zur Überwindung der Angst vor dem Neuen besteht darin, es wie das Alte aussehen zu lassen. Tatsächlich hat dies Vorteile bei der Erleichterung des Übergangs vom Alten zum Neuen. Es macht es angenehmer und erleichtert das Lernen. Bestehende konzeptionelle Modelle müssen nur modifiziert statt ersetzt werden.”
Die Designrichtung, die GUI-Bildschirmentwicklern der Maschine mit CNC-Steuerung und des Roboters vorschwebt, wird als Nächstes erläutert. Das Design eines GUI-Bildschirms ähnelt häufig dem GUI-Bildschirmdesign einer spezifischen Designquelle mit einem großen Anteil auf dem Gebiet von PCs oder Arbeitsplatzrechnen von Datenverarbeitungsanlagen. Die Designs von GUI-Bildschirmen umfassen Designs zur Handhabung von Einsparungen bei ATMs, Designs zur Verwaltung von Kraftwerken und anderen Anlagen, Designs von GUI-Bildschirmen zur Verwendung bei der durch Sicherheitsfirmen bereitgestellten Überwachung und Warnung, etc., diesen ähnelnde Designs werden jedoch selten gewählt.
Der Grund dafür ist, dass es vorstellbar ist, dass ein Bediener der Maschine mit CNC-Steuerung oder ein Bediener des Roboters bereits mit einer solchen Arbeit befasst war, sei es in einem Angestelltenverhältnis oder bei der Neugründung eines Unternehmens, es ist jedoch auch vorstellbar, dass er bereits auf Heim-PCs oder auf PCs, auf denen er zuvor in Schulungseinrichtungen geschult wurde, Erfahrung mit dem Gebrauch von GUI-Bildschirmen gesammelt hat.
In den Bildungsstätten oder Haushalten von Schwellenländern ist die Verbreitungsgeschwindigkeit von PCs jedoch noch immer niedrig. In Schwellenländern ist es selbst bei dem Versuch, Personal für Fertigungsanlagen zu beschaffen, manchmal sehr schwierig, Personen mit Erfahrung beim Gebrauch von PCs zu finden. Daher haben in letzter Zeit Smartphones beim Design von GUI-Bildschirmen an Bedeutung gewonnen. Smartphones haben sich zuerst in den Industrieländern verbreitet, sie verbreiten sich jedoch auch schnell in den Schwellenländern. Daher ist das als Arbeiter in Fertigungsanlagen neu eingestellte Personal in vielen Fällen mit der Handhabung von Smartphones vertraut, wenn auch nicht mit dem Umgang mit PCs. Daher ist es bei der Neugestaltung eines GUI-Bildschirms erwünscht, die Designrichtlinien von GUI-Bildschirmen bei Smartphones zu berücksichtigen.
Es gibt Geräte, wie etwa PCs oder Smartphones, von denen entsprechend angenommen werden kann, dass neu eingestelltes Personal von Fertigungsanlagen bereits Erfahrung mit deren Gebrauch hat. Für diese GUI-Bildschirme existieren Designs. Ignoriert man die Designrichtung solcher GUI-Bildschirme würde sich ferner die Zeitspanne bis der ein Produkt nutzende Arbeiter dazu in der Lage ist, ein Gerät vollständig zu nutzen, verlängern oder es könnten nicht alle nützlichen Funktionen vollständig genutzt werden.
Daher stellt der nachstehend dargestellte Algorithmus eine Vorgehensweise dar, die die Effizienz im Falle einer automatischen Analyse des Bildschirms eines herkömmlichen PC oder Smartphones durch Bildverarbeitung hervorhebt. Dies ist auch bei einer automatischen Analyse des GUI-Bildschirms einer Maschine mit CNC-Steuerung oder eines Roboters zweckdienlich.
Zunächst wird ein Algorithmus zum Analysieren der Bilddaten eines GUI-Bildschirms erläutert. Bei der Analyse dieser Bilddaten werden eine bekannte Bildverarbeitungstechnik und eine optische Zeichenerkennungstechnik (die nachstehend als ”OCR” (Optical Character Recognition) bezeichnet ist) verwendet. Bei einem Format jedoch, bei dem der GUI-Bildschirm durch Definitionen von Attributen und Attributwerte vorgegeben wird, können, wenn bei der Textanzeige und der Anzeigeposition auf dem Bildschirm und bezüglich des Texts, der Schriftart, der Größe und des Winkels des in Bezug auf die horizontale Linie dargestellten Textes, eine Anordnung von gekrümmtem Text in einem Bogen oder eine andere Darstellung von Text verwendet wird, diese Informationen zur Analyse verwendet werden, nachstehend muss der Text in den Bilddaten jedoch durch OCR gelesen werden. Die Erläuterung wird in der Annahme gemacht, dass die Erkennung eines Textbereichs bei 100% liegt, selbst wenn die Trefferquote des Textes selbst nicht 100% beträgt.
Algorithmus zur Analyse eines Textbereichs
Im Allgemeinen bestimmt OCR einen Textbereich und erkennt dann den individuellen Text darin. Durch die OCR-Verarbeitung werden die Positionen einer Mehrzahl Textbereiche erhalten. Die Verarbeitung erkennt keine handgeschriebenen Zeichen und ferner kein durch eine Kamera aufgenommenes fotografisches Bild, daher ist die Erfolgsrate bei der Erkennung so hoch, dass sie bei 100% angenommen werden kann. Die individuelle Auswertung von Zeichen umfasst manchmal falsche Erkennungsergebnisse, eine Erkennung von Textbereichen misslingt jedoch fast nie. Gründe dafür umfassen Fortschritte bei der Technik zur konditionalen Bildverbesserung bei Bildern von Dokumenten schlechter Qualität (siehe "Binarization based an Conditional Image Enhancement and Character Stroke Width for Low-Quality Document", Shujiro Ikeda, Hiromi Yoshida, Yoji Iiguni, Proceedings of the 2014 General Conference of the Institute of Electronics, Information and Communication Engineers) und Fortschritte bei der Leistungsverbesserung bei der Analyse durch neuronale Netzwerktechnologie und andere Verbesserungen der Erkennungsraten.
Des Weiteren ist bei der vorliegenden Erfindung OCR auch dann bei der Erkennung anwendbar, wenn die Farbe der Zeichen hell und die Farbe des Hintergrunds dunkel ist oder auch wenn die Farbe der Zeichen dunkel und die Farbe des Hintergrunds hell ist. Grundsätzlich wird dabei die Tatsache genutzt, dass, wenn ein Hochpassfilter zur Sättigung der Bilddaten angewandt wird, es möglich ist, die Kanten ungeachtet des Dunkel-/Hell-Verhältnisses der Textfarbe und Hintergrundfarbe zu erkennen. Wenn Kanten durch Ändern der Anzeigefarbe für alle Pixel erkannt werden können, so dass sie sich auf dem Mittelwert der Sättigung umkehren, wird es möglich, die Zeichen in jedem Fall durch Verarbeitung zu erfassen, indem die Zeichen dunkel gefärbt werden und der Hintergrund eine einzelne Farbe erhält.
Wenn der Hintergrund eines Bereichs, in dem ein Icon auf einem GUI-Bildschirm angezeigt wird, eine einzelne Farbe oder eine einzelne Farbe mit Schattierung hat, können selbstverständlich Zeichen erkannt werden. Wenn der Hintergrund ein reelles Bild oder ein Bild mit speziellem Design ist, werden die Zeichen weiß gefärbt, so dass die Zeichen vom Bediener des GUI-Bildschirms gelesen werden können. Aufgrund dessen ist es möglich, Zeichen zu erkennen. In diesem Fall wird angenommen, dass, selbst wenn die Trefferquote der einzelnen Zeichen niedrig ist, die Textbereiche genau erkannt werden können.
Als Nächstes wird der Algorithmus zum Erhalten von Hintergrundinformationen aus einem durch OCR erkannten Textbereich erläutert.

(1-1) Es wird nur ein Textbereich aus den ursprünglichen Bilddaten ausgeschnitten.
(1-2) Das Bild des Textbereichs wird in eine Grauskala mit 256 Stufen umgesetzt.
(1-3) Die Verteilung der Gesamtwerte der Pixelzahlen im Bild, die den unterschiedlichen Graustufen entsprechen, wird erhalten.
(1-4) Dabei konzentriert man sich auf die größte Graustufe in der Verteilung.

Wenn der Hintergrund entweder eine einzelne Farbe oder eine einzelne Farbe mit Schattierung hat, ist die Chance hoch, dass die größte Graustufe die Pixel der Hintergrundfarbe widerspiegelt. Wenn der Hintergrund ein reelles Bild oder ein Bild mit speziellem Design ist, spiegelt die größte Graustufe entweder die Pixel der Textfarbe oder die Pixel der Hintergrundfarbe wider.
Diese Graustufe wird als ”A” angegeben. Hier ist ”A” noch unbestimmt.

(1-5) Die Pixel der Graustufe, die ungefähr ±5 von der größten Graustufe entfernt sind, werden extrahiert. Diese werden als ”Pixel nahe A” bezeichnet. Des Weiteren wird das Verhältnis der Gesamtzahl an Pixeln nahe A zur Gesamtzahl an Pixeln im Textbereich berechnet. Wenn das Verhältnis ungefähr 20% bis 40% beträgt, besteht eine hohe Chance, dass ”A” die Textfarbe ist. Wenn das Verhältnis ungefähr 60% bis 80% beträgt, ist die Chance hoch, dass ”A” die Hintergrundfarbe ist.

Der Wert des hier besprochenen Prozentsatzes unterscheidet sich erheblich abhängig von der Sprache. Bei indoeuropäischen phonetischen Buchstaben neigt der Anteil der Anzahl der Pixel, die im Textbereich die Buchstaben bilden, dazu, niedrig zu sein, während er bei ideografischen Zeichen, wie etwa traditionellen chinesischen Schriftzeichen etc., eher hoch ist. In diesem Zusammenhang ist es vor der Anwendung der vorliegenden Erfindung erforderlich, die Art der erkannten Anzeigesprache des GUI-Bildschirms der Maschine mit CNC-Steuerung zu ermitteln.
Der Grund dafür, warum der Textfarbe keine einzelne Farbe gegeben wird, besteht darin, dass beim Darstellen einer Schrift im Allgemeinen der Hintergrund durch Antialiasing (Kantenglättung) verarbeitet wird, um den menschlichen visuellen Sinnen einen glatten Eindruck zu vermitteln.

(1-6) Zunächst ist die Chance hoch, dass bei den Graustufen, die ungefähr ±30 von der Graustufe A entfernt sind, welche bezogen auf die von allen Pixeln im Textbereich erhaltenen Graustufen die größte Gesamtzahl an Pixeln hat, Pixel vorhanden sind, die der Hintergrundfarbe oder der Textfarbe entsprechen. Die nächst größere Graustufe, abgesehen von den Graustufen nahe A, wird als ”B” bezeichnet. Wenn aufgrund des Verhältnisses der Gesamtfläche der Pixel der Graustufen nahe A in der vorherigen Phase eine hohe Chance bestand, dass A die Hintergrundfarbe ist, wird die folgende Routine ausgeführt: Die Pixel der Graustufen ungefähr ±5 nahe B werden als ”Pixel nahe B” bezeichnet. Das Verhältnis der Gesamtzahl an Pixeln nahe B zur Gesamtzahl an Pixeln des Textbereichs wird berechnet. Wenn das Gesamtverhältnis dieses Verhältnisses und des Verhältnisses von A 90% oder mehr beträgt, wird daraus geschlossen, dass A die Hintergrundfarbe und B die Textfarbe ist. Bei traditionellen chinesischen Schriftzeichen etc. liegen die Anteile der Anzahl an Pixeln, die zur Darstellung eines Zeichens verwendet werden, und der Anzahl an Pixeln, die für die Hintergrundfarbe verwendet werden, manchmal nahe bei 50:50.

In einem solchen Fall wird sowohl für das Verhältnis der Pixel nahe B als auch für das Verhältnis der Pixel nahe A der Anteil der Anzahl der Pixel berechnet, die aus den ursprünglichen Bilddaten und nicht aus dem Textbereich erhalten werden. Zu diesem Zeitpunkt wird die Anzahl der Pixel nahe der als Textfarbe erkannten Farbe auch niedriger als die Anzahl der Pixel nahe der als Hintergrundfarbe ermittelten Farbe. Unter Verwendung dessen ist es möglich, die Textfarbe und Hintergrundfarbe eindeutig zu bestimmen.

(1-7) Wenn das Gesamtverhältnis der Anzahl Pixel der Graustufen nahe A und der Anzahl Pixel der Graustufen nahe B zur Gesamtzahl an Pixeln eines Textbereichs ungefähr 20% bis 50% beträgt, besteht eine hohe Chance, dass ein reelles Bild oder ein Bild mit speziellem Design für den Hintergrund verwendet wurde.
(1-8) In diesem Fall werden die den Graustufen nahe A entsprechenden Pixel aus den Gesamtpixeln des Textbereichs ausgeschnitten und die restlichen Pixel als C-Bereich anzugeben. Der C-Bereich wird in 256 Farbstufen unterteilt, um die Verteilung der Gesamtpixelzahl des C-Bereichs in Bezug auf die Stufen zu erhalten. Der C-Bereich wird ferner in 256 Helligkeitsstufen unterteilt, um die Verteilung der Gesamtpixelzahl des C-Bereichs in Bezug auf die Stufen zu erhalten. Hierbei wird bewertet, ob die Gesamtpixelzahl der Bereiche bei ±5 der größten Stufen der Verteilungen 90% oder mehr der Gesamtpixelzahl des C-Bereichs beträgt.

Wenn die Bewertung sowohl der Helligkeit als auch der Stufen positiv ausfällt, ist der C-Bereich ein Hintergrund mit einer einzelnen Farbe oder ein Hintergrund, der einen visuellen Eindruck nahe einer einzelnen Farbe vermittelt. Wenn nicht, kann bestimmt werden, dass der Hintergrund ein reelles Bild ist oder dass ein Bild mit speziellem Design verwendet wird. Aufgrund dessen kann eindeutig bestimmt werden, dass A die Textfarbe ist.
Vorstehend wurde das Verfahren zum Beurteilen eines Textbereichs erläutert. Faktisch wird unter Nutzung der Gestaltgesetze der visuellen Wahrnehmung ein leichter Schattierungseffekt verwendet, um eine ästhetische Wirkung zu erzielen und dem Arbeiter das Gefühl eines speziellen Designs zu vermitteln. Des Weiteren sind gemäß dem vorstehenden Verfahren Fälle vorstellbar, in denen am Ende bestimmt wird, dass der Hintergrund mehrerer Textbereiche, der innerhalb eines Bereichs erkannt wird und zu einer ästhetischen Wirkung führt, eine einzelne Farbe oder eine einzelne Farbe mit einer Schattierung hat. Dies ist jedoch kein hemmender Faktor bei der Erreichung des Ziels der vorliegenden Erfindung, den GUI-Bildschirm des Roboters übereinstimmend mit dem GUI-Bildschirm der Maschine zu gestalten.
Als Nächstes wird der Algorithmus zum Ermitteln der Größe und Layoutposition der Figuren zum Trennen der Figuren und des Hintergrunds voneinander erläutert.
Bei der Beurteilung des Typs eines Anzeigeelements spielt die Verarbeitung der Figur eine Rolle. Die Frage ist, ob die Figur ein Firmenlogo oder ein anderer Bereich, der ein spezielles Design anzeigt, ein Icon, ein Foto oder ein Balkendiagramm, ein Kreisdiagramm oder eine Messanzeige ist.
Der Algorithmus zum Erkennen einer Figur wird nun erläutert.
Hierbei wird angenommen, dass beim Ermitteln der Größe und Layoutposition von Figuren der Gruppierungsbereich, in dem sie gespeichert sind, bekannt ist. Betrachtet man einen Algorithmus zum Trennen des Hintergrunds und der Figuren im Gruppierungsbereich, lauten die zugrundeliegenden angenommenen Fakten wie folgt:

(2-1) Wenn das Objekt, das in einem Gruppierungsbereich bedient werden kann, eine Figur ist, ist die Figur von dem Hintergrund umgeben. GUI-Entwickler glauben, dass, wenn ein Arbeiter eine Figur betrachtet, er sich auf die Figur konzentriert und sie erkennt. Um es zu ermöglichen, sich eindeutig auf die Figur zu konzentrieren, tendiert der Bereich des Hintergrunds dazu, im Gruppierungsbereich kleiner als die Figuren zu sein.
(2-2) Wenn eine Figur nicht als bedienbares Objekt erkannt werden muss, gilt die vorstehend genannte Denkweise nicht. Manchmal ist der gesamte erkannte Gruppierungsbereich eine Figur mit speziellem Design. Wenn es nicht möglich ist, einen Hintergrund und eine Figur unter Verwendung des folgenden Algorithmus zur Ermittlung des Hintergrunds voneinander zu trennen, kann bestimmt werden, dass kein Anzeigeelement vorhanden ist, das ein Arbeiter bedienen kann.
(2-3) Ein bedienbares Objekt, d. h. ein Icon, kann auf ein festgelegtes Design beschränkt sein, das in eine quadratische Form, eine regelmäßige mehreckige Form oder einen regelmäßigen Kreis eingepasst ist. Andere Designs werden von einem normalen Arbeiter durch bloßes einmaliges Betrachten derselben nicht als Icon wahrgenommen, so dass Entwickler von GUIs industrieller Anlagen normalerweise keine Icons mit einem vertikal länglichen Bereich oder Icons mit einem horizontal länglichen Bereichen entwerfen.
(2-4) Neben einem Hintergrund mit einer einzelnen Farbe oder einer Farbe mit Schattierung verwenden Icons manchmal ein reelles Bild oder ein Bild mit speziellem Design als Hintergrund. Dies ist der Fall, wenn ein Icon mit skeuomorphem Design auf einem Hintergrundbild vorhanden ist. In diesem Fall werden die Buchstaben der Bezeichnung des Icons durch weiße Buchstaben angezeigt oder anderweitig in einem Bereich dargestellt, der vom Hintergrundbild getrennt ist. Hierbei wird, selbst wenn der Hintergrund ein reelles Bild oder ein Bild mit speziellem Design ist, eine OCR-Verarbeitung der gesamten ursprünglichen Bilddaten bis zum vorherigen Schritt verwendet, um Hintergrundinformationen des Textbereichs zu erhalten. Dies wird als Basis für die weitere Analyse verwendet.
(2-5) Die Bedeutung der Icon-Figur wird beim Analysieren des GUI-Bildschirms mittels eines Bewegtbildes nur in Form von Daten als Veränderungsnachweis gespeichert und nicht anderweitig analysiert.

Als erstes Beispiel wird der Fall erläutert, in dem ermittelt wird, dass der Hintergrund eine einzelne Farbe oder eine einzelne Farbe mit Schattierung hat. Als zweites Beispiel wird der allgemeine Fall erläutert, in dem der Hintergrund ein reelles Bild oder ein Bild mit speziellem Design ist.
Der Algorithmus bei dem ersten Beispiel lautet wie folgt:

(3-1) Gruppierungsbereiche mit denselben Eigenschaften wie die ermittelte Hintergrundfarbe werden erkannt. Hierbei wird die Ermittlung hauptsächlich der Layoutpositionen eines Werkzeug-Iconmenüs, Icons mit skeuomorphem Design, Icons mit flachem Design und anderer balkenförmiger Messanzeigen oder Kreisdiagrammanzeigen ins Auge gefasst.
(3-2) Zunächst wird die Bildverarbeitung in der Annahme durchgeführt, dass ein Werkzeug-Iconmenü vorhanden ist. Hier kann das Werkzeug-Iconmenü erkannt werden. Her wird, wenn die Größe und Layoutposition der Figuren ermittelt werden können, die Verarbeitung beendet. Wenn dies nicht ermittelt werden kann, fährt die Routine mit der Phase zur Erkennung des nächsten Kandidaten fort.

Das Werkzeug-Iconmenü ist traditionell ein rechteckiger Bereich mit 16×16-Pixeln. Eine stereoskope Farbe, die die Hintergrundfarbe aufsteigend erscheinen lässt, ist an den Grenzen der rechteckigen Form angeordnet. Die Figur kann, selbst dann, wenn sie eine Liniendarstellung ist, ein skeuomorphes Design haben, die Hintergrundfarbe ist jedoch eine einzelne Farbe. Wenn mehrere Icons vorhanden sind, sind sie ferner unter gleichem Abstand parallel zur horizontalen Richtung des Bildschirms oder vertikal unter gleichem Abstand in vertikaler Richtung angeordnet. Es gibt auch Fälle von quadratischen Formen oder rechteckigen Formen, die größer als 16×16 Pixel sind. Diese können ebenfalls erkannt werden.
Daher werden zunächst die mit der Hintergrundfarbe übereinstimmenden Pixel aus dem Gruppierungsbereich entnommen. Der verbleibende Bereich wird durch Binarisierung schwarz gefärbt. Als Nächstes werden vier Modelltypen mit 90-Grad-Winkeln, die die vier Ecken der rechteckigen Form darstellen, dynamisch erstellt und es wird ein Musterabgleich durchgeführt. Wenn auch nur eines der vier Modelle einen Treffer darstellt, wird die horizontale Linie oder vertikale Linie dieses einen Modells um den Betrag von 1 Pixel verlängert und ein Musterabgleich des ursprünglichen viereckigen Modells an dem verlängerten Teil durchgeführt.
Durch Verwenden dieses Modells mit vier Ecken und des neuen Modells, bei dem die Länge einer Seite gegenüber dem dynamisch erzeugten viereckigen Modell vergrößert ist, wird die Größe des Rahmens der Grenze des Bereichs jedes Icons des Werkzeug-Iconmenüs eindeutig bestimmt. Es kann entschieden werden, dass diese Größe 16×16 beträgt oder eine größere rechteckige Form ist.
Nachdem die Größe der Rahmen der Icons eindeutig bestimmt worden ist, wird ein Musterabgleich verwendet, um zu untersuchen, ob diese unter gleichem Abstand in horizontaler Richtung oder unter gleichem Abstand in vertikaler Richtung angeordnet sind. Wenn dabei eine Übereinstimmung besteht, ist die Chance hoch, dass es ein Werkzeug-Iconmenü ist.
Als Nächstes wird bestätigt, dass zumindest irgendetwas innerhalb eines durch den Musterabgleich erkannten Rahmens dargestellt ist.
Unter Verwendung des ursprünglichen Gruppierungsbereichs, wird ermittelt, ob eine Icon-artige Figur vorhanden ist, die auf das Innere des erkannten Rahmens des Icons beschränkt ist. Hierbei werden die Verteilungen bezüglich des Farbtons, der Sättigung und der Helligkeit (Wert) innerhalb des Rahmens erhalten, das Verfahren zum Erhalten der Verteilungen wird jedoch nicht einmal für den gesamten Bereich durchgeführt, sondern in Bereiche aufgeteilt, in denen die Chance, dass eine Figur vorhanden ist, hoch ist, und dann die jeweiligen Verteilungen ermittelt. Der Grund dafür besteht darin, dass die Chance, dass Pixel für eine Figur vorhanden sind, umso höher ist, je größer die Nähe zum Zentrum des Rahmens ist, während die Chance, dass diese Pixel auf die Hintergrundfarbe entfallen, umso höher ist, je größer die Nähe zu den Grenzen des Rahmens ist. Daher wird der anfängliche Verteilungserfassungsbereich von den Grenzen des Rahmens des Icons um ein Pixel nach innen eingezogen, um einen quadratischen Bereich mit gleichen Seiten zu erhalten. Die Verteilungen werden dort ermittelt, die Hintergrundfarbe und die für den Rahmen verwendete Farbe entfernt und dann die Gesamtzahl der verbleibenden Pixel gemessen. Des Weiteren werden diese Verteilungen durch die Anzahl der die Bereiche bildenden Pixel geteilt.
Ferner wird der Bereich um ein Pixel weiter nach innen eingezogen, um einen quadratischen Bereich zu erhalten, der gleiche Seite umfasst. Die nächsten Verteilungen werden dort ermittelt und dieselbe Verarbeitung ausgeführt. Schließlich wird die Verarbeitung an dem einzelnen Punkt oder der einzelnen Linie im Zentrum des Rahmens beendet.
Zu diesem Zeitpunkt liegen die anfänglichen Verteilungen bei null oder nahe null. Werte von 1 oder nahe 1 werden ermittelt, je näher man den endgültigen Verteilungen im Zentrum des Rahmens kommt. Selbst wenn Verteilungen, die näher beim Zentrum liegen als die anfänglichen Verteilungen, nicht kontinuierlich sind, werden die Pixel eindeutig bestimmt, um ein Icon durch Bestätigen der größeren Trends darzustellen.
Als Nächstes wird der Algorithmus zum Beurteilen, ob ein Icon ein Icon mit skeuomorphen Design oder ein Icon mit flachem Design ist, erläutert. Dieser Algorithmus ermöglicht es, das Vorhandensein eines Werkzeug-Iconmenüs und die Position desselben automatisch zu bestimmen. Des Weiteren kann selbst bei Verwendung eines Icon mit sechseckiger Form oder einer anderen speziellen Umrissform, wenn der Rahmen durch Binarisierung extrahiert wird, eine ähnliche Verarbeitung zur automatischen Analyse verwendet werden.

(3-3) Hier wird die Bildverarbeitung in der Annahme durchgeführt, dass ein Icon mit flachem Design vorhanden ist. Bei dieser Bildverarbeitung ist es jedoch nicht möglich, zu bestimmen, ob das Icon den Status einer Anlage anzeigt oder ob das Icon aus einer Bedienertätigkeit und einer Rückantwort des Bildschirms resultiert.

Um dies zu bestimmen ist es notwendig, die Bewegtbilddaten zu analysieren und den Antwortzustand zu erfassen. Zur Messung der Designtrends zum Reproduzieren des ähnlichen Eindrucks und zum Ergänzen derselben ist es ausreichend, die Größe von Icons mit flachem Design und das relative Positionsverhältnis zu anderen Anzeigeelementen zu messen.
Eines der Merkmale eines Icons mit flachem Design ist, dass es eine Figur mit einer einzelnen Farbe ist, die sich im Sättigungswert oder in der Helligkeit deutlich von einer einfarbigen Hintergrundfarbe unterscheidet, oder durch eine Färbung dargestellt ist, die dieser einzelnen Farbe eine Schattierung verleiht, und im Allgemeinen so dargestellt ist, dass sie in eine quadratische Form oder einen Kreis passt.
Andere Merkmale lauten wie folgt: Icons mit flachem Design zur Statusanzeige sind nicht immer regelmäßig angeordnet, es kann jedoch angenommen werden, dass solche, die zum operativen Gebrauch vorgesehen sind, regelmäßig angeordnet sind. Wenn der Abstand zwischen den Icons gering ist, werden sie manchmal durch Farben unterschieden, die sich in Sättigung und Helligkeit von der Hintergrundfarbe unterscheiden. Des Weiteren sind die Textfarbe und die Figurenfarbe häufig völlig gleich oder liegen extrem nahe beieinander.
Daher ist es, wenn das ursprüngliche Bild unter Verwendung der vorstehenden Merkmale mit den richtigen Algorithmen verarbeitet wird, möglich, die Iconpositionen ohne Betrachtung durch einen menschlichen Designer automatisch zu ermitteln.
Beispielsweise existiert das folgende Verfahren. Es wird eine Funktion definiert, wobei einem Pixel an einer spezifischen Position eine eindeutige Merkmalsgröße verliehen wird. Dies wird so durchgeführt, dass die Größe umso höher ist, je größer die Nähe zum Zentrum des Icons ist. Dies wird für den gesamten Bereich innerhalb eines Gruppierungsbereichs ausgewertet. Da dies so ist, wird der ausgewertete Wert als die Höhe der Pixelposition erhalten, so dass es durch Verarbeiten der Funktion begrenzt auf einen Bereich mit einer Icon-artigen Figur möglich ist, die zentralen Positionen einer Mehrzahl Icons und die Abstände dazwischen zu messen. Je gleichmäßiger deren Abstände sind, desto höher ist die Chance, dass das Icon ein Icon mit flachem Design ist.
Das Verfahren zum Definieren dieser Funktion ist wie folgt: Eine Mehrzahl Bereiche wird definiert, um Ringe um die Pixel zu ziehen. Die Größe der Ringe wird entsprechend der erwarteten Größe der Icons ausgeführt. In jedem Bereich werden die Pixel der Hintergrundfarbe entfernt, die Verteilung der Sättigung erstellt und die Verteilung durch die Gesamtzahl der in dem Bereich enthaltenen Pixel geteilt. Diese Werte werden für den zentralen Bereich und die Anzahl der Ringe darstellenden Bereiche addiert. Da dies so ist, wird beim Berechnen dieser Funktion der Wert im Zentrum des Icons am größten. Weiter davon entfernt wird der Wert etwas kleiner. Wenn die Funktion auf die Pixel im Zentrum eines Bereichs angewandt wird, der nur Hintergrund enthält, beträgt der Wert null.
Durch Definieren einer Funktion zum Verarbeiten einer solchen Merkmalsgröße und einzelnes Auswerten der Pixel eines Bereichs, in dem ein Vorhandensein zu erwarten ist, ist es möglich, den Mittelpunkt und die Größe eines Icons auch ohne Bestimmung der Figur des Icons genau zu messen.
Der Algorithmus bei dem zweiten Beispiel lautet wie folgt:

(4-1) Die Hintergrundfarbe kann nicht als einzelne Farbe erkannt werden und es ist bekannt, dass das Bild ein reelles Bild oder ein Bild mit speziellem Design ist, daher wird hier nicht versucht, ein Werkzeugkasten-Icon und ein Icon mit flachem Design zu erkennen. In einem solchen Fall wird überprüft, ob ein Icon mit einem skeuomorphen Design vorhanden ist.
(4-2) Ein Gruppierungsbereich wird in rechteckige Gitterbereiche gleichen Abstands unterteilt. Innerhalb jedes Gitterbereichs wird ein kreisförmiger Bereich vorgegeben. Dieser wird als ”Gitterkreisbereich” bezeichnet. Die rechteckigen Formen werden nicht als Daten zur Bestimmung verwendet, um die Analysegenauigkeit zu verbessern, wenn eine Figur keine quadratische Form, sondern eine sechseckige Form oder ein Bogen oder ein Kreis ist.

Die Länge einer Seite der Gitterbereiche wird bevorzugt so ausgeführt, dass sie mit der Länge einer Seite des Rechtecks übereinstimmt, die mit den Zeichen kleinster Größe besetzt ist, wenn die gesamten Bilddaten des GUI-Bildschirms durch OCR analysiert werden. Dies ist der Fall, da häufig kleine Zeichen verwendet werden, wenn der GUI-Bildschirm unter einem Abstand von 20 cm bis 40 cm ständig von einem Arbeiter betrachtet werden soll. Wenn der Arbeiter jedoch andere parallele Arbeiten ausführt, während er Arbeiten auswählt, oder wenn er nur den Status überprüfen soll, bleibt der Bildschirm lediglich im Gesichtsfeld und es werden eher große Zeichen verwendet, um das Layout der GUI erkennen zu können.
In manchen Fällen gibt es keine Textinformationen und es sind nur Icons, Messanzeigen und Anzeigefarben vorhanden, die den Status angeben. In diesem Fall werden ungefähr 5 mm eingestellt und die tatsächliche Größe und Anzahl der Pixel des GUI-Bildschirms werden dazu verwendet, die Anzahl der Pixel, die dem Durchmesser eines entsprechenden Gitterkreisbereichs entsprechen, eindeutig zu bestimmen.

(4-3) Ferner werden für alle Gitterkreisbereiche Verteilungen von Gesamtzahlen der Pixel in Bezug auf 256 Stufen für Farbton, Sättigung und Helligkeit erhalten. Wenn Teile, die in ihren Verteilungen ähnlich beurteilt werden, ungefähr 30 bis 50% im gesamten Gitter erreichen, besteht ferner eine hohe Chance, dass dies eine Hintergrundfigur ist. Andere Gitterkreisbereiche sind beliebige Figuren, so dass ihre Verteilungen im Allgemeinen nicht ähnlich sind. Aus diesem Grund besteht eine hohe Chance, dass in diesem Bereich ein Icon mit skeuomorphem Design vorhanden ist.

Die Verarbeitung bis dahin ermöglicht es, den allgemeinen Positionsbereich eines Icons zu schätzen, die Position kann jedoch noch nicht ermittelt werden. Daher werden für diesen Gruppierungsbereich Pixel, bei denen die Chance besteht, dass ein Icon vorhanden ist, entfernt und es wird eine morphologische Komponentenanalyse (MCA) angewandt, um die ursprüngliche Hintergrundfigur des Pixelbereichs wiederherzustellen, den die verschiedenen Icons überschrieben haben. Dieser Algorithmus ist in "Simultaneous Cartoon and Texture Image Inpainting Using Morphological Component Analysis (MCA)", M. Elad, J.-L. Starck, P. Querre, D. L. Donoho, 'Applied and Computational Harmonic Analysis', August 2005, genau beschrieben.
Durch Vergleichen der ausgeschlossenen Pixel und der wiederhergestellten Pixel miteinander und durch Ausschließen von Pixeln, bei denen bestimmt werden kann, dass sie in Farbton, Sättigung und Helligkeit nahe beieinander liegen, ist es möglich, den ursprünglichen Hintergrund aus den ausgeschlossenen Pixeln zu entfernen und ein Icon mit skeuomorphen Design hervorstechen zu lassen. Auf diese Weise ist es möglich, die Größe und zentrale Position eines Icons zu ermitteln.
Mit anderen Worten, der Hintergrund um ein Icon wird als Rahmenbereich behandelt und die dem Rahmen entsprechende Figur verdeutlicht, um die zentrale Position des Icons mit skeuomorphem Design zu ermitteln.

(4-4) Danach wird ferner das Vorhandensein von Textfeldern oder Listenfeldern etc. durch einen Modellabgleich untersucht.

Dadurch ist es möglich, die Designtrends beim Erscheinungsbild eines Icons des GUI-Bildschirms der Maschine mit CNC-Steuerung automatisch zu analysieren. Es ist nicht nötig, eine Analyse der Bedeutung des Icons selbst durchzuführen.
Erläuterung des Algorithmus
Es wird darauf hingewiesen, die typischen Schriftarten und -größen durch die OCR-Verarbeitung gemäß dem ”Algorithmus zur Analyse eines Textbereichs”, der bis zum vorigen Abschnitt erklärt worden ist, bereits bekannt sind.

(5-1) Erkennen des Hintergrunds: Beim Analysieren des Bildes wird angenommen, dass kein reelles Bild oder Bild einer Figur als Hintergrund auf dem Bildschirm platziert ist.
(5-2) Umsetzen des Bildes in einen Grauskalagradienten und Aufteilen in 256 Bereiche. Die Gesamtwerte von Pixeln in Bildern, die den verschiedenen Graustufen entsprechen, werden berechnet. Aufgrund dessen wird eine Verteilung dessen erhalten, wie viel jeder Stufe entsprechendes Grau in den Bilddaten enthalten ist. Es besteht eine hohe Chance, dass die Pixel, die der Graustufe von Pixeln mit dem höchsten Gesamtwert darin entsprechen, den Hintergrund bilden. Dieser Grauton wird als ”D” bezeichnet. Um dies einzugrenzen, wird die Pixelposition für die Graustufe ermittelt, die ungefähr ±20 von der Graustufe mit dem höchsten Gesamtwert entfernt ist. Dies wird als ”Graustufe nahe D” bezeichnet. Ungefähr ±20 wird eingestellt, da häufig eine Abstufung verwendet wird, die dem Hintergrund einen Schattierungseffekt hinzufügt, und um dies zu erkennen.

Ferner wird aus den Bilddaten vor der Verarbeitung ein binarisiertes Bild erzeugt, das nur die abgedeckten Pixel extrahiert. Dieses Bild kann in einen äußeren und einem inneren Teil aufgeteilt werden. Im Inneren befinden sich Balken- und Kreisdiagramme oder andere geometrische Formen, die Indikatoren und andere verschiedene UIs zeigen.
Wenn die Form der äußeren Grenze des binarisierten Bildes eine einfache rechteckige Form oder quadratische Form mit abgerundeten Ecken oder eine Balkenform hat, besteht eine hohe Chance, dass D die Hintergrundfarbe ist. Daher wird die Bildverarbeitung zum Musterabgleich durchgeführt, um das Äußere des binarisierten Bildes abzudecken. Es wird angenommen, dass das übereinstimmende Modellbild eine rechteckige Form oder quadratische Form mit abgerundeten Ecken hat. Es wird bestimmt, ob es mit der äußeren Grenze des binarisierten Bildes übereinstimmt, wobei die Form parallel zur horizontalen Linie des Bildschirms ist. Eine vollständige Übereinstimmung ist nicht erforderlich. Es ist ausreichend, wenn das Verhältnis 80% oder mehr beträgt.

(5-3) Die ursprünglichen Bilddaten werden als Ganzes durch OCR verarbeitet. Wenn keiner der erkannten Textbereiche die Grenzen des binarisierten Bildes überlappt und einer oder mehrere innerhalb des binarisierten Bildes vorhanden sind, wird D eindeutig als Hintergrundfarbe bestimmt.

Die RGB-Werte der Hintergrundfarbe werden durch Gewinnen der RGB-Werte der D entsprechenden Pixel aus den ursprünglichen Bilddaten erhalten.

(5-4) Es wird angenommen, dass die Hintergrundfarbe keine einzelne Farbe ist und es wird nach den verbleibenden drei Farben der Grundfarben des Hintergrunds gesucht. Drei Farben werden festgelegt, da, wenn bei dieser Suche nichts gefunden wird, angenommen wird, dass die Hintergrundfarbe eine einzelne Farbe ist und die Routine fährt mit dem nächsten Schritt fort.
(5-5) Bei einer GUI mit großem Bildschirm ist es nicht unüblich, dass neben einem Text dunkler Farbe über einem Hintergrund heller Farbe ein Bereich vorhanden ist, der einen Text heller Farbe über einem Hintergrund dunkler Farbe enthält. Das vorstehend genannte Verfahren zur Analyse des Hintergrunds des Textbereichs wird für alle erkannten Textbereiche durchgeführt.

Hierbei werden Hintergrundfarben, mit Ausnahme der einen oder zwei bis hierhin bestimmten Hintergrundfarben, alle auf diesen Hintergrundfarben gehalten.

(5-6) Wenn er bis hierhin nicht durch das Verfahren erhalten wurde, selbst wenn eine andere Hintergrundfarbe mit einem von der Hintergrundfarbe D umgekehrten Dunkel-/Hellverhältnis von Textfarbe und Hintergrundfarbe vorhanden ist, besteht eine Chance, dass dies kein Bedienbereich des GUI-Bildschirms, sondern ein Anzeigebereich eines Logos oder einer anderen Figur ist, der nicht durch die OCR-Erkennung abgedeckt wird.

Beispielsweise ein Logo, das so dargestellt ist, dass in einen Hintergrund eingebettet ist und das Gefühl einer besonderen Qualität vermittelt, erscheint in vielen Fällen als spezielles Design und kann möglicherweise nicht durch OCR als Text erkannt werden. In einem solchen Fall ist es möglich, die Verteilung von Gesamtwerten der Pixelzahl auf die unterschiedlichen Graustufen eines in eine Grauskala umgesetzten Bilds der ursprünglichen Bilddaten zu verwenden, um die Graustufen mit hohen Pixelgesamtwerten an der Außenseite des Bereichs, der ungefähr ±20 von der Graustufe mit der größten Anzahl entfernt ist, zu ermitteln. Die ermittelte Graustufe wird als ”F” bezeichnet. Es ist beinahe sicher, dass ”F” der Hintergrund eines Bereichs ist, der ein spezielles Design hat und von allgemeinen GUI-Bedienbereichen getrennt ist.
Der Schwellenwert zum Beurteilen von F muss vorab festgelegt werden, damit er geeignet ist, beispielsweise Graustufen von solchen zu unterscheiden, die niedrige Gesamtwerte haben, und dort den Unterschied zu machen, wo der Gesamtwert plötzlich hoch wird und das Dreifache oder mehr der Gesamtwerte der niedrigen Stufen beträgt.

(5-7) Trotz des Umstands, dass bis hierhin durch die Analyse eine aus einem Textbereich extrahierte Hintergrundfarbe mit einer einzelnen Farbe ermittelt wurde, ist der Anteil als Hintergrundfarbe manchmal gering, wenn der Anteil dieser Hintergrundfarbe anhand der ursprünglichen Bilddaten als Ganzes berechnet wird. In einem solchen Fall ist, je größer die Nähe zur Fläche des Bildschirms als Ganzes, die Chance, dass ein reelles Bild oder ein spezielles Bild mit speziellem Design vorgegeben ist, umso höher.

Bei dem GUI-Bildschirm der Maschine mit CNC-Steuerung kann angenommen werden, dass es für gewöhnlich keinen Zustand gibt, in dem keine Anzeigeelemente zur Bedienung vorhanden sind, so dass es durch Verwenden eines Suchalgorithmus, der davon ausgeht, dass ein Bedienbereich des Arbeiters, wie etwa ein rechteckiger, elliptischer, kreisförmiger oder anderer Bedienbereich, im Inneren des auf dem Bildschirm als Ganzes eingestellten Bildes vorhanden ist, möglich ist, den zur Bedienung genutzten Bereich, der auf einen Teil des Bereichs des Bildschirms als Ganzes eingeschränkt ist, zu analysieren.

(5-8) Es kann angenommen werden, dass der erste eingeschränkte, zur Bedienung genutzte Bereich durch OCR erkennbaren Text aufweist. Dies basiert darauf, dass die Maschine mit CNC-Steuerung zum industriellen Gebrauch zur Maschinenbedienung ausgelegt ist.
(5-9) Durch Durchführen einer OCR-Verarbeitung für die gesamten ursprünglichen Bilddaten und Analysieren der Hintergrundinformationen des Textbereichs wie vorstehend beschrieben, werden die Kandidaten für die Hintergrundfarbe bestimmt. Ein Bereich, in dem sich diese Hintergrundfarbe erstreckt, hat eine hohe Chance ein Bereich zur Bedienung durch den Arbeiter zu sein.
(5-10) Ein binarisiertes Bild wird anhand der ursprünglichen Bilddaten als Ganzes erhalten, und zwar begrenzt auf einen Grauton, der aus der Hintergrundfarbe erhaltenen wird und nahe bei einem Grauton liegt, der ungefähr ±20 Stufen vom Grauton entfernt ist. Dieses binarisierte Bild wird unter Verwendung eines Modells mit rechteckiger Form oder rechteckiger Form mit abgerundeten Ecken durch einen Musterabgleich verarbeitet, wobei das Innere ausgeschnitten wird, um einen zur Bedienung genutzten Bereichs eindeutig zu bestimmen.

Bei einem Bereich mit einer Übereinstimmung von 80% oder mehr ist es möglich, die Form des Bereichs durch Entfernen des als Rauschen erscheinenden Teils von dem Teil an der Außenseite des Bereichs zu erkennen, in dem ein reelles Bild oder spezielles Bild vorhanden ist. Es wird ferner überprüft, ob im Inneren des übereinstimmenden Bereichs ein durch OCR erkannter Textbereich vorhanden ist, um einen zur Bedienung genutzten Bereich und überdies die Hintergrundfarbe eindeutig zu bestimmen.

(5-11) Erkennen von Gruppierungsbereichen.

Bei einem GUI-Bildschirm zur Bedienung von Industrieanlagen trennen ”Gruppierungsbereiche” den Betriebsstatus der Anlage darstellende Bereiche und zu bedienende Bereiche sowie Anzeigebereiche von Firmenlogos voneinander. Sie können durch Entfernen von als Hintergrundfarbe erkannten Bereichen aus dem ursprünglichen Bild erkannt werden.

(5-12) Gruppierungsbereiche werden manchmal durch Grenzen rechteckiger Form oder allgemeiner geometrischer Form mit Farben definiert, die sich von der Hintergrundfarbe unterscheiden. Manchmal gibt es so etwas nicht. Wenn gar keine den Grenzen entsprechende Farbe vorhanden ist, werden die Grenzen, die einen Gruppierungsbereich durch das Positionsverhältnis von Anzeigeelementen aufteilen, beliebig zwischen den Bereichen von Sätzen desselben Anzeigeelementtyps oder Grenzen mit unterschiedlichen Hintergrundfarben aufgeteilt.

Wenn eine den Grenzen entsprechende Farbe vorhanden ist, wird ein Hochpassfilter für die Sättigung (Wert) oder ein Hochpassfilter für den Farbton verwendet, um die Kanten zu erkennen. Zur Erkennung wird ein Musterabgleich durchgeführt, so dass die Kanten gerade und nahe der Breite und Länge des Hintergrundbereichs als Ganzes gelegen sind. Die Pixelpositionen der erkannten Positionen können als die Grenzen des Gruppierungsbereichs bestimmt werden.

(5-13) Erkennen des/der ständig angezeigten Menüs, Iconmenüs oder Globalnavigation.

Ein Menü wird in der Annahme erkannt, dass ein Textlabel vorhanden ist. Der Umstand, dass es ein Menü ist, bedeutet, dass die folgenden herkömmlichen Designmuster vorhanden sind, daher werden für jedes dieser Designmuster Algorithmen erstellt, die dazu in der Lage sind, diese zu erkennen.
Wenn ein Textlabel vorhanden ist, erzeugen eine OCR-Verarbeitung des gesamten Bereichs der ursprünglichen Bilddaten bis hin zum vorherigen Verfahren und eine Analyse der Textbereiche Kandidaten für die Position des Textlabels und Informationen über die Hintergrundfarbe.
Um zu bestimmen, dass ein Bereich weder ein einfaches Label, noch ein Textfeld und auch kein anderes Anzeigeelement, sondern ein Menü ist, ist es möglich, zu bestimmen, ob Elemente vorhanden sind, die parallel in einer vertikalen Anordnung oder einer horizontalen Anordnung nahe den Grenzen des Gruppierungsbereichs angeordnet sind.
Bei nur einem einzelnen Satz Bilddaten sind dem Grenzen gesetzt. Wenn Filmdaten vorhanden sind, werden die Bilddaten nach der Bildschirmantwort beim Bedienen des Menüs des Bildschirms dazu verwendet, die Änderung des Bildschirms zu messen und dadurch Informationen zu erhalten, die eindeutig beweisen, dass es sich um ein Menü handelt. Solange kein eindeutiger Nachweis, dass es sich um kein Menü handelt, durch eine automatische Analyse der Bildschirmänderung erhalten wird, wird die Bestimmung, dass es sich um ein Menü handelt, nicht aufgehoben. Im Gegensatz dazu werden, selbst wenn eine Bestimmung, dass es sich um ein Menü handelt, erhalten wird, wenn es nicht möglich ist, die Bildschirmänderung aufgrund der Bedienung durch den Arbeiter zu erhalten, die Informationen in einer Form gespeichert, die die Möglichkeit offen lässt, dass es sich bei dem Bereich um ein Menü oder ein Label handelt.

(5-15) Der Fall umfasst nur Text, es ist jedoch eine Hintergrundfarbe vorgegeben: Der Umstand, dass Textbereiche parallel vertikal oder horizontal angeordnet sind und die oberen und unteren sowie linken und rechten Enden durch dunkle Grenzfarben, Balken mit Grenzen, etc. begrenzt sind, wird durch ein Hochpassfilter zum Erkennen eines Menüs erkannt und bestätigt.
(5-16) Der Fall repräsentiert eine Überschreibung eines nahegelegenen Anzeigebereichs durch Drücken einer vorgegebenen Taste einer Tastenfolie eines Geräts. Dies wird nicht durch nur ein einzelnes Bild entschieden. Es werden zwei Bilder erstellt, eines, bei denen das Menü nicht angezeigt wird, und eines, bei dem es angezeigt wird, und der Unterschied wird zur Erkennung durch OCR verwendet.
(5-17) Ein Iconmenü oder ein mit einem Label versehenes Icon kann durch das Verfahren erkannt werden, das unter ”Algorithmus zur Erkennung der Größe oder Layoutposition einer Figur zum Trennen einer Figur und eines Hintergrunds voneinander” im vorherigen Abschnitt beschrieben ist.
(5-18) Der Texteingabebereich und das Label werden erkannt. Dies ist der Fall, da die Hintergrundfarbe des Texteingabebereichs für gewöhnlich weiß ist und selbst wenn nicht, gibt es einen Unterschied im Farbton, in vielen Fällen liegt er nahe der Sättigung der Hintergrundfarbe. Wenn die Durchführung eines Musterabgleichs darauf basiert, kann die Position erkannt werden.
(5-19) Das Label wird durch Entfernen dessen, was innerhalb des Anzeigeelements vorhanden ist, das bis hierhin durch das Verfahren in dem durch OCR erkannten Textbereich ermittelt wurde, ausfindig gemacht. Danach werden alle Textbereiche als Label bestimmt.
(5-20) Die verbleibenden unklaren Bereiche werden als Bilder mit speziellem Design bestimmt. Kandidaten für Balkendiagramme, Messanzeigen und Kreisdiagramme werden jedoch vorab durch einen Musterabgleich erkannt. Wenn die zur Statusanzeige verwendeten Balkendiagramme, Messanzeigen und Kreisdiagramme bewegte Bilddaten sind, ändert sich der angezeigte Status manchmal mit der Zeit. Wenn dies erkannt wird, wird die Analyse fortgesetzt. Insbesondere ein 3D-Anzeigebereich kann nicht durch nur einen einzelnen Satz Bilddaten erkannt werden. Er kann durch eine Bildverarbeitung eines oder mehrere Sätze von Bilddaten in dem Zustand erkannt werden, der im Anzeigebereich enthalten ist und sich im Anzeigeinhalt ändert.

Der vorstehend genannte Algorithmus kann so ausgeführt werden, dass er ständig automatisch durch eine bestehende Bildverarbeitungstechnik ausgeführt wird. Der Typ und das Layout der Anzeigeelemente können analysiert werden. Bei einem einzelnen Satz Bilddaten wird es unklare Typen von Anzeigeelementen geben, aber durch Analysieren bewegter Daten und Extrahieren, Vergleichen und Analysieren der Bildschirmänderungen aufgrund operativer Rückantworten der Anzeigeelemente ist es möglich, die fehlenden Informationen zu ergänzen und den Typ der Anzeigeelemente zu erkennen.
Bei dem vorstehenden Verfahren ist es nicht möglich, automatisch alle Anzeigeelemente mit 100%iger Genauigkeit zu erkennen, indem man sich nur auf Bilddaten oder Bewegtbilddaten verlässt, eine Genauigkeit von 80% oder mehr kann jedoch erwartet werden. Es ist möglich, die erkannten Anzeigeelemente weiter zu analysieren und die Verlässlichkeit der Erkennung durch einen numerischen Wert zu bestimmen. Durch Festlegen eines Schwellenwerts, durch den Erkennungsfehler festgestellt werden, nähert sich die Erkennungsrate von Anzeigeelementen, die als Standard für die Beschränkung verwendet wird, 100%.
Verfahren zum Erkennen eines Unterschieds von Anzeigeelementen
Der hier angesprochene ”Unterschied” betrifft nicht individuelle Icons oder andere individuelle Designs, sondern die Größe, die verwendete Farbe, den Schattierungseffekt, etc. des Erscheinungsbildes, wobei das Design außer Acht gelassen wird. Für die Anzeigeelemente des Bildschirms des Roboters werden Werte bestimmt, die den Attributen des GUI-Bildschirms entsprechen, so dass diejenigen von übereinstimmenden Typen mit den Darstellungen auf dem GUI-Bildschirm der Maschine mit CNC-Steuerung bis ins Detail übereinstimmen.
Die Daten des Typs und der Größe der Anzeigeelemente und der Anzeigeposition auf dem GUI-Bildschirm der Maschine mit CNC-Steuerung wurden bereits erstellt, so dass als Nächstes der vorstehend erläuterte Algorithmus zur Bestimmung des Layouts in Bezug auf die zweite Ausführungsform ausgeführt wird.
Icons und Schriften müssen jedoch auf der Roboterseite so erstellt werden, dass sie dem Modell der individuellen Maschine entsprechen. Im Fall von Icons beispielsweise werden solche, die skeuomorphen Designs entsprechen, und solche, die flachen Designs entsprechen, auf der Roboterseite erstellt.
Verfahren zum Erzeugen eines Konstanz aufweisenden Bildschirms basierend auf den Gestaltgesetzen der visuellen Wahrnehmung
Die Gesetze der Gestaltgesetze der visuellen Wahrnehmung, die in der kognitiven Psychologie zu finden sind und auf das GUI-Design angewandt werden können, wie in "Designing with the Mind in Mind, Second Edition" Jeff Johnson, in japanischer Sprache veröffentlicht durch Impress, "Gestalt principles of visual perception", beschrieben, lauten wie folgt:

(a) Nähe: Nahe beieinanderliegende Objekte scheinen zur selben Gruppe zu gehören.
(b) Ähnlichkeit: Ähnliche Objekte scheinen zur selben Gruppe zu gehören.
(c) Kontinuität: Objekte werden häufig nicht als Mehrzahl diskontinuierlicher Teile wahrgenommen, sondern als kontinuierliche Form.
(d) Geschlossenheit: Eine offene Form wird versucht zu schließen.
(e) Symmetrie: Ein kompliziertes Objekt wird häufig vereinfacht interpretiert.
(f) Figur-Grund-Beziehung: Das Gehirn teilt ein Blickfeld in Vordergrund und Hintergrund auf.
(g) Gemeinsames Schicksal: Sich gleichzeitig bewegende Objekte werden als eine Gruppe bildend oder verbunden wahrgenommen.

Es gibt mehrere Verfahren zur Anwendung derselben zur Reproduktion des ähnlichen Eindrucks.
Verfahren zum Erkennen des Anzeigeelementtyps unter Verwendung der Gestaltgesetze der visuellen Wahrnehmung
Erweiterung des Verfahrens zur Erkennung des Hintergrunds
Die im vorstehenden Abschnitt erläuterte Erkennung eines Hintergrunds kann hinsichtlich der Erkennungsgenauigkeit durch einen von den Gestaltgesetzen der visuellen Wahrnehmung abgeleiteten Algorithmus verbessert werden.
Das Verfahren zur Erkennung des Hintergrunds unter Verwendung des Gesetzes der Figur-Grund-Beziehung wird erläutert. Dies funktioniert sogar dann wirkungsvoll, wenn kein fotografisches Bild als Hintergrund bestimmt wird.
Wenn es innerhalb eines relativ breiten Bereichs mit einer spezifischen Farbe einen relativ schmalen Bereich gibt, würde eine Person stark dazu tendieren, den schmalen Bereich als Figur und den diesen abdeckenden breiten Bereich als Grund zu interpretieren. Ein Entwickler würde stark dazu tendieren, dies zu beachten. Insbesondere kann davon ausgegangen werden, dass eine GUI zur Bedienung einer Industrieanlage dies immer beachten würde, um eine falsche Bedienung durch den Arbeiter zu verhindern.
Das bedeutet, dass es möglich ist, einen Algorithmus zum umgekehrten Erkennen der Hintergrundfarbe anhand des Algorithmus zum Erkennen eines Icons mit einem flachen Design zu erstellen. Die Erweiterung des Verfahrens zum Erkennen des Gruppierungsbereichs sowie das Gesetz der Nähe und das Gesetz der Ähnlichkeit werden tatsächlich angewandt, ob der Entwickler diese nun kennt oder nicht.
Das Positionsverhältnis zwischen einem Label und einem Textfeld ist oft eines, bei dem sie in einer Linie parallel zur horizontalen Line angeordnet sind oder zur linken oder rechten Seite einer vertikalen Linie geneigt positioniert sind, wobei das Label oben und das Textfeld direkt darunter angeordnet ist. Sprich, nach dem Durchführen eines Musterabgleichs zum Erkennen von Objekten, wie Textfeldern, gemäß dem vorherigen Abschnitt, wenn ein Textbereich in einer nahegelegenen fluchtenden Position vorhanden ist, bedeutet das, dass der Textbereich ein Label ist und dass das Label als das Textfeld erläuternd erkannt wird und inhaltlich nicht davon getrennt werden kann. Faktisch ist es schließlich möglich, ein Label und ein Textfeld durch eine Anhäufung von zusätzlichem Beweismaterial zu erkennen, dass sie den anderen Layoutgesetzen von UI-Elementen nicht widersprechen.
Wenn ein menschlicher Entwickler versucht, die Gestaltgesetze der visuellen Wahrnehmung anzuwenden, anstatt ein neues Design zu ersinnen, nutzt er sie in vielen Fällen als Richtlinien zum Überprüfen, ob die erdachten Designs falsch verstanden werden. Die Überprüfungen, auf die sich ein menschlicher Entwickler konzentriert, können auch dann wenigstens zum Teil automatisch durch den Roboter 3 durchgeführt werden, wenn nicht alle möglich sind.
Ob die durch die vorliegende Erfindung automatisch hinzugefügten Anzeigeelemente zur Bedienung und Statusbestätigung des Roboters 3 durch den Arbeiter missverstanden werden würden, kann durch Erstellen eines Algorithmus automatisch überprüft werden, der das Gesetz der Kontinuität und das Gesetz der Geschlossenheit sowie eine Bildverarbeitung anwendet. Beispielsweise werden der Fall, in dem die Möglichkeit, dass ein hinzugefügtes Icon aufgrund des dem Gesetz der Kontinuität entsprechenden Bestimmungsverfahrens im Vergleich zu umgebenden Merkmalen des Bildes so angesehen wird, dass es Kontinuität mit einem anderen Merkmal hat, letztlich höher ist, und der Fall untersucht, in dem es aufgrund des dem Gesetz der Geschlossenheit etc. entsprechenden Bestimmungsverfahrens letztlich gemäß einer anderen Bedeutung ausgelegt wird. Durch Wechseln von bestimmten in nicht bestimmte alternative Anzeigeelemente ist es möglich, eine automatische Hinzufügung von Anzeigeelementen zu verhindern, die von einem Arbeiter leicht missverstanden werden.
Der Algorithmus des Bestimmungsverfahrens kann hier auch ein durch den Entwicklungsstab des Entwicklers des Roboters 3 erdachter Algorithmus sein, er kann jedoch auch mittels Technologien zum Maschinenlernen oder für mehrschichtige neuronale Netze abgeleitet werden. Wenn beispielsweise ein mehrschichtiges neuronales Netz verwendet wird, gibt es das Verfahren zum Einbeziehen einer Verarbeitung zum problemlosen Bestimmen der Lernausrichtung, das dem Gesetz der Kontinuität und dem Gesetz der Geschlossenheit gemäß den Zwischenschichtlerngesetzen entspricht. ”Überwachtes Lernen” wird unter Verwendung von Statistikdaten darüber ausgeführt, ob Missverständnisse auftreten würden, die durch Nutzbarkeitstests an menschlichen Versuchspersonen als Input/Output erhalten werden. Der Roboter 3 führt den Bestimmungsalgorithmus aus.
Wenn dies angewandt wird und es möglich ist, zu bestimmen, dass Icons mit skeuomorphem Design regelmäßig angeordnet sind, kann der diese abdeckende rechteckige Bereich als Gruppierungsbereichskandidat ermittelt werden.
Gemäß der vorliegenden Erfindung werden die folgenden Vorteile erzielt.
Selbst in dem allgemeinen Fall, in dem der Maschinenhersteller keine Kombinationen von Attributwerten bereitstellt, die Anzeigeelemente zum Handhaben von Robotern unterschiedlicher Firmen entsprechen, und die Merkmale des GUI-Bildschirms der Maschine mit CNC-Steuerung ferner nicht in Form von Definitionen von Attributen und Werten derselben erhalten werden können, werden die Bilddaten des GUI-Bildschirms der Maschine und Bewegtbilddaten nicht durch sie betrachtende menschliche Entwickler analysiert, sondern durch Ausführen einer Bildverarbeitung mit einem geeigneten Verfahren automatisch analysiert, so dass die Kosten zum übereinstimmenden Gestalten des GUI-Bildschirms des Roboters gesenkt werden.
Selbst wenn der Roboter 3 mit einer Maschine verbunden wird, die sich von der Maschine 2 unterscheidet, werden, solange die andere Maschine auf dieselbe Weise konfiguriert ist wie die Maschine 2, Anzeigeelemente zur Bedienung und Statusbestätigung des Roboters 3 durch ein dem vorstehend beschriebenen ähnliches Verfahren automatisch dem GUI-Bildschirm der anderen Maschine hinzugefügt. Auf diese Weise können die unterschiedlichen Designs der GUI-Bildschirme der Maschinen mehrerer Hersteller ohne Eingreifen eines menschlichen Entwicklers automatisch durch den Roboter 3 gehandhabt werden.
Die Erfolgsrate der Analyse der Anzeigeelemente anhand der Bildaufnahmedaten liegt jedoch nicht bei 100%, wie auch in "Associating the Visual Respresentation of User Interfaces with their Internal Structures and Metadata", 15.–19. Oktober 2011, UIST'11, beschrieben. Für nicht vorgegebene Attributwerte werden Standardwerte verwendet.
Als Nächstes wird ein Robotersystem 1 gemäß einer vierten Ausführungsform erläutert. Das Robotersystem 1 gemäß der vorliegenden Ausführungsform ist auf dieselbe Weise konfiguriert wie die in 13 gezeigte dritte Ausführungsform. Das Robotersystem 1 ist so konfiguriert, dass das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil den Bildschirm periodisch aufnimmt und die Robotersteuereinrichtung 4 die Bildaufnahmedaten nach Bedarf analysiert.
Bei der vorliegenden Ausführungsform wird davon ausgegangen, dass das ”Kommunikationsnetzwerk” eines ist, bei dem eine Echtzeiteigenschaft so bereitgestellt wird, dass das aufgenommene Bild mit hoher Geschwindigkeit übertragen werden kann.
16 ist ein Flussdiagramm, das das Ausführungsverfahren im Robotersystem 1 gemäß der vorliegenden Ausführungsform zeigt. Gemäß der vorliegenden Ausführungsform ist es möglich, Daten des aufgenommenen Bildes in kurzen Zeitintervallen zu erfassen.
Der Schritt des Analysierens eines Satzes Bildaufnahmedaten wird auf dieselbe Weise ausgeführt wie bei der dritten Ausführungsform. Es ist möglich, geänderte Teile aus den Daten der Mehrzahl Bildschirme zu extrahieren, die zu vorgegebenen Zeitpunkten erfasst werden, um die Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten innerhalb des GUI-Bildschirms 51 vorzugeben.
Des Weiteren ist es bei einem Anzeigeelementtyp, der anhand eines einzelnen Satzes Bildaufnahmedaten nicht erkannt werden kann, möglich, den Kontext der Bildschirmänderung zu analysieren, um die Eignung des erkannten Attributwerts zu verifizieren. Wenn das Verifikationsverfahren bei einer spezifischen Verarbeitung einen Fehler findet, kann eine Überarbeitung durchgeführt werden, um den Fehler zu korrigieren.
Gemäß der vorliegenden Ausführungsform ist es möglich, die Aufnahme von Bildern in kurzen Zeitintervallen fortzusetzen und Änderungen des GUI-Bildschirms 51 der Anzeigeeinrichtung 5 zu messen, so dass es möglich ist, die Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten der Anzeigeelemente der Anzeigeeinrichtung 5 zu ermitteln. Selbst bei einem Gruppierungsbereich des GUI-Bildschirms 51 der Anzeigeeinrichtung 5, der durch eine Analyse eines einzelnen GUI-Bildschirms 51 als nicht erkennbar bestimmt wird, ist es manchmal möglich, den Anzeigeelementtyp durch eine Analyse des Kontexts der Bedienung durch den Arbeit zu erkennen. Es ist ferner möglich, die neu ermittelten Analyseergebnisse als Basis zur Verbesserung der Anzeige der Anzeigeelemente des Roboters auf dem GUI-Bildschirm 51 der Anzeigeeinrichtung 5 zu verwenden.
Die 17 bis 28 zeigen Robotersysteme 1 gemäß verschiedenen Modifikationen.
17 zeigt ein Robotersystem 1 gemäß einer Modifikation der ersten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Maschinenattributwertspeicherteil 12 in die CNC-Steuerung 20 eingebaut. In diesem Fall ist die Anzeigeeinrichtung 5 beispielsweise mit einem Bildschirm-Tastfeld oder einer Kombination aus einer Flüssigkristallanzeige und einer mechanischen Tastenfolie ausgestattet.
18 zeigt ein Robotersystem 1 gemäß einer Modifikation der zweiten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Maschinenattributwertspeicherteil 12 in die CNC-Steuerung 20 eingebaut.
19 zeigt ein Robotersystem 1 gemäß einer anderen Modifikation der ersten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Maschinenattributwertspeicherteil 12 in die Anzeigeeinrichtung 5 eingebaut. Die Anzeigeeinrichtung 5 erzeugt einen Bildschirm anders als bei einem Bildschirm-Tastfeld oder einer Kombination aus einer Flüssigkristallanzeige und einer mechanischen Tastenfolie oder einem anderen HCI-(Human-Computer Interaction/Mensch-Computer-Interaktion)Teil oder weist eingebaute Komponenten auf, wie etwa einen OS-(Operating System/Betriebssystem)Speicher, eine Speicherplatte mit großer Kapazität (Festplattenlaufwerk, Festkörperplatte, etc.), eine Videokarte, eine Bildschirmsteuersoftware, etc.. Bei dieser Modifikation ist die CNC-Steuerung 20 nicht an der Erzeugung des GUI-Bildschirms 51 beteiligt.
20 zeigt ein Robotersystem 1 gemäß einer anderen Modifikation der zweiten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Maschinenattributwertspeicherteil 12 in die Anzeigeeinrichtung 5 eingebaut.
21 zeigt ein Robotersystem gemäß einer Modifikation der dritten oder vierten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11, das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil 13 und das Maschinenattributwertspeicherteil 12 in die CNC-Steuerung 20 eingebaut.
22 zeigt ein Robotersystem 1 gemäß einer anderen Modifikation der dritten oder vierten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11, das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil 13 und das Maschinenattributwertspeicherteil 12 in die Anzeigeeinrichtung 5 eingebaut.
23 zeigt ein Robotersystem 1 gemäß einer weiteren Modifikation der ersten Ausführungsform. Bei dieser Modifikation ist das Maschinenbildschirmerzeugungsteil 11 in die CNC-Steuerung 20 eingebaut. Das Maschinenattributwertspeicherteil 12 ist in einem Cloud-Server bereitgestellt. Die CNC-Steuerung 20 ist über ein Cloud-Kommunikationsnetzwerk 71 mit dem Cloud-Server 7 verbunden. Die Attributwerte der Anzeigeelemente des Roboters 3 werden vom Cloud-Server 7 an das Maschinenbildschirmerzeugungsteil 11 der CNC-Steuerung 20 gesendet. Wenn die Kommunikation zwischen der CNC-Steuerung 20 und der Robotersteuereinrichtung 4 unterbrochen wird, werden die Anzeigeelemente es Roboters 3 nicht auf dem GUI-Bildschirm 51 angezeigt.
24 zeigt ein Robotersystem 1 gemäß einer weiteren Modifikation der zweiten Ausführungsform. Bei dieser Modifikation ist das Maschinenbildschirmerzeugungsteil 11 in die CNC-Steuerung eingebaut. Das Maschinenattributwertspeicherteil 12 ist im Cloud-Server bereitgestellt. Die CNC-Steuerung 20 ist über das Cloud-Kommunikationsnetzwerk 71 mit dem Cloud-Server 7 verbunden.
25 zeigt ein Robotersystem 1 gemäß noch einer weiteren Modifikation der ersten Ausführungsform. Bei dieser Modifikation ist das Maschinenbildschirmerzeugungsteil 11 in die Anzeigeeinrichtung 5 eingebaut. Das Maschinenattributwertspeicherteil 12 befindet sich im Cloud-Server 7. Die Anzeigeeinrichtung 5 ist über das Cloud-Kommunikationsnetzwerk 71 mit dem Cloud-Server 7 verbunden. Bei dieser Modifikation ist die CNC-Steuerung 20 nicht an der Erzeugung des GUI-Bildschirms 51 beteiligt. Die Attributwerte der Anzeigeelemente des Roboters 3 werden vom Cloud-Server 7 an das Maschinenbildschirmerzeugungsteil 11 der Anzeigeeinrichtung 5 gesendet. Wenn die Kommunikation zwischen der CNC-Steuerung 20 und der Robotersteuereinrichtung 4 unterbrochen wird, werden die Anzeigeelemente des Roboters 3 nicht auf dem GUI-Bildschirm 51 angezeigt.
26 ist eine Ansicht, die ein Robotersystem 1 gemäß noch einer weiteren Modifikation der zweiten Ausführungsform zeigt. Bei dieser Modifikation ist das Maschinenbildschirmerzeugungsteil 11 in die Anzeigeeinrichtung 5 eingebaut. Das Maschinenattributwertspeicherteil 12 befindet sich im Cloud-Server 7.
Gemäß einer den Cloud-Server 7 nutzenden Modifikation werden, wenn die Kommunikation zwischen der CNC-Steuerung 20 und der Robotersteuereinrichtung 4 gestartet wird, die Definitionen der Attribute der Anzeigeelemente der Maschine 2 und die Informationen bezüglich des Modells des Roboters 3 an den Cloud-Server 7 gesendet. Der Cloud-Server 7 sendet die entsprechenden Attributwerte der GUI des Roboters 3 an die Anzeigeeinrichtung 5, in der der GUI-Bildschirm 51 erzeugt wird. Auf diese Weise ist es, indem das Design des GUI-Bildschirms 51 der Maschine 2 und die dem Modell des Roboters 3 entsprechenden Daten im Cloud-Server 7 gespeichert werden, möglich, nachdem die Kommunikation vollständig hergestellt wurde, den Status des Roboters 3 schnell zu bestätigen und ihn von der Maschine 2 aus zu bedienen.
27 zeigt ein Robotersystem 1 gemäß einer weiteren Modifikation der dritten oder vierten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil 13 in der CNC-Steuerung 20 bereitgestellt. Das Maschinenattributwertspeicherteil 12 ist im Cloud-Server 7 bereitgestellt. Die CNC-Steuerung 20 ist über das Cloud-Kommunikationsnetzwerk 71 mit dem Cloud-Server 7 verbunden.
28 zeigt ein Robotersystem 1 gemäß noch einer weiteren Modifikation der dritten oder vierten Ausführungsform. Bei dieser Modifikation sind das Maschinenbildschirmerzeugungsteil 11 und das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil 13 in der Anzeigeeinrichtung 5 bereitgestellt. Das Maschinenattributwertspeicherteil 12 ist im Cloud-Server 7 bereitgestellt. Die Anzeigeeinrichtung 5 ist über das Cloud-Kommunikationsnetzwerk 71 mit dem Cloud-Server 7 verbunden.
Gemäß einem Robotersystem 1 gemäß der vorliegenden Erfindung ist es möglich, die folgenden vorteilhaften Effekte zu erzielen:

(1) Das Erscheinungsbild und die Bedienung des GUI-Bildschirms der Roboter-GUI werden mit dem Bildschirm der Maschine mit CNC-Steuerung in Übereinstimmung gebracht, so dass seitens des den Roboter bedienenden Arbeiters wenige menschliche Fehler auftreten. Des Weiteren kann der Arbeiter die Bedienung des Roboters leicht erlernen und beherrschen.
(2) Selbst wenn ein Arbeiter einer Maschine, der nicht über ausreichend Fachwissen bezüglich des Roboters verfügt, in eine Situation gerät, in der den Roboter bedienen muss, kann er die Bedienung des Roboters basierend auf seinem Fachwissen und seiner Erfahrung bezüglich der Maschine erahnen. Im Besonderen entspricht das Verfahren zum Anzeigen von Informationen bezüglich der Sicherheit des Roboters nicht den durch den Lieferanten des Roboters vorgeschriebenen GUI-Spezifikationen, sondern den bei der Maschine mit CNC-Steuerung verwendeten GUI-Designspezifikationen. Somit kann der Arbeiter gefährliche Tätigkeiten vermeiden, wie etwa sich einem Roboter zu nähern, von dem er nicht weiß wie er mit ihm umgehen soll, und den Status des Roboters schnell überprüfen.
(3) Die Maschine mit CNC-Steuerung hat die Funktion, eine GUI gemäß einem Modell basierend auf den Arten der Definitionen der Attribute und Attributwerte zum automatischen Erzeugen des GUI-Bildschirms automatisch zu erzeugen. Daher kann, wenn mit den Attributen übereinstimmende Werte vorgesehen sind, der GUI-Bildschirm der Maschine entsprechend gewechselt werden. Aufgrund dessen ist es möglich, die Kosten der Maschine mit CNC-Steuerung zu senken.
(4) Die Attributwerte werden basierend auf den Spezifikationen des GUI-Bildschirms der Anzeigeeinrichtung der Maschine mit CNC-Steuerung ermittelt. Die Spezifikationen des GUI-Bildschirms können vom Lieferanten der Maschine erhalten werden oder eine tatsächliche Maschine kann zur Untersuchung genutzt werden, um die erforderlichen Daten zu erlangen. Der Lieferant des Roboters kann vorab GUI-Bildschirme erstellen, die mit von verschiedenen Lieferanten gelieferten Maschinen mit CNC-Steuerung übereinstimmen.
(5) Es ist möglich, Bildschirmaufnahmedaten des GUI-Bildschirms der Anzeigeeinrichtung der Maschine mit CNC-Steuerung an der Robotersteuereinrichtung abzurufen, um dadurch den GUI-Bildschirm der Anzeigeeinrichtung der Maschine automatisch zu analysieren und die Attributwerte zu ermitteln. In diesem Fall müssen der Lieferant der Maschine und der Lieferant des Roboters keine Informationen bezüglich der Spezifikationen des GUI-Bildschirms mehr untereinander austauschen. Alternativ muss der Benutzer des Robotersystems die Spezifikationen des GUI-Bildschirms der Maschine nicht mehr studieren. Wenn die Maschine mit CNC-Steuerung und der Roboter die Kommunikation normal starten können, werden die Attributwerte automatisch ermittelt. Aus diesem Grund kann der Arbeiter den Roboter problemlos von der Maschine mit CNC-Steuerung aus bedienen.

Vorstehend wurden verschiedene Ausführungsformen der vorliegenden Erfindung erläutert, ein Fachmann wird jedoch erkennen, dass auch andere Ausführungsformen verwendet werden können, um die durch die vorliegende Erfindung beabsichtigten Tätigkeiten und Effekte zu verwirklichen. Insbesondere können die vorstehend erläuterten Bestandteile der Ausführungsformen weggelassen oder ersetzt werden, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen, wobei bekannte Mittel ferner hinzugefügt werden können. Des Weiteren ist der Umstand, dass die Merkmale der Mehrzahl Ausführungsformen, die explizit oder implizit in dieser Beschreibung offenbart sind, nach Belieben kombiniert werden können, um die vorliegende Erfindung umzusetzen, für einen Fachmann offensichtlich.
Gemäß dem Robotersystem gemäß der vorliegenden Erfindung werden das Erscheinungsbild und die Bedienung des GUI-Bildschirms zur Roboternutzung mit dem GUI-Bildschirm der Maschine mit CNC-Steuerung in Übereinstimmung gebracht. Daher ist es möglich, menschliche Fehler eines Fabrikarbeiters bei der Roboterbedienung zu verhindern und einem Arbeiter dabei zu helfen, die Roboterbedienung zu erlernen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 06-149329 A [0004, 0004]
JP 2010-277425 A [0004]
JP 6-168020 A [0012]
WO 2007/018753 [0012]
JP 2-051720 A [0012]
JP 6-149329 A [0014]
JP 2010-102465 A [0095]

Zitierte Nicht-Patentliteratur

”The Design of Everyday Things Revised and Expanded Edition”, Donald A. Norman, Kapitel 4. 'Know what to do – constraints, discoverability, and feedback', Kapitel 5. 'Human Error? No, Bad Design' [0011]
”The CAMELEON Reference Framework”, September 2002, 4.2.2.3. 'Multi-Targeting by Reverse Engineering', 4.3.1. 'Run-Time Adaptation: a Three-Step Process' oder 'Model-Based UI XG Final Report', Mai 2010 [0067]
”The Design of Everyday Things Revised and Expanded Edition”, Donald A. Norman, in japanischer Sprache veröffentlicht von Shin-Yo-Sha, Kapitel 4. 'Know What to Do – Limitations, Findability, and Feedback', Kapitel 5. 'Human Error? No. Poor Design' [0112]
”Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata”, 15.–19. Oktober 2011, UIST'11 [0123]
”The Design of Everyday Things Revised and Expanded Edition”, Donald A. Norman, in japanischer Sprache veröffentlicht von Shin-Vo-Sha, Kapitel 4. 'Know What to Do – Limitations, Findability, and Feedback', Kapitel 5. 'Human Error? No. Poor Design', Seite 220 [0130]
”Binarization based an Conditional Image Enhancement and Character Stroke Width for Low-Quality Document”, Shujiro Ikeda, Hiromi Yoshida, Yoji Iiguni, Proceedings of the 2014 General Conference of the Institute of Electronics, Information and Communication Engineers [0137]
”Simultaneous Cartoon and Texture Image Inpainting Using Morphological Component Analysis (MCA)”, M. Elad, J.-L. Starck, P. Querre, D. L. Donoho, 'Applied and Computational Harmonic Analysis', August 2005 [0173]
”Designing with the Mind in Mind, Second Edition” Jeff Johnson, in japanischer Sprache veröffentlicht durch Impress, ”Gestalt principles of visual perception” [0197]
”Associating the Visual Respresentation of User Interfaces with their Internal Structures and Metadata”, 15.–19. Oktober 2011, UIST'11 [0211]

Claims

Robotersystem (1), das eine Maschine (2) mit CNC-Steuerung (20), eine Robotersteuereinrichtung (4), die über ein Kommunikationsnetzwerk (6) mit der CNC-Steuerung verbunden ist, und eine Anzeigeeinrichtung (5) umfasst, die einen GUI-Bildschirm (51) der Maschine anzeigt, wobei das Robotersystem umfasst: – ein Maschinenattributwertspeicherteil (12), das eine Kombination von Attributen des Typs, des Erscheinungsbilds und der Anzeigeposition entsprechenden Werten zum Hinzufügen von Anzeigeelementen des Roboters (3) zum GUI-Bildschirm der Anzeigeeinrichtung und eine Kombination von Attributen verschiedener Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelemente entsprechenden Werten speichert, und – ein Maschinenbildschirmerzeugungsteil (11), das die Kombinationen von Werten, die den im Maschinenattributwertspeicherteil gespeicherten Attributen entsprechen, als Basis zum Erzeugen und Hinzufügen von Anzeigeelementen des Roboters (3) zum GUI-Bildschirm (51) der Maschine (2) verwendet, – wobei, wenn das Maschinenattributwertspeicherteil (12) Kombinationen von Werten speichert, die Attributen der Anzeigeelemente des Roboters und verschiedener Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelement entsprechen, das Maschinenbildschirmerzeugungsteil dazu eingerichtet ist, den GUI-Bildschirm der Anzeigeeinrichtung einschließlich der Anzeigeelemente des Roboters zu erzeugen, und – wobei eine Statusbestätigung oder Bedienung des Roboters von der Maschine aus ermöglicht wird, wenn die CNC-Steuerung und die Robotersteuereinrichtung miteinander kommunizieren.
Robotersystem (1) nach Anspruch 1, – wobei die Robotersteuereinrichtung (4) ein Roboterattributwertspeicherteil (42) zum Hinzufügen von Anzeigeelementen des Roboters und verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelemente zum GUI-Bildschirm (51) der Anzeigeeinrichtung umfasst, – wobei das Robotersystem ferner umfasst: – ein erstes Senderteil (212), das eine Kombination von Werten, die den Attributen des Typs, des Erscheinungsbilds und der Anzeigeposition jedes der Anzeigeelemente entsprechen, die den GUI-Bildschirm der Anzeigeeinrichtung (5) bilden, und eine Kombination von Werten, die Attributen der verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelemente entsprechen, vom Maschinenattributwertspeicherteil (12) an die Robotersteuereinrichtung sendet, – ein erstes Erzeugungsteil (43), durch das die Robotersteuereinrichtung die Werte, die den Attributen des Erscheinungsbilds der Anzeigeelemente des Roboters und den Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten entsprechen, die im Roboterattributwertspeicherteil (42) gespeichert und hinzuzufügen sind, durch eine Analyse der Kombinationen von den gesendeten Attributen entsprechenden Werten an die Werte angleicht, die den Attributen des Erscheinungsbilds der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung und den Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten entsprechen, und eine Kombination von Werten erstellt, die den Attributen des Erscheinungsbildes der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung und den Anzeigeelementen des Roboters entsprechen, die mit den Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten übereinstimmen, und – ein zweites Erzeugungsteil (44), das die Anordnungsregeln der Anzeigeelemente in einem Bereich des GUI-Bildschirms der Anzeigeeinrichtung extrahiert, der zumindest gemäß dem Nutzen oder Zweck durch Analysieren der Werte der Attribute der Anzeigeposition der gesendeten Attribute aufgeteilt wird, und die Regel auf die im Roboterattributwertspeicherteil (42) gespeicherten hinzuzufügenden Anzeigeelemente des Roboters anwendet, um dadurch eine Kombination von Attributwerten der Anzeigeposition jedes der Anzeigeelemente des Roboters zu erzeugen, – wobei das Maschinenattributwertspeicherteil (12) dazu eingerichtet ist, die Kombination von Werten, die den Attributen des Erscheinungsbilds der Anzeigeelemente des erzeugten GUI-Bildschirms der Anzeigeeinrichtung entsprechen, und die Anzeigeelemente des Roboters, die mit den Definitionen sowohl für ausführbare Tätigkeiten als auch für Rückantworten übereinstimmen, und die erzeugte Kombination von Attributwerten der Anzeigeposition jedes der Anzeigeelemente des Roboters über das Kommunikationsnetzwerk (6) wiederzugeben, und – wobei das Maschinenbildschirmerzeugungsteil (11) dazu eingerichtet ist, erneut einen GUI-Bildschirm der Anzeigeeinrichtung zu erzeugen, wenn sich die Attributwerte des Maschinenattributwertspeicherteils (12) ändern.
Robotersystem (1) nach Anspruch 1, – wobei die Robotersteuereinrichtung ferner ein Roboterattributwertspeicherteil (42) zum Hinzufügen von Anzeigeelementen des Roboters und verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der Anzeigeelemente zum GUI-Bildschirm (51) der Anzeigeeinrichtung (5) umfasst, und – wobei das Robotersystem ferner umfasst: – ein Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil (13), durch das die Maschine (2) den GUI-Bildschirm der Anzeigeeinrichtung aufnimmt, um Bildschirmaufnahmebilddaten zu erhalten, – ein zweites Senderteil (214), das die Bildschirmaufnahmebilddaten vom Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil über das Kommunikationsnetzwerk an die Robotersteuereinrichtung sendet, – ein drittes Erzeugungsteil (45), durch das die Robotersteuereinrichtung die gesendeten Bildschirmaufnahmebilddaten analysiert, um das Erscheinungsbild, die Anzeigeposition und den Typ der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung zu erkennen, die Werte, die den Attributen des Erscheinungsbildes der im Roboterattributwertspeicherteil (42) gespeicherten hinzuzufügenden Anzeigeelemente des Roboters entsprechen, an das anhand der Bildschirmaufnahmebilddaten erkannte Erscheinungsbild angleicht, und eine Kombination von den Attributen der Anzeigeelemente des Roboters entsprechenden Werten erzeugt, die mit dem Erscheinungsbild der Anzeigeelemente des GUI-Bildschirms der Anzeigeeinrichtung übereinstimmen, und – ein viertes Erzeugungsteil (44), das eine Anordnungsregel der Anzeigeelemente in einem Bereich des GUI-Bildschirms der Anzeigeeinrichtung extrahiert, der zumindest gemäß dem Nutzen oder Zweck durch eine Analyse der Position der anhand der Bildschirmaufnahmebilddaten erkannten Anzeigeelemente aufgeteilt wird, sie auf die im Roboterattributwertspeicherteil (42) gespeicherten hinzuzufügenden Anzeigeelemente des Roboters anwendet und eine Kombination von Attributwerten der Anzeigeposition jedes der Anzeigeelemente des Roboters erzeugt, – wobei das Maschinenattributwertspeicherteil (12) dazu eingerichtet ist, die erzeugte Kombination von Werten, die den Attributen der Anzeigeelemente des Roboters entsprechen, welche mit dem Erscheinungsbild der Anzeigeelemente des GUI-Bildschirms (51) der Anzeigeeinrichtung (5) übereinstimmen, und die erzeugte Kombination von Attributwerten der Anzeigeposition jedes der Anzeigeelemente des Roboters über das Kommunikationsnetzwerk wiederzugeben, und – wobei das Maschinenbildschirmerzeugungsteil (11) dazu eingerichtet ist, erneut einen GUI-Bildschirm der Anzeigeeinrichtung zu erzeugen, wenn sich die Attributwerte des Maschinenattributwertspeicherteils (12) ändern.
Robotersystem (1) nach Anspruch 3, wobei – das zweite Senderteil (214) dazu eingerichtet ist, periodisch durch das Anzeigeeinrichtungs-GUI-Bildschirmaufnahmeverarbeitungsteil (13) erhaltene Bildschirmaufnahmebilddaten über das Kommunikationsnetzwerk (6) an die Robotersteuereinrichtung (4) zu senden, – das vierte Erzeugungsteil (44) dazu eingerichtet ist, die neu erfassten Bildschirmaufnahmebilddaten zu analysieren, die immer dann mit den erhaltenen früheren Bilddaten verglichen werden, wenn die Robotersteuereinrichtung sie erfasst, den Inhalt der operativen Rückantwort des GUI-Bildschirms (51) der Anzeigeeinrichtung zu erkennen und eine Kombination von Attributwerten der verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der im Roboterattributwertspeicherteil (42) gespeicherten hinzuzufügenden Anzeigeelemente des Roboters zu erzeugen, und – das Maschinenattributwertspeicherteil (12) dazu eingerichtet ist, die erzeugte Kombination von Attributwerten der verschiedenen Definitionsarten sowohl für Tätigkeiten als auch für Rückantworten der hinzuzufügenden Anzeigeelemente des Roboters über das Kommunikationsnetzwerk wiederzugeben.