DE102020214960A1

DE102020214960A1 - E/a-signalinformations-anzeigesystem

Info

Publication number: DE102020214960A1
Application number: DE102020214960.7A
Authority: DE
Inventors: Keisuke Nagano
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-12-26
Filing date: 2020-11-27
Publication date: 2021-07-01
Also published as: CN113055562B; US11657610B2; JP7424825B2; JP2021106315A; CN113055562A; US20210201033A1

Abstract

Zur Bereitstellung eines E/A-Signalinformationssystems, in welchem ein Überwachungszielbereich und E/A-Signalinformation automatisch miteinander assoziiert und auf einem Anzeigebildschirm angezeigt werden, beim Überwachen einer Einrichtung, die einen Roboter beinhaltet. Eine Objektidentifikationseinheit 93 identifiziert ein Objekt, basierend auf einer Korrelation zwischen einer Änderung eines tatsächlich fotografierten Bilds, das auf der Anzeigevorrichtung 7 angezeigt wird, durch tatsächlich fotografierte Daten, die aus einer Bildgebungsvorrichtung 8 zugeführt werden, und eine Änderung von E/A-Signalinformation, und eine Anzeigesteuereinheit 94 veranlasst die Anzeigevorrichtung 7, das augmentierte Realitätsbild in einer Anzeigeform anzuzeigen, in der ein Bild 23 der E/A-Signalinformation eine spezifische Beziehung zu einem Bild des identifizierten Objekts hat.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein E/A-Signalinformations-Anzeigesystem
Stand der Technik
Es ist ein System vorgeschlagen worden, in welchem, während eine Produktionseinrichtung auf einer Anzeigevorrichtung in einer drei-dimensionalen Graphik angezeigt wird, ein spezifischer Bereich der Produktionseinrichtung von einer Linie umgeben ist, die durch eine Maus gezeichnet wird, so dass nur E/A-Daten des spezifischen Bereichs auf der Anzeigevorrichtung angezeigt werden können (siehe beispielsweise japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer JP H10-105219 A ). Ein Wartungsunterstützungssystem ist vorgeschlagen worden, in welchem eine kopfmontierte Anzeigevorrichtung mit einer Anzeigeeinheit und einer Bildgebungseinheit verwendet wird, um eine Abnormalität einer Fabrikeinrichtung zu bestimmen, basierend auf tatsächlichen Bildinformationen aus der Bildgebungseinheit und einem AR (augmentierten Realitäts-) Bild, das Wartungsinformation der Fabrikeinrichtung beinhaltet, die eine Abnormalität verursacht, einem tatsächlichen Bild überlagert wird und auf der Anzeigeeinheit angezeigt wird (siehe beispielsweise japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer JP 2018-181232 A ).

Patentdokument 1: japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer JP H10-105219 A
Patentdokument 2: japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer JP 2018-181232 A

ZUSAMMENFASSUNG DER ERFINDUNG
Beim Überwachen von Ausrüstung, die einen Roboter beinhaltet, ist es übliche Praxis, E/A-Signalinformation, die durch einen oder eine Vielzahl von Überwachungszielbereichen der Ausrüstung gesendet und empfangen werden, als Bestätigungsziele des Betriebsstatus zu einem gewissen Zeitpunkt anzuzeigen. Es ist anzumerken, dass sich in der vorliegenden Spezifikation die E/A-Signalinformation auf ein einzelnes E/A-Signal oder eine Vielzahl von E/A-Signalen einer spezifischen Gruppe bezieht, oder durch das einzelne E/A-Signal oder die Vielzahl von E/A-Signalen der spezifischen Gruppe repräsentierte Information. Wenn eine solche E/A-Signalinformation angezeigt wird, ist es wünschenswert für den Überwachungszielbereich und die E/A-Signalinformation, in Assoziierung miteinander auf dem Anzeigebildschirm anzuzeigen. Jedoch wird eine Technik zum automatischen Durchführen einer solchen Assoziierung nicht in irgendeinem der oben erwähnten Patentdokumente gezeigt.
Daher ist beim Überwachen einer Einrichtung, die einen Roboter beinhaltet, dass ein Überwachungszielbereich und E/A-Signalinformation automatisch miteinander assoziiert und auf einem Anzeigebildschirm angezeigt werden.
Ein Aspekt eines E/A-Signalinformations-Anzeigesystems der vorliegenden Offenbarung bezieht sich auf ein E/A-Signalinformations-Anzeigesystem, das beinhaltet: eine Anzeigevorrichtung, die konfiguriert ist, ein augmentiertes Realitätsbild anzuzeigen; eine Bildgebungsvorrichtung, die konfiguriert ist, ein tatsächlich fotografiertes Bild mit einem Bereich, der zumindest irgendeinen Roboter einer Überwachungszieleinrichtung beinhaltet, die zumindest einen Roboter beinhaltet, als ein Bildgebungssichtfeld zu erfassen; eine Roboteridentifikationseinheit, die konfiguriert ist, den Roboter des durch die Bildgebungsvorrichtung erfassten und durch die Anzeigevorrichtung anzuzeigenden tatsächlichen fotografierten Bilds zu identifizieren; eine E/A-Signalinformations-Erfassungseinheit, die konfiguriert ist, E/A-Signalinformation, die sich auf den durch die Roboteridentifikationseinheit identifizierten Roboter bezieht, zu erfassen; eine Objektidentifikationseinheit, die konfiguriert ist, ein Objekt als ein Ziel der E/A-Signalinformation zu identifizieren, basierend auf einer Korrelation zwischen einer Änderung bei dem auf der Anzeigevorrichtung angezeigten tatsächlich fotografierten Bild und einer Änderung bei der E/A-Signalinformation; und eine Anzeigesteuereinheit, die konfiguriert ist, die Anzeigevorrichtung zu veranlassen, ein augmentiertes Realitätsbild in einer Anzeigeform anzuzeigen, in welcher ein Bild der E/A-Signalinformation eine spezifische Beziehung mit einem Bild des durch die Objektidentifikationseinheit identifizierten Objekts aufweist, wobei das Objekt in der Überwachungsobjekteinrichtung und die E/A-Signalinformation automatisch miteinander assoziiert und auf einer Anzeigevorrichtung angezeigt werden.
Gemäß einem Aspekt werden ein sich auf einen, jeglichen Roboter in einer Überwachungszieleinrichtung beinhaltenden Bereich beziehendes Objekt, die zumindest einen Roboter beinhaltet, und dem Objekt entsprechende E/A-Signalinformation automatisch miteinander assoziiert und auf einer Anzeigevorrichtung angezeigt.
Figurenliste

1 ist ein Blockdiagramm, das einen Bereich einer Überwachungszieleinrichtung zeigt, die ein E/A-Signalinformations-Anzeigesystem der vorliegenden Offenbarung beinhaltet;
2 ist ein Funktionsblockdiagramm, das eine Datenverarbeitungseinheit in einer AR-Vorrichtung in dem E/A-Signalinformations-Anzeigesystem von 1 zeigt;
3 ist ein Sequenzdiagramm, das den Betrieb des E/A-Signalinformations-Anzeigesystems von 1 zeigt;
4 ist ein Flussdiagramm, das die Verarbeitung in der Datenverarbeitungseinheit in der AR-Vorrichtung des E/A-Signalinformations-Anzeigesystems von 1 zeigt;
5 ist ein Diagramm, das ein Anzeigebeispiel in einer Anzeigevorrichtung des E/A-Signalinformations-Anzeigesystems von 1 zeigt;
6A ist ein Diagramm, das einen Fall eines anderen Anzeigebeispiels in der Anzeigevorrichtung des E/A-Signalinformations-Anzeigesystems von 1 zeigt; und
6B ist ein Diagramm, das einen anderen Fall eines anderen Anzeigebeispiels in der Anzeigevorrichtung des E/A-Signalinformations-Anzeigesystems von 1 zeigt.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
1 ist ein Blockdiagramm, das einen Bereich einer Überwachungszieleinrichtung zeigt, die ein E/A-Signalinformations-Anzeigesystem der vorliegenden Offenbarung beinhaltet. In 1 ist eine Einrichtung 1, eine Fertigungseinrichtung, die konfiguriert ist, zumindest einen Roboter 2 zu enthalten. Der Roboter 2 ist konfiguriert, eine Robotermechanismuseinheit 3, eine Robotersteuervorrichtung 4 und ein Programmierhandgerät 5 zu enthalten. Die Robotermechanismuseinheit 3 ist beispielsweise ein Sechs-Achsen-Gelenkroboterarm. Jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Die Robotersteuervorrichtung 4 steuert die Robotermechanismuseinheit 3, basierend auf der Information, die durch den das Programmierhandgerät 5 bedienenden Anwender gelehrt wird.
Eine AR-Vorrichtung 6 zur Verwendung bei der Überwachung der Einrichtung 1 ist drahtlos oder in einer verdrahteten Weise mit der Robotersteuervorrichtung 4 verbunden. Die AR-Vorrichtung 6 ist konfiguriert, eine Anzeigevorrichtung 7, eine Bildgebungsvorrichtung 8, eine Datenverarbeitungseinheit 9 und einen Trägheitssensor 10 zu enthalten. Die Anzeigevorrichtung 7 beinhaltet eine Anzeigeeinheit, wie etwa einen Flüssigkristallmonitor, der in der Lage ist, ein augmentiertes Realitätsbild (nachfolgend nach Bedarf als AR-Bild bezeichnet) anzuzeigen. Die Bildgebungsvorrichtung 8 erfasst ein fotografiertes Bild mit einem Bereich, der zumindest einen Roboter der Überwachungszieleinrichtung enthält, beinhaltend zumindest einen Roboter als ein Bildgebungssichtfeld. Die Datenverarbeitungseinheit 9 besteht beispielsweise aus einem Computer und, wie später beschrieben wird, führt die Assoziierung zwischen einem spezifischen Objekt und einem diesem entsprechenden E/A-Signal aus, und zeigt ein AR-Bild, in welchem ein Bild eines E/A-Signals einem tatsächlich fotografierten Bild des Objektes überlagert ist, auf der Anzeigevorrichtung 7 an. Der Trägheitssensor 10 detektiert die Position und Stellung (d.h. die Position und Stellung des Verwendungskopfs) der AR-Vorrichtung 6, die als eine kopfmontierte Anzeige konfiguriert ist, und erfasst Information, die den Bereich des Sichtfelds des Anwenders repräsentiert. Die Bildgebungsvorrichtung 8 erfasst ein tatsächlich fotografiertes Bild gemäß der Information, die den Sichtfeldbereich des Anwenders repräsentiert, das durch den Trägheitssensor 10 erfasst wird. Das Sichtfeldbild entsprechend der Information, die den Sichtfeldbereich des Anwenders repräsentiert, wird auf der Anzeigevorrichtung 7 angezeigt. Das Sichtfeldbild ist ein durch die Bildgebungsvorrichtung 8 tatsächlich fotografiertes Bild oder das oben beschriebene AR-Bild.
Eine Vielzahl von Arten von Formen externer Produktionseinrichtungen 11, 12, 13 ist mit der Robotersteuervorrichtung 4 verbunden und sendet und empfängt E/A-Signale zwischen der Robotersteuervorrichtung 4. Die externen Fabrikationseinrichtungen 11, 12 und 13 sind spezifisch kleine Bearbeitungszentren, eine Hand als ein Endeffektor, ein Förderer zum Transportieren von Artikeln oder ein Positionierer zur Verwendung beim Positionieren und Unterstützen eines Werkstücks. Beim kleinen Bearbeitungszentrum wird das Öffnen und Schließen der Tür der Abdeckung durch das E/A-Signal ausgedrückt. Mit der Hand als einem Endeffektor werden das Öffnen und Schließen der Hand durch das E/A-Signal repräsentiert. Auf dem Förderer wird das Eintreffen oder der Durchgang eines Artikels an einer vorbestimmten Position durch das E/A-Signal repräsentiert. Beim Positionierer wird Position und Stellung des Werkstücks repräsentiert durch das E/A-Signal. Wie oben beschrieben, sind die externen Fertigungseinrichtungen 11, 12 und 13, in welchen spezifische Beispiele aufgezählt sind, „Objekt“ entsprechend den E/A-Signalen jeweils bei Sicht aus der E/A-Signalseite.
Als Nächstes wird die Funktionskonfiguration der Datenverarbeitungseinheit 9 in der AR-Vorrichtung 6 von 1 unter Bezugnahme auf das Funktionsblockdiagramm von 2 beschrieben. Die Datenverarbeitungseinheit 9 empfängt tatsächlich fotografierte Bildinformation aus der Bildgebungsvorrichtung 8 in der AR-Vorrichtung 6 und gibt die Anzeigebilddaten an die Anzeigevorrichtung 7 aus. Weiterhin sendet die Datenverarbeitungseinheit 9 an die, und empfängt aus der Robotersteuervorrichtung 4 das vorbestimmte Steuersignal und E/A-Signale. Die Datenverarbeitungseinheit 9 ist ein Computer, der konfiguriert ist, Funktionseinheiten einer Roboteridentifikationseinheit 91, einer E/A-Informations-Erfassungseinheit 92, einer Objektidentifikationseinheit 93 und einer Anzeigesteuereinheit 94 zu beinhalten.
Die Roboteridentifikationseinheit 91 identifiziert den Roboter des durch die Bildgebungsvorrichtung 8 erfassten tatsächlichen fotografierten Bilds, das auf der Anzeigevorrichtung 7 anzuzeigen ist, basierend auf den aus der Robotersteuervorrichtung 4 zugeführten Daten. Die E/A-Informations-Erfassungseinheit 92 erfassten E/A-Signalinformation bezüglich des durch die Roboteridentifikationseinheit 91 identifizierten Roboters. Die Objektidentifikationseinheit 93 identifiziert das Objekt als ein Ziel der E/A-Signalinformation, basierend auf der Korrelation zwischen der Änderung bei dem auf der Anzeigevorrichtung 7 angezeigten tatsächlich fotografierten Bild und der Änderung der E/A-Signalinformation. Die Anzeigesteuereinheit 94 veranlasst die Anzeigevorrichtung 7, ein AR-Bild in einer Anzeigeform anzuzeigen, in welcher das Bild der E/A-Signalinformation eine spezifische Beziehung zum Bild des durch die Objektidentifikationseinheit 93 identifizierten Objekts aufweist.
Als Nächstes wird der Betrieb des E/A-Signalinformations-Anzeigesystems 1 unter Bezugnahme auf das Sequenzdiagramm von 3 beschrieben.
Das Programmierhandgerät 5 akzeptiert eine Bedienung einer Anzeigemoduseinstellung, die eine Bedienung von einem Bediener (Anwender) ist, der eine Anzeigeform des AR-Bilds einstellt (Schritt S1). Das Programmierhandgerät 5 erzeugt eine „Anzeigemodusanweisung“, die Befehlsinformation entsprechend dem Anzeigemodus ist, der eingestellt wird. Die Information der „Anzeigemodusanweisung“ beinhaltet Information, die angibt, welcher Roboter es im AR-Bild ist (beispielsweise welche Einheit der Roboter ist) und Information, welche die Anzeigeform bezeichnet. Die Anzeigeform ist beispielsweise eine Form, in welcher das Bild der E/A-Signalinformation angrenzend an das Bild des Objekts ist, ein Anzeigeformat eines Modus, in welchem das Bild der E/A-Signalinformation dem Bild des Objekts überlagert wird, oder eine Anzeigeposition der E/A-Signalinformation auf dem Bildschirm. Das Programmierhandgerät 5 stellt die „Anzeigemodusanweisung“ der Robotersteuervorrichtung 4 bereit.
Die Robotersteuervorrichtung 4 empfängt die „Anzeigemodusanweisung“ und erzeugt „Anzeigemodusinformation“, welche durch die Datenverarbeitungseinheit 9 der AR-Vorrichtung 6 erkannt werden kann. Das heißt, dass die „Anzeigemodusinformation“ Information zum Identifizieren der Anzeigeform des AR-Bilds und des in der „Anzeigemodusanweisung“ enthaltenen Roboters beinhaltet. Die Robotersteuervorrichtung 4 extrahiert „E/A-Signalinformation“ einer Vielzahl von Objekten bezüglich des identifizierten Roboters. Die Robotersteuervorrichtung 4 erzeugt die „Anzeigemodusinformation“, führt weiter Verarbeitung des Extrahierens der „E/A-Signalinformation“ durch (Schritt S2) und liefert die „Anzeigemodusinformation“ und „E/A-Signalinformation“ an die Datenverarbeitungseinheit 9.
Die Bildgebungsvorrichtung 8 führt eine Bildgebungsoperation eines Bewegtbilds durch, welches ein Bild einer Zeitreihe über eine erforderliche Periode für den Sichtfeldbereich des Anwenders ist, bestimmt aus der Position und Stellung des Kopfes des Anwenders, der durch den Trägheitssensor 10 der AR-Vorrichtung 6 erfasst wird. Das Sichtfeld des Anwenders beinhaltet einen Roboter, dem Aufmerksamkeit geschenkt wird, und dieser Roboter passt unvermeidlich zum durch die „Anzeigemodusinformation“ identifizierten Roboter. Die Bildgebungsvorrichtung 8 erfasst „tatsächlich fotografierte Bilddaten“ die Zeitreihen-Bilddaten sind (Schritt S3). Die Bildgebungsvorrichtung 8 liefert die erfassten „tatsächlichen fotografierten Bilddaten“ an die Datenverarbeitungseinheit 9.
Die Datenverarbeitungseinheit 9 führt Anzeigebilddaten-Erzeugungsverarbeitung aus, die später beschrieben wird, basierend auf der „Anzeigemodusinformation“ und der „E/A-Signalinformation“ die aus der Robotersteuervorrichtung 4 zugeführt wird, und den aus der Bildgebungsvorrichtung 8 zugeführten „tatsächlich fotografierten Bilddaten“ (Schritt S4). Die Datenverarbeitungseinheit 9 erzeugt „Anzeigebilddaten“ die ein auf der Anzeigeeinheit der Anzeigevorrichtung 7 durch die Anzeigebilddaten-Erzeugungsverarbeitung anzuzeigendes AR-Bild repräsentieren, und liefert diese Daten an die Anzeigevorrichtung 7.
Die Anzeigevorrichtung 7 zeigt das AR-Bild auf ihrer eigenen Anzeigeeinheit an, basierend auf den aus der Datenverarbeitungseinheit 9 zugeführten „Anzeigebilddaten“ (Schritt S5).
Als Nächstes wird durch die Datenverarbeitungseinheit 9 ausgeführte Anzeigebilddaten-Erzeugungsverarbeitung unter Bezugnahme auf das Flussdiagramm von 4 beschrieben.
Die Datenverarbeitungseinheit 9 erfasst die „Anzeigmodusinformation“ und „E/A-Signalinformation“ aus der Robotersteuervorrichtung 4 und erfasst die „tatsächlich fotografierten Bilddaten“ aus der Bildgebungsvorrichtung 8 (Schritt S11). Wie oben beschrieben, beinhaltet die „Anzeigemodusinformation“ die roboteridentifizierende Information und diese Information wird durch die Roboteridentifikationseinheit 91 der Datenverarbeitungseinheit 9 (2) zum Identifizieren des Roboters identifiziert. Die Erfassung der „E/A-Signalinformation“ wird durch die E/A-Informations-Erfassungseinheit 92 (2) der Datenverarbeitungseinheit 9 durchgeführt.
Die Datenverarbeitungseinheit 9 detektiert ein sich bewegendes Objekt aus den Objekten im Bildgebungssichtfeld durch Vergleichen von zwei Teilen von Bilddaten, die zu unterschiedlichen Timings erfasst sind, basierend auf den „tatsächlichen fotografierten Bilddaten“, die aus der Bildgebungsvorrichtung 8 zugeführt werden (Schritt S12).
Als Nächstes führt die Datenverarbeitungseinheit 9 die Assoziierung zwischen dem Objekt und dem E/A-Signal durch, basierend auf der Korrelation der Simultanität und dergleichen zwischen der Bewegung des im Schritt S11 detektierten Objekts und der Änderung des E/A-Signals in der im Schritt S12 erfassten E/A-Signalinformation (Schritt S13). Falls beispielsweise das Timing der Öffnung/Schließoperation der Hand des Roboters als ein Objekt und das Timing der Änderung bei EIN/AUS des E/A-Signals koinzidieren, werden diese Hand und das E/A-Signal miteinander assoziiert. Die Verarbeitung in Schritten S12 und S13 wird durch die Objektidentifikationseinheit 93 (2) der Datenverarbeitungseinheit 9 ausgeführt.
Als Nächstes erzeugt die Datenverarbeitungseinheit 9 Anzeigebilddaten, basierend auf den Objektdaten und den E/A-Signaldaten, die das Objekt bzw. das E/A-Signal repräsentieren, repräsentierend das Objekt und das E/A-Signal, die eine Assoziierung miteinander aufweisen, die in der Verarbeitung im Schritt S13 fixiert worden ist (Schritt S14). Die Anzeigebilddaten sind Bilddaten, die ein AR-Bild repräsentieren, in dem ein zusätzliches Bild (E/A-Signalwellenform), basierend auf den E/A-Signaldaten einem tatsächlich fotografierten Bild, basierend auf den Objektdaten, überlagert wird. Die Verarbeitung im Schritt S14 wird durch die Anzeigesteuereinheit 94 der Datenverarbeitungseinheit 9 ausgeführt (2).
Die Datenverarbeitungseinheit 9 liefert die Anzeigebilddaten, die durch die Verarbeitung im Schritt S14 in der Anzeigesteuereinheit 94 erzeugt werden, an die Anzeigevorrichtung 7. Die Anzeigevorrichtung 7 zeigt das AR-Bild, in welchem ein Bild einer E/A-Signalwellenform entsprechend dazu einem tatsächlich fotografierten Bild eines Objekts überlagert wird, auf der Anzeigeeinheit an, basierend auf den zugeführten Anzeigebilddaten.
Als Nächstes wird ein Anzeigebeispiel der Anzeigevorrichtung 7 der AR-Vorrichtung 6 unter Bezugnahme auf 5 beschrieben.
5 zeigt ein Anzeigebild (AR-Bild) auf der Anzeigeeinheit der Anzeigevorrichtung 7 zu einem gewissen Zeitpunkt durch den, durch das Programmierhandgerät 5 eingestellten Anzeigemodus an (1 und 3). Im Falle von 5 wird ein Zustand, in dem ein erster Förderer 14 und ein zweiter Förderer 15 zum Übertragen von Werkstücken parallel in Intervallen installiert sind, visuell erkannt. Zwischen dem ersten Förderer 14 und dem zweiten Förderer 15 ist ein Roboter 16 installiert. Der Roboter 16 weist eine Hand 16a als einen Endeffektor auf. Ein Zustand wird visuell erkannt, in welchem ein erster Werkstückpassiersensor 17 zum Detektieren des Durchgangs des Werkstücks, das zum ersten Förderer 14 weist, bereitgestellt wird. Ein Zustand wird visuell erkannt, in welchem ein verbundener Werkstückpassiersensor 18 zum Detektieren des Durchgangs des Werkstücks, das zum zweiten Förderer 15 weist, bereitgestellt ist. Werkstücke 19 und 20 werden auf dem Förderband des ersten Förderers 14 befördert. Werkstücke 21 und 22 werden auf dem Förderband des zweiten Förderers 15 befördert. Der Roboter 16 öffnet und schließt die Hand 16a beim Durchführen eines Betriebs des Übertragens des Werkstücks auf dem Förderband des ersten Förderers 14 auf das Förderband des zweiten Förderers 15 durch die Hand 16a. Der erste Förderer 14, der zweite Förderer 15, der Roboter 16, die Hand 16a, der erste Werkstückpassiersensor 17, der zweite Werkstückpassiersensor 18, die Werkstücke 19, 20, 21 und 22 werden in einem tatsächlich fotografierten Bild durch die Datenverarbeitungseinheit 9 aufgenommen (1). Das E/A-Signalinformationsbild 23, das ein Bild einer Wellenform ist, die eine Änderung bei der Zeitreihe des E/A-Signals repräsentiert, wird dem tatsächlich fotografierten Bild überlagert und wird als ein E/A-Bild auf der Anzeigeeinheit der Anzeigevorrichtung 7 angezeigt. Das E/A-Signalinformationsbild 23 beinhaltet ein Bild der Wellenformen, welche die Änderung in Zeitreihe eines E/A-Signals DI1 repräsentieren, was ein Richtungssignal des ersten Werkstückpassiersensors 17 ist, ein E/A-Signal DI2, das ein Detektionssignal des zweiten Werkstückpassiersensors 18 ist, und ein E/A-Signal DO1, welches Öffnen und Schließen der Hand 16a repräsentiert.
Jede Komponente in 5 entspricht jeder Komponente in 1 wie folgt. Der erste Förderer 14 von 5 (der erste Werkstückpassiersensor 17) entspricht nämlich der externen Fertigungseinrichtung 11 von 1. Der zweite Förderer 15 von 5 (der zweite Werkstückpassiersensor 18) entspricht der externen Fertigungseinrichtung 12 von 1. Die Hand 16a von 5 entspricht der externen Fertigungseinrichtung 13 von 1.
Als Nächstes werden andere Anzeigebeispiele in der Anzeigevorrichtung 7 der AR-Vorrichtung 6 unter Bezugnahme auf 6A und 6B beschrieben.
6A und 6B repräsentieren die Anzeigebilder (AR-Bilder) auf der Anzeigeeinheit der Anzeigevorrichtung 7 zu einem gewissen Zeitpunkt durch den, durch das Programmierhandgerät 5 eingestellten Anzeigemodus (1 und 3). In 6A und 6B werden der Roboter 24 und die Hand 24a in einem tatsächlich fotografierten Bild durch die Bildgebungsvorrichtung 8 aufgenommen (1). Ein Marker 25, der ein kreisförmiges Muster ist, wird an einer Position nahe der Hand 24a dem tatsächlich fotografierten Bild überlagert und wird als ein AR-Bild auf der Anzeigeeinheit der Anzeigevorrichtung 7 angezeigt.
In den AR-Bildern von 6A und 6B wird der Öffnungs-/Schließzustand der Hand 24a des Roboters 24 durch die Anzeigefarbe des Markers 25 angezeigt. Im Falle von 6A ist die Hand 24a des Roboters 24 „geschlossen“ und die dementsprechende Anzeigefarbe des Markers 25 ist „rot“ 25R. Im Falle von 6B ist die Hand 24a des Roboters 24 „offen“ und die dementsprechende Anzeigefarbe des Markers 25 ist „grün“ 25G.
Der Betrieb und Effekte des E/A-Signalinformations-Anzeigesystems der vorliegenden Offenbarung, die unter Bezugnahme auf 1 bis 6B beschrieben werden, sind unten zusammengefasst.
(1) Ein E/A-Signalinformations-Anzeigesystem gemäß der vorliegenden Offenbarung beinhaltet: eine Anzeigevorrichtung 7, die konfiguriert ist, ein AR-Bild anzuzeigen; eine Bildgebungsvorrichtung 8, die konfiguriert ist, ein tatsächlich fotografiertes Bild mit einem Bereich zu erfassen, der zumindest jeglichen Roboter 2 der Überwachungszieleinrichtung 1, die zumindest einen Roboter 2 beinhaltet, beinhaltet, als ein bildgebendes Sichtfeld; eine Roboteridentifikationseinheit 91, die konfiguriert ist, den Roboter 2 des tatsächlich fotografierten und durch die Anzeigevorrichtung 7 anzuzeigenden Bilds zu identifizieren; eine E/A-Signalinformations-Erfassungseinheit 92, die konfiguriert ist, ein sich auf den durch die Roboteridentifikationseinheit 91 identifizierten Roboter 2 beziehende E/A-Signalinformation zu erfassen; eine Objektidentifikationseinheit 93, die konfiguriert ist, ein Objekt als ein Ziel der E/A-Signalinformation zu identifizieren, basierend auf einer Korrelation zwischen der Änderung beim tatsächlich fotografierten Bild, das auf der Anzeigevorrichtung 7 angezeigt wird, und einer Änderung bei der E/A-Signalinformation; und eine Anzeigesteuereinheit 94, die konfiguriert ist, die Anzeigevorrichtung zu veranlassen, ein AR-Bild in einer Anzeigeform anzuzeigen, in der ein Bild der E/A-Signalinformation eine spezifische Beziehung zu einem Bild des durch die Objektidentifikationseinheit 93 identifizierten Objekts aufweist.
Im E/A-Signalinformations-Anzeigesystem der Obigen (1) werden die das tatsächlich fotografierte Bild des Roboters, identifiziert durch die Roboteridentifikationseinheit 91 im Bildgebungssichtfeld der Bildgebungsvorrichtung 8 repräsentierenden tatsächlichen fotografierten Bilddaten und die E/A-Signalinformation bezüglich des Roboters, die durch die E/A-Signalinformations-Erfassungseinheit 92 erfasst werden, der Objektidentifikationseinheit 93 zugeführt. Die Objektidentifikationseinheit 93 identifiziert das Objekt, basierend auf der Korrelation zwischen der Änderung beim auf der Anzeigevorrichtung 7 angezeigten tatsächlich fotografierten Bild und der Änderung bei der E/A-Signalinformation, basierend auf den zugeführten tatsächlich fotografierten Bilddaten. Die Anzeigesteuereinheit 94 veranlasst die Anzeigevorrichtung 7, ein AR-Bild in einer Anzeigeform anzuzeigen, in der das Bild 23 der E/A-Signalinformation eine spezifische Beziehung zum Bild des identifizierten Objekts aufweist. Das heißt, dass die Assoziierung zwischen dem Objekt und dem E/A-Signal automatisch identifiziert wird und das AR-Bild, in welchem das Bild 23 der E/A-Signalinformation dem Bild des assoziierten Objekts überlagert wird, auf der Anzeigevorrichtung 7 angezeigt wird. Daher kann eine die Anzeige überwachende Person den Zustand des Objektes und des E/A-Signals durch das AR-Bild der oben erwähnten Anzeigeform, angezeigt auf der Anzeigevorrichtung 7, angemessen überwachen.
(2) In dem E/A-Signalinformations-Anzeigesystem gemäß einem Aspekt der vorliegenden Offenbarung identifiziert die Objektidentifikationseinheit 93 ein Objekt, basierend auf Simultanität zwischen der Änderung bei dem tatsächlich fotografierten Bild und der Änderung bei der E/A-Signalinformation.
Im E/A-Signalinformations-Anzeigesystem der Obigen (2) identifiziert die Objektidentifikationseinheit 93 das Objekt durch Finden einer Kombination, in der beispielsweise die Öffnungs- und Schließoperation der Roboterhände 16a und 24a, die eine Änderung beim tatsächlich fotografierten Bild ist, und die Änderung beim EIN/AUS des E/A-Signals, die beispielsweise eine Änderung bei der E/A-Signalinformation ist, zeitweilig zueinander passen. Daher kann das Objekt relativ leicht identifiziert werden und kann die assoziierende Beziehung zwischen der E/A-Signalinformation und dem Objekt zuverlässig bestimmt werden.
(3) Im E/A-Signalinformations-Anzeigesystem gemäß einem Aspekt der vorliegenden Offenbarung veranlasst die Anzeigesteuereinheit 94 die Anzeigevorrichtung 7, als die Anzeigeform anzuzeigen jegliches von: einer Form, in der ein Bild der E/A-Signalinformation an ein Bild des Objekts angrenzt; eine Form, in der ein Bild der E/A-Signalinformation dem Bild des Objekts überlagert ist; eine Form, in welcher der Numerikwert der E/A-Signalinformation im Text zusammen mit dem Bild des Objekts angezeigt wird; eine Form, in der ein Muster mit Helligkeit, Farbton oder Sättigung (Farbsättigung) gemäß dem Numerikwert der E/A-Signalinformation zusammen mit dem Bild des Objekts angezeigt wird; eine Form, in der ein Graph gemäß dem Numerikwert der E/A-Signalinformation zusammen mit dem Bild des Objekts angezeigt wird; oder eine Form, in der das Bild des Objektes gemäß dem numerischen Wert der E/A-Signalinformation verändert wird.
Im E/A-Signalinformations-Anzeigesystem der Obigen (3) kann das Bild des Objekts und das Bild der E/A-Signalinformation auf der Anzeigevorrichtung 7 in einer Form angezeigt werden, die für den Überwachungszweck wohl geeignet ist, und somit kann eine genaue Überwachung durchgeführt werden.
Es sollte angemerkt werden, dass die vorliegende Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist und verschiedene Modifikationen und Änderungen vorgenommen und implementiert werden können. Beispielsweise ist in der oben beschriebenen Ausführungsform die AR-Vorrichtung als eine kopfmontierte Anzeige konfiguriert; jedoch kann sie auch als ein Überwachungspaneel konfiguriert sein, welches dieselbe Datenverarbeitungsfunktion und Anzeigefunktion wie die kopfmontierte Anzeige aufweist. Zusätzlich sind auch Modifikationen und Verbesserungen innerhalb eines Schutzbereichs, der die Aufgabe der vorliegenden Erfindung lösen kann durch die vorliegende Offenbarung eingeschlossen.
Bezugszeichenliste

1: Einrichtung
2, 16, 24: Roboter
3: Robotermechanismuseinheit
4: Robotersteuervorrichtung
5: Programmierhandgerät
6: AR-Vorrichtung
7: Anzeigevorrichtung
8: Bildgebungsvorrichtung
9: Datenverarbeitungseinheit
10: Trägheitssensor
11, 12, 13: Externe Fertigungseinrichtung
14: Erster Förderer
15: Zweiter Förderer
16a,: 24a, Hand
17: Erster Werkstückpassiersensor
18: Zweiter Werkstückpassiersensor
19, 20, 21, 22: Werkstück
23: E/A-Signalinformationsbild
25: Marker
25R: „Rot“ (Anzeigefarbe)
25G: „Grün“ (Anzeigefarbe)
91: Roboteridentifikationseinheit
92: E/A-Informations-Erfassungseinheit
93: Objektidentifikationseinheit
94: Anzeigesteuereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP H10105219 A [0002]
JP 2018181232 A [0002]

Claims

E/A-Signalinformations-Anzeigesystem, umfassend: eine Anzeigevorrichtung (7), die konfiguriert ist, ein AR-Bild anzuzeigen; eine Bildgebungsvorrichtung (8), die konfiguriert ist, ein tatsächlich fotografiertes Bild mit einem Bereich zu erfassen, der zumindest jeglichen Roboter (2, 16, 24) einer Überwachungszieleinrichtung (1), die zumindest einen Roboter (2, 16, 24) beinhaltet, beinhaltet, als ein bildgebendes Sichtfeld; eine Roboteridentifikationseinheit (91), die konfiguriert ist, den Roboter (2, 16, 24) des durch die Bildgebungsvorrichtung (8) erfassten, tatsächlich fotografierten und durch die Anzeigevorrichtung (7) anzuzeigenden Bilds zu identifizieren; eine E/A-Signalinformations-Erfassungseinheit (92), die konfiguriert ist, ein sich auf den durch die Roboteridentifikationseinheit (91) identifizierten Roboter (2, 16, 24) beziehende E/A-Signalinformation zu erfassen; eine Objektidentifikationseinheit (93), die konfiguriert ist, ein Objekt als ein Ziel der E/A-Signalinformation zu identifizieren, basierend auf einer Korrelation zwischen der Änderung beim tatsächlich fotografierten Bild, das auf der Anzeigevorrichtung (7) angezeigt wird, und einer Änderung bei der E/A-Signalinformation; und eine Anzeigesteuereinheit (94), die konfiguriert ist, die Anzeigevorrichtung zu veranlassen, ein AR-Bild in einer Anzeigeform anzuzeigen, in der ein Bild der E/A-Signalinformation eine spezifische Beziehung zu einem Bild des durch die Objektidentifikationseinheit (93) identifizierten Objekts aufweist.
E/A-Signalinformations-Anzeigesystem gemäß Anspruch 1, wobei die Objektidentifikationseinheit (93) ein Objekt identifiziert, basierend auf Simultanität zwischen der Änderung bei dem tatsächlich fotografierten Bild und der Änderung bei der E/A-Signalinformation.
E/A-Signalinformations-Anzeigesystem gemäß Anspruch 1, wobei die Anzeigesteuereinheit (94) die Anzeigevorrichtung (7) veranlasst, als die Anzeigeform anzuzeigen jegliches von: einer Form, in der ein Bild der E/A-Signalinformation an ein Bild des Objekts angrenzt; eine Form, in der ein Bild der E/A-Signalinformation dem Bild des Objekts überlagert ist; eine Form, in welcher ein Numerikwert der E/A-Signalinformation als Text zusammen mit dem Bild des Objekts angezeigt wird; eine Form, in der ein Muster mit Helligkeit, Farbton oder Sättigung gemäß dem Numerikwert der E/A-Signalinformation zusammen mit dem Bild des Objekts angezeigt wird; eine Form, in der ein Graph gemäß dem Numerikwert der E/A-Signalinformation zusammen mit dem Bild des Objekts angezeigt wird; oder eine Form, in der das Bild des Objektes gemäß dem Numerikwert der E/A-Signalinformation verändert wird.