DE102020000390B4

DE102020000390B4 - Robotersystem

Info

Publication number: DE102020000390B4
Application number: DE102020000390.7A
Authority: DE
Inventors: Takahiro Okamoto
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-01-29
Filing date: 2020-01-22
Publication date: 2023-07-20
Anticipated expiration: 2040-01-23
Also published as: CN111487946B; CN111487946A; JP2020121351A; US11267132B2; DE102020000390A1; JP7000364B2; US20200238536A1

Abstract

Robotersystem (100), aufweisend:einen Roboter (10);eine Robotersteuerung (50), die eingerichtet ist zur Steuerung des Roboters (10);eine Videogewinnungseinrichtung (91), die eingerichtet ist zum Gewinnen eines realen Videos eines Arbeitsraumes einschließlich des Roboters (10) und der Robotersteuerung (50); undeine kopfmontierbare Videoanzeigeeinrichtung (90) mit einer Sichtlinienverfolgungseinrichtung (92), die eingerichtet ist zum Gewinnen von Informationen bezüglich Sichtlinien eines Trägers, wobeidie Robotersteuerung (50) enthält:eine Informationenspeichereinrichtung (80), die eingerichtet ist zum Speichern von Informationen, die für die Steuerung des Roboters (10) eingesetzt werden unter Verknüpfung der Informationen mit der Art eines in dem Arbeitsraum gegebenen Gegenstandes;eine Blickzielidentifizierungseinrichtung (51), die eingerichtet ist, in dem Video auf Basis der Sichtlinieninformationen ein Blickziel zu identifizieren, welches durch den Träger der Videoanzeigeeinrichtung (90) in dem Arbeitsraum angesehen wird; undeine Anzeigeverarbeitungseinrichtung (53), die eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, die mit dem Gegenstand verknüpften Informationen entsprechend dem identifizierten Blickziel Seite-an-Seite mit dem Blickziel in Form eines Bildes darzustellen, durch welches der Träger Inhalte der Informationen visuell erfassen, auswählen oder einstellen kann,wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) ein Werkzeug als das Blickziel identifiziert, welches an einem Gelenkflansch des Roboters (10) angebracht ist, in Abhängigkeit davon, ob ein Werkzeugkoordinatensystem des Werkzeuges bereits gesetzt ist, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, das Bild anzuzeigen, welches dem Träger ermöglicht, visuell zumindest einen der nachfolgenden Vorgänge auszuführen: Erfassen eines Einstellzustandes des Werkzeugkoordinatensystems und Neueinstellung oder Änderung der Einstellung des Werkzeugkoordinatensystems.

Description

Die Erfindung betrifft ein Robotersystem.
In jüngerer Zeit kommt die sogenannte erweiterte Realität („Augmented Reality; AR) bei industriellen Robotern zum Einsatz. Beispielsweise beschreibt JP 2016 - 107 379 A ein Robotersystem, in dem eine Operationsführung, welche die Richtung eines Einschnitts an einer Werkzeugspitze anzeigt, mit dem Bild eines Roboters in einer realen Umgebung überlagert und auf einer kopfmontierten (am Kopf tragbaren) Anzeigeeinrichtung, die mit einer Bildaufnahmeeinrichtung versehen ist, dargestellt wird. Die JP 2017 - 538 218 A (Übersetzung der PCT-Anmeldung) beschreibt ein System, bei dem eine Bedienungsperson mit einem Programm-Startmenü arbeitet, welches einem Video der realen Umgebung überlagert ist unter Einsatz einer Sichtlinie entsprechend einem Mauszeiger unter Berücksichtigung eines Blickziels der Bedienungsperson mittels einer Sichtlinienverfolgungseinrichtung, die in einer kopfmontierten Anzeigeeinrichtung vorgesehen ist. Weiterer Stand der Technik ist offenbart in DE 10 2016 123 945 A1 , US 2020 / 0 133 002 A1 , US 2017 / 0 372 139 A1 , US 2017 / 0 206 710 A1 , JP 2018 - 176 342 A und JP 2018 - 153 874 A .
Damit eine Bedienungsperson in einem Robotersystem eine gewünschte Information erhält mittels eines Benutzer-Schnittstellenbildschirms gemäß Anzeige auf einer Anzeigeeinrichtung eines Lehrpanels (Programmierhandgerät) oder dergleichen ist es erforderlich, Operationen auszuführen zum Auffinden der gewünschten Informationen durch sequentielle Auswahl von hierarchisch dargestellten Auswahlmenüs. Es ist somit die Aufgabe, ein Robotersystem mit einer Konfiguration bereitzustellen, welche einer Bedienungsperson einen einfacheren Zugang zu gewünschten Informationen ermöglicht.
Die Lösung der Aufgabe entspricht gemäß der vorliegenden Erfindung einem Robotersystem mit den Merkmalen des Patentanspruchs 1 sowie einem Robotersystem mit den Merkmalen des Patentanspruchs 2. Ein Robotersystem umfasst: einen Roboter, eine Robotersteuerung, die eingerichtet ist zur Steuerung des Roboters, eine Videogewinnungseinrichtung, die eingerichtet ist zum Gewinnen eines realen Videos eines Arbeitsraumes einschließlich des Roboters und der Robotersteuerung, und eine kopfmontierte (am Kopf tragbare) Videoanzeigeeinrichtung mit einer Sichtlinienverfolgungseinrichtung (tracking device; Spurbildungseinrichtung), die eingerichtet ist zum Gewinnen von Informationen bezüglich der Sichtlinie des Trägers (der kopfmontierten Einrichtung), wobei die Robotersteuerung eine Informationsspeichereinrichtung enthält, die eingerichtet ist zum Speichern von Informationen, die eingesetzt werden zur Steuerung des Roboters unter Verknüpfung der Informationen mit der Art des im Arbeitsraum gegebenen Gegenstandes, weiterhin eine Blickzielidentifizierungseinrichtung, die eingerichtet ist, in dem Video ein Blickziel des Trägers der Videoanzeigeeinrichtung in dem Arbeitsraum auf Basis der Informationen bezüglich der Sichtlinie zu identifizieren, und eine Anzeigebearbeitungseinrichtung, die eingerichtet ist, die Videoanzeigeeinrichtung zu veranlassen, die Informationen anzuzeigen in Verknüpfung mit dem Gegenstand entsprechend dem identifizierten Blickziel, Seite-an-Seite mit dem Blickziel in der Art eines Bildes, so dass der Träger visuell die Inhalte der Informationen erfassen, auswählen oder einstellen kann.
Die Ziele, Merkmal und Vorteile der vorliegenden Erfindung werden noch deutlicher aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit den Figuren:

1 zeigt eine Konfiguration eines Robotersystems gemäß einem Ausführungsbeispiel der vorliegenden Beschreibung;
2 ist ein funktionales Blockdiagramm des Robotersystems;
3 ist ein Flussdiagramm zur Erläuterung des Prozesses der Informationenanzeige;
4 ist ein Beispiel für eine Anzeigedarstellung, bei der ein Auswahlmenü für die Auswahl, ob ein Werkzeugkoordinatensystem neu zu setzen ist oder nicht, mit einem Videobild überlagert ist;
5 zeigt einen Zustand, in dem ein Auswahlmenü aktiviert und betätigt ist mittels einer Sichtlinie;
6 zeigt ein Beispiel für eine Anzeige, bei der Inhalte bezüglich einer Lastinformation auf der Anzeigeeinrichtung überlagert sind;
7 zeigt ein Beispiel für eine Anzeige, bei der Informationen bezüglich Werkzeugkoordinaten auf dem Anzeigeschirm überlagernd dargestellt sind;
8 zeigt ein Beispiel für eine Anzeige, bei der Informationen bezüglich Geschwindigkeit und Bahn des Roboters auf einem Video überlagernd dargestellt sind;
9 zeigt ein Beispiel für eine Anzeige, bei der Informationen bezüglich eines Jog-Betriebs (Tipp-Betriebs) auf einem Video überlagernd dargestellt sind;
10 zeigt ein Beispiel für eine Anzeige, bei der Informationen bezüglich einer momentanen Position und eines Bewegungsbereiches eines Gelenkes auf einem Video überlagernd dargestellt sind;
11 zeigt ein Beispiel für eine Anzeige, bei der Informationen bezüglich eines Sperrbereiches auf einem Video überlagernd dargestellt sind;
12 ist ein Beispiel für eine Anzeige, bei der ein Auswahlmenü bezüglich eines erneuten Einschaltens des Stromes auf einem Video überlagernd dargestellt ist;
13 ist ein Beispiel für eine Anzeige, bei der ein Auswahlmenü für das Umschalten des Betriebsmodus auf einem Video überlagernd dargestellt ist;
14 ist ein Beispiel für eine Anzeige, bei der Informationen bezüglich eines Betriebszustandes eines Betriebsprogrammes auf einem Video überlagernd dargestellt sind;
15 erläutert einen Prozess der Einstellung eines Werkzeugkoordinatensystems; und
16 erläutert einen Prozess der Einstellung eines Werkzeugkoordinatensystems.

Ausführungsbeispiele der vorliegenden Beschreibung werden nunmehr erläutert mit Bezug auf die begleitenden Figuren. In den Figuren sind einander entsprechende Komponenten mit den gleichen Bezugszeichen versehen. Zur Erleichterung des Verständnisses sind die Figuren im Maßstab jeweils angepasst. Die in den Figuren dargestellten Ausführungsbeispiele betreffen Möglichkeiten der Verwirklichung der vorliegenden Erfindung, wobei die Erfindung nicht auf die beschriebenen und dargestellten Ausführungsbeispiele beschränkt ist.
1 erläutert eine Konfiguration eines Robotersystems 100 gemäß einem Ausführungsbeispiel der vorliegenden Beschreibung. 2 ist ein funktionales Blockdiagramm des Robotersystems 100. Gemäß 1 und 2 hat das Robotersystem 100 einen Roboter 10, eine Robotersteuerung 50, die eingerichtet ist zum Steuern des Roboters 10, eine Videogewinnungseinrichtung 91, die eingerichtet ist zum Gewinnen eines realen Videos eines Arbeitsraumes einschließlich des Roboters 10 und der Robotersteuerung 50, und eine Videoanzeigeeinrichtung 90 vom kopfmontierten Typ (am Kopf tragbar) mit einer Sichtlinienverfolgungseinrichtung 92, die eingerichtet ist zum Gewinnen von Informationen bezüglich der Sichtlinie eines Trägers (der kopfmontierten Einrichtung). Die Robotersteuerung 50 hat eine Informationsspeichereinrichtung 80, die eingerichtet ist zum Speichern von Informationen, welche eingesetzt werden zum Steuern des Roboters 10 unter Verknüpfung der Informationen mit der Art der Gegenstände (Objektes; Roboter 10, Robotersteuerung 50, periphere Einrichtungen etc.), die im Arbeitsraum gegeben sind, eine Blickzielidentifizierungseinrichtung 51, die eingerichtet ist, in dem Video eine Blickrichtung des Trägers der Videoanzeigeeinrichtung 90 im Arbeitsraum zu identifizieren auf Basis der Informationen bezüglich der Sichtlinie, und eine Anzeigebearbeitungseinrichtung 53, die eingerichtet ist, die Videoanzeigeeinrichtung 90 zu veranlassen, die Informationen in Verknüpfung mit dem Gegenstand entsprechend dem identifizierten Blickziel Seite-an-Seite mit dem Blickziel in Form eines Bildes darzustellen, mit dem der Träger visuell Inhalte der Informationen erfassen, auswählen oder einstellen kann. Beim vorliegenden Ausführungsbeispiel ist die Videogewinnungseinrichtung 91 in die Videoanzeigeeinrichtung 90 integriert, jedoch ist dies nur ein Beispiel und die Videogewinnungseinheit 91 kann getrennt von der Videoanzeigeeinrichtung 90 vorgesehen sein.
Der Roboter 10 ist beim vorliegenden Ausführungsbeispiel vertikal gelenkig und ein Werkzeug 12 ist an der Spitze des Armes montiert. Bei dem Roboter 10 kann es sich auch um einen anderen Typ von Roboter handeln. Ist der Roboter 10 ein 6-Achsen-Roboter, gewinnt die Robotersteuerung 50 die Position einer jeden Achse (J1 bis J6) vom Roboter 10 als Informationen, welche die momentane Position des Roboters 10 darstellen. Die Robotersteuerung 50 kann realisiert sein als ein Universalrechner mit CPU, ROM, RAM, einer Speichereinrichtung etc.
Die Videoanzeigeeinrichtung 90 hat eine Anzeige 94, die vor beiden Augen des Trägers angeordnet ist, und zeigt das mit der Videogewinnungseinrichtung 91 gewonnene Video auf der Anzeige 94 an. Für die Sichtlinienverfolgungseinrichtung 92 kann eine Einrichtung verwendet werden, wie sie allgemein im Stand der Technik bekannt ist zum Bestimmen der Sichtlinie. Beispielsweise gewinnt die Sichtlinienverfolgungseinrichtung 92 die Positionsbeziehung zwischen dem Cornea-Reflex (Referenzpunkt) und der Pupille (dem Bewegungspunkt) beider Augen des Trägers mittels Infrarot-LED und mit einer Infrarotkamera, welche an Orten vor beiden Augen des Trägers der Videoanzeigeeinrichtung 90 angeordnet sind, und damit kann die Sichtlinienrichtung (in 1 mit dem gestrichelten Pfeil E dargestellt) gewonnen werden. Das mit der Videogewinnungseinrichtung 91 gewonnene Video und die Informationen bezüglich der Sichtlinie, die mit der Sichtlinienverfolgungseinrichtung 92 gewonnen werden, werden zur Robotersteuerung 50 übertragen. Eine Bildverarbeitungseinrichtung 93 führt eine Video-Verarbeitung aus, bei der Informationen bezüglich des Blickziels, die von der Robotersteuerung 50 bereitgestellt werden, dem Video von der Videogewinnungseinrichtung 91 überlagert und so angezeigt werden, dass sie Seite-an-Seite in Bezug auf das Blickziel angeordnet sind.
Beim vorliegenden Ausführungsbeispiel sind die Videogewinnungseinrichtung 91 und die Sichtlinienverfolgungseinrichtung 92 integral in der Videoanzeigeeinrichtung 90 eingerichtet und ihre Positionen sind in Bezug auf den Kopf des Trägers fixiert. Deshalb ist es unter Einsatz der Sichtlinieninformation (Augenrichtung), wie sie durch die Sichtlinienverfolgungseinrichtung 92 gemessen wird, möglich, das Blickziel des Trägers in dem Video zu identifizieren. Die Robotersteuerung 50 hat eine Gegenstandsmodellspeichereinrichtung 81, die eingerichtet ist zum Abspeichern von Gegenstandsmodellen, welche die jeweiligen Gegenstände wiedergeben (Roboter 10, Robotersteuerung 50, periphere Einrichtungen etc.) im Arbeitsraum. Beispielsweise kann die Blickzielidentifizierungseinrichtung 51 die Position des Gegenstandes in dem Video identifizieren und auch den Bereich des Blickziels auf dem Gegenstand durch einen Bilderkennungsprozess unter Einsatz des in der Gegenstandsmodellspeichereinrichtung 81 abgespeicherten Gegenstandsmodells.

Die Robotersteuerung 50 hat weiterhin eine Merkmalsidentifizierungseinrichtung 52 und eine Einstelleinrichtung 54 für ein Werkzeugkoordinatensystem. Um die Videoanzeigeeinrichtung 90 in die Lage zu versetzen, Informationen anzuzeigen, die spezifisch sind für einen jeden Merkmalsbereich, wie er für jeden Gegenstand vorab bestimmt wird, speichert die Informationenspeichereinrichtung 80 die für jeden Merkmalsbereich spezifischen Informationen unter Verknüpfung der Informationen mit dem jeweiligen Merkmalsbereich, wie er für jeden Gegenstand vorab festgelegt wird. Die nachfolgende Tabelle 1, ist ein Beispiel für die in der Informationenspeichereinrichtung 80 abgespeicherten Informationen. Gemäß 1 ist der vorbestimmte Merkmalsbereich für den Roboter 10 beispielsweise ein Werkzeug und ein Gelenkbereich und der vorherbestimmte Merkmalsbereich für die Robotersteuerung 50 ist beispielsweise ein Schalter für das Einschalten und ein Speicher für die Modenauswahl (Betriebsauswahl). Die Informationen, die spezifisch sind für den jeweiligen Merkmalsbereich enthalten interne Informationen und Einstellungsinformationen hinsichtlich des Merkmalsbereichs. Tabelle 1

Gegenstand	Merkmalsbereich	Information
Roboter	Werkzeug	Werkzeugkoordinatensystem: Bereits eingestellt
		(X, Y, Z) = 0mm, 0mm, 100mm)
		(W, P, R) = 180deg, 0deg, 0deg)
		Lasteinstellung: nicht eingestellt
	Gelenkbereich	Momentane Position:
		J1=10°, J2=45°, J3=45°,
		J4=10°, J5=-70°, J6=10°
		Bewegungsbereich des Gelenkes:
		J1=±180°, 32=±140°, J3=±140°,
		J4=±180°, J5=±100°, J6= ±180°
Robotersteuerung	Schalter Ein/Aus	Ein
	Schalter für Betriebsauswahl	Auto-Modus
	willkürlicher Punkt	Name des Betriebsprogrammes, Ausführungsposition

Die Merkmalsidentifizierungseinrichtung 52 identifiziert einen Merkmalsbereich, den der Träger im Blick hat, durch Einsatz des Objektmodells und des Videos und der Informationen bezüglich der Sichtlinie. Die Merkmalsidentifizierungseinrichtung 52 verwendet beispielsweise ein Gegenstandsmodell des Roboters 10 und die momentane Position einer jeden Achse des Roboters 10, bringt das Gegenstandsmodell in eine Position entsprechend der momentanen Position des Roboters 10, identifiziert eine Position des Roboters 10 in dem Video durch Muster-Anpassung und identifiziert weiterhin, welcher von mehreren Merkmalsbereichen, die vorab für den Roboter 10 eingestellt worden sind, das Blickziel des Trägers ist.
Die Anzeigeverarbeitungseinrichtung 53 gewinnt die spezifischen Informationen des Merkmalsbereichs, welcher durch die Merkmalsidentifizierungseinrichtung 52 identifiziert ist, aus der Informationenspeichereinrichtung 80 und gibt die gewonnenen Informationen an die Videoanzeigeeinrichtung 90, so dass die Informationen auf dem Video, wie es auf der Anzeige 94 dargestellt ist, überlagert angezeigt werden. In 1 ist mit dem Bezugszeichen 190 ein Beispiel dargestellt für eine Bildschirmanzeige auf der Anzeige 94 der Videoanzeigeeinrichtung 90.
3 erläutert mit einem Flussdiagramm einen Prozess für die Anzeige von Informationen bezüglich eines Blickziels auf der Videoanzeigeeinrichtung 90 in Form eines Bildes, mit dem der Träger visuell Inhalte erfassen, auswählen oder einstellen kann (nachfolgend wird dies als Informationenanzeigeprozess bezeichnet). Der Informationenanzeigeprozess gemäß 3 wird ausgeführt unter Steuerung durch die CPU der Robotersteuerung 50. Insbesondere zeigt die Anzeigeprozesseinrichtung 53 Informationen an bezüglich des Blickziels (Merkmalsbereich) unter Anordnung der Informationen Seite-an-Seite mit dem Blickziel in dem Video unter Verwendung der Ergebnisse der Identifizierung des Blickziels (Merkmalsbereich) durch die Blickzielidentifizierungseinrichtung 51 und die Merkmalsidentifizierungseinrichtung 52. Die Bedienungsperson trägt die Videoanzeigeeinrichtung 90, betätigt die Robotersteuerung 50 gemäß Vorgaben und aktiviert den Informationenanzeigeprozess. Zunächst wird ermittelt, ob das Blickziel durch die Blickzielidentifizierungseinrichtung 51 und die Merkmalsidentifizierungseinrichtung 52 identifiziert ist oder nicht (Schritt S1). Ist das Blickziel identifiziert (S1: JA), wird ermittelt, ob das Blickziel das Werkzeug 12 des Roboters 10 ist oder nicht (Schritt S2).
Wird festgestellt, dass der Blickpunkt A gemäß der Sichtlinienrichtung E des Trägers auf dem Werkzeug 12 liegt und das Blickziel das Werkzeug 12 des Roboters 10 ist (S2: JA), bewirkt die Anzeigeverarbeitungseinrichtung 53, dass die Videoanzeigeeinrichtung 90 ein Bild darstellt, welches es dem Träger erlaubt, visuell zumindest eine der folgenden Operationen auszuführen: Erfassen des Einstellzustandes des Werkzeugkoordinatensystems, eine neue Einstellung oder eine Änderung der Einstellung des Werkzeugkoordinatensystems, ein Erfassen des Einstellzustandes bezüglich der Last und eine neue Einstellung oder Änderung der Last, jeweils in Abhängigkeit davon, ob das Werkzeugkoordinatensystem des Werkzeuges 12 bereits eingestellt ist bzw. ob die Last für das Werkzeug 12 bereits eingestellt ist oder nicht (Schritte S6 bis S8).
Im Einzelnen: beobachtet der Träger das Werkzeug 12 (S2: JA), wird der Roboter 10 gestoppt (S3: JA) und das Werkzeugkoordinatensystem wird nicht eingestellt (S4: NEIN), die Anzeigeverarbeitungseinrichtung 53 gemäß 4 stellt eine Mitteilung 301 überlagernd dar, welche anzeigt, dass das Werkzeugkoordinatensystem nicht gesetzt ist, und es wird ein Auswahlmenü 302 vorgegeben für eine Auswahl, ob das Werkzeugkoordinatensystem auf dem Video auf der Anzeige 94 neu gesetzt werden soll oder nicht (Schritt S8). In 4 betrifft das Bezugszeichen 201 einen Anzeigebildschirm auf der Anzeige 94, bei dem die Mitteilung 301 und das Auswahlmenü 302 auf einem Video mit dem Roboter 10 überlagernd dargestellt sind. Der Begriff „überlagernd“ beinhaltet in dieser Beschreibung allgemein auch Einblendungen.
Der Träger kann das Auswahlmenü 302 bedienen mittels der Sichtlinie auf dem Anzeigeschirm 201 (5). Verbleibt beispielsweise der Blickpunkt A des Trägers nahe dem „JA“ auf dem Auswahlmenü 302 für einige Sekunden, kann die Robotersteuerung 50 feststellen, dass der Träger das „JA“ ausgewählt hat. Der Prozess der Einstellung des Werkzeugkoordinatensystems dann, wenn der Träger das „JA“ ausgewählt hat, wird weiter unten näher beschrieben.
Ist das Werkzeugkoordinatensystem bereits eingestellt (S4: JA) und ist die Last nicht eingestellt (S5: NEIN), überlagert die Anzeigeverarbeitungseinrichtung 53 eine Mitteilung 311 (blendet sie in der Darstellung ein), welche anzeigt, dass die Last nicht eingestellt ist, wobei die Darstellung auf dem Video auf der Anzeige 94 in Schritt S7 erfolgt (6). Dabei zeigt die Anzeigeverarbeitungseinrichtung 53 auch ein Auswahlmenü 312 an zum Auswählen mittels der Sichtlinie, ob die Lastinformation neuerlich gesetzt werden soll oder nicht. In 6 betrifft das Bezugszeichen 202 einen Anzeigebildschirm der Anzeige 94, in dem die Mitteilung 311 und das Auswahlmenü 312 auf einem Video eingeblendet sind einschließlich des Roboters 10. Wählt der Träger auf dem Auswahlmenü 312 mittels seiner Sichtlinie „JA“ aus, kann die Anzeigeverarbeitungseinrichtung 53 weiterhin eine Benutzer-Schnittstellendarstellung anzeigen für die Eingabe eines Wertes bezüglich der Lasteinstellung.
Wird das Werkzeugkoordinatensystem eingestellt (S4: JA) und wird auch die Last eingestellt (S5: JA), blendet (überlagert) in Schritt S6 die Anzeigeverarbeitungseinrichtung 53 einen momentanen Einstellwert 321 des Werkzeugkoordinatensystems oder einen Wert bezüglich der Last auf dem Video auf der Anzeige 94 ein (7). In 7 betrifft das Bezugszeichen 203 einen Anzeigebildschirm auf der Anzeige 94, in den die Einstellwerte 321 des Werkzeugkoordinatensystems eingeblendet sind, wobei das Video auch den Roboter 10 enthält. Der Anzeigebildschirm 203 zeigt auch ein Auswahlmenü 322 für Befehle bezüglich der Änderung von Einstellwerten oder für die Anzeige von Lastinformationen. Wählt der Träger „Änderung“ im Auswahlmenü 322 mittels seiner Sichtlinie aus, geht der Prozess zu einem Koordinatensystem-Einstellprozess, der weiter unten näher beschrieben ist. Wählt der Träger mittels seiner Sichtlinie im Auswahlmenü 322 „zur Lastinformation“ aus, wird der Einstellwert der Lastinformation dargestellt anstelle des Einstellwertes für das Werkzeugkoordinatensystem. Im Anzeigebild des Einstellwertes bezüglich der Lastinformation wird ein Menü angegeben zum Umschalten auf einen Bildschirm zum Ändern des Einstellwertes bezüglich der Lastinformation.
Wird in Schritt S3 ermittelt, dass der Roboter 10 in Betrieb ist (S3: NEIN), bewirkt die Anzeigeverarbeitungseinrichtung 53, dass die Videoanzeigeeinrichtung 90 ein Bild darstellt, welches den Träger in die Lage bringt, visuell Informationen bezüglich des Betriebs des Roboters 10 zu erfassen, welcher das Werkzeug 12 bewegt. Im Einzelnen: ist der Roboter 10 in Betrieb (S3: NEIN) und führt der Roboter 10 ein Betätigungsprogramm aus (S9: JA), blendet die Anzeigeverarbeitungseinrichtung 53 Informationen bezüglich der Geschwindigkeit und der Bewegungsbahn des Roboters 10 in Schritt S10 im Video ein (8). In 8 betrifft das Bezugszeichen 204 einen Bildschirm auf der Anzeige 94, auf dem eine Information 331 bezüglich der Geschwindigkeit und der Bewegungsbahn des Roboters 10 in das Video eingeblendet sind, welches den Roboter 10 enthält. Auf der Bildschirmdarstellung 204 sind Wort-Informationen eingeblendet, die einen Namen für das Betätigungsprogramm, die Betätigungsart des Roboters 10, die Geschwindigkeitsübersteuerung, die Lerngeschwindigkeit und die Werkzeug-Mittelpunktgeschwindigkeit (TCP-Geschwindigkeit) angeben, und eine Betriebs-Bewegungsbahn T und sogenannte Lehr-Punkte P der Werkzeugspitze werden ebenfalls graphisch eingeblendet.
Ist der Roboter 10 in Betrieb (S3: NEIN) und führt er kein Operationsprogramm aus (S9: NEIN), bestimmt die Robotersteuerung 50, dass der Roboter 10 einen sogenannten Jog-Betrieb ausführt unter Einsatz eines Lehrpanels (nicht dargestellt), welches mit der Robotersteuerung 50 verbunden ist. In diesem Falle blendet in Schritt S11 die Anzeigeverarbeitungseinrichtung 53 Informationen 332 ein, die den Jog-Betrieb (auch als Tipp-Betrieb bezeichnet) betreffen (9). In 9 betrifft das Bezugszeichen 205 einen Anzeigebildschirm der Anzeige 94, auf dem die Betriebsgeschwindigkeit, der Betriebsbereich und die Bewegungsrichtung des Roboters 10 gemäß dem Jog-Betrieb in das Video mit dem Roboter 10 eingeblendet sind, jeweils in Form von Worten bzw. Bildern.
Ist das Blickziel des Trägers ein Gelenkbereich des Roboters 10 (S2: NEIN, S12: JA), blendet die Anzeigeverarbeitungseinrichtung 53 Informationen 333 ein bezüglich der momentanen Position des Gelenkbereiches und des Bewegungsbereiches des Gelenkbereiches gemäß Schritt 13 (10). Dabei ist angenommen, dass der Blickpunkt A der Sichtlinie E des Trägers auf der fünften Gelenkposition liegt (J5). In 10 betrifft das Bezugszeichen 206 einen Anzeigebildschirm der Anzeige 94, auf dem Informationen bezüglich der momentanen Position und des Bewegungsbereiches des fünften Gelenkes eingeblendet sind, in Form von Worten bzw. Bildern im den Roboter 10 enthaltenden Video.
Um bei einem industriellen Roboter einen Zusammenstoß mit Komponenten in der Umgebung des Roboters zu vermeiden, kann ein Bereich definiert werden, in den der Roboter nicht eintreten darf und der Roboter kann eine Funktion aufweisen, mit der ein solches Eintreten in diesen Bereich verhindert ist. Nachfolgend wird ein solcher Bereich mit „Sperrbereich“ bezeichnet. Informationen bezüglich der Lage des Sperrbereiches werden in der Informationenspeichereinrichtung 80 der Robotersteuerung 50 abgespeichert, beispielsweise als Positionen auf Basis eines Koordinatensystems des Roboters 10. In Schritt S14 blendet die Anzeigeverarbeitungseinrichtung 53 dann, wenn der Blickpunkt A des Trägers nicht auf dem Roboter 10 liegt sondern auf der den Roboter 10 umgebenden Umgebung (S12: NEIN, S14: JA), Informationen bezüglich des Sperrbereiches in das Video ein, wenn der Sperrbereich in dem Umgebungsbereich liegt (Schritt S15; 11). In 11 betrifft das Bezugszeichen 204 einen Anzeigebildschirm der Anzeige 94, auf dem eine gestrichelte Linie H einen Sperrbereich darstellt, der in das den Roboter 10 enthaltende Video eingeblendet ist.
Wenn in den Schritten S16 bis S21 die Blickzielidentifizierungseinrichtung 51 einen Auswahlschalter an der Robotersteuerung 50 als Blickziel identifiziert, bewirkt die Anzeigeverarbeitungseinrichtung 53, dass die Videoanzeigeeinrichtung 90 ein Bild darstellt, welches es dem Träger ermöglicht, visuell den Auswahlschalter auszuwählen. Im Einzelnen: ist das Blickziel des Trägers die Robotersteuerung 50 (S16: JA) und ist der Roboter 10 angehalten (S17: JA), wird weiterhin ermittelt, in welchem Bereich der Robotersteuerung 50 der Blickpunkt A des Trägers liegt (Schritte S18 und S20). Liegt der Blickpunkt A der Sichtlinie E des Trägers nahe einem Leistungsschalter 55 und wird festgestellt, dass der Merkmalsbereich des Blickziels der Leistungsschalter 55 ist (S18: JA), blendet die Anzeigeverarbeitungseinrichtung 53 in das Video ein Auswahlmenü 341 ein zum Auswählen, ob die Leistung wieder eingeschaltet werden soll oder nicht; dies erfolgt in Schritt S19 (12). In 12 betrifft das Bezugszeichen 208 einen Anzeigebildschirm der Anzeige 94, auf dem das Auswahlmenü 341 eingeblendet ist als Buchstabeninformation im Video, welches die Robotersteuerung 50 enthält. Wählt der Träger mit der Sichtlinie „JA“ im Auswahlmenü 341 aus, führt die Robotersteuerung 50 ein Einschalten des Roboters 10 aus.
Liegt der Blickpunkt A der Sichtlinie E des Trägers nahe einem Betriebsauswahlschalter 56 und wird festgestellt, dass der Merkmalsbereich des Blickziels dieser Schalter 56 ist (S18: NEIN, S20: JA), blendet die Anzeigeverarbeitungseinrichtung 53 eine Mitteilung 351 ein, die den momentanen Betriebszustand der Robotersteuerung 50 angibt sowie ein Auswahlmenü 352 zum Umschalten des Betriebszustandes, wobei die Einblendung in Schritt S21 in das Video erfolgt (13). In 13 betrifft das Bezugszeichen 209 einen Anzeigebildschirm auf der Anzeige 94, in dem die Mitteilung 351 und das Auswahlmenü 352 eingeblendet sind in Form von Buchstabeninformationen im Video einschließlich der Robotersteuerung 50. Wählt der Träger entweder den T1-Betriebszustand oder den T2-Betriebszustand mit seiner Sichtlinie aus, schaltet die Robotersteuerung 50 den Betriebszustand in den ausgewählten Zustand.
Betrachtet der Träger einen willkürlichen Punkt auf der Robotersteuerung 50 (S16: JA) und ist der Roboter 10 nicht angehalten (S17: NEIN), wird festgestellt, dass das Operationsprogramm ausgeführt wird (S22: JA) und die Anzeigeverarbeitungseinrichtung 53 blendet eine Information 361 ein, die den Ausführungszustand des Operationsprogramms angibt, und ein Auswahlmenü 362 zum Auswählen einer Pause oder einer Wiederaufnahme des Programms, wobei die Einblendung in Schritt S23 in das Video erfolgt (S23; 14). In 14 betrifft das Bezugszeichen 210 einen Anzeigebildschirm der Anzeige 94, in dem eine Information 361, welche den Zustand des Operationsprogrammes angibt, und das Auswahlmenü 362 als Buchstabeninformation in das Video mit der Robotersteuerung 50 eingeblendet sind. Wählt der Träger „JA“ mit seiner Sichtlinie im Auswahlmenü 362 aus, unterbricht die Robotersteuerung 50 das Operationsprogramm.
Nunmehr wird der Vorgang der Einstellung des Werkzeugkoordinatensystems mit Bezug auf die 15 und 16 näher beschrieben, der ausgeführt wird, wenn im Auswahlmenü 302 in Schritt S8 „JA“ ausgewählt ist (4) oder wenn im Auswahlmenü 322 in Schritt 6 „Änderung“ ausgewählt ist (7). Der Prozess der Einstellung des Werkzeugkoordinatensystems wird durch die Werkzeugkoordinatensystemeinstelleinrichtung 54 in der Robotersteuerung 50 ausgeführt. Der Prozess der Einstellung des Werkzeugkoordinatensystems beinhaltet eine Einstellung des Werkzeugkoordinatensystems derart, dass eine vorgegebene Beziehung mit dem Flansch-Koordinatensystem der Armspitze des Roboters 10 gegeben ist. Gemäß 15 wird die Position der Werkzeugspitze abgeschätzt mittels der Schnittstelle der Sichtlinien des Trägers, wenn die Werkzeugspitze aus mehreren Richtungen betrachtet wird. Wie 15 beispielhaft darstellt, wird der Träger veranlasst, die Werkzeugspitze aus zwei Positionen zu betrachten und die Position der Werkzeugspitze wird dann gewonnen mittels der Schnittstelle der zwei Sichtlinienrichtungen E1 und E2.
16 erläutert ein besonderes Verfahren zum Gewinnen der Position der Werkzeugspitze. Das Flansch-Koordinatensystem ist definiert als ΣF und das Basiskoordinatensystem des Roboters 10 ist definiert als ΣR. Die Beziehung zwischen ΣF und ΣR ist aus der momentanen Position des Roboters 10 bekannt. Damit werden die Koordinaten (x, y, z) der Werkzeugspitze im Flansch-Koordinatensystem ΣF gewonnen. Die Kopf-Koordinatensysteme, welche Positionen und Stellungen des Kopfes angeben, wenn der Träger die Werkzeugspitze aus verschiedenen Positionen betrachtet, sind mit ΣH bzw. ΣH' gegeben. ΣH und ΣH' können als Koordinatensysteme in Bezug auf die Videodisplayeinrichtung 90 fixiert sein. Die Kopf-Koordinatensysteme ΣH und ΣH' können gewonnen werden durch Einsatz verschiedener Positionsdetektionsverfahren gemäß dem Stand der Technik, wie das Positionsdetektionsverfahren unter Einsatz eines Beschleunigungssensors und eines Gyro-Sensors an der Videoanzeigeeinrichtung 90; oder es kann auch ein Verfahren eingesetzt werden mit einem AR-Marker. Somit ist die Konversion zwischen ΣR, ΣF, ΣH und ΣH' bekannt. Sodann werden die Startpunkte der zwei Sichtlinien E1 und E2 gemäß Messung durch die Sichtlinienverfolgungseinrichtung 92 auf die Ursprünge von ΣH bzw. ΣH' gesetzt und die Schnittstellen der Sichtlinien E1 und E2 mit einer willkürlichen Ebene (z.B. der XY-Ebene), die im Flansch-Koordinatensystem ΣF gegeben ist, werden als die Punkte P bzw. P' definiert. Damit können die Koordinaten (x, y, z) der Werkzeugspitze als der Schnittpunkt M gewonnen werden zwischen dem Liniensegment OP und dem Liniensegment O'P' oder auch als Wert, wo der Abstand zwischen dem Liniensegment OP und dem Liniensegment O'P' minimal ist. Somit kann ein Werkzeugkoordinatensystem mit einer vorgegebenen Beziehung mit dem Flansch-Koordinatensystem gewonnen werden. Beispielsweise kann der Ursprung des Werkzeugkoordinatensystems auf die Werkzeugspitze gelegt werden.
Nach Durchführung der Schritte S6 bis S8, S10, S11, S13, S15, S19, S20 (NEIN), S21 und S23 ist der Prozess der Informationsverarbeitungsdarstellung beendet. Nach diesen Schritten kann der Prozess auf den Schritt S1 zurückgeführt werden.
Gemäß den oben beschriebenen Ausführungsbeispielen kann die Bedienungsperson Informationen bezüglich eines interessierenden Bereichs eines jeden Gegenstandes erfassen, auswählen oder einstellen nur durch Ansehen des interessierenden Bereiches. Gemäß den obigen Ausführungsbeispielen kann die Bedienungsperson also einen Zugang bzw. eine Einstellung bezüglich gewünschter Informationen effizient gewinnen bzw. vornehmen.
Zwar betrifft diese Beschreibung bevorzugte Ausführungsbeispiele, jedoch versteht sich für Fachpersonen, dass verschiedene Abwandlungen und Änderungen diesbezüglich möglich sind, ohne den Bereich der Ansprüche zu verlassen.
Bei den oben beschriebenen Ausführungsbeispielen hat die Videoanzeigeeinrichtung 90 eine Konfiguration vom sogenannten geschlossenen Typ einschließlich der Anzeige 94, die eingerichtet ist zum Anzeigen des mit der Videogewinnungseinrichtung 91 gewonnenen Videos, jedoch kann die Videoanzeigeeinrichtung 90 auch eine Konfiguration mit einer Anzeige transmissiver Art aufweisen. Eine Anzeige transmissiver Art wird gebildet durch einen halbdurchlässigen Spiegel und die Information bezüglich des Blickziels, wie sie von der Robotersteuerung 50 geliefert wird, wird zusammengeführt und angezeigt im Sichtfeld des die Anzeige tragenden Trägers.
Hat die Videoanzeigeeinrichtung 90 eine Konfiguration mit einer Anzeige transmissiver Art, kann die Videogewinnungseinrichtung 91 als von der Videoanzeigeeinrichtung 90 getrennte Einrichtung vorgesehen werden, die mit der Robotersteuerung 50 verbunden ist. Bei einer solchen Konfiguration ist die Videoanzeigeeinrichtung 90 mit einem Sensor (Beschleunigungssensor, Gyro-Sensor etc.) versehen, der eingerichtet ist zum Detektieren der Position und Stellung des Kopfes des Trägers. Die Positionen der Gegenstände im Arbeitsraum sind bekannt. In diesem Fall gewinnt die Blickzielidentifizierungseinrichtung einen Sichtlinienvektor des Trägers in Richtung auf den Zielgegenstand durch Erfassung der Relativposition zwischen der Videoanzeigeeinrichtung 90 und dem Zielgegenstand, wie dem Roboter 10, und der Position des Träger-Kopfes sowie der Informationen bezüglich der Sichtlinie (Augenrichtung) und identifiziert das Blickziel in dem mit der Videogewinnungseinrichtung gewonnenen Video. Die Position des Zielgegenstandes in dem mit der Videogewinnungseinrichtung gewonnenen Video kann identifiziert werden durch Einsatz von Bildverarbeitungsverfahren, einer Relativpositionsbeziehung zwischen der Videogewinnungseinrichtung und dem Zielgegenstand oder dergleichen.
Die Anordnung der funktionalen Blöcke gemäß 2 ist ein Beispiel und die Verteilung der Funktionen der Robotersteuerung 50 und der Videoanzeigeeinrichtung 90 ist nicht auf das in 2 gezeigte Beispiel beschränkt. Beispielsweise kann die Robotersteuerung 50 mit der Bildverarbeitungseinrichtung 93 versehen sein, welche eingerichtet ist zur Ausführung der Bildverarbeitung für die Einblendung unterschiedlicher Informationen Seite-an-Seite mit dem Blickziel in einer Videodarstellung. In diesem Falle wird das Videosignal, in welches verschiedene Informationen eingeblendet werden, von der Robotersteuerung 50 zur Videoanzeigeeinrichtung 90 übertragen. Die Merkmalsidentifizierungseinrichtung 52 kann in der Videoanzeigeeinrichtung 90 vorgesehen werden. In diesem Fall verwendet die Merkmalsidentifizierungseinrichtung 52 ein Gegenstandsmodell, welches von Seiten der Robotersteuerung 50 gewonnen wird oder welches in einer Merkmalsidentifizierungseinrichtung 52 vorgehalten wird zum Identifizieren, in welchem Merkmalsbereich des Gegenstandes der Blickpunkt im Video angeordnet ist.
Identifiziert die Blickzielidentifizierungseinrichtung 51 einen Blickzielbereich auf einem Gegenstand, kann die Blickzielidentifizierungseinrichtung 51 einen vorgegebenen Bereich einschließlich des Blickpunktes des Trägers als den Blickbereich einstellen und es kann ein Bereich in dem Blickbereich als der Blickzielbereich identifiziert werden. Wenn dabei der Träger beispielsweise in die Nähe des Werkzeuges des Roboters schaut, wird das Werkzeug als der Blickzielbereich identifiziert, was die Bedienung des Systems durch die Bedienungsperson erleichtert. Auch kann die Robotersteuerung eingerichtet sein, es der Bedienungsperson zu ermöglichen, den Blickbereich einzustellen.
Das Programm für die Ausführung der Informationenanzeigeprozesse gemäß 3 kann auf verschiedenen Medien aufgezeichnet werden (z.B. einem Halbleiterspeicher wie einem ROM, einem EEPROM oder einem Flash-Speicher, einem magnetischen Aufzeichnungsmedium, einer optischen Disk, wie einer CD-ROM oder einer DVD-ROM), welche jeweils durch einen Computer auslesbar sind.

Claims

Robotersystem (100), aufweisend: einen Roboter (10); eine Robotersteuerung (50), die eingerichtet ist zur Steuerung des Roboters (10); eine Videogewinnungseinrichtung (91), die eingerichtet ist zum Gewinnen eines realen Videos eines Arbeitsraumes einschließlich des Roboters (10) und der Robotersteuerung (50); und eine kopfmontierbare Videoanzeigeeinrichtung (90) mit einer Sichtlinienverfolgungseinrichtung (92), die eingerichtet ist zum Gewinnen von Informationen bezüglich Sichtlinien eines Trägers, wobei die Robotersteuerung (50) enthält: eine Informationenspeichereinrichtung (80), die eingerichtet ist zum Speichern von Informationen, die für die Steuerung des Roboters (10) eingesetzt werden unter Verknüpfung der Informationen mit der Art eines in dem Arbeitsraum gegebenen Gegenstandes; eine Blickzielidentifizierungseinrichtung (51), die eingerichtet ist, in dem Video auf Basis der Sichtlinieninformationen ein Blickziel zu identifizieren, welches durch den Träger der Videoanzeigeeinrichtung (90) in dem Arbeitsraum angesehen wird; und eine Anzeigeverarbeitungseinrichtung (53), die eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, die mit dem Gegenstand verknüpften Informationen entsprechend dem identifizierten Blickziel Seite-an-Seite mit dem Blickziel in Form eines Bildes darzustellen, durch welches der Träger Inhalte der Informationen visuell erfassen, auswählen oder einstellen kann, wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) ein Werkzeug als das Blickziel identifiziert, welches an einem Gelenkflansch des Roboters (10) angebracht ist, in Abhängigkeit davon, ob ein Werkzeugkoordinatensystem des Werkzeuges bereits gesetzt ist, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, das Bild anzuzeigen, welches dem Träger ermöglicht, visuell zumindest einen der nachfolgenden Vorgänge auszuführen: Erfassen eines Einstellzustandes des Werkzeugkoordinatensystems und Neueinstellung oder Änderung der Einstellung des Werkzeugkoordinatensystems.
Robotersystem (100), aufweisend: einen Roboter (10); eine Robotersteuerung (50), die eingerichtet ist zur Steuerung des Roboters (10); eine Videogewinnungseinrichtung (91), die eingerichtet ist zum Gewinnen eines realen Videos eines Arbeitsraumes einschließlich des Roboters (10) und der Robotersteuerung (50); und eine kopfmontierbare Videoanzeigeeinrichtung (90) mit einer Sichtlinienverfolgungseinrichtung (92), die eingerichtet ist zum Gewinnen von Informationen bezüglich Sichtlinien eines Trägers, wobei die Robotersteuerung (50) enthält: eine Informationenspeichereinrichtung (80), die eingerichtet ist zum Speichern von Informationen, die für die Steuerung des Roboters (10) eingesetzt werden unter Verknüpfung der Informationen mit der Art eines in dem Arbeitsraum gegebenen Gegenstandes; eine Blickzielidentifizierungseinrichtung (51), die eingerichtet ist, in dem Video auf Basis der Sichtlinieninformationen ein Blickziel zu identifizieren, welches durch den Träger der Videoanzeigeeinrichtung (90) in dem Arbeitsraum angesehen wird; und eine Anzeigeverarbeitungseinrichtung (53), die eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, die mit dem Gegenstand verknüpften Informationen entsprechend dem identifizierten Blickziel Seite-an-Seite mit dem Blickziel in Form eines Bildes darzustellen, durch welches der Träger Inhalte der Informationen visuell erfassen, auswählen oder einstellen kann, wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) ein Werkzeug als das Blickziel identifiziert, welches an einem Gelenkflansch des Roboters (10) angebracht ist, in Abhängigkeit davon, ob eine Last entsprechend dem Werkzeug eingestellt ist, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, das Bild anzuzeigen, welches dem Träger ermöglicht, visuell zumindest einen der nachfolgenden Vorgänge auszuführen: Erfassen eines Einstellungszustandes bezüglich der Last und Neueinstellung oder Änderung der Einstellung der Last.
Robotersystem (100) gemäß Anspruch 1 oder 2, wobei die Informationenspeichereinrichtung (80) eingerichtet ist zum Abspeichern von Informationen, die spezifisch sind für einen Merkmalsbereich, der bezüglich des Gegenstandes vorgegeben ist, in Verknüpfung mit dem Merkmalsbereich, und die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, die mit dem Merkmalsbereich entsprechend dem Blickziel verknüpften Informationen anzuzeigen.
Robotersystem (100) gemäß Anspruch 3, wobei die Robotersteuerung (50) oder die Videoanzeigeeinrichtung (90) eine Merkmalsidentifizierungseinrichtung (52) enthalten, die eingerichtet ist zum Identifizieren des Merkmalbereiches unter Verwendung eines Gegenstandsmodells, welches den Gegenstand darstellt, des Videos und von Informationen bezüglich der Sichtlinien.
Robotersystem (100) gemäß Anspruch 1, weiterhin eine Werkzeugkoordinatensystemeinstelleinrichtung (54) aufweisend, welche eingerichtet ist zum Einstellen eines Werkzeugkoordinatensystems auf Basis einer ersten Sichtlinie, die gewonnen wird, wenn der Träger mit seinem Kopf in einer ersten Position und Stellung das Werkzeug anschaut, einer zweiten Sichtlinie, die gewonnen wird, wenn der Träger mit seinem Kopf in einer zweiten Position und Stellung, die verschieden ist von der ersten Position und Stellung, das Werkzeug anschaut, einem Basiskoordinatensystem des Roboters (10), einem Flansch-Koordinatensystem des Roboters (10), einer Relativbeziehung zwischen dem Basiskoordinatensystem und der ersten Position und Stellung des Kopfes und einer Relativbeziehung zwischen dem Basiskoordinatensystem und der zweiten Position und Stellung des Kopfes.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 5, wobei die Blickzielidentifizierungseinrichtung (51) einen Gelenkbereich des Roboters (10) als Blickziel identifiziert, und wobei die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, ein Bild darzustellen, welches es dem Träger ermöglicht, visuell zumindest eine Axialposition des Gelenkbereiches und/oder einen Bewegungsbereich des Gelenkbereiches zu erfassen.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 6, wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) einen vorgegebenen Bereich in der Umgebung einschließlich eines Sperrbereiches für den Roboter (10) als Blickziel identifiziert, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, ein Bild anzuzeigen, welches es dem Träger ermöglicht, den Sperrbereich visuell zu erfassen.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 7, wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) einen Auswahlschalter an der Robotersteuerung (50) als Blickziel identifiziert, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, ein Bild anzuzeigen, welches es dem Träger ermöglicht, visuell den Auswahlschalter zu betätigen.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 8, wobei dann, wenn die Blickzielidentifizierungseinrichtung (51) einen beliebigen Punkt auf der Robotersteuerung als Blickziel identifiziert, die Anzeigeverarbeitungseinrichtung (53) eingerichtet ist, die Videoanzeigeeinrichtung (90) zu veranlassen, ein Bild anzuzeigen, welches es dem Träger ermöglicht, visuell zumindest einen der nachfolgenden Vorgänge auszuführen: Erfassen eines Ausführungszustandes eines Operationsprogrammes des Roboters (10) und Auswählen der Ausführung des Operationsprogramms.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 9, wobei die Robotersteuerung (50) eingerichtet ist, die Anzeigeverarbeitungseinrichtung (53) zu veranlassen, einen Anzeigeprozess bezüglich des Bildes auszuführen in Abhängigkeit davon, ob der Roboter (10) angehalten ist oder nicht.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 10, wobei die Robotersteuerung (50) oder die Videoanzeigeeinrichtung (90) eine Bildverarbeitungseinrichtung (93) aufweisen, die eingerichtet ist, die Informationen in Form eines einzigen Bildes abzubilden.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 11, wobei die Videoanzeigeeinrichtung (90) eine Anzeige (94) aufweist, die eingerichtet ist zum Anzeigen des mit der Videogewinnungseinrichtung (91) gewonnenen Videos zusammen mit der Information, und wobei die Blickzielidentifizierungseinrichtung (51) eingerichtet ist, das Blickziel zu identifizieren, welches vom Träger in dem Video auf der Anzeige (94) angesehen wird.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 11, wobei die Videoanzeigeeinrichtung (90) eine Anzeige (94) transmissiver Art aufweist, die eingerichtet ist zur Anzeige der Information, und wobei die Blickzielidentifizierungseinrichtung (51) eingerichtet ist, das Blickziel in der Realwelt zu identifizieren, welche der Träger durch die transmissive Anzeige (94) sieht.
Robotersystem (100) gemäß einem der Ansprüche 1 bis 13, wobei die Videogewinnungseinrichtung (91) an der Videoanzeigeeinrichtung (90) montiert ist oder getrennt von der Videoanzeigeeinrichtung (90) vorgesehen ist.