DE102019002928A1

DE102019002928A1 - Simulationsvorrichtung für Roboter

Info

Publication number: DE102019002928A1
Application number: DE102019002928.3A
Authority: DE
Inventors: Hiroyuki Atohira
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-04-25
Filing date: 2019-04-18
Publication date: 2019-11-07
Anticipated expiration: 2039-04-19
Also published as: US20190329411A1; JP6863927B2; JP2019188531A; CN110394779A; US11192249B2; DE102019002928B4

Abstract

Bereitgestellt wird eine Simulationsvorrichtung zum Simulieren einer kooperativen Aufgabe, die kooperativ ausgeführt wird durch einen kooperativen Roboter und eine Person, wobei die Simulationsvorrichtung enthält: eine Anzeigeeinrichtung vom Typ mit Kopfmontage zur Anbringung an einer Bedienungsperson für die simultane Ausführung der kooperativen Aufgabe, eine Detektoreinrichtung, die eingerichtet ist zum Detektieren der Position der Bedienungsperson im Realraum, eine Anzeigeeinrichtung für ein dreidimensionales Modell, die eingerichtet ist zur Darstellung eines Bildes in der Anzeigeeinrichtung vom Typ mit Kopfmontage, wobei in dem Bild ein Robotersystemmodell einschließlich eines kooperativen Robotermodells in einem dreidimensionalen virtuellen Raum angeordnet ist, und eine Simulationsausführungseinrichtung, die eingerichtet ist zum simultanen Betätigen des kooperativen Robotermodells im dreidimensionalen virtuellen Raum auf Basis eines Betätigungsprogramms für den kooperativen Roboter zur Ausführung der kooperativen Aufgabe und auf Basis der detektierten Position der Bedienungsperson.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die Erfindung betrifft eine Simulationsvorrichtung, die eingerichtet ist, eine Simulation auszuführen für eine kooperative Aufgabe, die kooperativ ausgeführt wird durch einen kooperativen Roboter und eine Person.
Zum Stand der Technik
Systeme, die eingerichtet sind, eine Simulation auszuführen mit einer Bildschirmdarstellung eines kooperativen Robotermodells, eines Werkstückmodells, eines Personenmodells und des Modells einer peripheren Einrichtung, welche jeweils einen kooperativen Roboter, ein Werkstück, eine Person und eine periphere Einrichtung in drei Dimensionen repräsentieren, sind bekannt (z.B. JP 2017-024113 A ).
KURZBESCHREIBUNG DER ERFINDUNG
Die in der JP 2017-024113 A beschriebene Simulationsvorrichtung ist eingerichtet, eine Simulation auszuführen mit einer Darstellung in einem virtuellen Raum von Modellen eines Roboters, eines Werkstückes, einer peripheren Einrichtung und einer Person. Mit der Simulation einer durch einen kooperativen Roboter und eine Person kooperativ ausgeführten Aufgabe wird angestrebt, dass das Risiko eines Kontaktes zwischen dem kooperativen Roboter und der Person, ein Risiko, dass sich der kooperative Roboter und die Person zu nahe kommen und dergleichen erkannt werden.
Gemäß einer Merkmalskombination der vorliegenden Beschreibung wird eine Simulationsvorrichtung bereitgestellt zum Simulieren einer kooperativen Aufgabe, die kooperativ durch einen kooperativen Roboter und eine Person ausgeführt wird, wobei die Simulationsvorrichtung aufweist: eine Anzeigeeinrichtung vom Typ mit einer Anbringung am Kopf einer Bedienungsperson für die simultane Ausführung der kooperativen Aufgabe; einen Detektor, der eingerichtet ist zum Detektieren einer Position der Bedienungsperson im Realraum; eine Anzeigeeinrichtung für ein dreidimensionales Modell, die eingerichtet ist zur Veranlassung der Darstellung eines Bildes auf der am Kopf montierbaren Anzeigeeinrichtung, in dem ein Robotersystemmodell einschließlich eines kooperativen Robotermodells in einem dreidimensionalen virtuellen Raum angeordnet ist; und eine Simulationsausführungseinrichtung, die eingerichtet ist, das kooperative Robotermodell simultan in dem dreidimensionalen virtuellen Raum zu betätigen auf Basis eines Betätigungsprogrammes des kooperativen Roboters zur Ausführung der kooperativen Aufgabe und einer Position der Bedienungsperson, die durch den Detektor detektiert ist.
Figurenliste
Die Ziele, Merkmale und Vorteile der Erfindung werden noch deutlicher aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit den Figuren:

1 zeigt die Gesamtkonfiguration eines Robotersimulationssystems gemäß einem Ausführungsbeispiel;
2 ist ein funktionales Blockdiagramm eines Robotersimulationssystems;
3 ist ein Flussdiagramm eines Simulationsbetriebs gemäß dem vorliegenden Ausführungsbeispiel;
4 zeigt einen dargestellten Zustand eines Robotersystemmodells in einem virtuellen Raum beim Start eines Simulationsbetriebs;
5 zeigt ein Beispiel, bei dem ein Bild als Betriebspfad-Information dargestellt ist, welches die nachfolgende Betätigungsrichtung und die nachfolgende Geschwindigkeit des kooperativen Robotermodells anzeigt;
6 zeigt ein Beispiel, bei dem eine Bewegungsbahn, die den nachfolgenden Betrieb des kooperativen Robotermodells anzeigt, als Bewegungsbahn-Information dargestellt ist;
7 zeigt ein Beispiel, bei dem als Bewegungspfad-Information ein Bild dargestellt ist, welches graphisch ein Betätigungsprogramm in einem kooperativen Robotermodell veranschaulicht (Lehr-Punkte);
8 zeigt ein Beispiel, bei dem als Betriebspfad-Information eine Vorschau dargestellt ist, die den nachfolgenden Betrieb des kooperativen Robotermodells veranschaulicht;
9 zeigt einen Zustand, in dem eine Warnbotschaft dargestellt ist für einen Fall, in dem eine Bedienungsperson während einer Simulation sich einem Robotermodell zu sehr genähert hat; und
10 erläutert eine Konfiguration eines Robotersimulationssystems für den Fall, in dem ein Kleidungs-Detektor eingesetzt wird zum Detektieren einer Position, Bewegung und dergleichen einer Bedienungsperson.

BESCHREIBUNG VON EINZELHEITEN
Ausführungsbeispiele der Erfindung werden nunmehr mit Blick auf die begleitenden Figuren näher beschrieben. In den Figuren sind einander entsprechende Komponenten mit gleichen Bezugszeichen versehen. Zur Erleichterung des Verständnisses der Figuren sind Skalierungen in den Figuren zweckmäßig angepasst. Die in den Figuren dargestellten Arbeitsmodi sind nur beispielhaft für die Verwirklichung der Erfindung und die Erfindung ist nicht auf solche Arbeitsmodi beschränkt.
1 erläutert die Gesamtkonfiguration eines Robotersimulationssystems 100 gemäß einem Ausführungsbeispiel. Das Robotersimulationssystem 100 ist eingerichtet für eine Simulation einer kooperativen Aufgabe, die durch einen kooperativen Roboter und eine Person ausgeführt wird. Gemäß 1 hat das Robotersimulationssystem 100 eine am Kopf montierte Anzeigeeinrichtung 80 als eine solche vom Typ mit einer Kopfanbringung am Kopf einer Bedienungsperson 90, eine Simulationseinrichtung 50, die eingerichtet ist zur Ausführung einer Simulationsoperation, und eine Detektionseinrichtung 70, die eingerichtet ist zum Detektieren einer Position, einer Bewegung und dergleichen der Bedienungsperson 90. Die kopfmontierte Anzeigeeinrichtung 80 und die Detektoreinrichtung 70 sind über Draht oder drahtlos mit der Simulationsvorrichtung 50 verbunden.
Die Simulationsvorrichtung 50 hat dreidimensionale Modelldaten eines Robotersystems einschließlich eines kooperativen Roboters, eines Werkstückes und einer peripheren Einrichtung und sie hat weiterhin eine Funktion zum Erzeugen eines Bildes, in dem das Robotersystemmodell in einem dreidimensionalen virtuellen Raum angeordnet ist, wobei das erzeugte Bild in einem Anzeigeabschnitt 83 (siehe 2) der kopfmontierten Anzeigeeinrichtung 80 dargestellt wird. In dem mit gestrichelten Linien gemäß 1 umrandeten Bereich ist ein Beispiel eines Bildes dargestellt, in dem ein kooperatives Robotermodell 20M, ein Werkstückmodell 10M und das Modell einer peripheren Einrichtung 11M als pseudo-dreidimensionale Objekte im virtuellen Raum angezeigt sind (im Anzeigeabschnitt 83 der kopfmontierten Anzeigeeinrichtung 80). Die Simulationsvorrichtung 50 kann gebildet werden mit einem Rechner einschließlich einer CPU, einem ROM, einem RAM, einer Speichereinrichtung, einem verdrahteten oder drahtlosen Netzwerk mit Schnittstellen, einer Schnittstelle für eine externe Einrichtung, eine Operationseinrichtung, eine Anzeigeeinrichtung und dergleichen. Wie weiter unten noch ausgeführt wird, können die verschiedenen Arten der Funktionen der Simulationsvorrichtung 50 durch die CPU der Simulationsvorrichtung 50 ausgeführt werden, welche unterschiedliche Arten von Programmen und insbesondere Simulationsprogramme ausführt. Die Detektoreinrichtung 70 detektiert Position, Bewegung und dergleichen der Bedienungsperson 90 im Realraum. Diese Konfiguration ermöglicht der Simulationsvorrichtung 50, eine Positionsrelation zwischen dem kooperativen Robotermodell 20M und der Bedienungsperson 90 im virtuellen Raum entsprechend der Position, der Bewegung und dergleichen der Bedienungsperson 90 im Realraum zu bestimmen und ein Anzeigebild des Robotersystemmodells entsprechend der ermittelten relativen Positionslagen zu erzeugen. Entsprechend kann die Bedienungsperson 90 sich dem Robotersystemmodell nähern oder von ihm sich wegbewegen und dies findet dann statt im virtuellen Raum, der in der kopfmontierten Anzeigevorrichtung 80 dargestellt wird entsprechend der Bewegung im Realraum.
2 ist ein funktionales Blockdiagramm des Robotersimulationssystems 100. Gemäß 2 hat die Simulationsvorrichtung 50 eine Positionsberechnungseinheit 501, eine Einrichtung 502 für die dreidimensionale Modell-Anzeige, eine Simulationsausführungseinrichtung 503, eine Anzeigeeinrichtung 506 für die Betriebspfad-Informationen, und eine Einrichtung 507 für eine Warnanzeige.
Die Detektoreinrichtung 70 ist beispielsweise ein optischer Sensor, der eingerichtet ist, die Bedienungsperson optisch zu detektieren mit einer Funktion für die Aufnahme eines Bildes von der Bedienungsperson 90 und zum Detektieren der Position, der Bewegungsart und dergleichen bezüglich der Bedienungsperson 90. Insbesondere hat die Detektoreinrichtung 70 eine Funktion zum Analysieren des aufgenommenen Bildes und zum Detektieren von Position, Bewegung und dergleichen der Bedienungsperson 90 und insbesondere der Bewegung der Hände der Bedienungsperson 90 im aufgenommenen Bild. Als Verfahren zum Detektieren der Positionen eines menschlichen Körpers und insbesondere seiner Hände etc. stehen verschiedene bekannte Detektionsverfahren zur Verfügung, wie das Verfahren des Abgleichs mit einem Modellbild und alle diese Verfahren können hier eingesetzt werden. Die Detektoreinrichtung 70 liefert der Simulationsvorrichtung 50 die detektierte Position, die Bewegung und dergleichen der Bedienungsperson 90.
Die Positionsberechnungseinrichtung 501 berechnet Relativpositionen des kooperativen Robotermodells 20M und der Bedienungsperson 90 im virtuellen Raum auf Basis der Position, der Bewegung und dergleichen der Bedienungsperson 90, wie sie von der Detektoreinrichtung 70 im Realraum geliefert werden. Die Positionsberechnungseinheit 501 hat weiterhin eine Funktion in Form einer Distanzberechnungseinrichtung, die eingerichtet ist, einen relativen Abstand zwischen dem kooperativen Robotermodell 20M und der Bedienungsperson 90 im virtuellen Raum zu berechnen. Das kooperative Robotermodell 20M, das Werkstückmodell 10M und das Modell 11M der peripheren Einrichtung sind mittels der Anzeigeeinrichtung 502 für das dreidimensionale Modell an vorgegebenen Positionen in einem Koordinatensystem angeordnet, welches im virtuellen Raum gesetzt ist. Die Positionsberechnungseinrichtung 501 wandelt eine Position der Bedienungsperson 90, wie sie von der Detektoreinrichtung 70 geliefert wird (eine Position im Koordinatensystem, welches im Realraum gesetzt ist), in eine Position in dem Koordinatensystem, welches in dem virtuellen Raum gesetzt ist, wobei die Relativpositionen des kooperativen Robotermodells 20M und der Bedienungsperson 90 im virtuellen Raum berechnet werden.
Die Anzeigeeinrichtung 502 für das dreidimensionale Modell erzeugt Bilddaten, in denen das kooperative Robotermodell 20M, das Werkstückmodell 10M und das Modell 11M der peripheren Einrichtung im virtuellen Raum angeordnet sind entsprechend den Relativpositionen von Bedienungsperson 90 und kooperativem Robotermodell 20M im virtuellen Raum gemäß Berechnung durch die Positionsberechnungseinrichtung 501. Die Anzeigeeinrichtung 502 für das dreidimensionale Modell sendet die erzeugten Bilddaten an die kopfmontierte Anzeigeeinrichtung 80 und bewirkt so die Anzeige eines Bildes entsprechend den Bilddaten (eines Bildes, bei dem das Robotersystemmodell im virtuellen Raum angeordnet ist), wobei das Bild auf der Anzeigeeinrichtung 83 der kopfmontierten Anzeigeeinrichtung 80 dargestellt wird.
Die Simulationsausführungseinrichtung 503 führt den Simulationsbetrieb bezüglich des Robotersystemmodells aus. In dieser Beschreibung wird beim Simulationsbetrieb das Robotersystemmodell simultan entsprechend Lehr-Eingaben durch ein Betätigungsprogramm oder eine Bedienungsperson betrieben. Die Simulationsausführungseinrichtung 503 gewinnt von der Positionsberechnungseinrichtung 501 die Relativpositionen von Bedienungsperson 90 und kooperativem Robotermodell 20M im virtuellen Raum und verwendet diese bei dem Simulationsbetrieb der kooperativ ausgeführten Aufgabe. Durch Verwendung der Relativpositionen ist es auch möglich, einen Warnhinweis im virtuellen Raum zu geben, falls sich die Bedienungsperson 90 und das kooperative Robotermodell 20M während des Simulationsbetriebs zu nahe gekommen sind.
Die Simulationsausführungseinrichtung 503 kann unter Verwendung der Relativpositionen von Bedienungsperson 90 und kooperativem Robotermodell 20M zumindest eine der nachfolgenden Sicherheitsmaßnahmen bezüglich des kooperativen Robotermodells 20M ausführen.

(M1) Kommen sich die Bedienungsperson 90 und das kooperative Robotermodell 20M während des Simulationsbetriebs (zu) nahe, kann eine Betriebsgeschwindigkeit des kooperativen Robotermodells 20M abgesenkt werden.
(M2) Kommt es zu einem Kontakt zwischen der Bedienungsperson 90 und dem kooperativen Robotermodell 20M während des Simulationsbetriebs, wird das kooperative Robotermodell 20M gestoppt.
(M3) Stößt die Bedienungsperson 90 an das kooperative Robotermodell 20M während des Simulationsbetriebs, wird das kooperative Robotermodell 20M entsprechend der Bewegung der Bedienungsperson 90 betätigt.

Die obigen Operationen können implementiert werden durch Analyse der Bewegung der Bedienungsperson 90 mittels des mit der Detektoreinrichtung 70 aufgenommenen Bildes und insbesondere mittels der Detektion der Bewegung der Hände der Bedienungsperson 90.
Die Anzeigeeinrichtung 506 für die Betriebspfad-Information gewinnt aus dem Betätigungsprogramm Betriebspfad-Informationen, welche Information sich auf den Betrieb des kooperativen Robotermodells 20M beziehen. Die Betriebspfad-Informationen können Betriebsaufzeichnungen des kooperativen Robotermodells 20M enthalten. Die Anzeigeeinrichtung 506 für die Betriebspfad-Informationen hat eine Funktion zur Anzeige der Betriebspfad-Informationen als Bild im virtuellen Raum (in der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80). Bevor das kooperative Robotermodell 20M den nächsten Betrieb ausführt (z.B. unmittelbar vor Ausführung des nachfolgenden Betriebs), bewirkt die Anzeigeeinrichtung 506 für die Betriebspfad-Informationen eine Anzeige der Betriebspfad-Information bezüglich des nachfolgenden Betriebs. Dies ermöglicht der Bedienungsperson 90, Kenntnis zu gewinnen über die vom kooperativen Robotermodell 20M auszuführende nachfolgende Aktion und die nachfolgend auszuführende Aufgabe zu erkennen.
Die Einrichtung 507 für Warnhinweise warnt die Bedienungsperson 90, dass sie zu nahe am kooperativen Robotermodell 20M ist, wobei diese Warnung basiert auf der relativen Distanz zwischen der Bedienungsperson 90 und dem kooperativen Robotermodell 20M im virtuellen Raum. Wenn beispielsweise der Relativabstand zwischen den kooperativen Robotermodell 20M und der Bedienungsperson 90 gleich oder kleiner als ein vorgegebener Wert im virtuellen Raum ist, bewirkt die Einrichtung 507 für den Warnhinweis einen solchen auf der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80. Die Warnung kann auch akustisch erfolgen. In diesem Falle kann die Einrichtung 507 für den Warnhinweis einen Warn-Ton zur Abgabe durch einen Lautsprecher in der kopfmontierten Anzeigevorrichtung 80 oder in der Simulationsvorrichtung 50 bewirken.
Die kopfmontierte Anzeigeeinrichtung 80 enthält eine Bildverarbeitungseinrichtung 81, die eingerichtet ist für eine Bildverarbeitung, wobei von der dreidimensionalen Modellanzeigeeinrichtung 502 gelieferte Bilddaten verarbeitet werden und auf der Anzeigeeinrichtung 83 dargestellt werden, und wobei die Anzeigeeinrichtung 83 zur Einsicht mit beiden Augen der Bedienungsperson 90 eingerichtet ist. Als Beispiel erzeugt die Bildverarbeitungseinrichtung 81 ein binokulares Stereo-Bild und zeigt dies auf der Anzeige 83 an. Dies ermöglicht der Bedienungsperson 90, das Robotersystemmodell als ein dreidimensionales Pseudo-Objekt zu erkennen.
3 ist ein Flussdiagramm bezüglich des Simulationsbetriebs gemäß dem vorliegenden Ausführungsbeispiel. Der Simulationsbetrieb gemäß 3 kann durchgeführt werden durch die CPU der Simulationsvorrichtung 50, die ein Simulationsprogramm ausführt, welches in der Speichereinrichtung in der Simulationsvorrichtung 50 abgelegt ist. Das Simulationsprogramm kann in verschiedener Form in computer-lesbaren Speichermedien abgelegt sein (einem ROM, einem RAM, einem Flash-Speicher, einem HDD, einer CD-ROM, einer DVD-ROM etc.). Als Beispiel wird der Simulationsbetrieb gemäß 3 ausgeführt, um eine Verbesserung eines Betätigungsprogrammes, der kooperativen Aufgabe oder dergleichen zu finden durch Ablauf eines zuvor vorbereiteten vorläufigen Betätigungsprogramms für den kooperativen Roboter in dem Robotersimulationssystem 100 gemäß 1. Das kooperative Robotermodell 20M kann so eingestellt werden, dass die oben erwähnten Sicherheitsmaßnahmen (M1) bis (M3) entsprechend den einzelnen Situationen während des Simulationsbetriebs ausgeführt werden.
Wird die Simulationsvorrichtung 50 betätigt und das Simulationsprogramm gestartet, werden das kooperative Robotermodell 20M, das Werkstückmodell 10M und das Modell 11M der peripheren Einrichtung zunächst im virtuellen Raum (Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80) mittels der dreidimensionalen Modellanzeigeeinrichtung 502 dargestellt (Schritt S1). Beim gezeigten Beispiel wird ein Bild dargestellt, welches in 1 in dem mit gestrichelten Linien dargestellten Rahmen vorliegt, und die Darstellung erfolgt auf der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80.
Sodann startet die Detektoreinrichtung 70 den Betrieb mit der Detektion einer Position oder dergleichen der Bedienungsperson 90 (Schritt S2). Die Position und die Bewegung und dergleichen der Bedienungsperson 90 gemäß Detektion durch die Detektoreinrichtung 70 werden in die Simulationsvorrichtung 50 eingegeben. Sodann startet die Simulationsausführungseinrichtung 503 den Simulationsbetrieb unter Verwendung der Position, der Bewegung und dergleichen der Bedienungsperson 90 gemäß Detektion durch die Detektoreinrichtung 70 (Schritt S3). Beim Simulationsbetrieb wird das kooperative Robotermodell 20M gemäß dem Betätigungsprogramm betätigt. Die Bedienungsperson 90 führt gleichzeitig die Aufgabe, welche einer Person in der kooperativen Aufgabe zugeordnet ist, aus. Hier ist als Beispiel für die kooperative Ausgabe vorgesehen, dass das kooperative Robotermodell 20M einen Betrieb ausführt zum Transport des Werkstückmodells 10M und zur Auslieferung desselben an eine Person, während die Bedienungsperson 90 eine Tätigkeit ausführt zum Aufnehmen des Werkstückmodells 10M vom kooperativen Robotermodell 20M. 4 erläutert einen dargestellten Zustand des Robotersystemmodells im virtuellen Raum zur Zeit des Startens des Simulationsbetriebs. Gemäß 4 wird auf der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80 ein Bild dargestellt, welches einen Zustand wiedergibt, in dem das Robotermodell 20M das Werkstückmodell 10M hält und gerade beginnt, es zu transportieren. Entsprechend dem Aufgabenverlauf unternimmt die Bedienungsperson 90 eine Maßnahme zum Aufnehmen des Werkstückmodells 10M vom Robotermodell 20M.
Während der Ausführung des Simulationsbetriebs erzeugt die Anzeigeeinrichtung 506 für die Betriebspfad-Informationen ein Bild, welches die Betriebspfad-Informationen des kooperativen Robotermodells 20M anzeigt auf Basis der Relativpositionen von Bedienungsperson 90 und kooperativem Robotermodell 20M im virtuellen Raum, wobei das erzeugte Bild in virtuellem Raum dargestellt wird (Schritt S4). Durch Darstellung der Betriebspfad-Informationen ist es der Bedienungsperson 90 möglich, schnell zu erfassen, wie sich das kooperative Robotermodell 20M als nächstes bewegen wird. Damit kann die Simulation passend ausgeführt werden, auch wenn die Bedienungsperson 90 nicht notwendigerweise die Aufgabenprozedur erfasst. Ein Beispiel für die Darstellung der Betriebspfad-Informationen wird nunmehr näher beschrieben.
5 zeigt ein Beispiel, bei dem ein Bild 101 als Betriebspfad-Information dargestellt ist, welches die nächste Betätigungsrichtung und die nächste Geschwindigkeit des kooperativen Robotermodells 20M zeigt. Bei dem Beispiel wird das Bild 101 dargestellt unmittelbar bevor das kooperative Robotermodell 20M, welches gerade das Werkstückmodell 10M hält, die Bewegung startet. Dies ermöglicht der Bedienungsperson 90 sofort zu erfassen, in welche Richtung und mit welcher Geschwindigkeit das kooperative Robotermodell 20M als nächstes arbeitet.
6 zeigt ein Beispiel, bei dem eine Bewegungsbahn 102 entsprechend dem Betrieb des kooperativen Robotermodells 20M als Betriebspfad-Information dargestellt ist. Als Beispiel ist die Bewegungsbahn 102 dargestellt unmittelbar bevor das kooperative Robotermodell 20M seine Bewegung startet oder auch während der Bewegung des kooperativen Robotermodells 20M. Dies ermöglicht der Bedienungsperson 90, die gesamte Bewegungsbahn zu erfassen, bevor das kooperative Robotermodell 20M den Betrieb startet.
7 zeigt ein Beispiel, bei dem ein Bild 103 graphisch das Betriebsprogramm (die Lehr-Punkte) des kooperativen Robotermodells 20M zeigt als Darstellung der Betriebspfad-Information. Die Punkte P1 bis P4 im Bild 103 sind die Lehr-Punkte und die Linien, welche die Lehr-Punkte von P1 bis P4 verbinden, repräsentierten den Pfad. Als Beispiel ist das Bild 103 dargestellt unmittelbar bevor das kooperative Robotermodell 20M die Bewegung startet oder auch während der Bewegung des kooperativen Robotermodells 20M. Dies ermöglicht der Bedienungsperson 90, den gesamten Pfad zu erfassen, bevor das kooperative Robotermodell 20M den Betrieb startet.
8 zeigt ein Beispiel, bei dem ein Vorausschaubild 104 als Betriebspfad-Information dargestellt ist, in dem der nächste Betriebsschritt des kooperativen Robotermodells 20M gezeigt ist. Das Vorausschaubild 104 ist ein Pseudo-Bild des kooperativen Robotermodells 20M, angeordnet an der nächsten Betriebsposition des kooperativen Robotermodells 20M. Als Beispiel ist das Vorausschaubild 104 dargestellt unmittelbar bevor das kooperative Robotermodell 20M, welches das Werkstückmodell 10M hält, die Bewegung startet. Dies ermöglicht der Bedienungsperson 90, den nachfolgenden Betrieb, welchen das kooperative Robotermodell 20M ausführen wird, genau zu erfassen. Auch kann als Vorausschaubild ein sich bewegendes Bild dargestellt werden, in dem sich das Robotermodell 20M in seine nächste Position bewegt.
Zurück zu 3: ist die Bedienungsperson 90 während des Simulationsbetriebs dem kooperativen Robotermodell 20M extrem nahe gekommen (d.h. ist der relative Abstand zwischen dem kooperativen Robotermodell 20M und der Bedienungsperson 90 gleich oder kleiner als ein vorgegebener Wert im virtuellen Raum), gibt die Einrichtung 507 für die Abgabe eines Warnhinweises einen solchen ab (Schritt S5). 9 zeigt ein Beispiel für die Anzeige eines Warnhinweises. Beim Beispiel nach 9 wird ein Warnhinweis 106 zusammen mit dem Bild des Robotersystemmodells auf der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80 dargestellt. Durch eine solche Darstellung eines Warnhinweises während des Simulationsbetriebs ist es möglich, eine Situation zu vermeiden, in welcher die Bedienungsperson und das die Simulation ausführende kooperative Robotermodell 20M zusammenstoßen, oder einander zu nahe kommen.
Da während des Simulationsbetriebes die Position der Bedienungsperson 90 im virtuellen Raum erfasst wird, kann die Einrichtung 503 für die Simulationsausführung einen Prozess beim Simulationsbetrieb ausführen, welcher beispielsweise sicherstellt, dass bei Transport des Werkstückmodells 10M durch das kooperative Robotermodell 20M zum Zielort die Bedienungsperson 90 sich in einer Position befindet, wo sie das Werkstückmodell 10M aufnehmen kann. Andererseits kann dann, wenn die kooperative Aufgabe einen Betrieb beinhaltet, bei dem das kooperative Robotermodell 20M das Werkstückmodell 10M von der Bedienungsperson 90 erhält, die Einrichtung 503 für die Simulationsausführung sicherstellen, dass sich die Bedienungsperson 90 in einer Position befindet, wo sie das Werkstückmodell 10M ausliefern kann, und das kooperative Robotermodell 20M einen Betrieb zur Aufnahme des Werkstückmodells 10M ausführt. Mit anderen Worten: die Einrichtung 503 für die Simulationsausführung kann einen Prozess ausführen zur Sicherung, dass der kooperative Betrieb der Bedienungsperson 90 und der Betrieb des kooperativen Robotermodells 20M auf Basis des Betätigungsprogrammes ohne Probleme zueinander passen.
Daten hinsichtlich eines (unerwünschten) Kontaktes zwischen dem kooperativen Robotermodell 20M und der Bedienungsperson, die bei dem obigen Simulationsbetrieb gefunden wurden, können verwendet werden, das Betätigungsprogramm zu ändern oder die Prozedur bezüglich der Aufgabe zu überprüfen. Um beispielsweise den Kontakt zwischen dem kooperativen Robotermodell 20M und der Bedienungsperson zu vermeiden, kann erwogen werden, das Betätigungsprogramm (die Lehr-Punkte) zu ändern, eine Prozedur hinzuzufügen zum Verzögern der Bewegung des kooperativen Roboters relativ zur Aufgabenausführung seitens der Bedienungsperson oder dergleichen. Andererseits kann auch erwogen werden, die Anordnung der peripheren Einrichtung, des Werkstückes oder dergleichen zu überdenken. Die Einrichtung 503 für die Simulationsausführung kann eine Funktion beinhalten zum automatischen Ändern des Betriebspfades des kooperativen Robotermodells 20M derart, dass ein Kontakt zwischen der Bedienungsperson 90 und dem kooperativen Robotermodell 20 verhindert ist auf Basis des Relativabstandes zwischen der Bedienungsperson 90 und dem kooperativen Robotermodell 20M. Weiterhin können zwei oder mehr der oben erläuterten Bilder 101 (Betriebsrichtung und -geschwindigkeit), der Bewegungsbahn 102, das Bild 103 (Betätigungsprogramm) und das Vorausschaubild 104 der Betriebspfad-Informationen gleichzeitig dargestellt werden.
Da bei dem oben beschriebenen Ausführungsbeispiel die Simulation ausgeführt werden kann während die Bedienungsperson fiktiv eine Aufgabe ausführt, die kooperativ durch eine Person und einen kooperativen Roboter ausgeführt wird, ist es möglich, effizient ein angemessenes Betätigungsprogramm, eine Aufgabenausführung und dergleichen vorzubereiten.
Die Erfindung wurde oben mit Bezug auf bestimmte Ausführungsbeispiele näher beschrieben, jedoch versteht sich für eine Fachperson, dass verschiedene Abwandlungen oder Änderungen diesbezüglich möglich sind, ohne den Umfang der nachfolgenden Patentansprüche zu verlassen.
Zwar wird beim oben beschriebenen Ausführungsbeispiel ein optischer Sensor als Detektoreinrichtung eingesetzt, um die Position und die Bewegung oder weitere Merkmale bezüglich der Bedienungsperson 90 zu detektieren, jedoch ist die Detektionseinrichtung nicht auf dieses Beispiel eingeschränkt. 10 zeigt einen Aufbau eines Robotersimulationssystems 100a für den Fall, in dem eine Detektoreinrichtung 170 vom Typ eines Kleidungsdetektors eingesetzt wird, der eingerichtet ist, die Position, die Bewegung und gegebenenfalls weitere Merkmale bezüglich der Bedienungsperson 90 zu detektieren. In 10 ist auch ein funktionales Blockdiagramm für eine Detektoreinrichtung 170 vom Typ eines Kleidungsdetektors in Klammern dargestellt. Das Robotersimulationssystem 100a hat den gleichen Aufbau wie das Robotersimulationssystem 100 mit Ausnahme, dass die Detektoreinrichtung 170 vom Kleidungsdetektortyp verwendet wird als Detektoreinrichtung zum Detektieren von Position, Bewegung und gegebenenfalls weiteren Merkmalen bezüglich der Bedienungsperson 90. Die Detektoreinrichtung 170 vom Kleidungsdetektortyp hat beispielsweise einen Bewegungssensor 75 mit einem Beschleunigungssensor, einem Winkelgeschwindigkeitssensor oder dergleichen an geeigneten Stellen der Einrichtung entsprechend mehreren Körperteilen (Finger, Arme, Torso, Beine etc.) und es werden hierüber Informationen über die Bewegung, die Position und gegebenenfalls weitere Merkmale bezüglich des jeweiligen Körperteils der Bedienungsperson 90, die für den jeweiligen Bewegungssensor 75 gewonnen werden, drahtlos zur Simulationsvorrichtung 50 übertragen. Trägt die Bedienungsperson 90 die Detektoreinrichtung 70 vom oben beschriebenen Kleidungsdetektortyp, kann der im Zusammenhang mit 3 oben beschriebene Simulationsbetrieb in entsprechender Weise ausgeführt werden. Es werden die gleichen Effekte wie beim oben beschriebenen Ausführungsbeispiel auch mit dem Robotersimulationssystem 100a erreicht.
Die Detektoreinrichtung 170 vom Kleidungsdetektortyp kann eingerichtet sein, einen Antriebsmechanismus mit elektrischem Aktuator 76 zu enthalten, welcher entsprechend beteiligten Körperteilen wirksam ist (z.B. ein Antriebsmechanismus mit elektrischem Aktuator zur Unterstützung der Bewegung entsprechend der Gelenke des Körpers). Kommt es dann zu einem Kontakt zwischen einem Körperteil der Bedienungsperson 90 und dem kooperativen Robotermodell 20M im virtuellen Raum und wird dieser Kontakt detektiert, kann die Detektoreinrichtung 170 vom Kleidungsdetektortyp eine Last erzeugen, die auf die Bewegung der Bedienungsperson 90 wirkt, nämlich durch Aktivierung des elektrischen Aktuators 76 an einer Stelle entsprechend dem in Kontakt gekommenen Körperteil. Drückt beispielsweise die Bedienungsperson 90 das kooperative Robotermodell 20M mit der Hand, kann die Detektoreinrichtung 170 vom Kleidungsdetektortyp eine Last der Bewegung der Hand der Bedienungsperson 90 entgegensetzen durch Aktivierung des elektrischen Aktuators 76 bezüglich der Hand der Bedienungsperson 90. Beispielsweise kann entsprechend der Position der Bedienungsperson 90 im dreidimensionalen virtuellen Raum die Simulationsausführungseinrichtung 503 ein Detektionssignal an die Detektoreinrichtung 170 vom Kleidungsdetektortyp senden, wenn ein Kontakt zwischen einem Körperteil der Bedienungsperson 90 und dem kooperativen Robotermodell 20M im dreidimensionalen virtuellen Raum detektiert wird. Entsprechend dem Detektionssignal von der Simulationsausführungseinrichtung 503 erzeugt die Detektoreinrichtung 170 vom Kleidungsdetektortyp eine Last, welche der Bewegung der Bedienungsperson 90 entgegengesetzt wirkt durch Aktivierung des elektrischen Aktuators 76, der an der Stelle des entsprechenden Körperteils vorgesehen ist.
Das in 1 gezeigte Robotersimulationssystem 100 kann auch eingesetzt werden bei einem Simulationsbetrieb, bei dem ein Betätigungsprogramm durch eine Bedienungsperson 90 erstellt wird und die Bedienungsperson eine sogenannte Lehr-Eingabe bezüglich des kooperativen Robotermodells 20M ausführt. Beispielsweise kann die Konfiguration derart sein, dass eine externe Steuerung, die in der Hand der Bedienungsperson 90 betätigbar ist, an die Simulationsvorrichtung 50 angeschlossen ist. Die Bedienungsperson 90 betätigt die externe Steuerung manuell und führt die sogenannte Lehr-Eingabe aus unter Beobachtung des Bildes des kooperativen Robotermodells 20M auf der Anzeige 83 der kopfmontierten Anzeigeeinrichtung 80.
Nachfolgend werden Merkmalskombinationen gemäß dieser Beschreibung zusammengefasst. Die in Klammern stehenden Zahlen entsprechen den Bezugszeichen der beigefügten Figuren.
Beispielsweise ist eine erste Merkmalskombination gemäß der vorliegenden Beschreibung eine Simulationsvorrichtung (50) zum Simulieren einer kooperativen Aufgabe, die kooperativ durch einen kooperativen Roboter und eine Person ausgeführt wird, wobei die Simulationsvorrichtung (50) eine Anzeigeeinrichtung (80) vom Typ mit Kopfmontage zur Anbringung an einer Bedienungsperson (90) enthält für eine simultane Ausführung der kooperativen Aufgabe; weiterhin eine Detektoreinrichtung (70), die eingerichtet ist zum Detektieren einer Position der Bedienungsperson (90) im Realraum; eine Anzeigeeinrichtung (502) für ein dreidimensionales Modell, die eingerichtet ist zum Auslösen der Darstellung eines Bildes in der Anzeigeeinrichtung (80) vom Typ mit Kopfmontage, wobei in dem Bild ein Robotersystemmodell einschließlich eines kooperativen Robotermodells (20M) im dreidimensionalen virtuellen Raum angeordnet ist; und eine Simulationsausführungseinrichtung (503), die eingerichtet ist für einen simultanen Betrieb des kooperativen Robotermodells im dreidimensionalen virtuellen Raum entsprechend einem Betätigungsprogramm des kooperativen Roboters zur Ausführung der kooperativen Aufgabe und einer Position der Bedienungsperson (90) gemäß Detektion durch die Detektoreinrichtung.
Da mit der ersten Merkmalskombination die Simulation ausgeführt werden kann, während die Bedienungsperson den Verlauf einer Aufgabe in Erfahrung bringt, welche kooperativ durch eine Person und einen kooperativen Roboter virtuell ausgeführt wird, ist es möglich, ein passendes Betätigungsprogramm, einen Arbeitsablauf und Weiteres zu erstellen.
Gemäß einer zweiten Merkmalskombination dieser Beschreibung weist die Simulationsvorrichtung 50 gemäß der ersten Merkmalskombination weiterhin eine Anzeigeeinrichtung (506) für Betriebspfad-Informationen auf, die eingerichtet ist, Betriebspfad-Informationen von dem Betätigungsprogramm zu gewinnen, welche einen Betrieb des kooperativen Robotermodells (20M) darstellen, und zu bewirken, dass die Betriebspfad-Informationen als Bild im dreidimensionalen virtuellen Raum dargestellt werden, bevor das kooperative Robotermodell (20M) den obigen Betrieb startet.
Gemäß einer dritten Merkmalskombination der vorliegenden Beschreibung enthalten die Betriebspfad-Informationen gemäß der Simulationsvorrichtung (50) nach der zweiten Merkmalskombination zumindest eine Betätigungsrichtung und eine Geschwindigkeit des kooperativen Robotermodells.
Gemäß einer vierten Merkmalskombination enthält die Simulationsvorrichtung (50) gemäß den zweiten und dritten Merkmalskombinationen in den Betriebspfad-Informationen eine Bewegungsbahn des kooperativen Robotermodells.
Gemäß einer fünften Merkmalskombination dieser Beschreibung enthält die Simulationsvorrichtung (50) gemäß einer der zweiten bis vierten Merkmalskombinationen in den Betriebspfad-Informationen Lehr-Punkte für das kooperative Robotermodell.
Gemäß einer sechsten Merkmalskombination enthält die Simulationsvorrichtung (50) gemäß der vorliegenden Beschreibung entsprechend einer der zweiten bis vierten Merkmalskombinationen in den Betriebspfad-Informationen ein Vorausschaubild des oben beschriebenen Betriebs des kooperativen Robotermodells.
Eine siebte Merkmalskombination der vorliegenden Beschreibung enthält in der Simulationsvorrichtung (50) gemäß einer der ersten bis sechsten Merkmalskombinationen weiterhin eine Distanzberechnungseinrichtung (501), die eingerichtet ist zum Berechnen einer Distanz zwischen dem kooperativen Robotermodell und der Bedienungsperson im dreidimensionalen virtuellen Raum entsprechend der Position der Bedienungsperson gemäß Detektion durch die Detektoreinrichtung, und eine Einrichtung (507) für die Abgabe eines Warnhinweises, die eingerichtet ist, einen Warnhinweis zu geben, wenn die durch die Distanzberechnungseinrichtung berechnete Distanz gleich oder kleiner wird als ein vorgegebener Wert.
Gemäß einer achten Merkmalskombination der vorliegenden Beschreibung ist in der Simulationsvorrichtung (50) gemäß einer der ersten bis siebten Merkmalskombinationen die Detektionseinrichtung (70) ein optischer Sensor zur Durchführung einer optischen Detektion bezüglich der Bedienungsperson.
Gemäß einer neunten Merkmalskombination der vorliegenden Beschreibung ist in der Simulationsvorrichtung (50) gemäß einer der ersten bis siebten Merkmalskombinationen die Detektionseinrichtung eine Detektionseinrichtung (170) vom Kleidungsdetektionstyp, die eingerichtet ist, eine Bewegung des Körpers der Bedienungsperson physisch zu detektieren.
Gemäß einer zehnten Merkmalskombination der vorliegenden Beschreibung enthält in der Simulationsvorrichtung (50) gemäß der neunten Merkmalskombination die Detektoreinrichtung (170) vom Kleidungsdetektionstyp einen Aktuator, der an Positionen entsprechend mehreren Betätigungsteilen des Körpers angeordnet ist, wobei die Simulationsausführungseinrichtung (503) ein Detektionssignal an die Detektoreinrichtung (170) vom Kleidungsdetektortyp sendet, wenn ein Kontakt zwischen einem Körperteil der Bedienungsperson (90) und dem kooperativen Robotermodell im dreidimensionalen virtuellen Raum detektiert wird auf Basis einer Position der Bedienungsperson (90) gemäß Detektion durch die Detektoreinrichtung (70), wobei die Detektoreinrichtung (70) vom Kleidungsdetektionstyp eine Last erzeugt, die bezüglich einer Bewegung der Bedienungsperson ausgeübt wird durch Aktivierung des Aktuators an einer Stelle entsprechend dem genannten Körperteil in Reaktion auf das Detektionssignal von der Simulationsausführungseinrichtung (503).
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017024113 A [0002, 0003]

Claims

Simulationsvorrichtung (50) zum Simulieren einer kooperativen Aufgabe, die kooperativ durch einen kooperativen Roboter und eine Person ausgeführt wird, wobei die Simulationsvorrichtung (50) aufweist: eine Anzeigeeinrichtung (80) vom Typ mit Kopfmontage zur Anbringung an einer Bedienungsperson (90) für die simultane Ausführung der kooperativen Aufgabe; eine Detektoreinrichtung (70), die eingerichtet ist zum Detektieren einer Position der Bedienungsperson (90) im Realraum; eine Anzeigeeinrichtung (502) für ein dreidimensionales Modell, die eingerichtet ist zum Bewirken einer Anzeige eines Bildes in der Anzeigeeinrichtung (80) vom Typ mit Kopfmontage, wobei in dem Bild ein Robotersystemmodell einschließlich eines kooperativen Robotermodells (20M) in einem dreidimensionalen virtuellen Raum angeordnet ist; und eine Simulationsausführungseinrichtung (503), die eingerichtet ist zur simultanen Betätigung des kooperativen Robotermodells (20M) im dreidimensionalen virtuellen Raum auf Basis eines Betätigungsprogrammes des kooperativen Roboters für die Ausführung der kooperativen Aufgabe und einer Position der Bedienungsperson (90) gemäß Detektion durch die Detektoreinrichtung (70).
Simulationsvorrichtung (50) gemäß Anspruch 1, weiterhin aufweisend: eine Anzeigeeinrichtung (506) für Betriebspfad-Informationen, die eingerichtet ist zum Gewinnen von Betriebspfad-Informationen von dem Betriebsprogramm bezüglich einer Betätigung des kooperativen Robotermodells (20M), und zum Bewirken einer Anzeige der Betriebspfad-Informationen als Bild im dreidimensionalen virtuellen Raum, bevor das kooperative Robotermodell (20M) den Betrieb startet.
Simulationsvorrichtung (50) gemäß Anspruch 2, wobei die Betriebspfad-Informationen eine Betätigungsrichtung und/oder Geschwindigkeit des kooperativen Robotermodells (20M) enthalten.
Simulationsvorrichtung (50) gemäß Anspruch 2 oder Anspruch 3, wobei die Betriebspfad-Informationen eine Bewegungsbahn des kooperativen Robotermodells (20M) enthalten.
Simulationsvorrichtung (50) gemäß einem der Ansprüche 2 bis 4, wobei die Betriebspfad-Informationen Lehr-Punkte bezüglich des kooperativen Robotermodells (20M) enthalten.
Simulationsvorrichtung (50) gemäß einem der Ansprüche 2 bis 5, wobei die Betriebspfad-Informationen ein Vorausschaubild des Betriebs des kooperativen Robotermodells (20M) enthalten.
Simulationsvorrichtung (50) gemäß einem der Ansprüche 1 bis 6, weiterhin aufweisend: eine Distanzberechnungseinrichtung (501), die eingerichtet ist zum Berechnen der Distanz zwischen dem kooperativen Robotermodell (20M) und der Bedienungsperson (90) in dem dreidimensionalen virtuellen Raum auf Basis der Position der Bedienungsperson (90) gemäß Detektion durch die Detektoreinrichtung (70); und eine Einrichtung (507) zum Geben eines Warnhinweises, die eingerichtet ist, einen Warnhinweis zu geben, wenn die mit der Distanzberechnungseinrichtung (501) berechnete Distanz gleich ist oder kleiner als ein vorgegebener Wert.
Simulationsvorrichtung (50) gemäß einem der Ansprüche 1 bis 7, wobei die Detektoreinrichtung (70) ein optischer Sensor ist, der für eine visuelle Detektion der Bedienungsperson (90) eingerichtet ist.
Simulationsvorrichtung (50) gemäß einem der Ansprüche 1 bis 7, wobei die Detektionseinrichtung (70) eine Detektionseinrichtung (170) vom Kleidungsdetektortyp ist und eingerichtet ist für eine physische Detektion der Bewegung des Körpers der Bedienungsperson (90).
Simulationsvorrichtung (50) gemäß Anspruch 9, wobei die Detektoreinrichtung (170) vom Kleidungsdetektortyp Aktuatoren (76) enthält, die an Positionen entsprechend mehreren Betätigungsteilen des Körpers angeordnet sind, die Simulationsausführungseinrichtung (503) ein Detektionssignal an die Detektoreinrichtung (170) vom Kleidungsdetektionstyp sendet, wenn ein Kontakt zwischen einem Körperteil der Bedienungsperson (90) und dem kooperativen Robotermodell (20M) im dreidimensionalen virtuellen Raum detektiert wird basierend auf einer Position der Bedienungsperson (90) gemäß Detektion durch die Detektoreinrichtung (70), und die Detektoreinrichtung (170) vom Kleidungsdetektionstyp eine Last erzeugt, welche auf die Bewegung der Bedienungsperson (90) ausgeübt wird, durch Aktivierung des Aktuators (76) an einer Stelle entsprechend dem Körperteil in Reaktion auf das Detektionssignal von der Simulationsausführungseinrichtung (503).