DE112016006116T5

DE112016006116T5 - Roboterlehrvorrichtung und Verfahren zum Erzeugen eines Robotersteuerprogramms

Info

Publication number: DE112016006116T5
Application number: DE112016006116.1T
Authority: DE
Inventors: Hideto Iwamoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2018-09-13
Also published as: JP6038417B1; CN108472810A; US20180345491A1; JPWO2017130389A1; WO2017130389A1

Abstract

Bereitgestellt werden eine Änderungserkennungseinheit (12) zum Erkennen einer Änderung einer Position eines Arbeitsobjekts aus einem mithilfe einer Bildeingabevorrichtung (2) erfassten Bild, eine Fingerbewegungs-Erkennungseinheit (13) zum Erkennen einer Bewegung von Fingern eines Arbeiters aus dem mithilfe der Bildeingabevorrichtung (2) erfassten Bild, eine Arbeitsinhalts-Schätzeinheit (15) zum Schätzen eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobjekt aus der mithilfe der Fingerbewegungs-Erkennungseinheit (13) erkannten Bewegung der Finger und eine Steuerprogramm-Erzeugungseinheit (16) zum Erzeugen eines Steuerprogramms eines Roboters (30) zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts aus dem von der Arbeitsinhalts-Schätzeinheit (15) geschätzten Arbeitsinhalt und der Änderung der Position des Arbeitsobjekts, die von der Änderungserkennungseinheit (12) erkannt wird.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Roboterlehrvorrichtung und ein Verfahren zum Erzeugen eines Robotersteuerprogramms, um einen Roboter Arbeitsinhalte eines Arbeiters zu lehren.
STAND DER TECHNIK
In der folgenden Patentliteratur 1 wird eine Roboterlehrvorrichtung offenbart, die eine dreidimensionale Position und Richtung eines Montagearbeiten durchführenden Arbeiters aus Bildern erkennt, die von einer Mehrzahl von Kameras erfasst werden, und ein Bewegungsprogramm eines Roboters aus der dreidimensionalen Position und Richtung des Arbeiters erzeugt.
LISTE DER ANFÜHRUNGEN
PATENTLITERATUR
Patentliteratur 1: JP H6-250730 A (Abschnitt [0010] und [0011])
KURZDARSTELLUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Da herkömmliche Roboterlehrvorrichtungen wie vorstehend beschrieben konfiguriert sind, ist es erforderlich, um ein Bewegungsprogramm eines Roboters aus der dreidimensionalen Position und der Richtung eines Montagearbeiten durchführenden Arbeiters zu erzeugen, dass alle von dem Arbeiter durchgeführten Montagearbeiten ohne Ausnahme fotografiert werden. Aus diesem Grund gibt es insofern ein Problem, als eine große Anzahl von Kameras installiert werden muss, um eine Situation zu vermeiden, in der einige Bilder der Montagearbeit des Arbeiters in erfassten Bildern fehlen.
Die vorliegende Erfindung wurde erdacht, um das vorstehend beschriebene Problem zu lösen. Es ist eine Aufgabe der vorliegenden Erfindung, eine Roboterlehrvorrichtung und ein Verfahren zum Erzeugen eines Robotersteuerprogramms bereitzustellen, das imstande ist, ein Steuerprogramm eines Roboters zu erzeugen, ohne zahlreiche Kameras zu installieren.
LÖSUNG DES PROBLEMS
Eine Roboterlehrvorrichtung gemäß der vorliegenden Erfindung ist versehen mit: einer Bildeingabevorrichtung zum Erfassen eines Bildes, auf dem Finger eines Arbeiters sowie ein Arbeitsobjekt erfasst sind; einer Fingerbewegungs-Erkennungseinheit zum Erkennen einer Bewegung der Finger des Arbeiters aus dem von der Bildeingabevorrichtung erfassten Bild; einer Arbeitsinhalts-Schätzeinheit zum Schätzen eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobjekt aus der von der Fingerbewegungs-Erkennungseinheit erkannten Bewegung der Finger; und einer Steuerprogramm-Erzeugungseinheit zum Erzeugen eines Steuerprogramms eines Roboters zum Wiedergeben des von der Arbeitsinhalts-Schätzeinheit geschätzten Arbeitsinhalts.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Erfindung wird eine Bewegung von Fingern eines Arbeiters aus einem von der Bildeingabevorrichtung erfassten Bild erkannt, ein Arbeitsinhalt des Arbeiters in Bezug auf das Arbeitsobjekt wird aus der Bewegung der Finger geschätzt, und dadurch wird ein Steuerprogramms eines Roboters zum Wiedergeben des Arbeitsinhalts erzeugt. Dadurch wird die Wirkung erzielt, das Steuerprogramm des Roboters ohne Installieren einer Anzahl von Kameras zu erzeugen.
Figurenliste

1 ist ein Konfigurationsschema, das eine Roboterlehrvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung veranschaulicht.
2 ist ein Hardware-Konfigurationsschema einer Robotersteuerung 10 in der Roboterlehrvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung.
3 ist ein Hardware-Konfigurationsschema der Robotersteuerung 10 in einem Fall, bei dem die Robotersteuerung 10 einen Computer aufweist.
4 ist ein Ablaufplan, der ein Verfahren zum Erzeugen eines Robotersteuerprogramms gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht, das Inhalte der Robotersteuerung 10 in der Roboterlehrvorrichtung verarbeitet.
5 ist eine erläuternde Darstellung, die eine Arbeitsumgebung eines Arbeiters veranschaulicht.
6 ist eine erläuternde Darstellung, die ein Bild unmittelbar vor einer Arbeit und ein Bild unmittelbar nach der Arbeit eines Arbeiters veranschaulicht.
7 ist eine erläuternde Darstellung, die eine in einer Datenbank 14 aufgezeichnete Mehrzahl von Bewegungen von Fingern eines Arbeiters veranschaulicht.
8 ist eine erläuternde Darstellung, die Änderungen von Merkmalspunkten, wenn ein Arbeiter ein Arbeitsobjekt a dreht, veranschaulicht.
9 ist eine erläuternde Darstellung, die ein Beispiel eines Beförderns eines Arbeitsobjekts a5 in einem Fall veranschaulicht, bei dem ein Roboter 30 ein horizontaler Gelenkroboter ist.
10 ist eine erläuternde Darstellung, die ein Beispiel eines Beförderns des Arbeitsobjekts a5 in einem Fall veranschaulicht, bei dem der Roboter 30 ein vertikaler Gelenkroboter ist.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung ausführlich näher zu beschreiben, werden nachfolgend Ausführungsformen zum Ausführen der vorliegenden Erfindung zusammen mit den begleitenden Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Konfigurationsschema, das eine Roboterlehrvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung veranschaulicht. 2 ist ein Hardware-Konfigurationsschema einer Robotersteuerung 10 in der Roboterlehrvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung.
In 1 und 2 ist eine tragbare Vorrichtung 1 an einem Arbeiter angebracht und weist eine Bildeingabevorrichtung 2, ein Mikrofon 3, eine am Kopf angebrachte Anzeige (head mounted display) 4 und einen Lautsprecher 5 auf.
Die Bildeingabevorrichtung 2 weist eine Kamera auf und erfasst ein von der Kamera erfasstes Bild.
Hier wird angenommen, dass die in die Bildeingabevorrichtung 2 einbezogene Kamera eine Stereokamera ist, die imstande ist, Tiefeninformationen zu erfassen, die den Abstand zu einem Subjekt zusätzlich zu zweidimensionalen Informationen des Subjekts angeben. Alternativ wird eine Kamera angenommen, bei der ein Tiefensensor, der imstande ist, Tiefeninformationen zu erfassen, die den Abstand zu einem Subjekt angeben, an einer zweidimensionalen Kamera befestigt ist, die imstande ist, zweidimensionale Informationen des Subjekts zu erfassen.
Es sollte beachtet werden, dass als ein von der Bildeingabevorrichtung 2 erfasstes Bild Zeitraffer-Bewegtbilder, die in vorgegebenen Abtastintervallen wiederholt aufgenommen werden, oder zu unterschiedlichen Zeiten aufgenommene unbewegte Bilder und dergleichen vorstellbar sind.
Die Robotersteuerung 10 ist eine Vorrichtung, die ein Steuerprogramm eines Roboters 30 aus einem von der Bildeingabevorrichtung 2 der tragbaren Vorrichtung 1 erfassten Bild erzeugt und ein Bewegungssteuersignal des Roboters 30, das dem Steuerprogramm entspricht, an den Roboter 30 ausgibt.
Es sollte beachtet werden, dass eine Verbindung zwischen der tragbaren Vorrichtung 1 und der Robotersteuerung 10 kabelgebunden oder drahtlos sein kann.
Eine Bildaufzeichnungseinheit 11 wird durch eine Speichervorrichtung 41 wie beispielsweise einen Direktzugriffsspeicher (RAM) oder eine Festplatte realisiert und zeichnet ein von der Bildeingabevorrichtung 2 erfasstes Bild auf.
Eine Änderungserkennungseinheit 12 wird mithilfe einer Änderungserkennungs-Verarbeitungsschaltung 42 realisiert, die zum Beispiel mit einer integrierten Halbleiterschaltung angebracht ist, die mit einer Zentraleinheit (CPU), einem Einchip-Mikrocomputer, einer Grafikverarbeitungseinheit (GPU) oder dergleichen angebracht ist, und führt eine Verarbeitung zum Erkennen einer Änderung der Position eines Arbeitsobjekts aus dem in der Bildaufzeichnungseinheit 11 aufgezeichneten Bild durch. Das heißt, aus in der Bildaufzeichnungseinheit 11 aufgezeichneten Bildern wird ein Differenzbild aus einem Bild vor einem Befördern des Arbeitsobjekts und einem Bild nach einem Befördern des Arbeitsobjekts erlangt, und eine Verarbeitung zum Erkennen einer Änderung der Position des Arbeitsobjekts aus dem Differenzbild wird durchgeführt.
Eine Fingerbewegungs-Erkennungseinheit 13 wird mithilfe einer Fingerbewegungserkennungs-Verarbeitungsschaltung 43 realisiert, die zum Beispiel mit einer integrierten Halbleiterschaltung angebracht ist, die mit einer CPU, einem Einchip-Mikrocomputer, einer GPU oder dergleichen angebracht ist, und führt eine Verarbeitung zum Erkennen einer Bewegung der Finger des Arbeiters aus dem in der Bildaufzeichnungseinheit 11 aufgezeichneten Bild durch.
Eine Datenbank 14 wird zum Beispiel durch die Speichervorrichtung 41 realisiert und speichert als eine Mehrzahl von Bewegungen von Fingern eines Arbeiters zum Beispiel Bewegung, wenn ein Arbeitsobjekt gedreht wird, Bewegung, wenn ein Arbeitsobjekt hineingeschoben (pushed) wird, Bewegung, wenn ein Arbeitsobjekt verschoben (slid) wird, sowie andere Bewegungen.
Die Datenbank 14 zeichnet ferner eine Korrespondenzrelation zwischen jeder der Bewegungen von Fingern und einem Arbeitsinhalt eines Arbeiters auf.
Eine Arbeitsinhalts-Schätzeinheit 15 wird durch eine Arbeitsinhaltsschätzungs-Verarbeitungsschaltung 44 realisiert, die zum Beispiel mit einer integrierten Halbleiterschaltung angebracht wird, die mit einer CPU, einem Einchip-Mikrocomputer oder dergleichen angebracht wird, und führt eine Verarbeitung zum Schätzen eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobjekt aus der von der Fingerbewegungs-Erkennungseinheit 13 erkannten Bewegung von Fingern durch. Das heißt, durch Zusammenstellen (collating) der von der Fingerbewegungs-Erkennungseinheit 13 erkannten Bewegung der Finger mit der in der Datenbank 14 aufgezeichneten Mehrzahl von Bewegungen von Fingern eines Arbeiters wird eine Verarbeitung zum Angeben von Arbeitsinhalten durchgeführt, die eine Korrespondenzrelation mit der von der Fingerbewegungs-Erkennungseinheit 13 erkannten Bewegung der Finger aufweisen.
Eine Steuerprogramm-Erzeugungseinheit 16 weist eine Steuerprogrammerzeugungs-Verarbeitungseinheit 17 und eine Bewegungssteuersignal-Ausgabeeinheit 18 auf.
Die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 wird durch eine Steuerprogrammerzeugungs-Verarbeitungsschaltung 45 realisiert, die zum Beispiel mit einer integrierten Halbleiterschaltung angebracht ist, die mit einer CPU, einem Einchip-Mikrocomputer oder dergleichen angebracht ist, und führt eine Verarbeitung zum Erzeugen eines Steuerprogramms des Roboters 30 zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts aus dem von der Arbeitsinhalts-Schätzeinheit 15 geschätzten Arbeitsinhalt 15 und der von der Änderungserkennungseinheit 12 erkannten Änderung der Position des Arbeitsobjekts durch.
Die Bewegungssteuersignal-Ausgabeeinheit 18 wird durch eine Bewegungssteuersignalausgabe-Verarbeitungsschaltung 46 realisiert, die zum Beispiel mit einer integrierten Halbleiterschaltung angebracht ist, die mit einer CPU, einem Einchip-Mikrocomputer oder dergleichen angebracht ist, und führt eine Verarbeitung zum Ausgeben eines Bewegungssteuersignals des Roboters 30, das dem von der Steuerprogrammerzeugungs-Verarbeitungseinheit 17 erzeugten Steuerprogramm entspricht, an den Roboter 30 aus.
Eine Video-Audio-Ausgabeeinheit 19 wird durch eine Ausgabeschnittstellenvorrichtung 47 für die am Kopf angebrachte Anzeige 4 und den Lautsprecher 5 sowie eine Eingabeschnittstellenvorrichtung 48 für die Bildeingabevorrichtung 2 realisiert und führt zum Beispiel eine Verarbeitung zum Anzeigen des von der Bildeingabevorrichtung 2 erfassten Bildes auf der am Kopf angebrachten Anzeige 4 und zum Anzeigen von Informationen, die angeben, dass eine Schätzungsverarbeitung eines Arbeitsinhalts vorgenommen wird, Informationen, die angeben, dass eine Erkennungsverarbeitung einer Positionsänderung vorgenommen wird oder anderer Informationen auf der am Kopf angebrachten Anzeige 4 durch.
Die Video-Audio-Ausgabeeinheit 19 führt eine Verarbeitung zum Ausgeben von Audiodaten, die Anleitung oder andere Informationen betreffen, die über Arbeitsinhalte unterrichten, an den Lautsprecher 5 durch.
Eine Vorgangsbearbeitungseinheit 20 wird durch die Eingabeschnittstellenvorrichtung 48 für die Bildeingabevorrichtung 2 und das Mikrofon 3 und die Ausgabeschnittstellenvorrichtung 47 für die Bildeingabevorrichtung 2 realisiert und führt zum Beispiel eine Verarbeitung zum Bearbeiten eines in der Bildaufzeichnungseinheit 11 aufgezeichneten Bildes in Übereinstimmung mit von dem Mikrofon 3 aus eingegebener Sprache eines Arbeiters durch.
Der Roboter 30 ist eine Vorrichtung, die Bewegung gemäß dem von der Robotersteuerung 10 ausgegebenen Bewegungssteuersignal durchführt.
Bei dem Beispiel aus 1 wird angenommen, dass jede aus der Bildaufzeichnungseinheit 11, der Änderungserkennungseinheit 12, der Fingerbewegungs-Erkennungseinheit 13, der Datenbank 14, der Arbeitsinhalts-Schätzeinheit 15, der Steuerprogrammerzeugungs-Verarbeitungseinheit 17, der Bewegungssteuersignal-Ausgabeeinheit 18, der Video-Audio-Ausgabeeinheit 19 und der Vorgangsbearbeitungseinheit 20, die eine Komponente der Robotersteuerung 10 in der Roboterlehrvorrichtung ist, dedizierte Hardware aufweist; die Robotersteuerung 10 kann jedoch einen Computer aufweisen.
3 ist ein Hardware-Konfigurationsschema der Robotersteuerung 10 in einem Fall, bei dem die Robotersteuerung 10 einen Computer aufweist.
In einem Fall, bei dem die Robotersteuerung 10 einen Computer aufweist, ist lediglich erforderlich, dass die Bildaufzeichnungseinheit 11 und die Datenbank 14 auf einem Speicher 51 des Computers konfiguriert sind, dass ein Programm, das den Inhalt der Verarbeitung der Änderungserkennungseinheit 12, der Fingerbewegungs-Erkennungseinheit 13, der Arbeitsinhalts-Schätzeinheit 15, der Steuerprogrammerzeugungs-Verarbeitungseinheit 17, der Bewegungssteuersignal-Ausgabeeinheit 18, der Video-Audio-Ausgabeeinheit 19 und der Vorgangsbearbeitungseinheit 20 beschreibt, in dem Speicher 51 des Computers gespeichert ist, und dass ein Prozessor 52 des Computers das in dem Speicher 51 gespeicherte Programm ausführt.
4 ist ein Ablaufplan, der ein Verfahren zum Erzeugen eines Robotersteuerprogramms gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht, das Inhalte der Robotersteuerung 10 in der Roboterlehrvorrichtung verarbeitet.
5 ist eine erläuternde Darstellung, die eine Arbeitsumgebung eines Arbeiters veranschaulicht.
In 5 wird ein Beispiel veranschaulicht, bei dem ein Arbeiter, der die Bildeingabevorrichtung 2, das Mikrofon 3, die am Kopf angebrachte Anzeige 4 und den Lautsprecher 5 trägt, welche die tragbare Vorrichtung 1 darstellen, ein Arbeitsobjekt a5 aus zylindrischen Arbeitsobjekten a1 bis a8 herausnimmt, die in einem Teilebehälter K1 untergebracht sind, und das Arbeitsobjekt a5 in eine Öffnung eines Teilebehälters K2 hineinschiebt, der sich auf einem Transportband bewegt, das eine Werkbank ist.
Nachfolgend können hier in einem Fall, bei dem die Arbeitsobjekte a1 bis a8 nicht unterschieden werden, diese als Arbeitsobjekte a bezeichnet werden.
6 ist eine erläuternde Darstellung, die ein Bild unmittelbar vor einer Arbeit und ein Bild unmittelbar nach der Arbeit eines Arbeiters veranschaulicht.
In dem Bild unmittelbar vor einer Arbeit werden der Teilebehälter K1, in dem acht Arbeitsobjekte a1 bis a8 untergebracht sind, und der Teilebehälter K2 auf dem Transportband als einer Werkbank erfasst.
Überdies werden in dem Bild unmittelbar nach einer Arbeit der Teilebehälter K1, in dem als ein Ergebnis eines Entfernens des Arbeitsobjekts a5 aus dem Teilebehälter K1 sieben Arbeitsobjekte a1 bis a4 und a6 bis a8 untergebracht sind, und der Teilebehälter K2 erfasst, in dem das Arbeitsobjekt a5 untergebracht ist.
Nachfolgend wird hier das den Teilebehälter K1 erfassende Bild als ein Teilebehälterbild A bezeichnet, und das den Teilebehälter K2 erfassende Bild wird als ein Teilebehälterbild B bezeichnet.
7 ist eine erläuternde Darstellung, die eine in der Datenbank 14 aufgezeichnete Mehrzahl von Bewegungen von Fingern eines Arbeiters veranschaulicht.
In 7 werden als Beispiele für die Mehrzahl von Bewegungen von Fingern eines Arbeiters eine Drehbewegungs-Bewegung, welches eine Bewegung ist, wenn ein Arbeitsobjekt gedreht wird, eine Hineinschiebebewegungs-Bewegung, welches eine Bewegung ist, wenn ein Arbeitsobjekt hineingeschoben wird, und eine Verschiebebewegungs-Bewegung veranschaulicht, welches eine Bewegung ist, wenn das Arbeitsobjekt verschoben wird.
Als Nächstes werden Vorgänge beschrieben.
Die in die Bildeingabevorrichtung 2 der tragbaren Vorrichtung 1 einbezogene Kamera fotografiert wiederholt die Arbeitsobjekte a1 bis a8 und die Teilebehälter K1 und K2 in vorgegebenen Abtastintervallen (Schritt ST1 in 4).
Die von der in die Bildeingabevorrichtung 2 einbezogenen Kamera wiederholt fotografierten Bilder werden in der Bildaufzeichnungseinheit 11 der Robotersteuerung 10 aufgezeichnet.
Die Änderungserkennungseinheit 12 der Robotersteuerung 10 erkennt eine Änderung der Position eines Arbeitsobjekts aus den in der Bildaufzeichnungseinheit 11 aufgezeichneten Bildern (Schritt ST2).
Die Verarbeitung zum Erkennen der Änderung der Position des Arbeitsobjekts a durch die Änderungserkennungseinheit 12 wird nachfolgend speziell beschrieben.
Als Erstes liest die Änderungserkennungseinheit 12 eine Mehrzahl von in der Bildaufzeichnungseinheit 11 aufgezeichneten Bildern und extrahiert das Teilebehälterbild A, welches ein Bild des Teilebehälters K1 ist, in dem das Arbeitsobjekt a untergebracht ist, und das Teilebehälterbild B, welches ein Bild des Teilebehälters K2 ist, aus jedem der gelesenen Bilder, zum Beispiel durch Verwenden einer allgemeinen Bilderfassungstechnologie, die zur auf Digitalkameras angewendeten Erkennungsverarbeitung eines Gesichtsbildes verwendet wird.
Bei der Bilderfassungstechnologie handelt es sich um eine bekannte Technik, und daher entfallen ausführliche Beschreibungen. Zum Beispiel ist es durch Speichern dreidimensionaler Formen der Teilebehälter K1 und K2 und des Arbeitsobjekts a im Voraus und Zusammenstellen einer dreidimensionalen Form eines Objekts, das in einem aus der Bildaufzeichnungseinheit 11 gelesenen Bild vorhanden ist, mit den im Voraus gespeicherten dreidimensionalen Formen möglich zu unterscheiden, ob das in dem Bild vorhandene Objekt der Teilebehälter K1 oder K2, das Arbeitsobjekt a oder andere Objekte ist/sind.
Beim Extrahieren der Teilebehälterbilder A und B aus jedem der Bilder erkennt die Änderungserkennungseinheit 12 eine Mehrzahl von Merkmalspunkten, welche die Form der Arbeitsobjekte a1 bis a8 betreffen, aus jedem der der Teilebehälterbilder A und B und gibt dreidimensionale Positionen der Mehrzahl von Merkmalspunkten an.
Bei der ersten Ausführungsform sind zum Beispiel, da angenommen wird, dass die Arbeitsobjekte a1 bis a8 in dem Teilebehälter K1 oder dem Teilebehälter K2 untergebracht sind, als Merkmalspunkte, welche die Form der Arbeitsobjekte a1 bis a8 betreffen, der Mittelpunkt an einem oberen Ende des Zylinders in einem Zustand vorstellbar, bei dem die Arbeitsobjekte a1 bis a8 in dem Teilebehälter K1 oder dem Teilebehälter K2 untergebracht sind. Merkmalspunkte können auch durch Anwenden der Bilderfassungstechnologie erkannt werden.
Beim Erkennen von Merkmalspunkten, welche die Form der Arbeitsobjekte a1 bis a8 betreffen, aus jedem der Teilebehälterbilder A und B und Angeben von dreidimensionalen Positionen der Merkmalspunkte erkennt die Änderungserkennungseinheit 12 eine Änderung der dreidimensionalen Position der Merkmalspunkte in den Arbeitsobjekten a1 bis a8.
Hier sind zum Beispiel in Teilebehälterbildern A zur Fotografierzeit T₁, T₂ und T₃ acht Arbeitsobjekte a1 bis a8 erfasst. In Teilebehälterbildern A zur Fotografierzeit T₄, T₅ und T₆ sind sieben Arbeitsobjekte a1 bis a4 und a6 bis a8 erfasst, aber nicht das Arbeitsobjekt a5, und das Arbeitsobjekt a5 ist auch nicht in Teilebehälterbildern B erfasst. Es wird angenommen, dass sieben Arbeitsobjekte a1 bis a4 und a6 bis a8 in Teilebehälterbildern A zur Fotografierzeit T₇, T₈ und T₉ erfasst sind, und dass ein Arbeitsobjekt a5 in Teilebehälterbildern B erfasst ist.
In einem derartigen Fall wird, da die sieben Arbeitsobjekte a1 bis a4 und a6 bis a8 nicht bewegt werden, keine Änderung der dreidimensionalen Position von Merkmalspunkten in den Arbeitsobjekten a1 bis a4 und a6 bis a8 erkannt.
Im Gegensatz dazu wird, da das Arbeitsobjekt a5 nach der Fotografierzeit T₃, vor der Fotografierzeit T₇, bewegt wurde, eine Änderung der dreidimensionalen Position eines Merkmalspunkts in dem Arbeitsobjekt a5 erkannt.
Es sollte beachtet werden, dass die Änderung der dreidimensionalen Position von Merkmalspunkten in den Arbeitsobjekten a1 bis a8 durch Erlangen einer Differenz zwischen Teilebehälterbildern A oder einer Differenz zwischen Teilebehälterbildern B zu einer unterschiedlichen Fotografierzeit T erkannt werden kann. Das heißt, in einem Fall, bei dem keine Änderung der dreidimensionalen Position eines Merkmalspunkts in einem Arbeitsobjekt a vorliegt, erscheint das Arbeitsobjekt nicht in einem Differenzbild. Allerdings erscheint in einem Fall, bei dem eine Änderung der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a vorliegt, das Objekt a in dem Differenzbild, und daher kann ein Vorhandensein oder Nichtvorhandensein einer Änderung der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a auf der Grundlage eines Vorhandenseins oder Nichtvorhandenseins des Arbeitsobjekts a in dem Differenzbild unterschieden werden.
Beim Erkennen der Änderung der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a gibt die Änderungserkennungseinheit 12 die Fotografierzeit T unmittelbar vor der Änderung und die Fotografierzeit T unmittelbar nach der Änderung an.
Bei dem vorstehenden Beispiel ist die Fotografierzeit T₃ als die Fotografierzeit T unmittelbar vor der Änderung angegeben, und die Fotografierzeit T₇ ist als die Fotografierzeit T unmittelbar nach der Änderung angegeben.
In 6 sind die Teilebehälterbilder A und B zu der Fotografierzeit T₃ und die Teilebehälterbilder A und B zu der Fotografierzeit T₇ veranschaulicht.
Die Änderungserkennungseinheit 12 erkennt eine Änderung der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a5, gibt die Fotografierzeit T₃ als die Fotografierzeit T unmittelbar vor der Änderung an, und gibt die Fotografierzeit T₇ als die Fotografierzeit T unmittelbar nach der Änderung an, dann berechnet sie aus der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a5 in dem Teilebehälterbild A zu der Fotografierzeit T₃ und der dreidimensionalen Position des Merkmalspunkts in dem Arbeitsobjekt a5 in dem Teilebehälterbild B zu der Fotografierzeit T₇ Bewegungsdaten M, die eine Änderung der Position des Arbeitsobjekts a5 angeben.
Zum Beispiel wird, ausgehend von der Annahme, dass die dreidimensionale Position des Merkmalspunkts in dem Arbeitsobjekt a5 in dem Teilebehälterbild A zu der Fotografierzeit T₃ (x₁, y₁, z₁) ist, und die dreidimensionale Position des Merkmalspunkts in dem Arbeitsobjekt a5 in dem Teilebehälterbild B zu der Fotografierzeit T₇ (x₂, y₂, z₂) ist, ein Bewegungsbetrag ΔM des Arbeitsobjekts a5 berechnet, wie in der folgenden mathematischen Formel (1) ausgedrückt. $ΔΜ= (Δ M_{x}, Δ M_{y}, Δ M_{z})$

ΔM_x= x₂ - x₁
ΔM_y= y₂ - y₁
ΔM_z= z₂ - z₁

Die Änderungserkennungseinheit 12 gibt Bewegungsdaten M einschließlich des Bewegungsbetrags ΔM des Arbeitsobjekts a5, die dreidimensionale Position vor der Bewegung (x₁, y₁, z₁) und die dreidimensionale Position nach der Bewegung (x₂, y₂, z₂) an die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 aus.
Die Fingerbewegungs-Erkennungseinheit 13 der Robotersteuerung 10 erkennt eine Bewegung der Finger des Arbeiters aus dem in der Bildaufzeichnungseinheit 11 aufgezeichneten Bild (Schritt ST3).
Die Erkennungsverarbeitung einer Bewegung von Fingern durch die Fingerbewegungs-Erkennungseinheit 13 wird im Folgenden speziell beschrieben.
Die Fingerbewegungs-Erkennungseinheit 13 liest eine Reihe von Bildern, von einem Bild unmittelbar vor einer Änderung bis zu einem Bild unmittelbar nach der Änderung, aus der in der Bildaufzeichnungseinheit 11 aufgezeichneten Mehrzahl von Bildern.
Bei dem vorstehenden Beispiel werden, da die Änderungserkennungseinheit 12 die Fotografierzeit T₃ als die Fotografierzeit T unmittelbar vor der Änderung angibt, und die Fotografierzeit T₇ als die Fotografierzeit T unmittelbar nach der Änderung angibt, das Bild zu der Fotografierzeit T₃, das Bild zu der Fotografierzeit T₄, das Bild zu der Fotografierzeit T₅, das Bild zu der Fotografierzeit T₆ und das Bild zu der Fotografierzeit T₇ aus der in der Bildaufzeichnungseinheit 11 aufgezeichneten Mehrzahl von Bildern gelesen.
Beim Lesen der Bilder zu der Fotografierzeit T₃ bis T₇ erkennt die Fingerbewegungs-Erkennungseinheit 13 einen Teil, auf dem die Finger des Arbeiters erfasst sind, aus jedem der gelesenen Bilder, zum Beispiel durch Anwenden der Bilderfassungstechnik, und extrahiert Bilder der Teile, auf denen die Finger des Arbeiters erfasst sind (hierin nachfolgend als „Fingerbild“ bezeichnet).
Bei der Bilderfassungstechnologie handelt es sich um eine bekannte Technik, und daher entfallen ausführliche Beschreibungen. Zum Beispiel ist es durch Registrieren der dreidimensionalen Form menschlicher Finger im Voraus im Speicher und Zusammenstellen der dreidimensionalen Form eines Objekts, das in dem aus der Bildaufzeichnungseinheit 11 gelesenen Bild vorhanden ist, mit der im Voraus gespeicherten dreidimensionalen Form möglich zu unterscheiden, ob es sich bei dem in dem Bild vorhandenen Objekt um die Finger des Arbeiters handelt.
Beim separaten Extrahieren des Fingerbildes aus jedem der Bilder erkennt die Fingerbewegungs-Erkennungseinheit 13 eine Bewegung der Finger des Arbeiters aus den Fingerbildern, die zum Beispiel durch Anwenden einer Bilderfassungstechnik separat erfasst werden.
Bei der Bilderfassungstechnik handelt es sich um eine bekannte Technik, die auch in der folgenden Patentliteratur 2 offenbart wird, und daher entfallen ausführliche Beschreibungen. Zum Beispiel ist es durch Erkennen einer Mehrzahl von Merkmalspunkten, die die Form menschlicher Finger betreffen, und Verfolgen von Änderungen der dreidimensionalen Positionen der Mehrzahl von Merkmalspunkten möglich, die Bewegung der Finger des Arbeiters zu erkennen.
Als Merkmalspunkte, die die Form menschlicher Finger betreffen, sind Fingergelenke, Fingerspitzen, Fingergrundgelenke, ein Handgelenk oder dergleichen vorstellbar.
Patentliteratur 2: JP 2007-121217 A
Bei der ersten Ausführungsform wird angenommen, dass die Bewegung der Finger des Arbeiters durch Erkennen einer die Form menschlicher Finger betreffenden Mehrzahl von Merkmalspunkten durch Bildverarbeitung der Mehrzahl von Fingerbildern und Verfolgen von Änderungen der dreidimensionalen Positionen der Mehrzahl von Merkmalspunkten erkannt wird; jedoch kann zum Beispiel in einem Fall, bei dem ein Handschuh mit Markierungen an Fingern eines Arbeiters getragen wird, Bewegung der Finger des Arbeiters durch Erkennen der Positionen der Markierungen, die in der Mehrzahl von Fingerbildern erfasst sind, und Verfolgen von Änderungen der dreidimensionalen Positionen der Mehrzahl von Markierungen erkannt werden.
Alternativ kann in einem Fall, bei dem ein Handschuh mit Kraftsensoren an Fingern eines Arbeiters getragen wird, Bewegung der Finger des Arbeiters durch Verfolgen einer Änderung der Sensorsignale der Kraftsensoren erkannt werden.
Bei der ersten Ausführungsform wird angenommen, dass eine Drehbewegungs-Bewegung, welches eine Bewegung ist, wenn das Arbeitsobjekt a gedreht wird, eine Hineinschiebebewegungs-Bewegung, welches eine Bewegung ist, wenn das Arbeitsobjekt a hineingeschoben wird, und eine Verschiebebewegungs-Bewegung, welches eine Bewegung ist, wenn das Arbeitsobjekt a verschoben wird, erkannt werden; jedoch sind zu erkennende Bewegungen nicht auf diese Bewegungen beschränkt, und andere Bewegungen können erkannt werden.
8 ist hier eine erläuternde Darstellung, die Änderungen von Merkmalspunkten, wenn ein Arbeiter ein Arbeitsobjekt a dreht, veranschaulicht.
In 8 stellt ein Pfeil eine Verbindung dar, die eine Mehrzahl von Merkmalspunkten verbindet, und zum Beispiel ermöglicht ein Beobachten einer Veränderung einer Verbindung, die einen Merkmalspunkt des Carpometacarpalgelenks, einen Merkmalspunkt des Metacarpophalangealgelenks des Daumens, einen Merkmalspunkt des Interphalangealgelenks des Daumens und einen Merkmalspunkt der Spitze des Daumens verbindet, eine Änderung der Bewegung des Daumens zu bestätigen.
Es ist vorstellbar, dass zum Beispiel die Drehbewegungs-Bewegung eine Bewegung eines Drehens eines Zeigefingers in Uhrzeigerrichtung aufweist, wobei ein Abschnitt, der sich von dem Interphalangealgelenk zu dem Grundgelenk des Zeigefingers erstreckt, im Wesentlichen parallel zu dem Daumen ist, wobei das Interphalangealgelenk gebeugt ist, während der ausgestreckte Daumen in Uhrzeigerrichtung gedreht wird.
Es sollte beachtet werden, dass in 8 Bewegung, bei der das Hauptaugenmerk auf Änderungen des Daumens und des Zeigefingers liegt, und Bewegung, bei der das Hauptaugenmerk auf der Breite und der Länge des Rückens einer Hand und einer Ausrichtung eines Handgelenks liegt, veranschaulicht werden.
Wenn die Fingerbewegungs-Erkennungseinheit 13 die Bewegung der Finger des Arbeiters erkennt, schätzt die Arbeitsinhalts-Schätzeinheit 15 der Robotersteuerung 10 den Arbeitsinhalt des Arbeiters in Bezug auf das Arbeitsobjekt a aus der Bewegung der Finger (Schritt ST4).
Das heißt, die Arbeitsinhalts-Schätzeinheit 15 stellt die von der Fingerbewegungs-Erkennungseinheit 13 erkannte Bewegung der Finger mit der in der Datenbank 14 aufgezeichneten Mehrzahl von Bewegungen von Fingern eines Arbeiters zusammen und gibt dadurch einen Arbeitsinhalt an, der eine Korrespondenzrelation mit der von der Fingerbewegungs-Erkennungseinheit 13 erkannten Bewegung der Finger aufweist.
Bei dem Beispiel aus 7 wird, da die Drehbewegungs-Bewegung, die Hineinschiebebewegungs-Bewegung und die Verschiebebewegungs-Bewegung in der Datenbank 14 aufgezeichnet sind, die von der Fingerbewegungs-Erkennungseinheit 13 erkannte Bewegung der Finger mit der in der Datenbank 14 aufgezeichneten Drehbewegungs-Bewegung, Hineinschiebebewegungs-Bewegung und Verschiebebewegungs-Bewegung zusammengestellt.
Als ein Ergebnis des Zusammenstellens wird, zum Beispiel, wenn der Grad einer Übereinstimmung der Drehbewegungs-Bewegung der höchste unter der Drehbewegungs-Bewegung, Hineinschiebebewegungs-Bewegung und Verschiebebewegungs-Bewegung ist, geschätzt, dass ein Arbeitsinhalt des Arbeiters die Drehbewegungs-Bewegung ist.
Wenn alternative der Grad einer Übereinstimmung der Hineinschiebebewegungs-Bewegung der höchste ist, wird geschätzt, dass ein Arbeitsinhalt des Arbeiters die Hineinschiebebewegungs-Bewegung ist. Wenn der Grad einer Übereinstimmung der Verschiebebewegungs-Bewegung der höchste ist, wird geschätzt, dass ein Arbeitsinhalt des Arbeiters die Verschiebebewegungs-Bewegung ist.
In der Arbeitsinhalts-Schätzeinheit 15 wird, selbst wenn die von der Fingerbewegungs-Erkennungseinheit 13 erkannte Bewegung der Finger nicht vollständig mit der in der Datenbank 14 aufgezeichneten Bewegung von Fingern eines Arbeiters übereinstimmt, geschätzt, dass Bewegung, die einen relativ hohen Grad an Übereinstimmung unter in der Datenbank 14 aufgezeichneten Bewegungen der Finger des Arbeiters aufweist, der Arbeitsinhalt des Arbeiters ist, und daher kann selbst in einem Fall, bei dem ein Teil der Finger des Arbeiters hinter der Handinnenfläche oder anderen Objekten verborgen und nicht in einem Bild erfasst ist, der Arbeitsinhalt des Arbeiters geschätzt werden. Daher kann selbst mit einer kleinen Anzahl von Kameras ein Arbeitsinhalt des Arbeiters geschätzt werden.
Der Einfachheit der Erläuterung halber wird hier ein Beispiel veranschaulicht, bei dem jede aus der Drehbewegungs-Bewegung, der Hineinschiebebewegungs-Bewegung und der Verschiebebewegungs-Bewegung in der Datenbank 14 aufgezeichnet ist; jedoch sind tatsächlich zum Beispiel selbst für dieselbe Drehbewegung Bewegungen aus einer Mehrzahl von Drehbewegungen, die unterschiedliche Drehwinkel aufweisen, in der Datenbank 14 aufgezeichnet. Überdies sind selbst für dieselbe Hineinschiebebewegung zum Beispiel Bewegungen aus einer Mehrzahl von Hineinschiebebewegungen mit unterschiedlichen Hineinschiebebeträgen in der Datenbank 14 verzeichnet. Selbst für dieselbe Verschiebebewegung sind zum Beispiel Aktionen aus einer Mehrzahl von Verschiebebewegungen mit unterschiedlichen Verschiebebeträgen in der Datenbank 14 aufgezeichnet.
Daher wird nicht nur geschätzt, dass ein Arbeitsinhalt des Arbeiters zum Beispiel eine Drehbewegungs-Bewegung ist, sondern zum Beispiel auch, dass die Drehbewegungs-Bewegung einen Drehwinkel von 60 Grad aufweist.
Die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 der Robotersteuerung 10 erzeugt ein Steuerprogramm des Roboters 30 zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts a aus dem von der Arbeitsinhalts-Schätzeinheit 15 geschätzten Arbeitsinhalt und der Änderung der Position des Arbeitsobjekts a, die von der Änderungserkennungseinheit 12 erkannt wird (Schritt ST5).
Das heißt, die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 erzeugt aus den Bewegungsdaten M, die von der Änderungserkennungseinheit 12 ausgegeben werden, ein Steuerprogramm P1 zum Bewegen des Arbeitsobjekts a5 an der dreidimensionalen Position (x₁, y₁, z₁), das in dem Teilebehälter K1 untergebracht ist, an die dreidimensionale Position (x₂, y₂, z₂) des Teilebehälters K2.
Zu dieser Zeit ist ein Steuerprogramm P1 vorstellbar, welches ermöglicht, dass ein Bewegungsweg von der dreidimensionalen Position (x₁, y₁, z₁) zu der dreidimensionalen Position (x₂, y₂, z₂) der kürzeste ist; jedoch wird in einem Fall, bei dem ein anderes Arbeitsobjekt a oder andere Objekte auf dem Beförderungsweg vorhanden sind, ein Steuerprogramm P1 erzeugt, das einen Weg angibt, der um das andere Arbeitsobjekt a oder die anderen Objekte einen Umweg macht.
Daher können verschiedene Wege als der Bewegungsweg von der dreidimensionalen Position (x₁, y₁, z₁) zu der dreidimensionalen Position (x₂, y₂, z₂) vorstellbar sein, erforderlich ist lediglich, dass er als geeignet bestimmt wird, zum Beispiel durch Anwenden einer Wegsuchtechnik einer Personenkraftwagen-Navigationsvorrichtung unter Berücksichtigung der Richtung, in der sich ein Arm des Roboters 30 auf der Grundlage des Freiheitsgrades von Gelenken des Roboters 30 bewegen kann.
9 ist eine erläuternde Darstellung, die ein Beispiel eines Beförderns eines Arbeitsobjekts a5 in einem Fall veranschaulicht, bei dem der Roboter 30 ein horizontaler Gelenkroboter ist.
In dem Fall, dass der Roboter 30 ein horizontaler Gelenkroboter ist, wird ein Steuerprogramm P1 erzeugt, um das Arbeitsobjekt a5, das an der dreidimensionalen Position (x₁, y₁, z₁) vorhanden ist, gerade hochzuheben und in einer horizontalen Richtung zu bewegen und anschließend das Arbeitsobjekt a5 auf die dreidimensionale Position (x₂, y₂, z₂) herunterzubringen.
10 ist eine erläuternde Darstellung, die ein Beispiel eines Beförderns des Arbeitsobjekts a5 in einem Fall veranschaulicht, bei dem der Roboter 30 ein vertikaler Gelenkroboter ist.
In dem Fall, dass der Roboter 30 ein vertikaler Gelenkroboter ist, wird ein Steuerprogramm P1 erzeugt, um das Arbeitsobjekt a5, das an der dreidimensionalen Position (x₁, y₁, z₁) vorhanden ist, gerade hochzuheben und derart zu bewegen als würde eine Parabel gezeichnet, und anschließend das Arbeitsobjekt a5 auf die dreidimensionale Position (x₂, y₂, z₂) herunterzubringen.
Als Nächstes erzeugt die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 ein Steuerprogramm P2 des Roboters 30 zum Wiedergeben des von der Arbeitsinhalts-Schätzeinheit 15 geschätzten Arbeitsinhalts.
Wenn zum Beispiel der von der Arbeitsinhalts-Schätzeinheit 15 geschätzte Arbeitsinhalt eine Drehbewegungs-Bewegung mit einem Drehwinkel von 90 Grad ist, wird ein Steuerprogramm P2 zum Drehen des Arbeitsobjekts a um 90 Grad erzeugt. Wenn der Arbeitsinhalt eine Hineinschiebebewegungs-Bewegung mit einem Hineinschiebebetrag von 3 cm ist, wird ein Steuerprogramm P2 erzeugt, um das Arbeitsobjekt a 3 cm hineinzuschieben. Wenn der Arbeitsinhalt eine Verschiebebewegungs-Bewegung mit einem Verschiebebetrag von 5 cm ist, wird ein Steuerprogramm P2 erzeugt, um das Arbeitsobjekt a um 5 cm zu verschieben.
Es sollte beachtet werden, dass bei den Beispielen aus 5, 9 und 10 als Arbeitsinhalt eine Bewegung eines Hineinschiebens des Arbeitsobjekts a5 in eine Öffnung in dem Teilebehälter K2 angenommen wird.
Bei der ersten Ausführungsform wird eine beispielhafte Arbeit veranschaulicht, bei der das in dem Teilebehälter K1 untergebrachte Arbeitsobjekt a5 befördert und das Arbeitsobjekt a5 anschließend in die Öffnung in dem Teilebehälter K2 hineingeschoben wird; jedoch kann, ohne darauf beschränkt zu sein, eine Arbeit zum Beispiel im Drehen des in dem Teilebehälter K1 untergebrachten Arbeitsobjekts a5 ohne Befördern des in dem Teilebehälter K1 untergebrachten Arbeitsobjekts a5 oder weiteres Hineinschieben des Arbeitsobjekts a bestehen. In dem Fall einer derartigen Arbeit wird nur ein Steuerprogramm P2 zum Wiedergeben von von der Arbeitsinhalts-Schätzeinheit 15 geschätztem Arbeitsinhalt erzeugt, ohne ein Steuerprogramm P1 zum Befördern des Arbeitsobjekts a5 zu erzeugen.
Wenn die Steuerprogrammerzeugungs-Verarbeitungseinheit 17 ein Steuerprogramm erzeugt, gibt die Bewegungssteuersignal-Ausgabeeinheit 18 der Robotersteuerung 10 ein Bewegungssteuersignal des Roboters 30, das dem Steuerprogramm entspricht, an den Roboter 30 aus (Schritt ST6).
Zum Beispiel erzeugt in einem Fall, bei dem das Arbeitsobjekt a gedreht wird, da die Bewegungssteuersignal-Ausgabeeinheit 18 speichert, welches Gelenk aus einer Mehrzahl von zu dem Roboter 30 zählenden Gelenken zu bewegen ist, und außerdem eine Korrespondenzrelation zwischen dem Drehungsbetrag des Arbeitsobjekts a und dem Drehungsbetrag eines Motors zum Bewegen des Gelenks, die Bewegungssteuersignal-Ausgabeeinheit 18 ein Bewegungssteuersignal, das Informationen angibt, die einen mit dem zu bewegenden Gelenk verbundenen Motor und den Drehungsbetrag des Motors angeben, der dem Drehungsbetrag des Arbeitsobjekts a entspricht, der von dem Steuerprogramm angegeben wird, und gibt das Bewegungssteuersignal an den Roboter 30 aus.
Zum Beispiel erzeugt in einem Fall, bei dem das Arbeitsobjekt a hineingeschoben wird, da die Bewegungssteuersignal-Ausgabeeinheit 18 speichert, welches Gelenk aus einer Mehrzahl von Gelenken, über die der Roboter 30 verfügt, zu bewegen ist, und außerdem eine Korrespondenzrelation zwischen dem Hineinschiebebetrag des Arbeitsobjekts a und dem Drehungsbetrag eines Motors zum Bewegen des Gelenks, die Bewegungssteuersignal-Ausgabeeinheit 18 ein Bewegungssteuersignal, das Informationen angibt, die einen mit dem zu bewegenden Gelenk verbundenen Motor und den Drehungsbetrag des Motors angeben, der dem Hineinschiebebetrag des Arbeitsobjekts a entspricht, der von dem Steuerprogramm angegeben wird, und gibt das Bewegungssteuersignal an den Roboter 30 aus.
Zum Beispiel erzeugt in einem Fall, bei dem das Arbeitsobjekt a verschoben wird, da die Bewegungssteuersignal-Ausgabeeinheit 18 speichert, welches Gelenk aus einer Mehrzahl von Gelenken, über die der Roboter 30 verfügt, zu bewegen ist, und außerdem eine Korrespondenzrelation zwischen dem Verschiebebetrag des Arbeitsobjekts a und dem Drehungsbetrag eines Motors zum Bewegen des Gelenks, die Bewegungssteuersignal-Ausgabeeinheit 18 ein Bewegungssteuersignal, das Informationen angibt, die einen mit dem zu bewegenden Gelenk verbundenen Motor und den Drehungsbetrag des Motors angeben, der dem Verschiebebetrag des Arbeitsobjekts a entspricht, der von dem Steuerprogramm angegeben wird, und gibt das Bewegungssteuersignal an den Roboter 30 aus.
Beim Empfangen des Bewegungssteuersignals von der Bewegungssteuersignal-Ausgabeeinheit 18 dreht der Roboter 30 den von dem Bewegungssteuersignal angegebenen Motor um den von dem Bewegungssteuersignal angegebenen Drehungsbetrag, wodurch Arbeit an dem Arbeitsobjekt a durchgeführt wird.
Der Arbeiter trägt hier die am Kopf angebrachte Anzeige 4 und in einem Fall, bei dem die am Kopf angebrachte Anzeige 4 zu einem optischen durchsichtigen Typ gehört, durch den die Außenwelt gesehen werden kann, ist selbst, wenn die am Kopf angebrachte Anzeige 4 getragen wird, der Teilebehälter K1 oder K2 oder das Arbeitsobjekt durch Glas sichtbar.
Alternativ ist in einem Fall, bei dem die am Kopf angebrachte Anzeige 4 ein Videotyp ist, da der Teilebehälter K1 oder K2 oder das Arbeitsobjekt a nicht direkt sichtbar ist, dem Arbeiter erlaubt, den Teilebehälter K1 oder K2 oder das Arbeitsobjekt a zu bestätigen, indem die Video-Audio-Ausgabeeinheit 19 veranlasst wird, das von der Bildeingabevorrichtung 2 erfasste Bild auf der am Kopf angebrachten Anzeige 4 anzuzeigen.
Wenn die Änderungserkennungseinheit 12 eine Verarbeitung zum Erkennen einer Änderung der Position eines Arbeitsobjekts durchführt, zeigt die Video-Audio-Ausgabeeinheit 19 auf der am Kopf angebrachten Anzeige 4 Informationen an, die angeben, dass eine Verarbeitung zum Erkennen einer Änderung der Position vorgenommen wird. Überdies zeigt, wenn die Arbeitsinhalts-Schätzeinheit 15 eine Verarbeitung zum Schätzen eines Arbeitsinhalts eines Arbeiters durchführt, die Video-Audio-Ausgabeeinheit 19 auf der am Kopf angebrachten Anzeige 4 Informationen an, die angeben, dass eine Verarbeitung zum Schätzen eines Arbeitsinhalts vorgenommen wird.
Durch Betrachten eines Anzeigeinhalts der am Kopf angebrachten Anzeige 4 kann der Arbeiter erkennen, dass aktuell ein Steuerprogramm des Roboters 30 erzeugt wird.
Darüber hinaus gibt, zum Beispiel in einem Fall, bei dem eine Anleitung zum Unterrichten über einen Arbeitsinhalt im Voraus registriert oder eine Anleitung von außen gegeben wird, die Video-Audio-Ausgabeeinheit 19 die Anleitung betreffende Audiodaten an den Lautsprecher 5 aus.
Aufgrund dessen kann der Arbeiter den Arbeitsinhalt mit Sicherheit erfassen und reibungslos die richtige Arbeit durchführen.
Der Arbeiter kann die Robotersteuerung 10 durch das Mikrofon 3 betätigen.
Das heißt, wenn der Arbeiter Vorgangsinhalte der Robotersteuerung 10 äußert, analysiert die Vorgangsbearbeitungseinheit 20 die von dem Mikrofon 3 aus eingegebene Sprache des Arbeiters und erkennt den Vorgangsinhalt der Robotersteuerung 10.
Wenn überdies der Arbeiter eine Geste ausführt, die einem Vorgangsinhalt der Robotersteuerung 10 entspricht, analysiert die Vorgangsbearbeitungseinheit 20 das von der Bildeingabevorrichtung 2 erfasste Bild und erkennt den Vorgangsinhalt der Robotersteuerung 10.
Als der Vorgangsinhalt der Robotersteuerung 10 ist ein Wiedergabevorgang zum erneuten Anzeigen von Bildern, die den Teilebehälter K1 oder K2 oder das Arbeitsobjekt a erfassen, auf der am Kopf angebrachten Anzeige 4, ein Vorgang zum Bezeichnen eines Teils einer Arbeit in einer Reihe von Teilen einer Arbeit, die in einem Bild erfasst sind, das wiedergegeben wird, und eine Forderung nach einem erneuten Ausführen des Teils der Arbeit sowie andere Vorgänge vorstellbar.
Beim Empfangen eines Wiedergabevorgangs des Bildes, das den Teilebehälter K1 oder K2 oder das Arbeitsobjekt a erfasst, liest die Vorgangsbearbeitungseinheit 20 das in der Bildaufzeichnungseinheit 11 aufgezeichnete Bild und zeigt der am Kopf angebrachten Anzeige 4 das Bild an.
Alternativ veranlasst beim Empfangen eines Vorgangs, der ein erneutes Ausführen eines Teils einer Arbeit fordert, die Vorgangsbearbeitungseinheit 20 den Lautsprecher 5 zum Ausgeben einer Ansage, die zu einem erneuten Ausführen eines Teils der Arbeit auffordert, und gibt außerdem eine Anweisung, ein Bild zu erfassen, an die Bildeingabevorrichtung 2 aus.
Wenn der Arbeiter den Teil der Arbeit erneut ausführt, führt die Vorgangsbearbeitungseinheit 20 eine Bildbearbeitung zum Einfügen eines Bildes, auf dem der von der Bildeingabevorrichtung 2 erfasste Teil der Arbeit erfasst ist, in ein in der Bildaufzeichnungseinheit 11 aufgezeichnetes Bild durch.
Aufgrund dessen wird das in der Bildaufzeichnungseinheit 11 aufgezeichnete Bild in ein Bild abgewandelt, in dem der Teil der Arbeit aus der Reihe von Arbeiten erneut ausgeführt wird.
Wenn eine Bearbeitung des Bildes abgeschlossen ist, gibt die Vorgangsbearbeitungseinheit 20 eine Anweisung, das bearbeitete Bild von der Bildaufzeichnungseinheit 11 zu erlangen, an die Änderungserkennungseinheit 12 und die Fingerbewegungs-Erkennungseinheit 13 aus.
Aufgrund dessen wird die Verarbeitung der Änderungserkennungseinheit 12 und der Fingerbewegungs-Erkennungseinheit 13 gestartet, und schließlich wird ein Bewegungssteuersignal des Roboters 30 auf der Grundlage des bearbeiteten Bildes erzeugt, und das Bewegungssteuersignal wird an den Roboter 30 ausgegeben.
Wie aus dem Vorstehenden ersichtlich ist, werden gemäß der ersten Ausführungsform die Fingerbewegungs-Erkennungseinheit 13 zum Erkennen einer Bewegung der Finger des Arbeiters aus dem von der Bildeingabevorrichtung 2 erfassten Bild und die Arbeitsinhalts-Schätzeinheit 15 zum Schätzen eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobj ekt a aus der von der Fingerbewegungs-Erkennungseinheit 13 erkannten Bewegung der Finger bereitgestellt, und die Steuerprogramm-Erzeugungseinheit 16 erzeugt das Steuerprogramm des Roboters 30 zum Wiedergeben des von der Arbeitsinhalts-Schätzeinheit 15 geschätzten Arbeitsinhalts, wodurch eine Wirkung erzielt wird, dass ein Steuerprogramm des Roboters 30 erzeugt werden kann, ohne eine große Anzahl von Kameras zu installieren.
Das heißt, in der Arbeitsinhalts-Schätzeinheit 15 wird geschätzt, selbst wenn die von der Fingerbewegungs-Erkennungseinheit 13 erkannte Bewegung der Finger nicht vollständig mit der in der Datenbank 14 aufgezeichneten Bewegung von Fingern eines Arbeiters übereinstimmt, dass Bewegung, die einen relativ hohen Grad an Übereinstimmung als andere Bewegungen aufweist, der Arbeitsinhalt des Arbeiters ist, und daher kann selbst in einem Fall, bei dem ein Teil der Finger des Arbeiters hinter der Handinnenfläche oder anderen Objekten verborgen und nicht auf einem Bild erfasst ist, der Arbeitsinhalt des Arbeiters geschätzt werden. Dadurch ist es möglich, ein Steuerprogramm des Roboters 30 ohne Installieren einer Anzahl von Kameras zu erzeugen.
Ferner ist gemäß der ersten Ausführungsform die Änderungserkennungseinheit 12 zum Erkennen einer Änderung der Position des Arbeitsobjekts a aus dem von der Bildeingabevorrichtung 2 erfassten Bild einbezogen, und die Steuerprogramm-Erzeugungseinheit 16 erzeugt das Steuerprogramm des Roboters zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts a aus dem von der Arbeitsinhalts-Schätzeinheit 15 geschätzten Arbeitsinhalt und der Änderung der Position des Arbeitsobjekts, die von der Änderungserkennungseinheit 12 erkannt wird, wodurch eine Wirkung erzielt wird, dass ein Steuerprogramm des Roboters 30 erzeugt wird, selbst wenn das Arbeitsobjekt a befördert wird.
Überdies wird gemäß der ersten Ausführungsform die an der tragbaren Vorrichtung 1 befestigte Bildeingabevorrichtung 2 als die Bildeingabevorrichtung verwendet, wodurch eine Wirkung erzielt wird, dass ein Steuerprogramm des Roboters 30 erzeugt werden kann, ohne eine feste Kamera in der Nähe der Werkbank zu installieren.
Übrigens kann die vorliegende Erfindung in dem Schutzbereich der vorliegenden Erfindung eine Abwandlung einer beliebigen Komponente der Ausführungsformen oder ein Entfallen irgendeiner Komponente in den Ausführungsformen beinhalten.
INDUSTRIELLE ANWENDBARKEIT
Eine Roboterlehrvorrichtung und ein Verfahren zum Erzeugen eines Robotersteuerprogramms gemäß der vorliegenden Erfindung sind für diejenigen geeignet, für die es erforderlich ist, die Anzahl von Kameras zu verringern, die installiert werden müssen, wenn einem Roboter ein Arbeitsinhalt eines Arbeiters beigebracht wird.
Bezugszeichenliste
1: Tragbare Vorrichtung, 2: Bildeingabevorrichtung, 3: Mikrofon, 4: Am Kopf angebrachte Anzeige, 5: Lautsprecher, 10: Robotersteuerung, 11: Bildaufzeichnungseinheit, 12: Änderungserkennungseinheit, 13: Fingerbewegungs-Erkennungseinheit, 14: Datenbank, 15: Arbeitsinhalts-Schätzeinheit, 16: Steuerprogramm-Erzeugungseinheit, 17: Steuerprogrammerzeugungs-Verarbeitungseinheit, 18: Bewegungssteuerungssignal-Ausgabeeinheit, 19: Video-Audio-Ausgabeeinheit, 20: Vorgangsbearbeitungseinheit, 30: Roboter, 41: Speichervorrichtung, 42: Änderungserkennungs-Verarbeitungsschaltung, 43: Fingerbewegungserkennungs-Verarbeitungsschaltung, 44: Arbeitsinhaltsschätzungs-Verarbeitungsschaltung, 45: Steuerprogrammerzeugungs-Verarbeitungsschaltung, 46: Bewegungssteuerungssignalausgabe-Verarbeitungsschaltung, 47: Ausgabeschnittstellenvorrichtung, 48: Eingabeschnittstellenvorrichtung, 51: Speicher, 52: Prozessor, a1 bis a8: Arbeitsobjekt, K1, K2: Teilebehälter
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP H6250730 A [0003]
JP 2007121217 A [0070]

Claims

Roboterlehrvorrichtung, die umfasst: eine Bildeingabevorrichtung zum Erfassen eines Bildes, auf dem Finger eines Arbeiters sowie ein Arb.eitsobjekt erfasst sind; eine Fingerbewegungs-Erkennungseinheit zum Erkennen von Bewegung der Finger des Arbeiters aus dem von der Bildeingabevorrichtung erfassten Bild; eine Arbeitsinhalts-Schätzeinheit zum Schätzen von Arbeitsinhalt des Arbeiters in Bezug auf das Arbeitsobjekt aus der von der Fingerbewegungs-Erkennungseinheit erkannten Bewegung der Finger; und eine Steuerprogramm-Erzeugungseinheit zum Erzeugen eines Steuerprogramms eines Roboters zum Wiedergeben des von der Arbeitsinhalts-Schätzeinheit geschätzten Arbeitsinhalts.
Roboterlehrvorrichtung nach Anspruch 1, die ferner umfasst: eine Datenbank, die eine Mehrzahl von Bewegungen von Fingern eines Arbeiters und eine Korrespondenzrelation zwischen jeder der Bewegungen der Finger und dem Arbeitsinhalt des Arbeiters aufzeichnet, wobei die Arbeitsinhalts-Schätzeinheit die von der Fingerbewegungs-Erkennungseinheit erkannte Bewegung der Finger mit der in der Datenbank aufgezeichneten Mehrzahl von Bewegungen der Finger des Arbeiters zusammenstellt und einen Arbeitsinhalt angibt, der eine Korrespondenzrelation mit der von der Fingerbewegungs-Erkennungseinheit erkannten Bewegung der Finger aufweist.
Roboterlehrvorrichtung nach Anspruch 1, die ferner umfasst: eine Änderungserkennungseinheit zum Erkennen einer Änderung einer Position des Arbeitsobjekts aus dem von der Bildeingabevorrichtung erfassten Bild, wobei die Steuerprogramm-Erzeugungseinheit das Steuerprogramm des Roboters zum Wiedergeben des Arbeitsinhalts und Befördern des Arbeitsobjekts aus dem von der Arbeitsinhalts-Schätzeinheit geschätzten Arbeitsinhalt und der Änderung der Position des Arbeitsobjekts erzeugt, die von der Änderungserkennungseinheit erkannt wird.
Roboterlehrvorrichtung nach Anspruch 3, wobei die Änderungserkennungseinheit die Änderung der Position des Arbeitsobjekts aus einem Differenzbild aus einem Bild vor einem Befördern des Arbeitsobjekts und einem Bild nach einem Befördern des Arbeitsobjekts aus Bildern, die von der Bildeingabevorrichtung erfasst wurden, erkennt.
Roboterlehrvorrichtung nach Anspruch 1, wobei die Steuerprogramm-Erzeugungseinheit ein Bewegungssteuersignal des Roboters, das dem Steuerprogramm des Roboters entspricht, an den Roboter ausgibt.
Roboterlehrvorrichtung nach Anspruch 1, wobei als die Bildeingabevorrichtung eine an einer tragbaren Vorrichtung angebrachte Bildeingabevorrichtung verwendet wird.
Roboterlehrvorrichtung nach Anspruch 6, wobei die tragbare Vorrichtung eine am Kopf angebrachte Anzeige aufweist.
Roboterlehrvorrichtung nach Anspruch 1, wobei Bildeingabevorrichtung eine Kamera aufweist und ein von der Kamera aufgenommenes Bild erfasst.
Roboterlehrvorrichtung nach Anspruch 1, wobei die Bildeingabevorrichtung eine Stereokamera aufweist und ein von der Stereokamera aufgenommenes Bild erfasst.
Verfahren zum Erzeugen eines Robotersteuerprogramms, wobei das Verfahren umfasst: Erfassen, mithilfe einer Bildeingabevorrichtung, eines Bildes, auf dem Finger eines Arbeiters sowie ein Arbeitsobjekt erfasst sind; Erkennen, mithilfe einer Fingerbewegungs-Erkennungseinheit, von Bewegung der Finger des Arbeiters aus dem von der Bildeingabevorrichtung erfassten Bild; Schätzen, mithilfe einer Arbeitsinhalts-Schätzeinheit, eines Arbeitsinhalts des Arbeiters in Bezug auf das Arbeitsobjekt aus der von der Fingerbewegungs-Erkennungseinheit erkannten Bewegung der Finger; und Erzeugen, mithilfe einer Steuerprogramm-Erzeugungseinheit, eines Steuerprogramms eines Roboters zum Wiedergeben des von der Arbeitsinhalts-Schätzeinheit geschätzten Arbeitsinhalts.