-
ALLGEMEINER STAND DER TECHNIK
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft ein Roboter-Identifizierungssystem, das ein Roboterbild identifiziert, das in einem durch eine Bilderfassungseinheit aufgenommenen Bild enthalten ist.
-
2. Beschreibung des Standes der Technik
-
In den letzten haben sich Techniken in Bezug auf Augmented Reality (erweiterte Realität), in der ein durch eine Bilderfassungseinheit aufgenommenes Bild mit der Hinzufügung einer durch einen Computer erzeugten Information angezeigt wird, weit verbreitet. Es ist eine in der offengelegten
japanischen Patentanmeldung Nr. 2014-180707 beispielhaft beschriebene Vorrichtung bekannt, bei der die Technik der Augmented Reality auf ein Roboterbild angewendet wird.
-
Im Übrigen müssen beispielsweise, wenn eine Bilderfassungseinheit ein Bild in einem Arbeitsumfeld mit mehreren Robotern aufnimmt und dem jeweiligen Roboter entsprechende Informationen zu dem Bild hinzugefügt werden, die jedem einzelnen Roboter entsprechenden Roboterbilder in dem Bild identifiziert werden. Die Roboterbilder sind jedoch schwierig zu identifizieren, weil die Roboter mit der Zeit ihre Stellung ändern.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Roboter-Identifizierungssystem bereitgestellt, das einen Roboter mit einem drehbaren Arm; eine den Roboter abbildende Bilderfassungseinheit; einen einen Drehwinkel des Arms detektierenden Winkeldetektor; einen Modellgenerator, der die Formen der Roboter darstellende Robotermodelle basierend auf dem durch den Winkeldetektor detektierten Drehwinkel erzeugt; und eine Bildidentifizierungseinheit, die ein durch die Bilderfassungseinheit aufgenommenes Bild mit den mehreren durch den Modellgenerator erzeugten Robotermodellen vergleicht und dadurch ein Roboterbild in dem Bild identifiziert, beinhaltet.
-
In einem zweiten Aspekt der vorliegenden Erfindung wird das Roboter-Identifizierungssystem gemäß der ersten Art bereitgestellt, wobei:
der Modellgenerator die mehreren die Formen des Roboters darstellenden Robotermodelle aus der Sicht mehrerer Standorte basierend auf dem durch den Winkeldetektor detektierten Drehwinkel erzeugt; und
die Bildidentifizierungseinheit das durch die Bilderfassungseinheit aufgenommene Bild mit den mehreren durch den Modellgenerator erzeugten Robotermodellen vergleicht, um das Roboterbild in dem Bild zu identifizieren.
-
In einem dritten Aspekt der vorliegenden Erfindung wird das Roboter-Identifizierungssystem gemäß der ersten Art oder der zweiten Art bereitgestellt, wobei
der Roboter einen ersten Roboter mit einem drehbaren Arm und einen zweiten Roboter mit einem drehbaren Arm beinhaltet;
der Winkeldetektor einen ersten Winkeldetektor, der einen Drehwinkel des Arms des ersten Roboters detektiert, und einen zweiten Winkeldetektor, der einen Drehwinkel des Arms des zweiten Roboters beinhaltet;
der Modellgenerator erste Robotermodelle, die die Formen des ersten Roboters darstellen, basierend auf dem durch den ersten Winkeldetektor detektierten Drehwinkel des Arms des ersten Roboters und zweite Robotermodelle, die die Formen des zweiten Roboter darstellen, basierend auf dem durch den zweiten Winkeldetektor detektierten Drehwinkel des Arms des zweiten Roboters erzeugt; und
die Bildidentifizierungseinheit das durch die Bilderfassungseinheit aufgenommene Bild mit den durch den Modellgenerator erzeugten ersten Robotermodellen und zweiten Robotermodellen vergleicht, um ein den ersten Roboter darstellendes erstes Roboterbild und ein den zweiten Roboter darstellendes zweites Roboterbild in dem Bild zu identifizieren.
-
In einem vierten Aspekt der vorliegenden Erfindung wird das Roboter-Identifizierungssystem gemäß einer der ersten bis dritten Art bereitgestellt, wobei das Roboter-Identifizierungssystem weiter umfasst:
eine Positions- und Stellungsbestimmungseinheit, die die relative Position und Stellung des Roboters relativ zu der Bilderfassungseinheit basierend auf dem durch die Bild-Identifizierungseinheit identifizierten Roboterbild entsprechenden Robotermodell bestimmt.
-
In einem fünften Aspekt der vorliegenden Erfindung umfasst das Roboter-Identifizierungssystem gemäß einer der ersten bis vierten Art ferner:
eine Modell-Modifikationseinheit, wobei, wenn sich ein Zeitpunkt, zu dem das Bild des Roboters durch die Bilderfassungseinheit aufgenommen wurde, von einem Zeitpunkt unterscheidet, zu dem die mehreren Robotermodelle durch den Modellgenerator erzeugt wurden, die Modell-Modifikationseinheit die mehreren durch den Modellgenerator erzeugten Robotermodelle entsprechend der Zeitdifferenz modifiziert.
-
Die Zwecke, Merkmale und Vorteile der vorliegenden Erfindung und andere Zwecke, Merkmale und Vorteile werden aus der ausführlichen Beschreibung einer typischen Ausführungsform der vorliegenden Erfindung im Zusammenhang mit den beigefügten Zeichnungen besser ersichtlich.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist eine Zeichnung, die die schematische Struktur eines Roboter-Identifizierungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
-
2 ist eine perspektivische Ansicht der Struktur eines Roboters, der das Roboter-Identifizierungssystem von 1 bildet;
-
3 ist ein Blockdiagramm der Steuerstruktur des Roboter-Identifizierungssystems gemäß einer Ausführungsform der vorliegenden Erfindung;
-
4 ist eine Zeichnung, die ein Beispiel von durch einen Modellgenerator von 3 erzeugten Robotermodellen zeigt;
-
5 ist ein Ablaufdiagramm, das ein Beispiel eines durch einen Bildprozessor von 3 ausgeführten Prozesses zeigt;
-
6A ist eine Zeichnung, die ein Beispiel eines durch eine Kamera von 3 aufgenommenes Kamerabild zeigt;
-
6B ist eine Zeichnung, die ein Vorlagebild zeigt, das mit dem Kamerabild von 6A übereinstimmt;
-
7 ist eine Zeichnung eines Modifikationsbeispiels des Robotermodells;
-
8 ist ein Blockdiagramm eines Modifikationsbeispiels von 3;
-
9 ist eine Zeichnung eines Modifikationsbeispiels von 1;
-
10 ist ein Blockdiagramm eines weiteren Modifikationsbeispiels von 3; und
-
11 ist eine Zeichnung, die ein Verfahren zum Erzeugen der Robotermodelle erklärt, und zwar in einem Fall, in dem sich ein Zeitpunkt, zu dem das Bild durch die Kamera aufgenommen wurde, von Zeitpunkten unterscheidet, zu denen die Robotermodelle erzeugt wurden.
-
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
-
Ein Roboter-Identifizierungssystem gemäß einer Ausführungsform der vorliegenden Erfindung wird nachfolgend mit Bezug auf die 1 bis 6B beschrieben. Das Roboter-Identifizierungssystem gemäß einer Ausführungsform der vorliegenden Erfindung wird bei sogenannten Augmented-Reality-Anzeigevorrichtungen angewendet, in denen ein durch eine Bilderfassungseinheit aufgenommenes Bild eines realen Raums mit Hinzufügung einer durch einen Computer erzeugten Information angezeigt wird. Eine Anzeigevorrichtung dieser Art zeigt ein Bild eines an einem Produktionsort aufgenommenen realen Roboters und überlagert es mit Information über den Roboter. Wenn an dem Produktionsort mehrere Roboter vorhanden sind, ist es in dieser Situation notwendig zu identifizieren, ob ein oder mehrere Roboterbilder in dem aufgenommenen Bild vorhanden sind oder nicht, und wenn ein oder mehrere Roboterbilder vorhanden sind, zu identifizieren, welches Roboterbild welchem Roboter entspricht.
-
Diesbezüglich kann eine Identifizierungsmarkierung an jedem Roboter angebracht werden, und die Bilderfassungseinheit kann die Markierungen abbilden, um die Roboterbilder zu identifizieren. Da jedoch die Roboter mit der Zeit ihre Stellungen ändern, kann es sein, dass die Markierungen, abhängig von ihren Stellungen, möglicherweise nicht abgebildet werden. Selbst wenn die Markierungen abgebildet werden konnten sind die Bilder der Markierungen, wenn die Bilderfassungseinheit von den Robotern weit entfernt ist, zu klein, um für das Identifizieren der Roboterbilder verwendet werden zu können. Um diese Problem anzusprechen kann die Anzahl der Bilderfassungseinheiten erhöht werden, was zu einem Anstieg der Kosten führt. Das Anbringen von Markierungen an jedem Roboter führt ebenfalls zu einem Kostenanstieg. Daher ist das Roboter-Identifizierungssystem gemäß dieser Ausführungsform wie folgt strukturiert.
-
1 zeigt schematisch die Struktur des Roboter-Identifizierungssystems gemäß einer Ausführungsform der vorliegenden Erfindung. Das Roboter-Identifizierungssystem weist Roboter 1, eine Kamera 2 zum Abbilden der Roboter 1 und Robotersteuerungen 3 zum Steuern der Roboter 1 auf. Der Roboter 1 beinhaltet einen ersten Roboter 1A und einen zweiten Roboter 1B, die nebeneinander angeordnet sind. Die Robotersteuerung 3 beinhaltet eine erste Robotersteuerung 3A zum Steuern des ersten Roboters 1A und eine zweite Robotersteuerung 3B zum Steuern des zweiten Roboters 1B. Der erste Roboter 1A und der zweite Roboter 1B sind miteinander identisch, und die erste Robotersteuerung 3A und die zweite Robotersteuerung 3B sind hinsichtlich der Struktur miteinander identisch. Es wird angemerkt, dass deren Strukturen voneinander unterschiedlich sein können.
-
2 ist die perspektivische Ansicht, die die Struktur des Roboters 1 zeigt. Wie in 2 gezeigt hat der Roboter 1, der ein vertikaler Knickarmroboter ist, einen Arm 10, der um Gelenke 11 schwenkbar ist, und ein an einem Ende des Arms 10 angebrachtes Werkzeug 13. Die Gelenke 11 sind jeweils mit einem Servomotor 12 versehen, um den Arm durch ihre Betätigung zu schwenken. Die Gelenke 11 sind jeweils mit einem Winkeldetektor 14 bereitgestellt, um einen Drehwinkel (Armwinkel) des Arms 10 in Bezug auf eine Referenzposition zu detektieren. Der Winkeldetektor 14 kann beispielsweise ein in dem Servomotor 12 enthaltener Drehgeber sein. Der im ersten Roboter 1A vorgesehene Winkeldetektor 14 wird als ein erster Winkeldetektor bezeichnet, während der im zweiten Roboter 1B vorgesehene Winkeldetektor 14 als ein zweiter Winkeldetektor bezeichnet wird.
-
Die Kamera 2, die beispielsweise eine elektronische Kamera mit einem Bildsensor, wie etwa einem CCD-Sensor, ist, ist eine wohlbekannte lichtaufnehmende Vorrichtung mit der Funktion, ein zweidimensionales Bild auf einer Bilderfassungsoberfläche (einer Oberfläche eines CCD-Arrays) zu detektieren. Die Kamera 2 wird durch einen Benutzer gehalten und nimmt von einer beliebigen Position aus Bilder des Roboters 1 in einem Bilderfassungsbereich 4 auf, um ein bewegtes Bild (Kamerabild) des Bilderfassungsbereichs 4 zu erhalten. Ein dem durch die Kamera 2 erhaltenen Bild entsprechendes Bildsignal wird an einen Bildprozessor 5 ausgegeben (siehe 3).
-
Die Robotersteuerung 3 gibt entsprechend eines vorbestimmten Betriebsprogramms ein Steuersignal an den Servomotor 12 aus, um den Roboter 1 zu betreiben. Das Steuersignal kann manuell über ein nicht gezeigtes Programmierhandgerät an den Servomotor 12 ausgegeben werden. Signale von den Winkeldetektoren 14 werden in die Robotersteuerung 3 eingegeben.
-
3 ist das Blockdiagramm, das die Steuerstruktur des Roboter-Identifizierungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Wie in 3 gezeigt, beinhaltet jede Robotersteuerung 3 (3A oder 3B) einen Modellgenerator 31, um dem Roboter 1A oder 1B entsprechende Robotermodelle zu erzeugen. Der Bildprozessor 5 beinhaltet einen Computer, der aus einem Arithmetik-Prozessor mit einer CPU, einem ROM, einem RAM, anderen peripheren Schaltungen und dergleichen besteht. Der Modellgenerator 31, die Kamera 2 und ein Monitor 6 sind mit dem Bildprozessor 5 verbunden. Der Bildprozessor 5 beinhaltet eine Bild-Identifizierungseinheit 51 zum Identifizieren eines Roboterbilds in dem Kamerabild, und eine Anzeigesteuerung 52 zum Steuern des Monitors 6. Der Bildprozessor 5 führt basierend auf Eingabesignalen von dem Modellgenerator 31 und der Kamera 2 den folgenden Prozess aus und gibt ein Steuersignal aus, um ein bestimmtes Bild auf dem Monitor 6 anzuzeigen.
-
Ein Speicher der Robotersteuerung 3 speichert vorab Modellinformationen (Informationen über die Länge und Breite jedes Arms, die Positionen der Gelenke und dergleichen) über jeden der Roboter 1A und 1B, die zum Erzeugen eines dreidimensionalen Robotermodells erforderlich sind. Der Modellgenerator 31 bestimmt die Stellung eines jeden Roboters 1A und 1B basierend auf der Modellinformation und den durch den Winkeldetektor 14 detektierten Armwinkel. Wie in 1 gezeigt erzeugt dann der Modellgenerator 31 zunächst Robotermodelle MA entsprechend der Stellung des ersten Roboters 1A und zweite Robotermodelle MB entsprechend der Stellung des zweiten Roboters 1B. Insbesondere projiziert der Modellgenerator 31 das dreidimensionale Robotermodell auf Ebenen in vorbestimmten Richtungen, um mehrere zweidimensionale Robotermodelle M (mehrere erste Robotermodelle MA und mehrere zweite Robotermodelle MB) zu erzeugen, die die Formen des Roboters 1 in derselben Stellung wie von mehreren Standorten im dreidimensionalen Raum aus betrachtet darstellen.
-
4 zeigt ein Beispiel des Robotermodells M. Wie in 4 gezeigt werden Vorne- und Hinten-Richtungen, linke und rechte Seitenrichtungen und Oben- und Unten-Richtungen definiert. Der Modellgenerator 31 erzeugt ein Vorderansichts-Robotermodell M1, das die die Form des Roboters 1 von vorne betrachtet darstellt, ein Hinteransichts-Robotermodell M2, das die Form des Roboters 1 von hinten betrachtet darstellt, ein Linksansichts-Robotermodell M3, das die Form des Roboters 1 von links betrachtet darstellt, ein Rechtsansichts-Robotermodell M4, das die Form des Roboters 1 von rechts betrachtet darstellt, ein Oberansichts-Robotermodell M5, das die Form des Roboters 1 von oben betrachtet darstellt, und ein Unteransichts-Robotermodell M6, das die Form des Roboters 1 von unten betrachtet darstellt.
-
Es werden jeweils mehrere der Robotermodelle M1 bis M6 entsprechend eines Abstands der Kamera 2 zum Roboter 1 erzeugt, obwohl diese nicht in der Zeichnung gezeigt werden. Wenn beispielsweise das Vorderansichts-Robotermodell M1 erzeugt wird, legt der Modellgenerator 31 einen ersten Standort, einen zweiten Stand, einen dritten Standort und dergleichen vor dem Roboter in festgelegten Abständen fest und erzeugt die mehreren Vorderansichts-Robotermodelle M1, die, basierend auf der Annahme, dass der Roboter 1 von jedem Standort aus abgebildet worden ist, den Kamerabildern entsprechen. Das heißt, der Modellgenerator 31 erzeugt die mehreren Robotermodelle M, wenn der Roboter 1 von Standorten mit unterschiedlichen Richtungen und unterschiedlichen Abständen betrachtet wird. Zu diesem Zeitpunkt gilt, dass je kürzer der Abstand vom Roboter 1 ist, umso größer ist das das Robotermodell M.
-
Die obengenannten Robotermodelle M1 bis M6 werden beispielsweise in vorbestimmten Zeitabständen entsprechend der Stellung des Roboters 1 erzeugt. Mit anderen Worten, es werden dynamische Robotermodelle M1 bis M6 erzeugt und im Speicher der Robotersteuerung 3 gespeichert. Diese im Speicher gespeicherten Robotermodelle M1 bis M6 werden in vorbestimmten Zeitintervallen aktualisiert.
-
5 ist ein Ablaufdiagramm, das ein Beispiel eines durch den Bildprozessor 5 ausgeführten Prozesses zeigt. Der in dem Ablaufdiagramm gezeigte Prozess wird gestartet, sobald die Kamera 2 im Zustand der Energieversorgung der Robotersteuerung 3 mit der Bilderfassung beginnt.
-
Im Schritt S1 wird ein Bildsignal von der Kamera 2 erhalten. 6A zeigt ein Beispiel eines Kamerabilds 8 basierend auf dem erhaltenen Bildsignal. Dieses Kamerabild 8 enthält Bilder des Roboters 1, einer Person und von Hindernissen (der Robotersteuerung und dergleichen), die außer dem Roboter 1 und der Person vorhanden sind (ein Roboterbild 81, ein Personenbild 82 und ein Hindernisbilder 83). Es wird angemerkt, dass im Unterschied zu 1, der einzelne Roboter 1 anstatt die mehreren Roboter im Kamerabild 8 von 6A zu sehen ist.
-
Im Schritt S2 werden mehrere Robotermodelle M von der Robotersteuerung 3 erhalten. Insbesondere werden die mehreren Robotermodelle M erhalten, die die Formen des von mehreren Standorten (mehrere Richtungen und Positionen) aus betrachteten Roboters 1 darstellen. Die erhaltenen Robotermodelle M werden im Speicher als Vorlagebilder 8M gespeichert, wie in 6A gezeigt.
-
Im Schritt S3 werden die Vorlagebilder 8M mit den im Schritt S1 erhaltenen Kamerabildern 8 verglichen. Mit anderen Worten, es wird ein Vorlagenvergleich zwischen jedem einzelnen Vorlagebild 8M und dem Kamerabild 8 durchgeführt.
-
Im Schritt S4 wird bestimmt, ob das Vorlagenbild 8M, das mit dem Kamerabild 8 übereinstimmt, als Ergebnis des Vorlagenvergleichs vorliegt oder nicht, das heißt, das Vorhandensein oder das Fehlen eines Roboterbilds 81 wird bestimmt. 6B zeigt das Vorlagenbild 8M1, das mit dem Kamerabild 8 übereinstimmt. Wenn die Bestimmung im Schritt S4 positiv ist, geht der Prozess weiter zu Schritt S5. Andererseits, wenn die Bestimmung im Schritt S4 negativ ist, wird bestimmt, dass das Roboterbild 81 nicht im Kamerabild 8 vorhanden ist, und der Prozess ist beendet.
-
Im Schritt S5 wird bestimmt, dass ein Teil des Kamerabilds 8, das mit dem Vorlagebild 8M1 übereinstimmt, das Roboterbild 81 ist, so dass das Roboterbild 81 im Kamerabild 8 eingekreist wird. In 6B zeigt ein rechteckiger Rahmen 84 einen Bereich an, der das Roboterbild 81 enthält. Das Roboterbild 81 kann im Kamerabild 8 durch das oben beschriebene Verfahren identifiziert werden.
-
Im Schritt S6 wird ein Steuersignal an den Monitor 6 ausgegeben, um anzusteuern, dass ein Bild auf dem Monitor 6 angezeigt werden soll. Beispielsweise wird der Monitor 6 so gesteuert, dass das Kamerabild 8 mit Hinzufügung der dem Roboterbild 81 entsprechenden vorbestimmten Information angezeigt wird. Dann beendet der Bildprozessor 5 den Prozess. Der obengenannte Prozess wird in vorbestimmten Zeitabständen wiederholt.
-
In einem Fall, in dem mehrere (zwei) Roboterbilder 81 (ein erstes Roboterbild 82A und ein zweites Roboterbild 81B) in dem Kamerabild 8 vorhanden sind, wie in 1 gezeigt, wird im Schritt S4 bestimmt, dass zwei Vorlagebilder 8M1 vorhanden sind, die mit dem Kamerabild 8 übereinstimmen, das heißt, ein erstes Vorlagenbild 8M1 aus dem ersten Robotermodellen MA und ein zweites Vorlagenbild 8M1 aus den zweiten Robotermodellen MB.
-
In diesem Fall wird in Schritt S5 bestimmt, dass ein Teil des Kamerabildes 8, das mit dem ersten Vorlagenbild 8M1 übereinstimmt, ein erstes Roboterbild 81A ist, und ein Teil des Kamerabildes 8, das mit dem zweiten Vorlagenbild 8M1 übereinstimmt, ein zweites Roboterbild 81B ist, so dass das erste Roboterbild 81A und das zweite Roboterbild 81B in dem Kamerabild eigekreist werden. In 1 zeigen rechteckige Rahmen 84A und 84B Bereiche an, die das erste Roboterbild 81A beziehungsweise das zweite Roboterbild 81B, die im Schritt S5 bestimmt wurden, enthalten.
-
Die Ausführungsform hat die folgenden Wirkungen.
-
- (1) Das Roboter-Identifizierungssystem enthält den Modellerzeuger 31, um basierend auf dem durch den Winkeldetektor 14 detektierten Drehwinkel die mehreren Robotermodelle M, die die Formen des Roboters 1 von mehreren Standorten aus betrachtet darstellen, zu erzeugen, und die Bild-Identifizierungseinheit 51, die das durch die Kamera 2 erhaltene Kamerabild 8 mit den mehreren durch den Modellgenerator 31 erzeugten Robotermodellen M (Vorlagebilder 8M) vergleicht, um das Roboterbild 81 in dem Kamerabild 8 zu identifizieren. Somit kann das Roboterbild 8 einfach aus dem Kamerabild 8 identifiziert werden, unabhängig von einer Änderung der Stellung des Roboters 1, und die sogenannte Augmented Reality, in der unter Verwendung des Computers Informationen zum Roboterbild 81 hinzugefügt werden, ist vorzugsweise anwendbar. Zudem führen das Eliminieren der Notwendigkeit, mehrere Kameras 2 bereitzustellen und das Anbringen einer Identifizierungsmarkierung an jedem Roboter 1 zu einer Reduzierung der Kosten des gesamten Roboter-Identifizierungssystems.
- (2) In einem Fall, in dem die mehreren Roboter 1A und 1B in dem Bilderfassungsbereich 4 der Kamera 2 enthalten sind, erzeugt der Modellgenerator 31 der ersten Robotersteuerung 3A basierend auf dem durch den Winkeldetektor 14 detektierten Drehwinkel die mehreren ersten Robotermodelle MA, die die Formen des ersten Roboters 1A von den mehreren Standorten aus betrachtet darstellen, während der Modellgenerator 31 der zweiten Robotersteuerung 3B basierend auf dem durch den Winkeldetektor 14 detektierten Drehwinkel die mehreren zweiten Robotermodelle MB erzeugt, die die Formen des zweiten Roboters 1B von den mehreren Standorten aus betrachtet darstellen. Des Weiteren vergleicht die Bild-Identifizierungseinheit 51 das Kamerabild 8 mit den mehreren ersten Robotermodellen MA und den mehreren zweiten Robotermodellen MB, um das erste Roboterbild 81A und das zweite Roboterbild 81B in dem Kamerabild 8 zu identifizieren. Dadurch können die Roboterbilder 81A und 81B jeweils selbst dann leicht identifiziert werden, wenn die mehreren Roboterbilder 81 in dem Kamerabild 8 vorhanden sind.
- (3) Der Modellgenerator 31 erzeugt entsprechend dem Abstand vom Roboter 1 die mehreren Robotermodelle M in verschiedenen Größen. Da ein Teil oder der ganze Roboter 1 in die Robotermodelle M einmodelliert wird, kann das Roboterbild 81 ungeachtet der Größe des Roboterbilds 81 im Kamerabild 8 leicht identifiziert werden.
-
Modifikationsbeispiele
-
Die obengenannte Ausführungsform kann wie folgt modifiziert werden. Die Robotermodelle M sind nicht auf die in 4 gezeigten beschränkt. Mit anderen Worten, die Form des Roboters 1 ist nicht unbedingt in Einzelheiten in das Robotermodell M einmodelliert, solange das Robotermodell M zum Identifizieren des Roboters 1 verwendbar ist. 7 zeigt ein Modifikationsbeispiel des Robotermodells M. In 7 sind kennzeichnende Punkte (Gelenke und dergleichen) aus dem Robotermodell M1, in dem der Roboter von vorne betrachtet wird, herausgezogen. Das Verbinden der kennzeichnenden Punkte mit Stäben bildet ein einfaches Robotermodell M11. In diesem Fall wird das Ausführen eines Mustervergleichs zwischen dem Kamerabild 8 und dem Robotermodell M11 daraufhin, ob ein Bild mit den kennzeichnenden Punkten des Robotermodells M11 in dem Kamerabild 8 vorhanden ist oder nicht, dazu bestimmt, das Roboterbild 81 aus dem Kamerabild 8 zu identifizieren. Es gibt verschiedene Verfahren zum Herausziehen der kennzeichnenden Punkte, wie etwa ein Verfahren, das den Harris-Operator verwendet.
-
8 ist das Blockdiagramm eines Modifikationsbeispiels von 3. Der in 8 gezeigte Bildprozessor 5 weist zusätzlich zur Bild-Identifizierungseinheit 51 und der Anzeige-Steuereinheit 52 eine Positions- und Stellungsbestimmungseinheit 53 zum Bestimmen der relativen Position und Stellung des Roboters 1 relativ zur Kamera 2 auf. Wenn die Bild-Identifizierungseinheit 51 bestimmt, dass das Roboterbild 81 im Kamerabild 8 vorhanden ist (Schritt S4 in 5), bezieht sich die Positions- und Stellungsbestimmungseinheit 53 auf das dem Roboterbild 81 entsprechende Vorlagenbild 8M des Robotermodells M. Dann bestimmt die Positions- und Stellungsbestimmungseinheit 53, aus welcher Richtung und von welchem Standort aus das dem Vorlagenbild 8M entsprechende Robotermodel M betrachtet wird. Wie in 9 gezeigt ist dadurch möglich, die relative Position und Stellung von jedem Roboter 1A und 1B relativ zu der Kamera 2 zu bestimmen.
-
10 ist das Blockdiagramm eines weiteren Modifikationsbeispiels von 3. Vorausgesetzt, dass die Kamera 2 das Bild des Roboters 1 zu einem ersten Zeitpunkt aufnimmt und der Modellgenerator 31 unter Verwendung des Armwinkels des Roboters 1 Robotermodelle M zu einem zweiten Zeitpunkt erzeugt, wobei sich der erste Zeitpunkt vom zweiten Zeitpunkt unterscheidet, dann wird, wenn sich die Stellung des Roboters 1 zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt ändert, der Vorlagenvergleich zwischen dem Kamerabild 8 und den Vorlagenbildern 8M voraussichtlich nicht in angemessener Weise durchgeführt. Das Blockdiagramm von 10 wurde unter Berücksichtigung dieses Problems erstellt. Der in 10 gezeigte Bildprozessor 5 weist zusätzlich zur Bild-Identifizierungseinheit 51 und der Anzeige-Steuereinheit 52 eine Modell-Modifikationseinheit 54 auf. Der Bildprozessor 5 kann ferner die Positions- und Stellungsbestimmungseinheit 53 aufweisen (siehe 8).
-
Die Robotersteuerung 3 und die Kamera 2 weisen jeweils einen Timer auf, wobei die Zeiten der Timer miteinander synchronisiert sind. In einem Fall, in dem sich der erste Zeitpunkt, zu dem das Bild durch die Kamera 2 aufgenommen wurde, von den zweiten Zeitpunkten, zu denen die Robotermodelle M erzeugt wurden, unterscheidet, wie in 11 gezeigt, werden die Gelenkposition des Roboters 1 zu zwei Zeitpunkten t2 und t3 vor und nach dem ersten Zeitpunkt t1 erhalten. Basierend auf der Gelenkposition zu den zwei unterschiedlichen Zeitpunkten t2 und t wird die Gelenkposition des Roboters 1 zum ersten Zeitpunkt t1 beispielsweise durch den folgenden Ausdruck (I) berechnet. Gelenkposition zum Zeitpunkt t1 = (t1 – t2)/(t3 – t2) × (Gelenkposition zum Zeitpunkt t3) + (t3 – t1)/(t3 – t2) × (Gelenkposition zum Zeitpunkt t2) (I) Außerdem werden die Robotermodelle M durch Verwendung der berechneten Gelenkposition erzeugt. Somit werden Robotermodelle M, die durch den Modellgenerator 31 zu den Zeitpunkten t2 und t3 erzeugt werden, zum selben Zeitpunkt wie der Zeitpunkt t1 der Bilderfassung durch die Kamera 2 in Robotermodelle M modifiziert. Die Bild-Identifizierungseinheit 51 führt einen Vorlagenvergleich zwischen dem Kamerabild 8 und den durch die Modell-Modifikationseinheit modifizierten Robotermodellen M durch. Andererseits berechnet die Bild-Identifizierungseinheit 51 kennzeichnende Punkte des Robotermodells M und führt einen Mustervergleich zwischen dem Kamerabild 8 und den kennzeichnenden Punkten durch. In einem Fall, in dem sich der erste Zeitpunkt, zu dem das Bild von der Kamera 2 aufgenommen wurde, von den zweiten Zeitpunkten unterscheidet, zu denen die Robotermodelle M durch den Modellgenerator 31 erzeugt wurden, kann daher der Mustervergleich angemessen durchgeführt werden und somit das Roboterbild 81 zuverlässig aus dem Kamerabild 8 identifiziert werden.
-
Es wird angemerkt, dass die Gelenkposition des Roboters 1 zum ersten Zeitpunkt t1 durch lineare Interpolation im obigen Ausdruck (I) berechnet wird, aber durch Verwendung verschiedener Interpolationsverfahren, wie der Spline-Interpolation, geschätzt werden kann. Die Gelenkposition zum ersten Zeitpunkt t1 wird geschätzt, indem die Gelenkposition des Roboters 1 zu den zwei Zeitpunkten t2 und t3 vor und nach dem ersten Zeitpunkt t1 eingesetzt wird, jedoch können beide der zwei Zeitpunkte t2 und t3 vor dem ersten Zeitpunkt t1 oder nach dem ersten Zeitpunkt t1 liegen.
-
In der obengenannten Ausführungsform nimmt die einzelne Kamera 2 die Bilder des Roboters 1 auf, jedoch ist die Struktur der Bilderfassungseinheit nicht darauf beschränkt. Die Bilderfassungseinheit kann beispielsweise aus einer Stereokamera mit einem Paar von Abbildungslinsen bestehen. Somit können als das Bild, das mit den Robotermodellen M verglichen werden soll, verschiedene Bilder, wie etwa ein Kontrastbild (Tiefenbild) und ein stereoskopisches Bild sowie ein zweidimensionales Farbbild verwendet werden. Im Falle einer Verwendung des Kontrastbildes wird das Kontrastbild mit dem dreidimensionalen Robotermodell verglichen, indem beispielsweise ein bekanntes Verfahren, das als ICP-Algorithmus bezeichnet wird, verwendet wird, um das Roboterbild in dem Bild zu identifizieren. Im Falle der Verwendung des stereoskopischen Bildes wird das stereoskopische Bild mit dem dreidimensionalen Robotermodell verglichen, um das Roboterbild in dem Bild zu identifizieren. Anderseits kann das stereoskopische Bild in das Kontrastbild umgewandelt werden, und das den ICP-Algorithmus verwendende Verfahren kann darauf angewendet werden.
-
Wie oben beschrieben beinhaltet die vorliegende Erfindung den Fall des Identifizierens des Roboterbilds durch Vergleichen des Bildes mit dem dreidimensionalen Robotermodell sowie den Fall des Identifizierens des Roboterbilds durch Vergleichen des Bildes mit den zweidimensionalen Robotermodellen. Somit kann der Modellgenerator jede Struktur aufweisen, solange der Modellgenerator ein Robotermodel erzeugt, das die Form des Roboters basierend auf dem durch die Winkeldetektoren detektierten Drehwinkel darstellt. Die Bild-Identifizierungseinheit kann jede Struktur aufweisen, solange die Bild-Identifizierungseinheit das Roboterbild in dem Bild durch Vergleichen des durch die Bilderfassungseinheit aufgenommenen Bildes mit dem durch den Modellgenerator erzeugten Robotermodell identifiziert. Die Bilderfassungseinheit kann auf einem Ständer oder dergleichen montiert sein anstatt durch den Benutzer gehalten zu werden. Der Winkeldetektor zum Detektieren des Drehwinkels des Arms 10 kann anstelle des oben beschriebenen Winkeldetektors 14 verschiedene Strukturen annehmen.
-
Der Modellgenerator 31 erzeugt die Robotermodelle M in der obengenannten Ausführungsform basierend auf dem Drehwinkel des Arms 10, kann jedoch die Robotermodelle M unter weiterer Berücksichtigung von Informationen über die dreidimensionale Form und die Befestigungsposition des am Ende des Arms 10 befestigten Werkzeugs 13, der Farbinformation des Roboters 1 und dergleichen erzeugen. Dadurch ist es möglich, die Modelle jedes einzelnen Roboters 1 durch Differenzierung zwischen den Robotern 1 zu erzeugen. In der obengenannten Ausführungsform ist der Modellgenerator 31 in der Robotersteuerung 3 vorgesehen, kann stattdessen aber im Bildprozessor 5 oder einer anderen Vorrichtung vorgesehen werden.
-
Die Bild-Identifizierungseinheit 51 in der obengenannten Ausführungsform ist im Bildprozessor 5 vorgesehen, kann stattdessen aber in der Robotersteuerung 3 oder einer anderen Vorrichtung vorgesehen werden. Das Kamerabild 8 wird in der oben genannten Ausführungsform durch den Vorlagenvergleich mit den Vorlagenbildern 8M verglichen. Da jedoch ein Verfahren zur Bildverarbeitung abhängig von der Art des aufgenommenen Bildes variiert, kann anstelle des Vorlagenvergleichs ein anderes Verfahren eingesetzt werden. Die Struktur des Roboters 1 mit dem drehbaren Arm 10 ist nicht auf das Obengenannte beschränkt. Die vorliegende Erfindung ist auf die Bereitstellung von drei oder mehr Robotern 1 im Bilderfassungsbereich 4 anwendbar.
-
Vorteilhafte Wirkung der Erfindung
-
Das Roboter-Identifizierungssystem gemäß der vorliegenden Erfindung vergleicht das durch die Bilderfassungseinheit aufgenommene Bild mit den Robotermodellen, um das Roboterbild in dem Bild zu identifizieren. Somit ist es möglich, das Roboterbild ungeachtet der Stellung des Roboters leicht in dem Bild zu identifizieren.
-
Die obige Beschreibung ist nur ein Beispiel und die vorliegende Erfindung ist nicht auf die obenstehende Ausführungsform und Modifikationsbeispiele beschränkt, solange die Merkmale der vorliegenden Erfindung nicht beeinträchtigt werden. Die Komponenten der obenstehenden Ausführungsform und der Modifikationsbeispiele beinhalten solche, die ersetzbar oder offensichtlich ersetzbar sind, während die Identität der Erfindung erhalten bleibt. Das heißt, andere Ausführungsformen, die im Umfang der technischen Gedanken der vorliegenden Erfindung denkbar sind, sind ebenfalls im Schutzumfang der Erfindung enthalten. Die obengenannte Ausführungsform kann mit einem oder mehreren der Modifikationsbeispiele in beliebiger Weise kombiniert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
