DE102018116413A1

DE102018116413A1 - Robotersystem

Info

Publication number: DE102018116413A1
Application number: DE102018116413.0A
Authority: DE
Inventors: Masafumi OOBA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-07-12
Filing date: 2018-07-06
Publication date: 2019-01-17
Also published as: CN109249390A; CN109249390B; US10521871B2; US20190015973A1

Abstract

Robotersystem (1), das Folgendes umfasst: ein Fördergerät (2), das ein Objekt (O) befördert; einen Roboter (3), der einen Prozess auf dem beförderten Objekt (O), ausführt; einen visuellen Sensor (4), der visuelle Informationen über das Objekt (O) erfasst; eine Hochfrequenzverarbeitungseinheit, die eine Fördergeschwindigkeit, mit der das Objekt (O) von dem Förderergerät (2) befördert wird, und/oder eine Position des Objekts (O) erfasst, indem die visuellen Informationen mit einer ersten Frequenz verarbeitet werden; eine Niederfrequenzverarbeitungseinheit, die eine Position des Objekts (O) erfasst, indem die visuellen Informationen mit einer zweiten Frequenz, die niedriger ist als die erste Frequenz, verarbeitet werden; und eine Steuereinheit (6), die den Roboter auf der Basis der Fördergeschwindigkeit und/oder der Position des Objekts (O), das von der Hochfrequenzverarbeitungseinheit erfasst wird, und auf der Basis der Position des Objekts (O), die von der Niederfrequenzverarbeitungseinheit erfasst wird, steuert.

Description

{Technisches Gebiet}
Die vorliegende Erfindung betrifft ein Robotersystem.
{Stand der Technik}
Gemäß dem Stand der Technik, ist ein Robotersystem bekannt, bei dem ein Objekt von einem Förderer befördert oder eine Kennzeichnung auf dem Förderer abgebildet wird, wobei die Bewegungsgeschwindigkeit des Objekts, das von dem Förderer gefördert wird, auf der Basis des erhaltenen Bilds erfasst wird, und die Position einer Roboterhand in Synchronisation mit der Bewegung des Objekts gesteuert wird, wodurch das sich bewegende Objekt mit der Roboterhand erfasst wird (siehe zum Beispiel PTL 1).
Es ist auch ein Robotersystem bekannt, bei dem ein Werkstück auf einem Förderer auf der Basis eines Bilds identifiziert wird, das von einem visuellen Sensor in Synchronisation mit einem Signal von einem Codierer erfasst wird, der eine Menge erfasst, um die der Förderer in einer Förderroute bewegt wird, und das Werkstück durch Einstellen der Position der Hand zu dem identifizierten Werkstück gehandhabt wird, wobei die Hand an einem distalen Ende eines Roboters angebracht ist (siehe zum Beispiel PTL 2).
{Liste der Zitate}
{Patentliteratur}

{PTL 1} Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. 2009-28818
{PTL 2} Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. 2012-192466

{Kurzdarstellung der Erfindung}
{Technische Problemstellung}
Um jedoch mit einer Auflösung, die mit der des Codierers vergleichbar ist, auf der Basis des Bilds, das von dem visuellen Sensor erfasst wird, die Menge zu erfassen, um die der Förderer bewegt wird, ist es erforderlich, die Position des Objekts mit einer hohen Frequenz, die etwa 1 Millisekunde entspricht, zu erfassen. Andererseits ist eine enorme Menge an Berechnung für Hochlastverarbeitung, wie Musteranpassung, erforderlich, um mit hoher Präzision die Form und die Ausrichtung des Objekts, das von dem Förderer befördert wird, zu erkennen, und es ist daher ein Problem, dass es nicht möglich ist, Verarbeitung mit hoher Frequenz auszuführen.
Die vorliegende Erfindung wurde angesichts der oben beschriebenen Umstände konzipiert, und eine ihrer Aufgaben ist es, ein Robotersystem bereitzustellen, mit dem es möglich ist, auf der Basis visueller Informationen, die von einem visuellen Sensor erfasst werden, die Geschwindigkeit, mit der ein Objekt von einem Förderer befördert wird, und/oder eine Position des Objekts zu erfassen, und die Position des Objekts präzis zu erfassen, so dass es ermöglicht wird, mittels eines Roboters zweckdienliche Arbeit in Zusammenhang mit dem Objekt, das von dem Förderer gefördert wird, auszuführen.
{Lösung des Problems}
Um die oben beschriebene Aufgabe zu verwirklichen, stellt die vorliegende Erfindung die folgenden Lösungen bereit.
Ein Aspekt der vorliegenden Erfindung stellt ein Robotersystem bereit, das Folgendes aufweist: ein Fördergerät, das ein Objekt befördert; einen Roboter, der einen Prozess auf dem Objekt, das von dem Fördergerät befördert wird, ausführt; einen visuellen Sensor, der visuelle Informationen über das Objekt, das von dem Förderergerät befördert wird, erfasst; eine Hochfrequenzverarbeitungseinheit, die eine Fördergeschwindigkeit, mit der das Objekt von dem Förderergerät befördert wird, und/oder eine Position des Objekts erfasst, indem zunächst mit einer ersten Frequenz die visuellen Informationen, die von dem visuellen Sensor erfasst werden, verarbeitet werden; eine Niederfrequenzverarbeitungseinheit, die eine Position des Objekts erfasst, indem mit einer zweiten Frequenz, die niedriger ist als die erste Frequenz, die visuellen Informationen, die von dem visuellen Sensor erfasst werden, verarbeitet werden; und eine Steuereinheit, die den Roboter auf der Basis der Fördergeschwindigkeit und/oder der Position des Objekts, die von der Hochfrequenzverarbeitungseinheit erfasst wird, und auf der Basis der Position des Objekts, die von der Niederfrequenzverarbeitungseinheit erfasst wird, steuert.
Wenn bei diesem Aspekt eine Mehrzahl von Objekten von dem Fördergerät befördert wird, erfasst der visuelle Sensor visuelle Informationen über die Objekte, wobei die Mehrzahl erfasster Teile der visuellen Informationen zu der Hochfrequenzverarbeitungseinheit und der Niederfrequenzverarbeitungseinheit übertragen wird. In der Hochfrequenzverarbeitungseinheit werden durch Verarbeiten mit der ersten Frequenz der visuellen Informationen, die von dem visuellen Sensor erfasst werden, die entweder Geschwindigkeiten der Objekte vermitteln, die mit einer relativ niedrigen Verarbeitungslast berechnet werden können, oder Positionen der Objekte mit der ersten Frequenz, die eine hohe Frequenz ist, erfasst. Dadurch ist es möglich, entweder die Fördergeschwindigkeiten oder die Positionen der Objekte mit einer Auflösung zu erfassen, die mit der des Codierers gleichwertig ist.
Andererseits ist es in der Niederfrequenzverarbeitungseinheit, weil die visuellen Informationen mit der zweiten Frequenz verarbeitet werden, die niedriger ist als die erste Frequenz, möglich, Verarbeitung auszuführen, die eine enorme Menge an Berechnung erfordert, und daher ist es möglich, die Position des Objekts mit hoher Präzision zu erfassen.
Dadurch ist es möglich, einen Prozess präzis an das Objekt, das von dem Fördergerät befördert wird, mittels des Roboters auf der Basis der Position des Objekts, die von der Niederfrequenzverarbeitungseinheit erfasst wird, anzuwenden, indem der Roboter veranlasst wird, dem Objekt, das von dem Fördergerät befördert wird, durch Bewegen des Roboters auf der Basis der Fördergeschwindigkeit oder der Position des Objekts, die von der Hochfrequenzverarbeitungseinheit erfasst wird, zu folgen.
Bei dem oben beschriebenen Aspekt kann die Hochfrequenzverarbeitungseinheit mit der ersten Frequenz einen Abschnitt der visuellen Informationen, die von dem visuellen Sensor erfasst werden, verarbeiten.
Dadurch ist es möglich, das Erfassen der Bewegungsgeschwindigkeit des Objekts mit der hohen Frequenz zu erleichtern, indem die Menge an visuellen Informationen, die von der Hochfrequenzverarbeitungseinheit verarbeitet wird, verringert wird.
Bei dem oben beschriebenen Aspekt, kann der visuelle Sensor ein Bild des Objekts auf dem Fördergerät als die visuellen Informationen erfassen.
Dadurch ist es möglich, mit der ersten Frequenz die Fördergeschwindigkeit des Objekts durch Verarbeiten der Bilder, die von dem visuellen Sensor in unterschiedlichen Zeitpunkten erfasst werden, zu erfassen, und durch Anwenden mit der zweiten Frequenz von Verarbeitung, die eine enorme Menge an Berechnung erfordert, wie Musteranpassung oder dergleichen, an die Bilder des Objekts, die von dem visuellen Sensor erfasst werden, ist es möglich, mit hoher Präzision die Position und Ausrichtung des Objekts zu erfassen.
Bei dem oben beschriebenen Aspekt kann das Fördergerät mit einer Kennzeichnung versehen werden, die mit einer Geschwindigkeit bewegt wird, die dieselbe ist wie die des Objekts.
Dadurch ist es sogar in einem Zustand, in dem das Objekt nicht von dem Fördergerät befördert wird, möglich, die Fördergeschwindigkeit des Objekts präzis zu erfassen, indem die visuellen Informationen über die Kennzeichnung, die von dem Fördergerät bewegt wird, erfasst werden.
Bei dem oben beschriebenen Aspekt, kann die Hochfrequenzverarbeitungseinheit die Fördergeschwindigkeit des Objekts, seine ungefähre Position und Ausrichtung erfassen.
Dadurch erfasst die Hochfrequenzverarbeitungseinheit die ungefähre Position und Ausrichtung des Objekts zusätzlich zu seiner Fördergeschwindigkeit. Mit der Hochfrequenzverarbeitungseinheit ist es, obwohl es schwierig ist, die Position und Ausrichtung zum Verarbeiten der visuellen Informationen mit hoher Präzision, mit einer hohen Frequenz zu erfassen, möglich, die ungefähre Position und Ausrichtung zu erfassen, und daher ist es möglich, die Betriebseffizienz durch Verwenden der Informationen als Informationen für einen anfänglichen Betrieb des Roboters, der das Verarbeiten an das Objekt anwendet, zu verbessern.
Bei dem oben beschriebenen Aspekt kann der Roboter Arbeit ausführen, indem er dem Objekt, das von dem Fördergerät befördert wird, folgt.
Indem der Roboter veranlasst wird, sich so zu bewegen, dass er dem beförderten Objekt folgt, indem die Fördergeschwindigkeit des Objekts, die von der Hochfrequenzverarbeitungseinheit erfasst wird, verwendet wird, und durch Verwenden der Position und Ausrichtung des Objekts, die präzis von der Niederfrequenzverarbeitungseinheit erfasst werden, ist es dadurch möglich, das Objekt, das von dem Fördergerät befördert wird, ohne einen Fehler zu entfernen.
Bei dem oben beschriebenen Aspekt, kann der visuelle Sensor basierend auf einem Auslöser, der ihm extern bereitgestellt wird, die erfassten visuellen Informationen unmittelbar vor oder nach dem Empfangen des Auslösers ausgeben.
Dadurch werden auf der Basis des Auslösers von der Hochfrequenzverarbeitungseinheit, der Niederfrequenzverarbeitungseinheit oder von anderer Ausstattung, die sich außerhalb des visuellen Sensors befindet, die visuellen Informationen nach Bedarf ausgegeben, und es ist möglich, die Informationen zu verwenden, um mit hoher Präzision die Position und Ausrichtung zu erfassen, den visuellen Sensor einzustellen, seinen Arbeitszustand zu prüfen usw.
{Vorteilhafte Auswirkungen der Erfindung}
Die vorliegende Erfindung bietet einen Vorteil darin, dass es möglich ist, auf der Basis visueller Informationen, die von einem visuellen Sensor erfasst werden, mindestens die Fördergeschwindigkeit, mit der ein Objekt von einem Fördergerät befördert wird, und/oder die Position des Objekts zu erfassen, und die Position des Objekts präzis zu erfassen, so dass es ermöglicht wird, mittels eines Roboters zweckdienliche Arbeit auf dem Objekt, das von dem Fördergerät befördert wird, auszuführen.
Figurenliste

1 ist ein Gesamtkonfigurationsdiagramm, das ein Robotersystem gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Blockschaltbild, das das Robotersystem in 1 zeigt.
3 ist ein Diagramm, das Änderungen im Laufe der Zeit in Bildern, die von einer Kamera des Robotersystems in 1 erfasst werden, und die Fördergeschwindigkeit zeigt.
4 ist ein Diagramm ähnlich 3 für einen Fall, bei dem Bilder einer Mehrzahl von Objekten in demselben Blickfeld in dem Robotersystem in 1 aufgenommen werden.
5 ist ein Gesamtkonfigurationsdiagramm, das eine erste Änderung des Robotersystems in 1 zeigt.
6 ist ein Gesamtkonfigurationsdiagramm, das eine zweite Änderung des Robotersystems in 1 zeigt.
7 ist ein Gesamtkonfigurationsdiagramm, das eine dritte Änderung des Robotersystems in 1 zeigt.

{Beschreibung der Ausführungsform}
Ein Robotersystem 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird unten unter Bezugnahme auf die Zeichnungen beschrieben.
Wie in 1 gezeigt, ist das Robotersystem 1 gemäß dieser Ausführungsform mit Folgendem versehen: ein Förderer (Fördergerät) 2, der einen Artikel O als ein Objekt befördert; ein Roboter 3, der in der Nähe des Förderers 2 installiert ist; eine zweidimensionale Kamera (visueller Sensor) 4, die nach unten zeigend über dem Förderer 2 an einer Position installiert ist, die auf einer stromaufwärtigen Seite des Roboters in eine Förderrichtung liegt; eine Bildverarbeitungseinheit 5, die die Bilder, die von der zweidimensionalen Kamera erfasst werden, verarbeitet; und eine Steuereinheit 6, die den Roboter 3 auf der Basis von Bildern, die von der Bildverarbeitungseinheit 5 verarbeitet werden, steuert.
Der Förderer 2 ist zum Beispiel ein Bandförderer, und ist mit einem Gurt 7 versehen, auf dem der Artikel O platziert und in eine Richtung befördert wird. Der Gurt 7 wird von einem Motor (nicht gezeigt) angetrieben.
Obwohl der Roboter 3 von einem beliebigen Typ sein kann, wie zum Beispiel von einem auf dem Boden montierten Typ, einem aufgehängten Typ oder dergleichen, hat der Roboter 3 zum Beispiel eine Roboterhand 8, die den Artikel O an einem distalen Ende seines Handgelenks ergreifen kann.
Die zweidimensionale Kamera 4 hat ein Blickfeld, das in einem bestimmten Bereich des Förderers 2 in die Förderrichtung festgelegt ist, und erfasst zweidimensionale Bilder des Artikels O, der auf dem Förderer 2 befördert wird. Die zweidimensionale Kamera 4 ist zum Beispiel konfiguriert, um zweidimensionale Bilder (visuelle Informationen mit einer hohen Frequenz (erste Frequenz) von 1 Millisekunde zu erfassen und die zweidimensionalen Bilder zu der Bildverarbeitungseinheit 5 auszugeben, und um auch die zweidimensionalen Bilder als Reaktion auf extern eingegebene Auslöser auszugeben.
Wie in 2 gezeigt, ist die Bildverarbeitungseinheit 5 versehen mit: einer Hochfrequenzverarbeitungseinheit 9, die Bildverarbeitung an Abschnitte der erfassten zweidimensionalen Bilder mit der ersten Frequenz anwendet; und eine Niederfrequenzverarbeitungseinheit 10, die Bildverarbeitung an die erfassten zweidimensionalen Bilder mit einer zweiten Frequenz, die niedriger ist als die erste Frequenz, anwendet.
Die Hochfrequenzverarbeitungseinheit 9 berechnet die Positionen der Schwerpunkte der Artikel O, die in den jeweiligen zweidimensionalen Bildern, die zu ihr mit der ersten Frequenz übertragen werden, enthalten sind, und berechnet die Geschwindigkeit, mit der die Artikel O von dem Förderer 2 befördert werden, auf der Basis der Verlagerung der Positionen der Schwerpunkte der Artikel O in den zweidimensionalen Bildern, die in unterschiedlichen Zeitpunkten erfasst werden.
Die Niederfrequenzverarbeitungseinheit 10 wendet Bildverarbeitung, wie Musteranpassung oder dergleichen, an die zweidimensionalen Bilder, die von der zweidimensionalen Kamera 4 ausgegeben werden, an und erfasst die Positionen und Ausrichtungen der Artikel O, die in den zweidimensionalen Bildern enthalten sind.
Die Steuereinheit 6 erzeugt Treibersignale (Treiberanweisungen) zum Steuern des Roboters 3 auf der Basis der Geschwindigkeiten, mit welchen die Artikel O von dem Förderer 2 befördert werden, die auf der Basis der Positionen eines identischen Artikels O, der von der Hochfrequenzverarbeitungseinheit 9 auf der Basis der Bilder, die zu unterschiedlichen Zeiten erfasst werden, erkannt wird, und den Positionen und Ausrichtungen der Artikel O, die von der Niederfrequenzverarbeitungseinheit 10 erfasst werden, berechnet werden.
Die Steuereinheit 6 bestimmt zum Beispiel die aktuelle Position eines Artikels O durch aufeinanderfolgendes Ansammeln jede 1 Millisekunde der Menge, um die der Förderer 2 bewegt wird, unter Verwenden der Geschwindigkeit, mit der der Artikel O von dem Förderer 2 befördert wird, die von der Hochfrequenzverarbeitungseinheit 9, ausgehend von dem Augenblick, in dem die Niederfrequenzverarbeitungseinheit 10 die Position und Ausrichtung des Artikels O erfasst, berechnet wird, und die Steuereinheit 6 gibt daher die Treibersignale in Übereinstimmung mit der aktuellen Position des Artikels O des Roboters 3 aus.
Falls ein Fall auftritt, in dem der Artikel O vorübergehend nicht erkannt wird, wird die Menge, um die der Förderer 2 bewegt wird, durch Verwenden der Geschwindigkeit, mit der der Artikel O von dem Förderer 2 unmittelbar davor befördert wurde, berechnet.
Die Steuereinheit 6 steuert den Roboter 3, so dass er in Übereinstimmung mit einem Betriebsprogramm betrieben wird, das er zuvor erlernt, und steuert den Roboter 3, um einen Prozess zum Erfassen des Artikels O, der von dem Förderer 2 befördert wird, und Aufheben des Artikels O von dem Förderer 2 durch Verwenden der Roboterhand 8 auszuführen, durch Ausführen von Verfolgung, mit der dem Artikel O auf dem Förderer 2 auf der Basis der Fördergeschwindigkeit gefolgt wird, die von der Hochfrequenzverarbeitungseinheit 9 berechnet wird, und durch Ändern der Ausrichtung der Roboterhand 8 in Übereinstimmung mit der Position und der Ausrichtung des Artikels O, der von der Niederfrequenzverarbeitungseinheit 10 erfasst wird.
Spezifisch zum Beispiel, wie in 3 gezeigt, erfasst die Hochfrequenzverarbeitungseinheit 9, wenn drei Bilder in demselben Blickfeld an unterschiedlichen Zeiten t1, t2 und t3, die voneinander durch ein Zeitintervall erster Frequenz Δt getrennt sind, die Position des Artikels O durch Ausführen einfacher Bildverarbeitung, die eine niedrige Verarbeitungslast hat (zum Beispiel Verarbeiten zum Erfassen der Position der Schwerpunkte und Häufungserfassungsverarbeitung), und berechnet die Koordinatenpositionen d1, d2 und d3 der Schwerpunkte des erfassten Artikels O. In der Figur ist die Geschwindigkeit V die Geschwindigkeit, mit der der Artikel O befördert wird.
Die Hochfrequenzverarbeitungseinheit 9 erkennt auch als einen identischen Artikel O die Artikel O, die die Schwerpunkte auf derselben Koordinate in eine Richtung orthogonal zu der Förderrichtung in den Bildern positioniert haben, die nacheinander in der Zeitachsenrichtung erfasst werden, und berechnet die Fördergeschwindigkeit durch Dividieren der Unterschiede zwischen den Koordinatenwerten der Schwerpunkte der jeweiligen Artikel O in die Förderrichtung durch das Zeitintervall Δt zum Aufnehmen der Bilder. Wenn die Fördergeschwindigkeit mehrmals für den identischen Artikel O berechnet wird, wird als die Fördergeschwindigkeit ein Durchschnitt davon oder ein Wert, der anhand der Methode des kleinsten Quadrats oder dergleichen angepasst wird, ausgegeben.
In diesem Fall definiert die Hochfrequenzverarbeitungseinheit 9 bei der Verarbeitung zum Erfassen der Position des Schwerpunkts der Artikel O, die wiederholt mit der ersten Frequenz ausgeführt wird, einen Teilbereich, der einen der Artikel O aufweist, und erfasst sequenziell die Positionen des Schwerpunkts durch Ausführen von Bildverarbeitung auf den Abschnitten der Bilder, die von dem Teilbereich identifiziert werden, statt der gesamten Bilder, die von der zweidimensionalen Kamera 4 übertragen werden. Es ist natürlich möglich, die gesamten Bilder zu verwenden. In diesem Fall steigt jedoch die Verarbeitungslast im Vergleich zu dem Fall, bei dem Abschnitte der Bilder verwendet werden.
Andererseits führt die Niederfrequenzverarbeitungseinheit 10 auf den Bildern, die zu ihr von der zweidimensionalen Kamera 4 übertragen werden, Bildverarbeitung mit einer hohen Verarbeitungslast aus (zum Beispiel Verarbeiten zum Erfassen der Position und Ausrichtung des Artikels O mittels Musteranpassung auf der Basis des Umrisses des Artikels O), und gibt die erfasste Position und Ausrichtung des Artikels O zu der Steuereinheit 6 aus.
Der Betrieb des derart konfigurierten Robotersystems gemäß dieser Ausführungsform wird unten beschrieben.
Wenn bei dem Robotersystem 1 gemäß dieser Ausführungsform der Artikel O von dem Förderer 2 befördert wird, nimmt die zweidimensionale Kamera 4 die Bilder des Artikels O auf.
Die Bilder, die durch Bildaufnahme erfasst werden, werden sequenziell zu der Hochfrequenzverarbeitungseinheit 9 der Bildverarbeitungseinheit 5 übertragen, und in Übereinstimmung mit den Auslösern, die von der Niederfrequenzverarbeitungseinheit 10 mit der zweiten Frequenz ausgegeben werden, werden die Bilder, die unmittelbar vor (oder unmittelbar nach) dem Empfangen der Auslöser erfasst werden, ebenfalls zu der Niederfrequenzverarbeitungseinheit 10 übertragen.
In der Hochfrequenzverarbeitungseinheit 9 wird durch Anwenden von Bildverarbeitung mit einer relativ niedrigen Verarbeitungslast an die jeweiligen Bilder, die zu ihr von der zweidimensionalen Kamera 4 übertragen werden, der Artikel O darin erkannt, und die Koordinatenpositionen d1, d2 und d3 des Schwerpunkts des Artikels O werden auf der Basis von Teilbildern von Flächen, die den Artikel O aufweisen, erfasst. Dann wird, wie in 3 gezeigt, auf der Basis der Koordinatenpositionen d1, d2 und d3 der Schwerpunkte des identischen Artikels O, die auf der Basis der Bilder, die an unterschiedlichen Zeiten t1, t2 und t3 getrennt durch die vorbestimmten Zeitintervalle Δt erfasst werden, die Geschwindigkeit, mit der der Artikel O von dem Förderer 2 befördert wird, mit der ersten Frequenz berechnet und zu der Steuereinheit eingegeben. Da die zweidimensionale Kamera 4 und der Roboter 3 an Positionen angeordnet sind, die durch einen vorbestimmten Abstand getrennt sind, bewegt sich der Artikel O in einer Betriebsfläche des Roboters 3, wenn die Zeitmenge, die durch Dividieren dieses Abstands durch die Fördergeschwindigkeit erhalten wurde, verstrichen ist.
In der Niederfrequenzverarbeitungseinheit 10 werden durch Anwenden von Bildverarbeitung mit einer hohen Verarbeitungslast, wie Musteranpassung oder dergleichen, mit der zweiten Frequenz, die niedriger ist als die erste Frequenz auf die jeweiligen Bilder, die zu ihr von der zweidimensionalen Kamera 4 in Übereinstimmung mit den Auslösern übertragen werden, die Position und Ausrichtung des Artikels O auf der Basis des vollständigen Bilds mit einer hochpräzisen Art erfasst und zu der Steuereinheit 6 eingegeben.
Die Steuereinheit 6 stellt ein Verfolgungskoordinatensystem TF durch Erkennen der Position und Ausrichtung des Artikels O an einem der Zeitpunkte, an welchen der Artikel O in den Bildern existiert, ein, und berechnet die Mengen, um die die Position des Schwerpunkts des Artikels O zwischen dem Augenblick, in dem der Artikel O erkannt wird, und der aktuellen Zeit bewegt wird, durch Bestimmen der Menge, um die der Förderer 2 bewegt wird, auf der Basis der Geschwindigkeit, mit der der Artikel O von dem Förderer 2 bei jedem Timing der ersten Frequenz (zum Beispiel 1 Millisekunde) bewegt wird, und durch Berechnen der erhaltenen Bewegungsmengen. Dann wird ein aktuelles Verfolgungskoordinatensystem TF' durch Multiplizieren des Verfolgungskoordinatensystems TF mit einer Koordinatenumwandlungsmatrix, die die Bewegungsmengen als ihre Elemente hat, berechnet. $TF' = T \cdot TF$
Die Steuereinheit 6 kann daher die Roboterhand 8 veranlassen, bewegt zu werden, so dass sie basierend auf dem berechneten Verfolgungskoordinatensystem TF' dem Artikel O, der von dem Förderer 2 befördert wird, folgt, und kann auch die Position und Ausrichtung der Roboterhand 8 in Übereinstimmung mit der Position und Ausrichtung des erkannten Artikels O einstellen, weshalb die Roboterhand 8 veranlasst wird, den Artikel O zu ergreifen und den Artikel O von dem Förderer 2 zu heben.
In diesem Fall steuert die Steuereinheit, wenn der Roboter 3 derart getrieben wird, dass die Roboterhand 8 dem Artikel O auf dem Förderer 2 folgt, weil die zweidimensionale Kamera 4 Bilder darauffolgender Artikel O aufzeichnet und neue Fördergeschwindigkeit durch die Hochfrequenzverarbeitungseinheit 9 berechnet wird, den Roboter 3 durch Verwenden der neuberechneten Fördergeschwindigkeit. Dadurch ist es möglich, den Artikel O richtig zu heben, auch wenn die Fördergeschwindigkeit des Förderers 2 fluktuiert.
Wie oben beschrieben, ist es bei dem Robotersystem 1 gemäß dieser Ausführungsform möglich, mit einer Auflösung, die mit der des Codierers gleichwertig ist, die Geschwindigkeit zu erfassen, mit der der Artikel O bewegt wird, die mittels Verarbeitung mit relativ geringer Verarbeitungslast mit der ersten Frequenz, die eine höhere Frequenz ist, erfasst werden kann, und es ist möglich, den Roboter 3 zu veranlassen, den Folgevorgang für den Artikel O, der befördert wird, auszuführen. Was das Erfassen der Position und Ausrichtung des Artikels O betrifft, das Verarbeiten mit einer relativ hohen Verarbeitungslast erfordert, ist hochpräzise Erfassung durch Ausführen des Verarbeitens mit der zweiten Frequenz, die niedriger ist als die erste Frequenz, möglich, und daher ist es ein Vorteil, dass es möglich ist, die Roboterhand 8 zu veranlassen, den Artikel O zuverlässiger zu ergreifen, indem die Ausrichtung der Roboterhand 8 eingestellt wird, um sie präzis mit der Ausrichtung des Artikels O auszurichten.
Da die Bewegungsgeschwindigkeit, die Position und die Ausrichtung des Artikels O auf diese Art durch Verwenden der einzigen zweidimensionalen Kamera 4 erfasst werden, besteht auch ein Vorteil, dass es möglich ist, eine Kostenverringerung zu erzielen.
Durch Verwenden in der Hochfrequenzverarbeitungseinheit 9 von Abschnitten der Bilder, die zu ihr von der zweidimensionalen Kamera 4 übertragen werden, um die Bewegungsgeschwindigkeit des Artikels O zu erfassen, ist es möglich, die Hochfrequenzverarbeitung durch Verringern der Verarbeitungslast zu vereinfachen.
Als ein Resultat, wie von Klammern in 2 angegeben, ist es möglich, die ungefähre Position und Ausrichtung des Artikels O in der Hochfrequenzverarbeitungseinheit 9 zu erfassen. Es ist zum Beispiel möglich, eine Längsrichtung des Artikels O, eine ungefähre Form einer Häufung usw. zu erfassen. Durch Eingeben der ungefähren Position und Ausrichtung des Artikels O, die auf diese Art erfasst werden, zu der Steuereinheit 6, kann die Steuereinheit 6 den Betrieb des Roboters 3 auf der Basis der Informationen über die ungefähre Position und Ausrichtung des Artikels O, die zu ihr mit der ersten Frequenz von der Hochfrequenzverarbeitungseinheit 9 übertragen werden, beginnen, ohne auf die hochpräzisen Informationen von der Niederfrequenzverarbeitungseinheit 10 zu warten, so dass ein Vorteil besteht, dass es möglich ist, das Verfolgen weiter zu erleichtern.
Obwohl die Teilbereiche, die den Artikel O aufweisen, als die Abschnitte der Bilder, die von der zweidimensionalen Kamera 4 übertragen werden, verwendet werden, kann alternativ die Menge an Informationen durch Ausdünnen der Pixel aus den Bildern, die von der zweidimensionalen Kamera 4 übertragen werden, verringert werden.
Obwohl bei dieser Ausführungsform die zweidimensionale Kamera als ein Beispiel des visuellen Sensors, der die visuellen Informationen erfasst, beschrieben wurde, besteht dafür keine Einschränkung, und eine dreidimensionale Kamera oder andere Typen visueller Sensoren können eingesetzt werden.
Obwohl bei dieser Ausführungsform die Fördergeschwindigkeit des Förderers 2 auf der Basis von Änderungen der Positionen des Artikels O, der von dem Förderer 2 befördert wird, berechnet wird, können alternativ Kennzeichnungen auf der Oberfläche des Förderers 2 in zweckdienlichen Intervallen bereitgestellt werden, und die Fördergeschwindigkeit kann auf der Basis von Änderungen der Positionen der Kennzeichnungen durch Erkennen der Kennzeichnungen, die in den Bildern, die von der zweidimensionalen Kamera 4 erfasst werden, enthalten sind, berechnet werden.
In diesem Fall sind die Kennzeichnungen zum Berechnen der Bewegungsgeschwindigkeit nützlich, weil die Kennzeichnungen kontinuierlich in das Blickfeld der zweidimensionalen Kamera 4 auf eine zuverlässigere Art geliefert werden.
Obwohl bei dieser Ausführungsform der Fall, in dem der einzelne Artikel O in den Bildern erfasst wird, beschrieben wurde, ist es alternativ, wie in 4 gezeigt, möglich, die vorliegende Erfindung an einen Fall anzuwenden, bei dem eine Mehrzahl von Artikeln a1, a2 und a3 gleichzeitig in dem Blickfeld der zweidimensionalen Kamera 4 platziert wird.
Mit anderen Worten können in dem Fall, in dem die Mehrzahl von Artikeln a1, a2 und a3 in den Bildern erkannt wird, für die jeweiligen Artikel a1, a2 und a3, die identische Übereinstimmung in Bezug auf die Artikel a1, a2 und a3 in den Bildern, die zu unterschiedlichen Zeiten erfasst werden, bestimmt werden, und die Fördergeschwindigkeit kann durch Mitteln der Geschwindigkeiten V1, V2 und V3 berechnet werden, die separat auf der Basis der Bewegungsabstände unter den Artikeln a1, a2 und a3, die als dieselben bestimmt werden, berechnet werden.
In diesem Fall werden die Bewegungsabstände derselben Artikel a1, a2 und a3 jeweils auf der Basis von Unterschieden in den Koordinatenpositionen d11, d12 und d13, Koordinatenpositionen d22, d23 und d24 und Koordinatenpositionen d33 und d34 der Schwerpunkte derselben Artikel a1, a2 und a3 bestimmt, die auf der Basis der Bilder berechnet werden, die zu unterschiedlichen Zeiten t1, t2 und t3, die um das vorbestimmte Zeitintervall Δt getrennt sind, berechnet werden.
Obwohl diese Ausführungsform als ein Beispiel beschrieben wurde, bei dem die Bildverarbeitungseinheit 5, die die Bilder bearbeitet, die von der zweidimensionalen Kamera 4 ausgegeben werden, als ein separates Bauteil vorgesehen ist, kann alternativ, wie in 5 gezeigt, die Hochfrequenzverarbeitungseinheit 9 in der zweidimensionalen Kamera 4 angeordnet werden, und die Niederfrequenzverarbeitungseinheit 10 kann in der Steuereinheit 6 angeordnet werden.
Durch Bilden der Hochfrequenzverarbeitungseinheit 9 in die zweidimensionale Kamera 4, ist es möglich, zuverlässiger mit hoher Frequenz die Geschwindigkeit, mit der der Artikel O von dem Förderer befördert wird, zu erfassen, indem Verzögerungen der Kommunikation verhindert werden. Da die Niederfrequenzverarbeitungseinheit 10 keine Hochgeschwindigkeitsverarbeitung erfordert, wird bevorzugt, dass die Niederfrequenzverarbeitungseinheit 10 in die Steuereinheit 6 eingebaut ist. In dem Fall, in dem die Steuerfrequenz der Steuereinheit 6 niedriger ist als die erste Frequenz der Hochfrequenzverarbeitungseinheit 9, wird bevorzugt, dass die Informationen über die Positionen des Schwerpunkts des Artikels O von der Hochfrequenzverarbeitungseinheit 9 in Einheiten übertragen werden, die durch die Steuerfrequenz der Steuereinheit 6 standardisiert sind. In dem Fall, in dem zum Beispiel die erste Frequenz 1 Millisekunde entspricht, und die Steuerfrequenz der Steuereinheit 6 8 Millisekunden entspricht, können acht Informationselemente über die Position des Schwerpunkts, die 8 Millisekunden in der Hochfrequenzverarbeitungseinheit 9 entsprechen, alle gleichzeitig zu der Steuereinheit 6 mit einer Frequenz, die 8 Millisekunden entspricht, übertragen werden.
Obwohl bei dieser Ausführungsform ein Beispiel beschrieben wurde, bei dem der einzige Roboter 3 gesteuert wird, können alternativ, wie in 6 gezeigt, mehrere Roboter 3 entlang der Förderrichtung des Förderers 2 angeordnet werden, und die Steuereinheit 6 kann folglich mit einer Zellensteuervorrichtung hohen Niveaus 11 verbunden sein.
In dem Fall, in dem mehrere Roboter 3 verwendet werden, um Arbeit auf den Artikeln O, die auf demselben Förderer 2 befördert wird, auszuführen, ist es möglich, an einer Stelle die Fördergeschwindigkeit des Förderers 2, die auf der Basis der Bilder berechnet wird, die von der einzigen zweidimensionalen Kameras 4 erfasst werden, zu verwalten.
In dem Fall, in dem die Fördergeschwindigkeit des Förderers 2 von den Steuereinheiten 6 der jeweiligen Roboter 3 verwaltet werden, ist es notwendig, ihre Verwaltung unter den Steuereinheiten 6 zu synchronisieren, und ein Fehler kann aufgrund des Einflusses von Kommunikationsverzögerungen usw. auftreten; durch Ausführen der Verwaltung mittels der Zellensteuervorrichtungen 11 ist es jedoch möglich, das Auftreten eines solchen Problems zu verhindern. Obwohl ein Beispiel beschrieben wurde, bei dem zum weiteren Unterdrücken des Einflusses von Kommunikationsverzögerungen die Hochfrequenzverarbeitungseinheit 9 in der zweidimensionalen Kamera 4 angeordnet ist, und die Niederfrequenzverarbeitungseinheit 10 in der Zellensteuervorrichtungen 11 angeordnet ist, besteht in dieser Hinsicht keine Einschränkung. Die Hochfrequenzverarbeitungseinheit 9 kann zum Beispiel auch in der Zellensteuervorrichtungen 11 angeordnet werden.
Obwohl bei dieser Ausführungsform der Fall, bei dem der Artikel O, der von dem Förderer 2 befördert, erfasst und aufgehoben wird, als ein Beispiel beschrieben wurde, kann die Erfindung alternativ an einen Fall angewandt werden, bei dem andere beliebige Verarbeitung auf den beförderten Artikel O angewandt wird.
Wie in 7 gezeigt, ist es zulässig, eine Konfiguration zu verwenden, bei der die Steuereinheit 6 die Auslöser zu der zweidimensionalen Kamera 4 nach Bedarf ausgibt, die zweidimensionale Kamera 4 die Bilder zu der Steuereinheit 6 in Übereinstimmung mit den Auslösern ausgibt, und die Bilder auf der Anzeigeeinheit 12 in der Steuervorrichtung 6 angezeigt werden können, wodurch es möglich ist, die Bilder darauf zu prüfen.
Zu bemerken ist, dass die Steuereinheit 6 nacheinander die Positionen des Artikels O auf dem Förderer 2 basierend auf den Positionen des Artikels O, die durch die Hochfrequenzverarbeitungseinheit 9 mit einer hohen Frequenz, wie oben beschrieben, erfasst wurden, berechnen kann, und dass die Steuereinheit 6 dann Treibersignale zu dem Roboter 3 als Reaktion auf die Positionen des Artikels O, die durch die Berechnung erhalten werden, ausgeben kann. Die Verfolgung, um dem Artikel O auf dem Förderer 2 zu folgen, kann auch auf der Basis der Positionen des Artikels O durch die oben erwähnte Berechnung ausgeführt werden. In diesem Fall kann ein Effekt, der derselbe oder ähnlich wie der oben erwähnte ist, auch verwirklicht werden.
Des Weiteren kann die zweidimensionale Kamera 4 an einem distalen Endabschnitt des Roboters 3 angebracht sein. In diesem Fall werden in der Steuereinheit 6 das Referenzkoordinatensystem, das das Koordinatensystem ist, das zum Steuern des Roboters 3 verwendet wird, und die Position und die Ausrichtung (Sensorkoordinatensystem) der zweidimensionalen Kamera 4 miteinander zum Übereinstimmen gebracht. Mit dieser Konfiguration kann die Steuereinheit 6 die Position und Ausrichtung der zweidimensionalen Kamera 4 sogar kennen, wenn die Position des distalen Endabschnitts des Roboters 3 geändert wird. Es ist folglich möglich, die Erfassungsresultate der Position und Ausrichtung des Artikels O basierend auf den Bildern, die von der zweidimensionalen Kamera 4 erfasst werden, präzis in die Position und Ausrichtung des Artikels O, wenn diese von dem Referenzkoordinatensystem her betrachtet werden, umzuwandeln.
Wenn die zweidimensionale Kamera 4 an dem distalen Endabschnitt des Roboters 3 wie oben beschrieben angebracht ist, existieren der Artikel O, dem der Roboter 3 folgt, Artikel O um den Artikel O, dem gefolgt wird, und dergleichen in dem Blickfeld der zweidimensionalen Kamera 4. In diesem Fall kann ein Effekt, der derselbe oder ähnlich wie der oben erwähnte Effekt ist, auch verwirklicht werden, weil die Position des Artikels O mit der hohen Frequenz von der Hochfrequenzverarbeitungseinheit 9 erfasst werden kann.
Des Weiteren kann die zweidimensionale Kamera 4 in einer Nähe des Roboters 3 durch Verwenden eines Rahmens, eines Ständers oder dergleichen befestigt werden, und der Artikel O, dem der Roboter 3 folgt, Artikel O um den Artikel O, dem gefolgt wird und dergleichen können in dem Blickfeld der zweidimensionalen Kamera 4 existieren. In diesem Fall werden das Referenzkoordinatensystem des Roboters 3 und die Position und die Ausrichtung (Sensorkoordinatensystem) der zweidimensionalen Kamera 4 miteinander in der Steuereinheit 6 zum Übereinstimmen gebracht, die Steuereinheit 6 kann die Erfassungsresultate der Position und Ausrichtung des Artikels O basierend auf den Bildern, die von der zweidimensionalen Kamera 4 erfasst werden, präzis in die Position und Ausrichtung des Artikels O, wenn sie von dem Referenzkoordinatensystem her betrachtet werden, umwandeln. In diesem Fall kann ein Effekt, der derselbe oder ähnlich wie der oben erwähnte Effekt ist, auch verwirklicht werden, weil die Position des Artikels O mit der hohen Frequenz von der Hochfrequenzverarbeitungseinheit 9 erfasst werden kann.
Obwohl die oben erwähnte Ausführungsform eine einzige zweidimensionale Kamera 4 zum Erfassen des Artikels O hat, können bei der Ausführungsform andere zweidimensionale Kameras zur Inspektion von Artikeln O, zur Ankunftserfassung und dergleichen bereitgestellt werden, und es ist möglich, die Hochfrequenzverarbeitung und die Niederfrequenzverarbeitung in einem Fall auszuführen, in dem eine Vielzahl dreidimensionaler Kameras 4 zum Erfassen der Artikel O eingesetzt wird.
Es ist auch möglich, den Artikel O durch Verwenden eines Fördergeräts, das den Artikel O in eine X-Achsenrichtung und auch in eine Y-Achsenrichtung bewegt, zu befördern. Zu bemerken ist, dass sich die X-Achse und die Y-Achse horizontal erstrecken, und die X-Achse die Y-Achse in rechten Winkeln schneidet. In diesem Fall kann die Hochfrequenzverarbeitungseinheit 9 die Position des Artikels O mit hoher Frequenz erfassen, und die Hochfrequenzverarbeitungseinheit 9 kann mit der hohen Frequenz eine Geschwindigkeit berechnen, mit der die Artikel O in die X-Achsenrichtung befördert werden, und eine Geschwindigkeit, mit der der Artikel O in die Y-Achsenrichtung befördert wird. Es ist folglich möglich, einen Effekt zu erzielen, der derselbe oder ähnlich wie der oben erwähnte Effekt ist. Zu bemerken ist, dass ein Fall, in dem der Artikel O in eine Z-Achsenrichtung bewegt wird, derselbe oder ähnlich wie dieser Fall ist.
Es ist auch möglich, den Artikel O durch Verwenden eines anderen Roboters an Stelle des Verwendens des Förderers 2 zu befördern. Des Weiteren, kann der Artikel O, wenn der Artikel O, der zu befördern ist, eine Fahrzeugkarosserie eines Kraftfahrzeugs oder dergleichen ist, von einer Maschine, Rädern und dergleichen befördert werden. Es ist auch möglich, den Artikel O durch Verwenden einer Rutsche zu befördern, entlang der die Artikel O abwärts rutschen, nach unten rollen oder schwerkraftbedingt fallen. In diesen Fällen funktioniert der andere Roboter, die Maschine, funktionieren die Räder, die Rutsche oder dergleichen als das Fördergerät.
Bezugszeichenliste

1: Robotersystem
2: Förderer (Fördergerät)
3: Roboter
4: zweidimensionale Kamera (visueller Sensor)
6: Steuereinheit
9: Hochfrequenzverarbeitungseinheit
10: Niederfrequenzverarbeitungseinheit
O, a1, a2, a3: Artikel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 200928818 [0003]
JP 2012192466 [0003]

Claims

Robotersystem (1), das Folgendes umfasst: ein Fördergerät (2), das ein Objekt befördert; einen Roboter (3), der einen Prozess auf dem Objekt, das von dem Fördergerät (2) befördert wird, ausführt; einen visuellen Sensor (4), der visuelle Informationen über das Objekt, das von dem Fördergerät (2) befördert wird, erfasst; eine Hochfrequenzverarbeitungseinheit (9), die eine Fördergeschwindigkeit, mit der das Objekt von dem Fördergerät (2) befördert wird, und/oder eine Position des Objekts erfasst, indem sie die visuellen Informationen, die von dem visuellen Sensor (4) erfasst werden, mit einer ersten Frequenz verarbeitet; eine Niederfrequenzverarbeitungseinheit (10), die eine Position des Objekts durch Verarbeiten mit einer zweiten Frequenz, die niedriger ist als die erste Frequenz, der visuellen Informationen, die von dem visuellen Sensor (4) erfasst werden, erfasst; und eine Steuereinheit (6), die den Roboter (3) auf der Basis der Fördergeschwindigkeit und/oder der Position des Objekts, das/die von der Hochfrequenzverarbeitungseinheit (9) erfasst wird/werden, und auf der Basis der Position des Objekts, das von der Niederfrequenzverarbeitungseinheit (10) erfasst wird, steuert.
Robotersystem (1) nach Anspruch 1, wobei die Hochfrequenzverarbeitungseinheit (9) mit der ersten Frequenz einen Abschnitt der visuellen Informationen, die von dem visuellen Sensor (4) erfasst werden, verarbeitet.
Robotersystem (1) nach Anspruch 1 oder 2, wobei der visuelle Sensor (4) ein Bild des Objekts auf dem Fördergerät (2) als die visuellen Informationen erfasst.
Robotersystem (1) nach einem der Ansprüche 1 bis 3, wobei das Fördergerät (2) mit einer Kennzeichnung versehen ist, die mit einer Geschwindigkeit bewegt wird, die dieselbe ist wie die des Objekts.
Robotersystem (1) nach einem der Ansprüche 1 bis 4, wobei der Roboter (3) Arbeit ausführt, indem er dem Objekt, das von dem Fördergerät (2) befördert wird, folgt.
Robotersystem (1) nach einem der Ansprüche 1 bis 5, wobei der visuelle Sensor (4) basierend auf einem Auslöser, der extern zu ihm bereitgestellt wird, die visuellen Informationen ausgibt, die unmittelbar vor oder unmittelbar nach dem Empfangen des Auslösers erfasst werden.