DE102015015638A1

DE102015015638A1 - Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters

Info

Publication number: DE102015015638A1
Application number: DE102015015638.1A
Authority: DE
Inventors: Ichiro Kanno; Kentarou Koga
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2014-12-02
Filing date: 2015-12-02
Publication date: 2016-10-13
Anticipated expiration: 2035-12-03
Also published as: JP6042860B2; US20160151916A1; DE102015015638B4; CN105645010A; JP2016107349A; CN105645010B; US9604365B2

Abstract

Eine Artikelübertragungsvorrichtung mit einem Roboter. Ein Bildverarbeitungsbereich umfasst einen Artikeldetektierbereich zum Ausführen von Bildaufnahme und -detektion von Artikeln, die sich gemäß einer Förderbewegung einer Fördervorrichtung bewegen, wobei eine erste Periode ermöglicht, dass sämtliche der Vielzahl von Artikeln aufgenommen und detektiert werden, und zum Erlangen einer Information über die Anfangsposition jedes der Artikel; und einen Artikelverfolgungsbereich zum Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln, die sich gemäß der Förderbewegung der Fördervorrichtung bewegen, wobei eine zweite Periode kürzer ist als die erste Periode, und wiederholtes Erlangen von Information über die verlagerte Position jedes der Vielzahl von Artikeln mit der zweiten Periode, wobei die Information über die verlagerte Position auf der Information über die Anfangsposition basiert. Ein Robotersteuerbereich ist dafür konfiguriert, den Roboter unter Verwendung der Information über die verlagerte Position zu steuern, um zu bewirken, dass der Roboter jeden der Vielzahl von Artikeln und überträgt, während er die Förderbewegung der Fördervorrichtung verfolgt.

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Artikelübertragungsvorrichtung und ein Artikelübertragungsverfahren zum Übergeben von Artikeln unter Verwendung eines Roboters.
2. Beschreibung der in Verbindung stehenden Technik
Die Bereitstellung eines Systems, in dem ein Vision-Sensor eine Vielzahl von Artikeln detektiert, die auf einer Fördervorrichtung befördert werden, und ein Roboter auf der Grundlage von Positionsinformation über jeden detektierten Artikel den Artikel hält, während er die Förderbewegung der Fördervorrichtung verfolgt, und den Artikel an einen anderen Ort überträgt, ist bekannt.
Die japanische ungeprüfte Patentveröffentlichung mit der Nummer H08-063214 ( JP H08-063214 A ) offenbart beispielsweise ein visuelles Verfolgungsverfahren, bei dem ein Vision-Sensor ein auf einer Fördervorrichtung zu beförderndes Werkstück detektiert und ein Roboter auf Grundlage der Position des detektierten Werkstücks das Werkstück hält, während er die Fördervorrichtung verfolgt. Bei diesem visuellen Verfolgungsverfahren ist die Fördervorrichtung mit einem Impulskodierer ausgestattet, um das Ausmaß zu detektieren, in dem das Arbeitsstück befördert wurde. Nachdem er auf Grundlage des Ausgabesignals des Impulskodierers erkennt, dass das Werkstück eine vorbestimmte Entfernung befördert worden ist, erlangt der Vision-Sensor ein Bild des beförderten Werkstücks. Nachdem auf Grundlage des Ausgangssignals des Impulskodierers erkannt wurde, dass das Werkstück die vorbestimmte Entfernung befördert wurde, wird die Verfolgungsbewegung des Roboters unter Steuerung einer Robotersteuereinrichtung gestartet. Während der Verfolgungsbewegung steuert die Robotersteuereinrichtung den Roboter in einem Verfolgungskoordinatensystem, das sich mit dem Werkstück bewegt, und bewirkt, dass der Roboter das zu befördernde Werkstück auf der Fördervorrichtung unter Berücksichtigung der Position des Werkstücks, die von dem von dem Vision-Sensor erlangten Bild erlangt wird, hält.
Kurzbeschreibung der Erfindung
In einem System, in dem ein Roboter einen Artikel überträgt, indem er den Artikel hält, während er die Förderbewegung einer Fördervorrichtung auf der Grundlage der Positionsinformation des durch einen Vision-Sensor detektierten Artikels verfolgt, ist es wünschenswert, dass der Roboter dafür konfiguriert ist, den Artikel halten zu können, während er die Fördervorrichtung verfolgt, durch genaues Identifizieren der gegenwärtigen Position des Artikels, ohne die Fördervorrichtung mit einem Sensor, wie beispielsweise einem Kodierer zum Detektieren des Bewegungsausmaßes, ausstatten zu müssen. In einem solchen System ist es auch wünschenswert, dass der Roboter dafür konfiguriert ist, den Artikel halten zu können, während er dessen Position verfolgt, selbst wenn die Position des Artikels auf der Fördervorrichtung nach Detektion durch den Vision-Sensor verlagert wird, oder selbst wenn der Artikel nicht von dem Vision-Sensor detektiert werden konnte, da der Artikel beispielsweise von einem anderen Artikel verdeckt ist.
Ein Aspekt der vorliegenden Erfindung stellt eine Artikelübertragungsvorrichtung bereit, die eine Fördervorrichtung, die dafür konfiguriert ist, einen Artikel zu befördern; einen Roboter, der zum Halten und Übertragen des Artikels konfiguriert ist; einen Bildaufnahmebereich, der dafür konfiguriert ist, ein Bild von dem Artikel aufzunehmen; einen Bildverarbeitungsbereich, der dafür konfiguriert ist, den Bildaufnahmebereich zu steuern und den Artikel auf Grundlage von von dem Bildaufnahmebereich aufgenommenen Daten zu detektieren; und einen Robotersteuerbereich, der dafür konfiguriert ist, den Roboter unter Verwendung von Information über den von dem Bildverarbeitungsbereich detektierten Artikel zu steuern, umfasst, wobei der Bildverarbeitungsbereich umfasst: einen Artikeldetektierbereich, der dafür konfiguriert ist, Bildaufnahme und -detektion einer Vielzahl von Artikeln auszuführen, die sich gemäß einer Förderbewegung der Fördervorrichtung bewegen, wobei eine erste Periode ermöglicht, dass sämtliche der Vielzahl von Artikeln aufgenommen und detektiert werden, und Information über die Anfangspositionen von jedem sämtlicher der Artikel zu erlangen; und einen Artikelverfolgungsbereich, der dafür konfiguriert ist, Bildaufnahme und -detektion der Vielzahl von Artikeln auszuführen, die sich gemäß der Förderbewegung der Fördervorrichtung bewegen, wobei eine zweite Periode kürzer ist als die erste Periode, und Information über die verlagerte Position jedes der Vielzahl von Artikeln wiederholt mit der zweiten Periode zu erlangen, wobei die Information über die verlagerte Position auf der Information über die Anfangsposition basiert; und wobei der Robotersteuerbereich dafür konfiguriert ist, den Roboter unter Verwendung der Information über die verlagerte Position zu steuern, so dass der Roboter jeden der Vielzahl von Artikeln hält und überträgt, während er die Förderbewegung der Fördervorrichtung verfolgt.
Ein weiterer Aspekt der vorliegenden Erfindung stellt ein Artikelübertragungsverfahren bereit, das dafür konfiguriert ist, zu bewirken, dass ein Roboter eine Vielzahl von von einer Fördervorrichtung beförderten Artikel hält und überträgt, wobei das Verfahren beinhaltet: das Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln, die sich entsprechend einer Förderbewegung der Fördervorrichtung bewegen, wobei eine erste Periode ermöglicht, dass sämtliche der Vielzahl von Artikeln aufgenommen und detektiert werden, und Information über die Anfangspositionen von jedem sämtlicher der Artikel zu erlangen; Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln, die sich gemäß der Förderbewegung der Fördervorrichtung bewegen, wobei eine zweite Periode kürzer ist als die erste Periode, und wiederholtes Erlangen von Information über die verlagerte Position jedes der Vielzahl von Artikeln mit der zweiten Periode, wobei die Information über die verlagerte Position auf der Information über die Anfangsposition basiert; und Steuern des Roboters unter Verwendung der Information über die verlagerte Position, so dass der Roboter jeden der Vielzahl von Artikeln hält und überträgt, während er die Förderbewegung der Fördervorrichtung verfolgt.
Gemäß der Artikelübertragungsvorrichtung des einen Aspektes erlangt, nachdem der Artikeldetektierbereich in dem Bildverarbeitungsbereich die Information über die Anfangsposition des auf der Fördervorrichtung beförderten Artikels detektiert hat, der Artikelverfolgungsbereich in dem Bildverarbeitungsbereich die Information über die verlagerte Position des Artikels und steuert der Robotersteuerbereich den Roboter unter Verwendung der Information über die verlagerte Position; dies hebt die Notwendigkeit auf, die Fördervorrichtung mit einem Sensor, wie beispielsweise einem Kodierer zum Detektieren des Bewegungsausmaßes, auszustatten, und der Roboter kann die gegenwärtige Position des von der Fördervorrichtung beförderten Artikels erfassen und den Artikel M halten, während er die Fördervorrichtung verfolgt. Dementsprechend kann das System, in dem der Roboter jeden Artikel hält, während er die Förderbewegung der Fördervorrichtung verfolgt, und den Artikel an einen anderen Ort überträgt, sogar in einer Situation konstruiert werden, in der es schwierig ist, die Fördervorrichtung mit einem Sensor, wie beispielsweise einem Kodierer zum Detektieren des Bewegungsausmaßes, auszustatten. Außerdem kann der Artikelverfolgungsbereich, da der Artikelverfolgungsbereich dafür konfiguriert ist, die Information über die verlagerte Position jedes Artikels wiederholt mit der zweiten Periode zu erlangen, wenn die Position des Artikels auf der Fördervorrichtung verlagert wird, nachdem der Artikeldetektierbereich die Information über die Anfangsposition des Artikels erlangt hat, die Information über die verlagerte Position durch Verfolgung der Position des Artikels aktualisieren und kann der Roboter 14 unter Verwendung der aktualisierten Information über die verlagerte Position die gegenwärtige Position des Artikels nach der Positionsverlagerung erfassen und den Artikel halten.
Gemäß dem Artikelübertragungsverfahren des anderen Aspektes kann die gleiche vorteilhafte Wirkung wie die von der vorstehend beschriebenen Artikelübertragungsvorrichtung erreicht werden.
Kurze Beschreibung der Zeichnungen
Diese Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung der Ausführungsformen in Verbindung mit den beiliegenden Zeichnungen deutlicher werden. In denen sind:
1 ein Diagramm, das schematisch die Konfiguration einer Artikelübertragungsvorrichtung gemäß einer Ausführungsform zeigt;
2 ein Diagramm, das schematisch ein modifiziertes Beispiel für die Artikelübertragungsvorrichtung zeigt;
3 ein Diagramm, das schematisch ein weiteres modifiziertes Beispiel für die Artikelübertragungsvorrichtung zeigt;
4 ein Diagramm, das schematisch noch ein weiteres modifiziertes Beispiel für die Artikelübertragungsvorrichtung zeigt;
5 ein Diagramm, das schematisch die Konfiguration einer Artikelübertragungsvorrichtung gemäß einer anderen Ausführungsform zeigt;
6A ein Diagramm zur Erläuterung eines Beispiels für ein Anordnungsmuster, das Artikel zeigt, die gemäß diesem Anordnungsmuster angeordnet sind;
6B ein Diagramm, das eine Anordnungsform zeigt, die das Anordnungsmuster aus 6A definiert;
7 ein Blockdiagramm, das ein Beispiel für die Hardwarekonfiguration eines Robotersteuerbereichs zeigt;
8 ein Blockdiagramm, das ein Beispiel für die Hardwarekonfiguration eines Bildverarbeitungsbereichs zeigt;
9 ein Blockdiagramm, das ein weiteres Beispiel für die Hardwarekonfiguration des Robotersteuerbereichs und des Bildverarbeitungsbereichs zeigt;
10 ein Blockdiagramm, das noch ein weiteres Beispiel für die Hardwarekonfiguration des Robotersteuerbereichs und des Bildverarbeitungsbereiches zeigt;
11 ein funktionales Blockdiagramm, das den Robotersteuerbereich und den Bildverarbeitungsbereich in der Ausführungsform gemäß 5 zeigt;
12 ein Diagramm, das schematisch ein Beispiel für die Arbeit des Haltens und Übertragens eines Artikels zeigt;
13 ein Diagramm zur Erläuterung eines Beispiels für einen Artikelverfolgungsprozess;
14 ein Diagramm zur Erläuterung eines weiteren Beispiels für einen Artikelverfolgungsprozess;
15 ein Ablaufdiagramm, das die von einem Artikelverwaltungsbereich in dem Bildverarbeitungsbereich ausgeführte Verarbeitung zeigt;
16 ein Ablaufdiagramm, das die von einem Artikelverfolgungsbereich in den Bildverarbeitungsbereich ausgeführte Verarbeitung zeigt;
17 ein Ablaufdiagramm, das die Einzelheiten der von dem Artikelverfolgungsbereich ausgeführten Verarbeitung zeigt;
18 ein Ablaufdiagramm, das die Einzelheiten der von dem Artikelverfolgungsbereich ausgeführten Verarbeitung zeigt;
19 ein Ablaufdiagramm, das die Einzelheiten der von dem Artikelverfolgungsbereich ausgeführten Verarbeitung zeigt;
20 ein Ablaufdiagramm, das die von einem Informationsverwaltungsbereich in einem ersten Steuerbereich ausgeführte Verarbeitung zeigt;
21 ein Ablaufdiagramm, das die Einzelheiten der von dem Informationsverwaltungsbereich ausgeführten Verarbeitung zeigt; und
22 ein Ablaufdiagramm, das die Einzelheiten der von dem Informationsverwaltungsbereich ausgeführten Verarbeitung zeigt.
Ausführliche Beschreibung
Ausführungsformen der vorliegenden Erfindung werden nachstehend mit Bezugnahme auf die beiliegenden Zeichnungen beschrieben. In allen Zeichnungen werden sich entsprechende Komponenten von ähnlichen Bezugszahlen bezeichnet.
1 zeigt eine Artikelübertragungsvorrichtung 10 gemäß einer Ausführungsform. Die Artikelübertragungsvorrichtung 10 umfasst eine Fördervorrichtung 12, die dafür konfiguriert ist, einen Artikel M zu befördern, einen Roboter 14, der dafür konfiguriert ist, den Artikel M zu halten und zu übertragen, einen Bildaufnahmebereich 16, der dafür konfiguriert ist, ein Bild des Artikels M aufzunehmen, einen Bildverarbeitungsbereich 18, der dafür konfiguriert ist, den Bildaufnahmebereich 16 zu steuern und den Artikel M auf Grundlage der Daten des von dem Bildaufnahmebereich 16 aufgenommenen Bildes zu detektieren, und einen Robotersteuerbereich 20, der dafür konfiguriert ist, den Roboter 14 unter Verwendung von Information des von dem Bildverarbeitungsbereich 18 detektierten Artikels M zusteuern.
Die Fördervorrichtung 12 umfasst ein bekanntes Förderelement, das dazu in der Lage ist, eine Vielzahl von Artikeln M zu halten und sie in eine Richtung zu befördern (in der Zeichnung in die von Pfeil W angegebene Richtung), und einen bekannten Antriebsmechanismus zum Antreiben des Förderelements auf eine kontinuierliche oder intermittierende Weise. Die Vielzahl von auf der Fördervorrichtung 12 beförderten Artikeln M kann verschiedene Formen, Abmessungen, Erscheinungsformen (Farben) usw. haben oder kann die gleiche Form, Abmessung, äußere Erscheinung (Farbe) usw. haben. Außerdem können die Artikel M Artikel wie beispielsweise Obst oder Gemüse sein, deren Formen das Halten der Artikel M auf der Fördervorrichtung 12 instabil macht.
Die Vielzahl von Artikeln M wird in einer beliebigen Anordnung auf der Fördervorrichtung 12 befördert und tritt in einen vorbestimmten Arbeitsraum 22 ein (den Bereich, in dem die Artikel M gehalten und aufgegriffen werden) (von halb gestrichelten Linien angezeigt), damit der Roboter 14 darauf zugreifen kann. Der Ausdruck „beliebige Anordnung” bezieht sich auf eine Anordnung, bei der die Artikel M nicht dafür vorgesehen sind, in einer Reihenfolge angeordnet zu sein, sondern auf eine zufällige Weise angeordnet sind, so dass die Artikel M unterschiedliche Positionen und Ausrichtungen in einem zweidimensionalen Raum annehmen (beispielsweise in einem von dem Bildaufnahmebereich 16 aufgenommenen Bild), wenn die Artikel M direkt von oben betrachtet werden. In der vorliegenden Ausführungsform ist die Fördervorrichtung 12 nicht mit einem Sensor zum Detektieren des Bewegungsausmaßes, wie beispielsweise einem Kodierer, ausgestattet, der die Position oder Geschwindigkeit des Förderelementes oder des Antriebsmechanismus detektieren kann.
Der Roboter 14 kann einen mechanischen Bereich (nicht gezeigt), der geeignet unter bekannten mechanischen Bereichen (beispielsweise Manipulatoren) von unterschiedlichen Typen ausgewählt ist, wie beispielsweise einem Typen mit Gelenk, einem Gantry-Typ und einem Typ mit paralleler Verknüpfung, und eine Hand, die geeignet unter bekannten Händen verschiedener Typen, wie beispielsweise einem Ansaugtyp oder einem Greiftyp, ausgewählt ist, umfassen.
Der Roboter 14 ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 angeordnet und arbeitet so, dass der mechanische Bereich oder die Hand den Artikel M in dem Arbeitsraum 22 des Roboters 14 hält und aufgreift, während der auf der Fördervorrichtung 12 beförderte Artikel M verfolgt wird, und den Artikel M an einen anderen Ort überträgt. In der vorliegenden Ausführungsform ist der Roboter 14 mit einem mechanischen Bereich ausgestattet.
Der Bildaufnahmebereich 16 hat ein vorbestimmtes Sichtfeld 24 (durch gestrichelte Linien gezeigt), das sich längs in die Förderrichtung der Fördervorrichtung 12, um einen Teil davon zu umfassen, und seitlich über die gesamte Breite der Fördervorrichtung 12 erstreckt. Der Arbeitsraum 22 des Roboters 14 befindet sich innerhalb des Sichtfeldes 24. Der Bildaufnahmebereich 16 erlangt zweidimensionale Bilddaten durch Bildnahme eines Bildes der Artikel M und der Fördervorrichtung 12 in dem Sichtfeld 24 direkt von oben auf die Fördervorrichtung 12. In der vorliegenden Ausführungsform umfasst der Bildaufnahmebereich 16 eine Kamera (nachstehend manchmal als die Kamera 16 bezeichnet). Die Kamera 16 kann eine Digitalkamera sein und beispielsweise Auflösung und Bildaufnahmebereich können je nach Wunsch eingestellt werden. In der vorliegenden Ausführungsformen kann die Kamera 16 zwischen einem Modus, der ein Bild eines Teils 24a des Sichtfeldes 24 am Stromaufwärtsende in die Förderrichtung der Fördervorrichtung betrachtet aufnimmt, und einem Modus, der ein Bild in dem gesamten Sichtfeld 24 aufnimmt, umgeschaltet werden. Die Kamera 16 ist über ein Kamerakabel 26 mit dem Bildverarbeitungsbereich 18 verbunden.
Der Bildverarbeitungsbereich 18 wendet geeignete Bildverarbeitung auf die zweidimensionalen Daten an, die der Aufnahmebereich 16 durch Bildnahme eines Bildes der Artikel M und der Fördervorrichtung 12 in dem Sichtfeld 24 erlangt hat, und detektiert dadurch die Anwesenheit jedes Artikels M und erlangt Information, die die Position (Koordinatenwerte) und Ausrichtung (Drehwinkel) jedes Artikels M in einem vorbestimmten zweidimensionalen Koordinatensystem darstellt. Wie nachstehend beschrieben werden wird, umfasst die „Positionsinformation” (Information über die Anfangsposition, Information über die verlagerte Position usw.), die der Bildverarbeitungsbereich 18 erlangt, normalerweise Information, die die Position und Ausrichtung des Artikels M darstellt, aber wenn der Artikel M beispielsweise kreisförmig ist, kann die „Positionsinformation” die Information, die die Ausrichtung des Artikels M darstellt, möglicherweise nicht enthalten. In der vorliegenden Beschreibung werden die Information, die die Position und die Ausrichtung des Artikels M darstellt, und die Information, die die Position des Artikels M darstellt, beide als die „Positionsinformation” bezeichnet. Der Bildverarbeitungsbereich 18 kann auch Information erlangen, die die zweidimensionale äußere Form, Farbe usw. jedes Artikels M betrifft (nachstehend als die Information über die äußeren Erscheinungseigenschaften bezeichnet). Die von dem Bildverarbeitungsbereich 18 erlangte Positionsinformation des Artikels M kann in Form eines Bildes auf einem nicht gezeigten Bildschirm angezeigt werden.
Der Bildverarbeitungsbereich 18 ist über ein Kommunikationskabel 28 mit dem Robotersteuerbereich 20 so verbunden, dass die Positionsinformation des Artikels M, die aus den von dem Bildaufnahmebereich 16 erlangten zweidimensionalen Daten detektiert wird, je nach Bedarf an den Robotersteuerbereich 20 übertragen werden kann. Alternativ können der Bildverarbeitungsbereich 18 und der Robotersteuerbereich 20 in einer einzigen gemeinsamen Steuervorrichtung integriert sein, wie später beschrieben werden wird.
Ein zweidimensionales Fördervorrichtungskoordinatensystem (stationäres Koordinatensystem) 30 kann für die Fördervorrichtung 12 definiert werden, indem deren Förderrichtung als die X-Achse genommen wird. In der vorliegenden Ausführungsform kann der Roboter 14 in dem Fördervorrichtungskoordinatensystem 30 entsprechend einem in dem Fördervorrichtungskoordinatensystem 30 definierten Befehl betrieben werden. Außerdem kann der Bildverarbeitungsbereich 18 die Positionsinformation des detektierten Artikels M in dem Fördervorrichtungskoordinatensystem 30 durch Ausführung der Kalibrierung des Bildaufnahmebereichs 16 in dem Fördervorrichtungskoordinatensystem 30 definieren. Der Robotersteuerbereich 20 steuert den Roboter 14 unter Verwendung der Positionsinformation des von dem Bildverarbeitungsbereich 18 detektierten Artikels M und bewirkt, dass der Roboter 14 eine Halteaktion ausführt, die dem Typ der Hand entspricht.
Der Bildverarbeitungsbereich 18 umfasst einen Artikeldetektierbereich 32, der dafür konfiguriert ist, Bildaufnahme und -detektion einer Vielzahl von Artikeln M auszuführen, die sich gemäß einer Förderbewegung der Fördervorrichtung 12 bewegen, wobei eine erste Periode T1 ermöglicht, dass sämtliche der Vielzahl von Artikeln M aufgenommen und detektiert werden, und Information über die Anfangspositionen von jedem sämtlicher der Artikel M zu erlangen; und einen Artikelverfolgungsbereich 34, der dafür konfiguriert ist, Bildaufnahme und -detektion der Vielzahl von Artikeln M auszuführen, die sich gemäß der Förderbewegung der Fördervorrichtung 12 bewegen, wobei eine zweite Periode T2 kürzer ist als die erste Periode T1, und wiederholt Information über die verlagerte Position D2 jedes der Vielzahl von Artikeln M mit der zweiten Periode T2 zu erlangen, wobei die Information über die verlagerte Position D2 auf der Information über die Anfangsposition D1 basiert; und wobei der Robotersteuerbereich 20 dafür konfiguriert ist, den Roboter 14 unter Verwendung der Information über die verlagerte Position D2 so zu steuern, dass der Roboter 14 jeden der Vielzahl von Artikeln M hält und überträgt, während er die Förderbewegung der Fördervorrichtung 12 verfolgt.
In der vorliegenden Ausführungsform sind die Information über die Anfangsposition D1 und die Information über die verlagerte Position D2 jeweils durch die Koordinatenwerte und den Drehwinkel (oder nur durch die Koordinatenwerte) in dem Fördervorrichtungskoordinatensystem 30 dargestellt.
Der Artikeldetektierbereich 32 hat die Funktion des anfänglichen Erkennens und Detektierens (nachstehend manchmal als „Anfangsdetektion” beschrieben) jedes der Vielzahl von Artikeln M in dem Sichtfeld 24 des Bildaufnahmebereichs 16, wenn die Artikel M auf der Fördervorrichtung 12 zu dem Arbeitsraum 22 des Roboters 14 hin befördert werden. In der vorliegenden Ausführungsform ist der Artikeldetektierbereich 32 dafür konfiguriert, anfänglich jeden Artikel M zu detektieren, wenn der Artikel M in den Stromaufwärtsendteil 24a des Sichtfelds 24 des Bildaufnahmebereichs 16 eintritt. Die erste Periode T1 ist die Periode, mit der der Bildaufnahmebereich 16 ein gesamtes Bild jedes Artikels M mindestens einmal in dem Stromaufwärtsendteil 24a des Sichtfeldes 24 aufnehmen kann.
In einem speziellen Beispiel, in dem die Länge des Stromaufwärtsendteils 24a des Sichtfelds 24 in die Förderrichtung W der Fördervorrichtung 12 (das heißt in die X-Achsen-Richtung in dem Fördervorrichtungskoordinatensystem 30) betrachtet 400 mm beträgt, die maximale Breite des Artikels M 100 mm beträgt und die Fördergeschwindigkeit der Fördervorrichtung 12 200 mm/s beträgt, ist die erste Periode T1, die dafür erforderlich ist, das Bild jedes bestimmten auf der Fördervorrichtung 12 beförderten Artikels M einmal während des Intervalls von dem Moment, in dem der gesamte Artikel M in den Stromaufwärtsendteil 24a eintritt, bis zu dem Moment, in dem ein Teil des Artikels M aus dem Stromaufwärtsendteil 24a austritt, aufzunehmen, folgendermaßen gegeben: T1 = (400 (mm) – 100 (mm))/200 (mm/s) = 1.5 (s)
In dem vorstehend genannten speziellen Beispiel kann durch Ausführung von Bildaufnahme der Vielzahl von Artikeln M mit der ersten Periode T1, wenn die Artikel M auf der Fördervorrichtung 12 zu dem Arbeitsraum 22 hin befördert werden, das Bild jedes Artikels M aufgenommen und anfangs detektiert werden, während sich der Artikel M innerhalb des Stromaufwärtsendteils 24a befindet, und kann somit die Information über die Anfangsposition D1 jedes der Artikel M erlangt werden. Der Artikelverfolgungsbereich 34 hat die Funktion des nacheinander Erkennens und Detektierens (nachstehend manchmal als „Verfolgen” beschrieben) jedes der Vielzahl von Artikeln M in dem Sichtfeld 24 des Bildaufnahmebereichs 16, nachdem die Artikel M anfangs von dem Artikeldetektierbereich 32 detektiert werden. In der vorliegenden Ausführungsform ist der Artikelverfolgungsbereich 34 dafür konfiguriert, jeden Artikel M in dem gesamten Sichtfeld 24 des Bildaufnahmebereichs 16 zu verfolgen. Die zweite Periode T2 ist die Periode, mit der der Bildaufnahmebereich 16 ein gesamtes Bild jedes Artikels M in dem Sichtfeld 24 eine Anzahl von Malen wiederholt aufnehmen kann, die ausreicht, um den Artikel M zu verfolgen, ohne fehlerhafterweise einen anderen Artikel M zu detektieren.
Wenn beispielsweise zwei Artikel M nebeneinander, die sich in genau der gleichen Ausrichtung (Drehwinkel) befinden, korrekt detektiert werden sollen, ohne dass sie miteinander verwechselt werden, wird davon ausgegangen, dass die Bildaufnahme jedes Artikels M durch den Bildaufnahmebereich 16 und die Detektion durch den Artikelverfolgungsbereich 34 innerhalb einer Periode abgeschlossen werden sollten, in der der Artikel M auf der Fördervorrichtung 12 eine Entfernung gleich einer Hälfte der minimalen Breite des Artikels M befördert wird. Unter dieser Bedingung ist, wenn die minimale Breite des Artikels M in dem vorstehend speziellen Beispiel 60 mm ist, die zweite Periode T2 folgendermaßen gegeben. T2 = (60 (mm)/2)/200 (mm/s) = 0.15 (s)
In dem vorstehenden speziellen Beispiel kann durch Ausführen von Bildaufnahme der Vielzahl von Artikeln M mit der zweiten Periode T2, wenn die Artikel M auf der Fördervorrichtung 12 befördert werden, das Bild jedes Artikels M wiederholt in dem Sichtfeld 24 aufgenommen und verfolgt werden, ohne mit einem anderen Artikel M verwechselt zu werden, und kann somit die Information über die verlagerte Position D2 jedes der Artikel M erlangt werden. Wenn die zweite Periode T2 so kurz eingestellt wird wie die Verarbeitungsfähigkeit des Bildverarbeitungsbereichs 18 durch Vernachlässigung der Bedingung „eine Hälfte der minimalen Breite des Artikels M” ermöglichen kann, kann die Zuverlässigkeit der Information über die verlagerte Position D2 und somit die Genauigkeit, mit der der Roboter 14 arbeitet, um den Artikel M zu halten, während er dessen Position verfolgt, maximiert werden.
Der Bildverarbeitungsbereich 18 führt die Bildaufnahme und -detektion (d. h. Verfolgung) mit der zweiten Periode T2 durch den Artikelverfolgungsbereich 24 gleichzeitig mit der Bildaufnahme und -detektion (d. h. der Anfangsdetektion) mit der ersten Periode T1 durch den Artikeldetektierbereich 32 aus (d. h. führt sogenanntes Multitasking aus). Zu diesem Zeitpunkt erlangt, wobei die Anfangswerte der Position und Ausrichtungswerte (oder nur der Positionswert), die in der Information über die Anfangsposition D1 des Artikels M enthalten sind, die von dem Artikeldetektierbereich 32 erlangt wird, der Artikelverfolgungsbereich 34 kontinuierlich und wiederholt die Information über die verlagerte Position D2, die sich konstant ändernde Positions- und Ausrichtungswerte (oder nur den Positionswert) (d. h. das Maß der Änderung) des Artikels M darstellt, durch wiederholtes Ausführen der Bildaufnahme und -detektion des Artikels M mit der zweiten Periode T2. Die Kamera 16, die den Bildaufnahmebereich 16 bildet, führt die Bildaufnahme mit der ersten Periode T1 und die Bildaufnahme mit der zweiten Periode T2 zu geeigneten Zeitpunkten und in einer geeigneten Reihenfolge aus.
In dem Bildverarbeitungsbereich 18 wird die Information über die Anfangsposition D1 jedes Artikels M, die von dem Artikeldetektierbereich 32 erlangt wird, zur Artikelverfolgung durch den Artikelverfolgungsbereich 34 verwendet und wird gleichzeitig die Information über die Anfangsposition D1 zu einem einzigen Paket zusammengesetzt (nachstehend als ein Paket α bezeichnet) und zusammen mit anderer Information, die notwendig ist, um zu bewirken, dass der Roboter 14 jeden Artikel M hält, an den Robotersteuerbereich 20 geschickt. Die in dem Paket α transportierte Information umfasst eine Paketkennung, die anzeigt, dass die Information das Paket α ist, die von dem Artikeldetektierbereich 32 erlangte Information über die Anfangsposition D1, die Bildaufnahmezeit des Artikels entsprechend der Information über die Anfangsposition D1 und eine Artikelkennung als eine Folgenummer, die den Artikel M angibt. Für jeden der Vielzahl von Artikeln M, die auf der Fördervorrichtung 12 zu dem Arbeitsraum 22 des Roboters 14 hin befördert werden, wird das Paket α nur einmal erstellt und an den Robotersteuerbereich 20 geschickt.
In dem Bildverarbeitungsbereich 18 wird die Information über die verlagerte Position D2 jedes Artikels M, die wiederholt von dem Artikelverfolgungsbereich 34 erlangt wird, auch jedes Mal, wenn die Information erlangt wird, zu einem einzelnen Paket zusammengesetzt (nachstehend als ein Paket β bezeichnet) und zusammen mit anderer Information, die notwendig ist, um zu bewirken, dass der Roboter 14 jeden Artikel M hält, an den Robotersteuerbereich 20 geschickt. Die in dem Paket β transportierte Information umfasst eine Paketkennung, die anzeigt, dass die Information das Paket β ist, die von dem Artikelverfolgungsbereich 34 erlangte Information über die verlagerte Position D2, die Bildaufnahmezeit des Artikels entsprechend der Information über die verlagerte Position D2 und eine Artikelkennung als eine Folgenummer, die den Artikel M angibt. Für jeden der Vielzahl von Artikeln M, die auf der Fördervorrichtung 12 zu dem Arbeitsraum 22 des Roboters 14 hin befördert werden, wird das Paket β wiederholt erstellt und an den Robotersteuerbereich 20 geschickt.
Auf Grundlage der von dem Bildverarbeitungsbereich 18 empfangenen Information des Pakets α erstellt der Robotersteuerbereich 20 Artikelinformation, um zu bewirken, dass der Roboter 14 jeden Artikel M hält, und setzt die Artikelinformation zu einem einzelnen Paket zusammen (nachstehend als ein Paket γ bezeichnet). Die in dem Paket γ transportierte Information umfasst, zusätzlich zu der Information des Pakets α, die Information über die verlagerte Position D2 und die Artikelbildaufnahmezeit, die in der Information des Pakets β transportiert wird, das von dem Bildverarbeitungsbereich 18 eine beliebige Anzahl von Malen empfangen wird bis zu dem Mal, das das zuletzt empfangene enthält. Außerdem kann die Information, die die Bewegungsgeschwindigkeit des Artikels M betrifft (das heißt die Fördergeschwindigkeit der Fördervorrichtung 12), die von dem Zeitintervall erlangt wird, über das die Information über die verlagerte Position D2 und die Artikelbildaufnahmezeit die beliebige Anzahl von Malen empfangen wurden, auch in dem Paket γ enthalten sein. Die Anzahl der Male, die das Paket β für die Erstellung des Pakets γ empfangen werden muss, kann je nach Wunsch von dem Nutzer der Artikelübertragungsvorrichtung 10 eingestellt werden. Wenn jeder Artikel M von dem Roboter 14 aufgegriffen und von der Fördervorrichtungen 12 entfernt wird, löscht der Robotersteuerbereich 20 die Information des Pakets γ, die diesen Artikel M betrifft.
Der Robotersteuerbereich 20 vergleicht die Information des Pakets β, das konstant von dem Bildverarbeitungsbereich 18 übertragen wird, mit der gegenwärtig gehaltenen Information des Pakets γ, um die Anwesenheit des Artikels M zu erkennen, der im Begriff ist, in den Arbeitsraum 22 des Roboters 14 einzutreten, oder den Arbeitsraum 22 momentan durchquert. Dann steuert der Robotersteuerbereich 20 den Roboter 14 unter Verwendung der in dem Paket β transportierten Information über die verlagerte Position D2 des Artikels M, der dem Artikel M entspricht, dessen Anwesenheit erkannt wurde. Unter Steuerung des Robotersteuerbereichs 20 hält der Roboter 14 den Artikel M und greift ihn auf, während er die Förderbewegung der Fördervorrichtung 12 verfolgt, und überträgt den Artikel M von der Fördervorrichtung 12 an einen vorbestimmten anderen Ort.
Entsprechend der Artikelübertragungsvorrichtung 10 mit der vorstehend beschriebenen Konfigurationen erlangt, nachdem der Artikeldetektierbereich 32 in dem Bildverarbeitungsbereich 18 die Information über die Anfangsposition D1 des auf der Fördervorrichtung 12 beförderten Artikels M erlangt hat, der Artikelverfolgungsbereich 14 in dem Bildverarbeitungsbereich 18 die Information über die verlagerte Position D2 des Artikels M und steuert der Robotersteuerbereich 20 den Roboter 14 unter Verwendung der Information über die verlagerte Position D2; dies hebt die Notwendigkeit auf, die Fördervorrichtung 12 mit einem Sensor, wie beispielsweise einem Kodierer zum Detektieren das Bewegungsausmaßes, auszustatten, und der Roboter 14 kann die gegenwärtige Position des auf der Fördervorrichtung 12 beförderten Artikels M erfassen und den Artikel halten, während er die Fördervorrichtung 12 verfolgt. Dementsprechend kann das System, in dem der Roboter jeden Artikel hält, während er die Förderbewegung der Fördervorrichtung verfolgt, und den Artikel an einen anderen Ort überträgt, sogar in einer Situation konstruiert werden, in der es schwierig ist, die Fördervorrichtung mit einem Sensor, wie beispielsweise einem Kodierer zum Detektieren des Bewegungsausmaßes, auszustatten. Außerdem kann, da der Artikelverfolgungsbereich 34 dafür konfiguriert ist, die Information über die verlagerte Position D2 jedes Artikels M mit der zweiten Periode T2 wiederholt zu erlangen, wenn die Position des Artikels M auf der Fördervorrichtung 12 verlagert wird, nachdem der Artikeldetektierbereich 32 die Information über die Anfangsposition des Artikels M erlangt hat, der Artikelverfolgungsbereich 34 die Information über die verlagerte Position D2 durch Verfolgung der Position des Artikels M aktualisieren und kann der Roboter 14 unter Verwendung der aktualisierten Information über die verlagerte Position D2 die gegenwärtige Position des Artikels M nach der Positionsverlagerung erfassen und den Artikel M halten.
Die vorstehend beschriebene Konfiguration der Artikelübertragungsvorrichtung 10 kann in Form eines Artikelübertragungsverfahrens gemäß einem weiteren Aspekt der vorliegenden Erfindung beschrieben werden. Das Artikelübertragungsverfahren betrifft ein Verfahren zum Bewirken, dass der Roboter 14 jeden einer Vielzahl von auf der Förderrichtung 12 beförderten Artikel M hält und den Artikel M an einen anderen Ort übertragt, und beinhaltet folgende Schritte: Erlangen von Information über die Anfangsposition D1 für jeden der Vielzahl von auf der Fördervorrichtung 12 beförderten Artikeln M durch Ausführen der Bildaufnahme und -detektion der Vielzahl von Artikeln M mit einer ersten Periode T1, die die auf Aufnahme und Detektion sämtlicher der Vielzahl von Artikeln M ermöglicht; Erlangen von Information über die verlagerte Position D2 relativ zu der Information über die Anfangsposition D1 für jeden der Vielzahl von auf der Fördervorrichtung 12 beförderten Artikel M wiederholt mit einer zweiten Periode T2, die kürzer ist als die erste Periode T1, durch Ausführen der Bildaufnahme und -detektion der Vielzahl von Artikeln M mit der zweiten Periode T2; und auf Grundlage der Information über die verlagerte Position D2 Steuern des Roboters 14 derart, dass der Roboter 14 die Artikel M durch Halten der Vielzahl von Artikeln M überträgt, während er die Förderbewegung der Fördervorrichtung 12 verfolgt.
2 zeigt ein modifiziertes Beispiel für die Artikelübertragungsvorrichtung 10. In diesem modifizierten Beispiel umfasst der Bildaufnahmebereich 16 eine erste Kamera 16A und eine zweite Kamera 16B, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten. Das Sichtfeld der ersten Kamera 16A umfasst den vorstehend erwähnten Stromaufwärtsendteil 24a des Sichtfelds 24 in die Förderrichtung der Fördervorrichtung betrachtet. Das Sichtfeld der zweiten Kamera 16B ist das gleiche wie das Sichtfeld 24. Der Artikeldetektierbereich 32 ist dafür konfiguriert, zu bewirken, dass die erste Kamera 16A das Bild des Artikels M aufnimmt, der sich im Sichtfeld 24a befindet, und den Artikel M auf Grundlage der Daten des von der ersten Kamera 16A aufgenommenen Bildes zu detektieren. Der Artikelverfolgungsbereich 34 ist dafür konfiguriert, zu bewirken, dass die zweite Kamera 16B das Bild des Artikels M, der sich innerhalb des Sichtfelds 24 befindet, aufnimmt, und den Artikel M auf Grundlage der Daten des von der zweiten Kamera 16B aufgenommenen Bildes zu detektieren. Sowohl die erste Kamera 16A als auch die zweite Kamera 16B können Digitalkameras sein und beispielsweise Auflösung und Bildaufnahmebereich können je nach Wunsch eingestellt werden. Die erste und die zweite Kamera 16A und 16B sind über entsprechende Kamerakabel 26 mit dem Bildverarbeitungsbereich 18 verbunden. In dieser Konfiguration können die von der ersten Kamera 16A mit der ersten Periode T1 ausgeführte Bildaufnahme und die von der zweiten Kamera 16A mit der zweiten Periode T2 ausgeführte Bildaufnahme gleichzeitig ausgeführt werden.
3 zeigt ein weiteres modifiziertes Beispiel für die Artikelübertragungsvorrichtung 10. In diesem modifizierten Beispiel umfasst der Roboter 14 einen ersten mechanischen Bereich 14A und einen zweiten mechanischen Bereich 14B, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten, und umfasst der Robotersteuerbereich 20 einen ersten Steuerbereich 20A, der dafür konfiguriert ist, den ersten mechanischen Bereich 14A zu steuern, und einen zweiten Steuerbereich 20B, der dafür konfiguriert ist, den zweiten mechanischen Bereich 14B zu steuern. Der erste und der zweite mechanische Bereich 14A und 14B können jeweils die Konfiguration jeglicher verschiedener bekannter mechanischer Bereiche haben (beispielsweise Manipulatoren) und können mit jeglichen beliebigen verschiedenen bekannten Händen (nicht gezeigt) ausgestattet sein. Der erste mechanische Bereich 14A ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 angeordnet und arbeitet derart, dass er den Artikel M in einem Arbeitsraum 22A hält und aufgreift, während er den auf der Fördervorrichtung 12 beförderten Artikel M verfolgt, und den Artikel M an einen anderen Ort überträgt. Der zweite mechanische Bereich 14B ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 und auf der Stromabwärtsseite des ersten mechanischen Bereichs 14A in die Förderrichtung der Fördervorrichtung betrachtet angeordnet und arbeitet derart, dass er den Artikel M in einem Arbeitsraum 22B hält und aufgreift, während er den auf der Fördervorrichtung 12 beförderten Artikel M verfolgt, und den Artikel M an einen anderen Ort überträgt. Die Arbeitsräume 22A und 22B sind derart eingestellt, dass sie einander nicht überlappen, um zu verhindern, dass sich der erste mechanische Bereich 14A und der zweite mechanische Bereich 14B gegenseitig behindern.
Außerdem befinden sich die Arbeitsräume 22A und 22B beide im Sichtfeld 24 des Bildaufnahmebereichs 16.
Der erste Steuerbereich 20A steuert den ersten mechanischen Bereich 14A auf Grundlage der Information über die verlagerte Position D2 derart, dass der erste mechanische Bereich 14A die Artikel M überträgt, indem er jeden der Vielzahl von Artikeln M hält, während er die Förderbewegung der Fördervorrichtung 12 verfolgt. Der zweite Steuerbereich 20B steuert den zweiten mechanischen Bereich 14B auf Grundlage der Information über die verlagerte Position D2 derart, dass der zweite mechanische Bereich 14B die Artikel M überträgt, indem er jeden der Vielzahl von Artikeln M (andere als die von den ersten mechanischen Bereich 14A aufgegriffenen Artikel) hält, während er die Förderbewegung der Fördervorrichtung 12 verfolgt. Der erste und der zweite Steuerbereich 20A und 20B sind miteinander über ein Kommunikationskabel 28 verbunden und sind zusammen mit dem Bildverarbeitungsbereich 18 verbunden. In dieser Konfiguration können der erste und der zweite Steuerbereich 20A und 20B eine derartige Steuerung ausführen, dass der erste und der zweite mechanische Bereich 14A und 14B jeweils vorbestimmte Anzahlen von Artikeln M gemäß einem vorbestimmten Betriebsverhältnis (das heißt Arbeitsteilungsverhältnis) halten. Die unter Berücksichtigung des Arbeitsteilungsverhältnisses ausgeführte Steuerung wird in Verbindung mit einer später beschriebenen weiteren Ausführungsform ausführlich beschrieben.
4 zeigt noch ein weiteres modifiziertes Beispiel für die Artikelübertragungsvorrichtung 10. Dieses modifizierte Beispiel ist eine Kombination aus dem modifizierten Beispiel gemäß 2 und dem modifizierten Beispiel gemäß 3 und umfasst die erste und die zweite Kamera 16A und 16B als den Bildaufnahmebereich 16, den ersten und den zweiten mechanischen Bereich 14A und 14B als den Roboter 14 und den ersten und den zweiten Steuerbereich 20A und 20B als den Robotersteuerbereich 20.
Wie vorstehend mit Bezugnahme auf die verschiedenen modifizierten Beispiele beschrieben, können die Anzahl von Kameras, die den Bildaufnahmebereich 16 bilden, und die Anzahl von mechanischen Bereichen, die den Roboter 14 bilden, entsprechend verschiedener Faktoren, wie beispielsweise der Gesamtanzahl von auf der Fördervorrichtung 12 beförderten Artikeln M, der Fördergeschwindigkeit der Fördervorrichtung 12, der Zeit, die der Roboter 14 benötigt, um die Artikel M an einen anderen Ort zu übertragen, und der erforderlichen Arbeitsgenauigkeit geeignet gewählt werden. Es können beispielsweise drei oder mehr Kameras, drei oder mehr mechanische Roboterbereiche und drei oder mehr Robotersteuerbereiche vorgesehen sein. Wenn die Kameras und mechanische Roboterbereiche entlang der Förderrichtung der Fördervorrichtung angeordnet sind, können die auf der Stromabwärtsseite angeordnete Kamera und mechanische Roboterbereiche dafür konfiguriert sein, die Arbeit zu verrichten, die die auf der Stromaufwärtsseite angeordnete Kamera und mechanische Roboterbereich nicht verrichtet haben.
5 zeigt eine Artikelübertragungsvorrichtung 40 gemäß einer weiteren Ausführungsform. Die Artikelübertragungsvorrichtung 40 hat im Wesentlichen die gleiche Basiskonfiguration wie die vorstehend beschriebene Artikelübertragungsvorrichtung 10, außer dass die Anzahl von Kameras, die den Bildverarbeitungsbereich 16 bilden, die Anzahl der mechanischen Bereiche, die den Roboter 14 bilden, und die Anzahl von Steuerbereichen, die den Robotersteuerbereich 20 bilden, anders sind, und dass eine zweite Fördervorrichtung vorgesehen ist, an die der Roboter 14 die Artikel M überträgt. In der folgenden Beschreibung sind Komponenten, die denen in der Artikelübertragungsvorrichtung 10 entsprechen, mit den gleichen Bezugszahlen bezeichnet und kann eine weitere Beschreibung solcher Komponenten weggelassen werden. Außerdem kann die Konfiguration, die den Einzelheiten der Artikelübertragungsvorrichtung 10 zugeordnet ist und aus der früheren Beschreibung weggelassen wurde, in Verbindung mit der Konfiguration der Artikelübertragungsvorrichtung 40 nachstehend ausführlich beschrieben werden.
Die Artikelübertragungsvorrichtung 40 umfasst eine Fördervorrichtung 12, die dafür konfiguriert ist, einen Artikel M zu befördern, einen Roboter 14, der dafür konfiguriert ist, den Artikel M zu halten und zu übertragen, einen Bildaufnahmebereich 16, der dafür konfiguriert ist, ein Bild des Artikels M aufzunehmen, einen Bildverarbeitungsbereich 18, der dafür konfiguriert ist, den Bildaufnahmebereich 16 zu steuern und den Artikel M auf Grundlage von Daten des von dem Bildaufnahmebereich 16 aufgenommenen Bildes zu detektieren, und einen Robotersteuerbereich 20, der dafür konfiguriert ist, den Roboter 14 unter Verwendung der Information des von dem Bildverarbeitungsbereich 18 detektierten Artikels M zu steuern. Die Artikelübertragungsvorrichtung 40 umfasst außerdem eine zweite Fördervorrichtung 42 (nachstehend als eine Entladungsfördervorrichtung bezeichnet), an die der Roboter 14 den von der Fördervorrichtung 12 aufgegriffenen Artikel M überträgt.
Der Roboter 14 umfasst einen ersten mechanischen Bereich 14A, einen zweiten mechanischen Bereich 14B und einen dritten mechanischen Bereich 14C, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten. Der erste mechanische Bereich 14A ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 angeordnet und arbeitet derart, dass er den Artikel M in einem Arbeitsraum 22A hält und aufgreift, während er den auf der Fördervorrichtung 12 beförderten Artikel M verfolgt, und den Artikel M an die Entladungsfördervorrichtung 42 überträgt. Der zweite mechanische Bereich 14B ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 und auf der Stromabwärtsseite des ersten mechanischen Bereichs 14A in die Förderrichtung der Fördervorrichtung betrachtet angeordnet und arbeitet derart, dass er den Artikel M in einem Arbeitsraum 22B hält und aufgreift, während er den auf der Fördervorrichtung 12 beförderten Artikel M verfolgt, und den Artikel M an die Ablauffördervorrichtung 42 überträgt. Der dritte mechanische Bereich 14C ist in einer vorbestimmten Position auf einer Seite der Fördervorrichtung 12 und auf der Stromabwärtsseite des zweiten mechanischen Bereichs 14B in die Förderrichtung der Fördervorrichtung betrachtet angeordnet und arbeitet derart, dass er den Artikel M in einem Arbeitsraum 22C hält und aufgreift, während er den auf der Fördervorrichtung 12 beförderten Artikel M verfolgt, und den Artikel M an die Entladungsfördervorrichtung 42 überträgt. Die Arbeitsräume 22A, 22B und 22C sind so eingestellt, dass sie einander nicht überlappen, um zu verhindern, dass die benachbarten mechanischen Bereiche 14A, 14B und 14C einander behindern. Der erste bis dritte mechanische Bereich 14A, 14B und 14C haben im Wesentlichen die gleiche Hardwarekonfiguration.
Der Bildaufnahmebereich 16 umfasst eine erste Kamera 16A, eine zweite Kamera 16B und eine dritte Kamera 16C, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten. Die erste Kamera 16A hat ein vorbestimmtes Sichtfeld 44 (von gestrichelten Linien angezeigt), das sich längs in die Förderrichtung der Fördervorrichtung 12, so dass sie einen Teil davon umfasst, und seitlich über die gesamte Breite der Fördervorrichtung 12 erstreckt. Das Sichtfeld 44 ist in die Förderrichtung der Fördervorrichtung betrachtet in einer Position eingestellt, die dem vorstehend beschriebenen Stromaufwärtsendteil 24a des Sichtfelds 24 entspricht (vergleiche 1), aber stromaufwärts in die Förderrichtung der Fördervorrichtung betrachtet um eine festgelegte Entfernung verschoben. Das Sichtfeld der zweiten Kamera 16B ist das gleiche wie das Sichtfeld 24. Das Sichtfeld 44 der ersten Kamera 16A und das Sichtfeld 24 der zweiten Kamera 16B überlappen einander teilweise. Die dritte Kamera 16C hat ein vorbestimmtes Sichtfeld 46 (von gestrichelten Linien gezeigt), das sich längs in die Förderrichtung der Fördervorrichtung 12, so dass es einen Teil davon umfasst, und seitlich über die gesamte Breite der Fördervorrichtung 12 erstreckt. Das Sichtfeld 46 ist derart eingestellt, dass es sich 24 in die Förderrichtung der Fördervorrichtung betrachtet weiter stromabwärts von dem Stromabwärtsende des Sichtfelds 24 erstreckt. Das Sichtfeld 46 der dritten Kamera 16C und das Sichtfeld 24 der zweiten Kamera 16B überlappen sich teilweise. Die Arbeitsräume 22A und 22B des ersten und des zweiten mechanischen Bereichs 14A und 14B befinden sich innerhalb des Sichtfeldes 24 der zweiten Kamera 16B. Der Arbeitsraum 22C der dritten Kamera 14C befindet sich im Sichtfeld 46 der dritten Kamera 16C. Die erste bis dritte Kamera 16A, 16B und 16C sind über entsprechende Kamerakabel 26 mit dem Bildverarbeitungsbereich 18 verbunden. Die erste bis dritte Kamera 16A, 16B und 16C haben im Wesentlichen die gleiche Hardwarekonfiguration.
Der Robotersteuerbereich 20 umfasst einen ersten Steuerbereich 20A, der für die Steuerung des ersten mechanischen Bereichs 14A konfiguriert ist, einen zweiten Steuerbereich 20B, der für die Steuerung des zweiten mechanischen Bereichs 14B konfiguriert ist, und einen dritten Steuerbereich 20C, der für die Steuerung des dritten mechanischen Bereichs 14C konfiguriert ist. Der erste Steuerbereich 20A steuert den ersten mechanischen Bereich 14A auf Grundlage der Information über die verlagerte Position D2, so dass der erste mechanische Bereich 14A die Artikel M überträgt, indem er jeden der Vielzahl von Artikeln M hält, während er die Förderbewegung der Fördervorrichtung 12 verfolgt. Der zweite Steuerbereich 20B steuert den zweiten mechanischen Bereich 14B auf Grundlage der Information über die verlagerte Position D2, so dass der zweite mechanische Bereich 14B die Artikel M überträgt, indem er jeden der Vielzahl von Artikeln M (andere als die von den ersten mechanischen Bereich 14 aufgegriffenen Artikel M) hält, während er die Förderbewegung der Fördervorrichtung 12 verfolgt. Der dritte Steuerbereich 20C steuert den dritten mechanischen Bereich 14C auf Grundlage der zusätzlichen Information über die verlagerte Position D3 (später beschrieben), so dass der dritte mechanische Bereich 14C die Artikel M überträgt, indem er jeden der mehr Vielzahl von Artikeln M (andere als die von den ersten mechanischen Bereich 14 aufgegriffenen Artikel M) hält, während er die Förderbewegung der Fördervorrichtung 12 verfolgt. Der erste bis dritte Steuerbereich 20A, 20B und 20C sind miteinander über ein Kommunikationskabel 28 und einen Netzwerkhub 48 verbunden und sind zusammen mit dem Bildverarbeitungsbereich 18 verbunden. Der erste bis dritte Steuerbereich 20A, 20B und 20C können im Wesentlichen die gleiche Hardwarekonfiguration haben.
Der Bildverarbeitungsbereich 18 umfasst einen Artikeldetektierbereich 32, der dafür konfiguriert ist, zu bewirken, dass die erste Kamera 16A das Bild des Artikels M aufnimmt, der sich im Sichtfeld 44 befindet, und den Artikel M auf der Grundlage der Daten des von der ersten Kamera 16A aufgenommenen Bildes zu detektieren (oder anfangs zu detektieren), einen Artikelverfolgungsbereich 34, der dafür konfiguriert ist, zu bewirken, dass die zweite Kamera 16B das Bild des Artikels M aufnimmt, der sich im Sichtfeld 24 befindet, und den Artikel M auf der Grundlage der Daten des von der zweiten Kamera 16B aufgenommenen Bildes zu detektieren, und einen Hilfsverfolgungsbereich 50, der dafür konfiguriert ist, zu bewirken, dass die dritte Kamera 16C das Bild des Artikels M aufnimmt, der sich im Sichtfeld 46 befindet, und den Artikel M auf der Grundlage der Daten des von der dritten Kamera 16C aufgenommenen Bildes zu detektieren. Der Hilfsverfolgungsbereich 50 ist dafür konfiguriert, Bildaufnahme und -detektion einer Vielzahl von Artikeln M auszuführen, die sich gemäß der Förderbewegung der Fördervorrichtung 12 bewegen, wobei eine dritte Periode T3 kürzer ist als die erste Periode T1, und zusätzliche Information über die verlagerte Position D3 jedes der Vielzahl von Artikeln M wiederholt mit der dritten Periode T3 zu erlangen, wobei die zusätzliche Information über die verlagerte Position D3 auf der Information über die verlagerte Position D2 basiert.
Der Hilfsverfolgungsbereich 50 hat die Funktion, jeden der Vielzahl von Artikeln M in dem Sichtfeld 46 der dritten Kamera 16C weiterhin zu verfolgen, nachdem die Artikel M in dem Sichtfeld 24 der zweiten Kamera 16B von dem Artikelverfolgungsbereich 34 verfolgt werden. Die dritte Kamera 16C und der Hilfsverfolgungsbereich 50 sind vorgesehen, um zu bewirken, dass der dritte mechanische Bereich 14C die Artikel M aufgreift, die der erste und der zweite mechanische Bereich 14A und 14B in ihren Arbeitsräumen 22A und 22B von den Artikeln M, die der Artikelverfolgungsbereich 34 in dem Sichtfeld 24 verfolgt hat, nicht aufgegriffen haben. Die dritte Periode T3 kann gemäß der gleichen Bedingung wie die zweite Periode T2 eingestellt werden und kann gleich wie die zweite Periode T2 eingestellt werden.
Der Bildverarbeitungsbereich 18 führt die Bildaufnahme und -detektion (d. h. die Anfangsdetektion) mit der ersten Periode T1 durch den Artikeldetektierbereich 32, die Bildaufnahme und -detektion (d. h. Verfolgung) mit der zweiten Periode T2 durch den Artikelverfolgungsbereich 34 und die Bildaufnahme und -detektion (d. h. Verfolgung) mit der dritten Periode T3 durch den Hilfsverfolgungsbereich 50 gleichzeitig aus. Die erste bis dritte Kamera 16A, 16B und 16C können die Bildaufnahme mit der ersten bis dritten Periode T1, T2 und T3 gleichzeitig ausführen. Zu diesem Zeitpunkt erlangt der Hilfsverfolgungsbereich 50, wobei die Anfangswerte der Positions- und Ausrichtungswerte (oder nur der Positionswert) genommen werden, die in der Information über die verlagerte Position D2 enthalten sind, die wiederholt durch den Artikelverfolgungsbereich 34 von dem Artikel M erlangt werden, und genauer die letztendliche Information über die verlagerte Position D2, die von dem Artikel M erlangt wird, der in das Sichtfeld 46 der dritten Kamera 16C eingetreten ist, kontinuierlich und wiederholt die zusätzliche Information über die verlagerte Position D3, die sich konstant ändernde Positions- und Ausrichtungswerte (oder nur den Positionswert) (d. h. das Maß der Änderung) des Artikels M darstellt, durch wiederholtes Ausführen der Bildaufnahme und -detektion des Artikels M mit der dritten Periode T3.
In dem Bildverarbeitungsbereich 18 wird die von dem Artikeldetektierbereich 32 erlangte Information über die Anfangsposition D1 jedes Artikels M zur Artikelverfolgung durch den Artikelverfolgungsbereich 34 verwendet und wird gleichzeitig die in Form des früher beschriebenen Pakets α zusammengesetzte Information über die Anfangsposition D1 nur an den ersten Steuerbereich 20A geschickt. In dieser Ausführungsform transportiert das Paket α zusätzlich zu der vorstehend beschriebenen Information eine Kamerakennung, die die erste Kamera 16A angibt, die die Bilddaten erlangt hat, auf deren Basis die Information über die Anfangsposition D1 erstellt wurde. Außerdem werden in dem Bildverarbeitungsbereich 18 die Information über die verlagerte Position D2 jedes Artikels M, die wiederholt durch den Artikelverfolgungsbereich 34 erlangt wird, und die zusätzliche Information über die verlagerte Position D3 jedes Artikels M, die wiederholt von dem Hilfsverfolgungsbereich 50 erlangt wird, jedes Mal, wenn die Information erlangt wird, in Form des vorstehend beschriebenen Pakets β zusammengesetzt und werden an alle des ersten bis dritten Steuerbereichs 20A, 20B und 20C geschickt. In dieser Ausführungsform transportiert das Paket β zusätzlich zu der vorstehend beschriebenen Information eine Kamerakennung, die die zweite oder dritte Kamera 16B oder 16C angibt, die die Bilddaten erlangt hat, auf deren Grundlage die Information über die verlagerte Position D2 oder die zusätzliche Information über die verlagerte Position D3 erstellt wurde.
Auf Grundlage der Information des von dem Bildverarbeitungsbereich 18 empfangenen Pakets α erstellt der erste Steuerbereich 20A Artikelinformation, um zu bewirken, dass der erste bis dritte mechanische Bereich 14A, 14B und 14C Artikel M halten, und setzt die Artikelinformation in der Form des zuvor vorstehend beschriebenen Pakets γ zusammen. Die in dem Paket γ transportierte Information umfasst, zusätzlich zu der Information des Pakets α, die Information über die verlagerte Position D2 oder die zusätzliche Information über die verlagerte Position D3 und die Artikelbildaufnahmezeit, die in der Information des Pakets β transportiert wird, das von dem Bildverarbeitungsbereich 18 eine beliebige Anzahl von Malen empfangen wurde bis zu dem Mal, das das zuletzt empfangene enthält. Da jeder Artikel M von dem ersten mechanischen Bereich 14A aufgegriffen und von der Fördervorrichtung 12 entfernt wird, löscht der erste Steuerbereich 20A die Information des Pakets γ, die den Artikel M betrifft; andererseits überträgt für jeden nicht von dem ersten mechanischen Bereich 14A von der Fördervorrichtung 12 entfernten Artikel M der erste Steuerbereich 20A die Information des Pakets γ an den zweiten Steuerbereich 20B. Der zweite Steuerbereich 20B, der die Information des Pakets γ von dem ersten Steuerbereich 20A empfängt, löscht die Information des Pakets γ, wenn der Artikel M von dem zweiten mechanischen Bereich 14B aufgegriffen und von der Fördervorrichtung 12 entfernt wird; andererseits überträgt für jeden nicht von dem zweiten mechanischen Bereich 14B von der Fördervorrichtung 12 entfernten Artikel M der zweite Steuerbereich 20B die Information des Pakets γ an den dritten Steuerbereich 20BC.
Der erste bis dritte Steuerbereich 20A, 20B und 20C vergleichen jeweils die Information des Pakets β, die konstant von dem Bildverarbeitungsbereich 18 übertragen wird, mit der momentan gehaltenen Information des Pakets γ, um die Anwesenheit des Artikels M zu erkennen, der dabei ist, in den Arbeitsraum 22A, 22B oder 22C des entsprechenden des ersten bis dritten mechanischen Bereichs 14A, 14B oder 14C einzutreten, oder momentan den Arbeitsraum 22A, 22B oder 22C durchquert. Dann steuern der erste und der zweite Steuerbereich 20A und 20B jeder den ersten oder den zweiten mechanischen Bereich 14A bzw. 14B unter Verwendung der in dem Paket β transportierten Information über die verlagerte Position D2 des Artikels M, der dem Artikel M entspricht, deren Anwesenheit erkannt wurde. Der dritte Steuerbereich 20C steuert den dritten mechanischen Bereich 14C unter Verwendung der in dem Paket β transportierten zusätzlichen Information über die verlagerte Position D3 des Artikels M, der dem Artikel M entspricht, dessen Anwesenheit erkannt wurde. Unter Steuerung des entsprechenden Steuerbereichs halten der erste bis dritte mechanische Bereich 14A, 14B und 14C jeweils den Artikel M und greifen ihn auf, während sie die Förderbewegung der Fördervorrichtung 12 verfolgen, und übertragen den Artikel M von der Fördervorrichtung 12 an die Entladungsfördervorrichtung 42.
Die Entladungsfördervorrichtung 42 ist Seite an Seite mit der Fördervorrichtung 12 in einer im Wesentlichen parallelen Beziehung in einer Position angeordnet, in der der erste bis dritte mechanische Bereich 14A, 14B und 14C die Aufgabe der Übertragung der Artikel M ausführen können. Die Entladungsfördervorrichtung 42 umfasst ein bekanntes Förderelement, das dazu in der Lage ist, eine Vielzahl von Artikeln M in eine Richtung zu befördern (in der Zeichnung die durch Pfeil W angegebene Richtung) durch Halten der Artikel M darauf, und einen bekannten Antriebsmechanismus zum Antreiben des Förderelements auf eine kontinuierliche oder intermittierende Weise. Die Entladungsfördervorrichtung 42 ist mit einem Kodierer 52 zum Detektieren des Bewegungsausmaßes des Förderelements ausgestattet. Das von dem Kodierer 52 detektierte Bewegungsausmaß wird an den ersten Steuerbereich 20A geschickt und wird von dem ersten bis dritten Steuerbereich 20A, 20B und 20C geteilt, die über ein Kommunikationsnetzwerk miteinander verbunden sind.
Eine Vielzahl von Schalen 54, die jeweils in der Lage sind, eine vorbestimmte Anzahl von Artikeln M in einer vorbestimmten Anordnung zu halten, werden auf der Entladungsfördervorrichtung 42 befördert. Die Entladungsfördervorrichtung 42 ist mit einem Photozellensensor 56 zum Detektieren der Ankunft jeder Wanne 54 an einer festgelegten Position ausgestattet. Auf den Empfang eines Detektionssignals einer Wanne 54 von dem Photozellensensor 56 hin liest der erste Steuerbereich 20A das Bewegungsausmaß der Entladungsfördervorrichtung 42 von dem Kodierer 52 und speichert den gelesenen Wert als den Anfangswert; dann kann durch Vergleichen des konstant aktualisierten Detektionswerts des Kodierers 52 mit dem gespeicherten Anfangswert die gegenwärtige Position der Schale 54 bestimmt werden.
Jede Schale 54 ist in der Lage, eine Vielzahl von Artikeln M entsprechend einem vorbestimmten Anordnungsmuster 58 zu halten. 6A zeigt ein Beispiel für das Anordnungsmuster 58 der Artikel M in der Schale 54. Das Anordnungsmuster 58 umfasst vier Musterelemente P1, P2, P3 und P4, die jeweils die Position eines Artikels M darstellen. In dem in 6A gezeigten Beispiel ist eine Anordnungsform 59 (6B) dargestellt, die die Musterelemente P1, P2, P3 und P4 durch deren Koordinatenwerte (X, Y) und relative Drehwinkel Φ in einem Koordinatensystem 57 definiert, dessen Ursprung sich an der oberen rechten Ecke der Schale 54 in einem zweidimensionalen Bild befindet. Wie in der dargestellten Anordnungsform 59 gezeigt, sind die Koordinatenwerte von P1, P2, P3 und P4(X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2) und die Drehwinkel von P1, P2, P3 und P4 0°C, –90°C, 90°C und 180°C.
Der erste bis dritte Steuerbereich 20A, 20B und 20C steuern den ersten bis dritten mechanischen Bereich 14A, 14B und 14C derart, dass die Artikel M einer nach dem anderen gemäß dem Anordnungsmuster 58 mit den vorstehend beschriebenen Musterelementen P1, P2, P3 und P4 in der Schale 54 platziert werden. In 6A sind vier Pfeilspitzen-förmige Artikel M gezeigt, die gemäß dem Anordnungsmuster 58 in der Schale angeordnet sind. In der Zeichnung sind die Musterelemente P1, P2, P3 und P4 jeweils durch ein Zeichen „+” zum besseren Verständnis gekennzeichnet, die Musterelemente P1, P2, P3 und P4 selber brauchen jedoch keine Formen zu haben. Außerdem sind in der Zeichnung die vier Artikel M in dem Anordnungsmuster 58 angeordnet gezeigt durch Eintragen der geometrischen Mittelpunkte der zweidimensionalen äußeren Formen der entsprechenden Artikel M mit den Musterelementen P1, P2, P3 und P4, aber alternativ können andere geeignet an den entsprechenden Artikeln M definierte gemeinsame Punkte mit den entsprechenden Musterelementen P1, P2, P3 und P4 eingetragen werden.
7 zeigt ein Beispiel für die Hardwarekonfiguration jedes des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder des Robotersteuerbereichs 20 (1). Jeder des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder der Robotersteuerbereich 20 ist mit einer CPU 60 ausgestattet, die einen Mikroprozessor umfasst. Ein ROM 62, ein RAM 64, ein SRAM 66, ein digitaler Signalprozessor (DSP) Datenspeicher 68 und ein digitaler Signalprozessor (DSP) 70 sind mit der CPU 60 über einen Bus 71 verbunden. Der ROM 62A speichert ein Programm zum Steuern des gesamten Systems und der RAM 64 speichert vorübergehend von der CPU 60 zu verarbeitende Daten. Der SRAM 66 speichert ein Betriebsprogramm und Einstellungsdaten für jeden des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder den Roboter 14. Der DSP 70 ist ein Prozessor zum Verarbeiten von von dem Kodierer 52 ausgegebenen Signalen und der DSP-Datenspeicher 68 speichert Einstellungsparameter und von dem DSP 70 verarbeitete Daten. Der DSP 70 hat die Funktion des Detektierens einer Ausgabe von dem Kodierer 52 zu einem gegebenen Zeitpunkt gemäß einer Anweisung von der CPU 60 und des Schreibens des Ergebnisses in einen zugeordneten Bereich in dem DSP-Datenspeicher 68.
Jeder des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder der Robotersteuerbereich 20 umfasst einen Achsensteuerbereich 72 zum Steuern des entsprechenden der mechanischen Bereiche 14A, 14B und 14C oder des Roboters 14. Der Achsensteuerbereich 72 ist mit dem entsprechenden der mechanischen Bereiche 14A, 14B und 14C oder dem Roboter 14 über eine Servoschaltung 74 verbunden. Mit dieser Konfiguration können jeder des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder der Robotersteuerbereich 20 den entsprechenden der mechanischen Bereiche 14A, 14B und 14C oder den Roboter 14 steuern. Jeder des ersten bis dritten Steuerbereichs 20A, 20B und 20C oder der Robotersteuerbereich 20 umfasst außerdem eine Kommunikationsschnittstelle 76 und eine Eingangs/Ausgangsschnittstelle 78 und kann über diese Schnittstellen mit den anderen beiden der Steuerbereiche 20A, 20B und 20C und mit dem Bildverarbeitungsbereich 18 sowie peripheren Vorrichtungen, wie beispielsweise dem Photozellensensor 56, kommunizieren.
8 zeigt ein Beispiel für die Hardwarekonfiguration des Bildverarbeitungsbereichs 18. Der Bildverarbeitungsbereich 18 ist mit einer CPU 80 ausgestattet, die einen Mikroprozessor umfasst. Ein ROM 82, ein RAM 84, eine Bildschirmschnittstelle 88 zur Verbindung mit einem externen Bildschirm 86 und eine Kameraschnittstelle zur Verbindung mit jeder der ersten bis dritten Kamera 16A, 16B und 16C oder dem Bildaufnahmebereich 16 (1) sind über einen Bus 92 mit der CPU 80 verbunden. Von jeder der ersten bis dritten Kamera 16A, 16B und 16C oder dem Bildaufnahmebereich 16 aufgenommene Bilder werden in dem RAM 84 über die Kameraschnittstelle 90 gespeichert. Die Kameraschnittstelle 90 kann jede der Kameras 16A, 16B und 16C unabhängig von den anderen steuern, so dass ein Bildaufnahmevorgang immer mit einer bestimmten Zeitsteuerung unabhängig von den Bildaufnahmebedingungen der Kameras 16A, 16B und 16C ausgeführt werden kann. Die in dem RAM 84 gespeicherten Daten werden von der CPU 80 analysiert und von dem Bildverarbeitungsbereich 18 als die Information erlangt, die die Position und Ausrichtung jedes Artikels M darstellt (Information über die Anfangsposition D1, Information über die verlagerte Position D2 und zusätzliche Information über die verlagerte Position D3). Der Bildverarbeitungsbereich 18 kann auch Information über die äußeren Erscheinungseigenschaften, wie beispielsweise die Form und die Farbe des Artikels M, von dem in dem RAM 84 gespeicherten Daten erlangen. Der ROM 82 speichert ein Analyseprogramm und verschiedene Einstellungsinformationen für den Bildverarbeitungsbereich 18. Die CPU 80 unterstützt sogenannte Multi-Core, Multi-Threaded-Vorgänge und kann die Analyse der von der ersten bis dritten Kamera 16A, 16B und 16C aufgenommenen Bilddaten gleichzeitig ausführen. Der Bildverarbeitungsbereich 18 umfasst außerdem eine Kommunikationsschnittstelle 94 und eine Eingabe/Ausgabeschnittstelle 96 und kann über diese Schnittstellen mit jedem der Steuerbereiche 20A, 20B und 20C und peripheren Vorrichtungen kommunizieren.
Wie in 9 gezeigt, können jeder der Steuerbereiche 20A, 20B und 20C oder der Robotersteuerbereich 20 und der Bildverarbeitungsbereich 18 in einer einzigen gemeinsamen Steuervorrichtung 98 integriert sein. Die CPU 80 in dem Bildverarbeitungsbereich 18 ist mit der CPU 60 in jedem der Steuerbereiche 20A, 20B und 20C oder dem Robotersteuerbereich 20 über einen Bus 100 in der Steuervorrichtung 98 verbunden. Die CPU 80 in dem Bildverarbeitungsbereich 18 kann auf den SRAM 66 zugreifen, um verschiedene Einstellungsinformationen zu speichern, oder auf den DSP-Datenspeicher 68 zugreifen, um Information des Kodierers 52 über die CPU 60 in jedem der Steuerbereiche 20A, 20B und 20C oder dem Robotersteuerbereich 20 zu lesen. Außerdem kann die CPU 80 in dem Bildverarbeitungsbereich 18 je nach Bedarf mit der Kommunikationsschnittstelle 76 und der Eingangs/Ausgangsschnittstelle 78 über die CPU 60 in jedem der Steuerbereiche 20A, 20B und 20C oder dem Robotersteuerbereich 20 verbunden werden. In diesem Fall können die Kommunikationsschnittstelle 94 und die Eingabe/Ausgabeschnittstelle 96 weggelassen werden.
In der Steuervorrichtung 98 können die CPU 60, der ROM 62 und der RAM 64 in jedem der Steuerbereiche 20A, 20B und 20C oder dem Robotersteuerbereich 20 als Ersatz für CPU 80, ROM 82 und RAM 84 in dem Bildverarbeitungsbereich 18 verwendet werden. 10 zeigt die Steuervorrichtung 98 mit einer solchen vereinfachten Hardwarekonfiguration.
11 zeigt in Funktionsblockform die verschiedenen Bereiche, die in den Bildverarbeitungsbereich 18 und den ersten bis dritten Steuerbereich 20A, 20B und 20C der Artikelübertragungsvorrichtung 40 integriert sind, um Information bezüglich der Artikel M und Information bezüglich der Arbeit des Aufgreifens und Übertragens für die Artikel M zu handhaben. In der Zeichnung zeigen Pfeile den Ablauf der Information bezüglich der Artikel M und den Ablauf der Information bezüglich der Arbeit des Aufgreifens und Übertragens für die Artikel M.
Wie in 11 gezeigt, umfassen der erste bis dritte Steuerbereich 20A, 20B und 20C Arbeitsinhalteinstellbereiche 102A, 102B und 102C. Die Arbeitsinhalteinstellbereiche 102A, 102B und 102C stellen den Arbeitsinhalt bezüglich der Arbeit des Aufgreifens und Übertragens von Artikeln, wie beispielsweise das Arbeitsteilungsverhältnis zwischen dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C (5), das Anordnungsmuster 58 der Artikel M in der Schale 54 und die Arbeitsräume 20A, 22B und 22C (5) auf der Fördervorrichtung 12, dar. Der durch einen der Arbeitsinhalteinstellbereiche 102A, 102B und 102C eingestellte Arbeitsinhalt kann über ein Kommunikationsnetzwerk an jeglichen anderen der Arbeitsinhalteinstellbereiche 102A, 102B und 102C in den Steuerbereichen 20A, 20B, 20C so übertragen werden, dass der Arbeitsinhalt zwischen den Arbeitsinhalteinstellbereichen 102A, 102B und 102C in den Steuerbereichen 20A, 20B und 20C geteilt werden kann.
Das Arbeitsteilungsverhältnis zwischen dem ersten bis dritten Steuerbereich 14A, 14B und 14C wird nachstehend beschrieben. Als Beispiel wird eine Situation betrachtet, in der die Artikel M1, M2, M3, M4, die in dieser Reihenfolge von oben wie in 12 gezeigt angeordnet sind, auf der Fördervorrichtung 12 befördert werden und den Arbeitsbereichen 22A, 22B und 22C (5) zugeführt werden und von dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C (5) aufgegriffen werden und an die Schale 54 auf der Entladungsfördervorrichtung 42 übertragen werden, so dass die Artikel M1, M2, M3, M4 in dem vorstehend beschriebenen Anordnungsmuster 58 angeordnet sind. Ein Beispiel für die von den entsprechenden mechanischen Bereichen 14A, 14B und 14C ausgeführte Arbeit des Aufgreifens und Übertragens ist nachstehend für den Fall beschrieben, in dem das Arbeitsteilungsverhältnis zwischen dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C in der vorstehend beschriebenen Situation auf 1:1:1 eingestellt ist.
Zuerst greift von dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C (5) der in der am weitesten stromaufwärts gelegenen Position angeordnete erste mechanische Bereich 14A den ersten zugeführten Artikel M1 von der Fördervorrichtung 12 auf und platziert ihn gemäß dem Anordnungsmuster 58 auf dem Musterelement P1 in der Schale 54. Dann lässt der erste mechanische Bereich 14A die Artikel M2 und M3 passieren, so dass der zweite und dritte mechanische Bereich 14B und 14C stromabwärts sie derart handhaben können, dass das festgelegte Arbeitsteilungsverhältnis R = 1:1:1 erfüllt ist, und greift danach den letzten Artikel M4 auf und platziert ihn gemäß dem Anordnungsmuster 58 auf dem Musterelement P2 in der Schale 54. Der zweite mechanische Bereich 14B greift den Artikel M2, den ersten der zwei Artikel, den der erste mechanische Bereich 14A passieren lässt, von der Fördervorrichtung 12 auf und platziert ihn gemäß dem Anordnungsmuster 58 auf dem Musterelement P3 in der Schale 54. Dann greift der dritte mechanische Bereich 14C den verbleibenden Artikel M3 von der Fördervorrichtung 12 auf und platziert ihn gemäß dem Anordnungsmuster 58 auf dem Musterelement P4 in der Schale 54. Zu diesem Zeitpunkt ist das Teilungsverhältnis der Arbeit des Aufgreifens und Übertragens zwischen dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C 2:1:1.
Wenn eine Vielzahl von Artikeln M (nicht gezeigt) auf Artikel M1 bis M4 folgend zugeführt werden, lässt der erste mechanische Bereich 14A die ersten zwei Artikel M passieren, um das festgelegte Arbeitsteilungsverhältnis R = 1:1:1 zu erfüllen, und greift danach den dritten Artikel M auf und überträgt ihn in die nächste Schale 54. Dann greifen der zweite und der dritte mechanische Bereich 14B und 14C jeweils einen der Artikel auf, die der erste mechanische Bereich 14A hat passieren lassen, und übertragen ihn in die nächste Schale 54. Zu diesem Zeitpunkt beträgt das Teilungsverhältnis der Arbeit des Aufgreifens und Übertragens zwischen dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C 3:2:2. Durch Wiederholung dieses Prozesses führen der erste bis dritte mechanische Bereich 14A, 14B und 14C die Arbeit des Aufgreifens und Übertragens an sämtlichen auf der Fördervorrichtung 12 beförderten Artikeln M aus, bis letztendlich das Arbeitsteilungsverhältnis R = 1:1:1 erfüllt ist.
In dem Beispiel für die vorstehend beschriebene Arbeit greifen der erste bis dritte mechanische Bereich 14A, 14B und 14C die Vielzahl von Artikeln M von der Fördervorrichtung 12 in der Reihenfolge auf, in der die Artikel M zugeführt werden, und übertragen sie in die Schale 54 in der Reihenfolge der Musterelemente P1 bis P4 in dem Anordnungsmuster 58. Außerdem bestimmen, um das Teilungsverhältnis am nächsten an dem Arbeitsteilungsverhältnis R zu erreichen, der erste bis dritte mechanische Bereich 14A, 14B und 14C in dieser Reihenfolge, ob die entsprechenden Artikel M aufgegriffen werden sollen oder nicht. Eine erwünschte Arbeitsregel kann im Voraus durch den Nutzer der Artikelübertragungsvorrichtung 40 bestimmt werden und kann im Voraus in dem SRAM 66 in dem ersten bis dritten Steuerbereich 20A, 20B und 20C gespeichert werden.
Wieder mit Bezugnahme auf 11 umfasst der erste Steuerbereich 20A einen Schalendetektierbereich 104, einen Informationsverwaltungsbereich 106A und einen Arbeitsausführungsbereich 108A. Der zweite Steuerbereich 20B umfasst einen Informationsverwaltungsbereich 106B und einen Arbeitsausführungsbereich 108B. Der dritte Steuerbereich 20C umfasst einen Informationsverwaltungsbereich 106C und einen Arbeitsausführungsbereich 108C.
Der Schalendetektierbereich 104 detektiert die Schale 54 (5) auf Grundlage einer Eingabe eines Schalendetektionssignals von dem Photozellensensor 56 (5), liest den Detektionswert von dem Kodierer 52 (5) der Entladungsfördervorrichtung 42 (5) zu dem Zeitpunkt der Detektion und überträgt den Detektionswert an den Informationsverwaltungsbereich 106A. Wenn die Position des Photozellensensors 56 und die Bewegungsrichtung der Entladungsfördervorrichtung 42 im Vorhinein von dem Arbeitsinhalteinstellbereich 102A einem Roboterkoordinatensystem des ersten mechanischen Bereichs 14A (5) zugeordnet werden (in der Ausführungsform gemäß 1 das Fördervorrichtungskoordinatensystem 30), kann der Informationsverwaltungsbereich 106A die Position der detektierten Schale 54 und die Koordinatenwerte und relativen Drehwinkel der Musterelemente P1 bis P4 des Anordnungsmusters 58 (12) in dem Roboterkoordinatensystem unter Verwendung des Detektionswerts des Kodierers 52 erlangen, das auf die Detektion der Schale von dem Schalendetektierbereich 104 hin übertragen wird. Information betreffend die Koordinatenwerte und relativen Drehwinkel der Musterelemente P1 bis P4 wird vorübergehend in dem Informationsverwaltungsbereich 106A gespeichert, aber Information bezüglich jegliches der Musterelemente P1 bis P4, auf denen der erste mechanische Bereich 14A den Artikel M nicht platziert hat, wird als die Information des Pakets γ an den Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B über das Kommunikationsnetzwerk übertragen. Auf ähnliche Weise wird von der in dem Informationsverwaltungsbereich 106B gespeicherten Information der Musterelemente P1 bis P4 Information bezüglich jeglicher der Musterelemente P1 bis P4, auf denen der zweite mechanische Bereich 14B den Artikel M nicht platziert hat, als die Information des Pakets γ an den Informationsverwaltungsbereich 106C im dritten Steuerbereich 20C über das Kommunikationsnetzwerk übertragen.
Wie in 11 gezeigt, umfasst der Bildverarbeitungsbereich 18 zusätzlich zu dem Artikeldetektierbereich 32, dem Artikelverfolgungsbereich 34 und dem Hilfsverfolgungsbereich 50 einen Bedingungseinstellbereich 110 und einen Artikelverwaltungsbereich 112. Der Bedingungseinstellbereich 110 stellt verschiedene Bedingungen zum Detektieren oder Verfolgen jedes Artikels M ein, wie beispielsweise ein Lehrmodellbild für den zu detektierenden oder verfolgenden Artikel M, zur Artikeldetektion verwendete Parameter (Koordinatenwerte, Drehwinkel, Abmessungen usw.) und Kalibrierdaten für die erste bis dritte Kamera 16A, 16B, 16C (5). Der Bedingungseinstellbereich 110 kann Information betreffend die Arbeitsräume 22A, 22B und 22C des ersten bis dritten mechanischen Bereichs 14A, 14B und 14C (5) durch Kommunikation mit dem Arbeitsinhalteinstellbereich 102A in dem ersten Steuerbereich 20A erlangen.
Der Artikeldetektierbereich 32 beginnt die Anfangsdetektion des Artikels M unter Verwendung der ersten Kamera 16A, wenn die Fördervorrichtung 12 sich für eine vorbestimmte Periode ab dem Beginn der Arbeit bewegt hat. Alternativ kann die Anfangsdetektion des Artikels M begonnen werden, wenn ein externer Sensor, wie beispielsweise ein Photozellensensor (nicht gezeigt), die Bewegung der Fördervorrichtung 12 für eine vorbestimmte Zeitperiode detektiert hat. Der Artikeldetektierbereich 32 kann die Information über die Anfangsposition D1 (5) des Artikels M unter Verwendung jeglicher bekannter verschiedener Detektionsalgorithmen erlangen, wie beispielsweise eines Verfahrens, das den Artikel M durch Suchen nach einem Bild, das mit einem im Voraus eingetragenen Modellbild übereinstimmt, aus den von der ersten Kamera 16A aufgenommenen Bildern (beispielsweise eines Verfahrens normalisierter Korrelation) detektiert, eines Verfahrens, das die Kontur des Artikels M aus dem im Voraus eingetragenen Modellbild extrahiert und auf Grundlage der Information der detektierten Kontur die Positionsinformation des Artikels M in dem von der ersten Kamera 16A aufgenommenen Bild erlangt (beispielsweise ein Verfahren generalisierter Hough-Transformation), oder eines Verfahrens, das die Positionsinformation des Artikels M durch Detektion aus dem von der ersten Kamera 16A aufgenommenen Bild einer Region mit einer Bereichsgröße erlangt, die in einen im Voraus eingetragenen Bereich fällt (beispielsweise ein Blob-Detektionsverfahren).
Auf eine erfolgreiche Anfangsdetektion des Artikels M hin setzt der Artikeldetektierbereich 32 eine Markierung (nachstehend als eine Neudetektionsmarkierung bezeichnet), die anzeigt, dass der detektierte Artikel M ein neu detektierter ist, und überträgt die Neudetektionsmarkierung an den Artikelverwaltungsbereich 112 zusammen mit solcher Information wie der Information über die Anfangsposition D1 des detektierten Artikels M, der Kamerakennung der ersten Kamera 16A, die zur Aufnahme des Bildes des Artikels M verwendet wird, der Bildaufnahmezeit des Artikels M und der Neuartikelkennung des Artikels M. Der Artikelverwaltungsbereich 112 überträgt diese von dem Artikeldetektierbereich 32 empfangenen Informationen an den Artikelverfolgungsbereich 34, während auch die Information als die Information des Pakets α an den Informationsverwaltungsbereich 106A in dem ersten Steuerbereich 20A übertragen wird.
Der Artikelverfolgungsbereich 34 beginnt die Verfolgung des Artikels M unter Verwendung der zweiten Kamera 16B, wenn der Artikel M, der der von dem Artikelverwaltungsbereich 112 empfangenen Information über die Anfangsposition D1 entspricht, in das Sichtfeld 24 (5) der zweiten Kamera 16B eingetreten ist. Der Artikelverfolgungsbereich 34 verfolgt den Artikel M, indem er die von dem Artikelverwaltungsbereich 112 empfangene Information über die Anfangsposition D1 des Artikels M als den Anfangswert nimmt. Die dem Artikel M zugeordnete eindeutige Artikelkennung zum Zeitpunkt der Anfangsdetektion durch den Artikeldetektierbereich 32 wird während des gesamten von dem Artikelverfolgungsbereich 34 ausgeführten Prozesses aufrechterhalten. Das Verfolgen des Artikels M durch den Artikelverfolgungsbereich 34 wird nacheinander durch Vergleichen der verschiedenen Informationen (Positionsinformation und Information über die äußeren Erscheinungseigenschaften), die zum Zeitpunkt der momentanen Bildaufnahme erlangt werden, mit den unterschiedlichen Informationen, die zum Zeitpunkt der vorhergehenden oder einer früheren Bildaufnahme erlangt werden, auf Grundlage der Bilddaten ausgeführt, die die zweite Kamera 16B durch Aufnahme des Bildes des Artikels M wiederholt mit der extrem kurzen zweiten Periode D2 erzeugt hat. Als der Detektionsalgorithmus zum Ausführen dieser Art von nacheinander Verfolgung kann beispielsweise Partikelfilterung (auch als Partikelfilter- oder sequenzielles Monte-Carlo-Verfahren bezeichnet), das ein nichtlineares, nicht-Gauß'sches System schätzen kann, verwendet werden (für Partikelfilterung siehe beispielsweise das „Journal of the Robotics Society of Japan, Vol. 29, Nr. 5, S. 427–430, 2011”).
Der Artikelverfolgungsbereich 34 überträgt Information, wie beispielsweise die während der Verfolgung erlangte aktuellste Information über die verlagerte Position D2 (5) des Artikels M, die Kamerakennung der zur Aufnahme des Bildes des Artikels M verwendeten zweiten Kamera 16B, die Bildaufnahmezeit des Artikels M und die Artikelkennung des Artikels M nacheinander an den Artikelverwaltungsbereich 112. Der Artikelverwaltungsbereich 112 überträgt diese von dem Artikelverfolgungsbereich 34 empfangenen Informationen weiter an den Hilfsverfolgungsbereich 50, während er auch die Information als die Information des Pakets β an die Informationsverwaltungsbereiche 106A, 106B und 106C in dem ersten bis dritten Steuerbereich 20A, 20B und 20C überträgt.
Der Hilfsverfolgungsbereich 50 beginnt die Verfolgung des Artikels M unter Verwendung der dritten Kamera 16C, wenn der Artikel M, der der von dem Artikelverwaltungsbereich 112 empfangenen Information über die verlagerte Position D2 entspricht, in das Sichtfeld 46 (5) der dritten Kamera 16C eingetreten ist.
Der Hilfsverfolgungsbereich 50 verfolgt den Artikel M, indem er als den Anfangswert die von dem Artikelverwaltungsbereich 112 empfangene Information über die verlagerte Position D2 nimmt, wenn der Artikel M in das Sichtfeld 46 (5) der dritten Kamera 16C eingetreten ist. Der von dem Hilfsverfolgungsbereich 50 ausgeführte Verfolgungsprozess ist im Wesentlichen der gleiche wie der von dem vorstehend beschriebenen Artikelverfolgungsbereich 34 ausgeführte Verfolgungsprozess, abgesehen davon, dass die dritte Kamera 16C zur Aufnahme des Bildes des Artikels M verwendet wird. Der Hilfsverfolgungsbereich 50 überträgt Information, wie beispielsweise die während der Verfolgung erlangte aktuellste zusätzliche Information über die verlagerte Position D3 (5) des Artikels M, die Kamerakennung der zur Aufnahme des Bildes des Artikels M verwendeten dritten Kamera 16C, die Bildaufnahmezeit des Artikels M und die Artikelkennung des Artikels M, nacheinander an den Artikelverwaltungsbereich 112. Der Artikelverwaltungsbereich 112, der diese von dem Hilfsverfolgungsbereich 50 empfangenen Informationen empfängt, überträgt die Information als die Information des Pakets β an die Informationsverwaltungsbereiche 106A, 106B und 106C in dem ersten bis dritten Steuerbereich 20A, 20B und 20C.
Anstatt des vorstehend beschriebenen Partikelfilterverfahrens können der Artikelverfolgungsbereich 34 und der Hilfsverfolgungsbereich 50 als den Detektionsalgorithmus zur Artikelverfolgung jeglichen verschiedener bekannter Mustererkennungsalgorithmen verwenden, wie beispielsweise das Verfahren normalisierter Korrelation, das Verfahren generalisierter Hough-Transformation oder das Blob-Detektionsverfahren, wie in dem Artikeldetektierbereich 32. Das Verfahren normalisierter Korrelation, das Verfahren generalisierter Hough-Transformation, das Blob-Detektionsverfahren usw. bieten in der Regel eine höhere Detektionsgenauigkeit als das Partikelfilterverfahren, aber die Verarbeitungsgeschwindigkeit ist geringer. Bei Verwendung des normalisierten Korrelationsverfahrens, des Verfahrens generalisierter Hough-Transformation oder des Blob-Detektionsverfahrens oder dergleichen als das Verfahren zur Artikelverfolgung kann eine Verlängerung der für die Verfolgung erforderlichen Zeit durch Verschmälerung des Bereichs des Detektionsparameters (Koordinationswerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) oder des Detektionssuchbereichs in dem von der zweiten oder dritten Kamera 16B oder 16C aufgenommenen zweidimensionalen Bild im Vergleich zu dem von dem Artikeldetektierbereich 32 für die Anfangsdetektion verwendeten Bereich verhindert werden. Wenn beispielsweise der Drehwinkel als der Detektionsparameter verwendet wird, erlangt der Artikeldetektierbereich 32 die Information über die Anfangsposition D1 des Artikels M durch Ausführen der Anfangsdetektion, beispielsweise innerhalb des Bereichs von ±180 Grad, da zu diesem Zeitpunkt die Position und Ausrichtung des Artikels M unbekannt sind; wenn andererseits der Artikelverfolgungsbereich 34 und der Hilfsverfolgungsbereich 50 das Verfahren normalisierter Korrelation, Verfahren generalisierter Hough-Transformation oder Blob-Detektionsverfahren oder dergleichen verwenden, können der Artikelverfolgungsbereich 34 und der Hilfsverfolgungsbereich 50 die Artikeldetektion (Verfolgung) durch Verschmälerung des Bereichs auf innerhalb ±5 Grad in der Annahme ausführen, dass die Position und Ausrichtung sich gegenüber dem Ergebnis der Anfangsdetektion oder vorhergehenden Verfolgung nicht wesentlich ändern.
Als Nächstes wird ein Beispiel für den von dem Artikelverfolgungsbereich 34 (11) ausgeführten Prozess zum Verfolgen der Artikel M in dem Bildverarbeitungsbereich 18 mit Bezugnahme auf 13 beschrieben. Der von dem Hilfsverfolgungsbereich 50 ausgeführte Verfolgungsprozess (11) in dem Bildverarbeitungsbereich 18 ist im Wesentlichen der gleiche wie der nachstehend beschriebene von dem Artikelverfolgungsbereich 34 ausgeführte Verfolgungsprozess.
Wie in 13 gezeigt, wird eine Vielzahl von auf eine beliebige Weise angeordneten Artikeln M auf der Fördervorrichtung 12 befördert; hier hält, wenn einer der Artikel M sich innerhalb des Arbeitsraumes 22A befindet, der erste mechanische Bereich 14A den Artikel M und greift ihn auf und wenn ein anderer der Artikel M sich innerhalb des Arbeitsraumes 22B befindet, hält der zweite mechanische Bereich 14B den Artikel M und greift ihn auf. Andererseits nimmt die zweite Kamera 16B die Bilder sämtlicher sich im Sichtfeld 24 befindender Artikel wiederholt mit der zweiten Periode T2 auf. Die Rechenlast des den Verfolgungsprozess ausführenden Artikelverfolgungsbereichs 34 wird hauptsächlich durch die Größe der von der zweiten Kamera 16B aufgenommenen Bilddaten, den Typ des für die Artikeldetektion verwendeten Algorithmus, die Anzahl von zu detektierenden Artikeln M und den Bereich des Artikeldetektionsparameters bestimmt. Geht man davon aus, dass die Anzahl von zu detektierenden Artikeln M und der verwendete Algorithmus jeweils die gleichen sind, kann die Rechenlast des Artikelverfolgungsbereichs 34 durch Reduzierung der Auflösung der Bilddaten oder durch Verschmälerung des Bereichs des Detektionsparameters reduziert werden.
Die Auflösung, d. h. die Größe der von der zweiten Kamera 16B aufgenommenen Bilddaten wirkt sich auf die Genauigkeit aus, mit der der Artikelverfolgungsbereich 34 jeden Artikel M detektiert, was wiederum die Genauigkeit des von dem ersten und dem zweiten mechanischen Bereich 14A und 14B ausgeführten Artikelhaltevorgangs beeinflusst. In der Realität sind innerhalb der Arbeitsräume 22A und 22B des ersten und des zweiten mechanischen Bereichs 14A und 14B hohe Detektionsgenauigkeit und hohe Betriebsgenauigkeit erforderlich, wohingegen außerhalb der Arbeitsräume 22A und 20B die Detektionsgenauigkeit keine Relevanz für den von dem ersten und dem zweiten mechanischen Bereich 14A und 14B ausgeführten Haltevorgang hat. In Anbetracht dieser Tatsache kann, wenn die Auflösung der außerhalb der Arbeitsräume 20A und 22B verwendeten Bilddaten im Vergleich zu denen der innerhalb der Arbeitsräume 22 an 22B verwendeten Bilddaten in dem Sichtfeld 24 der zweiten Kamera 16B reduziert wird, die Rechenlast des Artikelverfolgungsbereichs 34 reduziert werden.
Wie in 11 gezeigt, kommuniziert der Bedingungseinstellbereich 110 in dem Bildverarbeitungsbereich 18 mit dem Arbeitsinhalteinstellbereich 102A in dem ersten Steuerbereich 20A und erlangt Information über die Stellen auf der Fördervorrichtung 12 der Arbeitsräume 22A und 22B des ersten und des zweiten mechanischen Bereichs für 14A und 14B als Positionsinformation in dem Fördervorrichtungskoordinatensystem 30. Der Artikelverfolgungsbereich 34 kann dafür konfiguriert sein, einen sich innerhalb des Arbeitsraumes 22A, 22B befindenden Artikel M unter Verwendung von Bilddaten mit einer ersten Auflösung, die einer erforderlichen Detektionsgenauigkeit entspricht, zu detektieren und einen sich außerhalb des Arbeitsraumes 22A, 22B befindenden Artikel M unter Verwendung der Bilddaten mit einer zweiten Auflösung, die geringer ist als die erste Auflösung, auf Grundlage der von dem Bedingungseinstellbereich 110 erlangten Information der Arbeitsräume 22A und 22B zu detektieren. Diese Konfiguration dient dazu, die Rechenlast des Artikelverfolgungsbereichs 34 im Vergleich zu der Konfiguration zu reduzieren, in der sämtliche sich im Sichtfeld 24 der zweiten Kamera 16B befindenden Artikel unter Verwendung der Bilddaten mit der ersten Auflösung detektiert werden. In dem Hilfsverfolgungsbereich 50 kann die Rechenlast des Verfolgungsprozesses auch unter Verwendung einer ähnlichen Technik reduziert werden.
In der vorstehend beschriebenen Konfiguration ist der Artikelverfolgungsbereich 34 dafür konfiguriert, die Bilddaten mit der ersten Auflösung (oder hohen Auflösung), die durch Bildnahme des Inneren der Arbeitsbereiche 22A, 22B des ersten und des zweiten mechanischen Bereichs 14A und 14B (13) aufgenommen werden, und die Bilddaten mit der zweiten Auflösung (oder niedrigen Auflösung), die durch Bildnahme des Äußeren der Arbeitsräume 22A und 22B aufgenommen werden, erlangen zu können. Auf ähnliche Weise ist der Hilfsverfolgungsbereich 50 dafür konfiguriert, die Bilddaten mit der ersten Auflösung, die durch Bildnahme des Inneren der Arbeitsraums 22C des dritten mechanischen Bereichs 14C (5) aufgenommen werden, und die Bilddaten der zweiten Auflösung, die durch Bildnahme des äußeren des Arbeitsraumes 22C aufgenommen werden, erlangen zu können. Um die Daten mit unterschiedlichen Auflösungen zu erlangen, können die zweite oder dritte Kamera 16B oder 16C mit einem Umschaltmechanismus 114 (4) ausgestattet sein, der dafür konfiguriert ist, eine Auflösung zwischen der ersten Auflösung und der zweiten Auflösung zu wechseln. In dieser Konfiguration nehmen die zweite oder dritte Kamera 16B oder 16C Bilder vom gesamten Sichtfeld 24 oder 46 mit der ersten Auflösung wie auch der zweiten Auflösung auf, so dass der Artikelverfolgungsbereich 34 oder der Hilfsverfolgungsbereich 50 die sich innerhalb der Arbeitsräume 22A und 22B oder des Arbeitsraumes 22C befindenden Artikel M unter Verwendung der Bilddaten mit der ersten Auflösung detektieren kann und die sich außerhalb der Arbeitsräume 22A und 22B oder des Arbeitsraumes 22C befindenden Artikel M unter Verwendung der Bilddaten mit der zweiten Auflösung detektieren kann. Wenn die zweite oder dritte Kamera 16B oder 16C nicht mit dem Umschaltmechanismus 114 ausgestattet ist, nimmt die zweite oder dritte Kamera 16B oder 16C ein Bild vom Sichtfeld 24 oder 46 mit einer festgelegten Auflösung auf; in diesem Fall kann der Artikelverfolgungsbereich 34 oder der Hilfsverfolgungsbereich 50 die Bilddaten mit der zweiten Auflösung zusätzlich zu den Bilddaten mit der ersten Auflösung durch Reduzierung der Auflösung der Bilddaten unter Verwendung einer bekannten Bildverarbeitungstechnik erlangen.
Anstatt der oder zusätzlich zu der vorstehend beschriebenen Konfiguration mit auswählbarer Auflösung kann der Artikelverfolgungsbereich 34 so konfiguriert sein, dass er einen oder den anderen von zwei Detektionsalgorithmen auswählen und verwenden kann, von denen der erste Detektionsalgorithmus eine erste Verarbeitungsgeschwindigkeit und erste Genauigkeit gewährleistet und der zweite Detektionsalgorithmus eine zweite Verarbeitungsgeschwindigkeit, die höher ist als die erste Verarbeitungsgeschwindigkeit, und oder eine zweite Genauigkeit, die geringer ist als die erste Genauigkeit, gewährleistet. In diesem Fall kann der Artikelverfolgungsbereich 34 dafür konfiguriert sein, einen sich innerhalb der Arbeitsräume 22A und 22B des ersten und des zweiten mechanischen Bereichs 14A und 14B befindenden Artikel M unter Verwendung des ersten Detektionsalgorithmus zu detektieren und einen sich außerhalb der Arbeitsräume 22A und 22B befindenden Artikel M unter Verwendung des zweiten Detektionsalgorithmus zu detektieren. Das normalisierte Korrelationsverfahrens, Verfahren generalisierter Hough-Transformation oder Blob-Detektionsverfahren oder dergleichen können als der erste Detektionsalgorithmus verwendet werden. Andererseits kann das Partikelfilterverfahren als der zweite Algorithmus verwendet werden. Der Verfolgungsbereich 50 kann auf ähnliche Weise konfiguriert sein.
Beispielsweise detektiert der Artikelverfolgungsbereich 34 aus den Bilddaten, die die zweite Kamera 16B durch Bildnahme des gesamten Sichtfeldes 24 mit der zweiten Auflösung (oder der niedrigen Auflösung) erzeugt hat, die Artikel M in dem gesamten Sichtfeld 24 unter Verwendung des zweiten Detektionsalgorithmus (oder dem Partikelfilterverfahren). In dem von dem Artikelverfolgungsbereich 34 ausgeführten Verfolgungsprozess wird diese Artikeldetektion als ein vorbereitender Schritt für den Schritt des Erlangens der genauen Information über die verlagerte Position D2 jedes Artikels M ausgeführt. Als Nächstes detektiert der Artikelverfolgungsbereich 34 aus den Bilddaten, die die zweite Kamera 16B durch Bildnahme des gesamten Sichtfeldes 24 mit der ersten Auflösung (oder der hohen Auflösung) erzeugt hat, oder genauer aus den Bilddaten eines Bereichs, der den ersten und den zweiten Arbeitsraum 22A und 22B enthält, und etwas größer ist als die Arbeitsräume 22A und 22B, einen beliebigen Artikel M, von dem sich mindestens ein Teil innerhalb eines oder des anderen der Arbeitsräume 22A und 22B befindet, unter Verwendung des ersten Detektionsalgorithmus (oder des normalisierten Korrelationsverfahrens, Verfahrens generalisierter Hough-Transformation oder Blob-Detektionsverfahrens). In dem von dem Artikelverfolgungsbereich 34 ausgeführten Verfolgungsprozess wird diese Artikeldetektion als ein ergänzender Schritt zu dem Schritt des Erlangens der genauen Information über die verlagerte Position D2 jedes Artikels M ausgeführt. Bei Verwendung des ersten Detektionsalgorithmus (oder des normalisierten Korrelationsverfahrens, Verfahrens generalisierter Hough-Transformation oder Blob-Detektionsverfahrens) kann, da der Bereich, der die Artikel M enthält, bereits in einem gewissen Ausmaß innerhalb des Bereichs des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) durch die unter Verwendung des zweiten Detektionsalgorithmus (oder dem Partikelfilterverfahren) ausgeführte vorbereitende Detektion geschmälert ist, eine Verlängerung der für die Verfolgung erforderlichen Zeit verhindert werden, indem der Bereich des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) entsprechend geschmälert wird.
Für jegliche sich innerhalb der gemeinsamen Arbeitsräume 22A und 22B befindenden Artikel M kann der Artikelverfolgungsbereich 34 den Verfolgungsprozess unter Verwendung von Detektionsalgorithmen ausführen, die unterschiedliche Verarbeitungsgeschwindigkeiten und unterschiedliche Genauigkeiten erreichen. Beispielsweise kann die Detektion, die den ersten Detektionsalgorithmus (mit hoher Auflösung) verwendet, nur auf einer festgelegten Anzahl von Artikeln M ausgeführt werden, wie von der Stromabwärtsseite in die Förderrichtung gezählt, die mit hoher Wahrscheinlichkeit von dem ersten oder dem zweiten mechanischen Bereich 14A oder 14B aufgegriffen werden. Beispielsweise kann, wenn die Hand des ersten oder zweiten mechanischen Bereichs 14A oder 14B dafür konfiguriert ist, zwei Artikel M zusammenhalten zu können, der Artikelverfolgungsbereich 34 dafür konfiguriert sein, von der Stromabwärtsseite gezählt nur zwei Artikel mit hoher Genauigkeit in jedem Zyklus des Artikelverfolgungsprozesses, der wiederholt ausgeführt wird, zu detektieren. Gemäß dieser Konfiguration kann die Rechenlast des Artikelverfolgungsbereichs 34 durch Reduzierung der Anzahl von zu detektierenden Artikeln M erleichtert werden.
Die Artikelübertragungsvorrichtung 10 gemäß 1 kann auf ähnliche Weise wie vorstehend beschrieben konfiguriert sein. In der Artikelübertragungsvorrichtung 10 kann der Artikelverfolgungsbereich 34 dafür konfiguriert sein, Bilddaten mit einer ersten Auflösung, die durch Bildnahme des Inneren des Arbeitsraumes 22 aufgenommen werden, wo der Roboter 14 die Artikelaufgreifarbeit ausführt, und Bilddaten mit einer zweiten Auflösung, die durch Bildnahme des Äußeren des Arbeitsraumes 22 aufgenommen werden, zu erlangen, wobei die zweite Auflösung der Bilddaten mit der zweiten Auflösung geringer ist als die erste Auflösung der Bilddaten mit der ersten Auflösung; und kann auch dafür konfiguriert sein, einen sich innerhalb des Arbeitsraumes 22 befindenden Artikel M unter Verwendung der Bilddaten mit der ersten Auflösung zu detektieren und einen sich außerhalb des Arbeitsraums 22 befindenden Artikel M unter Verwendung der Bilddaten mit der zweiten Auflösung zu detektieren.
Außerdem kann in der Artikelübertragungsvorrichtung 10 der Artikelverfolgungsbereich 34 dafür konfiguriert sein, entweder einen ersten Detektionsalgorithmus, der eine erste Verarbeitungsgeschwindigkeit und eine erste Genauigkeit gewährleistet, oder einen zweiten Detektionsalgorithmus, der eine zweite Verarbeitungsgeschwindigkeit und eine zweite Genauigkeit gewährleistet, auszuwählen, wobei die zweite Verarbeitungsgeschwindigkeit höher ist als die erste Verarbeitungsgeschwindigkeit und die zweite Genauigkeit geringer ist als die erste Genauigkeit, und den ausgewählten der Detektionsalgorithmen zu verwenden; und kann auch dafür konfiguriert sein, einen sich innerhalb des Arbeitsraumes 22 des Roboters 14 befindenden Artikel M unter Verwendung des ersten Detektionsalgorithmus zu detektieren und einen sich außerhalb des Arbeitsraumes 22 befindenden Artikel M unter Verwendung des zweiten Detektionsalgorithmus zu detektieren.
Als Nächstes wird ein weiteres Beispiel für den von dem Artikelverfolgungsbereich 34 (11) in dem Bildverarbeitungsbereich 18 ausgeführten Prozess der Verfolgung der Artikel M mit Bezugnahme auf 14 beschrieben. Der von dem Hilfsverfolgungsbereich 50 (11) ausgeführte Verfolgungsprozess in dem Bildverarbeitungsbereich 18 ist im Wesentlichen der gleiche wie der vorstehend beschriebene von dem Artikelverfolgungsbereich 34 ausgeführte Verfolgungsprozess.
Wie in 14 gezeigt, wird eine Situation betrachtet, in der zwei Artikel M1 und M2, von denen einer den anderen auf der Fördervorrichtung 12 überlappt, dem Arbeitsraum 22B des zweiten mechanischen Bereichs 14B zugeführt werden. In dieser Situation wird davon ausgegangen, dass der Artikel M2, dessen Hauptteil von dem Artikel M1 verdeckt ist, anfangs von dem Artikeldetektierbereich 32 (11) nicht detektiert werden konnte. Für den Artikel M2, der anfangs nicht detektiert werden konnte, wird die Information des Pakets α nicht an den ersten Steuerbereich 20A (11) geschickt und wird somit die Information des Pakets γ nicht erstellt; dementsprechend erkennt der zweite Steuerbereich 20B (11) die Anwesenheit des Artikels M2 nicht. Für den Artikel M1, der anfangs von dem Artikeldetektierbereich 32 detektiert wurde, erkennt der zweite Steuerbereich 20B andererseits die Anwesenheit aus der Information des Pakets γ.
In der vorstehend beschriebenen Situation trifft der zweite Steuerbereich 20B eine Entscheidung, ob der Artikel M1 gemäß dem von dem Arbeitsinhalteinstellbereich 102B (11) eingestellten Arbeitsteilungsverhältnis aufgegriffen werden soll oder nicht. Wenn entschieden wird, den Artikel M1 aufzugreifen, und der zweite mechanische Bereich 14B den Artikel M1 gemäß einer Anweisung von dem Arbeitsausführbereich 108A von der Fördervorrichtung 12 aufgreift, wird der Artikel M2 belichtet und von der zweiten Kamera 16B ein Bild davon aufgenommen. Der Artikelverfolgungsbereich 34 in dem Bildverarbeitungsbereich 18, der nicht erkennt, dass der zweite mechanische Bereich 14B den Artikel M1 von der Fördervorrichtung 12 aufgegriffen hat, versucht, den Artikel M1 weiterhin zu verfolgen. Das bedeutet, der Artikelverfolgungsbereich 34 erlangt weiterhin wiederholt die Information über die verlagerte Position D2, bis eine vorbestimmte Zeit ab dem Moment vergeht, in dem der Roboter 14 (der zweite mechanische Bereich 14B) den Artikel M1 aufgegriffen hat. Der Artikel M2, dessen Aussehen dem des Artikels M1 ähnlich ist, wird von dem Artikelverfolgungsbereich 34 auf eine ähnliche Weise wie die Detektion des Artikels M1 detektiert.
Wenn der Wert des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) für den Artikel M2 auf der Fördervorrichtung 12 genau gleich wie für den Artikel M1 wäre, würde der Artikelverfolgungsbereich 34 den Artikel M2 weiterhin als den Artikel M1 verfolgen. Wenn der Wert des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) für den Artikel M2 auf der Fördervorrichtung 12 sich andererseits von dem für den Artikel M1 unterscheidet, wie hier gezeigt, verfolgt der Artikelverfolgungsbereich 34 den Artikel M2 als einen neu detektierten Artikel M. Wenn der Artikelverfolgungsbereich 34 den Artikel M1 in dem Arbeitsraum 22B verfolgt, wenn die vorbereitende Detektion des Artikels M1 zuerst unter Verwendung des zweiten Detektionsalgorithmus (mit niedriger Auflösung) (oder dem Partikelfilterverfahren) ausgeführt wird und dann die ergänzende Detektion des Artikels M1 unter Verwendung des ersten Detektionsalgorithmus (mit hoher Auflösung) (oder des normalisierten Korrelationsverfahrens, Verfahrens generalisierter Hough-Transformation oder Blob-Detektionsverfahrens) durch Verschmälerung des Bereichs des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.), wie vorstehend beschrieben, ausgeführt wird, wird es möglicherweise schwierig, den Artikel M2 danach zu detektieren, für den sich der Detektionsparameter (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) von dem des ersten Artikels M1 unterscheidet. Somit vergrößert der Artikelverfolgungsbereich 34, wenn er den Artikel M1 bei der zusätzlichen Detektion nicht detektieren konnte, obwohl er die Anwesenheit eines Artikels detektiert hat, der bei der vorbereitenden Detektion wie der Artikel M1 ausgesehen hat, den Bereich des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) um ein vorbestimmtes geeignetes Ausmaß und versucht wiederholt die ergänzende Detektion des Artikels M1 unter Verwendung des ersten Detektionsalgorithmus (oder des normalisierten Korrelationsverfahrens, Verfahrens generalisierter Hough-Transformation oder Blob-Detektionsverfahrens). In dem Beispiel gemäß 14 befinden sich die Artikel M1 und M2 ungefähr in der gleichen Position; der einzige Unterschied ist ihre Ausrichtung. Aus diesem Grund kann der Artikelverfolgungsbereich 34, wenn der Bereich des Drehwinkels als der Detektionsparameter, der auf ±5 Grad verschmälert wurde, beispielsweise auf ±180 Grad verbreitert wird, den Artikel M1 (eigentlich Artikel M2) dann detektieren.
Der Artikelverfolgungsbereich 34, der den Artikel M2 als den Artikel M1 detektiert hat, berücksichtigt, dass sich die Ausrichtung des Artikels M1 während dessen Verfolgung geändert hat, und behandelt den Artikel M1, dessen Ausrichtung sich geändert hat (eigentlich Artikel M2), als einen neu detektierten Artikel M. Die Positionsinformation des von dem Artikelverfolgungsbereich 34 neu detektierten Artikels M wird auf die gleiche Weise wie die Information über die Anfangsposition D1 verarbeitet. Der Artikelverfolgungsbereich 34 stellt eine Neudetektionsmarkierung für den neu detektierten Artikel M (der Artikel M2) ein und überträgt diese Neudetektionsmarkierung an den Artikelverwaltungsbereich 112 zusammen mit Information wie beispielsweise der Positionsinformation (die der Information über die Anfangsposition D1 entspricht) des detektierten Artikels M, der Kamerakennung der zur Aufnahme des Bildes des Artikels M verwendeten Kamera 16B, der Bildaufnahmezeit des Artikels M und der Neuartikelkennung des Artikels M. In der Regel überträgt der Artikelverwaltungsbereich 112, der die Information von dem Artikelverfolgungsbereich 34 empfangen hat, die Information als das Paket β an den ersten bis dritten Steuerbereich 20A, 20B, 20C, wie vorstehend beschrieben, aber wenn die von dem Artikelverfolgungsbereich 34 empfangene Information die Neudetektionsmarkierung transportiert, überträgt der Artikelverwaltungsbereich 112 diese Informationen als die Information des Pakets α nur an den Informationsverbreitungsbereich 106A in dem ersten Steuerbereich 20A.
In dem Beispiel aus 14 erstellt, da der Artikel M2 den Arbeitsraum 22A des ersten mechanischen Bereichs 14A (5) bereits passiert hat und in den Arbeitsbereich 22B des zweiten mechanischen Bereichs 14B eingetreten ist, der Informationsverwaltungsbereich 106A die Information des Pakets γ auf Grundlage der Information des von dem Artikelverfolgungsbereich 34 über den Artikelverwaltungsbereich 112 empfangenen Pakets α und überträgt die Information des Pakets γ unmittelbar an den Informationsverwaltungsbereich 106B in dem Steuerbereich 20B. Der Informationsverwaltungsbereich 106B, der erkennt, dass der zweite mechanische Bereich 14B den Artikel M1 von der Fördervorrichtung 12 aufgegriffen hat, löscht die Information des Pakets γ betreffend den Artikel M1 und speichert die Information des Pakets γ betreffend den neuen Artikel M (den Artikel M2) und trifft eine Entscheidung, ob der neue Artikel M (der Artikel M2) gemäß dem von dem Arbeitsinhalteinstellbereich 102B eingestellten Arbeitsteilungsverhältnis aufgegriffen werden soll oder nicht.
Selbst wenn die Position des Artikels M auf der Fördervorrichtung 12 verlagert wird, kann der Artikelverfolgungsbereich 34, nachdem der Artikeldetektierbereich 32 (11) die Information über die Anfangsposition D1 des Artikels M erlangt hat, den Artikel M durch Ausführen von im Wesentlichen dem gleichen Verfolgungsprozess wie dem vorstehend beschriebenen Verfolgungsprozess, der ausgeführt wird, wenn die Artikel einander überlappen, verfolgen. Beispielsweise detektiert in der in 14 gezeigten Situation, wenn der Teil des Artikels M2, der von dem Artikel M1 verdeckt ist, klein ist, der Artikeldetektierbereich 32 anfangs beide Artikel M1 und M2. Der Artikelverfolgungsbereich 34 verfolgt beide Artikel M1 und M2 und wenn die Artikel M1 und M2 in den Arbeitsraum 22B des zweiten mechanischen Bereichs 14B eintreten, steuert der zweite Steuerbereich 20B (11) den zweiten mechanischen Bereich 14B derart, dass er den Artikel M2 vor dem verdeckten Artikel M1 aufgreift, da sich der Artikel M2 stromabwärts des Artikels M1 befindet. Wenn der Artikel M2 zuerst aufgegriffen wird, ist die Wahrscheinlichkeit groß, dass die Position des Artikels M1, der nicht mehr getragen wird, auf der Fördervorrichtung 12 verlagert wird.
Wenn die Position des Artikels M1 auf der Fördervorrichtung 12 verlagert wird, führt der Artikelverfolgungsbereich 34 den Verfolgungsprozess aus, indem er den Artikel M1 als einen neuen Artikel betrachtet. Zu diesem Zeitpunkt kann die ungefähre Position des Artikels M1 nach der Positionsverlagerung durch Ausführen der vorbereitenden Detektion unter Verwendung des zweiten Algorithmus (oder des Partikelfilterverfahrens) bestimmt werden. Nach der vorbereitenden Detektion wird der Detektionsbereich auf den Bereich verschmälert, der die dadurch bestimmte ungefähre Position enthält, und kann durch Ausführen der ergänzenden Detektion unter Verwendung des ersten Detektionsalgorithmus (oder des normalisierten Korrelationsverfahrens, Verfahrens generalisierter Hough-Transformation oder Blob-Detektionsverfahrens), die genaue Information über die verlagerte Position D2 des Artikels M1 nach der Positionsverlagerung erlangt werden. Wenn das Ausmaß der Positionsverlagerung des Artikels M1 auf der Fördervorrichtung 12 so groß ist, dass der Artikel M1 nicht durch die ergänzende Detektion detektiert werden kann, sollte die ergänzende Detektion wiederholt durch Verbreiterung des Bereichs des Detektionsparameters (Koordinatenwerte, Drehwinkel, Abmessungen, Bereichsgröße usw.) um ein vorbestimmtes geeignetes Maß versucht werden, wie in dem vorstehend beschriebenen Verfolgungsprozess ausgeführt, wenn die Artikel einander überlappen.
Als Nächstes werden mit Bezugnahme auf die Ablaufdiagramme gemäß 15 bis 22 die von dem in 11 gezeigten Bildverarbeitungsbereich 18 und dem Robotersteuerbereich 20 ausgeführten Verarbeitungsabläufe (dem ersten bis dritten Steuerbereich 20A, 20B, 20C) ausführlich beschrieben.
15 zeigt den Ablauf, in dem der Informationsverwaltungsbereich 112 in dem Bildverarbeitungsbereich 18 Artikelinformation von dem Artikeldetektierbereich 32, dem Artikelverfolgungsbereich 34 und dem Hilfsverfolgungsbereich 50 empfängt und diese als die Information des Pakets α oder die Information des Pakets β an die Informationsverwaltungsbereiche 106A, 106B und 106C in dem ersten bis dritten Steuerbereich 20A, 20B und 20C überträgt. Zuerst empfängt in Schritt S10 der Artikelverwaltungsbereich 112 von dem Artikeldetektierbereich 32, dem Artikelverfolgungsbereich 34 oder dem Hilfsverfolgungsbereich 50 geschickte Information. Die Artikelinformation wird für jeden detektierten Artikel M geschickt. In Schritt S11 überprüft der Artikelverwaltungsbereich 112, ob die empfangene Artikelinformation Information ist, die nicht dafür geeignet ist, an den ersten bis dritten Steuerbereich geschickt zu werden (d. h. ob der Artikelinformation eine (später beschriebene) Übertragungsdeaktivierungsmarkierung hinzugefügt werden soll). Wenn eine solche Übertragungsdeaktivierungsmarkierung angehängt wird, kehrt der Prozess zu Schritt S10 zurück und wartet, bis die nächste Artikelinformation empfangen wird. Wenn keine solche Übertragungsdeaktivierungsmarkierung angehängt wird, fährt der Artikelverwaltungsbereich 112 mit Schritt S12 fort und überprüft, ob der detektierte Artikel ein neu detektierter Artikel ist (ob eine Neudetektionsmarkierung der Artikelinformation angehängt ist oder nicht). Wenn die Neudetektionsmarkierung angehängt ist, erstellt der Artikelverwaltungsbereich 112 ein Paket α in Schritt S13 und schickt das Paket α an den ersten Steuerbereich 20A. Da die in dem Paket α enthaltene Information über die Anfangsposition D1 des Artikels M Information ist, die dafür notwendig ist, dass der Artikelverfolgungsbereich 34 mit der Verfolgung des Artikels M beginnt, schickt der Artikelverwaltungsbereich 112 in Schritt S15 die in dem Paket α transportierte Information (nachstehend als eine Information über einen neuen Artikel bezeichnet) an den Artikelverfolgungsbereich 34.
Wenn in Schritt S12 die Neudetektionsmarkierung nicht an die Artikelinformation angehängt wird, erstellt der Artikelverwaltungsbereich 112 in Schritt S16 ein Paket β und schickt das Paket β in Schritten S17, S18 und S19 an die Informationsverwaltungsbereiche 106A, 106B und 106C in dem ersten bis dritten Steuerbereich 20A, 20B und 20C. Als Nächstes überprüft in Schritt S20 der Artikelverwaltungsbereich 112, ob die in Schritt S10 empfangene Artikelinformation die von der zweiten Kamera 16B erzeugte ist. Wenn die Information eine Information ist, die nicht von der zweiten Kamera 16B erzeugt wurde, kehrt der Prozess zu Schritt S10 zurück und wartet, bis die nächste Artikelinformation empfangen wird. Wenn die Information die Information ist, die von der zweiten Kamera 16B erzeugt wird, kann die in dem Paket β enthaltene Information über die verlagerte Position D2 des Artikels M Information sein, die dafür notwendig ist, dass der Hilfsverfolgungsbereich 50 mit der Verfolgung des Artikels M beginnt, so dass der Artikelverwaltungsbereich 112 in Schritt 21 die in dem Paket β transportierte Information an den Hilfsverfolgungsbereich 50 schickt. Wenn der vorstehend beschriebene Prozess abgeschlossen ist, kehrt der Prozess zu Schritt S10 zurück und wartet, bis die nächste Artikelinformation empfangen wird.
16 zeigt den Ablauf des von dem Artikelverfolgungsbereich 34 in dem Bildverarbeitungsbereich 18 ausgeführten Verfolgungsprozesses. Der Artikelverfolgungsbereich 34 führt den Verfolgungsprozess des Artikels M wiederholt aus, wobei ein Zeitgeber in Zeitintervallen getrieben wird, die der zweiten Periode T entsprechen, und verarbeitet geeignet die Information über einen neuen Artikel jedes Mal, wenn diese von dem Artikelverwaltungsbereich 112 empfangen wird. Zuerst empfängt in Schritt S30 der Artikelverfolgungsbereich 34 ein Zeitgeberunterbrechungssignal, das in vorbestimmten Zeitintervallen auftritt, oder empfängt Information über einen neuen Artikel von dem Artikelverwaltungsbereich 112 und überprüft in Schritt S31, ob das Unterbrechungssignal empfangen wird oder nicht. Wenn das empfangene Signal nicht das Unterbrechungssignal ist (d. h. wenn Information über einen neuen Artikel empfangen wird), zeichnet der Artikelverfolgungsbereich 34 in Schritt 37 den neu zu verfolgenden Artikel in einer im Voraus gespeicherten Artikelverfolgungsliste auf, aktualisiert die Artikelverfolgungsliste somit und kehrt dann zum Schritt S30 zurück, um auf den nächsten Empfang zu warten. Andererseits startet, wenn das Unterbrechungssignal empfangen wird, der Artikelverfolgungsbereich 34 den Verfolgungsprozess für den gegenwärtigen Zyklus. Der Artikelverfolgungsbereich 34 erlangt in Schritt S32 zweidimensionale Bilddaten, die durch Bildnahme des Sichtfelds 24 der zweiten Kamera 16B (5) mit der ersten Auflösung (oder der hohen Auflösung) erzeugt werden, und erlangt in Schritt S33 zweidimensionale Bilddaten, die durch Bildnahme des Sichtfelds 24 mit der zweiten Auflösung (oder der niedrigen Auflösung) erzeugt werden.
Die in Schritt S32 erlangten Bilddaten mit der ersten Auflösung werden für die „zusätzliche Detektion” (18) in Schritt S35 verwendet und die in Schritt S33 erlangten Bilddaten der zweiten Auflösung werden für die „vorbereitende Detektion” (17) in Schritt S34 verwendet. In Schritt S35 detektierte Information betreffend den Artikel M wird durch den in Schritt S36 ausgeführten „Artikelinformationsübertragungsprozess” (19) an den Artikelverwaltungsbereich 112 geschickt. Nach dem Schicken der Information des Artikels M an den Artikelverwaltungsbereich 112 aktualisiert der Artikelverfolgungsbereich 34 die Aufnahmezeit und Bewegungsbildinformation D2 des in der Artikelverfolgungsliste transportierten enthaltenen Artikels M, so dass die in dem nächsten Zyklus des an dem gleichen Artikel M auszuführenden Verfolgungsprozesses aktualisierte Information in der „vorbereitenden Detektion” und der „ergänzenden Detektion” verwendet werden kann; wenn bei der ergänzenden Detektion irgendein Artikel M neu entdeckt wird, wird der neu entdeckte Artikel M der Artikelverfolgungsliste hinzugefügt. Nach Aktualisierung der Artikelverfolgungsliste kehrt der Prozess zu Schritt S30 zurück und wartet auf den Empfang des nächsten Unterbrechungssignals oder Information über einen neuen Artikel.
17 zeigt den detaillierten Ablauf des in dem Ablaufdiagramm gemäß 16 umgesetzten Schrittes der vorbereitenden Detektion S34. Die vorbereitende Detektion wird unter Verwendung der Bilddaten mit der zweiten Auflösung (oder der niedrigen Auflösung) ausgeführt. In Schritt S40 liest der Artikelverfolgungsbereich 34 das erlangte Bild mit der zweiten Auflösung (oder der niedrigen Auflösung). Als Nächstes liest in Schritt S41 der Artikelverfolgungsbereich die Artikelverfolgungsliste, die die Information des in dem gegenwärtigen Prozess zu verfolgenden Artikels M enthält. Der Verfolgungsprozess wird für jeden Artikel M in der somit gelesenen Artikelverfolgungsliste ausgeführt. In Schritt S42 initialisiert der Artikelverfolgungsbereich 34 auf 1 eine Zählervariable „i”, die anzeigt, dass der in dem gegenwärtigen Prozess zu verfolgende Artikel M der „i-te” Artikel in der Artikelverfolgungsliste ist. In Schritt S43 wird die Zählervariable i mit der Anzahl von in der Artikelverfolgungsliste enthaltenen Artikeln verglichen. Wenn die Zählervariable i größer ist als die Anzahl von Artikeln, wird die vorbereitende Detektion durch Bestimmen, dass die Verfolgung sämtlicher in der Artikelverfolgungsliste enthaltenen Artikel M abgeschlossen ist, abgeschlossen. Wenn die Zählervariable i nicht größer ist als die Anzahl von Artikeln M, fährt der Artikelverfolgungsbereich 34 mit Schritt S44 fort, um die vorbereitende Detektion des dritten Artikels M in der Artikelverfolgungsliste auszuführen. In diesem Prozess wird das Partikelfilterverfahren als der vorbereitende Detektionsalgorithmus ausgewählt; es kann aber auch ein anderer geeigneter Detektionsalgorithmus ausgewählt werden.
Als Nächstes bestimmt in Schritt S45 der Artikelverfolgungsbereich 34, ob die ungefähre Positionsinformation des zu verfolgenden Artikels M als das Ergebnis der vorbereitenden Detektion erlangt wurde (das heißt, ob die vorbereitende Detektion erfolgreich durchgeführt wurde); wenn die vorbereitende Detektion erfolgreich durchgeführt wurde, fährt der Artikelverfolgungsbereich 34 mit Schritt S46 fort und aktualisiert die in der Artikelverfolgungsliste transportierte Information, wie beispielsweise die Positionsinformation, Bildaufnahmezeit usw. des Artikels M, mit der in dem gegenwärtigen Prozess erlangten Information. Wenn die vorbereitende Detektion nicht erfolgreich durchgeführt wurde, legt dies nahe, dass der zu verfolgende Artikel M physisch von der Fördervorrichtung 12 verschwunden ist, da beispielsweise der erste oder der zweite mechanische Bereich 14A oder 14B den Artikel M aufgegriffen haben; deshalb wird in Schritt S47 die Information des Artikels M von der Artikelverfolgungsliste gelöscht, so dass der Artikel M nicht weiter verfolgt wird. In dem Ablaufdiagramm gemäß 17 wird, wenn die Detektion beim ersten Versuch misslungen ist, die Artikelinformation gelöscht, kann jedoch alternativ, wenn die Detektion misslungen ist, die vorbereitende Detektion wiederholt versucht werden, und wenn die vorbereitende Detektion dreimal nacheinander misslungen ist, kann die Artikelinformation gelöscht werden; auf diese Weise kann die Bedingung für das Löschen der Artikelinformation je nach Wunsch geändert werden. Während der Periode, in der die vorbereitende Detektion des zu verfolgenden Artikels M wiederholt versucht wird, kann die Fördergeschwindigkeit der Fördervorrichtung 12 aus dem Ergebnis der Verfolgung eines anderen Artikels berechnet werden und können unter Verwendung der somit berechneten Fördergeschwindigkeit und des Zeitintervalls zwischen den Artikelbildaufnahmezeiten in der vorhergehenden und gegenwärtigen vorbereitenden Detektion die gegenwärtige Position und Ausrichtung des zu verfolgenden Artikels M vorausgesagt werden und kann die Positionsinformation dementsprechend aktualisiert werden. Wenn die Aktualisierung oder Löschung der Artikelinformation abgeschlossen ist, fährt der Artikelverfolgungsbereich 34 mit Schritt 48 fort, um die Zählervariable um 1 zu erhöhen, und kehrt dann zu Schritt 43 zurück, um den Wert der Zählervariable i auszuwerten.
18 zeigt den ausführlichen Ablauf des in dem Ablaufdiagramm gemäß 16 umgesetzten Schrittes S35 der ergänzenden Detektion. Die ergänzende Detektion wird unter Verwendung der Bilddaten mit der ersten Auflösung (oder der hohen Auflösung) ausgeführt, die durch Bildnahme der Arbeitsräume 22A, 22B und 22C des ersten bis dritten mechanischen Bereichs 14A, 14B und 14C erzeugt wird. In Schritt S50 initialisiert der Artikelverfolgungsbereich 34 auf 1 die Zählervariable i, die anzeigt, dass der entsprechende des ersten bis dritten mechanischen Bereichs 14A, 14B und 14C der i-te mechanische Bereich von der Stromaufwärtsseite ist. Als Nächstes wird in Schritt S51 die Zählervariable i mit der Gesamtanzahl des ersten bis dritten mechanischen Bereichs 14A, 14B und 14C (in der vorliegenden Ausführungsform drei) verglichen und wenn die Zählervariable i größer ist als die Gesamtanzahl, wird die zusätzliche Detektion in dem gegenwärtigen Verfolgungsprozess beendet. Wenn die Zählervariable i nicht größer ist als die Gesamtanzahl, fährt der Artikelverfolgungsbereich 34 mit Schritt S52 fort, um zu überprüfen, ob der Arbeitsraum des i-ten mechanischen Bereichs sich innerhalb des Sichtfeldes 24 der zweiten Kamera 16B befindet. Wenn sich der Arbeitsbereich des i-ten mechanischen Bereiches innerhalb des Sichtfelds 24 befindet, werden die durch Bildnahme des Arbeitsraumes des i-ten mechanischen Bereichs erzeugten Bilddaten mit der ersten Auflösung (oder der hohen Auflösung) in Schritt S53 gelesen. Die Überprüfung, ob sich der Arbeitsraum im Sichtfeld befindet, kann durch Umwandeln der Koordinatenwerte des Arbeitsraumes in dem Roboterkoordinatensystem in die Koordinatenwerte in dem Kamerakoordinatensystem ausgeführt werden oder dadurch, dass der Nutzer den Arbeitsraum im Voraus als den Verfolgungsraum festlegt. In der Ausführung gemäß 5 wird, da der Arbeitsraum 22A des ersten mechanischen Bereichs 14A und der Arbeitsraum 22B des zweiten mechanischen Bereichs 14B sich innerhalb des Sichtfeldes 24 befinden, Schritt S53 ausgeführt, wenn i = 1 oder 2. Wenn sich der Arbeitsraum des i-ten mechanischen Bereichs nicht innerhalb des Sichtfelds 24 befindet, fährt der Prozess mit Schritt S66 fort, um die Zählervariable i um 1 zu erhöhen, und kehrt dann zu Schritt S51 zurück.
Als Nächstes initialisiert in Schritt S54 der Artikelverfolgungsbereich 34 auf 1 eine Zählervariable „j”, die anzeigt, dass der in dem gegenwärtigen Prozess zu verfolgende Artikel der „j-te” Artikel von der Stromabwärtsseite in die Förderrichtung in dem Arbeitsraum des i-ten mechanischen Bereichs ist und initialisiert auf 0 eine Zählervariable „k”, die die Anzahl von Artikeln anzeigt, an denen die ergänzende Detektion in dem gegenwärtigen Verfolgungsprozess erfolgreich ausgeführt wurde. Da die ergänzende Detektion ausgeführt wird, um zu ermöglichen, dass der mechanische Bereich den Artikel M in dessen Arbeitsraum physisch hält und aufgreift, braucht die ergänzende Detektion nicht an allen sich in dem Arbeitsraum befindenden Artikeln ausgeführt zu werden, sondern braucht nur so ausgeführt zu werden, dass die vorbestimmte Anzahl von von dem mechanischen Bereich in einem einzigen Vorgang aufzugreifenden Artikeln von der Abwärtsstromseite in die Förderrichtung gezählt, (d. h. die notwendige Anzahl von zu detektierenden Artikeln, die durch die tatsächliche Anwendung bestimmt ist) detektiert werden kann. Dafür vergleicht in Schritt S55 der Artikelverfolgungsbereich 34 die Zählervariable k mit der notwendigen Anzahl von zu detektierenden Artikeln und wenn diese größer oder gleich der notwendigen Anzahl ist, wird die ergänzende Detektion in dem gegenwärtigen Arbeitsraum beendet und fährt der Prozess mit Schritt S66 fort. Wenn die Zählervariable k kleiner ist als die notwendige Anzahl, fährt der Artikelverfolgungsbereich 34 mit Schritt S56 fort und überprüft, ob sich der gegenwärtig verfolgte j-te Artikel M von der Stromabwärtsseite in die Förderrichtung in dem Arbeitsraum des i-ten mechanischen Bereichs befindet.
Wenn sich der j-te gegenwärtig verfolgte Artikel M nicht in dem Arbeitsraum des i-ten mechanischen Bereichs befindet, wird die ergänzende Detektion in diesem Arbeitsraum beendet und fährt der Prozess mit Schritt S66 fort. Wenn sich der j-te Artikel M in dem Arbeitsraum des i-ten mechanischen Bereichs befindet, dann wird in Schritt S57 der Detektierbereich auf Grundlage der Information über die ungefähre Position des Artikels M verschmälert, die bei der vorbereitenden Detektion (17) erlangt wird (z. B. wird der Detektionsbereich auf einen Bereich verschmälert, der doppelt so breit ist wie die in die X-Achsen- bzw. Y-Achsen-Richtung gemessenen Abmessungen des Artikels M in dem zweidimensionalen Bild), während gleichzeitig der Bereich des Detektionsparameters auf einen relativ schmalen Bereich eingestellt wird (zum Beispiel im Fall des Drehwinkels auf einen Bereich von ungefähr ±5 Grad des vorhergehenden Detektionsergebnisses) und wird die ergänzende Detektion unter Verwendung dieses ersten Detektionsparameters ausgeführt. Das Verfahren normalisierter Korrelation, das Verfahren generalisierter Hough-Transformation, das Blob-Detektionsverfahren usw. können hier als der Detektionsalgorithmus verwendet werden.
In Schritt S58 überprüft der Artikelverfolgungsbereich 34, ob die ergänzende Detektion des Artikels M, die unter Verwendung des ersten Detektionsparameters ausgeführt wird, erfolgreich fertiggestellt wurde oder nicht. Wenn die ergänzende Detektion erfolgreich fertiggestellt wurde, fährt der Artikelverfolgungsbereich 34 mit Schritt S63 fort, um die Zählervariable k um 1 zu erhöhen, und dann mit Schritt S64, um die bei der ergänzenden Detektion erlangte Information des Artikels M in der Artikelverfolgungsliste wiederzugeben. Wenn die ergänzende Detektion nicht erfolgreich fertiggestellt wurde, besteht eine hohe Wahrscheinlichkeit, dass die Bedingung des Artikels M sich von derjenigen in dem vorhergehenden Verfolgungsprozess detektierten unterscheidet, beispielsweise wurde die Position des Artikels M auf der Fördervorrichtung 12 verlagert oder weil der Artikel M, der einen anderen Artikel hinter sich verdeckt, bereits von dem mechanischen Bereich aufgegriffen wurde und der verdeckte Artikel neu detektiert wurde, wie vorstehend mit Bezugnahme auf 14 beschrieben. Aus diesem Grund führt in Schritt S59 der Artikelverfolgungsbereich 34 die ergänzende Detektion des Artikels M unter Verwendung eines zweiten Detektionsparameters durch, dessen Bereich breiter eingestellt ist als der Bereich des ersten Detektionsparameters (beispielsweise im Fall des Drehwinkels auf einen Bereich von ungefähr ±180 Grad des vorhergehenden Detektionsergebnisses).
In Schritt S60 überprüft der Artikelverfolgungsbereich 34, ob die unter Verwendung des zweiten Detektionsparameters ausgeführte ergänzende Detektion des Artikels M erfolgreich fertiggestellt wurde oder nicht. Wenn die ergänzende Detektion erfolgreich fertiggestellt wurde, stellt der Artikelverfolgungsbereich 34 in Schritt S61 die Neudetektionsmarkierung so ein, dass der Artikel M als ein neuer Artikel behandelt wird, der in dem vorhergehenden Verfolgungsprozess noch nicht existiert hat, und fährt mit Schritt S63 fort, um die Zählervariable k um 1 zu erhöhen, und dann mit Schritt S64, um die Information des bei der ergänzenden Detektion erlangten Artikels M in der Artikelverfolgungsliste wiederzugeben. Obwohl der Verfolgungsprozess den vorhergehenden Prozess fortsetzt, wird die Information des vorstehenden Artikels M in die Artikelverfolgungsliste als die Information eines neu detektierten Artikel eingegeben; somit behandelt, wie vorstehend beschrieben, der Artikelverwaltungsbereich 112 diese Information als die Information des Pakets α, nicht die Information des Pakets β.
Wenn die ergänzende Detektion nicht erfolgreich fertiggestellt wurde, kann die Situation so sein, dass, obwohl die vorbereitende Detektion des Artikels M erfolgreich fertiggestellt wurde, der Artikel M sich nicht in einem Zustand befindet, in dem er aufgegriffen werden kann, da beispielsweise die Position oder Ausrichtung des Artikels M sich über den erwarteten Bereich hinaus von dem in der Anfangsdetektion oder der vorhergehenden ergänzenden Detektion geändert hat. Somit stellt der Artikelverfolgungsbereich 34 in Schritt S62 eine Übertragungsdeaktivierungsmarkierung ein und aktualisiert die Artikelinformation in Schritt S64 durch Anhängen der Übertragungsdeaktivierungsmarkierung an die Information des in der Artikelverfolgungsliste enthaltenen Artikels M. Danach erhöht der Artikelverfolgungsbereich 34 die Zählervariable j in Schritt S65 um 1 und kehrt dann zu Schritt S55 zurück, um die ergänzende Detektion zu wiederholen.
19 zeigt den detaillierten Ablauf des in dem Ablaufdiagramm gemäß 60 umgesetzten Artikelinformationsübertragungsschrittes S36. Zuerst initialisiert in Schritt S70 der Artikelverfolgungsbereich 34 auf 1 die Zählervariable i, die die Anzahl von Artikeln anzeigt, deren Artikelinformation an den Artikelverwaltungsbereich 112 übertragen wurde. Als Nächstes wird in Schritt S71 die Zählervariable i mit der Gesamtanzahl von Artikeln verglichen, deren an den Artikelverwaltungsbereich 112 zu übertragende Information bereits als ein Ergebnis der vorbereitenden Detektion und der ergänzenden Detektion erlangt wurde, und wenn die Zählervariable i größer ist als die Gesamtanzahl von Artikeln, wird die Artikelinformationsübertragung beendet. Wenn die Zählervariable i nicht größer ist als die gesamte Anzahl von Artikeln, dann überträgt in Schritt S72 der Artikelverfolgungsbereich 34 die Artikelinformation an den Artikelverwaltungsbereich 112. Danach erhöht der Artikelverfolgungsbereich 34 die Zählervariable i in Schritt S73 um 1 und kehrt dann zu Schritt S71 zurück.
20 zeigt den von dem Informationsverwaltungsbereich 106A (11) in dem ersten Steuerbereich 20A ausgeführten Verarbeitungsablauf. Der Informationsverwaltungsbereich 106A führt die Verarbeitung zur Aktualisierung der Artikelinformation oder der Information betreffend das Anordnungsmuster 58 in der Schale 54 (6A) als Antwort auf die Zeitgebersteuerung, die Verarbeitung der von dem Schalendetektierbereich 104 empfangene Schalendetektionsinformation und die Verarbeitung der von dem Artikelverwaltungsbereich 112 empfangene Artikelinformation aus. Zuerst empfängt in Schritt S80 der Informationsverwaltungsbereich 106A ein Zeitgeberunterbrechungssignal, das in vorbestimmten Zeitintervallen auftritt, oder empfängt die Artikelinformation (Paket α oder Paket β) von dem Artikelverwaltungsbereich 112 oder die Schalendetektionsinformation von dem Schalendetektierbereich 104 und überprüft in Schritt S81, ob das Unterbrechungssignal empfangen wird oder nicht. Wenn das Unterbrechungssignal empfangen wird, führt der Informationsverwaltungsbereich 106A die folgende Verarbeitung aus, die zu vorbestimmten Zeitintervallen ausgeführt wird. Das bedeutet, in Schritt S87 wird die Information jeglichen Artikels, für den eine Informationsaktualisierung durch das Paket β für eine vorbestimmte Zeitperiode nicht von dem Artikelverwaltungsbereich 112 empfangen wurde. Dann wird in Schritt S88 die Artikelinformation je nach Bedarf an den Arbeitsausführungsbereich 108A oder den Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B auf Grundlage der gegenwärtigen Position des Artikels ausgeführt (siehe 21 für Einzelheiten). Außerdem wird in Schritt S89 die Anordnungsmusterinformation (später beschrieben) je nach Bedarf an den Arbeitsausführungsbereich 108A oder an den Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B auf Grundlage der gegenwärtigen Positionsinformation jedes Musterelementes in dem Anordnungsmuster 58 in der Schale 54 übertragen (siehe 22 für Einzelheiten). Nach Ausführung der vorstehend beschriebenen Verarbeitung kehrt der Informationsverwaltungsbereich 106A zu Schritt S80 zurück und wartet auf den nächsten Empfang.
Wenn das empfangene Signal nicht das Unterbrechungssignal ist, fährt der Informationsverwaltungsbereich 106A mit Schritt S82 fort und überprüft, ob die empfangene Information die Schalendetektionsinformation ist oder nicht. Wenn die empfangene Information die Schalendetektionsinformation ist, fährt der Informationsverwaltungsbereich 106A mit Schritt S85 fort und erzeugt die Anordnungsmusterinformation, die die Positionsinformation jedes Musterelements umfasst, aus der Information der Anordnungsform 59 (6B), die das Anordnungsmuster 58 definiert. Die Anordnungsmusterinformation umfasst auch den Detektionswert des Kodierers 52, der zum Zeitpunkt der Detektion der Schale 54 gelesen wird, und die Positionsinformation jedes Musterelements kann, wann immer dieses erforderlich ist, durch Lesen des gegenwärtigen Detektionswerts des Kodierers 52 aktualisiert werden.
Wenn die empfangene Information nicht die Schalendetektionsinformation ist, bedeutet dies, dass die Artikelinformation von dem Artikelverwaltungsbereich 112 empfangen wird, und fährt der Informationsverwaltungsbereich 106A mit Schritt S83 fort und überprüft, ob die empfangene Artikelinformation die Information des Pakets α ist oder nicht. Wenn sie die Information des Pakets α ist, bedeutet dies, dass die empfangene Information die Information über den neuen Artikel ist und fährt der Informationsverwaltungsbereich 106A mit Schritt S86 fort und erzeugt die Information des Pakets γ, die zwischen dem ersten bis dritten Steuerbereich 20A, 20B und 20C zu verwalten ist. Wenn sie nicht die Information des Pakets α ist, bedeutet dies, dass die empfangene Artikelinformation die Information des Pakets β ist (d. h. die Information zur Aktualisierung der bestehenden Artikelinformation), und fährt der Informationsverwaltungsbereich 106A mit Schritt S84 fort und aktualisiert die Information des Pakets γ, die in dem ersten Steuerbereich 20 durch das Paket β verwaltet wird.
21 zeigt den detaillierten Ablauf des in dem Ablaufdiagramm gemäß 20 umgesetzten Artikelinformationsübertragungsschrittes S88. In Schritt S90 überprüft der Informationsverwaltungsbereich 106A, ob der Artikel M den Arbeitsraum 22A des ersten mechanischen Bereichs 14A bereits passiert hat. Wenn der Artikel M den Arbeitsraum 22A bereits passiert hat, fährt der Informationsverwaltungsbereich 106A mit Schritt S94 fort und schickt die Information des Pakets γ des Artikels M an den Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B, so dass der zweite oder dritte mechanische Bereich 14B oder 14C auf der Stromabwärtsseite die Arbeit ausführen kann, und wird die Artikelinformationsübertragung danach beendet. Wenn der Artikel M den Arbeitsraum 22A noch nicht passiert hat, fährt der Informationsverwaltungsbereich 106A mit Schritt S91 fort und überprüft gemäß dem im Vorhinein festgelegten Arbeitsteilungsverhältnis, ob der Artikel M der von dem ersten mechanischen Bereich 14A zu übertragende Artikel ist.
Beispielsweise führt, wenn das Arbeitsteilungsverhältnis zwischen dem ersten bis dritten mechanischen Bereich 14A, 14B und 14C auf 1:1:1 eingestellt ist, der erste mechanische Bereich 14A wiederholt die Arbeit aus, einen Artikel aufzugreifen, während er zwei andere Artikel passieren lässt. Wenn die Hand des ersten mechanischen Bereichs 14A dafür konfiguriert ist, zwei Artikel zusammenhalten zu können, kann der erste mechanische Bereich 14A die Arbeit ausführen, zwei Artikel zusammen aufzugreifen, während er vier andere Artikel passieren lässt. Wenn bestimmt wird, dass der Artikel M nicht der von dem ersten mechanischen Bereich 14A zu übertragende Artikel ist, wird unter Berücksichtigung des von dem ersten mechanischen Bereich 14A zu diesem Zeitpunkt zu teilenden Arbeitsteilungsverhältnisses die Artikelinformationsübertragung beendet. Wenn bestimmt wird, dass der Artikel M der von dem ersten mechanischen Bereich 14A zu übertragende Artikel ist, fährt der Informationsverwaltungsbereich 106A mit Schritt S92 fort und überprüft, ob sich der Artikel M innerhalb des Arbeitsraumes 22A des ersten mechanischen Bereichs 14A befindet. Wenn sich dieser innerhalb des Arbeitsraumes 22A befindet, wird die Information des Pakets γ des Artikels M in Schritt S93 an den Arbeitsausführungsbereich 108A geschickt, wonach die Artikelinformationsübertragung beendet wird.
22 zeigt den detaillierten Ablauf des in dem Ablaufdiagramm gemäß 20 umgesetzten Anordnungsmusterinformationsübertragungsschrittes S89. In Schritt S100 aktualisiert der Informationsverwaltungsbereich 106A die Positionsinformation jedes Musterelements unter Verwendung des gegenwärtigen Werts des Kodierers 56. Als Nächstes wird in Schritt S101 überprüft, ob das Musterelement bereits den Arbeitsraum 22A des ersten mechanischen Bereichs 14A passiert hat. Wenn das Musterelement den Arbeitsraum 22A bereits passiert hat, fährt der Informationsverwaltungsbereich 106A mit Schritt S105 fort und schickt die Anordnungsmusterinformation an den Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B, so dass der zweite oder dritte mechanische Bereich 14B oder 14C auf der Stromabwärtsseite die Arbeit ausführen kann, und wird danach die Anordnungsmusterinformationsübertragung beendet. Wenn das Musterelement den Arbeitsraum 22A noch nicht passiert hat, fährt der Informationsverwaltungsbereich 106A mit Schritt S102 fort und überprüft, ob das Musterelement dasjenige Musterelement ist, auf dem der Artikel von dem ersten mechanischen Bereich 14A gemäß dem im Voraus festgelegten Arbeitsteilungsverhältnis zu platzieren ist. Wenn bestimmt wird, dass das Musterelement nicht dasjenige Musterelement ist, auf dem der Artikel von dem ersten mechanischen Bereich 14A unter Berücksichtigung des von dem ersten mechanischen Bereich 14A zu dieser Zeit zu teilenden Arbeitsteilungsverhältnis zu platzieren ist, wird die Anordnungsmusterinformationsübertragung beendet.
Wenn bestimmt wird, dass es das Musterelement ist, auf dem der Artikel von dem ersten mechanischen Bereich 14A zu platzieren ist, fährt der Informationsverwaltungsbereich 106A mit Schritt S103 fort und überprüft, ob das Musterelement sich innerhalb des Arbeitsraumes 22A des ersten mechanischen Bereichs 14A befindet. Wenn es sich innerhalb des Arbeitsbereichs 22A befindet, wird die Anordnungsmusterinformation in Schritt S104 an den Arbeitsausführungsbereich 108A geschickt, woraufhin die Anordnungsmusterinformationsübertragung beendet wird. Auf Grundlage der Information des Pakets γ und der von dem Informationsverwaltungsbereich 106A empfangenen Anordnungsmusterinformation führt der Arbeitsausführungsbereich 108A die Artikelübertragungsarbeit zum Aufgreifen des Artikels M von der Fördervorrichtung 12 und zum Platzieren dieser in der Schale 54 auf der Entladungsfördervorrichtung 42 gemäß dem vorbestimmten Anordnungsmuster aus.
20 bis 22 haben jeweils den von dem Informationsverwaltungsbereich 106A in dem ersten Steuerbereich 20A ausgeführten Verarbeitungsablauf gezeigt, aber es wird zu erkennen sein, dass der Informationsverwaltungsbereich 106B in dem zweiten Steuerbereich 20B und der Informationsverwaltungsbereich 106C in dem dritten Steuerbereich 20C im Wesentlichen die gleiche Verarbeitung ausführen können wie die von dem Informationsverwaltungsbereich 106A ausgeführte, außer dass weder die Verarbeitung der Schalendetektionsinformation noch die Verarbeitung des Pakets α ausgeführt werden.
Obgleich die Erfindung mit Bezugnahme auf spezielle Ausführungsformen beschrieben wurde, wird der Fachmann verstehen, dass verschiedene Änderungen oder Modifizierungen an der Erfindung vorgenommen werden können, ohne vom Schutzumfang der folgenden Ansprüche abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 08-063214 A [0003]

Zitierte Nicht-Patentliteratur

Journal of the Robotics Society of Japan, Vol. 29, Nr. 5, S. 427–430, 2011 [0094]

Claims

Artikelübertragungsvorrichtung (10; 40), umfassend: eine Fördervorrichtung (12), die dafür konfiguriert ist, einen Artikel (M) zu befördern; einen Roboter (14), der dafür konfiguriert ist, den Artikel (M) zu halten und zu übertragen; einen Bildaufnahmebereich (16), der dafür konfiguriert ist, ein Bild des Artikels (M) aufzunehmen; einen Bildverarbeitungsbereich (18), der dafür konfiguriert ist, den Bildaufnahmebereich (16) zu steuern und den Artikel (M) auf Grundlage von Daten des von dem Bildaufnahmebereich (16A) aufgenommenen Bildes zu detektieren; und einen Robotersteuerbereich (20), der dafür konfiguriert ist, den Roboter (14) unter Verwendung von Information des von dem Bildverarbeitungsbereich (18) detektierten Artikels (M) zu steuern; wobei der Bildverarbeitungsbereich (18) umfasst: einen Artikeldetektierbereich (32), der dafür konfiguriert ist, Bildaufnahme und -detektion einer Vielzahl von Artikeln (M) auszuführen, die sich gemäß einer Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine erste Periode (T1) ermöglicht, dass sämtliche der Vielzahl von Artikeln (M) aufgenommen und detektiert werden, und eine Information über die Anfangsposition (D1) jedes aller Artikel (M) zu erlangen; und einen Artikelverfolgungsbereich (34), der dafür konfiguriert ist, Bildaufnahme und -detektion der Vielzahl von Artikeln (M) auszuführen, die sich gemäß der Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine zweite Periode (T2) kürzer ist als die erste Periode (T1), und Information über die verlagerte Position (D2) jedes der Vielzahl von Artikeln (M) wiederholt mit der zweiten Periode (T2) zu erlangen, wobei die Information über die verlagerte Position (D2) auf der Information über die Anfangsposition (D1) basiert; und wobei der Robotersteuerbereich (20) dafür konfiguriert ist, den Roboter (14) unter Verwendung der Information über die verlagerte Position (D2) zu steuern, um zu bewirken, dass der Roboter (14) jeden der Vielzahl von Artikeln (M) hält und überträgt, während er die Förderbewegung der Fördervorrichtung (12) verfolgt.
Artikelübertragungsvorrichtung nach Anspruch 1, wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, durch Bildnahme eines Inneren eines Arbeitsraumes (22) des Roboters (14) aufgenommene Bilddaten mit einer ersten Auflösung und durch Bildnahme eines Äußeren des Arbeitsraumes (22) aufgenommene Bilddaten mit einer zweiten Auflösung zu erlangen, wobei eine zweite Auflösung der Bilddaten mit der zweiten Auflösung geringer ist als eine erste Auflösung der Bilddaten mit der ersten Auflösung; und wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, einen sich innerhalb des Arbeitsraumes (22) befindenden Artikel (M) unter Verwendung der Bilddaten mit der ersten Auflösung und einen sich außerhalb des Arbeitsraumes (22) befindenden Artikel (M) unter Verwendung der Bilddaten mit der zweiten Auflösung zu detektieren.
Artikelübertragungsvorrichtung nach Anspruch 2, wobei der Bildaufnahmebereich (16) einen Umschaltmechanismus umfasst, der dafür konfiguriert ist, eine Auflösung zwischen der ersten Auflösung und der zweiten Auflösung zu wechseln.
Artikelübertragungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, entweder einen ersten Detektionsalgorithmus, der eine erste Verarbeitungsgeschwindigkeit und eine erste Genauigkeit gewährleistet, oder einen zweiten Detektionsalgorithmus, der eine zweite Verarbeitungsgeschwindigkeit oder eine zweite Genauigkeit gewährleistet, auszuwählen, wobei die zweite Verarbeitungsgeschwindigkeit höher ist als die erste Arbeitsgeschwindigkeit, wobei die zweite Genauigkeit geringer ist als die erste Genauigkeit, und einen ausgewählten Detektionsalgorithmus zu verwenden; und wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, einen sich innerhalb eines Arbeitsraumes (22) des Roboters (14) befindenden Artikel (M) unter Verwendung des ersten Detektionsalgorithmus und einen sich außerhalb des Arbeitsraumes (22) befindenden Artikel (14) unter Verwendung des zweiten Detektionsalgorithmus zu detektieren.
Artikelübertragungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, weiterhin wiederholt die Information über die verlagerte Position (D2) zu erlangen, bis eine vorbestimmte Zeit vergangen ist, nachdem der Roboter (14) den Artikel (M) gehalten hat.
Artikelübertragungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Bildaufnahmebereich (16) eine einzelne Kamera umfasst; und wobei der Artikeldetektierbereich (32) und der Artikelverfolgungsbereich (34) dafür konfiguriert sind, zu bewirken, dass die Kamera das Bild des Artikels (M) aufnimmt, und den Artikel (M) auf Grundlage der Daten des von der Kamera aufgenommenen Bildes zu detektieren.
Artikelübertragungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Bildaufnahmebereich (16) eine erste Kamera (16A) und eine zweite Kamera (16B) umfasst, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten; wobei der Artikeldetektierbereich (32) dafür konfiguriert ist, zu bewirken, dass die erste Kamera (16A) das Bild des Artikels (M) aufnimmt, und den Artikel (M) auf Grundlage der Daten des von der ersten Kamera (16A) aufgenommenen Bildes zu detektieren; und wobei der Artikelverfolgungsbereich (34) dafür konfiguriert ist, zu bewirken, dass die zweite Kamera (16B) das Bild des Artikels (M) aufnimmt, und den Artikel (M) aufgrund der Daten des von der zweiten Kamera (16B) aufgenommenen Bildes zu detektieren.
Artikelübertragungsvorrichtung nach Anspruch 7, wobei der Bildaufnahmebereich (16) eine dritte Kamera (16C) umfasst, die dafür konfiguriert ist, unabhängig von der ersten und der zweiten Kamera (16A, 16B) zu arbeiten; wobei der Bildverarbeitungsbereich (18) ferner einen Hilfsverfolgungsbereich (50) umfasst, der dafür konfiguriert ist, die dritte Kamera (16C) zu steuern und Bildaufnahme und -detektion einer Vielzahl von Artikeln (M) auszuführen, die sich gemäß der Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine dritte Periode (T3) kürzer ist als die erste Periode (T1); wobei der Hilfsverfolgungsbereich (50) dafür konfiguriert ist, zusätzliche Information über die verlagerte Position (D3) jedes der Vielzahl von Artikeln (M) wiederholt mit der dritten Periode (T3) zu erlangen, wobei die zusätzliche Information über die verlagerte Position (D3) auf der von dem Artikelverfolgungsbereich (34) erlangten Information über die verlagerte Position (D2) basiert; und wobei der Robotersteuerbereich (20) dafür konfiguriert ist, den Roboter (14) unter Verwendung der zusätzlichen Information über die verlagerte Position (D3) zu steuern, um zu bewirken, dass der Roboter (14) jeden der Vielzahl von Artikeln (M) hält und überträgt, während er die Förderbewegung der Fördervorrichtung (12) verfolgt.
Artikelübertragungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei der Roboter (14) einen ersten mechanischen Bereich (14A) und einen zweiten mechanischen Bereich (14B) umfasst, die dafür konfiguriert sind, unabhängig voneinander zu arbeiten; und wobei der Robotersteuerbereich (20) einen ersten Steuerbereich (20A), der dafür konfiguriert ist, den ersten mechanischen Bereich (14A) zu steuern, und einen zweiten Steuerbereich (20B), der dafür konfiguriert ist, den zweiten mechanischen Bereich (14B) zu steuern, umfasst, wobei der erste und der zweite Steuerbereich (20A, 20B) dafür konfiguriert sind, zu bewirken, dass der erste und der zweite mechanische Bereich (14A, 14B) Artikel (M) halten, deren entsprechende Anzahlen gemäß einem vorbestimmten Betriebsverhältnis definiert sind.
Artikelübertragungsverfahren, das dafür konfiguriert ist, zu bewirken, dass ein Roboter (14) eine Vielzahl von von einer Fördervorrichtung (12) beförderten Artikeln (M) hält und überträgt, wobei das Verfahren umfasst: Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln (M), die sich gemäß einer Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine erste Periode (T1) ermöglicht, dass sämtliche der Vielzahl von Artikeln (M) aufgenommen und detektiert werden, und Erlangen von Information über die Anfangsposition (D1) jedes aller Artikel (M); und Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln (M), die sich gemäß der Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine zweite Periode (T2) kürzer ist als die erste Periode (T1), und wiederholtes Erlangen von Information über die verlagerte Position (D2) jedes der Vielzahl von Artikeln (M) mit der zweiten Periode (T2), wobei die Information über die verlagerte Position (D2) auf der Information über die Anfangsposition (D1) basiert; und Steuern des Roboters (14) unter Verwendung der Information über die verlagerte Position (D2), um zu bewirken, dass der Roboter (14) jeden der Vielzahl von Artikeln (M) hält und überträgt, während er die Förderbewegung der Fördervorrichtung verfolgt.
Artikelübertragungsverfahren nach Anspruch 10), wobei das Erlangen der Information über die verlagerte Position (D2) ein Fortfahren des wiederholten Erlangens der Information über die verlagerte Position (D2) beinhaltet, bis eine vorbestimmte Zeit vergeht, nachdem der Roboter (14) den Artikel (M) gehalten hat.
Artikelübertragungsverfahren nach Anspruch 10 oder 11, das ferner das Ausführen von Bildaufnahme und -detektion der Vielzahl von Artikeln (M), die sich gemäß der Förderbewegung der Fördervorrichtung (12) bewegen, wobei eine dritte Periode (T3) kürzer ist als die erste Periode (T1), und das wiederholte Erlangen von zusätzlicher Information über die verlagerte Position (D3) jedes der Vielzahl von Artikeln (M) mit der dritten Periode (T3), wobei die zusätzliche Information über die verlagerte Position (D3) auf der von dem Artikelverfolgungsbereich (34) zuvor erlangten Information über die verlagerte Position (D2) basiert, umfasst, und Steuern des Roboters (14) unter Verwendung der zusätzlichen Information über die verlagerte Position (D3), um zu bewirken, dass der Roboter (14) jeden der Vielzahl von Artikeln (M) hält und überträgt, während er die Förderbewegung der Fördervorrichtung (12) verfolgt.