DE102019003868B4

DE102019003868B4 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und speichermedium

Info

Publication number: DE102019003868B4
Application number: DE102019003868.1A
Authority: DE
Inventors: Tomoaki Higo
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-21
Filing date: 2019-05-31
Publication date: 2020-11-19
Anticipated expiration: 2039-06-01
Also published as: US20190389082A1; CN110626548A; US11613026B2; CN110626548B; JP7286272B2; DE102019003868A1; JP2019217608A

Abstract

Informationsverarbeitungsvorrichtung (1) zum Ausgeben von Steuerinformation (P1, P2, P3) zum Steuern einer Ansaugeinrichtung (12), die konfiguriert ist zum Ansaugen eines verpackten Objekts (13), wobei die Informationsverarbeitungsvorrichtung umfasst:
eine Eingabeeinheit (200), die konfiguriert ist zum Eingeben eines durch Durchführen einer Bildaufnahme einer Oberfläche des verpackten Objekts erhaltenen Bilds; und
eine Ausgabeeinheit (203), die konfiguriert ist zum Ausgeben von Steuerinformation, um einen Zeitpunkt zu steuern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar basierend auf einem aus dem Bild bestimmten Zustand der Oberfläche des verpackten Objekts; wobei
der Zustand der Oberfläche des verpackten Objekts eine Menge an Knitterfalten auf der Oberfläche des verpackten Objekts enthält, und
in einem Fall, in dem die Menge an Knitterfalten auf der Oberfläche des verpackten Objekts, die von einem jeweiligen Bild bestimmt wird, variiert, die Ausgabeeinheit die Steuerinformation ausgibt, um den Zeitpunkt zu ändern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar entsprechend der Menge an Knitterfalten auf der Oberfläche des verpackten Objekts.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Aspekte der vorliegenden Offenbarung beziehen sich im Allgemeinen auf eine Methode, unter Verwendung eines Roboters ein Objekt durch Ansaugen anzuziehen.
Beschreibung des Standes der Technik
Industrieroboter, bei denen eine Ansaugeinheit wie etwa ein Ansaugfeld an das vordere Ende eines Roboterarms angebracht ist, werden häufig verwendet, um ein Objekt durch Ansaugen anzuziehen, um das Objekt zu transportieren. Um das Objekt durch Ansaugen zu transportieren, ist es notwendig, das Ansaugfeld auf ein Gebiet auf der Oberfläche des Objekts anzuwenden, das leicht durch Ansaugen angezogen werden kann, und das Ansaugen durchzuführen. Im Falle, dass das Objekt ein mit einem Verpackungsmaterial eingepacktes Objekt ist, ist es notwendig, das Objekt, das sich im in die Verpackung eingebrachten Zustand befindet, durch Ansaugen anzuziehen.
Die Japanische Patentanmeldung JP 2014-213395 A diskutiert eine Technik, ein eingepacktes Objekt durch eine Ansaugeinheit zu transportieren, die das Ansaugen durchführt, während sie das gesamte eingepackte Objekt abdeckt.
Die Menge eines Teils des Verpackungsmaterials, der während des Ansaugens in die Ansaugeinheit eintritt und in diese eingezogen wird, oder die Geschwindigkeit, mit der ein solches Einziehen auftritt, variiert abhängig von Arten des Verpackungsmaterials oder Oberflächenzuständen davon. Bei der in der Japanischen Patentanmeldung JP 2014-213395 A diskutierten Technik kann, falls die Ansaugeinheit einen Vorgang wie eine Verschiebungsbewegung durchführt, unmittelbar nachdem das Ansaugen unterbrochen wurde, die Ansaugeinheit ein verpacktes Zielobjekt auswerfen.
Die Druckschrift DE 10 2012 003 160 A1 offenbart eine Vorrichtung mit einem Manipulator mit einem Greifer, wobei eine Steuereinheit den Greifer zu einer ungeordneten Entnahme von Bauteilen aus einem Behälter und zu einer ungeordneten Ablage der Bauteile auf einer Vereinzelungsfläche ansteuert. Die Druckschrift DE 10 2007 054 867 A1 offenbart eine Greifvorrichtung für Werkstücke mit einem am Werkstück angreifenden Aufwälzmodul sowie wenigstens einem zusätzlich am Werkstück angreifenden Saugmodul. Die Druckschrift DE 20 2007 015 153 U1 offenbart eine Handhabungseinrichtung für mehrlagige Werkstücke wie Furniere und Platten, die ein Greifwerkzeug und ein an ein gefasstes Werkstück anpressbares Stützelement aufweist. Die Druckschrift JP H10-193 291 A offenbart eine Saugvorrichtung zum Ansaugen und Halten eines flexiblen Objekts, wobei zum schnellen Transport des gehaltenen Objekts ein Ansaugabschnitt mit einer Hilfsansaugkammer vorgesehen ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Aspekte der vorliegenden Offenbarung sind im Allgemeinen darauf gerichtet, ein stabiles Anziehen durch Ansaugen sowie ein Transportieren eines verpackten Objekts zu ermöglichen, wobei das Objekt mit einem Verpackungsmaterial verpackt ist.
Gemäß einem Aspekt der vorliegenden Offenbarung ist eine Informationsverarbeitungsvorrichtung zum Ausgeben von Steuerinformation zum Steuern einer Ansaugeinrichtung gemäß Patentanspruch 1 oder 16 vorgesehen. Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Informationsverarbeitungsverfahren wie in Patentanspruch 17 definiert sowie eine nichtflüchtiges computerlesbares Speichermedium wie in Patentanspruch 18 definiert vorgesehen.
Die Unteransprüche betreffen weitere Fortbildungen des Erfindungsgegenstands.
Weitere Merkmale der vorliegenden Offenbarung ergeben sich aus der folgenden Beschreibung der Ausführungsbeispiele unter Bezugnahme auf beigefügte Zeichnungen.
Figurenliste
1A und 1B sind Diagramme, die Konfigurationsbeispiele eines Informationsverarbeitungssystems gemäß einem ersten Ausführungsbeispiel bzw. einem zweiten Ausführungsbeispiel sind.

2 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht.
3 ist ein Diagramm, das eine Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht.
4 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das Informationsverarbeitungssystem gemäß dem ersten Ausführungsbeispiel durchführt.
5 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht.
6, die aus 6A und 6B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das Informationsverarbeitungssystem gemäß dem ersten Ausführungsbeispiel durchführt.
7 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß einem zweiten Ausführungsbeispiel veranschaulicht.
8, die aus 8A und 8B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die ein Informationsverarbeitungssystem gemäß dem zweiten Ausführungsbeispiel durchführt.
9 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung gemäß dem zweiten Ausführungsbeispiel veranschaulicht.
10 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das Informationsverarbeitungssystem gemäß dem zweiten Ausführungsbeispiel durchführt.
11 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß einem dritten Ausführungsbeispiel veranschaulicht.
12, die aus 12A und 12B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die ein Informationsverarbeitungssystem gemäß dem dritten Ausführungsbeispiel durchführt.
13 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung gemäß dem dritten Ausführungsbeispiel veranschaulicht.
14 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das Informationsverarbeitungssystem gemäß dem dritten Ausführungsbeispiel durchführt.
15 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die die Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel durchführt.
16 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die die Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel durchführt.
17 ist ein Diagramm zum Erklären einer Verarbeitung, die eine Bestimmungseinheit im ersten Ausführungsbeispiel durchführt.
18 ist ein Diagramm, das zum Erklären eines Zeitpunkts verwendet wird, zu dem ein Ansaugen in einem jeweiligen Ausführungsbeispiel der vorliegenden Offenbarung durchgeführt werden soll.
19A und 19B sind Diagramme, die verwendet werden, um Anforderungen im ersten Ausführungsbeispiel bzw. im zweiten Ausführungsbeispiel zu erläutern.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Vor der Beschreibung von Ausführungsbeispielen der vorliegenden Offenbarung wird die Definition von Begriffen beschrieben.
Der Begriff „Verpackungsmaterial“ bezieht sich z. B. auf Plastik (Vinyl), Nylon, Papier und Stoff. Der Begriff „verpacktes Objekt“ bezieht sich auf ein mit einem Verpackungsmaterial verpacktes Objekt. Z. B. ist das verpackte Objekt z. B. ein in einen Plastik- (Vinyl-) Beutel eingebrachtes Kabel, eingepackte Kartoffelchips, oder ein eingewickelter Koffer.
In den nachfolgenden Ausführungsbeispielen verwendete Begriffe sind unter Bezugnahme auf 18 weiter erläutert. 18 ist ein Diagramm, das vermittels einer zeitlich sequenziellen Darstellung eine Aufgabe veranschaulicht, ein verpacktes Objekt 13 mit einer Aufnahmemaschine vom Ansaugtyp zu einem Zielbehälter 15 zu transportieren. Eine Informationsverarbeitungsvorrichtung in einem jeweiligen der Ausführungsbeispiele bestimmt Ansaugparameter zum Steuern eines Zeitpunkts, zu dem die Aufnahmemaschine ein Ansaugen durchführt, basierend auf einem Zustand der Oberfläche des verpackten Objekts. Die Ansaugparameter (mit Pk bezeichnet) sind insbesondere drei Parameter, d. h. ein Zeitpunkt (mit P1 bezeichnet), zu dem das Ansaugen gestartet werden soll, eine Zeit (mit P2 bezeichnet), während der ein Ansaugfeld im Ruhezustand gehalten werden soll, nachdem das verpackte Objekt durch Ansaugen angezogen worden ist, und eine Zeit (mit P3 bezeichnet), während der das Ansaugfeld im Ruhezustand gehalten werden soll, nachdem das Ansaugen gestoppt worden ist. Mit anderen Worten, die Ansaugparameter sind Steuerwerte zum Bestimmen eines Verfahrens hinsichtlich des Ansaugens eines verpackten Objekts. Die Informationsverarbeitungsvorrichtung steuert den Zeitpunkt der Ansaugsteuerung gemäß den Ansaugparametern. In den Ausführungsbeispielen sind die Ansaugparameter Parameter, die abhängig von einem Zustand der Oberfläche des verpackten Objekts variieren. Ferner kann ein jeweiliger der Parameter P1, P2, und P3 unabhängig vom Zustand der Oberfläche des verpackten Objekts bestimmt werden. In diesem Fall wird dieser Parameter basierend auf einem zuvor festgelegten Parameter oder einem durch den Benutzer eingestellten Wert bestimmt.
Der Zeitpunkt (P1), zu dem das Ansaugen gestartet werden soll, ist ein Parameter zum Bestimmen, ob beim Durchführen des Ansaugens das Ansaugen gestartet werden soll, nachdem das Ansaugfeld in Kontakt mit dem verpackten Objekt gebracht wird, oder das Ansaugen gestartet werden soll, bevor das Ansaugfeld in Kontakt mit dem verpackten Objekt gebracht wird und dann das Ansaugfeld näher zu dem verpackten Objekt bewegt werden soll, während Ansaugen durchgeführt wird. In 18 bedeutet „T = T1“ den Zeitpunkt, zu dem die Ansaugeinheit 12 und das verpackte Objekt 13 in Kontakt miteinander kommen, und ΔT bedeutet ein gegebenes, sehr kleines Zeitintervall. Im Falle von „P1 = 0“ wird das Ansaugen gestartet, bevor die Ansaugeinheit und das verpackte Objekt miteinander in Kontakt kommen (T = T1 - ΔT), und im Falle von „P1 = 1“ wird das Ansaugen gestartet, nachdem diese in Kontakt miteinander kommen (T = T1). Entsprechend ist der Zeitpunkt, zu dem das Ansaugen gestartet werden soll, ein Parameter, der einen von zwei Werten angibt, die einen Zeitpunkt vor Kontakt und einen Zeitpunkt zum Kontaktzeitpunkt enthalten. Z. B. im Falle, dass die Oberfläche eines verpackten Objekts keine Knitterfalten aufweist und das Ansaugfeld einfach in engen Kontakt mit der Oberfläche des verpackten Objekts zu bringen ist, wird das Ansaugen gestartet, nachdem diese in Kontakt miteinander kommen (Zeitpunkt zum Kontaktzeitpunkt), sodass es einfach ist, das Ansaugen erfolgreich zu machen. Andererseits gibt es den Fall, dass die Oberfläche eines verpackten Objekts Knitterfalten aufweist und ein Vakuumleck sogar dann auftritt, wenn das Ansaugfeld gegen die Oberfläche des verpackten Objekts gedrückt wird. In diesem Fall wird das Ansaugen zuerst gestartet und das Ansaugfeld nähert sich dem verpackten Objekt, während Ansaugen durchgeführt wird (Zeitpunkt vor Kontakt), sodass ein verknitterter Abschnitt des Verpackungsmaterials angesaugt und in das Ansaugfeld eingezogen wird, um das Auftreten eines jedweden Vakuumlecks zu verhindern, und es ist somit einfach, das Ansaugen erfolgreich zu machen.
Der Begriff „erste Ruhezeit“ bezeichnet eine Zeit, während der das Ansaugfeld im Ruhezustand gehalten werden soll, nachdem das Ansaugfeld das verpackte Objekt durch Ansaugen angezogen hat. Mit anderen Worten, die erste Ruhezeit ist ein Parameter, der eine Zeit darstellt von dem Zeitpunkt, zu dem beim Durchführen des Ansaugens das Ansaugfeld in Kontakt mit dem verpackten Objekt gebracht wird, zu dem Zeitpunkt, zu dem die Bewegung des Anhebens des verpackten Objekts für Transport gestartet wird. In 18 stellt eine bei „T = T1“ erhaltene Szene 182 das Verhalten von der Ansaugeinheit 12 und dem verpackten Objekt 13 dar, die miteinander in Kontakt gekommen sind. Falls der Zeitpunkt, zu dem der Transport zu starten ist, auf T2 gesetzt ist, wird die Zeit P2 gleich „T2 - T1“. Z. B. kann die Zeit P2 aufeinanderfolgende Werte annehmen, wie etwa 0 Sekunden, 0,1 Sekunden, 0,5 Sekunden, und 1,0 Sekunden. Im Falle, dass das Verpackungsmaterial dünn und weich ist oder in einem Fall, dass das Verpackungsmaterial Knitterfalten aufweist, ist es wahrscheinlich, dass sich das Verpackungsmaterial sogar dann bewegt, wenn das Ansaugfeld das verpackte Objekt ansaugt, während es in Kontakt damit ist, sodass ein Vakuumleck auftreten kann, außer wenn das verpackte Objekt angehoben wird, nachdem es für eine relativ lange Zeit im Ruhezustand gehalten wird. Andererseits kann das verpackte Objekt sofort angehoben werden, falls es unwahrscheinlich ist, dass sich das Verpackungsmaterial sogar dann bewegt, wenn das Ansaugfeld das verpackte Objekt ansaugt, nachdem es in Kontakt mit dem verpackten Objekt gekommen ist.
Der Begriff „zweite Ruhezeit“ bezeichnet eine Zeit, während der das Ansaugfeld im Ruhezustand gehalten werden soll, nachdem das Ansaugfeld das Ansaugen gestoppt hat. Mit anderen Worten, die zweite Ruhezeit ist eine Zeit beim Freigeben des verpackten Objekts an dessen Transportziel (Stoppen des Ansaugens, um das verpackte Objekt vom Ansaugfeld freizugeben und das verpackte Objekt abzulegen) von dem Zeitpunkt, zu dem das Ansaugfeld das Ansaugen stoppt, zu dem Zeitpunkt, zu dem das Ansaugfeld eine Bewegung startet, um eine nächste Aufgabe durchzuführen. In 18 stellt eine bei „T = T3“ erhaltene Szene 184 ein Verhalten dar, bei dem das Transportieren des verpackten Objekts 13 zum Zielbehälter 15 abgeschlossen ist. In diesem Zustand, wird das Ansaugfeld für P3 Sekunden ab der Zeit T3 im Ruhezustand gehalten. Z. B. kann die Zeit P3 aufeinanderfolgende Werte annehmen, wie etwa 0 Sekunden, 0,1 Sekunden, 0,5 Sekunden, und 1,0 Sekunden. Im Falle des Freigebens eines verpackten Objekts, für das es wahrscheinlich ist, dass es in das Ansaugfeld eingezogen wird, kann ein in das Ansaugfeld eingezogenes Verpackungsmaterial das verpackte Objekt daran hindern, sofort vom Ansaugfeld getrennt zu werden, selbst wenn das Ansaugen gestoppt wird. Falls ein Vorgang für eine nächste Aufgabe gestartet wird, bevor das verpackte Objekt vom Ansaugfeld getrennt wurde, kann das Ansaugfeld das verpackte Objekt abwerfen.
Ferner wird ein Parameter zum Steuern der Position und Orientierung der Ansaugeinheit als ein „Steuerparameter“ bezeichnet. Der Steuerparameter wird anhand der Position und Orientierung der Ansaugeinheit, der Position und Orientierung eines Verpackungsmaterials (ein zu transportierendes Objekt), und der Position eines Transportziels bestimmt, und es wird angenommen, dass dieser verschieden von den Ansaugparametern ist. Mit anderen Worten, der Steuerparameter ist ein Parameter, der für eine Aktoreinheit 11 verwendet wird, um eine Bewegungssteuerung der Ansaugeinheit 12 durchzuführen.
Ein erstes Ausführungsbeispiel ist nachfolgend beschrieben über einen Fall, dass eine Informationsverarbeitungsvorrichtung eine Aufgabe durchführt, verpackte Objekte eines nach dem anderen durch Ansaugen anzuziehen und aus einem Behälter herauszunehmen, in dem mehrere verpackte Objekte in Stapeln aufeinander gestapelt sind, und dann ein jeweiliges verpacktes Objekt zu einer vorbestimmten Position zu transportieren und dort abzulegen. Um ein verpacktes Objekt durch Ansaugen anzuziehen ist es für ein Ansaugfeld notwendig, das verpackte Objekt, welches ein Transportziel ist, anzusaugen, während es in engem Kontakt mit dem verpackten Objekt ist, um das Auftreten eines Vakuumlecks durch Einströmen von Ansaugluft zu verhindern. Z. B. tritt, sogar wenn das Ansaugfeld gegen ein Gebiet gedrückt wird, in dem Plastik (Vinyl) als Verpackungsmaterial des verpackten Objekts verknittert ist, und dann das Ansaugfeld das Plastik (Vinyl) ansaugt, ein Vakuumleck bezüglich des Gebiets auf, in dem das Plastik (Vinyl) verknittert ist, sodass das Ansaugfeld das verpackte Objekt nicht durch Ansaugen anziehen kann. Andererseits wird, wenn das Ansaugfeld das Ansaugen startet, bevor es in engen Kontakt mit dem verpackten Objekt kommt, und das Ansaugfeld dem verpackten Objekt näher kommt, während es das Ansaugen durchführt, falls das Verpackungsmaterial des verpackten Objekts ein dünnes und weiches Material ist, das Verpackungsmaterial in das Ansaugfeld eingezogen, sodass das Ansaugfeld das verpackte Objekt durch Ansaugen anziehen kann. Außerdem variieren sogar verpackte Objekte derselben Art im Zustand ihrer Oberfläche (der Menge an Knitterfalten darauf). Das Variieren des Zeitpunkts für das Ansaugen gemäß der Menge an Knitterfalten erlaubt es, das Ansaugen stabiler durchzuführen. Daher erfasst das erste Ausführungsbeispiel drei Ansaugparameter, d. h. den Zeitpunkt zum Starten des Ansaugens, die erste Ruhezeit, und die zweite Ruhezeit, und zwar basierend auf Information über den Zustand der Oberfläche eines Verpackungsmaterials, und steuert das Ansaugen basierend auf den drei Ansaugparametern, um so das Ansaugen und den Transport auf stabile Art und Weise durchzuführen. Im ersten Ausführungsbeispiel wird ein Ausführungsmodus und ein Lernmodus getrennt beschrieben. Ferner ist der Zeitpunkt zum Starten des Ansaugens ein Zeitpunkt, zu dem das Ansaugen durch eine Ansaugeinrichtung gestartet wird, und enthält einen Fall, dass das Ansaugen gestartet wird, bevor die Ansaugeinrichtung und das verpackte Objekt in Kontakt miteinander kommen, sowie einen Fall, dass das Ansaugen gestartet wird, nachdem diese miteinander in Kontakt kommen. Die erste Ruhezeit stellt eine Zeit dar von dem Zeitpunkt, zu dem die Ansaugeinrichtung und die Oberfläche des verpackten Objekts in Kontakt miteinander kommen, zu dem Zeitpunkt, zu dem der Transport durch die Ansaugeinrichtung gestartet wird. Die zweite Ruhezeit stellt eine Zeit dar von dem Zeitpunkt, zu dem, nachdem das verpackte Objekt zum Transportziel transportiert worden ist, die Ansaugeinrichtung das Ansaugen stoppt, zu dem Zeitpunkt, zu dem die Ansaugeinrichtung eine Verschiebungsbewegung startet. Wenn die Ansaugeinrichtung das Ansaugen stoppt, trennt sich das verpackte Objekt von der Ansaugeinrichtung. Zunächst wird die Verarbeitung für den Ausführungsmodus beschrieben, die Ansaugparameter bestimmt und das Ansaugen und den Transport basierend auf den bestimmten Ansaugparametern durchführt. 1A ist ein Diagramm, das eine Konfiguration eines Informationsverarbeitungssystems 10000 im ersten Ausführungsbeispiel veranschaulicht. Das Informationsverarbeitungssystem 10000 enthält eine Informationsverarbeitungsvorrichtung 1, eine Abbildungseinheit 10, eine Aktoreinheit 11, und eine Ansaugeinheit 12. Das Informationsverarbeitungssystem 10000 steuert die Aktoreinheit 11, die ein Roboterarm ist, anhand von durch die Abbildungseinheit 10 erhaltener Bildinformation, wobei die Abbildungseinheit an der Aktoreinheit 11 angebracht ist und eine Bildaufnahme durchführt. Sodann führt das Informationsverarbeitungssystem 10000 eine Aufgabe durch, die Ansaugeinheit 12, die an einem vorderen Endabschnitt der Aktoreinheit 11 angebracht ist, dazu zu veranlassen, ein verpacktes Objekt 13 durch Ansaugen anzuziehen, das sich in einem Behälter 14 befindet, und das verpackte Objekt 13 zu einem Behälter 15, der ein Transportziel ist, zu transportieren. Ferner ist der vordere Endabschnitt der Ansaugeinheit 12 als Ansaugfläche (mit Ansaugfeld bezeichnet) ausgebildet, und kann verschiedene Formen annehmen. Außerdem misst in Bezug auf den Druck in der Ansaugeinheit 12 ein Druckmesser (nicht dargestellt) einen Vakuumdruck innerhalb des Ansaugfelds, und die Informationsverarbeitungsvorrichtung 1 ist dazu in der Lage, ein Ergebnis der Messung durch das Vakuummessgerät zu erfassen.
2 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 im ersten Ausführungsbeispiel veranschaulicht. Die Informationsverarbeitungsvorrichtung 1 enthält eine Eingabeeinheit 200, eine Extraktionseinheit 201, eine Bestimmungseinheit 202, eine Steuereinheit 203, und eine Speichereinheit 205. Die Steuereinheit 203 enthält eine Aktorsteuereinheit 2031 und eine Ansaugsteuereinheit 2032. Die Eingabeeinheit 200 ist mit der Abbildungseinheit 10 verbunden, die Aktorsteuereinheit 2031 ist mit der Aktoreinheit 11 verbunden, und die Ansaugsteuereinheit 2032 ist mit der Ansaugeinheit 12 verbunden. 2 veranschaulicht jedoch lediglich ein Beispiel der funktionellen Konfiguration, und soll somit nicht den anwendbaren Schutzbereich der vorliegenden Offenbarung beschränken. Die Abbildungseinheit 10 nimmt ein Farbbild und ein Distanzbild einer Szene auf, in der verpackte Objekte und ein Behälter gezeigt sind. Damit enthält die zu verwendende Abbildungseinheit 10 z. B. eine Stereokamera und eine RGB-Tiefenkamera (RGB-D-Kamera). In dem ersten Ausführungsbeispiel nimmt z. B. die Abbildungseinheit 10 das Bild einer Szene auf, in der das verpackte Objekt 13 und der Behälter 14 enthalten sind, und gibt damit ein Farbbild und ein Distanzbild aus. Die Eingabeeinheit 200 gibt ein Bild ein, das durch Aufnehmen eines Bilds eines verpackten Objekts, das transportiert wird, erhalten wird. Die Eingabeeinheit 200 gibt ein Farbbild und ein Distanzbild der Szene ein, die durch die eine Bildaufnahme durchführende Abbildungseinheit 10 erhalten werden, und gibt das eingegebene Farbbild und Distanzbild an die Extraktionseinheit 201 aus.
Die Extraktionseinheit 201 extrahiert eine Ansaugposition, bei der die Ansaugeinheit 12 dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen, indem sie eine Vorlage, die ein Bildmerkmal ist, in dem der Zustand der Oberfläche des verpackten Objekts und die für das Ansaugen angepasste Position miteinander assoziiert sind, mit den Eingabebildern vergleicht. Mit anderen Worten, die Extraktionseinheit 201 extrahiert die Position, an der die Ansaugeinrichtung dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen, anhand des durch die Eingabeeinheit 200 eingegebenen Farbbilds oder Distanzbilds. Hier extrahiert die Extraktionseinheit 201 die Position des Schwerpunkts des verpackten Objekts mit einem Musterabgleich unter Verwendung einer Vorlage. Ein spezifisches Beispiel des Erfassens der Ansaugposition ist nachstehend beschrieben. Die Extraktionseinheit 201 gibt Information über die erfasste Ansaugposition an die Bestimmungseinheit 202 und die Aktorsteuereinheit 2031 aus.
Die Bestimmungseinheit 202 bestimmt einen Zeitpunkt aus dem Zustand der Oberfläche des verpackten Objekts anhand von Daten, in denen ein Ergebnis, das angibt, ob das Ansaugen erfolgreich ist, assoziiert ist mit einer Kombination des Zustands der Oberfläche des verpackten Objekts und einem Zeitpunkt zum Steuern des Ansaugens. Genauer gesagt extrahiert die Bestimmungseinheit 202 Ansaugparameter anhand einer Verpackungsmaterialansaugmerkmaldatenbank, die von der Speichereinheit 205 gespeichert wird, in einem Bildbereich, der der durch die Extraktionseinheit 201 eingegebenen Ansaugposition entspricht. Hier stellt der Zustand der Oberfläche des verpackten Objekts die Menge an Knitterfalten, die auf der Oberfläche des verpackten Objekts vorhanden sind, dar. Die Verpackungsmaterialansaugmerkmaldatenbank ist nachstehend beschrieben. Außerdem ist ein spezifischer Verarbeitungsvorgang ebenfalls nachstehend beschrieben. Die Bestimmungseinheit 202 gibt den extrahierten Ansaugparameter an die Ansaugsteuereinheit 2032 aus. Außerdem bestimmt die Bestimmungseinheit 202 einen Steuerparameter zum Steuern der Verschiebungsbewegung der Ansaugeinheit 12. Der Steuerparameter wird anhand der Position und Orientierung der Ansaugeinheit 12 und der Position des Behälters 14 oder des Behälters 15 bestimmt.
Die Steuereinheit 203 steuert die Ansaugeinheit 12 gemäß den Ansaugparametern oder dem durch die Bestimmungseinheit 202 bestimmten Steuerparameter. Die Steuereinheit 203 enthält die Aktorsteuereinheit 2031 und die Ansaugsteuereinheit 2032. Die Aktorsteuereinheit 2031 steuert die Aktoreinheit 11 gemäß den Ansaugparametern oder dem Steuerparameter. Mit anderen Worten, die Aktorsteuereinheit 2031 steuert die Aktoreinheit 11, um eine Steuerung durchzuführen, um das verpackte Objekt 13 durch Ansaugen anzuziehen und zu transportieren, und zwar anhand der durch die Extraktionseinheit 201 eingegebenen Ansaugposition. Außerdem führt die Aktorsteuereinheit 2031 während des Ansaugens eine Steuerung z. B. des Zeitpunkts für das Ansaugen durch, und zwar in Kooperation mit der Ansaugsteuereinheit 2032. Die Ansaugsteuereinheit 2032 steuert das Ansaugen durch Einstellen des Zeitpunkts zum Starten des Ansaugens beim Anziehen des verpackten Objekts 13 durch Ansaugen, der ersten Ruhezeit, und der zweiten Ruhezeit, und zwar gemäß den durch die Bestimmungseinheit 202 eingegebenen Ansaugparametern. Außerdem führt die Ansaugsteuereinheit 2032 gemäß den Ansaugparametern eine Steuerung des Ansaugens durch, das durch die Ansaugeinheit 12 durchgeführt wird, um das verpackte Objekt 13 durch Ansaugen anzuziehen, und zwar in Kooperation mit der Aktorsteuereinheit 2031. Die Speichereinheit 205 speichert eine Verpackungsmaterialansaugmerkmaldatenbank und entsprechende Merkmalsfilter, die die Bestimmungseinheit 202 verwendet, und gibt Information über die Datenbank und die Merkmalsfilter an die Bestimmungseinheit 202 aus. Ferner bezieht sich der Filter auf eine Matrix oder eine Verarbeitung zum Berechnen von Änderungen einer Merkmalsmenge in einem Bild.
Ein Konzept der Verarbeitung, die durch die Bestimmungseinheit 202 durchgeführt wird, ist unter Bezugnahme auf 17 beschrieben. Zunächst erfasst die Bestimmungseinheit 202 ein Bildfeld 170, das ein Farbbildfeld ist, und ein Bildfeld 171, das ein Distanzbildfeld ist, in einem Bildbereich entsprechend der durch die Extraktionseinheit 201 eingegebenen Ansaugposition. Ferner ist das Bildfeld 170 ein durch Aufnehmen des Bilds der Ansaugposition des verpackten Objekts 13 erhaltenes Bild, das eine Beschaffenheit zeigt, wobei zwei Knitterfalten auf der Oberfläche des Verpackungsmaterials vorhanden sind. Das Bildfeld 171 ist ein Bild, in dem von einem Distanzsensor erhaltene Distanzwerte oder ein Parallaxbild mit jeweiligen Pixeln des Bilds in einem Bildbereich entsprechend dem Bildfeld 170 assoziiert werden. Das Verpackungsmaterialansaugmerkmal bezeichnet Daten, in denen ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns des Ansaugens und des Transports assoziiert ist mit einer Kombination eines Bildfelds und Ansaugparametern im Bereich eines Bildfelds (eines durch partielles Zuschneiden eines Zielbilds erhaltenen Bildabschnitts), in dem ein Verpackungsmaterial im aufgenommenen Bild gezeigt ist. Mit anderen Worten, das Verpackungsmaterialansaugmerkmal bezeichnet Daten, die Ansaugparameter (den das Ansaugen betreffenden Zeitpunkt) angeben, die passend für den Zustand der Oberfläche eines gegebenen verpackten Objekts sind. Außerdem wird eine Ansammlung einer großen Anzahl an Teilen solcher gesammelter Daten als „Verpackungsmaterialansaugmerkmaldatenbank“ bezeichnet. Wenn ein Merkmalsfilter 172, der Eigenschaften eines Verpackungsmaterials bezüglich einer Gruppe von Feldern der Verpackungsmaterialansaugmerkmaldatenbank extrahiert, auf das Bildfeld 170 oder das Bildfeld 171 angewendet wird, wird eine Gruppe von Merkmalsvektoren erhalten. Damit erfasst die Bestimmungseinheit 202 in Bezug auf das Bildfeld 170 den Zustand der Oberfläche des verpackten Objekts als einen Merkmalsvektor 1730-1. Der Merkmalsvektor 1730-1 ist ein Vektor, der den Zustand der Oberfläche des Verpackungsmaterials darstellt (in einem Merkmalsraum). Die Bestimmungseinheit 202 assoziiert Ansaugparameter und ein Ergebnis einer Bestimmung mit einer Merkmalsvektorgruppe 1731-1, in der gleiche oder ähnliche Merkmalsvektoren zusammengefasst sind. Dann wählt die Bestimmungseinheit 202 bezüglich der Merkmalsvektoren Werte von Ansaugparametern aus, die einen hohen Prozentsatz des Ergebnisses der Bestimmung eines Erfolgs aufweisen, und sie ist somit in der Lage, Ansaugparameter zu erhalten, gemäß denen es wahrscheinlich ist, dass das Ergebnis der Bestimmung ein Erfolg wird. Z. B. gruppiert die Bestimmungseinheit 202 Gruppen von Merkmalsvektoren mit einem solchen Merkmal, dass keine Knitterfalten auf der Oberfläche des verpackten Objekts vorhanden sind, in Merkmalsvektorgruppen 1731-1, 1731-2, 1731-3, ..., und 1731-k. Außerdem wird ein aus mehreren solcher Merkmalsvektorgruppen zusammengesetzter Raum mit „Merkmalsvektorraum 173“ bezeichnet. Der Merkmalsvektorraum 173 kann unterteilt werden in einen Merkmalsvektorunterraum 174 für jedes Merkmal der Oberfläche des verpackten Objekts. Z. B. ist der Merkmalsvektorunterraum 174 ein eindimensionaler Raum, wobei die Menge von Knitterfalten als eine Achse gesetzt ist. Außerdem kann eine Gruppe von Merkmalsvektoren durch eine Ebene wie eine Ebene 175 durch Hinzufügen einer anderen Achse oder Aggregieren von Merkmalsvektoren ausgedrückt werden. Auf diese Weise ändert die Bestimmungseinheit 202 die Steuerung des Zeitpunkts zum Starten des Ansaugens, das durch die Ansaugeinrichtung durchgeführt wird, oder des Zeitpunkts zum Durchführen einer Verschiebungsbewegung derselben. Z. B. bewirkt die Bestimmungseinheit 202, wenn die Menge an in der Oberfläche des Bilds enthaltenen Knitterfalten größer als ein vorbestimmter Schwellwert ist, eine Änderung dergestalt, dass das Ansaugen, das durch die Ansaugeinrichtung durchgeführt wird, gestartet wird, bevor die Ansaugeinrichtung in Kontakt mit dem verpackten Objekt kommt. Somit bewirkt die Bestimmungseinheit 202, wenn die Menge an Knitterfalten größer wird, einen früheren Zeitpunkt zum Starten des Ansaugens. Insbesondere veranlasst, da es vorbestimmt oder erwartet wird, dass ein Verpackungsmaterial mit einer großen Menge von Knitterfalten weich ist, ein frühes Durchführen des Ansaugens das Verpackungsmaterial dazu, durch Ansaugen angezogen zu werden, und zwar dergestalt, dass es in das Ansaugfeld eingezogen wird. Dies verringert die Wahrscheinlichkeit, dass das Verpackungsmaterial vom Ansaugfeld herabfällt. Andererseits: da es vorbestimmt oder erwartet wird, dass ein hartes Verpackungsmaterial eine kleine Menge an Knitterfalten auf dessen Oberfläche aufweist, bewirkt die Bestimmungseinheit 202 einen späten Zeitpunkt zum Starten des Ansaugens. In Bezug auf den Merkmalsfilter zum Extrahieren von Eigenschaften des Verpackungsmaterials drückt z. B. die Kantendichte die Wahrscheinlichkeit des Auftretens von Knitterfalten des Verpackungsmaterials aus, mit anderen Worten die Weichheit oder Dicke des Verpackungsmaterials, und das Helligkeits- oder Sättigungsverhältnis zwischen einem Gebiet, in dem das Verpackungsmaterial überlappende Abschnitte aufweist, und einem Gebiet, in dem das Verpackungsmaterial keine überlappenden Abschnitte aufweist, drückt die Lichtdurchlässigkeit oder Dicke des Verpackungsmaterials aus. Das Bereitstellen eines solchen Merkmalsfilters erlaubt es, einen Merkmalsvektor zu extrahieren, der Eigenschaften des Verpackungsmaterials darstellt. Z. B. extrahiert die Bestimmungseinheit 202 insbesondere im Falle des Erhaltens der Anzahl an Knitterfalten Knitterfaltenlinien unter Verwendung z. B. eines Sobel-Filters, eines Laplace-Filters, oder eines Canny-Filters zum Extrahieren von Kanten.
Spezifische Beispiele des Ergebnisses einer Bestimmung eines Erfolgs oder Scheiterns in der Verpackungsmaterialansaugmerkmaldatenbank werden beschrieben. Es gibt drei Ergebnisse der Bestimmung, d. h. Ergebnisse, die angeben, ob der Vakuumdruck bis zu einem Schwellwert oder weniger abgenommen hat, wenn die Ansaugeinrichtung das zu transportierende Objekt ansaugt, während sie in Kontakt mit dem Objekt ist, ob die Ansaugeinrichtung in der Lage war, durch Ansaugen ein zu transportierendes Objekt anzuziehen und das Objekt anzuheben, und ob die Ansaugeinrichtung in der Lage war, ein zu transportierendes Objekt zum Transportziel zu transportieren. In Bezug auf ein jeweiliges der drei Ergebnisse einer Bestimmung wird ein Ergebnis eines Erfolgs oder Scheiterns für jeden Ansaugparameterwert bereitgestellt, ebenso wie die Anzahl an Teilen von Verpackungsmaterialansaugmerkmaldaten. Zusätzlich entsprechen diese drei Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns jeweils dem Zeitpunkt zum Starten des Ansaugens, der ersten Ruhezeit, und der zweiten Ruhezeit in den Ansaugparametern. Man berücksichtige z. B. in Bezug auf Daten über ein gegebenes Verpackungsmaterialansaugmerkmal ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns entsprechend dem Zeitpunkt zum Starten des Ansaugens (P1). Das Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns entsprechend dem Wert P1 wird bestimmt abhängig davon, ob der Vakuumdruck bis zu einem Schwellwert oder weniger abgenommen hat, wenn die Ansaugeinrichtung das verpackte Objekt ansaugt, während sie in Kontakt mit dem verpackten Objekt ist, und falls der Vakuumdruck bis zu dem Schwellwert oder weniger abgenommen hat, bestimmt die Bestimmungseinheit 202, dass der Wert des Zeitpunkts zum Starten des Ansaugens in den Ansaugparametern passend ist. Somit kann in der Verpackungsmaterialansaugmerkmaldatenbank, falls ein Merkmalsvektor entsprechend einem Bildfeld bestimmt wird, in Bezug auf jeweilige Ansaugparameter, der Wert als ein Ansaugparameter gesetzt werden, der den höchsten Prozentsatz der Anzahl an Teilen von Erfolg-Daten unter den Prozentsätzen der Anzahl an Teilen von Erfolg-Daten und der Anzahl an Teilen von Scheitern-Daten aufweist. Während im hier beschriebenen Beispiel drei Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns den jeweiligen drei Ansaugparametern individuell entsprechen, ist das vorliegende Ausführungsbeispiel nicht auf dieses Beispiel beschränkt. Z. B. kann, nur wenn sämtliche der drei Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns einen Erfolg anzeigen, bestimmt werden, dass eine dementsprechende Kombination von drei Ansaugparametern passend ist.
3 ist ein Diagramm, das eine Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 1 veranschaulicht. Eine Hauptprozessoreinheit (CPU) H11 steuert verschiedene Einrichtungen, die mit einem Systembus H20 verbunden sind. Ein Festspeicher (ROM) H12 speichert Programme eines Basic Input/Output Systems (BIOS) und ein Bootprogramm. Ein Arbeitsspeicher (RAM) H13 wird als Hauptspeichereinrichtung für die CPU H11 verwendet. Ein externer Speicher H14 speichert Programme gemäß denen die Informationsverarbeitungsvorrichtung 1 eine Verarbeitung durchführt. Eine Eingabeeinheit H15, die ein Touch Panel, eine Tastatur, eine Maus, oder eine Robotersteuerung ist, führt eine Verarbeitung in Bezug auf das Eingeben von z. B. Information durch. Eine Anzeigeeinheit H16 gibt an eine Anzeigeeinrichtung ein Ergebnis einer Berechnung aus, die durch die Informationsverarbeitungsvorrichtung 1 gemäß einer Anweisung von der CPU H11 durchgeführt wird. Ferner kann die Anzeigeeinrichtung jede Art von Anzeige sein, wie etwa eine Flüssigkristallanzeigeeinrichtung, ein Projektor, oder eine Leuchtdioden-Anzeige (LED-Anzeige). Eine Kommunikationsschnittstelle H17 führt Informationskommunikation über ein Netzwerk durch unter Verwendung irgendeiner Art von Kommunikationsverfahren wie Ethernet, Universal Serial Bus (USB), serielle Kommunikation, oder Drahtloskommunikation. Eine Eingabe-Ausgabe-Einheit (I/O-Einheit) H18 ist mit einer Kamera H19 verbunden. Ferner ist die Kamera H19 äquivalent zur Abbildungseinheit 10.
Im ersten Ausführungsbeispiel ist die Abbildungseinheit 10 an der Aktoreinheit 11 angebracht. Wenn die für das Ansaugen verfügbare Position und Orientierung auf einem durch die Abbildungseinheit 10 aufgenommenen Bild bestimmt worden ist, wird angenommen, dass, um die Aktoreinheit 11 zu der bestimmten Position zu bewegen, eine Beziehung zwischen dem Koordinatensystem der Aktoreinheit 11 und dem Koordinatensystem der Abbildungseinheit 10 vorab kalibriert worden ist, und es wird angenommen, dass ein Parameter mit sechs Freiheitsgraden zuvor erhalten worden ist. Dieser Parameter wird durch eine Rotationsmatrix und einen Translationsvektor ausgedrückt, die eine Beziehung des Koordinatensystems der Abbildungseinheit 10 (Kamera H19) relativ zum Koordinatensystem des Roboters ausdrücken, und die Rotationsmatrix hat drei Freiheitsgrade und der Translationsvektor hat drei Freiheitsgrade. Gleichermaßen ist die Ansaugeinheit 12 am vorderen Ende der Aktoreinheit 11 angebracht. Um die Ansaugeinheit 12 an eine gewünschte oder vorbestimmte Position zu bewegen, wird angenommen, dass eine Beziehung zwischen dem Koordinatensystem der Aktoreinheit 11 und dem Koordinatensystem der Ansaugeinheit 12 zuvor kalibriert worden ist, und es wird angenommen, dass ein Parameter mit sechs Freiheitsgraden vorab erhalten worden ist.
Als nächstes wird eine Verarbeitungsprozedur im ersten Ausführungsbeispiel beschrieben. Zunächst wird eine Verarbeitung, die die Informationsverarbeitungsvorrichtung 1 durchführt, kurz beschrieben, und dann wird ein spezifisches Beispiel der Verarbeitung nachstehend unter Bezugnahme auf Flussdiagramme für das Informationsverarbeitungssystem beschrieben. 15 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die die Informationsverarbeitungsvorrichtung 1 durchführt. In Schritt S4000 führt die Informationsverarbeitungsvorrichtung 1 eine Initialisierung von Parametern durch. In Schritt S4020 gibt die Eingabeeinheit 200 ein durch die Abbildungseinheit 10 aufgenommenes Bild ein. In Schritt S4030 extrahiert die Extraktionseinheit 201 eine Ansaugposition für das verpackte Objekt 13 aus dem Eingabebild. In Schritt S4040 bestimmt die Bestimmungseinheit 202 Ansaugparameter aus dem Zustand der Oberfläche eines zum Verpacken des verpackten Objekts 13 verwendeten Verpackungsmaterials anhand des Eingabebilds. In Schritt S4080 führt die Steuereinheit 203 eine Steuerung durch, um die Ansaugeinheit 12 dazu zu veranlassen, das Ansaugen zu starten. In Schritt S4140 bestimmt die Informationsverarbeitungsvorrichtung 1, ob die Aufgabe abgeschlossen ist, und falls bestimmt wird, dass die Aufgabe abgeschlossen ist (JA in Schritt S4140), endet die Verarbeitung, und falls bestimmt wird, dass die Aufgabe nicht abgeschlossen ist (NEIN in Schritt S4140), kehrt die Verarbeitung zu Schritt S4020 zurück.
4 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im ersten Ausführungsbeispiel durchführt. Das Informationsverarbeitungssystem 10000 muss jedoch nicht notwendigerweise sämtliche der in diesem Flussdiagramm beschriebenen Schritte durchführen.
In Schritt S4000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems durch. Genauer gesagt liest das Informationsverarbeitungssystem 10000 Programme aus dem externen Speicher H14, und versetzt somit die Informationsverarbeitungsvorrichtung 1 in den Zustand, in dem sie betriebsbereit ist. Das Informationsverarbeitungssystem 10000 führt das Hochfahren der Abbildungseinheit 10 und der Aktoreinheit 11 durch, das Lesen von Parametern dafür, und das Lesen von Kalibrierungsinformation über die Abbildungseinheit 10, die Aktoreinheit 11, und die Ansaugeinheit 12, und verwendet interne Parameter (z. B. die Brennweite, die Bildmittenposition sowie Objektivverzeichnung) für die Abbildungseinheit 10, die vorab kalibriert worden sind. Außerdem liest das Informationsverarbeitungssystem 10000 Positionen des Behälters 14 und des Behälters 15 ein. Zusätzlich liest das Informationsverarbeitungssystem 10000 einen Merkmalsfilter entsprechend der Verpackungsmaterialansaugmerkmaldatenbank aus der Speichereinheit 205, wendet den Merkmalsfilter auf eine Gruppe von Bildfeldern in der Verpackungsmaterialansaugmerkmaldatenbank an, und erhält vorab Merkmalsvektoren entsprechend den Bildfeldern. Dann klassifiziert das Informationsverarbeitungssystem 10000 die Merkmalsvektoren für jeden gleichen oder ähnlichen Merkmalsvektor, bezieht sich auf ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns bezüglich eines jeweiligen Merkmalsvektors, und assoziiert einen Ansaugparameter, der vermutlich zu einem Erfolg führt, mit dem jeweiligen Merkmalsvektor. Außerdem veranlasst das Informationsverarbeitungssystem 10000 vor Durchführen der Bildaufnahme die Aktorsteuereinheit 2031 zur Steuerung der Aktoreinheit 11 basierend auf der kalibrierten Position, und bewegt damit die Abbildungseinheit 10 an eine Position, wo sie dazu in der Lage ist, ein Bild des in den Behälter 14 gelegten verpackten Objekts 13 aufzunehmen.
In Schritt S4010 führt die Abbildungseinheit 10 eine Bildaufnahme des in den Behälter 14 gelegten verpackten Objekts 13 durch, und erhält damit ein Farbbild und ein Distanzbild. In Schritt S4020 gibt die Eingabeeinheit 200 Bilder ein, die durch Durchführen einer Bildaufnahme des verpackten Objekts erhalten werden. Genauer gesagt gibt die Eingabeeinheit 200 der Extraktionseinheit 201 ein Farbbild und ein Distanzbild ein, das durch Bildaufnahme in Schritt S4010 erhalten wird. Die Eingabeeinheit 200 kann ein Graustufenbild oder ein Infrarotbild erfassen, solange es zum Überwachen der Oberfläche des Verpackungsmaterials benutzbar ist. In Schritt S4030 extrahiert die Extraktionseinheit 201 eine Ansaugposition, an der die Ansaugeinrichtung dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen. Insbesondere extrahiert die Extraktionseinheit 201 die Position des verpackten Objekts, indem sie eine Vorlage, die Merkmale des verpackten Objekts (Bildmerkmal) angibt, und die in Schritt S4010 extrahierten Bilder miteinander vergleicht. Daten über die Ansaugposition (die Position des Schwerpunkts des Objekts) sind einer jeweiligen Vorlage zugewiesen. Genauer gesagt extrahiert die Extraktionseinheit 201 aus dem Farbbild ein Bildmerkmal zum Nachweisen des in Stapeln im Behälter 14 gestapelten verpackten Objekts 13, und führt einen Abgleich des Bildmerkmals mit einer Vorlage durch, die das Merkmal des verpackten Objekts 13 angibt, und spezifiziert damit die Ansaugposition für das verpackte Objekt 13. Hier bezeichnet die Vorlage Daten, in denen, nachdem das verpackte Objekt 13 und die Ansaugposition (die Position des Schwerpunkts des Objekts) in verschiedenen Orientierungen beobachtet worden sind, ein Merkmal in einem Bild mit der Ansaugposition für und der Orientierung des im Bild enthaltenen verpackten Objekts 13 assoziiert ist, was angibt, dass, falls das Merkmal ähnlich ist, ein ähnlicher Orientierungszustand vorliegt. Außerdem ist die Ansaugposition für eine jeweilige Vorlage zuvor bestimmt worden. Somit erfasst die Extraktionseinheit 201, falls ein Abschnitt des Eingabebilds zu einer Vorlage passt, den entsprechenden Abschnitt als Ansaugposition. Ferner wird die Vorlage, die die Extraktionseinheit 201 erfasst, durch die Speichereinheit 205 gespeichert oder in einer externen Speichereinheit gespeichert. Die Vorlage kann ein zweidimensionales Bild oder ein dreidimensionales Modell eines verpackten Objekts sein. Hier erfasst die Extraktionseinheit 201 zweidimensionale Positionen mehrerer verpackter Objekte. Zusätzlich identifiziert die Extraktionseinheit 201 im in Schritt S4010 erfassten Distanzbild (dreidimensionale Information) die Position eines verpackten Objekts, das nicht in Eingriff mit einem anderen verpackten Objekt ist, und extrahiert die dreidimensionale Orientierung des verpackten Objekts aus dem Distanzbild. Dann extrahiert die Extraktionseinheit 201 ein Ansaugkandidatengebiet des verpackten Objekts, in dem eine für das Ansaugen benutzbare Oberfläche vorhanden ist (ein Ergebnis der Extraktion). Genauer gesagt legt die Extraktionseinheit 201 als Ansaugkandidatengebiet ein Ergebnis des Extrahierens einer zweidimensionalen Position des verpackten Objekts fest, und zwar durch Vergleichen eines Bereichs, in dem das verpackte Objekt vorhanden ist, mit dem Bildmerkmal des verpackten Objekts, und dadurch, dass sie weiter unter Verwendung von Tiefeninformation über das Distanzbild dreidimensionale Positionen mehrerer verpackter Objekte extrahiert, die die Ansaugeinheit durch Ansaugen anziehen kann. Durch Verwendung der dreidimensionalen Positionen von verpackten Objekten kann die Extraktionseinheit 201 die für das Ansaugen verwendete Position mit einem hohen Genauigkeitsgrad bestimmen. Im Distanzbild identifiziert die Extraktionseinheit 201 die Position eines verpackten Objekts 13, das auf einer nahen Seite unter in Stapeln gestapelten verpackten Objekten 13 vorhanden ist und das nicht im Eingriff mit einem anderen verpackten Objekt ist, und erhält die dreidimensionale Orientierung des verpackten Objekts 13. Mit anderen Worten, die Extraktionseinheit 201 bestimmt als Ansaugposition ein Ansaugkandidatengebiet, das den geringsten, die Tiefe ausgehend von der Abbildungseinheit 10 angebenden Wert unter mehreren verpackten Objekten angibt. Da es das sequenzielle Anziehen eines Stapels von verpackten Objekten, eines nach dem anderen, erlaubt, das „Entstapeln“ von verpackten Objekten zu verhindern, ist es möglich, ein stabiles Ansaugen durchzuführen. Ferner ist das Verfahren des Extrahierens der Ansaugposition nicht auf das oben aufgeführte Verfahren beschränkt.
In Schritt S4040 bestimmt die Bestimmungseinheit 202 Ansaugparameter aus dem Zustand der Oberfläche des verpackten Objekts anhand von Daten, in denen ein Ergebnis, das angibt, ob das Ansaugen erfolgreich ist, mit einer Kombination des Zustands der Oberfläche des verpackten Objekts und des Zeitpunkts für das Ansaugen assoziiert ist. Die Bestimmungseinheit 202 bestimmt Ansaugparameter an der in Schritt S4030 erfassten Ansaugposition und in einem diese umgebenden Abschnitt unter Verwendung des Farbbilds, des Distanzbilds und der Verpackungsmaterialansaugmerkmaldatenbank. Insbesondere extrahiert die Bestimmungseinheit 202 zunächst ein Bildfeld des Farbbilds oder des Distanzbilds an der Ansaugposition und im diese umgebenden Abschnitt. Zu diesem Zeitpunkt legt die Bestimmungseinheit 202 anhand des Distanzbilds die Größe des Bildfelds derart fest, dass es ein Quadrat mit einer Größe wird, in die der Durchmesser des Ansaugfelds in tatsächlicher Größe hineinpasst. Da lediglich ein Gebiet, gegen das das Ansaugfeld aktuell gedrückt wird (eine Größe, in die der Durchmesser des Ansaugfelds hineinpasst), einen großen Einfluss auf die Schätzung von Ansaugparametern hat, passt die Bestimmungseinheit 202 die Größe des Bildfelds an den Durchmesser des Ansaugfelds an. Da das Bildfeld, das derart erfasst wird, dass es an die tatsächliche Größe angepasst ist, in der Pixelgröße gemäß Abständen variiert, vergrößert oder verkleinert die Bestimmungseinheit 202 das Bildfeld durch Größenänderung so, dass es eine vorbestimmte Größe aufweist. Z. B. ändert die Bestimmungseinheit 202 die Größe des Bildfelds in horizontaler und vertikaler Richtung auf 64 Pixel. Dann wendet die Bestimmungseinheit 202 den Merkmalsfilter auf das in der Größe geänderte Bildfeld an und erhält damit einen Merkmalsvektor. Als nächstes führt die Bestimmungseinheit 202 einen Vergleich des Merkmalsvektors mit denjenigen in der Verpackungsmaterialansaugmerkmaldatenbank durch. Falls ein ähnlicher Merkmalsvektor gefunden wird, extrahiert die Bestimmungseinheit 202 einen Ansaugparameter, der vermutlich zu einem Erfolg führt und der mit dem gefundenen, ähnlichen Merkmalsvektor assoziiert ist, und erhält somit Ansaugparameter. Während hier ein Beispiel unter Verwendung eines Farbbilds und ein Distanzbild beschrieben worden ist, ist das vorliegende Ausführungsbeispiel nicht auf dieses Beispiel beschränkt, sondern die Bestimmungseinheit 202 kann den Vergleich mit der Verpackungsmaterialansaugmerkmaldatenbank unter Verwendung entweder eines Farbbilds oder eines Distanzbilds durchführen. Außerdem kann die Bestimmungseinheit 202 neben einem Farbbild z. B. ein Monochrombild, ein Infrarotbild, oder ein Ultraviolettbild verwenden, mehrere durch Durchführen einer Bildaufnahme der Ansaugposition aus verschiedenen Blickwinkeln erhaltene Bilder verwenden, oder ein Bild verwenden, dass durch Projizieren eines Lichtmusters und Durchführen einer Bildaufnahme des reflektierten Lichtmusters erhalten wird. In jedem Fall wird angenommen, dass eine Verpackungsmaterialansaugmerkmaldatenbank des Formats, das für einen Vergleich mit einer Eingabe benutzbar ist, zuvor erstellt worden ist. Während hier ein Beispiel beschrieben worden ist, in dem die Größe des Bildfelds 64 Pixel in horizontaler und vertikaler Richtung beträgt, ist das vorliegende Ausführungsbeispiel nicht auf dieses Beispiel beschränkt.
In Schritt S4050 bestimmt die Bestimmungseinheit 202 einen Steuerparameter basierend auf der initialen Position der Ansaugeinheit 12 und Positionsinformation über das verpackte Objekt 13 und den Behälter 15. Der Steuerparameter ist ein Parameter, der für die Aktoreinheit 11 verwendet wird, um eine Bewegungssteuerung der Position der Ansaugeinheit 12 durchzuführen. Z. B. bestimmt die Bestimmungseinheit 202 als Steuerparameter eine Steuerung zum Bewegen der Ansaugeinheit 12 zur Position des verpackten Objekts 13. In Schritt S4060 steuert die Aktorsteuereinheit 2031 die Aktoreinheit 11 gemäß dem in Schritt S4050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 in der Nähe der durch die Extraktionseinheit 201 eingegebenen Ansaugposition ankommt. In Schritt S4070 führt die Informationsverarbeitungsvorrichtung 1 eine Bestimmung durch, indem sie unter den durch die Ansaugsteuereinheit 2032 erhaltenen Ansaugparametern auf den Zeitpunkt P1 zum Starten des Ansaugens Bezug nimmt. Falls bestimmt wird, dass das Ansaugen zuerst gestartet werden soll (P1 = 0) (JA in Schritt S4070), fährt die Verarbeitung mit Schritt S4080 fort. Andererseits, falls bestimmt wird, dass das Ansaugen nach Kontakt mit dem verpackten Objekt durchgeführt werden soll (P1 = 1) (NEIN in Schritt S4070), fährt die Verarbeitung mit Schritt S4071 fort. In Schritt S4080 führt die Ansaugsteuereinheit 2032 eine Steuerung durch, um die Ansaugeinheit 12 dazu zu veranlassen, das Ansaugen zu starten. In Schritt S4090 steuert die Aktorsteuereinheit 2031 die Aktoreinheit 11 gemäß dem in Schritt S4050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen, während sie das verpackte Objekt 13 ansaugt. Dann fährt die Verarbeitung mit Schritt S4100 fort. In Schritt S4071 steuert die Aktorsteuereinheit 2031 die Aktoreinheit 11 gemäß dem in Schritt S4050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen. In Schritt S4072 führt die Ansaugsteuereinheit 2032 eine Steuerung durch, um die Ansaugeinheit 12 dazu zu veranlassen, das Ansaugen zu starten. Zu diesem Zeitpunkt befindet sich die Ansaugeinheit 12 in dem Zustand, in dem sie in Kontakt mit dem verpackten Objekt 13 ist. Dann fährt die Verarbeitung mit Schritt S4100 fort. Während die Ansaugeinheit 12 dazu in der Lage ist, an der Ansaugposition für das verpackte Objekt 13 anzukommen, indem sie gemäß dem in Schritt S4050 bestimmten Steuerparameter gesteuert wird, ist es ferner durch Berücksichtigung, ob die Ansaugeinheit 12 und das verpackte Objekt 13 in Kontakt miteinander gekommen sind, möglich, ein stabileres Aufnehmen durchzuführen. Z. B. kann eine Überwachungseinheit (nicht dargestellt) den Vakuumdruck der Ansaugeinheit messen und, falls der Vakuumdruck auf einen Wert gefallen ist, der geringer ist als ein vorbestimmter Wert, kann die Überwachungseinheit bestimmen, dass die Ansaugeinheit 12 und das verpackte Objekt 13 in Kontakt miteinander gekommen sind. Alternativ kann ein Kontaktsensor an einer Roboterhand oder einem Ansaugfeld angebracht sein, und solch ein Kontakt kann durch eine Nachweiseinheit (nicht dargestellt) nachgewiesen werden.
Hier ist ein spezifisches Beispiel des Zeitpunkts zum Starten des Ansaugens unter Bezugnahme auf 18 beschrieben. In einem Graph 18 gibt die vertikale Achse in Bezug auf eine Ansaugsteuerung für die Ansaugeinheit 12 einen Zustand an, in dem das Ansaugen AN ist sowie einen Zustand, in dem das Ansaugen AUS ist, und die horizontale Achse gibt die Zeit an. „T = 0“ stellt den Zeitpunkt dar, zu dem eine Aufgabe des Transportierens eines in den Behälter 14 gelegten, verpackten Objekts zum Behälter 15 gestartet wird. „T = T1“ stellt den Zeitpunkt dar, zu dem die Ansaugeinheit und das verpackte Objekt in Kontakt miteinander kommen. „T = T2“ stellt den Zeitpunkt dar, zu dem das Transportieren des verpackten Objekts gestartet werden soll. „T = T3“ stellt den Zeitpunkt da, zu dem das Ansaugen gestoppt und das verpackte Objekt freigegeben werden soll. In einer Szene 180 sind die Abbildungseinheit 10, die Ansaugeinheit 12, das verpackte Objekt (ein zu transportierendes Objekt) 13, der Behälter 14, und die verbleibenden zu transportierenden Objekte, die im Zeitpunkt „T = 0“ vorhanden sind, gezeigt. Die Abbildungseinheit 10 und die Ansaugeinheit 12 sind jeweils mit der Informationsverarbeitungsvorrichtung 1 verbunden. Die Informationsverarbeitungsvorrichtung 1 extrahiert eine Ansaugposition für das verpackte Objekt 13 aus dem aufgenommenen Bild. Bei „T = 0“ führt die Abbildungseinheit 10 eine Bildaufnahme des verpackten Objekts 13 und des Behälters 14 durch. Mehrere verpackte Objekte, die in Stapeln gestapelt sind, sind im Behälter 14 vorhanden, und das verpackte Objekt 13 befindet sich oben auf solch einem Stapel von verpackten Objekten. Im Graph 18 wird die Ansaugsteuerung durch eine durchgezogene Linie dargestellt, falls der Ansaugparameter „P1 = 0“ ist, und durch eine gestrichelte Linie dargestellt, falls der Ansaugparameter „P1 =1“ ist. Wie in einer Szene 181 wird das Ansaugen zu einem Zeitpunkt unmittelbar bevor die Ansaugeinheit 12 bei dem verpackten Objekt 13 ankommt (T = T1 - ΔT Sekunden) gestartet, falls der Ansaugparameter „P1 = 0“ ist. Falls der Ansaugparameter (P1) „P1 = 1“ ist, wird das Ansaugen durch die Ansaugeinheit 12 zum Zeitpunkt „T = T1“ gestartet. Wie durch eine Szene 182 ausgedrückt kommen das verpackte Objekt 13 und die Ansaugeinheit 12 zum Zeitpunkt „T = T1“ in Kontakt miteinander. Als nächstes wird, im Falle, dass ein numerischer Wert als der Ansaugparameter P2 festgelegt wird, die Ansaugeinheit 12 im Zustand der Szene 182 für P2 Sekunden im Ruhezustand gehalten, während sie das verpackte Objekt 13 ansaugt. Zum Zeitpunkt „T = T2“, der P2 Sekunden nach dem Kontakt zwischen dem verpackten Objekt 13 und der Ansaugeinheit 12 ist, startet die Ansaugeinheit 12 das Transportieren des verpackten Objekts 13. Eine Szene 183 stellt den Zustand dar, in dem die Ansaugeinheit 12 dabei ist, das verpackte Objekt 13 zu transportieren. Nach Transportieren des verpackten Objekts 13 kommt die Ansaugeinheit 12 zum Zeitpunkt „T = T3“ in der Nähe des Behälters 15 an, der ein Ziel ist. Eine Szene 184 repräsentiert einen solchen Zustand zu diesem Zeitpunkt. Hierbei stoppt die Ansaugeinheit 12 das Ansaugen und sie wird für P3 Sekunden im Ruhezustand gehalten, falls der Ansaugparameter P3 zuvor eingestellt worden ist. Nach „T3 + P3“ Sekunden wird die Ansaugeinheit 12 wieder bewegt. Auf diese Weise ändert die Informationsverarbeitungsvorrichtung 1 gemäß den bestimmten Ansaugparametern den Zeitpunkt, zu dem das Ansaugen durchgeführt werden soll.
In Schritt S4100 veranlasst die Aktorsteuereinheit 2031 die Ansaugeinheit 12 dazu, für die erste Ruhezeit (P2 Sekunden) im Zustand des Ansaugens des verpackten Objekts 13, während sie in Kontakt mit dem verpackten Objekt 13 ist, im Ruhezustand gehalten zu werden, und zwar gemäß der in den Ansaugparametern enthaltenen, in Schritt S4040 bestimmten ersten Ruhezeit (P2). Mit anderen Worten, die Aktoreinheit 11 verbleibt für P2 Sekunden im Ruhezustand. Die Ansaugeinheit im Ruhezustand zu halten erlaubt es hier, das verpackte Objekt ausreichend durch Ansaugen anzuziehen, weil z. B. im Falle, dass die Oberfläche des verpackten Objekts viele Knitterfalten aufweist, die Ansaugeinheit das Ansaugen durchführt, während sie in Kontakt mit der Oberfläche des verpackten Objekts ist, und so dazu in der Lage ist, Knitterfalten einzuziehen und damit die Knitterfalten loszuwerden. In Schritt S4110 steuert die Aktorsteuereinheit 2031 die Aktoreinheit 11, um das verpackte Objekt 13 gemäß dem in Schritt S4050 bestimmten Steuerparameter zum Behälter 15 zu transportieren. In Schritt S4120 führt die Ansaugsteuereinheit 2032, um das verpackte Objekt 13, das die Ansaugeinheit 12 durch Ansaugen angezogen hat, in den Behälter 15 freizugeben, eine Steuerung durch, um das durch die Ansaugeinheit 12 durchgeführte Ansaugen zu stoppen. In Schritt S4130 veranlasst die Aktorsteuereinheit 2031 gemäß der in den Ansaugparametern enthaltenen zweiten Ruhezeit (P3) die Aktoreinheit 11 dazu, für die zweite Ruhezeit (P3 Sekunden) im Ruhezustand gehalten zu werden, nachdem das Ansaugen in Schritt S4120 gestoppt wird. Während dieser Ruhezeit wird das verpackte Objekt 13 von der Ansaugeinheit 12 vollständig in den Behälter 15 freigegeben. Die Ansaugeinheit für eine Weile im Ruhezustand zu halten erlaubt z. B. sogar im Fall, dass das Verpackungsmaterial ein eher weiches Material ist und es unwahrscheinlich ist, dass es von der Ansaugeinheit getrennt wird, eine Verbesserung der Erfolgsquote der Freigabe.
In Schritt S4140 bestimmt die Informationsverarbeitungsvorrichtung 1, ob die Aufgabe abgeschlossen werden soll, und falls bestimmt wird, die Aufgabe abzuschließen (JA in Schritt S4140), endet die Verarbeitung. Falls bestimmt wird, die Aufgabe nicht abzuschließen (NEIN in Schritt S4140), fährt die Verarbeitung mit Schritt S4141 fort. Die Bestimmung, die Aufgabe abzuschließen, basiert hier auf dem Fall, dass es unnötig geworden ist, irgendein weiteres verpacktes Objekt vom Behälter 14 zum Behälter 15 zu transportieren. Solch ein Fall enthält z. B. den Zeitpunkt, zu dem kein verpacktes Objekt im Behälter vorhanden ist, den Zeitpunkt, zu dem kein weiteres verpacktes Objekt in den Behälter 15 gelegt werden kann, und den Zeitpunkt, zu dem die vom Benutzer angeforderte Anzahl an verpackten Objekten vollständig transportiert worden ist. In Schritt S4141 steuert die Aktorsteuereinheit 2031 die Aktoreinheit 11 derart, dass sich die Abbildungseinheit 10 zu einer Position und Orientierung bewegt, die zum Durchführen einer Bildaufnahme eines verpackten Objekts im Behälter 14 benutzbar ist. Dann kehrt die Verarbeitung zu Schritt S4010 zurück.
Die vorstehend beschriebene Verarbeitung ermöglicht es, das Ansaugen und den Transport des verpackten Objekts 13 vom Behälter 14 zum Behälter 15 durchzuführen. Im Ausführungsmodus im ersten Ausführungsbeispiel werden drei Ansaugparameter bestimmt, d. h. der Zeitpunkt zum Starten des Ansaugens, eine erste Ruhezeit sowie eine zweite Ruhezeit, und zwar anhand von Information über ein Verpackungsmaterial in einer Position, an der das verpackte Objekt durch Ansaugen angezogen werden soll, und das Ansaugen wird anhand der Ansaugparameter gesteuert. Somit ist es möglich, ein mit einem Verpackungsmaterial verpacktes Objekt durch Ansaugen auf stabile Weise anzuziehen und zu transportieren.
Im Ausführungsmodus ist ein Fall beschrieben worden, in dem, wenn eine Aufgabe durchgeführt wird, ein verpacktes Objekt in einem Stapel von in einen Behälter gelegten verpackten Objekten durch Ansaugen aus dem Behälter herauszunehmen und das verpackte Objekt dann zu einer vorbestimmten Position zu transportieren, eine Verpackungsmaterialansaugmerkmaldatenbank vorab erstellt wird. Andererseits wird im Lernmodus ein Fall beschrieben, in dem eine Verpackungsmaterialansaugmerkmaldatenbank, die durch eine Speichereinheit gespeichert wird, durch Lernen erfasst wird. Ein Informationsverarbeitungssystem im Lernmodus enthält in der Informationsverarbeitungsvorrichtung eine Moduswechseleinheit (nicht dargestellt), und ist damit in der Lage, zwischen einem Ausführungsmodus, der eine Aufgabe durchführt, und einem Lernmodus, der das Lernen durchführt, zu wechseln. Hier wird der Lernmodus beschrieben. Eine Konfiguration des Informationsverarbeitungssystems 10000 im Lernmodus ist ähnlich zu derjenigen, die in 1A im ersten Ausführungsbeispiel veranschaulicht ist, und ist daher aus der Beschreibung ausgelassen.
5 ist ein Diagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 im Lernmodus veranschaulicht. Die Informationsverarbeitungsvorrichtung 1 im Lernmodus enthält funktionelle konstituierende Elemente, die denjenigen im in 2 veranschaulichten Ausführungsmodus ähnlich sind. Genauer gesagt enthält die in 5 veranschaulichte Informationsverarbeitungsvorrichtung 1 eine Eingabeeinheit 500, eine Extraktionseinheit 501, eine Bestimmungseinheit 502, eine Steuereinheit 503, und eine Speichereinheit 505. Die in 5 veranschaulichte Informationsverarbeitungsvorrichtung 1 enthält weiter eine Bestimmungseinheit 506, eine Datenerfassungseinheit 507 und eine Lerneinheit 508.
Die Eingabeeinheit 500 gibt ein durch Durchführen einer Bildaufnahme eines verpackten Objekts erhaltenes Bild ein. Genauer gesagt gibt die Eingabeeinheit 500 ein Farbbild und ein Distanzbild, das durch die Abbildungseinheit 10, die eine Bildaufnahme eines verpackten Objekts durchführt, erhalten wird, ein, und gibt das Farbbild und das Distanzbild an die Extraktionseinheit 501 aus. Die Extraktionseinheit 501 extrahiert eine Ansaugposition, an der die Ansaugeinrichtung dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen, indem sie eine Vorlage, die ein Bildmerkmal ist, in dem der Zustand der Oberfläche des verpackten Objekts und die für das Ansaugen angepasste Position miteinander assoziiert sind, mit den Eingabebildern vergleicht. Mit anderen Worten, die Extraktionseinheit 501 extrahiert die Position, an der die Ansaugeinheit 12 dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen, anhand des durch die Eingabeeinheit 500 eingegebenen Farbbilds oder Distanzbilds. Die Extraktionseinheit 501 gibt Information über die extrahierte Ansaugposition an die Bestimmungseinheit 502 und eine Aktorsteuereinheit 5031 aus. Die Bestimmungseinheit 502 bestimmt einen das Ansaugen betreffenden Zeitpunkt, der eine Zeit oder einen Zeitpunkt angibt, in der bzw. zu dem das Ansaugen durchgeführt werden soll, und zwar anhand von Daten, in denen ein Ergebnis, das angibt, ob das Ansaugen erfolgreich ist, mit einer Kombination des Zustands der Oberfläche des verpackten Objekts und dem das Ansaugen betreffenden Zeitpunkt assoziiert ist. Genauer gesagt erfasst die Bestimmungseinheit 502 Ansaugparameter anhand einer Anforderung in der durch die Speichereinheit 505 eingegebenen Verpackungsmaterialansaugmerkmaldatenbank bezüglich der durch die Extraktionseinheit 501 eingegebenen Ansaugposition. Insbesondere erhält die Bestimmungseinheit 502 Merkmalsvektoren unter Verwendung eines Merkmalsfilters entsprechend der Verpackungsmaterialansaugmerkmaldatenbank bezüglich eines der Ansaugposition entsprechenden Bildfelds. Dann erfasst die Bestimmungseinheit 502, da in der Verpackungsmaterialansaugmerkmaldatenbank der Wert eines jeweiligen von drei Ansaugparametern, in dem Daten für einen jeweiligen Merkmalsvektor erfasst werden sollen, als eine Anforderung festgelegt ist, diese Werte als Ansaugparameter. Die Bestimmungseinheit 502 gibt den erfassten Ansaugparameter an eine Ansaugsteuereinheit 5032 aus. Details des Festlegens einer Anforderung in der Verpackungsmaterialansaugmerkmaldatenbank sind nachstehend beschrieben.
Die Steuereinheit (Ausgabeeinheit) 503 gibt Steuerinformation zum Steuern des das Ansaugen betreffenden Zeitpunkts aus, der aus dem anhand des Bilds spezifizierten Zustand der Oberfläche des verpackten Objekts bestimmt wird. Mit anderen Worten, die Steuereinheit 503 steuert die Ansaugeinheit 12 gemäß dem durch die Bestimmungseinheit 502 bestimmten, das Ansaugen betreffenden Zeitpunkt. Die Steuereinheit 503 ist aus der Aktorsteuereinheit 5031 und der Ansaugsteuereinheit 5032 zusammengesetzt. Die Aktorsteuereinheit 5031 steuert die Aktoreinheit 11 anhand der durch die Extraktionseinheit 501 eingegebenen Ansaugposition, um eine Transportsteuerung des verpackten Objekts 13 durchzuführen, während das verpackte Objekt 13 durch Ansaugen angezogen wird. Außerdem führt die Aktorsteuereinheit 5031 beim Durchführen einer Steuerung des Ansaugens eine Steuerung z. B. eines Zeitpunkts für das Ansaugen in Kooperation mit der Ansaugsteuereinheit 5032 durch. Die Ansaugsteuereinheit 5032 steuert das Ansaugen durch Festlegen des Zeitpunkts zum Starten des Ansaugens beim Anziehen des verpackten Objekts 13 durch Ansaugen, der ersten Ruhezeit und der zweiten Ruhezeit gemäß den durch die Bestimmungseinheit 502 eingegebenen Ansaugparametern. Außerdem führt die Ansaugsteuereinheit 5032 in Kooperation mit der Aktorsteuereinheit 5031 gemäß den Ansaugparametern eine Steuerung des Ansaugens, das durch die Ansaugeinheit 12 durchgeführt wird, durch, um das verpackte Objekt 13 durch Ansaugen anzuziehen. Die Speichereinheit 505 speichert eine Verpackungsmaterialansaugmerkmaldatenbank und dieser entsprechende Merkmalsfilter, und gibt Information über die Datenbank und die Merkmalsfilter an die Bestimmungseinheit 502 und die Lerneinheit 508 aus. Außerdem führt die Speichereinheit 505, falls die Lerneinheit 508, wie nachstehend beschrieben ist, ein zusätzliches Aktualisieren von Daten und einer Anforderung in der Verpackungsmaterialansaugmerkmaldatenbank durchgeführt hat, ein Aktualisieren der Datenbank und der Anforderung durch.
Die Bestimmungseinheit 506 bestimmt ein Ergebnis, das angibt, ob eine Aufgabe des Transportierens eines verpackten Objekts erfolgreich ist, indem sie den Vakuumdruck der Ansaugeinheit 12 überwacht. Die Bestimmungseinheit 506 macht eine Bestimmung, ob ein normaler Zustand bei einem jeweiligem Prüfpunkt erhalten wird, und gibt ein Ergebnis der Bestimmung an die Datenerfassungseinheit 507 aus. Spezifische Beispiele des Prüfpunkts, an dem die Bestimmungseinheit 506 eine Bestimmung macht, enthalten: ob der Vakuumdruck bis zu einem Schwellwert oder darunter gefallen ist, wenn die Ansaugeinheit 12 das verpackte Objekt 13 ansaugt, während sie in Kontakt damit ist, ob die Ansaugeinheit 12 in der Lage war, das verpackte Objekt 13 anzuheben, nachdem das Transportieren des durch das Ansaugen angezogenen verpackten Objekts 13 gestartet worden ist (ob der Vakuumdruck sogar dann bei dem Schwellwert oder darunter bleibt, wenn die Ansaugeinheit 12 zu einer Anhebeposition für das verpackte Objekt 13 aufgestiegen ist), und ob sich das verpackte Objekt 13 innerhalb eines gewünschten oder vorbestimmten Bereichs befindet, nachdem es freigegeben wurde. Jedoch ist der Prüfpunkt nicht auf diese Beispiele beschränkt, sondern muss lediglich zumindest eines dieser Beispiele enthalten. Z. B. kann die Bestimmungseinheit 506 im Falle, dass sich der Zeitpunkt zum Starten des Ansaugens vor dem Kontakt befindet, bestimmen, ob der Vakuumdruck abgenommen hat, bevor die Ansaugeinheit 12 in Kontakt mit dem verpackten Objekt kommt (und dort stoppt). Im Falle, dass der Vakuumdruck vor dem Kontakt überhaupt nicht abgenommen hat, obwohl sich der Zeitpunkt zum Starten des Ansaugens vor dem Kontakt befindet, ist die Bestimmungseinheit 506 dazu in der Lage, ein Lernen zu erlauben, dass die Ansaugeinheit 12 das Ansaugen lediglich zum Zeitpunkt des Kontakts starten muss, da es keinen Sinn macht, das Ansaugen vor dem Kontakt zu starten. Die Datenerfassungseinheit 507 empfängt Ansaugparameter entsprechend durch die Bestimmungseinheit 506 eingegebenen Ergebnissen einer Bestimmung über das Ansaugen und den Transport, sowie an der Ansaugposition zu diesem Zeitpunkt erhaltene Bildfelder des Farbbilds und des Distanzbilds, und sammelt damit Teile von Daten. Die Datenerfassungseinheit 507 gliedert die gesammelten Teile von Daten in eine Datengruppe über Verpackungsmaterialansaugmerkmale und gibt die Datengruppe an die Lerneinheit 508 aus. Die Lerneinheit 508 lernt einen das Ansaugen betreffenden Zeitpunkt, indem sie Daten über ein Ergebnis der Aufgabe an eine Kombination des Zustands der Oberfläche des verpackten Objekts und des das Ansaugen betreffenden Zeitpunkts weitergibt. Im Falle, dass durch die Bestimmungseinheit 506 bestimmt wird, dass der Vakuumdruck geringer als ein vorbestimmter Wert ist, gibt die Lerneinheit 508 Erfolg-Daten weiter. Im Falle, dass durch die Bestimmungseinheit 506 bestimmt wird, dass der Vakuumdruck größer als der oder gleich dem vorbestimmten Wert ist, gibt die Lerneinheit 508 Scheitern-Daten an den Zustand der Oberfläche des verpackten Objekts weiter. Außerdem erfasst die Lerneinheit 508 anhand der durch die Speichereinheit 505 eingegeben Verpackungsmaterialansaugmerkmaldatenbank und dem dieser entsprechenden Merkmalsfilter eine Anforderung, die Ansaugparameter von Daten enthält, die zum Verbessern der Datenbank benötigt werden. Zusätzlich aktualisiert die Lerneinheit 508 die Verpackungsmaterialansaugmerkmaldatenbank und die Anforderung anhand von Daten, die durch die Datenerfassungseinheit 507 gesammelt werden. Dann gibt die Lerneinheit 508 die Verpackungsmaterialansaugmerkmaldatenbank und die Anforderung wie aktualisiert an die Speichereinheit 505 aus. Ein detailliertes Prozedere in der Lerneinheit 508 ist nachstehend beschrieben.
Die Anforderung wird unter Bezugnahme auf 19A beschrieben. Bildfelder werden in Merkmalsvektoren unter Verwendung von Merkmalsfiltern konvertiert, die auf der Verpackungsmaterialansaugmerkmaldatenbank basieren. In der Anforderung wird, wenn ähnliche Merkmalsvektoren zusammengesammelt werden (in eine Merkmalsvektorgruppe), der Wert eines jeweiligen von drei Ansaugparametern, die eine Datensammlung für eine jeweilige Merkmalsvektorgruppe (in 17, 1731-1, 1731-2, 1731-3, ...) erfordern, festgelegt. Mit anderen Worten, die Anforderung ist für eine jeweilige Merkmalsvektorgruppe definiert, und stellt binär dar, ob eine Anforderung für Daten bezüglich dreier Ansaugparameter vorliegt. Z. B. werden in 19A in Bezug auf die Merkmalsvektorgruppe 1731-1 Daten über Ansaugparameter derart angefordert, dass Daten angefordert werden, wenn sich der Zeitpunkt zum Starten vor dem Kontakt befindet, dass Daten angefordert werden, wenn die erste Ruhezeit 0,1 Sekunden beträgt, und dass Daten angefordert werden, wenn die zweite Ruhezeit 0 Sekunden beträgt. Als nächstes wird ein Festlegungsverfahren für die Anforderung beschrieben. Zunächst können in einer Phase, in der keine Einträge in der Verpackungsmaterialansaugmerkmaldatenbank vorliegen, Werte aus jeweiligen Parameterräumen von drei Ansaugparametern für eine jeweilige Ansammlung von Merkmalsvektoren ausgewählt und zufällig festgelegt werden. Jedoch wird angenommen, dass in einem jeweiligen Parameterraum ein festzulegender Ansaugparameter diskrete Werte aufweist. Der Zeitpunkt zum Starten des Ansaugens kann z. B. zwei Werte annehmen, d. h. vor Kontakt und nach Kontakt, und die erste Ruhezeit kann Werte von 0,0 Sekunden bis 1,0 Sekunden in Inkrementen von 0,1 Sekunden annehmen.
Als nächstes wird eine Verarbeitung beschrieben, die in dem Zustand durchgeführt wird, in dem einige Teile von Daten über Verpackungsmaterialansaugmerkmale zuvor in der Verpackungsmaterialansaugmerkmaldatenbank eingetragen werden. Für eine jeweilige Ansammlung von Merkmalsvektoren, die auf eine ähnliche Weise erhalten werden, werden Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns, die jeweiligen Ansaugparametern entsprechen, auf Ansaugparameterräume abgebildet. Damit werden in Bezug auf drei Ansaugparameter Häufigkeiten von Erfolg-Daten und Scheitern-Daten bezüglich diskreter Werte in den jeweiligen Parameterräumen erhalten. Zu diesem Zeitpunkt kann bezüglich einer Ansammlung von Merkmalsvektoren, falls ein Wert mit hoher Erfolgsquote in einem jeweiligen der Ansaugparameter vorhanden ist, dieser Wert als Ansaugparameter verwendet werden. Hier kann die Erfolgsquote berechnet werden als die Wahrscheinlichkeit eines Erfolgs, die erhalten wird, wenn das Ansaugen und der Transport für eine vorbestimmte Anzahl oder mehr an Malen unter Verwendung derselben Ansaugparameter durchgeführt worden ist. Auf diese Weise wird es, falls der Wert eines Ansaugparameters mit einer hohen Erfolgsquote gefunden werden kann, unnötig, eine Anforderung zum Sammeln von Daten festzulegen. In Bezug auf einen Ansaugparameter, bei dem es unnötig geworden ist, eine Anforderung festzulegen, wird bestimmt, dass Daten nicht angefordert werden. Falls an der gegenwärtigen Ansaugposition bestimmt wird, dass bezüglich sämtlicher Ansaugparameter Daten nicht angefordert werden, wird die Ansaugposition geändert und eine Datensammlung durchgeführt. Als nächstes wird ein Fall beschrieben, dass ein Ansaugparameter mit einer hohen Erfolgsquote noch nicht gefunden wurde. Zunächst wird bei Ansaugparametern, in denen Erfolg-Daten vorliegen, bezüglich eines Ansaugparameters, bei dem die Summe der Anzahl an Teilen an Erfolg-Daten und der Anzahl an Teilen von Scheitern-Daten klein ist, der Wert dieses Ansaugparameters als Anforderung festgelegt, um zu prüfen, ob eine Zunahme der Anzahl an Teilen von Daten eine Zunahme in der Anzahl an Teilen von Erfolg-Daten veranlasst. Dann wird im Falle, dass sogar dann, wenn die Summe der Anzahl an Teilen von Erfolg-Daten und der Anzahl an Teilen von Scheitern-Daten größer als ein oder gleich einem Schwellwert Tt wird, die Anzahl an Teilen von Erfolg-Daten nicht um einen Schwellwert Td größer wird als die Anzahl an Teilen von Scheitern-Daten, der Wert dieses Ansaugparameters dazu bestimmt, einen Wert anzunehmen, der keine hohe Erfolgsquote aufweist (ein unpassender Wert), und damit davon ausgenommen, als eine Anforderung anvisiert zu werden. Bezüglich eines Ansaugparameters, bei dem die Anzahl an Teilen von Scheitern-Daten offensichtlich groß ist, wird der Wert dieses Ansaugparameters ebenfalls dazu bestimmt, einen Wert mit einer niedrigen Erfolgsquote anzunehmen, und damit davon ausgenommen, als eine Anforderung anvisiert zu werden. In Bezug auf einen Fall, dass mehrere Ansaugparameter vorliegen, für die eine Datensammlung noch nicht versucht worden ist, wie etwa Ansaugparameter, bei denen bislang weder Erfolg-Daten noch Scheitern-Daten erhalten worden sind, wird der Wert eines Ansaugparameters, bei dem Erfolg-Daten in einem Ansaugparameterraum in der Nähe vorhanden sind, konfiguriert, bevorzugt als Anforderung festgelegt zu werden. Alternativ wird der Wert eines Ansaugparameters, bei dem keine Scheitern-Daten in der Nähe vorliegen, konfiguriert, bevorzugt als Anforderung festgelegt zu werden. Auf diese Weise wird bezüglich einer Ansammlung von Merkmalsvektoren bis ein oder mehrere Sätze geeigneter Ansaugparameter erhalten werden der Wert eines Ansaugparameters, der in Ansaugparametern enthalten ist, die nicht ausgeschlossen sind, als Anforderung festgelegt, und werden Daten dafür gesammelt. Es ist jedoch nicht immer notwendig, Ansaugparameter bezüglich sämtlicher Merkmalsvektoren zu erhalten. Z. B. muss in Bezug auf einen Merkmalsvektor, der in einer gegebenen Ansaug- und Transportaufgabe selten auftritt, ein geeigneter Ansaugparameter nicht erhalten werden. Außerdem ist das Festlegungsverfahren für eine Anforderung nicht auf das vorstehend beschriebene Verfahren beschränkt. Z. B. können Werte stets in zufälliger Weise festgelegt werden.
Als nächstes wird eine Verarbeitungsprozedur im Lernmodus im ersten Ausführungsbeispiel beschrieben. Zunächst wird die Verarbeitung, die im Lernmodus durchgeführt wird, skizziert. 16 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die die Informationsverarbeitungsvorrichtung 1 durchführt. In Schritt S6000 führt die Informationsverarbeitungsvorrichtung 1 eine Initialisierung durch. In Schritt S6020 gibt die Eingabeeinheit 500 der Extraktionseinheit 501 ein durch die Abbildungseinheit 10 aufgenommenes Bild ein. In Schritt S6030 extrahiert die Extraktionseinheit 501 anhand des in Schritt S6020 eingegebenen Bilds eine Ansaugposition für das verpackte Objekt 13 und einen Zustand der Oberfläche des Verpackungsmaterials an der Ansaugposition aus einem Umgebungsbild davon. In Schritt S6040 bestimmt die Bestimmungseinheit 502 Ansaugparameter aus dem Zustand der Oberfläche des Verpackungsmaterials an der Ansaugposition. In Schritt S6080 steuert die Steuereinheit 503 die Aktoreinheit 11 oder die Ansaugeinheit 12 gemäß den Ansaugparametern. In Schritt S6160 bestimmt die Bestimmungseinheit 506 anhand des Erfolgs oder Scheiterns des Ansaugens und des Transports, ob die bestimmten Ansaugparameter geeignet waren. In Schritt S6170 erfasst die Datenerfassungseinheit 507 Daten, in denen ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns des Ansaugens mit einer Kombination des Zustands der Oberfläche des Verpackungsmaterials und der Ansaugparameter assoziiert ist. In Schritt S6180 führt die Lerneinheit 508 ein Aktualisieren der Verpackungsmaterialansaugmerkmaldatenbank basierend auf den gesammelten Daten unter Verwendung der in Schritt S6170 erfassten Daten durch. In Schritt S6200 bestimmt die Informationsverarbeitungsvorrichtung 1, ob die Aufgabe abgeschlossen werden soll. Falls bestimmt wird, dass die Aufgabe abgeschlossen ist (JA in Schritt S6200), endet die Verarbeitung, und, falls bestimmt wird, dass die Aufgabe nicht abgeschlossen ist (NEIN in Schritt S6200), kehrt die Verarbeitung zu Schritt S6020 zurück. Als nächstes werden Einzelheiten der Verarbeitung beschrieben. 6, die aus 6A und 6B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im ersten Ausführungsbeispiel im Lernmodus durchführt.
In Schritt S6000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems durch. Genauer gesagt liest die Informationsverarbeitungsvorrichtung 1 Programme aus dem externen Speicher H14, und versetzt die Informationsverarbeitungsvorrichtung 1 damit in den betriebsbereiten Zustand. Das Informationsverarbeitungssystem 10000 führt das Hochfahren der Abbildungseinheit 10 und der Aktoreinheit 11 durch, das Lesen von Parametern dafür, und das Lesen von Kalibrierungsinformation über die Abbildungseinheit 10, die Aktoreinheit 11, und die Ansaugeinheit 12, und verwendet interne Parameter (z. B. die Brennweite, die Bildmittenposition sowie Objektivverzeichnung) für die Abbildungseinheit 10, die vorab kalibriert worden sind. Außerdem liest das Informationsverarbeitungssystem 10000 Positionen des Behälters 14 und des Behälters 15 ein. Zusätzlich liest das Informationsverarbeitungssystem 10000 einen Merkmalsfilter entsprechend der Verpackungsmaterialansaugmerkmaldatenbank aus der Speichereinheit 505, wendet den Merkmalsfilter auf eine Gruppe von Bildfeldern in der Verpackungsmaterialansaugmerkmaldatenbank an, und erhält zuvor Merkmalsvektoren entsprechend den Bildfeldern. Dann klassifiziert das Informationsverarbeitungssystem 10000 die Merkmalsvektoren für jeden gleichen oder ähnlichen Merkmalsvektor, bezieht sich auf ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns bezüglich eines jeweiligen Merkmalsvektors, und assoziiert einen Ansaugparameter, der vermutlich zu einem Erfolg führt, mit dem jeweiligen Merkmalsvektor. Außerdem veranlasst

das Informationsverarbeitungssystem 10000 vor Durchführen einer Bildaufnahme die Aktorsteuereinheit 5031 dazu, die Aktoreinheit 11 basierend auf der kalibrierten Position zu steuern, und bewegt damit die Abbildungseinheit 10 an solch eine Position, dass sie dazu in der Lage ist, ein Bild des in den Behälter 14 gelegten verpackten Objekts 13 aufzunehmen. In Schritt S6001 erzeugt die Lerneinheit 508, um das Erhalten von fehlenden Daten über ein Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns zu erlauben, eine Anforderung, indem sie Kombinationen von Ansaugparametern auflistet, bei denen Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns erfasst werden sollen, und aktualisiert damit die Anforderung in der Speichereinheit 505. Dann fährt die Verarbeitung mit Schritt S6010 fort. In Schritt S6010 nimmt die Abbildungseinheit 10 ein Bild des in den Behälter 14 gelegten verpackten Objekts 13 auf, und erhält damit ein Farbbild und ein Distanzbild. In Schritt S6020 gibt die Eingabeeinheit 500 ein durch Durchführen einer Bildaufnahme erhaltenes Bild des verpackten Objekts ein. Genauer gesagt gibt die Eingabeeinheit 500 der Extraktionseinheit 501 durch die Abbildungseinheit 10 erfasste Bilder ein.

In Schritt S6030 extrahiert die Extraktionseinheit 501 eine Ansaugposition, an der die Ansaugeinrichtung dazu veranlasst werden soll, das verpackte Objekt durch Ansaugen anzuziehen, indem sie eine Vorlage, die ein Bildmerkmal ist, in dem der Zustand der Oberfläche des verpackten Objekts und die für das Ansaugen angepasste Position miteinander assoziiert sind, mit den Eingabebildern vergleicht. Dann fährt die Verarbeitung mit Schritt S6040 fort. Die spezifische Verarbeitung in Schritt S6030 ist derjenigen ähnlich, die in Schritt S4030 beschrieben worden ist. Außerdem extrahiert die Extraktionseinheit 501 in Schritt S6030, zu dem die Verarbeitung von Schritt S6041 zurückgekehrt ist, eine Ansaugposition, die von der oben extrahierten Ansaugposition verschieden ist. Genauer gesagt, schließt die Extraktionseinheit 501 im Falle, dass keine Anforderung in irgendeinem von drei Ansaugparametern in Bezug auf Merkmalsvektoren, die an der Ansaugposition erhaltenen Bildfeldern entsprechen, vorliegt, eine Ansaugpositionsprüfung, von der bereits bestimmt worden ist, dass sie unnötig ist, von den Ansaugkandidatengebieten aus. Dann extrahiert die Extraktionseinheit 501 eine Ansaugposition aus den anderen Ansaugkandidatengebieten, und gibt die extrahierte Ansaugposition an die Bestimmungseinheit 502 aus.
In Schritt S6040 bestimmt die Bestimmungseinheit 502 einen das Ansaugen betreffenden Zeitpunkt (Ansaugparameter) gemäß dem Zustand der Oberfläche des Verpackungsmaterials an der Ansaugposition. Insbesondere erhält die Bestimmungseinheit 502 Merkmalsvektoren, indem sie einen Merkmalsfilter entsprechend der durch die Speichereinheit 505 eingegebenen Verpackungsmaterialansaugmerkmaldatenbank auf die Bildfelder des Farbbilds und des Distanzbilds an der Ansaugposition anwendet. Die Bestimmungseinheit 502 erfasst Ansaugparameter entsprechend den Merkmalsvektoren anhand der durch die Speichereinheit 505 eingegebenen Anforderung. Hier wird die Größe des Bildfelds auf 64 Pixel in horizontaler und vertikaler Richtung festgelegt, indem die Größe eines Quadrats dergestalt angepasst wird, dass der Durchmesser des Ansaugfelds in tatsächlicher Größe hineinpasst. Die Bestimmungseinheit 502 gibt die auf diese Weise erfassten Ansaugparameter an die Ansaugsteuereinheit 5032 aus. Dann fährt die Verarbeitung mit Schritt S6041 fort. Jedoch verwendet die Bestimmungseinheit 502 in Bezug auf ein Element unter Elementen der Ansaugparameter, das keine Anforderung aufweist, dieses Element, da ein Ansaugparameterelement, das vermutlich zu einem Erfolg führt, bereits gefunden ist. Außerdem bestimmt die Bestimmungseinheit 502 im Falle, dass keine Anforderung in irgendeinem Element der Ansaugparameter vorliegt, dass keine Anforderung verwendet werden soll, und die Verarbeitung fährt dann mit Schritt S6041 fort.
In Schritt S6041 bestimmt die Bestimmungseinheit 502, ob die Ansaugparameter, die in die von der Lerneinheit 508 ausgegebene Anforderung aufgenommen worden sind, in den durch die Bestimmungseinheit 502 bestimmten Ansaugparametern enthalten sind. Falls bestimmt wird, dass die angeforderten Ansaugparameter nicht in den bestimmten Ansaugparametern enthalten sind (NEIN in Schritt S6041), kehrt die Verarbeitung zu Schritt S6030 zurück, in dem die Extraktionseinheit 501 eine neue Ansaugposition extrahiert. Falls bestimmt wird, dass mindestens einer von den drei in der Anforderung enthaltenen Ansaugparametern in den bestimmten Ansaugparametern vorliegt (JA in Schritt S6041), fährt die Verarbeitung mit Schritt S6050 fort. In Schritt S6050 bestimmt die Bestimmungseinheit 502 einen Steuerparameter basierend auf den in Schritt S6040 bestimmten Ansaugparametern, der initialen Position der Ansaugeinheit 12, und Positionsinformation über das verpackte Objekt 13 und den Behälter 15. Der Steuerparameter ist ein Parameter, der für die Aktoreinheit 11 verwendet wird, um eine Bewegungssteuerung der Position der Ansaugeinheit 12 durchzuführen. In Schritt S6060 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 gemäß dem in Schritt S6050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 in der Nähe der durch die Extraktionseinheit 501 eingegebenen Ansaugposition ankommt.
In Schritt S6070 führt die Ansaugsteuereinheit 5032 eine Bestimmung unter Bezugnahme auf den Zeitpunkt P1 zum Starten des Ansaugens durch, der in den in Schritt S6040 erhaltenen Ansaugparametern enthalten ist. Falls bestimmt wird, dass das Ansaugen zuerst gestartet wird (P1 = 0) (JA in Schritt S6070), fährt die Verarbeitung mit Schritt S6080 fort. Falls andererseits bestimmt wird, dass das Ansaugen nach Kontakt mit dem verpackten Objekt durchgeführt wird (P1 = 1) (NEIN in Schritt S6070), fährt die Verarbeitung mit Schritt S6071 fort.
In Schritt S6080 führt die Ansaugsteuereinheit 5032 eine Steuerung durch, um die Ansaugeinheit 12 dazu zu veranlassen, das Ansaugen zu starten. In Schritt S6090 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 gemäß dem in Schritt S6050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen, während sie das verpackte Objekt 13 ansaugt. Dann fährt die Verarbeitung mit Schritt S6091 fort. In Schritt S6071 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 gemäß dem in Schritt S6050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen. In Schritt S6072 führt die Ansaugsteuereinheit 5032 eine Steuerung durch, um die Ansaugeinheit 12 dazu zu veranlassen, das Ansaugen zu starten. Zu diesem Zeitpunkt befindet sich die Ansaugeinheit 12 in dem Zustand, in dem sie in Kontakt mit dem verpackten Objekt 13 ist. Dann fährt die Verarbeitung mit Schritt S6091 fort.
In Schritt S6091 bestimmt die Bestimmungseinheit 506, ob der Vakuumdruck unter einen Schwellwert T1 gefallen ist. Falls bestimmt wird, dass der Vakuumdruck geringer als der Schwellwert T1 ist (JA in Schritt S6091), fährt die Verarbeitung mit Schritt S6100 fort, da dies bedeutet, dass das Ansaugen erfolgreich ist (ein Vakuumleck tritt nicht auf). Falls bestimmt wird, dass der Vakuumdruck höher als der oder gleich dem Schwellwert T1 ist (NEIN in Schritt S6091), fährt die Verarbeitung mit Schritt S6092 fort, da dies bedeutet, dass das Ansaugen gescheitert ist (ein Vakuumleck tritt auf). Ferner wird der Schwellwert T1 basierend auf dem Gewicht des verpackten Objekts und der Größe des Ansaugfelds derart festgelegt, dass der Vakuumdruck zu einer Kraft wird, um das Anheben des verpackten Objekts auszuführen. In Schritt S6092 bestimmt die Bestimmungseinheit 506 ein Scheitern im Zeitpunkt zum Starten des Ansaugens (P1) aus dem Satz von Ansaugparametern. Da das Ansaugen nicht durchgeführt werden konnte, fährt die Verarbeitung mit Schritt S6170 fort, ohne dass z. B. der Transport durchgeführt wird.
In Schritt S6100 hält die Aktorsteuereinheit 5031 die Ansaugeinheit 12 für die erste Ruhezeit (P2 Sekunden) im Ruhezustand, während sie die Ansaugeinheit 12 gemäß der ersten Ruhezeit (P2), die in den in Schritt S6040 bestimmten Ansaugparametern enthalten ist, dazu veranlasst, das verpackte Objekt 13 zu kontaktieren und anzusaugen. Die Ansaugeinheit dazu zu veranlassen, das Ansaugen durchzuführen, während sie in Kontakt mit der Oberfläche des verpackten Objekts ist, erlaubt es, wenn die Ansaugeinheit 12 im Ruhezustand gehalten wird z. B. im Falle, dass die Oberfläche des verpackten Objekts viele Knitterfalten aufweist, Knitterfalten einzuziehen und Knitterfalten zu entfernen, sodass das verpackte Objekt durch das Ansaugen ausreichend angezogen werden kann.
In Schritt S6101 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11, um die Ansaugeinheit 12 ein wenig nach oben zu bewegen. Dies ist eine Steuerung, die durchgeführt wird, um einen Erfolg oder ein Scheitern der ersten Ruhezeit (P2 Sekunden) zu bestimmen. Der Bewegungsbetrag in dieser Steuerung muss lediglich einen solchen Grad aufweisen, um in der Lage zu sein, zu bestätigen, dass das verpackte Objekt im Falle, dass das verpackte Objekt durch das Ansaugen durch die Ansaugeinheit 12 angezogen worden ist, in der Luft schwebt. Dann fährt die Verarbeitung mit Schritt S6102 fort.
In Schritt S6102 bestimmt die Bestimmungseinheit 506, ob der Vakuumdruck unter einen Schwellwert T2 gefallen ist. Falls bestimmt wird, dass der Vakuumdruck geringer als der Schwellwert T2 ist (JA in Schritt S6102), fährt die Verarbeitung mit Schritt S6110 fort, da dies bedeutet, dass das verpackte Objekt 13 erfolgreich durch Ansaugen angezogen und gehalten wird. Falls bestimmt wird, dass der Vakuumdruck größer als der oder gleich dem Schwellwert T2 ist (NEIN in Schritt S6102), fährt die Verarbeitung mit Schritt S6103 fort, da dies bedeutet, dass das verpackte Objekt 13 nicht erfolgreich durch Ansaugen angezogen und gehalten wird. Ferner wird in Bezug auf den Schwellwert T2 angenommen, dass der Schwellwert T1 größer als der oder gleich dem Schwellwert T2 ist.
In Schritt S6103 bestimmt die Bestimmungseinheit 506 ein Scheitern in der ersten Ruhezeit (P2) aus dem Satz von Ansaugparametern. Dann fährt die Verarbeitung mit Schritt S6170 fort. In Schritt S6110 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11, um das verpackte Objekt 13 gemäß dem in Schritt S6050 bestimmten Steuerparameter zum Behälter 15 zu transportieren. Um das verpackte Objekt 13, das durch Ansaugen durch die Ansaugeinheit 12 angezogen worden ist, in den Behälter 15 freizugeben, führt die Ansaugsteuereinheit 5032 in Schritt S6120 eine Steuerung durch, um das durch die Ansaugeinheit 12 durchgeführte Ansaugen zu stoppen.
In Schritt S6130 hält die Aktorsteuereinheit 5031 die Aktoreinheit 11 für die zweite Ruhezeit (P3 Sekunden) im Ruhezustand, da das Ansaugen in Schritt S6120 gemäß der in den Ansaugparametern enthaltenen zweiten Ruhezeit (P3) gestoppt ist. Während dieser Ruhezeit wird das verpackte Objekt 13 vollständig von der Ansaugeinheit 12 in den Behälter 15 freigegeben. Die Aktoreinheit 11 für eine Weile zu halten erlaubt z. B. sogar im Fall, dass das Verpackungsmaterial ein eher hartes Material ist und es unwahrscheinlich ist, dass es von der Ansaugeinheit getrennt wird, eine Verbesserung der Erfolgsquote der Freigabe.
In Schritt S6140 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11, sich zu einer Position zu bewegen, die dazu benutzbar ist, die Platzierung des verpackten Objekts zu bestätigen. Die für die Bestätigung benutzbare Position ist eine Position, die für die Abbildungseinheit 10 benutzbar ist, um ein Bild des Transportziels aufzunehmen. Diese Position wird vorab in Schritt S6000 erfasst. In Schritt S6150 bestimmt die Bestimmungseinheit 506, ob das verpackte Objekt am Transportziel platziert werden konnte. Das Verfahren für die Bestimmung enthält, die Abbildungseinheit 10 dazu zu veranlassen, ein Bild des Transportziels aufzunehmen und ein Ergebnis einer Positions- und Orientierungserkennung des verpackten Objekts zu bestimmen, das angibt, ob das verpackte Objekt am Transportziel an bzw. in einer gewünschten oder vorbestimmten Position oder Orientierung platziert worden ist. Die Positions- und Orientierungserkennung enthält, die Position und Orientierung des verpackten Objekts aus dem aufgenommenen Bild zu schätzen und die geschätzte Position und Orientierung mit der gewünschten oder einer vorbestimmten Position und Orientierung zu vergleichen. Ein Sensor, der konfiguriert ist, das Vorhandensein oder Nichtvorhandensein eines Objekts zu bestimmen, wie etwa ein Schwerkraftsensor, kann ebenso verwendet werden. Dann fährt die Verarbeitung mit Schritt S6160 fort.
In Schritt S6160 bestimmt die Bestimmungseinheit 506 bezüglich der im Satz von Ansaugparametern enthaltenen zweiten Ruhezeit (P3) einen Erfolg im Falle, dass in der Bestimmung in Schritt S6150 das Ergebnis einer Positions- und Orientierungserkennung innerhalb des Bereichs der gewünschten oder vorbestimmte Position und Orientierung liegt. Im Falle, dass das Ergebnis einer Positions- und Orientierungserkennung nicht innerhalb des Bereichs der gewünschten oder vorbestimmten Position und Orientierung liegt, bestimmt die Bestimmungseinheit 506 ein Scheitern. Außerdem bestimmt die Bestimmungseinheit 506 einen Erfolg bezüglich des Zeitpunkts zum Starten des Ansaugens (P1) und der ersten Ruhezeit (P2). Dann fährt die Verarbeitung mit Schritt S6170 fort. Ferner wird angenommen, dass der Bereich, in dem das Zielobjekt als auf geeignete Weise platzierbar gewesen zu sein angesehen wird, ein Bereich ist, in dem das verpackte Objekt platziert wird, wenn die Ansaugeinheit 12 für eine ausreichend lange Zeit im Ruhezustand gehalten wird. Solch ein Bereich kann durch mehrfaches Wiederholen einer ähnlichen Verarbeitung empirisch erfasst werden.
In Schritt S6170 empfängt die Datenerfassungseinheit 507 ein Ergebnis einer Bestimmung der Ansaugparameter und Bildfelder des Farbbilds und des Distanzbilds, und sammelt damit diese als Daten über Verpackungsmaterialansaugmerkmale. Dann fährt die Verarbeitung mit Schritt S6180 fort. Das Ergebnis einer Bestimmung der Ansaugparameter ist eines von in Schritten S6092, S6103, und S6160 erhaltenen Bestimmungsergebnissen. Insbesondere teilt das Ergebnis einer über Schritt S6092 erhaltenen Bestimmung Daten mit, die angeben, dass der Zeitpunkt zum Starten des Ansaugens in einem Scheitern resultiert und dass die anderen Ansaugparameter im Nichtvorhandensein von Daten resultieren. Das Ergebnis einer über Schritt S6103 erhaltenen Bestimmung teilt Daten mit, die angeben, dass der Zeitpunkt zum Starten des Ansaugens in einem Erfolg resultiert, dass die erste Ruhezeit in einem Scheitern resultiert, und dass die zweite Ruhezeit im Nichtvorhandensein von Daten resultiert. Das Ergebnis einer über Schritt S6160 erhaltenen Bestimmung teilt Daten mit, die angeben, dass der Zeitpunkt zum Starten des Ansaugens in einem Erfolg resultiert, dass die erste Ruhezeit in einem Erfolg resultiert, und dass die zweite Ruhezeit in einem Erfolg oder einem Scheitern resultiert.
In Schritt S6180 führt die Lerneinheit 508 ein Aktualisieren der Verpackungsmaterialansaugmerkmaldatenbank basierend auf den gesammelten Daten durch. Dann fährt die Verarbeitung mit Schritt S6190 fort. Insbesondere empfängt die Lerneinheit 508 Daten über Verpackungsmaterialansaugmerkmale von der Datenerfassungseinheit 507, und erhält aus den Bildfeldern Merkmalsvektoren bezüglich der empfangenen Daten. Dann fügt die Lerneinheit 508 Erfolg-Daten und Scheitern-Daten über die erhaltenen Merkmalsvektoren zu Ansaugparameterräumen hinzu, die für jeweilige Sammlungen von Merkmalsvektoren der Verpackungsmaterialansaugmerkmaldatenbank vorliegen. Dann erhält die Lerneinheit 508 einen Satz an Ansaugparametern mit der höchsten Erfolgsquote für eine jeweilige Ansammlung von Merkmalsvektoren. Der auf diese Weise erhaltene Satz an Ansaugparametern wird zu vorläufigen Ansaugparametern, die extrahiert werden, wenn ein Wechseln in den Ausführungsmodus durchgeführt worden ist. Es wird jedoch im Falle, dass Erfolg-Daten sogar dann nicht erhalten werden konnten, wenn Daten in Bezug auf einen vorab bestimmten Kandidaten für eine Anforderung ausführlich abgefragt worden sind, angenommen, dass die Lerneinheit 508 das Lernen einstellt. Alternativ wird angenommen, dass zum Zeitpunkt, zu dem sogar dann, wenn Erfolg-Daten erhalten worden sind, bestätigt wird, dass die Wahrscheinlichkeit von Erfolg-Daten in den Ansaugparametern davon signifikant gering ist (z. B. wenn Daten in einem jeweiligem Parametersatz N = 10 Mal abgefragt werden, ein Erfolg jedoch lediglich M = 2 Mal auftritt), die Lerneinheit 508 das Lernen einstellt. Z. B. gibt es in Bezug auf Merkmalsvektoren, die den Zustand angeben, in dem sich ein Loch auf der Oberfläche des verpackten Objekts befindet, eine hohe Wahrscheinlichkeit, dass das Ansaugen selbst dann scheitert, wenn irgendein Ansaugparameter geändert wird. In Bezug auf solche Merkmalsvektoren, für die geeignete Ansaugparameter nicht gefunden werden, wird angenommen, dass die Verarbeitung derart durchgeführt werden soll, dass im Falle des Lernmodus das Lernen eingestellt wird und dass im Falle des Ausführungsmodus die Ansaugposition geändert wird. Auf die vorstehend beschriebene Weise wird die Verpackungsmaterialansaugmerkmaldatenbank aktualisiert. Bei Verwendung der aktualisierten Datenbank können, wenn Bildfelder eingegeben werden, geeignetere Ansaugparameter über Merkmalsvektoren ausgegeben werden.
In Schritt S6190 aktualisiert die Lerneinheit 508 die Anforderung unter Verwendung der aktualisierten Verpackungsmaterialansaugmerkmaldatenbank. Dann wird ein Aktualisieren der Anforderung in der Speichereinheit 505 durchgeführt. Dann fährt die Verarbeitung mit Schritt S6200 fort. Falls in Schritt S6200 bestimmt wird, dass die Informationsverarbeitungsvorrichtung 1 eine Datensammlung zu diesem Zeitpunkt abschließt (JA in Schritt S6200), endet die Verarbeitung. Falls bestimmt wird, dass die Informationsverarbeitungsvorrichtung 1 die Datensammlung noch fortsetzt (NEIN in Schritt S6200), fährt die Verarbeitung mit Schritt S6201 fort. Die Bedingung zum Abschließen einer Datensammlung enthält einen Fall, dass die Gesamtanzahl an Anforderungen, die die Lerneinheit 508 erzeugt hat, für die jeweiligen Sammlungen von Merkmalsvektoren geringer als ein oder gleich einem Schwellwert geworden ist. Jedoch ist die Bedingung zum Abschluss nicht darauf beschränkt, sondern kann z. B. einen Fall enthalten, dass die Anzahl an Teilen von Daten wie gesammelt größer als ein oder gleich einem Schwellwert geworden ist, und einen Fall, dass die zum Sammeln von Daten aufgewendete Zeit größer als ein oder gleich einem Schwellwert geworden ist. In Schritt S6201 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 derart, dass die Abbildungseinheit 10 zu einer Bildaufnahmeposition zum Durchführen einer Bildaufnahme eines nächsten verpackten Objekts bewegt wird. Dann kehrt die Verarbeitung zu Schritt S6010 zurück, in dem eine Bildaufnahme erneut durchgeführt wird, um das Ansaugen und den Transport des nächsten verpackten Objekts zu ermöglichen. Wie vorstehend beschrieben wird im Falle des Lernmodus die Verpackungsmaterialansaugmerkmaldatenbank durch Lernen im Lernmodus des Informationsverarbeitungssystems erhalten. Dies ermöglicht es, ein Informationsverarbeitungssystem bereitzustellen, das das Ansaugen und den Transport sogar bezüglich eines verpackten Objekts, das mit einem neuen Verpackungsmaterial verpackt ist, durch Erhalten von Ansaugparametern durchführt, die am geeignetsten für das Ansaugen sind.
Während im ersten Ausführungsbeispiel beschrieben wurde, dass sich die Aktoreinheit 11 und der Behälter 14 an einem festen Platz befinden, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Aktoreinheit 11 oder der Behälter 14 auf einer sich bewegenden Vorrichtung angebracht sein, wie einem automatisch geführten Gefährt (automatic guided vehicle, AGV), um das Ansaugen und den Transport durchzuführen. Damit ermöglicht es die Befestigung der Aktoreinheit 11 auf der sich bewegenden Vorrichtung, den Transport selbst dann durchzuführen, wenn sich der Behälter 15 an einem entfernten Ort befindet. Außerdem ermöglicht es die Befestigung der Behälter 14 auf der sich bewegenden Vorrichtung, verschiedene Arten von verpackten Objekten herauszunehmen und zu sammeln, die sich in verschiedenen, z. B. in einem Lager gelagerten Behältern befinden.
Während im ersten Ausführungsbeispiel ein Beispiel beschrieben worden ist, in dem die Abbildungseinheit 10 eine Kamerakonfiguration ist, die an der Aktoreinheit 11 angebracht ist, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Abbildungseinheit 10 eine feste Kamerakonfiguration sein, die an einer solchen Position angebracht ist, dass ein Messen des Behälters 14 und des sich darin befindlichen verpackten Objekts 13 ermöglicht wird. In diesem Fall wird angenommen, dass die Basen der Abbildungseinheit 10 und der Aktoreinheit 11 zuvor kalibriert worden sind. Das Verwenden einer Kamera an einem festen Platz erlaubt es, die Position eines verpackten Objekts auf stabilere Weise zu erhalten.
Die Informationsverarbeitungsvorrichtung 1 kann weiter eine Anzeigeeinheit wie ein Display enthalten. Z. B. kann die Anzeigeeinheit z. B. ein aufgenommenes Bild, ein Distanzbild, ein Ansaugkandidatengebiet, eine Ansaugposition sowie Werte von Ansaugparametern anzeigen. Außerdem kann die Anzeigeeinheit einen nächsten Verarbeitungsvorgang des Roboters anzeigen. Dies erlaubt es dem Benutzer, eine Verarbeitung von Verarbeitungsvorgängen oder den internen Zustand des Systems zu kennen.
Während im ersten Ausführungsbeispiel beschrieben worden ist, dass das Verpackungsmaterialansaugmerkmal dazu verwendet wird, eine Beziehung zwischen Bildfeldern des Farbbilds oder des Distanzbilds mit Ansaugparametern festzulegen, sind solche Eingaben nicht auf Bildfelder beschränkt. Z. B. kann Information über ein verpacktes Objekt, wie die Art eines Verpackungsmaterials wie Plastik (Vinyl) oder Nylon oder das Gewicht eines verpackten Objekts eingegeben werden. Z. B. wird im Falle, dass die Art eines Verpackungsmaterials manuell eingegeben wird, der Name des Materials als z. B. „Vinyl“ oder „Polyethylen“ über eine Tastatur eingegeben. Die Informationsverarbeitungsvorrichtung 1 erfasst und verwendet solch ein Eingabeergebnis. Dies ermöglicht es, eine vom physischen Erscheinungsbild verschiedene Eingabe hinzuzufügen, und damit Ansaugparameter effektiver zu erhalten.
Während im ersten Ausführungsbeispiel beschreiben worden ist, dass Merkmalsfilter in der Verpackungsmaterialansaugmerkmaldatenbank zuvor erstellte Filter sind, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. können im Lernmodus im ersten Ausführungsbeispiel im Falle, dass eine große Menge an Verpackungsmaterialansaugmerkmaldaten gesammelt werden konnten, geeignete Merkmalsfilter anhand einer Datenbank überarbeitet werden, die solch große Datenmengen beinhaltet. In diesem Falle gibt es, da Merkmalsfilter aus einer großen Datenmenge unter Verwendung einer Lerntechnik wie Deep Learning gelernt werden, keine Notwendigkeit, Merkmalsfilter manuell vorzubereiten. Insbesondere kann bezüglich Ansaugparametern und Erfolg-Daten oder Scheitern-Daten, die Bildfeldern entsprechen, eine Bildfeldgruppe einer Filterumwandlung unterzogen werden, um zu einer Ansammlung von Merkmalsvektoren für einen jeweiligen gleichen oder ähnlichen Ansaugparameter zu werden. Zu diesem Zeitpunkt kann solch eine Filterumwandlung, um es einfach zu machen, Erfolg-Daten und Scheitern-Daten in verschiedene Sammlungen von Merkmalsvektoren zu separieren, als Merkmalsfilter festgelegt werden. Merkmalsfilter auf diese Weise zu erhalten ermöglicht es, geeignetere Ansaugparameter auszuwählen.
Während im Lernmodus im ersten Ausführungsbeispiel ein Beispiel beschrieben worden ist, in dem drei jeweilige Elemente der Ansaugparameter unabhängig bestimmt werden konnten, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. fährt in 6 an der bedingten Verzweigung in Schritt S6091 die Verarbeitung mit Schritt S6100 fort, und an der bedingten Verzweigung in Schritt S6102 fährt die Verarbeitung mit Schritt S6110 fort. Es wird angenommen, dass die Verarbeitung unabhängig vom Wert des Vakuumdrucks fortschreitet, was eine Bedingung für das Verzweigen in diesen Schritten ist, und in Schritt S6150 wird eine Bestimmung, ob ein zu einer Platzierung führender Vorgang angemessen oder korrekt durchgeführt worden ist, nur einmal durchgeführt, sodass ein Bestimmungsergebnis in Bezug auf einen Satz von drei Ansaugparametern zurückgegeben werden kann. Auf diese Weise kann sogar im Falle, dass eine Ursache-und-Wirkung-Beziehung zwischen Elementen der Ansaugparameter besteht, eine Datenbank aufgebaut werden, die zum angemessenen Schätzen von Ansaugparametern verwendet werden soll.
Während im Lernmodus im ersten Ausführungsbeispiel ein Beispiel beschrieben worden ist, in dem das Lernen und Aktualisieren durchgeführt wird, während Daten sukzessive gesammelt werden, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann, nachdem eine vorbestimmte Menge an Daten gesammelt worden ist, das Lernen und Aktualisieren an einem Zeitpunkt durchgeführt werden.
Während im Lernmodus im ersten Ausführungsbeispiel, ein Beispiel beschrieben worden ist, in dem das Lernen zum Erhalten der Ansaugparameter anhand der Anzahl oder Verteilung von Teilen von Erfolg-Daten und Scheitern-Daten durchgeführt wird, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Ein anderes Verfahren als das Verfahren des Durchführens des Lernens (das das Erhalten von Ansaugparametern ermöglicht) durch Aktualisieren einer Datenbank, mit anderen Worten, Steigern der Beispieldaten (über z. B. Erfolg-Daten oder Scheitern-Daten), kann verwendet werden. Z. B. kann weiter eine Belohnungseinheit aufgenommen werden, und das Lernen kann im Rahmen von Reinforcement Learning durchgeführt werden. Z. B. erzeugt die Lerneinheit 508 als Anforderung einen Satz an Ansaugparametern zu einem jeweiligen Zeitpunkt und gibt den Satz an Ansaugparametern über die Speichereinheit 505 an die Bestimmungseinheit 502 aus. Im Falle, dass die Bestimmungseinheit 506 einen Erfolg bezüglich der Ansaugparameter bestimmt hat, wird angenommen, dass die Belohnungseinheit eine Plus-Belohnung erhält, und im Falle, dass die Bestimmungseinheit 506 ein Scheitern bezüglich der Ansaugparameter bestimmt hat, wird angenommen, dass die Belohnungseinheit eine Minus-Belohnung erhält. Um es zu ermöglichen, eine Plus-Belohnung zu erhalten, wann immer das möglich ist, lernt die Lerneinheit 508 ein Netzwerk eines solchen Deep Learning, um für die Eingabebildfelder geeignete Ansaugparameter auszugeben, und zwar im Rahmen von Reinforcement Learning. Das Durchführen eines solchen Lernens verringert bzw. eliminiert die Notwendigkeit, das Entwickeln von Merkmalsfiltern oder das Verfahren zum Erhalten von Ansaugparametern zu definieren. Außerdem muss die Verpackungsmaterialansaugmerkmaldatenbank als Daten lediglich Bildfelder, Ansaugparameter, und einen diesbezüglichen Erfolg bzw. Scheitern, oder eine diesbezügliche Belohnung speichern. Auf diese Weise kann der Aufwand des Entwickelns von Merkmalsfiltern oder der Aufwand, eine Anforderung innerhalb der Datenbank zu einem jeweiligen Zeitpunkt zu erhalten, reduziert werden. Außerdem ist die Lerneinheit 508 dazu in der Lage, das Lernen sogar mit überwachtem Lernen (supervised learning) durchzuführen. Z. B. empfängt die Lerneinheit 508 als Eingabe ein Bild (mindestens eines aus dem Farbbild und dem Distanzbild), das die Form der Oberfläche eines Verpackungsmaterials darstellt, und lernt Verbindungsgewichte eines angepassten Modells (neurales Netzwerk), das den Ansaugzeitpunkt enthaltende Steuerinformation ausgibt. Bezüglich einer Kombination aus einem durch Durchführen einer Bildaufnahme erhaltenen Bild der Oberfläche eines Verpackungsmaterials und Steuerinformation, die eine Eingabe und eine Ausgabe sind, führt die Lerneinheit 508 das Lernen durch Mitteilen eines Labels für eine korrekte Antwort oder eine inkorrekte Antwort als Lehrdaten an ein Ergebnis durch, das angibt, ob das Ansaugen erfolgreich ist.
Während im Lernmodus im ersten Ausführungsbeispiel ein Beispiel beschrieben worden ist, in dem die Werte von Anforderungen bezüglich einem jeweiligen von drei Ansaugparametern erfasst werden, das Ansaugen und der Transport durchgeführt werden, und das Lernen durchgeführt wird, indem Daten aus Ergebnissen einer Bestimmung über diese Vorgänge gesammelt werden, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann bezüglich der in den Ansaugparametern enthaltenen ersten und zweiten Ruhezeit die Erfassung von Ansaugparametern in Reaktion auf die Anforderung ausgelassen werden. Eine geeignete erste Ruhezeit und eine geeignete zweite Ruhezeit kann direkt erfasst werden, indem der Wert des Vakuumdrucks in Echtzeit beobachtet wird und eine Zeit gemessen wird, die benötigt wird, bis der beobachtete Wert einen Schwellwert überschreitet oder unter einen Schwellwert fällt. Da das Erfassen von Daten auf diese Weise es ermöglicht, Scheitern-Daten zu reduzieren, können Daten effizient erfasst werden.
Während im Lernmodus im ersten Ausführungsbeispiel beschrieben worden ist, dass nur dann, wenn bezüglich einer Ansammlung von Merkmalsvektoren mindestens ein Satz von drei Ansaugparametern mit einer hohen Erfolgsquote gefunden wird, keine Anforderung notwendig ist, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann, um das Herausfinden einer Kombination von Ansaugparametern mit höherer Erfolgsquote zu ermöglichen, eine weitere Anforderung gesendet werden.
Während im in 4 veranschaulichten Schritt S4030 beschrieben worden ist, dass die Extraktionseinheit 201 eine Ansaugkandidatenposition aus einem Gebiet extrahiert, das auf einer nahen Seite unter mehreren in Stapeln gestapelten verpackten Objekten 13 vorliegt, und das nicht in Eingriff mit einem anderen verpackten Objekt steht, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. werden Normallinien zu den jeweiligen Pixeln aus dem Distanzbild erhalten, und es kann, je größer eine Anzahl von Normallinien ist, die auf eine Oberfläche weist, die wahrscheinlich durch Ansaugen angezogen wird (eine Richtung, in die die Öffnung des Behälters 14 weist), das verpackte Objekt als ein desto geeigneterer Ansaugkandidat bestimmt werden. Alternativ kann, um das Auftreten eines Eingriffs oder einer Reibung mit dem Behälter 14 zu verhindern, je weiter entfernt von der Seitenoberfläche des Behälters 14 sich ein verpacktes Objekt befindet, das verpackte Objekt als desto geeigneterer Ansaugkandidat bestimmt werden. Außerdem kann Information über die Position oder Größe des Behälters 14 verwendet werden, um einen Kandidaten für ein verpacktes Objekt 13, das einfach herauszunehmen ist, zu detektieren. Bezüglich eines verpackten Objekts, das sich an einer Position in der Nähe der inneren Seitenkante des Behälters 14 befindet, besteht die Möglichkeit, dass die Ansaugeinheit 12 mit der Seitenkante des Behälters 14 kollidiert. Insbesondere wird Information in einem Ansaugkandidatengebiet wiedergespiegelt, die angibt, dass das Ansaugen in einem Fall möglich ist, in dem der Abstand zwischen der Kante des Behälters 14 und dem verpackten Objekt größer ist als die Größe der Ansaugeinheit 12 (oder das Ansaugfeld) oder als die Größe des verpackten Objekts. Die Position des Behälters 14 ebenfalls zu berücksichtigen erlaubt es, das Ansaugen stabil durchzuführen. Außerdem können Elemente wie ein verpacktes Objekt, das auf der nahen Seite vorliegt und nicht eingreift, die auf eine geeignete Oberfläche weisenden Normallinien, und ein verpacktes Objekt, das sich weiter entfernt vom Behälter 14 befindet, quantifiziert werden, und es kann, je größer die erhaltenen numerischen Werte sind, das verpackte Objekt als ein desto geeigneteres Ansaugkandidatengebiet bestimmt werden, sodass eine gewichtete lineare Summe davon verwendet werden kann, um ein Ansaugkandidatengebiet zu erhalten.
Außerdem ist, während im in 4 veranschaulichten Schritt S4030 ein Beispiel beschrieben worden ist, in dem die Extraktionseinheit 201 zum Erfassen einer Ansaugposition die Position eines verpackten Objekts durch Vorlagenabgleich identifiziert und damit ein Ansaugkandidatengebiet erhält, das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Extraktionseinheit 201 ein Convolutional Neural Network (CNN) Modell verwenden, das ein Farbbild oder ein Distanzbild als Eingabe empfängt und die Position oder Orientierung des verpackten Objekts 13 ausgibt. In diesem Fall kann die Extraktionseinheit 201 zuvor eine große Anzahl an Entsprechungsdatensätzen zwischen dem Farbbild oder Distanzbild und der Position oder Orientierung des verpackten Objekts 13 erstellen, und dann vorab das Lernen durchführen. Insbesondere verwendet die Extraktionseinheit 201 ein angepasstes Modell, das durch Durchführen des Lernens unter Verwendung eines Lernbilds mit einem diesem zugeordneten korrekten Antwortlabel erhalten wird, das die Position des Schwerpunkts des verpackten Objekts als Ansaugposition definiert, und schätzt damit die Ansaugposition aus dem Bild. Alternativ kann die Extraktionseinheit 201 eine vorab durch den Benutzer bezeichnete Ansaugposition anhand der Position des verpackten Objekts erfassen. Dies gilt ebenso für die Extraktionseinheit 501 im in 6 veranschaulichten Schritt S6030.
Während im in 4 veranschaulichten Schritt S4040 ein Beispiel beschrieben worden ist, in dem die Bestimmungseinheit 202 Ansaugparameter von Feldern des Farbbilds und des Distanzbilds erhält, die an der Ansaugposition und deren Umgebungsabschnitt erhalten werden, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Extraktionseinheit 501 das Gewicht des verpackten Objekts 13 erfassen, und die Bestimmungseinheit 502 kann Ansaugparameter anhand von Feldern des Farbbilds und des Distanzbilds und des Gewichts des verpackten Objekts 13 bestimmen. In diesem Fall ist die Verpackungsmaterialansaugmerkmaldatenbank auch als eine Datenbank konfiguriert, die weiter die Achse des Gewichts eines verpackten Objekts enthält. Alternativ wird die Verarbeitung unter Verwendung der Verpackungsmaterialansaugmerkmaldatenbank ebenso wie in Schritt S4040 durchgeführt. Als zusätzliche Nachverarbeitung kann eine Verarbeitung zum Umwandeln der Werte von Ansaugparametern gemäß dem Gewicht eines verpackten Objekts derart durchgeführt werden, dass, je schwerer das verpackte Objekt ist, die erste Ruhezeit desto länger und die zweite Ruhezeit desto kürzer eingestellt wird. Dies gilt ebenso für die Bestimmungseinheit 502 im in 6 veranschaulichten Schritt S6040.
Während im in 6 veranschaulichten Schritt S6100 ein Beispiel beschrieben worden ist, in dem die Ansaugeinheit für die erste Ruhezeit (P2) im Ruhezustand gehalten wird, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Vakuumspannung in Echtzeit beobachtet werden, während die Ansaugeinheit in Kontakt mit dem verpackten Objekt ist und das verpackte Objekt ansaugt, und wenn die Vakuumspannung auf einen Schwellwert oder darunter gefallen ist, kann das Halten der Ansaugeinheit im Ruhezustand gestoppt werden. Ähnlich ist, während in Schritt S6130 ein Beispiel beschrieben worden ist, in dem die Ansaugeinheit für die zweite Ruhezeit (P3) im Ruhezustand gehalten wird, das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann, wenn unter Verwendung einer Videokamera, die eine Beobachtung der Ansaugeinheit 12 und des verpackten Objekts 13 zum Zeitpunkt der Freigabe in den Behälter 15 ausführen kann, nachgewiesen wird, dass das verpackte Objekt 13 von der Ansaugeinheit 12 getrennt wurde, das Halten der Ansaugeinheit 12 im Ruhezustand gestoppt werden. Dies erlaubt es, die Anzahl von Ansaugparametern zu reduzieren und erleichtert somit das Lernen von Ansaugparametern im Lernmodus. Außerdem kann die Größe der Verpackungsmaterialansaugmerkmaldatenbank reduziert werden.
Während im in 6 veranschaulichten Schritt S6150 ein Beispiel beschrieben worden ist, in dem durch Durchführen von Bildaufnahme bestätigt wird, ob das verpackte Objekt angemessen platziert worden ist, ist das erste Ausführungsbeispiel nicht darauf beschränkt. Z. B. ermöglicht im Falle einer Aufgabe, bei der das Transportziel ein Behälter wie eine Kiste ist und ein verpacktes Objekt lediglich ins Innere der Kiste gelegt werden muss, das Messen des Gewichts des Inneren der Kiste die Bestimmung, ob das verpackte Objekt platziert worden ist. Dies ermöglicht es, den Aufwand des Durchführens einer Bildaufnahme zur Bestätigung oder Erkennung des verpackten Objekts zu reduzieren. Außerdem kann in diesem Fall, da es nicht notwendig ist, die Aktoreinheit 11 in Schritt S6140 zur Bestätigungsposition zu bewegen, die Aktoreinheit 11 sofort zur nächsten Bildaufnahmeposition wie in Schritt S6201 bewegt werden, sodass eine Durchlaufzeit verkürzt werden kann.
Im vorstehend beschriebenen ersten Ausführungsbeispiel ist ein Beispiel beschrieben worden, in dem ein Informationsverarbeitungssystem unter Verwendung einer gegebenen, spezifischen Ansaugeinheit verwendet wird, um eine Aufgabe des Ansaugens und des Transports durchzuführen oder das Lernen durchzuführen. Andererseits werden in einem zweiten Ausführungsbeispiel in Bezug auf einen Fall, dass ein Informationsverarbeitungssystem weiter eine Ansaugwechseleinheit enthält und das Ansaugen und den Transport durchführt, während Ansaugeinheiten gewechselt werden, jeweilige Beispiele des Ausführungsmodus und des Lernmodus beschrieben. Im zweiten Ausführungsbeispiel enthält das Informationsverarbeitungssystem, wie in 1B veranschaulicht, mehrere in Größe und Material verschiedene Ansaugeinheiten. Das zweite Ausführungsbeispiel kann auch auf einen Fall angewendet werden, dass eine aus mehreren, zusammen eingebauten Ansaugfeldern zusammengesetzte Ansaugeinheit vorliegt, und ein Wechseln auf diese Ansaugeinheit durchgeführt werden kann. Z. B. kann im Falle der Behandlung eines kleinen Zielobjekts oder eines Objekts mit wenigen flachen Oberflächen, die für das Ansaugen verfügbar sind, ein Luftleck auftreten, außer wenn ein Ansaugfeld der Ansaugeinheit mit einer kleinen Kontaktfläche verwendet wird, sodass das Ansaugen nicht durchgeführt werden kann. Daher wird ein Wechseln auf eine Ansaugeinheit mit kleinem Durchmesser durchgeführt. Außerdem wird im Falle des Anziehens eines großen und schweren Objekts durch Ansaugen eine Ansaugeinheit verwendet, in der die Flussrate von anzusaugender Luft groß ist, oder eine Ansaugeinheit wird verwendet, die aus mehreren, zusammen eingebauten Ansaugfeldern zusammengesetzt ist, um Stützpunkte oder ein Ansauggebiet zu erhöhen, sodass das Objekt stabil transportiert werden kann. Eine geeignete Ansaugeinheit gemäß einem verpackten Objekt, das ein Ziel für das Ansaugen ist, auszuwählen, ermöglicht es somit, ein verpacktes Objekt, das ein mit einem Verpackungsmaterial verpacktes Objekt ist, stabil durch Ansaugen anzuziehen und zu transportieren.
In Verbindung mit der Behandlung mehrerer Arten von Ansaugeinheiten wird Information über Ansaugeinheiten zu den Verpackungsmaterialansaugmerkmalen hinzugefügt. Mit anderen Worten, die Verpackungsmaterialansaugmerkmale werden Daten, in denen Bildfelder, Ansaugparameter, Ansaugeinheitinformation, und Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns des Ansaugens und des Transports miteinander assoziiert sind. Ein spezifisches Beispiel ist unter Bezugnahme auf 1B beschrieben, worin eine Ansaugeinheit 12-1 ein Ansaugfeld mit Radius r1 enthält. Gleichermaßen enthält eine Ansaugeinheit 12-2 ein Ansaugfeld mit Radius r2, und eine Ansaugeinheit 12-3 enthält ein Ansaugfeld mit Quadratform und einer Seitenlänge a3. Eine n Ansaugfelder enthaltende Konfiguration kann als eine Ansaugeinheit 12-k eingesetzt werden. Außerdem ist die Verpackungsmaterialansaugmerkmaldatenbank eine Datenbank, in der Verpackungsmaterialansaugmerkmale, zu der solche Ansaugeinheitinformation hinzugefügt wird, gesammelt werden. Die Konfiguration des Informationsverarbeitungssystems 10000 im zweiten Ausführungsbeispiel enthält, zusätzlich zur Konfiguration im in 1A veranschaulichten ersten Ausführungsbeispiel, k Arten von Ansaugeinheiten wie in 1B veranschaulicht als Ansaugeinheit 12.
7 ist ein Diagramm, das ein Vorrichtungskonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 veranschaulicht im Falle, dass im zweiten Ausführungsbeispiel der Lernmodus aus dem Lernmodus und dem Ausführungsmodus durch eine Moduswechseleinheit (nicht dargestellt) ausgewählt worden ist. Die in 7 veranschaulichte Informationsverarbeitungsvorrichtung 1 enthält eine Eingabeeinheit 500, eine Extraktionseinheit 501, eine Bestimmungseinheit 502, eine Aktorsteuereinheit 5031, eine Ansaugsteuereinheit 5032, eine Speichereinheit 505, eine Bestimmungseinheit 506, eine Datenerfassungseinheit 707, eine Lerneinheit 708, eine Ansaugwechseleinheit 709, und eine Ansaugeinheitinformationserfassungseinheit 710. Außerdem ist die in 7 veranschaulichte Informationsverarbeitungsvorrichtung 1 mit der Abbildungseinheit 10 und der Aktoreinheit 11 verbunden. Zusätzlich ist die in 7 veranschaulichte Informationsverarbeitungsvorrichtung 1 mit n Ansaugeinheiten 12-1, 12-2, ..., 12-n verbunden. Diese Ansaugeinheiten 12-1 bis 12-n enthalten jeweils Ansaugfelder, die jeweils voneinander in Material und Größe verschieden sind. Die Konfiguration der Informationsverarbeitungsvorrichtung 1 im Lernmodus im zweiten Ausführungsbeispiel ist ungefähr ähnlich zu der im ersten Ausführungsbeispiel (Lernmodus) in 5 veranschaulichten. Ähnliche Funktionen sind aus der Beschreibung ausgelassen, und verschiedene Funktionen, d. h. die Ansaugeinheitinformationserfassungseinheit 710, die Datenerfassungseinheit 707, die Ansaugwechseleinheit 709, und die Lerneinheit 708, werden beschrieben.
Die Ansaugeinheitinformationserfassungseinheit 710 erfasst Information über eine Ansaugeinheit (Ansaugeinheitinformation) von der Ansaugeinheit 12-1, und gibt dann die Ansaugeinheitinformation an die Datenerfassungseinheit 707 aus. Hier ist die Information über eine Ansaugeinheit Forminformation, die z. B. die Größe und den Durchmesser eines Ansaugfelds und das Vorhandensein oder Nichtvorhandensein von Falten davon angibt sowie Information über das Material des Ansaugfelds.
Die Datenerfassungseinheit 707 sammelt Lehrdaten zum Durchführen des Lernens anhand eines durch die Bestimmungseinheit 506 eingegebenen Ergebnisses einer Bestimmung und der durch die Ansaugeinheitinformationserfassungseinheit 710 eingegebenen Ansaugeinheitinformation. Die Datenerfassungseinheit 707 gibt die gesammelte Lehrdatengruppe an die Lerneinheit 708 aus.
In Reaktion auf das Empfangen einer Anweisung von der Lerneinheit 708, die Ansaugeinheit 12-1 zu wechseln, führt die Ansaugwechseleinheit 709 ein Wechseln der Ansaugeinheit 12-1 durch. Im Falle, dass es mehrere Wechselkandidaten gibt, wird ein Kandidat, auf den gewechselt werden soll, in die von der Lerneinheit 708 gesendete Anweisung geschrieben. In Bezug auf das Verfahren des Wechselns der Ansaugeinheit 12-1 ist die Ansaugeinheit 12-1 und das vordere Ende der Aktoreinheit 11 konfiguriert, miteinander durch einen automatischen Handauswechsler gekoppelt zu werden. Die Aktorsteuereinheit 5031 steuert die Aktoreinheit 11, einen Vorgang durchzuführen, um die gegenwärtige Ansaugeinheit abzunehmen und eine neue Ansaugeinheit anzubringen. Das Wechselverfahren ist jedoch nicht darauf beschränkt, sondern es können im Falle, dass mehrere Ansaugeinheiten 12-1 in der Aktoreinheit 11 aufgenommen sind, solche Ansaugeinheiten gewechselt werden. Außerdem kann eine Anzeige zum Auffordern des Benutzers, das Wechseln durchzuführen, auf einer Anzeigeeinheit (nicht dargestellt) angezeigt werden, und es kann dem Benutzer ermöglicht werden, das Wechseln durchzuführen.
Die Lerneinheit 708 führt das Lernen anhand der durch die Datenerfassungseinheit 707 eingegebenen Lehrdatengruppe durch. Die Lerneinheit 708 aktualisiert die die Information über Ansaugeinheiten enthaltende Verpackungsmaterialansaugmerkmaldatenbank, und führt beim Empfang von Bildfeldern und Information über Ansaugeinheiten einen Vorgang durch, das Ausgeben geeigneter Ansaugparameter auszuführen. Die Lerneinheit 708 gibt die angepassten Inhalte an die Speichereinheit 505 aus. Außerdem erzeugt die Lerneinheit 708 eine Anforderung für Daten, die zum Verbessern der Datenbank erforderlich sind, und gibt die Anforderung an die Speichereinheit 505 aus. Die Anforderung wird wie in 19B veranschaulicht so erzeugt, dass auch Daten über Ansaugeinheiten gesammelt werden. Zusätzlich sendet im Falle, dass es notwendig ist, zwischen Ansaugeinheiten zu wechseln, um die Datenbank zu verbessern, die Lerneinheit 708 eine Anweisung an die Ansaugwechseleinheit 709, die eine Ansaugeinheit angibt, in Bezug auf die das Wechseln durchzuführen ist. Hier ist ein Bildfeld im zweiten Ausführungsbeispiel ein Feld, das durch Ändern der Größe eines quadratischen Gebiets in eine vorbestimmte Pixelgröße erhalten wird, in das der maximale Felddurchmesser einer Ansaugeinheit, die in tatsächlicher Größe wechselbar ist, hineinfällt.
Als nächstes wird eine Verarbeitungsprozedur im Lernmodus im zweiten Ausführungsbeispiel beschrieben. 8, die aus 8A und 8B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im zweiten Ausführungsbeispiel im Lernmodus durchführt. Verarbeitungsvorgänge, die ähnlich zu denjenigen im Flussdiagramm von 6 im ersten Ausführungsbeispiel sind, sind auf vereinfachte Weise beschrieben. In Schritt S8000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems wie bei Schritt S6000 im ersten Ausführungsbeispiel aus. Zusätzlich zur Verarbeitung in Schritt S6000, erfasst die Ansaugeinheitinformationserfassungseinheit 710 vorab Ansaugeinheitinformation über die gegenwärtige Ansaugeinheit 12-1 (z. B. die Größe r1 des Durchmessers von deren Ansaugfeld). Dann fährt die Verarbeitung mit Schritt S8001 fort.
In Schritt S8001 erzeugt die Lerneinheit 708 eine Anforderung, und aktualisiert damit die Anforderung in der Speichereinheit 505. Dann fährt die Verarbeitung mit Schritt S6010 fort. Während das Verfahren des Erzeugens einer Anforderung ungefähr ähnlich zu dem im Lernmodus im ersten Ausführungsbeispiel beschriebenen ist, wird vorab Ansaugeinheitinformation zu den Verpackungsmaterialansaugmerkmalen hinzugefügt. Als Ergebnis wird in einem Ansaugparameterraum eine neue Dimension hinsichtlich Ansaugeinheitinformation hinzugefügt. 19B veranschaulicht ein Beispiel einer Ansaugeinheitinformation enthaltenden Anforderung. Somit kann die Anforderung erzeugt werden durch Abbilden von Ergebnissen einer Bestimmung eines Erfolgs oder Scheiterns, die Ansaugparametern entsprechen, auf den Ansaugparameterraum für jede Ansammlung von Merkmalsvektoren und weiter für einen jeweiligen Teil von Ansaugeinheitinformation, sowie dadurch, dass auch die die Ansaugeinheitinformation betreffende Information aufgenommen wird. Z. B. wird angenommen, dass die Ansaugeinheit 12-1 ein Ansaugfeld mit einem kleinen Durchmesser (r1) enthält, und es wird angenommen, dass die Ansaugeinheit 12-2 ein Ansaugfeld mit einem großen Durchmesser (r2; r1 < r2) enthält. Außerdem prüft die Lerneinheit 708 für jede Ansammlung von Merkmalsvektoren, ob es eine Anforderung gibt, die eine wechselbare Ansaugeinheit betrifft, und erzeugt eine Anweisung, um das Wechseln zu einer Ansaugeinheit durchzuführen, für die eine Datensammlung erforderlich ist. Insbesondere vergleicht die Lerneinheit 708 die gegenwärtige Ansaugeinheit mit einer wechselbaren Ansaugeinheit, und Lerneinheit 708 erzeugt, falls es eine Ansaugeinheit gibt, für die eine Datensammlung gegenüber der gegenwärtigen Ansaugeinheit zu priorisieren ist, eine Anweisung, um das Wechseln auf diese Ansaugeinheit durchzuführen. Die Bedingung zum Bestimmen, dass eine Datensammlung zu priorisieren ist, enthält z. B. einen Fall, dass, wenn die Erfolgsquoten der jeweiligen Ansaugeinheiten miteinander verglichen werden, die Erfolgsquote der gegenwärtigen Ansaugeinheit diejenige der anderen Ansaugeinheit um einen Schwellwert oder mehr übersteigt. Jedoch ist die Bedingung nicht darauf beschränkt. In Schritt S6010 nimmt die Abbildungseinheit 10 ein Bild des verpackten Objekts 13 auf. In Schritt S6020 gibt die Eingabeeinheit 500 das durch die Abbildungseinheit 10 aufgenommene Bild ein.
In Schritt S6030 extrahiert die Extraktionseinheit 501 anhand des in Schritt S6020 eingegebenen Bilds eine Ansaugposition für das verpackte Objekt 13 und einen Zustand der Oberfläche des Verpackungsmaterials an der Ansaugposition aus einem Umgebungsbild davon. In Schritt S6040 bestimmt die Bestimmungseinheit 502 Ansaugparameter gemäß einer Anforderung. In Schritt S6041 bestimmt die Bestimmungseinheit 502, ob eine von der Lerneinheit 708 gesendete Anforderung vorliegt. Falls bestimmt wird, dass die Anforderung nicht vorliegt (NEIN in Schritt S6041), kehrt die Verarbeitung zu Schritt S6030 zurück. Falls bestimmt wird, dass die Anforderung vorliegt (JA in Schritt S6041), fährt die Verarbeitung mit Schritt S6050 fort. In Schritt S6050 bestimmt die Bestimmungseinheit 502 Ansaugparameter. In Schritt S8051 bestimmt die Lerneinheit 708, ob das Wechseln der Ansaugeinheit 12-1 gemäß der ausgegebenen Anforderung erforderlich ist. Falls bestimmt wird, dass das Wechseln der Ansaugeinheit 12-1 erforderlich ist (JA in Schritt S8051), fährt die Verarbeitung mit Schritt S8052 fort. Falls bestimmt wird, dass das Wechseln der Ansaugeinheit 12-1 nicht erforderlich ist (NEIN in Schritt S8051), fährt die Verarbeitung mit Schritt S6060 fort. In Schritt S8052, führt die Ansaugwechseleinheit 709 ein Wechseln der Ansaugeinheit 12-1 durch, und die Verarbeitung fährt dann mit Schritt S8053 fort. In Schritt S8053 erfasst die Ansaugeinheitinformationserfassungseinheit 710 Information über die Ansaugeinheit 12-2, in Bezug auf die das Wechseln durchgeführt worden ist. Dann fährt die Verarbeitung mit Schritt S6060 fort. Verarbeitungsvorgänge in Schritten S6060 bis S6160 sind ähnlich zu denjenigen im ersten Ausführungsbeispiel und sind somit aus der Beschreibung ausgelassen. In Schritt S8170 empfängt die Datenerfassungseinheit 707 Ergebnisse einer Bestimmung von Ansaugparametern, Ansaugeinheitinformation, und Bildfelder des Farbbilds und des Distanzbilds, und erfasst damit Daten über Verpackungsmaterialansaugmerkmale. Dann fährt die Verarbeitung mit Schritt S6180 fort. Verarbeitungsvorgänge in Schritt S6180 und den nachfolgenden Schritten sind ähnlich zu denjenigen im ersten Ausführungsbeispiel und sind somit vorliegend aus der Beschreibung ausgelassen. Mit der vorstehend beschriebenen Verarbeitung ist das Informationsverarbeitungssystem 10000 zum Lernen der Verpackungsmaterialansaugmerkmaldatenbank in der Lage, und zwar indem sie im Lernmodus Lehrdaten sammelt, während zwischen Ansaugeinheiten gewechselt wird.
Als nächstes wird der Ausführungsmodus beschrieben. 9 ist ein Diagramm, das ein Vorrichtungskonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 veranschaulicht im Falle, dass im zweiten Ausführungsbeispiel der Ausführungsmodus aus dem Lernmodus und dem Ausführungsmodus durch eine Moduswechseleinheit (nicht dargestellt) ausgewählt wird. Die Konfiguration der Informationsverarbeitungsvorrichtung 1 im Ausführungsmodus im zweiten Ausführungsbeispiel ist ungefähr ähnlich zu derjenigen, die in 2 im ersten Ausführungsbeispiel veranschaulicht ist. Die in 9 veranschaulichte Informationsverarbeitungsvorrichtung 1 enthält weiter eine Ansaugeinheitinformationserfassungseinheit 910 und eine Ansaugwechseleinheit 909 zusätzlich zu einer Eingabeeinheit 200, einer Extraktionseinheit 201, einer Bestimmungseinheit 902, einer Aktorsteuereinheit 2031, einer Ansaugsteuereinheit 2032, und einer Speichereinheit 205. Zusätzlich ist die in 9 veranschaulichte Informationsverarbeitungsvorrichtung 1 mit der Abbildungseinheit 10, der Aktoreinheit 11, und mehreren Ansaugeinheiten 12-1, 12-2, und 12-1 verbunden. Ähnliche Funktionen sind aus der Beschreibung ausgelassen, und verschiedene Funktionen, d. h. die Ansaugeinheitinformationserfassungseinheit 910, die Bestimmungseinheit 902, und die Ansaugwechseleinheit 909 werden beschrieben.
Die Ansaugeinheitinformationserfassungseinheit 910 erfasst Information über eine Ansaugeinheit von der Ansaugeinheit 12, und gibt dann die Information über eine Ansaugeinheit an die Bestimmungseinheit 902 aus. Die Information über eine Ansaugeinheit ist z. B. Forminformation, die z. B. die Größe und den Durchmesser eines Ansaugfelds und das Vorhandensein oder Nichtvorhandensein von Falten davon angibt sowie Information über das Material des Ansaugfelds in einer jeweiligen von mehreren wechselbaren Ansaugeinheiten. Die Bestimmungseinheit 902 extrahiert Ansaugparameter anhand der durch die Speichereinheit 205 gespeicherten Verpackungsmaterialansaugmerkmaldatenbank und der durch die Ansaugeinheitinformationserfassungseinheit 910 eingegebenen Ansaugeinheitinformation in einem Bildbereich, der der durch die Extraktionseinheit 201 eingegebenen Ansaugposition entspricht. Außerdem erhält die Bestimmungseinheit 902 Information über eine optimale Ansaugeinheit aus wechselbaren Ansaugeinheiten. Eine spezifische Verarbeitung ist nachstehend beschrieben. Die Bestimmungseinheit 902 gibt die extrahierten Ansaugparameter an die Steuereinheit 203 aus. Außerdem gibt die Bestimmungseinheit 902 die Information über eine optimale Ansaugeinheit an die Ansaugwechseleinheit 909 aus. Die Ansaugwechseleinheit 909 führt bei Bedarf ein Wechseln von der Ansaugeinheit 12 auf eine designierte Ansaugeinheit anhand der durch die Bestimmungseinheit 902 eingegebenen Information über eine optimale Ansaugeinheit durch.
Als nächstes wird eine Verarbeitungsprozedur im Ausführungsmodus im zweiten Ausführungsbeispiel beschrieben. 10 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im zweiten Ausführungsbeispiel im Aufgabenausführungsmodus durchführt. Das Flussdiagramm von 10 im zweiten Ausführungsbeispiel ist ungefähr ähnlich zum Flussdiagramm von 4 im ersten Ausführungsbeispiel. Die Verarbeitung in 10 wird skizziert.
In Schritt S10000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems wie bei Schritt S4000 im ersten Ausführungsbeispiel aus. Zusätzlich zur Verarbeitung in Schritt S4000 erfasst die Ansaugeinheitinformationserfassungseinheit 910 vorab Information über wechselbare Ansaugeinheiten. In Schritt S4010 erfasst die Abbildungseinheit 10 ein Bild des zu transportierenden verpackten Objekts 13. In Schritt S4020 gibt die Eingabeeinheit 200 das durch die Abbildungseinheit 10 aufgenommene Bild ein. In Schritt S4030 extrahiert die Extraktionseinheit 201 die Ansaugposition für das verpackte Objekt 13 aus dem Eingabebild. In Schritt S10040 bestimmt die Bestimmungseinheit 902 eine optimale Ansaugeinheit und Ansaugparameter in der in Schritt S4030 erfassten Ansaugposition unter Verwendung des Farbbilds, des Distanzbilds, und der Verpackungsmaterialansaugmerkmaldatenbank. Insbesondere erfasst die Bestimmungseinheit 902 zunächst Felder des Farbbilds und des Distanzbilds an der Ansaugposition und deren Umgebungsabschnitt, und erhält Merkmalsvektoren durch Anwenden von Merkmalsfiltern auf die Bildfelder. Dann führt die Bestimmungseinheit 902 einen Abgleich von Merkmalsvektoren in der Verpackungsmaterialansaugmerkmaldatenbank durch. Falls ähnliche Merkmalsvektoren gefunden werden, kann die Bestimmungseinheit 902 für eine jeweilige wechselbare Ansaugeinheit Ansaugparameter extrahieren, die wahrscheinlich zu einem Erfolg führen und mit den gefundenen Merkmalsvektoren assoziiert sind. Dann berechnet die Bestimmungseinheit 902 für eine jeweilige wechselbare Ansaugeinheit eine Bewertung anhand der Erfolgsquote und von Kosten für das Wechseln, und wählt eine Ansaugeinheit, bei der die Bewertung am größten ist, sowie die Ansaugparameter aus. In Bezug auf das Verfahren zum Berechnen der Bewertung wird eine Bewertung Score_I für den Fall, dass, wenn die beim Auswählen von optimalen Ansaugparametern für eine Ansaugeinheit I erhaltene Erfolgsquote mit S_I bezeichnet wird und Kosten für das Wechseln zur Ansaugeinheit I mit C_I bezeichnet werden, ein Wechseln zur Ansaugeinheit I durchgeführt worden ist, gemäß der folgenden Formel (1) erhalten: $Score_I = g (S_I) - C_I$
In Formel (1) ist g(X) eine monoton steigende Funktion zum Umwandeln der Erfolgsquote X in eine Bewertung, und C_I sind Wechselkosten mit einem positiven Wert, wobei ein größerer Wert derselben größere Wechselkosten anzeigt. Außerdem wird im Falle, dass die Ansaugeinheit I dieselbe ist wie die gegenwärtige Ansaugeinheit, da ein Wechseln unnötig ist, „C_I = 0“ festgelegt. Im Falle, dass die Ansaugeinheit I verschieden von der gegenwärtigen Ansaugeinheit ist, soll ein Wechseln zwischen Ansaugeinheiten durchgeführt werden. Diesbezüglich kann argmax (Score_I) berechnet werden. Auf diese Weise erhält die Bestimmungseinheit 902 eine Ansaugeinheit I, in Bezug auf die ein Wechseln durchgeführt werden soll, sowie optimale Ansaugparameter zur Verwendung zu diesem Zeitpunkt.
In Schritt S10041 bestimmt die Bestimmungseinheit 902, ob die in Schritt S10040 erhaltene Ansaugeinheit I verschieden von der gegenwärtigen Ansaugeinheit ist, und, falls bestimmt wird, dass die gegenwärtige Ansaugeinheit und die Ansaugeinheit I verschieden voneinander sind (JA in Schritt S10041), fährt die Verarbeitung mit Schritt S10042 fort, um ein Wechseln zwischen Ansaugeinheiten durchzuführen. Falls bestimmt wird, dass die gegenwärtige Ansaugeinheit und die Ansaugeinheit I dieselben sind (NEIN in Schritt S10041), fährt die Verarbeitung mit Schritt S4050 fort. In Schritt S10042 führt die Ansaugwechseleinheit 909 ein Wechseln von der Ansaugeinheit 12-1 auf die Ansaugeinheit I durch. Dann fährt die Verarbeitung mit Schritt S4050 fort. Verarbeitungsvorgänge in Schritt S4050 und den nachfolgenden Schritten sind ähnlich zu denjenigen im ersten Ausführungsbeispiel und sind somit vorliegend aus der Beschreibung ausgelassen. Mit der vorstehend beschriebenen Verarbeitung ist das Informationsverarbeitungssystem 10000 in der Lage, das Ansaugen im Ausführungsmodus mit einer höheren Ansaugerfolgsquote durchzuführen, während die Ansaugeinheit 12 gewechselt wird.
Wie vorstehen beschrieben ermöglicht es das Wechseln zwischen Ansaugeinheiten im zweiten Ausführungsbeispiel im Lernmodus bzw. Ausführungsmodus des Informationsverarbeitungssystems, die Ansaugerfolgsquote zu erhöhen, um das Ansaugen und den Transport eines mit einem Verpackungsmaterial verpackten Objekts durchzuführen. Außerdem ermöglicht das Wechseln zwischen Ansaugeinheiten, das Lernen mit Ansaugeinheitinformation durchzuführen, um die Ansaugerfolgsquote weiter zu erhöhen.
Während im zweiten Ausführungsbeispiel beschrieben worden ist, dass eine jeweilige der Ansaugeinheitinformationserfassungseinheiten 710 und 910 von der Ansaugeinheit 12-1 Information über die Ansaugeinheit 12-1 erfasst, ist das zweite Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann Information über wechselbare Ansaugeinheiten in einer jeweiligen der Speichereinheiten 205 und 505 gespeichert werden, und die Ansaugeinheitinformationserfassungseinheiten 710 und 910 können die Information von den Speichereinheiten 205 bzw. 505 erfassen.
Während außerdem im zweiten Ausführungsbeispiel beschrieben worden ist, dass eine jeweilige der Ansaugeinheitinformationserfassungseinheiten 710 und 910 als Information über eine Ansaugeinheit Forminformation erfasst, die z. B. die Größe und den Durchmesser eines Ansaugfelds sowie das Vorhandensein oder Nichtvorhandensein von Falten davon angibt sowie Information über das Material des Ansaugfelds, ist das zweite Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann eine jeweilige der Ansaugeinheitinformationserfassungseinheiten 710 und 910 konfiguriert sein, die Modellnummer oder die Kennung (ID) eines Ansaugfelds zu erfassen, und damit in der Lage sein, jeweilige Ansaugfelder zu unterscheiden. Dies reduziert nicht nur den Aufwand, Information über ein Ansaugfeld einzutragen, sondern erlaubt es auch, Maßnahmen gegen das Wechseln von Ansaugfeldern zu ergreifen.
Während im zweiten Ausführungsbeispiel beschrieben worden ist, dass die Lerneinheit 708 im in 8 veranschaulichten Schritt S8051 bestimmt, ob ein Wechseln zwischen Ansaugeinheiten durchgeführt werden soll, ist der Zeitpunkt zum Wechseln zwischen Ansaugeinheiten nicht darauf beschränkt. Z. B. kann, unmittelbar bevor die Abbildungseinheit 10 in Schritt S6201 zu einer Bildaufnahmeposition bewegt wird, eine Bestimmung durchgeführt werden, ob zwischen Ansaugeinheiten gewechselt werden soll, und das Wechseln derselben kann nach Bedarf durchgeführt werden. Außerdem kann die Datensammlung für eine jeweilige Art von Ansaugeinheit durchgeführt werden und, falls die Datensammlung für die gegenwärtig angebrachte Ansaugeinheit abgeschlossen ist, kann das Wechseln von Ansaugeinheiten durchgeführt werden.
Während in Schritten S6091 und S6102 ein Vergleich zwischen dem Vakuumdruck und den Schwellwerten T1 und T2 durchgeführt wird, können diese Schwellwerte gemäß Ansaugeinheitinformation geändert werden. Dies ermöglicht das Durchführen einer genaueren Ansaugbestimmung gemäß der Art einer Ansaugeinheit.
Während im in 10 veranschaulichten Schritt S10040 ein Beispiel beschrieben worden ist, in dem Ansaugparameter anhand von Feldern des Farbbilds und des Distanzbilds und von Information über eine Ansaugeinheit erhalten werden, sind verwendbare Eingaben nicht auf solche Information beschränkt. Z. B. kann eine Zielinformationerfassungseinheit (nicht dargestellt) das Gewicht eines verpackten Objekts erfassen, sodass Ansaugparameter anhand von Feldern des Farbbilds und des Distanzbilds, der Information über eine Ansaugeinheit, und des Gewichts eines verpackten Objekts erfasst werden können, was eine Zielinformation ist. In diesem Falle wird in der Verpackungsmaterialansaugmerkmaldatenbank eine Achse betreffend das Gewicht eines verpackten Objekts weiter hinzugefügt, sodass Ansaugparameter S_I, die wahrscheinlich zu einem Erfolg führen, anhand von Bildfeldern und des Gewichts eines verpackten Objekts erhalten werden können.
Im ersten Ausführungsbeispiel und im zweiten Ausführungsbeispiel ist ein Beispiel beschrieben worden, in dem das Informationsverarbeitungssystem eine Aufgabe oder das Lernen derart durchführt, dass die Erfolgsquoten des Ansaugens und des Transports so hoch wie möglich werden. Andererseits werden in einem dritten Ausführungsbeispiel in Bezug auf einen Fall, dass ein Informationsverarbeitungssystem Ansaugparameter gemäß einem Prioritätselement wie Geschwindigkeitspriorität, Qualitätspriorität, Kostenpriorität, und Priorität für die umgebende Umwelt ändert, ein jeweiliges Beispiel für den Lernmodus und den Ausführungsmodus beschrieben. Im dritten Ausführungsbeispiel enthält das Informationsverarbeitungssystem weiter eine Auswahleinheit, die Parameter für ein vollständig optimales Lernmodell (totally optimal learning modell) derart auswählt, dass sie in der Lage ist, einen optimalen Ansaugplan gemäß einem Prioritätselement durchzuführen.
Ein jeweiliger das Ansaugen betreffender Zeitpunkt hat einen Vorteil und einen Nachteil, und unterscheidet sich je nach Zweck hinsichtlich einer optimalen Ansaugsteuerung. In Bezug auf den Zeitpunkt zum Starten des Ansaugens ist es möglich, falls das Ansaugen gestartet wird, bevor die Ansaugeinheit und das verpackte Objekt in Kontakt miteinander kommen, das Ansaugen auf stabilere Weise erfolgreich zu machen, jedoch gibt es einen Nachteil wie eine Kostenzunahme oder Geräusche. In Bezug auf die erste Ruhezeit ist es z. B. einfach, falls die Ansaugeinheit zum Zeitpunkt des Ansaugens für ausreichend lange Zeit im Ruhezustand gehalten wird, das Ansaugen erfolgreich zu machen, doch im Falle eines Vorgangs zum wiederholten Durchführen des Ansaugens kann eine Durchlaufzeit ungünstig lang werden. In Bezug auf die zweite Ruhezeit ist es z. B. einfach, falls die Ansaugeinheit für ausreichend lange Zeit im Ruhezustand gehalten wird, nachdem das Ansaugen gestoppt wird, die Freigabe erfolgreich zu machen, doch im Falle eines Vorgangs zum wiederholten Durchführen des Ansaugens und des Transports kann eine Durchlaufzeit ungünstig lang werden. In einem solchen Fall wird das Lernen des das Ansaugen betreffenden Zeitpunkts für jeden Zweck, der priorisiert werden soll (Prioritätselement), durchgeführt.
Das Prioritätselement wird beschrieben. Das Prioritätselement bezieht sich auf einen numerischen Wert, der bevorzugt verbessert werden soll (z. B. eine Durchlaufzeit, eine Scheitern-Quote, oder eine Fehlteil-Quote), wenn das Informationsverarbeitungssystem 10000 eine Aufgabe des Transportierens eines verpackten Objekts durchführt. Geschwindigkeitspriorität ist eine Situation, in der es gewünscht oder vorbestimmt ist, eine Aufgabe in kürzerer Zeit abzuschließen. In diesem Falle ist ein solcher das Ansaugen betreffender Zeitpunkt gewünscht oder vorbestimmt, der die Ruhezeit so kurz wie möglich macht. Qualitätspriorität ist eine Situation, in der es gewünscht oder vorbestimmt ist, den Zustand eines zu transportierenden Objekts nicht zu beeinträchtigen. Z. B. ist, um das zu transportierende Objekt nach Stoppen der Ansaugeinheit vorsichtig zu platzieren, ein solcher das Ansaugen betreffender Zeitpunkt gewünscht oder vorbestimmt, dass eine gewisse Ruhezeit gesichert ist. Kostenpriorität ist eine Situation, in der es gewünscht oder vorbestimmt ist, die laufenden Kosten zu reduzieren. Die laufenden Kosten enthalten z. B. den Energieverbrauch eines Roboterarms. Im Falle, dass Geschwindigkeit oder Qualität priorisiert ist und der Zeitpunkt zum Starten des Ansaugens auf früh festgelegt ist (vor Kontakt), können die Kosten z. B. von Luft oder Elektrizität zum Durchführen des Ansaugens zunehmen. Da elektrische Energie für das Ansaugen erforderlich ist, ermöglicht es das Reduzieren einer Ansaugzeit auf ein Minimum, laufende Kosten zu reduzieren. Priorität für die umgebende Umwelt ist eine Situation, in der es gewünscht oder vorbestimmt ist, vor allem Geräusche bzw. Lärm zu unterdrücken. Da ein Ansaugvorgang Geräusche involviert, können Geräusche reduziert werden, indem eine Ansaugzeit so kurz wie möglich gemacht wird. Z. B. im Falle, dass sich z. B. ein Benutzer nahe der Vorrichtung befindet, kann das zum Zeitpunkt des Ansaugens erzeugte Geräusch als laut empfunden werden.
Die Verpackungsmaterialansaugmerkmaldatenbank im dritten Ausführungsbeispiel weist zwei Unterschiede zu der im ersten und zweiten Ausführungsbeispiel genannten Verpackungsmaterialansaugmerkmaldatenbank auf. Der erste Unterschied ist, dass als Information über Ergebnisse des Ansaugens und des Transports nicht nur Ergebnisse einer Bestimmung eines Erfolgs oder Scheiterns zusammen gespeichert werden, sondern auch Daten, die eine für die Ausführung einer Aufgabe erforderliche Zeit darstellen, die Größe eines Schadens an der Oberfläche eines Verpackungsmaterials, die verwendete Menge der beim Ansaugen zu verwendenden Luft, und die Menge des durch das Ansaugen verursachten Geräuschs. Ferner kann die Extraktionseinheit diese Teile von Daten aus z. B. anderen Sensoren erfassen. Die für die Ausführung einer Aufgabe erforderliche Zeit wird von einem Programm unter Verwendung eines Zeitmessers erfasst. Die Größe des Schadens wird statistisch erhalten durch visuelles Prüfen des Zustands der Oberfläche eines Verpackungsmaterials während der Qualitätsuntersuchung in einer Nachverarbeitung, und durch Bestimmen, mit welchem Prozentsatz fehlerhafte Produkte beigemischt sind. Alternativ kann die Größe des Schadens erhalten werden durch Erfassen jeweiliger vor Ansaugen und nach Transport aufgenommener Bilder (was mehrere Bilder sein können, die unter verschiedenen Beleuchtungsbedingungen oder unter verschiedenen Betrachtungswinkeln aufgenommen wurden), durch Extrahieren irgendwelcher Mängel der Oberfläche eines Verpackungsmaterials z. B. durch eine Kantennachweisverarbeitung, und Berechnen eines Unterschieds zwischen dem vor Ansaugen aufgenommenen Bild und dem nach Transport aufgenommenen Bild. Die verwendete Menge an Luft wird durch Lesen eines in einer Vorrichtung zur Verwendung beim Ansaugen (Luftkompressor) enthaltenen Speichers erhalten. Der zweite Unterschied ist, dass anstelle von Merkmalsfiltern zum Extrahieren von Eigenschaften eines Verpackungsmaterials, die gespeichert werden, eine Schätzfunktion (Lernmodell) zum Erhalten von Ansaugparametern aus Bildfeldern gespeichert wird. Solch eine Schätzfunktion wird durch Konfigurieren einer Beziehung zwischen mehreren Parametern als ein Netzwerk mit einer Graphstruktur erhalten, und wird somit nachfolgend mit „Netzwerk“ bezeichnet. Dieses Netzwerk weist eine Struktur auf, die Bildfelder als Eingaben und Ansaugparameter als Ausgaben behandelt, und ein Gewichtungssatz des Netzwerks wird gemäß einem Prioritätselement geändert. Der Gewichtungssatz des Netzwerks (Lernmodell) ist ein Satz an Gewichtungskoeffizienten, die Elemente der jeweiligen Ebenen in einem neuralen Netzwerk verbinden. Es existieren Gewichtungssätze des Netzwerks, deren Anzahl der Anzahl an Prioritätselementen entspricht, und Gewichtungssätze des Netzwerks werden gewechselt, wenn Prioritätselemente gewechselt werden, sodass zu erhaltende Ansaugparameter geändert werden. Außerdem wird bezüglich eines jeweiligen Gewichtungssatzes des Netzwerks das Lernen für jedes Prioritätselement durchgeführt, und ein Ergebnis solchen Lernens wird im Gewichtungssatz des Netzwerks wiedergespiegelt. Jedoch können Daten zur Verwendung im Lernen unabhängig von Prioritätselementen geteilt werden. Im dritten Ausführungsbeispiel wird bezüglich dieser Gewichtungssätze des Netzwerks das Lernen für jedes Prioritätselement im Rahmen des Reinforcement Learning durchgeführt, und im Ausführungsmodus wird eine Extraktion von Ansaugparametern unter Verwendung dieser Gewichtungssätze des Netzwerks (Lernmodell) durchgeführt. Mit anderen Worten, beim Reinforcement Learning entspricht der „Zustand“ (state) Bildfeldern, die „Handlung“ (action) entspricht Werten von Ansaugparametern, die „Strategie“ (policy) entspricht dem Festlegen von Ansaugparametern, und die „Belohnung“ (reward) entspricht einer für ein jeweiliges Prioritätselement bestimmten Bewertung. Dann enthalten durchzuführende Vorgänge im Lernmodus, um eine solche Strategie aufzufinden, dass eine Belohnung für ein jeweiliges Prioritätselement maximiert wird, das Erfassen von Daten durch verschiedene Handlungen (Ansaugparameter) sowie das Erhalten einer Belohnung zu diesem Zeitpunkt. Außerdem enthalten durchzuführende Vorgänge im Ausführungsmodus bezüglich der erhaltenen Bildfelder das Festlegen von Ansaugparametern durch eine solche Strategie, dass eine Belohnung für ein jeweiliges Prioritätselement maximiert wird, sowie anschließendes Durchführen des Ansaugens und des Transports. Die Konfiguration des Informationsverarbeitungssystems 10000 im dritten Ausführungsbeispiel ist ähnlich zu der in 1A im ersten Ausführungsbeispiel veranschaulichten, und ist somit vorliegend von der Beschreibung ausgelassen.
11 ist ein Diagramm, das ein Vorrichtungskonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 veranschaulicht im Falle, dass im dritten Ausführungsbeispiel der Lernmodus aus dem Lernmodus und dem Ausführungsmodus durch eine Moduswechseleinheit (nicht dargestellt) ausgewählt wird. Die Konfiguration der Informationsverarbeitungsvorrichtung 1 im Lernmodus im dritten Ausführungsbeispiel ist ungefähr ähnlich zu der in 5 im ersten Ausführungsbeispiel (Lernmodus) veranschaulichten. Die in 11 veranschaulichte Informationsverarbeitungsvorrichtung 1 enthält eine Eingabeeinheit 500, eine Extraktionseinheit 1101, eine Bestimmungseinheit 1102, eine Aktorsteuereinheit 5031, eine Ansaugsteuereinheit 5032, eine Speichereinheit 1105, eine Bestimmungseinheit 1106, eine Datenerfassungseinheit 507, eine Lerneinheit 1108, und eine Auswahleinheit 1111. Ähnliche Funktionen sind aus der Beschreibung ausgelassen, und verschiedene Funktionen, d. h. die Auswahleinheit 1111, die Speichereinheit 1105, die Extraktionseinheit 1101, die Bestimmungseinheit 1102, die Bestimmungseinheit 1106, und die Lerneinheit 1108 werden beschrieben.
Die Auswahleinheit 1111 wählt aus, von welchem Prioritätselement unter vier Elementen, d. h. Geschwindigkeit, Qualität, Kosten, und umgebende Umwelt, gelernt werden soll, und gibt einen dem gewählten Prioritätselement entsprechenden Gewichtungssatz an die Lerneinheit 1108 aus. Ob sämtliche der vier Prioritätselemente gelernt werden sollen oder ob manche der vier Prioritätselemente gelernt werden sollen wird anhand eines Prioritätselements oder von Prioritätselementen festgelegt, die der Benutzer im nachstehend beschriebenen Ausführungsmodus auswählen will. Im Falle des Lernens mehrerer Prioritätselemente ist es notwendig, die Abfolge davon zu bestimmen. Die Abfolge des Auswählens der Prioritätselemente wird festgelegt als die Reihenfolge der Anzahl an Teilen von Daten, die zum Durchführen des Lernens erforderlich sind, und zwar von kleiner zu größer. Z. B. wird das Lernen bezüglich Geschwindigkeit, Kosten, umgebende Umwelt, und Qualität in dieser Reihenfolge durchgeführt. Jedoch ist die Abfolge nicht darauf beschränkt, sondern es kann dem Benutzer z. B. ermöglicht werden, zu lernende Prioritätselemente und deren Abfolge festzulegen, oder ein Prioritätselement mit einer niedrigen Erfolgsquote auszuwählen und festzulegen, um in der Lage zu sein, einen Schwerpunkt auf die Datensammlung zu legen. Außerdem kann, während Daten für ein anderes Prioritätselement gesammelt werden, ein Prioritätselement ausgewählt werden, falls ein Scheitern auftritt, obwohl vorbestimmt oder erwartet ist, dass die Belohnung groß wird, und es häufig auftritt, dass die Belohnung dazu veranlasst wird, gering zu werden.
Die Speichereinheit 1105 speichert Netzwerke zum Erhalten der Verpackungsmaterialansaugmerkmaldatenbank, Ansaugparameter, und den Netzwerken entsprechende Gewichte für die jeweiligen Prioritätselemente. Dann gibt die Speichereinheit 1105 solche Netzwerke und Gewichte an die Bestimmungseinheit 1102 und die Lerneinheit 1108 aus. Außerdem aktualisiert die Speichereinheit 1105 die Verpackungsmaterialansaugmerkmaldatenbank und die Gewichte der Netzwerke als ein Ergebnis des durch die Lerneinheit 1108 durchgeführten Lernens. Die Extraktionseinheit 1101 extrahiert eine Ansaugposition für die Ansaugeinheit 12 anhand des Farbbilds oder des durch die Eingabeeinheit 500 eingegebenen Distanzbilds. Die Extraktionseinheit 1101 gibt Information über die erfasste Ansaugposition an die Aktorsteuereinheit 5031 und die Lerneinheit 1108 aus. Die Bestimmungseinheit 1102 erfasst durch die Lerneinheit 1108 eingegebene Ansaugparameter, und gibt die erfassten Ansaugparameter an die Ansaugsteuereinheit 5032 aus. Die Bestimmungseinheit 1106 bestimmt, ob ein Erfolg bezüglich eines Ergebnisses des durchgeführten Ansaugens und Transports erreicht worden ist. Zusätzlich erfasst die Bestimmungseinheit 1106 eine für das Ausführen der Aufgabe benötigte Zeit, die Größe des Schadens auf der Oberfläche eines Verpackungsmaterials, die verwendete Menge der beim Ansaugen zu verwendenden Luft, und die Menge des durch das Ansaugen verursachten Geräuschs, und gibt die erfassten Informationsteile zusammen mit dem Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns und den Ansaugparametern an die Datenerfassungseinheit 507 aus.
Die Lerneinheit 1108 verwendet anhand eines durch die Auswahleinheit 1111 eingegebenen Prioritätselements ein Netzwerk zum Erhalten von durch die Speichereinheit 1105 eingegebenen Ansaugparametern und ein Gewicht des Netzwerks, das dem Prioritätselement entspricht. Somit baut die Lerneinheit 1108 ein Netzwerk zum Erhalten von Ansaugparametern anhand der Verpackungsmaterialansaugmerkmaldatenbank und von den durch die Datenerfassungseinheit 507 eingegebenen Daten auf. Außerdem erhält die Lerneinheit 1108 geeignete Ansaugparameter unter Verwendung des Netzwerks bezüglich der durch die Extraktionseinheit 1101 eingegebenen Ansaugposition. Alternativ erhält die Lerneinheit 1108 zufällig Ansaugparameter, die mit einer gegebenen Wahrscheinlichkeit ausprobiert werden sollen. Die Lerneinheit 1108 legt die so erhaltenen Ansaugparameter als Anforderung fest, und gibt die Anforderung an die Bestimmungseinheit 1102 aus. Außerdem führt die Lerneinheit 1108 eine Berechnung einer Belohnung bezüglich des Prioritätselements anhand der durch die Datenerfassungseinheit 507 eingegebenen Datengruppe durch, und führt ein Aktualisieren des Gewichts des Netzwerks durch Reinforcement Learning durch. Die Lerneinheit 1108 gibt das aktualisierte Gewicht des Netzwerks und die Datenbank an die Speichereinheit 1105 aus. Die detaillierte Prozedur ist nachstehend beschrieben.
Als nächstes wird eine Verarbeitungsprozedur im Lernmodus im dritten Ausführungsbeispiel beschrieben. 12, die aus 12A und 12B zusammengesetzt ist, ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im dritten Ausführungsbeispiel durchführt. Verarbeitungsvorgänge ähnlich zu denjenigen im Flussdiagramm von 6 im Lernmodus im ersten Ausführungsbeispiel sind vorliegend aus der Beschreibung ausgelassen, und davon verschiedene Verarbeitungsvorgänge sind im Detail beschrieben.
In Schritt S12000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems wie bei Schritt S6000 durch. Jedoch enthält aus der Speichereinheit 1105 zu lesende Information die Verpackungsmaterialansaugmerkmaldatenbank, Netzwerkstrukturen zum Erfassen von Ansaugparametern, und Gewichtungssätze von Netzwerken. Dann fährt die Verarbeitung mit Schritt S12001 fort. In Schritt S12001 wählt die Auswahleinheit 1111 ein Prioritätselement aus, auf dem das Lernen ab jetzt durchgeführt werden soll, und zwar aus vier Prioritätselementen bezüglich Geschwindigkeit, Qualität, Kosten, und umgebender Umwelt. Außerdem lädt die Lerneinheit 1108 vorab das Gewicht eines Netzwerks, das dem ausgewählten Prioritätselement entspricht, und baut ein Netzwerk zum Erfassen von Ansaugparametern auf. Dann fährt die Verarbeitung mit Schritt S6010 fort. In Schritt S6010 nimmt die Abbildungseinheit 10 ein Bild des verpackten Objekts 13 auf. In Schritt S6020 gibt die Eingabeeinheit 500 das durch die Abbildungseinheit 10 aufgenommene Bild ein.
In Schritt S12030 extrahiert die Extraktionseinheit 1101 eine Ansaugposition für das verpackte Objekt 13. Ein spezifischer Verarbeitungsvorgang ist ähnlich zu dem in Schritt S4030 beschriebenen. Dann fährt die Verarbeitung mit Schritt S12031 fort. In Schritt S12031 erhält die Lerneinheit 1108 als eine Strategie beim Reinforcement Learning Ansaugparameter unter Verwendung des Netzwerks, wobei Bildfelder an der Ansaugposition als Eingaben verwendet werden. Das Netzwerk kann das Gewicht des Netzwerks derart aktualisieren, dass die Belohnung für das festgelegte Prioritätselement größer wird, indem das Lernen unter Verwendung des Flussdiagramms von 12 wiederholt wird. Die Lerneinheit 1108 gibt die so erhaltenen Ansaugparameter als eine Anforderung an die Bestimmungseinheit 1102 aus. Im dritten Ausführungsbeispiel stellt die Anforderung einen Satz an Ansaugparametern dar. Dann fährt die Verarbeitung mit Schritt S12040 fort. In Schritt S12040 bestimmt die Bestimmungseinheit 1102 Ansaugparameter aus der durch die Lerneinheit 1108 eingegebenen Anforderung. Dann fährt die Verarbeitung mit Schritt S6050 fort.
In Schritt S6060 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 gemäß dem in Schritt S6050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 in der Nähe der durch die Extraktionseinheit 1101 eingegebenen Ansaugposition ankommt. In Schritt S6070 führt die Ansaugsteuereinheit 5032 eine Bestimmung unter Bezugnahme auf den in den Ansaugparametern enthaltenen Zeitpunkt P1 zum Starten des Ansaugens durch. Falls bestimmt wird, dass das Ansaugen zuerst gestartet wird (P1 = 0) (JA in Schritt S6070), fährt die Verarbeitung mit Schritt S6080 fort. Falls andererseits bestimmt wird, dass das Ansaugen nach Kontakt mit dem verpackten Objekt durchgeführt wird (P1 = 1) (NEIN in Schritt S6070), fährt die Verarbeitung mit Schritt S6071 fort. In Schritt S6080 veranlasst die Ansaugsteuereinheit 5032 die Ansaugeinheit 12 dazu, das Ansaugen zu starten. In Schritt S6090 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 gemäß dem in Schritt S6050 bestimmten Steuerparameter derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen, während sie das verpackte Objekt 13 ansaugt. In Schritt S6071 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 derart, dass die Ansaugeinheit 12 dazu veranlasst wird, in Kontakt mit dem verpackten Objekt 13 zu kommen. In Schritt S6072 veranlasst die Ansaugsteuereinheit 5032 die Ansaugeinheit 12 dazu, das Ansaugen zu starten. In Schritt S6100 hält die Aktorsteuereinheit 5031 die Ansaugeinheit 12 für die erste Ruhezeit (P2 Sekunden) im Ruhezustand, während sie die Ansaugeinheit 12 gemäß der ersten Ruhezeit (P2), die in den in Schritt S6040 bestimmten Ansaugparametern enthalten ist, dazu veranlasst, das verpackte Objekt 13 zu kontaktieren und anzusaugen. In Schritt S6110 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11, um das verpackte Objekt 13 zum Behälter 15 zu transportieren. In Schritt S6120 führt die Ansaugsteuereinheit 5032 eine Steuerung durch, um das durch die Ansaugeinheit 12 durchgeführte Ansaugen zu stoppen. In Schritt S6130 hält die Aktorsteuereinheit 5031 die Aktoreinheit 11 für die zweite Ruhezeit (P3 Sekunden) im Ruhezustand, da das Ansaugen in Schritt S6120 gemäß der in den Ansaugparametern enthaltenen zweiten Ruhezeit (P3) gestoppt wird. In Schritt S6140 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11, sich zu einer Position zu bewegen, die dazu benutzbar ist, die Platzierung des verpackten Objekts zu bestätigen. In Schritt S8150 bestimmt die Bestimmungseinheit 1106, ob das verpackte Objekt am Transportziel platziert werden konnte.
In Schritt S12160 weist die Bestimmungseinheit 1106 den Ansaugparametern eine Plus-Belohnung zu, falls die in Schritt S8150 geprüfte Position und Orientierung innerhalb eines gewünschten oder vorbestimmten Bereichs einer Position und Orientierung liegt, und eine Minus-Belohnung falls dies nicht der Fall ist. Außerdem berechnet die Bestimmungseinheit 1106 Belohnungen entsprechend den jeweiligen Prioritätselementen für Geschwindigkeit, Qualität, Kosten, und umgebende Umwelt. In Bezug auf Geschwindigkeit misst die Bestimmungseinheit 1106 vorab eine Zeit, die vom Zeitpunkt, zu dem ein Bild in Schritt S6010 aufgenommen wird, bis zum gegenwärtigen Zeitpunkt benötigt wird, und weist eine umso größere Belohnung zu, je kürzer die gemessene Zeit ist. In Bezug auf Qualität weist die Bestimmungseinheit 1106 das Vorhandensein oder Nichtvorhandensein von Mängeln oder einer Deformation des verpackten Objekts nach, indem sie das in Schritt S6010 aufgenommene Bild und das für das Prüfen in Schritt S8150 aufgenommene Bild miteinander vergleicht. Die Bestimmungseinheit 1106 weist eine umso größere Belohnung zu, je kleiner die Größe des Schadens auf der Oberfläche eines Verpackungsmaterials ist. Z. B. wird im Falle, dass ein durch das Ansaugen verursachtes Überbleibsel auf der Oberfläche eines Verpackungsmaterials unter Verwendung eines Kantennachweises nachgewiesen wurde, die Belohnung gering. In Bezug auf Kosten misst die Bestimmungseinheit 1106 vorab die verwendete Menge an vom Zeitpunkt, bevor das Ansaugen gestartet wird, bis zum gegenwärtigen Zeitpunkt verwendeter Luft, und weist eine umso größere Belohnung zu, je kleiner die verwendete Menge an Luft ist. In Bezug auf die umgebende Umwelt misst die Bestimmungseinheit 1106 vorab die Menge des vom Zeitpunkt, bevor das Ansaugen gestartet wird, bis zum gegenwärtigen Zeitpunkt erzeugten Geräuschs, und weist eine umso größere Belohnung zu, je kleiner die Menge des Geräuschs ist. Die Bestimmungseinheit 1106 erfasst diese Belohnungen vorab unabhängig vom ausgewählten Prioritätselement. Dies ermöglicht es, Lerndaten unabhängig von Prioritätselementen zu teilen. Die Bestimmungseinheit 1106 gibt Bildfelder, Ansaugparameter, und verschiedene Belohnungen, die als eine Ansammlung festgelegt werden, an die Datenerfassungseinheit 507 aus. Dann fährt die Verarbeitung mit Schritt S8170 fort.
In Schritt S8170 empfängt die Datenerfassungseinheit 507 Ergebnisse einer Bestimmung von Ansaugparametern, Ansaugeinheitinformation, und Bildfelder des Farbbilds und des Distanzbilds, und erfasst damit Daten über Verpackungsmaterialansaugmerkmale. In Schritt S12180 aktualisiert die Lerneinheit 1108 das Gewicht eines Netzwerks zum Erfassen von Ansaugparametern im Rahmen von Reinforcement Learning eines Deep Q-Netzwerks, unter Verwendung der Bildfelder, Ansaugparameter, und verschiedener durch die Datenerfassungseinheit 507 eingegebener Belohnungen. Die Lerneinheit 1108 lernt das Gewicht eines für ein jeweiliges Prioritätselement erstellten Netzwerks bezüglich einer für ein jeweiliges Prioritätselement erhaltenen Belohnung. Somit berechnet die Lerneinheit 1108 beim Reinforcement Learning z. B. den Zustand aus Bildfeldern, die Strategie aus einer Bestimmung von Ansaugparametern und Ansaugen und Transport, und die Belohnung, die sich abhängig vom festgelegten Prioritätselement unterscheidet, aus Ergebnissen einer Bestimmung eines Erfolgs oder Scheiterns. Dann lernt die Lerneinheit 1108 das Gewicht eines Netzwerks zum Erhalten von optimalen Ansaugparametern im Rahmen von Reinforcement Learning. Dann fährt die Verarbeitung mit Schritt S12181 fort.
In Schritt S12181 fügt die Lerneinheit 1108 der Verpackungsmaterialansaugmerkmaldatenbank die Datengruppe für das vorstehend erwähnte Lernen hinzu. Dann aktualisiert die Lerneinheit 1108 die durch die Speichereinheit 1105 gespeicherte Verpackungsmaterialansaugmerkmaldatenbank. Dann fährt die Verarbeitung mit Schritt S12200 fort. In Schritt S12200 bestimmt die Lerneinheit 1108, ob die Datensammlung bezüglich des gegenwärtigen Prioritätselements abgeschlossen werden soll. Falls bestimmt wird, die Datensammlung abzuschließen (JA in Schritt S12200), fährt die Verarbeitung mit Schritt S12210 fort. Falls bestimmt wird, die Datensammlung nicht abzuschließen (NEIN in Schritt S12200), fährt die Verarbeitung mit Schritt S12201 fort. Es wird angenommen, dass die Bedingung zum Bestimmen, die Datensammlung abzuschließen, ein Fall ist, dass, wenn das Ansaugen und der Transport gemäß den Ansaugparametern, die unter Verwendung des Gewichts eines Netzwerks, das dem gegenwärtigen Prioritätselement entspricht, ausgegeben werden, durchgeführt wird, eine Situation, in der die Belohnung beim gegenwärtigen Prioritätselement größer als ein oder gleich einem Schwellwert wird, nacheinander N Mal auftritt. Andernfalls wird bestimmt, die Datensammlung nicht abzuschließen. In Schritt S12201 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 derart, dass die Abbildungseinheit 10 zu einer Bildaufnahmeposition zum Durchführen einer Bildaufnahme eines nächsten verpackten Objekts bewegt wird.
In Schritt S12210 bestimmt die Lerneinheit 1108, ob das Prioritätselement geändert werden soll. Falls bestimmt wird, das Prioritätselement zu ändern (JA in Schritt S 12210), fährt die Verarbeitung mit Schritt S12211 fort. Falls bestimmt wird, das Prioritätselement nicht zu ändern (NEIN in Schritt S12210), endet die Verarbeitung. Die Bedingung zum Ändern des Prioritätselements ist eine Situation, in er ein Prioritätselement vorhanden ist, das zuvor nicht ausgewählt worden ist. Alternativ ist solch eine Bedingung eine Situation, in der, obwohl sämtliche der Prioritätselemente zumindest einmal ausgewählt worden sind, ein Prioritätselement vorhanden ist, für das in Bezug auf Daten, die für ein anderes Prioritätselement gesammelt wurden, die Anzahl an widersprüchlichen Fällen einen Schwellwert übersteigt. Ein widersprüchlicher Fall ist z. B. ein Fall, bei dem, obwohl normalerweise die Belohnung groß werden sollte, wenn das Ansaugen und der Transport erfolgreich ist, die Belohnung aufgrund eines Scheiterns des Ansaugens oder des Transports niedrig ausgefallen ist. Man betrachte z. B. den Fall, dass eine Datensammlung mit dem auf „Qualität“ festgelegten Prioritätselement bereits abgeschlossen ist und als nächstes eine Datensammlung mit dem auf „Geschwindigkeit“ festgelegten Prioritätselement gestartet worden ist. Da es notwendig ist, die „Geschwindigkeit“ zu erhöhen, ist es z. B. notwendig, die erste Ruhezeit und die zweite Ruhezeit zu minimieren. Zu diesem Zeitpunkt wird, um Daten zu sammeln, die sogar unter Berücksichtigung von bereits erhaltenen Lerndaten unzureichend sind, eine jeweilige Messung nacheinander mehrmals in Bezug auf solche zwei Ansaugparameter durchgeführt. Z. B. wird eine Messung derart durchgeführt, dass (0 Sekunden, 0 Sekunden), (0,1 Sekunden, 0,1 Sekunden), (0,1 Sekunden, 0,2 Sekunden), (0,2 Sekunden, 0,1 Sekunden), (0,2 Sekunden, 0,2 Sekunden), ..., in dieser Reihenfolge verwendet werden. Hierbei betrachte man Ansaugparameter von (0,2 Sekunden, 0,2 Sekunden) in Bezug auf eine gegebene Merkmalsvektorgruppe. In Bezug auf diese Kombination wird eine Datensammlung mit dem auf „Qualität“ festgelegten Prioritätselement durchgeführt. Wenn ein Transport mit Festlegung (0,2 Sekunden, 0,2 Sekunden) in vier von vier Fällen durchgeführt wird, ohne dass das verpackte Objekt herunterfällt, tritt, da die Oberfläche des Verpackungsmaterials niemals oder zumindest nicht beschädigt ist, ein „Erfolg“ in Bezug auf „Qualität“ auf. Nichtsdestotrotz werden, wenn zum Zeitpunkt einer Datensammlung für „Geschwindigkeit“ ein Fallen des verpackten Objekts zweimal auftritt, während der Transport zweimal durchgeführt wird, Daten erhalten, die ein „Scheitern“ in Bezug auf „Qualität“ angeben. In einem solchen Fall ist selbst dann, wenn nach Abschluss des Lernens in Bezug auf eine Reihe von Prioritätselementen das Lernen von „Qualität“ erneut durchgeführt wird, (0,2 Sekunden, 0,2 Sekunden) für die zu erhaltende Erfolgsquote, wenn das Prioritätselement auf „Qualität“ festgelegt ist, ausreichend, und es ist somit notwendig, nach einem Parameter zu suchen, der mit höherer Wahrscheinlichkeit einen „Erfolg“ verursacht. In Schritt S12211 steuert die Aktorsteuereinheit 5031 die Aktoreinheit 11 derart, dass die Abbildungseinheit 10 zu einer Bildaufnahmeposition zum Durchführen einer Bildaufnahme eines nächsten verpackten Objekts bewegt wird. Dann kehrt die Verarbeitung zu Schritt S12001 zurück, in dem eine Auswahl eines Prioritätselements erneut durchgeführt wird.
Mit der vorstehenden Verarbeitung ist das Informationsverarbeitungssystem 10000 in der Lage, gemäß einem Prioritätselement im Lernmodus durch Reinforcement Learning ein Netzwerk zum Erfassen von Ansaugparametern zu erfassen. Dies ermöglicht es, den Ausführungsmodus eines Informationsverarbeitungssystems bereitzustellen, das optimale Ansaugparameter für das Ansaugen gemäß einem Prioritätselement erhält, und dann das Ansaugen und den Transport durchführt.
13 veranschaulicht ein Diagramm, das ein Vorrichtungskonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 1 veranschaulicht im Falle, dass im dritten Ausführungsbeispiel der Ausführungsmodus aus dem Lernmodus und dem Ausführungsmodus durch eine Moduswechseleinheit (nicht dargestellt) ausgewählt wird. Die Konfiguration der Informationsverarbeitungsvorrichtung 1 im Ausführungsmodus im dritten Ausführungsbeispiel ist ungefähr ähnlich zu der in 2 im ersten Ausführungsbeispiel veranschaulichten. Die in 13 veranschaulichte Informationsverarbeitungsvorrichtung 1 enthält eine Eingabeeinheit 200, eine Extraktionseinheit 201, eine Aktorsteuereinheit 2031, eine Ansaugsteuereinheit 2032, eine Bestimmungseinheit 1302, eine Speichereinheit 1305, und eine Auswahleinheit 1311. Ähnliche Funktionen sind aus der Beschreibung ausgelassen, und verschieden Funktionen, d. h. die Bestimmungseinheit 1302, die Speichereinheit 1305 und die Auswahleinheit 1311 werden beschrieben.
Die Bestimmungseinheit 1302 bestimmt Ansaugparameter (den das Ansaugen betreffenden Zeitpunkt) anhand eines durch die Auswahleinheit 1311 ausgewählten Gewichtungssatzes (Parameter). Die Bestimmungseinheit 1302 verwendet ein durch die Speichereinheit 1305 gespeichertes Netzwerk zum Erfassen von Ansaugparametern in einem Bildbereich, der der durch die Extraktionseinheit 201 eingegebenen Ansaugposition entspricht, und einen Gewichtungssatz eines Netzwerks entsprechend einem durch die Auswahleinheit 1311 eingegebenen Prioritätselement. Die Bestimmungseinheit 1302 gibt die extrahierten Ansaugparameter an die Steuereinheit 203 aus. Die Speichereinheit 1305 speichert Netzwerke zum Erhalten von Ansaugparametern und Gewichtungssätze von Netzwerken entsprechend den jeweiligen Prioritätselementen, und gibt diese an die Bestimmungseinheit 1302 aus. Die Auswahleinheit 1311 legt als Prioritätselement fest, welches aus vier Elementen, d. h. aus Geschwindigkeit, Qualität, Kosten, und umgebender Umwelt, beim Durchführen des Ansaugens und des Transports zu priorisieren ist, und gibt das festgelegte Prioritätselement an die Bestimmungseinheit 1302 aus.
Als nächstes ist eine Verarbeitungsprozedur im Ausführungsmodus im dritten Ausführungsbeispiel beschrieben. 14 ist ein Flussdiagramm, das eine Verarbeitungsprozedur veranschaulicht, die das die Informationsverarbeitungsvorrichtung 1 enthaltende Informationsverarbeitungssystem 10000 im dritten Ausführungsbeispiel im Aufgabenausführungsmodus durchführt. Das Flussdiagramm von 14 im dritten Ausführungsbeispiel ist ungefähr ähnlich zum Flussdiagramm von 4 im ersten Ausführungsbeispiel. Die in 14 veranschaulichte Verarbeitung, die das Informationsverarbeitungssystem 10000 durchführt, wird beschrieben. In Schritt S14000 führt das Informationsverarbeitungssystem 10000 eine Initialisierung des Systems wie bei Schritt S4000 durch. Jedoch enthält aus der Speichereinheit 1305 zu lesende Information Netzwerkstrukturen zum Erfassen von Ansaugparametern und Gewichtungssätze von Netzwerken. Dann fährt die Verarbeitung mit Schritt S14001 fort. In Schritt S14001 wählt die Auswahleinheit 1311 ein Prioritätselement aus vier Prioritätselementen bezüglich Geschwindigkeit, Qualität, Kosten, und umgebender Umwelt aus, und wählt auch einen Gewichtungssatz eines Netzwerks bezüglich des Prioritätselements aus. Als Verfahren zum Auswählen eines Prioritätselements kann es dem Benutzer ermöglicht werden, irgendeines von Prioritätselementen für Geschwindigkeit, Qualität, Kosten, und umgebende Umwelt über eine Nutzerschnittstelleneinheit (nicht dargestellt) auszuwählen, und die Auswahleinheit 1311 kann das ausgewählte Prioritätselement festlegen. Dann empfängt die Bestimmungseinheit 1302 von der Speichereinheit 1305 Netzwerke und ein Gewicht eines Netzwerks, das dem ausgewählten Prioritätselement entspricht, und konfiguriert ein Netzwerk zum Erfassen von Ansaugparametern. Dann fährt die Verarbeitung mit Schritt S4010 fort. In Schritt S4010 erfasst die Abbildungseinheit 10 ein Bild des zu transportierenden verpackten Objekts 13. In Schritt S4020 gibt die Eingabeeinheit 200 das durch die Abbildungseinheit 10 aufgenommene Bild ein. In Schritt S4030 extrahiert die Extraktionseinheit 201 eine Ansaugposition für das verpackte Objekt 13. In Schritt S14040 bestimmt die Bestimmungseinheit 1302 Ansaugparameter an der in Schritt S4030 erfassten Ansaugposition unter Verwendung des Farbbilds, des Distanzbilds und des Netzwerks. Die bestimmten Ansaugparameter sind Parameter, die unter Verwendung des dem festgelegten Prioritätselement entsprechenden Gewichtungssatzes erhalten werden, und sind Ansaugparameter, die für einen Zweck geeignet sind, der priorisiert werden soll. Dann fährt die Verarbeitung mit Schritt S4050 fort. Verarbeitungsvorgänge in Schritt S4050 und den nachfolgenden Schritten sind ähnlich zu den Verarbeitungsvorgängen im Flussdiagramm von 4 im ersten Ausführungsbeispiel, und sind somit vorliegend aus der Beschreibung ausgelassen.
Mit der vorstehend beschriebenen Verarbeitung ist das Informationsverarbeitungssystem 10000 in der Lage, das Ansaugen und den Transport im Ausführungsmodus anhand eines Prioritätselements durchzuführen. Wie vorstehend erwähnt werden im dritten Ausführungsbeispiel Prioritätselemente jeweils im Lernmodus und im Aufgabenausführungsmodus des Informationsverarbeitungssystems gewechselt. Dies ermöglicht es, optimale Ansaugparameter zu erhalten und das Ansaugen und den Transport in Bezug auf einen Zweck einer Verbesserung hinsichtlich Geschwindigkeit, Qualität, Kosten, und umgebender Umwelt durchzuführen. Außerdem ermöglicht dies das Lernen von Gewichtungssätzen von Netzwerken entsprechend den jeweiligen Prioritätselementen .
Im Lernmodus im dritten Ausführungsbeispiel wird eine Bestätigung eines Vorgangs vom Zeitpunkt, zu dem das Ansaugen gestartet wird, bis zum Zeitpunkt, zu dem der Transport gestartet wird, wie bei Schritten S6092 und S6103 im Lernmodus im ersten Ausführungsbeispiel nicht durchgeführt; eine solche Bestätigung wird kollektiv in Schritt S12160 durchgeführt. Jedoch ist das dritte Ausführungsbeispiel nicht darauf beschränkt, sondern die Bestätigung kann wie bei Schritten S6092 und S6103 im Lernmodus im ersten Ausführungsbeispiel Schritt für Schritt beim Durchführen einer Bestimmung von Ansaugparametern durchgeführt werden, und dann kann die Verarbeitung mit der Datensammlung in Schritt S8170 fortfahren. In diesem Falle kann, obwohl ein Scheitern bei einer Aufgabe des Ansaugens und des Transports auftritt, da Schritte z. B. des Transports als Abkürzung ausgelassen werden, eine zum Ausführen der Aufgabe benötigte Zeit sehr kurz werden, oder eine vorbestimmte Zeit nicht überschreiten. Somit ist es im Falle, dass das festgelegte Prioritätselement die Geschwindigkeitspriorität ist, notwendig, eine Anpassung derart vorzunehmen, dass eine Belohnung daran gehindert wird, zu groß zu werden.
Während im in 12 veranschaulichten Schritt S12160 ein Beispiel beschrieben worden ist, in dem eine Belohnung für ein jeweiliges Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns des Ansaugens und des Transports oder für ein jeweiliges Prioritätselement berechnet wird, ist der Zeitpunkt zum Berechnen einer Belohnung nicht darauf beschränkt. Z. B. kann in Schritt S12160 die Bestimmungseinheit 1106 gemessene Werte für ein jeweiliges Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns oder für ein jeweiliges Prioritätselement an die Datenerfassungseinheit 507 ausgeben. Dann kann in Schritt S12180 die Lerneinheit 1108, die eine solche Datengruppe empfangen hat, eine Belohnung berechnen. Auf diese Weise kann, da gemessene Werte für ein jeweiliges Ergebnis einer Bestimmung eines Erfolgs oder Scheiterns oder für ein jeweiliges Prioritätselement in der Verpackungsmaterialansaugmerkmaldatenbank gespeichert werden, ein Effekt leicht berücksichtigt werden, der ausgeübt wird, wenn das Verfahren zum Berechnen einer Belohnung geändert worden ist.
Während im in 12 veranschaulichten Schritt S12200 ein Beispiel beschrieben worden ist, in dem die Lerneinheit 1108 die Datensammlung abschließt, wenn die erhaltenen Ansaugparameter wiederholt große Belohnungen in Bezug auf das gegenwärtig festgelegte Prioritätselement produziert haben, und dann das Lernen eines nächsten Prioritätselements durchführt, ist das dritte Ausführungsbeispiel nicht darauf beschränkt. Z. B. kann die Lerneinheit 1108, um ein jeweiliges Prioritätselement nach und nach zu lernen, die Datensammlung zu einem jeweiligen Zeitpunkt beim Durchführen der Datensammlung für eine vorbestimmte Anzahl von Malen abschließen, und die Verarbeitung kann dann mit Schritt S12210 fortfahren, sodass das Ändern von Prioritätselementen wiederholt werden kann.
Während beschrieben worden ist, dass der in 12 veranschaulichte Schritt S12210 der letzte Verarbeitungsvorgang im Lernmodus im Fluss der Verarbeitungsvorgänge ist, ist das dritte Ausführungsbeispiel nicht darauf beschränkt. Man betrachte z. B. den Fall, dass solche Ansaugparameter, die eine ausreichend große Belohnung bereitstellen können, vorab bezüglich Bildfeldern an einer gegebenen Ansaugposition festgelegt worden sind. Zu diesem Zeitpunkt kann die Lerneinheit 1108 in Schritt S12031 temporär das Wechseln von Prioritätselementen durchführen. Dann kann die Lerneinheit 1108 auch den Gewichtungssatz des Netzwerks ändern. Dann kann die Lerneinheit 1108 für ein Prioritätselement erforderliche Ansaugparameter erhalten, in Bezug auf das ein Wechseln durchgeführt worden ist, und das Lernen unter Verwendung der erhaltenen Ansaugparameter durchführen. Dies ermöglicht es, die Durchführung von exzessivem Lernen bezüglich Eingabebildfeldern zu verhindern, die bereits in die Lage versetzt wurden, zum Auswählen geeigneter Ansaugparameter bei einem gegebenen Prioritätselement verwendet zu werden. Als Ergebnis ermöglicht dies, Lerndaten effizient zu erfassen, die bei einem anderen Prioritätselement nicht ausreichend sind.
Während im in 14 veranschaulichten Schritt S14001 ein Beispiel beschrieben worden ist, in dem, wenn die Auswahleinheit 1311 ein Prioritätselement auswählt, dem Benutzer ermöglicht wird, eine Auswahl durchzuführen, ist das Verfahren des Auswählens eines Prioritätselements nicht darauf beschränkt. Man betrachte z. B. den Fall, dass eine Verwaltungseinheit (nicht dargestellt) die Gesamtmenge (die Norm) eines Aufnehmens-und-Platzierens, das pro Tag durchzuführen ist, verwaltet. Z. B. wird das Aufnehmen-und-Platzieren mit „Geschwindigkeitspriorität“ durchgeführt. Wenn nachgewiesen wird, dass man in der Lage wäre, die heutige Norm ausreichend zu erreichen, kann die Verwaltungseinheit eine Anweisung an die Auswahleinheit 1311 ausgeben, das Prioritätselement auf „Qualitätspriorität“ zu ändern. Dann kann die Auswahleinheit 1311 das Prioritätselement auf dasjenige für Qualität ändern. Außerdem kann in einer Zeit, in der die Anzahl von Anwendern zunimmt, die Verwaltungseinheit eine Anweisung an die Auswahleinheit 1311 ausgeben, das Prioritätselement auf „Priorität für die umgebende Umwelt“ zu ändern.
Die vorliegende Offenbarung kann durch Durchführen der folgenden Verarbeitung implementiert werden. Insbesondere beinhaltet die Verarbeitung das Bereitstellen von Software (Programm) zum Implementieren der Funktionen von jeweiligen der oben beschriebenen Ausführungsbeispiele für ein System oder eine Vorrichtung über ein Netzwerk zur Datenkommunikation oder verschiedene Arten von Speichermedien. Dann enthält die Verarbeitung, einen Computer (oder eine zentrale Verarbeitungseinheit (CPU) oder eine Mikroprozessoreinheit (MPU)) des Systems oder der Vorrichtung dazu zu veranlassen, das Programm auszulesen und auszuführen. Außerdem kann die Verarbeitung ein Aufzeichnen des Programms auf einem computerlesbaren Aufzeichnungsmedium und ein Bereitstellen eines solchen Aufzeichnungsmediums beinhalten.
Andere Ausführungsformen
Ausführungsform(en) der vorliegenden Offenbarung können auch durch einen Computer eines Systems oder Apparats realisiert werden, der auf einem Speichermedium (das vollständiger auch als ein „nicht-flüchtiges computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (z. B. ein oder mehr Programme) ausliest und ausführt, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder der ein oder mehr Schaltungen (z. B. eine anwenderspezifisch-integrierte Schaltung (ASIC)) beinhaltet zum Durchführen der Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en), sowie durch ein durch den Computer des Systems oder Apparats durchgeführtes Verfahren durch, zum Beispiel, Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder Steuern der ein oder mehr Schaltungen, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen. Der Computer kann einen oder mehrere Prozessoren (z. B. eine zentrale Verarbeitungseinheit (CPU), eine Mikroprozessoreinheit (MPU)) umfassen, und kann ein Netzwerk von separaten Computern oder separaten Prozessoren enthalten, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer z. B. von einem Netzwerk oder dem Speichermedium zur Verfügung gestellt werden. Das Speichermedium kann z. B. eine oder mehrere Festplatten, einen Direktzugriffspeicher (RAM für „Random Access Memory“), einen Festspeicher (ROM für „Read-only Memory“), einen Speicher verteilter Rechensysteme, eine optische Disk (wie eine CD (für „Compact Disc“), eine DVD (für „Digital Versatile Disc“) oder eine Blu-Ray Disk (BD für „Blu-ray Disc“, eingetragene Marke)), ein Flash-Speicher-Gerät, eine Speicherkarte und so weiter enthalten.
Während die vorliegende Offenbarung anhand von Ausführungsbeispielen erläutert wurde, versteht sich, dass die Offenbarung nicht auf die Ausführungsbeispiele beschränkt ist.

Claims

Informationsverarbeitungsvorrichtung (1) zum Ausgeben von Steuerinformation (P1, P2, P3) zum Steuern einer Ansaugeinrichtung (12), die konfiguriert ist zum Ansaugen eines verpackten Objekts (13), wobei die Informationsverarbeitungsvorrichtung umfasst: eine Eingabeeinheit (200), die konfiguriert ist zum Eingeben eines durch Durchführen einer Bildaufnahme einer Oberfläche des verpackten Objekts erhaltenen Bilds; und eine Ausgabeeinheit (203), die konfiguriert ist zum Ausgeben von Steuerinformation, um einen Zeitpunkt zu steuern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar basierend auf einem aus dem Bild bestimmten Zustand der Oberfläche des verpackten Objekts; wobei der Zustand der Oberfläche des verpackten Objekts eine Menge an Knitterfalten auf der Oberfläche des verpackten Objekts enthält, und in einem Fall, in dem die Menge an Knitterfalten auf der Oberfläche des verpackten Objekts, die von einem jeweiligen Bild bestimmt wird, variiert, die Ausgabeeinheit die Steuerinformation ausgibt, um den Zeitpunkt zu ändern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar entsprechend der Menge an Knitterfalten auf der Oberfläche des verpackten Objekts.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei in einem Fall, in dem auf der Oberfläche des verpackten Objekts Knitterfalten vorhanden sind, die basierend auf dem Bild bestimmt werden, die Ausgabeeinheit die Steuerinformation ausgibt, um einen Zeitpunkt zu ändern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar abhängig von einer Menge an Knitterfalten auf der Oberfläche des verpackten Objekts.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Ausgabeeinheit die Steuerinformation ausgibt, die angibt, ob der Zeitpunkt, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, vor oder nach dem Zeitpunkt ist, zu dem die Ansaugeinrichtung und die Oberfläche des verpackten Objekts miteinander in Kontakt kommen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiter umfassend eine Bestimmungseinheit (202), die konfiguriert ist, zu bestimmen, dass die Steuerinformation den Zeitpunkt steuert, zu dem das Ansaugen durch die Ansaugeinrichtung abhängig vom Zustand der Oberfläche des verpackten Objekts gestartet wird, und zwar basierend auf Daten, die ein Ergebnis angeben, das darstellt, ob ein Ansaugen bezüglich einer Kombination des Zustands der Oberfläche des verpackten Objekts und der Steuerinformation erfolgreich ist, wobei die Ausgabeeinheit die durch die Bestimmungseinheit bestimmte Steuerinformation ausgibt.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit die Steuerinformation zum Steuern des Zeitpunkts bestimmt, zu dem das Ansaugen gestartet wird, und zwar mit dem als Eingabe verwendeten, durch die Eingabeeinheit eingegebenen Bild, und basierend auf einem angepassten Modell, das durch Lernen der Steuerinformation in Bezug auf den Zustand der Oberfläche des verpackten Objekts erhalten wird.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit aus dem Zustand der Oberfläche des verpackten Objekts eine erste Ruhezeit (P2) bestimmt, die eine Zeit von dem Zeitpunkt, zu dem die Ansaugeinrichtung und die Oberfläche des verpackten Objekts miteinander in Kontakt kommen, zu dem Zeitpunkt, zu dem der durch die Ansaugeinrichtung durchgeführte Transport gestartet wird, angibt, und wobei die Ausgabeeinheit die Steuerinformation ausgibt, die einen Zeitpunkt angibt, zu dem die Ansaugeinrichtung den Transport startet, nachdem die durch die Bestimmungseinheit bestimmte erste Ruhezeit verstrichen ist.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Bestimmungseinheit aus dem Zustand der Oberfläche des verpackten Objekts eine zweite Ruhezeit (P3) bestimmt, die eine Zeit von dem Zeitpunkt, zu dem die Ansaugeinrichtung das Ansaugen nach dem Transportieren des verpackten Objekts zu einem Transportziel stoppt, zu dem Zeitpunkt, zu dem eine Bewegung der Ansaugeinrichtung gestartet wird, angibt, und wobei die Ausgabeeinheit die Steuerinformation ausgibt, um eine Bewegung der Ansaugeinrichtung zu steuern, nachdem die durch die Bestimmungseinheit bestimmte zweite Ruhezeit verstrichen ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiter umfassend eine Extraktionseinheit (201), die konfiguriert ist zum Extrahieren einer Ansaugposition, an der das verpackte Objekt durch die Ansaugeinrichtung angesaugt wird, durch Vergleichen einer Vorlage, die ein Bildmerkmal ist, das einen für das Ansaugen geeigneten Zustand der Oberfläche des verpackten Objekts angibt, mit dem durch die Eingabeeinheit eingegebenen Bild, wobei die Ausgabeeinheit die Steuerinformation basierend auf einem Zustand der Oberfläche des verpackten Objekts ausgibt, der aus einem der Ansaugposition entsprechenden Bildbereich bestimmt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiter umfassend: eine Bestimmungseinheit (506), die konfiguriert ist zum Bestimmen eines Ergebnisses, das darstellt, ob eine Steuerung durch die Steuerinformation erfolgreich war oder fehlgeschlagen ist, indem ein Vakuumdruck der Ansaugeinrichtung beobachtet wird; und eine Lerneinheit (508), die konfiguriert ist zum Lernen eines Datensatzes, der die Steuerinformation angibt, die wahrscheinlich einen Erfolg hinsichtlich des Zustands der Oberfläche des verpackten Objekts verursachen wird, und zwar basierend auf dem durch die Bestimmungseinheit bestimmten Ergebnis, wobei die Ausgabeeinheit (503) die Steuerinformation basierend auf dem Zustand der Oberfläche des verpackten Objekts ausgibt, der aus dem Bild und dem Datensatz bestimmt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Bestimmungseinheit bestimmt, dass die Steuerung durch die Steuerinformation erfolgreich ist, falls der Vakuumdruck kleiner als ein vorbestimmter Schwellwert ist, und eine Steuerung durch die Steuerinformation gescheitert ist, wenn der Vakuumdruck größer als oder gleich dem vorbestimmten Schwellwert ist.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Lerneinheit Verbindungsgewichte eines ersten angepassten Modells zum Ausgeben der Steuerinformation basierend auf einem Eingabebild aktualisiert, und zwar durch Reinforcement Learning, welches eine positive Belohnung zuweist, falls Ansaugen für das verpackte Objekt erfolgreich ist, und eine negative Belohnung zuweist, falls Ansaugen für das verpackte Objekt gescheitert ist, und wobei die Ausgabeeinheit die Steuerinformation basierend auf dem ersten angepassten Modell, das durch die Lerneinheit aktualisiert wurde, ausgibt.
Die Informationsverarbeitungsvorrichtung nach Anspruch 1, weiter umfassend mehrere Ansaugeinheiten (12-1, ..., 12-k) verschiedener Größe, wobei die Ausgabeeinheit die Steuerinformation zum Steuern des Zeitpunkts, zu dem das Ansaugen gestartet wird, ausgibt, und zwar basierend auf dem aus dem Bild bestimmten Zustand der Oberfläche des verpackten Objekts und der Größe der Ansaugeinheit.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiter umfassend eine Empfangseinheit, die konfiguriert ist, von einem Benutzer bei einer Aufgabe, das verpackte Objekt zu transportieren, eine Anforderung zu empfangen, für die Geschwindigkeit, Qualität, Kosten oder Umgebungsgeräusche als Prioritätselement eingestellt ist, wobei die Ausgabeeinheit die Steuerinformation ausgibt, die eine vorbestimmte Bedingung bezüglich des Prioritätselements gemäß der durch die Empfangseinheit empfangenen Anforderung erfüllt.
Die Informationsverarbeitungsvorrichtung nach Anspruch 13, weiter umfassend eine Auswahleinheit (1111), die konfiguriert ist zum Auswählen eines zweiten angepassten Modells, das erhalten wird durch Lernen der Steuerinformation, die eine vorbestimmte Bedingung bezüglich des Prioritätselements gemäß der durch die Empfangseinheit empfangenen Anforderung erfüllt, wobei die Ausgabeeinheit die Steuerinformation basierend auf dem aus dem Bild bestimmten Zustand der Oberfläche des verpackten Objekts und dem zweiten angepassten Modell ausgibt.
Die Informationsverarbeitungsvorrichtung nach Anspruch 14, weiter umfassend eine zweite Lerneinheit, die konfiguriert ist zum Aktualisieren von Verbindungsgewichten des zweiten angepassten Modells zum Ausgeben der Steuerinformation, unter Verwendung von Reinforcement Learning, welches eine positive Belohnung zuweist, falls das Ansaugen für das verpackte Objekt erfolgreich und die vorbestimmte Bedingung bezüglich des Prioritätselements erfüllt ist, und eine negative Belohnung zuweist, falls das Ansaugen für das verpackte Objekt gescheitert oder die vorbestimmte Bedingung bezüglich des Prioritätselements nicht erfüllt ist, und zwar in Verbindung mit dem Prioritätselement in der Aufgabe, das verpackte Objekt zu transportieren.
Eine Informationsverarbeitungsvorrichtung zum Ausgeben von Steuerinformation zum Steuern einer Ansaugeinrichtung, die konfiguriert ist, ein verpacktes Objekt durch Ansaugen anzuziehen, wobei die Informationsverarbeitungsvorrichtung umfasst: eine Eingabeeinheit, die konfiguriert ist zum Eingeben eines durch Durchführen einer Bildaufnahme einer Oberfläche des verpackten Objekts erhaltenen Bilds; und eine Ausgabeeinheit, die konfiguriert ist zum Ausgeben von Steuerinformation, um einen Zeitpunkt zu ändern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar basierend auf einer Menge an Knitterfalten auf der Oberfläche des verpackten Objekts, die basierend auf dem Bild bestimmt wird; wobei, wenn eine Menge an Knitterfalten, die in einer Oberfläche des Bilds enthalten sind, größer als ein vorbestimmter Schwellwert wird, die Ausgabeeinheit die Steuerinformation ausgibt, um den Zeitpunkt zu ändern, sodass das Ansaugen durch die Ansaugeinrichtung gestartet wird, bevor die Ansaugeinrichtung in Kontakt mit dem verpackten Objekt kommt.
Informationsverarbeitungsverfahren für eine Informationsverarbeitungsvorrichtung zum Ausgeben von Steuerinformation zum Steuern einer Ansaugeinrichtung, die konfiguriert ist zum Ansaugen eines verpackten Objekts, wobei das Informationsverarbeitungsverfahren umfasst: Eingeben (S4020) eines Bilds, das durch Durchführen einer Bildaufnahme einer Oberfläche des verpackten Objekts erhalten wird; und Ausgeben (S4040) von Steuerinformation, um einen Zeitpunkt zu steuern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar basierend auf einem aus dem Bild bestimmten Zustand der Oberfläche des verpackten Objekts; wobei der Zustand der Oberfläche des verpackten Objekts eine Menge an Knitterfalten auf der Oberfläche des verpackten Objekts enthält, und in einem Fall, in dem die Menge an Knitterfalten auf der Oberfläche des verpackten Objekts, die von einem jeweiligen Bild bestimmt wird, variiert, der Schritt des Ausgebens die Steuerinformation ausgibt, um den Zeitpunkt zu ändern, zu dem das Ansaugen durch die Ansaugeinrichtung gestartet wird, und zwar entsprechend der Menge an Knitterfalten auf der Oberfläche des verpackten Objekts.
Nichtflüchtiges computerlesbares Speichermedium, um computerausführbare Anweisungen zu speichern, die, wenn sie durch einen Computer ausgeführt werden, den Computer veranlassen, das Informationsverarbeitungsverfahren nach Anspruch 17 durchzuführen.