-
Die vorliegende Offenbarung betrifft allgemein automatisierte Materialhandhabungssysteme und automatisierte Materialhandhabungsverfahren, bei denen Objekte aus verschiedensten Gründen mit einem Manipulator (z.B. mit einem Roboterarm inkl. Endeffektor) umgesetzt werden, wobei während des Umsetzens eine Identität der Objekte verifiziert wird, indem ein jeweils an den Objekten vorgesehener (Identifizierungs-) Code gelesen wird, ohne die gegriffenen Objekte abzusetzen oder neu zu greifen. Man spricht in diesem Fall von einer 100%-Verifikation beim Umsetzvorgang.
-
Das Dokument
DE 10 2019 130 046 B4 beschreibt ein Materialhandhabungssystem, wo Objekte mittels Bilderkennung lokalisiert (Ort und Orientierung) und auch identifiziert (Typ) werden, um die Objekte dann mit einem (Roboter-)Manipulator von einem Startort einer Umsetzbewegung an einen Zielort umzusetzen, wobei die Identität der Objekte während des Umsetzens ebenfalls verifiziert wird, indem ein an dem Objekt angebrachter individualisierender Code gelesen und mit einem erwarteten Code verglichen wird.
-
Wenn nachfolgend von „Lokalisierung“ gesprochen wird, ist damit eine Erkennung, d.h. Bestimmung, eines jeweiligen Orts und einer Ausrichtung, d.h. einer Pose, des Objekts gemeint. Wenn nachfolgend von einer „Identifizierung“ gesprochen wird, ist damit eine Bestimmung einer Identität (eindeutiger Typ, Name, etc.) des Objekts gemeint, indem der Identifizierungscode (aus)gelesen wird.
-
In der DE' 046 B4 wird sowohl die Lokalisierung als auch die Identifizierung auf Basis von aktuell erzeugten Bilddaten in Kombination mit bereits abgespeicherten Stammdaten durchgeführt. Die Stammdaten umfassen Grundinformationen über objektspezifische Parameter wie z.B. Abmessungen, eine Größe, eine Form, ein Gewicht, eine Farbe, einen Namen, ein Logo, eine Identnummer des Objekts in Form eines individualisierenden Codes sowie einen (relativen) Ort und ggf. auch eine Größe (Fläche) des individualisierenden Codes. Es handelt sich um Grundinformationen, die für eine spätere Handhabung des Objekts essentiell sind.
-
Der Bilderkennungsalgorithmus der DE' 046 B4 erwartet ein spezielles Objekt im Bild, was die Objektlokalisierung vereinfacht, weil charakterisierende Parameter des Objekts somit vorab bekannt sind, nach denen anschließend im Bild gesucht werden kann (z.B. nach einer spezifischen Kantenlänge). Mittels einer entsprechenden Erkennung im Bild werden z.B. einzelne Längen, Umrisse, Konturen und dergleichen aus den Bilddaten „gemessen“, um durch einen Vergleich mit den Stammdaten auf eine Pose und eine Identität eines im Bild erkannten Objekts rückzuschließen. Das Objekt ist dann lokalisiert und identifiziert. Sobald die Identität und Pose des - im Bild unter Zuhilfenahme der Stammdaten erkannten - Objekts erkannt sind, wird aus den Stammdaten - durch Berechnung - auch auf eine Code-Pose rückgeschlossen, wobei die dazu erforderliche Information hinsichtlich des Codes bereits zuvor erfasst, d.h. physisch gemessen, und in den Stammdaten gespeichert werden musste.
-
Dies bedeutet ferner, dass die Stammdaten einen entsprechenden Detailierungsgrad aufweisen müssen. Wenn die erforderlichen Code-Informationen nicht in den Stammdaten hinterlegt sind, kann der Code bei der DE' 046 B4 nicht lokalisiert werden. Da die Stammdaten üblicherweise von den Systembetreibern (z.B. eines Logistikzentrums) durch Einlernverfahren (Teach-in) selbst erzeugt werden, ist dieser Vorgang zeit-, kosten- und aufwandsintensiv. Die Bestimmung bzw. Parametrisierung des jeweiligen Codes (im Verhältnis zum Objekt) erfordert umfangreiche Anstrengungen, insbesondere wenn der Systembetreiber über ein großes Sortiment von verschiedenen Objekten bzw. Artikeln verfügt, wie es im Logistikbereich oft der Fall ist. In der Intralogistik, und insbesondere im Versandhandel und im Pharmaziehandel, können Artikelsortimente schnell mehrere 10.000 verschiedene Artikel und mehr umfassen.
-
Des Weiteren steht die DE' 046 B4 vor dem Problem, dass Fehler bzw. Unsicherheiten, die sich aus der Objekterkennung ergeben, in die Code-Lokalisierung fortpflanzen. Dies bedeutet, dass, wenn ein Objekt unsicher erkannt wird, der Code mindestens ebenso unsicher ist. Es ist nicht sichergestellt, dass der Endeffektor den Code beim Greifen tatsächlich nicht überdeckt. Eine 100%-Verifikation beim Umsetzen ist auf diese Weise, insbesondere nicht ohne ein Umgreifen zur Freilegung des möglicherweise durch den Greifer verdeckten Codes, nicht möglich.
-
Das Dokument
WO 2018/ 178 903 A1 beschreibt ebenfalls ein Robotersystem zum automatisierten Greifen und Abgeben eines Artikels, wo mehrere Manipulatoren hintereinander angeordnet sind, um den Artikel mehrfach umzusetzen. Jedem Manipulator ist ein Visionsystem, also ein System zum maschinellen Sehen, zugeordnet. Das Visionsystem des ersten Roboters ist eingerichtet, Bilder der zu greifenden Artikel zu erzeugen, um individualisierende Artikelkennungen (z.B. Barcodes) direkt zu lesen, so dass die Artikel identifiziert werden, und um, mittels Bildverarbeitung, einen Ort und eine Ausrichtung der Artikel zu bestimmen. Auch in diesem Fall wird wieder auf zuvor erzeugte und bereits gespeicherte Stammdaten zurückgegriffen, wie oben bereits beschrieben.
-
Das Dokument
DE 10 2020 101 767 B4 betrifft ein Steuerverfahren und eine Steuerung für ein Robotersystem.
-
Das Dokument
DE 10 2019 135 452 A1 betrifft ein vollautomatisches Roboter-Kommissioniersystem und ein Kommissionierverfahren mit einer Sensoranordnung zum Vermessen eines entnommenen Artikels im Rahmen des Anhebevorgangs.
-
-
Das Dokument ein Verfahren zum Erkennen, Bestimmen und Lokalisieren von zumindest einem beliebigen Gegenstand und/oder eines Raumes.
-
Das Dokument
US 11 192 242 B2 betrifft eine Haltevorrichtung, einen Behälter mit einer Kennung, ein Gegenstandhalteprogramm und ein Gegenstandhalteverfahren.
-
Das Dokument
US 2017/0 136 632 A1 betrifft Sortiersystem und -verfahren zum Sortieren einer Vielfalt von Objekten.
-
Es ist daher eine Aufgabe, die bekannten Handhabungsverfahren und -systeme sowie Lager- und Kommissioniersysteme, die derartige Handhabungsverfahren und- systeme nutzen, zu verbessern. Insbesondere soll die Code-Lokalisierung nicht auf Basis der Stammdaten erfolgen. Die Stammdaten sollen frei von Informationen über einen Ort und eine Größe des individualisierenden Codes am Objekt sein. Außerdem soll das gegriffene Objekt nicht neu bzw. anders gegriffen werden müssen, um den Code während eines Umsetzvorgangs sicher zu lesen.
-
Diese Aufgabe wird gelöst durch ein Verfahren zur automatisierten Artikelhandhabung durch einen Manipulator, das die Schritte aufweist: Bereitstellen eines erwarteten Artikels, der mit einem maschinenlesbaren individualisierenden Code versehen ist, an einen (vorab unbekannten) Aufnahmeort; Erzeugen, mittels eines ersten Visionsystems, dessen Auflösung zum Lesen des Codes (am aktuellen Ort des Artikels) nicht ausreicht, von Bilddaten des bereitgestellten Artikels; Lokalisieren des bereitgestellten Artikels mittels Bilderkennung basierend auf den Bilddaten, vorzugsweise in Kombination mit Stammdaten des Artikels; Bestimmen einer Greiffläche basierend auf den Bilddaten; Lokalisieren von einem oder mehreren Codebereichen mittels Bilderkennung basierend ausschließlich auf den Bilddaten; Sicherstellen, dass die Greiffläche keinen der zuvor bestimmten Codebereiche überlappt; Aufnehmen des Artikels durch automatisiertes Greifen an der Greiffläche mittels eines Endeffektors des Manipulators am Aufnahmeort; Bewegen des gegriffenen Artikels an einen vorab festgelegten Abgabeort; und Verifizieren, dass der gegriffene (und bewegte) Artikel der erwartete Artikel ist, durch Lesen des Codes mittels eines zweiten separaten Visionsystems.
-
Um auszuschließen, dass der Manipulator bzw. Roboter den Artikel genau an der Stelle greift, wo der individualisierende Code vorgesehen ist, wodurch der Code verdeckt würde, wird bei der Lokalisierung des Codes ausschließlich auf die Bilddaten zurückgegriffen. Dies bedeutet, dass für die Code-Lokalisierung ein Rückgriff auf die Stammdaten nicht erforderlich ist, weil die individualisierenden Codes direkt in den gleichen Bilddaten mittels Bilderkennung erkannt werden.
-
Deshalb kann auf die Bereitstellung entsprechender Stammdaten, insbesondere im Hinblick auf den individualisierenden Code (z.B. dessen Größe, Ausgestaltung und Relativposition am Artikel), verzichtet werden. Die Artikelstammdaten sind weniger umfangreich, weil Informationen zu den Codes fehlen, die zur Lokalisierung des Codes benötigt werden, sobald der Artikel als solcher erkannt ist.
-
In der Praxis bedeutet dies, dass die (Relativ-) Position des Codes am Artikel nicht in den Stammdaten des Artikels gespeichert - und somit nicht vorab erzeugt - werden muss. Die Position des Codes wird üblicherweise gemessen, wenn der zugehörige Artikel zum ersten Mal auftaucht. Zu diesem Zweck werden üblicherweise sogenannte Einlernverfahren (Teach-in) verwendet, bei denen der Artikel von allen Seiten fotografiert und hinsichtlich seiner individualisierenden Eigenschaften (Länge, Breite, Höhe, Gewicht, Farbe, Farbverteilung, Logoausgestaltung und -position, etc.) vermessen wird. Die Position des Codes muss daher bei einem Einlernverfahren nicht gemessen werden. Dies verkürzt die Zeitdauer, wenn ein Artikel neu in ein Artikelsortiment eines Anlagenbetreibers aufgenommen wird.
-
Ein weiterer Vorteil ist darin zu sehen, dass es viele Artikelformen gibt, die eine eindeutige Erkennung der Pose des Artikels gar nicht zulässt. Insbesondere die Erkennung der Ausrichtung des Artikels ist in diesen Fällen schwierig. Zum Beispiel ist die Ausrichtung eines würfelförmigen oder zylindrischen Körpers schwierig aus Bilddaten zu bestimmen, weil der Erkennungsalgorithmus nicht ohne Weiteres in der Lage ist, die im Bild sichtbaren Seiten des Artikels im Bild zu identifizieren. Bei einem Würfel sind alle sechs Seiten gleich groß und es gibt keine Vorzugsrichtung. Bei einem Zylinder gibt es zwar eine Vorzugsrichtung (parallel zur Zylinderachse), aber keine Vorderseite, Rückseite oder seitliche Seiten. Um die Ausrichtung derartig geformter Artikel sicher zu bestimmen, sind weitere Grundinformationen erforderlich, die gelernt oder gemessen werden müssen, wie z.B. eine Farb-, Bild- und/oder Schriftverteilung auf der Oberfläche des Artikels.
-
Die vorliegende Entwicklung kommt ohne die Code-Stammdaten aus, weil potentielle Codebereiche erkannt werden. Erkennung bedeutet in diesem Zusammenhang nicht ein Lesen des Codes. Das Einlernen entfällt.
-
Das vorliegende Verfahren eignet sich auch zur Handhabung von Artikeln, die noch schwerer zu erkennen sind. Exemplarisch sind in diesem Fall in Klarsichtfolie eingeschweißte Kleidungsstücke zu nennen. Die Kleidungsstücke weisen wegen des flexiblen Stoffs keine feste Form auf, so dass klare Kanten und ebene Flächen häufig nicht vorhanden sind. Die durchsichtige Klarsichtfolie erschwert zusätzlich eine Abgrenzung gleicher Artikel zueinander, insbesondere wenn mehrere Artikel gleichzeitig bereitgestellt werden, die insbesondere durchmischt vorliegen, weil es keine klar erkennbaren Verpackungskanten gibt. Besonders in diesen Fällen vermeidet das Verfahren der vorliegenden Offenbarung den Fehler aus dem Stand der Technik, nämlich, dass der Greifer die Etiketten als Angriffsposition auswählt, wo üblicherweise auch die Codes platziert sind. Die Etiketten sind wegen des klaren Kontrasts und ihrer ebenen Fläche leicht in den Bilddaten zu erkennen.
-
Die vorliegende Entwicklung erkennt den Barcode, d.h. sieht den Barcode im Bild, und verhindert so, dass der Greifer an dieser Stelle zupackt.
-
Vorzugsweise umfasst der Schritt des Lokalisierens des bereitgestellten Artikels ein Erkennen des bereitgestellten Artikels in den Bilddaten und ein Bestimmen einer Position und einer Ausrichtung des erkannten Artikels.
-
Bei der Artikellokalisierung werden die Artikel also erst einmal erkannt, ohne dass sie identifiziert werden müssen, was den Rechenaufwand minimiert, insbesondere weil zu diesem Zwecke zwar auf die Artikel-Stammdaten zurückgegriffen werden kann, aber nicht muss. Danach kann unabhängig vom tatsächlich bereitgestellten Artikeltyp, eine Greifpose (Position und Ausrichtung) bestimmt werden. Auch zu diesem Zweck muss man nicht auf die Stammdaten zurückgreifen. Der Algorithmus sucht sich selbst eine geeignete Greifpose und zwar allein auf Basis der Situation, die sich ihm im Bild darstellt.
-
Insbesondere umfasst der Schritt des Erkennens des bereitgestellten Artikels ein Suchen nach einem (geometrischen und/oder farblichen) Muster in den Bilddaten durch Vergleichen mit mindestens einem der folgenden Artikelparameter aus den Stammdaten: Länge, Breite, Höhe und/oder Artikelumriss aus mindestens einer Perspektive.
-
Natürlich kann ein Rückgriff auf die Stammdaten beim Auffinden der Artikel im Bild hilfreich sein, weil der Algorithmus so vorab weiß, wonach er im Bild suchen muss. Auch die Identifikation des Artikels kann hilfreich sein, z.B. weil bestimmte Artikel nicht am Boden oder Deckel gegriffen werden sollen, was ebenfalls in den Stammdaten hinterlegt werden kann.
-
Weiter ist es bevorzugt, wenn der Schritt des Bestimmens der Greiffläche umfasst: Bestimmen einer entsprechenden Greifpose.
-
Die Greiffläche zeichnet sich nicht nur durch ihre Größe und Position, sondern auch durch ihre Ausrichtung aus, die der Algorithmus vorzugsweise allein auf Basis der Bilddaten bestimmt.
-
Generell werden dabei die gleichen Bilddaten verwendet wie bei der Artikelerkennung. Es ist also nicht erforderlich mehrere Bilder vom Artikel zu erzeugen. Die Auflösung, die für die Artikelerkennung ausreicht, reicht auch zur Code-Erkennung (Lokalisierung) aus. Es muss kein weiteres Visionsystem vorgesehen werden. Der Aufwand und die Kosten sind minimal.
-
Auch ist es bevorzugt, wenn der Schritt des Lokalisierens des oder der Codebereiche umfasst: Bestimmen einer Position und einer Ausrichtung von jedem der erkannten Codebereiche.
-
Der Codebereich zeichnet sich nicht nur durch seine Größe und Position, sondern auch durch seine Ausrichtung aus, die der Algorithmus allein auf Basis der Bilddaten bestimmt.
-
Ferner wird die oben definierte Aufgabe durch ein System zur automatisierten Artikelhandhabung gelöst, das aufweist: einen automatisierten Manipulator mit einer Steuerung zum Umsetzen eines bereitgestellten Artikels von einem Aufnahmeort an einen Abgabeort; ein erstes Visionsystem, dessen Auflösung zum Lesen eines an den bereitgestellten Artikel angebrachten Codes nicht ausreicht, zum Erzeugen von Bilddaten des bereitgestellten Artikels; eine Bilderkennungseinrichtung zum Lokalisieren des bereitgestellten Artikels basierend auf den Bilddaten, vorzugsweise in Kombination mit Stammdaten des Artikels, die zuvor erzeugt wurden und die in einer Datenbank gespeichert sind, eine Codeerkennungseinrichtung zum Lokalisieren von einem oder mehreren Codebereichen mittels Bilderkennung basierend ausschließlich auf den Bilddaten; und ein zweites, separates Visionsystem mit einer höheren Auflösung zum Lesen des Codes, um zu verifizieren, dass der gegriffene Artikel der erwartete Artikel ist; wobei die Steuerung eingerichtet ist, eine Greiffläche basierend auf den Bilddaten zu bestimmen, und ferner eingerichtet ist sicherzustellen, dass die Greiffläche keinen der zuvor bestimmten Codebereiche überlappt.
-
Mit diesem System ergeben sich die gleichen Vorteile wie mit dem oben beschriebenen Verfahren.
-
Des Weiteren wird die Aufgabe durch ein Lager- und Kommissioniersystem gelöst, das ein erfindungsgemäßes Verfahren zur automatisierten Artikelhandhabung bzw. ein erfindungsgemäßes System zur automatisierten Artikelhandhabung einsetzt.
-
Ausführungsbeispiele der Offenbarung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 ein Blockdiagramm eines Lager- und Kommissioniersystems;
- 2 ein Blockdiagramm eines Artikelhandhabungssystems;
- 3 einen Mustererkennungsprozess im Rahmen einer Objekterkennung;
- 4 ein Bild eines zylindrischen Artikels mit Barcode;
- 5 ein Flussdiagramm eines Verfahren zur automatisierten Artikelhandhabung; und
- 6 eine Detailansicht von Schritten des Flussdiagramms der 5.
-
Das hier vorgeschlagene Verfahren und System zur automatisierten Artikelhandhabung kommt insbesondere in interlogistischen Lager- und Kommissioniersystemen zum Einsatz, die z.B. in den Bereichen E-Commerce, E-Grocery, Micro-Fulfillment-Zentren oder Ähnlichem benutzt werden, insbesondere im Pharmahandel.
-
Allgemein umfasst der Begriff „Intralogistik“ logistische Material- und Warenflüsse, die sich innerhalb eines Betriebsgeländes, insbesondere innerhalb eines Betriebsgebäudes, ereignen. Der Begriff der Intralogistik wurde definiert, um eine Abgrenzung zum Warentransport außerhalb des Betriebsgeländes zu schaffen, der zum Beispiel durch eine Spedition zwischen zwei Betriebsstätten erfolgt. Der Begriff der Intralogistik ist als die Organisation, Steuerung, Durchführung und Optimierung des innerbetrieblichen Warenflusses (zum Beispiel von Produkten in der Distribution und/oder im Versand) und des Materialflusses (zum Beispiel von Vor-, Zwischen- und Endprodukten in der Produktion), der Informationsströme sowie des Waren- und Materialumschlags in der Industrie und im Handel definiert. Nachfolgend wird vereinfacht nur noch vom Materialfluss gesprochen, auch wenn im Wesentlichen (Einzel-)Artikel transportiert werden.
-
1 zeigt ein Blockdiagramm eines exemplarischen Lager- und Kommissioniersystems 10. Das Lager- und Kommissioniersystem 10 weist ein Lager 12, mindestens eine Kommissionierstation 14 und ein Fördertechniksystem 16 auf. Das Fördertechniksystem 16 verbindet das Lager 12 mit der Kommissionierstation 14 hinsichtlich des Materialflusses. Das Fördertechniksystem 16 kann ferner einen Wareneingang 18 und/oder einen Warenausgang 20 des Systems 10 miteinander und mit dem Lager 12 und der Kommissionierstation 14 hinsichtlich des Materialflusses verbinden. Das Fördertechniksystem 16 kann Stetigförderer (z.B. Rollenförderer, Bandförderer, Kettenförderer, Hängeförderer, etc.) und/oder Unstetigförderer (zum Beispiel fahrerlose Transportfahrzeuge, Regalbediengeräte, Lifte, etc.) umfassen.
-
Des Weiteren weist das Lager- und Kommissioniersystem 10 eine (übergeordnete und vorzugsweise zentrale) Steuerung 22 auf, die generell eine Datenverarbeitungseinrichtung und insbesondere einen Materialflussrechner 24, einen Lagerverwaltungsrechner 26 und/oder einen Auftragsabwicklungsrechner 28 umfassen kann. Der Materialfluss, die Lagerverwaltung (Lagerplatzverwaltung, Inventurdaten, etc.) und/oder die Auftragsabwicklung (z.B. Zuordnung und Verteilung von Aufgaben zur Erledigung eines Kommissionierauftrags) können auch dezentral in einem verteilten Datenverarbeitungssystem durchgeführt werden.
-
2 zeigt ein Blockdiagramm eines Artikelhandhabungssystems 30, das z.B. im System 10 eingesetzt werden kann. Das System 30 könnte zum Zwecke einer Kommissionierung einen Artikel 32 automatisiert aus z.B. einem Lagerbehälter (nicht gezeigt) in einen Auftragsbehälter umsetzen. Das System 30 könnte zum Zwecke einer Einlagerung, z.B. im Wareneingang 18, einen oder mehrere Artikel 32 automatisiert von z.B. einer Wareneingangspalette (nicht gezeigt) auf z.B. ein Lagertablar (nicht gezeigt) umsetzen. Das System 30 könnte zum Zwecke eines Versands, z.B. im Warenausgang 20, einen oder mehrere Artikel 32 automatisiert von einem Förderer 34 in einen Versandkarton (nicht gezeigt) umsetzen.
-
Das Artikelhandhabungssystem 30 umfasst generell einen (Roboter-)Manipulator 36 mit einem Endeffektor (z.B. Sauggreifer) 38 zum automatisierten Umsetzen der Artikel 32 von einem Aufnahmeort 40 (z.B. aus einem Lagerbehälter) an einen Abgabeort 42 (z.B. in einem Auftragsbehälter). Eine entsprechender (Umsetz-) Weg 44 ist in 2 mit einem Pfeil veranschaulicht.
-
Ferner umfasst das System 30 ein erstes Visionsystem 46 mit einem geringen Auflösungsvermögen, so dass maschinenlesbare individualisierende Codes 48, die an den Artikeln 32 angebracht sind, nicht lesbar sind. Das erste Visionsystem 46 kann die Codes 48 also nicht lesen und kann die Artikel 32 deshalb auch nicht (automatisiert) identifizieren. Die Identifizierung kann mit einem zweiten Visionsystem 50 durchgeführt werden, das separat stromabwärts zum ersten Visionsystem 46 vorgesehen ist, wie es nachfolgend noch näher erläutert werden wird, und das eine höhere Auflösung als das erste Visionsystem 46 aufweist.
-
Das zweite Visionsystem 46 kann durch eine, insbesondere hochauflösenden, Scan-Einheit implementiert sein, die vorzugsweise ausschließlich zum Lesen des Codes 48 eingerichtet ist. Die Scan-Einheit umfasst mindestens einen Scanner. Wenn mehrere Scanner umfasst sind, sind diese vorzugsweise entlang von zueinander senkrechten Einheitsvektoren (xyz), mitunter gegenüberliegend, angeordnet, um den Artikel 32 möglichst aus jeder Richtung gleichzeitig erfassen zu können.
-
Jedes der Visionsysteme 46 und 50 umfasst mindestens einen bildgebenden, insbesondere einen optischen, Sensor 52, wie z.B. eine Kamera oder einen CCD-Sensor, um ein Bild des Artikels 32 zu erzeugen, der zuvor z.B. gemäß einem Kommissionierauftrag oder gemäß einem anderen Auftrag z.B. mit einem Förderer 34 an den Aufnahmeort 40 transportiert wurde.
-
Jedes der Visionsysteme 46 und 50 ist zum Maschinensehen eingerichtet. Das „Maschinensehen“ (Machine Vision) imitiert das menschliche Sehen für Maschinen und stammt aus der Informatik und den Ingenieurwissenschaften, wobei das Visionsystem, das eine Bilderkennungssoftware, einen Computer und mindestens eine Kamera umfassen kann, aufgenommene Bilder bzw. Bilddaten auf unterschiedlichste Art und Weise verarbeiten und analysieren kann, um deren Inhalt zu interpretieren und insbesondere geometrische Informationen zu extrahieren.
-
Jedes der Visionsysteme 46 und 50 ist ferner eingerichtet, die erzeugten Bilder in Bilddaten 54 zu wandeln, die an eine Bilderkennungseinrichtung 56 gesendet werden. Die Bilderkennungseinrichtung 56 kann in die Visionsysteme 46 und/oder 50 integriert sein.
-
Es versteht sich, dass das zweite Visionsystem (50) lediglich zum Lesen des Code 48 eingerichtet sein muss. Dies bedeutet, dass das zweite Visionsystem 50 vorzugsweise allein durch den Sensor 52, d.h. ohne Bilderkennungsalgorithmus und Daten- bzw. Bildverarbeitungseinrichtung, implementiert ist.
-
Die Bilderkennungseinrichtung 56 ist Teil des Systems 30 und verfügt über eine Datenverarbeitungseinrichtung (z.B. ein Prozessor, nicht gezeigt) und einen Datenspeicher (nicht gezeigt), wo eine Software bzw. ein Algorithmus zur Bilderkennung (nicht gezeigt) gespeichert ist, der vom Prozessor ausgeführt wird. In einer ersten (Erkennungs-) Stufe werden Objekte generell erkannt, d.h. es wird zwischen „Objekt vorhanden“ und „kein Objekt vorhanden“ unterschieden, um in einer zweiten Stufe eine Pose zu erkennen, d.h. eine Position und eine Lage zu bestimmen.
-
Die „Pose“ ist nach der DIN EN ISO 8373 (Industrieroboter Wörterbuch) die Kombination aus einer Position und Orientierung eines Objekts im dreidimensionalen Raum. Die Position einer punktförmigen Masse in Relation zu einem kartesischen Koordinatensystem definiert sich demnach durch die Abstände entlang den Koordinatenrichtungen x, y, z. Spannt man an diesem Massepunkt ein zweites kartesisches Koordinatensystem auf, so definiert sich die Orientierung dieses Koordinatenkreuzes durch den Winkelversatz seiner Koordinatenachsen in Bezug zu den entsprechenden Achsen des Basiskoordinatensystems. Es sind somit zusätzlich drei Winkel notwendig, um die Lage des neuen Koordinatensystems bezogen auf das Basiskoordinatensystem zu beschreiben.
-
Die „Bilderkennung“ - also eine Erkennung basierend auf einem Bild - ist ein Teilgebiet der „Mustererkennung“ und der Bildverarbeitung. Die Bildverarbeitung umfasst insbesondere Funktionen wie eine Beleuchtungskorrektur, einen Farbausgleich, eine Unterdrückung von Bildrauschen, eine Verbesserung der Schärfe und Ähnliches. Die Mustererkennung ist wiederum ein Teilgebiet der „Objekterkennung“.
-
In der Bilderkennung werden Objekte, wie z.B. die Artikel 32, in den Bilddaten 54 computerimplementiert segmentiert. Bei der Segmentierung werden zusammenhängende Bildbereiche erkannt. Den Segmenten wird eine symbolische Beschreibung zugewiesen. Es wird aber nicht nach Zusammenhängen zwischen den Objekten gesucht, wie es in der Musteranalyse üblich ist. Die Bilderkennung im Kontext der Bildverarbeitung ist die Fähigkeit von Software, Objekte in Bildern zu erkennen. Die Software zur Bilderkennung kann auf einem tiefgreifenden maschinellen Lernen basieren. Die Erkennung ist bei Faltungsprozessoren für künstliche neuronale Netze am besten, weil die spezifische Aufgabe (Erkenne den erwarteten Artikel) aufgrund ihrer rechenintensiven Natur ansonsten enorme Hardwareressourcen erfordert. Der Bilderkennungsalgorithmus arbeitet z.B. mit vergleichenden 3D-Modellen oder Kantenerkennung. Der Algorithmus kann mit vorab markierten Bildern mittels maschinellem Lernen trainiert worden sein.
-
Der Begriff „Objekterkennung“ definiert ein computerimplementiertes Verfahren zum Erkennen von (z.B. aus Stammdaten vorbekannten) Objekten innerhalb eines Objektraums mittels optischer, akustischer oder anderer physikalischer Erkennungsverfahren. So wird z.B. das Vorhandensein des Objekts, wie z.B. des Artikels 32, den Bilddaten 54 oder in einem Videostream erkannt und dessen Position und Lage (Pose) bestimmt. In der abstrakten Bildverarbeitung dienen Objekterkennungsmethoden dazu, bestimmte Objekte bzw. Muster von anderen Objekten zu unterscheiden. Zu diesem Zweck wird das betroffene Objekt zunächst mathematisch beschrieben. Je genauer die Beschreibung des Objektes möglich ist und je mehr auswertbare Informationen (Stammdaten) vorhanden sind, umso zuverlässiger arbeitet die Objekterkennung.
-
Unter dem Begriff „Mustererkennung“ versteht man die Fähigkeit, in der Menge von Bilddaten 54 computerimplementiert Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen. Ein Mustererkennungsprozess im Rahmen einer Objekterkennung lässt sich in mehrere Teilschritte zerlegen, siehe 3, bei denen am Anfang die (Bild-)Erfassung und am Ende eine ermittelte Klasseneinteilung bzw. Klassifizierung steht. Bei der Erfassung werden die Bilddaten 54 mittels der Sensoren 52 des Visionsystems 46 aufgenommen und vom Visionsystem 46 digitalisiert.
-
Aus den Bilddaten 54 werden von der Bilderkennungseinrichtung 56 die Muster gewonnen, die sich z.B. mathematisch in Vektoren, sogenannten Merkmalsvektoren, und Matrizen darstellen lassen. Zur Datenreduktion und zur Verbesserung der Qualität findet in der Regel eine Vorverarbeitung statt. Durch eine Extraktion von Merkmalen können die Muster bei einer Merkmalsgewinnung anschließend in einen Merkmalsraum transformiert werden. Die Dimension des Merkmalsraums, in dem die Muster nun als Punkte repräsentiert sind, kann bei einer Merkmalsreduktion auf die wesentlichen Merkmale beschränkt werden. Ein abschließender Schritt kann die Klassifikation durch einen Klassifikator sein, der die Merkmale verschiedenen Klassen zuordnet.
-
Die Bilderkennungseinrichtung 56 führt also eine Objekt- bzw. Artikelerkennung basierend auf den Bilddaten 54 durch. Der Artikel 32 ist im Bild erkannt, sobald der Artikel 32 lokalisiert ist, d.h. wenn seine Position und seine Ausrichtung basierend auf den Bilddaten 54 ausreichend genau bestimmt ist, um dem Manipulator 36 entsprechende Koordinaten (des Aufnahmeort 40) - über eine entsprechend eingerichtete (Manipulator-)Steuerung 58, vgl. 2 - zum Greifen des (erkannten) Artikels 32 zu liefern. Wenn der Artikel 32 lokalisiert ist, wozu der Artikel 32 aber nicht identifiziert wird, kann eine Greiffläche 60, die einen Teilbereich der (erkannten) Oberfläche 62 des Artikels 32 ist, vgl. 4, am Artikel 32 bestimmt werden, wo der Endeffektor 38 den Artikel 32 später (er)greift, weil die Pose der Greiffläche 60 erkannt wurde.
-
4 veranschaulicht schematisch ein Bild, das mit dem ersten Visionsystem 46 (aus einem ganz bestimmten Blickwinkel mit einer entsprechenden Blickrichtung) von einem, exemplarisch zylindrischen, Artikel 32, wie z.B. eine Vorratsdose für mehrere Arzneimittelpillen, aufgenommen wurde. Die Arzneimitteldose weist einen zylindrischen Grundkörper mit einem Deckel auf und ist mit einem Barcode 48 bedruckt. Die Dose weist eine Symmetrieachse 64 auf, die zur Bestimmung der Ausrichtung des Artikels 32 benutzt werden kann. Die Form (Zylinder) und die Symmetrieachse 64 können in den Stammdaten des Artikels 32 hinterlegt sein, die in einer (Stamm-) Datenbank 59 speicherbar sind, die mit der Bilderkennungsreinrichtung 56 zum Datenaustausch verbunden ist.
-
Die Bilderkennungseinrichtung 56 erkennt den Artikel 32 im Bild der 4, geometrisch, z.B. basierend auf einer Umrisslinie 66, und/oder farblich, z.B. basierend auf einer Verpackungsfarbe, eines Herstellerlogos, etc., und bestimmt eine Position und eine Ausrichtung des erkannten Artikels 32 im Bild und sendet entsprechende Daten an die Steuerung 58 des Manipulators 36. Die Steuerung 58 bestimmt basierend auf diesen Daten eine Greiffläche 60. Die Greiffläche 60 entspricht vorzugsweise einer (Greifkontakt-) Fläche des Greifers 38, wenn der Greifer 38 den Artikel 32 zum Umsetzen gegriffen hat.
-
Der Artikel-Bilderkennungsalgorithmus, der durch die Bilderkennungseinrichtung 56 ausgeführt wird, greift üblicherweise auf die (Artikel-) Stammdaten zu, was die Erkennung des Artikels 32 als solche und dessen Pose erleichtert. Die Artikel-Bilderkennung erwartet einen bestimmten Artikel 32, z.B. weil der Förderer 34 diesen Artikel 32 an den Aufnahmeort 40 transportiert hat. Diese Information kann z.B. der (hier nicht dargestellte) MFR 24 (vgl. 1) liefern. Aus den Stammdaten des angelieferten Artikels 32, der somit am Aufnahmeort 40 erwartet wird, können z.B. eine Länge, Höhe und Breite abgeleitet werden, vorausgesetzt der Artikel 32 hat die Form eines Parallelepipeds. Die Länge, Breite und Höhe kann der Bilderkennungsalgorithmus verwenden, um den Artikel 32 überhaupt im Bild zu erkennen und anschließend seine Position und Ausrichtung zu berechnen.
-
Die Greiffläche 60 wiederum ist ein Teilbereich der Oberfläche des erkannten Artikels 32. Dies bedeutet, dass, bevor die Greiffläche 60 bestimmt wird, zumindest ein Teil der Oberfläche des Artikels 32 in den Bilddaten 54 erkannt wurde, insbesondere unter zusätzlicher Berücksichtigung der Stammdaten des erwarteten Artikels 32. Die Erkennung der Oberfläche, der Position und der Ausrichtung des Artikels 32 ist bei regelmäßig geformten Körpern einfacher als bei unförmigen Körpern. In der Modeindustrie werden die Artikel 32 durch Kleidungsstücke repräsentiert, die oft in durchsichtigen Klarsichthüllen eingeschweißt sind. Diese Hüllen weisen keine feste geometrische Form auf und passen sich flexibel an die flexiblen, verformbaren Kleidungsstücke an. Die Komplexität steigert sich, wenn mehrere eingeschweißte Kleidungsstücke gleichzeitig in einem Behälter bereitgestellt und in die Bilddaten 54 umgewandelt werden. In diesen Fällen ist es möglich, dass nur Teile der Artikel 32 erkannt werden. Insbesondere werden oft nur Etiketten der Kleidungsstücke erkannt, weil die entsprechenden Papierschilder einen guten Kontrast ergeben und eine ebene Fläche darstellen, die sich besonders gut zum Greifen des (auf diese Weise erkannten) Artikels 32 eignen. Da die individualisierenden Codes 48 aber auf den Etiketten vorhanden sind, besteht eine besonders hohe Gefahr, dass die Steuerung genau diese in den Bilddaten 54 erkannten Bereiche als Greiffläche 60 bestimmt. In diesen Fällen ist die Gefahr besonders groß, dass der Greifer 38 die Artikel 32 im Bereich der Codes 48 greift und somit den Code 48 für ein späteres Lesen durch das zweite Visionsystem 50 verdeckt, so dass der Code 48 nicht lesbar und der Artikel 32 somit für die 100%-Verifikation nicht identifizierbar ist.
-
Um zu verhindern, dass der Greifer 38 des Manipulators 36 den Artikel 32 am Ort des Codes 48 greift, wird zeitlich vor dem Greifvorgang, z.B. durch die Steuerung 58, überprüft, ob sich die zuvor bestimmte Greiffläche 60 mit einem Code 48 überlappt oder nicht. Zu diesem Zweck werden die Bilddaten 54, die bereits zur Artikelerkennung, also zur Erkennung des Vorhandenseins eines Artikels 32 und zur Bestimmung der Pose des erkannten Artikels 32 benutzt wurden, weiter ausgewertet, indem in den Bilddaten 54 mittels Bilderkennung potenzielle Codebereiche 68 erkannt werden.
-
Eine entsprechende Codeerkennung erfolgt durch eine Codeerkennungseinrichtung 70 ohne Rückgriff auf entsprechende (Code-) Stammdaten, die grundsätzlich in der (Stamm-) Datenbank 59 speicherbar sind. Die Codeerkennungseinrichtung 70 ist eingerichtet, die Codebereiche 68 (d.h. Flächen, die den Code 48 im Bild repräsentieren) zu erkennen. Diese Fähigkeit kann einem entsprechenden Codeerkennungsalgorithmus, der von der Codeerkennungseinrichtung 70 ausgeführt wird, z.B. mittels maschinellem Lernen zuvor antrainiert worden sein. Die Codeerkennung, die nicht mit dem tatsächlichen Lesen des Codes 48 zu verwechseln ist, erkennt Bereiche im Bild, wo ein Code 48 vorhanden sein könnte. In 4 beinhaltet der erkannte Codebereich 68 den Code 48.
-
Die Codeerkennungseinrichtung 70 kann separat zur Bilderkennungseinrichtung 56, vorgesehen sein, vgl. 2, oder in die Bilderkennungseinrichtung 56 integriert sein (nicht dargestellt).
-
Um die 100%-Verifikation durchzuführen, muss der vom Manipulator 36 gegriffene Artikel 32 auf seinem Weg 44 vom Aufnahmeort 40 zum Abgabeort 42 durch ein Lesen des individualisierenden Codes 48 durch das zweite Visionsystem 50 identifiziert werden. Das zweite Visionsystem 50 kann z.B. durch einen oder mehrere (einfache) Scanner implementiert sein, wie z.B. durch einen Scanner des Typs „Dataman“ von der Firma COGNEX.
-
Das zweite Visionsystem 50 umfasst exemplarisch fünf dieser Scanner, die angeordnet sind, Barcodes innerhalb eines Raums von z.B. 220x220x220mm3 GS1-Spezifikationskonform zu lesen. Dieser Raum wird beim Umsetzen des Artikels 32 vom Weg 44 gekreuzt. Zum Lesen des Codes 48 kann die Umsetzbewegung für eine kurze Zeitdauer angehalten werden. Vorzugsweise erfolgt das Lesen aber, während die Umsetzbewegung kontinuierlich durchgeführt wird. Die Umsetzbewegung erfolgt also ohne ein Absetzen des Artikels und ohne ein Umgreifen durch den Endeffektor 38.
-
Der Code 48 kann als (eindimensionaler) Strichcode, Balkencode, Streifencode oder „Barcode“ implementiert sein. Der Code 48 stellt eine optoelektronisch lesbare, individualisierende Information dar, die z.B. aus verschieden breiten, parallelen Strichen und Lücken besteht. Der Begriff Code 48 steht allgemein für eine Abbildung von Daten durch binäre Symbole. Die Daten in dem Strichcode werden maschinell (ein-)gelesen und elektronisch weiterverarbeitet, insbesondere zur eindeutigen Identifizierung der Artikel 32. Zweidimensionale Codes 48 kodieren die identifizierende Informationen meistens in der Fläche, wobei die Information dann nicht in Form von Strichen, sondern in Form von (weißen und schwarzen) Punkten enthalten ist. Es können gestapelte Barcodes, Matrix-Codes (z.B. QR-Code), Punktcodes oder Ähnliches eingesetzt werden, die hier aber nicht veranschaulicht sind.
-
5 zeigt ein Flussdiagramm 100 zur automatisierten Handhabung der Artikel 32 durch einen Manipulator 36.
-
In einem ersten Schritt S10 wird ein Artikel 32 bereitgestellt, der gemäß einem Auftrag erwartet wird. Hierbei kann es sich um einen Kommissionierauftrag, Transportauftrag, Einlagerungsauftrag, Auslagerungsauftrag, Versandauftrag o.Ä. handeln, der ein Umsetzen des Artikels 32 von einem Aufnahmeort 40 an einen Abgabeort 42 erfordert. Der Artikel 32 ist mit einem maschinenlesbaren individualisierenden Code 48 versehen. Der Artikel 32 wird an dem Aufnahmeort 40 bereitgestellt, z.B. mit einem Förderer 34 in einem Lagerbehälter.
-
In einem nächsten Schritt S12 werden die Bilddaten 54 des bereitgestellten Artikels 32 durch ein erstes Visionsystem 46 der oben beschriebenen Art erzeugt. Die Auflösung des ersten Visionsystems 46 reicht nicht zum Lesen, d.h. Identifizieren, des Codes 48 aus. Es werden lediglich Bilddaten 46 erzeugt.
-
In einem weiteren Schritt S14 wird der bereitgestellte Artikel 32 mittels Bilderkennung basierend auf den Bilddaten 54 lokalisiert, wie oben bereits erläutert. Die Lokalisierung erfolgt vorzugsweise in Kombination mit den Stammdaten zu dem erwarteten Artikel 32, wie ebenfalls bereits oben erläutert.
-
In einem weiteren Schritt (nicht veranschaulicht) oder im gleichen Schritt S14 kann eine Greiffläche 60, wo der bereitgestellte Artikel 32 durch den Manipulator 36 gegriffen wird, basierend auf den Bilddaten 54 bestimmt werden, nachdem der Artikel 32 lokalisiert ist.
-
Danach werden ein oder mehrere Codebereiche 68 durch Bilderkennung basierend allein auf den Bilddaten 54 lokalisiert, sofern sie vorhanden sind (Schritt S16). Wenn ein oder mehrere Codebereiche 68 vorhanden sind, werden dieser mittels Bilderkennung basierend ausschließlich auf den Bilddaten 54 erkannt und lokalisiert. Natürlich kann es vorkommen, dass der Artikel 32 während der Erzeugung der Bilddaten 54 so orientiert ist, dass der Code 48 nicht sichtbar ist. In diesem Fall enthalten die Bilddaten 54 keine Codebereiche 68, so dass auch keine Gefahr besteht, dass der Endeffektor 38 des Manipulators 36 den Artikel 32 an der Stelle eines Codes 48 greift, sofern die Art des Greifers nicht bedingt, dass auch nichtsichtbare Flächen, bzw. nicht in den Bilddaten 54 enthaltene Flächen des Artikels 32 durch den Greifer 38 bedeckt werden können. Dies wäre z.B. bei einem Zangengreifer der Fall.
-
Wenn jedoch ein oder mehrere Codebereiche 68 in den Bilddaten 54 im Schritt S16 lokalisiert wurden, wird in einem Schritt S18 sichergestellt, dass sich die Greiffläche 60 aus dem Schritt S14 sich mit keinem der zuvor bestimmten Codebereiche 68 überlappt.
-
Danach wird der Artikel 32 durch den Endeffektor 38 des Manipulators 36 in einen Schritt S20 aufgenommen, indem der Endeffektor 38 an die so bestimmte Greiffläche 60 des Schritts S14 greift. Im Schritt S20 wird der so gegriffene Artikel 32 an den vorab festgelegten Abgabeort 42 bewegt.
-
In einem weiteren Schritt S22 wird verifiziert, dass der gegriffene Artikel 32 der erwartete Artikel 32 ist, indem der Code 48 mittels eines zweiten separaten Visionsystems 50 gelesen wird. Der Schritt S22 kann durchgeführt werden, während der Artikel 32 im Schritt S20 umgesetzt wird.
-
Danach endet das Verfahren 100 der 5.
-
In der 6 sind die Schritte S16 und S18 der 5 etwas detaillierter gezeigt.
-
Nachdem im Schritt S14 der Artikel 32 lokalisiert wurde und eine Greiffläche 60 bestimmt wurde, werden im Schritt S16 in den Bilddaten 54 enthaltene Codes 48 erkannt, aber nicht gelesen.
-
In einem ersten Teilschritt S18-1 des Schritts S18 wird überprüft, ob potentielle Codebereiche 68 in den Bilddaten 54 vorhanden sind. Wenn gar kein Code 48 sichtbar ist, kann direkt zum Schritt S20 fortgefahren werden. Wenn jedoch Codebereiche 68 erkannt wurden, wird in einem zweiten Teilschritt S18-2 überprüft, ob sich die erkannten Codebereiche 68 mit der zuvor bestimmten Greiffläche 60 überlappen. Wenn keine Überlappung vorhanden ist, wird wiederum zum Schritt S20 der 5 fortgefahren. Anderenfalls wird in einem dritten Teilschritt S18-3 eine neue Greiffläche 60 bestimmt und zum zweiten Teilschritt S18-2 zurückgekehrt.
-
Auf diese Weise ist sichergestellt, dass der Manipulator 36, wenn er den Artikel 32 ergreift, den Code 48 auf keinen Fall verdeckt. Damit ist wiederum sichergestellt, dass die 100 %-Verifikation sicher durchgeführt werden kann.
-
Ferner versteht es sich, dass auf das zweite Visionsystem 50 verzichtet werden kann. In diesem Fall wird der gegriffene Artikel 32 für die 100%-Verifikation erneut vom Manipulator 36 an dem ersten Visionsystem 46 vorbeigeführt, jedoch mit einem geringeren Abstand als bei der ersten Aufnahme. Dieser Abstand ist so gewählt, dass die (geringe) Auflösung des ersten Visionsystems 46 dann ausreicht, um den Code 48 zu lesen. Der Codebereich 68 wurde zuvor bereits lokalisiert und kann zur Bestimmung eines entsprechenden Bewegungswegs für den Manipulator 36 mit herangezogen werden.
-
Als weitere Alternative könnte das zweite Visionsystem 50 mit nur einem Scanner versehen sein, der eingerichtet ist, den Code 48 (in einer einzigen Vorzugsrichtung) zu lesen. Auch in diesem Fall kann der zuvor erkannte Codebereich 68 zur Planung des Bewegungswegs des Manipulators 36 benutzt werden. Der Bewegungsweg ist derart, dass der Code 48 durch den einzigen Scanner gelesen werden kann. Das zweite Visionsystem 50 ist einfacher aufgebaut und günstiger.
-
Bezugszeichenliste
-
- 10
- Lager- und Kommissioniersystem
- 12
- Lager
- 14
- Kommissionierstation
- 16
- Fördertechniksystem
- 18
- Wareneingang
- 20
- Warenausgang
- 22
- Steuerung
- 24
- Materialflussrechner (MFR)
- 26
- Lagerverwaltungsrechner (LVR)
- 28
- Auftragsabwicklung
- 30
- Handhabungssystem
- 32
- Artikel
- 34
- Förderer
- 36
- Manipulator
- 38
- Endeffektor / Greifer
- 40
- Aufnahmeort
- 42
- Abgabeort
- 44
- Umsetzweg
- 46
- 1. Visionsystem
- 48
- Code / Barcode
- 50
- 2. Visionsystem
- 52
- (Bild-) Sensor
- 54
- Bilddaten
- 56
- Bilderkennungseinrichtung
- 58
- (Manipulator-) Steuerung
- 59
- (Stamm-)Datenbank
- 60
- Greiffläche
- 62
- Artikeloberfläche
- 64
- Symmetrieachse
- 66
- Umrisslinie / erkannter Artikel
- 68
- Codebereich
- 70
- Codeerkennungseinrichtung
