AT526401A1

AT526401A1 - Verfahren zum Sortieren von Sortiergut

Info

Publication number: AT526401A1
Application number: ATA50618/2022A
Authority: AT
Original assignee: Brantner Env Group Gmbh
Priority date: 2022-08-11
Filing date: 2022-08-11
Publication date: 2024-02-15

Abstract

Verfahren zum Sortieren von Sortiergut von einem Förderband (1), welches das Sortiergut in eine Förderrichtung transportiert, in zumindest zwei Abwurfschächte (2, 2‘, 2‘‘), unter Verwendung von zumindest einer ersten Bildaufnahmevorrichtung (3), zumindest zwei Robotern (4, 4‘, 4‘‘), die jeweils eine Aufnahme (7) aufweisen, der im Wesentlich normal auf die Förderrichtung beweglich auf einem Rahmen (8) über dem Förderband (1) montiert ist, zumindest zwei unterschiedliche Picker (5, 5‘, 5‘‘) zum Aufgreifen von unterschiedlichen Arten von Sortiergut, und einer Datenverarbeitungseinheit (6), die mit der Bildaufnahmevorrichtung (3, 3‘) und den Robotern (4, 4‘, 4‘‘) in Verbindung steht.

Description

Verfahren zum Sortieren von Sortiergut

Die Erfindung betrifft ein computergestütztes Verfahren zum Sortieren von Sortiergut, insbesondere von Müll, von einem Förderband, welches das Sortiergut in eine Förderrichtung transportiert, in zumindest zwei Abwurfschächte.

Aus dem Stand der Technik sind derartige Verfahren grundsätzlich bekannt. Auf einem Förderband wird Sortiergut in eine Förderrichtung transportiert. Am Beginn des Förderbands ist eine Bildaufnahmevorrichtung vorgesehen, die ein Foto des auf dem Förderband befindlichen Sortierguts aufnimmt. Ferner sind über dem Förderband in Förderrichtung mehrere Roboter, auch als Roboterphalanx bezeichnet, vorgesehen.

Bei den Robotern kann es sich beispielsweise um kartesische Roboter handeln, die jeweils eine Aufnahme, etwa in Form eines Schlitten, aufweisen, die im Wesentlich normal zur Förderrichtung beweglich auf einem Rahmen über dem Förderband montiert ist. Die Rahmen der Roboter verlaufen im Wesentlichen parallel zueinander, wobei die Aufnahmen auf den Rahmen in hoher Geschwindigkeit normal zur Förderrichtung auf jede beliebige Erfassungsposition über dem Förderband gebracht werden können.

Es können aber auch sogenannte Delta-Roboter eingesetzt werden, die zentral über dem Förderband montiert werden und nach unten gerichtete Gelenkarme mit entsprechenden Aufnahmen umfassen. Delta-Roboter haben den Vorteil, dass sie eine geringere Trägheit und somit eine höhere Geschwindigkeit erlauben, als kartesische

Roboter; hingegen ist ihre Maximalbelastung in der Regel niedriger.

Neben dem Förderband befinden sich verschiedene Abwurfschächte für unterschiedliche Arten des Sortierguts, beispielsweise Plastikfolien, Papier, oder PETFlaschen. Die Roboterphalanx ist dazu ausgebildet, unterschiedliches Sortiergut vom laufenden Förderband aufzugreifen und in die korrekten Abwurfschächte zu befördern.

Zum Aufgriff der unterschiedlichen Arten des Sortierguts sind die Roboter mit verschiedenen Arten von Pickern ausgestattet. Unter einem Picker versteht man in diesem Zusammenhang ein Maschinenelement, das am Ende eines Roboterarms angeordnet wird und zum Aufgriff bestimmter Materialien oder Objekte ausgebildet ist. Beispielsweise kann der Picker eine gummierte Greifzange, ein Saugrohr, einen Elektromagneten, eine Nadel oder ein anderes Element aufweisen, dass geeignet ist, eine bestimmte Art von Sortiergut besonders zuverlässig aufzugreifen. Beispielsweise kann ein Picker zum Aufgriff von Plastikfolien, ein weiterer Picker zum Aufgriff von PETFlaschen, und ein weiterer Picker zum Aufgriff magnetischer Materialien oder Batterien

vorgesehen sein.

Die Picker sind entweder fest auf Greifarmen der Roboter angeordnet, oder können von den Robotern nach Bedarf selbständig aufgenommen werden. Im Betrieb arbeiten die Roboter parallel und befördern jeweils unabhängig voneinander ausgewähltes

Sortiergut mit ihren Pickern vom Förderband in die zugeordneten Abwurfschächte.

Für derartige Vorrichtungen ist es bekannt, eine Datenverarbeitungseinheit vorzusehen, die mit der Bildaufnahmevorrichtung und der Roboterphalanx in Verbindung steht, das Foto analysiert, Sortiergüter erkennt, Koordinaten der Sortiergüter ermittelt und damit die Roboterphalanx ansteuert. Zur Ansteuerung der Roboterphalanx ist in der Regel eine dedizierte Steuerungselektronik vorgesehen, welche die von der Datenverarbeitungseinheit gelieferten Koordinaten in entsprechende

Motorenbewegungen der Roboter übersetzt.

Zur Analyse der Fotos der Bildaufnahmevorrichtung ist es weiters bekannt, dass die Datenverarbeitungseinheit spezialisierte Bilderkennungsalgorithmen einsetzt, beispielsweise zur Objekterkennung trainierte neuronale Bilderkennungsnetze, insbesondere R-CNNs (Region-based Convolutional Neural Networks).

Ein Problem derartiger Vorrichtungen und Verfahren besteht darin, dass für die Erkennung und Lokalisierung des Sortierguts am Förderband herkömmliche Bilderkennungsalgorithmen bzw. trainierte neuronale Netze zu geringen Erkennungsraten führen. Es wurde erkannt, dass dies daran liegt, dass herkömmliche zur Objekterkennung trainierte neuronale Netze mit sauberen und unbeschädigten Objekten trainiert werden, das Sortiergut jedoch meist in stark beschädigtem und verunreinigtem Zustand auf dem Förderband liegt.

Ein weiteres Problem derartiger Vorrichtungen und Verfahren besteht darin, dass die Roboter nicht immer gleichmäßig ausgelastet sind. So kann es vorkommen, dass auf dem Förderband eine große Menge identischer Sortiergüter transportiert werden — beispielsweise eine Vielzahl an PET-Flaschen. In diesem Fall werden die Picker für dieses Sortiergut verstärkt benötigt, während die Picker für die anderen Sortiergüter nicht benötigt werden. Bei fest installierten Pickern führt dies zu einem Engpass, sodass die Geschwindigkeit des Förderbands reduziert werden muss. Aber auch wenn die Roboter ihre Picker selbst wählen können, hat sich gezeigt, dass eine herkömmliche sequenzielle Ansteuerung der Roboter zu Problemen führt, da bei einer sequenziellen Ansteuerung der Roboter die dem Förderband nächstgelegenen Roboter meist überlastet werden, während die am Ende des Förderbandes angeordneten Roboter

nicht oder zu wenig ausgelastet werden.

Die Aufgabe der Erfindung besteht somit darin, diese und andere Probleme zu lösen und eine Vorrichtung sowie ein Verfahren bereitzustellen, mit dem Sortiergut auf einem Förderband möglichst gut erkannt werden kann und eine vorhandene Roboterphalanx

zum Aufgriff des Sortierguts möglichst gleichmäßig ausgelastet wird.

Diese Aufgabe wird mit einem Verfahren gemäß den unabhängigen Patentansprüchen

gelöst.

Bei dem erfindungsgemäßen Verfahren transportiert ein Förderband Sortiergut in eine Förderrichtung F. Auf dem Förderband können Abstandsmarkierungen in

gleichmäßigen Abständen vorgesehen sein.

Es ist zumindest eine erste Bildaufnahmevorrichtung vorgesehen, die über dem Förderband angeordnet ist und ein Foto oder Video des Förderbands und des darauf befindlichen Sortierguts erstellt. Es kann sich um eine Foto- oder Videokamera, eine

ToF (Time-of-Flight) Kamera oder dergleichen handeln.

Es sind zumindest zwei Roboter vorgesehen, die jeweils eine Aufnahme aufweisen,

sowie zumindest zwei unterschiedliche Picker zum Aufgreifen von unterschiedlichen

Arten von Sortiergut. Ferner ist eine Datenverarbeitungseinheit vorgesehen, die mit der Bildaufnahmevorrichtung und den Robotern in Verbindung steht.

Die Datenverarbeitungseinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU), einen flüchtigen Halbleiterspeicher (RAM), einen nichtflüchtigen Halbleiterspeicher (ROM, SSDFestplatte), einen magnetischen Speicher (Festplatte) und/oder einen optischen Speicher (CD-ROM) sowie Schnittstelleneinheiten (Ethernet, USB) und dergleichen umfassen. Die Bestandteile derartiger Datenverarbeitungseinheiten sind dem Fachmann bekannt.

Bei dem erfindungsgemäßen Verfahren erstellt die Bildaufnahmevorrichtung ein Foto des am Förderband befindlichen Sortierguts und übermittelt das Foto an die Datenverarbeitungseinheit. Die Datenverarbeitungseinheit detektiert die Anzahl, die Art und die Koordinaten einzelner Sortierobjekte am Förderband durch Abfrage eines, vorzugsweise in der Datenverarbeitungseinheit implementierten, neuronalen

Bilderkennungsnetzes.

Die Datenverarbeitungseinheit und das neuronale Bilderkennungsnetz können

vorzugsweise zur Gänze in einem Personal Computer angeordnet sein.

Es kann jedoch auch vorgesehen sein, dass die Datenverarbeitungseinheit in einem Personal Computer angeordnet ist und über eine Schnittstelle, beispielsweise eine drahtlose Verbindung, mit einem externen Server, beispielsweise einem Server im Internet, kommuniziert, auf dem sich das neuronale Bilderkennungsnetz befindet. Insbesondere kann das neuronale Bilderkennungsnetz als Softwaremodul in der Datenverarbeitungseinheit, in einem von der Datenverarbeitungseinheit getrennten

Computer oder in einem externen Server vorgesehen sein.

Die Datenverarbeitungseinheit generiert danach einzelne Robotertasks zum Aufgriff der detektierten Sortierobjekte und übermittelt diese, gegebenenfalls über eine Steuerelektronik, an die Roboter. Die Roboter greifen die Sortierobjekte auf und transportieren sie in neben dem Förderband angeordnete Abwurfschächte. Die Roboter können dabei eine sogenannte „Pick and throw“ Bewegung ausführen.

Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit auf Grundlage der Koordinaten der detektierten Sortierobjekte und der Geschwindigkeit des Förderbandes Erfassungskoordinaten zum Aufgriff der detektierten Sortierobjekte berechnet, und auf Grundlage der Art der detektierten Sortierobjekte die erforderlichen Picker bestimmt, und in die Robotertasks zumindest die erforderlichen Picker und die berechneten Erfassungskoordinaten zum Aufgriff des Sortierobjekts

aufnimmt.

Erfindungsgemäß kann vorgesehen sein, dass jeder Picker einem der Roboter zugeordnet ist, wobei die Picker jeweils auf einer Aufnahme eines der Roboter fix

montiert sind.

Erfindungsgemäß kann jedoch ebenfalls vorgesehen sein, dass die Picker den Robotern nicht zugeordnet sind, wobei jeder Roboter in Reaktion auf den übermittelten Robotertask den zum Aufgriff des Sortierguts erforderlichen Picker selbständig auf seiner Aufnahme anordnet. Zu diesem Zweck kann vorgesehen sein, dass die Datenverarbeitungseinheit den Robotertask um zusätzliche Informationen

ergänzt.

Erfindungsgemäß kann vorgesehen sein, dass in Förderrichtung F nach jedem Roboter zumindest eine weitere Bildaufnahmevorrichtung vorgesehen ist, die zumindest ein weiteres Foto des Förderbands nach Durchführung des Robotertasks aufnimmt. In diesem Fall ist vorgesehen, dass die Datenverarbeitungseinheit aus dem Foto wieder die Anzahl, die Art und die Koordinaten der am Förderband verbliebenen Sortierobjekte durch Abfrage des Bilderkennungsnetzes detektiert, sowie weitere Robotertasks zum Aufgriff der verbliebenen Sortierobjekte erstellt und an die Roboter übermittelt, wonach die Roboter die Sortierobjekte aufgreifen und in die Abwurfschächte transportieren. Durch Vergleich mehrerer aufeinanderfolgend erstellter Fotos kann die Datenverarbeitungseinheit eine Plausibilitätsprüfung der Wirksamkeit der Roboter durchführen.

Erfindungsgemäß kann vorgesehen sein, dass die Detektion der Art der Sortierobjekte durch Abfrage des Bilderkennungsnetzes die Erstellung von Wahrscheinlichkeitswerten umfasst, welche die Wahrscheinlichkeit angeben, dass das erkannte Sortierobjekt verschiedenen vorgegebenen Klassifizierungen K+, Kz, ..., Kny einer hierarchischen Klassifikation mit N Ebenen entspricht. Die hierarchische Klassifizierung kann beispielsweise N = 3 Ebenen aufweisen, nämlich die Ebene K+; = Material des Objekts (Metall, Plastik, Glas, Holz, usw.), die Ebene K, = Art des Objekts (Flasche, Dose, Folie, Energiespeicher, usw.), sowie eine zusätzliche Ebene Kz, beispielsweise ein auf dem Objekt erkannter Marken- oder Produktname. In vereinfachten Ausführungsformen kann die hierarchische Klassifizierung auch nur die ersten beiden Ebenen enthalten. Diese hierarchische Kennzeichnung der Trainingsdaten erlaubt das Training von verschiedenen Eigenschaften eines Sortierobjektes. Beispielsweise kann das Bilderkennungsnetz für ein im Foto erkanntes Sortierobjekt einen Wahrscheinlichkeitswert von 70% für die Klassifizierung K+4 = „Plastik“ und K> = „Folie“ liefern.

Erfindungsgemäß kann vorgesehen sein, dass das neuronale Bilderkennungsnetz mit Trainingsdatensätzen trainiert wurde, welche mit einem Verfahren erstellt wurden,

welches die folgenden Schritte umfasst:

In einem ersten Schritt, Bereitstellung eines Fotos mit zumindest einem Sortierobjekt.

7728

In einem weiteren Schritt, Entgegennahme und Speicherung einer Klassifizierung K4, Ko, ..., Ku des Fotos anhand einer hierarchischen Klassifikation mit N Stufen.

In einem weiteren Schritt, Unterteilung des Fotos in M Teilbereiche und Erzeugung von M Teilfotos, wobei in jedem der Teilfotos einer der N Teilbereiche abgedeckt ist.

In einem weiteren Schritt, Erzeugung von M x N Trainingsdatensätzen für jedes Foto, wobei jeder Trainingsdatensatz eines der Teilfotos und eine Klassifizierung umfasst, wobei für jedes der Teilfotos Trainingsdatensätze für jede einzelne Ebene der

hierarchischen Klassifikation erzeugt werden.

Ein derart trainiertes Bilderkennungsnetz ist besonders effektiv in der Erkennung von Sortierobjekten, die teilweise zerstört oder durch andere Sortierobjekte verdeckt sind.

Erfindungsgemäß kann ferner vorgesehen sein, dass die Datenverarbeitungseinheit die Robotertasks derart erstellt, dass die Roboter möglichst gleichmäßig ausgelastet werden, wobei die Datenverarbeitungseinheit Zustandsdaten der Roboter, insbesondere die aktuelle Position der Aufnahmen, entgegennimmt und diese bei der Erstellung der Robotertasks zur Erzielung einer möglichst gleichmäßigen Auslastung berücksichtigt.

Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit für jeden Roboter mögliche Bewegungstrajektorien zur Aufnahme der detektierten Sortiergüter bestimmt und die Robotertasks derart erstellt, dass die Bewegungstrajektorien jedes Roboters im zeitlichen Mittel jeweils im Wesentlichen gleich lang sind.

Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit die Robotertasks derart erstellt, dass die Roboter jeweils zum Aufgriff jener detektierten Sortierobjekte veranlasst werden, zu denen ihre Picker ausgehend von ihrer aktuellen

Position den geringsten Abstand aufweisen. Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit zur

Erstellung der Robotertasks ein vorzugsweise in der Datenverarbeitungseinheit

implementiertes neuronales Auslastungssteuerungsnetz abfragt.

Erfindungsgemäß kann vorgesehen sein, dass das Auslastungssteuerungsnetz dazu ausgebildet ist, aus Roboterdaten, Umgebungsdaten, und Sortierobjektdaten eine Wahrscheinlichkeit zu berechnen, welcher der Roboter am besten geeignet ist, das detektierte Sortierobjekt in einen der Abwurfschächte zu transportieren. Die Roboterstammdaten können dabei zumindest die Position der Roboter, deren aktuellen Zustand und die montierten Picker umfassen. Die Umgebungsdaten können dabei zumindest die Positionen der Abwurfschächte und die Geschwindigkeit des Förderbandes umfassen. Die Sortierobjektdaten können dabei zumindest Art und Koordinaten detektierter Sortierobjekte sowie deren Größe, Gewicht und optimalen Greifpunkt umfassen. Das Gewicht und der optimale Greifpunkt können aus der detektierten Art des Sortierobjekts unter Abfrage des neuronalen Bilderkennungsnetzes

prognostiziert werden.

Erfindungsgemäß kann vorgesehen sein, dass durch zusätzliche, an den Robotern angeordnete Bildaufnahmevorrichtungen unmittelbar vor einer Greifbewegung des Pickers geprüft wird, ob sich das von der Datenverarbeitungseinheit detektierte Sortierobjekt tatsächlich am detektierten Ort befindet. Dies kann als Sicherheitscheck (durch eine vorangegangene “Pick and Throw” Bewegung eines vorgelagerten Roboters kann es zu einer Verschiebung der Objekte auf dem Band gekommen sein) dienen. Ferner kann dies auch als Qualitätscheck des vorangegangenen Roboters diene, um zu überprüfen, ob ein erkanntes Sortierobjekt abtransportiert wurde. Die Ergebnisse des Qualitätschecks können zur Datensicherung gespeichert werden.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen näher erläutert. Es

zeigen:

Fig. 1a ein erstes Ausführungsbeispiel einer Vorrichtung zur Verwendung eines erfindungsgemäßen Verfahrens;

Fig. 1b ein zweites Ausführungsbeispiel einer Vorrichtung zur Verwendung eines erfindungsgemäßen Verfahrens;

Fig. 2 ein schematisches Blockschaltbild einer Vorrichtung zur Verwendung eines

erfindungsgemäßen Verfahrens;

Fig. 3 ein schematisches Verfahren zur Erzeugung von Trainingsdaten eines neuronalen Bilderkennungsnetzes zur Verwendung in einem erfindungsgemäßen

Verfahren.

Fig. 1a zeigt ein erstes Ausführungsbeispiel einer Vorrichtung zum Sortieren von Sortiergut von einem Förderband 1, welches das Sortiergut in eine Förderrichtung F transportiert, in drei neben dem Förderband 1 angeordnete Abwurfschächte 2, 2‘, 2“. Bei den Abwurfschächten handelt es sich um Behälter für Folien, Metalle und Glas. Das unsortierte Sortiergut ist am Beginn des Förderbandes schematisch angedeutet.

Am Beginn des Förderbandes 1 ist über dem Förderband 1 eine erste Bildaufnahmevorrichtung 3 derart angeordnet, dass ein Foto 9 des unsortierten Sortierguts aufgenommen werden kann. Danach sind mehrere Roboter 4, 4‘, 4“ vorgesehen, die jeweils eine Aufnahme 7 zur Aufnahme eines Pickers 5, 5‘, 5“ aufweisen. In diesem Ausführungsbeispiel sind die Aufnahmen 7 in Form von Schlitten ausgebildet, die im Wesentlich normal auf die Förderrichtung F beweglich auf einem Rahmen 8 über dem Förderband 1 montiert sind. Eine derartige Anordnung wird auch als Roboterphalanx kartesischer Roboter bezeichnet.

Es sind unterschiedliche Picker 5, 5‘, 5“ zum Aufgreifen von unterschiedlichen Arten von Sortiergut vorgesehen, beispielsweise in Form von unterschiedlich dimensionierten Greifarmen mit unterschiedlichen Aufsätzen oder Magneten. In diesem Ausführungsbeispiel sind die Picker 5, 5°, 5“ jeweils einem der Roboter 4, 4’, 4“ fix

zugeordnet und jeweils auf einer Aufnahme 7 eines der Roboter 4, 4‘, 4“ montiert.

Entlang des Förderbandes 1 sind in Förderrichtung F nach jedem Roboter 4, 4‘, 4“ jeweils eine weitere Bildaufnahmevorrichtung 3‘, 3“, 3“ angeordnet, die jeweils weitere

Fotos 9‘, 9“, 9“ des am Förderband 1 befindlichen Sortierguts aufnehmen. Es ist ferner eine (nicht dargestellte) Datenverarbeitungseinheit 6 vorgesehen, die mit

den Bildaufnahmevorrichtungen 3, 3‘, 3“, 3‘ und den Robotern 4, 4‘, 4“ über eine (nicht

dargestellte) Steuerungselektronik 11, 11°, 11“ in Verbindung steht.

Bei einem erfindungsgemäßen Verfahren nimmt die Bildaufnahmevorrichtung 3 ein Fotos 9 des am Förderband 1 befindlichen Sortierguts auf und übermittelt dieses an die Datenverarbeitungseinheit 6. Die Datenverarbeitungseinheit 6 detektiert sowohl die Art, die Anzahl, als auch die Koordinaten einzelner im Foto erkannter Sortierobjekte.

Dies erfolgt durch Abfrage eines auf einem Server im Internet implementierten neuronalen Bilderkennungsnetzes 12, mit dem die Datenverarbeitungseinheit 6 in Verbindung steht. Derartige neuronale Netze sind dem Fachmann grundsätzlich bekannt und dazu ausgebildet, in einem Foto Art und Position bestimmter Objekte zu detektieren. Das verwendete neuronale Netze wurde vorab durch eine Vielzahl von Fotos darauf trainiert, bestimmte Objekte (z.B. Folien, Glas, Batterien, Kunststoffe, etc.) in einem Foto zu erkennen. Der Trainingsalgorithmus zur Erstellung des neuronalen

Bilderkennungsnetzes 12 wird im Zusammenhang mit Fig. 3 näher beschrieben.

Das Bilderkennungsnetz liefert für alle erkannten Sortierobjekte eine Position und die Wahrscheinlichkeit einer vorbestimmten Klassifikation K+1, Kz2, ...,, Kn. Beispielsweise kann ein Sortierobjekt als Plastikfolie erkannt werden, wenn die Wahrscheinlichkeit der Klassifikation K; = „Plastik“ und K> = „Folie“ über 50% beträgt. Die Datenverarbeitungseinheit bestimmt auf dieser Grundlage den erforderlichen Picker 5, 5‘, 5“. Zu diesem Zweck kann die Datenverarbeitungseinheit 6 eine interne Datenbank abfragen, in der ein Zusammenhang zwischen Art des erkannten Sortierobjekts und geeignetem Picker abgelegt ist. Aus dem erforderlichen Picker bestimmt die Datenverarbeitungseinheit 6 den benötigten Roboter 4, 4°, 4“.

Aus der Art, der Position und der Anzahl der erkannten Sortierobjekte erstellt die Datenverarbeitungseinheit 6 dann einzelne Robotertasks 10, 10°, 10“ zum Aufgriff der Sortierobjekte. Bei einem Robotertask handelt es sich um einen Befehl an einen Roboter, zu einem bestimmten Zeitpunkt an einer bestimmten Position ein Objekt vom Förderband aufzugreifen. Zur Erstellung der Robotertasks 10, 10‘, 10“ berechnet die Datenverarbeitungseinheit 6 auf Grundlage der Koordinaten der detektierten Sortierobjekte und der Geschwindigkeit des Förderbandes 1 ein-, zwei- oder

dreidimensionale Erfassungskoordinaten und einen Erfassungszeitpunkt.

Bei den Erfassungskoordinaten kann es sich insbesondere um 1-dimensionale Koordinaten entlang der Richtung des Rahmens 8 jedes Roboters 4, 4‘, 4“ handeln.

Um eine möglichst gleichmäßige Auslastung der Roboter 4, 4‘, 4“ zu erreichen, nimmt die Datenverarbeitungseinheit 6 laufend Zustandsdaten der Roboter 4, 4‘, 4“ entgegen, insbesondere die Position ihrer Aufnahmen 7 und den Bewegungszustand der Roboter 4, 4‘, 4“. Auf Grundlage der Erfassungskoordinaten berechnet die Datenverarbeitungseinheit 6 für jedes erkannte Sortiergut Bewegungstrajektorien der Roboter 4, 4‘, 4“ mit passenden Pickern 5, 5‘, 5“ und erstellt die Robotertasks 10, 10‘, 10“ derart, dass die Bewegungstrajektorien der Roboter 4, 4‘, 4“ im Mittel jeweils gleich lang sind. Zu diesem Zweck speichert die Datenverarbeitungseinheit 6 die tatsächlichen Bewegungstrajektorien der Roboter 4, 4‘, 4“ laufend ab. In diesem Ausführungsbeispiel ist jedem Roboter 4, 4‘, 4“ ein Picker 5, 5‘, 5“ fix zugeordnet, sodass die Datenverarbeitungseinheit 6 den gewählten Robotern nur die Erfassungskoordinaten und den Zeitpunkt zum Aufgriff der Sortierobjekte in einem Robotertask 10, 10°, 10“ übermittelt. In Folge greifen die Roboter 4, 4‘, 4“ die Sortierobjekte auf und transportieren sie in die Abwurfschächte 2, 2°, 2“.

In einer Ausführungsform der Erfindung werden Anzahl, Art und Koordinaten der im Foto detektierten Sortierobjekte durch ein, in der Datenverarbeitungseinheit oder auf einem Server im Internet implementiertes neuronales Auslastungssteuerungsnetz 13 analysiert, bewertet und die Robotertasks 10, 10°, 10“ werden derart erstellt, dass die Roboter 4, 4‘, 4“ gleichmäßig ausgelastet werden.

Das Auslastungssteuerungsnetz kann zu diesem Zweck insbesondere die folgenden Informationen von der Datenverarbeitungseinheit erhalten und miteinander verschneiden: Roboterdaten, nämlich ob die Roboter in Bewegung sind, welche Position die Roboter aufweisen und welche Picker sich auf den Robotern befinden; Umgebungsdaten, nämlich die Positionen der Abwurfschächte und die Geschwindigkeit des Förderbandes 1; sowie Sortierobjektdaten, nämlich die Wahrscheinlich der Klassifizierung (Tagklasse), die Größe des Sortierobjektes (=maskierte Oberfläche), ein prognostiziertes Gewicht des Sortierobjekts (Prognose aufgrund von Annahmen und erkannter Oberfläche) sowie den idealen Greifpunkt des erkannten Sortierobjektes.

Größe und Gewicht des Sortierobjekts werden zur Berechnung einer möglichen Flugbahn bei einer “Pick and throw” Bewegung verwendet. Durch Verschneidung dieser Informationen ist das Auslastungssteuerungsnetz darauf trainiert, jenen Roboter zu identifizieren, der am besten für den Abtransport eines bestimmten detektierten Sortierobjekts geeignet ist. Als Metrik zur Definition der Transportgüte kann dabei insbesondere die Geschwindigkeit des Abtransports herangezogen werden.

Fig. 1b ist ein zweites Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung. Der Aufbau entspricht der Vorrichtung gemäß Fig. 1a, wobei in diesem Ausführungsbeispiel jedoch die Picker 5, 5‘, 5“ den Robotern 4, 4‘, 4“ nicht fix zugeordnet sind.

Jeder Roboter 4, 4‘, 4“ ist dazu ausgebildet, in Reaktion auf den übermittelten Robotertask 10, 10°, 10“ den zum Aufgriff des betreffenden Sortierguts erforderlichen Picker 5, 5‘, 5“ selbständig auf seiner Aufnahme 7 zu montieren.

Zu diesem Zweck sind die Picker 5, 5‘, 5“ neben dem Förderband 1 in Reichweite der Aufnahmen 7 angeordnet.

Wiederum detektiert in diesem Ausführungsbeispiel die Datenverarbeitungseinheit 6 die Art und Koordinaten einzelner Sortierobjekte durch Abfrage eines mit der Datenverarbeitungseinheit 6 verbundenen oder in der Datenverarbeitungseinheit 6 implementierten neuronalen Bilderkennungsnetzes 12, welches in diesem

Ausführungsbeispiel gemäß der Beschreibung von Fig. 3 trainiert wurde.

Auf Grundlage der Koordinaten der detektierten Sortierobjekte und der Geschwindigkeit des Förderbandes 1 bestimmt die Datenverarbeitungseinheit 6 Erfassungskoordinaten zum Aufgriff des detektierten Sortierobjektes. Die Datenverarbeitungseinheit erstellt Robotertasks 10, 10°, 10“, die den jeweils erforderlichen Picker 5, 5‘, 5“, den ausgewählten Roboter 4, 4‘, 4“, die berechneten Erfassungskoordinaten und den berechneten Zeitpunkt zum Aufgriff des Sortierobjekts enthalten. Die Robotertasks 10, 10°, 10“ sind derart ausgebildet, dass sie an eine Steuerelektronik 11, 11‘, 11“ der Roboter übermittelt werden können, um den Roboter 4, 4‘, 4“ zum Aufgriff der Sortierobjekte zu veranlassen.

Zur Auswahl des Roboters 4, 4‘, 4“ analysiert die Datenverarbeitungseinheit 6 die Anzahl, die Art und die Koordinaten der im Foto detektierten Sortierobjekte wiederum durch ein in der Datenverarbeitungseinheit implementiertes neuronales Auslastungssteuerungsnetz und erstellt die Robotertasks 10, 10°, 10“ derart, dass die Roboter 4, 4‘, 4“ möglichst gleichmäßig ausgelastet werden. Dies ist bei der Vorrichtung dieses Ausführungsbeispiels in der Regel einfacher möglich als bei Fig. 1a, da die Roboter ihre Picker unabhängig wählen können. Durch die gleichmäßige Auslastung wird erreicht, dass nicht nur die Roboter am Beginn des Förderbandes erhöht ausgelastet sind, sondern sämtliche Roboter entlang der gesamten Länge des Förderbandes.

Fig. 2 zeigt ein schematisches Blockschaltbild einer erfindungsgemäßen Vorrichtung, welche den prinzipiellen Datenfluss zeigt. Die Bildaufnahmevorrichtungen 3, 3‘ erstellen jeweils Fotos 9, 9‘ am Beginn und am Ende des Förderbandes 1.

Die Datenverarbeitungseinheit 6 analysiert diese Bilder und erstellt Robotertasks 10, 10°, 10“, die über (nicht dargestellte) Steuerungseinheiten an die Roboter 4, 4‘, 4“ gesendet werden, um die Roboter zum Aufgriff der Sortierobjekte zu veranlassen. Zur Ermittlung der Anzahl, Art und Koordinaten der Sortierobjekte steht die Datenverarbeitungseinheit 6 in Verbindung mit einem neuronalen Bilderkennungsnetz 12. Zur Ermittlung einer möglichst gleichmäßigen Auslastung der Roboter 4, 4‘, 4“steht die Datenverarbeitungseinheit 6 ferner in Verbindung mit einem neuronalen

Auslastungssteuerungsnetz 13.

Fig. 3 zeigt ein schematisches Verfahren zur Erzeugung von Trainingsdaten eines neuronalen Bilderkennungsnetzes zur Verwendung in einem erfindungsgemäßen Verfahren. Im konkreten Ausführungsbeispiel der Erfindung wurde das neuronale Bilderkennungsnetz vor der Ausführung des Sortierverfahrens wie folgt trainiert:

Zunächst werden eine Vielzahl von Fotografien von typischen Sortierobjekten in verschmutzter, beschädigter und gegebenenfalls auch zerteilter Form erstellt. Diese Fotografien werden von einem Experten anhand einer N-stufigen hierarchischen

Klassifizierung mit einem Tag, also einer eindeutigen Kennzeichnung, versehen.

Die hierarchische Klassifizierung weist N = 3 Ebenen auf, nämlich die Ebene K1 = Material des Objekts (Metall, Plastik, Glas, Holz, usw.), die Ebene K2 = Art des Objekts (Flasche, Dose, Folie, Energiespeicher, usw.), sowie eine zusätzliche Ebene K3, nämlich ein auf dem Objekt erkannter Marken- oder Produktname. Im vorliegenden Beispiel wurde das Foto mit der Klassifizierung „metal“ — „can“ — „brand“ versehen.

Im nächsten Schritt werden die gekennzeichneten Fotos in eine Zahl M geometrische Teilbereiche unterteilt und es werden jeweils M Kopien der Fotos erstellt, bei denen jeweils einer der Teilbereiche gänzlich abgedeckt wird. Beispielsweise kann im vorliegenden Ausführungsbeispiel ein rechteckiges Foto in M = 4 gleich große rechteckige Quadranten unterteilt werden, worauf in den 4 Kopien des Fotos jeweils

einer der Teilbereiche abgedeckt wird.

Im nächsten Schritt werden für jedes der M erzeugten Fotos eine Zahl N Kopien erzeugt, welche dann mit jeder Stufe der für das Bild festgestellten Kennzeichnung der hierarchischen Klassifizierung versehen werden. Beispielsweise wird bei einer dreistufigen Klassifizierung mit den Ebenen K;, K» und K3 das erste Foto nur mit der Klassifizierung K1 (z.B. Metall) versehen, das zweite Foto nur mit den Klassifizierungen K; und K> (z.B. Metall — Dose) und das dritte Foto mit der vollen Klassifizierung K+4, K2 und K3 (z.B. Metall — Dose — Red Bull).

Durch diese Vorverarbeitung der zum Training des neuronalen Bilderkennungsnetzes verwendeten Fotos kann eine wesentliche Erhöhung der Fitness des neuronalen Bilderkennungsnetzes erzielt werden, da sich die Anzahl der Trainingsdaten um den Faktor M x N erhöht. Beispielsweise können aus 10 Fotos, die anhand einer dreistufigen Klassifizierung gekennzeichnet und in 4 Teilbilder unterteilt wurden, eine Anzahl von 10 x 3 x 4 = 120 Trainingsdatensätze erzeugt werden.

Claims

Patentansprüche

1. Verfahren zum Sortieren von Sortiergut von einem Förderband (1), welches das Sortiergut in eine Förderrichtung F transportiert, in zumindest zwei Abwurfschächte (2, 2‘, 2“), unter Verwendung von

a. zumindest einer ersten Bildaufnahmevorrichtung (3),

b. zumindest zwei Robotern (4, 4‘, 4‘), die jeweils eine Aufnahme (7) aufweisen,

c. zumindest zwei unterschiedlichen Pickern (5, 5‘, 5‘) zum Aufgreifen von unterschiedlichen Arten von Sortiergut, und

d. einer Datenverarbeitungseinheit (6), die mit der Bildaufnahmevorrichtung (3, 3‘) und den Robotern (4, 4°, 4“) in Verbindung steht,

dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst:

e. Erstellung, durch die Bildaufnahmevorrichtung (3), eines Fotos (9) des am Förderband (1) befindlichen Sortierguts und Übermitteln des Fotos an die Datenverarbeitungseinheit (6),

f. Detektion, durch die Datenverarbeitungseinheit (6), der Anzahl, der Art und der Koordinaten einzelner Sortierobjekte am Förderband (1) durch Abfrage eines, vorzugsweise in der Datenverarbeitungseinheit (6) implementierten, neuronalen Bilderkennungsnetzes (12), sowie

g. Generierung, durch die Datenverarbeitungseinheit (6), einzelner Robotertasks (10, 10°, 10“) zum Aufgriff der detektierten Sortierobjekte, sowie Übermittlung der Robotertasks (10, 10‘, 10“), gegebenenfalls über eine Steuerelektronik (11, 11°, 11°), an die Roboter (4, 4‘, 4“),

h. Aufgriff, durch die Roboter (4, 4‘, 4“), der Sortierobjekte und Transport der Sortierobjekte in die Abwurfschächte (2, 2‘, 2“).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (6)

a. auf Grundlage der Koordinaten der detektierten Sortierobjekte und der Geschwindigkeit des Förderbandes (1) Erfassungskoordinaten zum Aufgriff der detektierten Sortierobjekte berechnet, und

b. auf Grundlage der Art der detektierten Sortierobjekte die erforderlichen Picker (5, 5‘, 5“) bestimmt, und

c. in die Robotertasks (10, 10‘, 10“) zumindest die erforderlichen Picker (5, 5‘, 5‘) und die berechneten Erfassungskoordinaten zum Aufgriff des Sortierobjekts aufnimmt.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass jeder Picker (5, 5‘, 5‘) einem der Roboter (4, 4’, 4‘) zugeordnet ist, wobei die Picker (5, 5‘, 5“) Jeweils auf einer Aufnahme (7) eines der Roboter (4, 4*, 4‘) fix montiert sind.

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Picker (5, 5‘, 5‘) den Robotern (4, 4‘, 4‘) nicht zugeordnet sind, wobei jeder Roboter (4, 4‘, 4“) in Reaktion auf den übermittelten Robotertask (10, 10‘, 10°) den zum Aufgriff des Sortierguts erforderlichen Picker (5, 5‘, 5“) selbständig auf seiner Aufnahme (7) anordnet.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in Förderrichtung F nach jedem Roboter (4, 4‘, 4“) zumindest eine weitere Bildaufnahmevorrichtung (3‘, 3“, 3‘) vorgesehen ist, die zumindest ein weiteres Foto (9‘*, 9“, 9*°) des Förderbands (1) nach Durchführung des Robotertasks (10, 10°, 10°) aufnimmt, und wobei die Datenverarbeitungseinheit (6)

a. aus dem Foto (9°, 9“, 9“) wieder die Anzahl, die Art und die Koordinaten der am Förderband (1) verbliebenen Sortierobjekte durch Abfrage des Bilderkennungsnetzes (12) detektiert, sowie

b. weitere Robotertasks (10, 10°, 10°) zum Aufgriff der verbliebenen Sortierobjekte erstellt und an die Roboter (4, 4‘, 4“) übermittelt, wonach

c. die Roboter (4, 4, 4“) die Sortierobjekte aufgreifen und in die Abwurfschächte (2, 2‘, 2“) transportieren.

Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Detektion der Art der Sortierobjekte durch Abfrage des Bilderkennungsnetzes (12) die Erstellung von Wahrscheinlichkeitswerten umfasst, welche die Wahrscheinlichkeit angeben, dass das erkannte Sortierobjekt verschiedenen vorgegebenen Klassifizierungen K+, K>, ..., Kn einer hierarchischen Klassifikation mit N Ebenen entspricht.

Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das neuronale Bilderkennungsnetz (12) mit Trainingsdatensätzen trainiert wurde, welche mit einem Verfahren erstellt wurden, welches die folgenden Schritte umfasst: a. Bereitstellung eines Fotos mit zumindest einem Sortierobjekt, b. Entgegennahme und Speicherung einer Klassifizierung K+, Kz, ..., Ku des Fotos anhand einer hierarchischen Klassifikation mit N Ebenen, c. Unterteilung des Fotos in M Teilbereiche und Erzeugung von M Teilfotos, wobei in jedem der Teilfotos einer der N Teilbereiche abgedeckt ist, d. Erzeugung von M x N Trainingsdatensätzen für jedes Foto, wobei jeder Trainingsdatensatz eines der Teilfotos und eine Klassifizierung umfasst, e. wobei für jedes der Teilfotos Trainingsdatensätze für jede einzelne Stufe der hierarchischen Klassifikation erzeugt werden.

Verfahren zum Trainieren eines neuronalen Bilderkennungsnetzes (12) zur Anwendung in einem Verfahren nach einem der Ansprüche 1 bis 6, wobei zum Trainieren des neuronalen Bilderkennungsnetzes (12) Trainingsdatensätze verwendet werden, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: a. Bereitstellung eines Fotos mit zumindest einem Sortierobjekt, b. Entgegennahme und Speicherung einer Klassifizierung K+, Kz, ..., Ku des Fotos anhand einer hierarchischen Klassifikation mit N Ebenen, c. Unterteilung des Fotos in M Teilbereiche und Erzeugung von M Teilfotos, wobei in jedem der Teilfotos einer der N Teilbereiche abgedeckt ist, d. Erzeugung von M x N Trainingsdatensätzen für jedes Foto, wobei jeder Trainingsdatensatz eines der Teilfotos und eine Klassifizierung umfasst, e. wobei für jedes der Teilfotos Trainingsdatensätze für jede einzelne Ebene der hierarchischen Klassifikation erzeugt werden.

11.

12.

13.

18 — 61996/AG/Brantner Environment Group GmbH, Dr.-Franz-Wilhelm-Straße 2a, 3500 Krems (AT)

Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (6) die Robotertasks (10, 10’, 10“) derart erstellt, dass die Roboter (4, 4‘, 4“) möglichst gleichmäßig ausgelastet werden, wobei die Datenverarbeitungseinheit (6) Zustandsdaten der Roboter (4, 4‘, 4‘), insbesondere die aktuelle Position der Aufnahmen (7), entgegennimmt und diese bei der Erstellung der Robotertasks (10, 10°, 10“) zur Erzielung einer gleichmäßigen Auslastung berücksichtigt.

Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (6) für jeden Roboter (4, 4‘, 4“) mögliche Bewegungstrajektorien zur Aufnahme der detektierten Sortiergüter bestimmt und die Robotertasks (10, 10‘, 10“) derart erstellt, dass die Bewegungstrajektorien jedes Roboters (4, 4‘, 4‘) im zeitlichen Mittel jeweils im Wesentlichen gleich lang sind.

Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (6) die Robotertasks (10, 10‘, 10“) derart erstellt, dass die Roboter (4, 4‘, 4‘) jeweils zum Aufgriff jener detektierten Sortierobjekte veranlasst werden, zu denen ihre Picker (5, 5‘, 5“) ausgehend von ihrer aktuellen Position den geringsten Abstand aufweisen.

Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (6) zur Erstellung der Robotertasks (10, 10‘, 10“) ein vorzugsweise in der Datenverarbeitungseinheit (6) implementiertes neuronales Auslastungssteuerungsnetz (13) abfragt.

Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Auslastungssteuerungsnetz (13) dazu ausgebildet ist, aus Roboterdaten, Umgebungsdaten, und Sortierobjektdaten eine Wahrscheinlichkeit zu berechnen, welcher der Roboter (4, 4‘, 4‘) am besten geeignet ist, das detektierte Sortierobjekt zu entfernen, wobei a. Roboterstammdaten zumindest die Position der Roboter (4, 4‘, 4“), deren aktuellen Zustand und die montierten Picker (5, 5‘, 5“) umfassen, b. Umgebungsdaten zumindest die Positionen der Abwurfschächte und die Geschwindigkeit des Förderbandes umfassen, und

19 — 61996/AG/Brantner Environment Group GmbH, Dr.-Franz-Wilhelm-Straße 2a, 3500 Krems (AT)

c. Sortierobjektdaten zumindest Art und Koordinaten detektierter Sortierobjekte sowie deren Größe und aus der detektierten Art prognostiziertes Gewicht und optimalen Greifpunkt umfassen.

Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch zusätzliche, an den Robotern (4, 4‘, 4“) angeordnete Bildaufnahmevorrichtungen unmittelbar vor einer Greifbewegung des Pickers (5, 5‘, 5‘) geprüft wird, ob sich das von der Datenverarbeitungseinheit (6) detektierte Sortierobjekt tatsächlich am detektierten Ort befindet.