DE102019132830A1

DE102019132830A1 - Verfahren und Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom

Info

Publication number: DE102019132830A1
Application number: DE102019132830.6A
Authority: DE
Inventors: Stefan Awiszus; Josef Paukert; Udo Bayer; Aurangzaib Ahmed Siddiqui
Original assignee: Krones AG
Current assignee: Krones AG
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2021-06-10
Also published as: EP4069440A1; WO2021110392A1; US20230005127A1; CN114761145A

Abstract

Verfahren (100) zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom (M), wobei die Behälter (2, 3) des Behältermassenstroms (M) auf einem Transporteur (5) stehend transportiert werden (120), wobei der Behältermassenstrom (M) mit wenigstens einer Kamera (6) als Bilddatenstrom erfasst wird (130), und wobei der Bilddatenstrom von einer Bildverarbeitungseinheit (7) ausgewertet wird, wobei der Bilddatenstrom von der Bildverarbeitungseinheit (7) mit einem tiefen neuronalen Netzwerk (71) ausgewertet wird (140), um die umgefallenen und/oder beschädigten Behälter (3) zu erkennen und zu lokalisieren.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Oberbegriffs von Anspruch 1 bzw. 13.
In Getränkeverarbeitungsanlagen ist es üblich, die Behälter zwischen einzelnen Behälterbehandlungsmaschinen als Behältermassenstrom auf einem Transporteur stehend zu transportieren. Dabei kann es gelegentlich vorkommen, dass einzelne Behälter während des Transports umfallen und somit durch die nachfolgende Behälterbehandlungsmaschine nicht mehr ordnungsgemäß verarbeitet werden können oder einen Stau verursachen. Folglich müssen die umgefallenen Behälter im Behältermassenstrom erkannt werden, um sie anschließend zu entfernen. Denkbar ist auch, dass beschädigte Behälter im Behältermassenstrom erkannt und davon entfernt werden.
Die DE 201 10 686 U1 offenbart eine Vorrichtung zum Erkennen liegender Gefäße auf einem mehrspurigen Transporteur mittels darüber angeordneter Sensoren. Als Sensoren werden berührungslos arbeitende Ultraschallsensoren verwendet.
Die US 2017/0267462 A1 offenbart eine Vorrichtung und ein Verfahren zur Intervention an einem Förderband. Dabei wird das Förderband mit einem Sensor überwacht, der beispielsweise als Ultraschall- oder Lasersensor ausgebildet ist. Liegende Produkte können mit einem Greifwerkzeug entfernt werden.
Des Weiteren wird in der EP 2 295 156 A2 eine Fördereinrichtung mit einer Einrichtung zur Erkennung von umgefallenen Artikeln und Verfahren zu deren Steuerung vorgeschlagen, wobei die geförderten Gegenstände oder Artikel innerhalb eines definierten Bereichs mit einem Laserscanner optisch erfasst werden.
Die WO 2008/116546 A2 offenbart ein Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen. Zur Steuerung oder Überwachung der Anlage wird ein optoelektronisches Erkennungssystem mit einer Wärmebildkamera vorgeschlagen, wobei in der zugeordneten Datenverarbeitungsanlage Methoden der Bildanalyse und/oder der Objekterkennung angewendet werden.
Nachteilig bei den bekannten Verfahren und Vorrichtungen ist es, dass sie individuelle Lösungen darstellen, die jeweils auf die verschiedenen Anwendungsfälle angepasst werden müssen. Beispielsweise geschieht dies durch auf den Anwendungsfall angepasste Sensoren und/oder eine spezielle Programmierung der Bildverarbeitung. Darüber hinaus müssen sie üblicherweise auf Behälterparameter genau angepasst werden und sind abhängig von den Umgebungsbedingungen.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom bereitzustellen, dass einfacher und flexibler einsetzbar ist.
Zur Lösung der Aufgabenstellung stellt Erfindung ein Verfahren zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Anspruchs 1 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen genannt.
Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit mit dem tiefen neuronalen Netzwerk ausgewertet wird, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigte Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschiedenster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkreten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar. Zudem wird hier das neuronale Netzwerk zentral für eine Vielzahl verschiedener Getränkeverarbeitungsanlagen und/oder Behältertypen trainiert und gepflegt. Folglich muss das erfindungsgemäße Verfahren nicht vor Ort bei einem Kunden aufwändig bei einer Inbetriebnahme oder Umrüstung der Getränkeverarbeitungsanlage unter Einsatz von Expertenwissen eingerichtet werden.
Das Verfahren zur Erkennung der umgefallenen und/oder beschädigten Behälter kann in einer Getränkeverarbeitungsanlage eingesetzt werden. Das Verfahren kann einem Behälterherstellungsverfahren, Reinigungsverfahren, Füllverfahren, Verschluss- und/oder Verpackungsverfahren vorgeordnet oder nachgeordnet sein. Insbesondere kann das Verfahren bei einem Transport von einem ersten Behälterbehandlungsverfahren zu einem nachfolgenden, zweiten Behälterbehandlungsverfahren eingesetzt werden.
Behälter können dazu vorgesehen sein, Getränke, Nahrungsmittel, Hygieneartikel, Pasten, chemische, biologische und/oder pharmazeutische Produkte aufzunehmen. Die Behälter können als Flaschen, insbesondere als Kunststoffflaschen, als Glasflaschen oder (Metall-) Dosen ausgebildet sein. Bei Kunststoffflaschen kann es sich im speziellen um PET-, PEN-, HD-PE- oder PP-Flaschen handeln. Ebenso kann es sich um biologisch abbaubare Behälter oder Flaschen handeln, deren Hauptbestandteile aus nachwachsenden Rohstoffen, wie zum Beispiel Zuckerrohr, Weizen oder Mais bestehen. Denkbar ist, dass die Behälter mit einem Verschluss versehen sind.
Mit den „stehenden Behältern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehen Aufstandsfläche auf dem Transporteur stehen. Beispielsweise kann die Aufstandsfläche ein ringförmiger Flächenbereich eines Flaschenbodens sein. Mit den „umgefallenen Behältern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehenen Aufstandsfläche abweichenden Behälterseite auf dem Transporteur liegen, beispielsweise mit einer Seitenfläche.
Der Transporteur kann einen Lineartransporteur und/oder ein Karussell umfassen. Denkbar ist beispielsweise, dass der Transporteur ein Förderband umfasst, auf dem die Behälter stehend in einen Erfassungsbereich der Kamera transportiert werden.
Die wenigstens eine Kamera kann ein Objektiv und einen Bildsensor umfassen, um den Behältermassenstrom optoelektronisch zu erfassen. Beispielsweise kann der Bildsensor einen CMOS- oder einen CCD-Sensor umfassen. Denkbar ist, dass der Bildsensor einen Zeilensensor oder einen Flächensensor umfasst. Die wenigstens eine Kamera kann über eine Datenschnittstelle mit der Bildverarbeitungseinheit verbunden sein, um den Bilddatenstrom zu übertragen. Die Datenschnittstelle kann eine analoge oder eine digitale Datenschnittstelle umfassen.
Die Bildverarbeitungseinheit kann den Bilddatenstrom mit einem Signalprozessor und/oder mit einer CPU verarbeiten. Denkbar ist auch, dass die Bildverarbeitungseinheit dazu eine Speichereinheit, eine oder mehrere Datenschnittstellen, beispielsweise eine Netzwerkschnittstelle, eine Anzeigeeinheit und/oder eine Eingabeeinheit umfasst. Die Bildverarbeitungseinheit kann den Bilddatenstrom in einzelne Bilder aufteilen, die jeweils einzelnen mit dem tiefen neuronalen Netzwerk ausgewertet werden. Denkbar ist auch, dass die Bildverarbeitungseinheit den Bilddatenstrom mit Bildverarbeitungsalgorithmen auswertet, insbesondere Filtern und dergleichen.
Das tiefe neuronale Netzwerk kann eine Eingabeschicht, eine Ausgabeschicht und wenigstens zwei dazwischenliegende, verdeckte Schichten umfassen. Die Ausgabeschicht kann mit der Eingabeschicht über die wenigstens zwei verdeckten Schichten verbunden sein. Der Bilddatenstrom kann der Eingabeschicht zugeführt werden, insbesondere Bilder des Bilddatenstroms. Mit der Ausgabeschicht können Signale ausgegeben werden, um für jeden Behälter eine Wahrscheinlichkeit anzugeben, ob er steht oder ob er umgefallen und/oder ob er beschädigt ist. Darüber hinaus können mit der Ausgabeschicht Signale ausgegeben werden, an welcher Position auf dem Transporteur sich der jeweilige Behälter befindet. Denkbar ist auch, dass mit der Ausgabeschicht Signale ausgegeben werden, wie die Behälter jeweils orientiert sind. Die Eingabeschicht, die wenigstens zwei verdeckten Schichten und/oder die Ausgabeschicht können jeweils neuronale Knoten umfassen und/oder über neuronale Verbindungen miteinander verbunden sein.
Das tiefe neuronale Netzwerk kann mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern trainiert werden, sodass das tiefe neuronale Netzwerk anhand des Trainingsdatensatzes ein Modell entwickelt, um die stehenden und umgefallenen und/oder beschädigten Behälter des Behältermassenstroms voneinander zu unterscheiden. Dadurch kann das tiefe neuronale Netzwerk mit einer hohen Anzahl von verschiedenen Fällen trainiert werden, sodass die Auswertung weitestgehend unabhängig von Behältertyp und/oder Umgebungseinflüssen ist. Beispielsweise kann der Trainingsdatensatz Bilder von Behältern unterschiedlicher Größe, Ausrichtung oder Position umfassen. Die Bilder des Trainingsdatensatzes können mit der wenigstens einen Kamera aufgenommen werden. Denkbar ist, dass dies in einer Testanlage oder direkt vor Ort bei einem Betreiber der Getränkeverarbeitungsanlage geschieht. Denkbar ist auch, dass beim Hersteller der Getränkeverarbeitungsanlage eine Datenbank mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern angelegt wird, um diese dann mit dem Trainingsdatensatz zu verwenden.
Denkbar ist, dass der Trainingsdatensatz Bilder aus dem Behältermassenstrom der Getränkeverarbeitungsanlage eines Getränkeherstellers umfasst und der Trainingsdatensatz zum Hersteller der Getränkeverarbeitungsanlage übertragen wird (z.B. per Internet) und, dass das tiefe neuronale Netzwerk dann beim Hersteller mit dem Trainingsdatensatz trainiert wird. Dadurch kann das tiefe neuronale Netzwerk zentral von Experten trainiert und/oder geprüft werden.
Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Behältertypen umfassen. Dadurch kann das tiefe neuronale Netzwerk besonders gut auf unterschiedliche Behältertypen trainiert werden.
Denkbar ist auch, dass wenigstens eines der Bilder des Trainingsdatensatzes eine Kombination von verschiedenen Behältertypen umfasst. Dadurch können auch verschiedenartige Behältertypen in einem Behältermassenstrom besonders zuverlässig erkannt und lokalisiert werden.
Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Umgebungsverhältnissen, insbesondere Beleuchtungsverhältnissen umfassen. Dadurch können die umgefallenen und/oder beschädigten Behälter unabhängig von den Umgebungsverhältnissen besonders gut erkannt werden. Denkbar ist, dass der Trainingsdatensatz Bilder mit unterschiedlichem Sonnenstand, Beleuchtungsstärken und dergleichen umfasst.
In den Bildern des Trainingsdatensatzes und/oder in Metadaten der Bilder können die stehenden und/oder umgefallenen und/oder beschädigten Behälter gekennzeichnet sein, insbesondere über wenigstens eine umgebende Box (Bounding Box). Dadurch können dem tiefen neuronalen Netzwerk besonders viele Informationen über die stehenden und/oder die umgefallenen und/oder die beschädigten Behälter bereitgestellt werden. Zudem ist es mit der umgebenden Box möglich, dass im Trainingsdatensatz Informationen enthalten sind, die die Orientierung und den Ort der stehenden und/oder der umgefallenen und/oder der beschädigten Behälter beschreibt.
Die Bilder des Trainingsdatensatzes können automatisch vervielfältigt werden, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen und/oder beschädigten Behältern zu erstellen. Dadurch kann der Aufwand bei der Erstellung des Trainingsdatensatzes erheblich verringert werden. Denkbar ist, dass bei der Vervielfältigung Bildausschnitte mit jeweils einem stehenden oder umgefallenen und/oder beschädigten Behälter erstellt werden. Die Bildausschnitte können aus einem Originaldatensatz stammen. Denkbar ist, dass die Bildausschnitte bei der Vervielfältigung individuell gedreht und/oder vergrößert werden. Es ist auch denkbar, dass bei den Bildausschnitten während der Vervielfältigung wenigstens ein Belichtungsparameter verändert wird. Anschließend können die Bildausschnitte wieder zu den Bildern des Trainingsdatensatzes zusammengesetzt werden. Dadurch können über wenige Originalbilder sehr viele unterschiedliche Bilder des Trainingsdatensatzes bereitgestellt werden. Mit dem Belichtungsparameter kann eine Helligkeit und/oder ein Kontrast eines Bildausschnitts gemeint sein.
Die umgefallenen und/oder beschädigten Behälter können von den stehend transportierten Behältern des Behältermassenstroms nach der Erkennung und Lokalisation durch das tiefe neuronale Netzwerk automatisch getrennt werden, insbesondere mit einem Greifarm oder mit einer Weiche. Dadurch können die umgefallenen und/oder beschädigten Behälter ohne Unterbrechung des Behältermassenstroms vom Transporteur entfernt werden. Bei dem Greifarm kann es sich beispielsweise um einen Roboter mit einem Greifwerkzeug handeln.
Denkbar ist, dass der Bilddatenstrom kontinuierlich erfasst wird und mittels eines Schiebefensters in einzelne Bilder unterteilt wird, wobei die einzelnen Bilder anschließend mit dem tiefen neuronalen Netzwerk ausgewertet werden. Dadurch kann der Bilddatenstrom besonders einfach zur Verarbeitung durch das tiefe neuronale Netzwerk bereitgestellt werden. Denkbar ist in diesem Fall, dass die Kamera als Zeilenkamera ausgebildet ist, mit der der Behältermassenstrom kontinuierlich erfasst wird. Mit dem Schiebefenster kann hier ein Schiebefenster-Algorithmus gemeint sein. Anders ausgedrückt kann das Schiebefenster ein Bildbereich des Bilddatenstroms sein, der fortwährend um feste Schritte verschoben wird.
Darüber hinaus stellt die Erfindung zur Lösung der Aufgabenstellung eine Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Anspruchs 13 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen genannt.
Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und die Bildverarbeitungseinheit das tiefe neuronale Netzwerk zur Auswertung des Bilddatenstroms umfasst, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigten Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschiedenster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkreten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar.
Die Vorrichtung zur Kennung der umgefallenen und/oder beschädigten Behälter in dem Behältermassenstrom kann in einer Getränkeverarbeitungsanlage angeordnet sein. Denkbar ist, dass dem Transporteur wenigstens eine Behälterbehandlungsmaschine vor- und/oder nachgeordnet ist. Anders ausgedrückt kann der Transporteur zwei Behälterbehandlungsmaschinen miteinander verbinden.
Die Vorrichtung kann die zuvor in Bezug auf das Verfahren beschriebenen Merkmale, insbesondere nach einem der Ansprüche 1-12, einzelnen oder in beliebigen Kombinationen sinngemäß umfassen.
Die Bildverarbeitungseinheit kann ein Speichermedium mit Maschineninstruktionen umfassen, die, wenn sie mit der Bildverarbeitungseinheit ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk auswerten. Anders ausgedrückt kann die Bildverarbeitungseinheit das tiefe neuronale Netzwerk umfassen. Denkbar ist, dass das Speichermedium Maschineninstruktionen umfasst, mit denen das zuvor beschriebene Verfahren wenigstens teilweise ausgeführt werden kann. Insbesondere können die Maschineninstruktionen diejenigen Teile des Verfahrens ausführen, welche mit der Bildverarbeitungseinheit und/oder mit dem tiefen neuronalen Netzwerk durchgeführt werden.
Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigt:

1 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung zur Erkennung von umgefallenen Behältern in einem Behältermassenstrom in einer Draufsicht;
2 zwei beispielhafte Bilder des von der Kamera aus der 1 ausgegebenen Bilddatenstroms;
3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Erkennung von umgefallenen Behältern als Flussdiagramm;
4 ein Ausführungsbeispiel eines Teilabschnitts des Verfahrens aus der 3 zum Training des tiefen neuronalen Netzwerks; und
5 ein Ausführungsbeispiel eines Teilabschnitts des Verfahrens aus der 3 zur Auswertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk.

In der 1 ist ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 1 zur Erkennung von umgefallenen Behältern 3 in einem Behältermassenstrom M in einer Draufsicht dargestellt. Zu sehen ist der Transporteur 5, der hier beispielhaft als Förderband ausgebildet ist und auf dem die Behälter 2, 3 des Behältermassenstroms in der Richtung R transportiert werden. Der Transporteur 5 ist in erster Linie dazu ausgebildet, die Behälter 2 stehend zu transportieren. Zu sehen sind jedoch auch einige umgefallene Behälter 3, die beispielsweise durch Erschütterungen oder beim Führen der Behälter umgefallen sind. Denkbar ist auch, dass die Vorrichtung alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Da die umgefallenen und/oder beschädigten Behälter 3 vor einer nachfolgenden Behälterbehandlungsmaschine nicht ordnungsgemäß verarbeitet werden oder einen Stau verursachen können, müssen sie erkannt und vom Transporteur 5 entfernt werden.
Dazu ist die Kamera 6 am Transporteur 5 angeordnet, die die stehenden Behälter 2 und die umgefallenen Behälter 3 von schräg oben her erfasst. Die Anordnung der Kamera 6 ist hier nur beispielhaft gezeigt. Denkbar ist auch, dass mehrere Kameras vorhanden sind, die von schräg oben in dieselbe Richtung oder in entgegengesetzte Richtungen blicken. Denkbar ist auch eine Anordnung direkt von oben senkrecht auf eine Transportoberfläche des Transporteurs 5.
Die Kamera 6 erfasst also den Behältermassenstrom M als Bilddatenstrom und überträgt diesen mittels der Datenschnittstelle 8 zur Bildverarbeitungseinheit 7, um den Bilddatenstrom mit dem neuronalen Netzwerk 71 auszuwerten.
Die Bildverarbeitungseinheit 7 umfasst dazu ein Speichermedium mit Maschineninstruktionen, die, wenn sie mit der Bildverarbeitungseinheit 7 ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk 71 auswerten.
Das neuronale Netzwerk 71 ist dazu ausgebildet, die umgefallenen Behälter 3 zu erkennen und zu lokalisieren. Auf Basis der Auswertung können dann die umgefallenen Behälter 3 mit einer hier nicht dargestellten Weiche oder mittels eines Greifarms vom Transporteur 5 entfernt werden.
In der 2 sind zwei beispielhafte Bilder 11 und 12 des von der Kamera 6 aus der 1 ausgegebenen Bilddatenstroms dargestellt.
Denkbar ist, dass die Kamera 6 einen Flächensensor umfasst, mit dem die Bilder 11, 12 jeweils zu einem Zeitpunkt flächig erfasst werden. Alternativ ist auch denkbar, dass die Kamera 6 einen Zeilensensor umfasst, mit dem der Bilddatenstrom kontinuierlich erfasst und mittels eines Schiebefensters in einzelne Bilder 11, 12 unterteilt wird, wobei die einzelnen Bilder 11, 12 anschließend mit dem tiefen neuronalen Netzwerk 71 ausgewertet werden.
Des Weiteren ist in den Bildern 11, 12 zu erkennen, dass nach der Auswertung durch das tiefe neuronale Netzwerk 71 die stehenden Behälter 2 jeweils mit einer umgebenden Box 21 gekennzeichnet sind. Darüber hinaus sind auch die umgefallenen Behälter 3 mit einer anderen umgebende Box 31 gekennzeichnet, die ihn einerseits markiert und andererseits dessen Ort und Orientierung angibt. Auf Basis dieser Informationen kann dann die genaue Position der umgefallenen Behälter 3 auf dem Transporteur 5 als Signal ausgegeben werden bzw. der/die umgefallene/-n Behälter 3 bis zu der hier nicht dargestellten Weiche signaltechnisch mitverfolgt werden und automatisch aussortiert.
In der 3 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens 100 zur Erkennung von umgefallenen Behältern 3 als Flussdiagramm dargestellt. Zu sehen ist, dass im Schritt 110 zunächst das tiefe neuronale Netzwerk mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen Behältern trainiert wird, sodass das tiefe neuronale Netzwerk anhand des Trainingsdatensatzes ein Modell entwickelt. Anhand dieses Modells kann dann das tiefe neuronale Netzwerk im Betrieb erkennen, was ein stehender Behälter und was ein umgefallener Behälter ist.
Das Verfahren 100 wird anhand von umgefallenen Behältern 3 genauer beschrieben. Denkbar ist, dass das Verfahren 100 alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Entsprechend werden im Trainingsdatensatz hier nicht genauer dargestellte, beschädigte Behälter trainiert. Diese Behälter können Deformationen aufweisen sowie auch zerbrochene Behälter zeigen.
Der Trainingsdatensatz kann aus einem Satz größer 1000, bevorzugt größer 5000 und besonders bevorzugt größer 10000 Bildern gewonnen werden.
Im Schritt 120 werden die Behälter 2 des Behältermassenstroms auf dem Transporteur 5 stehend transportiert. Dabei kann es gelegentlich vorkommen, dass einer der Behälter 2 umfällt und dann als umgefallener Behälter 3 auf dem Transporteur 5 liegt.
Um die umgefallenen Behälter 3 zu erkennen, wird zunächst der Behältermassenstrom M mit wenigstens einer Kamera 6 als Bilddatenstrom erfasst (Schritt 130), der anschließend von der Bildverarbeitungseinheit 7 mit dem tiefen neuronalen Netzwerk 71 ausgewertet wird (Schritt 140).
Die umgefallenen Behälter 3 werden von den stehend transportierten Behältern 2 des Behältermassenstroms nach der Erkennung und Lokalisation automatisch getrennt (Schritt 150), beispielsweise mit einem Greifarm oder mit einer Weiche.
In der 4 ist ein Ausführungsbeispiel des Teilabschnitts 110 des Verfahrens 100 aus der 3 zum Training des tiefen neuronalen Netzwerks 110 als Flussdiagramm genauer dargestellt.
Zunächst werden im Schritt 111 Bilder von verschiedenen Behältertypen und/oder verschiedenen Beleuchtungsverhältnissen erfasst. Denkbar ist beispielsweise, dass dies auf einer Testanlage geschieht oder, dass Bilder vom Behältermassenstrom M verschiedener Getränkeverarbeitungsanlagen in einer Datenbank gesammelt werden.
Nachfolgend werden die Bilder im Schritt 112 auf ein Standardmaß skaliert. Dadurch können Sie einheitlich ausgewertet werden.
Im Schritt 113 werden die umgefallenen und die stehenden Behälter 2, 3 markiert und klassifiziert. Dies kann manuell, halbautomatisch oder automatisch geschehen. Beispielsweise kann dies manuell von einer Bedienperson an einem Bildschirm geschehen oder mit einem besonders rechenintensiven Bildverarbeitungsalgorithmus. Bei der Markierung kann es sich beispielsweise um eine umgebende Box handeln und bei der Klassifizierung um einen Behältertyp oder eine Behältergröße.
Anschließend werden im Schritt 114 die Bilder automatisiert vervielfältigt, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen Behältern 2, 3 zu erstellen. Dabei werden zunächst Bildausschnitte mit jeweils einem stehenden oder einem umgefallenen Behälter 2, 3 erstellt, die dann zur Vervielfältigung individuell gedreht und/oder vergrößert werden. Denkbar ist auch, dass Belichtungsparameter der Bildausschnitte während der Vervielfältigung verändert werden. Anschließend können die Bildausschnitte in verschiedensten Kombinationen als weitere Bilder zusammengesetzt werden, aus denen dann im Schritt 115 der Trainingsdatensatz erstellt wird.
Im nachfolgenden Schritt 116 werden mittels des tiefen neuronalen Netzwerks 71 Merkmale automatisch extrahiert. Dabei kommt beispielsweise ein mehrstufiges Filterverfahren des Trainingsdatensatzes zum Einsatz. Denkbar ist, dass dabei Kantenfilter oder dergleichen verwendet werden, um die äußere Grenze jedes einzelnen Behälters 2, 3 extrahieren.
Mit der Extraktion von Merkmalen kann hier ganz allgemein ein Verfahren zum Erkennen und/oder Lokalisieren von Unterscheidungsmerkmalen der umgefallenen Behälter 3 gegenüber den stehenden Behältern 2 in den Bildern des Trainingsdatensatzes gemeint sein. Alternativ zur automatischen Extraktion mit dem tiefen neuronalen Netzwerk 71 kann dies auch manuell durch eine Bedienperson geschehen. Beispielsweise können die extrahierten Merkmale einen Behälterverschluss, eine Kontur eines stehenden bzw. umgefallenen Behälters 2,3, ein Behälteretikett und/oder Lichtreflektionen umfassen. Die extrahierten Merkmale können jeweils eine Merkmalsklassifizierung, eine 2D- und/oder 3D-Koordinate umfassen.
Nachfolgend wird im Schritt 117 das tiefe neuronale Netzwerk 71 mit dem Trainingsdatensatz trainiert. Dabei werden dem tiefen neuronalen Netzwerk 71 iterativ Bilder des Trainingsdatensatzes mit den extrahierten Merkmalen sowie den zugehörigen Markierungen und Klassifizierungen der umgefallenen und stehenden Behälter 2, 3 vorgegeben. Daraus entwickelt das tiefe neuronale Netzwerk 71 im Schritt 118 ein Modell, mit dem die umgefallenen und die stehenden Behälter 2, 3 erkannt werden können.
Im nachfolgenden Schritt 119 kann dann das Modell mittels des Trainingsdatensatzes ohne Vorgabe der Markierungen und Klassifizierungen verifiziert werden. Dabei wird verglichen, ob das tiefe neuronale Netzwerk 71 die zuvor vorgegebenen Markierungen und Klassifizierungen tatsächlich in dem Trainingsdatensatz erkennt. Ebenso können weitere Bilder mit umgefallenen und stehenden Behälter 2, 3 dazu herangezogen werden, die das tiefe neuronale Netzwerk 71 nicht trainiert wurde.
In der 5 ist der Teilschritt 140 des Verfahrens 100 aus der 3 zur Auswertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk 71 als Flussdiagramm genauer dargestellt.
Zu sehen ist, dass die Bilder des Bilddatenstroms aus der 1 zunächst skaliert werden. Dadurch arbeitet die Auswertung unabhängig von der tatsächlichen Konfiguration der Kamera.
Anschließend werden im Schritt 142 die Merkmale extrahiert. Dies geschieht in gleicher Art und Weise wie im Schritt 116 in Bezug auf die 4 beschrieben.
Anschließend erkennt das tiefe neuronale Netzwerk im Schritt 143 die Orientierung und den Ort des jeweiligen Behälters 2, 3 und gibt eine Wahrscheinlichkeit an, ob dieser Behälter 2, 3 liegend oder stehend auf dem Transporteur 5 transportiert wird.
Diese Information wird anschließend im Schritt 144 visualisiert und gemäß der 2 an einem Bildschirm ausgegeben. Dadurch kann eine Bedienperson überprüfen, ob die Erkennung ordnungsgemäß abläuft.
Des Weiteren wird bei einem umgefallenen Behälter 3 im Schritt 145 ein Signal ausgegeben, um diesen vom Transporteur 5 zu entfernen, beispielsweise mit einer Weiche oder einem Greifarm.
Dadurch, dass der Behältermassenstrom M mit der wenigstens einen Kamera 6 als Bilddatenstrom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit 7 mit dem tiefen neuronalen Netzwerk 71 ausgewertet wird, können die Bilder des Bilddatenstroms anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks 71 ausgewertet werde, um die stehenden und umgefallenen Behälter 2, 3 jeweils zu klassifizieren. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk 71 mit Bildern verschiedenster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es beim konkreten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar.
Es versteht sich, dass in den zuvor beschriebenen Ausführungsbeispielen genannte Merkmale nicht auf diese Kombination beschränkt sind, sondern auch einzelnen oder in beliebigen anderen Kombinationen möglich sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 20110686 U1 [0003]
US 2017/0267462 A1 [0004]
EP 2295156 A2 [0005]
WO 2008/116546 A2 [0006]

Claims

Verfahren (100) zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom (M), wobei die Behälter (2, 3) des Behältermassenstroms (M) auf einem Transporteur (5) stehend transportiert werden (120), wobei der Behältermassenstrom (M) mit wenigstens einer Kamera (6) als Bilddatenstrom erfasst wird (130), und wobei der Bilddatenstrom von einer Bildverarbeitungseinheit (7) ausgewertet wird, dadurch gekennzeichnet, dass der Bilddatenstrom von der Bildverarbeitungseinheit (7) mit einem tiefen neuronalen Netzwerk (71) ausgewertet wird (140), um die umgefallenen und/oder beschädigten Behälter (3) zu erkennen und zu lokalisieren.
Verfahren (100) nach Anspruch 1, wobei das tiefe neuronale Netzwerk (71) mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern (2, 3) trainiert wird (110), so dass das tiefe neuronale Netzwerk (71) anhand des Trainingsdatensatzes ein Modell entwickelt, um die stehenden und umgefallenen Behälter (2, 3) des Behältermassenstroms (M) voneinander zu unterscheiden.
Verfahren (100) nach Anspruch 2, wobei der Trainingsdatensatz Bilder (11, 12) der stehenden und der umgefallenen und/oder beschädigten Behälter (2, 3) mit verschiedenen Behältertypen umfasst.
Verfahren (100) nach Anspruch 3, wobei wenigstens eines der Bilder (11, 12) des Trainingsdatensatzes eine Kombination von verschiedenen Behältertypen umfasst.
Verfahren (100) nach einem der Ansprüche 2-4, wobei der Trainingsdatensatz Bilder (11, 12) der stehenden und der umgefallenen und/oder beschädigten Behälter (2, 3) mit verschiedenen Umgebungsverhältnissen, insbesondere Beleuchtungsverhältnissen umfasst.
Verfahren (100) nach einem der Ansprüche 2-5, wobei in den Bildern des Trainingsdatensatzes und/oder in Metadaten der Bilder (11, 12) die stehenden und/oder die umgefallenen und/oder beschädigten Behälter (2, 3) gekennzeichnet sind, insbesondere über wenigstens eine umgebende Box (4.1, 4.2).
Verfahren (100) nach einem der Ansprüche 2-6, wobei die Bilder (11, 12) des Trainingsdatensatzes automatisiert vervielfältigt werden (114), um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen und/oder beschädigten Behältern (2, 3) zu erstellen.
Verfahren (100) nach Anspruch 7, wobei bei der Vervielfältigung (114) Bildausschnitte mit jeweils einem stehenden oder umgefallenen und/oder beschädigten Behälter (2, 3) erstellt werden.
Verfahren (100) nach Anspruch 8, wobei die Bildausschnitte bei der Vervielfältigung (114) individuell gedreht und/oder vergrößert werden.
Verfahren (100) nach Anspruch 8 oder 9, wobei bei den Bildausschnitten während der Vervielfältigung (114) wenigstens ein Belichtungsparameter verändert wird.
Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei die umgefallenen und/oder beschädigten Behälter (3) von den stehend transportierten Behältern (2) des Behältermassenstroms nach (M) der Erkennung und Lokalisation durch das tiefe neuronale Netzwerk (71) automatisch getrennt werden (150), insbesondere mit einem Greifarm oder mit einer Weiche.
Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei der Bilddatenstrom kontinuierlich erfasst und mittels eines Schiebefenster in einzelne Bilder (11, 12) unterteilt wird, und wobei die einzelnen Bilder (11, 12) anschließend mit dem tiefen neuronalen Netzwerk (71) ausgewertet werden.
Vorrichtung (1) zur Erkennung von umgefallenen und/oder beschädigten Behältern (3) in einem Behältermassenstrom (M), insbesondere zur Durchführung des Verfahrens (100) nach einem der Ansprüche 1-12, mit - einem Transporteur (5) zum stehenden Transport der Behälter (2, 3) des Behältermassenstroms (M), - wenigstens einer Kamera (6), um den Behältermassenstrom (M) als Bilddatenstrom zu erfassen, und - mit einer Bildverarbeitungseinheit (7), um den Bilddatenstrom auszuwerten, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (7) ein tiefes neuronales Netzwerk (71) zur Auswertung des Bilddatenstroms umfasst, um die umgefallenen und/oder beschädigten Behälter (3) zu erkennen und zu lokalisieren.
Vorrichtung (1) nach Anspruch 13, wobei Bildverarbeitungseinheit (7) ein Speichermedium mit Maschineninstruktionen umfasst, die, wenn sie mit der Bildverarbeitungseinheit ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk (71) auswerten.