-
Die Erfindung betrifft einen Gabelstapler und ein System mit einem Gabelstapler zur Identifikation einer aufzunehmenden/aufgenommenen Ware.
-
Die Handhabung von leeren Getränkeflaschen ist innerhalb Deutschlands bereits seit geraumer Zeit reglementiert. Um Energie und Ressourcen zu sparen werden Glas- und Kunststoffflaschen mittels eines Pfandsystems wiederverwendet. Im Jahr 2003 wurde deshalb auch für Einwegflaschen ein Pfand eingeführt, nachdem die entsprechenden Zahlen bzw. die Mehrwegquote über die Jahre hinweg immer mehr gesunken waren. Dadurch konnte dem hohen Abfallaufkommen entgegengewirkt werden.
-
Beim Mehrwegsystem kommen Flaschen zum Einsatz, die für die Befüllung nach einer Reinigung und Prüfung direkt wiederverwendet werden können. Im direkten Gegensatz dazu steht das Einwegsystem, dessen Produkte nach der Rücknahme in ihre Grundbestandteile zerlegt und weiterverarbeitet werden, zum Beispiel zu Glas- oder Kunststoffgranulat.
-
Nach Untersuchungen des Umweltbundesamtes sind Mehrwegflaschen umweltfreundlicher als Einwegflaschen. Der Energie- und Ressourcenverbrauch für Rücktransport und Reinigung ist bei Mehrwegflaschen geringer als der zusätzliche Herstellungsaufwand für Einwegflaschen. Dies gilt umso mehr, je regionaler der Vertrieb und je höher die Zahl der Wiederbefüllungen ist.
-
Eine Unterscheidung von Mehrwegflaschen und Einwegflaschen in Form und Beschaffenheit ist im Regelfall nur bei Kunststoffflaschen (meist aus dem Material PET Polyethylenenterephthalat hergestellt) möglich. Hier zeichnen sich Mehrwegflaschen im Vergleich zu den Einwegflaschen durch eine höhere Wandstärke und somit Stabilität aus, da die Flaschen einen signifikant längeren Lebenszyklus überstehen müssen.
-
Im Falle von Mehrwegflaschen, unabhängig von dem Material der Flaschen, stellt das sogenannte Leergut-Management sämtliche Getränkehersteller vor große Herausforderungen. Das Leergut-Management kann dabei prinzipiell in zwei verschiedene Teilbereiche unterteilt werden:
- • Externes Leergut-Management (bei den Kunden eines Getränkeherstellers)
- • Internes Leergut-Management (beim Getränkehersteller):
-
Zum externen Leergut-Management zählt dabei die eigentliche Leergutannahme innerhalb des Getränkehandels über die Kunden, die dortige oder externe Vorsortierung und die logistische Verknüpfung bzw. die Überführung der Leergutware zum Zielort des Getränkeherstellers.
-
Das interne Leergut-Management umfasst im Gegensatz dazu die Leergutanlieferung beim Getränkehersteller selbst, die datenseitige Erfassung und Lagerung der Ware, die Reinigung und Inspektion, sowie die passende Bereitstellung des Leerguts an geeigneter Stelle in der Produktion.
-
Im Folgenden soll die Problemstellung anhand des Ablaufes beim Leergut-Management erläutert werden.
-
Die gebrauchten, von den Kunden zurückgegebenen Mehrwegflaschen, werden in der Regel am Ort des Händlers oder durch spezielle Dienstleister vorsortiert. Dabei erfolgt diese Vorsortierung größtenteils händisch in den Getränkerücknahmestellen oder aber auch automatisiert durch die beim Einzelhandel aufgestellten Getränkerückgabeautomaten. Bei diesen Dienstleistern, wird diese Vorsortierung ebenfalls manuell oder automatisiert durchgeführt. Diese Prozesse der Vorsortierung im externen Leergut-Management stellen damit eine relativ hohe Sortenreinheit der Getränkekästen sicher, so dass davon ausgegangen werden kann, dass innerhalb eines Kastens, die richtigen dazugehörigen Flaschen enthalten sind.
-
Nach Transport der leeren Mehrwegflaschen zum Getränkehersteller setzt nun das interne Leergut-Management an.
-
Die Anlieferung des Leerguts beim Getränkehersteller geschieht im Regelfall in Kistenform auf genormten, mehrwegfähigen Transportpaletten. Die Menge an Leergut, welche hierbei verarbeitet werden muss, ist bei einem großen Getränkehersteller sehr hoch. Beispielsweise werden bei dem Mineralbrunnen Gerolsteiner pro Jahr ca. 30.000 LKW mit jeweils 36 Paletten abgewickelt.
-
Der Ablauf im Stand der Technik ist dabei wie folgt:
-
Die Staplerfahrer müssen den LKW mit sehr kurzen Zeitvorgaben entladen. Während der Staplerfahrer die Paletten auf die Gabel nimmt, muss er hierbei gleichzeitig meistens mittels eines Terminals im Stapler die Anzahl der Paletten und den Kasten-/Flaschentyp erfassen. Diese Daten fließen dann direkt in das Warenwirtschaftssystem, welches für die anschließenden Lagerungs- und Produktionsprozesse die Daten bereitstellt.
-
Die Erfassung des Kasten-/Flaschentyps ist dabei stark fehlerbehaftet. Die Gründe für diese hohe Fehlerquote sind dabei u. a. die Folgenden:
- • Kurze Zeitvorgaben für die Entladung
- • Mehrere Stapler entladen einen LKW, dadurch Konzentration auf Staplerverkehr
- • Die Stapler können (bei entsprechender Ausstattung) mehrere Paletten gleichzeitig auf die Gabeln nehmen. Dies sind oft 4 Paletten, auch 8 oder bis zu 12 Stück.
- • Aus Marketinggründen bestehen inzwischen sehr unterschiedliche Kasten-/Flaschentypen, welche leicht verwechselt werden können
- • Schlechte Sichtverhältnisse bei der Entladung
- • Manuelle Eingaben in aufgrund der hohen Sortenzahl unübersichtlichen Menüs
- • Unterschiedliche Qualität der Vorsortierung, d. h. auf einer Palette sind unterschiedliche Kasten-/Flaschentypen enthalten
-
Da die Eingabequalität des Staplerfahrers direkt die erwarteten IST-Bestände an Leergut beeinflusst, kann es bei zu starken Abweichungen zu direkten Folgeproblemen in der Produktion kommen. Beispielsweise wird die Produktion einer Charge eines Produktes mit dem dazugehörigen Flaschentyp gestartet. Aufgrund der falschen Bestände kommt es dazu, dass zunächst die falschen Kasten-/Flaschentypen in der produktionsbegleitenden Logistik verarbeitet werden und dann erst während des Produktionsprozesses die fehlerhafte Zuordnung erkannt wird. Darüber hinaus ist die geplante Kasten-/Flaschenmenge möglicherweise physisch gar nicht vorhanden (Diskrepanz im Lagerbestand) und die Produktion wird vorzeitig gestoppt. Die Anlage muss umgerüstet werden und das geplante Produkt kann in der geforderten Menge nicht produziert werden. Dadurch werden hohe Kosten in der ohnehin aufgrund des Preiskampfs im Einzelhandel unter Druck stehenden Getränkebranche verursacht. Darüber hinaus entsteht eine erhebliche Verschwendung an Ressourcen und Energie aufgrund der vermeidbaren Aufwände für das Handling von falschen Kästen-/Flaschen.
-
An dem Folgenden Beispiel soll die Relevanz des bestehenden Problems verdeutlicht werden:
-
Bei täglich bis zu 6.000 Paletten und einer Fehlerquote von bis zu 10% (d.h. 600 Paletten) würde dies eine Fehlzuordnung von 480.000 Flaschen bedeuten. Über mehrere Tage betrachtet führt das zu einer vollkommen unzureichenden Erfassung des IST-Bestandes an Leergut. Hierbei wird davon ausgegangen, dass in dem vorgelagerten externen Leergut-Management bereits vollkommen sortenreine Paletten mit nur einem Kasten-/Flaschentyp bereitgestellt wurden. Insbesondere bei hoher Variantenzahl an unterschiedlichen Kästen-/Flaschen aufgrund hoher Individualisierung der Produkte und bei kleineren Händlern, ist es zunehmend nicht möglich, eine Palette immer sortenrein bereitzustellen. Dadurch wird die Fehlerquote zunehmend weiter steigen.
-
Dieser Sachverhalt stellt heutzutage die größte Herausforderung für die Getränkehersteller dar.
-
Auch in anderen Branchen wie der Automobil-Industrie / -Zulieferindustrie wird häufig mit Leergut (Ladungsträgern, KLTs) gearbeitet. Diese Ladungsträger dienen der Aufnahme spezieller Bauteile, die beispielsweise zu der Automobilfertigung eingesetzt werden. Diese Ladungsträger sind meist für Aufnahme ganz spezifischer Artikel hergestellt und befinden sich daher in einem Kreislaufsystem zwischen Automobilhersteller und seinen Zulieferfirmen.
-
Diese Ladungsträger haben einen hohen Wert, da sie spezielle für ein Produkt gebaut wurden.
-
Das bedeutet für die Zulieferfirmen, dass sie den Wareneingang des Leergutes ebenso wie die Getränkehersteller verwalten müssen. Egal ob die Ladungsträger dem Zulieferer oder dem Automobilhersteller gehören. Wenn sie das nicht tun, besteht das Risiko, dass sie die hohen Kosten für fehlende Ladungsträger tragen müssen. Auch hier ist eine manuelle Erfassung des Leergutes (also wenn der Ladungsträger leer ist, im vollen Zustand hat er ein Barcodelabel) notwendig. Eine schnelle und zuverlässige Erfassung des Leergutes mittels der vorgestellten Erfindung, ist also auch in Industrien sinnvoll, die mit individuellen Ladungsträgern zur Aufnahme von Bauteilen arbeiten.
-
Hiervon ausgehend, liegt der Erfindung die Aufgabe zugrunde, eine dynamische, mobile, und echtzeitfähige Mengen- und Typerfassung einer Ware beim Ent- oder Beladen zur Verfügung zu stellen welche Fehlsortierungen zuverlässig erkennt.
-
Diese Aufgabe wird gemäß einem ersten Aspekt der vorliegenden Erfindung durch einen Gabelstapler gelöst. Der Gabelstapler umfasst: erstes Kamerasystem mit einer ersten Kamera, die ausgebildet ist, eine erste Seite einer aufzunehmenden Ware zu erfassen; ein zweites Kamerasystem mit einer zweiten Kamera, die ausgebildet ist, eine zweite Seite der Ware zu erfassen, während oder nachdem sie durch den Gabelstapler aufgenommen wurde, wobei sich die erste Seite von der zweiten Seite unterscheidet; ein erstes Sensorsystem mit einem ersten Sensor, der ausgebildet ist, einen Abstand des Gabelstaplers von der Ware zu erfassen; eine Steuerung, die ausgebildet ist, ein erstes Aktivierungssignal an die erste Kamera auszugeben, wenn der vom ersten Sensor erfasste Abstand einen Mindestabstand unterschreitet; und eine Übertragungseinheit, die ausgebildet ist, die durch die erste Kamera und durch die zweite Kamera jeweils erfassten Bilddaten der Ware an ein Datenverarbeitungssystem zur Identifikation der Ware zu übertragen. Mit der ersten und der zweiten Kamera des Gabelstaplers werden die Bilddaten der aufzunehmenden/aufgenommenen Ware, insbesondere einer Palette von Leergutkästen, in Echtzeit generiert und an das Datenverarbeitungssystem übertragen. Die Analyse der Bilddaten hat den Vorteil, dass die Ware, insbesondere eine Typerfassung des Leerguts, bestimmt werden kann. Dies erlaubt eine genaue Erfassung der aktuellen Bestände an Leergut und somit einen effizienteren Produktionsprozess.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist das erste Sensorsystem ultraschall- oder radarbasiert, um den Abstand des Gabelstaplers exakt zu bestimmen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung umfasst der Gabelstapler ein zweites Sensorsystem mit einem zweiten Sensor, der ausgebildet ist, eine Aufnahme der Ware durch den Gabelstapler zu erfassen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist die Steuerung weiterhin ausgebildet, ein zweites Aktivierungssignal an die zweite Kamera auszugeben, wenn durch den zweiten Sensor bestimmt wird, dass eine Ware aufgenommen wurde.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung weist das zweite Kamerasystem eine ausfahrbare Vorrichtung auf, die ausgebildet ist, die zweite Kamera in eine Position zu bringen, die eine Erfassung der zweiten Seite der Ware ermöglicht. So kann eine hintere Seite der Ware W erfasst werden.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung sind die erste Kamera und die zweite Kamera 3D-Kameras. So können die Dimensionen der Ware, wie Höhe und Breite bestimmt werden.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung enthält der Gabelstapler das Datenverarbeitungssystem. Dies hat den Vorteil, dass die Bildanalyse am Gabelstapler in Echtzeit vorgenommen werden kann, und die Informationen über die identifizierte Ware direkt an ein Warenwirtschaftssystem bereitgestellt werden kann.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung umfasst das erste Kamerasystem weiterhin einen ersten Spiegel und einen zweiten Spiegel mit jeweils einer Vorrichtung, die ausgebildet ist, die Spiegel so zu positionieren, dass sie eine dritte Seite und eine vierte Seite der von dem Gabelstapler aufgenommen Ware erfassen. So können weitere Seiten der Ware erfasst werden, was eine genauere Leergut-Identifikation ermöglicht.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist die erste Kamera an einem Hubmast des Gabelstaplers angebracht.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das zweite Kamerasystem in einem der Gabelstapler-Gabeln angeordnet. Dies hat den Vorteil, dass die zweite Kamera während der Warenaufnahme eine untere Seite der Ware erfassen kann. So kann zum Beispiel sichergestellt werden, dass innerhalb einer Palette keine Leergutkästen fehlen
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung, wird die zweite Kamera nach der Warenaufnahme durch die ausfahrbare Vorrichtung so positioniert, dass sie die zweite Seite der Ware erfasst, wobei die zweite Seite der Ware der hinteren, vom Gabelstapler abgewandten Seite entspricht. Die ausfahrbare Vorrichtung ermöglicht es die zweite Kamera in verschiedene Positionen zu bringen, um somit eine vollständige Erfassung der hinteren Seite der Ware zu gewährleisten.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist der erste Spiegel und der zweite Spiegel jeweils an dem Gabelstapler angebracht, und wird nach der Warenaufnahme durch die jeweilige Vorrichtung so positioniert, dass die dritte und vierte Seite der Ware, die den seitlichen Seiten entsprechen, reflektiert wird, wobei der erste Spiegel und der zweite Spiegel nach der Warenaufnahme von der ersten Kamera anvisiert wird. Die Spiegel sind seitlich am Gabelstapler angebracht und können durch die jeweilige Vorrichtung ausgefahren/ausgeklappt werden. Die erste Kamera kann dann auch die Bilddaten der Seitenteil der Ware mittels der ausgefahrenen/ausgeklappten Spiegel erfassen was die Waren-Identifikation verbessert.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Datenverarbeitungssystem im Gabelstapler ausgebildet, eine Vorverarbeitung von Bilddaten durzuführen, die durch ein oder mehrere Kamerasysteme des Gabelstaplers erfasst werden, wobei die Vorverarbeitung eine Filterung von sensorbedingten Fehlern, eine Vorbereitung des Datenformats der Bilddaten, eine Sensordatenfusion, eine Extraktion von Merkmalen und eine maschinelle Segmentierung umfasst.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Datenverarbeitungssystem weiterhin ausgebildet aus den vorverarbeiteten Bilddaten eine Identifikation der Ware, insbesondere von Leergutkastentypen, sowie einer Anzahl der Leergutkästen, durch eine oder mehrere der folgenden Klassifizierungen durchzuführen: eine geometrische Klassifizierung basierend auf geometrische Daten, die aus den Bilddaten bestimmt werden, oder deren extrahierten Merkmalen, eine texturbasierte Klassifizierung basierend auf Farbdaten, die aus den Bilddaten bestimmt werden, und deren extrahierten Merkmalen. Weiterhin können auch die Flaschentypen der Ware W bestimmt werden.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Datenverarbeitungssystem weiterhin ausgebildet, auf Grundlage der erfassten Bilddaten eine statistische Schätzung und eine Schätzung durch maschinelles Lernen durchzuführen, um eine Vorhersage der Belegung an einzelnen Leergutkästen der aufgenommenen Ware zu bestimmen. Somit können spezifische Bildverarbeitungsalgorithmen und Maschinelle Lernverfahren (wie zum Beispiel „K-Nearest Neighbors“, neuronale Netze, etc.) miteinander kombiniert werden, um eine zuverlässige Erkennung sicherzustellen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung umfasst ein System einen Gabelstapler mit einem Ortungssystem, das ausgebildet ist eine geographische Position des Gabelstaplers in einem Lager in Echtzeit zu erfassen; einem ersten Kamerasystem mit einer ersten Kamera, die ausgebildet ist, eine dem Gabelstapler zugewandte Seite einer aufzunehmenden Ware zu erfassen; einem ersten Sensorsystem mit einem ersten Sensor, der ausgebildet ist, einen Abstand des Gabelstaplers von einer aufzunehmenden Ware zu erfassen; einer Steuerung, die ausgebildet ist, ein erstes Aktivierungssignal an die erste Kamera auszugeben, wenn der vom ersten Sensor erfasste Abstand einen Mindestabstand unterschreitet; einem Übertragungssystem, das ausgebildet ist, die durch die erste Kamera erfassten Bilddaten der Ware an ein Datenverarbeitungssystem zu übertragen; ein zweites Kamerasystem mit einer zweiten Kamera, die in einem Lager angeordnet ist, und die ausgebildet ist, mindestens eine vom Gabelstapler abgewandte Seite der Ware während und nach der Aufnahme der Ware durch den Gabelstapler zu erfassen, wobei das Datenverarbeitungssystem ausgebildet ist, die durch die erste Kamera und die zweite Kamera erfassten Bilddaten zu analysieren, um dadurch die Ware zu identifizieren. Dies ermöglicht es zwei Konzepte, das heißt eine externe und eine frontalen Bilderfassung einer Ware, zu fusionieren. Durch Kombination der erfassten Bilddaten der ersten Kamera des Gabelstaplers mit den Bilddaten der zweiten Kamera des Systems kann die Ware, insbesondere Leerguttypen, identifiziert werden.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist die zweite Kamera des zweiten Kamerasystems in einem Bereich einer Waren-Entladestelle innerhalb des Lagers, vorzugsweise an der Hallendecke, angebracht ist; oder an einem Durchfahrtstor des Lagers, welches der Gabelstapler mit der aufgenommen Ware passiert, angebracht.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung wird das Datenverarbeitungssystem durch den Gabelstapler selbst bereitgestellt.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Ortungssystem des Gabelstaplers weiterhin ausgebildet die durch die erste Kamera erfassten Bilddaten mit der geographischen Position zu versehen, um dadurch eine spätere Zuordnung der durch die erste Kamera erfassten Bilddaten mit den durch die zweite Kamera erfassten Bilddaten zu ermöglichen, wobei die durch die erste Kamera und die durch die zweite Kamera erfassten Bilddaten zusätzlich jeweils einen Zeitstempel aufweisen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Datenverarbeitungssystem ausgebildet, den Gabelstapler durch Analyse der durch die zweite Kamera erfassten Bilddaten zu identifizieren, um eine Zuordnung der durch die erste Kamera erfassten Bilddaten mit den durch die zweite Kamera erfassten Bilddaten zu ermöglichen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung, ist das Datenverarbeitungssystem ausgebildet, auf Grundlage der einander zugeordneten Bilddaten der ersten Kamera und der zweiten Kamera, eine Vorverarbeitung durzuführen, wobei die Vorverarbeitung eine Filterung von sensorbedingten Fehlern, eine Vorbereitung des Datenformats der Bilddaten, eine Sensordatenfusion, eine Extraktion von Merkmalen, und eine maschinelle Segmentierung umfasst.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist das Datenverarbeitungssystem weiterhin ausgebildet, aus den vorverarbeiteten Bilddaten eine Identifikation der Ware, insbesondere von Leergutkastentypen, sowie einer Anzahl der Leergutkästen, durch eine oder mehrere der folgenden Klassifizierungen durchzuführen: (a) eine geometrische Klassifizierung basierend auf geometrische Daten, die aus den Bilddaten bestimmt werden, oder deren extrahierten Merkmalen, und (b) eine texturbasierte Klassifizierung basierend auf Farbdaten, die aus den Bilddaten bestimmt werden, und deren extrahierten Merkmalen.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung umfasst das zweite Kamerasystem mehrere Spiegel, die im Lager angeordnet sind, und die ausgebildet sind, die von dem Gabelstapler abgewandten Seiten der Ware zu erfassen, wobei die erste Kamera weiterhin ausgebildet ist, die Spiegel bei oder nach Aufnahme der Ware anzuvisieren.
-
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung wird das zweite Kamerasystem durch eine Drohne mit Kamera gebildet.
-
Weitere Vorteile und Einzelheiten der Erfindung werden anhand der in den schematischen Figuren dargestellten Ausführungsbeispiele näher erläutert.
- 1A stellt eine perspektivische Ansicht dar, die ein System mit einem Gabelstapler gemäß ersten Ausführungsformen zeigt.
- 1B stellt eine perspektivische Ansicht dar, die den Gabelstapler gemäß der ersten Ausführungsformen im Detail zeigt.
- 2A stellt einen perspektivischen Ausschnitt dar, der eine Gabel des Gabelstaplers gemäß der ersten Ausführungsformen vor einer Warenaufnahme zeigt.
- 2B stellt einen perspektivischen Ausschnitt dar, der die Gabel des Gabelstaplers gemäß der ersten Ausführungsformen während einer Warenaufnahme zeigt.
- 2C stellt einen perspektivischen Ausschnitt dar, der die Gabel des Gabelstaplers gemäß der ersten Ausführungsformen nach einer Warenaufnahme zeigt.
- 3A stellt eine perspektivische Seitenansicht dar, die den Gabelstapler gemäß der ersten Ausführungsformen mit einem ersten Spiegel in einer ersten Position zeigt.
- 3B stellt eine perspektivische Seitenansicht dar, die den Gabelstapler gemäß der ersten Ausführungsformen mit dem ersten Spiegel in einer zweiten Position zeigt.
- 3C stellt eine perspektivische Draufsicht dar, die den Gabelstapler gemäß der ersten Ausführungsformen mit dem ersten Spiegel und einem zweiten Spiegel in der zweiten Position zeigt.
- 4 stellt ein Beispiel der Bilddatenverarbeitung dar, das eine Segmentierung eines erfassten Bildes zeigt.
-
Detaillierte Beschreibung
-
Im Folgenden wird unter Bezugnahme auf 1A und 1B ein System 100 mit einem Gabelstapler 10 gemäß ersten Ausführungsformen ausführlicher beschrieben. Der in 1A und 1B gezeigte Gabelstapler 10 kann vorzugsweise eine erste Kamera 12 umfassen, die eine erste Seite S1 einer aufzunehmenden Ware W, wie zum Beispiel eine Palette von Leergutkästen, erfasst. Das Sichtfeld der ersten Kamera 12 ist in 1A durch eine gestrichelte Linie gekennzeichnet. In dem in 1A und 1 B gezeigten Beispiel ist die erste Kamera 12 an einem Hubmast 11 des Gabelstaplers 10 angebracht. In einem weiteren (nicht dargestellten) Beispiel der ersten Ausführungsformen kann die erste Kamera 12 auch an einem Lastträger 17 des Gabelstaplers 10 angebracht werden.
-
Weiterhin kann der Gabelstapler 10 einen ersten Sensor 16 umfassen, der einen Abstand des Gabelstaplers 10 von der Ware W bestimmt. Zum Beispiel kann der erste Sensor 16 durch Laufzeitmessung von elektromagnetischen Wellen oder Schallwellen den Abstand zu der Ware W bestimmen, was durch die gestrichelte Linie in 1A gekennzeichnet ist. Der erste Sensor 16 umfasst, einen Ultraschallsensor, einen Radarsensor und einen LIDAR („Light Detection and Ranging“)-Sensor. In dem in 1A und 1 B gezeigten Beispiel ist der erste Sensor 16 am Dach des Gabelstaplers 10 angebracht. In weiteren (nicht dargestellten) Beispielen der ersten Ausführungsformen kann der erste Sensor 16 auch an einem Hubmast 11 des Gabelstaplers 10 angebracht, oder kann in eine der Gabeln 13 oder an dem Lastträger 17 des Gabelstaplers angebracht werden.
-
Eine vom Gabelstapler 10 umfasste Steuerung 20 der ersten Ausführungsformen, wie in 1B gezeigt, kann, wenn der durch den ersten Sensor 16 bestimmte Abstand einen Mindestabstand unterschreitet, ein erstes Aktivierungssignal an die erste Kamera 12 ausgeben. Die erste Kamera 12 wird durch das erste Aktivierungssignal aktiviert und beginnt mit der Aufnahme von Bilddaten der ersten Seite S1 der Ware W. Zum Beispiel erfasst die erste Kamera eine frontale, dem Gabelstapler 10 zugewandte Seite der aufzunehmenden Ware W.
-
Zusätzlich zu der ersten Kamera 12 kann der Gabelstapler 10 der ersten Ausführungsformen eine zweite Kamera 14 umfassen, die während oder nach der Aufnahme weitere Seiten der Ware W, die sich von der ersten Seite S1 unterscheiden, erfasst. In dem in 1A und 1B gezeigten Beispiel der ersten Ausführungsformen ist die zweite Kamera 14 in eine der Gabeln 13 des Gabelstaplers 10 aufgenommen. In einem weiteren (nicht dargestellten) Beispiel der ersten Ausführungsformen kann die zweite Kamera 14 auch am Hubmast 11 des Gabelstapler 10 angebracht werden.
-
Vorzugsweise kann der Gabelstapler 10 der ersten Ausführungsformen einen zweiten Sensor 18 umfassen, der die Aufnahme der Ware W durch den Gabelstapler 10 bestimmt. Zum Beispiel umfasst der in 1B gezeigte zweite Sensor 18 einen Ultraschallsensor. Der zweite Sensor 18 kann weitere Sensoren, wie zum Beispiel einen Last-Sensor, umfassen, der durch eine Lastindikation die Aufnahme der Ware W detektiert. In dem in 1B gezeigten Beispiel ist der zweite Sensor 18 in einer der Gabeln 13 des Gabelstaplers 10 aufgenommen. In einem weiteren Beispiel (nicht dargestellt) der ersten Ausführungsformen kann der zweite Sensor 18 auch an dem Hubmast 11 oder an dem Lastträger 17 des Gabelstaplers 10 angebracht werden.
-
Vorzugsweise kann die Steuerung 20 des Gabelstaplers 10, wenn der zweite Sensor 18 eine Aufnahme der Ware W bestimmt, ein zweites Aktivierungssignal an die zweite Kamera 14 des Gabelstaplers 10 ausgeben, um die zweite Kamera 14 zu aktivieren. Zum Beispiel erfasst die zweite Kamera 14 eine untere Seite der Ware W während sie von den Gabeln 13 des Gabelstaplers 10 aufgenommen wird. In einem weiteren Beispiel erfasst die zweite Kamera eine hintere, dem Gabelstapler 10 abgewandte Seite der Ware W nachdem sie aufgenommen wurde. Dies wird später unter Bezugnahme auf 2A bis 2C genauer beschrieben.
-
Weiterhin bietet sich durch die Bewegung des Gabelstaplers 10 im Bereich einer Waren-Entladestelle innerhalb des Lagers die Möglichkeit mit einer geringen Zahl an externen Kameras 114 Bilddaten der vom Gabelstapler 10 abgewandten Seiten der Ware W zu erfassen. Daher kann das in 1A gezeigte System 100 der ersten Ausführungsformen eine oder mehrere externe Kameras 114 umfassen, die in einem Lager angeordnet sind, und die mindestens eine vom Gabelstapler 10 abgewandte Seite der Ware W während und nach der Aufnahme der Ware W durch den Gabelstapler 10 erfassen.
-
Vorzugsweise kann eine externe Kamera 114 innerhalb einer im Lager umfassten Hallendecke angebracht werden, um eine obere Seite der Ware W zu erfassen. In einem weiteren (nicht dargestellten) Beispiel kann eine externe Kamera 114 an einem Laternenmasten in dem Lager angebracht werden, um eine seitliche Seite der Ware W zu erfassen. In einem noch weiteren (nicht dargestellten) Beispiel kann eine externe Kamera 114 an einem Durchfahrtstor des Lagers, das der Gabelstapler mit der aufgenommen Ware W passiert, angebracht werden um eine seitliche Seite der Ware Wzu erfassen.
-
Vorzugsweise kann eine externe Kamera 114 in einer flugfähigen Drohne aufgenommen werden, die den Gabelstapler 10 während und nach der Aufnahme der Ware W filmt. Zum Beispiel kann, wenn die Steuerung das erste Aktivierungssignal ausgibt, auch ein Signal mit den aktuellen geographischen Koordinaten des Gabelstaplers 10 an die Drohne ausgegeben werden. Die Drohne erfasst dann die restlichen Seiten der Ware W.
-
In einem weiteren Beispiel gemäß der ersten Ausführungsformen kann eine externe Kamera 114 das erste oder das zweite Aktivierungssignal, das von der Steuerung 20 des Gabelstaplers 10 ausgeben wird, empfangen und damit beginnen die durch die externe Kamera 114 erfassten Bilddaten an ein Datenverarbeitungssystem 24 zu übertragen.
-
Die Anzahl der Kameras und der Sensoren, die der Gabelstapler 10 und das System 100 umfassen können, kann variieren. In einem (nicht dargestellten) Beispiel zweiter Ausführungsformen kann der Gabelstapler 10 nur eine Kamera umfassen und das System 100 kann nur eine externe Kamera umfassen. In einem weiteren (nicht dargestellten) Beispiel der zweiten Ausführungsformen kann der Gabelstapler 10 nur einen Sensor umfassen und das System 100 kann einen Sensor oder mehrere Sensoren umfassen.
-
Vorzugsweise sind die Kameras 12, 16 des Gabelstaplers 10 und die externen Kameras 114 des Systems 100 mit Beleuchtungsmöglichkeiten ausgebildet, so dass die Kameras selbst bei dunklen Umgebungen durch eine ausreichende Beleuchtung eine korrekte Bilddaten Erfassung erzielen können.
-
Vorzugsweise handelt es sich bei den Kameras um 3D Kameras die auf dem Prinzip des Lichtlaufverfahrens operieren, um zusätzlich eine Bestimmung der Tiefendaten der aufzunehmenden bzw. aufgenommen Ware W zu ermöglichen. Die Kameras können auch Netzwerkkameras umfassen, die am Ausgang digitale Signale in Form eines Videostreams bereitstellen, das per Internet-Protokoll (IP) übertragen werden kann.
-
Weiterhin kann der Gabelstapler 10 eine Übertragungseinheit 22 umfassen, wie in 1B gezeigt, die die durch die erste 12 und die zweite Kamera 14 des Gabelstaplers 10 erfassten Bilddaten an ein Datenverarbeitungssystem 24 zur Identifikation der Ware W übertragen kann.
-
Zusätzlich kann der Gabelstapler 10 ein Ortungssystem (nicht dargestellt) umfassen, das eine geographische Position des Gabelstaplers in dem Lager in Echtzeit erfasst. Zum Beispiel kann das Ortungssystem ein GPS Sensor umfassen, der es ermöglicht die geographischen Koordinaten des Gabelstaplers 10 in Echtzeit zu bestimmen. Die so bestimmten Koordinaten können zusammen mit den erfassten Bilddaten des Gabelstaplers 10 und einem Zeitstempel durch die Übertragungseinheit 20 an das Datenverarbeitungssystem 24 übertragen werden. Das Datenverarbeitungssystem 24 kann dann, basierend auf den übertragenen Koordinaten und dem Zeitstempel, die vom Gabelstapler 10 erfassten Bilddaten mit den Bilddaten, die durch eine externe Kamera 114 des Systems 100 erfasst werden, kombinieren.
-
Alternativ, oder zusätzlich zu dem Ortungssystem des Gabelstaplers 10 kann durch Analyse der Bilddaten einer externen Kamera 114 des Systems 100 der Gabelstapler 10 identifiziert werden, zum Beispiel über einen QR-Code, um eine Zuordnung der Bilddaten zu den Bilddaten des Gabelstaplers 10 zu ermöglichen.
-
Unter Bezugnahme auf 2A bis 2C wird die Erfassung der Bilddaten durch die zweite Kamera 14 des Gabelstaplers 10 gemäß ersten Ausführungsformen ausführlicher beschrieben. 2A stellt einen perspektivischen Ausschnitt des Gabelstaplers 10 gemäß der ersten Ausführungsformen dar, der die Gabel 13 mit der zweiten Kamera 14 vor der Aufnahme der Ware W zeigt. Die zweite Kamera 14 kann vorzugsweise mit stoßfesten und/oder wasserfesten Materialien ausgebildet werden, welche die zweite Kamera 14 vor Stößen bei der Warenaufnahme und/oder vor Nässe schützt. Zum Beispiel kann die zweite Kamera 14 in einem stoß- und/oder wasserfesten Gehäuse, das in der Gabel 13 des Gabelstaplers aufgenommen ist, angeordnet sein.
-
2B stellt einen perspektivischen Ausschnitt des Gabelstaplers 10 gemäß ersten Ausführungsformen dar, der die Gabel 13 mit der zweiten Kamera 14 während der Aufnahme der Ware W zeigt. Vorzugsweise kann die zweite Kamera eine 3D-Kamera umfassen, die durch ein Laufzeitverfahren („Time of Flight“ (TOF)) die Dimensionen der Ware W während ihrer Aufnahme, wie in 2B gezeigt, bestimmt. So kann zum Beispiel sichergestellt werden, dass innerhalb einer Palette keine Leergutkästen fehlen.
-
2C stellt einen perspektivischen Ausschnitt des Gabelstaplers 10 gemäß ersten Ausführungsformen dar, der die Gabel 13 mit der zweiten Kamera 14 nach der Aufnahme der Ware W zeigt. Vorzugsweise kann die zweite Kamera mit einer ausfahrbaren Vorrichtung 30 (nicht gezeigt) verbunden werden. Die ausfahrbare Vorrichtung umfasst eine Teleskopvorrichtung. Diese ermöglicht es, die zweite Kamera 18 so zu positionieren, dass die hintere dem Gabelstapler abgewandte Seite der Ware W erfasst werden kann.
-
In einem weiteren Beispiel der ersten Ausführungsformen kann die zweite Kamera am Hubmast 11 des Gabelstaplers angebracht werden (nicht gezeigt). In diesem Fall kann die zweite Kamera 18 mit der ausfahrbaren Vorrichtung 30 verbunden werden, so dass die zweite Kamera 18 so positioniert wird, dass sie eine obere Seite der Ware W oder eine seitliche Seite der Ware W erfasst.
-
Alternativ oder zusätzlich zu den vom Gabelstapler 10 umfassten Kameras kann der Gabelstapler 10 einen oder mehrere Spiegel umfassen.
-
Unter Bezugnahme auf 3A bis 3C wird die Erfassung der Bilddaten gemäß der ersten Ausführungsformen mit einem ersten Spiegel 26 und einem zweiten Spiegel 28, die an dem Gabelstapler 10 angebracht sind, ausführlicher beschrieben. 3A stellt eine perspektivische Ansicht des Gabelstaplers 10 dar, der den ersten Spiegel 26 in einer ersten Position zeigt. 3B stellt eine perspektivische Ansicht des Gabelstaplers 10 dar, der den ersten Spiegel 26 in einer zweiten Position zeigt. 3C stellt eine perspektivische Draufsicht auf den Gabelstapler 10 dar, die den ersten Spiegel 26 und den zweiten Spiegel 28 in der zweiten Position zeigt.
-
In 3A ist der erste Spiegel 26, der mit einer ausfahrbaren/ausklappbaren Vorrichtung verbunden ist, an der Seite des Gabelstaplers 10 angebracht und befindet sich in der ersten Position, das heißt in einer eingefahrenen/eingeklappten Position. Ebenso ist der zweite Spiegel 28 auf der gegenüberliegenden Seite des Gabelstaplers 10 angebracht (nicht dargestellt). Nachdem die Ware W durch den Gabelstapler 10 aufgenommen wurde, kann der erste Spiegel 26 und der zweite Spiegel 28 in die zweite Position gebracht, das heißt, ausgefahren/ausgeklappt werden, um die seitlichen Seiten S3, S4 der Ware W zu reflektieren. Dies ist in 3B gezeigt. Vorzugsweise kann der erste Spiegel 26 und der zweite Spiegel 28, wenn durch den zweiten Sensor 18 bestimmt wird, das die Ware W aufgenommen wird, ausgefahren werden.
-
Vorzugsweise ist die erste Kamera 12 in zwei Richtungen bis zu 90° drehbar, um so das Sichtfeld der ersten Kamera 12 zu variieren. Dies ermöglicht es den ersten Spiegel 26 und den zweiten Spiegel 28 anzuvisieren, wie in 3C gezeigt, um die Bilddaten der seitlichen Seiten der Ware W zu erfassen.
-
In einem weiteren Beispiel gemäß der ersten Ausführungsformen kann auch das System 100 einen oder mehrere Spiegel umfassen. Zum Beispiel kann, alternativ oder zusätzlich zu den externen Kameras 114, ein oder mehrere Spiegel in dem Lager im Bereich der Waren-Entladestelle angebracht werden (nicht gezeigt), um mindestens eine dem Gabelstapler 10 abgewandte Seite der Ware W zu reflektieren. In einem Beispiel kann die erste Kamera 10 des Gabelstaplers 10 dann den Spiegel in dem Lager anvisieren um die Bilddaten zu erfassen.
-
Im Folgenden wird die Bilddaten-Verarbeitung im Detail erläutert. Nachdem die Bilddaten der ersten Kamera 12 und der zweiten Kamera 18 des Gabelstaplers 10, sowie der externen Kameras 114 des Systems 10, erfasst und an das Datenverarbeitungssystem 24 übertragen worden sind, findet eine Datenverarbeitung statt.
-
Vorzugsweise enthält der Gabelstapler 10 das Datenverarbeitungssystem 24. Das Datenverarbeitungssystem 24 kann auch in einer externen Recheneinheit, zum Beispiel einem Zentralrechner, enthalten sein.
-
Mit den durch das Ortungssystem des Gabelstaplers 10 bestimmten Koordinaten des Gabelstaplers 10 im Lager lassen sich die vom Gabelstapler 10 erfassten Bilddaten mit denen der durch die externen Kameras 114 erfassten Bilddaten kombinieren. In einem ersten Schritt findet eine Vorverarbeitung der Bilddaten statt.
-
Vorzugsweise werden in der Vorverarbeitung sensorbedingte Fehler wie Rauschen, Überbelichtung, etc. aus den Bilddaten maschinell gefiltert. Dann wird das Datenformat vorbereitet, zum Beispiel durch Konvertierung der Bilddaten in Graustufen oder durch Transformation der Tiefendaten der Ware W zur Bestimmung der Dimensionen der Ware W. Vorzugsweise werden auch die durch die Sensoren das Gabelstaplers 10 und des Systems 100 bestimmten Daten mit den Bilddaten fusioniert.
-
Vorzugsweise wird eine maschinelle Segmentierung der erfassten Bilddaten durchgeführt, wie in 4 gezeigt. Es sind viele Verfahren zur automatischen Segmentierung möglich. Grundsätzlich werden sie oft in pixel-, kanten- und regionenorientierte Verfahren eingeteilt. Zusätzlich unterscheidet man modellbasierte Verfahren, bei denen man von einer bestimmten Form der Objekte ausgeht, und texturbasierte Verfahren, bei denen auch eine innere homogene Struktur der Objekte berücksichtigt wird. Auch können verschiedene Verfahren kombiniert werden, um bessere Ergebnisse zu erzielen.
-
Vorzugsweise können Merkmale der erfassten Bilddaten extrahiert werden. Beispiele hierfür umfassen, sind aber nicht beschränkt auf SIFT („Scale-Invariant Feature Transform“), HOG („Histogram of Oriented Gradients“) und SURF („Speeded Up Robust Features“).
-
SIFT ist ein Algorithmus zur Detektion und Beschreibung von lokalen Merkmalen in Bildern. Der Detektor und die Merkmalsbeschreibungen sind, in gewissen Grenzen, invariant gegenüber Koordinatentransformationen wie Translation, Rotation und Skalierung. Sie sind außerdem robust gegen Beleuchtungsvariation, Bildrauschen und geringere geometrische Deformation höherer Ordnung, wie sie zum Beispiel durch projektive Abbildung eines Objekts von verschiedenen Standpunkten im Raum entstehen.
-
Ähnlich wie SIFT ist HOG ein Algorithmus zur Merkmals-Erkennung in Bildern, der das Aussehen und die Form von Objekten innerhalb eines Bildes auch ohne näheres Wissen über die Positionen von Kanten oder Ecken durch die Verteilung der lokalen Intensität oder der Anordnung der Kanten darstellt. Dazu wird das Bild in Teilbereiche zerlegt und für jeden Teilbereich werden die Orientierungen aller Kanten bestimmt und deren Anzahl als Histogramm gespeichert.
-
Der SURF-Algorithmus basiert auf den gleichen Prinzipien und Schritten wie SIFT. Die Details in jedem Schritt sind jedoch unterschiedlich. Der Algorithmus besteht aus drei Hauptteilen: Erkennung von Interessenpunkten, Beschreibung der lokalen Umgebung und Zuordnung.
-
In einem zweiten Schritt wird, basierend auf einer der im nachfolgenden beschriebenen Vorgehensweisen, eine Identifikation der Ware W, insbesondere der Leerguttypen der aufgenommenen Palette/n, durchgeführt.
-
Eine geometrische Klassifizierung mittels (gegebenenfalls segmentierter) Tiefendaten oder deren extrahierten Merkmalen, wie Höhe, Tiefe, Breite und Anzahl der Kästen, die aus den vorverarbeiteten Bilddaten gewonnen werden, wird durch Vergleich mit Daten aus einer vorher erstellten Datenbank ermöglicht. Dies erlaubt eine Identifikation der Leerguttypen, insbesondere der Kastentypen der Ware W.
-
Eine texturbasierte Klassifizierung mittels (gegebenenfalls segmentierter) Farbdaten oder deren extrahierten Merkmalen umfasst die Anwendung und Evaluierung von statistischen Verfahren für rechnergestützte Erkennung von Mustern in Bildern. Durch statistische Auswertung der vorverarbeiteten Bilddaten (zum Beispiel mittels der Median-Farbtonbestimmung) und Verwendung des maschinellen Lernens (zum Beispiel „Shallow Learning“, „Deep Learning“) kann ein Algorithmus mit ausreichend realen Daten bzw. deren Merkmalen trainiert werden. Dieser trainierte Algorithmus kann dann anhand realer Daten validiert und verifiziert werden und anschließend zur Leerguterkennung verwendet werden.
-
Vorzugsweise umfasst die Identifikation der Leerguttypen eine Kombination aus der geometrischen und texturbasierten Klassifizierung mit fusionierten Sensordaten.
-
Vorzugsweise wird eine Vorhersage der wahrscheinlichsten Belegung der einzelnen Leergutkästen durch die Analyse aller sichtbaren Seiten der Ware W, zum Beispiel zwei pro Palette, durchgeführt. Dies geschieht unter Verwendung von einer statistischen Schätzung und/oder einer Schätzung mittels Methoden des maschinellen Lernens.
-
Im letzten Schritt werden dann die entsprechenden Ergebnisse der Bilddaten-Verarbeitung an ein Warenwirtschaftssystem WWS über einen standardisierten Kommunikationsweg (zum Beispiel mittels einem Netzwerkprotokoll wie dem „Simple Object Access Protocoll“ (SOAP)) und standardisierte Datenformate (zum Beispiel CSV, XML, JSON-RPC) übertragen. Somit kann ein Produktionsplanungs- und Steuerungssystem PPS mit Leergutdaten in hoher Güte arbeiten.
-
Vorstehend wurden verschiede Ausführungsformen ausführlich beschrieben. Für den Fachmann ist klar, dass verschiedene spezielle Merkmale spezieller Ausführungsformen mit Merkmalen anderer jeweiliger Ausführungsformen kombinierbar sind.
