DE102020202945A1

DE102020202945A1 - Lagersystem und Verfahren zum Betreiben eines derartigen Lagersystems

Info

Publication number: DE102020202945A1
Application number: DE102020202945.8A
Authority: DE
Inventors: Marco Gebhardt
Original assignee: Gebhardt Foerdertechnik GmbH
Current assignee: Gebhardt Foerdertechnik GmbH
Priority date: 2020-03-06
Filing date: 2020-03-06
Publication date: 2021-09-09

Abstract

Ein Lagersystem, insbesondere Intralogistikanlage oder Lager- und Entnahmesystem, zum Einlagern und/oder Auslagern eines Lagerguts in oder aus dem Lagersystem mit einem Lager, vorzugsweise Regallager, einem Regalförderzeug zum Transport von Lagergut oder Behältern für das Lagergut innerhalb des Lagers und/oder in das Lager hinein und/oder aus dem Lager heraus und einer Steuereinrichtung (1) für das Regalförderzeug ist im Hinblick auf eine hohe Leistung, insbesondere einen besonders hohen Systemdurchsatz, derart ausgestaltet und weitergebildet, dass der Steuereinrichtung (1) ein Modul (2) zur Nutzung künstlicher Intelligenz, Kl, bei der Steuerung des Regalförderzeugs zugeordnet ist. Des Weiteren ist ein entsprechendes Verfahren zum Betreiben eines Lagersystems angegeben.

Description

Die Erfindung betrifft ein Lagersystem, insbesondere Intralogistikanlage oder Lager- und Entnahmesystem, zum Einlagern und/oder Auslagern eines Lagerguts in oder aus dem Lagersystem mit einem Lager, vorzugsweise Regallager, einem Regalförderzeug zum Transport von Lagergut oder Behältern für das Lagergut innerhalb des Lagers und/oder in das Lager hinein und/oder aus dem Lager heraus und einer Steuereinrichtung für das Regalförderzeug.
Des Weiteren betrifft die vorliegende Erfindung ein entsprechendes Verfahren zum Betreiben eines Lagersystems, insbesondere einer Intralogistikanlage oder eines Lager- und Entnahmesystems, zum Einlagern und/oder Auslagern eines Lagerguts in oder aus dem Lagersystem mit einem Lager, vorzugsweise Regallager, einem Regalförderzeug zum Transport von Lagergut oder Behältern für das Lagergut innerhalb des Lagers und/oder in das Lager hinein und/oder aus dem Lager heraus und einer Steuereinrichtung für das Regalförderzeug.
In diesem Dokument sind unter dem Begriff „Regalförderzeug“ ganz allgemein eine oder mehrere Vorrichtungen zum Transport von Lagergut oder Behältern für das Lagergut oder auch von Shuttles zu verstehen. Eine derartige Vorrichtung kann beispielsweise ein Regalbediengerät, ein Shuttle, ein Behälter-Heber oder ein Shuttle-Heber sein. Meist weisen moderne Lagersysteme mehrere derartige Vorrichtungen in unterschiedlichen Konstellationen auf. Letztendlich umfasst der Begriff „Regalförderzeug“ beliebige Vorrichtungen, die Lagergut oder Bestandteile des Lagersystems bewegen oder transportieren.
Es gibt in der Praxis viele verschiedene Möglichkeiten, um die Einlagerung und zeitlich versetzte Auslagerung von Lagergut - beispielsweise Behälter, Kartons oder Tablare - umzusetzen. Neben den traditionellen Regalbediengeräten, die mit klassischer Fördertechnik kombiniert werden, gewinnen Shuttle-Systeme verstärkt an Bedeutung. Shuttles sind sehr kleine Regalbediengeräte mit geringem oder gänzlich ohne Hub. Um die oberen Positionen in einem Regal zu erreichen, sind für die Shuttles auf jeder Regalebene eigene Schienen im Regal vorgesehen. Häufig sind die Shuttles derartigen Fahrschienen - beispielsweise je Regalgasse und je Regalebene ein Shuttle - oder den Regalebenen fest zugeordnet. Eine Zuordnung zu den Regalebenen bietet den Vorteil einer variablen Anzahl an Shuttles je Regalebene, jedoch müssen die Shuttles zusätzlich mit einer Technik zum Gassenwechsel ausgestattet werden.
Teilweise sind die Shuttles weder einer Gasse noch einer Ebene zugeordnet, wobei sie beispielsweise über Shuttle-Heber oder Regalförderzeug-Heber oder durch Klettern die Ebenen wechseln können. Letztendlich können bei Shuttle-Systemen deutlich mehr Roboter parallel oder zeitgleich arbeiten als in einem System aus klassischen Regalbediengeräten, wobei bei Shuttle-Systemen allerdings eine höhere Anforderung an die Steuereinrichtung gestellt ist.
Zur Überwindung einer Höhendifferenz können ein oder mehrere Behälterheber eingesetzt werden. Angegliedert am Heber ist entweder direkt ein Arbeitsplatz, um die Lagergüter zu Kommissionieren. Alternativ hierzu können mittels weitläufiger Fördertechnik oder fahrerlosen Transportsystemen verschiedenste Arbeitsplätze oder Fertigungsbereiche an das Lager angebunden werden.
Shuttle-Systeme sind komplexe Systeme, die eine Kombination aus vielen Maschinen oder - abstrakter betrachtet - Ressourcen aufweisen, beispielsweise ein Regal mit Fahrwegen, ein oder mehrere Regalförderzeuge je Lagerebene oder Regalebene, gegebenenfalls mehrere Behälterheber, gegebenenfalls einen oder mehrere Regalförderzeug-Heber, gegebenenfalls aktiv angetriebene Pufferplätze für die Übergabe vom Regalförderzeug zum Heber, einen oder mehrere Arbeitsplätze und/oder gegebenenfalls Sequenzierpufferplätze, beispielsweise am Heber gegenüber den Pufferplätzen angeordnet. Damit obliegt der übergeordneten Steuereinrichtung die herausfordernde Aufgabe, eine möglichst optimale Zuordnung von Lageraufträgen und Abstimmung aller Maschinen und Vorrichtungen zu treffen, um beispielsweise einen hohen Systemdurchsatz zu erzielen. Weitere Ziele können ein reduzierter Personaleinsatz, eine kurze Durchlaufzeit - Zeit zwischen Auftragseingabe in das System und abgeschlossenem Auftrag - sowie ein reduzierter Verschleiß oder reduzierte Betriebskosten sein. Die beiden letztgenannten Ziele werden vorwiegend durch eine der Auftragslage angepasste Dynamik, eine gleichmäßige Auslastung aller Anlagenbereiche oder durch eine geschickte Einlagerstrategie erreicht, die kurze Fahrwege für öfter benötigte Lagergüter durch einen passenden Lagerplatz vorsieht.
Übliche weitere Anforderungen sind beispielsweise:

- Bereitstellung strenger Sequenzen: beispielsweise bestellt ein Kunde fünf Artikel, wovon zwei zerbrechlich sind und diese daher oben auf die gegebenenfalls schwereren Artikel im Versandkarton eingeräumt werden müssen, um ein Zerbrechen zu verhindern.
- Bereitstellung weicher Sequenzen: beispielsweise bestellt ein Kunde fünf T-Shirts in verschiedenen Farben, wobei die Reihenfolge hier keine Rolle spielt und somit im Vergleich zur strengen Sequenz Potenzial besteht, den Durchsatz zu erhöhen.
- Möglichst geringe Reduktion der Leistung durch das Auslagern in Sequenz: In der Lagertechnik ist allgemein bekannt, dass durch die direkte Sequenzierung aus dem Lager die Leistung erheblich um bis zu 50 % einbricht. Der Grund sind Wartezeiten, wobei ein einziger fehlender Behälter eine Vielzahl anderer Behälter ausbremsen kann. Das neue Lagersystem soll diese Einschränkung überwinden, beispielsweise indem eine verbesserte und abgestimmte Einlagerstrategie die Auslagerung vereinfacht.
- Ein Regalförderzeug oder ein Heber hat eine Störung und fällt aus, wobei beispielsweise ein Techniker einen Teil der Anlage abschalten muss, um die Anlage zu betreten und die Störung zu beheben. Um eine hohe verbleibende Restleistung bei jeglicher Störung aufrechtzuerhalten und möglichst weiterhin Bestellungen in der richtigen Sequenz anzuliefern, muss das System individuell, schnell und passend reagieren. Beispielsweise war das grüne T-Shirt für eine Bestellung von insgesamt fünf T-Shirts mit Regalförderzeug 13 geplant, das nun wegen einer Störung ausfällt. Entweder wird das grüne T-Shirt von einem anderen Regalförderzeug übernommen oder die übrigen vier T-Shirts müssen storniert oder - falls bereits ausgelagert - sofort wieder zurückgelagert werden.

Aus der EP 2 923 971 B1 ist beispielsweise ein herkömmliches Lagersystem bekannt, bei dem Shuttles über einen Heber die Ebenen wechseln können.
Die Steuerung eines herkömmlichen Lagersystems oder einer herkömmlichen Intralogistikanlage erfolgt aktuell über eine Lagerverwaltungssoftware, LVS, welche die Lagergüter und deren Position mittels einer Datenbank verwaltet. Ein Materialflussrechner, MFR, steuert die verfügbaren Ressourcen, beispielsweise Regalförderzeug, Heber, Arbeitsplätze usw., und ordnet in diesen Aufträge zu.
Der Materialflussrechner arbeitet dabei nach festen Parameter-Settings, die üblicherweise bei der ersten Inbetriebnahme festgelegt und meist in späteren Lebensphasen oder Betriebsphasen nicht an individuelle aktuelle Lageranforderungen oder deren Veränderungen angepasst werden. Eine Optimierung dieser Parameter-Settings eröffnet das große Potenzial, die Leistungsfähigkeit des Lagersystems und der eingesetzten Mechanik durch kostengünstige Software, also ohne das teure Nachrüsten von Mechanik, zu steigern.
Die WO 2018/087343 A1 beschreibt ein komplexes Verkehrsmittelsystem, das aus einer Anzahl von Prozessen und einer Anzahl von durch die Prozesse beanspruchten Ressourcen wie Werkstätten, Flotte und Schienennetz besteht, die hinsichtlich der Gesamtkosten der Prozesse mittels BigData optimiert werden.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Lagersystem sowie ein Verfahren zum Betreiben des Lagersystems anzugeben, wonach eine hohe Leistung, insbesondere ein besonders hoher Systemdurchsatz, kostengünstig und mit konstruktiv einfachen Mitteln ermöglicht ist.
Erfindungsgemäß wird die voranstehende Aufgabe durch ein Lagersystem mit den Merkmalen des Anspruchs 1 sowie durch ein entsprechendes Verfahren zum Betreiben eines Lagersystems mit den Merkmalen des Anspruchs 15 gelöst.
Danach ist das Lagersystem gemäß Anspruch 1 derart ausgestaltet und weitergebildet, dass der Steuereinrichtung ein Modul zur Nutzung künstlicher Intelligenz, Kl, bei der Steuerung des Regalförderzeugs zugeordnet ist, und ist das Verfahren gemäß Anspruch 15 derart ausgestaltet und weitergebildet, dass die Steuereinrichtung auf Basis künstlicher Intelligenz, Kl, bei der Steuerung des Regalförderzeugs arbeitet.
In erfindungsgemäßer Weise ist zunächst erkannt worden, dass durch geschickte Steuerung des Regalförderzeugs die voranstehende Aufgabe auf überraschend einfache Weise gelöst wird. Hierzu ist in weiter erfindungsgemäßer Weise der Steuereinrichtung ein Modul zur Nutzung künstlicher Intelligenz bei der Steuerung des Regalförderzeugs zugeordnet, wobei der Begriff Modul sowohl körperlich im Sinne eines separaten Bauteils als auch alternativ im Sinne einer Funktion oder funktionalen Ergänzung der Steuereinrichtung zu verstehen ist. Dabei arbeitet die Steuereinrichtung bei dem beanspruchten Verfahren auf Basis dieser künstlichen Intelligenz. Mittels einer derartigen künstlichen Intelligenz können frühere und geplante Arbeitsabläufe hinsichtlich ihrer Effizienz bezüglich einer hohen Leistung des Lagersystems bewertet und Ergebnisse einer derartigen Bewertung bei der Steuerung des Regalförderzeugs zur Steigerung der Leistung des Lagersystems auf elegante und intelligente Weise berücksichtigt werden. Dabei muss im Hinblick auf diese Leistungssteigerung kein teures und aufwändiges zusätzliches Regalförderzeug angeschafft werden.
Folglich sind mit dem erfindungsgemäßen Lagersystem und dem erfindungsgemäßen Verfahren ein Lagersystem und ein Verfahren bereitgestellt, wonach eine hohe Leistung, insbesondere ein besonders hoher Systemdurchsatz, kostengünstig und mit konstruktiv einfachen Mitteln ermöglicht ist.
Im Hinblick auf eine besonders einfache Nutzung künstlicher Intelligenz im Rahmen der Steuereinrichtung kann das Modul über einen Konnektor mit der Steuereinrichtung verbunden sein. Die Bereitstellung eines derartigen Konnektors ermöglicht einen modularen Aufbau des Lagersystems und insbesondere der Steuereinrichtung, da das Modul gemeinsam mit dem Konnektor einen modularen Teil der Steuereinrichtung bilden kann. Des Weiteren kann mit einem derartigen Aufbau eine sehr einfache Nachrüstung bestehender Lagersysteme und Steuereinrichtungen erfolgen. Die Nutzung künstlicher Intelligenz kann somit als quasi Nachrüstbauteil oder Nachrüstfunktion für bestehende Anlagen ermöglicht werden. Der Konnektor kann als geeignete Schnittstelle zwischen Steuereinrichtung und Modul ausgebildet sein. Eine derartige Schnittstelle kann wiederum „intelligent“ ausgebildet sein, sodass je nach Bedarf die Funktionalität der künstlichen Intelligenz zu einem Lagersystem und seiner bestehenden Steuereinrichtung vorzugsweise in Abhängigkeit vorgebbarer Parameter zugeschaltet werden kann. Hierdurch ist eine besonders flexible Nutzung des Lagersystems ermöglicht.
In besonders vorteilhafter und flexibler Weise kann die Steuereinrichtung oder das Modul einen digitalen Zwilling des Lagersystems aufweisen. Ein derartiger digitaler Zwilling bietet die Möglichkeit, das bestehende Lagersystem virtuell zu duplizieren und damit unabhängig von einem bestehenden Betrieb des Lagersystems neue Funktionalitäten mithilfe des digitalen Zwillings zu testen.
Im Konkreten kann die künstliche Intelligenz zusammen mit dem digitalen Zwilling arbeiten, sodass ein laufender Betrieb des Lagersystems getrennt von Funktionalitäten der künstlichen Intelligenz erfolgen kann. Im Hinblick auf eine besonders einfache und sichere Gewinnung von Erkenntnissen für beispielsweise einen zukünftigen Betrieb des Lagersystems kann eine Simulation von Betriebszuständen und Betriebsvorgängen des Lagersystems unter Zugrundelegung unterschiedlicher Kombinationen von Betriebsparametern mit dem digitalen Zwilling durchführbar sein. Hierdurch können in sicherer Weise mögliche zukünftige Betriebsszenarien hinsichtlich des Lagersystems mit gegebenenfalls extremen Betriebsparametern durchgespielt und deren Auswirkungen auf das Lagersystem und einen gewünschten Durchsatz untersucht werden.
Auf Basis der künstlichen Intelligenz gewonnene Erkenntnisse, Ergebnisse oder optimierte Parameter-Settings können in sehr vorteilhafter Weise in der Steuereinrichtung verwendbar sein, wobei vorzugsweise und in besonders sicherer Weise diese Erkenntnisse, Ergebnisse oder optimierte Parameter-Settings über den Konnektor an die Steuereinrichtung übertragbar sind. Durch die Verwendung dieser Erkenntnisse, Ergebnisse oder optimierten Parameter-Settings wird eine an individuelle Betriebsvorgaben oder Anforderungen individuell angepasste oder optimierte Betriebsweise des Lagersystems ermöglicht.
Bei einem konkreten Anwendungsfall kann durch die künstliche Intelligenz die Strategie des Einlagerns und/oder des Auslagerns optimierbar sein. Im Ergebnis kann hierdurch eine signifikante Steigerung des Durchsatzes im Lagersystem erreicht werden.
Im Hinblick auf eine besonders flexible Betriebsweise des Lagersystems kann die durch die künstliche Intelligenz durchführbare Gewinnung und/oder Verwendung von Erkenntnissen, Ergebnissen oder optimierten Parameter-Settings und/oder die Übertragung der gewonnenen Erkenntnisse, Ergebnisse oder optimierten Parameter-Settings kontinuierlich oder nach vorgebbaren Zeitintervallen realisierbar sein. Hierbei kann auf den individuellen Anwendungsfall in besonders flexibler und sicherer Weise abgestellt werden, um beispielsweise einen möglichst hohen Systemdurchsatz im Lagersystem zu erreichen.
Die künstliche Intelligenz kann auf Basis von Supervised Learning, Unsupervised Learning, Reinforcement Learning und Deep Learning umgesetzt werden. Diese Verfahren werden in der Wissenschaft umfassend diskutiert. Geeignet erscheint für das vorliegende Problem einer effektiven Lagersteuerung Reinforcement Learning (RL) oder Deep Learning (DL). RL ist ein verhaltensbasierter Ansatz, der auf trial an error basiert, vereinfachend kann man es mit einem Hund vergleichen, der bei einer Belohnung für ein gewünschtes Verhalten dieses belohnte Verhalten wiederholen wird. DL verwendet neuronale Netze mit mehreren Schichten und ist damit ähnlich wie ein menschliches Gehirn aufgebaut.
In besonders effektiver Weise kann die künstliche Intelligenz auf der Basis von Reinforcement Learning, vorzugsweise mit einer Verknüpfung zu Deep Learning, d. h. vorzugsweise auf der Basis von Deep Reinforcement Learning, arbeiten. Eine selbstlernende Optimierung des Lagersystems ist mit diesem auf einem Belohnungsprinzip basierenden Lernprozess in besonders sicherer Weise ermöglicht.
In besonders flexibler Weise können durch die künstliche Intelligenz beeinflussbare Parameter der Steuereinrichtung vordefinierbar sein. Insoweit kann die künstliche Intelligenz ihren Lernprozess in Abhängigkeit besonders wichtiger, definierbarer Parameter ausführen.
In konkreter und sicherer Weise kann die künstliche Intelligenz auf Basis von Ist-Parametern, realen Daten oder realen Parametersettings aus dem Lagersystem arbeiten, beispielsweise Anzahl von Aufträgen, Picks je Behälter, Pickzeit je Arbeitsplatz, ABC-Verteilung, Ist-Durchsatz, Ist-Reihenfolgeplanung und/oder Ist-Strategie usw. Durch das Nutzen derartiger Ist-Parameter oder realer Parameter wird eine besonders realistische Optimierung des Betriebs des Lagersystems ermöglicht.
Im Hinblick auf einen besonders hohen Systemdurchsatz können durch die künstliche Intelligenz optimierte Parameter-Settings für verschiedene Betriebsmodi des Lagersystems, beispielsweise Betrieb unter Volllast, Teillast oder bei Störung, erzeugbar und/oder manuell oder automatisch auf Basis vorgebbarer Parameter auswählbar sein. Dabei kann in vorteilhafter Weise ein auf die erforderliche Betriebsweise abgestimmter Betriebsmodus des Lagersystems vor einer anstehenden Betriebsweise ausgewählt werden, um einen von Anfang an optimierten Betrieb des Lagersystems zu gewährleisten.
Bei einer konkreten Ausführungsform und zur Gewährleistung eines hohen Systemdurchsatzes kann das Lagersystem ein bidirektionales Regalförderzeug aufweisen, beispielsweise jeweils bidirektionale Regalbediengeräte und/oder Shuttles und/oder Heber und/oder Fördertechnik. Hierdurch ist eine hohe Flexibilität des Lagersystems gewährleistet.
Die oben stehende Aufgabe wird des Weiteren gemäß Anspruch 13 durch ein Modul eines Lagersystems nach einem der Ansprüche 1 bis 12 sowie gemäß Anspruch 14 durch eine Kombination aus Steuereinrichtung und Modul eines Lagersystems nach einem der Ansprüche 1 bis 12 gelöst.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die nachgeordneten Ansprüche und andererseits auf die nachfolgende Erläuterung bevorzugter Ausführungsbeispiele des erfindungsgemäßen Lagersystems sowie des erfindungsgemäßen Verfahrens anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung der bevorzugten Ausführungsbeispiele anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen

1 in einer schematischen Darstellung einen Aufbau eines Ausführungsbeispiel Spiels des erfindungsgemäßen Lagersystems und
2 in einer schematischen Darstellung den Bereich der Künstlichen Intelligenz mit ihren speziellen Verfahren.

1 zeigt in einer schematischen Darstellung einen Aufbau eines Ausführungsbeispiels des erfindungsgemäßen Lagersystems, wobei mit dem beispielhaften Lagersystem und dem hieran erläuterten beispielhaften Verfahren zum Betreiben des Lagersystems nicht nur eine Analyse eines Betriebs vorgenommen werden kann. Vielmehr können durch eine Simulation auf Basis von realen Anlagendaten alternative Steuerungsvarianten und Leistungsfähigkeiten mittels künstlicher Intelligenz und vorzugsweise Deep Reinforcement Learning optimiert werden. Einzelne Schritte werden im Folgenden erläutert. Das vorliegende Verfahren ist beispielsweise für Shuttles und Regalbediengeräte anwendbar, sodass insbesondere für diese beiden Gerätetypen der allgemeine Begriff „Regalförderzeug“ verwendet wird.
Das in 1 gezeigte Lagersystem besteht im Wesentlichen aus der Steuereinrichtung 1 der realen Anlage, einem Modul 2 und einem Konnektor 3, wobei das Modul 2 das digitale Abbild oder den digitalen Zwilling 4 aufweist, der mittels Simulation und Deep Reinforcement Learning zur selbstlernenden Optimierung des Lagersystems in fähig ist.
Der linke Teil der 1 zeigt ein herkömmliches Lagersystem mit einer Steuereinrichtung 1 und der üblichen mechanischen Ausgestaltung. Die Steuereinrichtung 1 arbeitet auf Basis eines übergeordneten Materialflussrechners, MFR, und einer Lagerverwaltungssoftware, LVS, zur Weitergabe von Steuerungsbefehlen an eine untergeordnete speicherprogrammierbare Steuerung, SPS, die einen Motor ansteuert und einzelne Sensoren wie beispielsweise Lichtschranken auswertet.
Auf der rechten Seite der 1 ist die Umsetzung des digitalen Zwillings 4 gezeigt, der unter anderem zur Emulation der realen SPS, MFR und LVS eingesetzt werden kann. Der digitale Zwilling 4 ist die Grundlage für eine Materialflusssimulation in einer dafür bekannten Simulationsumgebung wie beispielsweise Demo3D oder PlantSimulation. Mithilfe der Simulation kann eine realitätsnahe Untersuchung der realen Anlage erfolgen. Die zu untersuchenden Parameter ergeben sich insbesondere aus der realen Anlage und den Ist-Parametern wie beispielsweise Anzahl Picks je Behälter, Pickzeit, ABC-Verteilung im Regal, Ist-Durchsatz, Ist-Strategie, beispielsweise Reihenfolgeplanung „first come, first serve“, Auslagerungen haben Vorrang vor Einlagerungen und/oder Auftragszuweisung an Arbeitsplatz mit geringster Auslastung.
Die reale Anlage sammelt hierfür im Betrieb Ist-Daten. Diese Daten können einerseits für Condition Monitoring, CM, und Predictive Maintenance, PM, und andererseits für eine Optimierung mittels künstlicher Intelligenz, beispielsweise Deep Reinforcement Learning, DRL, verwendet werden. DRL kann in der Praxis nicht live in der realen Anlage getestet werden, da die Anlage beispielsweise für die Produktion oder eine andere gewünschte Betriebsweise benötigt wird und ungünstige Parametervariationen einen tatsächlichen Leistungseinbruch und beispielsweise Umsatzverlust oder einen Mehraufwand im Personaleinsatz durch Extraschichten verursachen können.
Damit ist es notwendig, dass der digitale Zwilling 4 in Verbindung mit der künstlichen Intelligenz oder der DRL separat von der realen Anlage Varianten testen kann, um ein Optimum zu erzielen. Dieser digitale Zwilling 4 wird zum Vorteil des Lagerbetreibers und dessen individuellen Gegebenheiten mit realen Daten aus der Anlage und realen Parameter-Settings gespeist. DRL testet gegen Emulation/Simulation der realen Anlage Veränderungen bei Parametern hinsichtlich verschiedener Ziele wie beispielsweise maximaler Durchsatz, kürzeste Durchlaufzeit, geringster Personaleinsatz, geringste Bewegungen/Verschleiß usw. Vorteilhafte Parameter-Settings werden anschließend auf die reale Anlage transferiert, wobei dies über den Konnektor 3 erfolgt.
Möglicherweise ergeben sich je nach Auftragslage wie beispielsweise Versandhandel mit wenig Umsatz in der Ferienzeit und hohem Umsatz vor Weihnachten, Störung an der Position X und/oder Störung an der Position Y unterschiedliche Parameter-Settings. Dabei sind zwei Varianten hinsichtlich der Auswahl des geeigneten Betriebsmodus möglich:

• Variante 1: Bediener kann Modus manuell ändern.
• Variante 2: Die künstliche Intelligenz erkennt aus Auftragsdaten und Umgebungsbedingungen und/oder anderen Parametern, welcher Modus vorteilhaft ist und wählt diesen automatisch aus.

Dabei ermöglicht ein vorzugsweise kontinuierliches Rückkoppeln zwischen realen Anlagedaten und künstlicher Intelligenz eine optimierte Simulation, wobei hierdurch ein besonders schnelles Reagieren auf sich verändernde Rahmenbedingungen wie beispielsweise ein verändertes Kaufverhalten ermöglicht ist. Außerdem ist bei dem Kl-gestützten Lagersystem der Aufwand für die derzeit übliche manuelle Inbetriebnahme und auf „trial and error“ basierte Nachjustierung im laufenden Betrieb vermindert. Diesbezüglich kann bei dem vorgeschlagenen Lagersystem dieser Vorgang ersetzt werden, indem „trial and error“ nur virtuell mit dem digitalen Zwilling durchgeführt wird und auf der realen Anlage nur geeignete Parameter gewählt werden.
Ein beispielhaftes Simulationsmodell kann als Konnektor 3 zwischen der realen Anlage und dem digitalen Zwilling 4 zur Kommunikation beispielsweise eine Python-Schnittstelle verwenden. Zusätzlich ist die Nutzung eines DQN, Deep-Q-Network, Agenten sinnvoll, wobei Q hier für Qualität steht. Die Reinforcement Learning ist sehr gut für die Lösung von Reihenfolgeproblemen geeignet, eine Anwendung im Bereich der Intralogistik. Als von der Steuereinrichtung 1 zu lösende Reihenfolgeprobleme liegen in einem Lagersystem beispielsweise die folgenden vor:

A. Auslagerstrategie: Auftrag kommissionieren; Behälter anfordern
1. a) Auswahl eines Hebers/Arbeitsplatzes (Auslastung, Batches, Sequenz)
2. b) Auswahl eines Lagerplatzes (Regalebene: kurzer Weg eines Hebers, Auslastung; Regalgasse: kurzer Weg, Anzahl Umlagerungen, Auslastung)
3. c) Auswahl eines Roboters auf der Lagerplatzebene (naheliegende Einlagerung, Shuttle-Auslastung usw.), deutlich komplizierter mit Roaming-Heber
4. d) Steuerung vieler Roboter (Vorfahrtsregeln, Prioritäten)
B. Einlagerstrategie: Behälter lagern
1. a) Auswahl des Hebers (beispielsweise für Nachschub aus Wareneingang)
2. b) Auswahl eines Lagerplatzes (Regalebene: ABC, Füllgrad, Auslastung Shuttle, Regalebene nahe Auslagerung; Regalgasse: kurzer Weg, sortenreines Fach, bevorzugt einfachtief, Auslastung usw.)
3. c) Auswahl eines Roboters auf der Lagerplatzebene (naheliegende Auslagerung, Shuttle-Auslastung), deutlich komplizierter mit Roaming-Heber
4. d) Steuerung vieler Roboter (Vorfahrtsregeln, Prioritäten)

Je nach Auftragslage kann eine Strategieanpassung erfolgen. Bei besonders vielen Aufträgen zur Einlagerung kann beispielsweise zunächst eine „unsaubere“ gegebenenfalls möglichst schnelle Einlagerung erfolgen, worauf sich eine möglichst „saubere“ Reorganisation in einer Zeit anschließt, in der nur eine geringe oder keine Auslastung vorliegt, beispielsweise nachts.
Die mehrfachtiefe Lagerung ist für den Durchsatz kritisch, da zusätzlich Umlagerungen notwendig werden. Diese Aufgabe kann mit KI optimiert werden. Bei Gridstore erfolgt die mehrfachtiefe Lagerung vertikal mittels bidirektionaler Fahrzeuge und einer von oben agierenden Greiftechnik. Insbesondere bei der Einlagerung vieler neuer Artikel, z.B. wenn ein LKW mit Nachschub eintrifft, besteht die Freiheit, welcher Artikel in welchen Behälter kommt und wie tief der Artikel eingelagert wird. Dies hat einen Einfluss auf den Gesamtdurchsatz, weil zeitraubende und unproduktive Umlagerungen reduziert werden können.
Weiterhin sind häufig in Kombination gepickte Behälter gezielt in Kombination einzulagern, z.B. bestellen Kunden häufig einen Elektro-Gartengrill in Kombination mit einem Verlängerungskabel. Bei der Auslagerung kann dann zuerst der leicht erreichbare Elektro-Gartengrill ausgelagert werden und direkt ohne weitere Umlagerung der darunter befindliche Behälter mit den Verlängerungskabeln. Diese Einlagerreihenfolgen können gezielt durch DRL verbessert werden. Die Gegebenheiten sind dabei je nach Lagerbetreiber sehr unterschiedlich, so dass ein mittels KI mitlernendes Lagersystem hier enormes Potential bietet.
Auch bei der Auslagerung und der Versorgung der Arbeitsplätze mit Behältern kann KI unterstützen. Üblicherweise werden die auszulagernden Artikel in einem gewissen Vorlauf, z.B. einer halbe Stunde, durch die Steuereinrichtung geplant. Dadurch kann gezielt die Notwendigkeit von Umlagerungen reduziert werden, indem z.B. Spalten ausgewählt werden, wo viele angeforderte Behälter übereinander vorhanden sind. Diese Behälter werden teilweise vor dem Heber vor der Andienung am Kommissionierplatz temporär zwischengelagert, wobei die Reihenfolge bei einer mehrfachtiefen Zwischenlagerung für die spätere Andienung relevant ist.
Die mehrfachtiefe Lagerung ist auch beim OLS, OLSX und MLS relevant, hier erfolgt diese horizontal. Beim OLS ist eine sechsfachtiefe Lagerung kleinerer Behälter Stand der Technik. Zudem spielt dies eine große Rolle bei Regalbediengeräten mit Satelliten, die eine >20 fachtiefe Einlagerung ermöglichen. Entsprechend den eben beschriebenen Gedanken können auch hier Optimierungen bei der Ein- und Auslagerungsstrategie mit KI stattfinden. Ebenso kann hier wie in allen anderen Anwendungsfällen eine KI-gestützte Auftragsvorbereitung, z.B. in der Nacht für den nächsten Tag, erfolgen, so dass die Aufträge am Folgetag mit kurzen Fahrwegen und ohne Umlagerung am Arbeitsplatz angedient werden können - also in einer passenden Reihenfolge zuvor umgelagert wurden.
Bei dem hier dargestellten Ausführungsbeispiel kann künstliche Intelligenz in den wie folgt beschriebenen Ausführungen in vorteilhafter Weise eingesetzt werden:

Das Maschinelle Lernen, ML, ist ein Teilbereich der künstlichen Intelligenz. Das Reinforcement Learning, RL, mit dem Spezialfall des Deep Reinforcement Learning, DRL, gehört zu den Verfahren des Maschinellen Lernens, wie dies in 2 schematisch dargestellt ist. Durch die Interaktion mit einer Lernumgebung kann damit eine Strategie erlernt werden.

Für das RL existieren verschiedene Lernmethoden. Eine grundlegende Methode ist das Q-Learning. Hierbei werden sogenannte Q-Werte genutzt, um schrittweise die Strategie und damit das Verhalten des Agenten zu verbessern. Die Q-Werte Q(S, A) repräsentieren die Qualität der Aktionswahl A in einem Zustand S und können in einer Q-Tabelle gespeichert und ausgelesen werden. Durch das Agieren des Agenten in der Umgebung werden diese Werte durch die Rückmeldung der Belohnung schrittweise aktualisiert: $Q (S_{t}, A_{t}) \leftarrow Q (S_{t}, A_{t}) + a [R_{t + 1} + γ \underset{a}{m a x} Q (S_{t + 1, a}) - Q (S_{t}, A_{t})]$
Hierbei ist α eine Lernrate, durch welche die neuen Informationen gewichtet werden und somit bestimmt wird, zu welchem Anteil sich der neue Q-Wert aus neuen und/oder alten Informationen zusammensetzt. t steht für die Zeit. γ ist der Diskontierungsfaktor, durch welchen zukünftige Belohnungen R_t+1 diskontiert werden. Somit können Belohnungen, die in der Zukunft liegen, weniger gewichtet werden, als die sofortige Belohnung.
Bei Umgebungen mit vielen Zuständen und Aktionen ist das Verarbeiten über Q-Tabellen nicht mehr möglich. Stattdessen werden neuronale Netze zur Approximierung der Q-Werte genutzt, welche als Inputfaktoren den Zustand und als Outputfaktoren die Q-Werte für jede mögliche Aktion besitzen.
Auf der Basis des digitalen Zwillings erfolgt das Training des Agenten und die Auswertung auf Basis von Simulationsmodellen realer Konfigurationsmöglichkeiten des Lagersystems.
Mit dem erfindungsgemäßen Lagersystem sowie Verfahren kann beispielsweise ein gegenseitiges Blockieren von Regalförderzeug in einer Regalebene oder Lagerebene verhindert werden. Zur Erläuterung des folgenden Beispiels sind als Regalförderzeug ohne Einschränkung auf andere Fördereinrichtungen beispielhaft Shuttles gewählt. Je nach Systemausprägung nutzen aktuell beispielsweise mehrere Shuttles denselben Weg zu einem Heber. Viele Shuttles fahren üblicherweise auf einen Heber zu. Die Shuttles blockieren sich oft gegenseitig und es kommt zu einem Stau. Ein solcher Stau führt zu Wartezeiten und somit zu einer Durchsatzreduzierung.
Die teuren Shuttles können folglich nicht optimal genutzt werden. Zusätzlich überlasten Shuttles oftmals die Heber oder weitere Fördertechnik wie Sortiersysteme am Ausgang des Regalförderzeug-Systems.
Wie häufig sich Shuttles blockieren, ist von der Reihenfolge der Auftragsbearbeitung abhängig, da diese festlegt, zu welchen Zeitpunkten die Shuttles die entsprechenden Wege benutzt oder benutzen. Folglich können über die Festlegung der Auftragsreihenfolge Blockaden vermieden und der Durchsatz erhöht werden.
Zur Ermittlung der zu erhaltenden Belohnung, die der Agent für die Wahl des nächsten Auftrags erhält, wird zunächst die Optimalzeit für die Erledigung des Auftrags ermittelt. Hierfür wird die Simulation vor dem Training des Agenten mit einem Regalförderzeug durchgeführt. Da es auf diese Weise bei einem Regalförderzeug nicht zu Blockaden kommen kann, können so die optimalen Auftragsbearbeitungszeiten pro Auftrag ermittelt werden. Anhand dieser Zeit wird die Aktion bewertet. Da es nicht möglich ist, dass der Auftrag in einer kürzeren Auftragsbearbeitungszeit als der Optimalzeit durchgeführt wird, ist die Belohnung somit bestenfalls null. In diesem Fall entspricht die tatsächliche Bearbeitungszeit der Optimalzeit. Liegen Blockiersituationen vor, verlängert sich die tatsächliche Bearbeitungszeit und die Belohnung wird negativ. Die Belohnung wird durch den DQN-Agenten, Deep-Q-Network-Agenten, auf Basis der Inputwerte Optimalzeit und Ist-Zeit des Simulationsmodells berechnet.
Der Optimierungsvorgang basiert auf den Parametern Zustand, Aktion und Belohnung:

Zustand:
- - alle restlichen Aufträge
- - Position der anderen Fahrzeuge
- - Ziele der anderen Fahrzeuge

Aktion:

- Auswahl des nächsten Auftrags

Belohnung:

- Belohnung/Bestrafung bei einer Abweichung von der Optimalzeit (Zeit ohne Blockaden)

Bei dem Optimierungsvorgang wird ein Agent fortwährend den kundenspezifischen Systemablauf beobachten und Verbesserungen errechnen, beispielsweise in der Auftragsreihenfolgeplanung oder den Regalförderzeug-Vorfahrtsregeln. Anschließend beobachtet der Agent das Ergebnis und versucht weitere Optimierungen. D. h., Aufträge werden sortiert oder der Agent stellt Parameter um und führt Tests mit den neuen Parametern durch. Diese sogenannten „Trainings“ werden in einem Simulationsprogramm durchgeführt. Der Softwareagent lernt die Reihenfolge so zu bilden, dass die Zeit zur Erledigung aller Aufträge minimiert wird. Blockiereffekte werden reduziert. Dank der KI soll ein kundenindividuelles Optimum gefunden werden. Das Ergebnis ist vorzugsweise eine Durchsatzerhöhung.
Eine Auflösung von Blockaden kann beispielsweise dadurch erfolgen, dass ein Shuttle so lange in einem Quergang oder Lagergang wartet, bis ein anderes Shuttle mit Vorrang einen den Quergang oder Lagergang kreuzenden Fahrweg passiert hat. Letztendlich gibt es sehr viele Möglichkeiten, Blockaden durch geschickte Steuerung von Shuttles zu verhindern. Dabei können individuelle Vorfahrtsregeln anhand von Prioritäten der Shuttles festgelegt und individuell angepasst werden.
Wesentliche Aspekte von Ausführungsbeispielen der vorliegenden Erfindung lassen sich wie folgt beschreiben:

• Steuerung des Materialflusses in einem Lager bestehend aus einer gegebenen Anzahl von Ressourcen wie Regalförderzeug und Arbeitsplätzen mit Einsatz von KI
• KI „läuft“ auf einem digitalen Zwilling
• KI-Ergebnisse mit optimierten Parameter-Settings werden an die reale Steuerung der Anlage oder Steuereinrichtung des Lagersystems zurückgegeben
• KI ist insbesondere DRL, wobei die beeinflussbaren Parameter vordefinierbar sind
• KI erfolgt auf der Basis von Ist-Parametern aus dem Lagersystem
• festgelegte optimierte Parameter-Settings für verschiedene Lagermodi (Volllast, Teillast, Störung)
• Lagersystem weist bidirektionales Regalförderzeug und Heber auf
• Lagersystem weist Fördertechnik auf
• Lagersystem weist Regalbediengeräte auf
• KI optimiert die Einlagerstrategie
• KI optimiert die Auslagerstrategie
• Anwendung vorzugsweise bei One Level Shuttles, OLS, OLSX, One Level Pallet Shuttle, OLPS, oder Gridstore-Lagersystemen

Im Hinblick auf die Nutzung von KI bei Lagersystemen oder Intralogistikanlagen weisen bevorzugte Ausführungsbeispiele folgende vorteilhafte Aspekte auf:

• Reale Anlage oder reales Lagersystem im Betrieb sammelt Daten
• Daten können für PM, CM oder KI/ML verwendet werden
• DRL kann nicht gegen reale Anlage getestet werden (kein Zeit Vorteil, Anlage wird für Produktion benötigt)
• digitaler Zwilling vorteilhaft, gegen den DRL Varianten „testen“ kann
• digitaler Zwilling wird mit realen Daten aus der Anlage und realen Parameter-Settings gespeist
• DRL testet gegen Emulation/Simulation der realen Anlage Veränderungen bei Parametern hinsichtlich verschiedener Ziele (maximaler Durchsatz, kürzeste Durchlaufzeit, geringster Personaleinsatz, geringste Bewegungen/Verschleiß, usw.)
• vorteilhafte Parameter-Settings werden auf die reale Anlage oder das reale Lagersystem transferiert
• Variante 1: Bediener kann Modus (beispielsweise Volllast, Teillast, usw.) manuell ändern, beispielsweise in Abhängigkeit von den oben beschriebenen Zielen
• Variante 2: KI erkennt aus Auftragsdaten und Umgebungsbedingungen, welcher Modus vorteilhaft ist und will diesen automatisch aus
• kontinuierliches System von Rückkopplung zwischen realer Anlage und KI-optimiertem digitalem Zwilling, um auf sich verändernde Rahmenbedingungen zu reagieren, beispielsweise verändertes Kaufverhalten usw.
• geringerer Energieverbrauch durch KI-optimiertes Lagersystem

Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens sowie des erfindungsgemäßen Lagersystems wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die beigefügten Ansprüche verwiesen.
Schließlich sei ausdrücklich darauf hingewiesen, dass die voranstehend beschriebenen Ausführungsbeispiele lediglich zur Erörterung der beanspruchten Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.
Bezugszeichenliste

1: Steuereinrichtung
2: Modul
3: Konnektor
4: digitaler Zwilling

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2923971 B1 [0009]
WO 2018/087343 A1 [0012]

Claims

Lagersystem, insbesondere Intralogistikanlage oder Lager- und Entnahmesystem, zum Einlagern und/oder Auslagern eines Lagerguts in oder aus dem Lagersystem mit einem Lager, vorzugsweise Regallager, einem Regalförderzeug zum Transport von Lagergut oder Behältern für das Lagergut innerhalb des Lagers und/oder in das Lager hinein und/oder aus dem Lager heraus und einer Steuereinrichtung (1) für das Regalförderzeug, dadurch gekennzeichnet, dass der Steuereinrichtung (1) ein Modul (2) zur Nutzung künstlicher Intelligenz, Kl, bei der Steuerung des Regalförderzeugs zugeordnet ist.
Lagersystem nach Anspruch 1, dadurch gekennzeichnet, dass das Modul (2) über einen Konnektor (3) mit der Steuereinrichtung (1) verbunden ist.
Lagersystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinrichtung (1) oder das Modul (2) einen digitalen Zwilling (4) des Lagersystems aufweist.
Lagersystem nach Anspruch 3, dadurch gekennzeichnet, dass die künstliche Intelligenz zusammen mit dem digitalen Zwilling (4) arbeitet, wobei vorzugsweise eine Simulation von Betriebszuständen und Betriebsvorgängen des Lagersystems unter Zugrundelegung unterschiedlicher Kombinationen von Betriebsparametern mit dem digitalen Zwilling (4) durchführbar ist.
Lagersystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass auf Basis der künstlichen Intelligenz gewonnene Erkenntnisse, Ergebnisse oder optimierte Parameter-Settings in der Steuereinrichtung (1) verwendbar sind, wobei vorzugsweise diese Erkenntnisse, Ergebnisse oder optimierte Parameter-Settings über den Konnektor (3) an die Steuereinrichtung (1) übertragbar sind.
Lagersystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass durch die künstliche Intelligenz die Strategie des Einlagerns und/oder des Auslagerns optimierbar ist.
Lagersystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die durch die künstliche Intelligenz durchführbare Gewinnung und/oder Verwendung von Erkenntnissen, Ergebnissen oder optimierten Parameter-Settings und/oder die Übertragung der gewonnenen Erkenntnisse, Ergebnisse oder optimierten Parameter-Settings kontinuierlich oder nach vorgebbaren Zeitintervallen realisierbar ist.
Lagersystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die künstliche Intelligenz auf der Basis von Reinforcement Learning, vorzugsweise mit einer Verknüpfung zu Deep Learning, d. h. vorzugsweise auf der Basis von Deep Reinforcement Learning, arbeitet.
Lagersystem nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass durch die künstliche Intelligenz beeinflussbare Parameter der Steuereinrichtung (1) vordefinierbar sind.
Lagersystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die künstliche Intelligenz auf Basis von Ist-Parametern, realen Daten oder realen Parametersettings aus dem Lagersystem arbeitet, beispielsweise Anzahl von Aufträgen, Picks je Behälter, Pickzeit je Arbeitsplatz, ABC-Verteilung, Ist-Durchsatz, Ist-Reihenfolgeplanung und/oder Ist-Strategie usw.
Lagersystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass durch die künstliche Intelligenz optimierte Parameter-Settings für verschiedene Betriebsmodi des Lagersystems, beispielsweise Betrieb unter Volllast, Teillast oder bei Störung, erzeugbar und/oder manuell oder automatisch auf Basis vorgebbarer Parameter auswählbar sind.
Lagersystem nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass das Lagersystem ein bidirektionales Regalförderzeug aufweist, beispielsweise jeweils bidirektionale Regalbediengeräte und/oder Shuttles und/oder Heber und/oder Fördertechnik.
Modul (2) eines Lagersystems nach einem der Ansprüche 1 bis 12.
Steuereinrichtung (1) und Modul (2) eines Lagersystems nach einem der Ansprüche 1 bis 12.
Verfahren zum Betreiben eines Lagersystems, insbesondere einer Intralogistikanlage oder eines Lager- und Entnahmesystems, und insbesondere eines Lagersystems nach einem der Ansprüche 1 bis 14, zum Einlagern und/oder Auslagern eines Lagerguts in oder aus dem Lagersystem mit einem Lager, vorzugsweise Regallager, einem Regalförderzeug zum Transport von Lagergut oder Behältern für das Lagergut innerhalb des Lagers und/oder in das Lager hinein und/oder aus dem Lager heraus und einer Steuereinrichtung (1) für das Regalförderzeug, dadurch gekennzeichnet, dass die Steuereinrichtung (1) auf Basis künstlicher Intelligenz, Kl, bei der Steuerung des Regalförderzeugs arbeitet.