DE102021205556A1 - Computer-implemented training method for generating an ordering logic and control system with an ordering logic - Google Patents
Computer-implemented training method for generating an ordering logic and control system with an ordering logic Download PDFInfo
- Publication number
- DE102021205556A1 DE102021205556A1 DE102021205556.7A DE102021205556A DE102021205556A1 DE 102021205556 A1 DE102021205556 A1 DE 102021205556A1 DE 102021205556 A DE102021205556 A DE 102021205556A DE 102021205556 A1 DE102021205556 A1 DE 102021205556A1
- Authority
- DE
- Germany
- Prior art keywords
- control system
- component
- designed
- computer
- simulation environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012549 training Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000000463 material Substances 0.000 claims abstract description 67
- 238000004088 simulation Methods 0.000 claims abstract description 26
- 230000002787 reinforcement Effects 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000012384 transportation and delivery Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
Abstract
Die Erfindung betrifft ein computerimplementiertes Trainingsverfahren zur Generierung einer Bestelllogik (4) für ein Komponentenlager, wobei das Komponentenlager in einer Simulationsumgebung derart abgebildet wird, dass jede Komponente oder jedes Material mit den zugehörigen Bestelldaten als eine virtuelle Komponente oder ein virtuelles Material in der Simulationsumgebung dargestellt wird und wobei die Bestelllogik unter Verwendung eines Agenten für bestärkendes Learning generiert wird, wobei der Agent auf Basis von historischen Komponentenbewegungen und historischen Materialfluss und/oder entsprechenden Wahrscheinlichkeitsverteilungen, welche den historischen Materialbedarf abbilden, in der Simulationsumgebung trainiert wird.Ferner betrifft die Erfindung ein Steuerungssystem.The invention relates to a computer-implemented training method for generating an order logic (4) for a component store, the component store being mapped in a simulation environment in such a way that each component or each material with the associated order data is represented as a virtual component or a virtual material in the simulation environment and wherein the ordering logic is generated using an agent for reinforcement learning, wherein the agent is trained in the simulation environment on the basis of historical component movements and historical material flow and/or corresponding probability distributions that depict historical material requirements.Furthermore, the invention relates to a control system.
Description
Die Erfindung betrifft ein computerimplementiertes Trainingsverfahren zur Generierung einer Bestelllogik für ein Komponentenlager und ein Steuerungssystem mit einer solchen Bestelllogik.The invention relates to a computer-implemented training method for generating an ordering logic for a component store and a control system with such an ordering logic.
Für die Produktion /Prototypen und die Entwicklung müssen Materialien wie Rohmaterialien und Komponenten wie beispielsweise Halbzeuge verfügbar sein und dafür vorher bestellt und geliefert werden. Diese Materialien und Komponenten werden in einem Komponentenlager/Puffer vorgehalten, aus dem die Produktion ihren Bedarf bezieht.For production/prototypes and development, materials such as raw materials and components such as semi-finished products must be available and ordered and delivered in advance. These materials and components are kept in a component store/buffer from which production draws its requirements.
Sind diese Lagerbestände zu groß, so entstehen durch das gebundene Kapital und die erhöhten Lagerungskosten unnötige Kosten. Sind die Lagerbestände der Komponenten und Materialien andererseits zu klein, so kann die Produktion/Entwicklung stocken und ggf. Lieferfristen nicht eingehalten werden, wodurch ebenfalls Verluste entstehen.If these inventories are too large, unnecessary costs arise due to the capital tied up and the increased storage costs. On the other hand, if the inventories of components and materials are too small, production/development can stall and delivery times may not be met, which also results in losses.
Diese Materialien und Komponenten werden durch eine Bestellung mit entsprechenden Bestelldaten von Lieferanten und Anbietern gekauft und geliefert, wobei diese Lieferglieder einerseits firmeninterne Lieferanten, andererseits aber auch externe Zulieferer sein können. Der Bestellprozess hat zum Ziel, die Nachfrage-Prognosen, die optimalen Bestellmengen, Sicherheitsbestände und operativen Restriktionen wie maximale Bestände, bestellbare Losgrößen und zulässige Bestelltage sowie Lieferdauer zu berücksichtigen und zusammenzuführen und daraus einen Bestellvorschlag für einen einzelnen Artikel zu generieren bzw. diese einzelnen Bestellvorschläge in einen Bestellvorschlag zu bündeln.These materials and components are purchased and delivered by means of an order with corresponding order data from suppliers and providers, whereby these supply links can be internal suppliers on the one hand, but also external suppliers on the other. The aim of the ordering process is to take into account and combine the demand forecasts, the optimal order quantities, safety stocks and operational restrictions such as maximum stocks, orderable batch sizes and permissible order days as well as delivery times and to generate an order proposal for an individual article or to combine these individual order proposals in to bundle an order proposal.
Die Bestelldaten und deren Bestellumfänge sind von der Planung, sowie weiteren Rahmenbedingungen, wie Verträgen mit Lieferanten, abhängig.The order data and the scope of the order depend on the planning and other general conditions, such as contracts with suppliers.
Diese Bestelldaten müssen in Abhängigkeit zu den Rahmenbedingungen gesetzt werden. Weiterhin sollten die Bestelldaten im Steuerungssystem konsistent sein und in regelmäßigen Abstand für alle Materialien geprüft und aktualisiert werden.This order data must be set depending on the general conditions. Furthermore, the order data in the control system should be consistent and checked and updated at regular intervals for all materials.
Dadurch entsteht ein dynamisches Optimierungsproblem von Lagerbeständen oder Produktionspuffern mit komplexen Rahmenbedingungen wie Inventarkosten, Lagerkosten, Lagervolumen, Verfügbarkeiten, Transportkosten, Verbrauchsmustern, etc. In der Vergangenheit basierten die meisten Lösungsansätze zur Lösung dieser Probleme mit mehreren Ebenen und ineinander geschachtelten Faktoren auf herkömmlichen Methoden unter Verwendung von Analysetechniken. Dieser Lösungsansatz ist jedoch in mehrstufigen Lieferketten und deren logistische Probleme sehr aufwändig und erfordert hohes Expertenwissen.This creates a dynamic optimization problem of stock levels or production buffers with complex framework conditions such as inventory costs, storage costs, storage volumes, availability, transport costs, consumption patterns, etc. In the past, most approaches to solving these problems with multiple levels and nested factors were based on using conventional methods of analysis techniques. However, this approach is very complex in multi-stage supply chains and their logistical problems and requires a high level of expert knowledge.
Die Bestandsoptimierung der Lagerbestände in der gesamten Lieferkette ist damit zu einer großen Herausforderung geworden, um die Kosten zu senken und die Serviceanforderungen zu erfüllen.Inventory optimization of warehouse stocks throughout the supply chain has thus become a major challenge to reduce costs and meet service requirements.
Die
Es ist daher eine Aufgabe der Erfindung ein Trainingsverfahren und ein Steuerungssystem anzugeben, welche eine verbesserte Lösung der Probleme der Lieferkette mit mehreren Ebenen liefert.It is therefore an object of the invention to provide a training method and control system which provides an improved solution to multi-level supply chain problems.
Die Aufgabe wird gelöst durch ein computerimplementiertes Trainingsverfahren mit den Merkmalen des Anspruchs 1 sowie ein Steuerungssystem mit den Merkmalen des Anspruchs 14.The object is achieved by a computer-implemented training method having the features of
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.Further advantageous measures are listed in the dependent claims, which can be suitably combined with one another in order to achieve further advantages.
Die Aufgabe wird gelöst durch ein computerimplementiertes Trainingsverfahren zur Generierung einer Bestelllogik für ein Komponentenlager, wobei das Komponentenlager in einer Simulationsumgebung derart abgebildet wird, dass jede Komponente oder jedes Material mit den zugehörigen Bestelldaten als eine virtuelle Komponente oder ein virtuelles Material in der Simulationsumgebung dargestellt wird und wobei die Bestelllogik unter Verwendung eines Agenten für bestärkendes Learning generiert wird, wobei der Agent auf Basis von historischen Komponentenbewegungen und historischen Materialfluss und/oder entsprechenden Wahrscheinlichkeitsverteilungen, welche den historischen Materialbedarf abbilden, in der Simulationsumgebung trainiert wird.The object is achieved by a computer-implemented training method for generating an order logic for a component store, the component store being mapped in a simulation environment in such a way that each component or each material with the associated order data is represented as a virtual component or a virtual material in the simulation environment and wherein the ordering logic is generated using an agent for reinforcement learning, wherein the agent is trained in the simulation environment based on historical component movements and historical material flow and/or corresponding probability distributions representing historical material requirements.
Der Agent führt die Aktionen/Bestellungen in der erfindungsgemäßen Simulationsumgebung aus und bekommt dafür eine Belohnung.The agent carries out the actions/orders in the simulation environment according to the invention and receives a reward for doing so.
Dabei erlernt beim Bestärkenden Lernen oder Verstärkenden Lernen (reinforcement learning) der Agent selbstständig eine Strategie in der erfindungsgemäßen Simulationsumgebung, um eine erhaltene Belohnung anhand einer Belohnungsfunktion zu maximieren. Äquivalent zur Maximierung einer Belohnungsfunktion, ist auch die Minimierung einer Kostenfunktion möglich. Der erfindungsgemäße Agent lernt dabei eigenständig, in welcher Situation, welche Aktion die beste ist. Somit kann die Belohnung auch negativ sein, wenn der Agent eine Aktion wählt, die nicht der Belohnungsfunktion entspricht. Die Belohnungsfunktion ist daher eine Nutzenfunktion.In the case of reinforcement learning or reinforcement learning, the agent independently learns a strategy in the simulation environment according to the invention in order to maximize a reward received using a reward function. Equivalent to maximizing a reward function, minimizing a cost function is also possible. The agent according to the invention independently learns which action is best in which situation. Thus the reward can also be negative if the agent chooses an action that does not correspond to the reward function. The reward function is therefore a utility function.
Die Bestelllogik kann auch als Policy bezeichnet werden, und ist die Strategie, die der Agent ausführt, um über die nächste Aktion zu entscheiden. Die bestmögliche Bestelllogik ist dabei das trainierte Ziel. Das erlernte Verhalten des erfindungsgemäßen Agenten, die Bestelllogik, stellt das Ergebnis des Trainings dar. Die Bestelllogik beschreibt, welche Bestellungen bei einer beliebigen Verhaltensvariante innerhalb der virtuellen Simulationsumgebung zur höchstmöglichen Belohnung führt. Die Simulationsumgebung ist erfindungsgemäß angepasst, um gelieferte und abgerufene Mengen abbilden zu können.Ordering logic can also be referred to as policy and is the strategy that the agent executes to decide on the next action. The best possible order logic is the trained goal. The learned behavior of the agent according to the invention, the ordering logic, represents the result of the training. The ordering logic describes which orders lead to the highest possible reward for any behavioral variant within the virtual simulation environment. According to the invention, the simulation environment is adapted in order to be able to map delivered and retrieved quantities.
Basierend auf den historischen Inventarbewegungen; d.h. den historischen Komponentenbewegungen und dem historischen Materialfluss, wird mit Hilfe von Reinforcement Learning und der Simulationsumgebung somit die Bestelllogik gelernt, die auf diese Daten im Hinblick auf festgelegte Kriterien, wie Rechtzeitigkeit, Kosten zu optimalen Entscheidungen geführt hätte. Alternativ oder optional können neben historischen Inventarbewegungen auch entsprechende Wahrscheinlichkeitsverteilungen, welche den historischen Materialbedarf abbilden, wie beispielsweise in Form einer Binomialverteilung oder Poissonverteilung, zur Darstellung des Materialbedarfs verwendet werden.Based on historical inventory movements; i.e. the historical component movements and the historical material flow, the ordering logic is learned with the help of reinforcement learning and the simulation environment, which would have led to optimal decisions on this data with regard to specified criteria such as timeliness and costs. Alternatively or optionally, in addition to historical inventory movements, corresponding probability distributions that depict the historical material requirement, such as in the form of a binomial distribution or Poisson distribution, can also be used to represent the material requirement.
Die gelernte Bestelllogik kann für zukünftige Bestellungen notwendiger Komponenten und Materialien verwendet werden, um automatisiert und dynamisch auf diverse Situationen, wie eine Veränderung der Lieferkette bzw. abgerufenen Mengen, zu reagieren.The learned ordering logic can be used for future orders of necessary components and materials in order to react automatically and dynamically to various situations, such as a change in the supply chain or requested quantities.
Die Möglichkeit verschiedene Einflusskriterien, wie Kosten, Lieferzeiten in der Simulationsumgebung abzubilden, hilft beliebig komplexe externe und interne Einflüsse virtuell darzustellen. Damit können in Situationen mit Unsicherheit, d.h. unvollständigem Wissen, bessere Entscheidungen getroffen werden. Die gelernte dynamische Bestelllogik kann somit auch mit Situationen umgehen, die in solcher Form nicht in der Vergangenheit aufgetreten sind.The possibility of depicting various influencing criteria, such as costs and delivery times in the simulation environment, helps to virtually represent any complex external and internal influences. This allows better decisions to be made in situations of uncertainty, i.e. incomplete knowledge. The learned dynamic ordering logic can thus also deal with situations that have not occurred in this form in the past.
Durch das erfindungsgemäße computerimplementierte Trainingsverfahren wird eine erfindungsgemäße dynamische Bestelllogik für beliebig viele Materialien und Komponenten mit Hilfe von Reinforcement Learning innerhalb der erfindungsgemäßen virtuellen Simulationsumgebung generiert. Die generierte Bestelllogik kann somit auch mit Situationen und Unsicherheit umgehen, die in solcher Form nicht in der Vergangenheit aufgetreten sind.The computer-implemented training method according to the invention generates a dynamic ordering logic according to the invention for any number of materials and components with the aid of reinforcement learning within the virtual simulation environment according to the invention. The generated ordering logic can thus also deal with situations and uncertainties that have not occurred in this form in the past.
In weiterer Ausgestaltung kann die Bestelllogik als künstliches neuronales Netz ausgestaltet sein. Ferner kann das verstärkende Lernen als DeepQ-learning, sowie als Policy-Optimization (z.B. Policy-Gradient oder Actor-Critic), als auch durch Kombinationen verschiedener Ansätze, ausgebildet sein. Dadurch können große Datenmengen bearbeitet und verarbeitet werden; sowie auch verschiedene Kriterien unterschiedlich gewichtet werden.
Ferner kann die Bestelllogik anhand der aktuellen Komponentenbewegungen und des aktuellen Materialflusses dynamisch verbessert werden. Dadurch kann auf Änderungen in der Lieferkette, beispielsweise Änderungen bei Lieferanten, besser reagiert werden.In a further refinement, the ordering logic can be in the form of an artificial neural network. Furthermore, reinforcement learning can be designed as DeepQ-learning, as well as policy optimization (e.g. policy gradient or actor-critic), as well as through combinations of different approaches. This allows large amounts of data to be edited and processed; as well as different criteria are weighted differently.
Furthermore, the order logic can be dynamically improved based on the current component movements and the current material flow. This makes it easier to respond to changes in the supply chain, such as changes at suppliers.
Vorzugsweise wird jede Komponente oder jedes Material zusätzlich mit den dazugehörigen technischen Parametern virtuell dargestellt. Dadurch können beispielsweise auch äquivalent geeignete Produkte/Materialien (bei beispielsweise nicht lieferbaren Artikeln) in die Bestelllogik miteinfließen.Each component or each material is preferably additionally represented virtually with the associated technical parameters. This means that, for example, equivalently suitable products/materials (in the case of items that cannot be delivered, for example) can also be included in the ordering logic.
In weiterer Ausbildung umfasst die Simulationsumgebung zusätzlich die jeweils benötigte Transportzeit zum Anliefern für die jeweilige Komponente und das jeweilige Material. Dadurch kann eine zusätzlich hinsichtlich Transportweg und Transportdauer verbesserte Bestelllogik generiert werden.In a further development, the simulation environment also includes the respectively required transport time for delivering the respective component and the respective material. As a result, an ordering logic that is additionally improved in terms of transport route and transport duration can be generated.
In weiterer Ausgestaltung umfasst die Simulationsumgebung zusätzlich die Kosten für die jeweilige Komponente und das jeweilige Material. Dadurch kann eine zusätzlich hinsichtlich Kosten verbesserte Bestelllogik generiert werden.In a further refinement, the simulation environment also includes the costs for the respective component and the respective material. As a result, an ordering logic that is additionally improved in terms of costs can be generated.
In weiterer Ausbildung umfasst die Simulationsumgebung zusätzlich individuelle Kriterien. So können beispielsweise vom Benutzer manuelle angelegte Kriterien, wie: Lieferant unzulässig/zu teuer und/oder ein Ranking angegeben werden und eine zusätzlich hinsichtlich dieser Kriterien verbesserte Bestelllogik generiert werden. In further training, the simulation environment also includes individual criteria. For example, criteria created manually by the user, such as: supplier not permitted/too expensive and/or a ranking can be specified and an ordering logic that has been improved with regard to these criteria can be generated.
Ferner wird die Aufgabe gelöst durch ein Steuerungssystem aufweisend eine wie oben beschriebene generierte Bestelllogik, wobei das Steuerungssystem eine Kommunikationseinheit zumindest zur drahtlosen Anbindung an das Komponentenlager aufweist und eine Speichereinheit aufweist, welche die jeweiligen aktuellen Bestelldaten aufweist und wobei das Steuerungssystem dazu ausgebildet ist, mittels der Bestelllogik unter Berücksichtigung des aktuellen Komponentenbestandes und des aktuellen Materialbestandes eine automatisierte Bestellung von benötigten Komponenten und benötigten Materialien anhand der Bestelldaten über die Kommunikationseinheit zu tätigen.
Das erfindungsgemäße Steuerungssystem kann somit beispielsweise mittels der trainierten Bestelllogik, den Zeitpunkt der Bestellung, das Abholdatum der Lieferung, die Bestellmengen, sowie einen Abholrhythmus bestimmen.Furthermore, the object is achieved by a control system having an ordering logic generated as described above, wherein the control system has a communication unit at least for wireless connection to the component store and has a memory unit which has the respective current ordering data and wherein the control system is designed to use the Ordering logic, taking into account the current component stock and the current material stock, to place an automated order for required components and required materials using the order data via the communication unit.
The control system according to the invention can thus, for example, by means of the trained ordering logic, determine the time of the order, the pick-up date of the delivery, the order quantities, and a pick-up rhythm.
Dabei kann die Bestelllogik den berechneten Abholort, einen berechneten Datum/Zeit sowie einen berechneten Rhythmus der Abholungen durch die drahtlosen Anbindung an das Komponentenlager zunächst an ein firmeninternes Netz an einer Anzeigeneinheit ausgeben oder beispielsweise auch dazu ausgebildet sein, diese mitsamt den benötigten Komponenten und benötigten Materialien direkt beim Lieferanten anzuzeigen.The ordering logic can first output the calculated pick-up location, a calculated date/time and a calculated pick-up rhythm through the wireless connection to the component warehouse to a company-internal network on a display unit or, for example, can also be designed to display this together with the required components and required materials directly to the supplier.
Das erfindungsgemäße Steuerungssystem kann durch die erfindungsgemäße Bestelllogik sowie die Anbindung zumindest an das Komponentenlager automatisiert und dynamisch auf diverse Veränderungen reagieren, und die notwendigen Bestelldaten bestimmen und anzeigen.The control system according to the invention can react automatically and dynamically to various changes due to the ordering logic according to the invention and the connection at least to the component store, and can determine and display the necessary ordering data.
Ferner kann das Steuerungssystem eine Lesestation zum Einlesen vorhandener RFIDTags und/oder vorhandener FunkTags der jeweiligen Komponenten und der jeweiligen Materialien aufweisen, wobei das Steuerungssystem dazu ausgebildet ist, bei Anlieferung einen Abgleich der angelieferten eingelesenen Komponenten und der angelieferten eingelesenen Materialien mit den Bestelldaten zu tätigen.Furthermore, the control system can have a reading station for reading in existing RFID tags and/or existing radio tags of the respective components and the respective materials, wherein the control system is designed to compare the delivered, read components and the delivered, read materials with the order data upon delivery.
Ferner können durch Anbindung des Steuerungssystems beispielsweise an einen autonom fahrenden Pick-by-Roboter; Lagerroboter oder ein anderes automatisiertes System die angelieferten Komponenten und Materialien automatisiert in beispielsweise einer Lagerhalle gelagert werden.Furthermore, by connecting the control system to an autonomous pick-by-robot; Storage robots or another automated system the delivered components and materials are automatically stored in a warehouse, for example.
Ferner aktualisiert sich das Steuerungssystem 1 und die Bestelllogik durch Einlesen des RFIDTags und/oder FunkTags selber.Furthermore, the
Die RFIDTags oder FunkTags können RFID Etiketten/Chips ferner auch Funk, oder, NFC (Near Field Communication) Tags sein oder ein einfacher Barcode.
Ferner kann bei einer Differenz zwischen angelieferten Komponenten und Materialien und bestellten Komponenten und bestellten Materialien ein Warnsignal durch das Steuerungssystem ausgegeben werden. Dieses kann beispielsweise beim Steuerungssystem als auch beim Lieferanten bzw. Komponentenzulieferer ausgegeben werden.The RFID tags or radio tags can also be radio or NFC (Near Field Communication) tags or a simple barcode.
Furthermore, if there is a difference between the components and materials delivered and the components and materials ordered, a warning signal can be output by the control system. This can, for example, be issued by the control system or by the supplier or component supplier.
In weiterer Ausgestaltung ist das Steuerungssystem dazu ausgebildet, anhand der Bestelllogik einen Abholort und/oder eine Zeit und/oder ein Datum und /oder eine Abholroute der bestellten Komponenten und der bestellten Materialien unter Verwendung der Bestelldaten zu bestimmen. Das Steuerungssystem übermittelt beispielsweise per Funkverbindung/WLANverbindung etc. über die Kommunikationseinheit, welche Materialien/Komponenten wann und in welcher Menge beim Lieferanten bzw. einem Lager abgeholt werden müssen, damit die Materialien/Komponenten zum entsprechenden Zeitpunkt bereitgestellt werden, so dass eine schnellere und automatisierte Bereitstellung der Materialien/Komponenten möglich ist.In a further refinement, the control system is designed to use the ordering logic to determine a pick-up location and/or a time and/or a date and/or a pick-up route for the ordered components and the ordered materials using the order data. The control system transmits, for example via radio link/WLAN connection etc. via the communication unit, which materials/components have to be picked up when and in what quantity from the supplier or a warehouse, so that the materials/components are made available at the appropriate time, so that a faster and automated Provision of the materials/components is possible.
In weiterer Ausgestaltung ist das Steuerungssystem zur Kommunikation mit einem Güterverkehrsmittel ausgebildet, wobei das Steuerungssystem ferner dazu ausgebildet ist, den Abholort und die Zeit und/oder das Datum als auch die Komponentenbestellung und Materialienbestellung an das Güteverkehrsmittel zu übermitteln. Ein Güterverkehrsmittel kann beispielsweise ein autonom fahrender Lastwagen, ein Shuttle, ein Robotersystem etc. sein.In a further refinement, the control system is designed to communicate with a means of freight transport, the control system also being designed to transmit the pick-up location and the time and/or the date as well as the order for components and materials to the means of freight transport. A means of freight transport can be, for example, an autonomously driving truck, a shuttle, a robot system, etc.
Die Ansteuerung des Güterverkehrsmittels per Kommunikationseinheit durch das Steuerungssystem erfolgt beispielsweise über das Internet oder das Firmennetzwerk, je nachdem, ob eine Verbindung jederzeit durch Unternehmenshardware (WLAN, Access Points) gewährleistet ist oder ob das Güterverkehrsmittel dazu ausgebildet ist, auch außerhalb per mobilem Internet eine Verbindung aufzubauen. Ferner kann auch das Güterverkehrsmittel zum Lesen von vorhandenen RFIDTags und/oder vorhandenen FunkTags zum Abgleich der Lieferdaten und der bestellten Komponenten/Materialien ausgebildet sein. Der Abgleich kann beispielsweise gleich an das Steuerungssystem übermittelt werden.
Das Steuerungssystem kann die Transportzeit und somit auch den Zeitpunkt für die Abfahrt und eine ID der Bestellung an das Güterverkehrsmittel übermitteln, um eine Abholung der bestellten Komponenten/Materialien zum vereinbarten Übergabezeitpunkt abzuholen. Ferner kann das Steuerungssystem dazu ausgebildet sein, bei Bereitstehen von mehreren Güterverkehrsmitteln, beispielsweise eine unterschiedliche Größe von LKW /Sprinter etc. die Auswahl des Güterverkehrsmittels passend zum Umfang der Bestellung zu bewerkstelligen.The means of freight transport is controlled by the control system using a communication unit, for example via the Internet or the company network, depending on whether a connection is guaranteed at all times by the company hardware (WLAN, access points) or whether the means of freight transport is also designed to have a connection outside via mobile internet build up. Furthermore, the means of freight transport can also be designed to read existing RFID tags and/or existing radio tags to compare the delivery data and the ordered components/materials. The comparison can, for example, be sent straight to the control system.
The control system can transmit the transport time and thus also the time for departure and an ID of the order to the means of freight transport in order to pick up the ordered components/materials at the agreed handover time. Furthermore, the control system can be designed to, when several means of goods transport are available, for example a different size truck/sprinter etc selection of the means of freight transport to suit the scope of the order.
In weiterer Ausgestaltung ist das Steuerungssystem dazu ausgebildet, mittels GPS Tracking das Güteverkehrsmittel zu orten, um dadurch den Ankunftszeitpunkt beim Lieferanten oder an der Endstation je nach aktueller Position des Güteverkehrsmittels zu aktualisieren, um präzisere Vorhersagen zu machen.In a further refinement, the control system is designed to locate the goods transport using GPS tracking, in order to thereby update the time of arrival at the supplier or at the end station depending on the current position of the goods transport, in order to make more precise predictions.
Das Güteverkehrsmittel kann hierzu ein GPS-Modul zum Ermitteln des aktuellen Standorts umfassen. Somit kann eine Tracking/Kontrolle der Lieferung per Funk erfolgen.For this purpose, the means of freight transport can include a GPS module for determining the current location. This means that the delivery can be tracked/controlled by radio.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:
-
1 : ein erfindungsgemäßes computerimplementiertes Trainingsverfahren, und -
2 : ein erfindungsgemäßes Steuerungssystem, und -
3 : ein erfindungsgemäßes Steuerungssystem im Einsatz.
-
1 : a computer-implemented training method according to the invention, and -
2 : a control system according to the invention, and -
3 : a control system according to the invention in use.
Dabei wird in einem ersten Schritt S1 eine virtuelle Simulationsumgebung bereitgestellt, welche das Komponentenlager so abbildet, dass jede Komponente oder jedes Material mit den dazugehörigen Bestelldaten als eine virtuelle Komponente oder ein virtuelles Material abgebildet wird.In a first step S1, a virtual simulation environment is provided, which depicts the component store in such a way that each component or each material with the associated order data is depicted as a virtual component or a virtual material.
In einem zweiten Schritt S2 trainiert ein Agent für verstärkendes Lernen (reinforcement learning) in der so erstellten Simulationsumgebung eine Bestelllogik 4 (
Der Agent führt Aktionen und Bestellungen in der so erstellten Simulationsumgebung aus und bekommt dafür eine Belohnung. Der Agent lernt dabei eigenständig, in welcher Situation, welche Aktion die beste ist. Somit kann die Belohnung auch negativ sein, wenn der Agent eine Aktion wählt, die nicht der Belohnungsfunktion entspricht. Die Belohnungsfunktion ist dabei eine Nutzenfunktion.
Äquivalent zur Maximierung einer Belohnungsfunktion, ist auch die Minimierung einer Kostenfunktion möglich.The agent carries out actions and orders in the simulation environment created in this way and receives a reward for doing so. The agent learns independently which action is best in which situation. Thus the reward can also be negative if the agent chooses an action that does not correspond to the reward function. The reward function is a utility function.
Equivalent to maximizing a reward function, minimizing a cost function is also possible.
Die bestmögliche Bestelllogik 4 (
Die Bestelllogik 4 (
Dabei umfasst die Simulationsumgebung vorzugsweise zusätzlich die jeweils benötigte Transportzeit zum Anliefern für die Komponente und das Material und zusätzlich die Kosten für die Komponente und das Material; als auch beispielsweise individuelle Kriterien; wie Lieferant unzuverlässig etc., welche in die Simulationsumgebung integriert werden.In this case, the simulation environment preferably additionally includes the respectively required transport time for delivering the component and the material and additionally the costs for the component and the material; as well as, for example, individual criteria; such as supplier unreliable etc., which are integrated into the simulation environment.
Dadurch wird ein Trainieren einer dynamischen Bestelllogik 4 (
Dabei wird als verstärkendes Lernverfahren das DeepQ-learning oder als Policy-Optimization als auch durch Kombinationen dieser verschiedenen Ansätze verwendet.DeepQ learning or policy optimization as well as combinations of these different approaches are used as a reinforcing learning method.
In einem dritten Schritt S3 wird die so antrainierte Bestelllogik 4 (
Diese antrainierte Bestelllogik 4 (
Durch die Verwendung einer solchen virtuellen Simulationsumgebung können beliebig komplexe externe und interne Einflüsse auf das Komponentenlager abgebildet werden, um damit in Situationen mit Unsicherheit, d.h. unvollständigem Wissen bessere Entscheidungen treffen zu können. Die antrainierte Bestelllogik 4 (
Anhand der antrainierten Bestelllogik 4 tätigt das Steuerungssystem 1 unter Berücksichtigung des aktuellen Komponentenbestandes und des aktuellen Materialbestandes eine automatisierte Bestellung von benötigten Komponenten und benötigten Materialien anhand der Bestelldaten über die Kommunikationseinheit 2.
Diese automatisierte Bestellung ist im einfachsten Fall beispielsweise eine Anzeige auf einer firmeninternen Anzeigeneinheit, welche beispielsweise noch von einem Mitarbeiter überprüft und dann weitergeleitet/freigegeben werden kann.Using the trained
In the simplest case, this automated order is, for example, an advertisement on a company-internal advertising unit, which, for example, can be checked by an employee and then forwarded/released.
Ferner kann das Steuerungssystem 1 dazu ausgebildet sein, beispielsweise nach Freigabe oder direkt über die Kommunikationseinheit 2 die Bestelldaten an den jeweiligen Lieferanten oder an ein Güterverkehrsmittel zu übersenden.Furthermore, the
Dabei kann das Steuerungssystem 1 mittels der Bestelllogik 4 den Abholort, das Datum/Zeit sowie den Rhythmus der Abholungen bestimmen.The
Das Steuerungssystem 1 bestimmt anhand der Bestelllogik 4 den Abholort, das Datum/Zeit sowie den Rhythmus der Abholungen und die benötigten Komponenten/Materialien und übersendet diese Daten an ein beispielsweise autonom betriebenen LKW 5 als Güterverkehrsmittel zum Transportieren der Lieferungen.The
Dabei kann das Steuerungssystem 1 auch dazu ausgebildet sein, durch die Bestelllogik 4 die Größe des LKWs 5 anhand des Umfangs der vorausbestimmten Lieferung zu bestimmen.The
Das Steuerungssystem 1 übermittelt die Abholinformationen als Signale über die Kommunikationseinheit 2 an den ausgewählten LKW 5. Das Signal enthält Daten, wie Abholort, Zeitpunkt und ID der Lieferung.The
Der LKW 5 verfügt über ein GPS-Modul zum Ermitteln des aktuellen Standorts, so dass das Steuerungssystem 1 die Route mitverfolgen kann. Dadurch kann der Ankunftszeitpunkt beim Lieferanten oder an der Endstation je nach aktueller Position des LKWs 5 aktualisiert werden, um präzisere Vorhersagen zu machen.The
Ferner kann der LKW 5 zum Lesen von RFIDTags und zum Abgleich der Lieferdaten ausgebildet sein, oder die Endstation weist eine solche Einlesemöglichkeit auf und übermittelt die eingelesenen Daten an das Steuerungssystem 1.Furthermore, the
Das Steuerungssystem 1 kann anschließend einen Abgleich der angelieferten Komponenten und Materialien tätigen, und bei einer Differenz eine Warnung ausgeben. Zudem speichert das Steuerungssystem 1 die aktuellen Komponenten- und Materialbestände.The
BezugszeichenlisteReference List
- 11
- Steuerungssystemcontrol system
- 22
- Kommunikationseinheitcommunication unit
- 33
- Speichereinheitstorage unit
- 44
- Bestelllogikorder logic
- 55
- LKWtruck
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 102014221325 A1 [0009]DE 102014221325 A1 [0009]
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021205556.7A DE102021205556A1 (en) | 2021-06-01 | 2021-06-01 | Computer-implemented training method for generating an ordering logic and control system with an ordering logic |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021205556.7A DE102021205556A1 (en) | 2021-06-01 | 2021-06-01 | Computer-implemented training method for generating an ordering logic and control system with an ordering logic |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102021205556A1 true DE102021205556A1 (en) | 2022-12-01 |
Family
ID=83997572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102021205556.7A Withdrawn DE102021205556A1 (en) | 2021-06-01 | 2021-06-01 | Computer-implemented training method for generating an ordering logic and control system with an ordering logic |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102021205556A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014221325A1 (en) | 2014-10-21 | 2016-04-21 | Fb Green Energy GmbH | logistics system |
| DE102016100241A1 (en) | 2016-01-08 | 2017-07-13 | nextLAP GmbH | Method of producing a product with integrated planning and direct integrated control |
| DE102018107147A1 (en) | 2017-11-08 | 2019-05-09 | Retaidea UG (haftungsbeschränkt) | Device for offering goods and / or services and operating methods therefor |
| DE102019209110A1 (en) | 2019-06-24 | 2020-12-24 | Sms Group Gmbh | Industrial plant, in particular plant in the metal-producing industry or the aluminum or steel industry, and method for operating an industrial plant, in particular a plant in the metal-producing industry or the aluminum or steel industry |
| DE112019004260T5 (en) | 2018-08-31 | 2021-07-22 | Kinaxis Inc. | ANALYSIS AND CORRECTION OF THE SUPPLY CHAIN DESIGN THROUGH MACHINE LEARNING |
-
2021
- 2021-06-01 DE DE102021205556.7A patent/DE102021205556A1/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014221325A1 (en) | 2014-10-21 | 2016-04-21 | Fb Green Energy GmbH | logistics system |
| DE102016100241A1 (en) | 2016-01-08 | 2017-07-13 | nextLAP GmbH | Method of producing a product with integrated planning and direct integrated control |
| DE102018107147A1 (en) | 2017-11-08 | 2019-05-09 | Retaidea UG (haftungsbeschränkt) | Device for offering goods and / or services and operating methods therefor |
| DE112019004260T5 (en) | 2018-08-31 | 2021-07-22 | Kinaxis Inc. | ANALYSIS AND CORRECTION OF THE SUPPLY CHAIN DESIGN THROUGH MACHINE LEARNING |
| DE102019209110A1 (en) | 2019-06-24 | 2020-12-24 | Sms Group Gmbh | Industrial plant, in particular plant in the metal-producing industry or the aluminum or steel industry, and method for operating an industrial plant, in particular a plant in the metal-producing industry or the aluminum or steel industry |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bousonville | Logistik 4.0 | |
| DE102011104511B3 (en) | Distribution warehouse and process for order-oriented assembly of different articles with a reduced buffer | |
| DE102005019280B4 (en) | Machine readable identifiers utilizing aircraft cargo logistics system | |
| EP1191414B1 (en) | System and method for central stock management | |
| Meredith et al. | Characterizing and structuring a new make-to-forecast production strategy | |
| CN107341629A (en) | Bay assignment method and device | |
| DE202017007516U1 (en) | Optimized logistics management system | |
| DE102016103771A1 (en) | Method of producing a product with integrated planning and direct integrated control | |
| EP1504279A2 (en) | Device for determining the position by means of fixed and/or variable landmarks | |
| DE102021203400A1 (en) | Computer-implemented method and computer program for assembly quantity planning of assembly parts for production optimization of a production system, assembly quantity planning system and production planning and control system | |
| DE202022100358U1 (en) | IoT based intelligent logistics and supply chain system for managing production and transportation | |
| EP3179424A1 (en) | Device and method for transmitting, storing and presenting data | |
| DE102021205556A1 (en) | Computer-implemented training method for generating an ordering logic and control system with an ordering logic | |
| EP3224774A1 (en) | Establishment of a delivery route | |
| DE102008053274A1 (en) | Method for controlling a plurality of production processes | |
| DE19612652C1 (en) | Automatic control of warehouse stock and distribution of goods | |
| WO2023156366A1 (en) | System for digitally representing a warehouse and/or material storage facility | |
| DE102018121514A1 (en) | Procedure for "Just-In-Sequence" individualization of vehicles | |
| DE102008060726A1 (en) | RFID-controlled storage and storage process and system | |
| DE102014221325A1 (en) | logistics system | |
| DE102018107147A1 (en) | Device for offering goods and / or services and operating methods therefor | |
| WO2021190919A1 (en) | Computer-implemented method for planning and/or controlling a production by a production system, and production planning and/or control system | |
| Ndiaye et al. | A hybrid ant colony and genetic algorithm to solve the container stacking problem at seaport terminal | |
| DE202023104041U1 (en) | AI-powered dynamic routing optimization system for supply chain logistics | |
| DE102020213823A1 (en) | Method for substituting or configuring a process unit in a work process and system for substituting or configuring a process unit in a work process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |