EP4489924A1 - Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten - Google Patents

Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten

Info

Publication number
EP4489924A1
EP4489924A1 EP23719669.6A EP23719669A EP4489924A1 EP 4489924 A1 EP4489924 A1 EP 4489924A1 EP 23719669 A EP23719669 A EP 23719669A EP 4489924 A1 EP4489924 A1 EP 4489924A1
Authority
EP
European Patent Office
Prior art keywords
product
products
repositioning
auto
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23719669.6A
Other languages
English (en)
French (fr)
Inventor
Daniel SCHALL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG Oesterreich
Original Assignee
Siemens AG Oesterreich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG Oesterreich filed Critical Siemens AG Oesterreich
Publication of EP4489924A1 publication Critical patent/EP4489924A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour

Definitions

  • the invention relates to a computer-implemented method, a sorting system and a client-server system for repositioning defective products.
  • the invention relates to a computer program, an electronically readable data carrier and a data carrier signal.
  • AI Artificial intelligence algorithms
  • the aim is not only to establish conformity with a reference product, but also to determine the degree of deviation from this “gold standard”.
  • the object according to the invention is achieved by a method of the type mentioned at the beginning, the following steps being carried out: a) providing a first product at a first position and at least a second product at at least a second position on a shelf, such as a moving conveyor belt, b ) Detecting properties and position of the first product as first sensor data and of the at least one second product as at least second sensor data by at least one sensor means and providing the first and the at least second sensor data to an analysis device with a processor and a memory, c) Providing a reference model based on machine learning, which has predefined properties of a product with which the first and the at least one second product have the highest possible degree of agreement and is generated and trained accordingly, d) Determining a first parameter with regard to the degree of agreement of the first sensor data with the reference model using a first auto-encoder, e) determining at least one second parameter with regard to the degree of agreement of the at least second sensor data with the reference model using at least a second Auto-encoders
  • a defective product is understood to be a product for which a corresponding parameter is recorded in the course of a quality inspection that lies outside a specified range of values.
  • a parameter can be a parameter for a product that characterizes the product itself, such as dimensions or shape of the product, or number of product parts that form the product, and the like.
  • An intended target value with a range of values for maximum permissible tolerances can be specified for the parameter or characteristic variable.
  • the product shape can be described, for example, by the course of an outer contour, the course of inner contours of product parts or adjacent product parts, as well as by straight courses, radii of curvature and/or proportions of product parts to one another.
  • a property of the product can, for example, be formed by a material property of the product, such as the color or the elasticity of the product.
  • One or more properties can each be determined by corresponding sensors, such as an optical camera sensor or a mechanical pen, which is guided to the product and records a penetration depth or a retaining force with regard to the product elasticity.
  • product properties can be determined using non-intrusive sensors, such as ultrasonic or radar sensors for determining the moisture content or metal content of a product.
  • the position or orientation of the product on the conveyor belt can form parameters that are detected, for example, by an optical camera sensor.
  • a sensor can record several properties or product parameters.
  • a subsequently controlled robot can therefore select and pick products that are sorted according to the degree of deviation from the gold standard.
  • products with a high deviation should be selected with a higher priority, and only when the sorting robot is available are the products with a lower deviation sorted out.
  • a comparison means determining the degree of agreement between sensor data and the reference model.
  • a sorting order is thus achieved in which one of the two criteria is achieved: • All defective products in a specific product batch have been sorted out into a designated container.
  • This best-effort approach has the advantage of lowering the performance requirements of the robotics solution, making automated visual quality control more accessible even for smaller systems.
  • step g) for the first and at least one second characteristic each provides a numerical value, for example the reconstruction error from the auto-encoder.
  • the numerical values obtained in this way can now be ranked based on their amount and output as a list, which uses the ranked numerical values to represent a prioritization of products that are subsequently to be repositioned on the shelf or sorted out.
  • an auto-encoder is particularly suitable for a comparison with a reference model because it can be implemented easily and at high speed.
  • the manipulation device can transport or sort out products from their positions on the shelf where they were provided to alternative positions.
  • the shelf is covered by a working area of the manipulation device.
  • the shelf can only be available as a work area for a limited time if subsequent further work steps prevent or restrict access to the shelf.
  • the shelf in the form of a conveyor belt can move the provided products to an adjacent location, such as a container away from the shelf, which is also located in the working area of the manipulation device. The speed of movement of the conveyor belt determines the time availability of the products on the shelf in the working area of the manipulation device.
  • the work area can also be restricted if the products are further processed directly on the shelf, in that another processing device covers the products and the shelf is therefore not accessible as a work area.
  • step f) The process can be repeated in step f), whereby step a) can be skipped if there are further products on the shelf that have not yet been examined.
  • the first auto-encoder and the at least one second auto-encoder are formed by a common auto-encoder.
  • An autoencoder is an artificial neural network that is used to learn efficient coding.
  • the goal of an autoencoder is to learn a compressed representation, the so-called "encoding" for a set of data and thus also to extract essential features. This means that it can be used for dimension reduction.
  • the autoencoder uses three or more layers: an input layer: in face recognition, for example, the neurons could map the pixels of a photograph. • some significantly smaller layers (compared to the input layer and output layer) that form the encoding.
  • the autoencoder proves to be a particularly good implementation in the system.
  • the first characteristic is formed by the reconstruction error of the first auto-encoder and the at least one second characteristic is formed by the reconstruction error of the at least one second auto-encoder.
  • the reference model in step c) is generated and provided using federated learning by a connected, distributed client-server system.
  • a newly added client therefore does not need to be trained specifically, but can rely on a global model through federated learning.
  • steps d) to f) are carried out by the analysis device.
  • a sorting system of the type mentioned at the outset comprising a shelf for providing a first product at a first position and at least a second product at at least a second position, at least one sensor means for detecting properties and position of the first product and the at least one second product, an analysis device with a processor and a memory and a manipulation device for repositioning products, and the system is set up to carry out the method according to the invention.
  • the object according to the invention is solved by a client-server system of the type mentioned at the beginning, comprising a sorting system according to the invention, which is located as a client at an edge, and the client-server system uses federated learning to create a global model based on machine learning generated, trained and provided to the connected sorting system as a local model for use in the method according to the invention.
  • the object according to the invention is solved by a computer program comprising commands which, when executed by a computer, cause it to carry out the method according to the invention.
  • the object according to the invention is achieved by an electronically readable data carrier with readable control information stored thereon, which includes at least the computer program according to the invention and is designed in such a way that it carries out the method according to the invention when the data carrier is used in a computing device.
  • Fig. 1 an exemplary embodiment of a sorting system according to the invention
  • FIG. 2 an exemplary embodiment of a flow chart of the method according to the invention
  • Fig. 3 an exemplary embodiment of a client-server system according to the invention.
  • Fig. 1 shows a sorting system according to the invention.
  • a shelf 1 for providing products at respective positions is formed by a conveyor belt with products transported thereon.
  • the conveyor belt moves the products placed thereon at a predefined speed la in a transport direction.
  • a sensor means 2 in the form of a camera system detects the products, possibly with unfavorable impairment of the field of vision, and generates the respective sensor data SD.
  • An analysis device 3 in particular with an auto-encoder, carries out a computer-implemented recognition algorithm for visual quality control for the sensor data provided.
  • a process based on artificial intelligence is carried out and deviations from a reference model are determined, in particular based on the “reconstruction error” of an auto-encoder.
  • the reference model is created, trained and saved in a computing device with valid and permissible product data (gold standard).
  • the model can either be local or based on a global model, which ches over several, distributed models of further computing devices are generated according to the principle of “federated learning” and made available to the said computing device. This allows the local effort for providing the said local model to be reduced and the accuracy can be improved.
  • Corresponding data sets are thus formed from the sensor data SD using the respective reconstruction errors.
  • the first data sets Pok designate products whose respective parameter with regard to the degree of agreement of the sensor data corresponds sufficiently to the reference model, i.e. lies within a predetermined permissible value range.
  • Second data sets Pnok denote products whose respective parameter with regard to the degree of agreement of the sensor data does not correspond sufficiently with the reference model, i.e. lies outside a predetermined permissible value range.
  • the products identified as non-compliant with the gold standard, i.e. the model, are then prioritized.
  • the “reconstruction error” of an auto-encoder is used in particular, which can be used as a parameter in a comparison between sensor data and a reference model.
  • a subsequently arranged manipulation device 4 in the form of a robot is controlled in order to sort non-conforming products, which are selected according to a predetermined value range for product conformity, from the conveyor belt and into a new, predefined one Remove position, for example in a container intended for this purpose.
  • the sorting system for repositioning defective products includes a tray 1 for providing a first product PI at a first position and at least a second product P2 at at least a second position.
  • the sorting system includes at least one sensor means 2 for detecting properties and position of the first product PI and the at least one second product P2.
  • the sorting system also includes an analysis device 3 with a processor and a memory and a manipulation device 4 for repositioning products.
  • the manipulation device 4 can have a work area 5, which limits the predefined area in which repositioning on the work area 1, i.e. the conveyor belt, is carried out and which, together with the movement speed la of the conveyor belt, forms the basis for transfer times of repositioning.
  • Fig. 2 the method according to the invention is shown as a flow chart: a) providing a first product PI at a first position and a second product P2 at a second position on a shelf 1, b) detecting properties and position of the first product PI as a first sensor Data and the second product P2 as second sensor data through a sensor means 2 and providing the first and second sensor data to an analysis device 3 with a processor and a memory, c) providing a reference model based on machine learning , which predefined properties of a product with which the first and second products Pl, P2 has the highest possible degree of agreement and is generated and trained accordingly, d) determining a first parameter with regard to the degree of agreement of the first sensor data with the reference model using an auto-encoder, e) determining at least a second parameter with regard to the degree of agreement of the at least second sensor data with the reference model using the auto-encoder, f) determining whether both the first parameter and the at least one second parameter lie outside a predetermined range, and if
  • the reference model in step c) can be created and provided by a distributed client-server system using federated learning.
  • Fig. 3 shows an exemplary embodiment of a client-server system according to the invention, comprising a sorting system according to the invention, which is located as a client at an edge.
  • the client-server system creates and trains a global model GM based on machine learning using federated learning.
  • the global model GM is provided to connected sorting systems Kl, K2 as the respective local model LM1, LM2 for use in the method according to the invention.

Landscapes

  • Sorting Of Articles (AREA)

Abstract

Umpositionierung von fehlerhaften Produkten mit Erfassen 1. und 2. Produkts als Sensor-Daten, Analyse-Vorrichtung mit Referenz- Modell, maschinellem Lernen, Bestimmen 1. und 2. Kenngröße zwecks Übereinstimmungsgrad 1. Sensor-Daten mit Referenz- Modell und Auto-Encoder, Feststellen, ob sowohl 1. Kenngröße als auch 2. Kenngröße außerhalb eines Bereichs liegen, des Grads an Übereinstimmung für l.und 2. Kenngröße, und Liste mit einer, anhand Übereinstimmungen der jeweiligen Kenngrößen erfolgten Reihung, Bestimmen von jeweiligen Transferzeiten für eine Umpositionierung der Liste durch die jeweiligen Kenngrößen referenzierten Produkte zu der neuen Position durch eine Manipulations-Vorrichtung, Auswählen von Umpositionierungen, welche innerhalb einer vorgegebenen Zeitspanne, und anhand des jeweiligen geometrischen Abstands zwischen den jeweiligen Positionen des ersten und zweiten Produkts und der Liste, sowie der Transferzeiten, möglich sind, Umpositionieren der ausgewählten Produkte an die neue Position durch die Manipulations-Vorrichtung.

Description

Computer- Implementiertes Verfahren und Systeme zur Umpositionierung von fehlerhaften Produkten
Die Erfindung betri f ft ein computer-implementiertes Verfahren, ein Sortier-System und ein Klienten-Server-System zur Umpositionierung von fehlerhaften Produkten .
Ferber betri f ft die Erfindung ein Computerprogramm, einen elektronisch lesbaren Datenträger und ein Datenträgersignal .
Heutzutage wird in der Industrie häufig auf eine manuelle Qualitätskontrolle zurückgegri f fen, da automatisierte Verfahren häufig eine nicht hinreichende Erkennungsrate von Abweichungen eines Produkts verglichen mit einer gewünschten Qualität aufweisen . Eine derartige Inspektion kann die Produkte auf Konformität hinsichtlich Form, Höhe , Oberflächenbeschaffenheit etc . prüfen .
Andererseits kann eine manuelle Kontrolle , welche durch Menschen ausgeführt wird, beispielsweise durch die monotone Tätigkeit , auch zu Fehlern führen .
Algorithmen der künstlichen Intelligenz ( kurz „KI" ) können hel fen, den Erkennungs- und Qualitätsprüfungsprozess zu automatisieren . Um diese Aufgabe zu automatisieren, können Roboter oder andere Kommissionierer verwendet werden, um die nicht konformen Produkte von den konformen Produkten zu trennen .
Jedoch können Einflüsse , wie eine hohe Förderband- Geschwindigkeit , dazu führen, dass eine technische Lösung sehr teuer wird, wenn beispielsweise ausgeklügelte Roboter installiert werden müssen, die eine zur Durchführung der Trennaufgabe hinreichende Manipulations-Geschwindigkeit liefern .
Im Stand der Technik ist die Veröf fentlichung "MAGNETISCHE SEPARATION & SENSORBAS IERTE SORTIERUNG AUS EINER HAND MAG- NETIC SEPARATION & SENSOR-BASED SORTING FROM A S INGLE SOURCE Röntgensortiersystem" durch das „X-ray sorting system" der Firma STEINERT XSS , Induktionssortiersystem, „Induction sorting system STEINERT ISS" vom 31 . August 2020 ( 2020- 08-31 ) , Seiten 1-55 , XP055980166 , bekannt .
Diese Veröf fentlichung bezieht sich zwar in allgemeiner Weise auf ein System zur Umpositionierung von fehlerhaften Produkten, weist j edoch keine ef fi ziente Umpositionierung insbesondere für beschränkte Zeitintervalle auf .
Es ist Aufgabe der Erfindung eine Lösung zur Qualitätsprüfung bereitzustellen, mit welcher auf einfache Weise eine Produkt- Prüfung durchgeführt werden kann, beispielsweise für eine visuelle Qualitätsprüfung ( engl . „visual quality inspection" , kurz „VQI" ) , mithil fe derer eine nachfolgende Produktsepara- tion auf einfache Weise erfolgen kann .
Dabei soll nicht nur eine Konformität bezüglich eines Referenz-Produkts festgestellt werden, sondern auch ein Grad der Abweichung von diesem „Goldstandard" bestimmt werden .
Die erfindungsgemäße Aufgabe wird durch ein Verfahren eingangs genannter Art gelöst , wobei folgende Schritte ausgeführt werden : a) Bereitstellen von einem ersten Produkt an einer ersten Position und zumindest einem zweiten Produkt an zumindest einer zweiten Position an einer Ablage , wie ein sich bewegendes Förderband, b) Erfassen von Eigenschaften und Position des ersten Produkts als erste Sensor-Daten und des zumindest einen zweiten Produkts als zumindest zweite Sensor-Daten durch zumindest ein Sensor-Mittel und Bereitstellen der ersten und der zumindest zweiten Sensor-Daten an eine Analyse- Vorrichtung mit einem Prozessor und einem Speicher, c) Bereitstellen eines Referenz-Modells auf Basis maschinellen Lernens , welches vordefinierte Eigenschaften eines Produkts , mit welchem das erste und das zumindest eine zweite Produkt einen möglichst hohen Grad an Übereinstimmung, aufweist und dementsprechend erzeugt und trainiert ist , d) Bestimmen einer ersten Kenngröße hinsichtlich des Grads an Übereinstimmung der ersten Sensor-Daten mit dem Referenz-Modell mithil fe eines ersten Auto-Encoders , e ) Bestimmen zumindest einer zweiten Kenngröße hinsichtlich des Grads an Übereinstimmung der zumindest zweiten Sensor-Daten mit dem Referenz-Modell mithil fe zumindest eines zweiten Auto-Encoders durch die Analyse-Vorrichtung, f ) Feststellen, ob sowohl die erste Kenngröße als auch die zumindest eine zweite Kenngröße außerhalb eines vorbestimmten Bereichs liegen, und falls j a, fortfahren mit Schritt g) , sonst Beenden oder Wiederholen des Verfahrens , g) Feststellen des Grads an Übereinstimmung für die erste und die zumindest eine zweite Kenngröße , und Erstellen einer Liste mit einer, anhand Übereinstimmungen der j eweiligen Kenngrößen, welche insbesondere durch einen j eweiligen Rekonstruktions-Fehler gebildet sein können, erfolgten Reihung, h) Bestimmen von j eweiligen Trans ferzeiten, beispielsweise bestimmt durch die Bewegungsgeschwindigkeit des Förderbands , welche die darauf angeordneten Produkte durch einen festen Arbeitsbereich einer Manipulations-Vorrichtung bewegt , für eine Umpositionierung der in der im vorhergehenden Schritt bestimmten Liste durch die j eweiligen Kenngrößen ref erenzierten Produkte von deren j eweiligen Positionen zu zumindest einer neuen, vordefinierten Position durch die Manipulations-Vorrichtung, i ) Auswahlen von Umpositionierungen, also insbesondere von Produkten, für welche unzureichende Produkt-Eigenschaften durch den Vergleich im Schritt d) und e ) bestimmt wurden, welche innerhalb einer vorgegebenen Zeitspanne , und anhand des j eweiligen geometrischen Abstands zwischen den j eweiligen Positionen des ersten und des zumindest einen zweiten Produkts , und der im Schritt g) ermittelten Liste , sowie der im Schritt h) ermittelten Trans ferzeiten, möglich sind, und j ) Umpositionieren der im vorhergehenden Schritt ausgewählten Produkte an die zumindest eine neue vordefinierte Position durch die Manipulations-Vorrichtung .
Dadurch ist es beispielsweise möglich, eine Rangfolge und Zeitplanung einer nachfolgenden Aussortierung von fehlerhaften Produkten durchzuführen, weshalb der Einsatz einfacher und kostengünstiger Sortiervorrichtungen ermöglicht wird .
Unter einem fehlerhaften Produkt wird ein Produkt verstanden, für welches im Zuge einer Qualitätsprüfung eine entsprechende Kenngröße erfasst wird, die außerhalb eines vorgegebenen Wertebereichs liegt .
Eine Kenngröße kann ein Parameter für ein Produkt sein, welches das Produkt an sich charakterisiert , wie beispielsweise Abmessungen oder Form des Produkts , oder Anzahl von Produktteilen, welche das Produkt bilden, und dergleichen .
Für den Parameter beziehungsweise die Kenngröße kann ein vorgesehener Soll-Wert mit einem Wertebereich für maximal zulässigen Toleranzen angegeben werden .
Die Produkt-Form kann beispielsweise durch den Verlauf einer Außenkontur, den Verlauf von Innenkonturen von Produktteilen oder aneinandergrenzenden Produktteilen beschrieben werden, wie durch gerade Verläufe , Krümmungsradien und/oder Proportionen von Produktteilen untereinander . Eine Eigenschaft des Produkts kann beispielsweise durch eine Materialeigenschaft des Produkts gebildet sein, wie beispielsweise die Farbe oder die Elasti zität des Produkts .
Eine oder mehrere Eigenschaften können j eweils durch dementsprechende Sensoren bestimmt werden, wie ein optischer Kamerasensor oder ein mechanischer Sti ft , welcher zum Produkt hingeführt wird und eine Eindringtiefe oder eine Rückhaltekraft bezüglich der Produkt-Elasti zität aufnimmt . Außerdem können Produkt-Eigenschaften mithil fe nicht-intrusiver Sensoren bestimmt werden, wie Ultraschall- oder Radar-Sensoren für die Bestimmung von Feuchtigkeitsgehalt oder Metallgehalt eines Produkts .
Ferner können die Position oder Ausrichtung des Produkts auf dem Förderband Parameter bilden, welche beispielsweise durch einen optischen Kamerasensor erfasst werden .
Ein Sensor kann beispielsweise mehrere Eigenschaften oder Produkt-Parameter erfassen .
Ein nachfolgend angesteuerter Roboter kann somit Produkte auswählen und kommissionieren, die nach dem Grad der Abweichung vom Goldstandard geordnet sind .
Mit anderen Worten sollen Produkte mit hoher Abweichung mit einer höheren Priorität ausgewählt werden, und erst bei entsprechender Verfügbarkeit des Sortier-Roboters werden die Produkte mit geringerer Abweichung aussortiert .
Unter einem Vergleich wird im vorliegenden Zusammenhang die Bestimmung des Grads an Übereinstimmung zwischen Sensor-Daten und dem Referenz-Modell verstanden .
Es wird somit einer Sortierreihenfolge erreicht , bei welcher eines der beiden Kriterien erreicht ist : • Alle fehlerhaften Produkte in einer bestimmten Produktcharge wurden in einen dafür vorgesehenen Behälter aussortiert .
• Die meisten fehlerhaften Produkte , nicht alle , aber zumindest die hochgradig fehlerhaften Produkte , wurden in den Behälter ausgesondert .
Dieser „Best-Ef fort"-Ansatz hat den Vorteil , dass die Leistungsanforderungen an die Robotik-Lösung gesenkt werden können, wodurch eine automatisierte visuelle Qualitätskontrolle auch für kleinere Systeme zugänglicher wird .
Der Grad an Übereinstimmung im Schritt g) für die erste und die zumindest eine zweite Kenngröße liefert j eweils einen Zahlenwert , beispielsweise der Rekonstruktions-Fehler aus dem Auto-Encoder . Die so erhaltenen Zahlenwerte können nun anhand ihres Betrags gereiht werden und als Liste ausgegeben werden, welche durch die gereihten Zahlenwerte eine Priorisierung von Produkten darstellt , welche nachfolgend auf der Ablage umpositioniert beziehungsweise aussortiert werden sollen .
Bei dieser Anwendung eignet sich ein Auto-Encoder für einen Vergleich mit einem Referenz-Modell besonders , da eine einfache Implementierung mit hoher Geschwindigkeit möglich ist .
Die Manipulations-Vorrichtung kann Produkte von deren Positionen auf der Ablage , an welches sie bereitgestellt wurden, zu alternativen Positionen befördern oder aussortieren .
Die Ablage wird von einem Arbeitsbereich der Manipulations- Vorrichtung abgedeckt .
Die Ablage kann beispielsweise nur zeitlich befristet als Arbeitsbereich zur Verfügung stehen, wenn nachfolgende weitere Arbeitsschritte den Zugri f f auf die Ablage verhindern oder einschränken . Dabei kann die Ablage in Form eines Förderbandes die bereitgestellten Produkte zu einem benachbarten Ort bewegen, wie ein Behälter Abseits der Ablage , welcher auch im Arbeitsbereich der Manipulations-Vorrichtung gelegen ist . Die Bewegungsgeschwindigkeit des Förderbands bestimmt dabei die zeitliche Verfügbarkeit der Produkte auf der Ablage im Arbeitsbereich der Manipulations-Vorrichtung .
Eine Einschränkung des Arbeitsbereichs kann auch erfolgen, wenn die Produkte direkt auf der Ablage weiterbearbeitet werden, indem eine weitere Bearbeitungsvorrichtung die Produkte verdeckt und die Ablage als Arbeitsbereich somit nicht zugänglich ist .
Das Verfahren kann im Schritt f ) wiederholt werden, wobei der Schritt a ) übersprungen werden kann, wenn sich weitere Produkte auf der Ablage befinden, welche noch nicht untersucht wurden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass der erste Auto-Encoder und der zumindest eine zweite Auto- Encoder durch einen gemeinsamen Auto-Encoder gebildet sind .
Dadurch wird das System einfacher und die System-Komplexität kann begrenzt werden .
Ein Autoencoder ist ein künstliches neuronales Netz , welches dazu genutzt wird, ef fi ziente Codierungen zu lernen . Das Ziel eines Autoencoders ist es , eine komprimierte Repräsentation, das sogenannte „Encoding" für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren . Dadurch kann er zur Dimensionsreduktion genutzt werden .
Der Autoencoder benutzt drei oder mehr Schichten : eine Eingabeschicht : Bei der Gesichtserkennung könnten die Neuronen beispielsweise die Pixel einer Fotografie abbilden . • einige signi fikant kleinere Schichten ( im Vergleich zur Eingabeschicht und Ausgabeschicht ) , die das Encoding bilden .
• eine Ausgabeschicht , in der j edes Neuron die gleiche Bedeutung hat wie das entsprechende in der Eingabeschicht .
Wenn lineare Neuronen benutzt werden, ist er der Hauptkomponentenanalyse sehr ähnlich .
Der Autoencoder erweist sich im vorliegenden Zusammenhang als besonders gute Implementierung im System .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die erste Kenngröße durch den Rekonstruktions-Fehler des ersten Auto-Encoders und die zumindest eine zweite Kenngröße durch den Rekonstruktions-Fehler des zumindest einen zweiten Auto-Encoders gebildet ist .
Dadurch kann eine präzise Kenngröße eines Auto-Encoders für den nachfolgenden Vergleich angewendet werden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass das Referenz-Modell im Schritt c ) mithil fe föderierten Lernens durch ein verbundenes verteiltes Klienten-Server-System erzeugt und bereitgestellt wird .
Dadurch kann ein genaueres Modell angewendet werden, beziehungsweise ist die Bereitstellung des Modells vereinfacht , da ein lokales Trainieren reduziert werden kann .
Ein neu hinzugefügter Klient muss daher nicht eigens trainiert werden, sondern kann durch das föderierte Lernen auf ein globales Modell zurückgrei fen .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die Schritte d) bis f ) durch die Analyse-Vorrichtung ausgeführt werden .
Dadurch kann die Komplexität des Sortier-Systems einfach gehalten werden . Die erfindungsgemäße Aufgabe wird durch ein Sortier-System eingangs genannter Art gelöst , umfassend eine Ablage zum Bereitstellen von einem ersten Produkt an einer ersten Position und zumindest einem zweiten Produkt an zumindest einer zweiten Position, zumindest ein Sensor-Mittel zum Erfassen von Eigenschaften und Position des ersten Produkts und des zumindest einen zweiten Produkts , eine Analyse-Vorrichtung mit einem Prozessor und einem Speicher und eine Manipulations- Vorrichtung zum Umpositionieren von Produkten, und das System dazu eingerichtet ist , das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird durch ein Klienten-Server- System eingangs genannter Art gelöst , umfassend ein erfindungsgemäßes Sortier-System, welches als Klient an einer Edge gelegen ist , und das Klienten-Server-System mithil fe föderierten Lernens ein globales Modell auf Basis maschinellen Lernens erzeugt , trainiert und dem verbundenen Sortier-System als lokales Modell zu Verwendung im erfindungsgemäßen Verfahren bereitstellt .
Die erfindungsgemäße Aufgabe wird durch ein Computerprogramm gelöst , umfassend Befehle , welche bei deren Aus führung durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird durch einen elektronisch lesbaren Datenträger mit darauf gespeicherten lesbaren Steuerinformationen gelöst , welche zumindest das erfindungsgemäße Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das erfindungsgemäße Verfahren durchführen .
Die erfindungsgemäße Aufgabe wird durch ein Datenträgersignal gelöst , welches das erfindungsgemäße Computerprogramm überträgt . Die Erfindung wird nachfolgend anhand eines in den beigeschlossenen Zeichnungen dargestellten Aus führungsbeispiels näher erläutert . In den Zeichnungen zeigt :
Fig . 1 ein Aus führungsbeispiel für ein erfindungsgemäßes Sortier-System,
Fig . 2 ein Aus führungsbeispiel für ein Ablauf diagramm des erfindungsgemäßen Verfahrens ,
Fig . 3 ein Aus führungsbeispiel für ein erfindungsgemäßes Klienten-Server-System .
Fig . 1 zeigt ein erfindungsgemäßes Sortier-System .
Eine Ablage 1 zum Bereitstellen von Produkten an j eweiligen Positionen ist durch ein Förderband mit darauf transportierten Produkten gebildet .
Das Förderband bewegt die daraus platzierten Produkte mit einer vordefinierten Geschwindigkeit la in eine Transportrichtung .
Ein Sensor-Mittel 2 in Form eines Kamera-Systems erfasst die Produkte , möglicherweise unter ungünstiger Beeinträchtigung des Sichtfelds und erzeugt j eweilige Sensor-Daten SD .
Eine Analyse-Vorrichtung 3 , insbesondere mit einem Auto- Encoder, führt für die bereitgestellten Sensor-Daten einen computer-implementierten Erkennungs-Algorithmus zur visuellen Qualitäts-Kontrolle durch .
Dabei wird ein Verfahren auf Basis künstlicher Intelligenz ausgeführt und es werden Abweichungen zu einem Referenz- Modell bestimmt , insbesondere auf Basis des „Rekonstruktions- Fehlers" eines Auto-Encoders .
Das Referenz-Modell wird in einer Rechen-Vorrichtung mit gültigen und zulässigen Produkt-Daten ( Gold-Standard) erzeugt , trainiert und gespeichert . Dabei kann das Modell entweder lokal vorliegen, oder auf einem globalen Modell basieren, wel- ches über mehrere , verteilt vorliegende Modelle weiterer Rechen-Vorrichtungen nach dem Prinzip des „föderierten Lernens" erzeugt und der genannten Rechen-Vorrichtung bereitgestellt werden . Dadurch kann der lokale Aufwand für die Bereitstellung des genannten lokalen Modells reduziert werden und die Genauigkeit verbessert werden .
Es werden somit aus den Sensor-Daten SD mithil fe der j eweiligen Rekonstruktions-Fehler entsprechende Datensätze gebildet .
Erste Datensätze Pok bezeichnen Produkte , deren j eweilige Kenngröße hinsichtlich des Grads an Übereinstimmung deren Sensor-Daten mit dem Referenz-Modell hinreichend übereinstimmt , also innerhalb eines vorgegebenen zulässigen Wertebereichs liegt .
Zweite Datensätze Pnok bezeichnen Produkte , deren j eweilige Kenngröße hinsichtlich des Grads an Übereinstimmung deren Sensor-Daten mit dem Referenz-Modell nicht hinreichend übereinstimmt , also außerhalb eines vorgegebenen zulässigen Wertebereichs liegt .
Es wird anschließend eine Priorisierung der als nicht-konform hinsichtlich des Gold-Standards , also des Modells , identi fizierten Produkte durchgeführt . Dazu wird insbesondere der „Rekonstruktions-Fehler" eines Auto-Encoders herangezogen, welcher als Kenngröße bei einem Vergleich zwischen Sensor- Daten und einem Referenz-Modell angewandt werden kann .
Nach einer Auswertung der bestimmten Abweichungen wird eine nachfolgend angeordnete Manipulations-Vorrichtung 4 in Form eines Roboters angesteuert , um nicht-konforme Produkte , welche gemäß eines vorbestimmten Wertebereichs für die Produkt- Konformität ausgewählt werden, dementsprechend vom Förderband aus zusortieren und zu einer neuen, vordefinierten Position entfernen, beispielsweise in einen dafür vorgesehenen Behälter . Mit anderen Worten umfasst das Sortier-System zur Umpositionierung von fehlerhaften Produkten eine Ablage 1 zum Bereitstellen von einem ersten Produkt PI an einer ersten Position und zumindest einem zweiten Produkt P2 an zumindest einer zweiten Position .
Ferner umfasst das Sortier-System zumindest ein Sensor- Mittel 2 zum Erfassen von Eigenschaften und Position des ersten Produkts PI und des zumindest einen zweiten Produkts P2 .
Außerdem umfasst das Sortier-System eine Analyse- Vorrichtung 3 mit einem Prozessor und einem Speicher und eine Manipulations-Vorrichtung 4 zum Umpositionieren von Produkten .
Die Manipulations-Vorrichtung 4 kann einen Arbeitsbereich 5 aufweisen, welcher den vordefinierten Bereich begrenzt , in welchem Umpositionierungen auf dem Arbeitsbereich 1 , also dem Förderband durchgeführt werden und welcher gemeinsam mit der Bewegungsgeschwindigkeit la des Förderbands die Grundlage für Trans ferzeiten von Umpositionierungen bildet .
In Fig . 2 wird das erfindungsgemäße Verfahren als Ablaufdiagramm dargestellt : a ) Bereitstellen von einem ersten Produkt PI an einer ersten Position und einem zweiten Produkt P2 an einer zweiten Position an einer Ablage 1 , b ) Erfassen von Eigenschaften und Position des ersten Produkts PI als erste Sensor-Daten und des zweiten Produkts P2 als zweite Sensor-Daten durch ein Sensor- Mittel 2 und Bereitstellen der ersten und zweiten Sensor- Daten an eine Analyse-Vorrichtung 3 mit einem Prozessor und einem Speicher, c ) Bereitstellen eines Referenz-Modells auf Basis maschinellen Lernens , welches vordefinierte Eigenschaften eines Produkts , mit welchem das erste und das zweite Produkt Pl , P2 einen möglichst hohen Grad an Übereinstimmung, aufweist und dementsprechend erzeugt und trainiert ist , d) Bestimmen einer ersten Kenngröße hinsichtlich des Grads an Übereinstimmung der ersten Sensor-Daten mit dem Referenz-Modell mithil fe eines Auto-Encoders , e ) Bestimmen zumindest einer zweiten Kenngröße hinsichtlich des Grads an Übereinstimmung der zumindest zweiten Sensor-Daten mit dem Referenz-Modell mithil fe des Auto- Encoders , f ) Feststellen, ob sowohl die erste Kenngröße als auch die zumindest eine zweite Kenngröße außerhalb eines vorbestimmten Bereichs liegen, und falls j a, fortfahren mit Schritt g) , sonst Beenden oder Wiederholen des Verfahrens , g) Feststellen des Grads an Übereinstimmung für die erste und die zumindest eine zweite Kenngröße , und Erstellen einer Liste mit einer, anhand Übereinstimmungen der j eweiligen Kenngrößen erfolgten Reihung, h) Bestimmen von j eweiligen Trans ferzeiten für eine Umpositionierung der in der im vorhergehenden Schritt bestimmten Liste durch die j eweiligen Kenngrößen ref erenzierten Produkte von deren j eweiligen Positionen zu zumindest einer neuen, vordefinierten Position durch eine Manipulations-Vorrichtung 4 , i ) Auswahlen von Umpositionierungen, welche innerhalb einer vorgegebenen Zeitspanne , und anhand des j eweiligen geometrischen Abstands zwischen den j eweiligen Positionen des ersten und des zweiten Produkts Pl , P2 , und der im Schritt g) ermittelten Liste , sowie der im Schritt h) ermittelten Trans ferzeiten, möglich sind, und j ) Umpositionieren der im vorhergehenden Schritt ausgewählten Produkte in einen dafür vorgesehenen Behälter durch die Manipulations-Vorrichtung 4 . Ein oder mehrere Schritte können auf einem Computer implementiert sein, beispielsweise die Schritte d) bis f ) durch die Analyse-Vorrichtung 3 .
Das Referenz-Modell im Schritt c ) kann mithil fe föderierten Lernens durch ein verteiltes Klienten-Server-System erzeugt und bereitgestellt werden .
Fig . 3 zeigt ein Aus führungsbeispiel für ein erfindungsgemäßes Klienten-Server-System, umfassend ein erfindungsgemäßes Sortier-System, welches als Klient an einer Edge gelegen ist . Das Klienten-Server-System erzeugt und trainiert mithil fe föderierten Lernens ein globales Modell GM auf Basis maschinellen Lernens .
Das globale Modell GM wird verbundenen Sortier-Systemen Kl , K2 als j eweiliges lokales Modell LM1 , LM2 zu Verwendung im erfindungsgemäßen Verfahren bereitstellt .
Bezugszeichenliste :
1 Ablage , Förderband la Laufrichtung des bewegten Förderbands
2 Sensor-Mittel , Kamera 3 Analyse-Vorrichtung, Rechen-Vorrichtung
4 Manipulations-Vorrichtung, Roboter
5 Arbeitsbereich der Manipulations-Vorrichtung/ Roboter
GM globales Modell Kl , K2 Klient an der Edge
LM1 , LM2 lokales Modell
Pl , P2 Produkte an Position
Pnok fehlerhafte Produkte , nicht Gold-Standard
Pok Produkte gemäß Gold-Standard S Server
SD Sensor-Daten

Claims

Patentansprüche
1 . Computer-implementiertes Verfahren zur Umpositionierung von fehlerhaften Produkten, umfassend folgende Schritte : a ) Bereitstellen von einem ersten Produkt ( PI ) an einer ersten Position und zumindest einem zweiten Produkt ( P2 ) an zumindest einer zweiten Position an einer Ablage ( 1 ) , b ) Erfassen von Eigenschaften und Position des ersten Produkts ( PI ) als erste Sensor-Daten und des zumindest einen zweiten Produkts ( P2 ) als zumindest zweite Sensor-Daten durch zumindest ein Sensor-Mittel ( 2 ) und Bereitstellen der ersten und der zumindest zweiten Sensor-Daten an eine Analyse-Vorrichtung ( 3 ) mit einem Prozessor und einem Speicher, c ) Bereitstellen eines Referenz-Modells auf Basis maschinellen Lernens , welches vordefinierte Eigenschaften eines Produkts , mit welchem das erste und das zumindest eine zweite Produkt ( Pl , P2 ) einen möglichst hohen Grad an Übereinstimmung, aufweist und dementsprechend erzeugt und trainiert ist , d) Bestimmen einer ersten Kenngröße hinsichtlich des Grads an Übereinstimmung der ersten Sensor-Daten mit dem Referenz-Modell mithil fe eines ersten Auto-Encoders , e ) Bestimmen zumindest einer zweiten Kenngröße hinsichtlich des Grads an Übereinstimmung der zumindest zweiten Sensor-Daten mit dem Referenz-Modell mithil fe zumindest eines zweiten Auto-Encoders , f ) Feststellen, ob sowohl die erste Kenngröße als auch die zumindest eine zweite Kenngröße außerhalb eines vorbestimmten Bereichs liegen, und falls j a, fortfahren mit Schritt g) , sonst Beenden oder Wiederholen des Verfahrens , g) Feststellen des Grads an Übereinstimmung für die erste und die zumindest eine zweite Kenngröße , und Erstellen einer Liste mit einer, anhand Übereinstimmungen der j eweiligen Kenngrößen erfolgten Reihung, h) Bestimmen von j eweiligen Trans ferzeiten für eine Umpositionierung der in der im vorhergehenden Schritt bestimmten Liste durch die j eweiligen Kenngrößen ref erenzierten Produkte von deren j eweiligen Positionen zu zumindest einer neuen, vordefinierten Position durch eine Manipulations-Vorrichtung ( 4 ) , i ) Auswahlen von Umpositionierungen, welche innerhalb einer vorgegebenen Zeitspanne , und anhand des j eweiligen geometrischen Abstands zwischen den j eweiligen Positionen des ersten und des zumindest einen zweiten Produkts , und der im Schritt g) ermittelten Liste , sowie der im Schritt h) ermittelten Trans ferzeiten, möglich sind, und j ) Umpositionieren der im vorhergehenden Schritt ausgewählten Produkte an die zumindest eine neue vordefinierte Position durch die Manipulations-Vorrichtung ( 4 ) .
2 . Verfahren nach dem vorhergehenden Anspruch, wobei der erste Auto-Encoder und der zumindest eine zweite Auto-Encoder durch einen gemeinsamen Auto-Encoder gebildet sind .
3 . Verfahren nach einem der vorhergehenden Ansprüche , wobei die erste Kenngröße durch den Rekonstruktions-Fehler des ersten Auto-Encoders und die zumindest eine zweite Kenngröße durch den Rekonstruktions-Fehler des zumindest einen zweiten Auto-Encoders gebildet ist .
4 . Verfahren nach einem der vorhergehenden Ansprüche , wobei das Referenz-Modell im Schritt c ) mithil fe föderierten Lernens durch ein verteiltes Klienten-Server-System erzeugt und bereitgestellt wird .
5. Verfahren nach einem der vorhergehenden Ansprüche , wobei die Schritte d) bis f ) durch die Analyse-Vorrichtung ( 3 ) ausgeführt werden .
6. Sortier-System zur Umpositionierung von fehlerhaften Produkten, umfassend eine Ablage ( 1 ) zum Bereitstellen von einem ersten Produkt ( PI ) an einer ersten Position und zumindest einem zweiten Produkt ( P2 ) an zumindest einer zweiten Position, zumindest ein Sensor-Mittel ( 2 ) zum Erfassen von Eigenschaften und Position des ersten Produkts ( PI ) und des zumindest einen zweiten Produkts ( P2 ) , eine Analyse- Vorrichtung ( 3 ) mit einem Prozessor und einem Speicher und eine Manipulations-Vorrichtung ( 4 ) zum Umpositionieren von Produkten, und das Sortier-System dazu eingerichtet ist , das Verfahren nach einem der vorhergehenden Ansprüche aus zuführen .
7 . Klienten-Server-System, umfassend ein Sortier-System nach dem vorhergehenden Anspruch, welches als Klient an einer Edge gelegen ist , und das Klienten-Server-System mithil fe föderierten Lernens ein globales Modell auf Basis maschinellen Lernens erzeugt , trainiert und dem verbundenen Sortier-System als lokales Modell zu Verwendung im Verfahren nach einem der Ansprüche 1 bis 5 bereitstellt .
8 . Computerprogramm, umfassend Befehle , welche bei deren Aus führung durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 5 aus zuführen .
9. Elektronisch lesbarer Datenträger mit darauf gespeicherten lesbaren Steuerinformationen, welche zumindest das Computerprogramm nach dem vorhergehenden Anspruch umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das Verfahren nach einem der Ansprüche 1 bis 5 durchführen .
10 . Datenträgersignal , welches das Computerprogramm nach Anspruch 8 überträgt .
EP23719669.6A 2022-04-14 2023-04-11 Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten Pending EP4489924A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/EP2022/060029 WO2023198290A1 (de) 2022-04-14 2022-04-14 Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten
PCT/EP2023/059428 WO2023198700A1 (de) 2022-04-14 2023-04-11 Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten

Publications (1)

Publication Number Publication Date
EP4489924A1 true EP4489924A1 (de) 2025-01-15

Family

ID=81648684

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23719669.6A Pending EP4489924A1 (de) 2022-04-14 2023-04-11 Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten

Country Status (2)

Country Link
EP (1) EP4489924A1 (de)
WO (2) WO2023198290A1 (de)

Also Published As

Publication number Publication date
WO2023198700A1 (de) 2023-10-19
WO2023198290A1 (de) 2023-10-19

Similar Documents

Publication Publication Date Title
WO2023194009A1 (de) Verfahren zur prädiktion von trajektorien von objekten
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE69714534T2 (de) Verfahren zur Handhabung von Blechteilen in einem Arbeitsraum mit einer Werkzeugmaschine und einem Roboter
DE102020207613A1 (de) Verfahren zur Bewertung einer Schnittkante eines Körpers
EP4489924A1 (de) Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
EP3557490A1 (de) Trainingsverfahren
DE102015012344A1 (de) Verfahren zum Kalibrieren einer Kamera
DE102018110063A1 (de) Industrielle fertigungsstätte und verfahren zur automatisierten verbuchung von manuellen tätigkeiten
DE102023004171A1 (de) Verfahren zur automatischen Zuordnung von Labels und/oder Objekten zu Sensordaten einer Fahrzeugumfeld-Sensorik
EP4296970A1 (de) Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
DE102020208765A1 (de) Bildklassifikator mit variablen rezeptiven Feldern in Faltungsschichten
DE10013137B4 (de) Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten
DE102025104541B3 (de) Computerimplementiertes Verfahren zur Erzeugung von 3D-Punkten im Raum
DE102024122058B3 (de) Verfahren und Vorrichtung zum Erkennen zumindest einer Instanz eines Objektes während eines Arbeitsablaufs in einer Arbeitsumgebung und System zum Steuern eines Arbeitsablaufs in einer Arbeitsumgebung
DE3332508C2 (de)
DE102011110132B4 (de) Verfahren zur automatischen Identifizierung fehlender oder nicht gelesener Ladungsgüter einer Ladeinheit
DE4136830C2 (de) Datenverarbeitungseinrichtung und Verfahren zur Mustererkennung
DE102022209409A1 (de) Anker zur Linienerkennung
WO2023227201A1 (de) Computer-implementiertes verfahren und system zur steuerung der herstellung eines produkts
EP4372618A1 (de) Vorrichtung und verfahren zum klassifizieren von objekten mittels maschinellem lernen
DE102024201292A1 (de) Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernmodells
DE102023210661A1 (de) Verfahren zum Bereitstellen von gelabelten Bilddaten zur automatischen optischen Inspektion
DE102024209264A1 (de) Konvolutionales neuronales Netzwerk und Verfahren zum Betreiben des konvolutionalen neuronalen Netzwerks
DE102022204882A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Betriebsdaten zum Betreiben mindestens einer Assistenzeinrichtung eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241007

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250618

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)