EP4013574A1 - Automatisierungssystem und verfahren zur handhabung von produkten - Google Patents

Automatisierungssystem und verfahren zur handhabung von produkten

Info

Publication number
EP4013574A1
EP4013574A1 EP20728685.7A EP20728685A EP4013574A1 EP 4013574 A1 EP4013574 A1 EP 4013574A1 EP 20728685 A EP20728685 A EP 20728685A EP 4013574 A1 EP4013574 A1 EP 4013574A1
Authority
EP
European Patent Office
Prior art keywords
handling
control device
image data
training
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20728685.7A
Other languages
English (en)
French (fr)
Inventor
Tobias Rietzler
Manfred Rietzler
Andreas Däubler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robominds GmbH
Original Assignee
Robominds GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robominds GmbH filed Critical Robominds GmbH
Publication of EP4013574A1 publication Critical patent/EP4013574A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40514—Computed robot optimized configurations to train ann, output path in real time
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the invention relates to a method for handling products with an automation system and an automation system, the products being recorded by means of an imaging sensor of a control device of the automation system and being handled by means of a handling mechanism of a handling device of the automation system, the control device processing and processing the sensor image data from the imaging sensor controls the handling device according to the specification of training data records contained in a data memory of the control device.
  • the handling device can be any type of machine that is suitable for handling products, such as a robot or a gripping or conveying device of a machine tool. What is essential here is that the products can be very different products and / or also similar products in the most varied of starting positions for handling.
  • the respective product is recorded via the imaging sensor, for example a camera or the like, and sensor Image data from the imaging sensor are processed by a control device of the automation system.
  • the control device now controls the robot in question in such a way that, for example, different products, possibly in different positions, are automatically gripped by the robot and sorted or stored at another location in a predetermined order.
  • the control device comprises a data memory with training data records that contain a large number of possible products and their starting positions with the respective associated control instructions for controlling the robot. It is thus possible that, regardless of the location or starting position of a product, it can be automatically gripped by the robot at appropriate gripping points and handled in accordance with a specification.
  • the training data records can include, for example, image data and associated control instructions that were previously applied to the robot. This can be done in such a way that the robot is moved manually to the product and this movement is stored as a control instruction in the data memory. It is also known to use so-called artificial intelligence for such handling tasks.
  • a statistical model for a handling task is created using a computer. For example, various control instructions are made available for a number of possible products and their positions, with rules for applying the correct control instruction in each case being statistically determined by real execution or simulation of the control instructions using a computer.
  • the training data sets can be obtained independently of a handling device or a robot by simulation with a computer.
  • the present invention is therefore based on the object of proposing a method for handling products with an automation system and an automation system that enables a simplified application of artificial intelligence for handling tasks.
  • the products are detected by means of an imaging sensor of a control device of the automation system and handled by means of a handling mechanism of a handling device of the automation system, the control device processing the sensor image data from the imaging sensor and the handling device according to specifications from training data sets contained in a data memory of the control device, the training data sets comprising training image data and / or geometric data and respective associated control instructions, the training data sets exclusively from geometric data contained in the training image data of products as a statistical model with a computer using a executed computer program product are generated, wherein the training data sets are transmitted to the control device.
  • Exercise mechanism can be any type of mechanism that is suitable for manipulating physical products in the context of an industrial process.
  • the handling of a product can also include processing of the product, for example.
  • the imaging sensor can be any type of sensor that enables the acquisition of an image of the product or its geometric shape.
  • the control device processes real sensor image data from the imaging sensor by means of image processing, the handling device being controlled by the control device as a function of the real sensor image data and according to the specification of the training data sets.
  • the training data sets contain training image data and respectively associated control instructions or, alternatively or in addition, geometric data of the respective products and respectively associated control instructions.
  • the control device assigns the sensor image data to the training image data or vice versa and executes a handling of the product recorded with the imaging sensor in accordance with the associated control instruction.
  • the training data sets are obtained independently of the handling device with a computer and a computer program product or software running on it.
  • the training data sets are generated by means of the software from exclusively geometric data that are obtained from the training image data by means of image processing.
  • a statistical model for the respective geometric data of a product, which are determined by the product itself and its position, and the associated control instruction are created.
  • the determination of the suitable control instruction takes place through the simulated application of the most diverse control instructions solely on the basis of the geometrical data, without taking into account further physical parameters.
  • the training data records can be generated, wherein in a second step of the method the training records can be transmitted to the control device. Accordingly, it can be provided that the training data sets are generated with the computer separately from the control device or the handling device. The local or spatial separation of computer and control device then does not necessarily require a connection for data transmission, although a connection via the Internet can still exist, for example.
  • the training data sets completed in the first step can therefore also be transmitted via a data connection to the control device, which then uses the training data sets for control.
  • mechanical variables present during the handling of the product can be determined by means of at least one further sensor of the control device and taken into account when using the statistical model.
  • Force sensors, torque sensors, current sensors, tactile sensors and / or pressure sensors can be used as further sensors for determination. So a particularly large number can be very precise Training data sets obtained through simulation or adapted to the actual conditions during the handling task.
  • a quality measure for a control instruction can also be specified in the training image data by means of the further sensor. In this way, a quality of the real training image data can be increased.
  • Real image data and / or artificially generated representative image data of products can be used as training image data. This use of real image data makes it possible to increase the accuracy of the training data records on the basis of the actual representation of a real situation. On the other hand, artificially generated representative image data of products are available with significantly less effort and can be created in greater numbers.
  • the statistical model can be generated without a predetermined tolerance of the training image data.
  • Training image data and / or geometric data can be processed with the statistical model to calculate the training data sets together with other variables and the control instructions without a consciously predetermined tolerance.
  • the effort involved in creating the training data records can be further reduced without the quality of the training data records being impaired. It is also possible to provide a specified tolerance or conscious uncertainty of the data used for the calculation.
  • the statistical model can be generated using an empirical or analytical method.
  • the empirical method is a generalization, for example of a product and its position as well as a movement of the handling mechanism according to a control instruction, so that the handling mechanism does not perform the optimal movement for the present case.
  • the statistical model can be calculated using an approximation method, in particular Special Deep Learning, Convolutional Neural Network (CNN), Recusive Nets (RNN), Stochastic Machine, Random Forest or Support Vecture Machine can be generated.
  • CNN Convolutional Neural Network
  • RNN Recusive Nets
  • Stochastic Machine Random Forest or Support Vecture Machine
  • These approximation methods relate to various optimization methods of artificial neural networks, which have a number of intermediate layers between an input layer and an output layer and whose internal structure can be formed in the course of training with the training image data and the control instructions.
  • the statistical model can be generated by supervised learning and / or by reinforcement learning.
  • the computer program product or the software of the computer can then generate the inputs for the statistical model or training image data and / or the respective associated control instructions and recognize their categories and relationships.
  • a clustering method can be used for supervised learning.
  • the control device can detect a movement sequence of the handling mechanism for handling a product, the imaging sensor being able to detect a sequence of handling the product, the control device processing the sensor image data of the imaging sensor and the training data records contained in the data memory of the control device depending on the sequence and the movement sequence can change, wherein the statistical model of the training data records can be changed. Accordingly, it can be provided that when the training data sets are used by the control device or in real operation of the handling device, a further optimization of the training data sets is carried out. This optimization can take place in that the sensor image data of the imaging sensor is processed by the control device by means of image processing and is related to the control instruction executed by the control device. Instead of a control instruction, further sensors of the handler can also be used by the control device.
  • Exercise mechanism such as displacement sensors, force sensors and / or acceleration sensors, can be used to optimize the statistical model. It is essential that the training data sets created in offline operation of the handling device with the computer can now be further optimized in online operation of the handling device by adapting the statistical model.
  • the control device can determine a quality of handling of the product and take this into account when the statistical model of the training data records is changed.
  • the quality of the handling of the product can be determined, for example, from the sensor image data of the imaging sensor when a product cannot be handled, or sensor data from other sensors of the handling mechanism do not match the control instructions of the handling mechanism. If, for example, an error occurs in the handling of a product, the sensor image data and control instructions that caused the error can be incorporated into the changes to the statistical model.
  • a camera, a stereo camera, a structured light camera, a light field camera or a lidar system can be used as an imaging sensor.
  • a two-dimensional image of the product may be sufficient.
  • the use of several cameras is advantageous, so that a three-dimensional image or model of the product in question can be obtained with the imaging sensor.
  • sensors can be used that are independent of a lighting situation, for example.
  • mechanical sensors for scanning a product or ultrasonic sensors as imaging sensors can also be used, depending on the application.
  • Training image data describing a two-dimensional or three-dimensional shape of the respective product can thus advantageously be used and / or sensor image data are used.
  • the handling device can gripping, joining, checking, applying or processing the product. Handling of the product is therefore understood to mean all manipulations or activities carried out on the product in addition to conveying.
  • Gripping points on the respective product can be recognized from the training image data and / or sensor image data. Recognition of gripping points only makes sense if products are to be gripped with the handling mechanism. Gripping can be performed with the generally known grippers suitable for the respective product, such as mechanical parallel grippers, vacuum suction grippers, magnetic grippers, adhesive grippers or the like. The handling of products can be significantly improved through the detection of gripping points or a preselection of the same.
  • the gripping points are determined by means of image processing.
  • the gripping points can be identified, for example, by comparing image features, so-called feature matching algorithms.
  • a scene analysis with a localization of products and gripping points, an object recognition and / or a position recognition can be carried out by means of image processing.
  • a scene analysis is not absolutely necessary to recognize gripping points.
  • a handling mechanism that can be moved at least in two or three spatial axes preferably a multi-axis robot, can be used as the handling mechanism.
  • the multi-axis robot can have a number of joints, displacement sensors, force sensors and / or acceleration sensors being able to be integrated in the respective joints.
  • These additional sensors can, for example, force sensors, torque sensors, current sensors, tactile sensors, and / or pressure sensors and used to evaluate a real handling process of a product by the control device.
  • the automation system comprises a handling device with a handling mechanism for handling the products and a control device for controlling the handling device, the control device having a data memory with training data sets and at least one imaging sensor for detecting the products, with sensor image data of the imaging sensor can be processed by means of the control device and the handling device can be controlled according to the specification of the training data sets, the training data sets comprising training image data and / or geometric data and respective associated control instructions, the training data sets exclusively from geometric data contained in the training image data of products as a statistical model can be generated with a computer by means of a computer program product that can be executed thereon, the training data tze can be transmitted to the control device.
  • FIG. 1 shows a schematic representation of an automation system
  • Fig. 2 is a diagram representation of the creation of training data Sentences.
  • Fig. 1 shows a simplified automation system 10, which is formed from a handling device 11 and a Steuervor direction 12.
  • the handling device 11 comprises a multi-axis robot 13 with a drive control 14 and a gripper 15 which is designed to grip various products 17 located in a container 16.
  • the products 17 each have a different shape, are placed in an unstructured manner and can be gripped by means of the gripper 15 and handled or sorted by the robot 13.
  • the control device 12 comprises an imaging sensor 18, which is formed here by a camera 19, as well as means for image processing 20, a data memory 21 with training data sets and a control device 22.
  • images of the products 17 can then be recorded and sent as sensor image data the means for image processing 20 are forwarded.
  • a localization or object recognition of the products 17 and a gripping point recognition then ensues in the context of image processing.
  • the associated control instructions are selected and transmitted from the control device 22 to the drive control 14, which move the robot 13 or the gripper 15 for gripping and handling the product in question 17 initiated.
  • FIG. 2 shows a schematic representation of a method for generating training data sets independently of the control device shown in FIG. 1.
  • training image data 23 and control instructions 24 are made available, with real training image data and control instructions as well as training image data and control instructions artificially generated by a computer being able to be used.
  • the training image data 23 and control instructions 24 are generated using a statistical model 25, which is a computer program product or software is executed on a computer not shown here, processed.
  • an approximation method here for example deep learning
  • the training data records 26 include the training image data 23 and / or geometric data with the respective associated control instructions 24, which were assigned to the training image data 23 by the statistical model 25.
  • the training data records 26 generated in this way can then subsequently be transmitted to the robot for use in accordance with the illustration in FIG. 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft e in Verfahren zur Handhabung von Produkten (17) mit einem Automatisierungssystem sowie ein Automatisierungssystem (10), wobei die Produkte mittels eines bildgebenden Sensors (18) einer Steuervorrichtung (12) des Automatisierungssystems er fasst und mit tels eines Handhabungsmechanismus (13) einer Handhabungsvorrichtung (11) des Automatisierungssystems gehandhabt werden, wobei die Steuervor- r ichtung Sensorbilddaten des bildgebenden Sensors verarbeit et und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher (21) der Steuervorrichtung enthaltenen Trainingdatensätzen steuert, wobei die Trainingdatensätze Trainingbilddaten und/oder geometrische Daten und jeweils zugehörige Steueranweisungen umfassen, wobei die Trainingda- tensätze ausschließ lich von in den Trainingbilddaten von Produkten enthalt enen geometrischen Daten als ein statistisches Modell mit einem Computer mit tels eines darauf ausgeführten Computerprogrammprodukts erzeugt werden, wobei die Trainingdatensätze an die Steuervorrichtung übermit telt werden.

Description

Automatisierungssystem und Verfahren zur Handhabung von Produkten
Die Erfindung betrifft ein Verfahren zur Handhabung von Produkten mit einem Automatisierungssystem und ein Automatisierungssystem, wobei die Produkte mittels eines bildgebenden Sensors einer Steuervorrichtung des Automatisierungssystems erfasst und mittels eines Handhabungsme chanismus einer Handhabungsvorrichtung des Automatisierungssystems gehandhabt werden, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verarbeitet und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätzen steuert.
Derartige Verfahren und Automatisierungssysteme sind hinreichend bekannt und werden regelmäßig zur Handhabung von Produkten einge setzt. Die Handhabungsvorrichtung kann hierbei jegliche Art von Ma- schine sein, die zur Handhabung von Produkten geeignet ist, wie bei spielsweise ein Roboter oder eine Greif- bzw. Fördervorrichtung einer Werkzeugmaschine. Wesentlich dabei ist, dass es sich bei den Produkten um unterschiedlichste Erzeugnisse und/oder auch gleichartige Erzeugnis se in unterschiedlichsten Ausgangspositionen für eine Handhabung handeln kann. Das jeweilige Produkt wird über den bildgebenden Sensor, beispielsweise eine Kamera oder dergleichen, aufgenommen und Sensor- bilddaten des bildgebenden Sensors werden von einer Steuervorrichtung des Automatisierungssystems verarbeitet. Die Steuervorrichtung steuert nun den betreffenden Roboter so, dass beispielsweise unterschiedliche Produkte, in gegebenenfalls unterschiedlichen Positionen von dem Roboter automatisiert ergriffen und sortiert bzw. in einer vorgegebenen Ordnung an anderer Stelle abgelegt werden. Die Steuervorrichtung umfasst dabei einen Datenspeicher mit Trainingdatensätzen, die eine Vielzahl von möglichen Produkten und deren Ausgangspositionen mit den jeweils zugehörigen Steueranweisungen zur Steuerung des Roboters enthalten. So ist es möglich, dass unabhängig von der Lage bzw. Aus gangsposition eines Produkts dieses an jeweils geeigneten Greifpunkten von dem Roboter automatisiert ergriffen und entsprechend einer Vorgabe gehandhabt werden kann.
Die Trainingdatensätze können beispielsweise Bilddaten und jeweils zugehörige Steueranweisungen umfassen, die dem Roboter zuvor antrai niert wurden. Dies kann derart erfolgen, dass der Roboter manuell zu dem Produkt bewegt wird und diese Bewegung als eine Steueranweisung in dem Datenspeicher gespeichert wird. Weiter ist es bekannt, sogenann te künstliche Intelligenz für derartige Handhabungsaufgaben einzusetzen. Dabei wird mittels eines Computers ein statistisches Modell für eine Handhabungsaufgabe erstellt. Für eine Reihe möglicher Produkte und deren Positionen werden beispielsweise verschiedenste Steueranweisun gen zur Verfügung gestellt, wobei Regeln zur Anwendung der jeweils richtigen Steueranweisung durch eine reale Ausführung oder Simulation der Steueranweisungen mittels eines Computers statistisch ermittelt werden. Die Trainingdatensätze können unabhängig von einer Handha bungsvorrichtung bzw. einem Roboter durch Simulation mit einem Computer gewonnen werden. In Abhängigkeit davon, welche Produkte wie gehandhabt werden sollen, erfordert die Erstellung von entsprechen den Trainingdatensätzen jedoch einen hohen individuellen Anpassungs und damit Programmieraufwand. So ist es beispielsweise zur Simulation einer Greifaufgabe erforderlich, ein Gewicht eines Produkts und eine Dynamik einer Bewegung zu berücksichtigen, wenn eine möglichst sichere Ausführung der Greifaufgabe erzielt werden soll. Nachteilig ist hierbei, dass ein individueller Anpassungsaufwand und damit Program mieraufwand sehr hoch ist. Gleichfalls müssen große Datenmengen verarbeitet werden, was einen technischen und zeitlichen Aufwand zur Erstellung von Trainingdatensätzen weiter erhöht.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Handhabung von Produkten mit einem Automatisierungs system und ein Automatisierungssystem vorzuschlagen, das eine verein fachte Anwendung von künstlicher Intelligenz für Handhabungsaufgaben ermöglicht.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des An spruchs 1 und ein Automatisierungssystem mit den Merkmalen des Anspruchs 18 gelöst.
Bei dem erfindungsgemäßen Verfahren zur Handhabung von Produkten mit einem Automatisierungssystem werden die Produkte mittels eines bildgebenden Sensors einer Steuervorrichtung des Automatisierungssys tems erfasst und mittels eines Handhabungsmechanismus einer Handha bungsvorrichtung des Automatisierungssystems gehandhabt, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verar beitet und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätzen steuert, wobei die Trainingdatensätze Trainingbilddaten und/oder geo metrische Daten und jeweils zugehörige Steueranweisungen umfassen, wobei die Trainingdatensätze ausschließlich von in den Trainingbildda ten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell mit einem Computer mittels eines darauf ausgeführten Computer programmprodukts erzeugt werden, wobei die Trainingdatensätze an die Steuervorrichtung übermittelt werden.
Bei dem für das erfindungsgemäße Verfahren eingesetzten Handha- bungsmechanismus kann es sich um jegliche Art von Mechanismus handeln, der geeignet ist, gegenständliche Produkte im Rahmen eines industriellen Prozesses zu manipulieren. Die Handhabung eines Produkts kann dabei beispielsweise auch eine Bearbeitung des Produkts umfassen. Weiter kann der bildgebende Sensor jegliche Art von Sensor sein, der die Erfassung eines Abbilds des Produkts bzw. dessen geometrischer Gestalt ermöglicht. Insbesondere ist vorgesehen, dass die Steuervorrichtung reale Sensorbilddaten des bildgebenden Sensors mittels Bildverarbeitung verarbeitet, wobei die Handhabungsvorrichtung in Abhängigkeit der realen Sensorbilddaten und nach der Vorgabe der Trainingdatensätze von der Steuervorrichtung gesteuert wird. Die Trainingdatensätze enthalten Trainingbilddaten und jeweils zugehörige Steueranweisungen bzw. alternativ oder ergänzend geometrische Daten der jeweiligen Produkte und jeweils zugehörigen Steueranweisungen. Die Steuervorrichtung ordnet die Sensorbilddaten den Trainingbilddaten zu oder umgekehrt und führt entsprechend der zugehörigen Steueranweisung eine Handhabung des mit dem bildgebenden Sensor aufgenommenen Produkts aus. Die Gewinnung der Trainingdatensätze erfolgt unabhängig von der Handha bungsvorrichtung mit einem Computer und einem darauf ausgeführten Computerprogrammprodukt bzw. einer Software. Die Trainingdatensätze werden dabei aus ausschließlich geometrischen Daten, die aus den Trainingbilddaten mittels Bildverarbeitung gewonnen werden, mittels der Software generiert. Insbesondere wird ein statistisches Modell für die jeweiligen geometrischen Daten eines Produkts, welche durch das Pro- dukt selbst und dessen Position bestimmt sind und die zugehörige Steu eranweisung erstellt. Die Ermittlung der geeigneten Steueranweisung erfolgt durch simulierte Anwendung verschiedenster Steueranweisungen alleine anhand der geometrischen Daten, ohne eine Berücksichtigung weiterer physikalischer Parameter. Dadurch wird die Erstellung von Trainingdatensätzen für unterschiedlichste Anwendungen wesentlich vereinfacht, da durch das Unberücksichtigtlassen weiterer Parameter eine vereinfachte Programmierung und schnellere Berechnung der Trainingda- tensätze ermöglicht wird. Das Automatisierungssystem wird dadurch auch einfacher an verschiedenste Handhabungsaufgaben anpassbar und damit universeller nutzbar.
In einem ersten Schritt des Verfahrens können die Trainingdatensätze erzeugt werden, wobei in einem zweiten Schritt des Verfahrens die Trainingsätze an die Steuervorrichtung übermittelt werden können. Demnach kann vorgesehen sein, die Trainingdatensätze örtlich getrennt von der Steuervorrichtung bzw. der Handhabungsvorrichtung mit dem Computer zu erzeugen. Die örtliche bzw. räumliche Trennung von Computer und Steuervorrichtung erfordert dann auch nicht zwangsläufig eine Verbindung zur Datenübertragung, wobei beispielweise dennoch eine Verbindung über das Internet bestehen kann. Die im ersten Schritt fertiggestellten Trainingdatensätze können somit auch über eine Daten verbindung an die Steuervorrichtung übermittelt werden, die dann die Trainingdatensätze zur Steuerung nutzt.
Bei der Handhabung des Produkts können vorliegende mechanische Variablen, insbesondere Kräfte, Momente und/oder Reibung, bei der Anwendung des statistischen Modells unberücksichtigt bleiben. Eine Berücksichtigung von Kräften und Momenten bei einer Simulation von Bewegungen eines Handhabungsmechanismus erfordert eine besonders große Rechenleistung des Computers und ist zeitaufwendig. Wie sich herausgestellt hat, kann auf die Berücksichtigung dieser mechanischen Variablen verzichtet und gleichzeitig im Ergebnis eine ausreichend große Anzahl nutzbarer Trainingdatensätze erhalten werden.
Alternativ können bei der Handhabung des Produkts vorliegende mecha nische Variablen, insbesondere Kräfte, Momente und/oder Reibung, mittels zumindest eines weiteren Sensors der Steuervorrichtung ermittelt und bei der Anwendung des statistischen Modells berücksichtigt werden. Als weitere Sensoren zur Bestimmung können Kraftsensoren, Momenten sensoren, Stromsensoren, taktile Sensoren, und/oder Drucksensoren verwendet werden. So kann eine besonders große Anzahl sehr genauer Trainingdatensätze durch Simulation erhalten bzw. während der Handha bungsaufgabe an die tatsächlichen Gegebenheiten angepasst werden. Auch kann mittels des weiteren Sensors ein Qualitätsmaß für eine Steue rungsanweisung in den Trainingsbilddaten angegeben werden. So kann eine Qualität der realen Trainingbilddaten erhöht werden.
Als Trainingbilddaten können reale Bilddaten und/oder künstlich erzeug te repräsentative Bilddaten von Produkten verwendet werden. Durch diese Verwendung realer Bilddaten kann aufgrund der tatsächlichen Darstellung einer realen Situation eine Genauigkeit der Trainingdaten sätze erhöht werden. Künstlich erzeugte repräsentative Bilddaten von Produkten sind hingegen mit wesentlich weniger Aufwand erhältlich und in größerer Anzahl erstellbar.
Das statistische Modell kann ohne eine vorgegebene Toleranz der Trai ningbilddaten erzeugt werden. Trainingbilddaten und/oder geometrische Daten können zur Berechnung der Trainingdatensätze zusammen mit anderen Variablen und den Steueranweisungen ohne eine bewusst vorge gebene Toleranz mit dem statistischen Modell bearbeitet werden. Wie sich gezeigt hat, kann durch den Verzicht auf eine vorgegebene Toleranz der zur Berechnung herangezogenen Daten ein Aufwand zur Erstellung der Trainingdatensätze weiter gemindert werden, ohne dass eine Qualität der Trainingdatensätze verschlechtert werden würde. Gleichfalls ist es möglich, eine vorgegebene Toleranz bzw. bewusste Unsicherheit der zur Berechnung herangezogenen Daten vorzusehen.
Das statistische Modell kann mit einem empirischen oder analytischen Verfahren erzeugt werden. Bei dem empirischen Verfahren handelt es sich um eine Verallgemeinerung, beispielsweise eines Produkts und dessen Position sowie einer Bewegung des Handhabungsmechanismus nach einer Steueranweisung, so dass von dem Handhabungsmechanismus nicht die für den vorliegenden Fall optimale Bewegung ausgeführt wird. Das statistische Modell kann mittels eines Näherungsverfahrens, insbe- sondere Deep Learning, Convolutional Neural Network (CNN), Recusive Nets (RNN), Stochastic Machine, Random Forest oder Support Vecture Machine, erzeugt werden. Diese Näherungsverfahren betreffen verschie dene Optimierungsmethoden künstlicher neuronaler Netze, die zwischen einer Eingabeschicht und einer Ausgabeschicht eine Anzahl Zwischenla gen aufweisen und deren innere Struktur im Rahmen eines Trainings mit dem Trainingbilddaten und den Steueranweisungen ausgebildet werden können.
Das statistische Modell kann durch überwachtes Lernen und/oder durch Bestärkendes Lernen (reinforcement learning) erzeugt werden. Das Computerprogrammprodukt bzw. die Software des Computers kann dann die Eingaben für das statistische Modell bzw. Trainingbilddaten und/oder die jeweils zugehörigen Steueranweisungen erzeugen und deren Katego rien und Zusammenhänge erkennen. Bei dem überwachten Lernen kann ein Clustering-Verfahren angewandt werden.
Die Steuervorrichtung kann einen Bewegungsablauf des Handhabungs mechanismus einer Handhabung eines Produkts erfassen, wobei der bildgebende Sensor eine Abfolge der Handhabung des Produkts erfassen kann, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verarbeiten und die in dem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätze in Abhängigkeit der Abfolge und des Bewegungsablaufs ändern kann, wobei das statistische Modell der Trainingdatensätze geändert werden kann. Demnach kann vorgesehen sein, dass bei der Verwendung der Trainingdatensätze durch die Steuer vorrichtung bzw. im Realbetrieb der Handhabungsvorrichtung, eine weitere Optimierung der Trainingdatensätze durchgeführt wird. Diese Optimierung kann dadurch erfolgen, dass die Sensorbilddaten des bild gebenden Sensors von der Steuervorrichtung mittels Bildverarbeitung verarbeitet und in Beziehung zu der ausgeführten Steueranweisung der Steuervorrichtung gesetzt werden. Anstelle einer Steueranweisung können auch von der Steuervorrichtung weitere Sensoren des Handha- bungsmechanismus, wie beispielsweise Wegsensoren, Kraftsensoren und/oder Beschleunigungssensoren, zur Optimierung des statistischen Modells verwendet werden. Wesentlich ist, dass die in einem Offline- Betrieb der Handhabungsvorrichtung mit dem Computer erstellten Trainingdatensätze nun in einem Online-Betrieb der Handhabungsvor richtung durch die Anpassung des statistischen Modells weiter optimiert werden können.
Die Steuervorrichtung kann eine Qualität der Handhabung des Produkts bestimmen und diese bei einer Änderung des statistischen Modells der Trainingdatensätze berücksichtigen. Die Qualität der Handhabung des Produkts kann beispielsweise über die Sensorbilddaten des bildgebenden Sensors ermittelt werden, wenn ein Produkt nicht handhabbar ist, oder auch Sensordaten weiterer Sensoren des Handhabungsmechanismus nicht mit den Steueranweisungen des Handhabungsmechanismus übereinstim men. Tritt beispielsweise bei der Handhabung eines Produkts ein Fehler auf, können die für den Fehler ursächlichen Sensorbilddaten und Steuer anweisungen in die Änderungen des statistischen Modells einfließen.
Als ein bildgebender Sensor kann eine Kamera, eine Stereokamera, eine Structured Light Kamera, eine Lichtfeldkamera oder ein Lidar System verwendet werden. Je nach Art des zu handhabenden Produkts kann bereits ein zweidimensionales Bild des Produkts ausreichend sein. Vorteilhaft ist die Verwendung mehrerer Kameras, so dass ein dreidi mensionales Bild bzw. Modell des betreffenden Produkts mit dem bild gebenden Sensor gewonnen werden kann. Um eine gleichbleibende Qualität von Sensorbilddaten sicherzustellen, können Sensoren verwen det werden, die beispielsweise unabhängig von einer Beleuchtungssitua tion sind. Neben den oben genannten Sensoren können je nach Anwen dung auch mechanische Sensoren zur Abtastung eines Produkts oder auch Ultraschall-Sensoren als bildgebende Sensoren eingesetzt werden.
Somit können vorteilhaft eine zweidimensionale oder dreidimensionale Gestalt des jeweiligen Produkts beschreibende Trainingbilddaten und/oder Sensorbilddaten verwendet werden.
Die Handhabungsvorrichtung kann ein Greifen, Fügen, Prüfen, Applizie ren oder Bearbeiten an dem Produkt ausführen. Unter einer Handhabung des Produkts werden daher alle neben einem Fördern an dem Produkt ausgeführten Manipulationen bzw. Tätigkeiten verstanden.
Eine Erkennung von Greifpunkten an dem jeweiligen Produkt kann aus den Trainingbilddaten und/oder Sensorbilddaten erfolgen. Eine Erken nung von Greifpunkten ist auch nur dann sinnvoll, wenn mit dem Hand habungsmechanismus Produkte ergriffen werden sollen. Ein Ergreifen kann dabei mit den allgemein bekannten und für das jeweilige Produkt geeigneten Greifern, wie beispielsweise mechanische Parallelgreifer, Vakuumsauggreifer, Magnetgreifer, Haftgreifer oder dergleichen, durch geführt werden. Durch die Erkennung von Greifpunkten bzw. einer Vorselektion derselben kann die Handhabung von Produkten noch we sentlich verbessert werden.
Vorteilhaft ist es, wenn die Greifpunkte mittels Bildverarbeitung ermit telt werden. Die Erkennung der Greifpunkte kann beispielsweise durch einen Abgleich von Bildmerkmalen, sogenannte Feature-Matching- Algorithmen, durchgeführt werden. Weiter kann mittels Bildverarbeitung eine Szenenanalyse mit einer Lokalisierung von Produkten und Greif punkten, eine Objekterkennung und/oder eine Lageerkennung durchge führt werden. Zur Erkennung von Greifpunkten ist eine Szenenanalyse nicht zwangsläufig erforderlich.
Als Handhabungsmechanismus kann ein zumindest in zwei oder drei Raumachsen bewegbarer Handhabungsmechanismus, bevorzugt ein mehrachsiger Roboter, verwendet werden. Der mehrachsige Roboter kann eine Anzahl an Gelenken aufweisen, wobei in den jeweiligen Gelenken Wegsensoren, Kraftsensoren und/oder Beschleunigungssensoren inte griert sein können. Diese weiteren Sensoren können beispielsweise Kraftsensoren, Momentensensoren, Stromsensoren, taktile Sensoren, und/oder Drucksensoren sein und zur Auswertung eines realen Handha bungsablaufs eines Produkts durch die Steuervorrichtung verwendet werden.
Bei dem erfindungsgemäßen Automatisierungssystem, insbesondere Roboter oder dergleichen, umfasst das Automatisierungssystem eine Handhabungsvorrichtung mit einem Handhabungsmechanismus zur Handhabung der Produkte und eine Steuervorrichtung zur Steuerung der Handhabungsvorrichtung, wobei die Steuervorrichtung einen Datenspei cher mit Trainingdatensätzen und zumindest einen bildgebenden Sensor zur Erfassung der Produkte aufweist, wobei mittels der Steuervorrich tung Sensorbilddaten des bildgebenden Sensors verarbeitbar und die Handhabungsvorrichtung nach Vorgabe der Trainingdatensätze steuerbar ist, wobei die Trainingdatensätze Trainingbilddaten und/oder geometri sche Daten und jeweils zugehörige Steueranweisungen umfassen, wobei die Trainingdatensätze ausschließlich von in den Trainingbilddaten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell mit einem Computer mittels eines darauf ausführbaren Computerpro grammprodukts erzeugbar sind, wobei die Trainingdatensätze an die Steuervorrichtung übermittelbar sind. Zu den Vorteilen des erfindungsgemäßen Automatisierungssystems wird auf die Vorteilsbeschreibung des erfindungsgemäßen Verfahrens verwie sen. Weitere vorteilhafte Ausführungsformen eines Automatisierungssys tems ergeben sich aus den Merkmalsbeschreibungen der auf den Verfah rensanspruch 1 zurückbezogenen Tinteransprüche. Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
Fig. 1 eine schematische Darstellung eines Automatisierungssystems;
Fig. 2 eine Diagrammdarstellung einer Erstellung von Trainingdaten- Sätzen.
Die Fig. 1 zeigt ein vereinfacht dargestelltes Automatisierungssystem 10, welches aus einer Handhabungsvorrichtung 11 und einer Steuervor richtung 12 gebildet ist. Die Handhabungsvorrichtung 11 umfasst einen mehrachsigen Roboter 13 mit einer Antriebssteuerung 14 und einem Greifer 15, der zum Ergreifen von verschiedenen in einem Behälter 16 befindlichen Produkten 17 ausgebildet ist. Die Produkte 17 weisen jeweils eine unterschiedliche Gestalt auf, sind unstrukturiert platziert und können mittels des Greifers 15 ergriffen und von dem Roboter 13 gehandhabt bzw. sortiert werden.
Die Steuervorrichtung 12 umfasst einen bildgebenden Sensor 18, der hier von einer Kamera 19 ausgebildet ist, sowie Mittel zur Bildverarbeitung 20, einen Datenspeicher 21 mit Trainingdatensätzen und eine Steuerein richtung 22. Mittels der Kamera 19 können dann Bilder der Produkte 17 aufgenommen und als Sensorbilddaten an die Mittel zur Bildverarbeitung 20 weitergeleitet werden. Im Rahmen einer Bildverarbeitung erfolgt dann eine Lokalisierung bzw. Objekterkennung der Produkte 17 sowie eine Greifpunkterkennung. Aus den Trainingdatensätzen werden, je nach Produkt und Lage der Greifpunkte, die jeweils zugehörigen Steueranwei- sungen ausgewählt und von der Steuereinrichtung 22 an die Antriebs steuerung 14 übermittelt, die eine Bewegung des Roboters 13 bzw. des Greifers 15 zum Ergreifen und Handhaben des betreffenden Produkts 17 initiiert.
Die Fig. 2 zeigt eine schematische Darstellung eines Verfahrens zur Erzeugung von Trainingdatensätzen unabhängig von der in Fig. 1 darge stellten Steuervorrichtung. Zunächst werden Trainingbilddaten 23 und Steueranweisungen 24 zur Verfügung gestellt, wobei reale Trainingbild daten und Steueranweisungen als auch von einem Computer künstlich erzeugte Trainingbilddaten und Steueranweisungen verwendet werden können. Die Trainingbilddaten 23 und Steueranweisungen 24 werden mittels eines statistischen Modells 25, welches als Computerprogramm- produkt bzw. Software auf einen hier nicht dargestellten Computer ausgeführt wird, verarbeitet. Bei dem statistischen Modell 25 wird ein Näherungsverfahren, hier beispielsweise Deep Learning, angewandt, mit dem Trainingdatensätze 26 erzeugt werden. Die Trainingdatensätze 26 umfassen die Trainingbilddaten 23 und/oder geometrische Daten mit den jeweils zugehörigen Steueranweisungen 24, die von dem statistischen Modell 25 den Trainingbilddaten 23 zugeordnet wurden. Die so erzeug ten Trainingdatensätze 26 können dann nachfolgend an den Roboter entsprechend der Darstellung Fig. 1 zur Nutzung übermittelt werden.

Claims

Patentansprüche
1. Verfahren zur Handhabung von Produkten (17) mit einem Automati sierungssystem (11), wobei die Produkte mittels eines bildgebenden Sensors (18) einer Steuervorrichtung (12) des Automatisierungssys tems erfasst und mittels eines Handhabungsmechanismus (13) einer Handhabungsvorrichtung (11) des Automatisierungssystems gehand- habt werden, wobei die Steuervorrichtung Sensorbilddaten des bild gebenden Sensors verarbeitet und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher (21) der Steuervorrichtung ent haltenen Trainingdatensätzen (26) steuert, dadurch g e k e n nz e i c h n et, dass die Trainingdatensätze Trainingbilddaten (23) und/oder geomet rische Daten und jeweils zugehörige Steueranweisungen (24) umfas- sen, wobei die Trainingdatensätze ausschließlich von in den Trai ningbilddaten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell (25) mit einem Computer mittels eines darauf ausgeführten Computerprogrammprodukts erzeugt werden, wobei die Trainingdatensätze an die Steuervorrichtung übermittelt werden.
2. Verfahren nach Anspruch 1, dadurch g e k e n nz e i c h n et, dass in einem ersten Schritt die Trainingdatensätze (26) erzeugt wer den, und in einem zweiten Schritt die Trainingdatensätze an die Steu ervorrichtung (12) übermittelt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch g e k e n nz e i c h n et, dass bei der Handhabung des Produkts (17) vorliegende mechanische Variablen, insbesondere Kräfte, Momente und/oder Reibung, bei der Anwendung des statistischen Modells (25) unberücksichtigt bleiben.
4. Verfahren nach Anspruch 1 oder 2, dadurch g e k e n nz e i c h n et, dass bei der Handhabung des Produkts (17) vorliegende mechanische Variablen, insbesondere Kräfte, Momente und/oder Reibung, mittels zumindest eines weiteren Sensors (18) der Steuervorrichtung (12) ermittelt und bei der Anwendung des statistischen Modells (25) be rücksichtigt werden.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass als Trainingbilddaten (23) reale Bilddaten und/oder künstlich erzeugte repräsentative Bilddaten von Produkten (17) verwendet wer den.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass das statistische Modell (25) ohne eine vorgegebene Toleranz der
Trainingbilddaten (23) erzeugt wird.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass das statistische Modell (25) mit einem empirischen oder analyti- sehen Verfahren erzeugt wird.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass das statistische Modell (25) mittels eines Näherungsverfahrens, insbesondere Deep Learning, Convolutional Neural Network (CNN), Recursive Nets (RNN), Stochastic Machine, Random Forest oder
Support Vector Machine, erzeugt wird.
9. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass das statistische Modell (25) durch überwachtes Lernen und/oder durch Bestärkendes Lernen erzeugt wird.
10. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass die Steuervorrichtung (12) einen Bewegungsablauf des Handha bungsmechanismus (13) einer Handhabung eines Produkts (17) er fasst, wobei der bildgebende Sensor (18) eine Abfolge der Handha- bung des Produkts erfasst, wobei die Steuervorrichtung die Sensor bilddaten des bildgebenden Sensors verarbeitet und die in dem Da tenspeicher (21) der Steuervorrichtung enthaltenen Trainingdatensät ze (26) in Abhängigkeit der Abfolge und des Bewegungsablaufs än dert, wobei das statistische Modell der Trainingdatensätze geändert wird.
11. Verfahren nach Anspruch 10, dadurch g e k e n nz e i c h n et, dass die Steuervorrichtung (12) eine Qualität der Handhabung des Produkts bestimmt und diese bei der Änderung des statistischen Mo- dells (25) der Trainingdatensätze (26) berücksichtigt.
12. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass als bildgebender Sensor (18) eine Kamera (19), eine Stereoka mera, eine Structured Light Kamera, eine Lichtfeldkamera oder ein Lidar System verwendet wird.
13. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass eine zweidimensionale und/oder dreidimensionale Gestalt des jeweiligen Produktes (17) beschreibende Trainingbilddaten (23) und/oder Sensorbilddaten verwendet werden.
14. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass die Handhabungsvorrichtung (12) ein Greifen, Fügen, Prüfen, Applizieren oder Bearbeiten an dem Produkt (17) ausführt.
15. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass eine Erkennung von Greifpunkten an dem jeweiligen Produkt (17) aus den Trainingbilddaten (23) und/oder Sensorbilddaten er folgt.
16. Verfahren nach Anspruch 15, dadurch g e k e n nz e i c h n et, dass die Greifpunkte mittels Bildverarbeitung ermittelt werden.
17. Verfahren nach einem der vorangehenden Ansprüche, dadurch g e k e n nz e i c h n et, dass als Handhabungsmechanismus ein zumindest in zwei oder drei
Raumachsen bewegbarer Handhabungsmechanismus, bevorzugt ein mehrachsiger Roboter (13), verwendet wird.
18. Automatisierungssystem (11) zur Handhabung von Produkten (17), insbesondere Roboter oder dergleichen, wobei das Automatisierungs system eine Handhabungsvorrichtung (11) mit einem Handhabungs mechanismus (13) zur Handhabung der Produkte und eine Steuervor- richtung (12) zur Steuerung der Handhabungsvorrichtung umfasst, wobei die Steuervorrichtung einen Datenspeicher (21) mit Training datensätzen (26) und zumindest einen bildgebenden Sensor (18) zur Erfassung der Produkte aufweist, wobei mittels der Steuervorrichtung Sensorbilddaten des bildgebenden Sensors verarbeitbar und die Handhabungsvorrichtung nach Vorgabe der Trainingdatensätze (26) steuerbar ist, dadurch g e k e n n z e i c h n e t, dass die Trainingdatensätze Trainingbilddaten (23) und/oder geomet rische Daten und jeweils zugehörige Steueranweisungen (24) umfas- sen, wobei die Trainingdatensätze ausschließlich von in den Trai ningbilddaten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell (25) mit einem Computer mittels eines darauf ausführbaren Computerprogrammprodukts erzeugbar sind, wobei die Trainingdatensätze an die Steuervorrichtung übermittelbar sind.
EP20728685.7A 2019-08-14 2020-05-14 Automatisierungssystem und verfahren zur handhabung von produkten Pending EP4013574A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019121889.6A DE102019121889B3 (de) 2019-08-14 2019-08-14 Automatisierungssystem und Verfahren zur Handhabung von Produkten
PCT/EP2020/063415 WO2021028084A1 (de) 2019-08-14 2020-05-14 Automatisierungssystem und verfahren zur handhabung von produkten

Publications (1)

Publication Number Publication Date
EP4013574A1 true EP4013574A1 (de) 2022-06-22

Family

ID=70861446

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20728685.7A Pending EP4013574A1 (de) 2019-08-14 2020-05-14 Automatisierungssystem und verfahren zur handhabung von produkten

Country Status (6)

Country Link
US (1) US20220314433A1 (de)
EP (1) EP4013574A1 (de)
JP (1) JP2022543865A (de)
CN (1) CN114269522A (de)
DE (1) DE102019121889B3 (de)
WO (1) WO2021028084A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021069084A1 (en) * 2019-10-11 2021-04-15 Toyota Motor Europe Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
DE102021104001B3 (de) 2021-02-19 2022-04-28 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen
DE102021202759A1 (de) 2021-03-22 2022-09-22 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines neuronalen Netzwerks zum Steuern eines Roboters
DE102021210749B3 (de) 2021-09-27 2023-03-23 OPTIMA pharma GmbH Verfahren und Vorrichtung zur Überwachung einer Füll- und/oder Verschließanlage und/oder Nachverarbeitungsanlage
DE102022212198A1 (de) 2022-11-16 2024-05-16 Kuka Deutschland Gmbh Anpassung einer Greifsimulation durch Parameteridentifikation in der realen Welt

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
CN202412277U (zh) * 2012-02-01 2012-09-05 昆山华恒焊接股份有限公司 搬运机器人系统
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP6429450B2 (ja) * 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP2015089590A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
DE202017106506U1 (de) * 2016-11-15 2018-04-03 Google Llc Einrichtung für tiefes Maschinenlernen zum Robotergreifen
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
EP3664705A4 (de) * 2017-08-09 2021-09-29 Allen Institute Systeme, vorrichtungen und verfahren zur bildverarbeitung zur erzeugung eines bildes mit prädiktiver markierung
JP6695843B2 (ja) * 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム
CN109760050A (zh) * 2019-01-12 2019-05-17 鲁班嫡系机器人（深圳）有限公司 机器人行为训练方法、装置、系统、存储介质及设备
WO2020262721A1 (ko) * 2019-06-25 2020-12-30 엘지전자 주식회사 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템

Also Published As

Publication number Publication date
US20220314433A1 (en) 2022-10-06
CN114269522A (zh) 2022-04-01
DE102019121889B3 (de) 2020-11-19
WO2021028084A1 (de) 2021-02-18
JP2022543865A (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
EP4013574A1 (de) Automatisierungssystem und verfahren zur handhabung von produkten
DE102019002065B4 (de) Maschinelle Lernvorrichtung, Robotersteuervorrichtung und Robotervisionssystem, das eine maschinelle Lernvorrichtung verwendet, und maschinelles Lernverfahren
DE102014108287B4 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102017008475B4 (de) Maschinenlernvorrichtung, robotersystem und maschinenlernverfahren zum erlernen eines roboter-betriebsprogramms
DE102017008836B4 (de) Maschinelle Lernvorrichtung und maschinelles Lernverfahren zum Lernen eines optimalen Objekt-Greifwegs
DE102016015942B3 (de) Maschinelle Lernvorrichtung, Robotercontroller, Robotersytem und maschinelles Lernverfahren zum Lernen des Handlungsmusters einer Person
DE102014103738B3 (de) Visuelle fehlersuche bei roboteraufgaben
DE112019002310B4 (de) Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung
DE102019001948B4 (de) Steuerung und maschinelle Lernvorrichtung
DE102019109624B4 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
DE102017202717A1 (de) Roboteranlernung per menschlicher demonstration von aufgaben mit kraft- und positionszielen
DE102018004330B4 (de) Steuerung und maschinelle Lernvorrichtung
DE102019006725B4 (de) Steuereinrichtung und Steuersystem
EP3993959A1 (de) Durchführen einer applikation mithilfe wenigstens eines roboters
WO2020187591A1 (de) Verfahren und vorrichtung zum ansteuern eines roboters
WO2020002069A1 (de) Verfahren und vorrichtung zum rechnergestützten ermitteln von regelparametern für eine günstige handlung eines technischen systems
DE102019205651B3 (de) Verfahren und System zum Ausführen von Roboterapplikationen
DE102017010678B4 (de) Verfahren und System zum Vorgeben eines Beaufschlagungsmuster-Befehls-Lexikons zur Eingabe wenigstens eines Roboterbefehls
EP0999484B1 (de) Trimmverfahren zum Abgleich eines Simulationssystems mit einem geregelten Referenzsystem
DE102019207410A1 (de) Verfahren und Vorrichtung für eine automatisierte Beeinflussung eines Aktuators
DE102020103852B4 (de) Erzeugen und Optimieren eines Steuerprogramms für einen Robotermanipulator
EP3650964B1 (de) Verfahren zum steuern oder regeln eines technischen systems
EP4133341A1 (de) Roboterprozess
EP3793785A1 (de) Verfahren und vorrichtung zum rechnergestützten ermitteln von regelparametern für eine günstige handlung eines technischen systems
DE102020206913A1 (de) Verfahren und Vorrichtung zum Betreiben eines Roboters

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220214

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)