EP4619201A1 - Anpassung einer greifsimulation durch parameteridentifikation in der realen welt - Google Patents

Anpassung einer greifsimulation durch parameteridentifikation in der realen welt

Info

Publication number
EP4619201A1
EP4619201A1 EP23793796.6A EP23793796A EP4619201A1 EP 4619201 A1 EP4619201 A1 EP 4619201A1 EP 23793796 A EP23793796 A EP 23793796A EP 4619201 A1 EP4619201 A1 EP 4619201A1
Authority
EP
European Patent Office
Prior art keywords
gripping
data
robot
holding
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23793796.6A
Other languages
English (en)
French (fr)
Inventor
Manuel KASPAR
Jonas SCHWINN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4619201A1 publication Critical patent/EP4619201A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39505—Control of gripping, grasping, contacting force, force distribution
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39542—Plan grasp points, grip matrix and initial grasp force
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Definitions

  • the present invention relates to a method for the automated optimization of parameters, in particular for a robot-assisted gripping process, a method for controlling a gripping robot, a system for the automated optimization of parameters, and a computer program or computer program product.
  • Simulation-to-reality gap Sim2Real gap
  • the object of the present invention is in particular to reduce the simulation-to-reality gap and, in particular, to optimize the parameterization of the simulation.
  • a method for automatically optimizing parameters, in particular for a robot-assisted gripping process.
  • the method comprises determining real gripping data, wherein the real gripping data describe at least one gripping success of a gripping position, in particular on an object to be gripped by a gripping robot or on an object gripped by a gripping robot.
  • the method comprises determining real holding data, wherein the real holding data describe at least one force, in particular a force on the object gripped by a gripping robot and/or on the gripper of the gripping robot, which in particular has (successfully) gripped an object to be gripped.
  • the real holding data describes at least one parameter or relevant property that is relevant to the existence of the grip on the gripped object, in particular a parameter or property related to the grip.
  • a relevant parameter or property is a force, in particular a normal force, a frictional force, in particular a friction or a friction coefficient, such as in particular (for) static friction, rolling friction, spinning friction, and/or lateral friction, which acts on the gripped object and/or on at least one gripper finger, in particular a closing force of the at least one gripper finger, and/or a mass, inertia and/or position of a center of mass of the gripped object and/or of the at least one gripper finger.
  • the method further comprises, in particular in one step, simulating, in particular replicating, further in particular in a simulation environment, wherein at least one gripping process, in particular a handle, is simulated in the simulation environment based on the gripping process, in particular a handle, underlying the determined real gripping data and/or the determined real holding data.
  • the method further comprises, in particular in one step, data-based optimization of parameters of the simulated gripping process, in particular of the simulated handle.
  • the method comprises optimizing the parameters of the simulated gripping process, in particular of the simulated handle, based on the determined real gripping data and/or based on the determined real holding data.
  • optimized parameters can advantageously be determined, in particular an improved simulation environment can advantageously be achieved, furthermore in particular a more realistic or realistic/closer to reality simulation or simulation environment, in particular in comparison with simulations or simulation environments that are not optimized or optimized based on real gripping data and/or real holding data.
  • real gripping data is to be understood in particular as information, particularly digital information, which describes the data of a real gripping process, in particular of a grip that has actually been carried out.
  • the term is to be understood, in one embodiment, as a counterpart to "gripping
  • Simulation data refers to Information describing data of a simulated grasping action, in particular a simulated grip, in a simulation environment.
  • holding real data should be understood in particular as information, particularly digital information, which describes data of a holding during or during a gripping process that is actually carried out, in particular during or during a grip that is actually carried out.
  • the term should be understood, in one embodiment, as a counterpart to "holding simulation data”.
  • the “real data” and the “simulation data” each describe the same thing or information, respectively for the reality and the simulation, or the simulation environment.
  • the data-based optimization comprises an automatic adjustment of the parameters, in particular an automatic adjustment of a simulated mass of the simulation, an automatic adjustment of (simulated) dynamic parameters and/or a simulated force, in particular friction force or friction.
  • the automatic adjustment of the parameters is based on at least one evaluation of a cost function on which the optimization is based or on which it is optimized.
  • the data-based optimization in particular the optimization of the parameters, is based on a cost function of real gripping data and gripping simulation data and/or real holding data and holding simulation data.
  • the gripping simulation data describe at least one simulated gripping parameter, in particular a gripping success of a gripping position in the simulation.
  • the holding simulation data describe at least one simulated holding parameter, in particular a force of the simulated grip.
  • the entries in the Vectors can be 1 or 0, corresponding to a successful grip or an unsuccessful grip.
  • the data-based optimization comprises the adaptation of, in particular abstract, parameters, such as in particular time steps of the simulation, solver iterations or the like, further in particular "lateral friction”, “rolling friction”, “spinning friction” of the gripping object and/or “lateral friction”, “rolling friction”, “spinning friction” of the gripper, in particular of at least one gripper finger, a mass, an inertia and/or a center of mass of the gripping object, or the like.
  • the object can be made heavier in the simulation or a friction parameter can be adjusted, in particular advantageously automatically and/or data-based.
  • the optimization in particular the data-based optimization, is carried out using a gradient-free optimizer.
  • the optimization algorithm is based on a Monte Carlo algorithm or the optimization algorithm is a Monte Carlo algorithm, in particular a covariance matrix adaptation evolution strategy (CMA-ES) or the like.
  • the determination of real gripping data comprises determining a plurality of gripping positions, in particular collision-free and/or graspable, on the (real) object to be gripped. In one embodiment, the determination of real gripping data further comprises determining a plurality of gripping positions, in particular collision-free and/or graspable. In one embodiment, the determination of real gripping data further comprises determining a plurality of gripping positions, in particular collision-free and/or graspable. Real data further comprises selecting one of the determined grip positions. In one embodiment, determining gripping real data further comprises gripping the object, in particular with a gripping robot, based on the selected grip position.
  • determining gripping real data further comprises storing the gripping success for the selected grip position, in particular for the selected grip position on the object to be gripped and for a pose of the object to be gripped, in particular on a work surface of the gripping robot.
  • the determination of real gripping data comprises a step, in particular a preceding step, with randomized placement of an object or objects to be gripped, in particular with the gripping robot.
  • determining gripping real data further comprises repeating the method steps described herein for determining gripping real data.
  • the object to be gripped is moved by the robot, in particular after determining real gripping data, to a random position, in particular to a random position in the working area of the gripping robot, and then dropped.
  • grip positions are determined that correspond to the random pose of the object to be grasped.
  • this also makes it possible to obtain a pre-sorted set of handles for the object, in particular according to gripping success.
  • a method for optimizing a grip sampler comprises, at least substantially, the same steps as determining real grip data, in particular with a selection of one of the determined grip positions based on a selection frequency of the grip positions, as described herein.
  • a grip sampler can be optimized by means of the determined real grip data, in particular a grip with a high or higher gripping success, in particular determined by the gripping sampler, further in particular based on the determined, in particular stored, real gripping data.
  • the selection of one of the determined grip positions is based on a selection frequency of the determined grip positions, in particular the determined grip position with the lowest selection frequency of the determined grip positions is selected.
  • determining real holding data includes determining a holding grip position, in particular on a gripped object, wherein the holding grip position is arranged on the object to be gripped and/or on the gripped object in such a way that a force can be exerted on the object to be gripped and/or on the gripped object via the holding grip position, which force can act or acts opposite to at least one force on the object to be gripped and/or on the gripped object, in particular opposite to a gripping direction of the gripping robot.
  • determining real holding data further includes gripping, in particular holding, the object at the determined holding grip position, in particular by a holding robot that is different from the gripping robot.
  • this advantageously makes it possible for parameter values for a simulation to be determined or ascertained more precisely, in particular more quickly. In one embodiment, this advantageously makes it possible for rotational forces in particular, and more particularly rotational friction values, to be determined or ascertained better than in particular without the use of a holding robot or based only on a simulation environment.
  • the exertion of the force in particular by means of the holding robot, comprises a successive increase in the force in predetermined steps, in particular until the gripping robot loses the gripped object and/or until a, in particular predetermined, maximum force is exceeded.
  • the exertion of the force comprises a (numerical) measurement of the exerted force.
  • determining real gripping data and/or real holding data comprises recording the object using a recording device.
  • recording the object comprises determining a pose of the object, in particular over time, and further comprises in particular localizing the gripped object, in particular in the gripper (in-hand localization), and/or tracking the object, in particular as long as it is gripped.
  • at least one start position of the object, in particular a start frame, and one end position of the object, in particular an end frame can be used for a cost function.
  • this can advantageously make it possible for the parameter estimation for the optimization to be or will be improved, in particular because the trajectory of the object contains more information than, in particular, a gripping success variable that indicates or describes the success or failure of the grip.
  • a movement of the object can be approximated via the end position of the holding robot and in particular can be included in the cost function.
  • this advantageously makes it possible to obtain information about the gripping process that goes beyond the information content of the gripping success, in particular can or do offer an improved cost function.
  • a method for controlling a gripping robot comprises determining control data based on the optimized parameters according to an embodiment described herein, in particular for robot-assisted gripping, further in particular for a robot-assisted gripping process. In one embodiment, the method comprises controlling and/or moving the gripping robot based on the optimized control data.
  • a movement and/or control of the robot can first be optimized in a simulation environment and then transferred to the robot, in particular in order to grip an object to be gripped better and/or more quickly. Furthermore, in one embodiment, this makes it possible that the grip, in particular a closing force of the gripper fingers or the like, can be used in a more optimized manner.
  • embodiments of a method described herein are applicable or transferable to applications with multiple objects, in particular applications with multiple objects to be gripped in a container, provided that they are technically reasonable and/or applicable.
  • the parameters determined for exposed objects can be transferred, in particular applied, to a gripping process with multiple objects in a container, and further, in particular based on the optimized parameters, control data can be determined for a gripping robot that is intended to grip or grips at least one object from a plurality of objects, in particular those arranged in a container.
  • a system for operating and/or monitoring at least one robot.
  • the system has a gripping robot and means for determining several, in particular collision-free and/or graspable, grip positions, in particular a grip sampler.
  • the system and/or its means have means for selecting one of the determined grip positions, in particular a processing unit that is set up to select one of the determined grip positions.
  • the system and/or its means have means for gripping the object.
  • the system and/or its means have means for storing the gripping success, in particular a processing unit and/or in particular a memory, in particular in data connection with the processing unit.
  • the system has means for determining real gripping data and/or means for determining real holding data, in particular at least one sensor that is set up to detect at least one parameter relevant to the real gripping data and/or to detect a parameter relevant to the real holding data.
  • the system has means for simulating, in particular for replicating, at least one gripping process, in particular grip, of a gripping robot in a simulation environment.
  • the system has means for data-based optimization of parameters, in particular of the simulation environment, in particular a processing unit.
  • the system has a gripping robot and a holding robot.
  • the system has means for determining a holding grip position, in particular a processing unit.
  • the system, in particular the holding robot has means for gripping, in particular holding, the holding grip position.
  • the system, in particular the holding robot has means for exerting a force on the object.
  • the system has a recording device.
  • a recording device as described herein particularly preferably comprises a recording device for recording digital and/or two-dimensional, in particular three-dimensional, images, and can in particular have at least one 2D camera, 3D camera and/or at least two spatially spaced cameras and/or at least one scanner, preferably for three-dimensional scanning.
  • the recording device is set up to record a point cloud and/or color information, preferably a three-dimensional point cloud, more particularly a point cloud with color information, in particular associated with the points of the point cloud.
  • a three-dimensional point cloud and/or color information recorded using a recording device is referred to as a frame or image (recorded using the recording device), which in one embodiment is generally a three-dimensional image and/or an image with color information.
  • the receiving device is arranged on at least one of the robots. In one embodiment, the receiving device is alternatively or additionally arranged remotely from the robot, in particular such that the receiving device can receive, in particular track, an object to be gripped and/or a gripped object.
  • a system and/or means in the sense of the present invention can be designed in terms of hardware and/or software, in particular at least one, preferably data- or signal-connected, especially digital, processing unit, especially microprocessor unit (CPU), graphics card (GPU) or the like, and/or a or multiple programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a storage system, to detect input signals from a data bus and/or to output output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • the program can be designed in such a way that it embodies or is capable of carrying out the methods described here, so that the processing unit can carry out the steps of such methods and thus in particular can operate or monitor the robot.
  • a computer program product can have, in particular be, a storage medium, in particular a computer-readable and/or non-volatile one, for storing a program or instructions or with a program or instructions stored thereon.
  • execution of this program or these instructions by a system or a controller, in particular a computer or an arrangement of several computers causes the system or the controller, in particular the computer(s), to carry out a method described here or one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the controller or its means.
  • Fig. 1 A system according to an embodiment of the present invention
  • Fig. 2 a system according to an alternative or additional embodiment
  • Fig. 3 schematically a block diagram of a method according to an embodiment.
  • Fig. 1 schematically shows system 1 with a gripping robot 2, which has a gripper 3 for gripping an object 5 to be gripped.
  • the object 5 to be gripped is shown on a schematic worktop 6 of the system 1, with a single object 5 to be gripped being shown with solid lines.
  • the system 1 is set up for gripping several objects 5, 5' (shown in dashed lines) in a container (not shown), in particular to carry out a method described herein.
  • the system 1 can have a receiving device 8 which, as shown in dashed lines in Figure 1, is not arranged on the robot 2.
  • the receiving device can be arranged on the robot 2, in particular on a flange of the robot 2.
  • the system in Figure 1 has a processing unit 7 which is in data connection with the robot 2 and is set up in particular to control or monitor the robot 2.
  • the robot 2 is further configured to grip the object 5 to be gripped based on a determined grip position. If the gripping process of the robot 2 is repeated and the gripping success of the grip position is recorded, the gripping sequence can be ordered according to the grip position and/or the pose, in particular position, of the object and, in particular, a sorting of the grip positions according to gripping success can be derived from this recording. For this purpose, in particular the grip position that has been gripped the least (so far) can be selected.
  • data in particular on the gripping success of possible grip positions, which are or were determined in particular by means of a grip sampler, can be determined and stored.
  • This data can be used in particular for a simulation of the system 1 in a simulation environment, wherein the system 1 in the simulation environment has, at least essentially, the components of the real system 1.
  • an optimization of the parameters in the simulation environment can be achieved, in particular based on the data determined in reality, in particular real gripping data.
  • Fig. 2 shows a schematic view of a system 1 with a holding robot 10. Furthermore, in Fig. 2, a robot 2 is shown which has gripped an object 5 to be gripped. Fig. 2 shows, indicated in dashed lines, comparable to Fig. 1, a receiving device 8 and also a processing unit 7, which is data-connected to the robot 2 and in particular to the holding robot 10 (also shown in dashed lines).
  • the holding robot 10 is shown in Figure 2 in such a way that it has gripped a determined holding grip position and is holding the object already gripped by the gripping robot in the opposite direction to the gripping direction of the gripping robot 2.
  • the holding robot 10 can compensate for gravity, in particular in the case of heavy and/or large objects.
  • arrows also indicate that the holding robot 10 can apply a force to the object 5, in particular successively, which acts against a force exerted by the robot 2.
  • a force can be rotational (opposite the rotational force of the robot 2), and in particular can be gradually increased until the robot 2 loses the object or drops it.
  • values for parameterizing the simulation environment or the simulation of the grip can be derived from the maximum force used, and in particular these values can be transferred to the simulation. This is indicated in Figure 2 by the data connections in dashed lines to the processing unit 7.
  • the gripped object 5 can be tracked by a recording device 8 during the process or method described above, in particular a trajectory of the object can be recorded, in some embodiments in particular continuously and/or in time steps.
  • the recording device 8 can, as indicated in Figure 2 by the dashed lines, be attached externally or not be arranged on at least one of the robots 2, 10, or in some embodiments can be arranged on a flange of at least one robot 2, 10.
  • the system 1 shown in Figure 2 can then be constructed in the simulation environment, at least essentially, in the same way, so that a simulated (held) grip on an object can be or is simulated to the grip on the object in reality, in particular in embodiments is repeated until the simulated grip resembles the real grip, at least essentially (or within predetermined limits for an accuracy of reproduction).
  • FIG 3 shows a schematic block diagram of a method 30.
  • the method has a step S1 with determining data (in reality).
  • real gripping data S10 can be determined and/or real holding data S20 can be determined.
  • the determination of real gripping data S10 includes in particular a determination of gripping positions on the object 5 to be grasped, shown with S12, wherein in Embodiments which can be preceded by a randomized placement of the object to be gripped.
  • S16 in Figure 3 relates in particular to gripping the object 5 based on the grip position selected in S14.
  • S18 schematically represents a storage of the gripping success for the selected grip position, in particular in a database or a memory. These steps can be repeated, as shown in particular by the dashed arrow.
  • real gripping data can also be determined independently and an optimization, in particular solely based on the stored data on the gripping success, can be used to improve or optimize the grip sampler.
  • S20 schematically shows a determination of real holding data.
  • the determination of real holding data S20 comprises determining a holding grip position S22 on an object 5 gripped by a gripping robot.
  • the grip position of the holding robot 10 is arranged such that, in one embodiment, a force can be applied to the object that is opposite to a force on the object 5 that is or is applied by the gripping robot 2.
  • a gripping S24 follows at the determined holding grip position by the holding robot 10 in particular. This is followed, as shown by way of example in Figure 3, by exerting a force S26, in particular on the object 5, in the opposite direction to a force of the gripping robot 2 on the object 5.
  • the determination of real holding data S20 can follow the gripping of the object S16 or the storage S18 of the determination of real gripping data S10, as indicated in particular by the dashed arrow between S18 and S20.
  • Figure 3 shows a simulation S30 of at least one of the previous or above-described (real) gripping processes.
  • simulation S30 an attempt is made in one embodiment to reproduce the real gripping process, in particular as closely as possible, within a simulation environment.
  • S32 in Figure 3 shows an example of an optimization of the parameters.
  • the optimization S32 is based on the previously determined real gripping data and/or the determined real holding data.
  • the method as shown in dashed lines, can comprise a step of controlling, moving and/or monitoring S40 a robot 2, 10, in particular during gripping, based on the determined optimized parameters, which are transmitted for this purpose in one embodiment in control data for the robot 2, 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

Ein Verfahren zum automatischen Optimieren von Parametern für einen robotergestützten Greif-Vorgang, umfassend Ermitteln von Greif-Realdaten, wobei die Greif-Realdaten wenigstens einen Greiferfolg einer Griffposition an einem durch einen Greif-Roboter gegriffenen Objekt beschreiben; und/oder Ermitteln von Halte-Realdaten, wobei die Halte-Realdaten wenigstens einen mit einem Greif-Vorgang, insbesondere Griff, in Verbindung stehenden Parameter, insbesondere eine Kraft am durch einen Greif-Roboter gegriffenen Objekt, beschreiben; Simulieren, insbesondere Replizieren, von wenigstens einem Greif-Vorgang, insbesondere Griff, in einer Simulationsumgebung basierend auf dem den ermittelten Greif-Realdaten und/oder den ermittelten Halte-Realdaten zu Grunde liegenden Greif-Vorgang, insbesondere Griff; datenbasiertes Optimieren von Parametern, insbesondere Optimieren der Parameter basierend auf den ermittelten Greif-Realdaten und/oder basierend auf den ermittelten Halte-Realdaten, zum Ermitteln von optimierten Parametern.

Description

Beschreibung
Anpassung einer Greifsimulation durch Parameteridentifikation in der realen Welt
Die vorliegende Erfindung betrifft ein Verfahren zum automatisierten Optimieren von Parametern, insbesondere für einen robotergestützten Greif-Vorgang, ein Verfahren zum Steuern eines Greif-Roboters, ein System zum automatisierten Optimieren von Parametern, sowie ein Computerprogramm bzw. Computerprogrammprodukt.
Im Stand der Technik werden technische Systeme teilweise in Simulationsumgebungen trainiert. Hierfür werden üblicherweise simulierte Daten in beliebiger Menge generiert. Diese simulierten Daten sind aber nur ein qualitatives Abbild der Realität. Der Unterschied zwischen Simulation und Realität wird üblicherweise auch als Simulation-zu-Realitäts-Lücke (englisch: „Sim2Real-Gap“) bezeichnet.
Aufgabe der vorliegenden Erfindung ist es insbesondere die Simulation-zu-Realitäts- Lücke zu verkleinern, weiter insbesondere eine Parametrierung der Simulation zu optimieren.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
In einer Ausführung der vorliegenden Erfindung wird ein Verfahren zum automatischen Optimieren von Parametern, insbesondere für einen robotergestützten Greif-Vorgang bereitgestellt. In einer Ausführung weist das Verfahren ein Ermitteln von Greif-Realdaten auf, wobei die Greif-Realdaten wenigstens einen Greiferfolg einer Griffposition beschreiben, insbesondere an einem durch einen Greif-Roboter zu greifenden Objekts bzw. an einem durch einen Greif-Roboter gegriffenen Objekt. Alternativ oder zusätzlich weist das Verfahren ein Ermitteln von Halte-Realdaten auf, wobei die Halte-Realdaten wenigstens eine Kraft beschreiben, insbesondere eine Kraft am durch einen Greif-Roboter gegriffenen Objekt und/oder am Greifer des Greif- Roboters, der insbesondere ein zu greifendes Objekt (erfolgreich) gegriffen hat. In einer Ausführung beschreiben die Halte-Realdaten wenigstens eine für den Bestand des Griffs am gegriffenen Objekt relevanten Parameter bzw. relevante Eigenschaft, insbesondere einen mit dem Griff in Verbindung stehenden Parameter bzw. Eigenschaft. In einer Ausführung ist ein relevanter Parameter bzw. eine Eigenschaft eine Kraft, insbesondere eine Normalkraft, eine Reibkraft, insbesondere eine Reibung bzw. einen Reibkoeffizient, wie insbesondere (für) eine Haftreibung, eine Wälzreibung, eine Rollreibung (englisch: „rolling friction“), Bohrreibung(englisch: „spinning friction“), und/oder Gleitreibung (englisch: „lateral friction“), die am Greifobjekt und/oder an wenigstens einem Greiferfinger wirkt, insbesondere eine Schließkraft des wenigstens einen Greiferfingers, und/oder eine Masse, Trägheit und/oder Lage eines Masseschwerpunkts des Greifobjekts und/oder des wenigstens einen Greiferfingers. In einer Ausführung weist das Verfahren ferner, insbesondere in einem Schritt, ein Simulieren, insbesondere ein Replizieren, weiter insbesondere in einer Simulationsumgebung, auf, wobei wenigstens ein Greif-Vorgang, insbesondere ein Griff, in der Simulationsumgebung basierend auf dem den ermittelten Greif- Realdaten und/oder den ermittelten Halte-Realdaten zu Grunde liegenden Greif- Vorgang, insbesondere Griff. In einer Ausführung weist da Verfahren ferner, insbesondere in einem Schritt, ein datenbasiertes Optimieren von Parametern des simulierten Greif-Vorgangs, insbesondere des simulierten Griffs, auf. Alternativ oder zusätzlich weist das Verfahren ein Optimieren der Parameter des simulierten Greif- Vorgangs, insbesondere des simulierten Griffs, basierend auf den ermittelten Greif- Realdaten und/oder basierend auf den ermittelten Halte-Realdaten auf.
Hierdurch können vorteilhafterweise, in einer Ausführung, optimierte Parameter ermittelt werden, insbesondere vorteilhafterweise eine verbesserte Simulationsumgebung erreicht werden, weiter insbesondere eine realistischere bzw. realitätsnahe/realitätsnähere Simulation bzw. Simulationsumgebung, insbesondere im Vergleich mit Simulationen bzw. Simulationsumgebungen, die nicht basierend auf Greif-Realdaten und/oder Halte-Realdaten optimieren bzw. optimiert werden.
Der Begriff „Greif-Realdaten“, wie hierin verwendet, soll insbesondere als, weiter insbesondere digitale, Information verstanden werden, die Daten eines realen Greif- Vorgangs, insbesondere eines real durchgeführten Griffs beschreiben. Insbesondere soll der Begriff, in einer Ausführung, als Pendant zu „Greif-
Simulationsdaten“ verstanden werden, wobei sich die „Greif-Simulationsdaten“ auf Information, die Daten eines simulierten Greif-Vorgangs, insbesondere eines simulierten Griffs, in einer Simulationsumgebung beschreiben.
Der Begriff „Halte-Realdaten“, wie hierin verwendet, soll insbesondere als, weiter insbesondere digitale, Information verstanden werden, die Daten eines Haltens bei bzw. während eines real durchgeführten Greif-Vorgangs, insbesondere bei bzw. während eines real durchgeführten Griffs, beschreiben. Insbesondere soll der Begriff, in einer Ausführung, als Pendant zu „Halte-Simulationsdaten“ verstanden werden.
In einer Ausführung beschreiben die „Realdaten“ und die „Simulationsdaten“ jeweils die gleiche Sache bzw. Information, entsprechend für die Realität und die Simulation, bzw. die Simulationsumgebung.
In einer Ausführung weist das datenbasierte Optimieren ein automatisches Anpassen der Parameter, insbesondere ein automatisches Anpassen einer simulierten Masse der Simulation, ein automatisches Anpassen von (simulierten) Dynamikparametern und/oder einer simulierten Kraft, insbesondere Reibkraft bzw. Reibung, auf. In einer Ausführung basiert das automatische Anpassen der Parameter auf wenigstens einer Auswertung einer Kostenfunktion, die der Optimierung zugrunde liegt bzw. auf Basis derer optimiert wird.
In einer Ausführung basiert das datenbasierte Optimieren, insbesondere das Optimieren der Parameter auf einer Kostenfunktion von Greif-Realdaten und Greif- Simulationsdaten und/oder Halte-Realdaten und Halte-Simulationsdaten. In einer Ausführung beschreiben die Greif-Simulationsdaten wenigstens einen simulierten Greifparameter, insbesondere einen Greiferfolg einer Griffposition in der Simulation. In einer Ausführung beschreiben die Halte-Simulationsdaten wenigstens einen simulierten Halteparameter, insbesondere eine Kraft des simulierten Griffs. In einer Ausführung kann die Kostenfunktion auf einem Vergleich übereinstimmender Einträge in Vektoren erfolgreicher Griffe in der Realität und der Simulation basieren, insbesondere eine Kostenfunktion c = Summe(Betrag(Greiferfolg_real - Greiferfolg_sim)), wobei Greiferfolg_real einem Vektor für einen Greiferfolg in der Realität, insbesondere bei einem real ausgeführten Griff entspricht und Greiferfolg_sim einem Vektor für einen Greiferfolg bei einem entsprechenden Griff in der Simulationsumgebung. Dabei können in einer Ausführung die Einträge in den Vektoren 1 oder 0 sein, entsprechend einem erfolgreichen Griff oder einem nicht erfolgreichen Griff. In einer Ausführung umfasst das datenbasierte Optimieren das Anpassen von, insbesondere abstrakten, Parametern, wie insbesondere Zeitschritte der Simulation, Löser-Iterationen (englisch: „solver-iterations") oder dergleichen, weiter insbesondere „lateral friction“, „rolling friction“, „spinning friction“ des Greifobjekts und/oder „lateral friction“, „rolling friction“, „spinning friction“ des Greifers, insbesondere wenigstens eines Greiferfingers, eine Masse, eine Trägheit und/oder einen Masseschwerpunkt des Greifobjekts, oder dergleichen.
Hierdurch kann, in einer Ausführung, vorteilhafterweise ermöglicht werden, dass Entscheidungen bezüglich der Parameter, insbesondere Dynamikparameter, basierend auf Auswertungen der Kostenfunktion geschätzt werden können bzw. werden. So kann, in einer Ausführung, wenn insbesondere ein Griff nah am Rand des Objekts liegt und/oder an den Fingerspitzen der Greiferfinger und wenn das Objekt nicht gehalten werden kann bzw. aus dem Greifer fällt oder an den Fingerspitzen heraus rutscht, das Objekt in der Simulation schwerer gemacht werden oder ein Reibungsparameter angepasst werden, insbesondere vorteilhafterweise automatisch und/oder datenbasiert.
In einer Ausführung wird das Optimieren, insbesondere das datenbasierte Optimieren, mittels einem gradientenfreien Optimierer durchgeführt. In einer Ausführung basiert der Optimierungsalgorithmus auf einem Monte-Carlo-Algorithmus bzw. ist der Optimierungsalgorithmus ein Monte-Carlo-Algorithmus, insbesondere eine Kovarianzmatrix-Anpassung Evolutionsstrategie (englisch: „Covariance Matrix Adaptation Evolution Strategy“; CMA-ES) oder dergleichen.
Hierdurch kann, in einer Ausführung, ermöglicht werden, dass eine Optimierung der Parameter schnell(er) durchgeführt werden kann bzw. wird. Vorteilhafterweise kann hierdurch in einer Ausführung automatisch optimiert werden.
In einer Ausführung weist das Ermitteln von Greif-Realdaten ein Ermitteln von mehreren, insbesondere kollisionsfreien und/oder greifbaren, Griffpositionen an dem zu greifenden (realen) Objekt auf. In einer Ausführung weist das Ermitteln von Greif- Realdaten ferner ein Ermitteln von mehreren, insbesondere kollisionsfreien und/oder greifbaren, Griffpositionen auf. In einer Ausführung weist das Ermitteln von Greif- Realdaten ferner ein Selektieren einer der ermittelten Griffpositionen auf. In einer Ausführung weist das Ermitteln von Greif-Realdaten ferner ein Greifen des Objekts, insbesondere mit einem bzw. dem Greifroboter auf, basierend auf der selektierten Griffposition. In einer Ausführung weist das Ermitteln von Greif-Realdaten ferner ein Speichern des Greiferfolgs zur selektierten Griffposition auf, insbesondere zur selektierten Griffposition am zu greifenden Objekt und zu einer Pose des zu greifenden Objekts, insbesondere auf einer Arbeitsfläche des Greif-Roboters.
In einer Ausführung weist das Ermitteln von Greif-Realdaten einen, insbesondere vorgelagerten, Schritt mit randomisiertem Platzieren eines bzw. des zu greifenden Objekts auf, insbesondere mit dem Greif-Roboter.
In einer Ausführung weist das Ermitteln von Greif-Realdaten ferner ein Wiederholen der zum Ermitteln von Greif-Realdaten hierin beschriebenen Verfahrensschritte auf.
In einer Ausführung wird das zu greifende Objekt vom Roboter, insbesondere nach dem Ermitteln von Greif-Realdaten, an eine zufällige Position gefahren, insbesondere an eine zufällige Position im Arbeitsbereich des Greif-Roboters, und anschließend fallen gelassen.
Hierdurch kann, in einigen Ausführungen, ermöglicht werden, dass das zu greifende Objekt in zufälligen Posen, insbesondere auf einer Arbeitsfläche des Roboters, landet. Entsprechend werden, in einigen Ausführungen, Griffpositionen ermittelt, die der zufälligen Pose des zu greifenden Objekts entsprechen.
Vorteilhafterweise kann hierdurch ferner, in einigen Ausführungen, eine, insbesondere nach Greiferfolg, vorsortierte Menge an Griffen für das Objekt erhalten werden.
In einer Ausführung der vorliegenden Erfindung wird ein Verfahren zum Optimieren eines Griff-Samplers bereitgestellt. Das Verfahren weist in einer Ausführung, zumindest im Wesentlichen, dieselben Schritte wie das Ermitteln von Greif-Realdaten auf, insbesondere mit einem Selektieren einer der ermittelten Greifpositionen basierend auf einer Selektions-Häufigkeit der Griffpositionen, wie hierin beschrieben. Vorteilhafterweise kann, in einer Ausführung, mittels der Ermittelten Greif-Realdaten ein Griff-Sampler optimiert werden, insbesondere schnell(er) ein Griff mit einem hohen bzw. höheren Greiferfolg, insbesondere vom Greif-Sampler ermittelt werden, weiter insbesondere basierend auf den ermittelten, insbesondere gespeicherten Greif- Realdaten.
In einer Ausführung basiert das Selektieren einer der ermittelten Griffpositionen, insbesondere beim Wiederholen der hierin beschriebenen Verfahrensschritte zum Ermitteln von Greif-Realdaten, auf einer Selektions-Häufigkeit der ermittelten Griffpositionen, insbesondere wird die ermittelte Griffposition mit der niedrigsten Selektions-Häufigkeit von den ermittelten Griffpositionen selektiert.
Hierdurch kann vorteilhafterweise eine vorsortierte Menge an Griffpositionen für ein zu greifendes Objekt, insbesondere schnell(er), erhalten werden.
In einer Ausführung weist das Ermitteln von Halte-Realdaten ein Ermitteln einer Halte- Griffposition, insbesondere an einem gegriffenen Objekt auf, wobei die Halte- Griffposition derart am zu greifenden Objekt und/oder am gegriffenen Objekt angeordnet ist, dass über die Halte-Griffposition eine Kraft auf das zu greifende und/oder auf das gegriffene Objekt ausgeübt werden kann, die entgegengesetzt zu wenigstens einer Kraft am zu greifenden Objekt und/oder am gegriffenen Objekt wirken kann bzw. wirkt, insbesondere entgegengesetzt zu einer Greifrichtung des Greif-Roboters. In einer Ausführung weist das Ermitteln von Halte-Realdaten ferner ein Greifen, insbesondere Halten, des Objekts an der ermittelten Halte-Griffposition auf, insbesondere durch einen vom Greif-Roboter verschiedenen Halte-Roboter. Dies kann in einer Ausführung ein Kompensieren der Gravitation, die auf das gegriffene Objekt wirkt, umfassen, insbesondere dann, wenn es sich bei dem Objekt um ein großes, im Vergleich zum Greifer oder Greifroboter, und/oder um ein schweres Objekt, insbesondere im Vergleich zur Maximalkraft des Greifroboters, handelt. In einer Ausführung weist das Ermitteln von Halte-Realdaten ferner ein Ausüben einer Kraft, insbesondere über die Halte-Griffposition, weiter insbesondere mittels des Halte-Roboters, auf das Objekt, insbesondere einer Kraft, die entgegengesetzt zu einer Kraft am gegriffenen Objekt wirkt, weiter insbesondere einer Kraft, die entgegengesetzt zu einer vom Greif-Roboter (nicht vom Halte-Roboter) auf das Objekt aufgeprägten Kraft wirkt, insbesondere entgegengesetzt zu einer Greifrichtung des Greif-Roboters. Hierdurch kann, in einer Ausführung, vorteilhafterweise ermöglicht werden, dass Parameterwerte für eine Simulation genau(er), insbesondere schnell(er), bestimmt bzw. ermittelt werden können bzw. werden. Vorteilhafterweise kann hierdurch, in einer Ausführung, ermöglicht werden, dass insbesondere rotatorische Kräfte, weiter insbesondere rotatorische Reibwerte, besser bestimmt werden können bzw. werden, als insbesondere ohne den Einsatz eines Halteroboters oder als nur basierend auf einer Simulationsumgebung.
In einer Ausführung weist das Ausüben der Kraft, insbesondere mittels des Halte- Roboters, ein sukzessives Erhöhen der Kraft mit vorbestimmten Schritten auf, insbesondere bis der Greif-Roboter das gegriffene Objekt verliert und/oder bis eine, insbesondere vorbestimmte, Maximalkraft überschritten wird bzw. ist. In einer Ausführung weist das Ausüben der Kraft eine (numerische) Messung der ausgeübten Kraft auf.
Hierdurch kann, in einer Ausführung, vorteilhafterweise ermöglicht werden, dass Parameter für eine Simulation genau(er), insbesondere schrittweise, ermittelt werden können bzw. werden. Ferner kann in einer Ausführung vorteilhafterweise ermöglicht werden, dass genau(er) bestimmt werden kann, bei welcher aufgebrachten Kraft der Griff verloren wurde.
In einer Ausführung weist das Ermitteln von Greif-Realdaten und/oder von Halte- Realdaten ein Aufnehmen des Objekts mittels einer Aufnahmevorrichtung auf. In einer Ausführung weist das Aufnehmen des Objekts ein Ermitteln einer Pose des Objekts, insbesondere über die Zeit, auf, weiter insbesondere eine Lokalisierung des gegriffenen Objekts, insbesondere im Greifer (englisch: „In-Hand-Localization“), und/oder eine Objektverfolgung (englisch: „tracking“) des Objekts, insbesondere solange es gegriffen ist.
In einer Ausführung kann, insbesondere durch das Aufnehmen des Objekts mit der Aufnahmevorrichtung, weiter insbesondere mittels tracking, eine Kostenfunktion in einer Ausführung auf c = Summe(Betrag(traj-sim - traj_real)), wobei sich traj_sim auf eine aufgenommene Trajektorie des Objekts in der Simulationsumgebung bezieht, insbesondere diese Trajektorie beschreibt, und wobei sich traj_real auf eine aufgenommene Trajektorie des Objekts in der Realität bezieht, insbesondere diese Trajektorie beschreibt, geändert bzw. diese Kostenfunktion für die Optimierung angewendet werden. In einer Ausführung kann, insbesondere durch das Aufnehmen des Objekts mit der Aufnahmevorrichtung, wenigstens eine Startposition des Objekts, insbesondere ein Start-Frame, und eine Endposition des Objekts, insbesondere ein End-Frame, für eine Kostenfunktion verwendet werden.
Hierdurch kann in einer Ausführung vorteilhafterweise ermöglicht werden, dass die Parameterschätzung für die Optimierung verbessert werden kann bzw. wird, insbesondere weil die Trajektorie des Objekts mehr Informationen beinhaltet als insbesondere eine Greiferfolgsvariable, die den Erfolg oder Misserfolg des Griffs angibt bzw. beschreibt.
In einer Ausführung kann, alternativ oder zusätzlich, über die Endposition des Halte- Roboters eine Bewegung des Objekts approximiert werden und insbesondere in die Kostenfunktion mit aufgenommen werden.
Hierdurch können, in einer Ausführung, vorteilhafterweise Informationen über den Greifvorgang gewonnen werden, die über den Informationsgehalt des Greiferfolgs hinausgehen, insbesondere eine verbesserte Kostenfunktion bieten können bzw. bieten.
In einer Ausführung der Erfindung wird ein Verfahren zum Steuern eines Greif- Roboters bereitgestellt. In einer Ausführung weist das Verfahren ein Ermitteln von Steuerdaten basierend auf den optimierten Parametern nach einer hierin beschriebenen Ausführung auf, insbesondere zum robotergestützten Greifen, weiter insbesondere für einen robotergestützten Greif-Vorgang. In einer Ausführung weist das Verfahren ein Steuern und/oder Bewegen des Greifroboters basierend auf den optimierten Steuerdaten auf.
Hierdurch kann in einer Ausführung ermöglicht werden, dass eine Bewegung und/oder Steuern des Roboters in einer Simulationsumgebung zuerst optimiert werden kann und dann auf den Roboter übertragen wird, insbesondere um ein zu greifendes Objekt besser und/oder schnell(er) zu greifen. Ferner kann hierdurch, in einer Ausführung, ermöglicht werden, dass der Griff, insbesondere eine Schließkraft der Greiferfinger oder dergleichen optimiert(er) verwendet werden kann bzw. wird. In einer Ausführung sind Ausführungen eines hierin beschriebenen Verfahrens auf Anwendungen mit mehreren Objekten, insbesondere Anwendungen mit mehreren zu greifenden Objekten in einem Behälter, anwendbar bzw. übertragbar, sofern technisch sinnvoll und/oder anwendbar. Insbesondere können, in einer Ausführung, die für freiliegende Objekte ermittelten Parameter auf einen Greifprozess mit mehreren Objekten in einem Behälter übertragen werden, insbesondere angewendet werden, weiter insbesondere anhand der optimierten Parameter Steuerdaten für einen Greifroboter ermittelt werden, der wenigstens ein Objekt aus mehreren, insbesondere in einem Behälter angeordneten, Objekten greifen soll bzw. greift.
In einer Ausführung der Erfindung wird ein System zum Betreiben und/oder Überwachen wenigstens eines Roboters bereitgestellt. In einer Ausführung weist das System einen Greif-Roboter auf und Mittel zum Ermitteln von mehreren, insbesondere kollisionsfreien und/oder greifbaren, Griffpositionen, insbesondere einen Griff-Sampler (englisch: „grasp sampler“). In einer Ausführung weist das System und/oder seine Mittel Mittel zum Selektieren einer der ermittelten Griffpositionen, insbesondere eine Verarbeitungseinheit, die dazu eingerichtet ist, eine der ermittelten Griffpositionen zu selektieren. In einer Ausführung weist das System und/oder seine Mittel Mittel zum Greifen des Objekts auf. In einer Ausführung weist das System und/oder seine Mittel Mittel zum Speichern des Greiferfolgs auf, insbesondere eine Verarbeitungseinheit und/oder insbesondere einen Speicher, insbesondere in Datenverbindung mit der Verarbeitungseinheit.
In einer Ausführung weist das System Mittel zum Ermitteln von Greif-Realdaten und/oder Mittel zum Ermitteln von Halte-Realdaten auf, insbesondere wenigstens einen Sensor, der eingerichtet ist, wenigstens einen für die Greif-Realdaten relevanten Parameter zu erfassen und/oder einen für die Halte-Realdaten relevanten Parameter zu erfassen. In einer Ausführung weist das System Mittel zum Simulieren, insbesondere zum Replizieren, von wenigstens einem Greif-Vorgang, insbesondere Griff, eines Greif-Roboters auf, in einer Simulationsumgebung. In einer Ausführung weist das System Mittel zum datenbasierten Optimieren von Parametern, insbesondere der Simulationsumgebung, auf, insbesondere eine bzw. die Verarbeitungseinheit. In einer Ausführung weist das System einen Greif-Roboter und einen Halte-Roboter auf. In einer Ausführung weist das System Mittel zum Ermitteln einer Halte- Griffposition auf, insbesondere eine bzw. die Verarbeitungseinheit. In einer Ausführung weist das System, insbesondere der Halte-Roboter, Mittel zum Greifen, insbesondere Halten, der Halte-Griffposition auf. In einer Ausführung weist das System, insbesondere der Halte-Roboter, Mittel zum Ausüben einer Kraft auf das Objekt auf.
In einer Ausführung weist das System eine Aufnahmevorrichtung auf. Eine Aufnahmevorrichtung, wie hierin beschrieben, umfasst besonders bevorzugt eine Aufnahmevorrichtung zum Aufnehmen von digitalen und/oder zweidimensionalen, insbesondere dreidimensionalen, Bildern, kann insbesondere wenigstens eine 2D- Kamera, 3D-Kamera und/oder wenigstens zwei räumlich voneinander beabstandete Kameras und/oder wenigstens einen Scannner, vorzugsweise zum dreidimensionalen Scannen, aufweisen. In einer Ausführung ist die Aufnahmevorrichtung dazu eingerichtet eine Punktewolke und/oder Farbinformation, vorzugsweise eine dreidimensionale Punktewolke, weiter insbesondere eine Punktewolke mit Farbinformation, insbesondere den Punkten der Punktewolke zugeordnet, aufzunehmen. Entsprechend wird insbesondere eine mithilfe einer Aufnahmevorrichtung aufgenommene dreidimensionale Punktewolke und/oder Farbinformation als (mithilfe der Aufnahmevorrichtung aufgenommenes) Frame bzw. Bild bezeichnet, welches allgemein in einer Ausführung ein dreidimensionales Bild und/oder ein Bild mit Farbinformation ist.
In einer Ausführung ist die Aufnahmevorrichtung wenigstens einem der Roboter angeordnet. In einer Ausführung ist die Aufnahmevorrichtung alternativ oder zusätzlich entfernt vom Roboter angeordnet, insbesondere derart, dass die Aufnahmevorrichtung ein zu greifendes Objekt und/oder ein gegriffenes Objekt aufnehmen, insbesondere tracken, kann bzw. aufnimmt, insbesondere trackt.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere den Roboter betreiben bzw. überwachen kann.
Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch die Steuerung bzw. ihr(e) Mittel.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : Ein System nach einer Ausführung der vorliegenden Erfindung;
Fig. 2: ein System nach einer alternativen bzw. zusätzlichen Ausführung; und Fig. 3: schematisch ein Blockdiagramm eines Verfahrens nach einer Ausführung.
Fig. 1 zeigt schematisch System 1 mit einen Greif-Roboter 2, der einen Greifer 3 zum Greifen von einem zu greifenden Objekt 5 aufweist. Das zu greifende Objekt 5 ist auf einer schematischen Arbeitsplatte 6 des Systems 1 dargestellt, wobei ein einzelnes zu greifendes Objekt 5 mit durchgezogenen Linien dargestellt ist. In einer Ausführung ist das System 1 für das Greifen von mehreren Objekten 5, 5‘ (gestrichelt dargestellt) in einem Behälter (nicht dargestellt) eingerichtet, insbesondere, um ein hierin beschriebenes Verfahren durchzuführen. Das System 1 kann in einer Ausführung eine Aufnahmevorrichtung 8 aufweisen, die, wie in Figur 1 gestrichelt dargestellt, nicht am Roboter 2 angeordnet ist. In einer Ausführung kann die Aufnahmevorrichtung am Roboter 2 angeordnet sein, insbesondere an einem Flansch des Roboters 2. Ferner weist das System in Figur 1 eine Verarbeitungseinheit 7 auf, die in Datenverbindung mit dem Roboter 2 steht und insbesondere dazu eingerichtet ist, den Roboter 2 zu steuern bzw. zu überwachen. Der Roboter 2 ist ferner dazu eingerichtet, das zu greifende Objekt 5 basierend auf einer ermittelten Griffposition zu greifen. Wird der Greifvorgang des Roboters 2 wiederholt und der Greiferfolg der Griffposition aufgezeichnet, können die Greiferfolge entsprechend der Griffposition und/oder der Pose, insbesondere Lage, des Objekts geordnet werden und insbesondere anhand dieser Aufzeichnung eine Sortierung der Griffpositionen nach Greiferfolg abgeleitet werden. Hierzu kann insbesondere jeweils die Griffposition gewählt werden, die (bisher) am wenigsten gegriffen wurde. Entsprechend lassen sich Daten, insbesondere zum Grifferfolg möglicher Griffpositionen, die insbesondere mittels Griff- Sampler ermittelt werden bzw. wurden, ermitteln und speichern. Diese Daten können insbesondere für eine Simulation des Systems 1 in einer Simulationsumgebung verwendet werden, wobei das System 1 in der Simulationsumgebung, zumindest im Wesentlichen, die Komponenten des realen Systems 1 aufweist. Somit lässt sich mittels der am realen System 1 gewonnen Daten eine Optimierung der Parameter in der Simulationsumgebung erreichen, insbesondere basierend auf den in der Realität ermittelten Daten, insbesondere Greif-Realdaten.
Fig. 2 zeigt schematisch ein System 1 mit einem Halte-Roboter 10. Ferner ist in Figur 2 ein Roboter 2 gezeigt, der ein zu greifendes Objekt 5 gegriffen hat. Figur 2 zeigt in gestrichelten Linien angedeutet, vergleichbar zu Figur 1 , eine Aufnahmevorrichtung 8 und ebenso eine Verarbeitungseinheit 7, die mit dem Roboter 2 und insbesondere mit dem Halte-Roboter 10 datenverbunden ist (ebenfalls in gestrichelten Linien dargestellt). Der Halte-Roboter 10 ist in Figur 2 derart gezeigt, dass dieser eine ermittelte Halte-Griffposition gegriffen hat und das vom Greif-Roboter bereits gegriffene Objekt in zur Greifrichtung des Greif-Roboters 2 entgegengesetzten Richtung hält. Der Halte-Roboter 10 kann dabei in Ausführungen, insbesondere bei schweren und/oder großen Objekten, die Schwerkraft kompensieren. In Figur 2 ist ferner durch Pfeile angedeutet, dass der Halte-Roboter 10 eine Kraft auf das Objekt 5 aufbringen kann, insbesondere sukzessive, die entgegen einer vom Roboter 2 ausgeübten Kraft wirkt. Eine derartige Kraft kann in Ausführungen rotatorisch (entgegengesetzt zur rotatorischen Kraft des Roboters 2) sein, und insbesondere solange sukzessive erhöht werden, bis der Roboter 2 das Objekt verliert bzw. fallen lässt. Aus der eingesetzten Maximalkraft können in Ausführungen Werte für die Parametrierung der Simulationsumgebung bzw. der Simulation des Griffs abgeleitet werden, insbesondere diese Werte in die Simulation übertragen werden. Dies ist in Figur 2 durch die Datenverbindungen in gestrichelten Linien zur Verarbeitungseinheit 7 angedeutet. Ferner kann das gegriffene Objekt 5 während des oben beschriebenen Vorgangs bzw. Verfahrens von einer Aufnahmevorrichtung 8 getrackt werden, insbesondere eine Trajektorie des Objekt aufgezeichnet werden, in Ausführungen insbesondere kontinuierlich und/oder in Zeitschritten. Die Aufnahmevorrichtung 8 kann, wie in Figur 2 durch die Strichelung angedeutet extern angebracht sein bzw. nicht an wenigstens einem der Roboter 2, 10 angeordnet sein, oder in Ausführungen an einem Flansch wenigstens eines Roboters 2, 10 angeordnet sein. Das in Figur 2 gezeigte System 1 kann dann in der Simulationsumgebung, zumindest im Wesentlich, gleich aufgebaut sein, so dass sich ein simulierter (gehaltener) Griff an einem Objekt dem Griff am Objekt in der Realität nachstellen lassen kann bzw. nachgestellt wird, insbesondere in Ausführungen so lange wiederholt wird, bis der simulierte Griff dem realen Griff, zumindest im Wesentlichen (bzw. in vorbestimmten Grenzen für eine Genauigkeit der Reproduktion) gleicht.
In Figur 3 ist schematisch ein Blockdiagramm eines Verfahrens 30. Das Verfahren weist einen Schritt S1 mit Ermitteln von Daten (in der Realität) auf. Dabei können Greif-Realdaten S10 ermittelt werden und/oder Halte-Realdaten S20 ermittelt werden. Das Ermitteln von Greif-Realdaten S10 umfasst insbesondere ein mit S12 dargestelltes Ermitteln von Griffpositionen am zu greifenden Objekt 5, wobei in Ausführungen dem ein Randomisiertes Platzieren des zu greifenden Objekts vorgeordnet sein kann bzw. ist. Ferner ist in Figur 3 ein Schritt mit Selektieren einer der ermittelten Griffpositionen S14 schematisch dargestellt. S16 in Figur 3 bezieht sich insbesondere auf ein Greifen des Objekts 5 basierend auf der in S14 selektierten Griffposition. S18 stellt schematisch ein Speichern des Greiferfolgs zur selektierten Griffposition, insbesondere in einer Datenbank bzw. einem Speicher dar. Diese Schritte können, wie insbesondere durch den gestrichelten Pfeil dargestellt, wiederholt werden. In Ausführungen können Greif-Realdaten auch eingeständig ermittelt werden und können bereits eine Optimierung, insbesondere allein auf den gespeicherten Daten zum Greiferfolg für eine Verbesserung bzw. Optimierung des Griff-Samplers verwendet werden.
Ferner ist in Figur 3 mit S20 ein Ermitteln von Halte-Realdaten schematisch dargestellt. Das Ermitteln von Halte-Realdaten S20 weist in der dargestellten Ausführung ein Ermitteln einer Halte-Griffposition S22 an einem von einem Greif- Roboter gegriffenen Objekt 5 auf. Wie zuvor in Figur 2 angedeutet, ist die Griffposition des Halte-Roboters 10 derart angeordnet, dass in einer Ausführung eine Kraft auf das Objekt eingebracht werden kann, die entgegengesetzt zu einer Kraft am Objekt 5 ist, die vom Greif-Roboter 2 aufgebracht wird bzw. ist. Ferner folgt, wie beispielhaft dargestellt, ein Greifen S24 an der ermittelten Halte-Griffposition durch insbesondere den Halte-Roboter 10. Hierauf folgt, wie beispielhaft in Figur 3 dargestellt, ein Ausüben einer Kraft S26, insbesondere auf das Objekt 5, in entgegengesetzter Richtung einer Kraft des Greif-Roboters 2 am Objekt 5 wirkt.
In Ausführungen kann das Ermitteln von Halte-Realdaten S20 an das Greifen des Objekts S16 oder das Speichern S18 des Ermittelns von Greif-Realdaten S10 anschließen, wie insbesondere durch den gestrichelten Pfeil zwischen S18 und S20 angedeutet.
Ferner ist in Figur 3 ein Simulieren S30 von wenigstens einem der vorangegangenen bzw. oben beschriebenen (realen) Greif-Vorgänge dargestellt. Beim Simulieren S30 wird in einer Ausführung versucht, den realen Greif-Vorgang, insbesondere möglichst nah, abzubilden, innerhalb einer Simulationsumgebung. Mit S32 ist in Figur 3 ein Optimieren der Parameter beispielhaft dargestellt. Das Optimieren S32 basiert auf den zuvor ermittelten Greif-Realdaten und/oder den ermittelten Halte-Realdaten. Ferner kann das Verfahren, wie gestrichelt dargestellt, einen Schritt mit Steuern, Bewegen und/oder Überwachen S40 eines Roboters, 2, 10 insbesondere beim Greifen, umfassen, basierend auf den ermittelten optimierten Parametern, die dafür in einer Ausführung in Steuerdaten für den Roboter 2, 10 übertragen werden. Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 System
2 Greif-Roboter
3 Greifer
5, 5‘ zu greifendes Objekt
6 Arbeitsfläche
7 Verarbeitungseinheit
8 Aufnahmevorrichtung
10 Halte-Roboter
30 Verfahren
S10 Ermitteln von Greif-Realdaten
S12 Ermitteln von Griffpositionen
S14 Selektieren einer ermittelten Griffposition
S16 Greifen des Objekts
S18 Speichern des Greiferfolgs
S20 Ermitteln von Halte-Realdaten
S22 Ermitteln einer Halte-Griffposition
S24 Greifen an der Halte-Griffposition
S26 Ausüben einer Kraft
S30 Simulieren
S32 Optimieren
S40 Steuern/Bewegen eines Roboters

Claims

Patentansprüche Verfahren (30) zum automatischen Optimieren von Parametern für einen robotergestützten Greif-Vorgang, umfassend
- Ermitteln von Greif-Realdaten (S10), wobei die Greif-Realdaten (S10) wenigstens einen Greiferfolg einer Griffposition an einem durch einen Greif- Roboter gegriffenen Objekt beschreiben; und/oder
- Ermitteln von Halte-Realdaten (S20), wobei die Halte-Realdaten (S20) wenigstens einen mit einem Greif-Vorgang, insbesondere Griff, in Verbindung stehenden Parameter, insbesondere eine Kraft am durch einen Greif-Roboter gegriffenen Objekt, beschreiben;
- Simulieren (S30), insbesondere Replizieren, von wenigstens einem Greif- Vorgang, insbesondere Griff, in einer Simulationsumgebung basierend auf dem den ermittelten Greif-Realdaten (S10) und/oder den ermittelten Halte- Realdaten (S20) zu Grunde liegenden Greif-Vorgang, insbesondere Griff;
- datenbasiertes Optimieren (S32) von Parametern, insbesondere Optimieren der Parameter basierend auf den ermittelten Greif-Realdaten (S10) und/oder basierend auf den ermittelten Halte-Realdaten (S20), zum Ermitteln von optimierten Parametern. Verfahren (30) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das datenbasierte Optimieren (S32) ein automatisches Anpassen der Parameter, insbesondere einer simulierten Masse, simulierter Dynamikparametern und/oder einer simulierten Kraft, insbesondere Reibung, aufweist. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das datenbasierte Optimieren (S32), insbesondere das Optimieren der Parameter auf einer Kostenfunktion von Greif-Realdaten (S10) und Greif-Simulationsdaten und/oder Halte-Realdaten (S20) und Halte- Simulationsdaten basiert, wobei die Greif-Simulationsdaten wenigstens einen simulierten Greifparameter, insbesondere einen Greiferfolg einer Griffposition in der Simulation, beschreiben und wobei die Halte-Simulationsdaten wenigstens einen simulierten Halteparameter, insbesondere eine Kraft des simulierten Griffs, beschreiben. 4. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Optimieren mittels einem gradientenfreien Optimierer durchgeführt wird.
5. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln von Greif-Realdaten (S10) aufweist:
- Randomisiertes Platzieren eines zu greifenden Objekts;
- Ermitteln (S12) von mehreren, insbesondere kollisionsfreien und/oder greifbaren, Griffpositionen an dem zu greifenden Objekt;
- Selektieren (S14) einer der ermittelten Griffpositionen;
- Greifen (S16) des Objekts, insbesondere mit einem Greif-Roboter, basierend auf der selektierten Griffposition;
- Speichern (S18) des Greiferfolgs zur selektierten Griffposition
- Wiederholen der Schritte, bis zu einem vorbestimmten Abbruchkriterium und/oder bis zu einer vorbestimmte Anzahl an Wiederholungen, insbesondere um Realitätsdaten, insbesondere eine, weiter insbesondere nach Greiferfolg, vorsortierte Menge an Griffen zu erhalten.
6. Verfahren (30) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Selektieren (S14) auf einer Selektions-Häufigkeit der ermittelten Griffpositionen basiert, und insbesondere die ermittelte Griffposition mit der niedrigsten Selektions-Häufigkeit selektiert wird.
7. Verfahren (30) nach einem der vorhergehenden Ansprüche 5 oder 6, dadurch gekennzeichnet, dass das randomisierte Platzieren von einem Greif-Roboter durchgeführt wird, insbesondere dass das Objekt vom Greif-Roboter an eine zufällige Position gefahren wird und anschließend fallen gelassen wird.
8. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln von Halte-Realdaten (S20) aufweist:
- Ermitteln einer Halte-Griffposition (S22), wobei die Halte-Griffposition derart am vom Greif-Roboter gegriffenen Objekt angeordnet ist, dass über die Halte- Griffposition eine Kraft auf das gegriffene Objekt ausgeübt werden kann, die entgegengesetzt zu einer Kraft am gegriffenen Objekt wirkt, insbesondere entgegengesetzt zu einer Greifrichtung des Greif-Roboters.
- Greifen (S24), insbesondere Halten, des Objekts an der ermittelten Halte- Griffposition;
- Ausüben einer Kraft (S26) auf das Objekt, die insbesondere entgegengesetzt zur Greifrichtung des Greif-Roboters wirkt. Verfahren (30) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Ausüben der Kraft ein sukzessives Erhöhen der Kraft mit vorbestimmten Schritten umfasst, insbesondere bis der Greif-Roboter das Objekt verliert und/oder eine Maximalkraft überschritten wird. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Ermitteln von Greif-Realdaten (S10) und/oder von Halte- Realdaten (S20) ein Aufnehmen des Objekts mittels einer Aufnahmevorrichtung umfasst, insbesondere ein Ermitteln einer Pose des Objekts, insbesondere über die Zeit. Verfahren (30) zum Steuern eines Roboters zum Durchführen eines robotergestützten Greif-Vorgangs, umfassend:
- Ermitteln von Steuerdaten basierend auf den optimierten Parametern nach einem der vorhergehenden Ansprüche 1 bis 10,
- Steuern und/oder Bewegen (S40) des Roboters basierend auf den optimierten Steuerdaten zur Durchführung eines robotergestützten Greif-Vorgangs. Verfahren (30) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelten optimierten Parameter auf eine Greif- Anwendung mit mehreren Objekten in einem Behälter übertragen wird, insbesondere angewendet wird. System (1) zum Betreiben und/oder Überwachen wenigstens eines Roboters, insbesondere eines Greif-Roboters, das zur Durchführung eines Verfahrens (30) nach einem der vorhergehenden Ansprüche eingerichtet ist. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System (1) nach Anspruch 13 den oder die Computer oder das System (1) dazu veranlassen, ein Verfahren (30) nach einem der Ansprüche 1 bis 12 durchzuführen.
EP23793796.6A 2022-11-16 2023-10-20 Anpassung einer greifsimulation durch parameteridentifikation in der realen welt Pending EP4619201A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022212198.8A DE102022212198B4 (de) 2022-11-16 2022-11-16 Anpassung einer Greifsimulation durch Parameteridentifikation in der realen Welt
PCT/EP2023/079212 WO2024104707A1 (de) 2022-11-16 2023-10-20 Anpassung einer greifsimulation durch parameteridentifikation in der realen welt

Publications (1)

Publication Number Publication Date
EP4619201A1 true EP4619201A1 (de) 2025-09-24

Family

ID=88511575

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23793796.6A Pending EP4619201A1 (de) 2022-11-16 2023-10-20 Anpassung einer greifsimulation durch parameteridentifikation in der realen welt

Country Status (4)

Country Link
EP (1) EP4619201A1 (de)
CN (1) CN120303088A (de)
DE (1) DE102022212198B4 (de)
WO (1) WO2024104707A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120941313B (zh) * 2025-10-16 2025-12-09 杭州临安制钳有限公司 一种基于视觉定位的水泵钳夹持辅助方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6457421B2 (ja) * 2016-04-04 2019-01-23 ファナック株式会社 シミュレーション結果を利用して学習を行う機械学習装置，機械システム，製造システムおよび機械学習方法
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
DE202018103922U1 (de) * 2018-07-09 2018-08-06 Schunk Gmbh & Co. Kg Spann- Und Greiftechnik Greifsystem als intelligentes Sensor-Aktor-System
DE102019121889B3 (de) * 2019-08-14 2020-11-19 Robominds GmbH Automatisierungssystem und Verfahren zur Handhabung von Produkten
US20210122045A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation In-hand object pose tracking
DE102020127508B4 (de) * 2019-10-24 2022-09-08 Nvidia Corporation Posenverfolgung von Objekten in der Hand
WO2021124445A1 (ja) * 2019-12-17 2021-06-24 三菱電機株式会社 情報処理装置、ワーク認識装置およびワーク取り出し装置
DE102020103852B4 (de) * 2020-02-14 2022-06-15 Franka Emika Gmbh Erzeugen und Optimieren eines Steuerprogramms für einen Robotermanipulator

Also Published As

Publication number Publication date
CN120303088A (zh) 2025-07-11
DE102022212198B4 (de) 2025-07-10
WO2024104707A1 (de) 2024-05-23
DE102022212198A1 (de) 2024-05-16

Similar Documents

Publication Publication Date Title
DE102018000730B4 (de) Werkstückaufnahmevorrichtung und Werkstückaufnahmeverfahren zum Verbessern des Aufnahmevorgangs eines Werkstücks
DE102018215057B4 (de) Maschinelles-Lernen-Vorrichtung, Robotersystem und maschinelles-Lernen-Verfahren
DE102016015936B4 (de) Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsysem zum Lernen eines Werkstückaufnahmevorgangs
DE102014108287B4 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102020209685B4 (de) Verfahren zum steuern einer robotervorrichtung und robotervorrichtungssteuerung
DE102015111080A1 (de) Robotervorrichtung mit maschinellem Sehen
DE102017108727B4 (de) Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
DE102019206444A1 (de) Maschinelles Lernen einer Objekterkennung mithilfe einer robotergeführten Kamera
DE102022203410B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE112018007729T5 (de) Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
DE102022212198B4 (de) Anpassung einer Greifsimulation durch Parameteridentifikation in der realen Welt
DE102018002423A1 (de) Robotersteuerung, Vorrichtung für maschinelles Lernen und Verfahren für maschinelles Lernen
DE112020006594B4 (de) Maschinenlernverfahren und Robotersystem
DE102023131746A1 (de) Erlernen einer menschlichen fähigkeit durch inverse reinforcement learning
DE102021209646A1 (de) Robotervorrichtung, Verfahren zum computerimplementierten Trainieren eines Roboter-Steuerungsmodells und Verfahren zum Steuern einer Robotervorrichtung
WO2023237323A1 (de) Erhöhung der greifrate
DE102021202759A1 (de) Vorrichtung und Verfahren zum Trainieren eines neuronalen Netzwerks zum Steuern eines Roboters
EP3760390A1 (de) Durchführen einer vorgegebenen aufgabe mithilfe wenigstens eines roboters
DE102022207847A1 (de) Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
EP3870406B1 (de) Verfahren zum erstellen eines objektmodells zum greifen eines objekts, computerlesbares speichermedium und robotersystem
EP4063081A1 (de) Verfahren zum ermitteln von steuerungsdaten für eine greifeinrichtung zum greifen eines gegenstands
DE102021211185A1 (de) Vorrichtung und Verfahren zum Steuern eines Roboters
DE102020206913A1 (de) Verfahren und Vorrichtung zum Betreiben eines Roboters
WO2024170236A1 (de) Verfahren und system zur verbesserung der grifferreichbarkeit
DE102019207410A1 (de) Verfahren und Vorrichtung für eine automatisierte Beeinflussung eines Aktuators

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250506

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_0013048_4619201/2025

Effective date: 20251112

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN