EP4662035A1 - Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen - Google Patents

Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen

Info

Publication number
EP4662035A1
EP4662035A1 EP23832998.1A EP23832998A EP4662035A1 EP 4662035 A1 EP4662035 A1 EP 4662035A1 EP 23832998 A EP23832998 A EP 23832998A EP 4662035 A1 EP4662035 A1 EP 4662035A1
Authority
EP
European Patent Office
Prior art keywords
robot
gripping
data
transfer
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23832998.1A
Other languages
English (en)
French (fr)
Inventor
Jonas SCHWINN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4662035A1 publication Critical patent/EP4662035A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1674—Program controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39514—Stability of grasped objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39528—Measuring, gripping force sensor build into hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled

Definitions

  • the present invention relates to a method for controlling and/or monitoring an attempt to transfer an object held by a robot from a receiving pose to a target pose and/or for determining a predicted result of the transfer attempt, as well as a system or computer program or computer program product for carrying out a method described here.
  • An object of an embodiment of the present invention is to improve a transfer of an object held by a robot from a receiving pose to a target pose and/or a prediction of a result of such a transfer attempt.
  • an attempt is made to move an object held by a robot from a receiving pose to a target pose using (a corresponding movement) of the robot, which is referred to herein as a transfer (attempt).
  • the robot has at least three, preferably at least six, in a further development at least seven, joints or (movement) axes, in one embodiment, a robot arm with at least three, preferably at least six, in a further development at least seven, joints or
  • the robot (arm) preferably has, preferably electric (motor) drives for adjusting the joints or (motion) axes and/or an end effector for temporarily or non-destructively releasable holding of objects, the present without restriction of generality as commonly known as Gripper, in one embodiment, has a mechanically acting, magnetically acting, preferably electromagnetically acting, and/or pneumatically acting or suction gripper, with which it grips the object held by the robot, in one embodiment, mechanically, preferably frictionally and/or positively, magnetically, preferably electromagnetically, and/or pneumatically or by means of negative pressure, or which is set up or used for this purpose.
  • an object held by a robot is an object gripped in this way by the robot (arm/gripper) and/or gripping of the object by the robot comprises a gripping, in one embodiment, mechanical, preferably frictionally and/or positively, magnetically, preferably electromagnetically, and/or pneumatically or by means of negative pressure, can in particular be such a gripping.
  • Activating the gripper in one embodiment comprises a closing movement of the gripper and/or causing an (electro)magnetic and/or negatively acting gripping. based holding force, can in particular consist of this.
  • the present invention is particularly advantageous due to the boundary conditions that exist there, in particular objects that are often difficult and/or unreliable to grip (robotically), rapid transfer movements of the robot or the like.
  • a pose in the sense of the present invention comprises, in one embodiment, a one-, two- or three-dimensional position and/or one-, two- or three-dimensional orientation.
  • a pose of an object in particular an object held by the robot, is in one embodiment a pose of the object relative to the robot, in a further development (in) its gripper, or relative to an environment.
  • a pose of a robot is determined in one embodiment by the position(s) of its joints or (motion) axes and/or the position and/or orientation of its gripper.
  • the receiving and/or target pose are, in particular, predetermined, in a further development before the transfer attempt is carried out.
  • Such a predicted result can be used particularly advantageously, in particular for controlling and/or monitoring the transfer attempt.
  • the transfer attempt (for which the result is predicted or the predicted result is determined) is controlled and/or monitored on the basis of the determined predicted result.
  • a method according to the invention comprises the step:
  • Providing in the sense of the present invention can in particular comprise, and in particular consist of, determining, in particular capturing, storing, sending and/or receiving, retrieving or loading (from a memory) and/or processing the gripping data.
  • controlling and/or monitoring the transfer attempt comprises terminating this attempt, in a further development, releasing the object (held by the robot) before reaching the target pose, in particular instead of further traversing a transfer trajectory of the robot specified for the transfer, in one embodiment
  • the chance of success of a further transfer attempt can be improved in one embodiment, in particular by setting down the object in a setting down pose in which it can subsequently be picked up well or better by the robot.
  • a transfer trajectory of the robot comprises a path of the robot, preferably of its gripper, and in a further development also a speed when traveling along this path.
  • a transfer attempt in the sense of the present invention comprises in one embodiment an attempt to travel along a or the transfer trajectory or path with the robot.
  • controlling and/or monitoring the transfer attempt includes initiating, in particular carrying out, a one- or multi-stage countermeasure, in a further development - changing the robot's hold of the object, preferably during the transfer attempt; and/or
  • a predicted problem in particular a predicted failure
  • the current transfer attempt in particular a predicted error or failed attempt
  • controlling and/or monitoring the transfer attempt comprises controlling a process dependent on the transfer, in particular a further Handling the object after the transfer. This can improve the transfer-dependent process in one implementation.
  • the predicted result is determined by processing the gripping data provided by means of data processing that is at least partially based on machine learning, in a further development by means of at least one machine-learned model or machine learning algorithm, which preferably links the gripping data and predicted results with one another or maps gripping data to predicted results, in one embodiment by means of at least one artificial neural network.
  • the artificial neural network has 2D convolutional layers, which is particularly advantageous for (data) processing gripping data that includes image data. Additionally or alternatively, in one embodiment, the artificial neural network has 1D convolutional layers, which is particularly advantageous for (data) processing gripping data that includes time series.
  • results of robot-assisted transfer attempts based on gripping data based on a gripping process of gripping an object by the robot can be predicted particularly well, in particular more precisely, reliably and/or for different and/or complex processes.
  • the method comprises the steps:
  • a gripping operation comprises gripping an object in the sense of the present invention
  • one or the gripper of the robot for gripping, in particular mechanically, preferably frictionally and/or positively, magnetically, preferably electromagnetically, and/or pneumatically or by means of negative pressure
  • gripper of the robot for gripping, in particular mechanically, preferably frictionally and/or positively, magnetically, preferably electromagnetically, and/or pneumatically or by means of negative pressure
  • grasping processes can provide parameter values that allow a more precise and/or reliable prognosis or prediction of an outcome, in particular success, of the transfer.
  • the gripping data and/or the learning data and/or the result data are determined using one or more robot-side or robot-fixed sensors, in a further development one or more drive sensors and/or one or more joint sensors and/or one or more gripper sensors.
  • Such sensors are often advantageously present for control and/or monitoring purposes.
  • such sensors can be used in a design to determine or provide useful data even when the robot is relocated and/or in confined environments.
  • the gripping data and/or the learning data and/or the result data are determined in one embodiment (each) with the aid of one or more (robot) external, in particular environmental, sensors, preferably by means of one or more 2D cameras and/or one or more 3D cameras.
  • Such sensors can often determine or provide particularly meaningful data that has not previously been used in robot-assisted gripping and transfer processes and/or allow (even) more precise and/or reliable prognoses or predictions of an outcome, in particular the success, of the transfer.
  • the gripping data and/or the learning data and/or the result data are determined in one embodiment (each) with the aid of at least one data model of the robot and/or at least one data model of the object, in a further development of a CAD data model or the like.
  • Such data models can, for example, enable or improve the determination of a pose of the object, in particular relative to the robot (gripper), in particular increase precision and/or reduce computational effort.
  • the gripping data and/or the learning data and/or the result data depend on forces, in a further development on driving forces and/or contact forces, and/or holding forces, and can in particular specify or describe these.
  • antiparallel force pairs or torques are generally referred to as forces.
  • the gripping data and/or the learning data and/or the result data (each) depend on poses of the robot and/or object, can indicate or describe these and/or temporal derivatives thereof, in particular speeds and/or accelerations of the robot or object.
  • the gripping data and/or the Learning data and/or the result data (respectively) images or image data of the robot and/or the object.
  • such force, pose or image data can allow a more precise and/or reliable prognosis or prediction of an outcome, in particular success, of the transfer.
  • the gripping data and/or the learning data depend on values that have been recorded during a gripping process of gripping an object by a robot, preferably with the aid of the one or more of the sensors, in one embodiment, in a particularly preferred development, on values that - preferably (each) with the aid of the one or more of the sensors,
  • a gripper of the robot for gripping, in particular mechanical, preferably frictional and/or positive, magnetic, preferably electromagnetic, and/or pneumatic or by means of negative pressure
  • a gripper of the robot for gripping, in particular mechanical, preferably frictional and/or positive, magnetic, preferably electromagnetic, and/or pneumatic or by means of negative pressure
  • a method according to the invention comprises the step of: providing gripping data based on a gripping process of gripping the object in the recording pose by the robot, which gripping data depend on values recorded during the gripping process, preferably with the aid of the or one or more of the sensors, in a further development also the step of: recording, preferably with the aid of the or one or more of the sensors, values during the gripping process and providing the gripping data based on these recorded values, with these values being particularly preferred
  • a gripper of the robot for gripping, in particular mechanical, preferably frictional and/or positive, magnetic, preferably electromagnetic, and/or pneumatic or by means of negative pressure
  • a gripper of the robot for gripping, in particular mechanical, preferably frictional and/or positive, magnetic, preferably electromagnetic, and/or pneumatic or by means of negative pressure
  • this embodiment is based on the knowledge that during a gripping process parameters, for example forces, scenes or the like, have values, for example force values, image data or the like, which allow a more precise and/or reliable prognosis or prediction of a result, in particular success, of the transfer, and the idea based on this is to record these parameter values and use them for prognosis or prediction.
  • This is particularly clear from forces recorded when contacting the object and/or activating the gripper and/or activated gripper, in particular drive and/or contact forces, which accordingly form particularly advantageous values or gripping data, without the invention being limited to this.
  • image or pose data and the like which occur in particular when contacting the object and/or activating the gripper and/or activated gripper, can also enable particularly good prognosis.
  • the predicted outcome is determined before or during the trans experiment. This allows a particularly advantageous response to the forecast in one embodiment.
  • the grasping data and/or learning data comprise (respectively) image data and/or time series.
  • such data may allow a more precise and/or reliable prognosis or prediction of an outcome, in particular the success, of the transfer.
  • the grasp data and/or learning data (respectively) comprise no image data and/or no time series.
  • this can improve machine learning or training (of data processing), in particular accelerate and/or simplify it.
  • the determined predicted result and/or the result data depend on a loss of the object during the transfer attempt, in particular a loss can lead to a prognosis or assessment as a worse or bad result.
  • a determined predicted result in the sense of the present invention can include, in particular be, a success of the transfer attempt.
  • the determined predicted result and/or the result data in one embodiment depend on a pose of the object at the end of the transfer attempt and/or a predetermined range of values, in particular a better or good result can be predicted or labeled if a deviation between the predicted or actual and a desired or target pose is within a predetermined tolerance range, or the determined predicted result indicates the deviation or the degree of deviation, in one embodiment in continuous form or in two or more stages discretized form.
  • a T(rainingst)transfer attempt can be evaluated or labeled as failed or bad if the object is no longer held by the robot after the T(rainingst)transfer journey, and evaluated or labeled as successful or good if the object is still held by the robot after the T(rainingst)transfer journey.
  • a T(rainingst)transfer attempt when training the data processing, can be evaluated or labeled according to how large a deviation is between a target pose and the achieved pose of the object after the T(rainingst)transfer trip, in one further development the smaller the deviation the better, in another further development as failed or bad as soon as the deviation is outside a predetermined tolerance range.
  • “(expected) successful” or “(expected) unsuccessful” (binary) or the (expected) deviation between the desired or target pose and the (expected) achieved pose of the object can be predicted as a result or determined as a predicted result, in particular as a deviation discretized in steps or in continuous, possibly scaled, form.
  • a system in particular hardware and/or software, in particular program technology, is set up to carry out a method described here and/or has one or preferably several of the following means:
  • a data processing means based at least partially on machine learning, in particular at least one artificial neural network, for determining the predicted result by processing the gripping data provided;
  • At least one external sensor for determining the gripping data, learning data and/or result data
  • a system and/or means in the sense of the present invention can be designed in terms of hardware and/or software, in particular at least one, preferably data- or signal-connected, particularly digital, processing unit, particularly microprocessor unit (CPU), graphics card (GPU) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to output output signals to a data bus.
  • a memory system can have one or more, particularly different, storage media, particularly optical, magnetic, solid-state and/or other non-volatile media.
  • the program can be designed in such a way that it embodies or is capable of carrying out the methods described here, so that the processing unit can carry out the steps of such methods and can thus control and/or monitor an attempt to transfer an object held by a robot from a recording pose to a target pose or determine a predicted result of the attempt.
  • a computer program product can have, in particular be, a storage medium, in particular a computer-readable and/or non-volatile one, for storing a program or instructions or with a program or instructions stored thereon.
  • execution of this program or these instructions by a system or a controller causes the system or the controller, in particular the computer or computers, to carry out a method described here or one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are fully or partially computer-implemented or one or more, in particular all, steps of the method are fully or partially automated, in particular by the system or its means.
  • the system comprises the robot. Further advantages and features emerge from the subclaims and the embodiments. This shows, partly schematically:
  • Fig. 1 a system according to an embodiment of the present invention.
  • Fig. 2 a method according to an embodiment of the present invention.
  • Fig. 1 shows a system according to an embodiment of the present invention with a robot 10, a data processing device 20 and cameras (sensors) 31, 32.
  • the robot 10 uses its gripper 11 to successively grasp one of the objects 41, 42, ... arranged in a container 40 and transports it to a storage area 400 or attempts to do so.
  • measurement values are initially recorded during a gripping process of gripping one of the objects by the robot 10 using the camera 31 and/or one or more robot-side sensors, of which a contact or contact force sensor 12 on the gripper 11 is indicated as a particularly advantageous example, and, if necessary after further processing such as filtering or the like, stored as learning data (Fig. 2: step S10). Additionally or alternatively, drive forces can also be recorded and, if necessary after further processing such as filtering or the like, stored as learning data.
  • the learning data is preferably based on (measurement) values, at least some of which have been or are recorded during approach and/or contact of the object with the gripper, during activation of the gripper and/or when the gripper is activated, in particular during a withdrawal movement of the robot from the pick-up pose to a start pose of a transfer trajectory or path.
  • a transfer (attempt) is carried out (Fig. 2: step S20) and its result is evaluated and stored as result data (Fig. 2: step S30), for example by means of the camera 32 and image processing, a deviation of the achieved from a desired target or target pose of the respective object at the end of the transfer is quantified and/or by means of the sensor 12 any loss of the object during the transfer (attempt) is recorded and the corresponding transfer (attempt) is evaluated accordingly as successful or unsuccessful or as success or failure.
  • step S40 the learning and result data thus obtained are used to train a data processing system based at least partially on machine learning, in the exemplary embodiment at least one artificial neural network 21.
  • gripping data are recorded during a gripping process of gripping one of the objects 41, 42, ... by the robot 10 (Fig. 2: step S50).
  • the data processing device 20 uses the trained artificial neural network 21 to determine a predicted result of a transfer attempt following this gripping process (Fig. 2: step S60).
  • the data processing device 20 controls and/or monitors the transfer attempt (Fig. 2: step S70).
  • step S50 it can drop an object grasped in step S50 in the middle of the container 40 or set it down in a pose that is (particularly) more suitable for grasping and then pick up one of the objects again, in one embodiment specifically this dropped object, and make a new transfer attempt if failure is predicted on the basis of the gripping data based on the gripping process of grasping the object in the pick-up pose by the robot.
  • the data processing device 20 can also increase a holding force for holding the object during the transfer attempt and/or change a grip.
  • a process dependent on the transfer for example a removal of the object after the transfer, can also be controlled on the basis of the determined predicted result.
  • Fig. 1 shows recording poses of the objects 41, 42 and 43, a target pose of the object 45 and a transfer trajectory or path of the object 44 held by the robot 10 or its gripper 11.
  • a separate training phase can be carried out beforehand with other objects and/or another robot, which are preferably similar to the objects whose transfer is subsequently to be controlled or monitored in an operational phase, or are similar to the robot gripper 11 used in this process, whereby the data processing or the artificial neural network 21 can advantageously also be further trained during this operational phase.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

Ein Verfahren umfasst den Schritt: Ermitteln (S60) eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter (10) gehaltenen Objekts (41, 42,..., 45) von einer Aufnahmepose zu einer Zielpose des Transferversuchs auf Basis von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten und wenigstens einen der beiden Schritte: Bereitstellen (S50) der Greifdaten und/oder Steuern und/oder Überwachen (S70) des Transferversuchs auf Basis des ermittelten prognostizierten Ergebnisses. Die Erfindung betrifft außerdem ein System bzw. Computerprogramm(produkt).

Description

Beschreibung
Transfer von durch Roboter gehaltenen Objekten von Aufnahmeposen zu Zielposen
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern und/oder Überwachen eines Versuchs eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose und/oder zum Ermitteln eines prognostizierten Ergebnisses des Transferversuchs sowie ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens.
Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, einen T ransfer eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose und/oder eine Prognose eines Ergebnisses eines solchen Transferversuchs zu verbessern.
Diese Aufgabe wird insbesondere durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. 4 gelöst. Ansprüche 12, 13 stellen ein System bzw.
Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung wird versucht, ein durch einen Roboter gehaltenes Objekt mithilfe (einer entsprechenden Bewegung) des Roboters von einer Aufnahmepose zu einer Zielpose zu bewegen, was vorliegend als Transfer(versuch) bezeichnet wird.
Der Roboter weist in einer Ausführung wenigstens drei, vorzugsweise wenigstens sechs, in einer Weiterbildung wenigstens sieben, Gelenke bzw. (Bewegungs)Achsen, in einer Ausführung einen Roboterarm mit wenigstens drei, vorzugsweise wenigstens sechs, in einer Weiterbildung wenigstens sieben, Gelenken bzw.
(Bewegungs)Achsen, auf, wobei der Roboter(arm) vorzugsweise, bevorzugt elektr(omotor)ische, Antriebe zum Verstellen der Gelenke bzw. (Bewegungs)Achsen und/oder einen Endeffektor zum temporären bzw. zerstörungsfrei lösbaren Halten von Objekten, der vorliegenden ohne Beschränkung der Allgemeinheit wie fachüblich als Greifer bezeichnet wird, in einer Ausführung einen mechanisch( wirkenden, magnetisch( wirkenden, vorzugsweise elektromagnetisch( wirkenden, und/oder pneumatisch( wirkenden bzw. Sauggreifer, aufweist, mit dem er das (jeweils dann) durch den Roboter gehaltene Objekt, in einer Ausführung mechanisch, vorzugsweise reib- und/oder formschlüssig, magnetisch, vorzugsweise elektromagnetisch, und/oder pneumatisch bzw. mittels Unterdrück, greift bzw. der hierzu eingerichtet ist bzw. verwendet wird. Entsprechend ist in einer Ausführung ein durch einen Roboter gehaltenes Objekt ein solcherart durch den Roboter(arm/-greifer) gegriffenes Objekt und/oder ein Greifen des Objekts durch den Roboter umfasst ein, in einer Ausführung mechanisches, vorzugsweise reib- und/oder formschlüssiges, magnetisches, vorzugsweise elektromagnetisches, und/oder pneumatisches bzw. mittels Unterdrück bewirktes, Greifen, kann insbesondere ein solches Greifen sein. Ein Aktivieren des Greifers umfasst in einer Ausführung eine Schließbewegung des Greifers und/oder ein Bewirken einer (elektro)magnetischen und/oder auf Unterdrück basierenden Haltekraft, kann insbesondere hieraus bestehen.
Für solche robotergestützten Greifvorgänge mit anschließendem Transfer ist die vorliegende Erfindung aufgrund der dabei vorliegenden Randbedingungen, insbesondere oftmals schwer und/oder unzuverlässig (robotisch) zu greifenden Objekten, raschen Transferbewegungen des Roboters oder dergleichen, besonders vorteilhaft.
Eine Pose im Sinne der vorliegenden Erfindung umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder ein-, zwei- oder dreidimensionale Orientierung. Eine Pose eines Objekts, insbesondere eines bzw. des durch den Roboter gehaltenen Objekts, ist in einer Ausführung eine Pose des Objekts relativ zu dem Roboter, in einer Weiterbildung (in) seinem Greifer, oder relativ zu einer Umgebung. Eine Pose eines Roboters ist in einer Ausführung durch die Stellung(en) seiner Gelenke bzw. (Bewegungs)Achsen und/oder die Position und/oder Orientierung seines Greifers bestimmt. In einer Ausführung sind, insbesondere werden, die Aufnahme- und/oder Zielpose vorgegeben, in einer Weiterbildung vor Durchführung des T ransferversuchs.
Nach einer Ausführung der vorliegenden Erfindung wird ein prognostiziertes bzw.
(rechentechnisch) vorhergesagtes Ergebnis des T ransferversuchs auf Basis bzw. in Abhängigkeit von Daten, die auf einem Vorgang eines, insbesondere tatsächlich versuchten und, vorzugsweise sensorisch erfassten, Greifens des Objekts (Greifvorgang) in der Aufnahmepose durch den Roboter basieren bzw. von diesem Greifvorgang abhängen und vorliegend entsprechend als Greifdaten bezeichnet werden, ermittelt.
Dem liegt die Erkenntnis, dass bei einem (Greif)Vorgang eines Greifens des Objekts verschiedene Parameter, beispielsweise Kräfte, Bilder oder dergleichen, Werte aufweisen, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten, und die darauf basierende Idee zugrunde, diese Parameterwerte zu erfassen und zur Prognose bzw. Vorhersage zu nutzen.
Ein solches prognostiziertes Ergebnis kann besonders vorteilhaft verwendet werden, insbesondere zum Steuern und/oder Überwachen des Transferversuchs.
Entsprechend wird nach einer Ausführung der vorliegenden Erfindung der T ransferversuch (für den das Ergebnis prognostiziert bzw. das prognostizierte Ergebnis ermittelt wird) auf Basis des ermittelten prognostizierten Ergebnisses gesteuert und/oder überwacht.
Somit umfasst nach einer Ausführung der vorliegenden Erfindung ein erfindungsgemäßes Verfahren den Schritt:
- Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines T ransfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose auf Basis von Greifdaten, welche auf einem (Greif) Vorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basieren; sowie den Schritt:
- Bereitstellen dieser (auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden) Greifdaten; und/oder den Schritt:
- Steuern und/oder Überwachen des Transferversuchs auf Basis des ermittelten prognostizierten Ergebnisses. Ein Bereitstellen im Sinne der vorliegenden Erfindung kann insbesondere ein Ermitteln, insbesondere Erfassen, ein Abspeichern, ein Senden und/oder Empfangen, ein Abrufen bzw. Laden (aus einem Speicher) und/oder ein Verarbeiten der Greifdaten umfassen, insbesondere hieraus bestehen.
In einer Ausführung umfasst das Steuern und/oder Überwachen des Transferversuchs einen Abbruch dieses Versuchs, in einer Weiterbildung ein Abgeben des (durch den Roboter gehaltenen) Objekts vor Erreichen der Zielpose, insbesondere anstelle eines weiteren Abfahrens einer für den Transfer vorgegebenen Transfertrajektorie des Roboters, in einer Ausführung
- ein Fallenlassen des Objekts durch den Roboter oder
- ein Absetzen des Objekts (durch den Roboter) in einer Absetzpose, die, in einer Ausführung auf Basis des ermittelten prognostizierten Ergebnisses, ermittelt ist, in einer Ausführung wird.
Durch einen solchen Abbruch des Transfer(versuch)s kann in einer Ausführung unnötige Arbeit des Roboters und dadurch insbesondere Energie und/oder (Prozess- bzw. Takt)Zeit eingespart werden.
Durch ein gezieltes Absetzen des Objekts in einer ermittelten Absetzpose kann in einer Ausführung (die Erfolgsaussicht) ein(es) erneuterAn Transferversuch(s) verbessert werden, insbesondere, indem das Objekt in einer vorteilhaften Weiterbildung in einer Absetzpose abgesetzt wird, in der es anschließend gut bzw. besser durch den Roboter aufgenommen werden kann.
Eine Transfertrajektorie des Roboters umfasst in einer Ausführung eine Bahn des Roboters, vorzugsweise seines Greifers, in einer Weiterbildung auch eine Geschwindigkeit beim Abfahren dieser Bahn. Ein Transferversuch im Sinne der vorliegenden Erfindung umfasst in einer Ausführung einen Versuch eines Abfahrens einer bzw. der T ransfertrajektorie bzw. -bahn mit dem Roboter.
Zusätzlich oder alternativ zu einem Abbruch des Transfer(versuch)s umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs ein( Einleiten, insbesondere Durchführen, ein)e(r) ein- oder mehrstufigen Gegenmaßnahme, in einer Weiterbildung - ein Ändern eines Haltens des Objekts durch den Roboter, vorzugsweise während des Transferversuchs; und/oder
- ein Ändern einer bzw. der vorgegebenen T ransfertrajektorie des Roboters für den T ransfer, vorzugsweise während des T ransferversuchs; in einer Weiterbildung
- ein Verändern, vorzugsweise wenigstens temporäres Erhöhen, einer Haltekraft, mit der der Roboter das Objekt hält; und/oder
- ein Verändern einer Pose des, vorzugsweise weiterhin gehaltenen, Objekts relativ zu dem Roboter, insbesondere seinem Greifer.
Zusätzlich oder alternativ umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs
- ein Ändern eines Haltens eines, insbesondere desselben, Objekts durch den Roboter bei einem weiteren, insbesondere erneuten, Transferversuch; und/oder
- ein Ändern einer bzw. der vorgegebenen T ransfertrajektorie des Roboters bei einem bzw. für einen weiteren, insbesondere erneuten, Transferversuch; in einer Weiterbildung
- ein Verändern, vorzugsweise Erhöhen, einer Haltekraft, mit der der Roboter das Objekt bei dem weiteren, insbesondere erneuten, Transferversuch hält; und/oder
- ein Verändern einer Pose des Objekts relativ zu dem Roboter, insbesondere seinem Greifer, bei dem weiteren, insbesondere erneuten, Transferversuch.
Hierdurch kann in einer Ausführung vorteilhaft auf ein prognostiziertes Problem, insbesondere einen prognostizierten Misserfolg, bei dem aktuellen Transversuch, insbesondere einen prognostizierten Fehler bzw. Fehlversuch, reagiert und/oder die Erfolgsaussicht des aktuellen und/oder nachfolgenden Transferversuchs verbessert werden, beispielsweise, indem der Roboter beim aktuellen oder nachfolgenden T ransferversuch umgreift und/oder fester zugreift oder dergleichen, und/oder indem der Roboter bei einem prognostizierten Problem eine geplante Bahn langsam(er) abfährt oder umplant oder dergleichen.
Zusätzlich oder alternativ umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs ein Steuern eines von dem, insbesondere durchgeführten, Transfer abhängigen Prozesses, insbesondere einer weiteren Handhabung des Objekts nach dem Transfer. Hierdurch kann in einer Ausführung dieser von dem Transfer abhängige Prozess verbessert werden.
In einer Ausführung wird das prognostizierte Ergebnis durch Verarbeiten der bereitgestellten Greifdaten mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, in einer Weiterbildung mittels wenigstens eines maschinell gelernten Modells bzw. Machine Learning Algorithmus, das bzw. der vorzugsweise die Greifdaten und prognostizierte Ergebnisse miteinander verknüpft bzw. Greifdaten auf prognostizierte Ergebnisse abbildet, in einer Ausführung mittels wenigstens einem Künstlichen Neuronalen Netzes, ermittelt. Das Künstliche Neuronale Netz weist in einer Ausführung 2D-convolutional layers auf, was insbesondere zur (Daten)Verarbeitung von Greifdaten vorteilhaft ist, die Bilddaten aufweisen. Zusätzlich oder alternativ weist das Künstliche Neuronale Netz in einer Ausführung 1 D-convolutional layers auf, was insbesondere zur (Daten)Verarbeitung von Greifdaten vorteilhaft ist, die Zeitreihen aufweisen.
Durch eine (solche) wenigstens teilweise maschinell gelernte bzw. auf maschinellem Lernen basierende Datenverarbeitung können Ergebnisse von robotergestützten Transferversuchen auf Basis von auf einem Greifvorgang eines Greifens eines Objekts durch den Roboter basierenden Greifdaten besonders gut, insbesondere präzise(r), zuverlässig(er) und/oder für verschiedene und/oder komplexe Prozesse, prognostiziert werden.
In einer Ausführung umfasst das Verfahren die Schritte:
- Bereitstellen
- von Lerndaten, die auf Greifvorgängen vom Greifen von Objekten durch einen, vorzugsweise den oder einen gleichartigen, Roboter basieren, und
- von Ergebnisdaten, insbesondere Labeln bzw. Bewertungen, die auf Versuchen von Transfers dieser Objekte durch diesen Roboter basieren, insbesondere auf einem, vorzugsweise automatisierten, Labeln bzw. Bewerten dieser Versuche; und
- Trainieren, insbesondere maschinelles, vorzugsweise überwachtes, Lernen bzw. Trainieren, der Datenverarbeitung auf Basis dieser Lerndaten und Ergebnisdaten. Hierdurch können Ergebnisse von robotergestützten T ransferversuchen auf Basis von auf einem Greifvorgang eines Greifens eines Objekts durch den Roboter basierenden Greifdaten besonders gut, insbesondere präzise(r), zuverlässig(er) und/oder für verschiedene und/oder komplexe Prozesse, prognostiziert werden.
In einer Ausführung umfasst ein Greifvorgang eines Greifens eines Objekts im Sinne der vorliegenden Erfindung
- ein Anfahren des Objekts mit dem Roboter und/oder
- ein Kontaktieren des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- ein Aktivieren eines bzw. des Greifers des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdrück bewirkten, Greifen) und/oder
- eine Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit gehaltenem Objekt, in einer Weiterbildung ein Anfahren einer Startpose einer bzw. der Transfertrajektorie bei aktiviertem Greifer.
Insbesondere solche Greifvorgänge können Parameterwerte liefern, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
In einer Ausführung sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) mithilfe eines oder mehrerer roboterseitiger bzw. -fester Sensoren ermittelt, in einer Weiterbildung eines oder mehrerer Antriebssensoren und/oder eines oder mehrerer Gelenksensoren und/oder eines oder mehrerer Greifersensoren.
Solche Sensoren sind häufig vorteilhaft ohnehin zum Steuern und/oder Überwachen vorhanden. Zusätzlich oder alternativ können mit solchen Sensoren in einer Ausführung auch bei einer Umplatzierung des Roboters und/oder in beengten Umgebungen vorteilhafte Daten ermittelt bzw. zur Verfügung gestellt werden. Zusätzlich oder alternativ sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten in einer Ausführung (jeweils) mithilfe eines oder mehrerer (roboter)externen, insbesondere umgebungsseitiger, Sensoren ermittelt, vorzugsweise mittels einer oder mehrerer 2D-Kameras und/oder einer oder mehrerer 3D-Kameras.
Durch solche Sensoren können häufig besonders aussagefähige Daten ermittelt bzw. zur Verfügung gestellt werden, die bislang bei robotergestützten Greif- und Transfervorgängen nicht genutzt wurden und/oder (noch) präzise(re) und/oder zuverlässige(re) Prognosen bzw. Vorhersagen eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
Zusätzlich oder alternativ sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten in einer Ausführung (jeweils) mithilfe wenigstens eines Datenmodells des Roboters und/oder wenigstens eines Datenmodells des Objekts ermittelt, in einer Weiterbildung eines CAD-Datenmodells oder dergleichen.
Solche Datenmodelle können beispielsweise eine Ermittlung einer Pose des Objekts, insbesondere relativ zum Roboter(greifer), ermöglichen bzw. verbessern, insbesondere eine Präzision erhöhen und/oder einen Rechenaufwand reduzieren.
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) von Kräften, in einer Weiterbildung von Antriebskräften und/oder Kontaktkräften, und/oder Haltekräften, ab, können diese insbesondere angeben bzw. beschreiben. Zur kompakteren Darstellung werden vorliegend antiparallele Kräftepaare bzw. Drehmomente verallgemeinernd als Kräfte bezeichnet.
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) von Posen des Roboters und/oder Objekts ab, können diese und/oder zeitliche Ableitungen hiervon, insbesondere also Geschwindigkeiten und/oder Beschleunigungen des Roboters bzw. Objekts, angeben bzw. beschreiben. In einer Weiterbildung weisen die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) Bilder bzw. Bilddaten von dem Roboter und/oder dem Objekt auf.
Insbesondere solche Kraft-, Posen- bzw. Bilddaten können eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten von Werten ab, die während eines bzw. des Greifvorgangs eines Greifens eines bzw. des Objekts durch einen bzw. den Roboter, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, erfasst worden sind, in einer Ausführung werden, in einer besonders bevorzugten Weiterbildung von Werten, die - vorzugsweise (jeweils) mithilfe des bzw. eines oder mehrerer der Sensoren,
- während eines bzw. des Anfahrens des Objekts bzw. der Aufnahmepose mit dem Roboter und/oder
- während eines bzw. des Kontaktierens des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- während eines bzw. des Aktivierens eines bzw. des Greifers, des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdrück bewirkten, Greifen) und/oder
- bei einem bzw. dem (zum Halten des Objekts) aktivierten Greifer und/oder
- während einer bzw. der Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit (gegebenenfalls) gehaltenem Objekt, in einer Weiterbildung während eines bzw. des Anfahrens einer Startpose einer bzw. der T ransfertrajektorie, erfasst worden sind, in einer Ausführung werden.
Entsprechend umfasst in einer Ausführung ein erfindungsgemäßes Verfahren den Schritt: Bereitstellen von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten, die von während des Greifvorgangs, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, erfassten Werten abhängen, in einer Weiterbildung auch den Schritt: Erfassen, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, von Werten während des Greifvorgangs und Bereitstellen der Greifdaten basierend auf diesen erfassten Werten, wobei diese Werte besonders bevorzugt
- während eines bzw. des Anfahrens des Objekts bzw. der Aufnahmepose mit dem Roboter und/oder
- während eines bzw. des Kontaktierens des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- während eines bzw. des Aktivierens eines bzw. des Greifers, des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdrück bewirkten, Greifen) und/oder
- bei einem bzw. dem (zum Halten des Objekts) aktivierten Greifer und/oder
- während einer bzw. der Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit (gegebenenfalls) gehaltenem Objekt, in einer Weiterbildung während eines bzw. des Anfahrens einer Startpose einer bzw. der T ransfertrajektorie, erfasst worden sind, in einer Ausführung werden.
We erläutert liegt dieser Ausführung die Erkenntnis zugrunde, dass bei einem Greifvorgang Parameter, beispielsweise Kräfte, Szenen oder dergleichen, Werte, beispielsweise Kraftwerte, Bilddaten oder dergleichen, aufweisen, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten, und die darauf basierende Idee zugrunde, diese Parameterwerte zu erfassen und zur Prognose bzw. Vorhersage zu nutzen. Dies wird besonders deutlich anhand von beim Kontaktieren des Objekts und/oder Aktivieren des Greifers und/oder aktiviertem Greifer erfassten Kräften, insbesondere Antriebs- und/oder Kontaktkräften, die entsprechend besonders vorteilhafte Werte bzw. Greifdaten bilden, ohne dass die Erfindung hierauf beschränkt ist. Gleichermaßen können insbesondere auch Bild- bzw. Posendaten und dergleichen, die insbesondere beim Kontaktieren des Objekts und/oder Aktivieren des Greifers und/oder aktiviertem Greifer auftreten, besonders gute Prognosen ermöglichen.
Zusätzlich oder alternativ wird in einer Ausführung das prognostizierte Ergebnis vor oder während des Transversuchs ermittelt. Hierdurch kann in einer Ausführung besonders vorteilhaft auf die Prognose reagiert werden.
In einer Ausführung weisen die Greifdaten und/oder Lerndaten (jeweils) Bilddaten und/oder Zeitreihen auf.
Insbesondere solche Daten können eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des T ransfers gestatten.
In einer Ausführung weisen die Greifdaten und/oder Lerndaten (jeweils) keine Bilddaten und/oder keine Zeitreihen auf.
Dadurch kann in einer Ausführung das maschinelle Lernen bzw. Trainieren (der Datenverarbeitung) verbessert, insbesondere beschleunigt und/oder vereinfacht, werden.
In einer Ausführung hängen das ermittelte prognostizierte Ergebnis und/oder die Ergebnisdaten von einem Verlust des Objekts während des Transferversuchs ab, insbesondere kann ein Verlust zu einer Prognose bzw. Bewertung als schlechteres bzw. schlechtes Ergebnis führen. Allgemein kann ein ermitteltes prognostiziertes Ergebnis im Sinne der vorliegenden Erfindung insbesondere ein(en) Erfolg des Transferversuchs umfassen, insbesondere sein.
Zusätzlich oder alternativ hängen das ermittelte prognostizierte Ergebnis und/oder die Ergebnisdaten in einer Ausführung von einer Pose des Objekts am Ende des Transferversuchs und/oder einem vorgegebenen Wertebereich ab, insbesondere kann ein besseres bzw. gutes Ergebnis prognostiziert bzw. gelabelt werden, wenn eine Abweichung zwischen der prognostizierten bzw. tatsächlichen und einer Soll- bzw. (der) Ziel-Pose innerhalb eines vorgegebenen Toleranzbereichs liegt, oder das ermittelte prognostizierte Ergebnis die Abweichung bzw. den Grad der Abweichung angeben, in einer Ausführung in kontinuierlicher oder in zwei oder mehr Stufen diskretisierter Form. Somit kann in einer vorteilhaften, insbesondere einfachen, Ausführung beim Trainieren der Datenverarbeitung ein T(rainingst)ransferversuch als gescheitert bzw. schlecht bewertet bzw. gelabelt werden, wenn das Objekt nach der T(rainingst)ransferfahrt nicht (mehr) vom Roboter gehalten wird bzw. ist, und als erfolgreich bzw. gut bewertet bzw. gelabelt werden, wenn das Objekt nach der T(rainingst)ransferfahrt (noch) vom Roboter gehalten wird bzw. ist.
Allgemein kann in einer Ausführung (binär): „(voraussichtlich) erfolgreich“ bzw. „(voraussichtlich) nicht erfolgreich“ als Ergebnis prognostiziert bzw. als prognostiziertes Ergebnis ermittelt werden.
In einer anderen, ebenfalls besonders vorteilhaften Ausführung kann beispielsweise beim Trainieren der Datenverarbeitung ein T(rainingst)ransferversuch danach bewertet bzw. gelabelt werden, wie groß eine Abweichung zwischen einer Soll- bzw. (der) Ziel-Pose und der erreichten Pose des Objekt nach der T(rainingst)ransferfahrt ist, in einer Weiterbildung umso besser, je geringer die Abweichung ist, in einer anderen Weiterbildung als gescheitert bzw. schlecht, sobald die Abweichung außerhalb eines vorgegebenen Toleranzbereichs liegt.
Entsprechend kann hier beispielsweise ebenfalls (binär) „(voraussichtlich) erfolgreich“ bzw. „(voraussichtlich) nicht erfolgreich“ oder auch die (voraussichtliche) Abweichung zwischen Soll- bzw. Ziel-Pose und (voraussichtlich) erreichter Pose des Objekts als Ergebnis prognostiziert bzw. als prognostiziertes Ergebnis ermittelt werden, insbesondere als in Stufen diskretisierte Abweichung oder in kontinuierlicher, gegebenenfalls skalierter, Form.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist eines oder vorzugsweise mehrere der folgenden Mittel auf:
- Mittel zum Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose (Transferversuch) auf Basis von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten; - Mittel zum Steuern und/oder Überwachen des T ransferversuchs auf Basis des ermittelten prognostizierten Ergebnisses, insbesondere
- Mittel zum Abbrechen des Versuchs, in einer Ausführung Abgeben des Objekts vor Erreichen der Zielpose, in einer Weiterbildung Absetzen des Objekts in einer ermittelten Absetzpose;
- Mittel zum Einleiten, insbesondere Durchführen, einer Gegenmaßnahme, insbesondere zum Ändern eines Haltens des Objekts durch den Roboter und/oder einer vorgegebenen Transfertrajektorie des Roboters für den Transfer; und/oder
- Mittel zum Ändern eines Haltens eines Objekts durch den Roboter und/oder einer vorgegebenen Transfertrajektorie des Roboters bei einem weiteren Transferversuch; und/oder
- Mittel zum Steuern eines von dem Transfer abhängigen Prozesses, insbesondere einer weiteren Handhabung des Objekts nach dem Transfer;
- Mittel zum Bereitstellen der Greifdaten;
- ein(e) wenigstens teilweise auf maschinellem Lernen basierende(s) Datenverarbeitung(smittel), insbesondere wenigstens ein Künstliches Neuronales Netz, zum Ermitteln des prognostizierten Ergebnisses durch Verarbeiten der bereitgestellten Greifdaten;
- Mittel zum Bereitstellen von auf Greifvorgängen vom Greifen von Objekten durch einen Roboter basierenden Lerndaten und von auf Versuchen von T ransfers dieser Objekte durch den Roboter basierenden Ergebnisdaten;
- Mittel zum T rainieren der/-s Datenverarbeitung(smittels) auf Basis dieser Lerndaten und Ergebnisdaten;
- wenigstens einen roboterseitigen Sensor zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- wenigstens einen externen Sensor zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- wenigstens ein Datenmodell des Roboters und/oder Objekts zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- Mittel zum Bereitstellen von während eines Greifvorgangs eines Greifens eines Objekts durch einen Roboter erfassten Werten zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten, insbesondere Mittel zum Erfassen dieser Werte. Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit einen Versuch eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose steuern und/oder überwachen bzw. ein prognostiziertes Ergebnis des Versuchs ermitteln kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung sind ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise computerimplementiert bzw. werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
In einer Ausführung weist das System den Roboter auf. Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System nach einer Ausführung der vorliegenden Erfindung; und
Fig. 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System nach einer Ausführung der vorliegenden Erfindung mit einem Roboter 10, einer Datenverarbeitungseinrichtung 20 und Kameras(ensoren) 31 , 32.
Der Roboter 10 greift mit seinem Greifer 11 nacheinander jeweils eines der in einem Behälter 40 angeordneten Objekte 41 , 42, ... und transportiert es zu einer Ablagefläche 400 bzw. versucht dieses.
Während einer Trainingsphase werden zunächst jeweils während eines Greifvorgangs eines Greifens eines der Objekte durch den Roboter 10 mithilfe der Kamera 31 und/oder eines oder mehrerer roboterseitiger Sensoren, zu denen als besonders vorteilhaftes Beispiel exemplarisch ein Kontakt- oder Kontaktkraftsensor 12 am Greifer 11 angedeutet ist, Messwerte erfasst und, gegebenenfalls nach Weiterverarbeitung wie beispielsweise Filterung oder dergleichen, als Lerndaten abgespeichert (Fig. 2: Schritt S10). Zusätzlich oder alternativ können insbesondere auch Antriebskräfte erfasst und, gegebenenfalls nach Weiterverarbeitung wie beispielsweise Filterung oder dergleichen, als Lerndaten abgespeichert werden. Vorzugsweise basieren die Lerndaten auf (Mess)Werten, von denen wenigstens einige während eines Anfahrens und/oder Kontaktierens des Objekts mit dem Greifer, während eines Aktivierens des Greifers und/oder bei aktiviertem Greifer, insbesondere während einer Rückzugbewegung des Roboters von der Aufnahmepose zu einer Startpose einer Transfertrajektorie bzw. -bahn, erfasst worden sind bzw. werden.
Nach diesem Greifvorgang wird jeweils ein Transfer(versuch) durchgeführt (Fig. 2: Schritt S20) und dessen Ergebnis bewertet und dies als Ergebnisdaten gespeichert (Fig. 2: Schritt S30), beispielsweise mittels der Kamera 32 und einer Bildverarbeitung eine Abweichung der erreichten von einer gewünschten Soll- bzw. Ziel-Pose des jeweiligen Objekts am Ende des Transfers quantifiziert und/oder mittels des Sensors 12 ein eventueller Verlust des Objekts während des Transfer(versuch)s erfasst und der entsprechende Transfer(versuch) dementsprechend als erfolgreich oder -los bzw. als Erfolg oder Misserfolg bewertet.
Mit den so gewonnenen Lern- und Ergebnisdaten wird in einem Schritt S40 eine wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung, im Ausführungsbeispiel wenigstens ein Künstliches Neuronales Netz 21 , trainiert.
Anschließend werden in einer operativen Phase analog zu den Lerndaten während eines Greifvorgangs eines Greifens eines der Objekte 41 , 42, ... durch den Roboter 10 Greifdaten erfasst (Fig. 2: Schritt S50).
Dann ermittelt die Datenverarbeitungseinrichtung 20 mithilfe des trainierten Künstliches Neuronales Netzes 21 ein prognostiziertes Ergebnis eines sich an diesen Greifvorgang anschließenden Transferversuchs (Fig. 2: Schritt S60).
Auf Basis dieses prognostizierten Ergebnisses steuert und/oder überwacht die Datenverarbeitungseinrichtung 20 den Transferversuch (Fig. 2: Schritt S70).
Beispielsweise kann sie ein in Schritt S50 gegriffenes Objekt in der Mitte des Behälters 40 fallenlassen oder in einer zum Greifen (besonders) geeigneteren Pose absetzen und dann erneut eines der Objekte, in einer Ausführung gezielt dieses abgesetzte Objekt, aufnehmen und einen erneuten Transferversuch unternehmen, wenn auf Basis der beim Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten ein Misserfolg prognostiziert wird. Gleichermaßen kann die Datenverarbeitungseinrichtung 20 in Schritt S70 auch eine Haltekraft zum Halten des Objekts während des Transferversuchs erhöhen und/oder einen Griff ändern. Zusätzlich oder alternativ kann in Schritt S70 auch ein von dem Transfer abhängiger Prozess, beispielsweise ein Abtransport des Objekts nach dem Transfer, auf Basis des ermittelten prognostizierten Ergebnisses gesteuert werden.
Exemplarisch zeigt Fig. 1 Aufnahmeposen der Objekte 41 , 42 und 43, eine Zielpose des Objekts 45 sowie eine Transfertrajektorie bzw. -bahn des durch den Roboter 10 bzw. seinen Greifer 11 gehaltenen Objekts 44. Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So wurde zur kompakteren Darstellung das Trainieren der Datenverarbeitung bzw. des Künstlichen Neuronalen Netzes 21 und das anschließende Steuern bzw. Überwachen anhand desselben Behälters 40 mit Objekten 41 , 42, ... erläutert. Bevorzugt kann vorab eine eigene Trainingsphase mit anderen Objekten und/oder einem anderen Roboter durchgeführt werden, die vorzugsweise zu den Objekten deren Transfer anschließend in einer operativen Phase gesteuert bzw. überwacht werden soll, bzw. dem dabei verwendeten Robotergreifer 11 gleichartig sind, wobei die Datenverarbeitung bzw. das Künstliche Neuronale Netz 21 vorteilhaft auch während dieser operativen Phase weiter trainiert werden kann.
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
10 Roboter
11 Greifer
12 Sensor 20 Datenverarbeitungseinrichtung
21 Künstliches Neuronales Netz (Datenverarbeitungseinrichtung)
31 , 32 Kamera(sensor)
40 Behälter
41 - 45 Objekte 400 Ablagefläche

Claims

Patentansprüche
1. Verfahren zum Steuern und/oder Überwachen eines Versuchs eines T ransfers eines durch einen Roboter (10) gehaltenen Objekts (41 , 42, ... , 45) von einer Aufnahmepose zu einer Zielpose, wobei das Verfahren die Schritte aufweist:
- Ermitteln (S60) eines prognostizierten Ergebnisses des Transferversuchs auf Basis von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten; und
- Steuern und/oder Überwachen (S70) des Transferversuchs auf Basis des ermittelten prognostizierten Ergebnisses.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Steuern und/oder Überwachen des T ransferversuchs
- einen Abbruch des Versuchs, insbesondere ein Abgeben des Objekts vor Erreichen der Zielpose, insbesondere ein Absetzen des Objekts in einer ermittelten Absetzpose;
- eine Gegenmaßnahme, insbesondere ein Ändern eines Haltens des Objekts durch den Roboter und/oder einer vorgegebenen T ransfertrajektorie des Roboters für den Transfer; und/oder
- ein Ändern eines Haltens eines Objekts durch den Roboter und/oder einer vorgegebenen T ransfertrajektorie des Roboters bei einem weiteren Transferversuch; und/oder
- ein Steuern eines von dem Transfer abhängigen Prozesses, insbesondere einer weiteren Handhabung des Objekts nach dem T ransfer umfasst.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ein Bereitstellen der Greifdaten (S50) umfasst und/oder das prognostizierte Ergebnis nach einem der nachfolgenden Ansprüche ermittelt ist.
4. Verfahren zum Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter (10) gegriffenen Objekts (41 , 42, ... , 45) von einer Aufnahmepose zu einer Zielpose, wobei das Verfahren die Schritte aufweist:
- Bereitstellen (S50) von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten; und Ermitteln (S60) eines prognostizierten Ergebnisses des Transferversuchs auf Basis der bereitgestellten Greifdaten.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das prognostizierte Ergebnis durch Verarbeiten der bereitgestellten Greifdaten mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, insbesondere mittels wenigstens eines Künstlichen Neuronalen Netzes (21), ermittelt wird.
6. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch die Schritte:
- Bereitstellen (S10) von auf Greifvorgängen zum Greifen von Objekten durch einen Roboter basierenden Lerndaten und von auf Versuchen von Transfers dieser Objekte durch den Roboter basierenden Ergebnisdaten (S30); und
- T rainieren (S40) der Datenverarbeitung auf Basis dieser Lerndaten und Ergebnisdaten.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Greifvorgang eines Greifens eines Objekts ein Anfahren und/oder Kontaktieren des Objekts mit dem Roboter und/oder ein Aktivieren eines Greifers des Roboters und/oder eine Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers, insbesondere ein Anfahren einer Startpose einer Transfertrajektorie, umfasst.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Greifdaten, Lerndaten und/oder Ergebnisdaten mithilfe
- wenigstens eines roboterseitigen Sensors (12),
- wenigstens eines externen Sensors (31 , 32), und/oder
- wenigstens eines Datenmodells des Roboters und/oder Objekts ermittelt sind und/oder von
- Kräften, insbesondere Antriebs-, Kontakt- und/oder Haltekräften, und/oder
- Posen des Roboters und/oder Objekts abhängen; und/oder dass die Greifdaten und/oder Lerndaten von während eines Greifvorgangs eines Greifens eines Objekts durch einen Roboter erfassten Werten abhängen; und/oder dass das prognostizierte Ergebnis vor oder während des Transversuchs ermittelt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Greifdaten und/oder Lerndaten Bilddaten und/oder Zeitreihen aufweisen.
10. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Greifdaten und/oder Lerndaten keine Bilddaten und/oder keine Zeitreihen aufweisen.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das ermittelte prognostizierte Ergebnis und/oder die Ergebnisdaten von einem Verlust des Objekts während des Transferversuchs und/oder einer Pose des Objekts am Ende des Transferversuchs und/oder einem vorgegebenen Wertebereich abhängen.
12. System, das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder
- Mittel zum Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter (10) gehaltenen Objekts (41 , 42, ... , 45) von einer Aufnahmepose zu einer Zielpose auf Basis von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten; sowie
- Mittel zum Bereitstellen der Greifdaten und/oder Mittel zum Steuern und/oder Überwachen des T ransferversuchs auf Basis des ermittelten prognostizierten Ergebnisses aufweist.
13. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 12 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
EP23832998.1A 2023-02-08 2023-12-13 Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen Pending EP4662035A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023201031.3A DE102023201031A1 (de) 2023-02-08 2023-02-08 Transfer von durch Roboter gehaltenen Objekten von Aufnahmeposen zu Zielposen
PCT/EP2023/085477 WO2024165214A1 (de) 2023-02-08 2023-12-13 Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen

Publications (1)

Publication Number Publication Date
EP4662035A1 true EP4662035A1 (de) 2025-12-17

Family

ID=89428709

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23832998.1A Pending EP4662035A1 (de) 2023-02-08 2023-12-13 Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen

Country Status (4)

Country Link
EP (1) EP4662035A1 (de)
CN (1) CN120659696A (de)
DE (1) DE102023201031A1 (de)
WO (1) WO2024165214A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017002354B4 (de) * 2017-03-10 2022-04-07 Swisslog Ag Transportieren von Objekten, insbesondere Kommissionieren von Waren, mithilfe eines Roboters
DE112017007394B4 (de) * 2017-04-04 2020-12-03 Mujin, Inc. Informationsverarbeitungsvorrichtung, Greifsystem, Verteilersystem, Programm und Informationsverarbeitungsverfahren
US11213953B2 (en) * 2019-07-26 2022-01-04 Google Llc Efficient robot control based on inputs from remote client devices
WO2021124445A1 (ja) * 2019-12-17 2021-06-24 三菱電機株式会社 情報処理装置、ワーク認識装置およびワーク取り出し装置
US20230125022A1 (en) * 2020-03-05 2023-04-20 Fanuc Corporation Picking system and method
DE102020214633A1 (de) * 2020-11-20 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102021202340A1 (de) * 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung

Also Published As

Publication number Publication date
WO2024165214A1 (de) 2024-08-15
DE102023201031A1 (de) 2024-08-08
CN120659696A (zh) 2025-09-16

Similar Documents

Publication Publication Date Title
DE112016002013B4 (de) Systeme und Verfahren zur Steuerung einer Robotermanipulation
EP3966731B1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102010053002B4 (de) Systeme und Verfahren, die der Handhabung eines Ojekts mit einem Greifer zugeordnet sind
DE102018112360B3 (de) Bereichsabhängige Kollisionsdetektion für einen Robotermanipulator
DE102019205651B3 (de) Verfahren und System zum Ausführen von Roboterapplikationen
DE102014202145A1 (de) Verfahren zum Programmieren eines Industrieroboters und zugehörigerIndustrieroboter
DE102012213188B4 (de) Verfahren und System zum Steuern einer Ausführungssequenz eines geschickten Roboters unter Verwendung einer Zustandsklassifizierung
DE112018007729B4 (de) Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
DE102017012348B3 (de) Mit einer Formungsmaschine und einer Formproduktentnahmevorrichtung versehenes Formungssystem
DE102018112370B4 (de) Richtungsabhängige Kollisionsdetektion für einen Robotermanipulator
DE102023210564B3 (de) Verlaufskurvenbahnplanung und -management für roboterarmbewegungen
DE102020107385B4 (de) Betriebseinstellvorrichtung zum einstellen des betriebs einer robotervorrichtung
DE102020003517A1 (de) Überwachungsvorrichtung, die mit einer Kamera zum Erfassen eines bewegten Bildes einer Bewegung der Robotervorrichtung ausgestattet ist
DE102018205669B4 (de) Aufnehmen von Nutzlasten mittels eines robotergeführten Werkzeugs
DE102023206009B3 (de) Verfahren und System zum Trainieren einer wenigstes teilweise auf maschinellem Lernen basierenden Datenverarbeitung zum Prognostizieren von Roboter-Zielposen und/oder zum Betreiben eines Roboters
WO2019201873A1 (de) Verfahren zur erkennung einer intention eines partners gegenüber einer mehrgliedrigen aktuierten kinematik
EP4662035A1 (de) Transfer von durch roboter gehaltenen objekten von aufnahmeposen zu zielposen
DE112021007371B4 (de) Robotersteuervorrichtung und robotersteuerverfahren
WO2025237941A1 (de) Verfahren zum bestimmen einer greifpose für einen roboter
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
EP3944934A1 (de) Verfahren zur automatischen bestimmung von konstruktionsparametern eines greifers
WO2024217962A2 (de) Verfahren zum autonomen betrieb eines krans, autonom betreibbarer kran sowie nachrüst-set zur realisierung eines autonom arbeitenden krans
WO2022038040A1 (de) Verfahren und system zum handhaben einer lastanordnung mit einem robotergreifer
DE102022213557B3 (de) Betreiben eines Roboters mit Greifer
DE102024204748A1 (de) Verfahren zum Bestimmen von Posen von Objekten für einen Roboter

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250729

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_0001303_4662035/2026

Effective date: 20260115