EP3606704A1 - Verfahren zum bestimmen unbekannter transformationen - Google Patents

Verfahren zum bestimmen unbekannter transformationen

Info

Publication number
EP3606704A1
EP3606704A1 EP18715652.6A EP18715652A EP3606704A1 EP 3606704 A1 EP3606704 A1 EP 3606704A1 EP 18715652 A EP18715652 A EP 18715652A EP 3606704 A1 EP3606704 A1 EP 3606704A1
Authority
EP
European Patent Office
Prior art keywords
rotation
axis
robot
calibration objects
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18715652.6A
Other languages
English (en)
French (fr)
Inventor
Christian Nissler
Zoltan-Csaba MARTON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Publication of EP3606704A1 publication Critical patent/EP3606704A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39003—Move end effector on ellipse, circle, sphere
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Definitions

  • the invention relates to a method for determining unknown
  • Robot model in the form of a technical algorithm with one or more specified parameters, which describes the theoretical spatial position of the robot in dependence on one or more control variables; Controlling the theoretical spatial desired position of the robot with a
  • Robot controller according to the robot model; Detecting the actual spatial actual position of the robot during operation by a sensor device
  • Manipulator in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
  • Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member. From DE 10 2008 060 052 A1 a method is known for the compensation of a kinematic deviation, in particular a temperature drift, of a
  • Manipulator in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
  • Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member.
  • performing comprising the following method steps: setting up a mobile, suitable for measuring the robot arm camera system at the place of application of the industrial robot; at least indirectly measuring a stationary robot base coordinate system associated with the robot arm with respect to the camera system; Driving the robot arm such that the
  • Fastening device assumes predetermined nominal positions and / or desired poses within the working space; Determining the actual positions and / or actual poses of the fastening device by means of the camera system; Determining an error between the actual positions and / or actual poses and the target positions and / or target poses.
  • EP 1 584 426 A1 is measuring system comprising a robot with a
  • a tool attached to the front end of an arm thereof and a light receiving device; the measuring system comprising means for displacing the robot to a home position; Means, one of which
  • Illustration of the centering tip of the tool, which is attached to the front end of the arm of the robot, from the light receiving device is thereby detected to determine the position of the tool center on a light-receiving surface of the light-receiving device, the image of which is focused on the light-receiving surface;
  • Light receiving surface is moved to a predetermined point on the light receiving surface; Means for moving the robot around the particular one
  • Tool mounting surface of the robot is determined, using the position of the robot, which has been changed and stored for each of a plurality of initial positions, while the position of the
  • the invention has for its object to improve a method mentioned above.
  • the method can be used for calibration.
  • the transformations can form a kinematic chain.
  • the transformations can be done by using four
  • the process can be performed using an industrial robot.
  • the industrial robot may have a base.
  • the base can be assigned a basic coordinate system.
  • the base coordinate system can be a Cartesian coordinate system.
  • the base coordinate system may have an origin.
  • the industrial robot may have a manipulator.
  • the manipulator may have multiple arm portions and multiple joints. The joints may serve to articulate the manipulator to the base and / or to articulate the arm portions together.
  • the industrial robot can have a Tool Center Point (TCP).
  • TCP can be assigned a TCP coordinate system.
  • the TCP coordinate system can to be a Cartesian coordinate system.
  • the TCP coordinate system may have an origin. Relative assignment of the base coordinate system and the TCP coordinate system to each other may be known.
  • the industrial robot may have an effector.
  • the effector may be an end effector.
  • the effector may be a sensor device.
  • the sensor device can have a camera.
  • the effector may be associated with an effector coordinate system.
  • the effector coordinate system may be a Cartesian coordinate system.
  • the effector coordinate system may have an origin. Relative mapping of the base coordinate system and the effector coordinate system to each other may be known. A relative association of the TCP coordinate system and the effector coordinate system with each other may be known.
  • the origin of the base coordinate system may form a first reference point.
  • the origin of the TCP coordinate system can be a second one
  • the origin of the effector coordinate system can form a third reference point.
  • Calibration objects can form fourth reference points.
  • the calibration objects can be measurement marks.
  • the measuring marks can each have any geometry.
  • a first transformation can be a transformation between the first
  • a second transformation may be a transformation between the second reference point and the third reference point.
  • a third transformation may be a transformation between the third reference point and the fourth reference point.
  • Transformation may be a transformation between the first reference point and the fourth reference point.
  • the first transformation can be known.
  • the second transformation may be unknown.
  • the third transformation may be known.
  • the fourth transformation may be unknown.
  • a first transformation may be a transformation between the second reference point and the third reference point.
  • a second transformation may be a transformation between the second reference point and the fourth Be reference point.
  • a third transformation may be a transformation between the first reference point and the fourth reference point.
  • Transformation may be a transformation between the first reference point and the third reference point.
  • the plurality of calibration objects may be stationary and the at least one sensor device may be rotated to the plurality of calibration objects.
  • the at least one sensor device may be stationary and the plurality
  • Calibration objects can be rotated to the at least one sensor device.
  • the multiple calibration objects can be sensed during rotation by means of the at least one sensor device. If the sensor device has a camera, the multiple calibration objects can be recorded while rotating using the camera.
  • the translation information and the rotation information can form 6D transformations.
  • the first rotation axis and the second rotation axis may be non-parallel to each other.
  • the at least one sensor device and the plurality of calibration objects can be rotated relative to one another by at least one further rotation axis inclined to the first rotation axis and to the second rotation axis in order to provide further translation information for each of the calibration objects and further
  • Rotation information can be determined for each of the calibration objects at least one further optimized rotation axis and at least one further rotation center.
  • An intersection of the first optimized rotation axis, the second optimized rotation axis and the at least one further optimized rotation axis may be determined.
  • the at least one sensor device can be assigned to a known coordinate system. The known
  • Coordinate system can be a robot coordinate system.
  • Intersection point at least two sensor devices can be assigned to each other.
  • the at least one sensor device can be assigned to the known coordinate system by means of the Bingham distribution.
  • the least two sensors can be assigned to the known coordinate system by means of the Bingham distribution.
  • Sensor devices can be assigned to each other using the Bingham distribution.
  • the at least one sensor device and the plurality of calibration objects can be rotated relative to one another by means of an industrial robot.
  • the industrial robot can rotate around two robot axes.
  • the two robot axes can be robot own axes.
  • the method can be used to calibrate an industrial robot, a mobile robot
  • the invention thus provides inter alia a calibration method for robot hand-eye calibration and / or camera-to-camera calibration.
  • the method is based on a recording of optical measuring marks with a camera system mounted on a robot during a rotational movement of the robot. For each marker a 6D transformation (position and rotation) can be obtained. Optimization techniques allow many observed markers during rotation to determine the axis and center of rotation of the robot. Will this step with another
  • Configuration of the robot repeated for example, a tilting of the robot about a vertical axis, again the axis and the center of the rotation can be determined.
  • the intersection of these two lines may correspond to a known point in a robot coordinate system. This allows an assignment from camera to robot coordinate system. Likewise, a determination of a relative position of the cameras is possible with several cameras.
  • a hand eye calibration can also be enabled in cases where the robot can not move a known calibration object in the field of view of the cameras. This may include: Calibration without knowledge of one
  • Robot kinematics thereby also calibrating cameras on any mechanically coupled system without knowing the location.
  • Calibration can be performed using a simple, realizable motion procedure. It is sufficient if the robot turns around its own axis of rotation.
  • a calibration without knowledge of a geometry of a calibration object is made possible.
  • the calibration object can be a marker.
  • the calibration object does not have to have an exact geometry. Statements about inaccuracy directions of the calibration are made possible. Inferences are made possible in which direction inaccuracies prevail. These can be used directly during calibration to obtain high-quality autonomous calibration.
  • the method can also perform autonomous validation based on observation of measurement markers, that is, it can be determined whether the calibration is still valid / accurate enough and, if not, automatic re-calibration can be initiated. This is made possible by not having to mount a calibration object. Calibration is possible for non-overlapping cameras and / or for cameras with very different viewing angles. A calibration pattern does not have to be visible in all cameras.
  • calibration is simplified. Calibration is also possible with unknown robot kinematics. A robot kinematics does not have to be known. An external tracking system can be omitted. A calibration is also possible with unknown geometry of a calibration object, such as a measurement mark. A geometry of a calibration object, such as a measurement mark, need not be known. A negative influence by inaccuracies in one
  • Calibration object such as measuring mark
  • a calibration will also partial invisibility of a calibration object, such as measurement mark, allows.
  • a possibility of movement during the calibration is increased.
  • a camera-camera calibration is also made possible if coverage or joint visibility of a calibration object, such as a measurement mark, is not guaranteed.
  • a complexity of a calibration object can be reduced. An accurate calibration can be performed even if a hand-eye calibration is not possible.
  • FIG. 1 shows a detection of a plurality of measurement marks and a determination of
  • Fig. 2 is a determining a representative axis of rotation
  • FIG. 1 shows a detection of a plurality of measuring marks 100, 102, 104 and a determination of rotational axes 106, 108, 110 in front view and in plan view.
  • the method is here performed for calibrating an industrial robot.
  • the method may also be used to calibrate a mobile platform, multiple vehicle cameras, or a service robot.
  • the industrial robot has a base with a base coordinate system, a manipulator, a TCP coordinate system and a camera as an end effector with a camera coordinate system 1 12.
  • the camera coordinate system 1 12 is a Cartesian coordinate system having an x-axis, a y-axis and a z-axis, wherein the z-axis corresponds to a viewing direction of the camera and the y-axis is directed downward.
  • the process is used to calibrate the industrial robot.
  • the industrial robot is rotated about a first axis of rotation and
  • the cameras of several measuring marks 100, 102, 104 are used to record or scan.
  • a complete 6D pose is obtained for each visible measurement mark 100, 102, 104, which describes a relation of the camera coordinate system 112 and the measurement mark 100, 102, 104.
  • the respective first rotation axes 106, 108, 110 are determined.
  • a representative first rotation axis 14 is determined.
  • the representative first axis of rotation 1 14 is shown in the origin of the camera coordinate system 1 12 and is using the function
  • Concentration parameter and F [ ⁇ 15 ⁇ 2 , ⁇ 3 ] are orthogonal basis vectors.
  • an optimized first rotation axis 15 is determined from the representative first rotation axis 1 14 with a first rotation center 1 16 initially set arbitrarily.
  • 2 shows a 3D cylinder 1 18 on which the measuring marks 102 lie, the optimized first axis of rotation 1 15 and a plane 120 in which the first center of rotation 1 16 lies.
  • the industrial robot is rotated about a second rotation axis and the procedure described above is performed again to determine a second optimized rotation axis 122. If necessary, the

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Verfahren zum Bestimmen unbekannter Transformationen in einer Kette von vier Transformationen, wobei zwei Transformationen bekannt sind, wobei zunächst wenigstens eine Sensoreinrichtung und mehrere Kalibrierobjekte relativ zueinander um eine erste Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte erste Translationsinformationen und erste Rotationsinformationen zu erhalten, nachfolgend die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte relativ zueinander um eine zweite zu der ersten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte zweite Translationsinformationen und zweite Rotationsinformationen zu erhalten, aus den ersten Translationsinformationen und den ersten Rotationsinformationen für jedes der Kalibrierobjekte eine erste optimierte Rotationsachse (115) und ein erstes Rotationszentrum bestimmt wird, aus den zweiten Translationsinformationen und den zweiten Rotationsinformationen für jedes der Kalibrierobjekte eine zweite optimierte Rotationsachse (122) bestimmt wird und ein Schnittpunkt (128) der ersten optimierten Rotationsachse (115) und der zweiten optimierten Rotationsachse (122) bestimmt wird.

Description

Verfahren zum Bestimmen unbekannter Transformationen
Beschreibung
Die Erfindung betrifft ein Verfahren zum Bestimmen unbekannter
Transformationen in einer geschlossenen Kette von vier Transformationen, wobei zwei Transformationen bekannt sind.
Aus der DE 198 26 395 A1 ist ein Verfahren bekannt zum Erfassen und
Kompensieren von kinematischen Veränderungen eines Roboters aufgrund interner und/oder externer Einflüsse mit den Schritten: Bereitstellen eines
Robotermodells in Form eines technischen Algorithmus mit einem oder mehreren festgelegten Parametern, welches die theoretische räumliche Stellung des Roboters in Abhängigkeit von einer oder mehreren Steuergrößen beschreibt; Steuern der theoretischen räumlichen Sollstellung des Roboters mit einer
Robotersteuerung gemäß dem Robotermodell; Erfassen der tatsächlichen räumlichen Iststellung des Roboters im Betrieb durch eine Sensoreinrichtung
Erfassen der kinematischen Veränderungen anhand der Abweichung der erfassten tatsächlichen räumlichen Iststellung des Roboters von der theoretischen räumlichen Sollstellung des Roboters; Anpassen des oder der Parameter des Robotermodells zum Kompensieren der kinematischen Veränderungen unter Berücksichtigung der erfassten Abweichung; und Steuern der theoretischen räumlichen Sollstellung des Roboters mit der Robotersteuerung gemäß dem Robotermodell mit dem oder den angepassten Parametern.
Aus der EP 2 199 036 A2 ist ein Verfahren bekannt zur Kompensation einer kinematischen Abweichung, insbesondere einer Temperaturdrift, eines
Manipulators, insbesondere eines Roboters, mit den Schritten: Anfahren verschiedener Posen des Manipulators; Erfassen einer Position eines
Manipulatorgliedes mittels einer externen 3D-Positionserfassungseinrichtung in der jeweiligen Pose; und Kompensieren der kinematischen Abweichung auf Basis der erfassten Position des Manipulatorgliedes. Aus der DE 10 2008 060 052 A1 ist ein Verfahren bekannt zur Kompensation einer kinematischen Abweichung, insbesondere einer Temperaturdrift, eines
Manipulators, insbesondere eines Roboters, mit den Schritten: Anfahren verschiedener Posen des Manipulators; Erfassen einer Position eines
Manipulatorgliedes mittels einer externen 3D-Positionserfassungseinrichtung in der jeweiligen Pose; und Kompensieren der kinematischen Abweichung auf Basis der erfassten Position des Manipulatorgliedes.
Aus der DE 10 2010 031 248 A1 ist ein Verfahren bekannt zum Vermessen eines eine Befestigungsvorrichtung für einen Endeffektor aufweisenden Roboterarms eines Industrieroboters, der am Ort seiner Anwendung aufgestellt ist, wobei der Industrieroboter den Roboterarm und eine Steuervorrichtung aufweist, die eingerichtet ist, den Roboterarm derart zu bewegen, dass die
Befestigungsvorrichtung eine innerhalb eines der Anwendung des
Industrieroboters zugeordneten Arbeitsraums vorbestimmte Bewegung
durchführt, aufweisend folgende Verfahrensschritte: Aufstellen eines mobilen, zur Vermessung des Roboterarms geeigneten Kamerasystems am Ort der Anwendung des Industrieroboters; zumindest indirektes Einmessen eines dem Roboterarm zugeordneten, ortsfesten Roboter-Basis-Koordinatensystems bezüglich des Kamerasystems; Ansteuern des Roboterarms derart, dass die
Befestigungsvorrichtung vorbestimmte Soll-Positionen und/oder Soll-Posen innerhalb des Arbeitsraums einnimmt; Ermitteln der Ist-Positionen und/oder Ist- Posen der Befestigungsvorrichtung mittels des Kamerasystems; Ermitteln eines Fehlers zwischen den Ist-Positionen und/oder Ist-Posen und den Soll-Positionen und/oder Soll-Posen. Aus der EP 1 584 426 A1 ist Messsystem aufweisend einen Roboter mit einem
Werkzeug, welches an dem vorderen Ende eines Arms von diesem angebracht ist, und eine Lichtempfangsvorrichtung; wobei das Messsystem aufweist Mittel zum Versetzen des Roboters in eine Ausgangsposition; Mittel, von denen eine
Abbildung der Zentrierspitze des Werkzeugs, welches an dem vorderen Ende des Arms des Roboters angebracht ist, von der Lichtempfangsvorrichtung aufgenommen wird, um dadurch auf einer Lichtempfangsfläche der Lichtempfangsvorrichtung die Position des Werkzeugmittelpunkts zu bestimmen, wobei dessen Abbildung auf die Lichtempfangsfläche fokussiert ist; Mittel zum Bestimmen des von dem Roboter zurückzulegenden Bewegungswegs auf eine solche Weise, dass die Position des Werkzeugmittelpunkts auf der
Lichtempfangsfläche zu einem vorbestimmten Punkt auf der Lichtempfangsfläche bewegt wird; Mittel zum Bewegen des Roboters um den bestimmten
zurückzulegenden Bewegungsweg; Mittel zum Erlangen und Speichern der Position des Roboters, nachdem der Roboter bewegt wurde; und Mittel, von denen die Position des Werkzeugmittelpunkts hinsichtlich der
Werkzeuganbringungsfläche des Roboters bestimmt wird, unter Verwendung der Position des Roboters, welche für jede einer Mehrzahl von Anfangspositionen geändert und gespeichert wurde, während die Position der
Lichtempfangsvorrichtung fest ist. Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes Verfahren zu verbessern.
Die Lösung der Aufgabe erfolgt mit einem Verfahren mit den Merkmalen des Anspruchs 1. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Das Verfahren kann zum Kalibrieren dienen. Die Transformationen können eine kinematische Kette bilden. Die Transformationen können mithilfe von vier
Bezugspunkten verkettet sein. Das Verfahren kann mithilfe eines Industrieroboters durchgeführt werden. Der Industrieroboter kann eine Basis aufweisen. Der Basis kann ein Basiskoordinatensystem zugeordnet sein. Das Basiskoordinatensystem kann ein kartesisches Koordinatensystem sein. Das Basiskoordinatensystem kann einen Ursprung aufweisen. Der Industrieroboter kann einen Manipulator aufweisen. Der Manipulator kann mehrere Armabschnitte und mehrere Gelenke aufweisen. Die Gelenke können dazu dienen, den Manipulator gelenkig mit der Basis zu verbinden und/oder die Armabschnitte gelenkig miteinander zu verbinden. Der Industrieroboter kann einen Tool Center Point (TCP) aufweisen. Dem TCP kann ein TCP-Koordinatensystem zugeordnet sein. Das TCP-Koordinatensystem kann ein kartesisches Koordinatensystem sein. Das TCP-Koordinatensystem kann einen Ursprung aufweisen. Eine relative Zuordnung des Basiskoordinatensystems und des TCP-Koordinatensystems zueinander kann bekannt sein. Der Industrieroboter kann einen Effektor aufweisen. Der Effektor kann ein Endeffektor sein. Der Effektor kann eine Sensoreinrichtung sein. Die Sensoreinrichtung kann eine Kamera aufweisen. Dem Effektor kann ein Effektorkoordinatensystem zugeordnet sein. Das Effektorkoordinatensystem kann ein kartesisches Koordinatensystem sein. Das Effektorkoordinatensystem kann einen Ursprung aufweisen. Eine relative Zuordnung des Basiskoordinatensystems und des Effektorkoordinatensystems zueinander kann bekannt sein. Eine relative Zuordnung des TCP- Koordinatensystems und des Effektorkoordinatensystems zueinander kann bekannt sein.
Der Ursprung des Basiskoordinatensystems kann einen ersten Bezugspunkt bilden. Der Ursprung des TCP-Koordinatensystems kann einen zweiten
Bezugspunkt bilden. Der Ursprung des Effektorkoordinatensystems kann einen dritten Bezugspunkt bilden. Kalibrierobjekte können vierte Bezugspunkte bilden. Die Kalibrierobjekte können Messmarken sein. Die Messmarken können jeweils eine beliebige Geometrie aufweisen.
Eine erste Transformation kann eine Transformation zwischen dem ersten
Bezugspunkt und dem zweiten Bezugspunkt sein. Eine zweite Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem dritten Bezugspunkt sein. Eine dritte Transformation kann eine Transformation zwischen dem dritten Bezugspunkt und dem vierten Bezugspunkt sein. Eine vierte
Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem vierten Bezugspunkt sein. Die erste Transformation kann bekannt sein. Die zweite Transformation kann unbekannt sein. Die dritte Transformation kann bekannt sein. Die vierte Transformation kann unbekannt sein.
Eine erste Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem dritten Bezugspunkt sein. Eine zweite Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem vierten Bezugspunkt sein. Eine dritte Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem vierten Bezugspunkt sein. Eine vierte
Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem dritten Bezugspunkt sein. Die mehreren Kalibrierobjekte können unbewegt sein und die wenigstens eine Sensoreinrichtung kann zu den mehreren Kalibrierobjekten rotiert werden. Die wenigstens eine Sensoreinrichtung kann unbewegt sein und die mehreren
Kalibrierobjekte können zu der wenigstens einen Sensoreinrichtung rotiert werden.
Die mehreren Kalibrierobjekte können beim Rotieren mithilfe der wenigstens einen Sensoreinrichtung sensiert werden. Wenn die Sensoreinrichtung eine Kamera aufweist, können die mehreren Kalibrierobjekte beim Rotieren mithilfe der Kamera aufgenommen werden.
Die Translationsinformationen und die Rotationsinformationen können 6D- Transformationen bilden. Die erste Rotationsachse und die zweite Rotationsachse können zueinander nicht-parallel sein.
Die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte können relativ zueinander um wenigstens eine weitere zu der ersten Rotationsachse und zu der zweiten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte weitere Translationsinformationen und weitere
Rotationsinformationen zu erhalten.
Aus den weiteren Translationsinformationen und den weiteren
Rotationsinformationen kann für jedes der Kalibrierobjekte wenigstens eine weitere optimierte Rotationsachse und wenigstens ein weiteres Rotationszentrum bestimmt werden. Ein Schnittpunkt der ersten optimierten Rotationsachse, der zweiten optimierten Rotationsachse und der wenigstens einen weiteren optimierte Rotationsachse kann bestimmt werden. Mithilfe des Schnittpunkts kann die wenigstens eine Sensoreinrichtung einem bekannten Koordinatensystem zugeordnet werden. Das bekannte
Koordinatensystem kann ein Roboterkoordinatensystem sein. Mithilfe des
Schnittpunkts können wenigstens zwei Sensoreinrichtungen einander zugeordnet werden.
Die wenigstens eine Sensoreinrichtung kann dem bekannten Koordinatensystem mithilfe der Bingham-Verteilung zugeordnet werden. Die wenigstens zwei
Sensoreinrichtungen können einander mithilfe der Bingham-Verteilung zugeordnet werden. Die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte können mithilfe eines Industrieroboters relativ zueinander rotiert werden. Dabei kann der Industrieroboter um zwei Roboterachsen rotieren. Die zwei Roboterachsen können robotereigene Achsen sein.
Das Verfahren kann zum Kalibrieren eines Industrieroboters, einer mobilen
Plattform, mehrere Fahrzeugkameras oder eines Serviceroboters verwendet werden.
Zusammenfassend und mit anderen Worten dargestellt ergibt sich somit durch die Erfindung unter anderem eine Kalibrierungsmethode zur Roboter-Hand-Auge- Kalibrierung und/oder Kamera zu Kamera Kalibrierung. Das Verfahren beruht auf einer Aufnahme von optischen Messmarken mit einem an einem Roboter angebrachten Kamerasystem während einer Rotationsbewegung des Roboters. Für jeden Marker kann eine 6D Transformation (Position und Rotation) erhalten werden. Durch Optimierungsverfahren können für viele beobachtete Marker während der Rotation die Achse und der Mittelpunkt der durchgeführten Rotation des Roboters bestimmt werden. Wird dieser Schritt mit einer anderen
Konfiguration des Roboter wiederholt, also zum Beispiel einem Verkippen des Roboters um eine Hochachse, können erneut die Achse und der Mittelpunkt der Rotation bestimmt werden. Der Schnittpunkt dieser beiden Geraden kann zu einem bekannten Punkt in einem Roboterkoordinatensystem korrespondieren. damit ist eine Zuordnung von Kamera zu Roboterkoordinatensystem möglich. Ebenso ist bei mehreren Kameras eine Bestimmung einer relativen Lage der Kameras möglich.
Eine Hand Auge Kalibrierung kann auch in Fällen, in denen der Roboter kein bekanntes Kalibrierobjekt im Sichtfeld der Kameras bewegen kann, ermöglicht werden. Dies kann einschließen: Kalibrierung ohne Kenntnis einer
Roboterkinematik, damit auch Kalibrierung von Kameras auf jedem mechanisch gekoppelten System ohne Kenntnis der Lage. Eine Kalibrierung kann mithilfe einer einfachen realisierbaren Bewegungsprozedur durchgeführt werden. Es ist hinreichend, wenn sich der Roboter um zwei eigene Rotationsachsen dreht. Eine Kalibrierung ohne Kenntnis einer Geometrie eines Kalibrierobjekts wird ermöglicht. Das Kalibrierobjekt kann ein Marker sein. Das Kalibrierobjekt muss keine exakte Geometrie aufweisen. Aussagen über Ungenauigkeitsrichtungen der Kalibrierung werden ermöglicht. Rückschlüsse werden ermöglicht darüber, in welcher Richtung Ungenauigkeiten vorherrschen. Diese können direkt während der Kalibrierung genutzt werden, um eine autonome Kalibrierung hoher Güte zu erhalten. Mit dem Verfahren kann ebenso eine autonome Validierung anhand einer Beobachtung von Messmarkern durchgeführt werden, das heißt es kann festgestellt werden, ob die Kalibrierung noch gültig/präzise genug ist und falls nicht, kann automatische eine Neu-Kalibrierung initiiert werden. Dies wird ermöglicht, indem kein Kalibrierobjekt montiert werden muss. Eine Kalibrierung bei nicht überlappenden Kameras und/oder bei Kameras mit sehr unterschiedlichen Blickwinkeln ist ermöglicht. Ein Kalibriermuster muss nicht in allen Kameras sichtbar sein.
Mit der Erfindung wird eine Kalibrierung vereinfacht. Eine Kalibrierung wird auch bei unbekannter Roboterkinematik ermöglicht. Eine Roboterkinematik muss nicht bekannt sein. Ein externes Trackingsystem kann entfallen. Eine Kalibrierung wird auch bei unbekannter Geometrie eines Kalibrierobjekts, wie Messmarke, ermöglicht. Eine Geometrie eines Kalibrierobjekts, wie Messmarke, muss nicht bekannt sein. Eine negative Beeinflussung durch Ungenauigkeiten in einem
Kalibrierobjekt, wie Messmarke, kann vermeiden werden. Eine Kalibrierung wird auch teilweiser Unsichtbarkeit eines Kalibrierobjekts, wie Messmarke, ermöglicht. Eine Bewegungsmöglichkeit bei der Kalibrierung wird erhöht. Eine Kamera-Kamer- Kalibrierung wird auch ermöglicht, wenn eine Überdeckung bzw. gemeinsame Sichtbarkeit eines Kalibrierobjekts, wie Messmarke, nicht gewährleistet ist. Eine Komplexität eines Kalibrierobjekts kann reduziert werden. Eine exakte Kalibrierung kann auch dann durchgeführt werden, wenn eine Hand-Auge-Kalibrierung nicht möglich ist.
Mit„kann" sind insbesondere optionale Merkmale der Erfindung bezeichnet. Demzufolge gibt es jeweils ein Ausführungsbeispiel der Erfindung, das das jeweilige Merkmal oder die jeweiligen Merkmale aufweist.
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren näher beschrieben. Aus dieser Beschreibung ergeben sich weitere
Merkmale und Vorteile. Konkrete Merkmale dieser Ausführungsbeispiele können allgemeine Merkmale der Erfindung darstellen. Mit anderen Merkmalen
verbundene Merkmale dieser Ausführungsbeispiele können auch einzelne
Merkmale der Erfindung darstellen.
Es zeigen schematisch und beispielhaft:
Fig. 1 ein Erfassen mehrerer Messmarken und ein Bestimmen von
Rotationsachsen in Frontansicht und in Draufsicht, Fig. 2 ein Bestimmen einer repräsentativen Rotationsachse und
Fig. 3 ein Bestimmen eines finalen Rotationszentrums.
Fig. 1 zeigt ein Erfassen mehrerer Messmarken 100, 102, 104 und ein Bestimmen von Rotationsachsen 106, 108, 1 10 in Frontansicht und in Draufsicht. Das
Verfahren wird vorliegend zum Kalibrieren eines Industrieroboters durchgeführt. Das Verfahren kann auch zum Kalibrieren einer mobilen Plattform, mehrerer Fahrzeugkameras oder eines Serviceroboters verwendet werden. Der Industrieroboter weist eine Basis mit einem Basiskoordinatensystem, einen Manipulator, ein TCP-Koordinatensystem und eine Kamera als Endeffektor mit einem Kamerakoordinatensystem 1 12 auf. Das Kamerakoordinatensystem 1 12 ist ein kartesisches Koordinatensystem mit einer x-Achse, einer y-Achse und einer z- Achse, wobei die z-Achse einer Blickrichtung der Kamera entspricht und die y- Achse nach unten gerichtet ist. Mithilfe des Verfahrens wird der Industrieroboter kalibriert.
Dazu wird der Industrieroboter um eine erste Rotationsachse rotiert und
gleichzeitig werden mithilfe der Kamera mehrerer Messmarken 100, 102, 104, wie AprilTag Marker, aufgenommen bzw. abgetastet. Dabei wird für jede sichtbare Messmarke 100, 102, 104 eine vollständige 6D-Pose erhalten, die eine Relation des Kamerakoordinatensystems 1 12 und der Messmarke 100, 102, 104 beschreibt. Darauf basierend werden die jeweiligen ersten Rotationsachsen 106, 108, 1 10 bestimmt. Durch Anwenden der Bingham-Verteilung auf die ersten Rotationsachsen 106, 108, 1 10 wird eine repräsentative erste Rotationsachse 1 14 bestimmt. Die
Bingham-Verteilung ist eine antipodisch symmetrische
Wahrscheinlichkeitsverteilung auf einer n-Kugeloberfläche. Die repräsentative erste Rotationsachse 1 14 ist im Ursprung des Kamerakoordinatensystems 1 12 dargestellt und wird mithilfe der Funktion
B(x; K, V) :=— exp(£ κ,. (vf κ)2) ,
F(KL F K2 , K3 ) I=L bestimmt, wobei x eine Achse, beispielsweise ein Einheitsvektor, κ κ2, κ3
Konzentrationsparameter und F = [υ15υ2,υ3] orthogonale Basisvektoren sind.
F(K1 , K2 , K3 ) ist ein Nomalisierungsterm, sodass die Verteilung auf einer
Oberfläche einer Hyperkugel zusammengeführt wird. Es kann ein
Optimierungsschritt folgen. Nach dem Bestimmen der repräsentativen ersten Rotationsachse 1 14 wird aus der repräsentativen ersten Rotationsachse 1 14 eine optimierte erste Rotationsachse 1 15 mit einem zunächst beliebig festgelegten ersten Rotationszentrum 1 16 bestimmt. Fig. 2 zeigt einen 3D-Zylinder 1 18, auf dem die Messmarken 102 liegen, die optimierte erste Rotationsachse 1 15 und eine Ebene 120, in der das erste Rotationszentrum 1 16 liegt.
Nachfolgend wird der Industrieroboter um eine zweite Rotationsachse rotiert und die oben beschriebene Prozedur wird erneut durchgeführt, um eine zweite optimierte Rotationsachse 122 zu bestimmen. Gegebenenfalls wird der
Industrieroboter um weitere Rotationsachsen rotiert und die Prozedur wiederholt durchgeführt, um weitere optimierte Rotationsachsen, wie 124, zu bestimmen. Das finale Rotationszentrum 126 ergibt sich im Schnittpunkt 128 der
Rotationsachsen 1 15, 122, 124.
Bezugszeichen
100 Kalibrierobjekt, Messmarke
102 Kalibrierobjekt, Messmarke
104 Kalibrierobjekt, Messmarke
106 erste Rotationsachse
108 erste Rotationsachse
1 10 erste Rotationsachse
1 12 Kamerakoordinatensystem
1 14 repräsentative erste Rotationsachse
1 15 optimierte erste Rotationsachse
1 16 erstes Rotationszentrum
1 18 3D-Zylinder
120 Ebene
122 zweite optimierte Rotationsachse
124 weitere optimierte Rotationsachse
126 finales Rotationszentrum
128 Schnittpunkt

Claims

Patentansprüche
1 . Verfahren zum Bestimmen unbekannter Transformationen in einer
geschlossenen Kette von vier Transformationen, wobei zwei Transformationen bekannt sind, dadurch gekennzeichnet, dass
- zunächst wenigstens eine Sensoreinrichtung und mehrere Kalibrierobjekte (100, 102, 104) relativ zueinander um eine erste Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte (100, 102, 104) erste
Translationsinformationen und erste Rotationsinformationen zu erhalten,
- nachfolgend die wenigstens eine Sensoreinrichtung und die mehreren
Kalibrierobjekte (100, 102, 104) relativ zueinander um eine zweite zu der ersten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte zweite Translationsinformationen und zweite
Rotationsinformationen zu erhalten,
- aus den ersten Translationsinformationen und den ersten
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) eine erste optimierte Rotationsachse (1 15) und ein erstes Rotationszentrum (1 16) bestimmt wird,
- aus den zweiten Translationsinformationen und den zweiten
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) eine zweite optimierte Rotationsachse (122) bestimmt wird und
- ein Schnittpunkt (128) der ersten optimierten Rotationsachse (1 15) und der zweiten optimierten Rotationsachse (122) bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
- die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte (100, 102, 104) relativ zueinander um wenigstens eine weitere zu der ersten Rotationsachse und zu der zweiten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte weitere
Translationsinformationen und weitere Rotationsinformationen zu erhalten. - aus den weiteren Translationsinformationen und den weiteren
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) wenigstens eine weitere optimierte Rotationsachse (124) und wenigstens ein weiteres Rotationszentrum bestimmt wird und
- ein Schnittpunkt (128) der ersten optimierten Rotationsachse (1 15), der zweiten optimierten Rotationsachse (122) und der wenigstens einen weiteren optimierte Rotationsachse (124) bestimmt wird.
3. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mithilfe des Schnittpunkts (128) die wenigstens eine Sensoreinrichtung einem bekannten Koordinatensystem zugeordnet wird.
4. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mithilfe des Schnittpunkts (128) wenigstens zwei Sensoreinrichtungen einander zugeordnet werden.
5. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung dem bekannten Koordinatensystem oder die wenigstens zwei Sensoreinrichtungen einander mithilfe einer Bingham-Verteilung zugeordnet werden.
6. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte (100, 102, 104) mithilfe eines Industrieroboters relativ zueinander rotiert werden, wobei der Industrieroboter um zwei Roboterachsen rotiert.
7. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mehreren Kalibrierobjekte (100, 102, 104) jeweils eine beliebige Geometrie aufweisen.
8. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung eine Kamera aufweist.
9. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zum Kalibrieren eines Industrieroboters, einer mobilen Plattform, mehrere Fahrzeugkameras oder eines Serviceroboters verwendet wird.
EP18715652.6A 2017-04-07 2018-04-03 Verfahren zum bestimmen unbekannter transformationen Withdrawn EP3606704A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017107593.3A DE102017107593B4 (de) 2017-04-07 2017-04-07 Verfahren zum Bestimmen unbekannter Transformationen
PCT/EP2018/058416 WO2018185065A1 (de) 2017-04-07 2018-04-03 Verfahren zum bestimmen unbekannter transformationen

Publications (1)

Publication Number Publication Date
EP3606704A1 true EP3606704A1 (de) 2020-02-12

Family

ID=61899271

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18715652.6A Withdrawn EP3606704A1 (de) 2017-04-07 2018-04-03 Verfahren zum bestimmen unbekannter transformationen

Country Status (3)

Country Link
EP (1) EP3606704A1 (de)
DE (1) DE102017107593B4 (de)
WO (1) WO2018185065A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19826395A1 (de) 1998-06-12 1999-12-23 Amatec Gmbh Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
JP4191080B2 (ja) 2004-04-07 2008-12-03 ファナック株式会社 計測装置
DE102004024378B4 (de) 2004-05-17 2009-05-20 Kuka Roboter Gmbh Verfahren zur robotergestützten Vermessung von Objekten
DE102008060052A1 (de) 2008-12-02 2010-06-17 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Kompensation einer kinematischen Abweichung
DE102009005495A1 (de) 2009-01-21 2010-07-22 Kuka Roboter Gmbh Manipulatorsystem und Verfahren zur Kompensation einer kinematischen Abweichung eines Manipulatorsystems
DE102009014766B4 (de) 2009-03-25 2012-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Überlagerte Achsen bei einer Vorrichtung zur Bearbeitung eines Werkstücks mit einem Werkzeug
JP4763074B2 (ja) 2009-08-03 2011-08-31 ファナック株式会社 ロボットのツール先端点の位置の計測装置および計測方法
DE102010031248A1 (de) 2010-07-12 2012-01-12 Kuka Roboter Gmbh Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
EP2722136A1 (de) 2012-10-19 2014-04-23 inos Automationssoftware GmbH Verfahren zur Inline-Kalibrierung eines Industrieroboters, Kalibrierungssystem zum Ausführen des Verfahrens und Industrieroboter mit dem Kalibrierungssystem
JP6108860B2 (ja) 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法

Also Published As

Publication number Publication date
DE102017107593A1 (de) 2018-10-11
WO2018185065A1 (de) 2018-10-11
DE102017107593B4 (de) 2023-04-27

Similar Documents

Publication Publication Date Title
DE102018129143B4 (de) Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon
EP1602456B1 (de) Verfahren und Vorrichtung zum Steuern von Handhabungsgeräten
EP3255378B1 (de) Messgerät und verfahren zur justage der lage eines rotationssymmetrischen werkstücks
DE102009034529B4 (de) Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses
DE102017117837A1 (de) Laserbearbeitungs-Robotersystem und Laserbearbeitungsverfahren
EP2989872B1 (de) Platziervorrichtung und platzierverfahren
DE102010031248A1 (de) Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
DE102012112025B4 (de) Verfahren und Vorrichtungen zur Positionsbestimmung einer Kinematik
DE102017003993B4 (de) Kalibrierung eines Roboters
DE102021209178A1 (de) Verfahren und Vorrichtung zum Bestimmen von Relativposen und zur Kalibrierung bei einem Koordinatenmessgerät oder Roboter
DE112019005484T5 (de) Automatische Kalibrierung für ein Kamera-Robotersystem mit Werkzeugoffsets
WO2003035333A2 (de) 3d-koordinatenmesssystem
WO2005031647A1 (de) Verfahren und vorrichtung zur berührungslosen optischen 3d-lagebestimmung eines objekts
DE10143753A1 (de) Kalibrierverfahren für einen Roboterarm
DE102019102927B4 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
DE102018124595B4 (de) Vorrichtung zur Erfassung einer Position und Lage eines Endeffektors eines Roboters
DE102015109557B4 (de) Verfahren zur Einstellung einer Prüf- oder Messposition eines berührungslos wirkenden Sensors
EP3606704A1 (de) Verfahren zum bestimmen unbekannter transformationen
DE102006005990B4 (de) Werkstückvermessung für 3-D Lageerkennung in mehreren Multi-Roboter-Stationen
DE102019131401B3 (de) Kalibrierung einer Impedanzregelung eines Robotermanipulators
EP3465076B1 (de) Vorrichtung zur vermessung von objekten
EP1471401B1 (de) Verfahren zur Einmessung des Koordinatensystems einer Kamera eines Roboters gegenüber dem Koordinatensystem des Roboters oder umgekehrt
DE112021002301T5 (de) Vorrichtung zum erhalten einer position eines visuellen sensors im steuerkoordinatensystem eines roboters, robotersystem, verfahren und computerprogramms
WO2007090557A2 (de) Verfahren zum erzeugen eines umgebungsbildes
DE102021114598A1 (de) Genaue positionssteuerung zur befestigungslosen montage

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191025

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220316

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220927