EP3606704A1 - Method for determining unknown transformations - Google Patents

Method for determining unknown transformations

Info

Publication number
EP3606704A1
EP3606704A1 EP18715652.6A EP18715652A EP3606704A1 EP 3606704 A1 EP3606704 A1 EP 3606704A1 EP 18715652 A EP18715652 A EP 18715652A EP 3606704 A1 EP3606704 A1 EP 3606704A1
Authority
EP
European Patent Office
Prior art keywords
rotation
axis
robot
calibration objects
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18715652.6A
Other languages
German (de)
French (fr)
Inventor
Christian Nissler
Zoltan-Csaba MARTON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Publication of EP3606704A1 publication Critical patent/EP3606704A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39003—Move end effector on ellipse, circle, sphere
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Definitions

  • the invention relates to a method for determining unknown
  • Robot model in the form of a technical algorithm with one or more specified parameters, which describes the theoretical spatial position of the robot in dependence on one or more control variables; Controlling the theoretical spatial desired position of the robot with a
  • Robot controller according to the robot model; Detecting the actual spatial actual position of the robot during operation by a sensor device
  • Manipulator in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
  • Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member. From DE 10 2008 060 052 A1 a method is known for the compensation of a kinematic deviation, in particular a temperature drift, of a
  • Manipulator in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
  • Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member.
  • performing comprising the following method steps: setting up a mobile, suitable for measuring the robot arm camera system at the place of application of the industrial robot; at least indirectly measuring a stationary robot base coordinate system associated with the robot arm with respect to the camera system; Driving the robot arm such that the
  • Fastening device assumes predetermined nominal positions and / or desired poses within the working space; Determining the actual positions and / or actual poses of the fastening device by means of the camera system; Determining an error between the actual positions and / or actual poses and the target positions and / or target poses.
  • EP 1 584 426 A1 is measuring system comprising a robot with a
  • a tool attached to the front end of an arm thereof and a light receiving device; the measuring system comprising means for displacing the robot to a home position; Means, one of which
  • Illustration of the centering tip of the tool, which is attached to the front end of the arm of the robot, from the light receiving device is thereby detected to determine the position of the tool center on a light-receiving surface of the light-receiving device, the image of which is focused on the light-receiving surface;
  • Light receiving surface is moved to a predetermined point on the light receiving surface; Means for moving the robot around the particular one
  • Tool mounting surface of the robot is determined, using the position of the robot, which has been changed and stored for each of a plurality of initial positions, while the position of the
  • the invention has for its object to improve a method mentioned above.
  • the method can be used for calibration.
  • the transformations can form a kinematic chain.
  • the transformations can be done by using four
  • the process can be performed using an industrial robot.
  • the industrial robot may have a base.
  • the base can be assigned a basic coordinate system.
  • the base coordinate system can be a Cartesian coordinate system.
  • the base coordinate system may have an origin.
  • the industrial robot may have a manipulator.
  • the manipulator may have multiple arm portions and multiple joints. The joints may serve to articulate the manipulator to the base and / or to articulate the arm portions together.
  • the industrial robot can have a Tool Center Point (TCP).
  • TCP can be assigned a TCP coordinate system.
  • the TCP coordinate system can to be a Cartesian coordinate system.
  • the TCP coordinate system may have an origin. Relative assignment of the base coordinate system and the TCP coordinate system to each other may be known.
  • the industrial robot may have an effector.
  • the effector may be an end effector.
  • the effector may be a sensor device.
  • the sensor device can have a camera.
  • the effector may be associated with an effector coordinate system.
  • the effector coordinate system may be a Cartesian coordinate system.
  • the effector coordinate system may have an origin. Relative mapping of the base coordinate system and the effector coordinate system to each other may be known. A relative association of the TCP coordinate system and the effector coordinate system with each other may be known.
  • the origin of the base coordinate system may form a first reference point.
  • the origin of the TCP coordinate system can be a second one
  • the origin of the effector coordinate system can form a third reference point.
  • Calibration objects can form fourth reference points.
  • the calibration objects can be measurement marks.
  • the measuring marks can each have any geometry.
  • a first transformation can be a transformation between the first
  • a second transformation may be a transformation between the second reference point and the third reference point.
  • a third transformation may be a transformation between the third reference point and the fourth reference point.
  • Transformation may be a transformation between the first reference point and the fourth reference point.
  • the first transformation can be known.
  • the second transformation may be unknown.
  • the third transformation may be known.
  • the fourth transformation may be unknown.
  • a first transformation may be a transformation between the second reference point and the third reference point.
  • a second transformation may be a transformation between the second reference point and the fourth Be reference point.
  • a third transformation may be a transformation between the first reference point and the fourth reference point.
  • Transformation may be a transformation between the first reference point and the third reference point.
  • the plurality of calibration objects may be stationary and the at least one sensor device may be rotated to the plurality of calibration objects.
  • the at least one sensor device may be stationary and the plurality
  • Calibration objects can be rotated to the at least one sensor device.
  • the multiple calibration objects can be sensed during rotation by means of the at least one sensor device. If the sensor device has a camera, the multiple calibration objects can be recorded while rotating using the camera.
  • the translation information and the rotation information can form 6D transformations.
  • the first rotation axis and the second rotation axis may be non-parallel to each other.
  • the at least one sensor device and the plurality of calibration objects can be rotated relative to one another by at least one further rotation axis inclined to the first rotation axis and to the second rotation axis in order to provide further translation information for each of the calibration objects and further
  • Rotation information can be determined for each of the calibration objects at least one further optimized rotation axis and at least one further rotation center.
  • An intersection of the first optimized rotation axis, the second optimized rotation axis and the at least one further optimized rotation axis may be determined.
  • the at least one sensor device can be assigned to a known coordinate system. The known
  • Coordinate system can be a robot coordinate system.
  • Intersection point at least two sensor devices can be assigned to each other.
  • the at least one sensor device can be assigned to the known coordinate system by means of the Bingham distribution.
  • the least two sensors can be assigned to the known coordinate system by means of the Bingham distribution.
  • Sensor devices can be assigned to each other using the Bingham distribution.
  • the at least one sensor device and the plurality of calibration objects can be rotated relative to one another by means of an industrial robot.
  • the industrial robot can rotate around two robot axes.
  • the two robot axes can be robot own axes.
  • the method can be used to calibrate an industrial robot, a mobile robot
  • the invention thus provides inter alia a calibration method for robot hand-eye calibration and / or camera-to-camera calibration.
  • the method is based on a recording of optical measuring marks with a camera system mounted on a robot during a rotational movement of the robot. For each marker a 6D transformation (position and rotation) can be obtained. Optimization techniques allow many observed markers during rotation to determine the axis and center of rotation of the robot. Will this step with another
  • Configuration of the robot repeated for example, a tilting of the robot about a vertical axis, again the axis and the center of the rotation can be determined.
  • the intersection of these two lines may correspond to a known point in a robot coordinate system. This allows an assignment from camera to robot coordinate system. Likewise, a determination of a relative position of the cameras is possible with several cameras.
  • a hand eye calibration can also be enabled in cases where the robot can not move a known calibration object in the field of view of the cameras. This may include: Calibration without knowledge of one
  • Robot kinematics thereby also calibrating cameras on any mechanically coupled system without knowing the location.
  • Calibration can be performed using a simple, realizable motion procedure. It is sufficient if the robot turns around its own axis of rotation.
  • a calibration without knowledge of a geometry of a calibration object is made possible.
  • the calibration object can be a marker.
  • the calibration object does not have to have an exact geometry. Statements about inaccuracy directions of the calibration are made possible. Inferences are made possible in which direction inaccuracies prevail. These can be used directly during calibration to obtain high-quality autonomous calibration.
  • the method can also perform autonomous validation based on observation of measurement markers, that is, it can be determined whether the calibration is still valid / accurate enough and, if not, automatic re-calibration can be initiated. This is made possible by not having to mount a calibration object. Calibration is possible for non-overlapping cameras and / or for cameras with very different viewing angles. A calibration pattern does not have to be visible in all cameras.
  • calibration is simplified. Calibration is also possible with unknown robot kinematics. A robot kinematics does not have to be known. An external tracking system can be omitted. A calibration is also possible with unknown geometry of a calibration object, such as a measurement mark. A geometry of a calibration object, such as a measurement mark, need not be known. A negative influence by inaccuracies in one
  • Calibration object such as measuring mark
  • a calibration will also partial invisibility of a calibration object, such as measurement mark, allows.
  • a possibility of movement during the calibration is increased.
  • a camera-camera calibration is also made possible if coverage or joint visibility of a calibration object, such as a measurement mark, is not guaranteed.
  • a complexity of a calibration object can be reduced. An accurate calibration can be performed even if a hand-eye calibration is not possible.
  • FIG. 1 shows a detection of a plurality of measurement marks and a determination of
  • Fig. 2 is a determining a representative axis of rotation
  • FIG. 1 shows a detection of a plurality of measuring marks 100, 102, 104 and a determination of rotational axes 106, 108, 110 in front view and in plan view.
  • the method is here performed for calibrating an industrial robot.
  • the method may also be used to calibrate a mobile platform, multiple vehicle cameras, or a service robot.
  • the industrial robot has a base with a base coordinate system, a manipulator, a TCP coordinate system and a camera as an end effector with a camera coordinate system 1 12.
  • the camera coordinate system 1 12 is a Cartesian coordinate system having an x-axis, a y-axis and a z-axis, wherein the z-axis corresponds to a viewing direction of the camera and the y-axis is directed downward.
  • the process is used to calibrate the industrial robot.
  • the industrial robot is rotated about a first axis of rotation and
  • the cameras of several measuring marks 100, 102, 104 are used to record or scan.
  • a complete 6D pose is obtained for each visible measurement mark 100, 102, 104, which describes a relation of the camera coordinate system 112 and the measurement mark 100, 102, 104.
  • the respective first rotation axes 106, 108, 110 are determined.
  • a representative first rotation axis 14 is determined.
  • the representative first axis of rotation 1 14 is shown in the origin of the camera coordinate system 1 12 and is using the function
  • Concentration parameter and F [ ⁇ 15 ⁇ 2 , ⁇ 3 ] are orthogonal basis vectors.
  • an optimized first rotation axis 15 is determined from the representative first rotation axis 1 14 with a first rotation center 1 16 initially set arbitrarily.
  • 2 shows a 3D cylinder 1 18 on which the measuring marks 102 lie, the optimized first axis of rotation 1 15 and a plane 120 in which the first center of rotation 1 16 lies.
  • the industrial robot is rotated about a second rotation axis and the procedure described above is performed again to determine a second optimized rotation axis 122. If necessary, the

Abstract

The invention relates to a method for determining unknown transformations in a chain of four transformations, wherein two transformations are known, wherein initially, at least one sensor device and a plurality of calibration objects are rotated relative to one another about a first axis of rotation in order to obtain first translation information and first rotation information for each of the calibration objects. Subsequently, the at least one sensor device and the plurality of calibration objects are rotated relative to one another about a second axis of rotation that is oblique to the first axis of rotation in order to obtain second translation information and second rotation information for each of the calibration objects. From the first translation information and the first rotation information, a first optimized axis of rotation (115) and a first rotation center are determined for each of the calibration objects. From the second translation information and the second rotation information, a second optimized axis of rotation (122) is determined for each of the calibration objects, and a point of intersection (128) of the first optimized axis of rotation (115) and the second optimized axis of rotation (122) is determined.

Description

Verfahren zum Bestimmen unbekannter Transformationen  Method for determining unknown transformations
Beschreibung description
Die Erfindung betrifft ein Verfahren zum Bestimmen unbekannter The invention relates to a method for determining unknown
Transformationen in einer geschlossenen Kette von vier Transformationen, wobei zwei Transformationen bekannt sind. Transformations in a closed chain of four transformations, where two transformations are known.
Aus der DE 198 26 395 A1 ist ein Verfahren bekannt zum Erfassen und From DE 198 26 395 A1 a method is known for detecting and
Kompensieren von kinematischen Veränderungen eines Roboters aufgrund interner und/oder externer Einflüsse mit den Schritten: Bereitstellen eines Compensating kinematic changes of a robot due to internal and / or external influences with the steps: Providing a
Robotermodells in Form eines technischen Algorithmus mit einem oder mehreren festgelegten Parametern, welches die theoretische räumliche Stellung des Roboters in Abhängigkeit von einer oder mehreren Steuergrößen beschreibt; Steuern der theoretischen räumlichen Sollstellung des Roboters mit einer Robot model in the form of a technical algorithm with one or more specified parameters, which describes the theoretical spatial position of the robot in dependence on one or more control variables; Controlling the theoretical spatial desired position of the robot with a
Robotersteuerung gemäß dem Robotermodell; Erfassen der tatsächlichen räumlichen Iststellung des Roboters im Betrieb durch eine SensoreinrichtungRobot controller according to the robot model; Detecting the actual spatial actual position of the robot during operation by a sensor device
Erfassen der kinematischen Veränderungen anhand der Abweichung der erfassten tatsächlichen räumlichen Iststellung des Roboters von der theoretischen räumlichen Sollstellung des Roboters; Anpassen des oder der Parameter des Robotermodells zum Kompensieren der kinematischen Veränderungen unter Berücksichtigung der erfassten Abweichung; und Steuern der theoretischen räumlichen Sollstellung des Roboters mit der Robotersteuerung gemäß dem Robotermodell mit dem oder den angepassten Parametern. Detecting the kinematic changes based on the deviation of the detected actual spatial actual position of the robot from the theoretical spatial desired position of the robot; Adjusting the parameter (s) of the robotic model to compensate for the kinematic changes taking into account the detected deviation; and controlling the theoretical spatial target position of the robot with the robot controller according to the robot model with the adjusted parameter (s).
Aus der EP 2 199 036 A2 ist ein Verfahren bekannt zur Kompensation einer kinematischen Abweichung, insbesondere einer Temperaturdrift, eines From EP 2 199 036 A2 a method is known for the compensation of a kinematic deviation, in particular a temperature drift, of a
Manipulators, insbesondere eines Roboters, mit den Schritten: Anfahren verschiedener Posen des Manipulators; Erfassen einer Position eines Manipulator, in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
Manipulatorgliedes mittels einer externen 3D-Positionserfassungseinrichtung in der jeweiligen Pose; und Kompensieren der kinematischen Abweichung auf Basis der erfassten Position des Manipulatorgliedes. Aus der DE 10 2008 060 052 A1 ist ein Verfahren bekannt zur Kompensation einer kinematischen Abweichung, insbesondere einer Temperaturdrift, eines Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member. From DE 10 2008 060 052 A1 a method is known for the compensation of a kinematic deviation, in particular a temperature drift, of a
Manipulators, insbesondere eines Roboters, mit den Schritten: Anfahren verschiedener Posen des Manipulators; Erfassen einer Position eines Manipulator, in particular a robot, comprising the steps of approaching various poses of the manipulator; Capture a position of a
Manipulatorgliedes mittels einer externen 3D-Positionserfassungseinrichtung in der jeweiligen Pose; und Kompensieren der kinematischen Abweichung auf Basis der erfassten Position des Manipulatorgliedes. Manipulatorgliedes by means of an external 3D position detection device in the respective pose; and compensating the kinematic deviation based on the detected position of the manipulator member.
Aus der DE 10 2010 031 248 A1 ist ein Verfahren bekannt zum Vermessen eines eine Befestigungsvorrichtung für einen Endeffektor aufweisenden Roboterarms eines Industrieroboters, der am Ort seiner Anwendung aufgestellt ist, wobei der Industrieroboter den Roboterarm und eine Steuervorrichtung aufweist, die eingerichtet ist, den Roboterarm derart zu bewegen, dass die From DE 10 2010 031 248 A1 a method is known for measuring a robot arm of an industrial robot having an attachment device for an end effector, which is set up at the site of its application, wherein the industrial robot has the robot arm and a control device which is set up the robot arm in such a way to move that
Befestigungsvorrichtung eine innerhalb eines der Anwendung des An attachment device within one of the application of the
Industrieroboters zugeordneten Arbeitsraums vorbestimmte Bewegung Industrial robot associated work space predetermined movement
durchführt, aufweisend folgende Verfahrensschritte: Aufstellen eines mobilen, zur Vermessung des Roboterarms geeigneten Kamerasystems am Ort der Anwendung des Industrieroboters; zumindest indirektes Einmessen eines dem Roboterarm zugeordneten, ortsfesten Roboter-Basis-Koordinatensystems bezüglich des Kamerasystems; Ansteuern des Roboterarms derart, dass die performing, comprising the following method steps: setting up a mobile, suitable for measuring the robot arm camera system at the place of application of the industrial robot; at least indirectly measuring a stationary robot base coordinate system associated with the robot arm with respect to the camera system; Driving the robot arm such that the
Befestigungsvorrichtung vorbestimmte Soll-Positionen und/oder Soll-Posen innerhalb des Arbeitsraums einnimmt; Ermitteln der Ist-Positionen und/oder Ist- Posen der Befestigungsvorrichtung mittels des Kamerasystems; Ermitteln eines Fehlers zwischen den Ist-Positionen und/oder Ist-Posen und den Soll-Positionen und/oder Soll-Posen. Aus der EP 1 584 426 A1 ist Messsystem aufweisend einen Roboter mit einemFastening device assumes predetermined nominal positions and / or desired poses within the working space; Determining the actual positions and / or actual poses of the fastening device by means of the camera system; Determining an error between the actual positions and / or actual poses and the target positions and / or target poses. From EP 1 584 426 A1 is measuring system comprising a robot with a
Werkzeug, welches an dem vorderen Ende eines Arms von diesem angebracht ist, und eine Lichtempfangsvorrichtung; wobei das Messsystem aufweist Mittel zum Versetzen des Roboters in eine Ausgangsposition; Mittel, von denen eine A tool attached to the front end of an arm thereof and a light receiving device; the measuring system comprising means for displacing the robot to a home position; Means, one of which
Abbildung der Zentrierspitze des Werkzeugs, welches an dem vorderen Ende des Arms des Roboters angebracht ist, von der Lichtempfangsvorrichtung aufgenommen wird, um dadurch auf einer Lichtempfangsfläche der Lichtempfangsvorrichtung die Position des Werkzeugmittelpunkts zu bestimmen, wobei dessen Abbildung auf die Lichtempfangsfläche fokussiert ist; Mittel zum Bestimmen des von dem Roboter zurückzulegenden Bewegungswegs auf eine solche Weise, dass die Position des Werkzeugmittelpunkts auf der Illustration of the centering tip of the tool, which is attached to the front end of the arm of the robot, from the light receiving device is thereby detected to determine the position of the tool center on a light-receiving surface of the light-receiving device, the image of which is focused on the light-receiving surface; Means for determining the path of travel to be traveled by the robot in such a manner that the position of the tool center point on the
Lichtempfangsfläche zu einem vorbestimmten Punkt auf der Lichtempfangsfläche bewegt wird; Mittel zum Bewegen des Roboters um den bestimmten  Light receiving surface is moved to a predetermined point on the light receiving surface; Means for moving the robot around the particular one
zurückzulegenden Bewegungsweg; Mittel zum Erlangen und Speichern der Position des Roboters, nachdem der Roboter bewegt wurde; und Mittel, von denen die Position des Werkzeugmittelpunkts hinsichtlich der movement path to be covered; Means for obtaining and storing the position of the robot after the robot has been moved; and means of which the position of the tool center point with respect to
Werkzeuganbringungsfläche des Roboters bestimmt wird, unter Verwendung der Position des Roboters, welche für jede einer Mehrzahl von Anfangspositionen geändert und gespeichert wurde, während die Position der  Tool mounting surface of the robot is determined, using the position of the robot, which has been changed and stored for each of a plurality of initial positions, while the position of the
Lichtempfangsvorrichtung fest ist. Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes Verfahren zu verbessern. Light receiving device is fixed. The invention has for its object to improve a method mentioned above.
Die Lösung der Aufgabe erfolgt mit einem Verfahren mit den Merkmalen des Anspruchs 1. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche. The object is achieved by a method with the features of claim 1. Advantageous developments are the subject of the dependent claims.
Das Verfahren kann zum Kalibrieren dienen. Die Transformationen können eine kinematische Kette bilden. Die Transformationen können mithilfe von vier The method can be used for calibration. The transformations can form a kinematic chain. The transformations can be done by using four
Bezugspunkten verkettet sein. Das Verfahren kann mithilfe eines Industrieroboters durchgeführt werden. Der Industrieroboter kann eine Basis aufweisen. Der Basis kann ein Basiskoordinatensystem zugeordnet sein. Das Basiskoordinatensystem kann ein kartesisches Koordinatensystem sein. Das Basiskoordinatensystem kann einen Ursprung aufweisen. Der Industrieroboter kann einen Manipulator aufweisen. Der Manipulator kann mehrere Armabschnitte und mehrere Gelenke aufweisen. Die Gelenke können dazu dienen, den Manipulator gelenkig mit der Basis zu verbinden und/oder die Armabschnitte gelenkig miteinander zu verbinden. Der Industrieroboter kann einen Tool Center Point (TCP) aufweisen. Dem TCP kann ein TCP-Koordinatensystem zugeordnet sein. Das TCP-Koordinatensystem kann ein kartesisches Koordinatensystem sein. Das TCP-Koordinatensystem kann einen Ursprung aufweisen. Eine relative Zuordnung des Basiskoordinatensystems und des TCP-Koordinatensystems zueinander kann bekannt sein. Der Industrieroboter kann einen Effektor aufweisen. Der Effektor kann ein Endeffektor sein. Der Effektor kann eine Sensoreinrichtung sein. Die Sensoreinrichtung kann eine Kamera aufweisen. Dem Effektor kann ein Effektorkoordinatensystem zugeordnet sein. Das Effektorkoordinatensystem kann ein kartesisches Koordinatensystem sein. Das Effektorkoordinatensystem kann einen Ursprung aufweisen. Eine relative Zuordnung des Basiskoordinatensystems und des Effektorkoordinatensystems zueinander kann bekannt sein. Eine relative Zuordnung des TCP- Koordinatensystems und des Effektorkoordinatensystems zueinander kann bekannt sein. Be chained to reference points. The process can be performed using an industrial robot. The industrial robot may have a base. The base can be assigned a basic coordinate system. The base coordinate system can be a Cartesian coordinate system. The base coordinate system may have an origin. The industrial robot may have a manipulator. The manipulator may have multiple arm portions and multiple joints. The joints may serve to articulate the manipulator to the base and / or to articulate the arm portions together. The industrial robot can have a Tool Center Point (TCP). The TCP can be assigned a TCP coordinate system. The TCP coordinate system can to be a Cartesian coordinate system. The TCP coordinate system may have an origin. Relative assignment of the base coordinate system and the TCP coordinate system to each other may be known. The industrial robot may have an effector. The effector may be an end effector. The effector may be a sensor device. The sensor device can have a camera. The effector may be associated with an effector coordinate system. The effector coordinate system may be a Cartesian coordinate system. The effector coordinate system may have an origin. Relative mapping of the base coordinate system and the effector coordinate system to each other may be known. A relative association of the TCP coordinate system and the effector coordinate system with each other may be known.
Der Ursprung des Basiskoordinatensystems kann einen ersten Bezugspunkt bilden. Der Ursprung des TCP-Koordinatensystems kann einen zweiten The origin of the base coordinate system may form a first reference point. The origin of the TCP coordinate system can be a second one
Bezugspunkt bilden. Der Ursprung des Effektorkoordinatensystems kann einen dritten Bezugspunkt bilden. Kalibrierobjekte können vierte Bezugspunkte bilden. Die Kalibrierobjekte können Messmarken sein. Die Messmarken können jeweils eine beliebige Geometrie aufweisen. Make reference point. The origin of the effector coordinate system can form a third reference point. Calibration objects can form fourth reference points. The calibration objects can be measurement marks. The measuring marks can each have any geometry.
Eine erste Transformation kann eine Transformation zwischen dem ersten A first transformation can be a transformation between the first
Bezugspunkt und dem zweiten Bezugspunkt sein. Eine zweite Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem dritten Bezugspunkt sein. Eine dritte Transformation kann eine Transformation zwischen dem dritten Bezugspunkt und dem vierten Bezugspunkt sein. Eine vierte Be reference point and the second reference point. A second transformation may be a transformation between the second reference point and the third reference point. A third transformation may be a transformation between the third reference point and the fourth reference point. A fourth
Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem vierten Bezugspunkt sein. Die erste Transformation kann bekannt sein. Die zweite Transformation kann unbekannt sein. Die dritte Transformation kann bekannt sein. Die vierte Transformation kann unbekannt sein. Transformation may be a transformation between the first reference point and the fourth reference point. The first transformation can be known. The second transformation may be unknown. The third transformation may be known. The fourth transformation may be unknown.
Eine erste Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem dritten Bezugspunkt sein. Eine zweite Transformation kann eine Transformation zwischen dem zweiten Bezugspunkt und dem vierten Bezugspunkt sein. Eine dritte Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem vierten Bezugspunkt sein. Eine vierte A first transformation may be a transformation between the second reference point and the third reference point. A second transformation may be a transformation between the second reference point and the fourth Be reference point. A third transformation may be a transformation between the first reference point and the fourth reference point. A fourth
Transformation kann eine Transformation zwischen dem ersten Bezugspunkt und dem dritten Bezugspunkt sein. Die mehreren Kalibrierobjekte können unbewegt sein und die wenigstens eine Sensoreinrichtung kann zu den mehreren Kalibrierobjekten rotiert werden. Die wenigstens eine Sensoreinrichtung kann unbewegt sein und die mehreren Transformation may be a transformation between the first reference point and the third reference point. The plurality of calibration objects may be stationary and the at least one sensor device may be rotated to the plurality of calibration objects. The at least one sensor device may be stationary and the plurality
Kalibrierobjekte können zu der wenigstens einen Sensoreinrichtung rotiert werden. Calibration objects can be rotated to the at least one sensor device.
Die mehreren Kalibrierobjekte können beim Rotieren mithilfe der wenigstens einen Sensoreinrichtung sensiert werden. Wenn die Sensoreinrichtung eine Kamera aufweist, können die mehreren Kalibrierobjekte beim Rotieren mithilfe der Kamera aufgenommen werden. The multiple calibration objects can be sensed during rotation by means of the at least one sensor device. If the sensor device has a camera, the multiple calibration objects can be recorded while rotating using the camera.
Die Translationsinformationen und die Rotationsinformationen können 6D- Transformationen bilden. Die erste Rotationsachse und die zweite Rotationsachse können zueinander nicht-parallel sein. The translation information and the rotation information can form 6D transformations. The first rotation axis and the second rotation axis may be non-parallel to each other.
Die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte können relativ zueinander um wenigstens eine weitere zu der ersten Rotationsachse und zu der zweiten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte weitere Translationsinformationen und weitere The at least one sensor device and the plurality of calibration objects can be rotated relative to one another by at least one further rotation axis inclined to the first rotation axis and to the second rotation axis in order to provide further translation information for each of the calibration objects and further
Rotationsinformationen zu erhalten. To obtain rotation information.
Aus den weiteren Translationsinformationen und den weiteren From the further translation information and the others
Rotationsinformationen kann für jedes der Kalibrierobjekte wenigstens eine weitere optimierte Rotationsachse und wenigstens ein weiteres Rotationszentrum bestimmt werden. Ein Schnittpunkt der ersten optimierten Rotationsachse, der zweiten optimierten Rotationsachse und der wenigstens einen weiteren optimierte Rotationsachse kann bestimmt werden. Mithilfe des Schnittpunkts kann die wenigstens eine Sensoreinrichtung einem bekannten Koordinatensystem zugeordnet werden. Das bekannte Rotation information can be determined for each of the calibration objects at least one further optimized rotation axis and at least one further rotation center. An intersection of the first optimized rotation axis, the second optimized rotation axis and the at least one further optimized rotation axis may be determined. With the aid of the point of intersection, the at least one sensor device can be assigned to a known coordinate system. The known
Koordinatensystem kann ein Roboterkoordinatensystem sein. Mithilfe des Coordinate system can be a robot coordinate system. With the help of
Schnittpunkts können wenigstens zwei Sensoreinrichtungen einander zugeordnet werden. Intersection point, at least two sensor devices can be assigned to each other.
Die wenigstens eine Sensoreinrichtung kann dem bekannten Koordinatensystem mithilfe der Bingham-Verteilung zugeordnet werden. Die wenigstens zwei The at least one sensor device can be assigned to the known coordinate system by means of the Bingham distribution. The least two
Sensoreinrichtungen können einander mithilfe der Bingham-Verteilung zugeordnet werden. Die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte können mithilfe eines Industrieroboters relativ zueinander rotiert werden. Dabei kann der Industrieroboter um zwei Roboterachsen rotieren. Die zwei Roboterachsen können robotereigene Achsen sein. Sensor devices can be assigned to each other using the Bingham distribution. The at least one sensor device and the plurality of calibration objects can be rotated relative to one another by means of an industrial robot. The industrial robot can rotate around two robot axes. The two robot axes can be robot own axes.
Das Verfahren kann zum Kalibrieren eines Industrieroboters, einer mobilen The method can be used to calibrate an industrial robot, a mobile robot
Plattform, mehrere Fahrzeugkameras oder eines Serviceroboters verwendet werden. Platform, multiple vehicle cameras or a service robot can be used.
Zusammenfassend und mit anderen Worten dargestellt ergibt sich somit durch die Erfindung unter anderem eine Kalibrierungsmethode zur Roboter-Hand-Auge- Kalibrierung und/oder Kamera zu Kamera Kalibrierung. Das Verfahren beruht auf einer Aufnahme von optischen Messmarken mit einem an einem Roboter angebrachten Kamerasystem während einer Rotationsbewegung des Roboters. Für jeden Marker kann eine 6D Transformation (Position und Rotation) erhalten werden. Durch Optimierungsverfahren können für viele beobachtete Marker während der Rotation die Achse und der Mittelpunkt der durchgeführten Rotation des Roboters bestimmt werden. Wird dieser Schritt mit einer anderen In summary and in other words, the invention thus provides inter alia a calibration method for robot hand-eye calibration and / or camera-to-camera calibration. The method is based on a recording of optical measuring marks with a camera system mounted on a robot during a rotational movement of the robot. For each marker a 6D transformation (position and rotation) can be obtained. Optimization techniques allow many observed markers during rotation to determine the axis and center of rotation of the robot. Will this step with another
Konfiguration des Roboter wiederholt, also zum Beispiel einem Verkippen des Roboters um eine Hochachse, können erneut die Achse und der Mittelpunkt der Rotation bestimmt werden. Der Schnittpunkt dieser beiden Geraden kann zu einem bekannten Punkt in einem Roboterkoordinatensystem korrespondieren. damit ist eine Zuordnung von Kamera zu Roboterkoordinatensystem möglich. Ebenso ist bei mehreren Kameras eine Bestimmung einer relativen Lage der Kameras möglich. Configuration of the robot repeated, for example, a tilting of the robot about a vertical axis, again the axis and the center of the rotation can be determined. The intersection of these two lines may correspond to a known point in a robot coordinate system. This allows an assignment from camera to robot coordinate system. Likewise, a determination of a relative position of the cameras is possible with several cameras.
Eine Hand Auge Kalibrierung kann auch in Fällen, in denen der Roboter kein bekanntes Kalibrierobjekt im Sichtfeld der Kameras bewegen kann, ermöglicht werden. Dies kann einschließen: Kalibrierung ohne Kenntnis einer A hand eye calibration can also be enabled in cases where the robot can not move a known calibration object in the field of view of the cameras. This may include: Calibration without knowledge of one
Roboterkinematik, damit auch Kalibrierung von Kameras auf jedem mechanisch gekoppelten System ohne Kenntnis der Lage. Eine Kalibrierung kann mithilfe einer einfachen realisierbaren Bewegungsprozedur durchgeführt werden. Es ist hinreichend, wenn sich der Roboter um zwei eigene Rotationsachsen dreht. Eine Kalibrierung ohne Kenntnis einer Geometrie eines Kalibrierobjekts wird ermöglicht. Das Kalibrierobjekt kann ein Marker sein. Das Kalibrierobjekt muss keine exakte Geometrie aufweisen. Aussagen über Ungenauigkeitsrichtungen der Kalibrierung werden ermöglicht. Rückschlüsse werden ermöglicht darüber, in welcher Richtung Ungenauigkeiten vorherrschen. Diese können direkt während der Kalibrierung genutzt werden, um eine autonome Kalibrierung hoher Güte zu erhalten. Mit dem Verfahren kann ebenso eine autonome Validierung anhand einer Beobachtung von Messmarkern durchgeführt werden, das heißt es kann festgestellt werden, ob die Kalibrierung noch gültig/präzise genug ist und falls nicht, kann automatische eine Neu-Kalibrierung initiiert werden. Dies wird ermöglicht, indem kein Kalibrierobjekt montiert werden muss. Eine Kalibrierung bei nicht überlappenden Kameras und/oder bei Kameras mit sehr unterschiedlichen Blickwinkeln ist ermöglicht. Ein Kalibriermuster muss nicht in allen Kameras sichtbar sein. Robot kinematics, thereby also calibrating cameras on any mechanically coupled system without knowing the location. Calibration can be performed using a simple, realizable motion procedure. It is sufficient if the robot turns around its own axis of rotation. A calibration without knowledge of a geometry of a calibration object is made possible. The calibration object can be a marker. The calibration object does not have to have an exact geometry. Statements about inaccuracy directions of the calibration are made possible. Inferences are made possible in which direction inaccuracies prevail. These can be used directly during calibration to obtain high-quality autonomous calibration. The method can also perform autonomous validation based on observation of measurement markers, that is, it can be determined whether the calibration is still valid / accurate enough and, if not, automatic re-calibration can be initiated. This is made possible by not having to mount a calibration object. Calibration is possible for non-overlapping cameras and / or for cameras with very different viewing angles. A calibration pattern does not have to be visible in all cameras.
Mit der Erfindung wird eine Kalibrierung vereinfacht. Eine Kalibrierung wird auch bei unbekannter Roboterkinematik ermöglicht. Eine Roboterkinematik muss nicht bekannt sein. Ein externes Trackingsystem kann entfallen. Eine Kalibrierung wird auch bei unbekannter Geometrie eines Kalibrierobjekts, wie Messmarke, ermöglicht. Eine Geometrie eines Kalibrierobjekts, wie Messmarke, muss nicht bekannt sein. Eine negative Beeinflussung durch Ungenauigkeiten in einem With the invention calibration is simplified. Calibration is also possible with unknown robot kinematics. A robot kinematics does not have to be known. An external tracking system can be omitted. A calibration is also possible with unknown geometry of a calibration object, such as a measurement mark. A geometry of a calibration object, such as a measurement mark, need not be known. A negative influence by inaccuracies in one
Kalibrierobjekt, wie Messmarke, kann vermeiden werden. Eine Kalibrierung wird auch teilweiser Unsichtbarkeit eines Kalibrierobjekts, wie Messmarke, ermöglicht. Eine Bewegungsmöglichkeit bei der Kalibrierung wird erhöht. Eine Kamera-Kamer- Kalibrierung wird auch ermöglicht, wenn eine Überdeckung bzw. gemeinsame Sichtbarkeit eines Kalibrierobjekts, wie Messmarke, nicht gewährleistet ist. Eine Komplexität eines Kalibrierobjekts kann reduziert werden. Eine exakte Kalibrierung kann auch dann durchgeführt werden, wenn eine Hand-Auge-Kalibrierung nicht möglich ist. Calibration object, such as measuring mark, can be avoided. A calibration will also partial invisibility of a calibration object, such as measurement mark, allows. A possibility of movement during the calibration is increased. A camera-camera calibration is also made possible if coverage or joint visibility of a calibration object, such as a measurement mark, is not guaranteed. A complexity of a calibration object can be reduced. An accurate calibration can be performed even if a hand-eye calibration is not possible.
Mit„kann" sind insbesondere optionale Merkmale der Erfindung bezeichnet. Demzufolge gibt es jeweils ein Ausführungsbeispiel der Erfindung, das das jeweilige Merkmal oder die jeweiligen Merkmale aufweist. In particular, optional features of the invention are referred to as "may." Accordingly, there is an embodiment of the invention each having the respective feature or features.
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren näher beschrieben. Aus dieser Beschreibung ergeben sich weitere Hereinafter, embodiments of the invention will be described with reference to figures. From this description, there are more
Merkmale und Vorteile. Konkrete Merkmale dieser Ausführungsbeispiele können allgemeine Merkmale der Erfindung darstellen. Mit anderen Merkmalen Features and benefits. Concrete features of these embodiments may represent general features of the invention. With other features
verbundene Merkmale dieser Ausführungsbeispiele können auch einzelne Connected features of these embodiments may also be individual
Merkmale der Erfindung darstellen. Represent features of the invention.
Es zeigen schematisch und beispielhaft: They show schematically and by way of example:
Fig. 1 ein Erfassen mehrerer Messmarken und ein Bestimmen von FIG. 1 shows a detection of a plurality of measurement marks and a determination of
Rotationsachsen in Frontansicht und in Draufsicht, Fig. 2 ein Bestimmen einer repräsentativen Rotationsachse und  Rotation axes in front view and in plan view, Fig. 2 is a determining a representative axis of rotation and
Fig. 3 ein Bestimmen eines finalen Rotationszentrums. 3 shows a determination of a final center of rotation.
Fig. 1 zeigt ein Erfassen mehrerer Messmarken 100, 102, 104 und ein Bestimmen von Rotationsachsen 106, 108, 1 10 in Frontansicht und in Draufsicht. Das 1 shows a detection of a plurality of measuring marks 100, 102, 104 and a determination of rotational axes 106, 108, 110 in front view and in plan view. The
Verfahren wird vorliegend zum Kalibrieren eines Industrieroboters durchgeführt. Das Verfahren kann auch zum Kalibrieren einer mobilen Plattform, mehrerer Fahrzeugkameras oder eines Serviceroboters verwendet werden. Der Industrieroboter weist eine Basis mit einem Basiskoordinatensystem, einen Manipulator, ein TCP-Koordinatensystem und eine Kamera als Endeffektor mit einem Kamerakoordinatensystem 1 12 auf. Das Kamerakoordinatensystem 1 12 ist ein kartesisches Koordinatensystem mit einer x-Achse, einer y-Achse und einer z- Achse, wobei die z-Achse einer Blickrichtung der Kamera entspricht und die y- Achse nach unten gerichtet ist. Mithilfe des Verfahrens wird der Industrieroboter kalibriert. Method is here performed for calibrating an industrial robot. The method may also be used to calibrate a mobile platform, multiple vehicle cameras, or a service robot. The industrial robot has a base with a base coordinate system, a manipulator, a TCP coordinate system and a camera as an end effector with a camera coordinate system 1 12. The camera coordinate system 1 12 is a Cartesian coordinate system having an x-axis, a y-axis and a z-axis, wherein the z-axis corresponds to a viewing direction of the camera and the y-axis is directed downward. The process is used to calibrate the industrial robot.
Dazu wird der Industrieroboter um eine erste Rotationsachse rotiert und For this purpose, the industrial robot is rotated about a first axis of rotation and
gleichzeitig werden mithilfe der Kamera mehrerer Messmarken 100, 102, 104, wie AprilTag Marker, aufgenommen bzw. abgetastet. Dabei wird für jede sichtbare Messmarke 100, 102, 104 eine vollständige 6D-Pose erhalten, die eine Relation des Kamerakoordinatensystems 1 12 und der Messmarke 100, 102, 104 beschreibt. Darauf basierend werden die jeweiligen ersten Rotationsachsen 106, 108, 1 10 bestimmt. Durch Anwenden der Bingham-Verteilung auf die ersten Rotationsachsen 106, 108, 1 10 wird eine repräsentative erste Rotationsachse 1 14 bestimmt. Die at the same time, the cameras of several measuring marks 100, 102, 104, such as AprilTag markers, are used to record or scan. In this case, a complete 6D pose is obtained for each visible measurement mark 100, 102, 104, which describes a relation of the camera coordinate system 112 and the measurement mark 100, 102, 104. Based on this, the respective first rotation axes 106, 108, 110 are determined. By applying the Bingham distribution to the first rotation axes 106, 108, 110, a representative first rotation axis 14 is determined. The
Bingham-Verteilung ist eine antipodisch symmetrische Bingham distribution is an antipodal symmetric
Wahrscheinlichkeitsverteilung auf einer n-Kugeloberfläche. Die repräsentative erste Rotationsachse 1 14 ist im Ursprung des Kamerakoordinatensystems 1 12 dargestellt und wird mithilfe der Funktion  Probability distribution on an n-spherical surface. The representative first axis of rotation 1 14 is shown in the origin of the camera coordinate system 1 12 and is using the function
B(x; K, V) :=— exp(£ κ,. (vf κ)2) , B (x; K, V): = - exp (£ κ,. (Vf κ) 2 ),
F(KL F K2 , K3 ) I=L bestimmt, wobei x eine Achse, beispielsweise ein Einheitsvektor, κ κ2, κ3 F (K LF K 2 , K 3 ) I = L , where x is an axis, for example a unit vector, κ κ 2 , κ 3
Konzentrationsparameter und F = [υ15υ2,υ3] orthogonale Basisvektoren sind. Concentration parameter and F = [υ 15 υ 2 , υ 3 ] are orthogonal basis vectors.
F(K1 , K2 , K3 ) ist ein Nomalisierungsterm, sodass die Verteilung auf einer F (K 1 , K 2 , K 3 ) is a nomalization term, so that the distribution on a
Oberfläche einer Hyperkugel zusammengeführt wird. Es kann ein Surface of a hyper sphere is merged. It can be one
Optimierungsschritt folgen. Nach dem Bestimmen der repräsentativen ersten Rotationsachse 1 14 wird aus der repräsentativen ersten Rotationsachse 1 14 eine optimierte erste Rotationsachse 1 15 mit einem zunächst beliebig festgelegten ersten Rotationszentrum 1 16 bestimmt. Fig. 2 zeigt einen 3D-Zylinder 1 18, auf dem die Messmarken 102 liegen, die optimierte erste Rotationsachse 1 15 und eine Ebene 120, in der das erste Rotationszentrum 1 16 liegt. Follow optimization step. After determining the representative first rotation axis 1 14, an optimized first rotation axis 15 is determined from the representative first rotation axis 1 14 with a first rotation center 1 16 initially set arbitrarily. 2 shows a 3D cylinder 1 18 on which the measuring marks 102 lie, the optimized first axis of rotation 1 15 and a plane 120 in which the first center of rotation 1 16 lies.
Nachfolgend wird der Industrieroboter um eine zweite Rotationsachse rotiert und die oben beschriebene Prozedur wird erneut durchgeführt, um eine zweite optimierte Rotationsachse 122 zu bestimmen. Gegebenenfalls wird der Subsequently, the industrial robot is rotated about a second rotation axis and the procedure described above is performed again to determine a second optimized rotation axis 122. If necessary, the
Industrieroboter um weitere Rotationsachsen rotiert und die Prozedur wiederholt durchgeführt, um weitere optimierte Rotationsachsen, wie 124, zu bestimmen. Das finale Rotationszentrum 126 ergibt sich im Schnittpunkt 128 der Rotates industrial robot to further rotation axes and the procedure repeatedly performed to determine other optimized rotation axes, such as 124 ,. The final center of rotation 126 results at the intersection 128 of FIG
Rotationsachsen 1 15, 122, 124. Rotation axes 1 15, 122, 124.
Bezugszeichen reference numeral
100 Kalibrierobjekt, Messmarke 100 calibration object, measuring mark
102 Kalibrierobjekt, Messmarke  102 Calibration object, measuring mark
104 Kalibrierobjekt, Messmarke  104 Calibration object, measuring mark
106 erste Rotationsachse  106 first axis of rotation
108 erste Rotationsachse  108 first axis of rotation
1 10 erste Rotationsachse  1 10 first axis of rotation
1 12 Kamerakoordinatensystem  1 12 Camera coordinate system
1 14 repräsentative erste Rotationsachse 1 14 representative first axis of rotation
1 15 optimierte erste Rotationsachse 1 15 optimized first rotation axis
1 16 erstes Rotationszentrum  1 16 first rotation center
1 18 3D-Zylinder  1 18 3D cylinders
120 Ebene  120 level
122 zweite optimierte Rotationsachse  122 second optimized rotation axis
124 weitere optimierte Rotationsachse 124 more optimized rotation axis
126 finales Rotationszentrum 126 final center of rotation
128 Schnittpunkt  128 intersection

Claims

Patentansprüche claims
1 . Verfahren zum Bestimmen unbekannter Transformationen in einer 1 . Method for determining unknown transformations in one
geschlossenen Kette von vier Transformationen, wobei zwei Transformationen bekannt sind, dadurch gekennzeichnet, dass  closed chain of four transformations, where two transformations are known, characterized in that
- zunächst wenigstens eine Sensoreinrichtung und mehrere Kalibrierobjekte (100, 102, 104) relativ zueinander um eine erste Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte (100, 102, 104) erste  - First, at least one sensor device and a plurality of calibration objects (100, 102, 104) are rotated relative to each other about a first axis of rotation in order for each of the calibration objects (100, 102, 104) first
Translationsinformationen und erste Rotationsinformationen zu erhalten, To get translation information and first rotation information,
- nachfolgend die wenigstens eine Sensoreinrichtung und die mehreren - Subsequently, the at least one sensor device and the plurality
Kalibrierobjekte (100, 102, 104) relativ zueinander um eine zweite zu der ersten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte zweite Translationsinformationen und zweite  Kalibrierobjekte (100, 102, 104) are rotated relative to each other about a second axis of rotation oblique to the first axis of rotation, for each of the calibration objects second translation information and second
Rotationsinformationen zu erhalten,  To obtain rotation information
- aus den ersten Translationsinformationen und den ersten  - from the first translation information and the first
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) eine erste optimierte Rotationsachse (1 15) und ein erstes Rotationszentrum (1 16) bestimmt wird,  Rotation information for each of the calibration objects (100, 102, 104) a first optimized rotation axis (15) and a first rotation center (16) is determined,
- aus den zweiten Translationsinformationen und den zweiten  from the second translation information and the second
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) eine zweite optimierte Rotationsachse (122) bestimmt wird und  Rotation information for each of the calibration objects (100, 102, 104) a second optimized axis of rotation (122) is determined, and
- ein Schnittpunkt (128) der ersten optimierten Rotationsachse (1 15) und der zweiten optimierten Rotationsachse (122) bestimmt wird.  - An intersection point (128) of the first optimized axis of rotation (1 15) and the second optimized axis of rotation (122) is determined.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass 2. The method according to claim 1, characterized in that
- die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte (100, 102, 104) relativ zueinander um wenigstens eine weitere zu der ersten Rotationsachse und zu der zweiten Rotationsachse schräge Rotationsachse rotiert werden, um für jedes der Kalibrierobjekte weitere  - The at least one sensor device and the plurality of calibration objects (100, 102, 104) are rotated relative to each other by at least one further to the first axis of rotation and the second axis of rotation oblique axis of rotation, for each of the calibration objects more
Translationsinformationen und weitere Rotationsinformationen zu erhalten. - aus den weiteren Translationsinformationen und den weiteren Get translation information and more rotation information. - from the further translation information and the others
Rotationsinformationen für jedes der Kalibrierobjekte (100, 102, 104) wenigstens eine weitere optimierte Rotationsachse (124) und wenigstens ein weiteres Rotationszentrum bestimmt wird und  Rotation information for each of the calibration objects (100, 102, 104) at least one further optimized rotation axis (124) and at least one further rotation center is determined and
- ein Schnittpunkt (128) der ersten optimierten Rotationsachse (1 15), der zweiten optimierten Rotationsachse (122) und der wenigstens einen weiteren optimierte Rotationsachse (124) bestimmt wird.  - An intersection (128) of the first optimized axis of rotation (1 15), the second optimized axis of rotation (122) and the at least one further optimized axis of rotation (124) is determined.
3. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mithilfe des Schnittpunkts (128) die wenigstens eine Sensoreinrichtung einem bekannten Koordinatensystem zugeordnet wird. 3. The method according to at least one of the preceding claims, characterized in that by means of the intersection point (128), the at least one sensor device is assigned to a known coordinate system.
4. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mithilfe des Schnittpunkts (128) wenigstens zwei Sensoreinrichtungen einander zugeordnet werden. 4. The method according to at least one of the preceding claims, characterized in that using the point of intersection (128) at least two sensor devices are assigned to each other.
5. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung dem bekannten Koordinatensystem oder die wenigstens zwei Sensoreinrichtungen einander mithilfe einer Bingham-Verteilung zugeordnet werden. 5. The method according to at least one of the preceding claims, characterized in that the at least one sensor device to the known coordinate system or the at least two sensor devices are assigned to each other using a Bingham distribution.
6. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung und die mehreren Kalibrierobjekte (100, 102, 104) mithilfe eines Industrieroboters relativ zueinander rotiert werden, wobei der Industrieroboter um zwei Roboterachsen rotiert. 6. The method according to at least one of the preceding claims, characterized in that the at least one sensor device and the plurality of calibration objects (100, 102, 104) by means of an industrial robot are rotated relative to each other, wherein the industrial robot rotates about two robot axes.
7. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mehreren Kalibrierobjekte (100, 102, 104) jeweils eine beliebige Geometrie aufweisen. 7. The method according to at least one of the preceding claims, characterized in that the plurality of calibration objects (100, 102, 104) each having an arbitrary geometry.
8. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Sensoreinrichtung eine Kamera aufweist. 8. The method according to at least one of the preceding claims, characterized in that the at least one sensor device comprises a camera.
9. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zum Kalibrieren eines Industrieroboters, einer mobilen Plattform, mehrere Fahrzeugkameras oder eines Serviceroboters verwendet wird. 9. The method according to at least one of the preceding claims, characterized in that the method for calibrating an industrial robot, a mobile platform, a plurality of vehicle cameras or a service robot is used.
EP18715652.6A 2017-04-07 2018-04-03 Method for determining unknown transformations Withdrawn EP3606704A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017107593.3A DE102017107593B4 (en) 2017-04-07 2017-04-07 Method for determining unknown transformations
PCT/EP2018/058416 WO2018185065A1 (en) 2017-04-07 2018-04-03 Method for determining unknown transformations

Publications (1)

Publication Number Publication Date
EP3606704A1 true EP3606704A1 (en) 2020-02-12

Family

ID=61899271

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18715652.6A Withdrawn EP3606704A1 (en) 2017-04-07 2018-04-03 Method for determining unknown transformations

Country Status (3)

Country Link
EP (1) EP3606704A1 (en)
DE (1) DE102017107593B4 (en)
WO (1) WO2018185065A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19826395A1 (en) 1998-06-12 1999-12-23 Amatec Gmbh Method for capturing and compensating for kinematic changes in a robot
JP4191080B2 (en) 2004-04-07 2008-12-03 ファナック株式会社 Measuring device
DE102004024378B4 (en) 2004-05-17 2009-05-20 Kuka Roboter Gmbh Method for robot-assisted measurement of objects
DE102008060052A1 (en) 2008-12-02 2010-06-17 Kuka Roboter Gmbh Method and device for compensating a kinematic deviation
DE102009005495A1 (en) 2009-01-21 2010-07-22 Kuka Roboter Gmbh Manipulator system and method for compensating a kinematic deviation of a manipulator system
DE102009014766B4 (en) 2009-03-25 2012-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Superimposed axes in a device for machining a workpiece with a tool
JP4763074B2 (en) 2009-08-03 2011-08-31 ファナック株式会社 Measuring device and measuring method of position of tool tip of robot
DE102010031248A1 (en) 2010-07-12 2012-01-12 Kuka Roboter Gmbh Method for measuring a robot arm of an industrial robot
EP2722136A1 (en) 2012-10-19 2014-04-23 inos Automationssoftware GmbH Method for in-line calibration of an industrial robot, calibration system for performing such a method and industrial robot comprising such a calibration system
JP6108860B2 (en) 2013-02-14 2017-04-05 キヤノン株式会社 Robot system and control method of robot system

Also Published As

Publication number Publication date
WO2018185065A1 (en) 2018-10-11
DE102017107593A1 (en) 2018-10-11
DE102017107593B4 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
DE112016002797B4 (en) CALIBRATION DEVICE AND ROBOT SYSTEM WITH SUCH A CALIBRATION DEVICE
DE102018129143B4 (en) Variable measurement object-dependent camera structure and calibration thereof
EP1602456B1 (en) Method and device for controlling manipulators
EP3255378B1 (en) Measuring device and method for adjusting the position of a rotation-symmetrical workpiece
DE102009034529B4 (en) Automatic guidance and detection system and method for this
DE102017117837A1 (en) Laser processing robot system and laser processing method
EP2989872B1 (en) Placement apparatus and placement method
DE102010031248A1 (en) Method for measuring a robot arm of an industrial robot
DE102012112025B4 (en) Method and devices for determining the position of a kinematics
DE102017003993B4 (en) Calibration of a robot
DE102021209178A1 (en) Method and device for determining relative poses and for calibration in a coordinate measuring machine or robot
DE112019005484T5 (en) Automatic calibration for a camera-robot system with tool offsets
WO2003035333A2 (en) 3d coordinate measuring system
WO2005031647A1 (en) Method and device for contactless optical determination of the 3-d position of an object
DE10143753A1 (en) Calibration process for the motion of an industrial handling robot arm, involves setting tool centre position of arm as reference position
DE102019102927B4 (en) Method and device for determining dimensional and/or geometric properties of a measurement object
EP3606704A1 (en) Method for determining unknown transformations
DE102015109557A1 (en) Method for setting a test or measuring position of a non-contact sensor or actuator
DE102006005990B4 (en) Workpiece measurement for 3-D position detection in several multi-robot stations
EP1120204A2 (en) Method for calibrating an industrial robot
DE102019131401B3 (en) Calibration of an impedance control of a robot manipulator
EP3465076B1 (en) Device for measuring objects
EP1471401B1 (en) Method for measurement of the coordinate system of a robot camera relative to the coordinate system of the robot or vice versa
DE112021002301T5 (en) DEVICE FOR OBTAINING A POSITION OF A VISUAL SENSOR IN THE CONTROL COORDINATE SYSTEM OF A ROBOT, ROBOT SYSTEM, METHOD AND COMPUTER PROGRAM
WO2007090557A2 (en) Method for generating an environmental image

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191025

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220316

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220927