EP4323965A1 - Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes - Google Patents

Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes

Info

Publication number
EP4323965A1
EP4323965A1 EP22718134.4A EP22718134A EP4323965A1 EP 4323965 A1 EP4323965 A1 EP 4323965A1 EP 22718134 A EP22718134 A EP 22718134A EP 4323965 A1 EP4323965 A1 EP 4323965A1
Authority
EP
European Patent Office
Prior art keywords
camera
end effector
coordinates
key points
keypoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22718134.4A
Other languages
English (en)
French (fr)
Inventor
Kai Londenberg
Zsolt Farkas
Daniel Schulze
Maxim DERKSEN
Lisa RANGOSCH
Peter MOTZKO
Robert SCHIRMER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4323965A1 publication Critical patent/EP4323965A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a method and a device for annotating images recorded with the aid of a camera according to the independent claims.
  • the object of the present invention is to automate a method for annotating images recorded by a camera.
  • the aforementioned object is achieved by a method for annotating images of an object recorded with the aid of a camera, the camera being arranged on a robot arm and the robot arm comprising an end effector.
  • the method includes determining a position and an orientation of the camera relative to the end effector.
  • the camera includes a camera coordinate system.
  • the robot arm which is preferably arranged on a movable robot, has the end effector.
  • the end effector is in particular the free end of the robot arm. In other words, it is the last arm link of the robot arm, which in particular can include a gripping arm.
  • an end effector can be a hand.
  • the world coordinates of the end effector are known, with the relation of the world coordinates of the end effector to the camera being determined by determining a position and an orientation of the camera relative to the end effector. In other words a connection is established between the world coordinate system and the camera coordinate system.
  • the determination of a position and an orientation of the camera relative to the end effector can in particular include a hand-eye calibration.
  • a calibration object for example an image with a checkerboard pattern
  • This calibration object is recorded by the camera from different positions and different orientations of the camera.
  • the captured images are saved along with the different positions and orientations. Since the configuration of the calibration object, for example the exact pattern and dimensions of the individual square areas in the case of a chessboard pattern, is known, a connection between the position and orientation of the end effector and the camera perspective, in other words the camera coordinate system, can be determined.
  • the world coordinates of the camera can thus be derived in the world coordinate system.
  • the camera can therefore be calibrated extrinsically.
  • optical errors in the camera can also be determined in the manner described above.
  • a lens distortion can be detected, for example, by a distortion of the calibration object shown in a recorded image.
  • the camera can therefore also be intrinsically calibrated, since the imaging depends on the optical errors, for example lens distortions.
  • the method includes choosing a first keypoint on the object.
  • the first key point is chosen freely.
  • the method includes the provision of information from further key points relative to the first key point in object coordinates, that is to say in other words in an object coordinate system.
  • the key points are thus previously defined points on the object.
  • the provision of this information can primarily include measuring the respective position of the further key points in relation to the first key point on the object. This can include, for example, manually measuring the relative positions of the other key points in relation to the first key point.
  • the method can include using already existing information about the dimensions of the object. The relative positions can be determined on the basis of the information already available, for example using technical drawings or dimensions from DIN standards.
  • the method includes guiding the end effector to the position of the first keypoint. In other words, the end effector is brought to the exact position of the first keypoint.
  • guiding to the position of the first keypoint involves manually moving the end effector to the first keypoint.
  • the end effector can in particular be a plug, and the object can be a socket.
  • the plug can be inserted into the socket and thus the end effector can be guided to the first key point.
  • the robot can in particular be a mobile charging robot.
  • the method includes determining the position and orientation of the end effector at the first keypoint in world coordinates. From these, the world coordinates of the first key point can be deduced. Since the position and the orientation of the end effector are known in world coordinates, or they can be determined in a simple manner after a movement of the robot and/or the robot arm, the position of the first key point can be read out. In particular, it is previously determined exactly which point of the end effector is guided to the first key point, whereby it is known where this point is located on the end effector, so that its world coordinates are always known, or can be derived after a corresponding movement of the robot arm or the robot . The world coordinates of this point then correspond to the world coordinates of the first keypoint.
  • the position of the further keypoints in world coordinates can be determined on the basis of the now determined position of the first keypoint in world coordinates.
  • the method includes changing the position and/or the orientation of the end effector and recording an image using the camera.
  • the image is in 2D and includes a 2D camera image coordinate system.
  • the method can include a conversion of the world coordinates of the key points into the camera coordinate system of the camera. In this way, camera coordinates, in other words 3D camera coordinates, of the key points are determined. In other words, the positions of the Keypoints determined relative to the camera. This step is done using the relationship between the world coordinate system and the camera coordinate system that was determined earlier.
  • the method includes the determination of camera image coordinates, in other words 2D camera image coordinates, of all key points by means of a projection from their camera coordinates.
  • camera image coordinates of all key points in the recorded image are determined from the 3D camera coordinates using projective geometry.
  • the determined positions can be marked on the image. In this way, the captured image is annotated.
  • the term "annotation" is to be understood in particular as identifying previously defined points, in other words the key points, in the recorded image.
  • the present method thereby provides an automated keypoint annotation method, so that manual identification of keypoints on images is unnecessary. Thus, the method does not include any manual identification of key points on captured images.
  • Manual identification means in particular manual annotation of the images.
  • the present method has the clear advantage that human errors are avoided and images can be annotated in a large number in a very effective manner.
  • the method also does not include the application of markings to the object to identify key points in recorded images.
  • the method can include storing the determined camera image coordinates of all key points.
  • the steps between changing the position and/or aligning the end effector and taking an image using the camera and determining the camera image coordinates of all key points, especially including the storage of the determined camera image coordinates, are carried out repeatedly in order to create a large number of annotated images generate.
  • training data for an artificial network can be created, these training data being the annotated images.
  • training data for a mobile charging robot which is intended to charge a vehicle autonomously, for example, can be created in order to train the neural network in such a way that the mobile charging robot can guide the end effector, in other words the plug, fully automatically into the socket of the vehicle.
  • a further aspect comprises a device for annotating images of an object recorded with the aid of a camera, the device being designed to carry out the method described above.
  • the device primarily has an evaluation unit and a control unit.
  • the control unit serves to control the robot arm and/or the robot and/or the camera.
  • the evaluation unit is used in particular to determine a position and an alignment of the camera relative to the end effector, to select a first key point on the object, to evaluate information provided on the relative positions of the other key points to the first key point, to determine the position and alignment of the end effector on the first keypoint in world coordinates, to determine the position of the first keypoint and the other keypoints in world coordinates, to determine camera coordinates of the keypoints by converting the world coordinates of the keypoints into a camera coordinate system of the camera and to determine camera image coordinates of all keypoints by means of projection from their camera coordinates and for marking this.
  • the device can include a storage unit for storing the image and the determined camera image coordinates of the key points.
  • the device comprises the robotic arm, in turn comprising the end effector, and a camera.
  • the device may include the robot including the robot arm.
  • FIG. 1 shows a process diagram of a process according to the invention
  • FIGS 2 to 8 different process steps of the method according to the invention.
  • FIG. 1 shows a method sequence of a method 100 according to the invention, which includes the determination 101 of a position and an alignment of the camera 14 relative to the end effector 13 as a first step.
  • This step can in particular include a hand-eye calibration 102 .
  • the method also includes selecting 103 a first key point 20 on the object 30 of which images are to be recorded.
  • the method 100 further includes the Provision 104 of information from further key points relative to the first key point 20 in object coordinates.
  • the provision 104 can include measuring 105 the position of the further keypoints relative to the first keypoint 20 on the object 30 or using 106 already existing information about the dimensions of the object 30.
  • the method 100 includes guiding the end effector 13 to the position of the first key point.
  • this can include a manual movement 109 of the end effector 13 to the first key point 20 .
  • the method 100 includes determining 111 the position and alignment of the end effector 13 at the first keypoint 20 and determining 112 the position of the first keypoint in world coordinates and determining 113 the position of the other keypoints in world coordinates.
  • the method 100 includes a change 114 in the position and/or alignment of the end effector 13 and a recording of an image 31 by means of the camera 14.
  • the camera coordinates of the key points can be determined 115 with the aid of a conversion of the world coordinates of the key points into the camera coordinate system of the camera 14
  • camera image coordinates of all key points can be determined from the camera coordinates and marked on the image 116.
  • the camera image coordinates of all key points are preferably stored 117. Steps 114 to 117 are carried out repeatedly, so that in this way a large number of annotated images can be used as training data for a cheap network to be created 118.
  • FIG. 2 shows the step of determining 101 a position and an alignment of the camera 14 of a device 10 according to the invention relative to the end effector 13.
  • the end effector 13 is arranged on a robot arm 12 of a robot 11.
  • Figure 3 there is illustrated how a first keypoint 20 is selected 103 in an object coordinate system 21 on an object 30.
  • the first keypoint 20 is the center of the top opening of the socket which the object 30 is.
  • Figure 4 shows how a step-by-step movement 109 of the robot arm 12 to the object 30 and the first keypoint 20 moves the end effector 13 to the position of the first keypoint 20 to be led.
  • the end effector 13 is designed as a plug with two contact pins, the upper contact pin in FIG. 4 being inserted into the upper opening of the socket.
  • the central point on the fixed end of the upper contact pin is the point on the end effector that is at the first key point when the plug is in the socket. Since its world coordinates are known, the world coordinates of the first key point 20 are determined in this way.
  • Figure 5 shows how the position of the other key points is determined in world coordinates 113.
  • a second key point 23 is shown as an example and its conversion into the world coordinate system 22 based on the information about the relative position to the first key point 20.
  • Figure 6 shows how the position and orientation of the end effector 13 is changed 114 and an image of the object 30 is recorded by the camera 114.
  • FIG. 7 shows purely schematically how the camera coordinates of the key points are determined 115. In other words, the positions of the key points relative to the camera 14 are determined.
  • Figure 8 shows how the camera image coordinates of the key points are determined by means of projection from their camera coordinates 116. It is shown purely schematically how, by means of projective geometry, the camera image coordinates of the key points are determined from the camera coordinates of the key points, which are shown on the right, in an image 31, which is of the camera 14 can be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (100) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30), wobei die Kamera (14) auf einem Robotorarm (12) angeordnet ist, und wobei der Robotorarm (12) einen Endeffektor (13) umfasst. Das Verfahren (100) umfasst folgende Schritte: Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13); Wählen (103) eines ersten Keypoints (20) auf dem Objekt (30); Bereitstellen (104) von Informationen von weiteren Keypoints relativ zum ersten Keypoint (20) in Objektkoordinaten; Führen (108) des Endeffektors (13) an die Position des ersten Keypoints (20); Bestimmen (111) der Position und der Ausrichtung des Endeffektors (13) am ersten Keypoint (20) in Weltkoordinaten; Ermitteln (112) der Position des ersten Keypoints (20) in Weltkoordinaten; Ermitteln (113) der Position der weiteren Keypoints in Weltkoordinaten; Veränderung (114) der Position und/oder der Ausrichtung des Endeffektors (13) und Aufnahme eines Bildes (31) mittels der Kamera (14); Ermitteln (115) von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera (14); und Bestimmen (116) von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten.

Description

Beschreibung
Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes
Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern nach den unabhängigen Ansprüchen.
Aus dem Stand der Technik ist bekannt, mit Hilfe einer Kamera aufgenommene Bilder von einem Objekt händisch zu annotieren. Im Detail werden die Koordinaten mehrerer zuvor festgelegter Punkte auf dem Objekt durch den Menschen auf den Bildern ermittelt und gekennzeichnet. Alternativ können Marker an entsprechenden Punkten auf dem Objekt angebracht werden, um diese auf den Bildern erkennen und kennzeichnen zu können. Dies führt jedoch zu einer Veränderung der Ausgangsbedingungen, da das Objekt durch die Anbringung der Marker verändert wurde.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Annotieren von mittels einer Kamera aufgenommenen Bildern zu automatisieren.
Gelöst wird die vorgenannte Aufgabe durch ein Verfahren zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes, wobei die Kamera auf einem Roboterarm angeordnet ist und wobei der Roboterarm einen Endeffektor umfasst.
Das Verfahren umfasst die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor. Die Kamera umfasst insbesondere ein Kamerakoordinatensystem. Der Roboterarm, der vorzugsweise an einem beweglichen Roboter angeordnet ist, weist den Endeffektor auf. Bei dem Endeffektor handelt es sich insbesondere um das freie Ende des Roboterarms. In anderen Worten handelt es sich um das letzte Armglied des Roboterarmes, der insbesondere einen Greifarm umfassen kann. Bei humanoiden Robotern kann ein Endeffektor beispielsweise eine Hand sein. Die Weltkoordinaten des Endeffektors sind bekannt, wobei durch die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor die Relation der Weltkoordinaten des Endeffektors zur Kamera ermittelt wird. In anderen Worten wird ein Zusammenhang zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem hergestellt.
Die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor kann insbesondere eine Hand-Eye-Kalibration umfassen. Dabei wird insbesondere ein Kalibrierungsobjekt, beispielsweise ein Bild mit Schachbrettmuster, verwendet. Dieses Kalibrierungsobjekt wird mittels der Kamera aus unterschiedlichen Positionen und unterschiedlichen Ausrichtungen der Kamera aufgenommen. Die aufgenommenen Bilder werden zusammen mit den unterschiedlichen Positionen und Ausrichtungen abgespeichert. Da die Ausbildung des Kalibrierungsobjektes, beispielsweise beim Schachbrettmuster dessen genaues Muster und die Abmessungen der einzelnen quadratischen Flächen, bekannt ist, kann eine Verbindung zwischen der Position und der Ausrichtung des Endeffektors und der Kameraperspektive, in anderen Worten dem Kamerakoordinatensystem, bestimmt werden. Es können somit die Weltkoordinaten der Kamera im Weltkoordinatensystem hergeleitet werden. Die Kamera kann daher extrinsisch kalibriert werden. Vor allem können auf die oben beschriebene Weise auch optische Fehler der Kamera ermittelt werden. Eine Linsenverzerrung kann bspw. durch eine Verzerrung des abgebildeten Kalibrierungsobjektes auf einem aufgenommenen Bild erkannt werden. Es kann die Kamera daher auch intrinsisch kalibriert werden, da die Abbildung von den optischen Fehlern, beispielsweise Linsenverzerrungen, abhängt.
Das Verfahren umfasst das Wählen eines ersten Keypoints auf dem Objekt. Dabei wird der erste Keypoint frei gewählt. Ferner umfasst das Verfahren das Bereitstellen von Informationen von weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten, das heißt in anderen Worten in einem Objektkoordinatensystem. Die Keypoints sind somit zuvor definierte Punkte am Objekt.
Das Bereitstellen dieser Informationen kann vor allem ein Ausmessen der jeweiligen Position der weiteren Keypoints zum ersten Keypoint am Objekt umfassen. Dies kann beispielsweise ein händisches Ausmessen der jeweiligen relativen Positionen der weiteren Keypoints zum ersten Keypoint umfassen. Ferner kann das Verfahren ein Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes umfassen. Auf Basis der bereits vorhandenen Informationen, beispielsweise anhand von technischen Zeichnungen oder Abmessungen aus DIN-Normen, können die relativen Positionen ermittelt werden. Das Verfahren umfasst das Führen des Endeffektors an die Position des ersten Keypoints. In anderen Worten wird der Endeffektor an die genaue Position des ersten Keypoints gebracht.
Das Führen an die Position des ersten Keypoints umfasst insbesondere eine manuelle Bewegung des Endeffektors an den ersten Keypoint.
Bei dem Endeffektor kann es sich insbesondere um einen Stecker handeln, wobei es sich bei dem Objekt um eine Buchse handeln kann. Dabei kann der Stecker insbesondere in die Buchse eingeführt werden und somit der Endeffektor an den ersten Keypoint geführt werden. Bei dem Roboter kann es sich insbesondere um einen mobilen Laderoboter handeln.
Das Verfahren umfasst das Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordinaten. Aus diesen kann auf die Weltkoordinaten des ersten Keypoints geschlossen werden. Da die Position und die Ausrichtung des Endeffektors in Weltkoordinaten bekannt sind, beziehungsweise diese nach einer Bewegung des Roboters und/oder des Roboterarms auf einfache Art und Weise bestimmt werden kann, kann die Position des ersten Keypoints ausgelesen werden. Insbesondere ist zuvor festgelegt, genau welche Stelle des Endeffektors an den ersten Keypoint geführt wird, wobei bekannt ist, wo diese Stelle am Endeffektor sitzt, sodass auch dessen Weltkoordinaten stets bekannt sind, bzw. nach einer entsprechenden Bewegung des Roboterarms oder des Roboters hergeleitet werden können. Die Weltkoordinaten dieser Stelle entsprechen dann den Weltkoordinaten des ersten Keypoint.
Da die relative Position der weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten vorliegt, kann auf Basis der nun ermittelten Position des ersten Keypoints in Weltkoordinaten die Bestimmung der Position der weiteren Keypoints in Weltkoordinaten erfolgen.
In einem nächsten Schritt umfasst das Verfahren eine Veränderung der Position und/oder der Ausrichtung des Endeffektors und eine Aufnahme eines Bildes mittels der Kamera. Das Bild liegt in 2D vor und umfasst ein 2D-Kamerabildkoordinatensystem. Das Verfahren kann eine Umrechnung der Weltkoordinaten der Keypoints in das Kamerakoordinatensystem der Kamera umfassen. Auf diese Weise werden Kamerakoordinaten, in anderen Worten 3D- Kamerakoordinaten, der Keypoints ermittelt. In anderen Worten werden die Positionen der Keypoints relativ zu der Kamera ermittelt. Dieser Schritt erfolgt unter Nutzung des Zusammenhangs zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem, der zuvor ermittelt wurde.
In einem weiteren Schritt umfasst das Verfahren das Bestimmen von Kamerabildkoordinaten, in anderen Worten 2D-Kamerabildkoordinaten, aller Keypoints mittels Projektion aus deren Kamerakoordinaten. In anderen Worten werden aus den 3D-Kamerakoordinaten mittels projektiver Geometrie Kamerabildkoordinaten aller Keypoints im aufgenommenen Bild ermittelt. In einem weiteren Schritt können die ermittelten Positionen auf dem Bild gekennzeichnet werden. Auf diese Weise wird das aufgenommene Bild annotiert.
Unter dem Begriff „Annotieren“ ist insbesondere die Identifikation von zuvor definierten Punkten, in anderen Worten der Keypoints, in dem aufgenommenen Bild zu verstehen. Das vorliegende Verfahren stellt dabei ein automatisiertes Keypoint-Annotierungsverfahren bereit, sodass eine manuelle Identifikation von Keypoints auf Bildern unnötig ist. Somit umfasst das Verfahren keine manuelle Identifikation von Keypoints auf aufgenommenen Bildern. Unter einer manuellen Identifikation ist insbesondere ein händisches Annotieren der Bilder zu verstehen. In Bezug auf ein händisches Annotieren hat das vorliegende Verfahren den deutlichen Vorteil, dass menschliche Fehler vermieden werden und Bilder in einer hohen Anzahl auf eine sehr effektive Weise annotiert werden können. Insbesondere umfasst das Verfahren auch kein Aufbringen von Markierungen auf dem Objekt zur Erkennung von Keypoints auf aufgenommenen Bildern.
Das Verfahren kann das Abspeichern der ermittelten Kamerabildkoordinaten aller Keypoints umfassen. Insbesondere werden die Schritte zwischen der Veränderung der Position und/oder der Ausrichtung des Endeffektors und der Aufnahme eines Bildes mittels der Kamera und dem Bestimmen von Kamerabildkoordinaten aller Keypoints, vor allem inklusive der Abspeicherung der ermittelten Kamerabildkoordinaten, wiederholt ausgeführt, um eine Vielzahl annotierter Bilder zu erzeugen. Auf diese Weise können insbesondere Trainingsdaten für ein künstliches Netzwerk erstellt werden, wobei es sich bei diesen Trainingsdaten um die annotierten Bilder handelt. Beispielsweise können Trainingsdaten für einen mobilen Laderoboter, der beispielsweise ein Fahrzeug autonom aufladen soll, erstellt werden, um das neuronale Netzwerk so zu trainieren, dass der mobile Laderoboter den Endeffektor, in anderen Worten den Stecker, vollautomatisch in die Buchse des Fahrzeuges führen kann. In einem weiteren Aspekt umfasst eine Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes, wobei die Vorrichtung zum Ausführen des oben beschriebenen Verfahrens ausgebildet ist. Hierfür weist die Vorrichtung vor allem eine Auswerteeinheit und eine Steuereinheit auf. Die Steuereinheit dient zum Ansteuern des Roboterarms und/oder des Roboters und/oder der Kamera. Die Auswerteinheit dient insbesondere zum Bestimmen einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor, zum Wählen eines ersten Keypoints auf dem Objekt, zur Auswertung bereitgestellter Informationen der relativen Positionen der weiteren Keypoints zum ersten Keypoint, zum Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordinaten, zum Ermitteln der Position des ersten Keypoints sowie der weiteren Keypoints in Weltkoordinaten, zum Ermitteln von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera und zum Bestimmen von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten und zur Kennzeichnung dieser. Ferner kann die Vorrichtung einer Speichereinheit zum Abspeichern des Bildes und der ermittelten Kamerabildkoordinaten der Keypoints umfassen.
Insbesondere umfasst die Vorrichtung den Roboterarm, wiederum umfassend den Endeffektor, und eine Kamera. Ferner kann die Vorrichtung den Roboter, der den Roboterarm umfasst, aufweisen.
Die Figuren zeigen in rein schematischer Darstellung:
Figur 1 ein Verfahrensschema eines erfindungsgemäßen Verfahrens; und
Figuren 2 bis 8 verschiedene Verfahrensschritte des erfindungsgemäßen Verfahrens.
Figur 1 zeigt einen Verfahrensablauf eines erfindungsgemäßen Verfahrens 100, das als ersten Schritt die Bestimmung 101 einer Position und einer Ausrichtung der Kamera 14 relativ zum Endeffektor 13 umfasst. Dieser Schritt kann insbesondere eine Hand-Eye-Kalibration 102 umfassen.
Ferner umfasst das Verfahren ein Wählen 103 eines ersten Keypoints 20 auf dem Objekt 30, von dem Bilder aufgenommen werden sollen. Ferner umfasst das Verfahren 100 das Bereitstellen 104 von Informationen von weiteren Keypoints relativ zum ersten Keypoint 20 in Objektkoordinaten. Das Bereitstellen 104 kann ein Ausmessen 105 der Position der weiteren Keypoints relativ zum ersten Keypoint 20 am Objekt 30 umfassen oder das Nutzen 106 von bereits vorhandenen Informationen über Abmaße des Objektes 30.
Das Verfahren 100 umfasst das Führen des Endeffektors 13 an die Position des ersten Keypoints. Dies kann insbesondere eine manuelle Bewegung 109 des Endeffektors 13 an den ersten Keypoint 20 umfassen.
Das Verfahren 100 umfasst das Bestimmen 111 der Position und der Ausrichtung des Endeffektors 13 am ersten Keypoint 20 und das Ermitteln 112 der Position des ersten Keypoints in Weltkoordinaten sowie das Ermitteln 113 der Position der weiteren Keypoints in Weltkoordinaten.
Das Verfahren 100 umfasst eine Veränderung 114 der Position und/oder der Ausrichtung des Endeffektors 13 und eine Aufnahme eines Bildes 31 mittels der Kamera 14. Mit Hilfe einer Umrechnung der Weltkoordinaten der Keypoints in das Kamerakoordinatensystem der Kamera 14 können die Kamerakoordinaten der Keypoints ermittelt werden 115. Mittels Projektion können aus den Kamerakoordinaten Kamerabildkoordinaten aller Keypoints bestimmt und auf dem Bild gekennzeichnet werden 116. Die Kamerabildkoordinaten aller Keypoints werden vorzugsweise abgespeichert 117. Die Schritte 114 bis 117 werden insbesondere wiederholt durchgeführt, sodass auf diese Weise eine Vielzahl annotierter Bilder als Trainingsdaten für ein günstiges Netzwerk erstellt werden 118.
Figur 2 zeigt den Schritt der Bestimmung 101 einer Position und einer Ausrichtung der Kamera 14 einer erfindungsgemäßen Vorrichtung 10 relativ zum Endeffektor 13. Der Endeffektor 13 ist auf einem Roboterarm 12 eines Roboters 11 angeordnet.
In Figur 3 ist dargestellt, wie ein erster Keypoint 20 in einem Objektkoordinatensystem 21 auf einem Objekt 30 gewählt wird 103. In diesem Beispiel ist der erste Keypoint 20 das Zentrum der oberen Öffnung der Buchse, die das Objekt 30 ist.
Figur 4 stellt dar, wie durch eine schrittweise Bewegung 109 des Roboterarms 12 an das Objekt 30 und den ersten Keypoint 20 der Endeffektor 13 an die Position des ersten Keypoints 20 geführt wird. In diesem Beispiel ist der Endeffektor 13 als Stecker mit zwei Kontaktstiften ausgebildet, wobei der in Figur 4 obere Kotaktstift in die obere Öffnung der Buchse gesteckt wird. Die zentrale Stelle am festen Ende des oberen Kontaktstiftes ist die Stelle des Endeffektors, die am ersten Keypoint liegt, wenn der Stecker in der Buchse steckt. Da dessen Weltkoordinaten bekannt sind, werden die Weltkoordinaten des ersten Keypoints 20 auf diese Weise ermittelt.
In Figur 5 wird gezeigt, wie die Position der weiteren Keypoints in Weltkoordinaten ermittelt werden 113. Beispielhaft ist ein zweiter Keypoint 23 gezeigt und dessen Umrechnung in das Weltkoordinatensystem 22 anhand der Informationen über die relative Position zum ersten Keypoint 20.
Figur 6 stellt dar, wie die Position und die Ausrichtung des Endeffektors 13 verändert wird 114 und ein Bild von dem Objekt 30 mittels der Kamera aufgenommen wird 114.
In Figur 7 ist rein schematisch dargestellt, wie Kamerakoordinaten der Keypoints ermittelt werden 115. In anderen Worten werden die Positionen der Keypoints relativ zu der Kamera 14 ermittelt.
In Figur 8 ist dargestellt, wie Kamerabildkoordinaten der Keypoints mittels Projektion aus deren Kamerakoordinaten bestimmt werden 116. Rein schematisch ist dargestellt, wie mittels projektiver Geometrie aus den Kamerakoordinaten der Keypoints, die rechts dargestellt sind, die Kamerabildkoordinaten der Keypoints in einem Bild 31, das mittels der Kamera 14 aufgenommen wurde, ermittelt werden.
Bezugszeichenliste Verfahren Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor Hand-Eye-Kalibration Wählen eines ersten Keypoints auf dem Objekt Bereitstellen von Informationen von weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten Ausmessen der Position der weiteren Keypoints zum ersten Keypoint Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes Führen des Endeffektors an die Position des ersten Keypoints Manuelle Bewegung des Endeffektors an den ersten Keypoint Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordinaten Ermitteln der Position des ersten Keypoints in Weltkoordinaten Ermitteln der Position der weiteren Keypoints in Weltkoordinaten Veränderung der Position und/oder der Ausrichtung des Endeffektors und Aufnahme eines Bildes mittels der Kamera Ermitteln von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera Bestimmen von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten und Kennzeichnung dieser Abspeichern der Kamerabildkoordinaten aller Keypoints Erstellen von Trainingsdaten im Sinne annotierter Bilder für ein künstliches Netzwerk Vorrichtung Robotor Robotorarm Endeffektor Kamera erster Keypoint Objektkoordinatensystem Weltkoordinatensystem zweiter Keypoint Objekt Bild

Claims

Patentansprüche
1. Verfahren (100) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30), wobei die Kamera (14) auf einem Robotorarm (12) angeordnet ist, wobei der Robotorarm (12) einen Endeffektor (13) umfasst, dadurch gekennzeichnet, dass das Verfahren (100) folgende Schritte umfasst: a) Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13); b) Wählen (103) eines ersten Keypoints (20) auf dem Objekt (30); c) Bereitstellen (104) von Informationen von weiteren Keypoints relativ zum ersten Keypoint (20) in Objektkoordinaten; d) Führen (108) des Endeffektors (13) an die Position des ersten Keypoints (20); e) Bestimmen (111) der Position und der Ausrichtung des Endeffektors (13) am ersten Keypoint (20) in Weltkoordinaten; f) Ermitteln (112) der Position des ersten Keypoints (20) in Weltkoordinaten; g) Ermitteln (113) der Position der weiteren Keypoints in Weltkoordinaten; h) Veränderung (114) der Position und/oder der Ausrichtung des Endeffektors (13) und Aufnahme eines Bildes (31) mittels der Kamera (14); i) Ermitteln (115) von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera (14); j) Bestimmen (116) von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten.
2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren (100) keine manuelle Identifikation von Keypoints auf einem mittels der Kamera (14) aufgenommenen Bild (31) umfasst.
3. Verfahren (100) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren (100) kein Aufbringen von Markierungen auf dem Objekt (30) zur Erkennung von Keypoints auf dem aufgenommenen Bild (31) umfasst.
4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13) eine Hand-Eye-Kalibration (102) umfasst.
5. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (104) von Informationen von weiteren Keypoints ein Ausmessen der jeweiligen Position der weiteren Keypoints zum ersten Keypoint (20) am Objekt umfasst.
6. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (104) von Informationen von weiteren Keypoints ein Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes (30) umfasst.
7. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Führen (108) eine manuelle Bewegung (109) des Endeffektors (13) an den ersten Keypoint (20) umfasst.
8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Abspeichern (117) der Kamerabildkoordinaten aller Keypoints umfasst.
9. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) ein wiederholtes Ausführen der Schritte h) bis j) zum Erzeugen einer Vielzahl annotierter Bilder umfasst.
10. Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass mittels des Verfahrens (100) Trainingsdaten für ein künstliches Netzwerk erstellt werden (118), wobei es sich bei den Trainingsdaten um annotiere Bilder handelt.
11. Vorrichtung (10) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30), dadurch gekennzeichnet, dass die Vorrichtung zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 10 ausgebildet ist.
12. Vorrichtung (10) nach Anspruch 11, dadurch gekennzeichnet, dass die Vorrichtung (10) einen Robotorarm (12) umfassend einen Endeffektor (13) und eine Kamera (14) umfasst.
EP22718134.4A 2021-04-16 2022-03-24 Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes Pending EP4323965A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021203779.8A DE102021203779B4 (de) 2021-04-16 2021-04-16 Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes
PCT/EP2022/057763 WO2022218670A1 (de) 2021-04-16 2022-03-24 Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes

Publications (1)

Publication Number Publication Date
EP4323965A1 true EP4323965A1 (de) 2024-02-21

Family

ID=81384938

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22718134.4A Pending EP4323965A1 (de) 2021-04-16 2022-03-24 Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes

Country Status (5)

Country Link
US (1) US12589500B2 (de)
EP (1) EP4323965A1 (de)
CN (1) CN117136384A (de)
DE (1) DE102021203779B4 (de)
WO (1) WO2022218670A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12544933B2 (en) * 2024-07-24 2026-02-10 Ruby.AI Robotic Technologies Ltd. Techniques, machine learning, and mechanisms for enabling supply of energy to devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1472052A2 (de) 2002-01-31 2004-11-03 Braintech Canada, Inc. Verfahren und vorrichtung für 3d-sicht geführte roboter mit einer kamera
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
DE10345743A1 (de) 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102005051533B4 (de) 2005-02-11 2015-10-22 Vmt Vision Machine Technic Bildverarbeitungssysteme Gmbh Verfahren zur Verbesserung der Positioniergenauigkeit eines Manipulators bezüglich eines Serienwerkstücks
AT506865B1 (de) 2008-05-20 2010-02-15 Siemens Vai Metals Tech Gmbh Vorrichtung zum verbessern von genauigkeitseigenschaften von handhabungsgeräten
US8923602B2 (en) 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP5383836B2 (ja) 2012-02-03 2014-01-08 ファナック株式会社 検索ウィンドウを自動的に調整する機能を備えた画像処理装置
JP2016221645A (ja) 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
KR101980603B1 (ko) 2016-05-20 2019-05-22 구글 엘엘씨 오브젝트(들)를 캡처하는 이미지(들)에 기초하는 그리고 환경에서의 미래 로봇 움직임에 대한 파라미터(들)에 기초하여 로봇 환경에서의 오브젝트(들)의 모션(들)을 예측하는 것과 관련된 머신 학습 방법들 및 장치
DE202017106506U1 (de) 2016-11-15 2018-04-03 Google Llc Einrichtung für tiefes Maschinenlernen zum Robotergreifen
CN106920261B (zh) * 2017-03-02 2019-09-03 江南大学 一种机器人手眼静态标定方法
CN108597036B (zh) * 2018-05-03 2022-04-12 三星电子（中国）研发中心 虚拟现实环境危险感知方法及装置
DE102020102350A1 (de) 2019-01-30 2020-07-30 ese-robotics GmbH Greifvorrichtung und Verfahren zu deren Ausrichtung und zur Störfall-Erkennung
CN109948494B (zh) * 2019-03-11 2020-12-29 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
DE102019106458A1 (de) 2019-03-13 2020-09-17 ese-robotics GmbH Verfahren zur Ansteuerung eines Industrieroboters
WO2020212776A1 (en) * 2019-04-18 2020-10-22 Alma Mater Studiorum - Universita' Di Bologna Creating training data variability in machine learning for object labelling from images
US12399567B2 (en) 2019-09-20 2025-08-26 Nvidia Corporation Vision-based teleoperation of dexterous robotic system
DE102020124285B4 (de) * 2019-09-20 2022-06-09 Nvidia Corporation Visionsbasierte Teleoperation eines beweglichen Robotersystems
CN111360780A (zh) 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111862048B (zh) * 2020-07-22 2021-01-29 浙大城市学院 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration

Also Published As

Publication number Publication date
US12589500B2 (en) 2026-03-31
CN117136384A (zh) 2023-11-28
DE102021203779B4 (de) 2023-12-14
DE102021203779A1 (de) 2022-10-20
WO2022218670A1 (de) 2022-10-20
US20240198535A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
DE102021107532A1 (de) System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE102022130652A1 (de) Anlernen eines roboters durch vorführen mit visualservoing
DE102016123188A1 (de) Justierbarer Laderoboter
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102008019435B4 (de) Verfahren zum berührungslosen Vermessen dreidimensionaler, komplex geformter Bauteile
DE102020115670A1 (de) Roboter-lerngerät und robotersystem
EP3160219A1 (de) Verfahren und vorrichtung zur platzierung elektronischer bauteile
DE102018121481A1 (de) Entfernungsmesssystem und Entfernungsmessverfahren
WO2022218670A1 (de) Verfahren und vorrichtung zum annotieren von mit hilfe einer kamera aufgenommenen bildern eines objektes
WO2023062091A1 (de) Kalibrierungsverfahren zur automatisierten kalibrierung von kamera zu medizinischem roboter und chirurgisches assistenzsystem
EP1717573A2 (de) Verfahren zur automatischen Fehlererkennung in Prüfteilen mittels einer Röntgenprüfanlage
WO2019197611A1 (de) Aufnehmen von nutzlasten mittels eines robotergeführten werkzeugs
EP2461433A1 (de) Verfahren und Vorrichtung zum Bestücken eines Steckergehäuses
WO2019215296A2 (de) Roboterjustage
DE102014011852A1 (de) Verfahren zum Verfolgen wenigstens einer an einem Bauteil vorgesehenen Arbeitsposition für zumindest einen Roboter
DE3223896A1 (de) Verfahren und anordnung zur erstellung von programmen fuer bahngesteuerte industrieroboter
DE102022123148A1 (de) Teaching eines doppelarm-roboters aus einer menschlichen zweihand-demonstration
DE102007058293A1 (de) Kalibriervorrichtung und Verfahren zum Abgleichen eines Roboterkoordinatensystems
WO2018192881A1 (de) Verfahren zum überführen eines zu prüfenden bauteils und roboter zur durchführung dieses verfahrens
DE102020105317A1 (de) Anordnung für die Bestückung und Verdrahtung elektronischer Komponenten im Schaltanlagenbau sowie ein entsprechendes Verfahren
EP1471401B1 (de) Verfahren zur Einmessung des Koordinatensystems einer Kamera eines Roboters gegenüber dem Koordinatensystem des Roboters oder umgekehrt
DE112021007102T5 (de) Programmerzeugungsvorrichtung und Robotersteuerungsvorrichtung
DE102021128058A1 (de) Wechseleinrichtung für eine Robotereinrichtung sowie Verfahren
DE10242769C1 (de) Verfahren zur Vermessung der Lage von robotergeführten Werkstücken und Messeinrichtung hierzu

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231116

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250917