EP4633875A1 - Betreiben eines roboters mit greifer - Google Patents

Betreiben eines roboters mit greifer

Info

Publication number
EP4633875A1
EP4633875A1 EP23808744.9A EP23808744A EP4633875A1 EP 4633875 A1 EP4633875 A1 EP 4633875A1 EP 23808744 A EP23808744 A EP 23808744A EP 4633875 A1 EP4633875 A1 EP 4633875A1
Authority
EP
European Patent Office
Prior art keywords
gripper
robot
determined
pose
basis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23808744.9A
Other languages
English (en)
French (fr)
Inventor
Dominik Joho
Kirill SAFRONOV
Yunus Ayar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022213568.7A external-priority patent/DE102022213568B3/de
Priority claimed from DE102022213562.8A external-priority patent/DE102022213562A1/de
Priority claimed from DE102022213555.5A external-priority patent/DE102022213555A1/de
Priority claimed from DE102022213557.1A external-priority patent/DE102022213557B3/de
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4633875A1 publication Critical patent/EP4633875A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Program controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method and a system for operating a robot that guides a gripper, as well as a computer program or a system for operating the robot.
  • the object of the present invention is to improve an operation of a robot that guides a gripper.
  • Claims 7, 8 represent a system or computer program or.
  • a robot has a robot arm, in particular can be such. Additionally or alternatively, the robot, in particular the robot arm, in one embodiment has at least three, in particular at least six, in one embodiment at least seven, joints or (movement) axes, in a further development at least three, in particular at least six, in one embodiment at least seven, rotary joints or rotary axes.
  • the robot guides or carries a gripper, in a further development a finger gripper with one or more adjustable fingers, a suction gripper, a magnetic, preferably electromagnetic, gripper or the like.
  • the gripper is arranged on the robot, in particular the robot arm, preferably an end flange of the robot, in particular the robot arm, preferably in a manner that is preferably non-destructively removable or replaceable.
  • a method for operating the robot that guides the gripper comprises the step of: determining a pose of the gripper based on a posture of the robot.
  • a pose comprises a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation, a pose of the gripper determined on the basis of a position of the robot in one embodiment, a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation of the gripper relative to a robot-fixed reference system, in one embodiment relative to a base of the robot, in particular the robot arm, and/or relative to an environment of the robot, a pose of a load held by the gripper determined here in one embodiment, a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation of the load relative to the gripper, relative to a robot-fixed reference system, in one embodiment relative to a base of the robot, in particular the robot arm,
  • a position of the robot includes the positions of the joints or axes of the robot, preferably recorded or actual positions and/or commanded or target positions of the joints or axes of the robot.
  • a pose of the gripper can be determined using forward kinematics or transformation based on the positions of the joints of the robot.
  • the method comprises the further step of determining one or more virtual boundary contours in an image of at least a part of the gripper in or with an environment of the gripper (in each case) on the basis of the determined pose of the gripper, wherein the or one or more of the boundary contours each preferably have the pose of the gripper or a predetermined translational and/or rotational offset with respect to the pose of the gripper.
  • the method also comprises the step of determining this image; in another embodiment, the determined image can also be provided by an external instance.
  • the image comprises a three-dimensional point cloud and/or a camera image and/or is or will be determined using a 3D recording device, in particular at least one 3D camera, at least two spatially spaced stereographic cameras, at least one 3D scanner or the like.
  • data from the image indicate three-dimensional positions of points on the gripper or its surroundings, preferably points on the surface of the gripper or its surroundings.
  • the method comprises the further steps:
  • One embodiment of the present invention is based on the realization that a pose of the robot-guided gripper can be determined based on a known position of the robot, and the idea based on this to exploit this in order to better, in particular more quickly and/or more precisely, determine a pose of a load held by the gripper based on an image of the gripper with the load in or with its surroundings, preferably by at least part of the data of the image initially being sorted out or filtered out as not being assigned to the load based on a pose of the gripper and the pose of the load is only determined on the basis of the (data of the) image reduced in this way.
  • the or one of the virtual boundary contour(s) determined on the basis of the determined pose of the gripper is a gripper boundary contour for the gripper in the image, which is determined on the basis of a data model of the gripper, and the classification of data comprises sorting out or eliminating or filtering out data assigned to the gripper in the image on the basis of this gripper boundary contour, in particular data which or whose position lies within the gripper boundary contour.
  • the data model of the gripper is or will be determined in one embodiment on the basis of design data, in particular CAD data, of the gripper or can include such data.
  • the gripper boundary contour for the gripper corresponds in one embodiment to a, preferably simplified, (virtual) representation of the gripper in the illustration and/or is determined in one embodiment in such a way that, within the scope of a tolerance caused by the simplification, it at least partially corresponds to an outer contour of the gripper, in particular a theoretical one or one based on the data model, preferably within the actual Outer contour.
  • the gripper boundary contour changes as a result of a change in the position of the gripper, for example one or more fingers of the gripper, or the gripper boundary contour for the gripper in the illustration is determined (also) on the basis of a commanded or detected pose of members of the gripper relative to one another (gripper position).
  • the or a (further) virtual boundary contour(s) determined on the basis of the determined pose of the gripper is an environmental boundary contour for an environment of the gripper in the image, which is determined on the basis of dimensions, in particular theoretical or target dimensions or real or recorded dimensions, of the gripper and/or dimensions, in particular theoretical or target dimensions or real or recorded dimensions, of a load held by the gripper, preferably the load whose pose is determined, and the classification of data comprises sorting out or eliminating or filtering out of an environment of the gripper (which in one embodiment comprises the robot and/or a (common) environment of the gripper and robot, in particular a background or objects other than the gripper, the robot (and the load)) associated data of the image on the basis of this environmental boundary contour, in particular data which or whose position is outside the environmental boundary contour.
  • an environment of the gripper which in one embodiment comprises the robot and/or a (common) environment of the gripper and robot, in particular a background or objects other than the gripper, the robot (and the load)
  • the environmental boundary contour for an environment of the gripper has, in one embodiment, a virtual, preferably convex, shell around the load, in a preferred embodiment in the form of an ellipsoid, in particular a sphere, or of a cuboid, and/or is determined in such a way that the load lies completely within the surrounding boundary contour.
  • the classification of image data based on the determined gripper boundary contour and surrounding boundary contour takes place in several stages, in that data from the image is first reduced by sorting based on the surrounding boundary contour and then this reduced data is reduced (even) further by sorting based on the gripper boundary contour.
  • this has the advantage that a considerable data reduction can often already be achieved by sorting based on the surrounding boundary contour.
  • the surrounding boundary contour can have a simpler geometric shape (than the gripper boundary contour), so that the corresponding sorting can take place more quickly, more precisely and/or more reliably, and the subsequent sorting based on the gripper boundary contour can therefore also be improved.
  • the classification of image data is carried out on the basis of the determined gripper boundary contour and surrounding boundary contour by first reducing image data by sorting based on the gripper boundary contour and then (even) further reducing these reduced data by sorting based on the surrounding boundary contour.
  • the classification of image data based on the determined gripper boundary contour and surrounding boundary contour is carried out in parallel, in a further development in which data that lies outside the surrounding boundary contour or whose position lies within the gripper boundary contour are sorted out in one step. This can speed up the process.
  • the data reduced by sorting based on the gripper boundary contour and/or based on the surrounding boundary contour, which essentially contain data associated with the load are filtered (further or after) before or to determine the pose of the load. In one embodiment, this allows the pose to be determined even better, in particular more quickly, more precisely and/or more reliably.
  • the data reduced by sorting based on the gripper boundary contour and/or based on the surrounding boundary contour, which accordingly essentially contain data associated with the load are converted into a depth image, if necessary after further data processing, for example the post-filtering mentioned above, and based on this a mask is determined which can advantageously be used to segment the load in one or more 2D images.
  • the pose of the load is determined based on this segmentation on the basis of the classified or reduced data of the image. In one embodiment, this allows the segmentation of the load in a 2D image or the determination of the pose to be improved, in particular carried out more quickly, more precisely and/or more reliably.
  • the pose of the load held by the gripper is determined (also) based on the classified data.
  • controlling the robot and/or gripper based on the determined pose of the load includes transporting and/or releasing the load with the robot-guided gripper.
  • controlling the robot and/or gripper based on the determined pose of the load comprises monitoring and/or correcting a pose of the load, particularly preferably during gripping, Transporting and/or releasing the load with the robot-guided gripper.
  • the pose of the load preferably relative to the gripper, is checked once or several times or compared with a reference pose, preferably while the robot is transporting the load.
  • an incorrect pose or an undesirable change in the pose of the load is determined or recognized, this is responded to in one embodiment by issuing a warning and/or controlling a movement of the robot and/or gripper accordingly, for example adjusting the handle, setting down and re-picking up the load, adjusting the position of the robot for or when releasing the load or the like.
  • a system in particular hardware and/or software, in particular program technology, is set up to carry out a method described here and/or has:
  • Means for controlling the robot and/or gripper based on the determined pose of the load are provided.
  • the system or its means comprises: means for converting the image data reduced by sorting based on the gripper boundary contour and based on the surrounding boundary contour into a depth image, means for determining at least one mask based on this depth image, and means for segmenting the load in a 2D image based on this mask.
  • a system and/or means in the sense of the present invention can be designed in terms of hardware and/or software, in particular at least one, preferably data- or signal-connected, particularly digital, processing unit, particularly microprocessor unit (CPU), graphics card (GPU) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a storage system, to detect input signals from a data bus and/or to output output signals to a data bus.
  • a storage system can have one or more, particularly different, storage media, particularly optical, magnetic, solid-state and/or other non-volatile media.
  • the program can be designed in such a way that it embodies or is capable of carrying out the methods described here, so that the processing unit can carry out the steps of such methods and thus in particular can control the robot and/or gripper.
  • a computer program product can have, in particular be, a storage medium, in particular a computer-readable and/or non-volatile one, for storing a program or instructions or with a program or instructions stored thereon.
  • execution of this program or these instructions by a system or a controller, in particular a computer or an arrangement of several computers causes the system or the controller, in particular the computer(s), to carry out a method described here or one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are fully or partially computer-implemented or one or more, in particular all, steps of the method are fully or partially automated, in particular by the system or its means.
  • the system comprises the robot and/or gripper.
  • Fig. 1 a system for operating a robot that guides a gripper according to an embodiment of the present invention
  • Fig. 2 a method for operating the robot according to an embodiment of the present invention.
  • Fig. 1 shows a system for operating a six-axis robot 10, the (joint) position(s) of which are specified by joint coordinates qi, ..., q 6 , and on the end flange 11 of which a gripper 2 with a load 3 held by it is arranged.
  • a robot controller 20 communicates with the robot 10 and a recording device 30 for recording an image of at least a part of the gripper 2 in its environment.
  • a diameter and a (center) position of a sphere S are determined in such a way that the held load 3 can be arranged completely within the sphere with a predetermined tolerance.
  • the position [x, y, z] of the center of the sphere S can be determined as the position of the gripper determined by the pose of the gripper plus a target offset between the gripper base and the load center, and the diameter of the sphere S can be chosen to be large enough that the load is (still) completely within the sphere S even with the maximum possible deviation from this target offset (with the load (still) held).
  • the position [x, y, z] of the center of the sphere S can be the position of the gripper itself determined by the pose of the gripper. determined and the diameter of the sphere S must be chosen accordingly larger so that the held load is always completely within the sphere S.
  • a step S30 those data of the image that lie outside the sphere S are sorted out or eliminated, for example data assigned to a storage area 4.
  • This corresponds to a sorting out of data assigned to the environment of the gripper, in particular the robot 10 and a common environment 4 of the gripper and robot, on the basis of an environment boundary contour in the form of the sphere S.
  • a gripper boundary contour G for the gripper 2 in the image is determined, which lies slightly within the outer contour of the gripper 2 in the pose determined in step S10.
  • step S50 those of the image data remaining after step S30 that lie within the gripper boundary contour G are eliminated. This corresponds to a sorting out of data assigned to the gripper 2 on the basis of the gripper boundary contour G determined in step S40.
  • step S30 first on the basis of the surrounding boundary contour (step S30) and then on the basis of the gripper boundary contour (step S50), the remaining data of the image are classified as data potentially assigned to load 3.
  • step S60 the pose of the load 3 relative to the gripper 2 is determined on the basis of the data classified in this way in a manner known per se, for example by recognizing or matching patterns or the like.
  • the data of the image reduced by sorting based on the gripper boundary contour and based on the surrounding boundary contour are converted into a depth image, preferably after post-filtering, one or more masks are determined based on this and these (each) are used to segment the load in a 2D image, whereby this segmentation or segmented 2D image(s) can be used in particular to determine the pose.
  • a step S70 the robot 10 and/or gripper 2 is controlled on the basis of the pose of the load 3 determined in this way, in particular during transport of the load 3, its pose relative to the gripper 2 is compared or checked with a reference pose and, in the event of an impermissible deviation, for example slipping, is corrected accordingly.
  • the elimination of data associated with the gripper or the environment from the image can be improved, in particular carried out more quickly.
  • this can advantageously reduce errors in determining the pose of the load, which are based on parts of the gripper or the environment being mistakenly confused with parts of the load.
  • the determination of the actual pose of the load 3 on the basis of the (classified or reduced data of the) image can be improved, in particular carried out more quickly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum Betreiben eines Roboters (10), der einen Greifer (2) führt umfasst die Schritte: Ermitteln (S10) einer Pose des Greifers auf Basis einer Stellung des Roboters, ermitteln (S20; S40) wenigstens einer virtuellen Grenzkontur (S; G) in einer Abbildung wenigstens eines Teils des Greifers in einer Umgebung des Greifers auf Basis der ermittelten Pose; klassifizieren (S30; S50) von Daten der Abbildung auf Basis der ermittelten wenigstens einen Grenzkontur, ermitteln (S60) einer Pose einer von dem Greifer gehaltenen Last (3) auf Basis der klassifizierten Daten; und Steuern (S70) des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last.

Description

Beschreibung
Betreiben eines Roboters mit Greifer
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Betreiben eines Roboters, der einen Greifer führt, sowie ein Computerprogramm bzw.
Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens.
Aufgabe der vorliegenden Erfindung ist es, einen Betrieb eines Roboters, der einen Greifer führt, zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 7, 8 stellen ein System bzw. Computerprogramm bzw.
Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist ein Roboter einen Roboterarm auf, kann insbesondere ein solcher sein. Zusätzlich oder alternativ weist der Roboter, insbesondere der Roboterarm, in einer Ausführung wenigstens drei, insbesondere wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenke bzw. (Bewegungs)Achsen, in einer Weiterbildung wenigstens drei, insbesondere wenigstens sechs, in einer Ausführung wenigstens sieben, Drehgelenke bzw. Drehachsen auf.
Nach einer Ausführung der vorliegenden Erfindung führt bzw. trägt der Roboter einen Greifer, in einer Weiterbildung einen Fingergreifer mit einem oder mehreren verstellbaren Fingern, einen Sauggreifer, einen magnetischen, vorzugsweise elektromagnetischen, Greifer oder dergleichen. Der Greifer ist in einer Ausführung, vorzugsweise zerstörungsfrei lös- bzw. austauschbar, an dem Roboter, insbesondere dem Roboterarm, vorzugsweise einem Endflansch des Roboters, insbesondere des Roboterarms, angeordnet.
Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Betreiben des Roboters, der den Greifer führt, den Schritt: Ermitteln einer Pose des Greifers auf Basis einer Stellung des Roboters. Eine Pose umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung, eine auf Basis einer Stellung des Roboters ermittelte Pose des Greifers in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung des Greifers relativ zu einem roboterfesten Bezugssystem, in einer Ausführung relativ zu einer Basis des Roboters, insbesondere des Roboterarms, und/oder relativ zu einer Umgebung des Roboters, eine hier ermittelte Pose einer von dem Greifer gehaltenen Last in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung der Last relativ zu dem Greifer, relativ zu einem roboterfesten Bezugssystem, in einer Ausführung relativ zu einer Basis des Roboters, insbesondere des Roboterarms, oder relativ zu einer Umgebung des Roboters. Eine Stellung des Roboters umfasst in einer Ausführung die Stellungen der Gelenke bzw. Achsen des Roboters, vorzugsweise erfasste bzw. Ist-Stellungen und/oder kommandierte bzw. Soll-Stellungen der Gelenke bzw. Achsen des Roboters. Somit kann eine Pose des Greifers in einer Ausführung mittels Vorwärtskinematik bzw. -transformation auf Basis der Stellungen der Gelenke) des Roboters ermittelt werden.
Nach einer Ausführung der vorliegenden Erfindung umfasst das Verfahren den weiteren Schritt: Ermitteln einer oder mehrerer virtueller Grenzkonturen in einer Abbildung wenigstens eines Teils des Greifers in bzw. mit einer Umgebung des Greifers (jeweils) auf Basis der ermittelten Pose des Greifers, wobei die bzw. einer oder mehrere der Grenzkontur(en jeweils) vorzugsweise die Pose des Greifers oder einen vorgegebenen translatorischen und/oder rotatorischen Versatz gegenüber der Pose des Greifers aufweisen. In einer Ausführung umfasst das Verfahren auch den Schritt, diese Abbildung zu ermitteln, in einer anderen Ausführung kann die ermittelte Abbildung auch von einer externen Instanz zur Verfügung gestellt werden bzw. sein.
Die Abbildung umfasst in einer Ausführung eine dreidimensionale Punktewolke und/oder ein Kamerabild und/oder ist bzw. wird mithilfe einer 3D-Aufnahmevorrichtung, insbesondere wenigstens einer 3D-Kamera, wenigstens zwei räumlich beabstandeten Stereographiekameras, wenigstens einem 3D-Scanner oder dergleichen, ermittelt. Daten der Abbildung geben in einer Ausführung dreidimensionale Positionen von Punkten des Greifers bzw. seiner Umgebung an, vorzugsweise von Punkten der Oberfläche des Greifers bzw. seiner Umgebung. Nach einer Ausführung der vorliegenden Erfindung umfasst das Verfahren die weiteren Schritte:
- Klassifizieren, vorzugsweise (Reduzieren durch) Aussortieren bzw. Eliminieren bzw. (Weg)Filtern, von Daten der Abbildung auf Basis der ermittelten Grenzkontur, insbesondere auf Basis der ermittelten Grenzkonturen;
- Ermitteln einer Pose einer vom Greifer gehaltenen Last auf Basis der (solcherart) klassifizierten, insbesondere reduzierten, Daten; und
- Steuern des Roboters und/oder Greifers auf Basis dieser ermittelten Pose der Last.
Einer Ausführung der vorliegenden Erfindung liegt die Erkenntnis, dass anhand einer bekannten Stellung des Roboters eine Pose des robotergeführten Greifers ermittelt werden kann, und die darauf aufbauende Idee zugrunde, dies auszunutzen, um eine Pose einer vom Greifer gehaltenen Last basierend auf einer Abbildung des Greifers mit der Last in bzw. mit seiner Umgebung besser, insbesondere rasch(er) und/oder präzise(r), zu ermitteln, vorzugsweise dadurch, dass wenigstens ein Teil der Daten der Abbildung zunächst basierend auf einer Pose des Greifers als nicht der Last zugeordnet aussortiert bzw. weggefiltert und die Pose der Last nur noch auf Basis der solcherart reduzierten (Daten der) Abbildung ermittelt wird.
In einer Ausführung ist die bzw. eine der auf Basis der ermittelten Pose des Greifers ermittelte(n) virtuelle(n) Grenzkontur(en) eine Greifer-Grenzkontur für den Greifer in der Abbildung, die auf Basis eines Datenmodells des Greifers ermittelt wird, und das Klassifizieren von Daten umfasst ein Aussortieren bzw. Eliminieren bzw. (Weg)Filtern von dem Greifer zugeordneten Daten der Abbildung auf Basis dieser Greifer- Grenzkontur, insbesondere von Daten, die bzw. deren Position innerhalb der Greifer- Grenzkontur liegt.
Das Datenmodell des Greifers ist bzw. wird in einer Ausführung auf Basis von Konstruktionsdaten, insbesondere CAD-Daten, des Greifers ermittelt bzw. kann solche Daten umfassen. Die Greifer-Grenzkontur für den Greifer entspricht in einer Ausführung einer, vorzugsweise vereinfachten, (virtuellen) Repräsentation des Greifers in der Abbildung und/oder wird in einer Ausführung derart ermittelt, dass sie im Rahmen einer durch die Vereinfachung bedingten Toleranz wenigstens teilweise mit einer, insbesondere theoretischen bzw. auf dem Datenmodell basierenden, Außenkontur des Greifers übereinstimmt, vorzugsweise innerhalb der tatsächlichen Außenkontur liegt. In einer Ausführung ändert sich die Greifer-Grenzkontur infolge einer Änderung einer Stellung des Greifers, beispielsweise eines oder mehrerer Finger des Greifers, entsprechend bzw. wird die Greifer-Grenzkontur für den Greifer in der Abbildung (auch) auf Basis einer kommandierten oder erfassten Pose von Gliedern des Greifers relativ zueinander (Greiferstellung) ermittelt.
Dem liegt die Erkenntnis, dass für den Greifer häufig präzise(re) Datenmodelle vorliegen, und die Idee zugrunde, auszunutzen, dass die Pose der Außenkontur des Greifers in der Abbildung auf Basis seiner ermittelten Pose und eines solchen Datenmodels bzw. einer auf dessen Basis ermittelten virtuellen Grenzkontur relativ präzise ermittelt und basierend hierauf dem Greifer zugeordneten Daten der Abbildung schnell(er), präzise(r) und/oder zuverlässig(er) aussortiert und dadurch die auf den (entsprechend reduzierten) Daten der Abbildung basierende Ermittlung der Pose der Last besser, insbesondere schnell(er), präzise(r) und/oder zuverlässig(er), erfolgen kann.
Zusätzlich oder alternativ ist in einer Ausführung die bzw. eine (weitere) der auf Basis der ermittelten Pose des Greifers ermittelte(n) virtuelle(n) Grenzkontur(en) eine Umgebungs-Grenzkontur für eine Umgebung des Greifers in der Abbildung, die auf Basis von Abmessungen, insbesondere theoretischen bzw. Soll-Abmessungen oder realen bzw. erfassten Abmessungen, des Greifers und/oder Abmessungen, insbesondere theoretischen bzw. Soll-Abmessungen oder realen bzw. erfassten Abmessungen, einer von dem Greifer gehaltenen Last, vorzugsweise der Last, deren Pose ermittelt wird, ermittelt wird, und das Klassifizieren von Daten umfasst ein Aussortieren bzw. Eliminieren bzw. (Weg)Filtern von einer Umgebung des Greifers (die in einer Ausführung den Roboter und/oder eine (gemeinsame) Umgebung von Greifer und Roboter, insbesondere also ein Hintergrund bzw. von dem Greifer, dem Roboter (und der Last) verschiedene Objekte, umfasst) zugeordneten Daten der Abbildung auf Basis dieser Umgebungs-Grenzkontur, insbesondere von Daten, die bzw. deren Position außerhalb der Umgebungs-Grenzkontur liegt.
Die Umgebungs-Grenzkontur für eine Umgebung des Greifers weist in einer Ausführung eine virtuelle, vorzugsweise konvexe, Hülle um die Last, in einer bevorzugten Ausführung in Form eines Ellipsoids, insbesondere einer Sphäre, oder eines Quaders, auf und/oder wird derart ermittelt, dass die Last vollständig innerhalb der Umgebungs-Grenzkontur liegt.
Dem liegt die Erkenntnis, dass durch die Pose des Greifers auch bereits die ungefähre Pose der Last relativ zur Umgebung bekannt ist, und die Idee zugrunde, dass durch Ausblenden von Daten der Abbildung, die außerhalb einer Grenzkontur liegen, welche an oder nahe der ermittelten Pose des Greifers und damit auch an oder nahe der Pose der von ihm gehaltenen Last angeordnet und so dimensioniert ist, dass sie die Last zuverlässig bzw. mit einem entsprechenden Sicherheitsabstand einhüllt, Daten der Abbildung, die zuverlässig nicht zur Last gehören, schnell(er), präzise(r) und/oder zuverlässig(er) aussortiert und dadurch die auf den (entsprechend reduzierten) Daten der Abbildung basierende Ermittlung der Pose der Last besser, insbesondere schnell(er), präzise(r) und/oder zuverlässig(er), erfolgen kann.
In einer Ausführung erfolgt das Klassifizieren von Daten der Abbildung auf Basis der ermittelten Greifer-Grenzkontur und Umgebungs-Grenzkontur mehrstufig, indem zunächst Daten der Abbildung durch das Aussortieren auf Basis der Umgebungs- Grenzkontur reduziert und danach diese reduzierten Daten durch das Aussortieren auf Basis der Greifer-Grenzkontur (noch) weiter reduziert werden. Dies weist in einer Ausführung den Vorteil auf, dass durch das Aussortieren auf Basis der Umgebungs- Grenzkontur häufig bereits eine erhebliche Datenreduktion erreicht werden kann. Zudem kann in einer Ausführung die Umgebungs-Grenzkontur eine einfache(re) geometrische Form aufweisen (als die Greifer-Grenzkontur), so dass das entsprechende Aussortieren rasch(er), präzise(r) und/oder zuverlässig(er) erfolgen und dadurch auch das anschließende Aussortieren auf Basis der Greifer-Grenzkontur verbessert werden kann.
In einer anderen Ausführung erfolgt das Klassifizieren von Daten der Abbildung auf Basis der ermittelten Greifer-Grenzkontur und Umgebungs-Grenzkontur, indem umgekehrt zunächst Daten der Abbildung durch das Aussortieren auf Basis der Greifer-Grenzkontur reduziert und danach diese reduzierten Daten durch das Aussortieren auf Basis der Umgebungs-Grenzkontur (noch) weiter reduziert werden.
In einer anderen Ausführung erfolgt das Klassifizieren von Daten der Abbildung auf Basis der ermittelten Greifer-Grenzkontur und Umgebungs-Grenzkontur parallel, in einer Weiterbildung, indem in einem Schritt sowohl Daten, die bzw. deren Position außerhalb der Umgebungs-Grenzkontur liegen, als auch Daten, die bzw. deren Position innerhalb der Greifer-Grenzkontur liegen, aussortiert werden. Dadurch kann das Verfahren beschleunigt werden.
In einer Ausführung werden die durch Aussortieren auf Basis der Greifer-Grenzkontur und/oder auf Basis der Umgebungs-Grenzkontur reduzierten Daten, die entsprechend im Wesentlichen der Last zugeordnete Daten enthalten, vor bzw. zum Ermitteln der Pose der Last noch (weiter bzw. nach)gefiltert. Hierdurch kann in einer Ausführung die Pose noch besser, insbesondere schnell(er), präzise(r) und/oder zuverlässig(er), ermittelt werden.
Zusätzlich oder alternativ werden in einer Ausführung die durch Aussortieren auf Basis der Greifer-Grenzkontur und/oder auf Basis der Umgebungs-Grenzkontur reduzierten Daten, die entsprechend im Wesentlichen der Last zugeordnete Daten enthalten, gegebenenfalls nach einer weiteren Datenbearbeitung, beispielsweise dem vorstehend genannten Nachfiltern, in ein Tiefenbild umgewandelt und basierend hierauf (je) eine Maske ermittelt, die vorteilhaft zum Aussegmentieren der Last in einem oder mehreren 2D-Bildern verwendet werden kann bzw. können. In einer Ausführung wird die Pose der Last auf Basis dieser Aussegmentierung auf Basis der klassifizierten bzw. reduzierten Daten der Abbildung ermittelt. Hierdurch kann in einer Ausführung das Aussegmentieren der Last in einem 2D-Bild bzw. Ermittlung der Pose verbessert, insbesondere schnell(er), präzise(r) und/oder zuverlässig(er) durchgeführt, werden. Indem in einer Ausführung das Aussegmentieren der Last auf Basis der Maske(n) erfolgt, die ihrerseits auf Basis der klassifizierten Daten ermittelt werden, wird dadurch die Pose der von dem Greifer gehaltenen Last (auch) auf Basis der klassifizierten Daten ermittelt.
In einer Ausführung umfasst das Steuern des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last ein Transportieren und/oder Abgeben der Last mit dem robotergeführten Greifer.
In einer besonders vorteilhaften Anwendung umfasst das Steuern des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last ein Überwachen und/oder Korrigieren einer Pose der Last, besonders bevorzugt während eines Greifens, Transportierens und/oder Abgebens der Last mit dem robotergeführten Greifer. Dabei wird in einer Ausführung die Pose der Last, vorzugsweise relativ zum Greifer, ein- oder mehrfach kontrolliert bzw. mit einer Referenz-Pose verglichen, vorzugsweise, während der Roboter die Last transportiert. Wird dabei eine fehlerhafte Pose oder eine unerwünschte Posenänderung der Last ermittelt bzw. erkannt, wird hierauf in einer Ausführung durch entsprechende Ausgabe einer Warnung und/oder eine entsprechende^ Steuern einer) Bewegung des Roboters und/oder Greifers, beispielsweise ein Anpassen des Griffs, ein Absetzen und Neu-Aufnehmen der Last, eine Anpassung der Stellung des Roboters zum bzw. beim Abgeben der Last oder dergleichen, reagiert.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
Mittel zum Ermitteln einer Pose des Greifers auf Basis einer Stellung des Roboters; Mittel zum Ermitteln einer oder mehrerer virtueller Grenzkonturen in einer Abbildung wenigstens eines Teils des Greifers in einer Umgebung des Greifers auf Basis der ermittelten Pose, in einer Ausführung zum Ermitteln der Greifer-Grenzkontur auf Basis der ermittelten Pose und eines Datenmodells des Greifers und/oder zum Ermitteln der Umgebungs-Grenzkontur auf Basis der ermittelten Pose des Greifers und von Abmessungen des Greifers und/oder einer bzw. der von dem Greifer gehaltenen Last; Mittel zum Klassifizieren von Daten der Abbildung auf Basis der ermittelten wenigstens einen Grenzkontur, insbesondere zum Aussortieren von dem Greifer zugeordneten Daten der Abbildung auf Basis der Greifer-Grenzkontur und/oder zum Aussortieren von einer Umgebung des Greifers, insbesondere dem Roboter und/oder einer Umgebung des Greifers und Roboters, zugeordneten Daten auf Basis der Umgebungs-Grenzkontur;
Mittel zum Ermitteln einer Pose einer von dem Greifer gehaltenen Last auf Basis der klassifizierten Daten; und
Mittel zum Steuern des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last.
In einer Ausführung weist das System bzw. seine Mittel auf: Mittel zum Umwandeln der durch Aussortieren auf Basis der Greifer-Grenzkontur und auf Basis der Umgebungs-Grenzkontur reduzierten Daten der Abbildung in ein Tiefenbild, Mittel zum Ermitteln wenigstens einer Maske basierend auf diesem Tiefenbild, und Mittel zum Aussegmentieren der Last in einem 2D-Bild basierend auf dieser Maske.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere den Roboter und/oder Greifer steuern kann.
Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung sind ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise computerimplementiert bzw. werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System den Roboter und/oder Greifer auf.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zum Betreiben eines Roboters, der einen Greifer führt, nach einer Ausführung der vorliegenden Erfindung; und
Fig. 2: ein Verfahren zum Betreiben des Roboters nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System zum Betreiben eines sechsachsigen Roboters 10, dessen (Gelenk)Stellung(en) durch Gelenkkoordinaten q-i, ... ,q6 angegeben sind, und an dessen Endflansch 11 ein Greifer 2 mit einer von ihm gehaltenen Last 3 angeordnet ist. Eine Robotersteuerung 20 kommuniziert mit dem Roboter 10 und einer Aufnahmevorrichtung 30 zum Aufnehmen einer Abbildung wenigstens eines Teils des Greifers 2 in seiner Umgebung.
In einem Schritt S10 wird die Abbildung in Form einer Punktewolke zur Verfügung gestellt und auf Basis der (Gelenk)Stellung(en) q = [qi,... ,q6] des Roboters 10 eine Pose x des Greifers 2 ermittelt, die dessen dreidimensionale Position und dreidimensionale Orientierung relativ zur Umgebung angibt (x = x(q)).
In einem Schritt S20 wird auf Basis der bekannten Abmessungen der Last 3 und der in Schritt S10 ermittelten Pose des Greifers 2 ein Durchmesser und eine (Mittelpunkts)Position einer Sphäre S derart bestimmt, dass die gehaltene Last 3 mit einer vorgegebenen Toleranz vollständig innerhalb der Sphäre angeordnet werden kann. Beispielsweise kann als Position [x, y, z] des Mittelpunkts der Sphäre S die durch die Pose des Greifers bestimmte Position des Greifers zuzüglich eines Soll- Versatzes zwischen Greiferbasis und Lastmittelpunkt ermittelt und der Durchmesser der Sphäre S so groß gewählt werden, dass die Last auch bei (bei (noch) gehaltener Last) maximal möglicher Abweichung von diesem Soll-Versatz (noch) vollständig innerhalb der Sphäre S liegt. Vorzugsweise kann als Position [x, y, z] des Mittelpunkts der Sphäre S die durch die Pose des Greifers bestimmte Position des Greifers selber ermittelt und der Durchmesser der Sphäre S entsprechend größer gewählt werden, so dass die gehaltene Last stets vollständig innerhalb der Sphäre S liegt.
Nun werden in einem Schritt S30 diejenigen Daten der Abbildung, die außerhalb der Sphäre S liegen, aussortiert bzw. eliminiert, beispielsweise einer Ablage 4 zugeordnete Daten. Dies entspricht einem Aussortieren von der Umgebung des Greifers, insbesondere dem Roboter 10 und einer gemeinsame Umgebung 4 des Greifers und Roboters, zugeordneten Daten auf Basis einer Umgebungs-Grenzkontur in Form der Sphäre S.
In einem Schritt S40 wird auf Basis eines Datenmodells des Greifers 2 und der in Schritt S10 ermittelten Pose des Greifers 2 eine Greifer-Grenzkontur G für den Greifer 2 in der Abbildung ermittelt, die leicht innerhalb der Außenkontur des Greifers 2 in der in Schritt S10 ermittelten Pose liegt.
Dann werden in einem Schritt S50 diejenigen der nach Schritt S30 verbliebenen Daten der Abbildung, die innerhalb der Greifer-Grenzkontur G liegen, eliminiert. Dies entspricht einem Aussortieren von dem Greifer 2 zugeordneten Daten auf Basis der in Schritt S40 ermittelten Greifer-Grenzkontur G.
Durch dieses Aussortieren zunächst auf Basis der Umgebungs-Grenzkontur (Schritt S30) und anschließend auf Basis der Greifer-Grenzkontur (Schritt S50) werden bzw. sind die verbleibenden Daten der Abbildung als potentiell der Last 3 zugeordnete Daten klassifiziert.
Nun wird in einem Schritt S60 die Pose der Last 3 relativ zum Greifer 2 auf Basis der solcherart klassifizierten Daten in an sich bekannter Weise, beispielsweise durch Erkennen bzw. Matchen von Mustern oder dergleichen, ermittelt. In einer Ausführung werden in Schritt S60 die durch Aussortieren auf Basis der Greifer-Grenzkontur und auf Basis der Umgebungs-Grenzkontur reduzierten Daten der Abbildung, vorzugsweise nach einem Nachfiltern, in ein Tiefenbild umgewandelt, basierend hierauf eine oder mehrere Masken ermittelt und diese (jeweils) zum Aussegmentieren der Last in einem 2D-Bild verwendet, wobei dieses Aussegmentieren bzw. aussegmentierte 2D-Bild(er) insbesondere zum Ermitteln der Pose verwendet werden kann bzw. können. In einem Schritt S70 wird der Roboter 10 und/oder Greifer 2 auf Basis der solcherart ermittelten Pose der Last 3 gesteuert, insbesondere während eines Transports der Last 3 ihre Pose relativ zum Greifer 2 mit einer Referenzpose verglichen bzw. kontrolliert und bei einer unzulässigen Abweichung, beispielsweise einem Verrutschen, entsprechend korrigiert.
Durch die Verwendung der in Schritt S10 ermittelten Pose des Greifers 2 kann einerseits das Eliminieren von dem Greifer bzw. der Umgebung zugeordneten Daten der Abbildung verbessert, insbesondere rasch(er) durchgeführt werden.
Zudem können dadurch vorteilhaft Fehler beim Ermitteln der Pose der Last reduziert werden, die darauf basierend, dass Teile des Greifers bzw. der Umgebung irrtümlich mit Teilen der Last verwechselt werden.
Außerdem kann dadurch, dass die Pose der Last aufgrund der in Schritt S10 ermittelten Pose des Greifers 2 bereits ungefähr bekannt ist, die Ermittlung der tatsächlichen Pose der Last 3 auf Basis der (klassifizierten bzw. reduzierten Daten der) Abbildung verbessert, insbesondere rasch(er) durchgeführt werden.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt. Bezuqszeichenliste
2 Greifer
3 Last 4 Ablage
10 Roboter
11 Endflansch
20 Robotersteuerung
30 Aufnahmevorrichtung G Greifer-Grenzkontur
S Sphäre (Umgebungs-Grenzkontur) qi-q6 (Gelenk)Stellung(en) des Roboters

Claims

Patentansprüche Verfahren zum Betreiben eines Roboters (10), der einen Greifer (2) führt, mit den Schritten:
- Ermitteln (S10) einer Pose des Greifers auf Basis einer Stellung des Roboters;
- Ermitteln (S20; S40) wenigstens einer virtuellen Grenzkontur (S; G) in einer Abbildung wenigstens eines Teils des Greifers in einer Umgebung des Greifers auf Basis der ermittelten Pose ;
- Klassifizieren (S30; S50) von Daten der Abbildung auf Basis der ermittelten wenigstens einen Grenzkontur;
- Ermitteln (S60) einer Pose einer von dem Greifer gehaltenen Last (3) auf Basis der klassifizierten Daten; und
- Steuern (S70) des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine auf Basis der ermittelten Pose des Greifers ermittelte virtuelle Grenzkontur eine auf Basis eines Datenmodells des Greifers ermittelte Greifer-Grenzkontur für den Greifer in der Abbildung ist und das Klassifizieren von Daten ein Aussortieren von dem Greifer zugeordneten Daten der Abbildung auf Basis dieser Greifer-Grenzkontur umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine auf Basis der ermittelten Pose des Greifers ermittelte virtuelle Grenzkontur eine auf Basis von Abmessungen des Greifers und/oder einer von dem Greifer gehaltenen Last ermittelte Umgebungs-Grenzkontur für eine Umgebung des Greifers in der Abbildung ist und das Klassifizieren von Daten ein Aussortieren von einer Umgebung des Greifers, insbesondere dem Roboter und/oder einer Umgebung des Greifers und Roboters, zugeordneten Daten der Abbildung auf Basis dieser Umgebungs-Grenzkontur umfasst. Verfahren nach Anspruch 2 und 3, dadurch gekennzeichnet, dass zunächst Daten der Abbildung durch das Aussortieren auf Basis der Umgebungs-Grenzkontur reduziert und danach die reduzierten Daten durch das Aussortieren auf Basis der Greifer-Grenzkontur weiter reduziert werden. Verfahren nach einem der vorhergehenden Ansprüche 2-4, dadurch gekennzeichnet, dass die durch Aussortieren auf Basis der Greifer-Grenzkontur und/oder auf Basis der Umgebungs-Grenzkontur reduzierten Daten der Abbildung in ein Tiefenbild umgewandelt und basierend hierauf wenigstens eine Maske ermittelt wird, insbesondere zum Aussegmentieren der Last in einem 2D-Bild. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Steuern des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last ein T ransportieren und/oder Abgeben der Last mit dem robotergeführten Greifer und/oder ein Überwachen und/oder Korrigieren einer Pose der Last, insbesondere während eines Greifens, Transportierens und/oder Abgebens der Last mit dem robotergeführten Greifer, umfasst. System zum Betreiben eines Roboters, der einen Greifer führt, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
- Mittel zum Ermitteln einer Pose des Greifers auf Basis einer Stellung des Roboters;
- Mittel zum Ermitteln wenigstens einer virtuellen Grenzkontur in einer Abbildung wenigstens eines Teils des Greifers in einer Umgebung des Greifers auf Basis der ermittelten Pose ;
- Mittel zum Klassifizieren von Daten der Abbildung auf Basis der ermittelten wenigstens einen Grenzkontur;
- Mittel zum Ermitteln einer Pose einer von dem Greifer gehaltenen Last auf Basis der klassifizierten Daten; und
- Mittel zum Steuern des Roboters und/oder Greifers auf Basis der ermittelten Pose der Last. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 7 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.
EP23808744.9A 2022-12-13 2023-11-15 Betreiben eines roboters mit greifer Pending EP4633875A1 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102022213568.7A DE102022213568B3 (de) 2022-12-13 2022-12-13 Kalibrieren einer Steuerung
DE102022213562.8A DE102022213562A1 (de) 2022-12-13 2022-12-13 Greifen mit Verpackungsmaterial
DE102022213555.5A DE102022213555A1 (de) 2022-12-13 2022-12-13 Objektlagedetektion mit automatisierter Merkmalsextraktion und/oder Merkmalszuordnung
DE102022213557.1A DE102022213557B3 (de) 2022-12-13 2022-12-13 Betreiben eines Roboters mit Greifer
PCT/EP2023/081830 WO2024125919A1 (de) 2022-12-13 2023-11-15 Betreiben eines roboters mit greifer

Publications (1)

Publication Number Publication Date
EP4633875A1 true EP4633875A1 (de) 2025-10-22

Family

ID=88838801

Family Applications (4)

Application Number Title Priority Date Filing Date
EP23809139.1A Pending EP4634861A1 (de) 2022-12-13 2023-11-15 Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung
EP23808746.4A Pending EP4633877A1 (de) 2022-12-13 2023-11-15 Greifen mit verpackungsmaterial
EP23808745.6A Pending EP4633876A1 (de) 2022-12-13 2023-11-15 Kalibrieren einer greifersteuerung
EP23808744.9A Pending EP4633875A1 (de) 2022-12-13 2023-11-15 Betreiben eines roboters mit greifer

Family Applications Before (3)

Application Number Title Priority Date Filing Date
EP23809139.1A Pending EP4634861A1 (de) 2022-12-13 2023-11-15 Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung
EP23808746.4A Pending EP4633877A1 (de) 2022-12-13 2023-11-15 Greifen mit verpackungsmaterial
EP23808745.6A Pending EP4633876A1 (de) 2022-12-13 2023-11-15 Kalibrieren einer greifersteuerung

Country Status (3)

Country Link
EP (4) EP4634861A1 (de)
CN (4) CN120359107A (de)
WO (4) WO2024125918A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015089575A (ja) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 ロボット、制御装置、ロボットシステム及び制御方法
US11407589B2 (en) * 2018-10-25 2022-08-09 Berkshire Grey Operating Company, Inc. Systems and methods for learning to extrapolate optimal object routing and handling parameters
WO2020091846A1 (en) * 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
DE102021109036A1 (de) * 2021-04-12 2022-10-13 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und verfahren zum lokalisieren von stellen von objekten aus kamerabildern der objekte

Also Published As

Publication number Publication date
EP4633877A1 (de) 2025-10-22
WO2024125919A1 (de) 2024-06-20
CN120359544A (zh) 2025-07-22
EP4634861A1 (de) 2025-10-22
WO2024125920A1 (de) 2024-06-20
CN120344356A (zh) 2025-07-18
WO2024125921A1 (de) 2024-06-20
EP4633876A1 (de) 2025-10-22
CN120344357A (zh) 2025-07-18
CN120359107A (zh) 2025-07-22
WO2024125918A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
EP3966731B1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102022130652A1 (de) Anlernen eines roboters durch vorführen mit visualservoing
DE102022203410B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE102017001131C5 (de) Verfahren und System zum Betreiben eines Roboters
DE102018200864B3 (de) Verfahren und System zum Steuern eines Roboters
DE102018205669B4 (de) Aufnehmen von Nutzlasten mittels eines robotergeführten Werkzeugs
EP4536447A1 (de) Erhöhung der greifrate
DE112018007703C5 (de) Robotersteuerung
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
DE112021001048B4 (de) Steuervorrichtung und steuerverfahren für einen roboter, robotersystem sowie vorrichtung und verfahren zum erzeugen eines betriebsprogramms eines roboters
WO2024125919A1 (de) Betreiben eines roboters mit greifer
DE102022213557B3 (de) Betreiben eines Roboters mit Greifer
EP3710900B1 (de) Verfahren und system zum vorgeben bzw. lernen eines roboterbefehls
WO2024170236A1 (de) Verfahren und system zur verbesserung der grifferreichbarkeit
WO2019243128A1 (de) Verfahren und system zum überführen eines endeffektors eines roboters zwischen einer endeffektorpose und einer weiteren endeffektorpose
DE102022213568B3 (de) Kalibrieren einer Steuerung
DE102022203406A1 (de) Durchführung einer Roboterapplikation und Erstellen eines Programms hierfür
WO2023280566A1 (de) Verfahren und system zum durchführen einer industrie-, insbesondere roboterapplikation
DE102024201098A1 (de) Verfahren zum Ermitteln, ob ein in einem Eingangsbild dargestelltes Objekt eine Anomalie aufweist
DE102023206924B3 (de) Ermitteln von Soll-Stellungen von Bewegungsachsen einer Roboteranordnung
DE102022213562A1 (de) Greifen mit Verpackungsmaterial
WO2024223110A1 (de) Kollisionsfreie roboterbahnen
DE102024206903A1 (de) Verfahren zum Bestimmen einer Greifpose für einen Roboter
DE102023208620A1 (de) Verfahren zum Evaluieren eines maschinellen Lernmodells zum Erzeugen von Deskriptorbildern zu Bildern von ein oder mehreren Objekten
DE102017011897B4 (de) Detektion von Objekten mithilfe robotergeführter Sensoren

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250509

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_0011793_4633875/2025

Effective date: 20251031

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)