EP4536447A1 - Erhöhung der greifrate - Google Patents

Erhöhung der greifrate

Info

Publication number
EP4536447A1
EP4536447A1 EP23728325.4A EP23728325A EP4536447A1 EP 4536447 A1 EP4536447 A1 EP 4536447A1 EP 23728325 A EP23728325 A EP 23728325A EP 4536447 A1 EP4536447 A1 EP 4536447A1
Authority
EP
European Patent Office
Prior art keywords
gripping
determining
image
depth
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP23728325.4A
Other languages
English (en)
French (fr)
Inventor
Manuel KASPAR
Jonas SCHWINN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4536447A1 publication Critical patent/EP4536447A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40563—Object detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation

Definitions

  • Claim 11 provides a system for operating and/or monitoring a machine, in particular a multi-axis machine under protection and/or a robot.
  • Claim 12 protects a computer program or a computer program product. The subclaims relate to advantageous further training.
  • a method for gripping with 6 degrees of freedom, in particular with the aid of a gripping system includes at least one fixed depth camera and at least one gripping device.
  • the method includes capturing image data of a scene with the at least one depth camera.
  • the method includes determining a depth image based on the image data.
  • the method includes determining a 6D pose of at least one known object based on the depth image.
  • the at least one known object is an object to be gripped by the gripping system.
  • Determining a CAD object representation is intended here in particular to mean inserting, in particular replacing, a CAD object in the place of a (known) object recognized on the basis of the depth image, in particular with the recognized pose.
  • the determination includes generating a 3D geometric modeling of the at least one recognized object, in particular all recognized objects (based on the depth image), and is in particular additionally based on the depth image.
  • a CAD object representation can contain edge models, surface models, Volume models or the like, in particular a combination of in particular the same and / or different model types (edge models, surface models, volume models or the like).
  • a gripping device can be a robotic device.
  • a gripping device can preferably be understood herein as a robot with an end effector, in particular a gripper.
  • the gripper is designed for workpiece handling and works in particular mechanically, vacuum-based, magnetically and/or adhesively.
  • a workpiece in particular an object to be gripped, can be manipulated by the gripping device, in particular by the end effector, in particular via frictional connection, material connection and/or positive connection.
  • a “grab probability” should preferably be understood herein as the probability of success (or failure) of the grasp.
  • the gripping probability can be a number between zero and one, which in particular can include zero and one.
  • the procedure does not apply to purely planar handles.
  • the method does not apply to vertical handles with degrees of freedom, especially three Degrees of freedom, in two directions, for example x and y, and a rotation, for example around z.
  • the method can in particular carry out a CAD matching (“CAD matching”) or include it in determining the gripping probability.
  • CAD matching CAD matching
  • the method can be used in one embodiment to select the most promising grip or to decide whether it is possible to grip
  • the method may further comprise determining a color image based on the CAD data.
  • the method can further include determining textures and/or shadows.
  • the determination of the color image, or the textures and/or shadows, can be carried out in one embodiment using ray tracing.
  • color image can preferably also refer to a gray image (with gradations of gray tones). The further description of embodiments or examples with color images should not be construed as limiting.
  • the method may further comprise: determining a color image if the at least one depth camera is an RGB depth camera based on the image data, in particular determining textures and/or shadows in the color image.
  • determining a depth image can additionally be based on the color image.
  • more information can advantageously be used to determine a depth image, in particular an improved and/or more detailed depth image can be determined.
  • a gripping probability can additionally be determined based on the color image.
  • the color image can provide additional information regarding the grip pose or the success of the grip position (grab probability). In one embodiment, this makes it possible for the success of a grip to be determined more precisely and/or better, in particular with greater precision. In this way, in one embodiment it can be achieved that the gripping process to be determined and/or controlled by the method becomes more robust.
  • determining the gripping probability may include stacking the depth image and the depth image with the CAD object representation, in particular also the color image, into a tensor (stacked; from English: “to stack”), in particular in such a way that all images have the same height and width.
  • a tensor stacked; from English: “to stack”
  • five channels are included, in particular 2 depth channels and 3 color channels.
  • the depth image and the depth image with CAD object representation can be rendered in just one image with just one depth channel.
  • the determination of the depth image, the determination of the CAD object representation and/or the determination of the color image can take place from a perspective of at least one predetermined gripping pose of the gripping device on the object to be gripped.
  • predetermined gripping poses can usually be determined using known methods, preferably using grasp sampling, in a step preceding the method.
  • the perspective of the at least one predetermined gripping pose of the gripping device usually does not correspond to the camera perspective of the at least one depth camera. This usually results in that for a perspective that deviates from the visual axis of the depth camera, there is usually less depth information in the image data, in other words, fewer points with depth information in a point cloud than if a perspective of the gripping pose corresponds to the visual axis of the depth camera (at least essentially ) matches.
  • the method may further comprise gripping the object to be gripped, in particular gripping the object to be gripped with the highest probability of gripping, further in particular comprising gripping and placing the object, in particular the object with the highest probability of gripping.
  • this makes it possible for the object to be gripped, in particular the object with the highest probability of gripping, to be selected efficiently and/or more efficiently and in particular for a process of the gripping system to be accelerated and/or improved.
  • the method can accelerate a decision for an object to be gripped and thereby in particular optimize the efficiency of a gripping sequence for the objects to be gripped.
  • the determination of a gripping probability can further be based on known, in particular tabular, data of the gripping system, the gripping device and/or the object to be gripped.
  • this tabular data can include information about at least one gripping pose, a gripping ellipse, in particular its size, and in particular other available information. This advantageously makes it possible for a gripping probability to be determined more precisely and/or better than, in particular, without (known) data. Furthermore, in one embodiment, this makes it possible for a gripping process of the gripping system to be carried out in particular faster and/or more precisely.
  • the method may include obtaining images from the perspective of the at least one gripper component.
  • the images from the perspective of the at least one gripper component can be determined or rendered from the point cloud of the depth information (image data), in particular from the depth image, and/or the CAD object representation. This makes it possible, in particular in combination with the depth image and/or the CAD object representation and/or the color image, for a surface structure at the gripping position to be assessed more precisely and/or better.
  • the method in particular the determination of a gripping probability, can be carried out by a machine learning algorithm, in particular by an artificial neural network.
  • a machine learning algorithm in particular by an artificial neural network.
  • a system for operating and/or monitoring gripping, in particular gripping and placing, of a multi-axis machine, in particular a robot is provided.
  • the gripping system has a gripping device, in particular a multi-axis gripping device.
  • the gripping system has at least one fixed depth camera.
  • the system is set up to carry out a method as described in the embodiments above and/or has:
  • the system or its means has: means for randomly selecting objects, in particular selecting hidden objects that do not relate to the at least one predetermined gripping pose, with no CAD object representation being determined for the randomly selected objects
  • the system or its means has: Means for gripping the object with the highest probability of gripping, in particular gripping and placing the object with the highest probability of gripping.
  • the means for gripping and in particular depositing can be a gripping device.
  • the system or its means has: Means for determining a gripping probability, wherein the gripping probability is further based on a depth image and/or a CAD object representation from the perspective of a gripper component.
  • a system and/or a means in the sense of the present invention can be designed in terms of hardware and/or software technology, in particular at least one processing unit, in particular a microprocessor unit, preferably connected to a memory and/or bus system with data or signals, in particular digital processing unit ( CPU), graphics card (GPU) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to deliver output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • the program can be designed in such a way that it embodies or is capable of executing the methods described here, so that the processing unit can carry out the steps of such methods and can therefore in particular operate or monitor the machine.
  • one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the control or its means.
  • FIG. 5 is a schematic representation of a machine learning algorithm according to an embodiment of the present invention.
  • FIG 3 a scene with CAD object representation or CAD object representations for the objects 5 to be gripped is shown schematically from the perspective of the gripping pose.
  • the depth image 30 was used to determine a 6D pose of the objects 5 to be grasped.
  • CAD object representations can then be rendered into the scene 31 for or with the existing CAD data from the objects 5 to be grasped.
  • the gripping position 20 can in particular be represented more precisely and the determination of a gripping probability can take place on the basis of the depth image and the CAD object representation(s). In this way it can be decided (better) whether a grip at the gripping position 20 is possible, is conditionally possible or is not possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zum Greifen mit 6 Freiheitsgraden, insbesondere zum Greifen, und Ablegen, mit Hilfe eines Greifsystems, wobei das Greifsystem wenigstens eine fixierte Tiefenkamera und wenigstens eine Greifvorrichtung umfasst, und wobei das Verfahren ein Erfassen von Bilddaten einer Szene mit der wenigstens einen Tiefenkamera; ein Ermitteln eines Tiefenbilds anhand der Bilddaten; ein Ermitteln einer 6D Pose des mindestens einen bekannten Objekts anhand des Tiefenbilds; ein Ermitteln einerCAD- Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts; und ein Ermitteln einer Greifwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation, umfasst.

Description

Beschreibung
Erhöhung der Greifrate
Die vorliegende Erfindung betrifft ein Verfahren zum Greifen mit 6 Freiheitsgraden, ein System, sowie ein Computerprogramm bzw. Computerprogrammprodukt.
Das Greifen und Ablegung von bekannten Objekten ist eines der bekannteren Probleme in der Robotik. Meist bestehen bekannte Lösungen für das Aussuchen von Griffen aus drei Komponenten. In den meisten Fällen aus einem Visionsystem, mit Hilfe dessen die Pose von zu greifenden Objekten im Raum bestimmt werden kann. Dem Visionsystem werden hierfür üblicherweise die geometrischen Eigenschaften des Objekts übergeben, beispielsweise als CAD (englisch: „computer-aided design“; rechnerunterstütztes Konstruieren)-Modell. Ausgehend vom Visionsystem kann ein Modell errechnet werden, das eine oder mehrere Posen von Instanzen des gesuchten Objekts im Raum ausgibt, üblicherweise bei Systemen, bei denen das Visionsystem an einem greifenden Roboter angebracht ist.
Ferner wird üblicherweise eine Methode zur Greifpunktbestimmung (englisch: „grasp- sampling“) die für gegebene Greifer und Robotereigenschaften einen Griff oder mehrere Griffe pro Objekt vorschlägt angewandt. Hierbei handelt es sich meistens um eigens programmierte Heuristiken, die geometrische Eigenschaften der Objekte berücksichtigen. Es können aber auch datengetriebene Verfahren zum Einsatz kommen. Ferner kann eine Methode zur Evaluierung der vorgeschlagenen Griffe eingesetzt werden, um den Griff mit der höchsten Greifwahrscheinlichkeit auszuwählen.
Es kann vorkommen, dass es insbesondere bei fixierten Kameras, insbesondere bei Kameras, die nicht am (beweglichen) Greifer angebracht sind, keine oder nicht ausreichende Tiefeninformation gibt, die für der Berechnung eines Griffs verwendet werden kann.
Ferner kann eine Anbringung einer Kamera, insbesondere einer Tiefenkamera, am Roboter oftmals aus Platz- oder Sicherheitsgründen nicht möglich sein. Aufgabe der vorliegenden Erfindung ist es daher eine Greifrate zu verbessern, vorzugsweise obigem Problem abzuhelfen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Anspruch 11 stellt ein System zum Betreiben und/oder Überwachen einer Maschine, insbesondere einer mehrachsigen Maschine unter Schutz und/oder eines Roboters. Anspruch 12 stellt ein Computerprogramm bzw. ein Computerprogrammprodukt unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung wird ein Verfahren zum Greifen mit 6 Freiheitsgraden, insbesondere mit Hilfe eines Greifsystems, bereitgestellt. Das (Greif)System umfasst wenigstens eine fixierte Tiefenkamera und wenigstens eine Greifvorrichtung. Das Verfahren umfasst dabei in einer Ausführung das Erfassen von Bilddaten einer Szene mit der wenigstens einen Tiefenkamera. Ferner umfasst das Verfahren in einer Ausführung das Ermitteln eines Tiefenbilds anhand der Bilddaten. Weiterhin umfasst das Verfahren in einer Ausführung das Ermitteln einer 6D Pose von mindestens einem bekannten Objekt anhand des Tiefenbilds. Das mindestens eine bekannte Objekt ist dabei in einer Ausführung ein vom Greifsystem zu greifendes Objekt. Ferner umfasst das Verfahren in einer Ausführung das Ermitteln einer CAD- Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts, insbesondere zusätzlich basierend auf dem Tiefenbild und/oder einem Farbbild, insbesondere sofern ein Farbbild zur Verfügung steht, insbesondere wenn die Tiefenkamera dazu eingerichtet ist, ein Farbbild, insbesondere Bilddaten mit Farbinformation zu erfassen bzw. diese in den Bilddaten umfasst ist. Weiterhin umfasst das Verfahren in einer Ausführung das Ermitteln einer Griffwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation.
Ein „Ermitteln einer CAD-Objekt Repräsentation“ soll hierin insbesondere als Einsetzen, insbesondere Ersetzen, eines CAD-Objekts an die Stelle eines anhand des Tiefenbilds erkannten (bekannten) Objekts, insbesondere mit der erkannten Pose. Das Ermitteln umfasst in einer Ausführung das Generieren einer 3D-geometrischen Modellierung des mindestens einen erkannten Objekts, insbesondere aller (anhand des Tiefenbilds) erkannten Objekte und basiert insbesondere zusätzlich auf dem Tiefenbild. Eine CAD- Objekt Repräsentation kann in einer Ausführung Kantenmodelle, Flächenmodelle, Volumenmodelle oder dergleichen, insbesondere eine Kombination von insbesondere gleichen und/oder verschiedenen Modellarten (Kantenmodelle, Flächenmodelle, Volumenmodelle oder dergleichen) aufweisen.
„Erkannt“ ist hierin vorzugsweise als „sofern erkannt“ zu verstehen. In einer Ausführung wird unter CAD-Objekt Repräsentation vorzugsweise (bildbasiertes) Meshing verstanden. Eine „CAD-Objekt Repräsentation“ wie hierin verwendet, ist insbesondere als (virtuelles) Polygonnetz, als (virtuelles) Kantenmodell, (virtuelles) Flächen- und/oder Volumenmodell oder dergleichen zu verstehen. Die CAD-Objekt Repräsentation soll insbesondere als Tiefenbild mit CAD-Objekt(en) verstanden werden, insbesondere als Tiefenbild mit CAD-Mesh.
Eine Greifvorrichtung kann in einer Ausführung eine robotische Vorrichtung sein. Ferner kann in einer Ausführung eine Greifvorrichtung hierin vorzugsweise als Roboter mit Endeffektor, insbesondere Greifer verstanden werden. In einer Ausführung ist der Greifer zur Werkstückhandhabung ausgelegt und arbeitet insbesondere mechanisch, vakuum-basiert, magnetisch und/oder adhäsiv. Ein Werkstück, insbesondere ein zu greifendes Objekt, kann in einer Ausführung insbesondere über Kraftschluss, Stoffschluss und/oder Formschluss von der Greifvorrichtung, insbesondere vom Endeffektor, manipuliert werden.
„Fixierte Tiefenkamera“ soll hierin vorzugsweise als eine an einer Position festgemachte, bzw. positionsfeste Tiefenkamera verstanden werden. In einer Ausführung ist die Tiefenkamera nicht an einem Roboter oder der beweglichen Greifvorrichtung befestigt. Die Tiefenkamera kann in einer Ausführung an einer Position angebracht sein, von der aus sie eine Szene, insbesondere eine Szene mit einer Ansammlung von zu greifenden Objekten, aufnehmen, bzw. erfassen kann.
Eine „Greifwahrscheinlichkeit“ soll hierin vorzugsweise als Wahrscheinlichkeit eines Erfolgs (oder Misserfolgs) des Griffs verstanden werden. Die Greifwahrscheinlichkeit kann in einer Ausführung eine Zahl zwischen Null und eins sein, wobei insbesondere Null und Eins inbegriffen sein können.
Das Verfahren bezieht sich nicht auf rein planare Griffe. In anderen Worten bezieht sich das Verfahren nicht auf vertikale Griffe mit Freiheitsgraden, insbesondere drei Freiheitsgraden, in zwei Richtungen, beispielsweise x und y und einer Rotation, beispielsweise um z.
Vorteilhafterweise kann das Verfahren in einer Ausführung mit der gerenderten CAD- Objekt Repräsentation basierend auf den CAD-Daten insbesondere einen CAD- Abgleich (englisch:“CAD-matching“) durchführen, bzw. in das Ermitteln der Greifwahrscheinlichkeit mit einbeziehen. So kann in einer Ausführung bei großen Winkeln, insbesondere bei Winkeln einer Perspektive einer Greifpose auf das zu greifende Objekt von mehr als 45° zur Sichtachse der Tiefenkamera, eine Greifpose (überhaupt) erkannt und entsprechend eine Greifwahrscheinlichkeit ermittelt werden, selbst wenn für das zu greifende Objekt nur wenig Tiefeninformationen vorhanden sind, bzw. das Tiefenbild aus der Perspektive der Greifpose nur wenig Informationen, insbesondere weniger als 30% einer Tiefeninformation im Vergleich mit einer Tiefeninformation bei der die Tiefenkamera (zumindest im Wesentlichen) deckungsgleich und richtungsgleich zur Perspektivenachse der Greifpose ist, aufweist. Insbesondere kann hierdurch ermöglicht werden, dass eine Taktzeit beim Ermitteln einer Greifwahrscheinlichkeit und insbesondere beim Greifen erhöht werden kann. Ferner kann durch das Verfahren in einer Ausführung der erfolgversprechendste Griff ausgewählt werden, bzw. entschieden werden, ob überhaupt gegriffen werden kann.
Nach einer Ausführungsform kann das Verfahren ferner das Ermitteln eines Farbbilds basierend auf den CAD-Daten umfassen. Insbesondere kann das Verfahren ferner das Ermitteln von Texturen und/oder Schatten umfassen. Dabei kann das Ermitteln des Farbbilds, bzw. der Texturen und/oder Schatten in einer Ausführung mittels ray tracing durchgeführt werden. Farbbild kann sich hierin in einer Ausführung vorzugsweise auch auf ein Graubild (mit Abstufungen von Grautönen) beziehen. Die weitere Beschreibung an Ausführungen oder Beispielen mit Farbbildern soll nicht als einschränkend verstanden werden.
Nach einer Ausführungsform ist die Tiefenkamera eine RGB-Tiefenkamera, insbesondere eine Tiefenkamera, die Farbinformation aufnehmen bzw. bereitstellen kann. „RGB“ ist hierin nicht als einschränkend auf einen Farbraum mit rot, grün und blau (RGB) zu verstehen. In anderen Worten kann eine RGB-Tiefenkamera in einer Ausführung zusätzlich zu den Tiefeninformationen auch Farbinformationen erfassen. Diese Farbinformationen können insbesondere zum Ermitteln eines Farbbilds verwendet werden. In einer Ausführung kann das ermittelte Farbbild Texturen und/oder Schatten umfassen.
Nach einer Ausführungsform kann das Verfahren ferner umfassen: Ermitteln eines Farbbilds, wenn die wenigstens eine Tiefenkamera eine RGB-Tiefenkamera ist, basierend auf den Bilddaten, insbesondere Ermitteln von Texturen und/oder Schatten im Farbbild. In einer Ausführung kann das Ermitteln eines Tiefenbilds zusätzlich auf dem Farbbild basieren. Hierdurch kann in einer Ausführung vorteilhafterweise mehr Information genutzt werden, um ein Tiefenbild zu ermitteln, insbesondere ein verbessertes und/oder detailreich(er)es Tiefenbild ermittelt werden. In einer Ausführung kann eine Greifwahrscheinlichkeit zusätzlich basierend auf dem Farbbild ermittelt werden. Vorteilhafterweise kann das Farbbild in einer Ausführung zusätzliche Informationen bezüglich der Griffpose, bzw. zu einem Erfolg der Greifposition (Greifwahrscheinlichkeit) liefern. Dadurch kann in einer Ausführung ermöglicht werden, dass ein Erfolg eines Griffes genauer und/oder besser, insbesondere mit höherer Präzision ermittelt werden kann. Hierdurch kann in einer Ausführung erreicht werden, dass der vom Verfahren zu ermittelnde und/oder zu steuernde Greifprozess robuster wird.
Nach einer Ausführungsform kann das Ermitteln der Greifwahrscheinlichkeit umfassen, dass das Tiefenbild und das Tiefenbild mit der CAD-Objekt Repräsentation, insbesondere auch das Farbbild in einen Tensor gestapelt (gestackt; von englisch: „to stack“) werden, insbesondere auf eine Weise, dass alle Bilder die gleiche Höhe und Breite aufweisen. Ferner sind in einer Ausführung fünf Kanäle umfasst, insbesondere 2 Tiefenkanäle und 3 Farbkanäle. Alternativ kann das Tiefenbild und das Tiefenbild mit CAD-Objekt Repräsentation in nur einem Bild mit nur einem Tiefenkanal gerendert werden.
Nach einer Ausführungsform kann das Ermitteln des Tiefenbilds, das Ermitteln der CAD-Objekt Repräsentation und/oder das Ermitteln des Farbbilds aus einer Perspektive wenigstens einer vorbestimmten Greifpose der Greifvorrichtung am zu greifenden Objekt erfolgen. Insbesondere können vorbestimmte Greifposen üblicherweise mittels bekannter Verfahren, vorzugsweise mittels grasp sampling, in einem dem Verfahren vorgelagerten Schritt ermittelt werden. Vorteilhafterweise steht in einer Ausführung für ein zu greifendes Objekt wenigstens eine vorbestimmte Greifpose zur Verfügung, bzw. ist wenigstens eine vorbestimmte Greifpose für das zu greifende Objekt hinterlegt. Hierdurch kann in einer Ausführung ermöglicht werden, dass eine Greifpose in der Szene, insbesondere im Tiefenbild und/oder der gerenderten CAD- Objekt Repräsentation und/oder dem Farbbild erkannt werden kann und aus der Perspektive der wenigstens einen vorbestimmten Greifpose eine Greifwahrscheinlichkeit für die Greifpose bestimmbar, bzw. ermittelbar ist. In anderen Worten kann mit dem Tiefenbild und/oder der gerenderten CAD-Objekt Repräsentation und/oder dem Farbbild eine Repräsentation des Griffes ermittelt werden, aus der (mittels des Verfahrens) eine Greifwahrscheinlichkeit für den Griff ermittelt werden kann. Vorteilhafterweise kann hierdurch insbesondere der erfolgversprechendste Griff ausgewählt werden, bzw. entschieden werden, ob überhaupt gegriffen werden kann.
Eine „Perspektive der Greifpose“ soll hierin vorzugsweise als eine Richtung verstanden werden, die sich auf insbesondere eine Längsachse der Greifvorrichtung beziehen kann und/oder insbesondere auf eine Längsachse des Endeffektors der Greifvorrichtung oder auf eine Mittelachse, bzw. Längsachse einer Komponente des Systems zum Greifen, insbesondere des Systems zum Greifen und Ablegen.
Beim Greifen mit sechs Freiheitsgraden entspricht die Perspektive der wenigstens einen vorbestimmten Greifpose der Greifvorrichtung üblicherweise nicht der Kameraperspektive der wenigstens einen Tiefenkamera. Daher resultiert üblicherweise, dass für eine von der Sichtachse der Tiefenkamera abweichende Perspektive üblicherweise weniger Tiefeninformation in den Bilddaten, in anderen Worten, weniger Punkte mit Tiefeninformation in einer Punktewolke vorhanden sind, als wenn eine Perspektive der Greifpose mit der Sichtachse der Tiefenkamera (zumindest im Wesentlichen) übereinstimmt. Vorteilhafterweise kann in einer Ausführung mit dem Ermitteln der CAD-Objekt Repräsentation und/oder dem Ermitteln des Farbbilds, insbesondere Ermitteln des Farbbilds basierend auf CAD-Daten, Tiefeninformation „gewonnen“ werden, die ein Ermitteln einer Greifwahrscheinlichkeit ermöglichen kann, selbst wenn für das zu greifende Objekt nur wenig Tiefeninformation im Tiefenbild aus der Perspektive der Greifpose vorhanden ist.
Nach einer Ausführungsform kann das Verfahren ferner ein randomisiertes Auswählen von Objekten, die insbesondere nicht die wenigstens eine vorbestimmte Greifpose betreffen, umfassen. In einer Ausführung kann das Verfahren ein randomisiertes Auswahlen von (stark) verdeckten Objekten, die insbesondere nicht die wenigstens eine vorbestimmte Greifpose betreffen, umfassen. Für die randomisiert ausgewählten Objekte kann das Verfahren in einer Ausführung umfassen, dass für diese randomisiert ausgewählten Objekte keine CAD-Objekt Repräsentation ermittelt wird. Dies kann in einer Ausführung für ein Training eines Algorithmus des maschinellen Lernens eingesetzt werden, der ein erfindungsgemäßes Verfahren (zumindest teilweise) ausführt oder ausführen kann. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass Trainingsdaten für einen Algorithmus des maschinellen Lernens erzeugt werden können, insbesondere für ein künstliches neuronales Netzwerk (englisch: „artificial neuronal network“). Hierdurch kann in einer Ausführung ein Algorithmus, der das Verfahren (zumindest teilweise) ausführt besser trainiert werden. Insbesondere kann hierdurch in einer Ausführung vorteilhafterweise das Verfahren beschleunigt werden.
Nach einer Ausführungsform kann das Verfahren ferner das Greifen des zu greifenden Objekts umfassen, insbesondere das Greifen des zu greifenden Objekts mit der höchsten Greifwahrscheinlichkeit, weiter insbesondere das Greifen und Ablegen des Objekts, insbesondere des Objekts mit der höchsten Greifwahrscheinlichkeit, umfassen. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass das zu greifende Objekt, insbesondere das Objekt mit der höchsten Greifwahrscheinlichkeit, effizient und/oder effizienter ausgewählt werden kann und insbesondere ein Prozess des Greifsystems beschleunigt und/oder verbessert werden kann. Vorteilhafterweise kann das Verfahren in einer Ausführung eine Entscheidung für ein zu greifendes Objekt beschleunigen und hierdurch insbesondere eine Effizient einer Greifreihenfolge bei den zu greifenden Objekten optimieren.
Nach einer Ausführungsform kann das Erfassen der Bilddaten (zeitlich) zwischen dem Greifen eines ersten (zu greifenden) Objekts und dem Greifen eines zweiten (zu greifenden) Objekts, insbesondere innerhalb der Szene, ausgeführt werden. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass ein zu greifendes Objekt, insbesondere innerhalb der Szene, insbesondere in einem (zeitlichen) Verfahrensabschnitt ermittelt werden kann, in dem die Szene nicht von einem Greifsystem, bzw. dessen Greifvorrichtung verdeckt wird und/oder dass ein Prozess des Greifsystems effizienter und/oder schneller abläuft. Nach einer Ausführungsform kann das Erfassen der Bilddaten während eines Ablegens des gegriffenen Objekts ausgeführt werden. Insbesondere kann das Verfahren während eines Ablegens des gegriffenen Objekts ausgeführt werden. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass Taktzeit (des Greifsystems) eingespart wird und/oder werden kann.
Nach einer Ausführungsform kann das Ermitteln einer Greifwahrscheinlichkeit ferner auf bekannten, insbesondere tabellarischen, Daten des Greifsystems, der Greifvorrichtung und/oder des zu greifenden Objekts basieren. Hierdurch kann in einer Ausführung ermöglicht werden, dass Daten, insbesondere Daten, die nicht durch die wenigstens eine Tiefenkamera erfasst werden, mit in das Ermitteln einer Greifwahrscheinlichkeit eingebracht werden und/oder eingebracht werden können. Diese tabellarischen Daten können in einer Ausführung Informationen zu wenigstens einer Greifpose, einer Greifellipse, insbesondere deren Größe, und insbesondere andere zur Verfügung stehenden Informationen umfassen. Vorteilhafterweise kann hierdurch ermöglicht werden, dass eine Greifwahrscheinlichkeit genauer und/oder besser ermittelt werden kann, als insbesondere ohne (bekannte) Daten. Ferner kann in einer Ausführung hierdurch ermöglicht werden, dass ein Greifprozess des Greifsystems insbesondere schneller und/oder genauer durchgeführt werden kann.
In einer Ausführungsform kann das Verfahren das Ermitteln von Bildern aus der Perspektive der wenigstens einen Greiferkomponente umfassen. Die Bilder aus der Perspektive der wenigstens einen Greiferkomponente können in einer Ausführung aus der Punktewolke der Tiefeninformation (Bilddaten), insbesondere aus dem Tiefenbild, und/oder der CAD-Objekt Repräsentation ermittelt, bzw. gerendert werden. Hierdurch kann insbesondere ermöglicht werden, insbesondere in Kombination mit dem Tiefenbild und/oder der CAD-Objekt Repräsentation und/oder dem Farbbild, dass eine Oberflächenstruktur an der Greifposition genauer und/oder besser beurteilt werden kann.
Eine Greiferkomponente soll hierin vorzugsweise als einer der, insbesondere mechanischen, Teile des Greifsystems verstanden werden, die für das Greifen von Objekten verwendet werden oder verwendet werden können. In anderen Worten kann die Greiferkomponente vorzugsweise als eines der Wirkelement oder als das wenigstens eine Wirkelement des Endeffektors der Greifvorrichtung verstanden werden. Nach einer Ausführungsform kann das Ermitteln einer Greifwahrscheinlichkeit ferner auf einem Tiefenbild und/oder einer CAD-Objekt Repräsentation aus Perspektive (wenigstens) einer Greiferkomponente basieren. Hierdurch kann insbesondere ermöglicht werden, dass Hindernisse, die insbesondere die Greifellipse der Greifvorrichtung des Greifsystems, insbesondere die (Greifellipse der) Greiferkomponente bei einem (potentiellen) Greifvorgang behindern könnten, erkannt werden (können) und insbesondere in das Ermitteln einer Greifwahrscheinlichkeit einfließen (können).
Nach einer Ausführungsformkann das Verfahren, insbesondere das Ermitteln einer Greifwahrscheinlichkeit, durch einen Algorithmus des maschinellen Lernens, insbesondere durch ein künstliches neuronales Netz, durchgeführt werden. Hierdurch kann in einer Ausführung ermöglicht werden, dass das Verfahren und/oder insbesondere das Ermitteln einer Greifwahrscheinlichkeit, vorgeschlagene, insbesondere vorbestimmte Griffe (zu einer Greifpose) mit höherer Präzision bewerten kann.
Nach einer Ausführungsform kann das Verfahren ferner umfassen, dass eine Greifwahrscheinlichkeit für ein zu greifende Objekt niedriger bewertet wird, wenn für die Greifpose wenig Tiefeninformation vorhanden ist, als eine Greifwahrscheinlichkeit für ein zu greifendes Objekt bei dem viel Tiefinformation vorhanden ist. „Wenig Tiefeninformation“ soll hierin als weniger als 40% Tiefeninformation aus der Perspektive der Greifpose verstanden werden, insbesondere weniger als 30% Tiefeninformation, weniger als 25% Tiefeninformation weniger als 20% Tiefeninformation, weniger als 15% Tiefeninformation oder weniger als 10% Tiefeninformation aus der Perspektive der Greifpose, im Vergleich zu einer Greifpose, deren Perspektive mit einer Sichtachse der Tiefenkamera übereinstimmt. „Viel Tiefeninformation“ soll hierin als mehr als 25% Tiefeninformation, insbesondere mehr als 40% Tiefeninformation, mehr als 50% Tiefeninformation, mehr als 75% Tiefeninformation, oder mehr als 80% Tiefeninformation verstanden werden im Vergleich zu einer Greifpose, deren Perspektive mit einer Sichtachse der Tiefenkamera übereinstimmt, oder insbesondere im Vergleich zu einem zu greifenden Objekt aus der Perspektive der Greifpose mit wenig Tiefeninformation. Insbesondere können zu greifende Objekte mit wenig Tiefeninformation von einer Ermittlung der Greifwahrscheinlichkeit ausgeschlossen werden. Vorteilhafterweise kann hierdurch ermöglicht werden, dass das Verfahren effizienter durchgeführt werden kann, weil insbesondere beim Ermitteln der Greifwahrscheinlichkeit für weniger Kandidaten eine Greifwahrscheinlichkeit ermittelt werden muss.
In einer Ausführung wird das Verfahren von einem voll faltenden neuronalen Netzwerk (englisch: „Fully Convolutional Neural Network“) ausgeführt. Hierdurch kann insbesondere ermöglicht werden, dass insbesondere größere Eingangsbilder (Tiefenbild, CAD-Objekt Repräsentations-Bild, Farbbild) verwendet werden können, als im Vergleich mit neuronalen Netzwerken, die nicht als fully convolutional neural network aufgebaut sind. In einer Ausführung kann durch ein fully convolutional network ermöglicht werden, dass Bilder schneller bewertet werden (können), als insbesondere ohne neuronales Netzwerk. Weiter vorteilhafterweise können in einer Ausführung mit einem fully convolutional neural network möglichst viele Griffe bewertet und gleichzeitig eine hohe Taktzeit gewährleistet werden.
Nach einer Ausführungsform der vorliegenden Erfindung wird ein System zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine, insbesondere eines Roboters, bereitgestellt. Das Greifsystem weist in einer Ausführung eine Greifvorrichtung, insbesondere eine mehrachsige Greifvorrichtung auf. Ferner weist das Greifsystem in einer Ausführung wenigstens eine fixierte Tiefenkamera auf. Das System ist in einer Ausführung zur Durchführung eines Verfahrens wie in Ausführungsformen oben beschrieben, eingerichtet und/oder weist auf:
Mittel zum Ermitteln eines Tiefenbilds anhand der Bilddaten;
Mittel zum Ermitteln einer 6D Pose des mindestens einen bekannten Objekts anhand des Tiefenbilds;
Mittel zum Ermitteln einer CAD-Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts; Mittel zum Ermitteln einer Greifwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation.
In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Ermitteln eines Farbbilds basierend auf den Bilddaten, insbesondere Mittel zum Ermitteln von Texturen und/oder Schatten im Farbbild, wobei Mittel zum Ermitteln einer Greifwahrscheinlichkeit zusätzlich dazu eingerichtet sind, eine Greifwahrscheinlichkeit basierend auf dem Farbbild zu ermitteln.
In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum randomisierten Auswählen von Objekten, insbesondere Auswählen von verdeckten Objekten, die nicht die wenigstens eine vorbestimmte Greifpose betreffen, wobei für die randomisiert ausgewählten Objekte keine CAD-Objekt Repräsentation ermittelt wird
In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Greifen des Objekts mit der höchsten Greifwahrscheinlichkeit, insbesondere Greifen und Ablegen des Objekts mit der höchsten Greifwahrscheinlichkeit. Insbesondere kann das Mittel zum Greifen und insbesondere Ablegen eine Greifvorrichtung sein.
In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Ermitteln einer Greifwahrscheinlichkeit, wobei die Greifwahrscheinlichkeit ferner auf einem Tiefenbild und/oder einer CAD-Objekt Repräsentation aus Perspektive einer Greiferkomponente basiert.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die Maschine betreiben bzw. überwachen kann.
Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch die Steuerung bzw. ihr(e) Mittel.
In einer Ausführung weist das System den Roboter auf.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine nach einer Ausführung der vorliegenden Erfindung;
Fig. 2: eine Szene mit schematisch dargestellter Tiefeninformation aus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung; Fig. 3 eine Szene mit schematisch dargestellter CAD-Objekt Repräsentationaus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung;
Fig. 4 eine Szene mit schematisch dargestelltem Farbbild aus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung;
Fig. 5 schematisch eine Darstellung eines Algorithmus des maschinellen Lernens nach einer Ausführung der vorliegenden Erfindung; und
Fig. 6 schematisch ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System 1 zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine 2, die in der schematischen Darstellung von Figur 1 als Roboter 2 dargestellt ist. Der Roboter 2 umfasst eine Greifvorrichtung 3. Ferner ist eine fixierte Tiefenkamera 4 schematisch dargestellt. Die Tiefenkamera 4 „beobachtet“ eine Szene, die mehrere zu greifende Objekte 5 umfasst. Das System 1 ist dazu ausgelegt anhand der von der Tiefenkamera 4 erfassten Bilddaten der Szene 10 eine Greifwahrscheinlichkeit für wenigstens eines der zu greifenden Objekte 5 zu ermitteln.
Das System 1 kann dann mithilfe der Greifvorrichtung 3 das zu greifende Objekt 5 mit einer Greifpose anfahren und insbesondere das zu greifende Objekt 5 greifen, für das mit einer Griffevaluierung anhand den von der Tiefenkamera 4 erfassten Bilddaten eine hohe (im Vergleich zu den anderen zu greifenden Objekten 5), insbesondere die höchste, Greifwahrscheinlichkeit auf Basis des Tiefenbilds und der CAD-Objekt Repräsentation (und des Farbbilds) ermittelt wurde.
Ergänzend oder alternativ kann, wenn ein zu greifendes Objekt 5 ausgewählt wurde, insbesondere anhand seiner Greifwahrscheinlichkeit, der Roboter 2 eine Greifpose anfahren und das zu greifende Objekt 5 greifen. Im Anschluss kann der Roboter 2 das gegriffene Objekt manipulieren und insbesondere an einem vorbestimmten Ort ablegen oder randomisiert aus vorbestimmten Orten auswählen und das gegriffene Objekt ablegen. Figur 2 zeigt schematisch eine Szene 30 mit schematisch dargestellter Tiefeninformation aus der Perspektive der Greifpose eines zu greifenden Objekts 5. Tiefeninformation, die aus Bilddaten einer Tiefenkamera 4 ermittelt werden kann, ist, wie schematisch dargestellt aus Perspektive einer Greifpose üblicherweise unvollständig und/oder (zumindest teilweise) nicht vorhanden. Für das zu greifende Objekt 5 kann damit anhand des Tiefenbilds 30 nicht oder nur schwer ermittelt werden, ob eine Greifpose vom Greifsystem 1 anfahrbar ist und eine Greifvorrichtung 3 den Griff ausführen kann. Die Greifposition 20 für die eine vorbestimmte Greifpose, insbesondere mittels grasp sampling ermittelt wurde, ist in Figur 2 als bedingt zugänglich dargestellt. Beim Ermitteln der Greifwahrscheinlichkeit werden insbesondere die (vorbekannten) Daten zur Greifvorrichtung 3 mit einbezogen, so dass ermittelt werden kann, ob ein Griff an der Greifposition 20 möglich ist, bedingt möglich ist oder nicht möglich ist.
In Figur 3 ist schematisch eine Szene mit CAD-Objekt Repräsentation, bzw. CAD- Objekt Repräsentationen für die zu greifenden Objekte 5 aus der Perspektive der Greifpose dargestellt. Für die entsprechende Darstellung wurde das Tiefenbild 30 verwendet, um eine 6D Pose der zu greifenden Objekte 5 zu ermitteln. Mit dieser Information zur Pose der zu greifenden Objekte 5 können dann CAD-Objekt Repräsentationen zu bzw. mit den vorhandene CAD Daten von den zu greifenden Objekten 5 in die Szene 31 gerendert werden. Dabei kann die Greifposition 20 insbesondere genauer dargestellt werden und das Ermitteln einer Greifwahrscheinlichkeit auf Basis des Tiefenbilds und der CAD-Objekt Repräsentation(en) erfolgen. Auf diese Weise kann (besser) entschieden werden, ob ein Griff an der Greifposition 20 möglich ist, bedingt möglich ist oder nicht möglich ist.
In Figur 4 ist schematisch eine Szene mit Farbbild aus der Perspektive der Greifpose des zu greifenden Objekts 5 dargestellt. Aus dem Tiefenbilds 30, das in Figur 2 beispielhaft dargestellt ist. Kann eine 6D Pose ermittelt werden und insbesondere wie in Figur 3 dargestellt eine Szene mit CAD-Objekt Repräsentation(en) 31 gerendert werden. Mit der zusätzlichen Information, die insbesondere von RGB-Tiefenkamera, erfasst werden kann, kann ein Farbbild 32, insbesondere basierend auf der CAD-Objekt Repräsentation 31 , ermittelt werden, das (zusätzliche) Informationen zu Farben des zu greifenden Objekts 5 umfasst. Anhand der ersten Farbinformation 41 , der zweiten Farbinformation 42, der dritten Farbinformation 43 und/oder der vierten Farbinformation 44 kann eine Oberflächenbeschaffenheit des zu greifenden Objekts 5, insbesondere an der Greifposition 20, ermittelt werden. Diese Information kann einerseits aus der Farbinformation 41 , 42, 43, 44 ermittelt werden. Mit der Farbinformation 41 , 42, 43, 44 des Farbbilds lassen sich auch Schatten darstellen und/oder Rückschlüsse auf (verschiedene) Materialien des zu greifenden Objekts 5 ermitteln. Alternativ oder ergänzend kann eine Oberflächenbeschaffenheit des zu greifenden Objekts 5 aus zusätzlichen Informationen (Daten) ermittelt werden, die insbesondere nicht von der RGB-Tiefenkamera 4 erfasst werden können. Anhand der (zusätzlichen) Information des Tiefenbilds 32 kann dann in Kombination mit dem Tiefenbild und der CAD-Objekt Repräsentation eine Greifwahrscheinlichkeit ermittelt werden.
Figur 5 zeigt schematisch eine Darstellung eines Algorithmus des maschinellen Lernens 50. Das Netz zeigt hier beispielhaft drei Eingänge für ein Tiefenbild, ein mit CAD-Objekt Repräsentation(en) gerendertes Bild und ein Farbbild. Diese Bilder werden vom Algorithmus, der ein künstliches neuronales Netz, wie beispielhaft dargestellt, sein kann, verarbeitet und ein Ergebnis in der Form einer Greifwahrscheinlichkeit für das zu greifende Objekt 5 ermittelt.
Figur 6 zeigt schematisch ein Verfahren zum Greifen 60, das die Schritte S100 bis S108 umfasst. Das Verfahren 60 umfasst einen Schritt des Erfassens von Bilddaten einer Szene S100, sowie das Ermitteln eines Tiefenbilds anhand der Bilddaten S102. Ferner umfasst das Verfahren 60 das Ermitteln einer 6D Pose des mindestens einen bekannten Objekts 5 anhand des Tiefenbilds S104. Weiterhin umfasst das Verfahren 60 das Ermitteln einer CAD-Objekt Repräsentation S106, basierend auf der ermittelten 6D Pose des zu greifenden Objekts 5 und bekannter CAD Daten des bekannten Objekts 5. In Schritt S108 wird eine Greifwahrscheinlichkeit für das Greifen des zu greifenden Objekts 5 ermittelt, basierend auf dem in Schritt S102 ermittelten Tiefenbild und dem in Schritt S106 ermittelten CAD-Objekt Repräsentation. Anhand der in S108 ermittelten Greifwahrscheinlichkeit kann entschieden werden, ob das zu greifende Objekt vom Greifsystem, insbesondere der Greifvorrichtung des Greifsystems gegriffen werden soll, oder ob ein anderes zu greifendes Objekt existiert, das eine höhere Greifwahrscheinlichkeit aufweist. Anschließend kann das System insbesondere dazu veranlasst werden, das zu greifende Objekt mit insbesondere der höchsten Greifwahrscheinlichkeit zu greifen. Das gegriffene Objekt kann dann an einer dafür vorgesehenen oder randomisierten Position, insbesondere in einem Ablegebereich abgelegt werden.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 System
2 mehrachsige Maschine, insbesondere Roboter
3 Greifvorrichtung
4 fixierte Tiefenkamera
5 zu greifendes Objekt
10 Szene
20 Greifposition
30 Tiefenbild aus Perspektive der Greifpose
31 CAD-Objekt Repräsentation aus Perspektive der Greifpose
32 Farbbild aus Perspektive der Greifpose
41 erste Farbinformation
42 zweite Farbinformation
43 dritte Farbinformation
44 vierte Farbinformation
50 Algorithmus des maschinellen Lernens
60 Verfahren zum Greifen
S100 Erfassen von Bilddaten einer Szene
S102 Ermitteln eines Tiefenbilds S104 Ermitteln einer 6D Pose
S106 Ermitteln einer CAD-Objekt Repräsentation
S108 Ermitteln einer Greifwahrscheinlichkeit

Claims

Patentansprüche Verfahren (60) zum Greifen mit 6 Freiheitsgraden, insbesondere zum Greifen und
Ablegen, mit Hilfe eines Greifsystems (1), wobei das Greifsystem (1) wenigstens eine fixierte Tiefenkamera (4) und wenigstens eine Greifvorrichtung (3) umfasst, wobei das Verfahren (60) umfasst:
- Erfassen (S100) von Bilddaten einer Szene mit der wenigstens einen Tiefenkamera (4);
- Ermitteln (S102) eines Tiefenbilds (30) anhand der Bilddaten;
- Ermitteln (S104) einer 6D Pose des mindestens einen bekannten Objekts anhand des Tiefenbilds (30);
- Ermitteln (S106) einer CAD-Objekt Repräsentation (31) basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts (5) und bekannter CAD-Daten des mindestens einen bekannten Objekts (5);
- Ermitteln (S108) einer Greifwahrscheinlichkeit basierend auf dem Tiefenbild (30) und der CAD-Objekt Repräsentation (31). Verfahren (60) nach dem vorhergehenden Anspruch, wobei das Ermitteln der CAD-Objekt Repräsentation (31) zusätzlich auf dem Tiefenbild (30) basiert. Verfahren (60) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (60) ferner umfasst:
Ermitteln, wenn die wenigstens eine Tiefenkamera (4) eine RGB-Tiefenkamera ist, eines Farbbilds (32) basierend auf den Bilddaten, insbesondere Ermitteln von Texturen und/oder Schatten im Farbbild (32), wobei das Ermitteln (S102) eines Tiefenbilds zusätzlich auf dem Farbbild (32) basiert, oder wobei eine Greifwahrscheinlichkeit zusätzlich basierend auf dem Farbbild (32) ermittelt wird. Verfahren (60) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Ermitteln des Tiefenbilds (30), das Ermitteln der CAD-Objekt Repräsentation (31) und/oder das Ermitteln des Farbbilds (32) aus einer Perspektive wenigstens einer vorbestimmten Greifpose der Greifvorrichtung am zu greifenden Objekt erfolgt.
5. Verfahren (60) nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Verfahren (60) ferner umfasst: Greifen des Objekts mit der höchsten Greifwahrscheinlichkeit, insbesondere Greifen und Ablegen des Objekts mit der höchsten Greifwahrscheinlichkeit.
6. Verfahren (60) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen der Bilddaten zwischen dem Greifen eines ersten Objekts und dem Greifen eines zweiten Objekts ausgeführt wird.
7. Verfahren (60) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen der Bilddaten während eines Ablegens ausgeführt wird.
8. Verfahren (60) nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Ermitteln einer Greifwahrscheinlichkeit ferner auf bekannten, insbesondere tabellarischen, Daten des Greifsystems, der Greifvorrichtung und/oder des zu greifenden Objekts basiert.
9. Verfahren (60) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln einer Greifwahrscheinlichkeit ferner auf einem Tiefenbild (30) und/oder einer CAD-Objekt Repräsentation (31) aus Perspektive einer Greiferkomponente basiert.
10. Verfahren (60) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln einer Greifwahrscheinlichkeit durch einen Algorithmus des maschinellen Lernens durchgeführt wird, insbesondere durch ein künstliches neuronales Netz.
11. System (1) zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine (2), insbesondere eines Roboters (2), umfassend eine Greifvorrichtung (3), insbesondere eine mehrachsige Greifvorrichtung (3), und wenigstens eine fixierte Tiefenkamera (4), wobei das Greifsystem (1) zur Durchführung eines Verfahrens (60) nach einem der vorhergehenden Ansprüche eingerichtet ist. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System (1) nach Anspruch 11 den oder die Computer oder das System (1) dazu veranlassen, ein Verfahren (60) nach einem der Ansprüche 1 bis 10 durchzuführen.
EP23728325.4A 2022-06-09 2023-05-23 Erhöhung der greifrate Withdrawn EP4536447A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022205883.6A DE102022205883A1 (de) 2022-06-09 2022-06-09 Erhöhung der Greifrate
PCT/EP2023/063735 WO2023237323A1 (de) 2022-06-09 2023-05-23 Erhöhung der greifrate

Publications (1)

Publication Number Publication Date
EP4536447A1 true EP4536447A1 (de) 2025-04-16

Family

ID=86688562

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23728325.4A Withdrawn EP4536447A1 (de) 2022-06-09 2023-05-23 Erhöhung der greifrate

Country Status (3)

Country Link
EP (1) EP4536447A1 (de)
DE (1) DE102022205883A1 (de)
WO (1) WO2023237323A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023201407A1 (de) 2023-02-17 2024-08-22 Kuka Deutschland Gmbh Verfahren und System zur Verbesserung der Grifferreichbarkeit
DE102024111003A1 (de) * 2024-04-19 2025-10-23 Festo Se & Co. Kg Greifsystem zur Handhabung von Werkstücken und Verfahren zum Handhaben von Werkstücken

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10766149B2 (en) 2018-03-23 2020-09-08 Amazon Technologies, Inc. Optimization-based spring lattice deformation model for soft materials
US10977480B2 (en) 2019-03-27 2021-04-13 Mitsubishi Electric Research Laboratories, Inc. Detection, tracking and 3D modeling of objects with sparse RGB-D SLAM and interactive perception
US11813758B2 (en) * 2019-04-05 2023-11-14 Dexterity, Inc. Autonomous unknown object pick and place
US11670001B2 (en) 2019-05-17 2023-06-06 Nvidia Corporation Object pose estimation
US11654564B2 (en) 2020-09-10 2023-05-23 Fanuc Corporation Efficient data generation for grasp learning with general grippers
DE102020214633A1 (de) 2020-11-20 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung

Also Published As

Publication number Publication date
DE102022205883A1 (de) 2023-12-14
WO2023237323A1 (de) 2023-12-14

Similar Documents

Publication Publication Date Title
EP3966731B1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102017108727B4 (de) Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
DE102015111080B4 (de) Robotervorrichtung mit maschinellem Sehen
DE102016001174B4 (de) Robotersystem zum Entnehmen von Werkstücken mit Umrechenfunktion von Position und Orientierung und Verfahren zum Entnehmen von Werkstücken
EP4536447A1 (de) Erhöhung der greifrate
EP3612355A1 (de) Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
DE102022203410B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE112018007727T5 (de) Robotersystem
DE102018205669B4 (de) Aufnehmen von Nutzlasten mittels eines robotergeführten Werkzeugs
DE102022206274B4 (de) Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
DE102022207847A1 (de) Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
EP3870406B1 (de) Verfahren zum erstellen eines objektmodells zum greifen eines objekts, computerlesbares speichermedium und robotersystem
EP3710900B1 (de) Verfahren und system zum vorgeben bzw. lernen eines roboterbefehls
EP4063081A1 (de) Verfahren zum ermitteln von steuerungsdaten für eine greifeinrichtung zum greifen eines gegenstands
WO2024170236A1 (de) Verfahren und system zur verbesserung der grifferreichbarkeit
DE102020135011B3 (de) Bilderkennung zum angepassten Ausführen eines Steuerprogramms eines Robotermanipulators
DE102024201098A1 (de) Verfahren zum Ermitteln, ob ein in einem Eingangsbild dargestelltes Objekt eine Anomalie aufweist
DE102024206901A1 (de) Verfahren zum Bestimmen eines Bewegungsablaufs für einen Roboter
DE102018204508A1 (de) Verfahren und System zum Betreiben eines Roboters
WO2024125918A1 (de) Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung
DE102024206903A1 (de) Verfahren zum Bestimmen einer Greifpose für einen Roboter
DE102022213555A1 (de) Objektlagedetektion mit automatisierter Merkmalsextraktion und/oder Merkmalszuordnung
EP4141805A1 (de) Verfahren zum erzeugen, automatisierten annotieren und bereitstellen von trainings-bilddaten
DE102022213562A1 (de) Greifen mit Verpackungsmaterial

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241203

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250717