EP4633877A1 - Greifen mit verpackungsmaterial - Google Patents

Greifen mit verpackungsmaterial

Info

Publication number
EP4633877A1
EP4633877A1 EP23808746.4A EP23808746A EP4633877A1 EP 4633877 A1 EP4633877 A1 EP 4633877A1 EP 23808746 A EP23808746 A EP 23808746A EP 4633877 A1 EP4633877 A1 EP 4633877A1
Authority
EP
European Patent Office
Prior art keywords
data
scene
packaging material
camera
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23808746.4A
Other languages
English (en)
French (fr)
Inventor
Dominik Joho
Kirill SAFRONOV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022213568.7A external-priority patent/DE102022213568B3/de
Priority claimed from DE102022213562.8A external-priority patent/DE102022213562A1/de
Priority claimed from DE102022213555.5A external-priority patent/DE102022213555A1/de
Priority claimed from DE102022213557.1A external-priority patent/DE102022213557B3/de
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4633877A1 publication Critical patent/EP4633877A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Program controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method for determining a grip position, a system for operating at least one gripping robot, and a computer program or computer program product.
  • a robot equipped with a gripper In bin-picking applications, a robot equipped with a gripper typically picks objects from a bin and places or drops the picked objects at a target location. This typically involves planning a collision-free path for the robot arm to bring the gripper to a target position where it can successfully grasp the object during picking.
  • objects are usually packed in a container that contains deformable packaging material to protect the objects.
  • deformable packaging material for example, in the food industry, fresh fish are covered with ice, and in other applications, fragile objects are protected by wood chips or Styrofoam flakes. This can be a challenge for path planning algorithms, as there may not be collision-free target positions for the gripper that avoid the packaging material while allowing the object to be successfully gripped.
  • the object of the present invention is in particular to improve this.
  • a method for operating a gripping robot is provided.
  • at least one object to be gripped by the gripping robot is located, in particular at least partially, in packaging material and/or is covered by it, in particular at least partially, in particular in a container with packaging material.
  • the method for operating the Gripping robot a step for determining scene data of a scene by means of a camera, in particular an RGBD camera, wherein the scene data describes depth information and color information of the scene.
  • the depth information and color information of the scene can be determined in one embodiment by means of the camera, in particular by means of a stereo camera that is set up to record depth information of the scene and a camera that is set up to record color information of the scene.
  • means for recording depth information and color information can be designed, in particular combined in a camera, such as in particular in an RGBD camera.
  • the method further comprises a step for determining classification data, which are determined in particular by classifying the scene data.
  • the classification data describe an affiliation with packaging material. In one embodiment, this can be determined by applying known classification methods.
  • the method further comprises determining a collision object, in particular for movement planning and/or grip position planning, by filtering, in particular segmenting, the scene data based on the classification data. In one embodiment, this makes it possible for the scene data to comprise less data than, for example, before filtering or without determining a collision object.
  • the method further comprises determining grip position data and/or movement data, wherein the grip position data in one embodiment describes at least one grip position for the gripping robot on at least one object to be gripped and the movement data describes at least one movement path or a movement for at least part of the gripping robot.
  • scene as used herein is to be understood in particular as a snapshot of a (relevant) environment, which includes a scenery with objects, in particular the container, the objects to be grasped and/or the packaging material; dynamic elements, such as in particular at least parts of the robot; the field of view(s) the camera(s) and/or state(s) of the robot or camera, as well as the connection between these entities.
  • the term "camera” as used herein is to be understood in particular as a recording device for recording digital and/or three-dimensional images, and can in particular have at least one 3D camera and/or at least two spatially spaced cameras and/or at least one scanner, preferably for three-dimensional scanning.
  • the scene data mentioned here has depth information, preferably a point cloud, more preferably a three-dimensional point cloud, and can in particular be such or consist of such, and color information, wherein, depending on the recording device, color information is represented as 2D information in the scene data or is or can be assigned as 3D information to the depth information, in particular to the points of the point cloud.
  • the packaging material is taken into account in the path planning, in particular by determining a collision object, or to be included, in particular based on the determination of movement data, in particular in contrast to the prior art, in which the packaging material is usually ignored and the path planning is based (solely) on the detected objects and a priori known objects, e.g. the container at a configured position.
  • the scene described by the scene data can advantageously be "positively" defined for the trajectory planner and/or collision checker with a collision object described therein.
  • the prior art usually starts with an empty scene and then adds known objects to the scene, in particular recognized known objects in the container and/or the container itself, etc.
  • the point cloud of the scene described by the scene data can be used as a collision object, since the collision object, in particular the point cloud of the collision object, the does not (or no longer) contain packaging material, which can lead to more possible handle positions and/or path planning, especially in comparison with the state of the art or in comparison with collision objects that are not determined based on classification data.
  • the method comprises the step of setting the scene in the camera or the like prior to determining scene data.
  • Recording device in particular by appropriate adjustment of the robot arm and/or moving and/or focusing of the recording device or the camera.
  • the method comprises moving the gripping robot based on the determined movement data and/or gripping, in particular with the gripping robot, based on the determined grip position data.
  • this allows more (collision-free) handle positions and/or more (collision-free) movement paths to be determined than in the prior art or than when avoiding collisions with the packaging material.
  • the invention is based on the approach that the, in particular entire, scene is or will be described by the (determined) scene data, in particular including the, in particular complete, depth information or point cloud, and based on this, parts of the scene are removed in the scene data that can be assumed not to pose a problem in the event of potential collisions during movement and/or gripping, such as in particular the packaging material in the container.
  • the invention is further based in embodiments on the approach that the (remaining parts of the) depth information or point cloud of the collision object (as described herein) can be used for collision checks.
  • the path planning is advantageously (significantly) more robust in embodiments, since the point cloud depicts or can depict the real situation better than a scene that was set up (only) on the basis of (recognized) previously known or preconfigured objects, such as in particular a CAD model and a position of the container, or not fully recognized objects, in particular in the container.
  • determining the collision object includes removing depth information based on the classification data, in particular where the classification data indicates affiliation with packaging material or where scene data has been or is classified as packaging material.
  • relevant objects for path planning or motion planning can be (better) recognized or taken into account.
  • a collision check can thus be improved, in particular in some embodiments the risk can be reduced that not all relevant objects are taken into account in the collision check, such as objects that are present in the container but are not recognized by the object recognition, for example because of partial or section-wise coverage with packaging material, so that in embodiments there can advantageously be fewer collisions with these objects than in prior art methods.
  • the classification is carried out pixel by pixel and/or section by section based on the scene data, in particular based on the color information of the scene data, wherein the color information of the scene data corresponds to a 2D image of the scene or wherein the color information is associated with the respective depth information.
  • the segmentation of the packaging material in embodiments can also advantageously benefit the object recognition algorithms, which in particular (must) estimate the position of the objects in the container.
  • these algorithms contain a final position correction step that geometrically aligns the object model (CAD and/or point cloud) to the scene represented by the scene data, in particular the point cloud. If the objects in an embodiment in the collision object are already from the Packaging material are segmented or the collision object (only) contains scene data that has not been classified as packaging material, incorrect point assignments between the model of the known object and the packaging material in the scene are (advantageously) reduced or avoided.
  • the removal of the depth information is based on a mapping of 2D data to 3D data of the scene data, in particular of 2D color information to 3D depth information or point cloud, in particular if the color information is 2D information or 2D data.
  • the classification can be carried out pixel by pixel and/or section by section based on 2D color information of the scene data.
  • the mapping of 2D data to 3D depth information or point cloud can in one embodiment be based on intrinsic parameters of the camera, such as in particular focal length, aperture, field of view, resolution or corresponding camera parameters, and/or extrinsic parameters of the camera, such as in particular position and/or orientation or the like.
  • packaging material or areas classified as packaging material in the 2D color information may be (advantageously) removed from the depth information of the scene, so that a determined collision object has (at least essentially only) depth information that can be or is assigned to known objects and/or unknown objects.
  • the point cloud may (advantageously) also contain objects that were not intended, such as in particular a random object that was left (by someone) in the container.
  • the method described herein is applicable in embodiments to various, in particular all, objects in the container, such as in particular various fish in great variety or other objects with corresponding variety.
  • colour information can be used to filter for packaging material more reliably, so that a collision object, at least essentially, only contains objects that are either known, such as in particular a container in which the objects and the packaging material are located, parts of the Robot, such as in particular the gripper, in particular depending on the attachment of the camera, and/or objects to be gripped or objects that are to be gripped but are not (yet) known.
  • this can make it possible to determine a handle position more robustly, especially when there are different objects in the container.
  • the scene data is classified using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • training of the CNN is comparatively simpler because in particular only one class is or has to be recognized or classified, namely the packaging material, such as in particular ice, wood chips or plastic material, such as in particular packaging chips such as polystyrene flakes or the like.
  • packaging material such as in particular ice, wood chips or plastic material, such as in particular packaging chips such as polystyrene flakes or the like.
  • the determination of grip position data and/or movement data is additionally based on known objects in the scene, in particular on a CAD model of the object to be gripped and/or on a CAD model of the container in which the objects and the packaging material are located.
  • the camera is attached to the gripping robot and/or the camera is attached independently of the gripping robot, in particular with a view of the scene.
  • a first camera and a second camera in particular a second camera that is different from the first camera, can be used to determine the scene data.
  • the first scene data and second scene data determined by the first and second cameras can be fused. become scene data, which can then be further processed as described herein.
  • a system for operating at least one robot is provided.
  • the system is set up to carry out a method described herein.
  • the system has at least one camera, in particular an RGBD camera, and at least one gripping robot.
  • the system and/or its means further have means for determining scene data of a scene.
  • the system and/or its means have means for classifying the scene data, in particular for determining classification data.
  • the system and/or its means have means for determining a collision object.
  • the system and/or its means have means for determining grip position data and/or movement data.
  • this advantageously makes it possible to determine a gripping position that would be classified as being subject to collision according to prior art methods.
  • a gripper of the gripping robot can advantageously penetrate into the packaging material, in particular a comparatively better gripping position can be determined.
  • a system and/or means in the sense of the present invention can be designed in terms of hardware and/or software, in particular at least one, preferably data- or signal-connected, especially digital, processing unit, especially microprocessor unit (CPU), graphics card (GPU) or the like, and/or one or more programs or program modules, preferably with a memory and/or bus system.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to output signals to a data bus.
  • a memory system can have one or more, in particular various storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • the program can be designed in such a way that it embodies or is capable of carrying out the methods described here, so that the processing unit can carry out the steps of such methods and thus in particular can operate the robot.
  • a computer program product can have, in particular be, a storage medium, in particular a computer-readable and/or non-volatile one, for storing a program or instructions or with a program or instructions stored thereon.
  • execution of this program or these instructions by a system or a controller, in particular a computer or an arrangement of several computers causes the system or the controller, in particular the computer(s), to carry out a method described here or one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the controller or its means.
  • Fig. 1 a system according to an embodiment of the present invention
  • Fig. 4 a collision object according to an embodiment
  • FIG. 5 a method in a block diagram representation according to an embodiment of the present invention.
  • Figure 1 shows a schematic view of a system 1 with an exemplary gripping robot 2, 3 that has a gripper 3.
  • the gripper 3 is shown schematically in Figure 1 with two fingers, but in some embodiments it can have more fingers or another type of gripping device that is designed to grip, in particular pick up, objects.
  • a scene 10 is also shown that schematically shows known objects 5 in a container 6.
  • a camera 4 is designed to capture the scene 10, in particular to determine scene data.
  • the camera 4 in the exemplary representation in Figure 1 is mounted independently of the gripping robot 2, 3 and is connected to a processing unit 7 in data communication, which in turn is connected to the robot 2, 3 in data communication.
  • the processing unit 7 can be integrated into the camera 4 and/or the robot 2, 3.
  • the objects 5 in the container 6 are embedded in packaging material 8 (not shown here).
  • Figure 2 schematically shows a scene 10 in a top view, as can be recorded in particular by a camera 4, as shown in particular in Figure 1.
  • the container 6 is not shown in Figure 2.
  • the scene data that describe the scene 10 include depth information and color information, as shown here by white-colored objects 5 and black-colored packaging material.
  • Figure 2 shows by way of example that the objects 5 are at least partially covered by packaging material 8, or embedded in it.
  • the packaging material 8 is shown here in a simplified circular shape, but in embodiments it can have or assume any and in particular different shapes, it can in particular be ice, packaging material made of plastic, packaging material made of natural materials, such as in particular wood, paper, cardboard or cellulose, etc.
  • Figure 2 shows an unknown object 9 that was, for example, accidentally left in the container 6.
  • Figure 3 shows the same scene 10 as in Figure 2, with the difference that the packaging material 8 in the scene 10 was determined, in particular classified. Accordingly, Figure 3 shows classification data that describe an affiliation with packaging material. This is indicated by the dashed lines of the packaging material 8.
  • the classification can be carried out in embodiments based on the color of the packaging material 8, or on other criteria that characterize the packaging material 8.
  • the unknown Object 9 is not classified as packaging material 8 because it does not have the properties, in particular a characteristic property, of the packaging material 8, such as in particular a certain (previously known) colour and/or (previously known) shape.
  • Figure 4 schematically shows the same scene 10 as in Figure 1 or Figure 2, with the difference that Figure 5 shows a collision object that was determined by filtering, in particular segmenting, the scene data based on the classification data. Furthermore, a determined handle position 11 is shown, which is or is described by handle position data. Furthermore, a handle position 1T on the unknown object 9 is shown as an example, which was determined based on the collision object. Here, it can be seen as an example that the handle position 11' is set at a point on the unknown object 9 that is covered by packaging material 8. Such a handle position 11' would have resulted in a collision with the methods customary in the prior art and would therefore not have been planned.
  • Figure 5 schematically shows a method 20 according to an embodiment as a block diagram.
  • the determination of scene data S10 is carried out in particular by means of a camera that is directed at a scene, the scene in embodiments comprising objects to be grasped with or in packaging material.
  • classification data is determined S12, which describes whether the determined scene data belongs to packaging material.
  • S14 represents, by way of example, a determination of a collision object that is determined based on the determined classification data using the determined scene data.
  • S16 represents a determination of grip position data and/or movement data that are determined based on the determined collision object.
  • the method 20 can further comprise a step S18, which is shown in dashed lines in Figure 5, S18 representing, by way of example, a gripping based on the determined grip position data and/or a movement based on the determined movement data of the robot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren (20) zum Betreiben eines Greifroboters (2,3), wobei sich wenigstens ein zu greifendes Objekt (5, 9) zumindest teilweise in Verpackungsmaterial (8) befindet und/oder von diesem zumindest teilweise bedeckt ist, insbesondere in einem Behälter (6) mit Verpackungsmaterial (8), wobei das Verfahren (20) aufweist: Ermitteln (S10) von Szenedaten einer Szene mittels einer Kamera (4), wobei die Szenedaten Tiefeninformation und Farbinformation einer Szene (10) beschreiben; Ermitteln (S12) von Klassifizierungsdaten durch Klassifizieren der Szenedaten, wobei die Klassifizierungsdaten eine Zugehörigkeit zu Verpackungsmaterial (8) beschreiben; Ermitteln (S14) eines Kollisionsobjekts durch Filtern, insbesondere Segmentieren, der Szenedaten basierend auf den Klassifizierungsdaten; Ermitteln (S16) von Griffpositionsdaten und/oder Bewegungsdaten basierend auf dem Kollisionsobjekt, wobei die Griffpositionsdaten wenigstens eine Griffposition (11, 11') für den Greifroboter (2, 3) an wenigstens einem zu greifenden Objekt (5, 9) beschreiben und wobei die Bewegungsdaten wenigstens einen Bewegungspfad für wenigstens einen Teil des Greifroboters (2, 3) beschreiben.

Description

Beschreibung
Greifen mit Verpackungsmaterial
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Griffposition, ein System zum Betreiben wenigstens eines Greifroboters, sowie ein Computerprogramm bzw. Computerprogrammprodukt.
Bei „bin-picking“-Anwendungen greift ein mit einem Greifer ausgestatteter Roboter üblicherweise Objekte aus einem Behälter und legt die gegriffenen Objekte an einem Zielort ab oder lässt sie an einem Zielort fallen. Dazu wird üblicherweise ein kollisionsfreier Weg für den Roboterarm geplant, um den Greifer in eine Zielposition zu bringen, in der er das Objekt beim Aufnehmen erfolgreich greifen kann.
In bestimmten Anwendungsbereichen werden Objekte üblicherweise in einem Behälter verpackt, der verformbares Verpackungsmaterial zum Schutz der Objekte enthält. In der Lebensmittelindustrie werden z. B. frische Fische mit Eis bedeckt, und in anderen Anwendungsbereichen werden zerbrechliche Objekte durch Holzspäne oder Styroporflocken geschützt. Dies kann eine Herausforderung für Bahnplanungsalgorithmen darstellen, da es möglicherweise keine kollisionsfreien Zielpositionen für den Greifer gibt, die einerseits das Verpackungsmaterial vermeiden, aber gleichzeitig ein erfolgreiches Greifen des Objekts zulassen.
Aufgabe der vorliegenden Erfindung ist es insbesondere dies zu verbessern.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Nach einer Ausführung der vorliegenden Erfindung wird ein Verfahren zum Betreiben eines Greifroboters bereitgestellt. In einer Ausführung befindet sich wenigstens ein durch den Greifroboter zu greifendes Objekt, insbesondere zumindest teilweise, in Verpackungsmaterial und/oder ist von diesem, insbesondere zumindest teilweise, bedeckt, insbesondere in einem Behälter mit Verpackungsmaterial. Nach einer Ausführung der vorliegenden Erfindung umfass das Verfahren zum Betreiben des Greifroboters einen Schritt zum Ermitteln von Szenedaten einer Szene mittels einer Kamera, insbesondere einer RGBD Kamera, wobei die Szenedaten Tiefeninformation und Farbinformation der Szene beschreiben. Die Tiefeninformation und Farbinformation der Szene können in einer Ausführung mit Mitteln der Kamera ermittelt werden, insbesondere mittels einer Stereokamera, die eingerichtet ist, Tiefeninformation der Szene aufzunehmen und einer Kamera, die eingerichtet ist, Farbinformation der Szene aufzunehmen. In einer Ausführung können Mittel zum Aufnehmen von Tiefeninformation und Farbinformation ausgebildet sein, insbesondere in einer Kamera kombiniert sein, wie insbesondere in einer RGBD Kamera. Nach einer Ausführung umfasst das Verfahren ferner einen Schritt zum Ermitteln von Klassifizierungsdaten, die insbesondere mittels Klassifizierung der Szenedaten ermittelt werden. In einer Ausführung beschreiben die Klassifizierungsdaten eine Zugehörigkeit zu Verpackungsmaterial. Diese können in einer Ausführung mittels Anwendung von bekannten Klassifizierungsverfahren ermittelt werden. In einer Ausführung umfasst das Verfahren ferner ein Ermitteln eines Kollisionsobjekts, insbesondere für eine Bewegungsplanung und/oder Griffpositionsplanung, durch Filtern, insbesondere Segmentieren, der Szenedaten basierend auf den Klassifizierungsdaten. Hierdurch kann in einer Ausführung erreicht werden, dass die Szenedaten weniger Daten umfassen als beispielsweise vor einem Filtern oder ohne Ermitteln eines Kollisionsobjekts. Ferner kann hierdurch vorteilhafterweise ermöglicht werden, dass ausgehend von einer, zumindest im Wesentlichen, gesamt erfassten Szene, die Szenedaten mittels des Filterns reduziert werden, insbesondere bevor eine Griffposition und/oder eine Bewegung des Roboters geplant werden. In einer Ausführung umfasst das Verfahren ferner ein Ermitteln von Griffpositionsdaten und/oder Bewegungsdaten, wobei die Griffpositionsdaten in einer Ausführung wenigstens eine Griffposition für den Greifroboter an wenigstens einem zu greifenden Objekt beschreiben und die Bewegungsdaten wenigstens einen Bewegungspfad bzw. eine Bewegung für wenigstens einen Teil des Greifroboters beschreiben.
Der Begriff „Szene“, wie hierin verwendet, ist insbesondere als eine Momentaufnahme eines (relevanten) Umfelds, welche eine Szenerie mit Objekten, insbesondere den Behälter, die zu greifenden Objekten und/oder das Verpackungsmaterial; dynamische Elemente, wie insbesondere wenigstens Teile des Roboters; der/die Sichtbereich(e) der Kamera(s) und/oder Zustand/Zustände des Roboters bzw. der Kamera, wie auch die Verknüpfung dieser Entitäten umfasst, zu verstehen.
Der Begriff „Kamera“, wie hierin verwendet, ist insbesondere als Aufnahmevorrichtung zum Aufnehmen von digitalen und/oder dreidimensionalen Bildern zu verstehen, kann insbesondere wenigstens eine 3D-Kamera und/oder wenigstens zwei räumlich voneinander beabstandete Kameras und/oder wenigstens einen Scannner, vorzugsweise zum dreidimensionalen Scannen, aufweisen. In einer Ausführung weisen hierin genannte Szenedaten Tiefeninformation, vorzugsweise eine Punktewolke, weiter vorzugsweise eine dreidimensionale Punktewolke, auf, kann insbesondere eine solche sein bzw. aus einer solchen bestehen, und Farbinformation auf, wobei je nach Aufnahmevorrichtung Farbinformation als 2D Information in den Szenedaten repräsentiert ist oder als 3D Information der Tiefeninformation, insbesondere den Punkten der Punktewolke, zugordnet ist bzw. werden kann.
Hierdurch kann in einigen Ausführungsformen ermöglicht werden, dass das Verpackungsmaterial, insbesondere durch das Ermitteln eines Kollisionsobjekts, bei der Bahnplanung berücksichtigt wird bzw., insbesondere anhand des Ermittelns von Bewegungsdaten, einfließt, insbesondere im Gegensatz zum Stand der Technik, bei dem üblicherweise das Verpackungsmaterial ignoriert wird und die Bahnplanung (allein) auf den detektierten Objekten und a priori bekannten Objekten, z.B. dem Behälter an einer konfigurierten Position, basiert.
In einer Ausführung kann beim Umgang mit Verpackungsmaterial, wie oben beschrieben, vorteilhafterweise die Szene, die durch die Szenedaten beschrieben ist bzw. wird, mit einem hierin beschriebenen Kollisionsobjekt für den Bahnplaner und/oder Kollisionsprüfer "positiv" definiert werden. Im Gegensatz dazu wird im Stand der Technik üblicherweise mit einer leeren Szene begonnen und es werden dann bekannte Objekte zur Szene hinzugefügt, insbesondere erkannte bekannte Objekte im Behälter und/oder der Behälter selbst, usw..
Vorteilhafterweise kann durch hierin beschriebene Ausführungen, im Vergleich mit dem Stand der Technik, die Punktwolke der Szene, die von den Szenedaten beschrieben ist bzw. wird, als Kollisionsobjekt verwendet werden, da das Kollisionsobjekt, insbesondere die Punktwolke des Kollisionsobjekts, das Verpackungsmaterial nicht (mehr) enthält, was zu mehr möglichen Griffpositionen und/oder Bahnplanungen führen kann bzw. führt, insbesondere im Vergleich mit dem Stand der Technik oder im Vergleich zu Kollisionsobjekten, die nicht basierend auf Klassifizierungsdaten ermittelt werden.
In einer Ausführung umfasst das Verfahren den dem Ermitteln von Szenedaten vorhergehenden Schritt eines Einstellens der Szene in der Kamera bzw.
Aufnahmevorrichtung, insbesondere durch entsprechende Verstellung des Roboterarms und/oder Bewegen und/oder Fokussieren der Aufnahmevorrichtung bzw. der Kamera.
In einer Ausführung umfasst das Verfahren ein Bewegen des Greifroboters basierend auf den ermittelten Bewegungsdaten und/oder Greifen, insbesondere mit dem Greifroboter, basierend auf den ermittelten Griffpositionsdaten.
Vorteilhafterweise können hierdurch mehr (kollisionsfreie) Griffpositionen und/oder mehr (kollisionsfreie) Bewegungspfade ermittelt werden als im Stand der Technik oder als unter Kollisionsvermeidung mit dem Verpackungsmaterial.
Die Erfindung basiert in einigen Ausführungsformen auf dem Ansatz, dass die, insbesondere gesamte, Szene durch die (ermittelten) Szenedaten beschrieben ist bzw. wird, insbesondere einschließlich der, insbesondere kompletten, Tiefeninformation bzw. Punktewolke, und ausgehend davon Teile der Szene in den Szenedaten entfernt werden, bei denen angenommen werden kann, dass diese kein Problem bei potenziellen Kollisionen während der Bewegung und/oder einem Greifen darstellen, wie insbesondere das Verpackungsmaterial im Behälter.
Die Erfindung basiert ferner in Ausführungen auf dem Ansatz, dass die (verbleibenden Teile der) Tiefeninformation bzw. Punktwolke des Kollisionsobjekts (wie hierin beschrieben) für Kollisionsprüfungen verwendet werden kann. Hierdurch ist vorteilhafterweise in Ausführungen die Bahnplanung (wesentlich) robust(er), da die Punktwolke die reale Situation besser abbildet bzw. abbilden kann als eine Szene, die (nur) auf der Grundlage (erkannter) vorbekannter bzw. vorkonfigurierter Objekte, wie insbesondere einem CAD-Modell und einer Position des Behälters, oder nicht vollständig erkannter Objekte, insbesondere im Behälter, eingerichtet wurde. In einer Ausführung umfasst das Ermitteln des Kollisionsobjekts ein Entfernen von Tiefeninformation basierend auf den Klassifizierungsdaten, insbesondere dort, wo die Klassifizierungsdaten eine Zugehörigkeit zu Verpackungsmaterial angeben bzw. wo Szenedaten als Verpackungsmaterial klassifiziert wurden bzw. klassifiziert sind.
Vorteilhafterweise können hierdurch in einigen Ausführungsformen für die Bahnplanung bzw. Bewegungsplanung relevante Objekte (besser) erkannt bzw. berücksichtigt werden. Somit kann in einigen Ausführungsformen eine Kollisionsprüfung verbessert werden, insbesondere kann in einigen Ausführungsformen das Risiko verringert werden, dass nicht alle relevanten Objekte bei der Kollisionsprüfung berücksichtigt werden, wie beispielsweise Objekte, die im Behälter zwar vorhanden sind, aber von der Objekterkennung nicht erkannt werden, beispielsweise wegen einer teilweisen oder abschnittsweisen Überdeckung mit Verpackungsmaterial, so dass es vorteilhafterweise in Ausführungen zu wenig(er) Kollisionen mit diesen Objekten kommen kann, als bei Verfahren des Stands der Technik.
In einer Ausführung wird das Klassifizieren pixelweise und/oder abschnittsweise anhand der Szenedaten, insbesondere anhand der Farbinformation der Szenedaten, durchgeführt, wobei die Farbinformation der Szenedaten einem 2D Bild der Szene entspricht oder wobei die Farbinformation der jeweiligen Tiefeninformation zugeordnet ist.
Vorteilhafterweise kann hierdurch ermöglicht werden, dass Verpackungsmaterial leichter erkannt werden kann bzw. klassifiziert werden kann. Hierdurch kann ferner ermöglicht werden, dass die Szenedaten leicht(er) gefiltert, insbesondere segmentiert werden können.
Darüber hinaus kann die Segmentierung des Verpackungsmaterials in Ausführungen vorteilhafterweise auch den Objekterkennungsalgorithmen zugutekommen, die insbesondere die Position der Objekte im Behälter schätzen (müssen). Diese Algorithmen enthalten in Ausführungen einen abschließenden Schritt zur Lagekorrektur, der das Objektmodell (CAD und/oder Punktwolke) geometrisch an der durch die Szenedaten repräsentierten Szene, insbesondere Punktwolke, ausrichtet. Wenn die Objekte in einer Ausführung im Kollisionsobjekt bereits vom Verpackungsmaterial segmentiert sind bzw. das Kollisionsobjekt (nur noch) Szenedaten aufweist, die nicht als Verpackungsmaterial klassifiziert wurden, werden dadurch falsche Punktzuordnungen zwischen dem Modell des bekannten Objekts und dem Verpackungsmaterial in der Szene (vorteilhafterweise) verringert bzw. vermieden.
In einer Ausführung basiert das Entfernen der Tiefeninformation auf einer Abbildung (englisch: „mapping“) von 2D Daten auf 3D Daten der Szenedaten, insbesondere von 2D Farbinformation auf 3D Tiefeninformation bzw. Punktewolke, insbesondere sofern es sich bei der Farbinformation um 2D Information bzw. 2D Daten handelt. In einer Ausführung kann das Klassifizieren pixelweise und/oder abschnittsweise anhand von 2D Farbinformation der Szenedaten durchgeführt werden. Die Abbildung von 2D Daten auf 3D Tiefeninformation bzw. Punktewolke kann in einer Ausführung auf intrinsischen Parametern der Kamera, wie insbesondere Brennweite, Blende, Sichtfeld, Auflösung oder entsprechende Kameraparameter, und/oder extrinsischer Parameter der Kamera, wie insbesondere Lage und/oder Orientierung oder dergleichen, beruhen.
Hierdurch kann in einigen Ausführungen ermöglicht werden, dass Verpackungsmaterial bzw. als Verpackungsmaterial klassifizierte Bereiche in der 2D Farbinformation (vorteilhafterweise) aus der Tiefeninformation der Szene entfernt werden können, so dass ein ermitteltes Kollisionsobjekt (, zumindest im Wesentlichen, nur noch) Tiefeninformation aufweist, die bekannten Objekten und/oder unbekannten Objekten zugeordnet werden kann bzw. ist.
In einigen Ausführungen kann die Punktwolke (vorteilhafterweise) auch Objekte enthalten, die nicht vorgesehen wurden, wie insbesondere ein zufälliges Objekt, das (von jemandem) im Behälter hinterlassen wurde. Weiter vorteilhafterweise ist das hierin beschriebene Verfahren in Ausführungen auf verschiedene, insbesondere alle, Objekte im Behälter anwendbar sind, wie insbesondere verschiedene Fische in großer Vielfalt oder andere Objekte mit entsprechender Vielfalt.
Anhand Farbinformation kann in einer Ausführung zuverlässig(er) auf Verpackungsmaterial hin gefiltert werden, so dass ein Kollisionsobjekt, zumindest im Wesentlichen, nur Objekte enthält die entweder bekannt sind, wie insbesondere ein Behälter, in dem sich die Objekte und das Verpackungsmaterial befindet, Teile des Roboters, wie insbesondere der Greifer, insbesondere in Abhängigkeit der Anbringung der Kamera, und/oder zu greifende Objekte oder Objekte, die zu greifen sind, aber (noch) nicht bekannt.
In einer Ausführung kann hierdurch ermöglicht werden, dass eine Griffposition robust(er) ermittelt werden kann bzw. ist, insbesondere bei unterschiedlichen Objekten im Behälter.
In einer Ausführung wird das Klassifizieren der Szenedaten mittels Convolutional Neural Network (CNN) durchgeführt. Hierdurch kann in einer Ausführung ermöglicht werden, dass das Klassifizieren schnell(er) durchgeführt werden kann, insbesondere weil das CNN (nur) in der Lage sein muss, eine Klasse zu detektieren bzw. zu klassifizieren.
Vorteilhafterweise ist in Ausführungen ein Training des CNNs vergleichsweise einfach(er), weil insbesondere nur eine Klasse erkannt bzw. klassifiziert wird bzw. werden muss, nämlich das Verpackungsmaterial, wie insbesondere Eis, Holzspäne oder Kunststoffmaterial, wie insbesondere Verpackungschips wie Styroporflocken oder dergleichen.
In einer Ausführung basiert das Ermitteln von Griffpositionsdaten und/oder Bewegungsdaten zusätzlich auf bekannten Objekten in der Szene, insbesondere auf einem CAD Modell des zu greifenden Objekts und/oder auf einem CAD-Modell des Behälters, in dem sich die Objekte und das Verpackungsmaterial befinden.
Hierdurch kann vorteilhafterweise in einer Ausführung ermöglicht werden, dass die Griffpositionsdaten robust(er) ermittelt werden bzw. sind.
In einer Ausführung ist die Kamera am Greifroboter befestigt und/oder die Kamera ist unabhängig vom Greifroboter, insbesondere mit Blick auf die Szene, befestigt. In einer Ausführung kann eine erste Kamera und eine zweite Kamera, insbesondere eine zweite Kamera, die sich von der ersten Kamera unterscheidet, zum Ermitteln der Szenedaten verwendet werden. In einer Ausführung können die von der ersten und der zweiten Kamera ermittelten ersten Szenedaten und zweiten Szenedaten fusioniert werden zu Szenedaten, die dann, wie hierin beschrieben, weiterverarbeitet werden können bzw. werden.
Hierdurch kann vorteilhafterweise in einer Ausführung ermöglicht werden, dass Szenedaten robust(er) ermittelt werden bzw. sind.
In einer Ausführung der vorliegenden Erfindung wird ein System zum Betreiben wenigstens eines Roboters bereitgestellt. In einer Ausführung ist das System zum Durchführen eines hierin beschriebenen Verfahrens eingerichtet. In einer Ausführung weist das System wenigstens eine Kamera, insbesondere eine RGBD Kamera, und wenigstens einen Greifroboter auf. In einer Ausführung weist das System und/oder seine Mittel, ferner Mittel zum Ermitteln von Szenedaten einer Szene auf. In einer Ausführung weist das System und/oder seine Mittel, Mittel zum Klassifizieren der Szenedaten auf, insbesondere zum Ermitteln von Klassifizierungsdaten. In einer Ausführung weist das System und/oder seine Mittel, Mittel zum Ermitteln eines Kollisionsobjekts auf. In einer Ausführung weist das System und/oder seine Mittel, Mittel zum Ermitteln von Griffpositionsdaten und/oder Bewegungsdaten auf.
Vorteilhafterweise kann hierdurch in einer Ausführung ermöglicht werden, dass eine Griffposition ermittelt wird, die nach Verfahren des Stands der Technik als kollisionsbehaftet eingestuft werden würde, ermittelt werden kann. Insbesondere kann ein Greifer des Greifroboters in einer Ausführung vorteilhafterweise in das Verpackungsmaterial eindringen, insbesondere eine vergleichsweise bessere Griffposition ermittelt werden.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere den Roboter betreiben kann.
Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch die Steuerung bzw. ihr(e) Mittel.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System nach einer Ausführung der vorliegenden Erfindung;
Fig. 2 Szenedaten gemäß einer Ausführung;
Fig. 3 Klassifizierungsdaten gemäß einer Ausführung;
Fig. 4 ein Kollisionsobjekt gemäß einer Ausführung; und
Fig. 5: ein Verfahren in einer Blockdiagrammdarstellung gemäß einer Ausführung der vorliegenden Erfindung. Figur 1 zeigt schematisch ein System 1 mit einem beispielhaften Greifroboter 2, 3, der einen Greifer 3 aufweist. Der Greifer 3 ist in Figur 1 schematisch mit zwei Fingern dargestellt, kann in Ausführungen aber mehr Finger aufweisen oder eine andere Art von Greifvorrichtung, die zum Greifen, insbesondere Aufnehmen, von Objekten eingerichtet ist. Ferner ist eine Szene 10 dargestellt, die schematisch bekannte Objekte 5 in einem Behälter 6 zeigt. Eine Kamera 4 ist dazu eingerichtet, die Szene 10 zu erfassen, insbesondere zum Ermitteln von Szenedaten. Hierzu ist die Kamera 4 in der beispielhaften Darstellung von Figur 1 unabhängig vom Greifroboter 2, 3 angebracht und mit einer Verarbeitungseinheit 7 in Datenkommunikation verbunden, die wiederum mit dem Roboter 2, 3 in Datenkommunikation verbunden ist. In Ausführungen kann die Verarbeitungseinheit 7 in die Kamera 4 und/oder den Roboter 2, 3 integriert sein. Die Objekte 5 im Behälter 6 sind in Verpackungsmaterial 8 eingebettet (hier nicht dargestellt).
Figur 2 zeigt schematisch ein Szene 10 in einer Draufsicht, wie sie insbesondere von einer Kamera 4, wie insbesondere in Figur 1 gezeigt, aufgenommen werden kann. Der Behälter 6 ist in Figur 2 nicht dargestellt. Die Szenedaten, die die Szene 10 beschreiben, umfassen Tiefeninformation und Farbinformation, wie hier durch weiß eingefärbte Objekte 5 und schwarz eingefärbtes Verpackungsmaterial dargestellt. Ferner ist in Figur 2 beispielhaft dargestellt, dass die Objekte 5 zumindest teilweise von Verpackungsmaterial 8 bedeckt sind, bzw. in diesem eingebettet. Das Verpackungsmaterial 8 ist hierin vereinfacht kreisförmig dargestellt, kann in Ausführungen aber beliebige und insbesondere verschiedene Formen haben bzw. annehmen, es kann sich insbesondere um Eis, Verpackungsmaterial aus Kunststoff, Verpackungsmaterial aus Naturmaterialien, wie insbesondere Holz, Papier, Pappe oder Zellulose, etc. handeln. Ferner ist in Figur 2 ein unbekanntes Objekt 9 gezeigt, das beispielsweise versehentlich im Behälter 6 hinterlassen wurde.
In Figur 3 ist dieselbe Szene 10 wie in Figur 2 gezeigt, mit dem Unterschied, dass das Verpackungsmaterial 8 in der Szene 10 ermittelt, insbesondere klassifiziert, wurde. Entsprechend sind in Figur 3 Klassifizierungsdaten dargestellt, die eine Zugehörigkeit zu Verpackungsmaterial beschreiben. Dies ist durch die Strichelung des Verpackungsmaterials 8 angedeutet. Die Klassifizierung kann in Ausführungen anhand der Farbe des Verpackungsmaterials 8 vorgenommen werden, oder anhand anderer Kriterien, die das Verpackungsmaterial 8 charakterisieren. Das unbekannte Objekt 9 ist nicht als Verpackungsmaterial 8 klassifiziert, weil es insbesondere nicht die Eigenschaften, insbesondere eine charakteristische Eigenschaft, des Verpackungsmaterials 8 aufweist, wie insbesondere eine bestimmte (vorbekannte) Farbe und/oder (vorbekannte) Form.
In Figur 4 ist schematisch dieselbe Szene 10 wie in Figur 1 oder Figur 2 dargestellt, mit dem Unterschied, dass Figur 5 ein Kollisionsobjekt, das Filtern, insbesondere Segmentieren der Szenedaten, basierend auf den Klassifizierungsdaten ermittelt wurde. Ferner ist eine ermittelte Griffposition 11 gezeigt, die von Griffpositionsdaten beschrieben wird bzw. ist. Ferner ist eine Griffposition 1 T am unbekannten Objekt 9 beispielhaft gezeigt, die basierend auf dem Kollisionsobjekt ermittelt wurde. Hierbei ist beispielhaft zu erkennen, dass die Griffposition 11 ‘ an einer Stelle am unbekannten Objekt 9 angesetzt ist, die von Verpackungsmaterial 8 verdeckt ist. Eine derartige Griffposition 11‘ hätte mit den im Stand der Technik üblichen Verfahren eine Kollision ergeben und wäre somit nicht geplant worden.
In Figur 5 ist schematisch ein Verfahren 20 nach einer Ausführung als Blockdiagramm dargestellt. Das Ermitteln von Szenedaten S10 wird insbesondere mittels einer Kamera vorgenommen, die auf eine Szene gerichtet ist, wobei die Szene in Ausführungen zu greifende Objekte mit bzw. in Verpackungsmaterial umfasst. Anhand der ermittelten Szenedaten werden Klassifizierungsdaten ermittelt S12, die eine Zugehörigkeit der ermittelten Szenedaten zu Verpackungsmaterial beschreiben. Mit S14 ist beispielhaft ein Ermitteln eines Kollisionsobjekts dargestellt, das basierend auf den ermittelten Klassifizierungsdaten anhand der ermittelten Szenedaten ermittelt wird. S16 stellt ein Ermitteln von Griffpositionsdaten und/oder Bewegungsdaten dar, die basierend auf dem ermittelten Kollisionsobjekt ermittelt werden. Das Verfahren 20 kann ferner einen Schritt S18 umfassen, der in Figur 5 gestrichelt dargestellt ist, wobei S18 ein Greifen basierend auf den ermittelten Griffpositionsdaten und/oder ein Bewegen basierend auf den ermittelten Bewegungsdaten des Roboters beispielhaft darstellt.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 System
2 Greifroboter
3 Greifer des Greifroboters
4 Kamera
5 Bekannte Objekte
6 Behälter
7 Verarbeitungseinheit
8 Verpackungsmaterial
9 Unbekanntes Objekt
10 Szene
11 Griffposition am bekannten Objekt
11 ‘ Griffposition am unbekannten Objekt
20 Verfahren
S10 Ermitteln von Szenedaten
S12 Ermitteln von Klassifizierungsdaten
S14 Ermitteln eines Kollisionsobjekts
S16 Ermitteln von Griffpositionsdaten und/oder Ermitteln von Bewegungsdaten
S18 Greifen und/oder Bewegen des Greifroboters

Claims

Patentansprüche Verfahren (20) zum Betreiben eines Greifroboters (2,3), wobei sich wenigstens ein zu greifendes Objekt (5, 9) zumindest teilweise in Verpackungsmaterial (8) befindet und/oder von diesem zumindest teilweise bedeckt ist, insbesondere in einem Behälter (6) mit Verpackungsmaterial (8), wobei das Verfahren (20) aufweist:
- Ermitteln (S10) von Szenedaten einer Szene mittels einer Kamera (4), wobei die Szenedaten Tiefeninformation und Farbinformation einer Szene (10) beschreiben;
- Ermitteln (S12) von Klassifizierungsdaten durch Klassifizieren der Szenedaten, wobei die Klassifizierungsdaten eine Zugehörigkeit zu Verpackungsmaterial (8) beschreiben;
- Ermitteln (S14) eines Kollisionsobjekts durch Filtern, insbesondere Segmentieren, der Szenedaten basierend auf den Klassifizierungsdaten;
- Ermitteln (S16) von Griffpositionsdaten und/oder Bewegungsdaten basierend auf dem Kollisionsobjekt, wobei die Griffpositionsdaten wenigstens eine Griffposition (11 , 1 T) für den Greifroboter (2, 3) an wenigstens einem zu greifenden Objekt (5, 9) beschreiben und wobei die Bewegungsdaten wenigstens einen Bewegungspfad für wenigstens einen Teil des Greifroboters (2, 3) beschreiben. Verfahren (20) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Ermitteln (S14) eines Kollisionsobjekts ein Entfernen der Tiefeninformation basierend auf den Klassifizierungsdaten umfasst. Verfahren (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren pixelweise und/oder abschnittsweise anhand der Szenedaten, insbesondere anhand der Farbinformation der Szenedaten, durchgeführt wird. Verfahren (20) nach einem der vorhergehenden Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Entfernen der Tiefeninformation auf einer Abbildung von 2D Daten auf 3D Daten, insbesondere auf die Tiefeninformation, beruht, insbesondere mittels intrinsischer Parameter der Kamera und/oder extrinsischer Parameter. Verfahren (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren pixelweise anhand von, insbesondere 2D, Farbinformation der Szenedaten durchgeführt wird. Verfahren (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren der Szenedaten mittels Convolutional Neural Network durchgeführt wird. Verfahren (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln (S16) der Griffpositionsdaten und/oder der Bewegungsdaten zusätzlich auf bekannten Objekten in der Szene (10) basiert, insbesondere auf einem CAD Modell des zu greifenden Objekts und/oder auf einem CAD-Modell des Behälters, in dem sich die Objekte (5, 9) und das Verpackungsmaterial (8) befinden. Verfahren (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (4) am Greifroboter (2, 3) befestigt ist oder dass die Kamera (4) unabhängig vom Greifroboter (2,3) mit Blick auf die Szene (10) befestigt ist. System (1) zum Betreiben wenigstens eines Greifroboters (2,3), das zur Durchführung eines Verfahrens (20) nach einem der vorhergehenden Ansprüche eingerichtet ist, wobei das System (1) wenigstens eine, insbesondere RGBD, Kamera (4) und wenigstens einen Greifroboter (2, 3) aufweist. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System (1) nach Anspruch 9 den oder die Computer oder das System (1) dazu veranlassen, ein Verfahren (20) nach einem der Ansprüche 1 bis 8 durchzuführen.
EP23808746.4A 2022-12-13 2023-11-15 Greifen mit verpackungsmaterial Pending EP4633877A1 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102022213568.7A DE102022213568B3 (de) 2022-12-13 2022-12-13 Kalibrieren einer Steuerung
DE102022213562.8A DE102022213562A1 (de) 2022-12-13 2022-12-13 Greifen mit Verpackungsmaterial
DE102022213555.5A DE102022213555A1 (de) 2022-12-13 2022-12-13 Objektlagedetektion mit automatisierter Merkmalsextraktion und/oder Merkmalszuordnung
DE102022213557.1A DE102022213557B3 (de) 2022-12-13 2022-12-13 Betreiben eines Roboters mit Greifer
PCT/EP2023/081832 WO2024125921A1 (de) 2022-12-13 2023-11-15 Greifen mit verpackungsmaterial

Publications (1)

Publication Number Publication Date
EP4633877A1 true EP4633877A1 (de) 2025-10-22

Family

ID=88838801

Family Applications (4)

Application Number Title Priority Date Filing Date
EP23809139.1A Pending EP4634861A1 (de) 2022-12-13 2023-11-15 Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung
EP23808746.4A Pending EP4633877A1 (de) 2022-12-13 2023-11-15 Greifen mit verpackungsmaterial
EP23808745.6A Pending EP4633876A1 (de) 2022-12-13 2023-11-15 Kalibrieren einer greifersteuerung
EP23808744.9A Pending EP4633875A1 (de) 2022-12-13 2023-11-15 Betreiben eines roboters mit greifer

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP23809139.1A Pending EP4634861A1 (de) 2022-12-13 2023-11-15 Objektlagedetektion mit automatisierter merkmalsextraktion und/oder merkmalszuordnung

Family Applications After (2)

Application Number Title Priority Date Filing Date
EP23808745.6A Pending EP4633876A1 (de) 2022-12-13 2023-11-15 Kalibrieren einer greifersteuerung
EP23808744.9A Pending EP4633875A1 (de) 2022-12-13 2023-11-15 Betreiben eines roboters mit greifer

Country Status (3)

Country Link
EP (4) EP4634861A1 (de)
CN (4) CN120359107A (de)
WO (4) WO2024125918A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015089575A (ja) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 ロボット、制御装置、ロボットシステム及び制御方法
US11407589B2 (en) * 2018-10-25 2022-08-09 Berkshire Grey Operating Company, Inc. Systems and methods for learning to extrapolate optimal object routing and handling parameters
WO2020091846A1 (en) * 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
DE102021109036A1 (de) * 2021-04-12 2022-10-13 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und verfahren zum lokalisieren von stellen von objekten aus kamerabildern der objekte

Also Published As

Publication number Publication date
WO2024125919A1 (de) 2024-06-20
CN120359544A (zh) 2025-07-22
EP4634861A1 (de) 2025-10-22
WO2024125920A1 (de) 2024-06-20
EP4633875A1 (de) 2025-10-22
CN120344356A (zh) 2025-07-18
WO2024125921A1 (de) 2024-06-20
EP4633876A1 (de) 2025-10-22
CN120344357A (zh) 2025-07-18
CN120359107A (zh) 2025-07-22
WO2024125918A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102015111080B4 (de) Robotervorrichtung mit maschinellem Sehen
DE102016122678B4 (de) Werkstückpositions-/-Stellungsberechnungssystem und Handhabungssystem
EP3966731B1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102014016033A1 (de) Vorrichtung und Verfahren zum Aufnehmen von regellos verteilten Gegenständen mit einem Roboter
WO2023237323A1 (de) Erhöhung der greifrate
EP3774206A1 (de) Aufnehmen von nutzlasten mittels eines robotergeführten werkzeugs
WO2023180202A1 (de) Verfahren zum bestimmen einer lage eines objekts relativ zu einer erfassungseinrichtung, computerprogramm und datenträger
EP3870406B1 (de) Verfahren zum erstellen eines objektmodells zum greifen eines objekts, computerlesbares speichermedium und robotersystem
WO2025237941A1 (de) Verfahren zum bestimmen einer greifpose für einen roboter
WO2024125921A1 (de) Greifen mit verpackungsmaterial
DE102022213562A1 (de) Greifen mit Verpackungsmaterial
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
DE212017000139U1 (de) System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
DE102023135199A1 (de) Verfahren zum Anpassen eines neuronalen Netzes
DE102022213555A1 (de) Objektlagedetektion mit automatisierter Merkmalsextraktion und/oder Merkmalszuordnung
DE102023117654B4 (de) Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem 3D-Modellobjekt
DE102022132304A1 (de) Ernteverfahren und -vorrichtung
DE102024206903A1 (de) Verfahren zum Bestimmen einer Greifpose für einen Roboter
DE102024201098A1 (de) Verfahren zum Ermitteln, ob ein in einem Eingangsbild dargestelltes Objekt eine Anomalie aufweist
EP4141805A1 (de) Verfahren zum erzeugen, automatisierten annotieren und bereitstellen von trainings-bilddaten
WO2026022141A1 (de) Verfahren zum bestimmen von objektposen
DE102024206901A1 (de) Verfahren zum Bestimmen eines Bewegungsablaufs für einen Roboter
DE102024125317A1 (de) Greifvorrichtung zum Greifen von Produkten aus einem Vorrat
DE102024204389A1 (de) Verfahren zum Bestimmen einer Lage eines Behältnisses

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250509

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_0011793_4633877/2025

Effective date: 20251031

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)