DE102020115628A1 - Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem - Google Patents

Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem Download PDF

Info

Publication number
DE102020115628A1
DE102020115628A1 DE102020115628.6A DE102020115628A DE102020115628A1 DE 102020115628 A1 DE102020115628 A1 DE 102020115628A1 DE 102020115628 A DE102020115628 A DE 102020115628A DE 102020115628 A1 DE102020115628 A1 DE 102020115628A1
Authority
DE
Germany
Prior art keywords
gripping
sensor device
robot
segmentation
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020115628.6A
Other languages
English (en)
Inventor
Christian Friedrich
Harry Arnst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schunk GmbH and Co KG
Original Assignee
Schunk GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schunk GmbH and Co KG filed Critical Schunk GmbH and Co KG
Priority to DE102020115628.6A priority Critical patent/DE102020115628A1/de
Priority to PCT/EP2021/065736 priority patent/WO2021250227A1/de
Priority to EP21733750.0A priority patent/EP4164841A1/de
Priority to US18/009,929 priority patent/US20230278199A1/en
Publication of DE102020115628A1 publication Critical patent/DE102020115628A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39484Locate, reach and grasp, visual guided grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39543Recognize object and plan hand shapes in grasping movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

Sensoreinrichtung für ein Greifsystem, wobei das Greifsystem einen Roboter mit einer Greifvorrichtung zum Handhaben von Objekten und eine Roboter- oder Maschinensteuerung zur Ansteuerung des Roboters und/oder der Greifvorrichtung umfasst, sowie Verfahren und zugehöriges Greifsystem.

Description

  • Die Erfindung betrifft eine Sensoreinrichtung für ein Greifsystem, wobei das Greifsystem einen Roboter, also einen Manipulator mit mindestens einem Freiheitsgrad wie beispielsweise einen Industrieroboter, mit einer Greifvorrichtung zum Handhaben von Objekten und eine Roboter- oder Maschinensteuerung zur Ansteuerung des Roboters und der Greifvorrichtung umfasst. Die Erfindung betrifft auch ein Verfahren zur Erzeugung von Greifposen für eine Maschinen- oder Robotersteuerung zur Ansteuerung des Roboters und der Greifvorrichtung zum Greifen von Objekten und ein zugehöriges Greifsystem.In der US 9,002,098 B1 wird ein robotergestütztes visuelles Wahrnehmungssystem zur Bestimmung einer Position und Pose eines dreidimensionalen Objekts beschrieben. Das System erhält einen externen Input zur Auswahl eines zu greifenden Objekts. Das System empfängt auch visuelle Eingaben von einem Sensor einer Robotersteuerung, der das interessierende Objekt abtastet. Rotationsinvariante Formmerkmale und Aussehen werden aus dem erfassten Objekt und einem Satz von Objektvorlagen extrahiert. Anhand von Formmerkmalen wird eine Übereinstimmung zwischen dem abgetasteten Objekt und einer Objektvorlage identifiziert. Die Übereinstimmung zwischen dem abgetasteten Objekt und der Objektvorlage wird anhand von Erscheinungsmerkmalen bestätigt. Das abgetastete Objekt wird dann identifiziert, und es wird eine dreidimensionale Pose des abgetasteten Objekts von Interesse bestimmt. Auf der Grundlage der ermittelten dreidimensionalen Pose des abgetasteten Objekts wird die Robotersteuerung zum Greifen und Manipulieren des abgetasteten Objekts verwendet. Dabei arbeitet das System auf Basis von Schablone (Templates) oder rotationsinvarianten Merkmalen (Features) um die Sensordaten mit dem Modell zu vergleichen. Diese Verfahren können bevorzugt in kontrastreichen Szenen verwendet werden, versagen aber bei unzureichendem Kontrast oder geometrischer Ähnlichkeit zwischen Objektklassen. Ein modellfreies Greifen wird nicht gezeigt. Auch wird die semantische Zuordnung der Objektklasse nicht gelöst.
  • Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Erzeugung von optimalen Greifposen bereitzustellen. Aus diesen Greifposen können dann roboter- oder maschinenseitig Befehlssätze zur Ansteuerung der Greifvorrichtung zum Greifen von Objekten auf vorteilhafte Art und Weise erzeugt werden. Dabei soll sowohl das Greifen von bekannten Objekten als auch das Greifen von unbekannten Objekten möglich sein. Diese Aufgabe wird gelöst durch eine Sensoreinrichtung mit den Merkmalen des Anspruchs 1.
  • Eine solche Sensoreinrichtung erlaubt insbesondere eine schnelle Inbetriebnahme von Handhabungsaufgaben wie Pick & Place ohne Eingriff in die Roboter- oder Maschinensteuerung und ohne Expertenwissen im Bereich Bildverarbeitung und Robotik. Die Sensoreinrichtung stellt eine weitgehend autarke Einheit dar, mit der geeignete Greifposen erzeugt werden können. Aus diesen Greifposen können roboter- oder maschinenseitig anwendungsfallunabhängige Befehlssätze für die Roboter- oder Maschinensteuerung generiert werden.
  • Die Segmentierung ist ein Teilgebiet der digitalen Bildverarbeitung und des maschinellen Sehens. Dabei bezeichnet man die Erzeugung von inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium als Segmentierung.
  • Die Steuerungsschnittstelle stellt dabei der Roboter-/Maschinensteuerungen insbesondere semantische/numerische Informationen über die in den Bilddaten enthaltenen Objekte und insbesondere die Greifposen als Dienst zur Verfügung.
  • Ein System mit einer solchen Sensoreinrichtung erlaubt folglich das Greifen von bekannten Objekten als auch das Greifen von unbekannten Objekten auf Basis des generalisierten Segmentierungs- und Greifplanungsalgorithmus.
  • Mit der Benutzerschnittstelle sind insbesondere die Objektmodelle für das Segmentierungsmodell, die Greifplanungsparamter für das Greifplanungsmodul und/oder die Steuerungsparameter für die Steuerungsschnittstelle vorgebbar, wie beispielsweise die Parametrierung von Sensor, die Kalibrierung Sensor und Roboter und/oder die Parametrierung der Greifplanung.
  • Weitere Ausführungsformen und vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen definiert.
  • Die genannte Aufgabe wird auch gelöst durch ein Verfahren nach Patentanspruch 12 sowie durch ein Greifsystem nach Patentanspruch 14.
  • Weitere Einzelheiten und vorteilhafte Ausführungsformen der Erfindung sind der nachfolgenden Beschreibung zu entnehmen.
  • Dazu zeigen:
    • : (a) Sensoreinrichtung: Pipeline; (b) Training und Deployment auf Device.
    • : Prototypenaufbau zu Sensoreinrichtung.
    • : Hardwarearchitektur Sensoreinrichtung.
  • Immer geringer werdende Losgrößen und steigende Lohnkosten stellen die Produktionstechnik in Hochlohnländern vor große Herausforderungen. Damit diese angegangen werden können, muss ein heutiges Automatisierungssystem schnell auf die neuen Umgebungsbedingungen adaptiert werden können. In folgendem wird eine Sensoreinrichtung vorgestellt, die eine schnelle Inbetriebnahme von Handhabungsaufgaben wie Pick & Place ohne Programmierung erlaubt.
  • Die Sensoreinrichtung, stellt insbesondere eine Recheneinheit dar, die es erlaubt insbesondere auf Basis von Grauwertdaten, Farbdaten oder 3D-Punktwolkendaten (bspw. durch Mono- oder Stereokamerasysteme) eine geeignete Greifpose für ein Objekt zu bestimmen. Geeignet heißt hierbei, dass der resultierende Griff sowohl bestimmten Gütekriterien genügt als auch zu keinen Kollisionen zwischen Greifer, Roboter und anderen Objekten führt.
  • In ist die Softwarearchitektur (Pipeline) der Sensoreinrichtung, sowie in das Training und Deployment exemplarisch dargestellt.
  • Das Kamerasystem kann dabei extern oder direkt in die Sensoreinrichtung konstruktiv integriert sein, was aus der Hardwarearchitektur gemäß deutlich wird. Die Greifpose wird an ein, mit der Sensoreinrichtung, verbundenes Steuerungssystem mit Greifvorrichtung und Manipulator (bspw. Roboter) weitergegeben, welches anschließend den Griff ausführt.
  • Es können dabei beliebige bildgebende Sensoren bzw. Kamerasysteme, sowie Manipulatorsysteme über insbesondere eine physikalische Ethernetschnittstelle angebunden werden. Die softwareseitigen Eigenheiten der jeweiligen Teilsysteme (Roboter, Kamera) werden über eine Metabeschreibung und integrierte Funktionstreiber abstrahiert.
  • Die Bezeichnung der Softwarearchitektur als Pipeline erfolgt dabei, da das Ergebnis von Prozess i die Eingangsgröße für den Prozess i+1 darstellt. Aus der vom Sensorsystem zur Verfügung gestellten Bildinformation werden die einzelnen Objekte über ein Instanzsegmentierungs-Verfahren detektiert. Werden andere/weitere Bildverarbeitungsfunktionen benötigt, können diese über die Vision Runtime dem Gesamtsystem zur Verfügung gestellt werden. Dabei können eigene Funktionen entwickelt als auch fertige Runtime Systeme eingebunden werden. Die segmentierten Objekte (Objekthülle mit Klassenzugehörigkeit) stellen die Eingangsgröße für die Greifplanung dar. Der Greifplaner detektiert daraufhin einen geeigneten/gesuchten Griff, welcher der Steuerungsschnittstelle zur Ausführung zur Verfügung gestellt wird.
  • Der in dargestellte Prozess beschreibt das Einlernen und das Deployment von neuen Greifobjekten exemplarisch. Auf Basis von CAD und realen Szenendaten werden über die Virtual Environment Engine Trainingsdaten generiert. Hierbei handelt es sich um synthetische Bilddaten (2D oder 3D) der Greifobjekte in der Gesamtszene und deren Annotation (Ground Truth der Objekte) in einem vorgegebenen Datenformat. Anhand der synthetischen Trainingsdaten wird ein Segmentierungsmodell trainiert, welches im Anschluss über die Benutzerschnitstelle (Webschnittstelle) der Sensoreinrichtung heruntergeladen und dem Segmentierungsverfahren zur Verfügung gestellt werden kann. Das Training erfolgt insbesondere außerhalb der Sensoreinrichtung auf einem leistungsfähigen Server kann aber auch auf der Sensoreinrichtung ausgeführt werden.
  • Aufgrund der Autonomisierung der einzelnen Schritte entfällt das zeitaufwendige Programmieren von Bildverarbeitungs- und Roboterprogramm. Von Endnutzer müssen manuell insbesondere nur folgende Prozesse parametriert/ausgeführt werden:
    • - Upload von CAD-Modellen (und/oder Realbilddaten mit Label) der Objekte auf den eventuell externen Trainingserver (über die Benutzerschnittstelle der Sensoreinrichtung)
    • - Parametrisierung des Prozesses (z. B. Zwischenbahnpunkte, Ablagebahnpunkte), der Objektmodelle (z.B. z-Grifftiefe bei 2D-Bilddaten, Ausrichtung etc.) und der Greifermodelle (z. B. Greiffingergeometrie) erfolgt über die Benutzerschnitstelle (Webschnittstelle) der Sensoreinrichtung
    • - Ausführung der semiautomatischen Kamerakalibrierung sowie der geometrischen Registrierung zwischen Kamera und Robotersystem.
    • - Vorgabe der zu greifenden Objekte in Reihenfolge und Anzahl mit Funktionsbaustein, welcher in der Robotersteuerung integriert wird (aufgabenorientierte Programmierung).
  • Somit können kundenspezifische Greifprobleme individuell und ohne zeit- und kostenintensiven Programmieraufwand gelöst werden. In ist eine Ausführungsform mit den einzelnen Komponenten aufgeführt.
  • Die Sensoreinrichtung bildet den kompletten Engineering-Prozess zur Automatisierung einer Pick & Place Applikation ab. Dabei werden sowohl 2D- als auch 3D-Bildgebende Sensoren betrachtet, sodass sich in Abhängigkeit des Anwendungsfalls eine hardwaretechnisch passende Lösung ergibt. Auch vereint kein bekanntes System die verschiedenen Möglichkeiten der Greifplanung (modellfrei/modellbasiert), sodass es frei für verschiedene Applikationen einsetzbar ist. Bekannte Lösungen sind dabei entweder auf einen beliebigen Objektgriff oder einen spezifischen festgelegt. Durch die Verschiebung der Systemgrenzen wird erstmalig eine aufgabenorientierte Programmierung der Pick & Place Aufgabe möglich. Dies bedeutet, dass der Benutzer nur noch angeben muss, welches Objekt (Semantik) er als nächstes greifen möchte.
  • Im Folgenden wird das Gesamtsystem sowohl soft- als auch hardwaretechnisch dargelegt. Dabei wird mit der Beschreibung der Softwarearchitektur und dem Systemablauf begonnen. Darauf aufbauend wird das Einlernen und Deployment der Sensoreinrichtung für neue Objekte vorgestellt, bevor abschließend die hardwaretechnische Umsetzung abgebildet wird.
  • Softwarearchitektur und Systemablauf
  • Die Pipeline mit dem Ablauf von Sensordatenaufnahme bis zur Kommunikation mit der Steuerung durch die Sensoreinrichtung 14 ist in dargestellt. Dabei werden die Sensordaten über insbesondere unterschiedliche bildgebende Sensoren 1 (2d) und 1.2 (3D) (vgl. ) gewonnen. Prinzipiell können beliebige Sensoren eingebunden werden.
  • Die Daten werden vom Vision-Runtime-Modul 2 verarbeitet. Diese nutzt das Instanzsegmentierungs-Modul 3 im normalen Betrieb (Greifplanung). Die Ausgabe sind die Objekthüllen samt Klassenzugehörigkeit der in den Sensordaten enthaltenen Objekte. Damit das Verfahren in 3 die Objekte segmentieren kann, muss vorab ein Segmentierungsmodell über ein datengetriebenes Verfahren trainiert werden, vergleiche , das über die Benutzerschnittstelle 9 eingebunden wird. Auch steht die Möglichkeit zur Verfügung weitere Bildverarbeitungsfunktionen aus dem Modul Zusatzfunktionen 4 (bspw. Qualitätsprüfung, Barcodelesung, usw.) der Vision Runtime 2 zur Verfügung zu stellen.
  • Im Merkmalsgenerierungsmodul 5 werden die relevanten Greifmerkmale aus der Objektsegmentierung bestimmt. Diese stellen dann die Basis für die Greifplanung im Greifplanungsmodul 6 dar.
  • Im Greifplanungsmodul 6 sind verschiedenen Verfahren zur Greifplanung durch den Benutzer frei wählbar. Dabei sind modellbasierte Verfahren (es wird ein Griff oder mehrere Griffe durch den Nutzer vorgegebenen und das System sucht diesen im Szenenobjekt) als auch modellfreie Verfahren (es wird ein möglichst optimaler Griff in Bezug auf Griffstabilität und -güte durch das System bestimmt) im Greifplanungsmodul 6 möglich. Auch können verschiedene Greifsysteme (Anzahl Finger, Wirkprinzip (Klemmgreifen als auch Vakuumgreifen)) eingestellt werden. Dies wird über die Benutzerschnittstelle 9 über die Greifplanungsparameter konfiguriert.
  • Als Ausgabe stellt der Planer eine Greifpose sowie die Greiffingerkonfiguration im SE(3) über die Steuerungsschnittstelle zur Verfügung. Wahlweise kann auch (zusätzlich zur Greifpose) eine Liste aller erkannten Objekte samt Klassenzugehörigkeit und Objekthüllen zur Verfügung gestellt werden.
  • Die Steuerungsschnittstelle 7 dient der Kommunikation mit der Roboter- oder Maschinensteuerung 8. Diese ist als Client-Server Schnittstelle ausgeführt, wobei die Sensoreinrichtung der Server und die Steuerung 8 den Client abbildet. Die Schnittstelle 7 basiert auf einem allgemeingültigen Protokoll, sodass diese für verschiedene proprietäre Steuerungen und deren spezifische Befehlssätze einsetzbar ist. Die Kommunikation erfolgt über TCP/IP oder über ein Feldbusprotokoll. Steuerungsmodulseitig 8 wird ein spezifischer Funktionsblock integriert, der steuerungsspezifische Befehlssätze generiert.
  • Die gesamte Parametrierung und Konfiguration der Sensoreinrichtung erfolgt über die Benutzerschnittstelle 9. Abgebildet ist diese über einen Webserver, welcher lokal auf der Sensoreinrichtung 14 läuft. Das Einlernen von Segmentierungsmodellen wird auf einem eventuell externen Trainingsserver durchgeführt, der Upload von Trainingsdaten und Download des fertigen Modells wird über die Benutzerschnittstelle 9 durchgeführt.
  • Einlernphase und Deployment
  • Der Prozess zum Einlernen der Greifobjekte und zum Deployment auf der Sensoreinrichtung ist in aufgeführt.
  • Zum Einlernen des Segmentierungsmodells steht ein Trainingsserver 11 zur Verfügung. Dieser Dienst kann außerhalb der Sensoreinrichtung 14 durchgeführt werden. Der Nutzer 10 kann die zu greifenden Objekte als CAD-Daten und als reale Szenendaten zur Verfügung stellen. Auf Basis dieser Daten werden verschiedene Objektszenen im Virtual Environment Modul 12 generiert und als fotosynthetische Daten dem Trainingsmodul 13 zur Verfügung gestellt. Somit kann der Zeitaufwand für die Trainingsdatenannotation weitgehend minimiert werden. Im Modul 13 erfolgt das Training des datengetriebenen Segmentierungsalgorithmus. Die Ausgabe ist ein Segmentierungsmodell, welches der Benutzer 10 auf der Sensoreinrichtung 14 über die Benutzerschnittstelle 9 einbindet.
  • Hardwarearchitektur
  • Die Hardwarearchitektur und die Einbettung der Sensoreinrichtung 14 in das Gesamtautomatisierungssystem ist in dargestellt.
  • Die elektrische Energieversorgung der Sensoreinrichtung 14 erfolgt über das Energieversorgungsmodul 18. Die Sensoreinrichtung, welcher als Server in Bezug auf die Steuerung 8 fungiert, stellt in der Kommunikationstopologie des Gesamtautomatisierungssystem den Slave dar. Die Steuerung 8 als Master integriert software- und hardwaretechnisch die Greifvorrichtung 22, über das zur Verfügung gestellte Feldbussystem. Auch kann die Greifvorrichtung 22 über eine Anlagensteuerung 21 integriert sein, falls dies die Architektur der Gesamtanlage erfordert.
  • Die Sensoreinrichtung 14 wird über die physikalische Benutzerschnittstelle 15 (bspw. Ethernet) mit einem Endgerät (bspw. PC) durch den Benutzer 10 verbunden. Die softwareseitige Konfiguration erfolgt dann über die Schnittstelle 9 (Webserver).
  • Die Kommunikation der Sensoreinrichtung 14 mit der Steuerung 8 findet ebenso über eine gegebenfalls physikalisch getrennte oder gemeiname Schnittstelle 15 (bspw. Ethernet, Feldbus) statt. Die Kommunikation erfolgt wie bereits dargestellt.
  • Über eine weitere, physikalisch separate EthernetSchnittstelle 16 findet die Kommunikation zum bildgebenden Sensor statt. Hierbei kann beispielsweise GigE verwendet werden. Auch kann ein zusätzliches Beleuchtungsmodul 19 über die Sensoreinrichtung Schnittstelle 17 (digitaler Ausgang) aktiviert werden. Die Systemgrenze von 14 kann auch durch die Integration von 1 und 19 erweitert werden, wobei die Schnittstellen dieselben bleiben.
  • Strukturelle Systemmerkmale
    • - Ein bildverarbeitender Sensor kann über eine einheitliche Schnittstelle (Ethernet) mit der Sensoreinrichtung verbunden werden, welcher die Sensordaten nutzt.
    • - Ein Manipulatorsystem (Steuerung und Kinematik) kann über eine einheitliche Schnittstelle (bspw. Ethernet) mit der Sensoreinrichtung verbunden werden. Die Sensoreinrichtung stellt als Server der Steuerung als Client dann die verschiedenen Dienste wie Greifpose, Objektpositionen usw. zur Verfügung.
    • - Der Benutzer kann sich über die Benutzerschnittstelle (Ethernet) mit der Sensoreinrichtung verbinden und alle nötigen Konfigurationen und Parametrierungen über einen Webserver einstellen.
    • - Die Sensoreinrichtung stellt ein Rechnersystem dar, welches entweder als separate Berechnungsbox ausgeführt ist oder in eine Subkomponente (bspw. Greifsystem, Flansch) integrierbar ist. Auch kann diese als Softwarelösung auf entsprechende externe Hardware portiert werden.
    • - Die Sensoreinrichtung lässt sich durch die offenen Schnittstellen zur Steuerung und zum bildgebenden Sensor nahtlos in heutige Automatisierungsarchitekturen integrieren.
  • Funktionale Systemmerkmale
    • - Die Sensoreinrichtung nutzt die visuellen Sensordaten und führt eine Instanzsegmentierung der vorab definierten Greifobjekte durch.
    • - In der Vision Runtime können weitere Bildverarbeitungsfunktionen eingebunden werden, sodass bspw. spezielle Aufgaben wie Qualitätsprüfungen oder ähnliches durchführbar sind.
    • - Der Greifplaner kann für die Objekte automatisch einen vorab definierten oder einen geeigneten Griff auf Basis der Ergebnisse der Segmentierung automatisch bestimmen.
    • - Die Greifpose wird direkt in das ausgewählte Roboterkoordinatensystem transformiert und an die Steuerung übergeben.
    • - Durch eine semiautomatische Kalibrierfunktion kann der bildverarbeitende Sensor kalibriert und einfach mit dem Manipulatorsystem geometrisch registriert werden.
    • - Durch die Sensoreinrichtung ist keine Systemprogrammierung des Bildverarbeitungssystems nötig. Auch robotersystemseitig sind nur einfache Anweisungen nötig, wie beispielsweise die Programmierung von Ablagepose oder spezifische logische und anwendungsspezifische Operationen.
    • - Die einzelnen Greifaufgaben werden in aufgabenorientierter Form durch den Nutzer vorgegeben (pick(Object-X)) und sind in der jeweiligen Steuerung abgebildet. Die einzelnen Softwarebausteine werden hierzu bereitgestellt.
    • - Die Sensoreinrichtung kann auch einfach nur die erkannten Objekte zurückgeben (ohne geplanten Griff), da die Schnittstelle zur Steuerung flexibel aufgebaut ist. Beispielsweise können folgende Dienste angeboten werden getGraspPose(), getObjects(), getBestObject(), hasObject(x), usw.
    • - Die Sensoreinrichtung kann auf Basis von CAD-Daten (bspw. stl) oder realen Bilddaten der Objekte vorab für die Greifaufgabe trainiert werden. Somit sind wenig/keine Realdaten für eine hohe Greifwahrscheinlichkeit (>95%; Wert ist applikationsabhängig) erforderlich. Ist keine Semantik der Objekte für die Greifaufgabe gefordert (beispielsweise das greifen einer spezifischen Objektklasse) kann auch ein generalisiertes Segmentierungsmodell verwendet werden, dass die Segmentierung unterschiedlicher und unbekannter Objekte erlaubt. Das Training kann auf einem externen Rechnersystem erfolgen.
  • Bezugszeichenliste
  • 1
    Bildgebender Sensor: Dient der Aufnahme von 2D- oder 3D-Daten.
    2
    Vision Runtime: Softwaremodul das Bildverarbeitungsalgorithmen anbietet.
    3
    Instance Segmentation: Software Algorithmus welcher die Instance Segmentierung (Segmentierung zwischen einzelnen unterschiedlichen und gleichen Objektklassen, also Separation zwischen allen Objekten) ausführt.
    4
    Zusatzfunktionen Bildverarbeitung: Softwareblock, welche die Einbettung zusätzlicher Bildverarbeitungsoperationen ermöglicht.
    5
    Merkmalsgenerierung: Softwarealgorithmus, welcher die für die Greifplanung notwendigen Merkmale berechnet (modellbasiert, modellfrei).
    6
    Greifplanungsmodul: Softwarealgorithmus, welcher aus Merkmalen einen geeigneten Griff berechnet.
    7
    Steuerungsschnittstelle: Schnittstelle der Sensoreinrichtung zur Kommunikation mit 8.
    8
    Roboter-/Maschinensteuerung: Steuerung des Roboters.
    9
    Benutzerschnittstelle: Schnittstelle zum Benutzer für die Konfiguration und Parametrierung.
    10
    Benutzer: Bediener der Sensoreinrichtung.
    11
    Trainingsserver: Generierung fotosynthetischer Daten oder Augmentation der Daten und Training von 3. Übersystem von 12 und 13.
    12
    Virtual Environment Engine: Virtuelle Rendering und Physikengine zur Generierung fotosynthetischer Daten und zur Augmentation realer Bilddaten.
    13
    Training Segmentierung: Trainingsalgorithmus für 3.
    14
    Sensoreinrichtung : Übersystem von 1, 2, 3, 4, 5, 6, 7, 8 und 9.
    15
    Schnittstelle Steuerung/User: Physikalische Ethernetschnittstelle.
    16
    Schnittstelle Sensor: Physikalische Ethernetschnittstelle.
    17
    Schnittstelle Beleuchtung
    18
    Energieversorgungsmodul: Externe elektrische Energieversorgung.
    19
    Beleuchtung: Zusätzliche Beleuchtung für 1.
    20
    Schnittstelle Greifer: Hardware- und Softwareschnittstelle für Greifer.
    21
    Schnittstelle Anlagensteuerung: Hardware- und Softwareschnittstelle für Anlage.
    22
    Greifvorrichtung
    23
    Roboter
    24
    Ablage
    25
    zu greifendes Objekt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9002098 B1 [0001]

Claims (13)

  1. Sensoreinrichtung (14) für ein Greifsystem, wobei das Greifsystem einen Roboter (23) mit einer Greifvorrichtung (22) zum Handhaben von Objekten (25) und eine Roboter- oder Maschinensteuerung (8) zur Ansteuerung des Roboters (23) und/oder der Greifvorrichtung (22) umfasst, - mit einer Sensorschnittstelle (16) zur Verbindung mit einem das zu greifenden Objekt (25) erfassbaren bildgebenden Sensor (1), - mit einem Vision-Runtime-Modul (2), das ein Segmentierungsmodul (3) umfasst, das mittels eines Segmentierungsmodells aus den von dem bildgebenden Sensor (1) erzeugten Bilddaten des zu greifenden Objekts (25) eine Objektsegmentierung, die eine Objekthülle und eine Klassenzugehörigkeit umfasst, generiert, - mit einem Merkmalsgenerierungsmodul (5), das aus der Objektsegmentierung relevante Greifmerkmale bestimmt, - mit einem Greifplanungsmodul (6), das aus den Greifmerkmalen eine Greifpose für die Greifvorrichtung (22) erzeugt, - mit einer Steuerungsschnittstelle (7), die der Roboter- /Maschinensteuerungen Informationen über die Greifposen als Dienst zur Verfügung stellt - mit einer Benutzerschnittstelle (9), mit der Objektmodelle für das Segmentierungsmodell, Greifplanungsparamter für das Greifplanungsmodul und/oder Steuerungsparameter für die Steuerungsschnittstelle (7) vorgebbar sind, und - mit einer Steuerungsschnittstelle (15) zur Kommunikation mit der Roboter- oder Maschinensteuerung zur Ansteuerung des Roboters (23) und/oder der Greifvorrichtung (22) zur Handhabung des zu greifenden Objekts (25).
  2. Sensoreinrichtung (14) nach Anspruch 1, dadurch gekennzeichnet, dass die erfassten Bilddaten Grauwertdaten, Farbdaten und/oder 3D-Punktwolkendaten beinhalten.
  3. Sensoreinrichtung (14) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Vision-Runtime-Modul (2) derart ausgebildet ist, dass die Objektmodelle für das Segmentierungsmodell in einer vor der Objektsegmentierung erfolgten Einlernphase bereitgestellt sind, so dass Segmentierungsmodell bei der Objektsegmentierung bereits zur Verfügung steht.
  4. Sensoreinrichtung (14) nach Anspruch 3, dadurch gekennzeichnet, dass die Objektmodelle und/oder Segmentierungsmodelle auf fotosynthetischen Daten, auf CAD-Objektdaten und/oder auf erfassten Bilddaten des Objekts beruhen.
  5. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Segmentierungsmodell auf einem pixelorientierten und/oder deep-learning Verfahren basiert.
  6. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vision-Runtime-Modul (2) derart ausgebildet ist, dass wenn mehrere zu greifende Objekte (25) erfasst werden, eine Objektsegmentierung für jedes einzelne der mehreren Objekte (25) erfolgt.
  7. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgebbaren Greifplanungsparamter eine Auswahl aus verschiedenen Greifvorrichtungen (22) und/oder die Parametrisierung des Greifprozesses umfassen.
  8. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgebbaren Greifplanungsparamter auf einem modellbasierten Verfahren oder einem modellfreien Verfahren basieren.
  9. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgebbaren Greifplanungsparamter bei einer für mehrere Objekte (25) erfolgter Objektsegmentierung die Vorgabe der Reihenfolge und/oder Anzahl der zu greifenden Objekte (25) umfassen.
  10. Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (14) in eine Roboter- oder Maschinensteuerung (8) integriert ist.
  11. Verfahren zur Erzeugung von Befehlssätzen für eine Roboter- oder Maschinensteuerung (8) zur Ansteuerung eines Roboters (23) und einer Greifvorrichtung (22) zum Greifen von Objekten (25), insbesondere zum Ablauf auf einem Sensoreinrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, - dass mit einem bildgebenden Sensor (1) Bilddaten des zu greifenden Objekts generiert werden, - dass mittels eines Segmentierungsmodells aus den Bilddaten eine Objektsegmentierung, die eine Objekthülle und eine Klassenzugehörigkeit umfasst, generiert wird, - dass aus der Objektsegmentierung relevante Greifmerkmale bestimmt werden, - dass aus den relevanten Greifmerkmalen eine Greifpose erstellt wird, und - dass aus der Greifpose roboter- oder maschinenseitig Befehlssätze für die Maschinensteuerung zur Ansteuerung des Roboters (23) und/oder der Greifvorrichtung (22) erzeugt werden.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Objektmodelle für das Segmentierungsmodell in einer vor der Objektsegmentierung erfolgten Einlernphase bereitgestellt sind, so dass das Segmentierungsmodell bei der Objektsegmentierung zur Verfügung steht.
  13. Greifsystem mit wenigstens einem bildgebenden Sensor (1), einer Sensoreinrichtung (14) nach einem der Ansprüche 1 bis 10, einer Roboter- oder Maschinensteuerung (8) und einem Roboter (23) mit einer Greifvorrichtung (22) zur Handhabung von zu greifenden Objekten (25), insbesondere zur Durchführung des Verfahrens nach Anspruch 11.
DE102020115628.6A 2020-06-12 2020-06-12 Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem Pending DE102020115628A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102020115628.6A DE102020115628A1 (de) 2020-06-12 2020-06-12 Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem
PCT/EP2021/065736 WO2021250227A1 (de) 2020-06-12 2021-06-11 Sensoreinrichtung für ein greifsystem, verfahren zur erzeugung von optimalen greifposen zur ansteuerung einer greifvorrichtung und zugehöriges greifsystem
EP21733750.0A EP4164841A1 (de) 2020-06-12 2021-06-11 Sensoreinrichtung für ein greifsystem, verfahren zur erzeugung von optimalen greifposen zur ansteuerung einer greifvorrichtung und zugehöriges greifsystem
US18/009,929 US20230278199A1 (en) 2020-06-12 2021-06-11 Sensor device for a gripping system, method for generating optimal gripping poses for controlling a gripping device, and associated gripping system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020115628.6A DE102020115628A1 (de) 2020-06-12 2020-06-12 Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem

Publications (1)

Publication Number Publication Date
DE102020115628A1 true DE102020115628A1 (de) 2021-12-16

Family

ID=76532183

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020115628.6A Pending DE102020115628A1 (de) 2020-06-12 2020-06-12 Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem

Country Status (4)

Country Link
US (1) US20230278199A1 (de)
EP (1) EP4164841A1 (de)
DE (1) DE102020115628A1 (de)
WO (1) WO2021250227A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002098B1 (en) 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
DE112011103794B4 (de) 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
DE102018215826A1 (de) 2017-09-25 2019-03-28 Fanuc Corporation Robotersystem und Werkstückgreifverfahren
DE102018126310B3 (de) 2018-10-23 2019-11-07 Roboception Gmbh Verfahren zum Erstellen eines Objektmodells zum Greifen eines Objekts, computerlesbares Speichermedium und Robotersystem
US10535155B2 (en) 2017-10-24 2020-01-14 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for articulated pose estimation
DE102019122790A1 (de) 2018-08-24 2020-02-27 Nvidia Corp. Robotersteuerungssystem
EP3767521A1 (de) 2019-07-15 2021-01-20 Promaton Holding B.V. Objektdetektion und instanzsegmentierung von 3d-punktwolken auf basis von tiefenlernen

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8720331D0 (en) * 1987-08-28 1987-10-07 Caplin Cybernetics Corp Control system
AT11337U1 (de) * 2009-02-26 2010-08-15 Ih Tech Sondermaschb U Instand Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten
DE102018209220A1 (de) * 2018-06-11 2019-12-12 Kuka Deutschland Gmbh Verfahren und System zum Handhaben von Objekten mithilfe eines Roboters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011103794B4 (de) 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
US9002098B1 (en) 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
DE102018215826A1 (de) 2017-09-25 2019-03-28 Fanuc Corporation Robotersystem und Werkstückgreifverfahren
US10535155B2 (en) 2017-10-24 2020-01-14 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for articulated pose estimation
DE102019122790A1 (de) 2018-08-24 2020-02-27 Nvidia Corp. Robotersteuerungssystem
DE102018126310B3 (de) 2018-10-23 2019-11-07 Roboception Gmbh Verfahren zum Erstellen eines Objektmodells zum Greifen eines Objekts, computerlesbares Speichermedium und Robotersystem
EP3767521A1 (de) 2019-07-15 2021-01-20 Promaton Holding B.V. Objektdetektion und instanzsegmentierung von 3d-punktwolken auf basis von tiefenlernen

Also Published As

Publication number Publication date
US20230278199A1 (en) 2023-09-07
EP4164841A1 (de) 2023-04-19
WO2021250227A1 (de) 2021-12-16

Similar Documents

Publication Publication Date Title
DE102018215057B4 (de) Maschinelles-Lernen-Vorrichtung, Robotersystem und maschinelles-Lernen-Verfahren
DE102019109624B4 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
DE202017106506U1 (de) Einrichtung für tiefes Maschinenlernen zum Robotergreifen
DE102020207085A1 (de) Verfahren zum steuern eines roboters und robotersteuereinheit
DE102020214231A1 (de) Verfahren zum steuern einer robotervorrichtung und robotersteuereinrichtung
DE102022107249A1 (de) Modularisierung von Netzen zum Lernen von hochdimensionalen Roboteraufgaben
EP4164841A1 (de) Sensoreinrichtung für ein greifsystem, verfahren zur erzeugung von optimalen greifposen zur ansteuerung einer greifvorrichtung und zugehöriges greifsystem
DE102021212859A1 (de) Vorrichtung und Verfahren zum Trainieren eines maschinellen Lernmodells zum Erzeugen von Deskriptorbildern zu Bildern von Objekten
EP4177013A1 (de) Ansteuerung eines industrieroboters für eine greifaufgabe
DE102018124671B4 (de) Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
DE102020210823A1 (de) Maschinen-Steueranordnung
EP3882856A1 (de) Verfahren und vorrichtung zum bestimmen einer pose
DE112022004254T5 (de) Computer-implementiertes Betriebsverfahren für die Handhabung von Werkstücken mit auf einem Inpainting-Modell beruhender Rekonstruktion verdeckter Teile
DE102022202144A1 (de) Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
EP3582140B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
WO2013037987A1 (de) Identifikation wiederverwendbarer mechatronischer komponenten in der fabrikautomation
DE102021116072A1 (de) System und Verfahren zur Erzeugung synthetischer Trainingsdaten
EP4063081A1 (de) Verfahren zum ermitteln von steuerungsdaten für eine greifeinrichtung zum greifen eines gegenstands
EP4063080A1 (de) Verfahren zum ermitteln von steuerungsdaten für eine grei-feinrichtung zum greifen eines gegenstands
EP4064106A1 (de) Verfahren zum erzeugen von trainingsdaten für ein ml-modell
EP4121897B1 (de) Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
DE102022202143B4 (de) Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102021212494B4 (de) Vorrichtung und Verfahren zur Steuerung einer Robotervorrichtung
DE102016121788A1 (de) Konfiguration einer Automatisierungsanlage
EP4141805A1 (de) Verfahren zum erzeugen, automatisierten annotieren und bereitstellen von trainings-bilddaten

Legal Events

Date Code Title Description
R012 Request for examination validly filed