DE102021121743A1 - Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu - Google Patents

Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu Download PDF

Info

Publication number
DE102021121743A1
DE102021121743A1 DE102021121743.1A DE102021121743A DE102021121743A1 DE 102021121743 A1 DE102021121743 A1 DE 102021121743A1 DE 102021121743 A DE102021121743 A DE 102021121743A DE 102021121743 A1 DE102021121743 A1 DE 102021121743A1
Authority
DE
Germany
Prior art keywords
gripping
robot
finger
hand
robot hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021121743.1A
Other languages
English (en)
Inventor
Sönke Michalik
Sören Michalik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aeon Robotics GmbH
Original Assignee
Aeon Robotics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aeon Robotics GmbH filed Critical Aeon Robotics GmbH
Priority to DE102021121743.1A priority Critical patent/DE102021121743A1/de
Priority to PCT/EP2022/073091 priority patent/WO2023025658A2/de
Publication of DE102021121743A1 publication Critical patent/DE102021121743A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • B25J13/025Hand grip control means comprising haptic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0009Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0006Exoskeletons, i.e. resembling a human figure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/104Programme-controlled manipulators characterised by positioning means for manipulator elements with cables, chains or ribbons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, master-slave control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35464Glove, movement of fingers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36454Master slave, director agent, operator replication
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36455Sensor, tactile feedback, operator feels forces of tool on workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39478Control force and posture of hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39486Fingered hand, multifingered hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39492Finger impedance control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39546Map human grasps to manipulator grasps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40146Telepresence, teletaction, sensor feedback from slave to operator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40155Purpose is grasping objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40532Ann for vision processing

Abstract

Ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand (30) mit Fingern (1) hat, und mit Sensoren zur Ermittlung der Greifkräfte (K) und Greifpositionen (P) der Finger (1) der Roboterhand (30) beim Greifen eines Objektes (O), wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement (40) steuerbar ist, wird beschrieben. Das Verfahren hat die Schritte von:a) computergestütztes Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30), einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte (K) und einer Darstellung des Objektes (O), undb) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk (AI) anhand von Bildern (B) des Objektes (O) und der erzeugten Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netzwerk (AI).

Description

  • Die Erfindung betrifft eine Roboterhand eines Roboters mit einem Grundabschnitt und mit Fingern, die drehgelenkig an dem Handgelenk angeordnet sind, sowie mit in dem Grundabschnitt angeordneten Antriebsmotoren, wobei die Finger jeweils ein erstes Fingerglied, das an einer Grundgelenkachse schwenkbar an dem Grundabschnitt angelenkt ist, und ein zweites Fingerglied aufweisen, das an einer Mittelgelenkachse schwenkbar an das erste Fingerglied angelenkt ist.
  • Die Erfindung betrifft weiterhin ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand mit Fingern hat, mit Sensoren zur Ermittlung der Greifkräfte und Greifpositionen der Finger der Roboterhand beim Greifen eines Objektes. Das Verfahren zum Trainieren eines Roboters nutzt Bilder von Objekten, die mit einer Kamera erfasst worden sind oder beim Trainieren erfasst werden.
  • Die Erfindung betrifft weiterhin ein tragbares Sensor- und Kraftrückführungselement, das zum Ankoppeln an der Hand eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der Fingerpositionen und Gelenkkräfte der Finger der menschlichen Hand des Benutzers und Aktoren zur Erzeugung von rückgeführten Greifkräften, die beim Greifen eines Objektes mit den Fingern der Roboterhand auf das Objekt wirken, auf die Finger der menschlichen Hand des Benutzers aufweist.
  • Für die automatisierte Handhabung von Objekten sind Roboterhände bekannt, die in der Art der menschlichen Hand Objekte greifen und mittels Verschwenken der Roboterhand an einem Roboterarm diese Objekte verlagern können.
  • Hierzu ist es erforderlich, die Bewegung des Roboters zu trainieren. Dabei sind die Fingerpositionen und Greifkräfte von besonderer Bedeutung, da diese vom Objekt und der Objektlage abhängig sind und so gewählt werden müssen, dass ein sicheres Tragen des Objektes ohne Beschädigung sichergestellt ist. Der Begriff „Fingerpositionen“ umfasst die Greifpositionen im Sinne der Berührungspunkte, denen die Fingerkuppen mit der Objektoberfläche des gegriffenen Objektes in Kontakt stehen.
  • Die DE 10 2017 005 762 B4 beschreibt ein Fingerelement für eine Handprothese mit einem Grundglied und einem relativ zu dem Grundglied schwenkbaren Fingerglied, das ein auf einer Welle gelagertes Zahnrad aufweist. Das Zahnrad ist in axialer Richtung auf der Antriebsseite mittels eines Kugellagers abgestützt. Gerade krümmende Bewegungen des Fingerelementes drücken die Gewindeschnecke in Richtung des Motors, indem die Gewindeschnecke proximal zum Motor axial verschieblich auf der Antriebswelle angeordnet ist und die Gewindeschnecke oberhalb der Schwenkachse in ein Schneckenrad eingreift.
  • Ebenso offenbart DE 10 2017 005 765 B4 ein Fingerelement mit einem Grundglied und einem ersten und zweiten Fingerglied, die schwenkbar um eine jeweilige Schwenkachse gelagert sind. Das Grundglied hat ein Positionierelement zur Begrenzung der Innenposition der Bewegung des zweiten Fingerglieds um eine zweite Schwenkachse in Abhängigkeit von der Position des ersten Fingergliedes. Auch hier ist eine durch einen Elektromotor angetriebene Gewindeschnecke vorhanden, die ein Teilschneckenrad kämmt.
  • DE 10 2018 112 633 A1 beschreibt eine Fingereinheit für eine Roboterhand, bei der die Fingerglieder über ein Zahnradgetriebe verschwenkbar sind, wobei Vorspannmittel zum Erzeugen einer Vorspannkraft vorgesehen sind.
  • DE 11 2013 005 465 B4 und DE 11 2013 006 008 T5 offenbaren eine Roboterhand und ein Gelenkmechanismus, bei dem mehrere Gelenkmechanismen parallel zueinander angeordnet und zusammen angetrieben werden, um mehrere hintereinander schwenkbar angeordnete Fingerteil zu verschwenken. Hierzu sind Linearaktuatoren mit Schubstangen verbunden.
  • DE 11 2018 002 565 T5 offenbart ein System und ein Verfahren zum direkten Anlernen eines Roboters. Mit einer tragbaren Einrichtung, die mehrere Sensoren aufweist, werden Signale zur Bewegung, Orientierung, Position, Kraft und zum Drehmoment eines beliebigen Teil eines Körpers eines Benutzers erfasst, die als Lernbefehle abgespeichert und zur späteren Ansteuerung eines Roboters nach dem Training beispielsweise mit einem Datenhandschuh genutzt werden.
  • DE 10 2014 108 287 A1 offenbart ein Verfahren zum Trainieren eines Roboters zum automatischen Ausführen einer Roboteraufgabe, bei dem Trainingsdaten, welche mindestens eine lineare Kraft und das Drehmoment umfassen, mit Hilfe eines Kraft-Drehmoment-Sensors gemessen werden, während ein Greiforgan durch mehrere Zustände bewegt wird. Aus den Trainingsdaten werden Schlüsselmerkmale extrahiert, welche in eine Zeitsequenz aus Steuerungsprimitiven segmentiert werden. Bei der autonomen Ausführung der gleichen Aufgabe werden die Übergänge detektiert und automatisch zwischen den zugehörigen Steuerungsmodi umgeschaltet.
  • WO 2016/0107679 A1 und WO 2019/133859 A1 offenbaren einen Datenhandschuh, bei dem flexible Elemente für jedes Fingerglied vorgesehen sind, die an einer jeweiligen Bremse angekoppelt sind. Damit lassen sich die Position und die Bewegung einer Hand des Benutzers messen.
  • Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, eine verbesserte Roboterhand und ein verbessertes Verfahren zum Trainieren eines Roboters und einer solchen Roboterhand, sowie ein tragbares Sensor- und Kraftrückführungselement zu schaffen.
  • Die Aufgabe wird mit den Merkmalen der unabhängigen Ansprüche 1, 8, 14 und 22 gelöst. Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.
  • Ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand mit Fingern hat, mit Sensoren zur Ermittlung der Greifkräfte und Greifpositionen der Finger der Roboterhand beim Greifen eines Objektes, wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement steuerbar ist, weist die Schritte auf von:
    1. a) computergestütztes Erzeugen von Bildrepräsentationen der Greifpositionen der ein Objekt greifenden Roboterhand, einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte und einer Darstellung des Objektes, und
    2. b) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk anhand von Bildern des Objektes und der erzeugten Bildrepräsentationen als Eingangsdaten für das neuronale Netzwerk.
  • Die Repräsentation der Sensordaten als Bildinformation und die Zusammenführung dieser visuellen Darstellungen der Sensordaten mit einer Bilddarstellung des gegriffenen Objektes wird zum bildgestützten Training eines neuronalen Netzwerkes genutzt. Damit kann beim späteren Ansteuern des Roboters anhand einer Bildaufnahme des handzuhabenden Objektes eine Rücktransformation zu den zum Greifen geeigneten Fingerpositionen und Greifkräften erfolgen. Das Training und das Ansteuern eines Roboters ist damit auf einfache und zuverlässige Weise mit Hilfe herkömmlicher, frei verfügbarer bildverarbeitender neuronaler Netzwerke, d.h. von bildverarbeitenden Kl-Algorithmen (KI = künstliche Intelligenz) möglich.
  • Es kann eine direkte Ermittlung der Greifpositionen der Roboterhand beim manuellen oder ferngesteuerten Führen der Roboterhand erfolgen. Denkbar ist aber auch eine Rückkoppelung des Greifvorgangs der Roboterhand an die Hand eines Benutzers mit Hilfe eines tragbaren Sensor- und Kraftrückführungselementes, das mit der Hand eines Benutzers koppelbar ist, d.h. eines Datenhandschuhs. Damit lassen sich beispielsweise die jeweilige Fingergelenkposition und/oder die Fingerkrümmung eines Fingers des Benutzers beim Greifen des Objektes durch die Roboterhand messen und indirekt die Greifpositionen der Roboterhand ermitteln. Die Bildrepräsentationen der Greifpositionen beim Ergreifen des Objektes mit der Roboterhand werden dann rechnergestützt automatisiert erzeugt, wobei die Bildrepräsentationen als Eingangsdaten für das neuronale Netz genutzt werden.
  • Bei dem Verfahren kann eine Rückführung der von der Roboterhand beim Ergreifen des Objektes auf das Objekt ausgeübten Greifkräfte auf die zugehörigen Finger des Benutzers mit Aktoren des tragbaren Sensor- und Kraftrückführungselementes erfolgen. Damit kann der Benutzer beurteilen, ob die von der Roboterhand auf das Objekt ausgeübten Greifkräfte angemessen sind. Das Training ist damit zunächst nicht subjektiv durch ein von einem Benutzer individuell vorgegebenes Greifverhalten beeinflusst. Eine Anpassung des Verhaltens des Roboters kann erfolgen, wenn die Greifkräfte der Roboterhand durch Rückkoppelung der durch den Benutzer auf das tragbare Sensor- und Kraftrückführungselement ausgeübten Gegenkräfte verändert werden. Damit wird der Roboter anhand der Reaktion des Benutzers auf das Greifverhalten der Roboterhand trainiert, welches mit den Aktoren des tragbaren Sensor- und Kraftrückführungselementes auf die Finger des Benutzers appliziert wird.
  • Die Greifbewegung der Roboterhand kann beim Training durch die Bewegung der Hand des Benutzers über die mit der Sensoren des tragbaren Sensor- und Kraftrückführungselementes an den Roboter übermittelt werden, so dass die Roboterhand beim Greifen eines Objektes durch die Roboterhand durch die Hand des Benutzers ferngesteuert wird. Die dabei von der Roboterhand ausgeübten Greifkräfte werden dann über die Aktoren des tragbaren Sensor- und Kraftrückführungselementes an die Finger der Hand des Benutzers rückgekoppelt. Damit wird das Bewegungsverhalten der Hand des Benutzers beeinflusst und das Greifverhalten der Roboterhand nicht nur durch die Vorgabe der Greifbewegung durch den Benutzer, sondern auch durch die Reaktion des Benutzers auf die Greifkräfte der Roboterhand trainiert.
  • Beispielsweise kann während des Trainings ein Erfassen von Bildern der ein Objekt greifenden Roboterhand mit einer Kamera und ein automatisiertes rechnergestütztes Erzeugen von Bildrepräsentationen der Greifpositionen der das Objekt greifenden Roboterhand erfolgen. Das Training kann damit, bis auf das benutzergeführte Greifen und Handhaben des Objektes mit einer Hand des Benutzers bzw. Roboterhand mittels eines Computerprogramms mit Programmcodemitteln rechnergestützt automatisch durchgeführt werden, wenn die zur Durchführung der oben genannten Verfahrensschritte a) und b) ausgebildeten Programmcodemittel auf einem Prozessor einer Datenverarbeitungseinheit ausgeführt werden.
  • Vorteilhaft ist eine, ebenfalls rechnergestützte automatisierte, visuelle Darstellung der Greifkräfte anhand von Farbcodierungen in den zugehörigen Bildrepräsentationen des Objektes. Damit lassen sich die Greifkräfte auf komprimiert darstellbare und automatisiert auswertbare Weise als Bildinformationen visuell darstellen.
  • Die erzeugten Bildrepräsentationen können als Eingangsinformationen an ein neuronales Netzwerk geleitet werden, wobei ein Anlernen des neuronalen Netzwerkes mit den Bildrepräsentationen von mehreren Greifvorgängen von Objekten erfolgt.
  • Mithilfe des angelernten neuronalen Netzwerkes können später anhand von Bildern von zu greifenden Objekten die zugehörigen Greifposition und Greifkräfte der Roboterhand für das Objekt bestimmt und Steuerungssignale für die Hand eines Roboters erzeugt werden. Es kann ein Ansteuern eines Roboters mit einem neuronalen Netzwerk, das mit dem oben beschriebenen Verfahren trainiert wurde, dadurch erfolgen, dass mit einer Kamera Bilder eines von der Roboterhand zu ergreifenden Objektes erfasst und als Eingangsinformationen in das angelernte neuronale Netzwerk eingeführt werden, wobei mithilfe des neuronalen Netzwerkes durch Rücktransformation der Bilddaten Greifpositionen und Greifkräfte zur Ansteuerung der Roboterhand automatisiert berechnet und in Steuerungssignale für den Roboter transformiert werden.
  • Das Verfahren kann mit einer Steuerungseinheit realisiert werden, die eine Roboterhand eines Roboters, Sensoren zur Ermittlung von Greifpositionen und Greifkräften, und eine Datenverarbeitungseinheit aufweist.
  • Die Steuerungseinheit kann optional ein mit der Hand eines Benutzers koppelbares tragbares Sensor- und Kraftrückführungselement haben. Weiterhin kann eine Kamera zur Erfassung von Bildern der zu greifenden Objekte vorhanden sein.
  • Die Datenverarbeitungseinheit kann zur Erzeugung von Bildrepräsentationen der beispielsweise von einem tragbaren Sensor- und Kraftrückführungselement ermittelten Fingerposition der ein Objekt greifenden Roboterhand und einer visuellen Darstellung der von der Roboterhand gemessenen Greifkräfte und zum Trainieren des Roboters anhand der Bilder des Objektes und der erzeugten Bildrepräsentationen eingerichtet sein. Dies kann beispielsweise mit einem Computerprogramm erfolgen, das Befehle umfasst, die bei ihrer Ausführung durch einen Computer bewirken, dass der Computer die rechnergestützten automatisierten Verfahrensschritte des oben beschriebenen Verfahrens ausführt.
  • Das tragbare Sensor- und Kraftrückführungselement kann Sensoren zur Ermittlung der Fingerposition, beispielsweise der Fingergelenkposition und/oder der Fingerkrümmung haben. Die Datenverarbeitungseinheit kann bevorzugt mit einem Computerprogramm zur Erzeugung von Bildrepräsentationen der Greifposition beim Greifen des Objektes mit der Roboterhand eingerichtet sein.
  • Eine Kamera kann zur Erfassung von Bildern auf die Objekt greifende Roboterhand ausgerichtet sein. Die auf das zu ergreifende Objekt ausgerichtete Kamera kann beispielsweise an dem Roboter oder der Roboterhand oder in der Umgebung des Roboters angeordnet sein. Denkbar ist aber auch eine Erfassung von Bildern von zu ergreifenden Objekten unabhängig von dem Greifvorgang. Dabei können verfügbare Bilder der zu ergreifenden Objekte bevorzugt aus mehreren Perspektiven oder dreidimensionale Bilder genutzt werden.
  • Die Datenverarbeitungseinheit kann zur automatisierten, beispielsweise computerprogrammgestützten Erzeugung der Bildrepräsentationen der Fingerpositionen der das Objekt greifenden Roboterhand aus den von der Kamera erfassten Bildern des Objektes eingerichtet sein.
  • Die Datenverarbeitungseinheit kann zur visuellen Darstellung der Greifkräfte anhand von Farbcodierung in der zugehörigen Bildrepräsentation des Objektes im Bereich der Objektoberfläche eingerichtet sein.
  • Die Datenverarbeitungseinheit kann ein neuronales Netzwerk haben und eingerichtet sein, um die Bildrepräsentationen als Eingangsdaten in das neuronale Netzwerk zu leiten und das neuronale Netzwerk mit den Bildrepräsentationen von mehreren Greifvorgängen von Objekten anzulernen. Dies kann wiederum mit einem Computerprogramm erfolgen, das Befehle zur bildgestützten künstlichen Intelligenz hat.
  • Die Steuerungseinrichtung kann zur automatisierten Berechnung von Steuersignalen für die Roboterhand des Roboters anhand von Bildern von zu greifenden Objekten mithilfe des angelernten neuronalen Netzwerkes eingerichtet sein. Aus den Bildern der zu greifenden Objekte als Eingangsgröße für das angelernte neuronale Netzwerk können Greifpositionen und Greifkräfte der Roboterhand mit dem angelernten neuronalen Netzwerk berechnet werden.
  • Die Handhabung von Objekten kann mit einer kompakt und einfach aufgebauten Roboterhand eines Roboters erfolgen. Die Roboterhand hat einen Grundabschnitt, der den Handrücken und die gegenüberliegende Handfläche bildet, und Finger, die drehgelenkig an dem Grundabschnitt angeordnet sind. In dem Grundabschnitt sind Antriebsmotoren angeordnet. Die Finger weisen jeweils ein erstes Fingerglied, das an einer Grundgelenkachse schwenkbar an dem Handrücken angelenkt ist, und ein zweites Fingerglied auf, das an einer Mittelgelenkachse schwenkbar an das erste Fingerglied angelenkt ist. Das erste Fingerglied und das zweite Fingerglied sind jeweils über einen Riemenantrieb mit einem zugeordneten Antriebsmotor verbunden sind.
  • Damit gelingt bei einem kompakten Aufbau ein Antrieb der Fingerglieder, bei dem die von den Fingergliedern auf ein Objekt wirkenden Kräfte über das jeweilige Riemengetriebe an den zugehörigen Antriebsmotor zurückgekoppelt werden. Die Greifkräfte lassen sich damit aus den elektrischen Kenngrößen beim Antrieb der Antriebsmotoren über die Motorströme und/oder Motorspannungen messen.
  • Die Antriebseinheiten können über Drehwinkelsensoren zur Messung der Rotorstellung verfügen. Über die Drehwinkelsensoren können durch die bekannte Untersetzung der jeweiligen Riemengetriebe die Gelenkswinkel der jeweiligen Fingergelenke bestimmt werden.
  • Der Riemenantrieb kann Riemenscheiben haben, die drehbar jeweils um eine der Grundgelenkachse oder Mittelgelenkachse gelagert sind. Damit werden die Riemenantriebe zur Schwenkbewegung der hintereinander liegenden Fingerglieder voneinander entkoppelt.
  • Die erste Riemenscheibe kann um die Grundgelenkachse drehbar gelagert und mit dem ersten Fingerglied verbunden sein. Die erste Riemenscheibe kann auf ihrem Außenumfang einen ersten Riemen tragen, der mit einem Antriebsmotor direkt oder indirekt gekoppelt ist. Eine zweite Riemenscheibe kann um die Mittelgelenkachse drehbar gelagert und mit dem zweiten Fingerglied verbunden sein. Die zweite Riemenscheibe kann an ihrem Außenumfang einen zweiten Riemen tragen, der direkt oder indirekt mit einem zweiten Antriebsmotor gekoppelt ist. Auf diese Weise werden jeweils zwei unabhängig voneinander wirkende Riemenantriebe für das erste und zweite Fingerglied bereitgestellt, die auf kompakte Weise und von äußeren Umwelteinflüssen weitgehend unbeeinflusst in den Fingergliedern integriert sind.
  • Eine dritte Riemenscheibe kann um die Grundgelenkachse drehbar gelagert sein, wobei der zweite Riemen die zweite Riemenscheibe und die dritte Riemenscheibe umschlingt, und wobei die dritte Riemenscheibe einen dritten Riemen trägt, der direkt oder indirekt mit dem zweiten Antriebsmotor verbunden ist. Damit kann eine Untersetzung oder ggf. bedarfsweise eine Übersetzung für den Riemenantrieb geschaffen werden.
  • Jeder Antriebsmotor kann jeweils eine Antriebswelle haben, auf der jeweils ein Antriebsriemen gelagert ist. Jeder Antriebsriemen kann jeweils eine im Grundabschnitt angeordnete Riemenscheibe umschlingen, die drehbar um eine jeweilige Achse gelagert ist, auf der eine weitere Riemenscheibe angeordnet ist, wobei ein Riemen jeweils ein Paar von Riemenscheiben umschlingt.
  • Die Riemen können sich aus der Richtung eines Antriebsmotors in die Richtung der freien Endes des zugeordneten Fingers erstrecken. Damit folgen die Riemen in ihrer Längserstreckungsrichtung der Längserstreckungsrichtung des zugehörigen Fingers und seiner Fingerglieder.
  • Mindestens ein Finger kann ein drittes Fingerglied haben, das an einer Endgelenkachse schwenkbar an dem zweiten Fingerglied angeordnet und über eine Schubstange mit dem zweiten Fingerglied gekoppelt ist. Damit ist eine weitere Krümmung der Fingerkuppe möglich, die der Krümmung des direkt vorgelagerten zweiten Fingergliedes folgt.
  • Die Schubstange kann mit einem ersten Ende radial beabstandet von der Endgelenkachse mit dem dritten Fingerglied verbunden sein. Sie kann zudem mit einem zweiten Ende radial beabstandet von der Mittelgelenkachse mit der zweiten Riemenscheibe des zweiten Fingergliedes verbunden sein.
  • Das Trainieren des Roboters kann mit einem tragbaren Sensor- und Kraftrückführungselement erfolgen, das zum Ankoppeln an der Hand eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der Fingerposition und Gelenkkräfte der Finger der Hand und Aktoren zur Erzeugung von rückgeführten Greifkräften, die beim Greifen eines Objektes mit den Fingern der Roboterhand auf das Objekt wirken, aufweist. Das tragbare Sensor- und Kraftrückführungselement kann einen auf dem Handrücken der Hand des Benutzers befestigbaren Grundkörper mit Antriebsmotoren haben, das zur Kopplung mit einem Finger jeweils ein Zugriemen vorhanden ist, der zur Verbindung mit dem distalen Ende eines Fingers ausgebildet ist. Ein Zugriemen ist jeweils mit einem Antriebsmotor als Aktor gekoppelt. Mit Hilfe der Auslenkung des Zugriemens lassen sich die Fingerposition und die Greifkräfte des mit dem Zugriemen gekoppelten Fingers eines Benutzers bestimmen. Mit Hilfe der Aktoren lassen sich über die Zugriemen Zugkräfte an die gekoppelten Finger des Benutzer erzeugen und somit die gemessenen Greifkräfte der Fingergelenke der Roboterhand an die Fingergelenke des Benutzers übertragen.
  • Es kann jeweils für einen Finger ein schwenkbar am Grundkörper gelagerter Steg vorhanden sein, der mit einem zugehörigen Zugriemen gekoppelt ist und sich in Richtung des Zugriemens erstreckt. Ein Schwenkwinkelsensor kann zur Bestimmung des Stellwinkels des zugehörigen Steges vorhanden sein.
  • Der Steg kann einen davon abragenden Bügel mit einem Quersteg haben, wobei der zugehörige Zugriemen durch den Bügel geführt ist und der Steg durch Kraftwirkung des Zugriemens auf den Quersteg verschwenkbar ist. Auf diese Weise kann die Krümmung des ersten Fingergliedes auf zuverlässige, kompakte und einfache Weise mit dem Schwenkwinkel des Steges als Maß für die Krümmung bzw. Abwinkelung des ersten Fingergliedes gemessen werden.
  • Für jeden Zugriemen kann im Grundgehäuse ein Spulenkörper drehbar gelagert sein. Der zugehörige Zugriemen ist auf den Spulenkörper aufgewickelt und der Spulenkörper mit dem Antriebsmotor gekoppelt. Damit kann die Auszugslänge des Zugriemens bestimmt werden und es können Zugkräfte über die Ansteuerung des Antriebsmotors erzeugt werden. Die Auszuglänge kann fortlaufend beispielsweise über den Drehwinkel des Antriebsmotors ermittelt werden.
  • Vorteilhaft ist es, wenn ein Antriebsriemen eine Antriebswelle des Antriebsmotors und eine drehbar um die Drehachse des Spulenkörpers gelagerte und mit dem Spulenkörper drehfest verbundene Riemenscheibe umschlingt. Damit kann eine Untersetzung oder Übersetzung realisiert werden, die mit Hilfe des Antriebsriemens eine Erzeugung von Zugkräften auf die Zugriemen durch den Antriebsmotor erlaubt.
  • Der Zugriemen kann an seinem distalen, vom Grundkörper entfernt liegenden freien Ende einen Hohlkörper haben, der zur Aufnahme einer Fingerkuppe ausgebildet ist. Damit kann die Hand eines Benutzers auf einfache Weise mit den Zugriemen gekoppelt werden, indem die freien Enden der Finger einfach in den zugehörigen Hohlkörper eingesteckt werden.
  • Der Grundkörper kann einen Riemen zur Befestigung des tragbaren Sensor- und Kraftrückführungselementes an dem Handrücken oder Arm des Benutzers haben.
  • Das tragbare Sensor- und Kraftrückführungselement kann zur Ermittlung der Drehwinkel der Antriebswelle der Antriebseinheit und zur Bestimmung der Auslenkung der Zugriemen in Abhängigkeit von dem ermittelten Drehwinkel der zugehörigen Antriebseinheit eingerichtet sein.
  • Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
    • 1 - Blockdiagramm des Verfahrens zum Trainieren eines Roboters;
    • 2 - Blockdiagramm zum Steuern eines Roboters mit Bildern eines Objektes und trainiertem neuronalem Netzwerk;
    • 3 - perspektivische Ansicht eines Fingers einer Roboterhand;
    • 4 - Seiten-Schnittansicht des Fingers aus 3;
    • 5 - Draufsicht auf den Schnitt der Roboterhand auf 3;
    • 6 - Seitenansicht des Fingers aus 3 bis 5;
    • 7 - Draufsicht auf den Finger aus 3 bis 6;
    • 8 - perspektivische Seitenansicht des gekrümmten Fingers;
    • 9 - Seitenansicht des gekrümmten Fingers;
    • 10 - Seitenansicht eines vollständig gekrümmten Fingers;
    • 11 - perspektivische Ansicht einer Roboterhand mit Fingern mit Blick auf die Handinnenfläche;
    • 12 - perspektivische Ansicht auf die Roboterhand aus 11 im Zustand gekrümmter Finger mit Blick auf den Handrücken;
    • 13 - perspektivische Ansicht der Roboterhand aus 12 mit Blick auf die Handinnenseite;
    • 14 - tragbares Sensor- und Kraftrückführungselement mit an den Fingerkuppen befestigten Zugriemen;
    • 15 - perspektivische Ansicht des tragbaren Sensor- und Kraftrückführungselement aus 14;
    • 16 - Seiten-Schnittansicht des tragbaren Sensor- und Kraftrückführungselement aus 14 und 15.
  • 1 zeigt ein Blockdiagramm zur Beschreibung des Verfahrens zum Trainieren eines Roboters mit Hilfe einer Datenverarbeitungseinheit und einem auf der Datenverarbeitungseinheit ablaufenden Computerprogramm. Das Computerprogramm hat Programmcodemittel, die zur Erzeugung von Bildrepräsentationen REP eines handzuhabenden Objektes O zusammen mit Fingerpositionen beim Ergreifen und Handhaben des Objektes O sowie Greifkräften, die beim Ergreifen des Objektes O mit den Fingern auf das Objekt O ausgeübt werden, eingerichtet ist.
  • Hierzu wird mindestens ein Bild B des Objektes 0 mit einer Kamera erfasst und in der Datenverarbeitungseinheit gespeichert und zur Erzeugung der Bildrepräsentationen REP ausgewertet. Die Bildrepräsentation REP kann dann beispielsweise auf eine Umrissdarstellung des Objektes O reduziert werden. Möglich sind auch mehrere Bildrepräsentationen REP zur Beschreibung der dreidimensionalen Fingerpositionen P und Greifkräfte K, die auf das Objekt O bei der Handhabung einwirken.
  • Bei der Handhabung des Objektes O wird dieses zum Training ergriffen und dabei die Fingerpositionen P und die auf das Objekt wirkenden Greifkräfte K gemessen. Dies kann beispielsweise dadurch erfolgen, dass das Objekt 0 mit einer Roboterhand ergriffen und dabei beispielsweise mit einem Sensor- und Kraftrückführungselement (Datenhandschuh) die Fingerpositionen P vorgegeben werden und die Greifkräfte K der Roboterhand gemessen und in die Datenverarbeitungseinheit eingespeichert werden.
  • Die mit dem Objekt in Kontakt stehenden Finger, bevorzugt die Greifpositionen im Sinne der Berührungspunkte, an denen die Fingerkuppen die Objektoberfläche des Objektes O berühren, und die dort auftretenden Greifkräfte, welche von den Fingern auf das Objekt O ausgeübt werden bzw. an den Berührungspunkten auf das Objekt O wirken, werden in der Bildrepräsentation visuell dargestellt. Dies kann beispielsweise durch Farbcodierung oder Segmentierung von Bildbereichen und/oder durch Vektoren mit einer von der Greifkraft K abhängigen Länge o.ä. erfolgen. Besonders vorteilhaft ist eine Farbcodierung derart, dass die Kraftwerte in Segmente aufgeteilt und jedem Kräftebereich, d. h. einem Segment, jeweils ein Farbwert zugeordnet wird. An der Position der Objektkontur, an der die jeweilige Kraft einwirkt, weist die Bildrepräsentation REP dann einen entsprechenden Farbfleck auf, der in der 1 durch unterschiedlich gestrichelte Bereiche skizziert ist.
  • Diese Bildrepräsentation REP wird dann einem neuronalen Netz AI zugeführt, um dieses dahingehend zu trainieren, dass mit Hilfe eines Bildes B eines Objektes O eine zugehörige Bildrepräsentation REP mit dem trainierten neuronalen Netzwerk AI erzeugt werden kann, aus dem dann die Greifposition P und Greifkräfte K extrahiert werden können.
  • Zum Trainieren eines Roboters kann eine Steuerungseinheit die menschlichen Bewegungen in Form von Fingerpositionen während des Greifvorgangs eines Objektes O zu einer Roboterhand eines Roboters übertragen. Die Roboterhand führt die Greifbewegungen entsprechend aus und zeichnet dabei Bilddaten des zu greifenden Objektes O auf. Die beim Greifvorgang entstehenden Kräfte K werden in den Gelenken der Roboterhand gemessen und als Kraft-Rückführung an die Steuerungseinheit übertragen.
  • Aus den von der Hand des Benutzers oder der Roboterhand ausgeführten Greifbewegungen wird eine Bildrepräsentation REP der Fingerpositionen P in Form der Positionierung der Finger, bevorzugt der Greifpositionen der Fingerkuppen an den Berührungspunkten des Objektes O, mit den Gelenkpositionen der Roboterhand im dreidimensionalen Raum zusammen mit den gemessenen Greifkräften K der Roboterhand und den Bildinformationen B des zu greifenden Objektes O erstellt. Dabei wird ein ein- oder mehrkanaliges Bild erzeugt, in dem die Fingerpositionen P und Greifkräfte K am zu greifenden Objekt O als Position, Größe, Orientierung und/oder Farbcodierung zusammen mit dem Farbbild des zu greifenden Objektes O enthalten sein können.
  • Diese Bildrepräsentationen REP dienen zum Anlernen eines neuronalen Netzwerks, beispielsweise eines zur Bilddatenverarbeitung ausgebildetes „Convolutional Neuronalen Netzes“, das aus mehreren aufgezeichneten Greifvorgängen die Greifpositionen P und Greifkräfte K für im Bild gezeigte Objekte O erlernt.
  • Dabei kann eine als ein- oder mehrdimensionale Matrix vorliegende mindestens eine Eingabeschicht („Convolutional Layer“) zur Eingabe der Bilddaten bspw. als Pixel eines Farbbildes mit einer folgenden Filterschicht („Pooling Layer“ zum Verwerfen überflüssiger Informationen in den Bildern, wie bspw. Kanten, verbunden sein. Nach mehreren sich wiederholenden Paaren von Convolutional Layer und Pooling Layer kann das Netzwerk mit mindestens einer Ausgabeschicht abschließen („Fullyconnected Layer“), mit der bspw. eine Klassifizierung vorgenommen werden kann. Das Training kann bspw. mit einer an sich bekannten Fehlerrückführung („Backpropagation“) durchgeführt werden. Zusätzlich können Paare aus Convolutional Layer und Upsampling Layer nachfolgend eingefügt werden, um schichtweise die Umformung der Pooling Layer rückgängig zu machen und eine vollständige Bildrepräsentation am Ausgang zu erwirken. Hierzu können Informationen aus den vorherigen Schritten hinzu geführt werden, um eine Segmentierung des Ausgangsbildes zu erreichen. Das Ergebnis am Ausgang entspricht einer Bilddarstellung des Objektes mit segmentierten, farbigen Flächen, die der errechneten/erlernten Greifposition und Greifkräfte entsprechen.
  • 2 zeigt ein Blockdiagramm des Verfahrens zum Ansteuern einer Roboterhand eines Roboters mit Hilfe des trainierten neuronalen Netzwerkes AI. Nach Abschluss des in 1 skizzierten Trainingsprozesses mit mehreren, auch unterschiedlich gearteten Objekten O wird von mindestens einer Kamera ein Bild B eines zu ergreifenden Objektes O aufgenommen. Damit wird das Bild B des zu greifenden Objektes O als Eingangsgröße in das angelernte neuronale Netzwerk AI eingeleitet. Dieses berechnet nun die Fingerpositionen P und Greifkräfte K für das aktuell zu greifende Objekt O durch Rücktransformation der Bilddaten des Objektes O durch das angelernte neuronale Netzwerk AI. Diese Fingerpositionen P der Finger, bevorzugt die Greifpositionen, und Greifkräfte K werden in Bewegungen der Roboterhand zur Ansteuerung der Roboterhand des Roboters umgesetzt.
  • Die Roboterhand kann beispielsweise Finger 1 in der Art haben, wie sie in 3 in der perspektivischen Ansicht dargestellt sind. Die Finger 1 haben einen ersten, mit einem Grundabschnitt fest verbundenen Wurzelabschnitt 2, an dessen distalem Ende ein erstes Fingerglied 3 um eine Grundgelenkachse 4 schwenkbar angeordnet ist. Das erste Fingerglied 3 entspricht dem Phalanx Proximalis einer Hand, während der Wurzelabschnitt 2 dem Mittelhandknochen (Ossa Metacarpalia) der menschlichen Hand entspricht.
  • An das distale Ende des ersten Fingergliedes 3 ist ein zweites Fingerglied 5 um eine Mittelgelenkachse 6 schwenkbar gelagert. Das zweite Fingerglied 5 entspricht dem Phalanx Media der menschlichen Hand.
  • An dem distalen Ende dieses zweiten Fingergliedes 5 ist ein drittes Fingerglied 7 (Phalanx Distalis) um eine Endgelenkachse 8 schwenkbar angelenkt.
  • In dem Wurzelabschnitt 2 bzw. einem mehreren Fingern gemeinsamen Grundabschnitt befinden sich Antriebsmotoren, wie beispielsweise rotatorische Elektromotoren, die jeweils eine Antriebsachse 9a, 9b mit einer Antriebsscheibe haben, welche einen Antriebsriemen trägt.
  • Die Grundgelenkachse 4 trägt weitere Riemenscheiben, wobei eine erste Riemenscheibe 10 um die Grundgelenkachse 4 drehbar gelagert und mit dem ersten Fingerglied 3 drehfest verbunden ist. Ein von der ersten Riemenscheibe 10 getragener erster Riemen wird von dem ersten Antriebsmotor direkt oder indirekt über ein weiteres Riemengetriebe angetrieben, um bei Drehung des ersten Antriebsmotors die erste Riemenscheibe 10 und damit das erste Fingerglied 3 um die Grundgelenkachse 4 herum zu verschwenken.
  • Weiterhin trägt die Grundgelenkachse eine weitere Antriebsscheibe 11 und eine Abtriebsscheibe 12, die nicht drehfest mit dem ersten Fingerglied 3 und dem Wurzelabschnitt 2 verbunden sind und sich frei um die Grundgelenkachse 4 drehen können. Die Antriebsscheibe 11 trägt einen Riemen, der sich zum zweiten Antriebsmotor im Wurzelabschnitt 2 hin erstreckt und indirekt oder direkt mit diesem gekoppelt ist.
  • Die Abtriebsscheibe 12 ist drehfest mit der Antriebsscheibe 11 verbunden und trägt einen zweiten Riemen 14, der an seinem anderen Ende von einer zweiten Riemenscheibe 13 getragen ist. Die zweite Riemenscheibe 13 ist drehbar auf der in der Mittelgelenkachse 6 gelagert und drehfest mit dem zweiten Fingerglied 5 verbunden. Bei einer Rotation des zweiten Antriebsmotors wird über das Riemengetriebe, welches über die Antriebsscheibe 11 und Abtriebsscheibe 12 zur zweiten Riemenscheibe 13 führt, das zweite Fingerglied 5 relativ zum ersten Fingerglied 3 verschwenkt.
  • Das dritte Fingerglied 7 ist über eine Schubstange 15 mit der zweiten Riemenscheibe 13 verbunden, um das dritte Fingerglied 7 relativ zum zweiten Fingerglied 5 zu verschwenken.
  • Optional kann die Schubstange 15 aber auch mit dem zweiten Fingerglied 5 oder sogar dem ersten Fingerglied 3 verbunden sein, um bei einer Krümmung des Fingers durch Verschwenken des ersten und/oder zweiten Fingergliedes 3, 5 auch das dritte Fingerglied 7 mit zu verschwenken.
  • Optional ist aber auch denkbar, dass das dritte Fingerglied 7 ebenso über einen Riemenantrieb mit einem im Wurzelabschnitt 2, d.h. dem Grundabschnitt, in dem ersten Fingerglied 3 oder in dem zweiten Fingerglied 5 oder sogar in dem dritten Fingerglied 7 angeordneten Aktor zu verlagern.
  • Durch die Führung des ersten Fingergliedes 3 in einer Kontur des Wurzelabschnitts 2 wird der Schwenkwinkel des ersten Fingerglieds 3 begrenzt, indem ein Anschlag für das zweite Fingerglied 3 an dem Wurzelabschnitt 2 gebildet wird.
  • In entsprechender Weise kann der Schwenkwinkel des zweiten Fingergliedes 3 durch eine Führung mit Anschlagskonturen des ersten Fingergliedes 3 begrenzt werden.
  • Gleiches gilt für das dritte Fingerglied 7, das durch Anschläge der Kontur des zweiten Fingerglieds 5 in seinem Schwenkwinkel eingeschränkt sein kann.
  • 4 lässt eine Seiten-Schnittansicht des Fingers 1 aus 3 erkennen. Hier ist der erste Antriebsmotor 16a und der zweite Antriebsmotor 16b erkennbar, dessen Antriebswellen 9a, 9b jeweils einen Antriebsriemen 17a, 17b tragen.
  • Der Antriebsriemen 17a des ersten Antriebsmotors 16a umschlingt ein Riemenscheibenpaar 18, das weiterhin einen Abtriebsriemen 12 trägt, der ein weiteres Riemenscheibenpaar 20 umschlingt. Dieses weitere Riemenscheibenpaar 20 trägt den ersten Riemen 21, der an dem anderen Ende die erste Riemenscheibe 10 umschlingt, welche mit dem ersten Fingerglied 3 drehfest verbunden ist.
  • Erkennbar ist, dass durch diesen Riemenantrieb ein Riemengetriebe mit einer Untersetzung geschaffen ist. Hierbei ist der Durchmesser der Riemenscheiben im Antriebsabschnitt kleiner als in dem distalen, jeweils vom ersten Antriebsmotor 16a entfernten Abtriebsabschnitt. Optional kann das Riemengetriebe auch eine Übersetzung bereitstellen, wobei die Verhältnisse der Durchmesser von Antriebsscheibe zu Abtriebsscheibe dann umgekehrt zur Untersetzung gewählt sind.
  • Die von der Antriebswelle des ersten Antriebsmotors 16a aufgenommene Riemenscheibe hat somit einen kleineren Durchmesser als die zur Aufnahme des Antriebsriemens 17a am distalen Abschnitt vorgesehene Abtriebsscheibe des Riemenscheibenpaars 18. Die Antriebsriemenscheibe des Riemenscheibenpaares 18, welche den weiteren Riemen 19 trägt, hat einen kleineren Durchmesser als die Antriebsscheibe des Riemenscheibenpaares 18 und der folgenden Abtriebsscheibe des Riemenscheibenpaares 20.
  • Entsprechend ist der Riemen 19 auf einer Riemenscheibe des Riemenscheibenpaares 20 aufgenommen, welche einen größeren Durchmesser hat als die Antriebsscheibe des Riemenscheibenpaares 20, welche den ersten Riemen 21 aufnimmt. Ebenso hat die erste Riemenscheibe 10, welche den ersten Riemen 21 trägt, einen größeren Durchmesser als die Abtriebsscheibe des Riemenscheibenpaares 20. Auf diese Weise kann eine Kraftübersetzung auf kompakte Weise sichergestellt werden.
  • Durch die Rücktreibbarkeit der nicht-selbsthemmenden Riemengetriebe können äußere Kräfte, die auf die Fingergelenke 3, 5, 7 wirken, über die Motorströme der Antriebsmotoren 16a, 16b gemessen und ausgewertet werden.
  • Der zweite Antriebsmotor 16b, welcher zum Verschwenken des zweiten Fingergliedes 5 dient, hat ebenso eine Antriebswelle 9b, welche den Antriebsriemen 17b trägt. Der Antriebsriemen 17b umschlingt einerseits eine Antriebsscheibe auf der Antriebswelle 9b, und an seinem gegenüberliegenden distalen Ende ein Riemenscheibenpaar 22, welches einen weiteren Riemen 23 trägt, der zu einem Riemenscheibenpaar 24 geführt ist. Das Riemenscheibenpaar 24 ist frei drehbar auf der Grundgelenkachse 4 gelagert und trägt den zweiten Riemen 14, welcher an seinem distalen Ende die zweite Riemenscheibe 13 umschlingt. Die zweite Riemenscheibe 13 ist drehfest mit dem zweiten Fingerglied 5 verbunden.
  • Auch hier ist der Durchmesser der zweiten Riemenscheibe 13 größer als die gegenüberliegende Antriebsscheibe des Riemenscheibenpaares 14, welche den ersten Riemen 14 trägt. Die Abtriebsscheibe des Riemenscheibenpaares 24 hat wiederum einen größeren Durchmesser als die Antriebsscheibe des Riemenscheibenpaares 24, welches den zweiten Riemen 14 trägt.
  • In dem dargestellten Ausführungsbeispiel ist das zwischenliegende Riemenscheibenpaar 22 hingegen nicht als Über- bzw. Untersetzung ausgebildet und weist zwei Riemenscheiben mit annähernd demselben Durchmesser auf.
  • Erkennbar ist auch, dass das dritte Fingerglied 7 mit einer Schubstange 15 drehfest mit der zweiten Riemenscheibe 13 verbunden ist. Die Schubstange 15 ist einerseits an dem ersten Ende radial beabstandet und damit exzentrisch um die Endgelenkachse 8 mit dem dritten Fingergelenk 7 und andererseits an dem gegenüberliegenden Ende radial beabstandet zur Mittelgelenkachse 6, d. h. exzentrisch an der zweiten Riemenscheibe 3, gelagert.
  • 5 zeigt eine Draufsicht der Schnittansicht des Fingers 1 aus 4. Deutlich wird, dass der von dem ersten Antriebsmotor 16a zum ersten Fingerglied 3 führende Riemenantrieb seitlich neben dem von dem zweiten Antriebsmotor 16b zum zweiten Fingergelenk 5 führenden Riemenantrieb angeordnet ist. Der Antrieb vom Antriebsriemen 17b des zweiten Antriebsmotors 16b macht am Riemenscheibenpaar 22 einen Versatz in Breitenrichtung, d.h. in 5 in Blickrichtung von oben in den unteren Bereich, sodass der Riemen 23 breitenversetzt zum Antriebsriemen 17b ist.
  • 6 lässt eine Seitenansicht des ausgestreckten Fingers 1 aus 4 und 5 erkennen. Deutlich wird, dass sich der Wurzelabschnitt 2, das sich daran anschließende erste Fingerglied 3, und das sich daran anschließende zweite Fingerglied 5 und das sich daran anschließende dritte Fingerglied 7 annähernd auf einer Ebene auf der Seite des Handrückens 25 des Grundabschnitts der Roboterhand befinden.
  • 7 zeigt eine Draufsicht auf den ausgestreckten Finger 1 aus 6. Es ist erkennbar, dass die Oberseite des Fingers 1 teilweise durch Deckplatten 26 und Querstege 27 abgedeckt ist. Die Deckplatten 26 können Befestigungslöcher 28 haben, um den Wurzelabschnitt 2 an eine übergeordnete Struktur eines Grundabschnitts einer Roboterhand zu montieren.
  • Erkennbar ist auch, dass die Riemen innerhalb des teilweise durch Wände umschlossenen Raumes des Fingers 1 geführt und über Öffnung insbesondere im Bereich der Riemenscheiben sichtbar sein können.
  • 8 zeigt einen gekrümmten Finger 1, bei dem das zweite Fingerglied 5 und durch die Kopplung über die Schubstange 15 auch das dritte Fingerglied 7 relativ zum ersten Fingerglied 3 und relativ zu dem Wurzelabschnitt 2 verschwenkt und damit gekrümmt sind. Dies erfolgt durch eine Rotation des zweiten Antriebsmotors 16b über den damit gekoppelten Riemenantrieb.
  • 9 lässt eine Seitenansicht des gekrümmten Zustands des Fingers 1 aus 8 erkennen.
  • 10 lässt einen weiter gekrümmten Zustand des Fingers 1 erkennen. Nunmehr ist auch das erste Fingerglied 3 relativ zum Wurzelabschnitt 2 um die Grundgelenkachse 4 verschwenkt. Dies erfolgt durch Rotation des ersten Antriebsmotors 16a über den damit verbundenen Riemenantrieb.
  • Bei den beschriebenen Fingern 1 einer Roboterhand kann sich über die Führung der Riemenantriebe über die Grundgelenkachse 4 und die Mittelgelenkachse 6 eine Abhängigkeit der Riemenantriebe bei der Positionierung des Mittelgelenks ergeben. Der Finger 1 ist mit seinen Fingergliedern 3, 5, 7 anthropomorphisch nach dem menschlichen Fingeraufbau konstruiert. Durch die Kombination von mehreren Fingergliedern 3, 5, 7 kann eine Roboterhand nach dem menschlichen Vorbild aufgebaut werden.
  • Durch die Riemenführung in den Fingergliedern sowie die im Wurzelabschnitt 2 angeordneten Antriebsmotoren 16a, 16b sind die Finger 1 unempfindlich gegenüber äußeren Einflüssen wie Flüssigkeiten, Staub oder sonstigen Umwelteinflüssen. Eine Kabelführung innerhalb der Fingerelemente ist nicht mehr notwendig.
  • Der nicht-selbsthemmende Antrieb erlaubt eine elektromechanische Kraftregelung über die Motorströme der Antriebsmotoren 16a, 16b. Diese können beispielsweise mit einer Servomotorensteuerung angesteuert werden. Durch die Doppelriemenscheiben mit unterschiedlichen Durchmessern ist eine mehrstufige Untersetzung oder Übersetzung leicht auf kompaktem Raum möglich.
  • 11 zeigt eine Roboterhand 30, welche fünf Finger 1 in der oben beschriebenen Art aufweist. Diese Finger 1 sind mit ihrem Wurzelabschnitt 2 mit einem gemeinsamen Grundabschnitt 31 verbunden, der an seinem proximalen Ende ein Drehgelenk 32 zur Ankoppelung eines Roboterarms hat.
  • Der Daumen 33 kann weiterhin, optional, ein Schwenkgelenk 34 haben, um den Winkel des Daumens 33 relativ zum Handrücken 25 entweder bei der Montage fest, manuell nachstellbar oder über einen Aktor gesteuert verschwenkbar einzustellen.
  • 12 zeigt die Roboterhand 30 im gekrümmten Zustand der Finger 1 in perspektivischer Ansicht mit Blick auf den Handrücken 25.
  • 13 zeigt die Roboterhand 30 mit Blick auf die Handinnenfläche 35, welche dem Handrücken 25 diametral gegenüberliegt. Es ist wiederum erkennbar, dass der Daumen 33 über ein mit im Abstand angeordneten Platten gebildetes Scharnierelement 34 im Winkel zur Handfläche 35 ausgerichtet ist.
  • Der Wurzelabschnitt 2 des Daumens 33 nimmt die Antriebsmotoren 16a ,16b zum Antrieb der Fingergelenke 3, 5 des Daumens auf. Hier kann ebenso ein drittes Fingerglied 7 vorhanden sein, wie auch bei den anderen Fingern 1. Dies ist optional. Bei dem Daumen kann, wie bei anderen Fingern 1 der Roboterhand 30, aber auch auf das dritte Fingerglied 7 verzichtet werden.
  • 14 zeigt ein tragbares Sensor- und Kraftrückführungselement 40, das zum Ankoppeln an eine Hand 41 eines Benutzers eingerichtet ist. Es hat einen Grundkörper 42, der zum Auflegen und Befestigen auf dem Handrücken des Benutzers ausgebildet ist. Der Grundkörper 42 kann beispielsweise mittels Befestigungsriemen oder Ähnliches an der Hand oder dem Arm des Benutzers festgelegt werden.
  • Erkennbar ist, dass sich aus dem Grundkörper 42 für jeden Finger 43 des Benutzers jeweils ein Zugriemen 44 zur Fingerkuppe hin erstreckt. An dem freien Ende des Zugriemens 44 ist jeweils ein Hohlkörper 45 angeordnet, der das distale freie Ende des Fingers 43, d. h. die Fingerkuppe des zugehörigen Fingers des Benutzers, aufnimmt. Auf diese Weise ist der Zugriemen 44 mit einem zugehörigen Finger 43 gekoppelt.
  • Auf der Seite, die dem mit dem Hohlkörper 45 versehenen Ende der Zugriemens 44 gegenüberliegt, ist jeweils ein Spulenkörper (nicht sichtbar) vorhanden, auf dem der Zugriemen 44 aufgewickelt ist. Dieser Spulkörper ist wiederum drehfest beispielsweise über einen Riemenantrieb oder direkt mit einem Antriebsmotor gekoppelt.
  • Die Zugriemen 44 sind am Austritt aus dem Grundkörper 42 jeweils durch einen Bügel 46 eines Steges 47 geführt. Der Steg 47 ist schwenkbar an dem Grundkörper 42 gelagert. Der Schwenkwinkel des Steges 47 kann mit einem Drehwinkelsensor (nicht sichtbar) gemessen werden, um auf diese Weise die Krümmung des ersten Fingergliedes 3 in Bezug zu einer Ebene des Grundkörpers bzw. der Eben der Handfläche des Benutzers zu erfassen.
  • Anhand der Auszuglänge des Zugriemens 44 kann, bevorzugt nach Kalibrierung an der ausgestreckten Hand, die Krümmung der Fingerglieder jeweils für jeden Finger des Benutzers einzeln gemessen werden.
  • Wenn mit der Roboterhand ein Objekt ergriffen wird, dann können die dabei gemessenen Greifkräfte an die Antriebsmotoren der tragbaren Sensor- und Kraftrückführungseinheit 40 übertragen und über den Zugriemen 44 Kräfte auf die Fingerelemente des Benutzers ausgeübt werden. Die Drehmomentregelung des Antriebsmotors über Strombeaufschlagung erlaubt dabei die Kraftregelung der Zugkraft. Die Strombeaufschlagung würde ein Aufwickeln des Zugriemens 44 auf dem Spulenkörper im kraftlosen Zustand bewirken.
  • Auf der Oberseite des Grundkörpers 42 kann optional beispielsweise ein 3D Positionssensor 48 zur Bestimmung der Position und Orientierung des Grundkörpers 42 im 3D-Raum montiert sein.
  • 15 zeigt eine perspektivische Ansicht eines tragbaren Sensor- und Kraftrückführungselementes 40 nunmehr, ohne dass die Finger der Hand daran aufgenommen sind. Erkennbar ist, dass die Zugriemen 44 durch einen am zugehörigen Steg 47 abragenden Bügel 46 geführt sind. Der Zugriemen 44 klappt den Steg 47 durch Anlage an dem Bügel 46 nach oben in die dargestellte waagerechte Position. Wenn die Finger gekrümmt werden, dann kann sich der Bügel 46 in Blickrichtung nach unten zur Handfläche hin verlagern, wenn der Zugriemen 44 ebenfalls nach unten gekrümmt ist. Dies führt zu einem Verschwenken des Steges 47, sodass aus dem Schwenkwinkel die Krümmung des ersten Fingergliedes bestimmt werden kann.
  • In entsprechender Weise ist der Zugriemen 44 für den Daumen seitlich aus dem Grundkörper 42 nach Außen geführt. Hier ist ebenfalls ein Quersteg eines Bügels 46 vorhanden. Der Steg 47 erstreckt sich in Haupterstreckungsrichtung der anderen Zugriemen 44 und ist in Bezug auf die Ebene der anderen Zugriemen 44 um 90° verdreht. Dieser Steg 47 ist um ein im Vergleich zu den anderen Stegen um 90° gedrehtes Schwenkgelenk 49 an dem Grundkörper 42 gelagert.
  • 16 zeigt eine Seiten-Schnittansicht des tragbaren Sensor- und Kraftrückführungselementes 40 aus 15. Hierbei ist deutlich, dass an den distalen Enden der Stege 47 jeweils ein Bügel 46 angeordnet ist, der sich nach oben in entgegengesetzter Richtung zur Aufnahme der Fingerkuppe zum ausgebildeten Hohlkörper 45 erstreckt. Deutlich wird, dass die Stege um eine Schwenkachse 50 in Blickrichtung im Uhrzeigersinn nach unten verschwenkbar angeordnet sind. Der Schwenkwinkel kann mit nicht dargestellten Drehwinkelsensoren gemessen werden.
  • Deutlich wird, dass die Zugriemen 44 durch den Bügel 46 geführt sind und am distalen Ende jeweils einen Hohlkörper 45 zur Aufnahme einer Fingerkuppe haben.
  • Der Zugriemen 44 ist im Innenraum des Grundkörpers 42 auf einem Spulenkörper 51 aufgewickelt. Der Spulenkörper 51 ist um eine Drehachse 52 drehbar gelagert und mit einer Riemenscheibe 53 drehfest verbunden. Die Riemenscheibe 53 trägt einen Antriebsriemen 54, dessen Antriebsende auf einer Riemenscheibe einer Antriebswelle 55 eines rotatorischen Antriebsmotors 56 gelagert ist. Durch Schwenkbeaufschlagung des Antriebsmotors 56 können diese den Antriebsriemen 54 so antrieben, dass damit der Zugriemen 44 weiter auf dem Spulenkörper 51 aufgewickelt wird.
  • Wenn der Grundkörper 42 auf dem Handrücken einer Hand eines Benutzers oder dem daran angrenzenden Unterarm befestigt ist und die Fingerkuppen der Finger in die zugehörigen Hohlkörper 45 eingesteckt sind, dann wirkt der mit dem Zugriemen 44 verbundene Finger der Antriebskraft des Antriebsmotors 56 entgegen. Damit wird eine Vorspannung erzeugt und über die Motorströme kann eine Zugkraft auf die Finger ausgeübt werden. Diese ist in der Regel proportional zum Motorstrom.
  • Weiterhin kann durch Ermittlung des Drehwinkels des Antriebsmotors 56 bei einer Verlagerung der zugehörigen Finger die Krümmung des Fingers durch eine Veränderung der vom Spulenkörper 51 abgewickelten Länge des Antriebsriemens 44 und des Schwenkwinkels des Steges 47 in die Schwenkachse 50 bestimmt werden.
  • Bezugszeichenliste
  • REP
    Bildrepräsentationen
    O
    Objekt
    B
    Bild des Objektes O
    P
    Fingerpositionen
    K
    Greifkräfte
    AI
    Neuronales Netzwerk
    1
    Finger
    2
    Wurzelabschnitt
    3
    erstes Fingerglied
    4
    Grundgelenkachse
    5
    zweites Fingerglied
    6
    Mittelgelenkachse
    7
    drittes Fingerglied
    8
    Endgelenkachse
    9a,9b
    Antriebsachse/ -welle
    10
    erste Riemenscheibe
    11
    weitere Antriebsscheibe
    12
    Abtriebsscheibe
    13
    zweite Riemenscheibe
    14
    zweiter Riemen
    15
    Schubstange
    16a
    erster Antriebsmotor
    16b
    zweiter Antriebsmotor
    17a,17b
    Antriebsriemen
    18
    Riemenscheibenpaar
    19
    weiterer Riemen
    20
    weiteres Riemenscheibenpaar
    21
    erster Riemen
    22
    Riemenscheibenpaar
    23
    weiterer Riemen
    24
    Riemenscheibenpaar
    25
    Handrücken (des Grundabschnitts der Roboterhand)
    26
    Deckplatten
    27
    Querstege
    28
    Befestigungslöcher
    30
    Roboterhand
    31
    Grundabschnitt
    32
    Drehgelenk
    33
    Daumen
    34
    Schwenkgelenk
    35
    Handfläche
    40
    tragbares Sensor- und Kraftrückführungselement
    41
    Hand (eines Benutzers)
    42
    Grundkörper
    43
    Finger (des Benutzers)
    44
    Zugriemen
    45
    Hohlkörper
    46
    Bügel
    47
    Steg
    48
    3D-Positionssensor
    49
    Schwenkgelenk
    50
    Schwenkachse
    51
    Spulenkörper
    52
    Drehachse
    53
    Riemenscheibe
    54
    Antriebsriemen
    55
    Antriebswelle
    56
    Antriebsmotor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017005762 B4 [0006]
    • DE 102017005765 B4 [0007]
    • DE 102018112633 A1 [0008]
    • DE 112013005465 B4 [0009]
    • DE 112013006008 T5 [0009]
    • DE 112018002565 T5 [0010]
    • DE 102014108287 A1 [0011]
    • WO 20160107679 A1 [0012]
    • WO 2019133859 A1 [0012]

Claims (30)

  1. Verfahren zum Trainieren eines Roboters, der eine Roboterhand (30) mit Fingern (1) hat, und mit Sensoren zur Ermittlung der Greifkräfte (K) und Greifpositionen (P) der Finger (1) der Roboterhand (30) beim Greifen eines Objektes (O) hat, wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement (40) steuerbar ist, gekennzeichnet durch a) computergestütztes Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30), einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte (K) und einer Darstellung des Objektes (O), und b) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk (AI) anhand von Bildern (B) des Objektes (O) und der erzeugten Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netzwerk (AI).
  2. Verfahren nach Anspruch 1, gekennzeichnet durch Ermittlung der Fingerpositionen (P), beispielsweise die Fingergelenkposition und/oder die Fingerkrümmung, beim Greifen des Objektes (O) mithilfe eines tragbaren Sensor- und Kraftrückführungselementes (40), das mit der Hand (41) eines Benutzers koppelbar ist und Sensoren zur Ermittlung der Fingerpositionen (P) der Finger (43) hat, und Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) beim Ergreifen des Objektes (O) mit der Roboterhand (30) anhand der ermittelten Fingerpositionen (P), wobei die Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netz (AI) genutzt werden.
  3. Verfahren nach Anspruch 2, gekennzeichnet durch Rückführen der von der Roboterhand (30) beim Ergreifen des Objektes (O) auf das Objekt (O) ausgeübten Greifkräfte (K) auf die zugehörigen Finger (43) des Benutzers mit Aktoren des tragbaren Sensor- und Kraftrückführungselementes (40) und Anpassen der Greifkräfte (K) durch Rückkoppelung der durch den Benutzer auf das tragbare Sensor- und Kraftrückführungselement (40) ausgeübten Gegenkräfte.
  4. Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch Erfassen von Bildern (B) der ein Objekt (O) greifenden Roboterhand (30) und Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der das Objekt (O) greifenden Roboterhand.
  5. Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch visuelle Darstellung der Greifkräfte (K) anhand von Farbcodierungen in den zugehörigen Bildrepräsentationen (REP) des Objektes (O).
  6. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch Einleiten der erzeugten Bildrepräsentationen (REP) als Eingangsinformationen an ein neuronales Netzwerk (AI) und Anlernen des neuronalen Netzwerkes (AI) mit den Bildrepräsentationen (REP) von mehreren Greifvorgängen von Objekten (O), wobei mithilfe des angelernten neuronalen Netzwerkes (AI) anhand von Bildern (B) von zu greifenden Objekten (O) Greifposition (P) und Greifkräfte (K) der Roboterhand (30) für das Objekt (O) bestimmt und Steuerungssignale für die Roboterhand (30) eines Roboters erzeugt werden.
  7. Verfahren zum Ansteuern eines Roboters mit einem neuronalen Netzwerk (AI), das mit dem Verfahren nach einem der vorherigen Ansprüche trainiert wurde, dadurch gekennzeichnet, dass mit einer Kamera Bilder (B) eines von der Roboterhand (30) zu ergreifenden Objektes (O) erfasst und als Eingangsinformationen in das angelernte neuronale Netzwerk (AI) eingeführt werden, wobei mithilfe des neuronalen Netzwerkes (AI) durch Rücktransformation der Bilddaten Greifpositionen (P) und Greifkräfte (K) zur Ansteuerung der Roboterhand (30) automatisiert berechnet und in Steuerungssignale für den Roboter transformiert werden.
  8. Steuerungseinheit mit einer Roboterhand (30) eines Roboters, mit Sensoren zur Ermittlung der Greifpositionen (P) und Greifkräfte (K) der Finger (1) einer Roboterhand (30), und mit einer Datenverarbeitungseinheit, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit zur Erzeugung von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30) und einer visuellen Darstellung der auf das Objekt (O) ausgeübten Greifkräfte (K) zum Trainieren des Roboters anhand der Bilder (B) des Objektes (O) und der erzeugten Bildrepräsentationen (REP) eingerichtet ist.
  9. Steuerungseinrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Steuerungseinrichtung ein tragbares Sensor- und Kraftrückführungselement (40) aufweist, das mit der Hand (41) eines Benutzers koppelbar ist und Sensoren zur Ermittlung der Fingerpositionen (P), beispielsweise der Fingergelenkposition und/oder der Fingerkrümmung, der Finger (43) des Benutzers und Aktoren zur Ausübung von rückgeführten Greifkräften (K) der Roboterhand (30) beim Greifen des Objektes (O) auf die Finger (43) des Benutzers hat, und die Datenverarbeitungseinheit zur Erzeugung von Bildrepräsentationen (REP) der aus den mit dem tragbaren Sensor- und Kraftrückführungselement (40) gemessenen Fingerpositionen (P) der Finger (43) des Benutzers ermittelten Greifpositionen (P) und der Greifkräfte (K) beim Greifen des Objektes (O) mit der Roboterhand (30) eingerichtet ist.
  10. Steuerungseinrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass eine Kamera zur Erfassung von Bildern (B) der das Objekt (O) greifenden Roboterhand (30) vorhanden ist und die Datenverarbeitungseinheit zur Erzeugung der Bildrepräsentationen (REP) der Fingerpositionen (P) der das Objekt (O) greifenden Roboterhand aus den von der Kamera erfassten Bildern (B) eingerichtet ist.
  11. Steuerungseinrichtung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit zur visuellen Darstellung der Greifkräfte (K) anhand von Farbcodierung in der zugehörigen Bildrepräsentation (REP) des Objektes (O) im Bereich der Objektoberfläche eingerichtet ist.
  12. Steuerungseinrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit ein neuronales Netzwerk (AI) hat und eingerichtet ist, um die Bildrepräsentationen (REP) als Eingangsdaten in das neuronale Netzwerk (AI) zu leiten und das neuronale Netzwerk (AI) mit den Bildrepräsentationen (REP) von mehreren Greifvorgängen von Objekten (O) anzulernen.
  13. Steuerungseinrichtung nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass die Steuerungseinrichtung zur automatisierten Berechnung von Steuersignalen für die Roboterhand (30) des Roboters anhand von Bildern (B) von zu greifenden Objekten (O) mithilfe des angelernten neuronalen Netzwerkes (AI) eingerichtet ist, wobei aus den Bildern (B) der zu greifenden Objekte (O) als Eingangsgröße für das angelernte neuronale Netzwerk (AI) Greifpositionen (P) und Greifkräfte (K) der Roboterhand (30) mit dem angelernten neuronalen Netzwerk (AI) berechnet werden.
  14. Roboterhand (30) eines Roboters mit einem Grundabschnitt (31) und mit Fingern (1), die drehgelenkig an dem Grundabschnitt (31) angeordnet sind, sowie mit in dem Grundabschnitt (31) angeordneten Antriebsmotoren (16a, 16b), wobei die Finger (1) jeweils ein erstes Fingerglied (3), das an einer Grundgelenkachse (4) schwenkbar an dem Grundabschnitt (31) angelenkt ist, und ein zweites Fingerglied (5) aufweisen, das an einer Mittelgelenkachse (6) schwenkbar an das erste Fingerglied (3) angelenkt ist, dadurch gekennzeichnet, dass das erste Fingerglied (3) und das zweite Fingerglied (5) jeweils über einen Riemenantrieb mit einem zugeordneten Antriebsmotor (16a, 16b) verbunden sind.
  15. Roboterhand (30) nach Anspruch 14, dadurch gekennzeichnet, dass der Riemenantrieb Riemenscheiben hat, die drehbar jeweils um eine der Grundgelenkachse (4) oder Mittelgelenkachse (6) gelagert sind.
  16. Roboterhand (30) nach Anspruch 15, dadurch gekennzeichnet, dass die erste Riemenscheibe (10) um die Grundgelenkachse (4) drehbar gelagert und mit dem ersten Fingerglied (3) verbunden ist, wobei die erste Riemenscheibe (10) auf ihrem Außenumfang einen ersten Riemen (21) trägt, der mit einem Antriebsmotor (16a) direkt oder indirekt gekoppelt ist, und dass eine zweite Riemenscheibe (13) um die Mittelgelenkachse (6) drehbar gelagert und mit dem zweiten Fingerglied (5) verbunden ist, wobei die zweite Riemenscheibe (13) an ihrem Außenumfang einen zweiten Riemen (14) trägt, der direkt oder direkt mit einem zweiten Antriebsmotor (16b) gekoppelt ist.
  17. Roboterhand (30) nach Anspruch 16, dadurch gekennzeichnet, dass eine dritte Riemenscheibe (11, 12) um die Grundgelenkachse (4) drehbar gelagert ist, wobei der zweite Riemen (14) die zweite Riemenscheibe (13) und die dritte Riemenscheibe (11) umschlingt, und wobei die dritte Riemenscheibe (11, 12) einen dritten Riemen (23) trägt, der direkt oder indirekt mit dem zweiten Antriebsmotor (16b) verbunden ist.
  18. Roboterhand (30) nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass jeder Antriebsmotor (16a, 16b) jeweils eine Antriebswelle (9a, 9b) hat, auf der jeweils ein Antriebsriemen (17a, 17b) gelagert ist, wobei jeder Antriebsriemen (17a, 17b) jeweils eine im Grundabschnitt (31) angeordnete Riemenscheibe (18, 22) umschlingt, die drehbar um eine jeweilige Achse gelagert ist, auf der eine weitere Riemenscheibe (18, 22) angeordnet ist, wobei ein Riemen (17a, 17b; 19, 23; 14, 21) jeweils ein Paar von Riemenscheiben umschlingt.
  19. Roboterhand (30) nach einem Ansprüche 14 bis 18, dadurch gekennzeichnet, dass sich die Riemen (17a, 17b; 19, 23; 14, 21) aus der Richtung eines Antriebsmotors (16a, 16b) in die Richtung der freien Endes des zugeordneten Fingers (1) erstrecken.
  20. Roboterhand (30) nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass mindestens ein Finger (1) ein drittes Fingerglied (7) hat, das an einer Endgelenkachse (8) schwenkbar an dem zweiten Fingerglied (5) angeordnet und über eine Schubstange (15) mit dem zweiten Fingerglied (5) gekoppelt ist.
  21. Roboterhand (30) nach Anspruch 20, dadurch gekennzeichnet, dass die Schubstange (15) mit einem ersten Ende radial beabstandet von der Endgelenkachse (8) mit dem dritten Fingerglied (7) verbunden ist und mit einem zweiten Ende radial beabstandet von der Mittelgelenkachse (6) mit der zweiten Riemenscheibe (13) des zweiten Fingergliedes (5) verbunden ist.
  22. Tragbares Sensor- und Kraftrückführungselement (40), das zum Ankoppeln an der Hand (41) eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der Fingerposition (P) der Finger (43) der Hand (41) und Aktoren zur Erzeugung von rückgeführten Greifkräften (K), die beim Greifen eines Objektes (O) mit den Fingern (1) der Roboterhand (30) auf das Objekt (O) wirken, auf die Finger (43) der Hand (41) aufweist, dadurch gekennzeichnet, dass das tragbare Sensor- und Kraftrückführungselement (40) einen auf dem Handrücken der Hand (41) befestigbaren Grundkörper (42) mit Antriebsmotoren (56) hat, dass zur Kopplung mit einem Finger (41) jeweils ein Zugriemen (44) vorhanden ist, der zur Verbindung mit dem distalen Ende eines Fingers (41) ausgebildet ist, und dass ein Zugriemen (44) jeweils mit einem Antriebsmotor (56) als Sensor und Aktor gekoppelt ist.
  23. Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 22, dadurch gekennzeichnet, dass jeweils für einen Finger (43) ein schwenkbar am Grundkörper (42) gelagerter Steg (47) vorhanden ist, der mit einem zugehörigen Zugriemen (44) gekoppelt ist und sich in Richtung des Zugriemens (44) erstreckt, und dass ein Schwenkwinkelsensor zur Bestimmung des zugehörigen Steges (47) vorhanden ist.
  24. Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 23, dadurch gekennzeichnet, dass der Steg (47) einen davon abragenden Bügel (46) mit einem Quersteg hat, der Zugriemen (44) durch den Bügel (46) geführt ist und der Steg (47) durch Kraftwirkung des Zugriemens (44) auf den Quersteg verschwenkbar ist.
  25. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, dass für jeden Zugriemen (44) ein Spulenkörper (51) drehbar im Grundkörper (42) gelagert und der zugehörige Zugriemen (44) auf den Spulenkörper (51) aufgewickelt ist und der Spulenkörper (51) mit dem zugehörigen Antriebsmotor (56) gekoppelt ist.
  26. Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 25, dadurch gekennzeichnet, dass ein Antriebsriemen (44) eine Antriebswelle (55) des Antriebsmotors (56) und eine drehbar um die Drehachse (52) des Spulenkörpers (51) gelagerte und mit dem Spulenkörper (51) drehfest verbundene Riemenscheibe (53) umschlingt.
  27. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 22 bis 26, dadurch gekennzeichnet, dass der Zugriemen (44) an seinem distalen, vom Grundkörper (42) entfernt liegenden freien Ende einen Hohlkörper (45) hat, der zur Aufnahme einer Fingerkuppe ausgebildet ist.
  28. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 22 bis 27, dadurch gekennzeichnet, dass der Grundkörper (42) einen Riemen zur Befestigung des tragbaren Sensor- und Kraftrückführungselementes (40) an dem Handrücken oder Arm des Benutzers.
  29. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 22 bis 28, dadurch gekennzeichnet, dass das tragbare Sensor- und Kraftrückführungselement (40) zur Ermittlung der Drehwinkel der Antriebswelle (55) des Antriebsmotors (56) und zur Bestimmung der Auslenkung der Zugriemen (44) in Abhängigkeit von dem ermittelten Drehwinkel des zugehörigen Antriebsmotors (56) und zur Erzeugung der auf die Finger (43) ausgeübten Greifkräfte (K) durch den zugehörigen Zugriemen (44) ausgebildet ist.
  30. Computerprogramm umfassend Befehle, die bei der Ausführung des Verfahrens durch einen Computer bewirken, dass der Computer das Verfahren nach einem der Ansprüche 1 bis 7 ausführt.
DE102021121743.1A 2021-08-23 2021-08-23 Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu Pending DE102021121743A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021121743.1A DE102021121743A1 (de) 2021-08-23 2021-08-23 Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu
PCT/EP2022/073091 WO2023025658A2 (de) 2021-08-23 2022-08-18 Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021121743.1A DE102021121743A1 (de) 2021-08-23 2021-08-23 Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu

Publications (1)

Publication Number Publication Date
DE102021121743A1 true DE102021121743A1 (de) 2023-02-23

Family

ID=83271622

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021121743.1A Pending DE102021121743A1 (de) 2021-08-23 2021-08-23 Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu

Country Status (2)

Country Link
DE (1) DE102021121743A1 (de)
WO (1) WO2023025658A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116442240B (zh) * 2023-05-26 2023-11-14 中山大学 一种基于高通滤波解耦的机器人零力控制方法及装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60112830T2 (de) 2000-04-04 2006-06-14 Honda Motor Co Ltd Roboterhand mit mehreren Fingern
EP1974872B1 (de) 2005-12-13 2010-01-20 Honda Motor Co., Ltd Handvorrichtung
US20140007730A1 (en) 2011-03-21 2014-01-09 Re2, Inc. Robotic hand with conformal finger
DE112013006008T5 (de) 2012-12-14 2015-10-01 Spansion Llc Prozessladungsschutz für Ladungseinfangspeicher mit Split-Gate
DE102014108287A1 (de) 2014-05-23 2015-11-26 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE112013006908T5 (de) 2013-04-04 2015-12-17 Thk Co., Ltd. Gelenkmechanismus, Finger und Hand
WO2016107679A1 (de) 2014-12-30 2016-07-07 Philip Zeitler Haptik-vorrichtungen und -verfahren
DE112013005465B4 (de) 2012-11-14 2017-02-09 Thk Co., Ltd. Roboterhand
EP2653954B1 (de) 2010-12-17 2018-03-28 Gifu University Seitenflächenartige kraftmessungsschnittstelle
DE102017220936A1 (de) 2017-11-23 2019-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Handexoskelett sowie Roboterarm mit einem solchen Handexoskelett
WO2019133859A1 (en) 2017-12-29 2019-07-04 Haptx, Inc. Haptic feedback glove
DE102018112633A1 (de) 2018-05-25 2019-11-28 Schunk Gmbh & Co. Kg Spann- Und Greiftechnik Fingereinheit für eine Roboterhand und Roboterhand
US10534433B1 (en) 2018-08-24 2020-01-14 Facebook Technologies, Llc Wearable haptic devices with jamming assemblies for haptic jamming
US10551927B2 (en) 2016-06-14 2020-02-04 Unist (Ulsan National Institute Of Science And Technology) Force reflecting system
DE102017005765B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
DE102017005762B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
DE112018002565T5 (de) 2017-08-10 2020-03-12 Robert Bosch Gmbh System und Verfahren zum direkten Anlernen eines Roboters
US10671169B2 (en) 2018-06-25 2020-06-02 Korea Institute Of Science And Technology Tactile feedback generating apparatus and system for virtual object manipulation
DE102020127508A1 (de) 2019-10-24 2021-04-29 Nvidia Corporation Posenverfolgung von objekten in der hand

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005349490A (ja) * 2004-06-08 2005-12-22 Sharp Corp 多自由度多指ハンド
CN102729255A (zh) * 2012-06-19 2012-10-17 西北农林科技大学 一种果实采摘机器人灵巧手手指结构
US9669551B1 (en) * 2013-04-30 2017-06-06 Sandia Corporation Robotic hand and fingers
US20170165567A1 (en) * 2015-12-10 2017-06-15 Palm Laboratories Inc. Haptic mechanism for virtual reality and augmented reality interfaces
WO2018184032A1 (en) * 2017-03-31 2018-10-04 VRgluv LLC Haptic interface devices
CN112809679B (zh) * 2021-01-25 2023-04-07 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60112830T2 (de) 2000-04-04 2006-06-14 Honda Motor Co Ltd Roboterhand mit mehreren Fingern
EP1974872B1 (de) 2005-12-13 2010-01-20 Honda Motor Co., Ltd Handvorrichtung
EP2653954B1 (de) 2010-12-17 2018-03-28 Gifu University Seitenflächenartige kraftmessungsschnittstelle
US20140007730A1 (en) 2011-03-21 2014-01-09 Re2, Inc. Robotic hand with conformal finger
DE112013005465B4 (de) 2012-11-14 2017-02-09 Thk Co., Ltd. Roboterhand
DE112013006008T5 (de) 2012-12-14 2015-10-01 Spansion Llc Prozessladungsschutz für Ladungseinfangspeicher mit Split-Gate
DE112013006908T5 (de) 2013-04-04 2015-12-17 Thk Co., Ltd. Gelenkmechanismus, Finger und Hand
DE102014108287A1 (de) 2014-05-23 2015-11-26 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
WO2016107679A1 (de) 2014-12-30 2016-07-07 Philip Zeitler Haptik-vorrichtungen und -verfahren
US10551927B2 (en) 2016-06-14 2020-02-04 Unist (Ulsan National Institute Of Science And Technology) Force reflecting system
DE102017005765B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
DE102017005762B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
DE112018002565T5 (de) 2017-08-10 2020-03-12 Robert Bosch Gmbh System und Verfahren zum direkten Anlernen eines Roboters
DE102017220936A1 (de) 2017-11-23 2019-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Handexoskelett sowie Roboterarm mit einem solchen Handexoskelett
WO2019133859A1 (en) 2017-12-29 2019-07-04 Haptx, Inc. Haptic feedback glove
DE102018112633A1 (de) 2018-05-25 2019-11-28 Schunk Gmbh & Co. Kg Spann- Und Greiftechnik Fingereinheit für eine Roboterhand und Roboterhand
US10671169B2 (en) 2018-06-25 2020-06-02 Korea Institute Of Science And Technology Tactile feedback generating apparatus and system for virtual object manipulation
US10534433B1 (en) 2018-08-24 2020-01-14 Facebook Technologies, Llc Wearable haptic devices with jamming assemblies for haptic jamming
DE102020127508A1 (de) 2019-10-24 2021-04-29 Nvidia Corporation Posenverfolgung von objekten in der hand

Also Published As

Publication number Publication date
WO2023025658A2 (de) 2023-03-02
WO2023025658A3 (de) 2023-05-19

Similar Documents

Publication Publication Date Title
DE102010045532B4 (de) Roboterdaumenanodnung
DE102010018746B4 (de) Momentensteuerung von unteraktuierten sehnengetriebenen Roboterfingern
DE102010045525B4 (de) Handgelenk eines geschickten humanoiden Roboters
DE102018222312A1 (de) Greifhand
EP0097191B1 (de) Montageroboter
DE102015106003B4 (de) Roboterunterarmanordnung mit mehreren sehnengetriebenen Fingern
DE60023142T2 (de) Beweglicher finger für eine prothese und finger für eine prothese der oberen extremität
DE112013005465B4 (de) Roboterhand
DE102014222809B3 (de) Event-basierte Redundanzwinkelkonfiguartion für Gelenkarmroboter
DE4340707C2 (de) Manipulator
DE102008062622B9 (de) Verfahren und Vorrichtung zur Befehlseingabe in eine Steuerung eines Manipulators
DE102010045531A1 (de) Serielles elastisches Drehstellglied
EP0613762A1 (de) Chirurgischer Manipulator
DE102011117094B4 (de) Robuster betrieb von sehnengetriebenen roboterfingern unter verwendung von kraft- und positionsbasierten steuergesetzen
DE19854762C2 (de) Künstliche Hand
DE102015216550A1 (de) Robotergreifer
DE102010045343A1 (de) Sehnengetriebenes Fingerbetätigungssystem
EP3402634B1 (de) Greifer mit einer kraftmessvorrichtung
DE60121571T2 (de) Steuerarm mit paralleler struktur
DE8434357U1 (de) Greiferhand bei einem manipulator
DE102020207037B4 (de) Greifer
WO2023025658A2 (de) Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu
DE102018216692B3 (de) Roboter-Handführgerät
DE309367C (de)
WO2001038047A2 (de) Greif- oder betätigungsarm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE