DE102016108966A1

DE102016108966A1 - Visuell-haptischer Sensor für 6D-Kraft/Drehmoment

Info

Publication number: DE102016108966A1
Application number: DE102016108966.4A
Authority: DE
Inventors: Nicolas Alt; Eckehard Steinbach; Martin Freundl
Original assignee: Technische Universitaet Muenchen
Current assignee: Technische Universitaet Muenchen
Priority date: 2016-05-13
Filing date: 2016-05-13
Publication date: 2017-11-16
Anticipated expiration: 2036-05-14
Also published as: DE102016108966B4; US20190376860A1; US20170328795A1; US10393603B2

Abstract

Die vorliegende Erfindung präsentiert einen visuell-haptischen Sensor, der auf einem passiven, verformbaren Element basiert, dessen Verformung von einer Kamera beobachtet wird. Insbesondere betrifft die vorliegende Erfindung einen verbesserten vereinfachten Sensor, der die Kraft/das Drehmoment bestimmen kann, die/das an einen Punkt des Sensors in mehreren räumlichen Dimensionen angelegt wird.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung präsentiert einen visuell-haptischen Sensor, der auf einem passiven, verformbaren Element basiert, dessen Verformung von einer Kamera beobachtet wird. Insbesondere betrifft die vorliegende Erfindung einen verbesserten vereinfachten Sensor, der die Kraft/das Drehmoment bestimmen kann, die/das an einen Punkt des Sensors in mehreren räumlichen Dimensionen angelegt wird.
STAND DER TECHNIK
Die folgenden Dokumente sind für den technischen Stand der Technik der vorliegenden Erfindung relevant und werden in der folgenden Patentschrift anhand ihrer jeweiligen Referenznummern genannt.

[1] N. Alt und E. Steinbach. Navigation and manipulation planning using a visuo-haptic sensor on a mobile platform. IEEE Transactions on Instrumentation and Measurement, 63(11), 2014. (Früher Zugang Mak 2014).
[2] R. Bischoff, J. Kurth, G. Schreiber, R. Koeppe, A. Albu-Schaeffer, A. Beyer, O. Eiberger, S. Haddadin, A. Stemmer, G. Grunwald uand G. Hirzinger. The KUKA-DLR lightweight robot arm – a new reference platform for robotics research and manufacturing. In Robotics (ISR), International Symposium on and German Conference on Robotics (ROBOTIK), München, Deutschland, Juni 2010. VDE.
[3] D. Goger, N. Gorges und H. Worn. Tactile sensing for an anthropomorphic robotic hand: Hardware and signal processing. In IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, Mai 2009.
[4] D. Gross, W. Hauger, J. Schröder und W. A. Wall. Technische Mechanik 2. Springer-Lehrbuch. Springer Berlin Heidelberg, Berlin, Heidelberg, 2014.
[5] K. Kamiyama, K. Vlack, T. Mizota, H. Kajimoto, N. Kawakami und S. Tachi. IEEE Computer Graphics and Applications, 25(1): 68–75, 2005.
[6] M. Kaneko, N. Nanayama und T. Tsuji. Vision-based active sensor using a flexible beam. IEEE/ASME Transactions on Mechatronics, 6(1): 7–16, März 2001.
[7] H. Kato und M. Billinghurst. Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In IEEE and ACM International Workshop on Augmented Reality, San Francisco, CA, USA, 1999.
[8] K. Khoshelham und S. O. Elberink. Accuracy and resolution of kinect depth data for indoor mapping applications. Sensors, 12(2): 1437–1454, 2012.
[9] A. Kimoto und Y. Matsue. A new multifunctional tactile sensor for detection of material hardness. IEEE Transactions on Instrumentation and Measurement, 60(4): 1334–1339, 2011.
[10] E. Knoop und J. Rossiter. Dual-mode compliant optical tactile sensor. In IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, Deutschland, Mai 2013.
[11] D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2): 91–110, 2004.
[12] E. Malis. Improving vision-based control using efficient second-order minimization techniques. In IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, Mai 2004.
[13] P. Mittendorfer, E. Dean, and G. Cheng. 3D-spatial self-organization of a modular artificial skin. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Chicago, USA, Sept. 2014.
[14] OptoForce. Optical Force Sensors – Introduction To The Technology White Paper, Jan 2015.
[15] S. Tsuji, A. Kimoto und E. Takahashi. A multifunction tactile and proximity sensing method by optical and electrical simultaneous measurement. IEEE Transactions on Instrumentation and Measurement, 61(12): 3312–3317, 2012.
[16] H. Yousef, M. Boukallel und K. Althoefer. Tactile sensing for dexterous in-hand manipulation in robotics-a review. Sensors and Actuators A: Physical, 167(2): 171–187, Juni 2011.
[17] J.-i. Yuji und K. Shida. A new multifunctional tactile sensing technique by selective data processing. IEEE Transactions on Instrumentation and Measurement, 49(5): 1091–1094, 2000.

Sensoren für autonome Roboter
Autonome Roboter beruhen auf einer Vielfalt unterschiedlicher Sensorsysteme, um eine reichhaltige, multimodale Darstellung der Umgebung zu erhalten. Kraft-/Drehmomentsensoren messen zum Beispiel alle Freiheitsgrade (3D-Kraft und 3D-Drehmoment) an einem Punkt unter Verwenden von mindestens 6 eingebauten einzelnen Kraftsensoren. Diese im Handel erhältlichen Sensoren sind ein Standardbauteil der industriellen Robotertechnik und werden als integrierte Module mit standardisierten mechanischen Einbauten angeboten. Gewöhnlich werden sie zwischen einem Roboterarm und einem Werkzeug (dem Endeffektor) installiert, um die Berührungskräfte zwischen einem Werkzeug und der Umgebung während der Greif-, Handhabungsaufgaben, wie zum Beispiel Montieren oder Platzieren von Objekten, sowie Schwerkraft- und Beschleunigungskräfte während des Bewegens von Objekten zu messen. Für gelenkige Handhabungsaufgaben, wie zum Beispiel das Öffnen einer Schublade oder das Drehen einer Schraube, werden Belastungen, die von dem Objekt auferlegt werden von den Ablesungen solcher Sensoren abgezogen, um die Kraft und Bewegung des Roboterarms entsprechend zu steuern. Während des Lehrens folgt ein Roboterarm den Bewegungen eines Menschen durch Ablesen der Kraft, die dem Endeffektor auferlegt wird.
Berührungssensoren messen Oberflächenkräfte, Berührungen oder Schwingung und werden in vielen Teilen eines Roboters verwendet. Sie können so einfach sein wie ein Schalter, um Berührung mit einem Gegenstand zu erfassen, oder einen einzelnen Kraftwert an einer einzelnen Berührungsstelle zu messen.
Komplexere Systeme bestehen aus einer dichten Anordnung kleiner Kraftsensoren, einer menschlichen Fingerspitze sehr ähnlich. Die „taktilen Bilder”, die von solchen Sensoren bereitgestellt werden, werden für komplexe Greifaufgaben oder taktile Objekterfassung bereitgestellt. Es kann sogar gewünscht werden, Berührung auf der gesamten Fläche eines Roboters zu messen, um natürliche Wechselwirkung zwischen Menschen zu erlauben, oder in Umgebungen, in welchen Objekte mit der Roboterfläche an irgendeinem Punkt zusammenstoßen können. Berührungssensoren gehören zu den kinästhetischen oder taktilen Wahrnehmungssystemen, die von dem Ausmaß und der Häufigkeit der gemessenen Kräfte abhängen. Berührungssensoren werden oft an Endteile des Roboters, wie zum Beispiel die Finger, Füße oder die Basis montiert.
Sensoren werden auch umfassend innerhalb des Roboters verwendet, um seinen Zustand zu bestimmen. In einem Roboterarm hat jedes Gelenk seine eigenen Geschwindigkeits- und (Absolut-)Positionscodierer. Hohe Anforderungen an Präzision werden an diese letztere Codierer gestellt, da sie zum Berechnen der Armstellung unter Verwenden von Vorwärtskinematik wesentlich sind. Gelenke sind oft auch mit Drehmomentsensoren zum Steuern und aus Sicherheitsgründen ausgestattet. In einigen Fällen können sie einen dedizierten Kraftsensor an dem Endeffektor ersetzen, wie auf dem Kuka LWR-Arm [2] umgesetzt. Ähnliche Sensoren findet man in anderen Aktuatoren.
Moderne Roboter sind auch mit mehreren aktiven und passiven visuellen Sensoren, wie zum Beispiel Kameras, ausgestattet. Kameras in dem visuellen Spektrum sind der grundlegende Sensor für die meisten Computersichtalgorithmen, wie zum Beispiel Objekterfassung, visuelle Suche oder Stellungsschätzung. Tiefendaten können unter Verwenden von Stereoeinrichtungen oder aktiver Sensoren erfasst werden, wie zum Beispiel der Kinect oder Xtion, siehe zum Beispiel [8]. Das Aufkommen des letzteren, kostengünstigen Sensors hat die Forschung zu Tiefendaten und Punktwolkenverarbeitung beschleunigt. Die meisten Sichtalgorithmen können auch an Bilder angewandt werden, die in dem Nah-Infrarotbereich erfasst werden, was einige interessante Möglichkeiten bietet, wie zum Beispiel aktive Beleuchtung, die für Menschen unsichtbar ist.
Haptische und taktile Sensoren
Haptische Wahrnehmung hängt in der Hauptsache von Kraftsensoren ab, die in vielen Varianten erhältlich sind. Die meisten Kraftsensoren messen entweder einen Kraft-(oder Kraft/Drehmoment-)-Vektor an einem einzigen Punkt, oder eine verteilte Kraft über eine Fläche. Der letztere Typ ist ein laminarer Sensor, der einen (gewöhnlich skalaren) Kraftwert über einer 2D-Fläche misst, der oft ein „taktiles Bild” genannt wird. Ein Überblick über taktile Sensoren ist in [16] gegeben. Der Fingerspitzensensor, der in [3] vorgeschlagen wird, basiert auf einem piezoelektrischen Material und liefert ein taktiles 4 × 7-Bild. Die Autoren verwenden diesen Sensor auf einer Humanoid-Menschenhand und schlagen Verfahren zur Schlupferfassung sowie Berührungsformklassifikation vor. Ähnliche Vorrichtungen sind jetzt im Handel erhältlich. Ein Sensormodul, das konzipiert ist, um größere Flächen zu decken, was es Menschen erlaubt, physisch mit dem „Körper” eines Roboters zu interagieren, ist in [13] präsentiert. Es stellt multimodales Erfassen von Temperatur, Nähe, Normalkraft und Beschleunigung bereit.
Der Berührungssensor wird ein verteiltes flächenhaftes Sensorsystem, das einer menschlichen Haut sehr ähnlich ist. Jedes Modul ist ziemlich komplex, da es sein eigenes Signalverarbeitungssystem hat und mit seinen Nachbarn verbunden ist, was ein „Peer-to-Peer”-Kommunikationsnetzwerk aufbaut.
Kraftsensoren, die Berührungskraftprofile oder Schwingungen messen, sind als taktile Sensoren eingestuft. Andererseits sind Greif- und Handhabungskräfte sowie Kräfte, die in Armgelenken gemessen werden, kinästhetische Daten. Sogar für einen einzelnen Sensor ist die Unterscheidung manchmal nicht klar, weshalb wir den generischen Begriff „haptischer Sensor” verwenden. Kraftsensoren wurden basierend auf unterschiedlichen Grundsätzen vorgeschlagen, wie zum Beispiel optisches Ablesen, druckempfindliche Widerstände oder piezoelektrische Transducer [9], [15], [17].
Ein gewöhnlich verwendetes Konzept für Kraftsensoren ist die optische Mitverfolgung von Verlagerungen in einem elastischen Material. In [10] wird ein Sensor vorgeschlagen, der als eine Fingerspitze für eine Roboterhand bestimmt ist. Er besteht aus einem undurchsichtigen, kuppelförmigen elastischen Material, an das Kräfte von außen her angelegt werden. Punkte wurden auf der Innenoberfläche dieser Kuppel gezeichnet. Diese Punkte werden als visuelle Merkmale verwendet und durch eine spezialisierte Kamera beobachtet, die 18×18 Pixel mit bis zu 1500 Hz bereitstellt.
Die Kamera befindet sich innerhalb des Sensors, gemeinsam mit einer Lichtquelle. Es wird angenommen, dass nur Frontalkräfte angelegt werden, aber der Aufbau wäre auch in der Lage, Scherkräfte zu messen. Die Autoren messen die Spannungs-/Dehnungsbeziehung für die kuppelförmige Struktur und passen ein Modell an. Ein Algorithmus wird zum Erfassen mit niedriger Latenz eines Berührungsereignisses mit einem Mikrocontroller präsentiert. Er verwendet einen Klassifikationsbaum basierend auf Bildstatistiken. Ein zweiter Algorithmus wird präsentiert, der eine Kraftschätzung basierend auf einem optischen Fluss berechnet, der mit einer viel niedrigeren Rahmenrate von etwa 5 Hz arbeitet. Seit 2014 ist ein ähnlicher Sensor im Handel von Optoforce [14] erhältlich. Durch Verwenden einer Kombination von vier solchen Sensoren, wird auch ein 6D-Kraft-/Drehmomentsensor angeboten.
In [5] wird der „GelForce”-Sensor präsentiert und für Anwendungen in Robotertechnik und Mensch-Maschinen-Schnittstellen vorgeführt. Dieser Sensor kann zuerst als ein weicher Fingerspitzensensor für Roboter verwendet werden.
Zweitens schlagen die Autoren vor, ihn als eine natürliche haptische Eingabevorrichtung zu verwenden: Ein Benutzer legt 3D-Kräfte über eine 2D-Fläche an, wie zum Beispiel komplexe Greifmuster, was dann für virtuelle Realität und Unterstellungsanwendungen verwendet werden kann. Die Fähigkeit, ein Traktionsfeld bereitzustellen, das heißt eine multidimensionale Kraftablesung über eine Fläche, ist ein spezielles Merkmal dieses Sensors im Vergleich zu den meisten anderen Systemen.
Der Sensor besteht aus einem massiven Block aus durchsichtigem Silikongummi mit farbigen Kennzeichnungen (kleine Kugeln), die nahe der „empfindlichen” Fläche eingebettet sind. Von der anderen Seite blickt eine Kamera mit VGA-Auflösung in diesen durchsichtigen Block und verfolgt die Kennzeichnungen an ihrem Massenschwerpunkt mit. Der Tracker stellt ein 2D-Verlagerungsfeld des Materials nahe der Oberfläche bereit. Um 3D-Verlagerungsdaten zu erhalten, haben die Autoren die Kennzeichnungen in unterschiedlichen Farben an zwei unterschiedliche Tiefenniveaus, zum Beispiel 3 und 8 mm von der Oberfläche, gegeben.
Sie nutzen die Tatsache, dass die Verlagerungsmenge mit der zunehmenden Entfernung von der Oberfläche geringer wird. Auf diese Art ist eine direkte Tiefenmessung, die komplexere Sensoren erfordern würde, nicht erforderlich. Das Traktionsfeld wird von Verlagerungen basierend auf Elastizitätstheorie berechnet.
Für beide Sensoren sind die Kamera, Beleuchtung, Verarbeitungseinheit und das elastische Material fester Bestandteil der Vorrichtung. Ein Beispiel einer solchen Vorrichtung des Stands der Technik ist in 1a gezeigt. Als ein Systembauteil sind diese Vorrichtungen rein haptische Sensoren. Die integrierte Kamera beobachtet nur das elastische Material selbst. Im Gegensatz dazu profitiert der visuell-haptische Sensor der vorliegenden Erfindung von einer Trennung der passiven mechanischen und aktiven Bauteile des Sensors. Da die Kamera „außerhalb” des elastischen Materials liegt, stellt sie kohärente, multimodale Messungen sowohl von dem empfindlichen Bauteil als auch der Umgebung bereit.
In [6], wird ein Sensor, der „sichtbasierte aktive Antenne” getauft wurde, vorgeschlagen. Er basiert auf einer Kamera, die auf einen biegsamen Balken zeigt, an den eine Kraft angelegt wird. Dieses Konzept legt einige Ähnlichkeiten mit dem auf Balken basierenden Sensor, der in der vorliegenden Erfindung präsentiert wird, dar. Die Autoren von [7] verfolgen den abgelenkten Balken in dem Bild durch Suchen der hellsten Punkte entlang von Pixelspalten mit. Obwohl dieser Ansatz umfassende Präzision und Robustheit gegenüber Okklusionen bereitstellt, ist er auf 2D-Kraftmessungen in strukturierten Umgebungen beschränkt. Die Autoren argumentieren, dass der Sensor sowohl während einer Erfassung als auch während einer Annäherungsphase verwendet werden kann. Da der Balken jedoch nur vor einem schwarzen oder einfarbigen Hintergrund erfasst wird, können die zwei Modi nicht gleichzeitig ausgeführt werden.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Gerät bereitgestellt, das einen taktilen Sensor umfasst, der mindestens ein passives elastisch verformbares Element umfasst, das in mehreren Dimensionen verformbar ist. Mindestens eine Kamera außerhalb des taktilen Sensors und die betreibbar ist, um Bilder des elastisch verformbaren Elements aufzunehmen, wird bereitgestellt. Ferner wird auch ein Prozessor bereitgestellt, wobei der Prozessor betrieben werden kann, um eine Stellungsänderung des elastisch verformbaren Elements zu bestimmen, und eine Messung der Kraft und des Drehmoments zu bestimmen, die auf das elastisch verformbare Element angelegt wird, basierend auf den erfassten Bildern und der bestimmten Stellungsänderung, wobei die Messung mindestens drei Komponenten aufweist, die Kräfte und/oder Drehmomente umfassen. Aufgrund dieser Merkmale ermöglicht die vorliegende Erfindung das Messen einer Kraft-/Drehmomentablesung an einer einzelnen Stelle in mehreren räumlichen Dimensionen, das heißt in mehr als zwei Dimensionen, allein unter Verwendung passiver Elemente. Im weiteren Unterschied zu dem Stand der Technik, vermeidet die vorliegende Erfindung den Bedarf an komplexen integrierten Schaltkreisen, die in den taktilen Sensor einzubauen sind.
Gemäß einer Ausführungsform umfasst die Messung einen 6-achsigen Kraft-/Drehmomentvektor, der Kräfte entlang allen drei räumlichen Dimensionen und Drehmomente entlang allen drei räumlichen Dimensionen umfasst. Die vorliegende Erfindung ermöglicht es vorteilhafterweise, eine volle 6D-Kraft-/Drehmomentmessung zu bestimmen, indem die passiven Elemente verwendet werden, wodurch ein hohes Niveau an Präzision aufgrund des Verwirklichens einer Messung, die die maximale Anzahl von Dimensionen sowohl für Kraft als auch für Drehmoment aufweist, bereitgestellt wird.
Gemäß einer weiteren Ausführungsform umfasst der taktile Sensor ferner ein starres Basiselement und ein starres Vorderseitenelement, das über das elastisch verformbare Element gekoppelt ist. Zusätzlich kann der Prozessor gemäß dieser Ausführungsform ferner betrieben werden, um die Stellungsänderung des starren Vorderseitenelements in Bezug zu dem Basiselement zu bestimmen.
Gemäß einer Ausführungsform, ist ein Balken und/oder ein Werkzeug an das Vorderseitenelement montiert. Um die mehrfache räumliche Kraftmessung zu bestimmen, führen Kräfte und Drehmomente, die an F entlang oder um Achsen Y, Z angelegt werden, zu einer Abweichung des Balkens, wie in 2 gezeigt.
Gemäß einer unterschiedlichen Ausführungsform umfassen das starre Basiselement und das starre Vorderseitenelement planare Strukturen. Durch Bereitstellen planarer Strukturen, kann ein größerer Flächenbereich (als ein Balken) geschaffen werden, was die Bestimmung minimaler Stellungsänderungen des Elements, das aufgenommen wird, erleichtert. Auf diese Art wird die Krafterfassungsempfindlichkeit des Geräts erhöht. Bei einer bevorzugten beispielhaften Ausführungsform, die unten beschrieben ist, sind die planaren Strukturen Scheiben, der Fachmann weiß jedoch zu schätzen, dass viele andere Formen planarer Strukturen, wie zum Beispiel H- oder T-Formen geeignet wären. In einigen Fällen kann das starre Vorderseitenelement eine kleinere Fläche im Vergleich zu dem starren Basiselement haben. Das stellt einen praktisches Mittel zum Ausdrücken der Stellung des starren Vorderseitenelements innerhalb des Koordinatenrahmens des starren Basiselements bereit.
Bei einer Ausführungsform des ersten Aspekts, wird die Stellungsänderung durch Beobachten von mindestens zwei Punkten auf dem taktilen Sensor bestimmt. Das ist möglich, wenn eine Tiefe und ein Tiefengradient von einer Tiefenkamera als die Kamera, die den taktilen Sensor beobachtet, verwendet wird. Gemäß dieser Ausführungsform wird eine einfachere Technik als das Mitverfolgen von Vorlagen oder Mustern zum Bestimmen von Kraft bereitgestellt. Ein Vorteil dieser Ausführungsform ist, dass weniger Datenverarbeitung erforderlich ist, wodurch eine minimale Auswirkung auf wertvolle Verarbeitungsressourcen erfolgt, die für andere Teile eines Systems, in das das Gerät der vorliegenden Erfindung integriert sein kann, erforderlich sind.
Bei einer weiteren Ausführungsform wird die Stellungsänderung durch Beobachten von drei oder mehr Punkten auf dem taktilen Sensor bestimmt. Das ist möglich, wenn eine normale Kamera verwendet wird, um den taktilen Sensor zu beobachten. Die erhöhte Anzahl von Beobachtungspunkten führt zu erhöhter Präzision der Kraft-/Drehmomentmessung.
Bei noch einer anderen Ausführungsform wird die Stellungsänderung durch einen visuellen Tracker bestimmt. Visuelle Mitverfolgung erlaubt hochpräzise Stellungsschätzung im Vergleich zu vielen anderen bekannten Verfahren, die Resultate mit einem solchen Niveau an Ungenauigkeit bereitstellen, dass sie nicht machbar sind.
Bei einer anderen bevorzugten Ausführungsform ist der taktile Sensor mechanisch an einem bewegbaren Roboterelement befestigt, und das bewegbare Roboterelement befindet sich in dem Sichtfeld der Kamera. Das stellt vorteilhafterweise einen effizienteren Gebrauch von Ressourcen bereit, weil die Kamera auch für andere Anwendungen verwendet werden kann, zum Beispiel zum Mitverfolgen von Bewegung eines Roboterarms, an dem der Sensor befestigt ist.
Bei einer weiteren bevorzugten Ausführungsform ist der taktile Sensor innerhalb der Struktur eines Roboterarms, Manipulators oder einer kinematischen Kette montiert. Aufgrund des Verwendens passiver Elemente, erleichtert die vorliegende Erfindung die Integration in die Struktur, da sie kein zusätzliches getrenntes Elektroniksystem schafft, das anderswie unerwünscht mit den getrennten elektronischen Systemen zum Beispiel des Roboterarms interferieren könnte.
Bei einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren bereitgestellt, wobei das Verfahren die Schritte des Bereitstellens eines taktilen Sensors umfasst, der mindestens ein passives elastisch verformbares Element (D) umfasst; des Erfassens von Bildern der Elemente des taktilen Sensors mit mindestens einer Kamera; des Bestimmens einer Stellungsänderung des passiven elastisch verformbaren Elements und des Bestimmens einer Messung der Kraft und des Drehmoments, die an das passive elastisch verformbare Element basierend auf den erfassten Bildern und der bestimmten Stellungsänderung angelegt werden, wobei die Messung mindestens drei Komponenten aufweist, die Kräfte und/oder Drehmomente umfassen.
Gemäß einer bevorzugten Ausführungsform des zweiten Aspekts, umfasst die Messung einen 6-achsigen Kraft-/Drehmomentvektor, der Kräfte entlang allen drei räumlichen Dimensionen und Drehmomente entlang allen drei räumlichen Dimensionen umfasst.
Gemäß weiteren Ausführungsformen des zweiten Aspekts, umfasst das Verfahren ferner einen Schritt des Bestimmens einer Stellungsänderung des elastisch verformbaren Elements durch: Beobachten von mindestens zwei Punkten auf dem taktilen Sensor und/oder Beobachten von drei oder mehr Punkten auf dem taktilen Sensor und/oder visuelles Mitverfolgen des taktilen Sensors.
Gemäß einer bevorzugten beispielhaften Umsetzung der vorliegenden Erfindung, wird ein visuell-haptischer Sensor präsentiert, der Standardkameras verwendet, um haptische Daten, das heißt Kraft und Drehmoment, während Handhabungsvorgängen zu erhalten. Die Kamera misst ein verformbares Element, das zwischen einen Roboteraktuator (wie zum Beispiel einen Roboterarm) und ein Werkzeug, wie zum Beispiel einen Greifer, einen Schraubendreher oder eine Sensorspitze montiert ist. Die Verformung dieses Elements wird in eine multidimensionale Kraft-/Drehmomentablesung basierend auf ihrem bekannten Verformungsmodell umgewandelt. Idealerweise wird ein(e) 6D-Kraft/Drehmoment, die/das an das Werkzeug angelegt wird, aus der Verformung bestimmt, die aus dem Kamerabild berechnet wird. Gemäß diesem Beispiel kann die vorliegende Erfindung mit verformbaren Elementen umgesetzt werden, die aus Plastik oder Gummi hergestellt sind, sowie mit einer balkenähnlichen Struktur. Der Fachmann weiß jedoch zu schätzen, dass die Euler-Bernoulli-Balkentheorie gleichermaßen auf komplexe Querschnitte anwendbar ist, wie zum Beispiel auf die, die eine H- oder T-Form umfassen. Visuelle Beobachtungen von dem Objekt, der Szene oder den Bauteilen des Roboters können mit derselben Kamera erfasst werden, und sind daher natürlich mit haptischen Daten kohärent. Das ist ein wichtiger Vorteil im Vergleich zu existierenden haptischen Sensoren mit optischer Lesung, die einen optischen Sensor innerhalb einer verformbaren Struktur heranziehen. Dedizierte Sensorsysteme können durch eine kostengünstige Kamera ersetzt werden, die bereits für andere Aufgaben erforderlich sein kann, was die Kosten und Komplexheit des Systems verringert. Integration visueller Daten ist wichtig, um die Reaktion eines Objekts während der Handhabung zu beobachten, und auch, um den Zustand des Manipulators selbst zu prüfen. Die Präzision des Sensors erweist sich als im Vergleich zu einem industriellen Kraftsensor gut. Gemäß bevorzugten Umsetzungen werden zwei Hauptausführungsformen hergestellt. Die erste verwendet Vorlagen, um die Verformung eines metallischen Balkens zu beobachten, während die zweite zwei Scheiben beobachtet, die durch ein oder mehrere verformbare Elemente verbunden sind. Dieses Design erlaubt kostengünstige Kraft-/Drehmomentsensoren, die naturgemäß mit der visuellen Modalität, wie oben erwähnt, kohärent sind.
Vorteile der vorliegenden Erfindung
Im Vergleich zu existierenden taktilen/haptischen Sensoren, bietet die vorliegende Erfindung eine Anzahl von Vorteilen:

– Kohärente visuelle und haptisch/taktile Messungen: Der vorgeschlagene Sensor extrahiert haptische Informationen aus dem Kamerabild. Visuelle und haptische Messungen sind daher naturgemäß kohärent, das heißt, dass sie abgetastet und an demselben Zeitpunkt verfügbar gemacht werden.
– Glatter Übergang zwischen haptischen und visuellen Daten: Da beide Modalitäten von denselben Daten (das heißt dem Bild) hergeleitet sind, kann eine Zwischendarstellung erhalten werden. Bei separaten Sensorsystemen können ihre Datendarstellungen nicht einfach umgewandelt werden. Ein harter Schalter kann zwischen ihnen erforderlich sein.
– Minderung von Nachteilen einer einzelnen Modalität: Aus denselben Gründen wie oben besprochen, können fehlende Daten einer Modalität durch die andere ersetzt werden. Falls die Stellung eines durchsichtigen Objekts zum Beispiel nicht exakt basierend auf visuellen Verfahren bestimmt werden kann, ist eine Verfeinerung basierend auf haptischen Informationen möglich.
– Natürliche Nachgiebigkeit, das heißt verformbare Elemente, resultieren in „Weichheit” der Endeffektoren. Nachgiebigkeit ist ein wichtiges Sicherheitsmerkmal für Roboter, die gemeinsam mit Menschen arbeiten.
– Verringerte Anstrengung für Kalibrierung: Gegenseitige Kalibrierung unterschiedlicher Sensoren ist eine mühsame Aufgabe. Mit der vorliegenden Erfindung reicht die Kalibrierung von Kameras aus.
– Verringerte Systemkomplexheit: Dedizierte Sensormodule haben ihre eigenen Verarbeitungseinheiten, ihre eigene Firmware und erfordern Schnittstellenbildung mit einer Zentraleinheit. Das resultiert in einem signifikanten Aufwand während der Produktion, Wartung und Kalibrierung, da Sensoreinheiten ganz rund um einen Roboter montiert werden müssen. Unser System hat nur eine Zentraleinheit und erfordert nur passive mechanische Bauteile rund um den Roboter.
– Zentralisierte Verarbeitung
– Verringerte Anstrengung beim Verkabeln/Networking: Die passiven verformbaren Elemente erfordern keine Verkabelung. Sie können daher einfach auf irgendeinem Teil des Roboters platziert werden.
– Sehr niedrige Kosten: Ein neues empfindliches Element ist völlig passiv und kann für weniger als 1 EUR hergestellt werden. Hierbei wird angenommen, dass ein Sichtsystem (Kamera, Sichtprozessor) bereits verfügbar ist, um das/die passive(n) Element(e) zu beobachten.

Irgendwelche Nachteile gemäß der vorliegenden Erfindung sind nur für Low-End-Systeme ohne irgendwelche Hochleistungs-Verarbeitungseinheit relevant, bei welchen die Hinzufügung von Kameras und zusätzlichen Computern nicht machbar wäre.
Die vorliegende Erfindung ist besonders für komplexe Roboter geeignet, die mehrere Sichtsensoren und Hochleistungs-Verarbeitungseinheiten heranziehen und daher von den oben erwähnten Vorteilen profitieren können.
Im Vergleich zu rein auf Sicht basierenden Sensoren, anerkennt die vorliegende Erfindung den Bedarf an haptischen Sensoren, die für alle Arten von Handhabungsaufgaben wesentlich sind, sogar wenn hochpräzise Sichtsensoren vorhanden sind. Das gilt sowohl für existierende haptische Sensorsysteme als auch für die vorliegende Erfindung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1a veranschaulicht einen haptischen/taktilen Sensor gemäß dem Stand der Technik.
1b veranschaulicht einen haptischen Sensor gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
2 veranschaulicht ein Design eines auf Balken basierenden Sensors, basierend auf einer Feder (orange) und einem Rundstab aus Federstahl (rot) gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
3 veranschaulicht einen Sensor gemäß 2 mit einem Bohrer als Werkzeug.
4 veranschaulicht eine beispielhafte Ausführungsform der vorliegenden Erfindung, die ein Gerät mit einer Feder und einem Metallstab als verformbare Elemente, die auf einen Endeffektor eines Roboterarms montiert sind, aufweist.
5a veranschaulicht einen 6D-Kaft-/Drehmomentsensor mit einem zwanglosen Balken/einer zwanglosen Feder.
5b veranschaulicht den Sensor gemäß 5a, wenn eine externe Kraft an das Werkzeug angelegt wird.
6a veranschaulicht einen 6D-Kaft-/Drehmomentsensor mit einer zwanglosen Feder.
6b veranschaulicht den Sensor gemäß 6a, wenn eine externe Kraft und Drehmoment an das Werkzeug angelegt werden.
7 veranschaulicht einen 6D-Kraft-/Drehmomentsensor basierend auf zwei Scheiben, die durch verformbare Elemente verbunden sind, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
Die 8a und 8b veranschaulichen die Präzision des auf Balken basierenden Sensors beim Testen durch Anlegen einer Kraft mit einem Kuka LWR-Arm entlang F_Y. Fehlerleisten geben die Standardbiegung an und werden mit einem Faktor 2 für F_Z und ansonsten 5 skaliert.
Die 9a bis 9d veranschaulichen das Öffnen einer Kronenkapsel mit einem Flaschenöffner auf einem auf Balken basierenden visuell-haptischen Sensor gemäß einer beispielhaften Umsetzung einer Ausführungsform der vorliegenden Erfindung. Die Kamera ist durch den roten Kreis in 9a angegeben und beobachtet das Werkzeug sowie die Flaschen. Das Koordinatensystem des Werkzeugs, das auf einen verformbaren Balken montiert ist, ist in 9d abgebildet. In 9c ist das Werkzeug falsch entlang der x-Achse ausgerichtet, was einen Verfeinerungsschritt erfordert.
10 veranschaulicht einen Sensor gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung, der auf einen Roboterarm montiert ist, um Kräfte/Drehmomente während der Montage einer Schraube zu messen.
Kombinierter Detektor und Tracker
Ein kombinierter Tracker/Detektor für planare Vorlagen wird verwendet, um eine Textur innerhalb eines Bilds oder Videos, das von einer Kamera bereitgestellt wird, zu finden und mitzuverfolgen. Er basiert auf SIFT [11] zur Merkmalerfassung und visueller Vorlagenmitverfolgung, wie zum Beispiel ESM [12] zur Mitverfolgung und Verfeinerung. Die exakte 6D-Stellung von Objekten kann daher in Echtzeit bestimmt werden, solange ein Modell der Vorlage, das heißt ein Bild mit Maßstabinformationen, verfügbar ist. Der Maßstab wird aus dem dpi (dots-per-inch)-Wert der Bilddatei bestimmt. Das System erfasst mehrere willkürliche planare Vorlagen, wie zum Beispiel gedruckte Designs oder natürliche Fotos gleichzeitig und verfolgt sie mit. Jedes Vorlagenmodell wird beim Starten initialisiert, das heißt, dass SIFT-Merkmale extrahiert werden, und dass der Tracker Vorabberechnungen ausführt. Viele künstliche Objekte können direkt unter Verwenden ihrer gedruckten Textur als ein Modell mitverfolgt werden. Es ist auch unkompliziert, reale Objekte aus Vorlagenmodellen mit dem exakten Maßstab mit einem Standarddrucker zu schaffen. Diese Vorlagen lassen sich ohne Weiteres irgendwo auf einem Roboter oder einem Objekt anbringen. Sie bieten mehr Anpassungsfähigkeit, Einfachheit im Gebrauch und höhere Mitverfolgungsqualität als 3D-Modelle oder die vordefinierten Kennzeichnungen von Artoolkit [7].
Das System beruht auf einer GPU-Implementierung von SIFT zum Suchen nach Vorlagenmodellen in dem Bild. Dieser Schritt ist zum Verarbeiten mit einer Rahmenrate von 30 Hz auf Mittelbereich-GPUs zu langsam und sollte, falls möglich, vermieden werden. Das Mitverfolgen wird mit ESM ausgeführt, dass entweder ausgehend von SIFT oder von der Stellung des vorhergehenden Rahmens initialisiert wird. Der letztere Fall wird vorgezogen, weil er es erlaubt, die SIFT-Erfassung zu überspringen. Stellungen aus ESM sind viel präziser und weisen weniger Rauschen auf als aus den SIFT-Vergleichen. Das Mitverfolgen erfolgt immer mit dem „Original”-Modell, so dass keine Drift auftritt, sogar wenn es über lange Zeitspannen ausgeführt wird. Die Verarbeitung wird in mehrere Threads aufgeteilt, die mit unterschiedlichen Raten laufen. Thread A führt SIFT-Erfassung und Übereinstimmung aus, falls es aktuell eine Vorlage gibt, deren Stellung unbekannt ist. Das Vergleichen stellt eine Schätzung der Homografie bereit. ESM läuft in Thread B mit einer Rahmenrate und verfolgt alle Vorlagen, für die anfängliche Stellungen verfügbar sind, mit. Falls erforderlich, kann jeder Tracker in einem getrennten Thread laufen, um Latenz auf Mehrkern-CPUs zu verringern.
Die reale Stellung der Vorlage in Bezug zu der Kamera erhält man durch Homografie-Aufschlüsselung gemäß den Kameraparametern.
Modellieren der Verformung von Balken
Die Verformung von Balken oder Stäben unter Belastung wird von der Euler-Bernoulli-Balkentheorie [4) für kleine Biegungen beschrieben. Hier wird eine Kraft und/oder ein Moment senkrecht zu dem Balken an seinem Frontende (F) angelegt, siehe 2.
Das andere Ende des Balkens (S) wird als stationär („eingespannt”) betrachtet. Prinzipiell kann der Balken aus elastischem Material, wie zum Beispiel aus Federstahl oder Plastik hergestellt sein. Es sollten jedoch keine plastischen (das heißt dauerhaften) Verformungen innerhalb des relevanten Verformungsbereichs auftreten. Wir verwenden einen Balken, der aus Federstahl hergestellt ist, mit einem Durchmesser von etwa 2 mm und einer Länge von 10 bis 20 cm.
Die Biegungskurve w(x) in 2D beschreibt die Verformung des Balkens entlang der y-Achse über die Hauptachse in Ruheposition x:
Das ist die gewöhnlich verwendete Annäherung für kleine Biegungen, die das Verkürzen des verformten Balkens entlang der x-Achse ignoriert. Die Werte für das Elastizitätsmodul E und das zweite Moment der Fläche I sind Konstanten für gleichförmige und homogene Balken. Für einen kreisförmigen Querschnitt des Balkens mit Radius r, I = π / 4r⁴. Es gibt keine verteilte Last, so dass q(x) = 0. Vierfache Integration von (1) ergibt vier Integrationskonstanten, die verwendet werden, um die Grenzbedingungen zu erfüllen. Aufgrund des Einspannens an x = 0, w(0) = w'(0) = 0. Die Ableitungen von w haben eine eigene physikalische Bedeutung – Insbesondere ist das Moment M = –EIw'', und die Scherkraft ist Q = –EIw'. Wenn daher eine Kraft F senkrecht zu dem Balken an seinem Ende angelegt wird, lauten die Grenzbedingungen: w'''|_r=L = – F / EI and w''|_r=L = 0
Die Kraft wird angelegt an x = L, wobei L die Länge des Balkens ist. Mit vier Grenzbedingungen, kann eine einzige Lösung wF für die Gleichung (1) gegeben werden. Auf ähnliche Art, für einen Moment oder Drehmoment M, das an Punkt x = L angelegt wird, wird eine Lösung wM unter Verwenden der Grenzbedingungen bestimmt: w'''|_x=L = 0 and w''|_x=L = – M / EI
Da die Differenzialgleichungen linear ist, können die zwei Lösungen überlagert werden. Für eine Kraft und einen Moment, die an ξ = 1 angelegt werden, mit ξ = r / L und Einspannen an x = 0, erhält man:
Die Biegung Verformung des realen Balkens wird von einer Kamera an einem oder mehreren Punkten der Kurve w beobachtet. Die Erweiterung des besprochenen 2D-Falls auf 3D ist unkompliziert durch Trennen entlang von y und z, und ergibt Verformungskurven wy, wz, siehe 2. Kräfte entlang oder Momente um die x-Achse verursachen nur sehr geringe Verformungen, die mit einem einfachen Balken nicht beobachtet werden können. Ein Modell gemäß Gleichung (2) eignet sich für die Beobachtungen und löste für F, M, um die verursachende Kraft und Drehmoment zu erhalten. Unten wird davon ausgegangen, dass w und w' nur an einem einzigen Punkt ξ₁ ∊|0, 1 bekannt sind. Durch Umstellen der Gleichung (2) und deren Ableitung, erhält man einen linearen Ausdruck w = W·[w(ξ₁)w'(ξ₁)]^T und f = [F M]^T. Angesichts einer Beobachtung w, erhält man die wirkendes Kraft/das wirkende Moment f durch Umkehren von W:
Falls mehrere Beobachtungen verfügbar sind, erhält man ein über bestimmtes System [w|_ξ₁; w|_ξ₂; ...] = [W|_ξ₁; W|_ξ₂; ...]·f, das für f durch Fehlerquadratminimierung gelöst wird. Ausgleichung (3) bemerkt man, dass F signifikant empfindlicher auf Änderungen von w als von M für den typischen Fall L < 1 ist. Außerdem besteht eine starke Kopplung der zwei Komponenten.
6D-KRAFT-/DREHMOMENTSENSOR AUF BALKENBASIS
2 veranschaulicht ein Design eines auf Balken basierenden Sensors, basierend auf einem Rundstab aus Federstahl (rot) gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Biegungen w_Y(x) von zwei unterschiedlichen Kräften/Drehmomenten sind durch gestrichelte Linien gezeigt. Kraft/Momente entlang der x-Achse verformen die Feder (orange). Eine Kamera beobachtet die gesamte Struktur und verfolgt Vorlagen
mit. Der auf Schaumstoff basierende visuell-haptische Sensor in [1] stellt Dichtekraftmuster (ein Kraftprofil) entlang der Schaumstoffkontur bereit, ist jedoch auf einen skalaren Kraftwert an jedem Muster beschränkt. Viele Anwendungen erfordern nur eine Kraftablesung an einem einzigen Punkt, aber bei mehreren räumlichen Dimensionen idealerweise als eine volle 6D-Kraft-/Drehmomentablesung. Typischerweise werden solche Sensoren zwischen den Endeffektor eines Roboterarms oder eines anderen Aktuators und ein Werkzeug montiert, wie zum Beispiel einen Greifer, Schraubendreher oder spezialisierten Manipulator. Bei Berührung müssen die Kräfte und Drehmomente, die das Werkzeug dem Objekt auferlegt (oder umgekehrt) in bis zu sechs Dimensionen gemessen werden. Ein Mensch könnte daher den Arm durch Auferlegen von Kräften auf das Werkzeug führen. Die vorliegende Erfindung schlägt daher ein anderes Design eines visuell-haptischen Sensors vor, dass auf einem Metallbalken und einer Feder basiert, die sich gemeinsam in 6D verformen, wenn eine Kraft/ein Drehmoment angelegt wird. Die passive Komponente wird wieder von einer externen Kamera gemessen, die auch die umgebende Szene beobachtet. Es erlaubt das Messen von Kräften/Drehmoment in mehreren Dimensionen an einem einzigen Punkt, handelsüblichen Kraft-/Drehmoment-Sensormodulen sehr ähnlich. Zu bemerken ist, dass die Balkentheorie an längliche Elemente diverser innerer Struktur durch Anpassen der Formkonstante I angewandt werden kann. Ein verformbares Verbindungselement innerhalb des Arms, wie zum Beispiel die Verbindung zwischen den letzten zwei Gelenken, könnte daher als das verformbare Element verwendet werden.
4 veranschaulicht eine beispielhafte Ausführungsform der vorliegenden Erfindung, die ein Gerät mit einer Feder und einem Metallstab als verformbare Elemente aufweist, montiert auf einen Endeffektor eines Roboterarms, wobei C = Kamera, blickend auf D1/2 und Umgebung, wobei D1/2 = verformbare Elemente, Teil 1 und Teil 2; G = Führung; M = Kameramontageaufbau; R = Endeffektor des Roboterarms; B = Rückseite; F = Vorderseite; T = Werkzeug und X, Y, Z = Koordinatenrahmen.
Bei bevorzugten Umsetzungen ist der Sensor der vorliegenden Erfindung gemäß 2 und 4 gebaut. Ein Foto, das auf dieser Struktur basiert, ist in 3 gezeigt. Unten beziehen sich die Buchstaben auf 2. Der Sensor besteht aus einem Rundstab aus Federstahl (dem Balken) zwischen den Punkten S und F, sowie einer geführten Feder zwischen B und S. Die Sensorbasis B ist auf den Aktuator montiert, der typischerweise ein Roboterarm ist. Das Werkzeug ist auf das andere Ende F montiert. Eine Kamera beobachtet den gesamten Sensor von B zu F sowie die Szene um ihn. Kräfte oder Momente/Drehmomente, die an F entlang oder um Achsen Y, Z angelegt werden, führen zu einer Biegung des Balkens wie in dem oben stehenden Abschnitt zum Stand der Technik beschrieben, der das Modellieren der Verformung der Balken beschreibt. Die Biegungen Verformungen können in w_Y und w_Z getrennt werden und dann wie in dem 2D--fall verarbeitet werden. Zu bemerken ist, dass w_Y Kräfte entlang von Y und Momente um Z darstellt. Aufgrund der Führung entlang von X im Punkt S, wird die Feder von diesen Kräften/Momenten nicht beeinflusst. Kräfte oder Momente entlang oder um X verformen den Balken kaum, da er entlang dieser Richtung sehr steif ist. Stattdessen resultiert eine Kraft entlang X gemäß dem Hookeschen Gesetz in einer Kompression der Feder zwischen B und S. Auf ähnliche Art resultiert einen Moment um X in einer Torsion der Feder. Die entsprechenden Verformungsmodelle sind unkompliziert, und die Steifheitskonstanten werden unabhängig von dem Balken eingestellt. Unter Verwendung dieses Designs, kann ein(e) volle(s) 6D-Kraft-Moment aus der Balken-/Federverformung gelesen werden.
Beobachtungen der Biegungskurve des Balkens w können auf unterschiedliche Arten erhalten werden: Ein Kantentracker kann verwendet werden, um die zwei Konturen entlang des Balkens mitzuverfolgen und eine dichte Abtastung von w bereitzustellen. Wie von [6] bemerkt, stellt dieser Ansatz hohe Robustheit gegenüber Okklusion aufgrund der großen Anzahl mitverfolgter Punkte bereit. Die Punktverfolgung stellt jedoch keinerlei zuverlässige tiefen Informationen bereit, was die Kraftmessungen im Wesentlichen auf ID beschränkt. Einfach Merkmale entlang des Balkens, wie zum Beispiel farbige Kugeln, würden eine einfache Erfassung erlauben, jedoch immer noch mit sehr beschränkter Tiefenauflösung. Ein Vorlagen-Tracker/Detektor, siehe oben stehender Abschnitt zum Stand der Technik, der einen kombinierten Detektor und Tracker beschreibt, stellt andererseits vollständige 6D-Stellung bereit, darunter präzise Tiefenwerte und volle Drehung, was den Ableitungen von w'_Y,Z entspricht. Planare texturierte Vorlagen sind entlang des Balkens an einzelnen Befestigungspunkten jeweils für diesen Tracker angebracht. Sie können in das Design des Robotergehäuses integriert sein. Die Stellung des Balkens an dem Befestigungspunkt und die Vorlage sind durch eine konstante starre Transformation, die von der Montagestruktur bestimmt wird, verbunden. Nur eine geringe Anzahl von Vorlagen kann entlang des Stabs angebracht sein, was in einer begrenzten Anzahl von Beobachtungen von w und w' resultiert. Die wirkende Kraft/das wirkende Moment wird aus diesen Beobachtungen unter Verwendung von (3), wie hier umrissen, berechnet.
Wie in 2 angegeben, werden bei unserer Umsetzung 3 Vorlagen an dem Sensor angebracht. Die Bezugsvorlage
auf der Sensorbasis stellt einen lokalen Referenzrahmen
bereit, in dem alle Sensor-bezogenen Transformationen ausgedrückt werden.
So kann die Stellung des Sensors variieren, und die Kamera kann sich in Bezug auf den Sensor bewegen. Prinzipiell kann der Referenzrahmen an dem Kamerarahmen befestigt werden oder aus einem Robotermodell berechnet werden. Fehler können aber signifikant verringert werden, falls ein Referenzrahmen innerhalb des Bilds erhalten wird, nahe der Stelle, an der die Messungen ausgeführt werden. Zwei Vorlagen
werden entlang des Balkens an festgelegten relativen Positionen ξ_1,2 angebracht. Da sich die Vorlagen nicht perfekt ausrichten und der Balken etwas plastische Verformung darlegen könnte, wird beim Starten ein Nullabgleich, mit null Kraft/Moment an den Sensor angelegt, ausgeführt. Die entsprechenden Ruhestellungen
werden in Bezug zu dem Rahmen
ausgedrückt.
Messungen der Vorlagenstellungen werden für jeden Videorahmen ausgeführt und in Bezug zu ihren (konstanten) Ruhestellungen ausgedrückt, die wiederum auf dem aktuellen (variablen) Referenzrahmen
basieren. Die Stellungen

sind daher so lange null wie der Rahmen nicht verformt wird, ungeachtet der aktuellen Sensor Ausrichtung. Da die Y- und Z-Komponente separat verarbeitet werden, entsprechen die jeweiligen Verschiebungskomponenten von
direkt den Mustern von w_Y,Z. Das Gefälle wird aus der 3D-Rotationsmatrix R, die auf die jeweilige 2D-Ebene projiziert wird, derart abgeleitet, dass
und
Schließlich erhält man die Kompression und Torsion der Feder aus der X-Komponente der Verschiebung und dem jeweiligen Rotationswinkel. Kraft und Verschiebung, jeweils Moment und Torsionen, sind durch die jeweilige Feder-Steifheitskonstante verbunden.
6D-Kraft-/Drehmomentsensor mit uneingeschränktem Balken/uneingeschränkter Feder
Eine andere Ausführungsform des 6D-Kraft-/Drehmomentsensors basierend auf zwei passiven elastischen Elementen ist gemäß 5a 5b zeigt die Struktur von 5a in einem verformten Zustand, wenn eine Kraft F_Y angelegt wird. Dieses Design ist ähnlich der oben erwähnten Ausführungsform, nämlich 2, mit der Ausnahme der Tatsache, dass die Feder nicht durch eine lineare Führung eingeschränkt wird. Die Feder E₁ verformt sich in allen sechs Dimensionen, wenn eine 3D-Kraft und/oder ein 3D-Drehmoment an den Endpunkt oder das Werkzeug T angelegt wird. Gleichzeitig verformt sich auch der Balken (E₂) in mehreren Dimensionen. Da der Balken entlang der Achse X sehr steif ist, verformt er sich effektiv nur als Reaktion auf Kräfte/Drehmomente in vier Dimensionen, nämlich für F_Y,Z und T_Y,Z. Die zwei verformbaren Elemente sind daher gekoppelt und verformen sich gleichzeitig für 4 von 6 Kraft-/Drehmomentdimensionen. Verglichen mit der oben erwähnten Ausführungsform auf Balkenbasis, erlaubt diese Ausführungsform der vorliegenden Erfindung vorteilhafterweise kompaktere Sensoren mit einer noch einfacheren mechanischen Struktur. Die Verformungen der zwei Elemente werden in der oben erwähnten Ausführungsform auf Balkenbasis auch eine getrennte Einstellung der jeweiligen Steifheitsparameter erlaubt.
Wie in 5a gezeigt, ist eine Feder E₁ an ihrer Basis B an einen Aufbau montiert. Ein biegsamer Balken E₂ ist an das andere Ende der Väter an dem Punkt F' montiert. Der Balken E₂ ist mit einem Werkzeug oder Endpunkt T und F verbunden. Es ist möglich, beide Federn und den Balken aus ein und demselben Draht zu bauen. Das Material und die geometrischen Parameter der biegsamen Elemente werden gemäß Design Kriterien ausgewählt, wie zum Beispiel gewünschter Kraft-/Drehmomentbereich, der an T angelegt wird, maximal akzeptable Verformung und Messpräzision.
Vorlagen oder irgendeine andere Art von Merkmal P_*, die visuelle 6D-Stellungsschätzung erlauben, werden an oder nahe B, F' und F positioniert. Die 6D-Stellungen (Position und Drehung) dieser Lagen sind aus der Merkmal-Stellung und dem konstanten Versatz zwischen der Lage und ihrem jeweiligen Merkmal bekannt. Präzise 6D-Stellungen können zum Beispiel mit einem kombinierten Tracker/Detektor, wie oben beschrieben, erhalten werden. Das Platzieren der Merkmale nahe an die gegebenen Stellen stellt eine hohe Stellungspräzision sicher. Zusätzliche Merkmale können irgendwo entlang der biegsamen Elemente platziert werden, um die Präzision der Stellungsschätzung zu verbessern. Eine Kamera wird derart platziert, dass sie sie alle diese Merkmale mit einer Bildauflösung beobachtet, die für die gewünschte Kraft-/Drehmomentauflösung ausreicht. Die Kamera kann an der Basis B befestigt sein, wie für die Kamera C₂, oder kann an einer anderen Struktur befestigt sein, wie für die Kamera C₁. In dem ersteren Fall, falls die Verbindung zwischen C₂ und B bekannt ist, kann das Merkmal P_B weggelassen werden. Anderenfalls dient B als ein lokaler Referenzrahmen, in dem die anderen Stellungen ausgedrückt sind.
Die Verformungen von E₁ und E₂ werden individuell aus der Stellungsänderung jeweils zwischen P_B und P' oder P' und P_T, bestimmt. In 6D angelegte Kräfte/Drehmomente werden unter Verwenden eines Verformungsmodells, wie oben umrissen, bestimmt. Die Kompression der Feder entlang ihrer Hauptachse, die durch F_X verursacht wird, sowie die Torsionen um diese Achse, die von T_X verursacht wird, können gemäß dem Hookeschen Gesetz modelliert werden. Die Verformung, die durch F_Y,Z und T_Y,Z verursacht wird, wird durch die Balkentheorie modelliert, einzeln für beide elastischen Elemente E₁ und E₂ angewandt. In diesem Fall sind zwei Messungen verfügbar, was die Messpräzision oder Robustheit gegenüber teilweisen Okklusionen verbessert. Verformungsmodelle können auch kalibriert werden/lernen, indem ein generisches Modell verwendet wird, durch Anlegen von Testkräften/des Drehmomenten an den Sensor.
6D-Kraft-/Drehmomentsensor mit unbelasteter Feder
Bei einer anderen Ausführungsform, siehe 6a, besteht die biegsame Struktur nur aus einem Element, nämlich der Feder E₁. Verglichen mit der Ausführungsform, die in den 5a und 5b veranschaulicht ist, fehlt das biegsame Element E₂. Das Werkzeug T ist mit dem Ende der Feder F entweder direkt oder mit einer starren Struktur verbunden. Da sich das Ende der Feder F in 6D verformt, wird eine Kraft/ein Drehmoment, die/das an T angelegt wird, zu einer 6D-Verformung der Feder mappiert, was durch eine 6D-Transformation von F in Bezug zu dem nicht verformten Zustand ausgedrückt wird. Die Kraft/das Drehmoment wird von einem Verformungsmodell, wie unter Bezugnahme auf die 5a und 5b umrissen, abgeleitet, mit der Ausnahme, dass es keine zweite Messung von E₂ gibt. Die Struktur ist in einem verformten Zustand in 6b abgebildet, wenn eine Kraft F_Y und ein Drehmoment T_Z gleichzeitig angelegt werden.
6D-KRAFT-/DREHMOMENTSENSOR BASIEREND AUF SCHEIBEN, DIE DURCH VERFORMBARE ELEMENTE VERBUNDEN SIND
7 veranschaulicht einen 6D-Kraft-/Drehmomentsensor basierend auf zwei Scheiben, die durch verformbare Elemente verbunden sind, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Die zwei Scheiben B und F sind anhand elastischer Elemente verbunden. Angenommen, der Sensor ist auf B befestigt, wird eine/ein 6D-Kraft/Drehmoment an die Scheibe F oder ein Werkzeug T, das an F angebracht ist, durch die Stellungsänderung von F in Bezug zu B gemessen. Die externe Struktur ähnelt der der handelsüblichen 6D-Kraft-/Drehmomentsensoren, wie zum Beispiel dem JR3, und kann daher entsprechende Sensoren in existierenden Anordnungen von Robotersystemen ersetzen. Bei typischen Anwendungen wird der Sensor auf einen Roboterarm oder an das Ende einer kinematischen Kette an B montiert. Angreifer, Manipulator oder ein Werkzeug T wird an die Scheibe F montiert.
Die zwei Scheiben B und F bestehen aus einem starren Material und dienen als Montageplatten. Sie können willkürliche Formen haben, wodurch planare Strukturen am besten machbar sind. Die Scheiben werden durch ein oder mehrere verformbare Elemente, wie zum Beispiel Federn, Stäbe aus Gummi oder Gummischaumstoff verbunden. Die Elemente sollten ein elastisches Verformungsverhalten darlegen. Die Maße, Einrichtung und Steifigkeit dieser Elemente werden gemäß der erforderlichen 6D-Empfindlichkeit und dem Messbereich des Sensors ausgewählt. Es besteht eine direkte Beziehung zwischen Stellungsänderungen (in 6D) und einer/einem 6D-Kraft/Drehmoment, das an F angelegt wird, das hier Verformungsmodell genannt wird. Dieses Modell kann analytisch, durch Simulation oder Kalibrierung erhalten werden. In dem letzteren Fall werden bekannte Kraft-/Drehmomentwerte angelegt, und die beobachtete Verformung wird gespeichert.
In dem Fall eines einzelnen balkenartigen verformbaren Element, wird die Beziehung wie oben im Abschnitt Stand der Technik beschrieben ausgedrückt, indem Verformung von Balken modelliert wird. Die 6D-Stellungen von Scheiben B und F werden durch eine Kamera basierend auf Merkmale, Vorlagen oder Mustern auf den Scheiben bestimmt. Zum Beispiel kann die Stellung einer willkürlichen Textur wie im Abschnitt Stand der Technik, der einen kombinierten Detektor und Tracker beschreibt, oben beschrieben, gefunden werden. Ein sogar noch einfacherer Ansatz ist es, mindestens vier eindeutig identifizierbare Merkmale auf jeder Scheibe zu finden. Falls eine Tiefenkamera verwendet wird, können die Stellungen auch von den 3D-Oberflächen oder -Strukturen abgeleitet werden. Ein ausreichender Teil beider Scheiben muss zur Stellungsschätzung beobachtbar sein.
Im Fall einer Kameraanordnung C1, könnte die Scheibe F kleiner gemacht werden, oder sie könnte teilweise durchsichtig gemacht werden. In dem letzteren Fall, werden Teile der Scheibe B, die durch F gesehen werden, gebrochen. Verlagerungen, die durch Brechung verursacht werden, müssen kompensiert werden. In dem Fall einer Kameraanordnung C2, kann die innere Fläche beider Scheiben beobachtet werden, mit Ausnahme von Teilen, die durch die verformbaren Elemente verdeckt werden. Die Stellung von F wird immer in dem Koordinatenrahmen von B ausgedrückt, was es sowohl der Kamera als auch dem Gesandten Sensor erlaubt, sich zu bewegen. Eine Referenz- oder Nullstellung erhält man, wenn keine externe Kraft an F oder an das Werkzeug T angelegt wird. Wenn eine externe Kraft oder ein Drehmoment angelegt wird, ändert sich die Stellung von F von dieser Referenzstellung. Diese Änderung wird in eine Kraft/ein Drehmoment basierend auf dem oben erwähnten Verformungsmodell umgewandelt.
EXPERIMENTE MIT DEM AUF BALKEN BASIERENDEN SENSOR
Messpräzision
Die Präzision des auf Balken basierenden Sensors gemäß einer Ausführungsform der vorliegenden Erfindung, wird in einem Experiment analysiert. Die Mechanik des Sensors wird gemäß 2 gebaut, wodurch der Federstahlstab zwischen Z und F eine Länge von 12 cm und einen Durchmesser von 1,5 mm darlegt. Seine Materialparameter aus Gleichung (2) sind E = 206 GPa; I = ¹/₄πr⁴ = 2:48·10^–13 m⁴. Eine Vorlage zu 4 × 4 cm wird an dem Rahmen als eine Referenz angebracht, und zwei weitere werden an einem einzigen Punkt an den Stab geklebt. Der Rahmen ist an Punkt B befestigt, und ein Roboterarm schiebt gegen die Sensorspitze F entlang von F_Y. Die angelegte Kraft wird schrittweise von null zu einem Höchstwert erhöht und dann wieder auf dieselbe Art verringert. Kraft und Position werden unter Verwenden präziser Armsensoren als eine Referenz aufgezeichnet. Eine Webcam mit 1600 × 896 px beobachtet die Vorlagen von oben (entlang von –Z) und bestimmt 6D-Kraft-/Drehmomentwerte gemäß der Gleichung (3).
Die erhaltenen Resultate sind in den 8a und 8b gezeigt. Da die Kraft nur entlang von F_Y, wird erwartet, dass alle anderen Kraft- und Drehmomentkomponenten null bleiben. Kreuzkopplung zu anderen Komponenten ist nämlich gering. Das Moment M_Z, der mathematisch stark mit F_Y verbunden ist, weicht von null nur für große Kräfte ab. Die Kraft F_X legt ein niedriges Kopplungsniveau da, da Verformungen entlang von Y den Stab auch entlang der X-Richtung kürzen. Dieser Effekt wird aktuell nicht modelliert. Ein geringfügiger systematischer Fehler, das heißt eine Abweichung von der idealen Linie wird ebenfalls beobachtet. Das kann falschen Materialparametern und den Annäherungen, die bei der Balkentheorie verwendet werden, zugeordnet werden. Eine Kompensation dieses Fehlers ist unkompliziert, indem ein Kalibrierungsprozess verwendet wird. Anders als bei auf schaumstoffbasierenden Sensoren, besteht kein Hystereseeffekt, wenn die Kraft erhöht/verringert wird. Wie erwartet, nimmt das Sensorrauschen mit zunehmender Kameraentfernung zu. Der Rauschpegel ist jedoch, außer für die F_Z-Komponente, sehr niedrig. Um die Präzision für F_Z zu erhöhen, was für größere Entfernungen erfolgen sollte, könnten entweder eine tiefen-/Stereo Kamera und der Tracker verwendet werden, oder Beobachtungen von zwei Kameras an unterschiedlichen Lagen könnten kombiniert werden.
Robotermanipulation
Das Öffnen einer Kronenkapsel, wie sie auf vielen Getränkeflaschen verwendet wird, ist ein gutes Beispiel für einen Manipulationsvorgang, der auf gemeinsame visuell-haptische Wahrnehmung zurückgreift. Für dieses Experiment wird ein Standardflaschenöffner auf einen auf Balken basierenden Sensor gemäß 2 montiert, siehe 9. Der Sensor wird auf den Endeffektor gemeinsam mit einer Webcam eines Kuka-LWR-Arms montiert, siehe 9. Balkenverformungen, die durch Kräfte oder Drehmomente, die an die Kronenkapsel angelegt werden, werden unter Verwenden der Vorlagenbilder beobachtet. Ferner beobachtet dieselbe Kamera die Szene nahe dem Werkzeug, um die Flasche zu suchen. Der visuell-haptische Sensor ist der einzige Sensor, der in diesem System verwendet wird, die dedizierten Kraft-/Drehmomentsensoren des Roboterarms werden nicht verwendet.
Flaschen werden erkannt und unter Verwenden der Textur auf ihren Kronenkapseln mit einem auf Vorlage basierenden Detektor/Tracker mitverfolgt. Sobald der Benutzer die gewünschte Flasche auswählt, tastet der Roboter innerhalb seines Arbeitsraums nach ihr ab. Sobald das Objekt erfasst und lokalisiert wurde, bewegt sich der Arm des Werkzeugs über das Objekt und dreht es nach Bedarf für den Entkapselungsvorgang, siehe 7b. Die Präzision dieser Drehbewegung wird durch zwei Faktoren beschränkt: Da das Handgelenk des Arms relativ weit von dem Werkzeug entfernt ist, ist eine große Bewegung in dem Gelenkraum erforderlich. Das ist mit einem größeren Positionierungsfehler verbunden (der jedoch durch visuelles Servoing kompensiert werden könnte). Der verwendete 2D-Tracker hat jedoch nur eine beschränkte Tiefenpräzision, die Höhe der Kronenkappe kann nicht exakt bestimmt werden. Die Fluchtung des Werkzeugs auf der Kronenkappe muss in allen drei Dimensionen sehr präzis sein, um das Entkapseln
Dieses Niveau an Präzision ist durch Verwenden von Sicht allein besonders für die tiefen Richtung unmöglich. Die genaue Position des Öffnens wird haptisch bestimmt, durch Messen der Kräfte oder Momente mit dem visuell-haptischen Sensor. Verfeinerung wird zuerst entlang der z-Achse (Höhe), der x-Achse und schließlich der y-Achse ausgeführt. Sobald das Werkzeug ausgerichtet ist, dreht der Roboter das Werkzeug um seinen Mittenpunkt. Falls die Kronenkappe erfolgreich entfernt wurde, erfasst der Tracker/Detektor ihre Textur auf der Oberseite der Flasche nicht mehr.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

N. Alt und E. Steinbach. Navigation and manipulation planning using a visuo-haptic sensor on a mobile platform. IEEE Transactions on Instrumentation and Measurement, 63(11), 2014. (Früher Zugang Mak 2014) [0002]
R. Bischoff, J. Kurth, G. Schreiber, R. Koeppe, A. Albu-Schaeffer, A. Beyer, O. Eiberger, S. Haddadin, A. Stemmer, G. Grunwald uand G. Hirzinger. The KUKA-DLR lightweight robot arm – a new reference platform for robotics research and manufacturing. In Robotics (ISR), International Symposium on and German Conference on Robotics (ROBOTIK), München, Deutschland, Juni 2010. VDE [0002]
D. Goger, N. Gorges und H. Worn. Tactile sensing for an anthropomorphic robotic hand: Hardware and signal processing. In IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, Mai 2009 [0002]
D. Gross, W. Hauger, J. Schröder und W. A. Wall. Technische Mechanik 2. Springer-Lehrbuch. Springer Berlin Heidelberg, Berlin, Heidelberg, 2014 [0002]
K. Kamiyama, K. Vlack, T. Mizota, H. Kajimoto, N. Kawakami und S. Tachi. IEEE Computer Graphics and Applications, 25(1): 68–75, 2005 [0002]
M. Kaneko, N. Nanayama und T. Tsuji. Vision-based active sensor using a flexible beam. IEEE/ASME Transactions on Mechatronics, 6(1): 7–16, März 2001 [0002]
H. Kato und M. Billinghurst. Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In IEEE and ACM International Workshop on Augmented Reality, San Francisco, CA, USA, 1999 [0002]
K. Khoshelham und S. O. Elberink. Accuracy and resolution of kinect depth data for indoor mapping applications. Sensors, 12(2): 1437–1454, 2012 [0002]
A. Kimoto und Y. Matsue. A new multifunctional tactile sensor for detection of material hardness. IEEE Transactions on Instrumentation and Measurement, 60(4): 1334–1339, 2011 [0002]
E. Knoop und J. Rossiter. Dual-mode compliant optical tactile sensor. In IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, Deutschland, Mai 2013 [0002]
D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2): 91–110, 2004 [0002]
E. Malis. Improving vision-based control using efficient second-order minimization techniques. In IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, Mai 2004 [0002]
P. Mittendorfer, E. Dean, and G. Cheng. 3D-spatial self-organization of a modular artificial skin. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Chicago, USA, Sept. 2014 [0002]
OptoForce. Optical Force Sensors – Introduction To The Technology White Paper, Jan 2015 [0002]
S. Tsuji, A. Kimoto und E. Takahashi. A multifunction tactile and proximity sensing method by optical and electrical simultaneous measurement. IEEE Transactions on Instrumentation and Measurement, 61(12): 3312–3317, 2012 [0002]
H. Yousef, M. Boukallel und K. Althoefer. Tactile sensing for dexterous in-hand manipulation in robotics-a review. Sensors and Actuators A: Physical, 167(2): 171–187, Juni 2011 [0002]
J.-i. Yuji und K. Shida. A new multifunctional tactile sensing technique by selective data processing. IEEE Transactions on Instrumentation and Measurement, 49(5): 1091–1094, 2000 [0002]

Claims

Gerät (1), umfassend: einen taktilen Sensor (2), der mindestens ein passives elastisch verformbares Element (3) umfasst, das in mehreren Dimensionen verformbar ist; mindestens eine Kamera (4) außerhalb des taktilen Sensors und die betreibbar ist, um Bilder des elastisch verformbaren Elements aufzunehmen; einen Prozessor (5) betätigbar: um eine Stellungsänderung des elastisch verformbaren Elements zu bestimmen, und eine Messung von Kraft und Drehmoment, die an das elastisch verformbare Element angelegt werden, basierend auf erfassten Bildern und der bestimmten Stellungsänderung, wobei die Messung mindestens drei Komponenten aufweist, die Kräfte und/oder Drehmomente umfassen.
Gerät nach Anspruch 1, wobei die Messung einen 6-achsigen Kraft-/Drehmomentvektor umfasst, der Kräfte entlang allen drei räumlichen Dimensionen und Drehmomente entlang allen drei räumlichen Dimensionen umfasst.
Gerät nach Anspruch 1 oder 2, wobei der taktile Sensor ferner ein starres Basiselement (6) und ein starres Vorderseitenelement (7), die anhand des elastisch verformbaren Elements gekoppelt sind, umfasst, und wobei der Prozessor ferner betreibbar ist, um die Stellungsänderung des starren Vorderseitenelements in Bezug zu dem Basiselement zu bestimmen.
Gerät nach Anspruch 3, wobei ein Balken (8) und/oder ein Werkzeug (9) auf das Vorderseitenelement montiert ist.
Gerät nach Anspruch 3, wobei das starre Basiselement und das starre Vorderseitenelement planare Strukturen umfassen.
Gerät nach einem der vorhergehenden Ansprüche, wobei die Stellungsänderung durch Beobachten von mindestens zwei Punkten auf dem taktilen Sensor bestimmt wird.
Gerät nach einem der vorhergehenden Ansprüche, wobei die Stellungsänderung durch Beobachten von drei oder mehr Punkten auf dem taktilen Sensor bestimmt wird.
Gerät nach einem der vorhergehenden Ansprüche, wobei die Stellungsänderung durch einen visuellen Tracker bestimmt wird.
Gerät nach einem der vorhergehenden Ansprüche, wobei der taktile Sensor mechanisch an einem bewegbaren Roboterelement (10) angebracht ist, und das bewegbare Roboterelement sich in dem Sichtfeld der Kamera befindet.
Verfahren, das Folgendes umfasst: Bereitstellen eines taktilen Sensors, der mindestens ein passives elastisch verformbares Element (3) umfasst, das in mehreren Dimensionen verformbar ist; Erfassen von Bildern des elastisch verformbaren Elements mit mindestens einer Kamera; Bestimmen einer Stellungsänderung des elastisch verformbaren Elements, und Bestimmen einer Messung von Kraft und Drehmoment, die an das elastisch verformbare Element angelegt werden, basierend auf erfassten Bildern und der bestimmten Stellungsänderung, wobei die Messung der Kraft mindestens drei Dimensionen aufweist, die sowohl Kraft- als auch Drehmomentkomponenten aufweisen.
Verfahren nach Anspruch 10, wobei die Messung einen 6-achsigen Kraft-/Drehmomentvektor umfasst, der Kräfte entlang allen drei räumlichen Dimensionen und Drehmomente entlang allen 3 räumlichen Dimensionen umfasst.
Verfahren nach Anspruch 10 oder 11, wobei der Schritt des Bestimmens der Stellungsänderung das Beobachten an mindestens zwei Punkten auf dem taktilen Sensor umfasst.
Verfahren nach einem der Ansprüche 10 bis 12, wobei der Schritt des Bestimmens der Stellungsänderung das Beobachten drei oder mehr Punkten auf dem taktilen Sensor umfasst.
Verfahren nach einem der Ansprüche 10 bis 13, wobei der Schritt des Bestimmens der Stellungsänderung das Verwenden visueller Mitverfolgung umfasst.