DE102016221193B3

DE102016221193B3 - Verfahren zum Steuern eines Manipulators basierend auf Handerkennung

Info

Publication number: DE102016221193B3
Application number: DE102016221193.5A
Authority: DE
Inventors: Yevgen Kogan
Original assignee: KUKA Roboter GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2016-10-27
Filing date: 2016-10-27
Publication date: 2018-01-04
Anticipated expiration: 2036-10-28
Also published as: WO2018077469A1

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern eines Manipulators unter Verwendung einer Sensorik zum Erfassen von Steuervorgaben einer Hand. Dabei wird die Hand mittels der Sensorik erfasst und die Hand modelliert. Die Sensorik kann dabei ein Bildverarbeitungssystem mit einer Kamera und einer Bildverarbeitungseinheit umfassen. Beim Modellieren der Hand wird ein Handvektor gebildet, welcher durch einen vordefinierten Referenzpunkt der Hand verläuft. Wenn der Handvektor durch einen Schnittpunkt am Manipulator verläuft, wird der Manipulator angesteuert.

Description

1. Technischer Bereich
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern eines Manipulators unter Verwendung einer Sensorik zum Erfassen von Steuervorgaben einer Hand, als auch ein entsprechendes System zum Steuern eines Manipulators.
2. Technischer Hintergrund
Manipulatoren, und insbesondere Roboter, sind frei-programmierbare Handhabungsgeräte, die universell eingesetzt werden können. Ein Manipulator kann dabei mehrere Achsen haben, die unabhängig voneinander mittels entsprechender Antriebe, wie beispielsweise Servomotoren, bewegbar sind. Dadurch kann der Manipulator verschiedene Posen bzw. verschiedene Konfigurationen einnehmen, um etwa ein Werkzeug oder ein Werkstück an eine bestimmte Position im Raum zu bewegen, oder um einen bestimmten Bearbeitungsprozess durchzuführen. Hierbei kann ein Manipulator auch mehrere Freiheitsgrade in seiner Bewegung aufweisen. Die Freiheitsgrade können dabei die Anzahl voneinander unabhängigen, angetriebenen Bewegungen beschreiben, die der Manipulator im Raum gegenüber einem festen Weltkoordinatensystem ausführen kann.
Es gibt verschiedene Methoden, um einen Manipulator zu steuern. Ein Manipulator kann dabei einerseits einem automatischen Programmablauf folgen, welcher auf einem zuvor programmierten Programmablauf basieren kann, und von einer entsprechenden Steuerung bereitgestellt wird. Beispielsweise kann dieser Programmablauf einzelne Bahnpunkte beschreiben, die durch den Manipulator angefahren werden sollen.
Ferner ist auch ein manueller Betrieb eines Manipulators möglich. Hierbei kann der Bediener die Bewegung des Manipulators manuell vorgeben, und den Manipulator somit manuell verfahren. Eine solche manuelle Bewegungsvorgabe kann beispielsweise mit Hilfe von Verfahrtasten erfolgen, indem der Bediener diese Tasten betätigt. Manipulatoren können mit Kraft-Moment-Sensoren ausgerüstet sein, und es erlauben, den Manipulator direkt durch Ausüben einer Kraft auf die Manipulatorstruktur zu steuern. Hierzu kann ein Bediener beispielsweise gegen den Manipulator drücken, woraufhin diese Kraft von den Sensoren (oder durch Überwachen der Motorströme) erfasst wird, und in entsprechende Steuersignale umgewandelt wird, sodass sich der Manipulator letztendlich wie vom Bediener gewünscht in die Drückrichtung bewegt. Ein solches sensibles Handverfahren mit direkter Interaktion funktioniert meist nur bei kleinen Manipulatoren, da bei großen Maschinen oft eine sehr hohe Kraft notwendig wäre, die ein Mensch nur schwer aufbringen bzw. ausüben kann.
Es ist ferner bekannt, einen Manipulator mittels Gestensteuerung zu bewegen. Bei einer solchen gestenbasierten Steuerung kann ein Bildverarbeitungssystem zum Erfassen von Gesten verwendet werden, welches beispielsweise eine Kamera umfassen kann. Hiermit kann eine Geste einer Hand erkannt werden, und anschließend der Manipulator entsprechend angesteuert werden. Beispielsweise kann durch die Handgeste in eine bestimmte Richtung gedeutet werden, und der Manipulator sich dementsprechend in diese Richtung bewegen. Jedoch ist eine solche gestenbasierte Steuerung sehr unzuverlässig, da kleinste Fehler in der Messung der Orientierung eines Fingers zu großen Fehlern bei der Zielposition des Manipulators führen können. Ferner ist die Abbildung der Stellung der Hand auf die Stellung des Manipulators nicht optimal. Auch ist die Bewegung eines Manipulators mittels der beschriebenen Gestensteuerung relativ schwierig und erfordert eine gewisse Einarbeitungszeit. Eine Fehlbedienung des Manipulators, welche aus einer ungewollten Bewegung des Manipulators resultiert, kann zu einer Beschädigung eines Werkstücks, des Manipulators oder der Umgebung führen. Um Verletzungen von Menschen zu vermeiden, kann damit auch die Verwendung von Schutzeinrichtungen notwendig sein. Aus der Schrift DE 10 2013 108 114 A1 ist eine Eingabevorrichtung zum Steuern eines Roboters mittels Gesten bekannt, mit einer armbetätigten Schutzeinrichtung, welche eine Gestensteuerung des Roboters aktiv schaltet, wenn diese betätigt wird, und deaktiviert, wenn sie nicht betätigt wird.
Das Dokument DE 10 2013 110 847 B3 betrifft eine Steuervorrichtung eines Robotersystems mit wenigstens einen Roboterarm, an dem ein chirurgisches Instrument mit einem Endeffektor befestigt ist, sowie ein Verfahren zum Steuern eines solchen Robotersystems mittels Gestensteuerung.
Es ist eine Aufgabe der vorliegenden Erfindung, eine industriell verwendbare Steuerung eines Manipulators bereitzustellen, welche insbesondere ein sicheres Steuern des Manipulators per Handgestik oder Handbewegung ermöglicht. Hierbei soll der Manipulator vorzugsweise intuitiv durch eine Hand bzw. Handgestik bzw. Handbewegung des Bedieners bewegt werden können. Es ist dabei insbesondere eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, welches ein Bewegen per Hand auch von großen Manipulatoren ermöglicht.
Diese und weitere Aufgaben, die aus der folgenden Beschreibung ersichtlich werden, werden durch ein Verfahren gemäß Anspruch 1 und ein System gemäß Anspruch 15 gelöst.
3. Inhalt der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern eines Manipulators unter Verwendung einer Sensorik zum Erfassen von Steuervorgaben einer Hand. Es soll somit durch das Verfahren vorzugsweise ermöglicht werden, einen Manipulator manuell zu steuern, indem ein Bediener die gewünschte Anweisung mittels seiner Hand vorgibt. Prinzipiell können durch das Verfahren unterschiedliche Manipulatoren gesteuert werden, wie beispielsweise große Industrieroboter oder Leichtbauroboter.
Das Verfahren umfasst dabei ein Erfassen der Hand mittels der Sensorik. Diese Hand kann dabei eine Hand eines Bedieners sein, beispielsweise seine rechte oder linke Hand. Das Erfassen der Hand kann beispielsweise mittels einer Kamera erfolgen, wenn die Sensorik eine solche umfasst, wobei das Erfassen durch Ablichten bzw. Aufnehmen der Hand erfolgen kann. Die Hand muss dabei nicht vollständig erfasst werden. Das Erfassen eines Teils der Hand kann genügen, soweit dies ein Durchführen der nachfolgenden Modellierung ermöglicht. Die Hand kann dabei auch durch z. B. einen Handschuh bedeckt sein.
Weiter umfasst das Verfahren ein Modellieren der Hand, umfassend ein Bilden eines Handvektors, welcher durch einen vordefinierten Referenzpunkt der Hand verläuft. Dieses Modellieren kann mittels eines bereitgestellten virtuellen Handmodells erfolgen, wobei der vordefinierte Referenzpunkt hinsichtlich dieses Handmodells definiert sein kann. Der Fachmann versteht dabei, dass ein vordefinierter Referenzpunkt, der hinsichtlich eines solchen virtuellen Handmodells definiert ist, somit auch hinsichtlich realer Hände definiert sein kann, auf die sich das Handmodell letztendlich bezieht. Beispielsweise kann der vordefinierte Referenzpunkt in der Mitte einer Handinnenfläche liegen, oder beispielsweise an einer Fingerspitze, z. B. des Zeigefingers. Das Bilden des Handvektors kann dabei virtuell erfolgen, indem er durch den vordefinierten Referenzpunkt der Hand bzw. des Handmodells gelegt wird. Der Fachmann versteht, dass der Handvektor je nach Ausführung auch an dem Referenzpunkt enden kann. Jedenfalls wird der Handvektor derart gebildet, dass zumindest ein Punkt des Vektors mit dem Referenzpunkt übereinstimmt. Vorzugsweise wird der Handvektor in einer bestimmten Orientierung bzw. Ausrichtung relativ zu der Hand bzw. dem Handmodell gebildet. Der Handvektor kann somit relativ zu einem Handmodell bzw. der Hand gebildet werden, und kann somit unabhängig von dem zu steuernden Manipulator selbst gebildet werden.
Weiter umfasst das Verfahren ein Bestimmen der relativen Orientierung der Hand zum Manipulator. Es kann somit bestimmt werden, in welcher Beziehung die Hand bzw. die modellierte Hand zum Manipulator steht. Beispielsweise kann festgestellt werden, dass ein Finger auf den Manipulator zeigt. Weiter umfasst das Verfahren ein Feststellen, unter Berücksichtigung der bestimmten relativen Orientierung, dass der Handvektor durch einen Schnittpunkt am Manipulator verläuft. Dieser Schritt kann dabei zusammen mit dem Schritt des Bestimmens der relativen Orientierung der Hand erfolgen. Es kann somit festgestellt werden, ob der Handvektor, welcher relativ zu der Hand gebildet wurde, den Manipulator trifft bzw. seine Struktur kreuzt. Wenn der Handvektor beispielsweise längs entlang eines ausgestreckten Zeigefingers der Hand verläuft, kann somit festgestellt werden, dass der Zeigefinger auf den Manipulator zeigt und der Handvektor den Manipulator trifft. Vorzugsweise kann neben der relativen Orientierung auch die Position der Hand hinsichtlich des Manipulators bestimmt werden. Der Fachmann versteht, dass die Ausführungen hierin hinsichtlich der bestimmten relativen Orientierung auch für eine bestimmte Position gelten, wenn eine solche Positionsbestimmung vorzugsweise durchgeführt wurde. Somit kann präzise bestimmt werden, ob der Handvektor durch einen Schnittpunkt am Manipulator verläuft, indem etwa das Feststellen, dass der Handvektor durch einen Schnittpunkt am Manipulator verläuft, auch unter Berücksichtigung der Position der Hand erfolgen, die hinsichtlich des Manipulators bestimmt wurde.
Ferner umfasst das Verfahren ein Ansteuern des Manipulators in Reaktion auf das Feststellen, dass der Handvektor durch einen bzw. den Schnittpunkt am Manipulator verläuft. Der Manipulator wird somit mittels der Hand gesteuert, wenn die Hand in einer bestimmten Ausrichtung bzw. Orientierung zu dem Manipulator ist. Erst wenn der definierte Handvektor den Manipulator trifft, wird der Manipulator in Reaktion hierauf angesteuert. Beispielsweise kann der Manipulator dabei derart angesteuert werden, dass er dem Handvektor ausweicht.
Es wird somit mittels des Handvektors bestimmt, ob der Manipulator durch das Handverfahren gesteuert werden soll, bzw. ob der Bediener den Manipulator steuern will. Dabei kann insbesondere festgestellt werden, welcher Teil des Manipulators unter Berücksichtigung des Schnittpunktes angesteuert werden soll. Durch das Modellieren der Hand kann zuverlässig festgestellt werden, wie der Manipulator gemäß den Vorgaben des Bedieners angesteuert werden soll. Die Handsteuerung ist dabei unabhängig von einer internen Sensorik des Manipulators und seiner Größe.
Zusätzlich zu der Hand kann auch der entsprechende Arm oder Unterarm erfasst und modelliert werden, um die Ergebnisse zu verbessern bzw. um auch bei schlechter Erfassbarkeit der Hand ein genaues Steuern des Manipulators zu ermöglichen. Der Fachmann versteht dabei, dass die Position und Orientierung der Hand aus der Stellung des Arms grob abgeleitet werden kann. Ferner kann das Verfahren auch verwendet werden, in dem mehrere Hände erfasst werden und der Manipulator gemäß der Steuervorgabe dieser Hände gesteuert wird. Bei redundanten Manipulatoren ist es somit vorzugsweise auch möglich, die Redundanzen des Manipulators durch entsprechende Handvorgaben zu beeinflussen. Wenn ein Manipulator viele Freiheitsgrade in seiner Bewegung aufweist, können diese bedienfreundlich durch beide Hände gesteuert werden.
Vorzugsweise können mehrere Handvektoren gebildet werden, die hinsichtlich desselben oder auch verschiedener Referenzpunkte definiert sein können. Beispielsweise kann ein erster Handvektor orthogonal durch die Mitte der Handinnenfläche verlaufen, während ein zweiter Handvektor entlang eines ausgestreckten Zeigefingers verlaufen kann. Der erste Handvektor kann dabei orthogonal zum zweiten Handvektor stehen. Das Ansteuern des Manipulators kann unter Berücksichtigung des ersten und/oder zweiten Handvektors erfolgen. Beispielsweise kann somit auch die Orientierung des Manipulators durch die Hand verändert werden, indem die Ausrichtungen der Handvektoren als entsprechende Steuervorgabe berücksichtigt werden.
Vorzugsweise umfasst die Sensorik ein Bildverarbeitungssystem, welches vorzugsweise eine Kamera und eine Bildverarbeitungseinheit aufweist. Das Erfassen der Steuervorgaben einer Hand bzw. der Hand selber erfolgt vorzugsweise mittels Bildverarbeitung. Mittels einer solchen Sensorik kann die Hand erfasst werden, z. B. optisch, und die resultierenden Signale, z. B. die aufgenommenen Bilder, verarbeitet und letztendlich in entsprechende Steuersignale umgesetzt werden. Dabei können bestimmte Algorithmen verwendet werden, um die Steuervorgaben einer Hand im Sinne der vorliegenden Erfindung erkennen zu können. Weiter vorzugsweise ermöglicht die Sensorik ein Verfolgen der Hand, sodass beispielsweise eine Handbewegung erkannt werden kann. Die Sensorik kann dabei insbesondere als Tracking-System ausgestaltet sein, mit welcher die Position und/oder Orientierung einer Hand zeitlich verfolgt werden kann. Die Sensorik kann dabei beispielsweise eine IR-Kamera und entsprechende Lichtquelle umfassen. Die Sensorik kann auch mehrere Kameras umfassen, um mehrere Bereiche abzudecken, beispielsweise auf verschiedenen Seiten des Manipulators. Vorzugsweise umfasst die Sensorik eine tragbare oder mobile Kamera, welche selbstlokalisierend ausgestaltet sein kann. Dabei kann sich die tragbare oder mobile Kamera beispielsweise über ein ortsfestes Trackingsystem lokalisieren.
Vorzugsweise wird der Handvektor derart gebildet, dass er orthogonal zu einer Handinnenfläche der Hand steht. Der vordefinierte Referenzpunkt der Hand liegt dabei vorzugsweise in der Handinnenfläche. Dadurch kann ein Bediener intuitiv mittels einer ausgestreckten Hand den Manipulator steuern. Durch entsprechendes Ausrichten seines Handtellers kann der Bediener präzise den Manipulator ansteuern, insbesondere da der Bediener den Verlauf bzw. die Ausrichtung des virtuellen Handvektors erfassen bzw. abschätzen kann.
Vorzugsweise umfasst das Verfahren ferner ein Feststellen, dass ein Handsteuermodus aktiviert ist, und wobei das Ansteuern des Manipulators in Reaktion auf das Feststellen erfolgt, dass der Handsteuermodus aktiviert ist. Somit ist es möglich, ein ungewolltes Ansteuern des Manipulators durch irgendeine Handbewegung zu verhindern. Erst nachdem der Handsteuermodus aktiviert wird, kann der Manipulator per Hand bzw. durch die Steuervorgaben der Hand gesteuert werden. Somit wird die Sicherheit des Verfahrens erhöht.
Vorzugsweise umfasst das Verfahren ferner ein Bestimmen eines Abstandes zwischen der Hand und dem Manipulator. Insbesondere vorzugsweise ist der Abstand ein minimaler Abstand zwischen der Hand und einem Teil des Manipulators. Es kann somit beispielsweise der Abstand zwischen dem vordefinierten Referenzpunkt an der Hand und der Stelle an der Manipulatorstruktur ermittelt werden, welche sich am nächsten zu dem vordefinierten Referenzpunkt der Hand befindet. Es kann auch der Abstand zwischen dem vordefinierten Referenzpunkt und dem Schnittpunkt des Handvektors mit dem Manipulator bestimmt werden. Ferner vorzugsweise kann unter Berücksichtigung dieses Abstandes ein geeignetes Ansteuern des Manipulators erfolgen, wobei beispielsweise dieser bestimmte Abstand durch das Ansteuern eingehalten, verringert oder vergrößert werden kann.
Ferner vorzugsweise umfasst das Feststellen, dass der Handsteuermodus aktiviert ist, ein Feststellen, dass der bestimmte Abstand kleiner ist als ein Schwellenwert. Der Schwellenwert kann dabei als vordefinierter Schwellenwert bereitgestellt werden. Insbesondere vorzugsweise liegt der Schwellenwert im Bereich von 0 cm bis 200 cm, weiter vorzugsweise im Bereich von 1 cm bis 100 cm, weiter vorzugsweise im Bereich von 2 cm bis 50 cm, weiter vorzugsweise im Bereich von 3 cm bis 25 cm, weiter vorzugsweise im Bereich von 4 cm bis 10 cm und am meisten bevorzugt im Bereich von 5 cm bis 7 cm. Somit kann der Handsteuermodus präzise durch Annähern der Hand an die Manipulatorstruktur bzw. den Manipulator aktiviert werden. Der Fachmann versteht, dass die Werte kombiniert werden können, sodass der Schwellenwert beispielsweise im Bereich von 0 cm bis 5 cm liegen kann. Beispielsweise kann der Schwellenwert 6 cm betragen. Erst wenn sich die Hand auf 6 cm an die Manipulatorstruktur angenähert hat, wird der Handsteuermodus aktiviert. Wenn der Handvektor nun den Manipulator trifft, wird der Manipulator entsprechend angesteuert. In einem anderen Beispiel, mit einem Schwellenwert von 0 cm, muss die Manipulatorstruktur durch die Hand berührt werden, um den Handsteuermodus zu aktivieren. So wird beispielsweise ermöglicht, den Manipulator intuitiv in eine bestimmte Richtung zu drücken, ohne dass hierfür Kraft-Moment-Sensoren an der Manipulatorstruktur notwendig sind um die Bewegungsvorgabe zu erfassen. Der Manipulator kann dabei wie ein sensitiver Manipulator per Hand gesteuert werden. Das Verfahren ermöglicht somit eine kosteneffiziente und intuitive Handsteuerung.
Insbesondere vorzugsweise umfasst das Feststellen, dass der Handsteuermodus aktiviert ist, ein Feststellen, dass der Handsteuermodus manuell über einen Schalter aktiviert ist. Beispielsweise kann ein Wipp-Schalter eingesetzt werden, um den Handsteuermodus zu aktivieren. Mittels des Schalters können auch verschiedene Aktivierungszustände eingestellt werden, um beispielsweise eine entsprechende Reaktion bzw. einen entsprechenden Ansteuerungsmodus einzustellen. Beispielsweise kann zwischen einem Drücken- und Ziehen-Modus des Manipulators umgeschaltet werden, wobei der Manipulator mittels der Hand gedrückt oder gezogen werden kann.
Vorzugsweise erfolgt das Ansteuern derart, dass sich der Schnittpunkt am Manipulator von der Hand wegbewegt. In einer anderen bevorzugten Ausführungsform kann sich der Manipulator auch derart bewegen, dass sich der Schnittpunkt zu der Hand hinbewegt. Somit kann ein Drücken oder Ziehen des Manipulators durch die Hand simuliert werden, indem sich der Manipulator von der Hand wegbewegt oder zu ihr hinbewegt. Durch Umschalten, beispielsweise mittels eines Schalters oder Handgestik, kann vorzugsweise zwischen diesen Modi gewechselt werden.
Vorzugsweise weist das Verfahren weiter ein Bestimmen des Schnittpunktes am Manipulator auf. Somit kann ein präzises Ansteuern des Manipulators gemäß den Steuervorgaben des Bedieners ermöglicht werden. Beispielsweise kann der Manipulator derart angesteuert werden, dass sich der bestimmte Schnittpunkt von der Hand wegbewegt, zu ihr hinbewegt, oder einer seitlichen Bewegung der Hand folgt. Insbesondere vorzugsweise erfolgt das Ansteuern des Manipulators derart, dass sich der Schnittpunkt entlang des Handvektors bewegt. Der Bediener kann somit mittels seiner Handstellung präzise vorgeben, wie sich der Manipulator bewegen soll. Wenn beispielsweise der Handvektor orthogonal zur Handinnenfläche steht, kann der Bediener mittels seiner Hand präzise gewünschte Strukturen des Manipulators wegbewegen, wobei der Bediener die Richtung intuitiv vorgeben kann.
Vorzugsweise erfolgt das Ansteuern derart, dass der Ansteuerungsgrad reziprok zu dem bestimmten Abstand ist. Beispielsweise kann der Manipulator dabei so geregelt werden, als würde auf den Manipulator entlang des Handvektors eine Kraft wirken, welche reziprok zur Entfernung zwischen dem Manipulator bzw. der Manipulatorstruktur und der Hand ist. Bei kürzerem Abstand bewegt sich der Manipulator somit schneller als bei einem weiteren Abstand. Beispielsweise kann der Manipulator dabei so geregelt werden, als würde er der Kraft ausweichen oder ihr folgen. Somit kann durch den Abstand zwischen der Hand und dem Manipulator intuitiv durch den Bediener vorgegeben werden, wie stark bzw. schnell sich der Manipulator bewegen soll. Ein Anfassen des Manipulators ist dabei nicht notwendig.
Vorzugsweise umfasst das Modellieren der erfassten Hand ein Erkennen einer Handgeste der Hand. Durch eine bestimmte Geste, beispielsweise eine bestimmte Fingerstellung, kann eine vordefinierte Funktion des Manipulators aktiviert werden, wie beispielsweise eine Greifen-Funktion des Endeffektors des Manipulators. Ferner kann auch durch die Handgeste zwischen verschiedenen Modi umgeschaltet werden, beispielsweise zwischen dem Drücken-Modus und Ziehen-Modus.
Vorzugsweise umfasst das Verfahren weiter ein Feststellen, dass der Handsteuermodus deaktiviert ist, und ein Beenden des Ansteuerns des Manipulators in Reaktion auf das Feststellen, dass der Handsteuermodus deaktiviert ist. Beispielsweise, wenn der Handsteuermodus über den Abstand zwischen Hand und Manipulator zunächst aktiviert wurde, kann der Handsteuermodus durch Vergrößern des Abstandes zwischen der Hand und dem Manipulator wieder deaktiviert werden. Wenn sich beispielsweise der Manipulator in Folge des Ansteuerns von der Hand so weit entfernt, dass der Abstand zwischen der Hand und dem Manipulator wieder größer ist als der Schwellenwert, wird der Handsteuermodus deaktiviert und das Ansteuern des Manipulators beendet. Dadurch wird die Sicherheit und Bedienfreundlichkeit weiter erhöht.
Vorzugsweise umfasst das Verfahren weiterhin ein Bereitstellen eines Manipulatormodells, welches den Manipulator repräsentiert. Dabei erfolgen zumindest das Bestimmen der relativen Orientierung der Hand zum Manipulator (und evtl. auch das Bestimmen der Position der Hand hinsichtlich des Manipulators) und das Feststellen, dass der Handvektor durch einen Schnittpunkt am Manipulator verläuft, vorzugsweise mittels des Manipulatormodells. Es kann demnach sowohl ein Modell des Manipulators als auch ein Modell der Hand verwendet werden, und diese jeweils in Bezug zueinander gebracht werden. Die einzelnen Schritte können dabei mittels dieser Modelle durchgeführt werden, um letztendlich den Manipulator anzusteuern. Der Fachmann versteht somit, dass der Handvektor nicht durch einen Schnittpunkt am Manipulator selbst verlaufen muss, sondern beispielsweise das Manipulatormodell schneiden kann, welches den Manipulator repräsentiert. Auch die übrigen bevorzugten Schritte, wie beispielsweise das bestimmen des Abstandes zwischen der Hand und dem Manipulator, können mittels solcher Modelle erfolgen. Hierzu können das Handmodell und das Manipulatormodell im selben Koordinatensystem bereitgestellt sein, oder entsprechend transformiert werden. Vorzugsweise wird das Manipulatormodell entsprechend der momentanen Manipulatorkonfiguration aktualisiert. Das Manipulatormodell basiert dabei vorzugsweise auf bereitgestellten Daten der Manipulatorsteuerung, sodass ein präzises Steuern anhand aktueller Informationen möglich ist.
Das Verfahren wird dabei vorzugsweise in einer entsprechenden Recheneinheit ausgeführt, welche in der Sensorik und/oder der Manipulatorsteuerung implementiert sein kann oder separat zu dieser bereitgestellt sein kann. Die Sensorik, Recheneinheit und Manipulatorsteuerung stehen dabei vorzugsweise in Kommunikation zueinander, wobei die Kommunikation drahtlos und/oder kabelgebunden sein kann. Einzelne Schritte werden dabei vorzugsweise zu jedem Iterationstakt durchgeführt, sodass eine genaue Steuerung ohne Verzögerung durchgeführt werden kann.
Weiterhin betrifft die vorliegende Erfindung ein System zum Steuern eines Manipulators, welches Sensorik zum Erfassen von Steuervorgaben einer Hand aufweist. Das System ist dabei eingerichtet, ein Verfahren zum Steuern des Manipulators gemäß den obigen Ausführungen durchzuführen.
4. Beschreibung bevorzugter Ausführungsbeispiele
Im Folgenden wird die vorliegende Erfindung unter Bezugnahme auf die beiliegenden Figuren näher beschrieben. Dabei sind gleiche Elemente mit gleichen Bezugszeichen gekennzeichnet. Die 1–3 zeigen ein System zum Steuern eines Manipulators gemäß einer Ausführungsform.
Die 1 zeigt ein System zum Steuern eines Manipulators. Das System umfasst dabei einen Manipulator 10, welcher als ortsfester Manipulator 10 ausgebildet ist und einen Endeffektor 11 aufweist. Der Manipulator 10 ist in einer ersten Pose. Ferner ist eine Sensorik 20 zum Erfassen von Steuervorgaben einer Hand bereitgestellt. Die Sensorik 20 umfasst dabei eine Kamera 21 und eine Bildverarbeitungseinheit 22, welche erlauben, eine Hand zu erfassen, zu erkennen und deren Bewegung zu verfolgen. Die Sensorik 20 ist dabei mit dem Manipulator 10 und seiner Steuerung verbunden, sodass mittels der Sensorik 20 letztlich der Manipulator 10 gemäß den Steuervorgaben einer Hand gesteuert werden kann.
In der dargestellten Situation erfasst die Sensorik 20 eine Hand 30. Basierend auf einem in der Sensorik 20 hinterlegten Handmodell kann durch die Sensorik 20 die Hand 30 modelliert werden. Dabei kann erkannt werden, dass die Hand 30 wie dargestellt geöffnet und gestreckt ist. Beim Modellieren der Hand 30 wird anhand des Handmodells ein Handvektor 40 gebildet, welcher durch einen vordefinierten Referenzpunkt 41 an der Hand verläuft. Dieser Referenzpunkt 41 ist somit fest mit der Hand 30 bzw. dem Handmodell verknüpft, und kann, wie dargestellt, in der Mitte der Innenfläche der Hand 30 liegen. Der virtuell gebildete Handvektor 40 steht orthogonal zu der Handinnenfläche und wird unabhängig von dem Manipulator 10 gebildet.
Dem System ist ebenfalls ein Modell des Manipulators 10 bereitgestellt. Somit ist die Position der Hand 30 und die des Manipulators 10 bekannt. Durch Bestimmen der Orientierung der Hand 30 kann festgestellt werden, ob der Handvektor 40, der fest mit der Hand 30 verknüpft ist, die Struktur des Manipulators 10 trifft bzw. diese kreuzt. In der in 1 dargestellten Situation ist dies der Fall: Der Handvektor 40 verläuft durch einen Schnittpunkt 42 am Manipulator 10.
Ferner wird der Abstand zwischen dem vordefinierten Referenzpunkt 41 an der Hand 30 und dem Schnittpunkt 42 am Manipulator 10 berechnet. In der in 1 dargestellten Situation ist der Abstand größer als ein vordefinierter Schwellenwert, sodass ein Handsteuermodus deaktiviert ist, und der Manipulator 10 nicht durch die Hand 30 gesteuert wird.
Durch Annähern der Hand 30 an den Manipulator 10, wie durch den Pfeil 31 dargestellt, kann der Schwellenwert unterschritten werden, wodurch der Handsteuermodus aktiviert wird. Diese Situation ist in 2 dargestellt.
In 2 hat sich die Hand 30 soweit an den Manipulator 10 angenähert, dass der Abstand zwischen der Hand 30 und dem Manipulator 10 nun geringer ist als der Schwellenwert. Durch wird der Handsteuermodus aktiviert. Da der Handvektor 40 weiterhin den Manipulator 10 trifft, was mittels der Sensorik 20 erkannt wird, wird der Manipulator 10 bei aktiviertem Handsteuermodus entsprechend angesteuert. Wie durch den Pfeil 12 dargestellt, wird der Manipulator 10 derart angesteuert, dass sich der Schnittpunkt 42 des Manipulators 10 entlang des Handvektors 40 von der Hand 30 wegbewegt. Der Fachmann versteht, dass der Schnittpunkt 42 der Manipulatorstruktur nicht präzise entlang des Handvektors 40 verlaufen muss. Basierend beispielsweise auf einer gewissen Steifigkeit des Manipulators 10 kann die Bewegung des Schnittpunkts 42 des Manipulators 10 auch in einem Winkel relativ zu dem Handvektor 40 verlaufen, jedenfalls entfernt sich dadurch der Manipulator 10 bzw. der Schnittpunkt 42 an der Manipulatorstruktur von der Hand 30.
In der in 3 dargestellten Situation hat sich der Manipulator 10 von der Hand 30 entfernt, und hat eine zweite Pose eingenommen. Der Schnittpunkt 42 am Manipulator 10 ist nun wieder soweit von dem vordefinierten Referenzpunkt 41 der Hand 30 entfernt, dass der Handsteuermodus deaktiviert ist. Durch erneutes Annähern der Hand 30 an den Manipulator 10 kann wieder eine Steuervorgabe durch die Hand 30 vorgegeben werden, wodurch sich der oben beschriebene Ablauf wiederholen würde.
Die Regelung des Manipulators 10 erfolgt vorzugsweise mittels Positionsregelung, oder auch mittels Operational Space Control, bei welcher die Motormomente des Manipulators 10 geregelt werden. In beiden Fällen wird dabei eine Gravitationskompensation implementiert.
In einer anderen Ausführungsform kann sich der Manipulator 10 auch auf die Hand 30 zu hinbewegen, wenn die entsprechenden Kriterien erfüllt sind. In einer weiteren Ausführungsform kann auch festgelegt sein, dass der Abstand zwischen dem Manipulator 10 und der Hand 30 konstant bleibt. In einer weiteren Ausführungsform kann auch der bestimmte Schnittpunkt 42 zwischen Manipulator 10 und Handvektor 40 fest relativ zu dem Handvektor 40 und der Hand 30 gekoppelt bleiben, sodass der Manipulator 10 infolge einer seitlichen Bewegung der Hand 30 derart angesteuert wird, dass sich der Schnittpunkt 42 an der Manipulatorstruktur zusammen mit der Hand 30 seitlich bewegt.
Bezugszeichenliste

10: Manipulator
11: Endeffektor
12: Bewegung des Manipulators
20: Sensorik
21: Kamera
22: Bildverarbeitungseinheit
30: Hand
31: Bewegung der Hand
40: Handvektor
41: Referenzpunkt an der Hand
42: Schnittpunkt am Manipulator

Claims

Verfahren zum Steuern eines Manipulators (10) unter Verwendung einer Sensorik (20) zum Erfassen von Steuervorgaben einer Hand (30), aufweisend: Erfassen der Hand (30) mittels der Sensorik (20); Modellieren der Hand (30), umfassend ein Bilden eines Handvektors (40), welcher durch einen vordefinierten Referenzpunkt (41) der Hand (30) verläuft; Bestimmen der relativen Orientierung der Hand (30) zum Manipulator (10); Feststellen, unter Berücksichtigung der bestimmten relativen Orientierung, dass der Handvektor (40) durch einen Schnittpunkt (42) am Manipulator (10) verläuft; Ansteuern des Manipulators (10) in Reaktion auf das Feststellen, dass der Handvektor (40) durch einen Schnittpunkt (42) am Manipulator (10) verläuft.
Verfahren nach Anspruch 1, wobei der Handvektor (40) derart gebildet wird, dass er orthogonal zu einer Handinnenfläche der Hand (30) steht.
Verfahren nach Anspruch 1 oder 2, ferner aufweisend ein Feststellen, dass ein Handsteuermodus aktiviert ist, und wobei das Ansteuern des Manipulators (10) in Reaktion auf das Feststellen erfolgt, dass der Handsteuermodus aktiviert ist.
Verfahren nach einem der Ansprüche 1–3, ferner aufweisend ein Bestimmen eines Abstandes zwischen der Hand (30) und dem Manipulator (10), wobei der Abstand vorzugsweise ein minimaler Abstand zwischen der Hand (30) und einem Teil des Manipulators (10) ist.
Verfahren nach Anspruch 4 in Kombination mit Anspruch 3, wobei das Feststellen, dass der Handsteuermodus aktiviert ist, ein Feststellen umfasst, dass der bestimmte Abstand kleiner als ein Schwellenwert ist, wobei der Schwellenwert vorzugsweise im Bereich von 0–200 cm, weiter vorzugsweise im Bereich von 1–100 cm, weiter vorzugsweise im Bereich von 2–50 cm, weiter vorzugsweise im Bereich von 3–25 cm, weiter vorzugsweise im Bereich von 4–10 cm und am meisten bevorzugt im Bereich von 5–7 cm liegt.
Verfahren nach einem der Ansprüche 3–5, wobei das Feststellen, dass der Handsteuermodus aktiviert ist, ein Feststellen umfasst, dass der Handsteuermodus manuell über einen Schalter aktiviert ist.
Verfahren nach einem der Ansprüche 1–6, wobei das Ansteuern derart erfolgt, dass sich der Schnittpunkt (42) am Manipulator (10) von der Hand (30) wegbewegt.
Verfahren nach einem der Ansprüche 1–7, ferner aufweisend ein Bestimmen des Schnittpunktes (42) am Manipulator (10).
Verfahren nach Anspruch 8, wobei das Ansteuern des Manipulators (10) derart erfolgt, dass sich der bestimmte Schnittpunkt (42) entlang des Handvektors (40) bewegt.
Verfahren nach einem der Ansprüche 4–9, wobei das Ansteuern derart erfolgt, dass der Ansteuerungsgrad reziprok zu dem bestimmten Abstand ist.
Verfahren nach einem der Ansprüche 1–10, wobei das Modellieren der Hand (30) ein Erkennen einer Handgeste der Hand (30) umfasst.
Verfahren nach einem der Ansprüche 3–11, weiter aufweisend ein Feststellen, dass der Handsteuermodus deaktiviert ist und Beenden des Ansteuerns des Manipulators (10) in Reaktion auf das Feststellen, dass der Handsteuermodus deaktiviert ist.
Verfahren nach einem der Ansprüche 1–12, wobei die Sensorik (20) ein Bildverarbeitungssystem mit einer Kamera (21) und einer Bildverarbeitungseinheit (22) umfasst, und wobei das Erfassen der Hand (30) mittels Bildverarbeitung erfolgt, wobei die Sensorik (20) vorzugsweise ein Verfolgen der Hand (30) ermöglicht.
Verfahren nach einem der Ansprüche 1–13, weiterhin aufweisend ein Bereitstellen eines Manipulatormodells, welches den Manipulator (10) repräsentiert, und wobei das Bestimmen der relativen Orientierung der Hand (30) zu Manipulator (10) und das Feststellen, dass der Handvektor (40) durch einen Schnittpunkt (42) am Manipulator (10) verläuft, mittels des Manipulatormodells erfolgen.
System zum Steuern eines Manipulators (10), aufweisend Sensorik (20) zum Erfassen von Steuervorgaben einer Hand (30), und wobei das System eingerichtet ist, ein Verfahren nach einem der Ansprüche 1–14 durchzuführen.