DE102010021607B4 - Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern - Google Patents
Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern Download PDFInfo
- Publication number
- DE102010021607B4 DE102010021607B4 DE102010021607.0A DE102010021607A DE102010021607B4 DE 102010021607 B4 DE102010021607 B4 DE 102010021607B4 DE 102010021607 A DE102010021607 A DE 102010021607A DE 102010021607 B4 DE102010021607 B4 DE 102010021607B4
- Authority
- DE
- Germany
- Prior art keywords
- hand
- contact
- model
- contact state
- measurement model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33028—Function, rbf radial basis function network, gaussian network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39531—Several different sensors integrated into hand
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40541—Identification of contact formation, state from several force measurements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40553—Haptic object recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40564—Recognize shape, contour of object, extract position and orientation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40606—Force, torque sensor in finger
Abstract
Description
- HINTERGRUND DER ERFINDUNG
- 1. Gebiet der Erfindung
- Diese Erfindung betrifft allgemein ein System und ein Verfahren zum Detektieren des Zustands von Objekten unter Verwendung von Sensoren, die in eine Roboterhand eingebaut sind, und insbesondere ein System und ein Verfahren zum Detektieren des Zustands von Objekten unter Verwendung von Partikel-Filtern zum Schätzen von Kontaktzuständen zwischen einer Roboterhand und einem Objekt.
- 2. Erörterung der verwandten Technik
- Es hat sich herausgestellt, dass die autonome geschickte Manipulation ein anspruchsvolles Gebiet für die Roboterforschung ist. Obwohl viele mechanisch ausgeklügelte Roboterhände entwickelt wurden, ist es schwierig, genau zu überwachen, wie der Manipulator und das Objekt, das er ergreift, in Kontakt treten. Es ist reizvoll, die Überwachung des Hand-Objekt-Zustands auf visuelle Weise unter Verwendung einer Kamera, die an einer separaten Schwenkneigeplattform montiert ist, zu versuchen. Während des Verlaufs der Manipulation auftretende Verdeckungen erschweren jedoch eine Lokalisierung des Objektmerkmals, das kontaktiert wird. Stattdessen können taktile Sensoren, die nahe beim Kontaktpunkt der Roboterhand angeordnet sind, in der Lage sein, den Hand-Objekt-Zustand genauer zu lokalisieren.
- Die Partikel-Filterung ist eine Implementierung eines Bayesschen Zustandsschätzprozesses, der Systemzustände schätzt, indem er eine Reihe von Sensormessungen über die Zeit integriert. Auf dem Gebiet der Roboter wurde die Partikel-Filterung hauptsächlich auf das Problem der Lokalisierung mobiler Roboter angewendet. Es gibt relativ wenige Ansätze zur Anwendung der Partikel-Filterung auf die geschickte Manipulation. Bei einer früheren Forschung wendete ein Forscher die Partikel-Filterung auf eine Aufgabe an, bei der ein Stift in ein Loch eingeführt werden soll. Der Stift wurde durch eine sechsachsige Kraftmesszelle an einem Robotermanipulator montiert. Ein Steuerungssystem bewegte den Stift zu der Oberfläche hin, bis ein Kontakt hergestellt war. Es wurde eine ”Kontakt-Hyperoberfläche” offline beschafft, indem der Manipulator dazu verwendet wurde, eine Karte der Oberfläche zu erzeugen. Während der Lokalisierung brachte das Partikel-Filter-Messmodell Stiftpositionen mit Orten auf der Karte in Übereinstimmung. Der Ansatz wurde auf eine Vorwärtskupplungsanordnung angewendet und eine Lokalisierung von wenigen Millimetern wurde erreicht.
- Bei einer verwandten Arbeit wendete ein anderer Forscher die Partikel-Filterung auf das Problem der Lokalisierung eines geformten unelastischen Objekts an. Ein Greiforgan wurde an einem Manipulator durch eine sechsachsige Kraftmesszelle montiert. Die Kraftmesszelle bewegte sich zum Objekt hin, bis ein Kontakt hergestellt war. Positionsmessungen wurden mit einem analytischen Modell abgeglichen und eine Lokalisierung wurde erreicht. Von dem Forscher wurde ein Verfahren vorgeschlagen, um die Technik auf ein beliebiges trianguliertes Objekt zu erweitern.
- Noch ein anderer Forscher verwendete einen ähnlichen Ansatz, um die Position eines einzigen Kontakts an einer bekannten Oberfläche zu lokalisieren. Wie bei der vorstehenden Arbeit wurde die Lokalisierung ausgeführt, indem eine Kontaktposition gemessen wurde, während der Manipulator die Oberfläche des Objekts berührte. Diese Arbeit verwendete eine aktive Erforschungsstrategie, um den Kontakt zu bewegen, um dadurch die Lokalisierung schneller zu erreichen.
- Die Partikel-Filterung modelliert das System als einen verborgenen Markov-Prozess, bei dem der Systemzustand verborgen ist. Sensormessungen (”Beobachtungen”) können den Zustand teilweise wiederspiegeln. Bei jedem Zeitschritt beginnt das System in einem Zustand yt-1, führt ein Steuerungssignal ut aus und kommt bei einem Zustand yt an, während es eine Beobachtung zt macht. Weil es ein Markov-Prozess ist, sind Übergänge zu zukünftigen Zuständen bedingt unabhängig von allen vorhergehenden Beobachtungen Zt = z1 ... zt und Steuerungssignalen Ut = u1 ... ut.
P(yt|Zt, Ut) (1) - Diese Verteilung wird als der ”Überzeugungszustand” (engl. belief state) bezeichnet.
- Ausgehend von einer willkürlichen (möglicherweise einheitlichen) früheren Verteilung aktualisiert die Partikel-Filterung den Überzeugungszustand bei jedem Zeitschritt auf iterative Weise, indem das letzte Steuerungssignal und die letzte Messung aufgenommen werden. Dies wird in zwei Schritten bewerkstelligt. Der erste Schritt (die Bewegungsaktualisierung) nimmt das aktuellste Steuerungssignal in den Überzeugungszustand auf: wobei die Markov-Annahme die Vereinfachung P(yt|yt-1, ut) = P(yt-1|Ut) ermöglicht und es möglich ist zu folgern, dass P(yt-1|Zt-1, Ut-1) = P(yt-1|Zt-1, Ut), weil der aktuelle Zustand von zukünftigen Kontaktsignalen unabhängig ist.
-
- Wobei η = P(zt|Zt-1, Ut) als konstant angenommen wird. Die Markov-Annahmen ermöglichen die Gleichheit P(zt|yt) = P(Zt|yt, Zt-1, Ut).
- Statt die Überzeugungszustandsverteilung explizit zu speichern, hält das Partikel-Filter einen finiten Satz von k Punkten St = s
l / t k / t - 1. für alle s
J / t - 2. s
J / t' J / t - 3. wJ = ηP(zt|s
j / t' - 4. St+1 von St gemäß den Gewichten W = w1 ... wk neu abtasten.
- In Schritt 2 wird jedes Partikel stochastisch gemäß einer Bewegungsaktualisierungs-Funktion verschoben, die implizit P(yt|yt-1, ut) kodiert. Bei Schritt 3 wird jedes der Partikel in Übereinstimmung damit gewichtet, wie wahrscheinlich die Beobachtung von dem neuen Zustand aus ist. Schließlich erzeugt Schritt 4 einen aktualisierten Satz von k Partikeln St+1, indem von St im Verhältnis zu den Gewichten W abgetastet wird.
- Die Druckschrift
JP 2009-107 043 A - In der Druckschrift
JP 2007-285 784 A - Die Druckschrift
JP 2007-160 490 A - In der Druckschrift
JP 2004-160 594 A - Die Druckschrift
DE 10 2007 053 485 A1 offenbart eine Roboterhand mit mehreren Fingern, die die Art des Haltens eines Objekts verändern kann, wobei jeder Finger so gesteuert wird, dass bei der Veränderung einer Kraft, die von einem der Finger auf das gehaltene Objekt ausgeübt wird, eine Bedingung stabilen Greifens erfüllt ist, sodass die Summe aller von den Fingern auf das Objekt ausgeübten Kräften und Momenten Null ist. - In der Druckschrift
DE 10 2007 001 263 A1 ist ein Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten offenbart, das eine Greifereinheit und eine Steuereinheit umfasst. Die Steuereinheit bestimmt ein Lademuster für die auf dem Lademittel anzuordnenden Stückguteinheiten derart, dass instabile Lademuster vermieden werden, indem sie mindestens eine Kenngröße für die Stabilität des Lademusters bestimmt. - Die Aufgabe der Erfindung besteht darin, die Stelle, Orientierung und Gestalt eines Objekts zu identifizieren, das von einer Roboterhand berührt wird.
- Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelöst.
- ZUSAMMENFASSUNG DER ERFINDUNG
- Gemäß den Lehren der vorliegenden Erfindung wird ein Verfahren zum Identifizieren der Stelle, der Orientierung und der Gestalt eines Objekts offenbart, das von einer Roboterhand berührt wird, welches umfasst, dass ein Partikel-Filter verwendet wird. Das Verfahren umfasst, dass ein geeignetes Bewegungsmodell und ein Messungsmodell definiert werden. Das Bewegungsmodell charakterisiert die Bewegung der Roboterhand, während sie sich relativ zum Objekt bewegt. Das Messungsmodell schätzt die Wahrscheinlichkeit einer Beobachtung einer Kontaktposition, Geschwindigkeit und taktilen Sensorinformation gegebener Hand-Objekt-Zustände. Das Messungsmodell wird auf der Grundlage eines geometrischen Modells oder auf der Grundlage einer Sammlung von Trainingsdaten analytisch angenähert. In jedem Fall ist die Messungsmodellverteilung als eine Gauss-Funktion oder unter Verwendung radialer Basisfunktionen kodiert.
- Zusätzliche Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beiliegenden Zeichnungen.
- KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt eine flexible Kunststofffolie, die einen Einschluss enthält; und -
2 ist eine Veranschaulichung einer Roboterhand, die den Einschluss in der in1 gezeigten Kunststofffolie unter Verwendung eines Prozesses detektiert, der Partikel-Filter einsetzt, um Kontaktzustandsschätzungen zwischen den Fingern der Hand und dem Einschluss bereitzustellen. - GENAUE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
- Die folgende Erörterung der Ausführungsformen der Erfindung ist auf ein System und ein Verfahren gerichtet, die eine Partikel-Filterung verwenden, um Zustandsschätzungen bereitzustellen, um den Ort, die Orientierung und die Gestalt eines Objekts zu identifizieren, das eine Roboterhand berührt. Fachleute werden jedoch feststellen, dass die vorliegende Erfindung Anwendungen in anderen Gebieten als der Robotik haben kann.
- Getrieben von der Tatsache, dass Menschen stark auf eine Erfassung einer Berührung bei der Manipulation vertrauen, umfasst die vorliegende Erfindung ein Verfahren zum Verwenden von Kraft- oder haptischen Sensoren, die in einer Roboterhand montiert sind, um den Hand-Objekt-Zustand zu schätzen. Die Erfindung schlägt die Verwendung einer Kombination von Kontaktpositions-, Kontaktgeschwindigkeits- und Kraftsensormessungen vor, um einen Kontaktzustand zwischen der Roboterhand und einem Objekt zu identifizieren. Es werden drei Ausführungsformen der Erfindung erörtert. Bei der ersten ist ein Messungsmodell eine Gauss-Funktion mit einem Mittelwert und einer Kovarianz, die aus einer Sammlung von Trainingsdaten abgeleitet werden, welche offline beschafft wurden. Bei der zweiten wird die Verteilung durch eine Mischung von k Gausschen radialen Basisfunktionen modelliert, die aus Trainingsdaten berechnet werden. Bei der dritten wird das Messungsmodell unter Verwendung eines geometrischen Modells und von Annahmen hinsichtlich der Verteilung eines Messungsrauschens auf analytische Weise berechnet.
- Alle Ausführungsformen der Erfindung verwenden das gleiche Bewegungsmodell und die gleiche Darstellung des Systemzustands. Das Bewegungsmodell ist durch eine Funktion implementiert, welche die Partikel gemäß der Wahrscheinlichkeitsverteilung P(yt|yt-1, ut) stochastisch verschiebt, siehe Gleichung (4). Da es schwierig sein kann, eine Manipulatorbewegung als eine Funktion von ut, den befohlenen Stellgliedrehmomenten, zu modellieren, wird das Modell vereinfacht, indem stattdessen eine Messung der Manipulatorgeschwindigkeit behandelt wird. Obwohl diese Näherung die Trägheitsdynamik des Manipulators nicht berücksichtigt, ist sie für die Zwecke der Erfindung genau genug. Das Bewegungsmodell wird berechnet, indem der Raum von Manipulatorgeschwindigkeiten marginalisiert wird, die von dem Befehlssignal erzeugt werden können, zu:
-
- Im Kontext der Erfindung ist der Hand-Objekt-Zustand aus der relativen Pose α von Hand zu Objekt der Objektgestalt β zusammengesetzt zu:
y = α, β (6) - Wobei angenommen wird, dass α eine Pose in exponentiellen Koordinaten beschreibt.
- Wenn sich die Hand relativ zum Objekt bewegt, verändert sich die Pose von Hand zu Objekt in einer affinen Transformation zu:
αt+1 = R(q .)αt + a(q .) (7) - Wobei R(q .) und a(q .) die Veränderung bei der relativen Orientierung und Position beschreiben, die durch die Bewegung verursacht wird. Das von dem Partikel-Filter verwendete Bewegungsmodell berechnet den erwarteten Hand-Objekt-Zustand auf stochastische Weise, nachdem sich der Manipulator mit einer Geschwindigkeit von q . für die Dauer der Partikel-Filter-Aktualisierungsperiode bewegt hat.
- Das Messungsmodell beschreibt die Wahrscheinlichkeit von Sensormessungen z als eine Funktion des Systemzustands y. Diese Erfindung verwendet Messungen von Kontaktposition, -geschwindigkeit und -kraft. Diese Messungen werden implizit an einem Mechanismus zum Suchen und Beibehalten eines Objektkontakts mit der Hand festgelegt. Es wird angenommen, dass die Hand im Verlauf einer gegebenen Manipulation einer Montageaufgabe einen teilweisen Objektkontakt herstellt. An diesem Punkt kann die Nachgiebigkeit in der Hand und im Arm verwendet werden, um die Anzahl der Kontakte zu verbessern und auszudehnen. Eine Nachgiebigkeit kann erreicht werden, indem eine mechanische Nachgiebigkeit verwendet wird, die in die Hand oder in ein aktives Drehmomentsteuerungssystem eingebaut ist. Zudem muss ein Mechanismus zur Schätzung dessen, wo an der Hand der Kontakt tatsächlich auftritt, existieren. Dies kann durch einen klugen Entwurf der mechanischen Struktur erreicht werden, sodass ein Kontakt immer an der gleichen Stelle auftritt. Alternativ kann dies durch Kontaktkraftsensoren erreicht werden, die auf die Finger aufgebrachte Lasten direkt messen. Wenn die Hand einen Kontakt mit dem Objekt an k Stellen herstellt, dann können die Vektoren von k Kontaktpositionen, -geschwindigkeiten und -kräften als x = (x1, ..., xk), v = (v1, ..., vk) bzw. f = (f1, ..., fk) bezeichnet werden. Eine Schätzung von Kontaktpositionen x ^ ist verfügbar, indem bestimmt wird, welche Punkte an dem Manipulator das Objekt berühren (unter Verwendung von Kraftsensoren oder durch einen klugen Entwurf der Manipulatorstruktur), und indem eine Position unter Verwendung einer früheren Kenntnis der Vorwärtskinematik des Manipulators und von Messungen des Vektors von Gelenkwinkeln q berechnet wird. Eine Schätzung der Kontaktgeschwindigkeiten v ^ kann durch eine Differenzierung des Vorstehenden bestimmt werden. Schließlich können Kontaktkraftsensoren verwendet werden, um eine Funktion von f zu schätzen: γ = h(f). Der kombinierte Vektor von Messungen ist:
z = (x ^, v ^, γ) (8) - Die drei Ausführungsformen der Erfindung verwenden jeweils verschiedene Messungsmodelle. Die erste Ausführungsform modelliert den Messungsvektor z als eine Gauss-Funktion mit Mittelwert und Kovarianz einer Zustandsfunktion als:
P(z|y) = N(z|m(y), S(y)) (9) - Wobei N(z|μ, Σ) die Gaussche Wahrscheinlichkeitsverteilungsfunktion über Messungen z mit einem Mittelwertsvektor und einer Kovarianzmatrix m(y) und S(y) ist.
- Die Parameter m(y) und S(y) werden empirisch aus einer Sammlung von Trainingsdaten bestimmt. Der Roboter tastet den Zustandsraum ausgiebig ab und zeichnet die entsprechenden Messungen auf. m(y) und S(y) werden durch den Mittelwert und die Kovarianz der Abtastung des Satzes der nächstgelegenen k Nachbarn angenähert. Es wird eine Distanzmetrik in einem Zustandsraum definiert, die für dessen Parametrierung geeignet ist. Nk(y) soll der Satz von k Messungen z mit zugehörigen Zuständen sein, die y am Nächsten liegen. Es wird angenommen, dass der Zustandsraum zwischen den Elementen von Nk(y) lokal euklidisch ist, und dann sind der Mittelwert und die Kovarianz der Abtastung:
-
-
- Wobei Sx(y), Sv(y) und Sγ(y) Abtastungskovarianzmatrizen für die Elemente von Nk(y) sind und für jeden Messungstyp separat berechnet sind.
- Eine zweite Ausführungsform der Erfindung nähert das Messungsmodell unter Verwendung radialer Basisfunktionen (RBFs) statt einer Gauss-Funktion an. Die RBF-Parameter werden dennoch auf der Grundlage einer Sammlung von Trainingsdaten bestimmt. Anstatt jedoch einen Mittelwert und eine Kovarianz der Abtastung über einen Satz der nächstgelegenen k Zustandsraumnachbarn zu berechnen, wird die Verteilung als ein Satz von k RBFs modelliert:
- Wobei η eine Normierungskonstante ist und Srbf ein konstanter Kovarianzparameter ist, der vom Schöpfer des Systems gesetzt wird.
- Es lohnt sich, das Gaussche Modell mit dem RBF-Modell zu vergleichen. Der Gaussche Ansatz zur Modellierung von Messungen nimmt an, dass Messungen eine verrauschte Funktion des Systemzustands sind: jeder Zustand ist im Wesentlichen mit einer einzigen ”richtigen” Antwort verbunden. Im Gegensatz dazu kann der RBF-Ansatz eine Verteilung mit mehreren Modellen modellieren. Dies ist angemessen, wenn Ursachen, die außerhalb der Kontrolle oder Beobachtung des Systems liegen, zu einem finiten Satz möglicher Messungen führen können, oder wenn die Mannigfaltigkeit möglicher Messungen keine Gauss-Funktion ist.
- Die Anwendung der vorstehend beschriebenen ersten und zweiten Ausführungsform wird wie folgt veranschaulicht.
1 ist eine Veranschaulichung10 einer flexiblen Kunststofffolie12 , die einen Kunststoffeinschluss14 enthält. Wie nachstehend erörtert wird, kann der Einschluss14 von einer Roboterhand unter Verwendung eines Partikel-Filterungs-Prozesses, der hier erörtert ist, lokalisiert werden, welcher eine Kraftsensormessung mit einem empirischen Modell abgleicht. -
2 ist eine perspektivische Ansicht einer Roboterhand20 , die den Einschluss14 und andere Gestalten, Objekte oder Merkmale unter Verwendung eines Partikel-Filter-Prozesses lokalisieren kann, welcher mit der Erörterung hierin übereinstimmt. Die Roboterhand20 umfasst Roboterfinger22 und einen Roboterdaumen28 , die jeweils Fingergelenkwinkelsensoren24 und Fingergliedsensoren26 zum Erfassen der Objekte aufweisen, von welchen die Messungen durchgeführt werden, um die Merkmale zu identifizieren und eine Hand-Objekt-Schätzung bereitzustellen. Die Roboterhand20 lokalisiert den Einschluss14 in der Kunststofffolie12 , indem sie die Finger22 über die Oberfläche der Kunststofffolie12 gleiten lässt. Während die Finger22 über den Einschluss14 gleiten, verwendet die Roboterhand20 die Fingergelenkwinkelsensoren24 und die Fingergliedsensoren26 , um den Einschluss14 zu lokalisieren. - Eine dritte Ausführungsform berechnet das Messungsmodell analytisch ohne Bezugnahme auf eine Sammlung von Trainingsdaten. Dieser Ansatz kann notwendig sein, wenn die Dimension des Zustandsraums eine angemessene Abtastung der Messungsmodellverteilung verhindert. Es wurde bereits ausgeführt, dass es nicht immer möglich, anzunehmen, dass Messungen eine eindeutige Funktion des Zustands sind. Im Allgemeinen ist es notwendig, zwischen einem Kontaktzustand und einem Hand-Objekt-Zustand zu unterscheiden. Der Hand-Objekt-Zustand wird von dem Partikel-Filter geschätzt. Kontaktmessungen sind jedoch eine eindeutige Funktion des Kontaktzustands. Mehrere Kontaktzustände sind konsistent mit einem gegebenen Hand-Objekt-Zustand. x, v und f sollen die wahre Kontaktposition, -geschwindigkeit und -kraft beschreiben, die auf das Objekt aufgebracht wird. Dann können Messungen x^, v ^ und γ als Rauschfunktionen des wahren Kontaktzustands modelliert werden: P( x^|x) = N( x^|Σx), P(v ^|v) = N(v ^|v, Σv) und P(γ|f) = N(γ|h(f), Σγ), wobei Σx, Σv und Σγ diagonale symmetrische Kovarianzmatrizen sind. Die Gelenkverteilung ist daher:
- Da es schwierig ist, die Raum- und Kontaktkräfte auf analytische Weise zu bewerten, ist es nützlich, das System derart zu beschränken, dass eine angewandte Kraft eine Funktion allein der Kontaktposition und -geschwindigkeit ist. Dies kann erreicht werden, indem eine Kraftregelung verwendet wird, um eine gewünschte Kraftgröße in einer speziellen Richtung aufrecht zu erhalten. In diesem Fall kann ein datengetriebener Ansatz verwendet werden, um P(γ|x, v, y) = ΣfP(γ|f, y)P(f|x, v, y) direkt zu modellieren. Zudem wird angemerkt, dass P(v|x, y) in Gleichung (14) deterministisch ist. Es ist daher möglich, ΣvP(v ^|v, y)P(v|x, y) durch Σv∊Γ(x,y)P(v ^|v, y) zu ersetzen, wobei Γ(x) der Raum von Einheitsvektoren ist, der die Objektoberfläche an der Kontaktposition x berührt, wenn sich das Objekt in der Konfiguration y befindet. Die vorstehenden zwei Ersetzungen ermöglichen die Vereinfachung der Gleichung (14) zu:
- Wobei η = P(x, y) eine Normierungskonstante ist, die zuvor eine Einheit für einen Hand-Objekt-Zustand und Kontaktpositionen kodiert.
- Die Verwendung von Gleichung (15) erfordert die rechentechnisch intensive Summierung über den Satz möglicher Kontaktpositionen und -geschwindigkeiten. Beschränkungen des Bereichsraums von x und v können diese Summierung besser handhabbar machen. Eine andere Alternative besteht darin, die Summierung mit Schätzwerten mit maximaler Wahrscheinlichkeit anzunähern. Wenn Gleichung (15) eine Verteilung mit Spitzenwert ist, dann kann sie angenähert werden durch:
- Wobei
(xmax, vmax) = argmax(x,v)∊X×Γ(x,y)P(γ|x, v, y)P(v ^|v, y)P(x ^|x, y) (17) -
- Die Zylinderlokalisierung ist eine Anwendung einer Hand-Objekt-Zustandsschätzung auf der Grundlage eines analytischen Messungsmodells. Bei diesem Beispiel legt die Roboterhand mehrere Finger um einen Zylinder herum, etwa einen Werkzeuggriff. Die Roboterhand bewegt sich um einen kleinen Betrag an dem Zylinder. Messungen von Kontaktpositionen und -geschwindigkeiten werden an mehreren Kontaktstellen durchgeführt. Gleichung (5) wird verwendet, um die Wahrscheinlichkeit dieser Messungen als eine Funktion des Zustands zu schätzen. Das Partikel-Filter fährt mit einer Lokalisierung der Hauptachsenrichtung und des Radius des Zylinders unter Verwendung dieser Messungen fort. Als Folge bestimmt der Roboter Schlüsselelemente der Zylindergeometrie durch seine haptische Interaktion.
- Die vorstehende Erörterung offenbart und beschreibt rein beispielhafte Ausführungsformen der vorliegenden Erfindung. Aus dieser Erörterung und den beiliegenden Zeichnungen und Ansprüchen wird der Fachmann leicht erkennen, dass vielfältige Veränderungen, Modifikationen und Variationen darin durchgeführt werden können, ohne den Geist und den Umfang der Erfindung zu verlassen, wie er in den folgenden Ansprüchen definiert ist.
Claims (10)
- Verfahren zum Schätzen eines Kontaktzustands zwischen einer Roboterhand und einem von der Roboterhand berührten Objekt unter Verwendung einer Partikel-Filterungs-Technik, wobei das Verfahren ein Bewegungsmodell und ein Messungsmodell umfasst, wobei das Messungsmodell bereitgestellt wird, um die Beziehung zwischen Messungen und dem Kontaktzustand zu beschreiben, wobei die Messungen eine Kontaktposition, -geschwindigkeit und -kraft umfassen und der Kontaktzustand eine Hand-Objekt-Position, eine Hand-Objekt-Orientierung oder eine Objektgestalt umfasst; wobei das Bewegungsmodell die Bewegung der Roboterhand charakterisiert, während sie sich relativ zum Objekt bewegt; und wobei das Messungsmodell in Verbindung mit dem Bewegungsmodell verwendet wird, um die Wahrscheinlichkeit der gegebenen Kontaktzustände zu schätzen.
- Verfahren nach Anspruch 1, wobei das Messungsmodell unter Verwendung eines geometrischen Modells definiert wird, um die Wahrscheinlichkeit einer Kontaktposition und -geschwindigkeit bei einem vorgegebenen Hand-Objekt-Kontaktzustand zu schätzen.
- Verfahren nach Anspruch 2, wobei das Messungsmodell berechnet wird, indem alle möglichen Kontaktpositionen, -geschwindigkeiten und -kräfte summiert werden.
- Verfahren nach Anspruch 3, wobei die Summierung durch eine maximale Wahrscheinlichkeit angenähert wird.
- Verfahren nach Anspruch 1, wobei das Messungsmodell auf der Grundlage einer Sammlung von Trainingsdaten formuliert wird.
- Verfahren nach Anspruch 5, wobei die Trainingsdaten durch eine Gaussche Wahrscheinlichkeitsverteilung mit Mittelwerts- und Kovarianzparametern, die als eine Funktion der Sammlung von Trainingsdaten definiert sind, modelliert werden.
- Verfahren nach Anspruch 6, wobei die Mittelwert- und Kovarianzparameter unter Verwendung der k nächstgelegenen Nachbarn im Hand-Objekt-Zustandsraum definiert werden.
- Verfahren nach Anspruch 7, wobei die Kovarianz zwischen verschiedenen Modalitäten auf Null gesetzt wird.
- Verfahren nach Anspruch 5, wobei die Trainingsdaten unter Verwendung radialer Basisfunktionen modelliert werden.
- Verfahren nach Anspruch 9, wobei die radialen Basisfunktionen unter Verwendung der k nächstgelegenen Nachbarn im Kontaktzustandsraum definiert werden.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/474,068 US8280837B2 (en) | 2009-05-28 | 2009-05-28 | Contact state estimation for multi-finger robot hands using particle filters |
US12/474,068 | 2009-05-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102010021607A1 DE102010021607A1 (de) | 2011-01-20 |
DE102010021607B4 true DE102010021607B4 (de) | 2015-06-25 |
Family
ID=43221364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010021607.0A Active DE102010021607B4 (de) | 2009-05-28 | 2010-05-26 | Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern |
Country Status (3)
Country | Link |
---|---|
US (1) | US8280837B2 (de) |
JP (1) | JP5592703B2 (de) |
DE (1) | DE102010021607B4 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021200569A1 (de) | 2021-01-22 | 2022-07-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Gaußprozess-Zustandsraummodells |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5812940B2 (ja) * | 2011-07-15 | 2015-11-17 | 三菱電機株式会社 | 複数の姿勢においてプローブを用いて物体をプロービングすることによって、物体に対するプローブの姿勢を求める方法およびシステム |
US8706299B2 (en) * | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
US9067319B2 (en) * | 2011-08-11 | 2015-06-30 | GM Global Technology Operations LLC | Fast grasp contact computation for a serial robot |
US10618174B2 (en) * | 2014-12-09 | 2020-04-14 | Aeolus Robotics, Inc. | Robotic Touch Perception |
JP6468871B2 (ja) * | 2015-02-03 | 2019-02-13 | キヤノン株式会社 | ロボットハンド制御方法及びロボット装置 |
JP6348097B2 (ja) * | 2015-11-30 | 2018-06-27 | ファナック株式会社 | ワーク位置姿勢算出装置およびハンドリングシステム |
JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
US9694494B1 (en) * | 2015-12-11 | 2017-07-04 | Amazon Technologies, Inc. | Feature identification and extrapolation for robotic item grasping |
US20180264660A1 (en) * | 2017-03-20 | 2018-09-20 | Kindred Systems Inc. | Systems, devices, articles, and methods for prehension |
US10406685B1 (en) * | 2017-04-20 | 2019-09-10 | X Development Llc | Robot end effector control |
US10792809B2 (en) * | 2017-12-12 | 2020-10-06 | X Development Llc | Robot grip detection using non-contact sensors |
US10682774B2 (en) | 2017-12-12 | 2020-06-16 | X Development Llc | Sensorized robotic gripping device |
CN109670538B (zh) * | 2018-12-03 | 2023-06-30 | 浙江工业大学 | 一种非刚体零件的装配接触状态识别方法 |
US11161244B2 (en) * | 2019-01-22 | 2021-11-02 | Mitsubishi Electric Research Laboratories, Inc. | System and method for automatic error recovery in robotic assembly |
US10583560B1 (en) * | 2019-04-03 | 2020-03-10 | Mujin, Inc. | Robotic system with object identification and handling mechanism and method of operation thereof |
EP3738723A1 (de) * | 2019-05-17 | 2020-11-18 | Siemens Aktiengesellschaft | Verfahren, computer-programm-produkt und robotersteuerung zum kontaktbasierten lokalisieren von bei der manipulation durch roboter bewegbaren objekten sowie roboter |
CN114619438B (zh) * | 2020-12-09 | 2023-07-07 | 中国科学院沈阳自动化研究所 | 基于视觉快速定位的柔性自适应装配方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004160594A (ja) * | 2002-11-12 | 2004-06-10 | Sharp Corp | ロボットハンドの制御方法、ロボットハンド |
JP2007160490A (ja) * | 2005-12-16 | 2007-06-28 | Sharp Corp | ロボットハンド |
JP2007285784A (ja) * | 2006-04-14 | 2007-11-01 | Kobe Univ | 圧力分布情報検出装置及び圧力分布情報検出方法 |
DE102007053485A1 (de) * | 2006-11-09 | 2008-06-26 | Honda Motor Co., Ltd. | Roboterhand und Roboter |
DE102007001263A1 (de) * | 2007-01-08 | 2008-07-10 | Kuka Roboter Gmbh | Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten |
JP2009107043A (ja) * | 2007-10-29 | 2009-05-21 | Canon Inc | 把持装置および把持装置制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4921293A (en) * | 1982-04-02 | 1990-05-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Multi-fingered robotic hand |
JPH08174154A (ja) * | 1994-12-28 | 1996-07-09 | Toyota Motor Corp | 中子納め方法 |
JP4389046B2 (ja) * | 2005-08-18 | 2009-12-24 | 独立行政法人沖縄科学技術研究基盤整備機構 | 状態ベクトル推定方法および自律型移動体 |
JP2007075925A (ja) * | 2005-09-12 | 2007-03-29 | Toyota Motor Corp | 滑り検出装置 |
JP4032126B1 (ja) * | 2006-07-05 | 2008-01-16 | 国立大学法人北陸先端科学技術大学院大学 | 移動体位置推定システム、及び、移動体位置推定方法 |
-
2009
- 2009-05-28 US US12/474,068 patent/US8280837B2/en active Active
-
2010
- 2010-05-26 DE DE102010021607.0A patent/DE102010021607B4/de active Active
- 2010-05-28 JP JP2010122808A patent/JP5592703B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004160594A (ja) * | 2002-11-12 | 2004-06-10 | Sharp Corp | ロボットハンドの制御方法、ロボットハンド |
JP2007160490A (ja) * | 2005-12-16 | 2007-06-28 | Sharp Corp | ロボットハンド |
JP2007285784A (ja) * | 2006-04-14 | 2007-11-01 | Kobe Univ | 圧力分布情報検出装置及び圧力分布情報検出方法 |
DE102007053485A1 (de) * | 2006-11-09 | 2008-06-26 | Honda Motor Co., Ltd. | Roboterhand und Roboter |
DE102007001263A1 (de) * | 2007-01-08 | 2008-07-10 | Kuka Roboter Gmbh | Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten |
JP2009107043A (ja) * | 2007-10-29 | 2009-05-21 | Canon Inc | 把持装置および把持装置制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021200569A1 (de) | 2021-01-22 | 2022-07-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Gaußprozess-Zustandsraummodells |
Also Published As
Publication number | Publication date |
---|---|
JP5592703B2 (ja) | 2014-09-17 |
US8280837B2 (en) | 2012-10-02 |
DE102010021607A1 (de) | 2011-01-20 |
US20100306159A1 (en) | 2010-12-02 |
JP2010280054A (ja) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010021607B4 (de) | Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern | |
DE102010053002B4 (de) | Systeme und Verfahren, die der Handhabung eines Ojekts mit einem Greifer zugeordnet sind | |
DE102018000730B4 (de) | Werkstückaufnahmevorrichtung und Werkstückaufnahmeverfahren zum Verbessern des Aufnahmevorgangs eines Werkstücks | |
DE112019002310B4 (de) | Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung | |
DE112004002219B4 (de) | Verfahren zum Antreiben eines Roboters | |
DE202017105598U1 (de) | System zum tiefen Verstärkungslernen für Robotermanipulation | |
DE102019108787B4 (de) | Handsteuerungsvorrichtung und Handsteuerungssystem | |
DE102015106227B3 (de) | Steuern und/oder Regeln von Motoren eines Roboters | |
Okamura et al. | Haptic exploration of objects with rolling and sliding | |
DE102019109624B4 (de) | Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung | |
DE102014108287A1 (de) | Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter | |
DE102017202717A1 (de) | Roboteranlernung per menschlicher demonstration von aufgaben mit kraft- und positionszielen | |
DE202017106506U1 (de) | Einrichtung für tiefes Maschinenlernen zum Robotergreifen | |
DE102013203381A1 (de) | Verfahren und system zum trainieren eines roboters unter verwendung einer von menschen unterstützten aufgabendemonstration | |
EP3366434B1 (de) | Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung | |
DE602004007744T2 (de) | Bewegung eines virtuellen mit Gelenken ausgestatteten Objektes in einer virtuellen Umgebung mit Selbtkollisionsvermeidung zwischen den Gelenken des Objektes | |
DE102020214633A1 (de) | Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung | |
Arsenic | Developmental learning on a humanoid robot | |
DE102018002423A1 (de) | Robotersteuerung, Vorrichtung für maschinelles Lernen und Verfahren für maschinelles Lernen | |
DE102015009892A1 (de) | Verfahren und System zum Steuern eines Roboters | |
DE112018007729B4 (de) | Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem | |
Hu et al. | Human visual servoing for reaching and grasping: The role of 3D geometric features | |
DE102020124379A1 (de) | Robotersystem, das einen Arbeitsvorgang eines Arbeiters unterstützt, Steuerverfahren, Maschinenlernvorrichtung und Maschinenlernverfahren | |
DE112017007903B4 (de) | Haltepositions- und Orientierungslehreinrichtung, Haltepositions- und Orientierungslehrverfahren und Robotersystem | |
DE102019207410A1 (de) | Verfahren und Vorrichtung für eine automatisierte Beeinflussung eines Aktuators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US |
|
R081 | Change of applicant/patentee |
Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US Free format text: FORMER OWNERS: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GESETZEN DES STAATES DELAWARE), DETROIT, MICH., US; THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR OF THE NATIONAL AERONAUTICS AND SPACE ADMINISTRATION, WASHINGTON, D.C., US Effective date: 20110321 Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US Free format text: FORMER OWNERS: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GESETZEN DES STAATES DELAWARE), DETROIT, MICH., US; THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR OF THE NATIONAL AERONAUTICS AND SPACE ADMINISTRATION, WASHINGTON, D.C., US Effective date: 20110321 Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, THE U.S.A. AS REPRESENTED BY TH, , US Effective date: 20110321 Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, THE U.S.A. AS REPRESENTED BY TH, , US Effective date: 20110321 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |