DE102010021607B4 - Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern - Google Patents

Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern Download PDF

Info

Publication number
DE102010021607B4
DE102010021607B4 DE102010021607.0A DE102010021607A DE102010021607B4 DE 102010021607 B4 DE102010021607 B4 DE 102010021607B4 DE 102010021607 A DE102010021607 A DE 102010021607A DE 102010021607 B4 DE102010021607 B4 DE 102010021607B4
Authority
DE
Germany
Prior art keywords
hand
contact
model
contact state
measurement model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010021607.0A
Other languages
English (en)
Other versions
DE102010021607A1 (de
Inventor
Robert J. Platt jun.
Frank Noble Permenter
Craig M. Corcoran
Charles W. Wampler II.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
National Aeronautics and Space Administration NASA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC, National Aeronautics and Space Administration NASA filed Critical GM Global Technology Operations LLC
Publication of DE102010021607A1 publication Critical patent/DE102010021607A1/de
Application granted granted Critical
Publication of DE102010021607B4 publication Critical patent/DE102010021607B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/33Director till display
    • G05B2219/33028Function, rbf radial basis function network, gaussian network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39531Several different sensors integrated into hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40541Identification of contact formation, state from several force measurements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40553Haptic object recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40606Force, torque sensor in finger

Abstract

Verfahren zum Schätzen eines Kontaktzustands zwischen einer Roboterhand und einem von der Roboterhand berührten Objekt unter Verwendung einer Partikel-Filterungs-Technik, wobei das Verfahren ein Bewegungsmodell und ein Messungsmodell umfasst, wobei das Messungsmodell bereitgestellt wird, um die Beziehung zwischen Messungen und dem Kontaktzustand zu beschreiben, wobei die Messungen eine Kontaktposition, -geschwindigkeit und -kraft umfassen und der Kontaktzustand eine Hand-Objekt-Position, eine Hand-Objekt-Orientierung oder eine Objektgestalt umfasst; wobei das Bewegungsmodell die Bewegung der Roboterhand charakterisiert, während sie sich relativ zum Objekt bewegt; und wobei das Messungsmodell in Verbindung mit dem Bewegungsmodell verwendet wird, um die Wahrscheinlichkeit der gegebenen Kontaktzustände zu schätzen.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Diese Erfindung betrifft allgemein ein System und ein Verfahren zum Detektieren des Zustands von Objekten unter Verwendung von Sensoren, die in eine Roboterhand eingebaut sind, und insbesondere ein System und ein Verfahren zum Detektieren des Zustands von Objekten unter Verwendung von Partikel-Filtern zum Schätzen von Kontaktzuständen zwischen einer Roboterhand und einem Objekt.
  • 2. Erörterung der verwandten Technik
  • Es hat sich herausgestellt, dass die autonome geschickte Manipulation ein anspruchsvolles Gebiet für die Roboterforschung ist. Obwohl viele mechanisch ausgeklügelte Roboterhände entwickelt wurden, ist es schwierig, genau zu überwachen, wie der Manipulator und das Objekt, das er ergreift, in Kontakt treten. Es ist reizvoll, die Überwachung des Hand-Objekt-Zustands auf visuelle Weise unter Verwendung einer Kamera, die an einer separaten Schwenkneigeplattform montiert ist, zu versuchen. Während des Verlaufs der Manipulation auftretende Verdeckungen erschweren jedoch eine Lokalisierung des Objektmerkmals, das kontaktiert wird. Stattdessen können taktile Sensoren, die nahe beim Kontaktpunkt der Roboterhand angeordnet sind, in der Lage sein, den Hand-Objekt-Zustand genauer zu lokalisieren.
  • Die Partikel-Filterung ist eine Implementierung eines Bayesschen Zustandsschätzprozesses, der Systemzustände schätzt, indem er eine Reihe von Sensormessungen über die Zeit integriert. Auf dem Gebiet der Roboter wurde die Partikel-Filterung hauptsächlich auf das Problem der Lokalisierung mobiler Roboter angewendet. Es gibt relativ wenige Ansätze zur Anwendung der Partikel-Filterung auf die geschickte Manipulation. Bei einer früheren Forschung wendete ein Forscher die Partikel-Filterung auf eine Aufgabe an, bei der ein Stift in ein Loch eingeführt werden soll. Der Stift wurde durch eine sechsachsige Kraftmesszelle an einem Robotermanipulator montiert. Ein Steuerungssystem bewegte den Stift zu der Oberfläche hin, bis ein Kontakt hergestellt war. Es wurde eine ”Kontakt-Hyperoberfläche” offline beschafft, indem der Manipulator dazu verwendet wurde, eine Karte der Oberfläche zu erzeugen. Während der Lokalisierung brachte das Partikel-Filter-Messmodell Stiftpositionen mit Orten auf der Karte in Übereinstimmung. Der Ansatz wurde auf eine Vorwärtskupplungsanordnung angewendet und eine Lokalisierung von wenigen Millimetern wurde erreicht.
  • Bei einer verwandten Arbeit wendete ein anderer Forscher die Partikel-Filterung auf das Problem der Lokalisierung eines geformten unelastischen Objekts an. Ein Greiforgan wurde an einem Manipulator durch eine sechsachsige Kraftmesszelle montiert. Die Kraftmesszelle bewegte sich zum Objekt hin, bis ein Kontakt hergestellt war. Positionsmessungen wurden mit einem analytischen Modell abgeglichen und eine Lokalisierung wurde erreicht. Von dem Forscher wurde ein Verfahren vorgeschlagen, um die Technik auf ein beliebiges trianguliertes Objekt zu erweitern.
  • Noch ein anderer Forscher verwendete einen ähnlichen Ansatz, um die Position eines einzigen Kontakts an einer bekannten Oberfläche zu lokalisieren. Wie bei der vorstehenden Arbeit wurde die Lokalisierung ausgeführt, indem eine Kontaktposition gemessen wurde, während der Manipulator die Oberfläche des Objekts berührte. Diese Arbeit verwendete eine aktive Erforschungsstrategie, um den Kontakt zu bewegen, um dadurch die Lokalisierung schneller zu erreichen.
  • Die Partikel-Filterung modelliert das System als einen verborgenen Markov-Prozess, bei dem der Systemzustand verborgen ist. Sensormessungen (”Beobachtungen”) können den Zustand teilweise wiederspiegeln. Bei jedem Zeitschritt beginnt das System in einem Zustand yt-1, führt ein Steuerungssignal ut aus und kommt bei einem Zustand yt an, während es eine Beobachtung zt macht. Weil es ein Markov-Prozess ist, sind Übergänge zu zukünftigen Zuständen bedingt unabhängig von allen vorhergehenden Beobachtungen Zt = z1 ... zt und Steuerungssignalen Ut = u1 ... ut. P(yt|Zt, Ut) (1)
  • Diese Verteilung wird als der ”Überzeugungszustand” (engl. belief state) bezeichnet.
  • Ausgehend von einer willkürlichen (möglicherweise einheitlichen) früheren Verteilung aktualisiert die Partikel-Filterung den Überzeugungszustand bei jedem Zeitschritt auf iterative Weise, indem das letzte Steuerungssignal und die letzte Messung aufgenommen werden. Dies wird in zwei Schritten bewerkstelligt. Der erste Schritt (die Bewegungsaktualisierung) nimmt das aktuellste Steuerungssignal in den Überzeugungszustand auf:
    Figure DE102010021607B4_0002
    wobei die Markov-Annahme die Vereinfachung P(yt|yt-1, ut) = P(yt-1|Ut) ermöglicht und es möglich ist zu folgern, dass P(yt-1|Zt-1, Ut-1) = P(yt-1|Zt-1, Ut), weil der aktuelle Zustand von zukünftigen Kontaktsignalen unabhängig ist.
  • Der zweite Schritt (die Messungsaktualisierung) nimmt den aktuellsten Messwert auf als:
    Figure DE102010021607B4_0003
  • Wobei η = P(zt|Zt-1, Ut) als konstant angenommen wird. Die Markov-Annahmen ermöglichen die Gleichheit P(zt|yt) = P(Zt|yt, Zt-1, Ut).
  • Statt die Überzeugungszustandsverteilung explizit zu speichern, hält das Partikel-Filter einen finiten Satz von k Punkten St = s l / t ... s k / t aufrecht, sodass die Wahrscheinlichkeit, dass ein Zustand zu diesem Satz gehört, proportional zu P(yt|Zt, Ut) ist. Im Kontext des Partikel-Filters werden die vorstehend beschriebenen Schritte der Bewegungs- und Messungsaktualisierung zu den folgenden Schritten:
    • 1. für alle s J / t ∊ St
    • 2. s J / t' = Bewegungsaktualisierung (s J / t , ut)
    • 3. wJ = ηP(zt|s j / t' )
    • 4. St+1 von St gemäß den Gewichten W = w1 ... wk neu abtasten.
  • In Schritt 2 wird jedes Partikel stochastisch gemäß einer Bewegungsaktualisierungs-Funktion verschoben, die implizit P(yt|yt-1, ut) kodiert. Bei Schritt 3 wird jedes der Partikel in Übereinstimmung damit gewichtet, wie wahrscheinlich die Beobachtung von dem neuen Zustand aus ist. Schließlich erzeugt Schritt 4 einen aktualisierten Satz von k Partikeln St+1, indem von St im Verhältnis zu den Gewichten W abgetastet wird.
  • Die Druckschrift JP 2009-107 043 A offenbart eine Greifvorrichtung und ein Verfahren zum Steuern derselben, bei denen ein Informationsbeschaffungsmittel, etwa eine Kamera, Informationen über Position und Lage eines zu ergreifenden Objekts beschafft, ein Mittel zum Festlegen eines Bewegungspfads, um einen Zielgreifzustand zum Ergreifen des Objekts zu erreichen, in Übereinstimmung mit den beschafften Informationen einen Bewegungspfad festlegt, und ein Controller die Greifvorrichtung entlang des festgelegten Bewegungspfads steuert, damit diese das Objekt ergreift.
  • In der Druckschrift JP 2007-285 784 A ist ein System und Verfahren zur schnellen Detektion von Druckverteilungsinformationen offenbart, bei denen ein Weitbereichs-Abtastmittel eine Vielzahl von Drucksensoren, die matrixförmig angeordnet sind, abtastet und die erhaltenen Werte mit einem Schwellenwert vergleicht. Nur die Drucksensoren, die den Schwellenwert überschreiten, werden von einem lokalen Abtastmittel abgetastet, um den Druckwert genau zu beschaffen.
  • Die Druckschrift JP 2007-160 490 A offenbart eine Roboterhand zum Bewegen von länglichen Gegenständen, bei der in die Handfläche ein Beförderungsband diagonal eingebaut ist, durch das in der Hand gehaltene Gegenstände, die das Beförderungsband kontaktieren, in der Hand bewegt werden können.
  • In der Druckschrift JP 2004-160 594 A ist eine Roboterhand zum Ergreifen von unterschiedlich großen Objekten und ein Steuerungsverfahren dafür offenbart, wobei die Roboterhand mindestens zwei Finger mit mehreren Gliedern und Fingergelenken aufweist. Jedes Fingerglied weist einen Kontaktsensor auf, während die Fingergelenke Winkelsensoren aufweisen. Wenn von den Kontaktsensoren ein Kontakt detektiert wird, werden die Winkel der Fingergelenke erfasst und daraus wird die äußere Form des Objekts berechnet, und daraus wird wiederum eine Halteoperation ermittelt, die für das Objekt geeignet ist.
  • Die Druckschrift DE 10 2007 053 485 A1 offenbart eine Roboterhand mit mehreren Fingern, die die Art des Haltens eines Objekts verändern kann, wobei jeder Finger so gesteuert wird, dass bei der Veränderung einer Kraft, die von einem der Finger auf das gehaltene Objekt ausgeübt wird, eine Bedingung stabilen Greifens erfüllt ist, sodass die Summe aller von den Fingern auf das Objekt ausgeübten Kräften und Momenten Null ist.
  • In der Druckschrift DE 10 2007 001 263 A1 ist ein Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten offenbart, das eine Greifereinheit und eine Steuereinheit umfasst. Die Steuereinheit bestimmt ein Lademuster für die auf dem Lademittel anzuordnenden Stückguteinheiten derart, dass instabile Lademuster vermieden werden, indem sie mindestens eine Kenngröße für die Stabilität des Lademusters bestimmt.
  • Die Aufgabe der Erfindung besteht darin, die Stelle, Orientierung und Gestalt eines Objekts zu identifizieren, das von einer Roboterhand berührt wird.
  • Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelöst.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß den Lehren der vorliegenden Erfindung wird ein Verfahren zum Identifizieren der Stelle, der Orientierung und der Gestalt eines Objekts offenbart, das von einer Roboterhand berührt wird, welches umfasst, dass ein Partikel-Filter verwendet wird. Das Verfahren umfasst, dass ein geeignetes Bewegungsmodell und ein Messungsmodell definiert werden. Das Bewegungsmodell charakterisiert die Bewegung der Roboterhand, während sie sich relativ zum Objekt bewegt. Das Messungsmodell schätzt die Wahrscheinlichkeit einer Beobachtung einer Kontaktposition, Geschwindigkeit und taktilen Sensorinformation gegebener Hand-Objekt-Zustände. Das Messungsmodell wird auf der Grundlage eines geometrischen Modells oder auf der Grundlage einer Sammlung von Trainingsdaten analytisch angenähert. In jedem Fall ist die Messungsmodellverteilung als eine Gauss-Funktion oder unter Verwendung radialer Basisfunktionen kodiert.
  • Zusätzliche Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beiliegenden Zeichnungen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt eine flexible Kunststofffolie, die einen Einschluss enthält; und
  • 2 ist eine Veranschaulichung einer Roboterhand, die den Einschluss in der in 1 gezeigten Kunststofffolie unter Verwendung eines Prozesses detektiert, der Partikel-Filter einsetzt, um Kontaktzustandsschätzungen zwischen den Fingern der Hand und dem Einschluss bereitzustellen.
  • GENAUE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Erörterung der Ausführungsformen der Erfindung ist auf ein System und ein Verfahren gerichtet, die eine Partikel-Filterung verwenden, um Zustandsschätzungen bereitzustellen, um den Ort, die Orientierung und die Gestalt eines Objekts zu identifizieren, das eine Roboterhand berührt. Fachleute werden jedoch feststellen, dass die vorliegende Erfindung Anwendungen in anderen Gebieten als der Robotik haben kann.
  • Getrieben von der Tatsache, dass Menschen stark auf eine Erfassung einer Berührung bei der Manipulation vertrauen, umfasst die vorliegende Erfindung ein Verfahren zum Verwenden von Kraft- oder haptischen Sensoren, die in einer Roboterhand montiert sind, um den Hand-Objekt-Zustand zu schätzen. Die Erfindung schlägt die Verwendung einer Kombination von Kontaktpositions-, Kontaktgeschwindigkeits- und Kraftsensormessungen vor, um einen Kontaktzustand zwischen der Roboterhand und einem Objekt zu identifizieren. Es werden drei Ausführungsformen der Erfindung erörtert. Bei der ersten ist ein Messungsmodell eine Gauss-Funktion mit einem Mittelwert und einer Kovarianz, die aus einer Sammlung von Trainingsdaten abgeleitet werden, welche offline beschafft wurden. Bei der zweiten wird die Verteilung durch eine Mischung von k Gausschen radialen Basisfunktionen modelliert, die aus Trainingsdaten berechnet werden. Bei der dritten wird das Messungsmodell unter Verwendung eines geometrischen Modells und von Annahmen hinsichtlich der Verteilung eines Messungsrauschens auf analytische Weise berechnet.
  • Alle Ausführungsformen der Erfindung verwenden das gleiche Bewegungsmodell und die gleiche Darstellung des Systemzustands. Das Bewegungsmodell ist durch eine Funktion implementiert, welche die Partikel gemäß der Wahrscheinlichkeitsverteilung P(yt|yt-1, ut) stochastisch verschiebt, siehe Gleichung (4). Da es schwierig sein kann, eine Manipulatorbewegung als eine Funktion von ut, den befohlenen Stellgliedrehmomenten, zu modellieren, wird das Modell vereinfacht, indem stattdessen eine Messung der Manipulatorgeschwindigkeit behandelt wird. Obwohl diese Näherung die Trägheitsdynamik des Manipulators nicht berücksichtigt, ist sie für die Zwecke der Erfindung genau genug. Das Bewegungsmodell wird berechnet, indem der Raum von Manipulatorgeschwindigkeiten marginalisiert wird, die von dem Befehlssignal erzeugt werden können, zu:
    Figure DE102010021607B4_0004
  • Da es für gewöhnlich praktisch ist, die Manipulatorgeschwindigkeit direkt zu messen, q . = q ^, kann die Summierung beseitigt werden, indem die Wahrscheinlichkeit der Messung behandelt wird, wie:
    Figure DE102010021607B4_0005
  • Im Kontext der Erfindung ist der Hand-Objekt-Zustand aus der relativen Pose α von Hand zu Objekt der Objektgestalt β zusammengesetzt zu: y = α, β (6)
  • Wobei angenommen wird, dass α eine Pose in exponentiellen Koordinaten beschreibt.
  • Wenn sich die Hand relativ zum Objekt bewegt, verändert sich die Pose von Hand zu Objekt in einer affinen Transformation zu: αt+1 = R(q .)αt + a(q .) (7)
  • Wobei R(q .) und a(q .) die Veränderung bei der relativen Orientierung und Position beschreiben, die durch die Bewegung verursacht wird. Das von dem Partikel-Filter verwendete Bewegungsmodell berechnet den erwarteten Hand-Objekt-Zustand auf stochastische Weise, nachdem sich der Manipulator mit einer Geschwindigkeit von q . für die Dauer der Partikel-Filter-Aktualisierungsperiode bewegt hat.
  • Das Messungsmodell beschreibt die Wahrscheinlichkeit von Sensormessungen z als eine Funktion des Systemzustands y. Diese Erfindung verwendet Messungen von Kontaktposition, -geschwindigkeit und -kraft. Diese Messungen werden implizit an einem Mechanismus zum Suchen und Beibehalten eines Objektkontakts mit der Hand festgelegt. Es wird angenommen, dass die Hand im Verlauf einer gegebenen Manipulation einer Montageaufgabe einen teilweisen Objektkontakt herstellt. An diesem Punkt kann die Nachgiebigkeit in der Hand und im Arm verwendet werden, um die Anzahl der Kontakte zu verbessern und auszudehnen. Eine Nachgiebigkeit kann erreicht werden, indem eine mechanische Nachgiebigkeit verwendet wird, die in die Hand oder in ein aktives Drehmomentsteuerungssystem eingebaut ist. Zudem muss ein Mechanismus zur Schätzung dessen, wo an der Hand der Kontakt tatsächlich auftritt, existieren. Dies kann durch einen klugen Entwurf der mechanischen Struktur erreicht werden, sodass ein Kontakt immer an der gleichen Stelle auftritt. Alternativ kann dies durch Kontaktkraftsensoren erreicht werden, die auf die Finger aufgebrachte Lasten direkt messen. Wenn die Hand einen Kontakt mit dem Objekt an k Stellen herstellt, dann können die Vektoren von k Kontaktpositionen, -geschwindigkeiten und -kräften als x = (x1, ..., xk), v = (v1, ..., vk) bzw. f = (f1, ..., fk) bezeichnet werden. Eine Schätzung von Kontaktpositionen x ^ ist verfügbar, indem bestimmt wird, welche Punkte an dem Manipulator das Objekt berühren (unter Verwendung von Kraftsensoren oder durch einen klugen Entwurf der Manipulatorstruktur), und indem eine Position unter Verwendung einer früheren Kenntnis der Vorwärtskinematik des Manipulators und von Messungen des Vektors von Gelenkwinkeln q berechnet wird. Eine Schätzung der Kontaktgeschwindigkeiten v ^ kann durch eine Differenzierung des Vorstehenden bestimmt werden. Schließlich können Kontaktkraftsensoren verwendet werden, um eine Funktion von f zu schätzen: γ = h(f). Der kombinierte Vektor von Messungen ist: z = (x ^, v ^, γ) (8)
  • Die drei Ausführungsformen der Erfindung verwenden jeweils verschiedene Messungsmodelle. Die erste Ausführungsform modelliert den Messungsvektor z als eine Gauss-Funktion mit Mittelwert und Kovarianz einer Zustandsfunktion als: P(z|y) = N(z|m(y), S(y)) (9)
  • Wobei N(z|μ, Σ) die Gaussche Wahrscheinlichkeitsverteilungsfunktion über Messungen z mit einem Mittelwertsvektor und einer Kovarianzmatrix m(y) und S(y) ist.
  • Die Parameter m(y) und S(y) werden empirisch aus einer Sammlung von Trainingsdaten bestimmt. Der Roboter tastet den Zustandsraum ausgiebig ab und zeichnet die entsprechenden Messungen auf. m(y) und S(y) werden durch den Mittelwert und die Kovarianz der Abtastung des Satzes der nächstgelegenen k Nachbarn angenähert. Es wird eine Distanzmetrik in einem Zustandsraum definiert, die für dessen Parametrierung geeignet ist. Nk(y) soll der Satz von k Messungen z mit zugehörigen Zuständen sein, die y am Nächsten liegen. Es wird angenommen, dass der Zustandsraum zwischen den Elementen von Nk(y) lokal euklidisch ist, und dann sind der Mittelwert und die Kovarianz der Abtastung:
    Figure DE102010021607B4_0006
  • Und:
    Figure DE102010021607B4_0007
  • Manchmal beschränkt die erste Ausführungsform S(y) auf eine Blockdiagonalform, sodass angenommen wird, dass eine Kovarianz zwischen verschiedenen Typen von Messungen Null ist, wie:
    Figure DE102010021607B4_0008
  • Wobei Sx(y), Sv(y) und Sγ(y) Abtastungskovarianzmatrizen für die Elemente von Nk(y) sind und für jeden Messungstyp separat berechnet sind.
  • Eine zweite Ausführungsform der Erfindung nähert das Messungsmodell unter Verwendung radialer Basisfunktionen (RBFs) statt einer Gauss-Funktion an. Die RBF-Parameter werden dennoch auf der Grundlage einer Sammlung von Trainingsdaten bestimmt. Anstatt jedoch einen Mittelwert und eine Kovarianz der Abtastung über einen Satz der nächstgelegenen k Zustandsraumnachbarn zu berechnen, wird die Verteilung als ein Satz von k RBFs modelliert:
    Figure DE102010021607B4_0009
  • Wobei η eine Normierungskonstante ist und Srbf ein konstanter Kovarianzparameter ist, der vom Schöpfer des Systems gesetzt wird.
  • Es lohnt sich, das Gaussche Modell mit dem RBF-Modell zu vergleichen. Der Gaussche Ansatz zur Modellierung von Messungen nimmt an, dass Messungen eine verrauschte Funktion des Systemzustands sind: jeder Zustand ist im Wesentlichen mit einer einzigen ”richtigen” Antwort verbunden. Im Gegensatz dazu kann der RBF-Ansatz eine Verteilung mit mehreren Modellen modellieren. Dies ist angemessen, wenn Ursachen, die außerhalb der Kontrolle oder Beobachtung des Systems liegen, zu einem finiten Satz möglicher Messungen führen können, oder wenn die Mannigfaltigkeit möglicher Messungen keine Gauss-Funktion ist.
  • Die Anwendung der vorstehend beschriebenen ersten und zweiten Ausführungsform wird wie folgt veranschaulicht. 1 ist eine Veranschaulichung 10 einer flexiblen Kunststofffolie 12, die einen Kunststoffeinschluss 14 enthält. Wie nachstehend erörtert wird, kann der Einschluss 14 von einer Roboterhand unter Verwendung eines Partikel-Filterungs-Prozesses, der hier erörtert ist, lokalisiert werden, welcher eine Kraftsensormessung mit einem empirischen Modell abgleicht.
  • 2 ist eine perspektivische Ansicht einer Roboterhand 20, die den Einschluss 14 und andere Gestalten, Objekte oder Merkmale unter Verwendung eines Partikel-Filter-Prozesses lokalisieren kann, welcher mit der Erörterung hierin übereinstimmt. Die Roboterhand 20 umfasst Roboterfinger 22 und einen Roboterdaumen 28, die jeweils Fingergelenkwinkelsensoren 24 und Fingergliedsensoren 26 zum Erfassen der Objekte aufweisen, von welchen die Messungen durchgeführt werden, um die Merkmale zu identifizieren und eine Hand-Objekt-Schätzung bereitzustellen. Die Roboterhand 20 lokalisiert den Einschluss 14 in der Kunststofffolie 12, indem sie die Finger 22 über die Oberfläche der Kunststofffolie 12 gleiten lässt. Während die Finger 22 über den Einschluss 14 gleiten, verwendet die Roboterhand 20 die Fingergelenkwinkelsensoren 24 und die Fingergliedsensoren 26, um den Einschluss 14 zu lokalisieren.
  • Eine dritte Ausführungsform berechnet das Messungsmodell analytisch ohne Bezugnahme auf eine Sammlung von Trainingsdaten. Dieser Ansatz kann notwendig sein, wenn die Dimension des Zustandsraums eine angemessene Abtastung der Messungsmodellverteilung verhindert. Es wurde bereits ausgeführt, dass es nicht immer möglich, anzunehmen, dass Messungen eine eindeutige Funktion des Zustands sind. Im Allgemeinen ist es notwendig, zwischen einem Kontaktzustand und einem Hand-Objekt-Zustand zu unterscheiden. Der Hand-Objekt-Zustand wird von dem Partikel-Filter geschätzt. Kontaktmessungen sind jedoch eine eindeutige Funktion des Kontaktzustands. Mehrere Kontaktzustände sind konsistent mit einem gegebenen Hand-Objekt-Zustand. x, v und f sollen die wahre Kontaktposition, -geschwindigkeit und -kraft beschreiben, die auf das Objekt aufgebracht wird. Dann können Messungen x^, v ^ und γ als Rauschfunktionen des wahren Kontaktzustands modelliert werden: P( x^|x) = N( x^|Σx), P(v ^|v) = N(v ^|v, Σv) und P(γ|f) = N(γ|h(f), Σγ), wobei Σx, Σv und Σγ diagonale symmetrische Kovarianzmatrizen sind. Die Gelenkverteilung ist daher:
    Figure DE102010021607B4_0010
  • Da es schwierig ist, die Raum- und Kontaktkräfte auf analytische Weise zu bewerten, ist es nützlich, das System derart zu beschränken, dass eine angewandte Kraft eine Funktion allein der Kontaktposition und -geschwindigkeit ist. Dies kann erreicht werden, indem eine Kraftregelung verwendet wird, um eine gewünschte Kraftgröße in einer speziellen Richtung aufrecht zu erhalten. In diesem Fall kann ein datengetriebener Ansatz verwendet werden, um P(γ|x, v, y) = ΣfP(γ|f, y)P(f|x, v, y) direkt zu modellieren. Zudem wird angemerkt, dass P(v|x, y) in Gleichung (14) deterministisch ist. Es ist daher möglich, ΣvP(v ^|v, y)P(v|x, y) durch Σv∊Γ(x,y)P(v ^|v, y) zu ersetzen, wobei Γ(x) der Raum von Einheitsvektoren ist, der die Objektoberfläche an der Kontaktposition x berührt, wenn sich das Objekt in der Konfiguration y befindet. Die vorstehenden zwei Ersetzungen ermöglichen die Vereinfachung der Gleichung (14) zu:
    Figure DE102010021607B4_0011
  • Wobei η = P(x, y) eine Normierungskonstante ist, die zuvor eine Einheit für einen Hand-Objekt-Zustand und Kontaktpositionen kodiert.
  • Die Verwendung von Gleichung (15) erfordert die rechentechnisch intensive Summierung über den Satz möglicher Kontaktpositionen und -geschwindigkeiten. Beschränkungen des Bereichsraums von x und v können diese Summierung besser handhabbar machen. Eine andere Alternative besteht darin, die Summierung mit Schätzwerten mit maximaler Wahrscheinlichkeit anzunähern. Wenn Gleichung (15) eine Verteilung mit Spitzenwert ist, dann kann sie angenähert werden durch:
    Figure DE102010021607B4_0012
  • Wobei (xmax, vmax) = argmax(x,v)∊X×Γ(x,y)P(γ|x, v, y)P(v ^|v, y)P(x ^|x, y) (17)
  • Da selbst die kombinierte Maximierung über x und v rechentechnisch mühsam sein kann, hat man herausgefunden, dass es möglich ist, Gleichung (17) zu ersetzen durch: xmaxargmaxxP(x ^|x) (18) und:
    Figure DE102010021607B4_0013
  • Die Zylinderlokalisierung ist eine Anwendung einer Hand-Objekt-Zustandsschätzung auf der Grundlage eines analytischen Messungsmodells. Bei diesem Beispiel legt die Roboterhand mehrere Finger um einen Zylinder herum, etwa einen Werkzeuggriff. Die Roboterhand bewegt sich um einen kleinen Betrag an dem Zylinder. Messungen von Kontaktpositionen und -geschwindigkeiten werden an mehreren Kontaktstellen durchgeführt. Gleichung (5) wird verwendet, um die Wahrscheinlichkeit dieser Messungen als eine Funktion des Zustands zu schätzen. Das Partikel-Filter fährt mit einer Lokalisierung der Hauptachsenrichtung und des Radius des Zylinders unter Verwendung dieser Messungen fort. Als Folge bestimmt der Roboter Schlüsselelemente der Zylindergeometrie durch seine haptische Interaktion.
  • Die vorstehende Erörterung offenbart und beschreibt rein beispielhafte Ausführungsformen der vorliegenden Erfindung. Aus dieser Erörterung und den beiliegenden Zeichnungen und Ansprüchen wird der Fachmann leicht erkennen, dass vielfältige Veränderungen, Modifikationen und Variationen darin durchgeführt werden können, ohne den Geist und den Umfang der Erfindung zu verlassen, wie er in den folgenden Ansprüchen definiert ist.

Claims (10)

  1. Verfahren zum Schätzen eines Kontaktzustands zwischen einer Roboterhand und einem von der Roboterhand berührten Objekt unter Verwendung einer Partikel-Filterungs-Technik, wobei das Verfahren ein Bewegungsmodell und ein Messungsmodell umfasst, wobei das Messungsmodell bereitgestellt wird, um die Beziehung zwischen Messungen und dem Kontaktzustand zu beschreiben, wobei die Messungen eine Kontaktposition, -geschwindigkeit und -kraft umfassen und der Kontaktzustand eine Hand-Objekt-Position, eine Hand-Objekt-Orientierung oder eine Objektgestalt umfasst; wobei das Bewegungsmodell die Bewegung der Roboterhand charakterisiert, während sie sich relativ zum Objekt bewegt; und wobei das Messungsmodell in Verbindung mit dem Bewegungsmodell verwendet wird, um die Wahrscheinlichkeit der gegebenen Kontaktzustände zu schätzen.
  2. Verfahren nach Anspruch 1, wobei das Messungsmodell unter Verwendung eines geometrischen Modells definiert wird, um die Wahrscheinlichkeit einer Kontaktposition und -geschwindigkeit bei einem vorgegebenen Hand-Objekt-Kontaktzustand zu schätzen.
  3. Verfahren nach Anspruch 2, wobei das Messungsmodell berechnet wird, indem alle möglichen Kontaktpositionen, -geschwindigkeiten und -kräfte summiert werden.
  4. Verfahren nach Anspruch 3, wobei die Summierung durch eine maximale Wahrscheinlichkeit angenähert wird.
  5. Verfahren nach Anspruch 1, wobei das Messungsmodell auf der Grundlage einer Sammlung von Trainingsdaten formuliert wird.
  6. Verfahren nach Anspruch 5, wobei die Trainingsdaten durch eine Gaussche Wahrscheinlichkeitsverteilung mit Mittelwerts- und Kovarianzparametern, die als eine Funktion der Sammlung von Trainingsdaten definiert sind, modelliert werden.
  7. Verfahren nach Anspruch 6, wobei die Mittelwert- und Kovarianzparameter unter Verwendung der k nächstgelegenen Nachbarn im Hand-Objekt-Zustandsraum definiert werden.
  8. Verfahren nach Anspruch 7, wobei die Kovarianz zwischen verschiedenen Modalitäten auf Null gesetzt wird.
  9. Verfahren nach Anspruch 5, wobei die Trainingsdaten unter Verwendung radialer Basisfunktionen modelliert werden.
  10. Verfahren nach Anspruch 9, wobei die radialen Basisfunktionen unter Verwendung der k nächstgelegenen Nachbarn im Kontaktzustandsraum definiert werden.
DE102010021607.0A 2009-05-28 2010-05-26 Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern Active DE102010021607B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/474,068 US8280837B2 (en) 2009-05-28 2009-05-28 Contact state estimation for multi-finger robot hands using particle filters
US12/474,068 2009-05-28

Publications (2)

Publication Number Publication Date
DE102010021607A1 DE102010021607A1 (de) 2011-01-20
DE102010021607B4 true DE102010021607B4 (de) 2015-06-25

Family

ID=43221364

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010021607.0A Active DE102010021607B4 (de) 2009-05-28 2010-05-26 Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern

Country Status (3)

Country Link
US (1) US8280837B2 (de)
JP (1) JP5592703B2 (de)
DE (1) DE102010021607B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021200569A1 (de) 2021-01-22 2022-07-28 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Gaußprozess-Zustandsraummodells

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812940B2 (ja) * 2011-07-15 2015-11-17 三菱電機株式会社 複数の姿勢においてプローブを用いて物体をプロービングすることによって、物体に対するプローブの姿勢を求める方法およびシステム
US8706299B2 (en) * 2011-08-02 2014-04-22 GM Global Technology Operations LLC Method and system for controlling a dexterous robot execution sequence using state classification
US9067319B2 (en) * 2011-08-11 2015-06-30 GM Global Technology Operations LLC Fast grasp contact computation for a serial robot
US10618174B2 (en) * 2014-12-09 2020-04-14 Aeolus Robotics, Inc. Robotic Touch Perception
JP6468871B2 (ja) * 2015-02-03 2019-02-13 キヤノン株式会社 ロボットハンド制御方法及びロボット装置
JP6348097B2 (ja) * 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US9694494B1 (en) * 2015-12-11 2017-07-04 Amazon Technologies, Inc. Feature identification and extrapolation for robotic item grasping
US20180264660A1 (en) * 2017-03-20 2018-09-20 Kindred Systems Inc. Systems, devices, articles, and methods for prehension
US10406685B1 (en) * 2017-04-20 2019-09-10 X Development Llc Robot end effector control
US10792809B2 (en) * 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
US10682774B2 (en) 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
CN109670538B (zh) * 2018-12-03 2023-06-30 浙江工业大学 一种非刚体零件的装配接触状态识别方法
US11161244B2 (en) * 2019-01-22 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for automatic error recovery in robotic assembly
US10583560B1 (en) * 2019-04-03 2020-03-10 Mujin, Inc. Robotic system with object identification and handling mechanism and method of operation thereof
EP3738723A1 (de) * 2019-05-17 2020-11-18 Siemens Aktiengesellschaft Verfahren, computer-programm-produkt und robotersteuerung zum kontaktbasierten lokalisieren von bei der manipulation durch roboter bewegbaren objekten sowie roboter
CN114619438B (zh) * 2020-12-09 2023-07-07 中国科学院沈阳自动化研究所 基于视觉快速定位的柔性自适应装配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160594A (ja) * 2002-11-12 2004-06-10 Sharp Corp ロボットハンドの制御方法、ロボットハンド
JP2007160490A (ja) * 2005-12-16 2007-06-28 Sharp Corp ロボットハンド
JP2007285784A (ja) * 2006-04-14 2007-11-01 Kobe Univ 圧力分布情報検出装置及び圧力分布情報検出方法
DE102007053485A1 (de) * 2006-11-09 2008-06-26 Honda Motor Co., Ltd. Roboterhand und Roboter
DE102007001263A1 (de) * 2007-01-08 2008-07-10 Kuka Roboter Gmbh Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten
JP2009107043A (ja) * 2007-10-29 2009-05-21 Canon Inc 把持装置および把持装置制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4921293A (en) * 1982-04-02 1990-05-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multi-fingered robotic hand
JPH08174154A (ja) * 1994-12-28 1996-07-09 Toyota Motor Corp 中子納め方法
JP4389046B2 (ja) * 2005-08-18 2009-12-24 独立行政法人沖縄科学技術研究基盤整備機構 状態ベクトル推定方法および自律型移動体
JP2007075925A (ja) * 2005-09-12 2007-03-29 Toyota Motor Corp 滑り検出装置
JP4032126B1 (ja) * 2006-07-05 2008-01-16 国立大学法人北陸先端科学技術大学院大学 移動体位置推定システム、及び、移動体位置推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160594A (ja) * 2002-11-12 2004-06-10 Sharp Corp ロボットハンドの制御方法、ロボットハンド
JP2007160490A (ja) * 2005-12-16 2007-06-28 Sharp Corp ロボットハンド
JP2007285784A (ja) * 2006-04-14 2007-11-01 Kobe Univ 圧力分布情報検出装置及び圧力分布情報検出方法
DE102007053485A1 (de) * 2006-11-09 2008-06-26 Honda Motor Co., Ltd. Roboterhand und Roboter
DE102007001263A1 (de) * 2007-01-08 2008-07-10 Kuka Roboter Gmbh Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten
JP2009107043A (ja) * 2007-10-29 2009-05-21 Canon Inc 把持装置および把持装置制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021200569A1 (de) 2021-01-22 2022-07-28 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Gaußprozess-Zustandsraummodells

Also Published As

Publication number Publication date
JP5592703B2 (ja) 2014-09-17
US8280837B2 (en) 2012-10-02
DE102010021607A1 (de) 2011-01-20
US20100306159A1 (en) 2010-12-02
JP2010280054A (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
DE102010021607B4 (de) Kontaktzustandsschätzung für Roboterhände mit mehreren Fingern unter Verwendung von Partikel-Filtern
DE102010053002B4 (de) Systeme und Verfahren, die der Handhabung eines Ojekts mit einem Greifer zugeordnet sind
DE102018000730B4 (de) Werkstückaufnahmevorrichtung und Werkstückaufnahmeverfahren zum Verbessern des Aufnahmevorgangs eines Werkstücks
DE112019002310B4 (de) Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung
DE112004002219B4 (de) Verfahren zum Antreiben eines Roboters
DE202017105598U1 (de) System zum tiefen Verstärkungslernen für Robotermanipulation
DE102019108787B4 (de) Handsteuerungsvorrichtung und Handsteuerungssystem
DE102015106227B3 (de) Steuern und/oder Regeln von Motoren eines Roboters
Okamura et al. Haptic exploration of objects with rolling and sliding
DE102019109624B4 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
DE102014108287A1 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102017202717A1 (de) Roboteranlernung per menschlicher demonstration von aufgaben mit kraft- und positionszielen
DE202017106506U1 (de) Einrichtung für tiefes Maschinenlernen zum Robotergreifen
DE102013203381A1 (de) Verfahren und system zum trainieren eines roboters unter verwendung einer von menschen unterstützten aufgabendemonstration
EP3366434B1 (de) Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung
DE602004007744T2 (de) Bewegung eines virtuellen mit Gelenken ausgestatteten Objektes in einer virtuellen Umgebung mit Selbtkollisionsvermeidung zwischen den Gelenken des Objektes
DE102020214633A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
Arsenic Developmental learning on a humanoid robot
DE102018002423A1 (de) Robotersteuerung, Vorrichtung für maschinelles Lernen und Verfahren für maschinelles Lernen
DE102015009892A1 (de) Verfahren und System zum Steuern eines Roboters
DE112018007729B4 (de) Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
Hu et al. Human visual servoing for reaching and grasping: The role of 3D geometric features
DE102020124379A1 (de) Robotersystem, das einen Arbeitsvorgang eines Arbeiters unterstützt, Steuerverfahren, Maschinenlernvorrichtung und Maschinenlernverfahren
DE112017007903B4 (de) Haltepositions- und Orientierungslehreinrichtung, Haltepositions- und Orientierungslehrverfahren und Robotersystem
DE102019207410A1 (de) Verfahren und Vorrichtung für eine automatisierte Beeinflussung eines Aktuators

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US

R081 Change of applicant/patentee

Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US

Free format text: FORMER OWNERS: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GESETZEN DES STAATES DELAWARE), DETROIT, MICH., US; THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR OF THE NATIONAL AERONAUTICS AND SPACE ADMINISTRATION, WASHINGTON, D.C., US

Effective date: 20110321

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNERS: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GESETZEN DES STAATES DELAWARE), DETROIT, MICH., US; THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR OF THE NATIONAL AERONAUTICS AND SPACE ADMINISTRATION, WASHINGTON, D.C., US

Effective date: 20110321

Owner name: THE U.S.A. AS REPRESENTED BY THE ADMINISTRATOR, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, THE U.S.A. AS REPRESENTED BY TH, , US

Effective date: 20110321

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, THE U.S.A. AS REPRESENTED BY TH, , US

Effective date: 20110321

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final