DE102017202717A1

DE102017202717A1 - Roboteranlernung per menschlicher demonstration von aufgaben mit kraft- und positionszielen

Info

Publication number: DE102017202717A1
Application number: DE102017202717.7A
Authority: DE
Inventors: Muhammad E. Abdallah
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-02-29
Filing date: 2017-02-20
Publication date: 2017-08-31
Also published as: US20170249561A1; CN107127735A

Abstract

Ein System zum Demonstrieren einer Aufgabe für einen Roboter beinhaltet einen Handschuh, Sensoren und eine Steuerung. Die Sensoren messen Aufgabenmerkmale, während ein menschlicher Bediener den Handschuh trägt und die Aufgabe demonstriert. Die Aufgabemerkmale beinhalten eine Pose, eine gemeinsame Winkelkonfiguration und eine verteilte Kraft des Handschuhs. Die Steuerung empfängt die Aufgabenmerkmale und verwendet eine Maschinenlernlogik, um die demonstrierte Aufgabe als eine Aufgabenanwendungsdatei zu lernen und aufzuzeichnen. Die Steuerung überträgt Steuersignale an den Roboter, um zu bewirken, dass der Roboter die demonstrierte Aufgabe automatisch durchführt. Ein Verfahren beinhaltet das Messen der Aufgabenmerkmale unter Verwendung des Handschuhs, das Übertragen der Aufgabenmerkmale an die Steuerung, das Verarbeiten der Aufgabenmerkmale unter Verwendung der Maschinenlernlogik, das Erzeugen der Steuersignale und das Übertragen der Steuersignale an den Roboter, um zu bewirken, dass der Roboter automatisch die Aufgabe ausführt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft das menschlich demonstrierte Lernen von Roboteranwendungen, insbesondere jene mit Kraft- und Positionszielen.
HINTERGRUND
Serielle Roboter sind elektromechanische Vorrichtungen, die in der Lage sind, Objekte unter Verwendung einer Reihe von Roboterverbindungen zu manipulieren. Die Roboterverbindungen sind durch Robotergelenke miteinander verbunden, die jeweils von einem oder mehreren Gelenkantrieben angetrieben werden. Jedes Robotergelenk wiederum stellt eine unabhängige Regelgröße oder Freiheitsgrad dar. End-Effektoren, die am distalen Ende des seriellen Roboters angeordnet sind, sind konfiguriert, um eine bestimmte Aufgabe auszuführen, wie das Greifen eines Arbeitswerkzeugs oder das Stapeln mehrerer Komponenten. Typischerweise werden serielle Roboter auf einen gewünschten Zielwert durch Geschwindigkeiten, Geschwindigkeits-, Impedanz- oder positionsbasierte Steuergesetze gesteuert.
In der Fertigung besteht ein Bedarf an flexiblen Fabriken und Prozessen, die in der Lage sind, neue oder vielfältigere Produkte mit einer minimalen Ausfallzeit zu produzieren. Um dieses Ziel vollständig zu erreichen, sind Roboterplattformen erforderlich, um sich schnell an neue Aufgaben anzupassen, ohne zeitraubende Neuprogrammierung und Codezusammenstellung. Traditionsgemäß werden Roboter manuell programmiert, indem das Verhalten in einer Programmiersprache oder durch ein Pendent mit Pull-Down-Menüs angelernt wird. Da die Komplexität sowohl des Roboters als auch der Anwendung zunimmt, sind derartige herkömmliche Techniken übermäßig komplex und zeitaufwendig geworden. Daher hat sich der Versuch, Programme auf einfachere und intuitive Weise zu entwickeln, allgemein als „Lernen durch Demonstration” oder „Imitationslernen” entwickelt.
Unter Verwendung derartiger Verfahren führt ein menschlicher Bediener eine Aufgabe durch, und ein Computersystem lernt die Aufgabe durch Beobachtung durch den Einsatz von maschinellen Lerntechniken. Trainingsoperationen werden typischerweise entweder von einem menschlichen Bediener ausgeführt, der die Aufgabe direkt ausführt, während ein Computer-Vision-System Verhalten aufnimmt, oder durch die Bedienperson, die den Roboter ergreift und sie physikalisch durch eine erforderliche Folge von Bewegungen bewegt. Derartige „Lernen durch Demonstration” Techniken haben das Potenzial, den Aufwand der Programmierung von Roboteranwendungen mit erhöhter Komplexität zu vereinfachen. Roboteraufgaben weisen typischerweise Positions- oder Bewegungsziele auf, die die Aufgabe definieren. Mehr noch haben diese Arten von Aufgaben begonnen, Kraft- oder Impedanzziele einzuführen, d. h. Ziele, die das Ausmaß der anzuwendenden Kräfte angeben. Wenn eine Aufgabe auch Kraftziele erfordert, reicht allein die Verwendung von Positionserfassungsdaten nicht mehr aus. Infolgedessen wurden Systeme entwickelt, die versuchen, derartige Aufgaben zu lernen, indem sie dem Roboter Kraftsensoren hinzufügen, während der Roboter durch eine Aufgaben-Demonstration bewegt oder zurückgetrieben wird. Jedoch können bestehende Ansätze für die Demonstration bestimmter Arten von geschickten Aufgaben, die sowohl Kraft- als auch Positionsziele aufweisen, weniger als optimal sein.
ZUSAMMENFASSUNG
Ein System und ein begleitendes Verfahren werden hierin zur Erleichterung des Roboterlernens von durch einen Benutzer bedienten Anwendungen mit Kraft- und Positionszielen offenbart. Der vorliegende Ansatz soll die Entwicklung komplexer Roboteranwendungen, insbesondere jene, die in unstrukturierten Umgebungen und/oder Umgebungen verwendet werden, in denen direkte menschliche Roboterinteraktion und -zusammenarbeit auftritt, stark vereinfachen. Unstrukturierte Umgebungen sind, wie in der Technik bekannt, Arbeitsumgebungen, die nicht stark konfiguriert und für eine spezielle Anwendung konzipiert sind. Da die Komplexität der Roboter weiter zunimmt, erhöht sich auch die Komplexität der Roboteraufgaben, die ausgeführt werden können. So verwenden beispielsweise einige auftauchende Roboter sehnenbetätigte Finger und entgegengesetzte Daumen, um Aufgaben mit menschlich-ähnlichen Ebenen von Geschicklichkeit und Geschmeidigkeit auszuführen. Die traditionelle Aufgabenprogrammierung und die konventionelle Demonstration von Rücktreibungsaufgaben für derartige Roboter sind somit komplex bis zu dem Punkt, dass sie impraktikabel sind.
In einer exemplarischen Ausführungsform beinhaltet ein System, um einem Roboter eine Aufgabe zu zeigen, die sowohl Kraft- als auch Positionsziele aufweist, einen Handschuh, der von einem menschlichen Bediener tragbar ist. Das System beinhaltet auch Sensoren und eine oder mehrere Steuerungen, wobei die Steuerung(en) in Kommunikation mit den Sensoren steht. Die Sensoren erfassen kollektiv Aufgabenmerkmale, während der menschliche Bediener, der den Handschuh trägt, die Aufgabe allein durch die Handlungen des menschlichen Bedieners aktiv demonstriert. Die Aufgabemerkmale beinhalten verteilte Kräfte, die auf den Handschuh einwirken sowie eine Handschuhpose und eine Gelenkwinkelkonfiguration.
Die Steuerung kann so programmiert sein, dass sie eine Maschinenlernlogik auf die Aufgabenmerkmale anwendet, um dadurch die aufgezeigte Aufgabe als eine Aufgabenanwendungsdatei zu lernen und aufzuzeichnen. Die Steuerung ist auch programmiert, um die Aufgabenanwendungsdatei auszuführen und dadurch einen Betrieb des Roboters zu steuern, d. h. der Roboter führt automatisch die Aufgabe durch, die anfänglich durch den menschlichen Bediener, der den Handschuh trägt, demonstriert wurde.
Ein Verfahren wird auch offenbart, um eine Aufgabe für einen Roboter unter Verwendung eines Handschuhs, auf dem die vorstehend erwähnten Sensoren positioniert sind, zu demonstrieren. Das Verfahren kann Messen der Satz Aufgabe Eigenschaften Verwendung der Handschuh während eine Mensch Bediener verschleißt die Gebrauchslage und die Aufgabe und anschließend die Aufgabe Charakteristiken zu einem Steuerung. Das Verfahren kann das Verarbeiten der Aufgabenmerkmale über die Steuerung unter Verwendung einer Maschinenlernlogik beinhalten, um dadurch die demonstrierte Aufgabe als eine Aufgabenanwendungsdatei zu lernen und aufzuzeichnen und einen Satz von Steuersignalen unter Verwendung der Aufgabenanwendungsdatei zu erzeugen. Der Satz von Steuersignalen wird an den Roboter übertragen, um dadurch zu bewirken, dass der Roboter automatisch die demonstrierte Aufgabe ausführt.
Die vorstehend genannten Funktionen sowie andere Funktionen und Vorteile dieser Offenbarung gehen aus der folgenden ausführlichen Beschreibung der bestmöglichen praktischen Umsetzung der dargestellten Offenbarung in Verbindung mit den zugehörigen Zeichnungen hervor.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung eines exemplarischen Handschuhs, der als Teil eines Systems zum Demonstrieren einer Kraftpositionstask für einen Roboter, wie hierin dargelegt, verwendbar ist.
2 ist eine schematische Darstellung der Handinnenseite des Handschuhs, wie in 1 gezeigt.
3 ist eine schematische Darstellung eines Systems zum Demonstrieren und Ausführen einer Kraft-Positionsaufgabe für einen Roboter unter Verwendung des Handschuhs, gezeigt in den 1 und 2.
4 ist ein Flussdiagramm, das ein exemplarisches Verfahren zur Demonstration einer Kraftstellungsaufgabe für einen Roboter unter Verwendung des Systems, gezeigt in 4, beschreibt.
AUSFÜHRLICHE BESCHREIBUNG
Unter Bezugnahme auf die Zeichnungen, worin gleiche Bezugszeichen gleichen oder ähnlichen Komponenten in den verschiedenen Figuren entsprechen, ist ein Handschuh 10 schematisch in den 1 und 2 gemäß einer exemplarischen Ausführungsform dargestellt. Wie in 3 gezeigt, ist der Handschuh 10 so konfiguriert, dass er von einem menschlichen Bediener 50 als Teil eines Systems 25 in der Demonstration zu einem Roboter 70 einer Aufgabe getragen wird, die sowohl Kraft- als auch Positionsziele aufweist. Das System 25 von 3 wird gemäß einem Verfahren 100 gesteuert, dessen Ausführungsform nachstehend unter Bezugnahme auf 4 beschrieben ist.
In Bezug auf den in den 1 und 2 gezeigten Handschuh 10, kann der Handschuh eine Vielzahl von gelenkigen oder verbundenen Fingern 12 und einen optionalen gelenkigen oder verbundenen gegenüberliegenden Daumen 12T beinhalten. Der Handschuh 10 beinhaltet auch eine Rückseite 16 und eine Handinnenfläche 17. Der Handschuh 10 kann aus einem beliebigen geeigneten Material wie beispielsweise atmungsaktive Maschen, Nylon und/oder Leder hergestellt sein. Eine optionale Handschlaufe 18 kann verwendet werden, um den Handschuh 10 an einem Handgelenk des Bedieners 50 zu sichern, wie gezeigt in 3. Während vier Finger 12 und ein gegenüberstellbarer Daumen 12T in der exemplarischen Ausführungsform der 1 und 2 dargestellt ist, können andere Konfigurationen des Handschuhs 10 ohne weiteres in Betracht gezogen werden, wie beispielsweise eine Zwei-Finger- oder eine Drei-Finger-Konfiguration, die für Quetschgreifanwendungen geeignet sind.
Im Gegensatz zu herkömmlichen Verfahren unter Verwendung von Sichtsystemen zum Ermitteln der Position und Pendant-Teaching einen Roboter während einer gegebenen Aufgaben-Demonstration anzutreiben, ermöglicht der vorliegende Ansatz stattdessen dem menschlichen Bediener 50, eine geschickte Aufgabe direkt durchzuführen, d. h. indem der menschliche Bediener 50 alleine ohne irgendeine Beteiligung des Roboters 70 in der Demonstration wirkt. Wie in 3, kann eine exemplarische kann eine fachmännische Aufgabe das Greifen, Einführen und Drehen einer Glühbirne 35 in eine Gewindebuchse (nicht gezeigte) beinhalten. Eine derartige Aufgabe besteht darin, eine Anzahl dynamisch verändernder Variablen genau zu überwachen und zu steuern, die kollektiv genau beschreiben, wie anfänglich die Glühbirne 35 zu greifen ist, wie intensiv und schnell die Glühbirne 35 in die Fassung eingesetzt werden kann, während die Glühbirne 35 erfasst wird, schnell die Glühbirne 35 in die Fassung eingeschraubt werden sollte und wie viel Rückkopplungskraft erfasst werden sollte, um anzuzeigen, dass die Glühbirne 35 vollständig in die Fassung eingeschraubt worden ist und darin sitzt. Eine derartige Aufgabe lässt sich mit konventioneller Roboter-Task-Demonstration, ausschließlich mit Vision-Kameras und anderen herkömmlichen Positionssensoren, nicht optimal erlernen.
Um dieser Herausforderung gerecht zu werden, führt der menschliche Bediener 50 die Aufgabe hierin direkt aus, wobei die vorgestellte Aufgabe sowohl Kraft- als auch Positionsziele, wie vorstehend erwähnt, aufweist. Um die gewünschten Enden zu erreichen, kann der Handschuh 10 mit einer Vielzahl unterschiedlicher Sensoren ausgestattet sein, einschließlich wenigstens eines Handinnflächensensors 20, Gelenkkonfigurationssensoren 30 und einer Anordnung von Kraftsensoren 40, die alle auf der Handfläche 17, den Fingern 12 und dem Daumen 12T angeordnet sind, wie in den 1 und 2 gezeigt. Die Sensoren 20, 30 und 40 stehen mit einer oder mehreren Steuerungen in Kommunikation, wobei in einer exemplarischen Ausführungsform ein erster Regler (C1) 60 vorgesehen ist. Die Sensoren 20, 30 und 40 sind so konfiguriert, dass sie Aufgabenmerkmale (TC) kollektiv messen, während die menschliche Bedienperson 50, die den Handschuh 10 trägt, die Aufgabe direkt demonstriert.
Die Aufgabenmerkmale können eine verteilte Kraft (Pfeil F₁₀) auf den Handschuh 10 aufweisen, wie sie unter Verwendung des Arrays der Kraftsensoren 40 bestimmt wird, als auch eine Handfläche (Pfeil O₁₇), die über den Handinnenflächensensor 20 und eine durch die verschiedenen Gelenkkonfigurationssensoren 30 ermittelte Gelenkwinkelkonfiguration (Pfeil J₁₂) bestimmt werden. Die erste Steuerung 60, die mit Kinematikdaten (K₁₀) programmiert werden kann, die die Kinematik des Handschuhs 10 beschreiben, kann die Aufgabenmerkmale verarbeiten und eine Aufgabenanwendungsdatei (TAF) (Pfeil 85) vorab einer zweiten Steuerung (C2) 80 vor der Steuerung des Roboters 70 ausgeben, wie weiter unten ausführlicher beschrieben wird. Während die ersten und zweiten Steuerungen 60 und 80 hierin beschrieben sind, kann eine einzelne Steuerung oder mehr als zwei Steuerungen in anderen Ausführungsformen verwendet werden.
Hinsichtlich der Anordnung von Kraftsensoren 40, gezeigt in 2, kann jeder Kraftsensor 40 als Lastsensor des in der Technik bekannten Typs ausgebildet sein, beispielsweise piezo-resistive Sensoren oder Druckwandler. Die Kraftsensoren 40 können auf allen wahrscheinlichen Kontaktflächen der Handfläche 17, der Finger 12 und des Daumens 12T des Handschuhs 10 verteilt sein, um die Kollektivkräfte genau zu messen, die an mehreren Punkten oder entlang mehrerer Punkte oder Oberflächen des Handschuhs 10 während der demonstrierten Aufgabe auf den Handschuh 10 einwirken und die letztlich die Kraftverteilung auf den Handschuh 10 bestimmen. Jeder der Kraftsensoren 40 gibt ein entsprechendes Kraftsignal aus, das als Kraftsignal EIN, FB,...FN in 2 dargestellt ist. Die Kraftsensoren 40 können verschiedene Größen aufweisen. So kann zum Beispiel in einigen Ausführungsformen ein Drucksensor 140 in Form einer großflächigen Druckmatte vorgesehen sein.
Die Gelenkkonfigurationssensoren 30 von 1 sind so konfiguriert, um die einzelnen Gelenkwinkel (Pfeil J₁₂) der verschiedenen Gelenke der Finger 12 und 12T zu messen. Die Gelenke drehen sich jeweils um eine jeweilige Gelenkachse (A₁₂), von der nur eine in 1 zur illustrativen Vereinfachung angedeutet ist. Wie aus dem Stand der Technik bekannt ist, hat ein menschlicher Finger drei Gelenke, für insgesamt zwölf Gelenkachsen plus zusätzliche Gelenkachsen des Daumens 12T.
In einer exemplarischen Ausführungsform können die Gelenkkonfigurationssensoren 30 als einzelne Resolver ausgebildet sein, die an jedem Gelenk angeordnet sind, oder als flexible Streifen, wie gezeigt, die in dem Material des Handschuhs 10 eingebettet oder damit verbunden sind. Die Gelenkkonfigurationssensoren 30 bestimmen einen Biegewinkel jedes Gelenks und geben die einzelnen Gelenkwinkel (Pfeil J₁₂) an die erste Steuereinrichtung 60 von 3 aus. Wie auf dem Fachgebiet bekannt ist, können derartige flexiblen Sensoren als flexible leitfähige Fasern oder andere flexible leitfähige Sensoren ausgebildet sein, die in das flexible Gewebe des Handschuhs 10 integriert sind und jeweils einen veränderlichen Widerstand aufweisen, der einem unterschiedlichen Gelenkwinkel des Handschuhs 10 entspricht. Gemessene Änderungen des Widerstandes über die Gelenkkonfigurationssensoren 30, die sich auf den Speicher (M) der ersten Steuerung 60 beziehen, um einen bestimmten Gelenkwinkel oder eine Kombination von Gelenkwinkeln zu spezifizieren. Andere Verbindungskonfigurationssensoren 30 können Halleffektsensoren, optische Sensoren oder mikroelektromechanische System (MEMS) biaxiale Beschleunigungsmesser und uniaxiale Gyroskope innerhalb des beabsichtigten erfinderischen Schutzumfangs beinhalten.
Der Handflächensensor 20 von 1 kann ebenfalls ein Inertial- oder Magnetsensor, eine RFID-Einrichtung oder eine andere geeignete lokale Positioniervorrichtung sein, die dazu dient, die sechs Freiheitsgradpositionen und -orientierungen oder die Handflächenposition (Pfeil O₁₇) der Handfläche 17 in einem dreidimensionalen Raum, d. h. XYZ-Koordinaten, zu bestimmen. Der Handinnenflächensensor 20 kann in verschiedenen Ausführungsformen in das Material der Handfläche 17 oder der Rückseite 16 eingebettet oder mit diesem verbunden sein. Die Sensoren 20, 30 und 40 messen kollektiv die Aufgabenmerkmale 85, während die menschliche Bedienperson 50 von 3 den Handschuh 10 während der direkten Demonstration der Aufgabe trägt.
Unter Bezugnahme auf 3, beinhaltet das vorstehend kurz erwähnte System 25 den Handschuh 10 und die Sensoren 20, 30 und 40 sowie die ersten und zweiten Steuerungen 60 und 80. Die Steuerungen 60 und 80 können als die gleiche Vorrichtung ausgeführt sein, d. h. als logische Module eines integrierten Steuersystems, oder sie können separate Rechnereinrichtungen sein, die drahtlos oder über Übertragungsleiter miteinander in Verbindung stehen. Die erste Steuereinrichtung 60 empfängt die gemessenen Aufgabenmerkmale von den Sensoren 20, 30, 40, d. h. von den Kräften F₁₀, der Handflächenhaltung O₁₇ und der Verbindungskonfiguration J₁₂.
Optional kann das System 25 eine Kamera 38 beinhalten, die zum Erfassen eines Ziels, wie z. B. einer Position des menschlichen Bedieners 50 oder der Hand des Bedieners oder eines zusammengebauten oder sonstigen Objekts, das von der Bedienungsperson 50 gehalten wird, während der Demonstration der Aufgabe und zum Ausgeben derselben als Positionssignal (Pfeil P₅₀), worin in diesem Fall das Positionssignal (Pfeil P₅₀) als Teil der gemessenen Aufgabemerkmale empfangen werden kann. Ein Bildverarbeitungsmodul (MVM) kann von der ersten Steuereinrichtung 60 zum Ermitteln der Position des menschlichen Bedieners 50 aus dem empfangenen Positionssignal (Pfeil P₅₀) für einen derartigen Zweck herangezogen werden, durch das Empfangen einer Bilddatei und das Bestimmen der Position über das Bildverarbeitungsmodul (MVM) unter Verwendung bekannter Bildverarbeitungsalgorithmen, sowie zum Bestimmen einer relativen Position des Handschuhs 10 in Bezug auf die menschliche Bedienperson 50.
Die erste Steuereinrichtung 60 kann danach herkömmliche Maschinenlerntechniken auf die gemessenen Aufgabenmerkmale unter Verwendung eines Maschinenlernmoduls (ML) der ersten Steuerung 60 anwenden, um dadurch die aufgezeigte Aufgabe als die Aufgabenanwendungsdatei 85 zu lernen und aufzuzeichnen. Die zweite Steuerung 80 ist so programmiert, dass sie die Aufgabenanwendungsdatei 85 von der ersten Steuerung 60 als maschinenlesbare Befehle empfängt und schließlich die Aufgabenanwendungsdatei 85 ausführt und dadurch einen Betrieb des Roboters 70 von 3 steuert.
Die entsprechenden ersten und zweiten Steuerungen 60 und 80 können derartige gemeinsamen Elemente wie den Prozessor (P) und den Speicher (M) beinhalten, wobei die letzteren konkrete, nichtflüchtige Speichervorrichtungen oder Medien wie z. B. Festwertspeicher, Speicher mit wahlfreiem Zugriff, optischem Speicher, Flash-Speicher, elektrisch programmierbarem Festwertspeicher und dergleichen beinhalten. Die ersten und zweiten Steuerungen 60 und 80 können auch beliebige erforderliche Logikschaltungen beinhalten, einschließlich, aber nicht beschränkt auf, eine Proportional-Integral-Differenzial-Steuerlogik, einen Hochgeschwindigkeitstakt, eine Analog-Digital-Schaltung, eine Digital-Analog-Schaltungsanordnung, einen digitalen Signalprozessor und die notwendigen Eingabe-/Ausgabe-Vorrichtungen und andere Signalaufbereitungs- und/oder Pufferschaltungen. Der Begriff „Modul” wie er hierin verwendet wird, einschließlich dem Maschinenvisionsmodul (MVM) und dem Maschinenlernmodul (ML), kann als alle notwendige Hardware und Software ausgebildet sein, die zum Ausführen bestimmter Aufgaben erforderlich sind.
Kinematische Informationen K₇₂ des Endeffektors 72 und der Kinematikinformation (K₁₀) des Handschuhs 10 können in dem Speicher M gespeichert werden, sodass die erste Steuerung 60 in der Lage ist, die relativen Positionen und Orientierungen des menschlichen Bedieners 50 und/oder des Handschuhs zu berechnen 10 und einen Punkt in einem Arbeitsbereich, in dem die Aufgabendarstellung stattfindet. Der Begriff „Kinematik”, wie er hierin verwendet wird, bezieht sich auf die kalibrierte und somit bekannte Größe, die relative Position, die Konfiguration, die Bewegungsbahnen und den Bereich der Bewegungseinschränkungen eines gegebenen Geräts oder Objekts. Somit kann durch das genaue Erkennen, wie der Handschuh 10 konstruiert und bewegt wird und wie sich der Endeffektor 72 ebenfalls bewegt, die erste Steuerung 60 die Bewegung des Handschuhs 10 in eine Bewegung des Endeffektors 72 übersetzen und dadurch die erforderlichen Maschinen-ausführbaren Anweisungen kompilieren.
In Bezug auf das maschinelle Lernen im Allgemeinen bezieht sich dieser Begriff hier auf die Arten von künstlicher Intelligenz, die in der Technik gut bekannt sind. Somit wird die erste Steuerung 60 mit der erforderlichen Datenanalyse-Logik zum iterativen Lernen von und Anpassen an dynamische Eingangsdaten programmiert. So kann beispielsweise die erste Steuerung 60 derartige exemplarische Operationen wie Mustererkennung und Erkennung durchführen, z. B. unter Verwendung von überwachtem oder unüberwachtem Lernen, Bayesschen Algorithmen, Clusteringalgorithmen, Entscheidungsbaumalgorithmen oder neuronalen Netzwerken. Letztlich gibt das Maschinenlernmodul (ML) die Aufgabenanwendungsdatei 85 aus, d. h. ein computerlesbares Programm oder Code, der von dem Roboter 70 unter Verwendung der zweiten Steuerung 80 ausgeführt werden kann. Die zweite Steuerung 80 gibt letztendlich Steuersignale (Pfeil CC₇₀) an den Roboter 70 aus, um dadurch zu bewirken, dass der Roboter 70 die demonstrierte Aufgabe ausführt, wie in der Aufgabenanwendungsdatei 85 dargelegt.
4 zeigt ein exemplarisches Verfahren 100 zum Demonstrieren einer Aufgabe, die Kraft- und Positionsziele aufweist, zu dem Roboter 70 unter Verwendung des Handschuhs 10 der 1 und 2. Das Verfahren 100 beginnt mit dem Schritt S102, der die Demonstration einer Roboteraufgabe beinhaltet – wobei die Demonstration ausschließlich von einem Menschen vorgenommen wird – unter Verwendung des in den 1 und 2 gezeigten Handschuhs 10. Der menschliche Bediener 50 der 3 trägt den Handschuh 10 der 1 und 2 auf einer Hand und demonstriert direkt die Aufgabe unter Verwendung der Handschuhhand ohne irgendeine Intervention oder Aktion durch den Endeffektor 72 oder den Roboter 70. Das Verfahren 100 fährt mit Schritt S104 fort, während der menschliche Bediener 50 weiterhin die Aufgabe über den Handschuh 10 demonstriert.
Der Schritt S104 beinhaltet Messen das Messen der Aufgabencharakteristiken (TC) unter Verwendung des Handschuhs 10, während der menschliche Bediener 50 den Handschuh 10 trägt und die Aufgabe demonstriert. Die Sensoren 20, 30 und 40 messen gemeinsam die Aufgabecharakteristiken (TC) und die Signale, die die Aufgabeneigenschaften beschreiben, d. h. die Kräfte F₁₀, die Handflächenposition O₁₇ und die Verbindungskonfiguration J₁₂, an die erste Steuerung 60 übertragen. Das Verfahren 100 fährt anschließend mit Schritt S106 fort.
In Schritt S106 kann die erste Steuerung 60 bestimmen, ob die Demonstration der Aufgabe abgeschlossen ist. Verschiedene Ansätze können zum Implementieren von Schritt S106 genommen werden, einschließlich Erfassen einer Ausgangsposition oder einer kalibrierten Geste oder Position des Handschuhs 10 oder Erfassen eines Niederdrückens einer Taste (nicht gezeigt), die die erste Steuerung 60 informiert, dass die Demonstration der Aufgabe abgeschlossen ist. Das Verfahren 100 fährt dann mit Schritt S108 fort, der wahlweise durch in Schritt S107 gesammelte Daten informiert werden kann.
Der optionale Schritt S107 beinhaltet die Verwendung der Kamera 38 von 3 zum Sammeln von Sichtdaten und somit des Positionssignals (Pfeil P₅₀). Wenn der Schritt S107 verwendet wird, kann die Kamera 38, z. B. eine 3D-Punktwolkenkamera oder ein optischer Scanner, 3D-Positionsinformationen sammeln und über das Maschinenvisionsmodul (MVM) eine relative Position des menschlichen Bedieners 50, des Handschuhs 10 und/oder anderer Informationen und leitet diese zu dem ersten Controller 60 weiter.
Der Schritt S108 beinhaltet das Erlernen der demonstrierten Aufgabe aus den Schritten S102–S106. Dies beinhaltet die Verarbeitung der empfangenen Aufgabenmerkmale während oder nach Beendigung der Demonstration über das Maschinenlernmodul (ML) gezeigt in 3. Der Schritt S108 kann das Erzeugen von Aufgabenprimitiven, d. H. Die Kernschritte der demonstrierten Aufgabe, wie beispielsweise „Greifen der Glühlampe 35 am Punkt X₁Y₂Z₃ mit Kraftverteilung X”, „bewegen der erfassten Glühbirne 35 in die Position X₂Y₁Z₂”, „Einsetzen der Glühbirne 35 in die Fassung mit Winkel Φ und Geschwindigkeit V”, „drehen Sie die Glühbirne 35 mit dem Drehmoment T” usw. Übergänge zwischen derartigen Aufgabenprimitiven können durch Erfassen von Änderungen der Werte der gesammelten Daten von Schritt S104 erfasst werden. Das Verfahren 100 fährt mit Schritt S110 fort, wenn die demonstrierte Aufgabe gelernt worden ist.
Schritt S110 beinhaltet das Übersetzen der demonstrierten Aufgabe von Schritt S108 in die Aufgabenanwendungsdatei 85. Der Schritt S110 kann die Verwendung der Kinematikinformation K₁₀ und K₇₂ beinhalten, um die Aufgabe, wie sie von der menschlichen Bedienperson 50 ausgeführt wird, in einen maschinenlesbaren und ausführbaren Code zu übersetzen, der für den in 3 gezeigten Endeffektor 72 geeignet ist. Da zum Beispiel die von der menschlichen Bedienperson 50 verwendeten hohen Geschicklichkeitsgrenzen der menschlichen Hand aus 3 am besten nur durch die Maschinenhand, die der Endeffektor 72 ist, angenähert werden kann, kann es nicht möglich sein, unter Verwendung des Roboters 70 die spezielle Kraftverteilung, Pose und Verbindungskonfiguration, die durch die menschliche Bedienperson 50 verwendet wird, exakt zu duplizieren. Daher, die erste Steuerung 60 ist programmiert, um das Aufgabenprogramm sich in dem nächsten Näherung dar, mit der Endeffektor 72, beispielsweise, über Übertragungsfunktionen, Nachschlagetabellen oder Kalibrierfaktor. Die Anweisungen in einer Form, die die zweite Steuerung 80 verstehen kann, werden dann als die Aufgabenanwendungsdatei 85 erzeugt. Das Verfahren 100 fährt mit Schritt S112 fort, sobald die Aufgabenanwendungsdatei 85 erzeugt worden ist.
Bei Schritt S112 empfängt die zweite Steuerung 80 die Aufgabenanwendungsdatei 85 von der ersten Steuerung 60 und führt eine Steuerungsaktion in Bezug auf den Roboter 70 von 3 aus. Beim Ausführen des Schritts S112 überträgt die zweite Steuerung 80 Steuersignale (Pfeil CC₇₀) an den Roboter 70, der die spezifische Bewegung beschreibt, die erforderlich ist. Der Roboter 70 bewegt dann den Endeffektor 72 gemäß der Aufgabenanwendungsdatei 85 und führt dadurch die demonstrierte Aufgabe allein und automatisch über den Betrieb des Roboters 70 aus.
Die besten Modi für die Durchführung der vorliegenden Offenbarung wurden zwar im Detail beschrieben, doch Fachleute für den Bereich dieser Offenbarung werden verschiedene alternative Designs und Ausführungsformen erkennen, die in den Rahmen der angefügten Ansprüche fallen.

Claims

System zum Demonstrieren einer Aufgabe mit Kraft- und Positionszielen für einen Roboter, wobei das System Folgendes umfasst: einen Handschuh; eine Vielzahl von Sensoren, die konfiguriert sind, um einen Satz von Aufgabeneigenschaften kollektiv zu messen, während ein menschlicher Bediener den Handschuh trägt und die Aufgabe darstellt, worin der Satz von Aufgabeneigenschaften eine Pose, eine gemeinsame Winkelkonfiguration und eine verteilte Kraft des Handschuhs beinhaltet; und eine mit der PCS in Verbindung stehende Steuerung, die dafür programmiert ist, um: die gemessenen Aufgabenmerkmale von den Sensoren zu empfangen; und eine Maschinenlernlogik auf die empfangenen gemessenen Aufgabenmerkmale anwendet, um dadurch die demonstrierte Aufgabe als eine Aufgabenanwendungsdatei zu lernen und aufzuzeichnen.
System nach Anspruch 1, worin die Steuerung außerdem dahingehend programmiert ist, einen Satz von Steuersignalen unter Verwendung der Aufgabenanwendungsdatei zu erzeugen und den Satz von Steuersignalen an den Roboter zu übertragen, um dadurch zu bewirken, dass der Roboter die demonstrierte Aufgabe automatisch durchführt.
System nach Anspruch 1, worin der Handschuh eine Handfläche und eine Vielzahl von Fingern aufweist und worin die Sensoren, die die verteilte Kraft des Handschuhs messen, eine Vielzahl von Kraftsensoren beinhalten, die auf den Fingern und der Handfläche des Handschuhs angeordnet sind.
System nach Anspruch 1, worin die Sensoren, die die Gelenkwinkelkonfiguration des Handschuhs messen, eine Vielzahl flexibler, leitender Sensoren beinhalten, die jeweils einen variablen Widerstand aufweisen, der einem unterschiedlichen Gelenkwinkel des Handschuhs entspricht.
System nach Anspruch 1, ferner umfassend eine Kamera, die betreibbar ist, um eine Position eines Ziels in Form des Bedieners, der Hände des Bedieners oder eines Objekts zu erfassen, worin die erste Steuerung so programmiert ist, dass sie die erfasste Position als Teil des Satzes von Aufgabeneigenschaften empfängt.
System nach Anspruch 1, worin die erste Steuerung mit einer kinematischen Information eines Endeffektors der Handschuh- und Kinematikinformation des Handschuhs programmiert ist und die zum Berechnen relativer Positionen und Orientierungen des Endeffektors unter Verwendung der Kinematikinformation des Endeffektors und des Handschuhs betreibbar ist.
Verfahren zur Demonstration einer Aufgabe mit Kraft- und Positionszielen für einen Roboter unter Verwendung eines Handschuhs, auf dem mehrere Sensoren angeordnet sind, die konfiguriert sind, um einen Satz von Aufgabeneigenschaften, einschließlich einer Pose, einer Gelenkwinkelkonfiguration und einer verteilten Kraft des Handschuhs, kollektiv zu messen, wobei das Verfahren umfasst: das Messen des Satzes von Aufgabenmerkmalen unter Verwendung des Handschuhs, während ein menschlicher Bediener den Handschuh trägt und die Aufgabe demonstriert; das Übertragen der Aufgabenmerkmale an eine Steuerung; und das Verarbeiten der Aufgabenmerkmale über die Steuerung mittels Maschinenlernlogik, um dadurch die demonstrierte Aufgabe als eine Aufgabenanwendungsdatei zu lernen und aufzuzeichnen.
Verfahren nach Anspruch 7, weiterhin umfassend: das Erzeugen eines Satzes von Steuersignalen über die Steuerung unter Verwendung der Aufgabenanwendungsdatei; und das Übertragen des Satzes von Steuersignalen von der Steuerung an den Roboter, um dadurch zu bewirken, dass der Roboter automatisch die demonstrierte Aufgabe ausführt.
Verfahren nach Anspruch 7, worin der Handschuh eine Handfläche und eine Vielzahl von Fingern aufweist, wobei die Sensoren eine Vielzahl von piezo-resistive Kraftsensoren beinhalten, die an den Fingern und der Handfläche angeordnet sind, und Messen des Satzes von Aufgabeneigenschaften. der das Messen der verteilten Kraft unter Verwendung der piezo-resistiven Kraftsensoren beinhaltet.
Verfahren nach Anspruch 7, worin die Sensoren eine Vielzahl flexibler, leitender Sensoren beinhalten, eine Vielzahl von flexiblen leitenden Sensoren mit je einem variablen Widerstand entsprechend einer unterschiedlichen Gelenkwinkel der Handschuh umfassen und worin das Messen des Satzes von Aufgabeneigenschaften das Messen der Gelenkwinkelkonfiguration über die flexiblen, leitfähigen Sensoren beinhaltet.