-
Die Erfindung betrifft ein Verfahren zum Synchronisieren einer Zusammenarbeit von Mensch und Roboter und eine Anordnung zum Durchführen des Verfahrens. Die Erfindung betrifft weiterhin ein Computerprogramm und ein maschinenlesbares Speichermedium zum Durchführen des Verfahrens.
-
Stand der Technik
-
Roboter sind technische Apparaturen, die dazu dienen, dem Menschen mechanische Arbeit abzunehmen. Diese können sowohl ortsfest als auch mobil eingesetzt werden. Zur Steuerung von Robotern werden üblicherweise Computerprogramme eingesetzt. Je nach Anwendungsgebiet können Roboter für sich alleine oder in Zusammenarbeit mit Menschen eingesetzt werden. Die einfachste Form der Zusammenarbeit von Mensch und Roboter besteht darin, dass der Roboter Werkstücke in einer Ablage platziert, aus der sie der Mensch entnehmen kann. Eine weiterführende Zusammenarbeit erfordert Sensorik auf Seiten des Roboters, um die aktuelle Tätigkeitsphase des Menschen erkennen und einordnen zu können. Im Bereich der Forschung werden hauptsächlich Systeme auf Basis von Kameras und Bildverarbeitungsalgorithmen eingesetzt. Bei diesen ist bspw. eine Steuerung über Position, Blickrichtung und/oder Gesten vorgesehen. Es ist auch ein Einsatz mechanischer Schalter sowie kapazitiver oder optischer Näherungssensoren möglich.
-
Zu beachten ist, dass die Zusammenarbeit in Teams, wie bspw. Mensch-Mensch und dementsprechend auch Mensch-Roboter, die Produktivität eines Individuums erst dann erreicht, wenn eine zeitliche Synchronisation der Handlungen gewährleistet werden kann. Eine Schlüsseltechnologie für die kollaborative Zusammenarbeit von Mensch und Roboter sind adaptive Strategien der Robotersteuerung, die sich auf den Menschen und seine Arbeitslast einstellen.
-
Mit Elektromyographie wird eine elektrophysiologische Methode in der neurologischen Diagnostik bezeichnet, bei der die elektrische Muskelaktivität gemessen wird. Bei dieser Methode wird die elektrische Aktivität im ruhenden Muskel und bei unterschiedlich stark willkürlich kontrahiertem Muskel gemessen. Ergebnis der Methode ist das sogenannte Elektromyogramm (EMG). Zur Gewinnung eines EMG-Signals werden entweder Elektroden verwendet, die auf der Hautoberfläche angebracht werden, oder es werden Nadelelektroden durch die Haut in den entsprechenden Muskel eingestochen. In weiteren Schritten wird das erhaltene EMG-Signal typischerweise in einem Computer weiterverarbeitet, wobei bspw. eine Mittelung, eine Glättung und/oder eine Filterung vorgenommen wird bzw. werden.
-
Die Erfassung der Muskelaktivität über das Elektromyogramm bietet den Vorteil, dass das EMG-Signal sehr früh zur Verfügung steht. Während kamerabasierte Systeme eine Mindestauslenkung, bspw. der Hand zur Erkennung der Bewegung, brauchen, stehen die EMG-Signale bereits vor dem Aufbau der Muskelkraft und damit bereits vor der Bewegung selbst bereit. EMG-Signale werden heute bereits zur Gestensteuerung eingesetzt.
-
Die Druckschrift
US 2017/0259428 A1 beschreibt ein Sensorsystem, das eine Anordnung von Sensoren umfasst, wobei hierbei EMG-basierte Sensoren zum Einsatz kommen. Das System dient zum Erkennen von Gesten, um eine Interaktion zwischen Mensch und Roboter zu ermöglichen. Die erkannten Gesten werden in Befehle für den Roboter übersetzt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Anordnung gemäß Anspruch 8 vorgestellt. Es werden weiterhin ein Computerprogramm nach Anspruch 10 sowie ein maschinenlesbares Speichermedium gemäß Anspruch 11 vorgestellt. Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und der Beschreibung.
-
Das vorgestellte Verfahren sieht vor, ein cEMG-Signal auszuwerten und auf Grundlage dieser Auswertung einen oder mehrere Roboter anzusteuern, der bzw. die mit dem Menschen interagieren, an dem das cEMG-Signal erfasst wurde. Das vorgestellte Verfahren ermöglicht im Gegensatz zu bekannten Verfahren eine Zeitersparnis, da die Muskelaktivität des Menschen sehr früh messbar ist, sogar dann, wenn noch gar keine resultierende Handbewegung erkennbar ist.
-
Zu berücksichtigen ist, dass konventionelle galvanisch gekoppelte Elektroden zu Hautirritationen führen können, da durch deren Einsatz die Atmungsaktivität der Haut beeinträchtigt werden kann. Dieses Problem kann beim Einsatz von cEMG (capacitive EMG) vermieden werden.
-
c steht somit für capacitive bzw. kapazitiv, bei dem die Elektroden im Gegensatz zu konduktiven Verfahren durch eine dünne Isolationsschicht vom Menschen galvanisch getrennt sind. Es ist nach wie vor ein Hautkontakt erforderlich, d. h. ein Andrücken des Sensors. Solche cEMG-Sensoren werden bspw. über Gummimanschetten an den Körper angedrückt. Eine Abstandsänderung der Elektroden zur Haut bedingt ein sehr großes Messsignal, das u. U. das EMG-Signal überlagern könnte. Abhilfe schafft hier entweder die Sicherstellung guten Kontakts, z. B. durch die genannte Gummimanschette, oder ein weiterer Sensor zur Messung des Kontakts und eine anschließende signalverarbeitungstechnische Kompensation des cEMG-Signals um Beiträge des variierenden Kontakts. Geeignete Sensoren zur Bestimmung des Kontakts sind bspw. Drucksensoren, kapazitive Kopplungssensoren oder auch optische Sensoren bestehend aus einer typischerweise nah-infraroten Lichtquelle und einem Photodetektor. Mit dem Maß des Kontakts variieren der Anpressdruck, die Kopplungskapazität bzw. der Betrag der zurückgestreuten Strahlungsenergie, so dass eine signalverarbeitungstechnische Korrektur des cEMG-Signals möglich wird.
-
Es werden somit EMG-Signale zur Synchronisation der Arbeit von Mensch und Roboter eingesetzt, um durch eine bessere zeitliche Abstimmung die Zusammenarbeit, z. B. bei Übergabeaufgaben, zu verbessern. Ein Vorteil der EMG-Sensorik besteht dabei in der sehr schnellen Verfügbarkeit des nervenbasierten Sensorsignals, das deutlich vor Beobachtbarkeit anderer Sensorgrößen, wie bspw. einer Kraft bei einem Handschuh mit Kraftsensoren oder bei einer Bewegung bei kamerabasierten oder näherungsbasierten Systemen, detektiert werden kann. Darüber hinaus können die zusätzlichen Informationen, die durch die EMG-Signale abgeleitet werden können, von Vorteil sein. So kann bspw. aus einer Muskelaktivität eine Haltekraft abgeleitet werden.
-
Mögliche Anwendungsfälle sind nachfolgend aufgeführt:
- - Übergabe vom Roboter an den Menschen
-
Der Roboter kann das Objekt sofort freigeben, sobald der Mensch das Objekt fasst und sicher hält. Auf diese Weise werden Produktivitätssteigerungen ermöglicht, da Wartezeiten entfallen. Der Arbeitsablauf wird zudem natürlicher, da der Roboter das Objekt zeitnah freigibt und der Mensch nicht warten muss, bis das Greifwerkzeug zeitlich gesteuert entriegelt wird. Eine zusätzliche Steuerung durch einen Schalter oder eine Geste entfällt, was den Arbeitsablauf für den Menschen intuitiver und weniger komplex macht.
- - Übergabe von Mensch an den Roboter
-
Durch die Stärke der Muskelaktivierung beim Mensch bekommt der Roboter Informationen über das Gewicht des Objekts bzw. wie fest zugepackt werden darf. Unter Berücksichtigung dessen kann der Roboter die Ansteuerung des Greifwerkzeugs einstellen. Wie im vorstehend betrachteten Fall kann auch hier der Arbeitsablauf beschleunigt werden, da der Roboter seine Arbeitsaufgabe sofort beginnen kann, sobald der Mensch ein Objekt freigegeben hat.
-
Somit kann das Verfahren grundsätzlich bei der Übergabe eines Objekts eingesetzt werden. Diese Übergabe kann von einem Menschen zu einem Roboter und/oder von einem Roboter zu einem Menschen erfolgen.
- - Steuerung gemeinsamer Bewegungsabläufe
-
Bisherige Systeme zum intuitiven Führen von Robotern basieren z. B. auf Kraftsensoren. Dabei ergibt sich eine Mehrdeutigkeit, wenn der Roboter unterschiedlich schwere Lasten bewegen können soll. Der Kraftsensor kann in der Regel nicht unterscheiden, ob sich ein schwereres Objekt im Greifwerkzeug befindet oder ob der Mensch zusätzliche Zugkraft aufwendet, um den Roboter über den Kraftsensor zu führen. Hier führt der EMG-Sensor einen zusätzlichen Freiheitsgrad ein, der über die Robotersteuerung die Muskelkraftaufwendung des Bedieners meldet und damit eine genauere Einschätzung der Bediener-Intention ermöglicht.
- - Erkennung von Arbeitssequenzen durch den Menschen
-
Der EMG-Sensor, der z. B. mit Beschleunigungs-, Inertialsensorik und/oder Bildverarbeitungssensorik kombiniert wird, dient der Erkennung von standardisierten Arbeitssequenzen. Die Robotersteuerung kann darauf reagieren und bspw. zum aktuellen Arbeitsschritt passende Werkstücke und Werkzeuge anreichen. Die Erkennung von Arbeitssequenzen kann ebenfalls dazu genutzt werden, bei kollaborativen Montageschritten einen automatischen Werkzeugwechsel durch den Roboter durchzuführen. Über die Erkennung von Arbeitssequencen kann dann ein Steuerungssignal generiert werden.
-
Vorteile der Realisierung über einen EMG-Sensor gegenüber anderen Eingabemedien bestehen darin, dass
- - das EMG-Signal bereits vor Muskelkraftaufbau messbar ist,
- - kein zusätzlicher Schalter betätigt werden muss,
- - keine Freigabezeit des Objekts durch den Roboter abgewartet werden muss.
-
Auf diese Weise läuft die Zusammenarbeit flüssiger, intuitiver und schneller. In Fällen, in denen vom Mensch zur Steuerung des Roboters nur eine Kraft ohne eine sichtbare Bewegung aufgebaut wird, ist der EMG-Sensor die einzige bekannte Alternative zu einem Handschuh mit Kraftsensoren.
-
Vorteile der Realisierung über eine kapazitive EMG-Messung (cEMG) sind, dass
- - keine Gelelektroden oder Elektrodengele eingesetzt werden müssen, was Hautirritationen bei längerer Anwendung vorbeugt,
- - das Eingabegerät als tragbare Einheit, was auch als wearable bezeichnet wird, ebenso über dünner Arbeitskleidung, z. B. einem Staubschutzanzug, getragen werden kann,
- - das Eingabegerät auch als Bestandteil der Arbeitskleidung integriert werden kann.
-
Eine zweckmäßige Erweiterung des Systems besteht in einer zusätzlichen Sensorik, die plausibilisiert, dass der Mensch gerade mit dem Roboter interagiert und nicht abgewandt andere unabhängige Aktionen, z. B. einen Kaffeebecher statt Werkzeug greifen, ausführt.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beigefügten Zeichnungen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 zeigt in zwei Graphen den zeitlichen Ablauf einer Muskelkontraktion.
- 2 zeigt den Einsatz des Verfahrens bei Übergabe eines Objekts.
- 3 zeigt in einem Flussdiagramm die Übergabe eines Objekts vom Roboter zum Menschen.
- 4 zeigt ein Anwendungsbeispiel des gemeinsamen Tragens eines Objekts durch den Menschen und Roboter.
- 5 zeigt ein weiteres Anwendungsbeispiel.
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird nachfolgend unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
1 zeigt in einem ersten Graphen 10 und einem zweiten Graphen 50 den zeitlichen Ablauf der Muskelkontraktion (Mechanogramm). In dem ersten Graphen 10, an dessen Abszisse 12 die Zeit [ms] und an dessen Ordinate 14 die Kraft in % der Maximalkraft aufgetragen ist, zeigt eine erste Kurve 20 den Verlauf des Aktionspotentials, entsprechend dem durch cEMG messbaren elektrischen Signals, eine zweite Kurve 22 den Verlauf der Muskelkraft am Musculus gastrocnemius und eine dritte Kurve 24 den Verlauf der Muskelkraft am Musculus soleus.
-
In dem zweiten Graphen 50, an dessen Abszisse 52 die Zeit [ms] und an dessen Ordinate 54 die Kontraktion aufgetragen ist, sind Verläufe von cEMG-Signalen für einen Einzelreiz 60 und eine Reizserie 62 mit Doppelreiz 64, niederfrequentem Reiz 66 und hochfrequentem Reiz 68 aufgetragen. Diese sind eine erste Kurve 70 für eine Einzelzuckung, zweite Kurven 72 für eine Superposition, eine dritte Kurve 74 für eine unvollständige tetanische Kontraktion und eine vierte Kurve 76 für eine vollständige tetanische Kontraktion.
-
Das Verfahren wird mit mindestens einem, typischerweise mit zwei oder mehreren, je nach aufzulösenden Muskelgruppen, Sensor bzw. Sensoren durchgeführt, der bzw. die kapazitive Elektroden, typischerweise eine Messelektrode und eine Referenzelektrode, verwendet bzw. verwenden. Zur Verbesserung des Signal-Rausch-Verhältnisses kann die cEMG-Elektrode auch mit einer aktiven Schirmung (Driven Shield) ausgestattet sein. Herkömmlicherweise werden zur Abschirmung bspw. koaxiale Kabel verwendet, deren Außenschirm auf Bezugspotential (Massepotential) liegt. Dadurch ergibt sich innerhalb des Leiters (und ebenso auf Leiterkarten) eine parasitäre Kapazität zwischen dem Signalleiter und dem Bezugspotential. Vor allem bei kapazitiven EMG-Systemen resultiert aus der Änderung des Muskelpotentials nur ein sehr geringer Strom im cEMG-System. Eine Verringerung parasitärer Kapazitäten ist daher von hohem Stellenwert, um der Verstärkerschaltung ausreichend Eingangssignal bereitstellen zu können. Ein guter Weg dieses Ziel zu erreichen ist die Verwendung aktischer Schirmung, bei der ein als Spannungsfolger verschalteter Verstärker den Außenschirm des Leiters dem Signalleiter nachführt. Damit besteht kaum Spannungsdifferenz zwischen Signalleiter und Abschirmung und die parasitäre Kapazität ist nicht mehr wirksam. Oft wird zusätzlich ein weiterer Schirm um die Anordnung gelegt, der dann klassisch auf Bezugspotential gelegt wird, was als triaxialer Leiteraufbau bezeichnet wird.
-
Über die durch den cEMG-Sensor gemessenen Daten kann auf die Aktivität der Muskeln des Benutzers geschlossen werden.
-
In 1 ist der zeitliche Ablauf der elektrischen Signale und der Muskelaktivität dargestellt. Hier wird deutlich, dass über cEMG ein Signal bereits deutlich vor dem Kraftaufbau gemessen werden kann. Außerdem kann über die Eigenschaften der Signale, bspw. die Häufigkeit oder Frequenz, auf den Grad der Muskelkontraktion geschlossen werden. Der erste Graph 10 verdeutlicht insbesondere, dass das durch das cEMG messbare Aktionspotential zeitlich deutlich vor dem Aufbau der Muskelkraft anliegt. Der zweite Graph 50 veranschaulicht, dass der Vergleich der elektrischen Signale mit dem Grad der Muskelkontraktion die Ableitung des Grads der Muskelkontraktion aus dem elektrischen Signal ermöglicht.
-
Die Sensoren können zusätzlich mit einer Signalverarbeitung und einer Signalübertragung, die bspw. drahtlos erfolgt, zu einem Roboter ausgestattet sein. Je nach Anwendungsfall werden durch die Signalverarbeitung aus den cEMG-Rohdaten die für die Arbeitsaufgabe benötigten Informationen mittels eines Algorithmus extrahiert und an den Roboter übertragen. So können bspw. Muskelsignale, die auf das Greifen eines Objektes hinweisen, ausgewertet werden.
-
Es können diese cEMG-Elektroden flexibel ausgeführt sein, um den Tragekomfort am Körper zu erhöhen. So können bspw. die Elektroden zusammen mit einer Signalvorverstärkung, Signalverarbeitung und Funkübertragung in eine „Wearable“, z. B. Armband oder Manschette, integriert sein. Auch eine Integration in Textilien, z. B. in den Ärmel der Arbeitskleidung, ist denkbar. In bestimmten Fällen kann es zweckmäßig sein, die Elektronik von den Elektroden trennen zu können, bspw. mittels eines Steckers. So können in Kleidung integrierte Elektroden mitgewaschen werden oder die Elektroden, typischerweise als kostengünstiger Teil, in Einweg-Artikel, wie bspw. Stulpen oder Handschuhe, integriert werden, während die Elektronik wiederverwendet werden kann. Auch die Integration der Elektroden in ein auf die Haut aufklebbares Etikett ähnlich einem Pflaster ist so möglich.
-
Nach Anlegen des Sensors und vor Beginn der Zusammenarbeit mit dem Roboter kann eine benutzerspezifische Kalibration und/oder Anlern- bzw. Trainingsroutine implementiert sein. Die Routine kann bspw. dem Menschen bestimmte Bewegungen vorgeben, der diese nachahmt. Eine probeweise Durchführung der während der Zusammenarbeit auszuführenden Arbeitsschritte ist auch denkbar. Die hierbei gemessenen cEMG-Daten werden dann als Referenz gespeichert und für die darauffolgende Zusammenarbeit verwendet. Über diese Routine ist auch eine Kontrolle durch das System möglich, die bestimmt, ob der Sensor durch den Benutzer richtig angelegt wurde.
-
Während der Zusammenarbeit werden die Rohsignale durch geeignete Verfahren ausgewertet, um auf die Muskel-Aktivität des Menschen zu schließen.
-
Die gewonnenen zeitbasierten Daten der Muskelaktivität werden dann durch einen Auswertealgorithmus weiterverarbeitet, der die für den aktuellen Anwendungsfall relevanten Daten bestimmt.
-
2 zeigt schematisch einen Aufbau, der den Anwendungsfall der Übergabe eines Objekts 100 von einem Roboter 102 zu einem Menschen 104 realisiert. Die Darstellung zeigt einen Arm 106 des Menschen 104 mit einem ersten Aufnehmer 110 und einem zweiten Aufnehmer 112, die mit einem cEMG-Sensor 120 verbunden sind, der über eine drahtlose Funkverbindung 122 ein cEMG-Signal 124, das von dem cEMG-Sensor 120 ausgegeben wird, an eine Robotersteuerung 130 überträgt. In Abhängigkeit des cEMG-Signals 124, das wiederum von der Aktion bzw. den Aktionen des Menschen 104 bzw. des Arms 106 des Menschen 104 abhängt, wird der Roboter 102 angesteuert, so dass eine Übergabe des Objekts 100 erfolgen kann.
-
In 3 ist das Flussdiagram für diesen Anwendungsfall dargestellt. In einem ersten Schritt 150 wird ein Objekt durch einen Roboter angeboten. In einem nächsten Schritt 152 wird überprüft, ob der Bediener, der Mensch, dem Roboter zugewandt ist. Ist dies nicht der Fall, wird dies wiederholt abgefragt (Pfeil 154). Ist dies der Fall (Pfeil 156) detektiert in Schritt 158 der Sensor ein Greifen. Erfolgt dies nicht (Pfeil 160), so wird dieser Schritt 158 wiederholt. Erfolgt dies (Pfeil 162), so wird in Schritt 164 überprüft, ob die Greifkraft ausreichend ist. Ist dies nicht der Fall (Pfeil 166), so wird dieser Schritt 164 wiederholt. Ist dies der Fall (Pfeil 168), so wird in Schritt 170 das Objekt durch den Roboter freigegeben.
-
3 zeigt somit bespielhaft, wie zusätzliche Sensorsignale verwendet werden können, um Fehlinterpretationen der cEMG-Signale zu verhindern. Es wird sichergestellt, dass wenn eine Muskelaktivität detektiert wird, der Mensch wirklich das vom Roboter bereitgestellte Objekt manipuliert und nicht ein anderes Objekt greift. Dies ist bspw. auf die folgenden Arten möglich:
- - eine Kamera, die registriert, ob der Mensch dem Roboter zugewandt ist,
- - ein Näherungssensor im Roboter, z. B. in oder nahe der Werkzeugaufnahme des Roboters,
- - eine Ableitstrommessung.
-
In 4 ist als weiteres Anwendungsbeispiel das gemeinsame Tragen eines Objekts schematisch dargestellt. Die Darstellung zeigt einen Menschen 200 mit einem cEMG-Sensor 202 mit Funkmodul, ein Objekt 204 und einen Roboter 206. In diesem Fall ist das Objekt 206 bspw. in Richtung eines Pfeils 208 anzuheben.
-
Während der Zusammenarbeit werden dem Roboter 206 die Daten des cEMG-Sensors 202, der als Muskelsensor ausgebildet ist, über ein Funkmodul übermittelt. Durch die Auswertung dieser Daten kann die Intention des Menschen 200, bspw. das Aufheben des Objekts 204, das Tragen des Objekts 204 in eine bestimmte Richtung oder das Abstellen des Objekts 204 ermittelt werden und der Roboter 206 kann dies gezielt und synchron unterstützen.
-
Das vorgestellte Verfahren kann bei jeder Kollaboration zwischen Mensch und Roboter Anwendung finden. Weitere Einsatzmöglichkeiten finden sich auch im Bereich der Consumer-Robotik, wenn Roboter-Assistenten Einzug in den Alltag finden.
-
5 zeigt ein weiteres Anwendungsbeispiel, nämlich eine Messschaltung 300 und einen menschlichen Arm 302. Die Messschaltung 302 ist mit einer Referenzelektrode 304 verbunden, die bspw. über eine Isolationsschicht (nicht dargestellt) mit dem Arm 302 verbunden ist. Weiterhin ist die Messschaltung 300 mit einer Messelektrode 306 verbunden, und zwar über eine Triaxialleitung 308, die einen Schirm (Masse) 310 und einen Schirm (Aktiv) 312 umfasst. Auch hier ist zwischen der Messelektrode 306 und dem Arm 302 eine nicht dargestellte Isolationsschicht vorgesehen. Die Referenzelektrode 304 kann zudem ebenfalls über eine Triaxialleitung mit der Messschaltung verbunden sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017/0259428 A1 [0006]
