DE102022103275B3

DE102022103275B3 - Verfahren zum Steuern eines Roboters

Info

Publication number: DE102022103275B3
Application number: DE102022103275.2A
Authority: DE
Inventors: Jörn Vogel; Annette Hagengruber
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2022-02-11
Filing date: 2022-02-11
Publication date: 2023-03-23
Anticipated expiration: 2042-02-12
Also published as: WO2023152361A1

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern eines Roboters, mit den folgenden Verfahrensschritten:a Erfassen eines Bio-Signals an einem Körperteil eines Nutzersb Ableiten eines Nutzerkommandos (ẋusr) zur Steuerung des Roboters aus den erfassten Bio-Signalenc Ableiten einer durchzuführenden Aufgabe aus dem Nutzerkommando (ẋusr) unter Verwendung eines Intentionserkennungsmodulsd Berechnen eines optimalen Kommandos (ẋopt), das am effizientesten zum Erfüllen der Aufgabe iste Ermitteln einer Abweichung zwischen dem Nutzerkommando (ẋusr) und dem optimalen Kommando (ẋopt)f Anpassen des Dekodieralgorithmus, durch den aus dem Bio-Signal das Nutzerkommando (ẋusr) dekodiert wird, auf Basis der ermittelten Abweichungg Steuern des Roboters unter Verwendung des angepassten Dekodieralgorithmus.

Description

Die Erfindung betrifft ein Verfahren zum Steuern eines Roboters.
Mensch-Maschine Schnittstellen, wie z.B. Brain-Computer Interfaces (BCI), oder Schnittstellen, die auf der Messung von Muskelaktivität (z.B. EMG) oder anderer biologische Signale basieren, werden heutzutage vielfach entwickelt, um Menschen mit Behinderung die Steuerung technischer Geräte zu ermöglichen. Typischerweise werden bei diesen Schnittstellen Signale vom Menschen erfasst und durch einen Algorithmus (Dekoder), der typischerweise Methoden des maschinellen Lernens verwendet, in Steuersignale übersetzt. Um den Dekoder auf die spezifischen Signale des Nutzers zu kalibrieren, wird typischerweise eine Trainingsprozedur vollzogen, in der der Nutzer aufgefordert wird, bestimmte Signale zu erzeugen. Im Beispiel eines BCI wird der Nutzer etwa aufgefordert, sich für eine bestimmte Dauer Bewegungen der rechten Hand vorzustellen und anschließend Bewegungen der linken Hand. Dieses so genannte open-loop Training hat den Nachteil, dass der Nutzer während der Erzeugung dieser Signale noch nicht die Kontrolle über das zu steuernde Gerät übernimmt. Oftmals hat dies zur Folge, dass sich die vom Nutzer erzeugten Signale verändern, sobald diese zur eigentlichen Steuerung genutzt werden. Um diesem Effekt entgegen zu wirken, kann die Dekoderkalibrierung um ein so genanntes closed-loop Training erweitert werden. Dabei werden dem Nutzer vordefinierte Ziele, z.B. auf einem Bildschirm, präsentiert, die dieser ansteuern soll. Durch das bekannte vorgegebene Ziel kann das dekodierte Steuersignal mit dem gewünschten (optimalen) Steuersignal verglichen werden, und somit eine Anpassung des Dekoders vorgenommen werden.
Informationen zum Stand der Technik können den folgenden Veröffentlichungen entnommen werden.

[1] Jarosiewicz, Beata, et al. „Virtual typing by people with tetraplegia using a self-calibrating intracortical brain-computer interface.“ Science translational medicine 7.313 (2015): 313ra179-313ra179.
[2] Hochberg, Leigh R., et al. „Reach and grasp by people with tetraplegia using a neurally controlled robotic arm.“ Nature 485.7398 (2012): 372-375.
[3] Schiel, Felix, et al. „Incremental learning of EMG-based control commands using Gaussian Processes“. Conference an Robot Learning (CoRL), 2020.

Im Stand der Technik sind verschiedene Methoden bekannt, um die Kalibrierung von biosignalbasierten Schnittstellen durchzuführen. Neben dem klassischen o-pen-loop Routinen, bei denen der Nutzer aufgefordert wird, ein bestimmtes Signal zu erzeugen, sind dabei vor allem die closed-loop Methoden erfolgsversprechend. In der closed-loop Kalibrierung wird typischerweise bei der Verwendung der Schnittstelle neben dem dekodierten Steuersignal zusätzlich ein für die aktuelle Aufgabe optimales Steuersignal berechnet. Um dieses optimale Steuersignal berechnen zu können, ist es notwendig zu wissen, welche Aufgabe der Nutzer ausführen möchte. In der Literatur sind hierzu unterschiedliche Beispiele bekannt. So kann bei Texteingaben mittels BCI retrospektiv ermittelt werden, ob der Nutzer den richtigen Buchstaben ausgewählt hat. Hierfür kann entweder ausgewertet werden, dass der Nutzer Buchstaben, die falsch eingetippt wurden, wieder löscht, oder es kann auf Wörterbücher und automatische Textvervollständigung zurückgegriffen werden [1].
Wenn biosignalbasierte Schnittstellen zum Steuern von Robotern eingesetzt werden, erfolgt die closed-loop Kalibrierung typischerweise dadurch, dass der Nutzer vordefinierte Ziele im Raum anfahren muss oder den Roboter in eine bestimmte Richtung kommandieren muss. Dadurch, dass in dieser künstlichen Aufgabe das Ziel der Bewegung bekannt ist, kann das optimale Steuerkommando ermittelt werden und zur Aktualisierung des Dekoders verwendet werden [2].
Alternativ können auch nicht überwachte Methoden eingesetzt werden, bei denen nur auf Basis der erzeugten Biosignale und dem durch den Dekoder berechneten Steuersignalen Annahmen über die Korrektheit der Dekodierung getroffen werden. Auf Basis dieser Annahmen kann dann eine Aktualisierung des Dekoders erfolgen [3].
DE 10 2019 211 770 B3 beschreibt ein Verfahren zur rechnergestützten Erfassung und Auswertung eines Arbeitsablaufs, bei dem ein Mensch und ein robotisches System zusammenwirken.
Weiterer technischer Hintergrund ist bekannt aus den folgenden Druckschriften :

Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Steuern eines Roboters und insbesondere zum Aktualisieren eines Dekoders unter Verwendung von Bio-Signalen bereitzustellen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren nach Anspruch 1.
Das erfindungsgemäße Verfahren zum Steuern eines Roboters umfasst die folgenden Verfahrensschritte:

a Erfassen eines Bio-Signals an einem Körperteil eines Nutzers
b Ableiten eines Nutzerkommandos (ẋ_usr) zur Steuerung des Roboters aus den erfassten Bio-Signalun
c Ableiten einer durchzuführenden Aufgabe aus dem Nutzerkommando (ẋ_usr) unter Verwendung eines Intentionserkennungsmoduls
d Berechnen eines optimalen Kommandos (ẋ_opt), das am effizientesten zum Erfüllen der Aufgabe ist
e Ermitteln einer Abweichung zwischen dem Nutzerkommando (ẋ_usr) und dem optimalen Kommando (ẋ_opt)
f Anpassen des Dekodieralgorithmus, durch den aus dem Bio-Signal das Nutzerkommando (ẋ_usr) dekodiert wird, auf Basis der ermittelten Abweichung
g Steuern des Roboters unter Verwendung des angepassten Dekodieralgorithmus.

Das erfindungsgemäße Verfahren ermöglicht eine verbesserte Steuerung eines Roboters unter Verwendung von Bio-Signalen, ohne dass die aktuelle Tätigkeit unterbrochen werden muss. Es ist nicht notwendig, separate Trainingsaufgaben durchzuführen, um den Dekodieralgorithmus zu verbessern. Vielmehr kann eine Verbesserung des Dekodieralgorithmus im laufenden Betrieb stattfinden.
Es ist bevorzugt, dass der Robotersteuerung eine Beschreibung der durchzuführenden Aufgabe vorliegt, die geometrische oder andere Zwangsbedingungen enthält, die zur Erfüllung der Aufgabe erforderlich sind. Eine Beschreibung kann beispielsweise vorliegen, wenn durch den Roboter eine teilautonome Unterstützung bei der Durchführung der Aufgabe angeboten wird. Solche Zwangsbedingungen können in verschiedenen aus dem Stand der Technik bekannten Formaten vorliegen:

IEEE, „Shared Control Templates for Assistive Robotics“, published September 15, 2020 und
IEEE, „Toward Seamless Transitions Between Shared Control and Supervised Autonomy in Robotic Assistance“, published March 3, 2021.

Soll beispielsweise durch eine Roboterhand ein Glas gegriffen werden, so könnten die geometrischen Zwangsbedingungen die Form eines Trichters aufweisen, der auf das zu greifende Glas hin verläuft bzw. sich bis zu diesem verjüngt. Die geometrische Zwangsbedingung würde somit definieren, dass die Roboterhand sich innerhalb dieses Trichters immer näher an das zu greifende Objekt annähern muss. Auf Basis der geometrischen oder anderer Zwangsbedingungen kann dann ein zur Erfüllung der Aufgabe optimales Steuerkommando ermittelt werden. Ergibt das Nutzerkommando, das aus den erfassten Bio-Signalen abgeleitet wurde, eine Bewegung die aus dem Trichter herausführt, oder auf andere Weise von diesem optimalen Kommando abweicht, so kann der Dekodieralgorithmus entsprechend angepasst werden, indem aus dem gleichen Bio-Signalen ein Nutzerkommando abgeleitet wird, das innerhalb des Trichters verbleibt, d.h. das die geometrischen Zwangsbedingungen der durchzuführenden Aufgabe erfüllt. Die zugrundeliegende Annahme ist, dass der Nutzer eigentlich beabsichtigt, dieses optimale Steuerkommando zu erzeugen, da er ja die Aufgabe ausführen möchte. Wenn der Dekoder aber nicht dieses optimale Kommando erzeugt, dann kann eine Anpassung des Dekoders notwendig sein, um in der aktuellen Situation das optimale Kommando zu erzeugen.
Er ist bevorzugt, dass durch das Anpassen des Dekodieralgorithmus das Nutzerkommando so abgeändert wird, dass eine effizientere Ausführung der Aufgabe ermöglicht wird.
Das Anpassen des Dekodieralgorithmus gemäß Verfahrensschritt f kann im laufenden Betrieb in Echtzeit erfolgen. Der Nutzer wird in diesem Fall die Verbesserung des Dekodieralgorithmus nicht oder kaum bemerken, da der laufende Betrieb des Roboters nicht unterbrochen wird und die Veränderung des Dekodieralgorithmus in kleinen Schritten erfolgt.
Alternativ ist es möglich, den verbesserten Dekodieralgorithmus erst zu einem späteren Zeitpunkt einzusetzen, während in Echtzeit das Steuern des Roboters auf Basis des ursprünglichen Dekodieralgorithmus erfolgt. Anders ausgedrückt wird in Echtzeit der verbesserte Dekodieralgorithmus noch nicht sofort eingesetzt, sondern erst in einer späteren Anwendung, z.B. in der nächsten auszuführenden Aufgabe.
Es ist weiterhin bevorzugt, dass das Ableiten des Nutzerkommandos aus den Bio-Signalen unter Verwendung eines Gaussian Process Regression Verfahrens erfolgt.
Weiterhin ist es bevorzugt, dass das Anpassen des Dekodieralgorithmus gemäß Verfahrensschritt f zusätzlich auf Basis von Regressionsparametern erfolgt, die vom Dekodieralgorithmus zur Verfügung gestellt werden.
Es ist weiterhin bevorzugt, dass die Bio-Signale EMG-Signale sind. Alternativ oder zusätzlich können Muskelsignale, die mittels anderer geeigneter Messprinzipien gemessen werden verwendet werden und/oder Signale des peripheren Nervensytems oder Signale des zentralen Nervensystems, insbesondere des Gehirns, die nicht-invasiv oder invasiv gemessen werden (EEG, MEG, NIRS, FMRI, ECOG, multi-electrode arrays).
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand von Figuren erläutert.

1 zeigt ein mögliches Anwendungsszenario für das erfindungsgemäße Verfahren
2 zeigt den Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens

Gemäß 1 steuert ein Nutzer (14) unter Verwendung von EMG-Signalen einen Roboterarm (10). Die EMG-Signale können an einem Körperteil des Nutzers über geeignete Sensoren erfasst werden. Dies kann beispielsweise am Unterarm des Nutzers erfolgen.
Aus den erfassten EMG-Signalen wird wie in 2 sichtbar, unter Verwendung eines Gaussian Process Regression Verfahrens ein Nutzerkommando (ẋ_usr) abgeleitet.
Wie in 1 sichtbar kann dieses Nutzerkommando (ẋ_usr) suboptimal für die durchzuführende Aufgabe sein, da es beispielsweise die geometrischen Zwangsbedingungen, die zur Durchführung der Aufgabe erfüllt werden müssen, nicht erfüllt.
Unter Kenntnis der durchzuführenden Aufgabe kann ein optimales Kommando (ẋ_opt) berechnet werden, welches im aktuellen Weltzustand am effizientesten zum Erfüllen der Aufgabe führen würde. Durch dieses optimale Kommando (ẋ_opt) würde der Greifer (18) auf dem kürzesten Weg zum Glas (12) geführt werden.
Erfindungsgemäß erfolgt ein Update des Dekodieralgorithmus (siehe 2), sodass der Dekodieralgorithmus auf Basis der Abweichung zwischen dem Nutzerkommando (ẋ_usr) und dem optimalen Kommando (ẋ_opt) angepasst wird. Hierbei können weitere Regressionsparameter berücksichtigt werden, die vom Dekodieralgorithmus zur Verfügung gestellt werden. Dies kann z.B. die Konfidenz des Algorithmus hinsichtlich der Dekodierung oder die erfassten EMG-Signale umfassen. Auf Basis dieser Daten kann sodann ein Update für das Modell des Dekodieralgorithmus berechnet und umgesetzt werden. Die Umsetzung kann im laufenden Betrieb oder zu einem späteren Zeitpunkt erfolgen.

Claims

Verfahren zum Steuern eines Roboters, mit den folgenden Verfahrensschritten: a Erfassen eines Bio-Signals an einem Körperteil eines Nutzers b Ableiten eines Nutzerkommandos (ẋ_usr) zur Steuerung des Roboters aus den erfassten Bio-Signalen c Ableiten einer durchzuführenden Aufgabe aus dem Nutzerkommando (ẋ_usr) unter Verwendung eines Intentionserkennungsmoduls d Berechnen eines optimalen Kommandos (ẋ_opt), das am effizientesten zum Erfüllen der Aufgabe ist e Ermitteln einer Abweichung zwischen dem Nutzerkommando (ẋ_usr) und dem optimalen Kommando (ẋ_opt) f Anpassen des Dekodieralgorithmus, durch den aus dem Bio-Signal das Nutzerkommando (ẋ_usr) dekodiert wird, auf Basis der ermittelten Abweichung g Steuern des Roboters unter Verwendung des angepassten Dekodieralgorithmus.
Verfahren zum Steuern eines Roboters nach Anspruch 1, dadurch gekennzeichnet, dass der Robotersteuerung eine Beschreibung der durchzuführenden Aufgabe vorliegt, die geometrische oder andere Zwangsbedingungen enthält, die zur Durchführung der Aufgabe erforderlich sind.
Verfahren zum Steuern eines Roboters nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass durch das Anpassen des Dekodieralgorithmus das Nutzerkommando (ẋ_usr) derart erzeugt wird, dass eine effizientere Ausführung der Aufgabe ermöglicht wird.
Verfahren zum Steuern eines Roboters nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass das Steuern des Roboters gemäß Verfahrensschritt f im laufenden Betrieb in Echtzeit erfolgt.
Verfahren zum Steuern eines Roboters nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass das Steuern des Roboters gemäß Verfahrensschritt f zu einem späteren Zeitpunkt erfolgt, während in Echtzeit das Steuern des Roboters ohne Anpassung des Dekodieralgorithmus erfolgt.
Verfahren zum Steuern eines Roboters nach Anspruch 1 bis 5, dadurch gekennzeichnet, dass das Ableiten des Nutzerkommandos (ẋ_usr) aus den Bio-Signalen unter Verwendung eines Gaussian Process Regression Verfahrens erfolgt.
Verfahren zum Steuern eines Roboters nach Anspruch 6, dadurch gekennzeichnet, dass das Anpassen des Dekodieralgorithmus gemäß Verfahrensschritt f auf Basis von Regressionsparametern erfolgt, die vom Dekodieralgorithmus zur Verfügung gestellt werden.
Verfahren zum Steuern eines Roboters nach Anspruch 1 bis 7, dadurch gekennzeichnet, dass die Bio-Signale EMG-Signale sind.