DE102017208451B4

DE102017208451B4 - Man-machine interface and method for calibrating such

Info

Publication number: DE102017208451B4
Application number: DE102017208451.0A
Authority: DE
Inventors: Holger Urbanek
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2017-05-18
Filing date: 2017-05-18
Publication date: 2021-09-16
Anticipated expiration: 2037-05-19
Also published as: DE102017208451A1

Abstract

Verfahren zum Kalibrieren eines Mensch-Maschine-Interface (10),wobei durch eine Vielzahl myographischer Sensoren (12), die auf der Hautoberfläche (14) eines Nutzers platziert sind, anhand der muskulären Bewegung eines Nutzers vom Nutzer beabsichtigte Eingabebefehle generiert werden,wobei die myographischen Sensoren (12) durch eine Haltevorrichtung (16) in einer definierten Relativposition zueinander auf der Hautoberfläche (14) des Nutzers gehalten werden,wobei das Kalibrieren des Mensch-Maschine-Interface (10) bei einem Ablegen und erneuten Wiederanlegen der Haltevorrichtung (16) wie folgt durchgeführt wird:a) Erfassen einer ersten Referenzmuskelbewegung des Nutzers, während sich die Haltevorrichtung (16) in einer ersten Position befindet,b) Erfassen einer zweiten Referenzmuskelbewegung des Nutzers nachdem die Haltevorrichtung (16) abgelegt und erneut wieder angelegt wurde, so dass sie sich in einer zweiten Position befindet, die sich von der ersten Position unterscheidet,c) Ermitteln einer Vielzahl von Abbildungen, durch die die Signale der Einzelpositionen der myographischen Sensoren (12) in der zweiten Position der Haltevorrichtung (16) auf die Signale der Einzelpositionen der myographischen Sensoren (12) in der ersten Position der Haltvorrichtung (16) abgebildet werden,d) Ermitteln eines Fehlermaßes für jede Abbildung, indem ermittelt wird, wie ähnlich die Sensorsignale der myographischen Sensoren (12) in der zweiten Position der Haltevorrichtung (16) beim Durchführen der zweiten Referenzmuskelbewegung den Sensorsignalen der myographischen Sensoren (12) in der ersten Position der Haltevorrichtung (16) beim Durchführen der ersten Referenzmuskelbewegung sind,e) Auswählen derjenigen Abbildung, die das geringste Fehlermaß aufweist, als korrekte Abbildung.Method for calibrating a man-machine interface (10), wherein input commands intended by the user are generated by a multiplicity of myographic sensors (12) which are placed on the skin surface (14) of a user on the basis of the muscular movement of a user, the myographic sensors (12) are held by a holding device (16) in a defined position relative to one another on the skin surface (14) of the user, the calibration of the man-machine interface (10) when the holding device (16) is put down and put back on again. is carried out as follows: a) Detection of a first reference muscle movement of the user while the holding device (16) is in a first position, b) Detection of a second reference muscle movement of the user after the holding device (16) has been put down and put back on again, so that it is in a second position that differs from the first position, c) determining a plurality of images by which the signals of the individual positions of the myographic sensors (12) in the second position of the holding device (16) are mapped onto the signals of the individual positions of the myographic sensors (12) in the first position of the holding device (16), d ) Determining an error measure for each image by determining how similar the sensor signals of the myographic sensors (12) in the second position of the holding device (16) when performing the second reference muscle movement to the sensor signals of the myographic sensors (12) in the first position of the holding device (16) when performing the first reference muscle movement, e) selecting the image that has the lowest degree of error as the correct image.

Description

Die Erfindung betrifft ein Mensch-Maschine-Interface sowie ein Verfahren zum Kalibrieren eines solchen.The invention relates to a man-machine interface and a method for calibrating such an interface.

Aus dem Stand der Technik sind verschiedene Möglichkeiten bekannt, ein Mensch-Maschine-Interface auszugestalten, um einem menschlichen Nutzer die Möglichkeit zu geben, Eingabebefehle für eine Vorrichtung, beispielsweise einen Roboter, zu generieren. Beispielsweise wird in der Prothetik die Elektromyographie verwendet, bei der eine Vielzahl von Elektroden auf der Hautoberfläche des Nutzers angebracht werden, durch die muskuläre Bewegungen des Nutzers erkannt werden. Aufgrund dieser Detektion werden Eingabebefehle beispielsweise für eine Bewegung der Prothese oder eine Roboters generiert.Various possibilities are known from the prior art for designing a man-machine interface in order to give a human user the option of generating input commands for a device, for example a robot. For example, electromyography is used in prosthetics, in which a large number of electrodes are attached to the skin surface of the user, through which the muscular movements of the user are recognized. On the basis of this detection, input commands are generated, for example, for a movement of the prosthesis or a robot.

Problematisch hierbei ist, dass nach dem Ablegen der Elektroden und einem erneuten Anlegen das System neu trainiert werden muss, da die Elektroden nie dieselbe Position wie vorher einnehmen und sich ihre Signale somit nach dem erneuten Anlegen von den vorherigen Signalen unterscheiden werden. Je komplexer die Steuerungskommandos werden, desto mehr Elektroden werden benötigt, und desto länger ist somit die unausweichliche Trainingsphase des mustererkennenden Algorithmus, der das spezifische Elektrodenaktivierungsmuster in ein entsprechendes Kommando umsetzt. Problematisch hierbei ist, dass das spezifische Muster einer Elektrodenaktivierung sehr stark von den einzelnen Elektroden auf der Haut abhängt, so dass schon kleinste Verschiebungen der Elektroden zu anderen Elektrodenmustern führen. Dies führt dazu, dass die Muster erkennenden Algorithmen die veränderten Muster nicht erkennen oder was noch schlimmer wäre, einen falschen Bewegungsbefehl auf Basis eines vermeintlich erkannten Musters generieren.The problem here is that after the electrodes have been put down and reapplied, the system has to be retrained, as the electrodes never assume the same position as before and their signals will therefore differ from the previous signals after reapplication. The more complex the control commands, the more electrodes are required and the longer the inevitable training phase of the pattern-recognizing algorithm that converts the specific electrode activation pattern into a corresponding command. The problem here is that the specific pattern of electrode activation is very much dependent on the individual electrodes on the skin, so that even the smallest shifts in the electrodes lead to different electrode patterns. As a result, the pattern-recognizing algorithms do not recognize the changed pattern or, what would be even worse, generate an incorrect movement command on the basis of a supposedly recognized pattern.

Informationen zu der Verwendung von elektromyographischen Elektrodenarrays können den folgenden Veröffentlichungen entnommen werden:

- US 2010/0069736 A1
- D. Prutch, „A High-Resolution Large Array (HLRA) EMG System“, 1995, Med. Eng. Phys., Bd. 17, 442-454
- US 8447704 B2
- Sebastian Bitzer, Patrick von der Smagt, 2006, „Learning EMG-control of a robotic hand: Towards Active Prostheses“, ICRA 2006 , S. 4175-4186
- DE 10 2012 211 799 B4

Information on using electromyographic electrode arrays can be found in the following publications:

- US 2010/0069736 A1
- D. Prutch, "A High-Resolution Large Array (HLRA) EMG System", 1995, Med. Eng. Phys., Vol. 17, 442-454
- US 8447704 B2
- Sebastian Bitzer, Patrick von der Smagt, 2006, "Learning EMG-control of a robotic hand: Towards Active Prostheses", ICRA 2006 , Pp. 4175-4186
- DE 10 2012 211 799 B4

Aus US 2015/0084860 A1 ist eine Vorrichtung mit EMG-Sensoren bekannt, die durch einen Benutzer getragen werden kann. Diese Vorrichtung detektiert Signale, die durch die EMG-Sensoren bereitgestellt werden und vergibt hierzu einen Rang. Weiterhin sind Verfahrensschritte für die Kalibrierung der Vorrichtung offenbart.the end US 2015/0084860 A1 a device with EMG sensors is known which can be worn by a user. This device detects signals that are provided by the EMG sensors and assigns a rank to them. Method steps for calibrating the device are also disclosed.

US 2015/0279231 A1 beschreibt ebenfalls die Verwendung von Sensoren zur Erfassung von biomechanischer Aktivität. US 2015/0279231 A1 also describes the use of sensors to detect biomechanical activity.

Aufgabe der Erfindung ist es, eine Mensch-Maschine-Interface bereitzustellen, das nach einem Ablegen und erneuten wiederanlegen besonders einfach kalibriert werden kann. Ferner soll ein entsprechendes Verfahren zum Kalibrieren eines Mensch-Maschine-Interface bereitgestellt werden. The object of the invention is to provide a man-machine interface that can be calibrated particularly easily after being put down and put back on again. Furthermore, a corresponding method for calibrating a man-machine interface is to be provided.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der Ansprüche 1 und 12.The object is achieved according to the invention by the features of claims 1 and 12.

Beim erfindungsgemäßen Verfahren zum Kalibrieren eines Mensch-Maschine-Interface werden eine Vielzahl myographischer Sensoren auf der Hautoberfläche eines Nutzers platziert. Hierbei kann es sich beispielsweise um elektromyographische Sensoren aber auch um mechanomyographische Sensoren, das heißt um Drucksensoren handeln. Anhand der muskulären Bewegungen des Nutzers werden vom Nutzer beabsichtigte Eingabebefehle generiert. Diese können beispielsweise an eine Prothese oder einen Roboter übertragen werden, um die Prothese oder den Roboter zu steuern.In the method according to the invention for calibrating a man-machine interface, a large number of myographic sensors are placed on the skin surface of a user. This can be electromyographic sensors, for example, but also mechanomyographic sensors, that is to say pressure sensors. Input commands intended by the user are generated based on the muscular movements of the user. These can, for example, be transferred to a prosthesis or a robot in order to control the prosthesis or the robot.

Neben Prothesen oder Robotern kann das erfindungsgemäße Verfahren auch zur Eingabe von Gesten in einen Computer zur Steuerung desselben verwendet werden. Ferner kann es zur Steuerung eines robotischen Exoskeletts verwendet werden.In addition to prostheses or robots, the method according to the invention can also be used to input gestures into a computer for controlling the same. It can also be used to control a robotic exoskeleton.

Die myographischen Sensoren werden durch eine Haltevorrichtung in einer definierten Relativposition zueinander auf der Hautoberfläche des Nutzers gehalten. Bei der Haltevorrichtung kann es sich um jede geeignete Vorrichtung handeln, durch die Nachbarschaftsbeziehungen zwischen den einzelnen myographischen Sensoren innerhalb gewisser Toleranzen aufrechterhalten werden können. Anders ausgedrückt soll die Haltevorrichtung sicherstellen, dass der Abstand und die relative Position der einzelnen myographischen Sensoren zueinander nicht oder nur innerhalb des Toleranzmaßes verändert werden. Werden die myographischen Sensoren beispielsweise auf dem Unterarm des Nutzers angebracht, könnte zum Beispiel ein Überzieher aus einem dehnbaren Material beispielsweise einem Silikon oder einen Thermoplast, verwendet werden. Auch kann eine rigide an die Anatomie des Nutzers angepasste Vorrichtung beispielsweise aus hartem Kunststoff verwendet werden. Auch gewebte oder stoffartige Strukturen könne sich aufgrund ihrer guten Dehnbarkeit und einfachen Verarbeitbarkeit als vorteilhaft erweisen.The myographic sensors are held by a holding device in a defined position relative to one another on the skin surface of the user. The holding device can be any suitable device by means of which proximity relationships between the individual myographic sensors can be maintained within certain tolerances. In other words, the holding device is intended to ensure that the distance and the relative position of the individual myographic sensors to one another are not changed or are only changed within the tolerance level. If the myographic sensors are attached to the user's forearm, for example, a cover made of a stretchable material, for example a silicone or a thermoplastic, could be used. A device that is rigidly adapted to the anatomy of the user, for example made of hard plastic, can also be used. Woven or fabric-like structures could also be different due to their good Extensibility and ease of processability prove beneficial.

Das Kalibrieren des Mensch-Maschine-Interface bei einem Ablegen und einem erneuten Wiederanlegen der Haltevorrichtung wird wie folgt durchgeführt.

a) Es wird eine erste Referenzmuskelbewegung des Nutzers erfasst, während sich die Haltevorrichtung in einer ersten Position befindet. Befindet sich beispielsweise die Haltevorrichtung am Arm des Nutzers, kann als Referenzbewegung eine kraftvolle Abduktion der ganzen Hand durchgeführt werden. Alternativ ist es möglich, den Zeigefinger und den Daumen aufeinander zu pressen. Für diese Referenzmuskelbewegung ist die Soll-Aktivierung bei der ursprünglichen Elektrodenplatzierung bekannt. Natürlich sind auch andere markante Bewegungen benutzbar.
b) Es wird eine zweite Referenzmuskelbewegung des Nutzers erfasst, nachdem die Haltevorrichtung abgelegt und erneut wieder angelegt wurde, so dass sich nunmehr die Haltevorrichtung in einer zweiten Position befindet, die sich von der ersten Position unterscheidet. Die zweite Referenzmuskelbewegung muss hierbei mit der ersten Referenzmuskelbewegung identisch sein. Beispielsweise kann erneut eine kraftvolle Abduktion der ganzen Hand durchgeführt werden, oder aber es werden Zeigefinger und Daumen aufeinander gepresst. Grundsätzlich kann als Referenzmuskelbewegung jede Bewegung verwendet werden, bei der eine Vielzahl von mygraphischen Sensoren notwendig ist, um diese Bewegung korrekt zu erfassen. Im vorliegenden Verfahrensschritt werden somit die Sensorsignale der myographischen Sensoren, die sich in der zweiten Position befinden, bei Durchführen der zweiten Referenzmuskelbewegung erfasst. Da sich die zweite Position der Haltevorrichtung von der ersten Position unterscheidet, werden sich auch diese Signale von den gemäß Verfahrensschritt a) erfassten Sensorsignalen unterscheiden.
c) Es wird eine Vielzahl von Abbildungen ermittelt, durch die die Einzelpositionen der myographischen Sensoren in der zweiten Position der Haltevorrichtung auf die Einzelpositionen der myographischen Sensoren in der ersten Position der Haltevorrichtung abgebildet werden können. Hierbei können verschiedenste Arten von Abbildungen verwendet werden, die im weiteren Verlauf der vorliegenden Anmeldung näher beschrieben werden.
d) Für jede Abbildung wird ein Fehlermaß ermittelt, indem ermittelt wird, wie ähnlich die Sensorsignale der myographischen Sensoren in der zweiten Position der Haltevorrichtung beim Durchführen der zweiten Referenzmuskelbewegung den Sensorsignalen der myographischen Sensoren in der ersten Position der Haltevorrichtung beim Durchführen der ersten Referenzmuskelbewegung sind. Je besser hierbei die gewählte Abbildung ist, desto geringer wird das Fehlermaß sein. Dies liegt darin begründet, dass eine bessere Abbildung die Sensorsignale der mygraphischen Sensoren in der zweiten Position der Haltevorrichtung beim Durchführen der zweiten Referenzmuskelbewegung präziser auf die Sensorsignale der myographischen Sensoren in der ersten Position der Haltevorrichtung beim Durchführen der ersten Referenzmuskelbewegung abbildet.
e) Diejenige Abbildung, die das geringste Fehlermaß aufweist, wird als korrekte Abbildung ausgewählt. Diese ausgewählte Abbildung kann nunmehr verwendet werden, um die Sensorsignale den myographischen Sensoren in der zweiten Position der Haltevorrichtung beim Durchführen verschiedener Muskelbewegungen in Sensorsignale umzurechnen, die erzeugt würden, wenn sich die Haltevorrichtung noch in der ersten Position befände. Selbstverständlich ist es notwendig, dass das Mensch-Maschine-Interface in der ersten Position der Haltevorrichtung derart trainiert wurde, dass es in präziser Weise eine Vielzahl von Eingabebefehlen erkennen kann.

The calibration of the man-machine interface when the holding device is put down and put back on again is carried out as follows.

a) A first reference muscle movement of the user is recorded while the holding device is in a first position. For example, if the holding device is on the user's arm, a powerful abduction of the whole hand can be performed as a reference movement. Alternatively, it is possible to press the index finger and thumb together. The target activation for this reference muscle movement is known when the electrodes were originally placed. Of course, other distinctive movements can also be used.
b) A second reference muscle movement of the user is recorded after the holding device has been put down and put back on again, so that the holding device is now in a second position that differs from the first position. The second reference muscle movement must be identical to the first reference muscle movement. For example, a powerful abduction of the whole hand can be performed again, or the index finger and thumb are pressed together. In principle, any movement that requires a large number of mygraphic sensors to correctly detect this movement can be used as a reference muscle movement. In the present method step, the sensor signals of the myographic sensors, which are in the second position, are recorded when the second reference muscle movement is carried out. Since the second position of the holding device differs from the first position, these signals will also differ from the sensor signals detected according to method step a).
c) A large number of images are determined by means of which the individual positions of the myographic sensors in the second position of the holding device can be mapped onto the individual positions of the myographic sensors in the first position of the holding device. The most varied types of images can be used here, which are described in more detail in the further course of the present application.
d) An error measure is determined for each image by determining how similar the sensor signals of the myographic sensors in the second position of the holding device when performing the second reference muscle movement are to the sensor signals of the myographic sensors in the first position of the holding device when performing the first reference muscle movement. The better the selected mapping, the lower the degree of error will be. This is due to the fact that a better mapping maps the sensor signals of the mygraphic sensors in the second position of the holding device when performing the second reference muscle movement more precisely to the sensor signals of the myographic sensors in the first position of the holding device when performing the first reference muscle movement.
e) The mapping that has the lowest degree of error is selected as the correct mapping. This selected mapping can now be used to convert the sensor signals from the myographic sensors in the second position of the holding device when performing various muscle movements into sensor signals that would be generated if the holding device were still in the first position. Of course, it is necessary for the man-machine interface to be trained in the first position of the holding device in such a way that it can precisely recognize a large number of input commands.

Durch das erfindungsgemäße Verfahren ist es somit möglich, auch nach Ablegen und erneutem Anlegen der Haltevorrichtung das Mensch-Maschine-Interface weiter zu betreiben, ohne dass ein aufwendigen neues Anlernen erfolgen muss. Stattdessen wird die beschriebene Abbildung verwendet, um die Sensorsignale umzurechnen und den bisherigen Algorithmus der ursprünglichen Position der Haltevorrichtung, für den bereits ein Anlernen stattgefunden hat, weiter zu verwenden.The method according to the invention thus makes it possible to continue operating the man-machine interface even after the holding device has been put down and reapplied, without the need for costly new teaching. Instead, the described mapping is used to convert the sensor signals and continue to use the previous algorithm of the original position of the holding device, for which a teaching has already taken place.

In einer bevorzugten Ausführungsform wird die Abbildung mittels einer diskreten Werteverschiebung ermittelt.In a preferred embodiment, the mapping is determined by means of a discrete value shift.

Auch ist es möglich, die Abbildung mittels einer linearen Interpolation zu ermitteln.It is also possible to determine the mapping by means of a linear interpolation.

Die Abbildung kann auch mittels nichtlinearer Interpolation über mehrere benachbarte Sensoren ermittelt werden. Hierbei können insbesondere Spline Interpolation, Bezier-Kurven oder Kernel-Funktionen verwendet werden.The mapping can also be determined by means of non-linear interpolation over several neighboring sensors. In particular, spline interpolation, Bezier curves or kernel functions can be used here.

Es ist bevorzugt, dass der Abstand zweier benachbarter Sensoren in der Haltevorrichtung ≤ 2 cm beträgt. Dies ist insbesondere bei einer Ausführungsform bevorzugt, in der die Haltevorrichtung am Arm des Nutzers angebracht wird. Versuche der Anmelderin haben gezeigt, dass bei einem zu großen Abstand benachbarter Sensoren die Nachbarschaftsbeziehungen der Sensoren in Haltevorrichtung nicht genügend berücksichtigt werden können, so dass das erfindungsgemäße Verfahren nicht mehr durchgeführt werden kann.It is preferred that the distance between two adjacent sensors in the holding device is 2 cm. This is particularly preferred in an embodiment in which the holding device is on Arm of the user is attached. Tests by the applicant have shown that if the distance between adjacent sensors is too great, the proximity relationships of the sensors in the holding device cannot be sufficiently taken into account, so that the method according to the invention can no longer be carried out.

In einer bevorzugten Ausführungsform wird zur Ermittlung des Fehlermaßes gemäß Verfahrensschritt d) eine Berechnung des Root Mean Square, der L1-Norm und/oder einer Infinite-Norm durchgeführt.In a preferred embodiment, a calculation of the root mean square, the L1 norm and / or an infinite norm is carried out in order to determine the error measure according to method step d).

Weiterhin ist es bevorzugt, dass Sensoren, die einen schlechten Kontakt zur Hautoberfläche aufweisen, bei der Abbildung nicht berücksichtigt werden und insbesondere ihre Sensorwerte durch eine Interpolation oder Mittelung der Werte benachbarter Sensoren ersetzt werden. Bei der Elektromyographie lassen sich schlecht konnektierte Elektroden relativ einfach durch Impedanzmessungen erkennen, aber auch die Beobachtung der Amplitude kann einen Hinweis geben. Diese Amplitudenbeobachtung eignet sich auch für mechanomyographische Verfahren, bei denen eine Impedanzmessung naturgemäß nicht möglich ist.Furthermore, it is preferred that sensors which have poor contact with the skin surface are not taken into account in the imaging and, in particular, their sensor values are replaced by an interpolation or averaging of the values of neighboring sensors. In electromyography, poorly connected electrodes can be identified relatively easily through impedance measurements, but observation of the amplitude can also provide an indication. This amplitude observation is also suitable for mechanomyographic methods in which an impedance measurement is naturally not possible.

Es ist weiterhin bevorzugt, dass Sensorwerte von Sensoren, die sich in einem Sicherheitsbereich an den Rändern der Haltevorrichtung befinden, verworfen werden, wobei die Breite des Sicherheitsbereichs in Abhängigkeit von der zu erwartenden Positionierungsungenauigkeit beim Wiederanlegen der Haltevorrichtung bestimmt wird.It is further preferred that sensor values from sensors that are located in a safety area at the edges of the holding device are discarded, the width of the safety area being determined as a function of the expected positioning inaccuracy when the holding device is reapplied.

Es ist weiterhin bevorzugt, dass bei der Berechnung des Fehlermaßes gemäß Verfahrensschritt d) die Nachbarschaftsbeziehungen der myographischen Sensoren in der Haltevorrichtung berücksichtigt werden, indem nur das Fehlermaß für mögliche Abbildungen berechnet wird. Abbildungen, die aufgrund der betrachteten Nachbarschaftsbeziehungen der myographischen Sensoren nicht möglich sind, werden nicht betrachtet. Eine nicht mögliche Nachbarschaftsbeziehung wäre beispielsweise eine solche, die nur möglich wäre, wenn die Anordnung der myographischen Sensoren in der Haltevorrichtung aufgelöst oder über das erlaubte Toleranzmaß hinaus verändert würde. Ein näheres Beispiel wird in der Figurenbeschreibung der vorliegenden Anmeldung erläutert.It is further preferred that when calculating the error measure according to method step d), the proximity relationships of the myographic sensors in the holding device are taken into account by only calculating the error measure for possible images. Images that are not possible due to the observed proximity relationships of the myographic sensors are not considered. A neighborhood relationship that is not possible would be, for example, one that would only be possible if the arrangement of the myographic sensors in the holding device were dissolved or changed beyond the permitted tolerance level. A more detailed example is explained in the description of the figures of the present application.

Es ist weiterhin bevorzugt, dass mehrere verschiedene erste und zweite Referenzmuskelbewegungen erfasst werden, wobei neben der sich verändernden Position der Haltevorrichtung auch die Veränderung weiterer Parameter ermittelt wird. Grundsätzlich wird in allen Ausführungsformen der Erfindung unter einer Veränderung der Position sowohl eine translatorische Verschiebung als auch eine rotatorische Bewährung verstanden. Weitere Parameter, die durch eine größere Anzahl an Referenzmuskelbewegungen ermittelt werden können, wären zum Beispiel die Verringerung des Abstands der einzelnen myographischen Sensoren zueinander, beispielsweise, wenn die Haltevorrichtung flexibel ist. Bei einer Anbringung der Haltevorrichtung am Unterarm eines Nutzers kann dies beispielsweise durch einen sich verändernden Unterarmumfang entstehen. Durch die Dehnung oder Scherung des Trägermaterials für die myographischen Sensoren kann somit ein veränderter Abstand der Sensoren zueinander entstehen. Je mehr unbestimmte Parameter bestimmt werden müssen, desto mehr verschiedenartige Referenzmuskelbewegungen müssen durchgeführt werden.It is also preferred that several different first and second reference muscle movements are recorded, with the change in further parameters being determined in addition to the changing position of the holding device. In principle, in all embodiments of the invention, a change in position is understood to mean both a translational shift and a rotational verification. Further parameters that can be determined by a larger number of reference muscle movements would be, for example, the reduction in the distance between the individual myographic sensors, for example if the holding device is flexible. When the holding device is attached to the forearm of a user, this can arise, for example, from a changing forearm circumference. The expansion or shearing of the carrier material for the myographic sensors can result in a changed distance between the sensors. The more indeterminate parameters that have to be determined, the more different types of reference muscle movements have to be performed.

Die Erfindung betrifft ferner ein Mensch-Maschine-Interface mit einer Haltevorrichtung, die eine Vielzahl myographischer Sensoren aufweist. Die erfindungsgemäße Vorrichtung kann sämtliche Merkmale aufweisen, die in Zusammenhang mit dem erfindungsgemäßen Verfahren dargestellt wurden sowie umgekehrt.The invention also relates to a man-machine interface with a holding device which has a plurality of myographic sensors. The device according to the invention can have all the features that were presented in connection with the method according to the invention and vice versa.

Die myographischen Sensoren werden durch eine Haltevorrichtung in einer definierten Relativposition zueinander auf der Hautoberfläche eines Nutzers gehalten.The myographic sensors are held by a holding device in a defined position relative to one another on the skin surface of a user.

Das erfindungsgemäße Mensch-Maschine-Interface weist eine Steuervorrichtung zum Durchführen des bisher beschriebenen Verfahrens auf.The man-machine interface according to the invention has a control device for carrying out the method described so far.

Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand einer Figur erläutert.Preferred embodiments of the invention are explained below with reference to a figure.

Die Figur zeigt die Anbringung einer Ausführungsform des erfindungsgemäßen Mensch-Maschine-Interface am Unterarm eines Nutzers.The figure shows the attachment of an embodiment of the human-machine interface according to the invention to the forearm of a user.

Hierbei sind eine Vielzahl elektromyographischer Sensoren 12 an einer flexiblen Haltevorrichtung 16 angebracht, durch die sie auf der Hautoberfläche 14 des Nutzers gehalten werden. Aktiviert der Nutzer die Muskeln in seinem Unterarm für eine bestimmte gewünschte Bewegung, so werden die einzelnen Muskelbewegungen durch die elektromyographischen Sensoren 12 erfasst und in einen Eingabebefehl für eine nicht dargestellte Vorrichtung, beispielsweise eine Prothese umgerechnet. Hierbei wird ein Algorithmus verwendet, der zunächst durch den Nutzer durch eine Durchführung verschiedenster Bewegungen angelernt werden muss.A large number of electromyographic sensors are used here 12th on a flexible holding device 16 attached by them on the skin surface 14th of the user. If the user activates the muscles in his forearm for a certain desired movement, the individual muscle movements are recorded by the electromyographic sensors 12th detected and converted into an input command for a device (not shown), for example a prosthesis. An algorithm is used here, which must first be learned by the user by performing a wide variety of movements.

Bei einem Ablegen und erneuten Anlegen der Haltevorrichtung kann durch das erfindungsgemäße Verfahren ein erneutes Anlernen vermieden werden, indem eine Abbildung ermittelt wird, durch die die erfassten Sensorsignale der elektromyographischen Sensoren in der zweiten Position auf die Sensorsignale in der ersten Position abgebildet werden können.When the holding device is put down and put back on again, the method according to the invention can avoid renewed teaching in that an image is determined through which the detected sensor signals of the electromyographic sensors in the second position can be mapped onto the sensor signals in the first position.

Beispielsweise kann ein Elektrodenarray mit vielen Elektroden, beispielsweise 128 Elektroden in 8 Ringen zu je 16 Elektroden am Unterarm des Nutzers angebracht werden. Für diese Elektrodenkonfiguration wird ein Klassifizierer trainiert, der zum Beispiel in der Lage ist, sowohl Griffkräfte als auch verschiedene Handposen aus den EMG-Daten des Unterarms zu erkennen, wodurch eine Steuerung einer beliebigen Vorrichtung ermöglicht wird.For example, an electrode array with many electrodes, for example 128 electrodes in 8 rings of 16 electrodes each, can be attached to the user's forearm. A classifier is trained for this electrode configuration, which is able, for example, to recognize both grip forces and various hand poses from the EMG data of the forearm, which enables any device to be controlled.

Eine Methode, um eine Abbildung zu finden, ist es, die Werte elektrodenweise, also diskret, zu verschieben. In einem Ring aus 4 Elektroden e_1, e_2, e_3 und e_4 sieht die Abbildung bei einer Verschiebung um eins dann folgendermaßen aus: a_1=e_2; a_2=e_3; a_3=e_4; a_4=e_1. Es ist offensichtlich, dass diese sehr einfache Methode jedoch nur bei sehr engmaschigen Elektrodenarrays (also mit sehr vielen Elektroden) erfolgreich sein kann. Zum Finden der Abbildung werden nun die Referenzelektrodenwerte einer Referenzbewegung mit den aktuellen Elektrodenwerten bei der Ausübung der gleichen Referenzbewegung verglichen. Verglichen wird anhand einer Norm, z.B. der L2-Norm, die auch gerne RMS (root mean square) genannt wird. Diese funktioniert, ausgehend vom obigen 4-Elektrodenbeispiel folgendermaßen: Gegeben seien die 4 Referenzwerte der 4 Elektroden auf der ursprünglichen Position: r_1, ..., r_4; und die Abbildung a_1, ..., a_4. Das Fehlermaß nach der L2-Norm errechnet sich dann wie folgt: sqrt( (r_1-a_1)^2 + (r_2-a_2)^2 + (r_3-a_3)^2 + (r_3-a_3)^2 ). Aus Effizienzgründen kann das Ziehen der Wurzel am Ende auch unterbleiben, da die das nicht die Reihenfolge der Fehler verändern wird (-> streng stetige Funktion). Das Fehlermaß wird nun für alle möglichen Abbildungen berechnet, wobei die Nachbarschaftsbeziehungen beachtet werden, d.h. eine unmögliche Abbildung wäre die folgende: a_1=e_1; a_2=e_3; a_3=e_2; a_4=e_4, da hier die Elektroden e_2 und e_3 den Platz getauscht hätten. Am Ende wird die Abbildung als die endgültige ausgewählt, die das geringste Fehlermaß aufweist.One method of finding an image is to shift the values electrode by electrode, i.e. discretely. In a ring of 4 electrodes e_1, e_2, e_3 and e_4, the image then looks like this with a shift by one: a_1 = e_2; a_2 = e_3; a_3 = e_4; a_4 = e_1. It is obvious that this very simple method can only be successful with very close-meshed electrode arrays (i.e. with a large number of electrodes). To find the image, the reference electrode values of a reference movement are now compared with the current electrode values when the same reference movement is carried out. The comparison is based on a standard, e.g. the L2 standard, which is also often called RMS (root mean square). Based on the 4-electrode example above, this works as follows: The 4 reference values of the 4 electrodes in the original position are given: r_1, ..., r_4; and the mapping a_1, ..., a_4. The error measure according to the L2 standard is then calculated as follows: sqrt ((r_1-a_1) ^ 2 + (r_2-a_2) ^ 2 + (r_3-a_3) ^ 2 + (r_3-a_3) ^ 2). For reasons of efficiency, the root can also be omitted at the end, since this will not change the order of the errors (-> strictly continuous function). The error measure is now calculated for all possible mappings, taking the neighborhood relationships into account, i.e. an impossible mapping would be the following: a_1 = e_1; a_2 = e_3; a_3 = e_2; a_4 = e_4, since here the electrodes e_2 and e_3 would have swapped places. In the end, the map that has the least amount of error is selected as the final one.

Die weitere mögliche Methode basiert auf einer linearen Interpolation zwischen den Nachbarelektroden. Durch eine lineare Interpolation ist es möglich, auch nicht diskrete Verschiebungen zu ermitteln. Nach dem obigen Beispiel sähe die Verschiebung um „eine viertel Elektrode“ folgendermaßen aus: a_1=.75*e_1+.25*e_2; a_2=.75*e_2+.25*e_3; a_3=.75*e_3+.25*e4; a_4=.75*e_4+.25*e_1. Um hier die beste Abbildung zu finden, benutzt man wieder ein Fehlermaß, wie z.B. das nach der oben genannten L2-Norm. Nun wird das Fehlermaß minimiert, vorzüglich mittels eines „Gradientenabstiegs“, wozu die partielle Ableitung der Fehlerfunktion bezüglich der möglichen Verschiebungen gebildet wird. Da der Gradientenabstieg am besten in der „Nähe“ der korrekten Abbildung funktioniert, kann zuerst nach der oben beschrieben diskreten Methode eine möglichst gute Ausgangsposition gesucht werden, die dann noch mittels Gradientenabstieg weiter optimiert wird. Andere Optimierungsmethoden, die nicht auf Gradienten basieren, wie z.B. Genetische Algorithmen oder Swarm-Optimizer sind auch denkbar. Die Abbildung hieraus ist auch für weniger dicht besetzte Arrays wesentlich besser als die der diskreten Methode.The other possible method is based on a linear interpolation between the neighboring electrodes. A linear interpolation also makes it possible to determine non-discrete shifts. According to the example above, the shift by "a quarter electrode" would look like this: a_1 = .75 * e_1 + .25 * e_2; a_2 = .75 * e_2 + .25 * e_3; a_3 = .75 * e_3 + .25 * e4; a_4 = .75 * e_4 + .25 * e_1. In order to find the best mapping here, an error measure is used again, such as that according to the above-mentioned L2 standard. Now the degree of error is minimized, primarily by means of a “gradient descent”, for which the partial derivation of the error function with regard to the possible shifts is formed. Since the gradient descent works best in the “vicinity” of the correct mapping, a starting position that is as good as possible can first be sought using the discrete method described above, which is then further optimized by means of gradient descent. Other optimization methods that are not based on gradients, such as genetic algorithms or swarm optimizers, are also conceivable. The mapping from this is much better than that of the discrete method, even for less densely populated arrays.

Die obige Methode der der linearen Interpolation lässt sich natürlich auf eine nichtlineare Interpolation ausweiten. Statt einer linearen Interpolation der Nachbarschaften, wird eine nichtlineare Funktion über mehrere Nachbarn, und Nachbarn von Nachbarn, usw. verwendet. Besonders geeignet hierfür sind b-Splines, Bezier-Kurven oder auch Kernel basierte Methoden wie z.B. Gauss-Kernel. Anders wie bei der linearen Interpolation ist es bei der nichtlinearen besonders wichtig, dass der Startpunkt zur Feinoptimierung mittels z.B. Gradientenabstieg in der Nähe des zu erwartenden Optimums liegt, da sich bei nichtlinearen Optimierungen oft nur ein lokales Optimum gefunden wird. Somit ist es hier besonders wichtig, zuerst eine möglichst optimale Startposition nach der diskreten Methode zu wählen.The above method of linear interpolation can of course be extended to non-linear interpolation. Instead of a linear interpolation of the neighborhoods, a non-linear function over several neighbors, and neighbors from neighbors, etc. is used. B-splines, Bezier curves or kernel-based methods such as Gauss kernels are particularly suitable for this. In contrast to linear interpolation, it is particularly important with non-linear interpolation that the starting point for fine optimization, e.g. by means of a gradient descent, is close to the expected optimum, since with non-linear optimizations often only a local optimum is found. It is therefore particularly important here to first select a starting position that is as optimal as possible using the discrete method.

Nach einer initialen Optimierung kann auch schritthaltend weiter optimiert werden, sofern das System zur Laufzeit die Güte der Klassifikation bestimmen kann.After an initial optimization, further optimization can also be carried out, provided the system can determine the quality of the classification at runtime.

Ist das möglich, kann der „Gütefaktor“ vom abbildungsbestimmenden System verwendet werden, um mit den Prinzipien des Verstärkungslernens (Reinforcement Learnings) die Abbildung weiterhin zu verbessern.If this is possible, the "quality factor" can be used by the mapping-determining system in order to further improve the mapping with the principles of reinforcement learning.

Ein weiterer Anwendungsfall ist das rechnerische Ersetzen von schlecht kontaktierten EMG-Elektroden. Es kommt oft vor, dass bei der Vielzahl von Elektroden einzelne einen sehr schlechten Hautkontakt haben. Dieses lässt sich leicht durch eine Impedanzmessung jeder einzelnen Elektrode erkennen. Wenn nun eine schlecht kontaktierte Elektrode erkannt wurde, lässt diese sich rechnerisch entfernen, und durch eine lineare oder nichtlineare Interpolation ihrer Nachbarn (und evtl. weiter entfernte Nachbarn) ersetzen. Im Falle einer einfachen linearen Interpolation, und von 4 Elektroden in Ringform, wie oben beschrieben, ergäbe sich dann für die identische Abbildung, aber mit Auslassen der Elektrode e_2 folgende Abbildung: a_1=e_1; a_2=.5*e_1+0.5*e_3; a_3=e_3; a_4=e_4.Another application is the mathematical replacement of poorly contacted EMG electrodes. It often happens that, given the large number of electrodes, some of them have very poor skin contact. This can easily be seen by measuring the impedance of each individual electrode. If a badly contacted electrode has now been recognized, it can be removed mathematically and replaced by a linear or non-linear interpolation of its neighbors (and possibly more distant neighbors). In the case of a simple linear interpolation and 4 electrodes in a ring shape, as described above, the following image would then result for the identical image, but with the omission of the electrode e_2: a_1 = e_1; a_2 = .5 * e_1 + 0.5 * e_3; a_3 = e_3; a_4 = e_4.

Das erfindungsgemäße Verfahren kann überall dort angewendet werden, wo es notwendig ist, ein komplexes Mensch-Maschine-Interface zum Steuern verschiedener Vorrichtungen beispielsweise Prothesen, robotischen Exo-Skeletten, Human-Computer-Interfaces bereitzustellen. Letztgenannte Vorrichtungen können beispielsweise im Büroeinsatz oder für die Unterhaltungselektronik zum Einsatz kommen.The method according to the invention can be used wherever it is necessary to provide a complex human-machine interface for controlling various devices, for example prostheses, robotic exoskeletons, human-computer interfaces. The latter devices can be used, for example, in offices or for entertainment electronics.

Claims

Method for calibrating a man-machine interface (10), wherein input commands intended by the user are generated by a multiplicity of myographic sensors (12) which are placed on the skin surface (14) of a user based on the muscular movement of a user, wherein the myographic sensors (12) are held by a holding device (16) in a defined position relative to one another on the skin surface (14) of the user, wherein the calibration of the man-machine interface (10) when the holding device (16) is put down and put back on again is carried out as follows: a) detecting a first reference muscle movement of the user while the holding device (16) is in a first position, b) detecting a second reference muscle movement of the user after the holding device (16) has been put down and put back on again so that it is in a second position that differs from the first position, c) Determination of a large number of images through which the signals of the individual positions of the myographic sensors (12) in the second position of the holding device (16) are mapped onto the signals of the individual positions of the myographic sensors (12) in the first position of the holding device (16) will, d) Determining an error measure for each image by determining how similar the sensor signals of the myographic sensors (12) in the second position of the holding device (16) when performing the second reference muscle movement to the sensor signals of the myographic sensors (12) in the first position of Holding device (16) when performing the first reference muscle movement, e) Selecting the mapping that has the lowest degree of error as the correct mapping.

Procedure according to Claim 1 , characterized in that the mapping is determined by means of discrete value shifting.

Procedure according to Claim 1 , characterized in that the mapping is determined by means of linear interpolation.

Procedure according to Claim 1 , characterized in that the mapping is determined by means of non-linear interpolation via several adjacent sensors (12), in particular using spline interpolation, Bezier curves or kernel functions.

Method according to one of the Claims 1 until 4th , characterized in that the distance between two adjacent sensors (12) is ≤ 2 cm.

Method according to one of the Claims 1 until 5 , characterized in that a calculation of the root mean square, the L1 standard and / or an infinite standard is carried out in order to determine the degree of error according to method step d).

Method according to one of the Claims 1 until 6th , characterized in that sensors (12) which have poor contact with the skin surface are not taken into account in the imaging and in particular their sensor values are replaced by an interpolation or averaging of the values of neighboring sensors (12).

Method according to one of the Claims 1 until 7th , characterized in that sensor values from sensors (12) located in a safety area B at the edges of the holding device (16) are discarded, the width of the safety area B depending on the expected positioning inaccuracy when the holding device (16) is reapplied. is determined.

Method according to one of the Claims 1 until 8th , characterized in that when calculating the error measure according to method step d), the proximity relationships of the myographic sensors (12) in the holding device (16) are taken into account by only calculating the error measure for possible images and images that are based on the neighboring relationships under consideration of the myographic Sensors (12) in the holding device (16) cannot be considered.

Method according to one of the Claims 1 until 9 , characterized in that several different first and second reference muscle movements are recorded, the change in further parameters being determined in addition to the changing position of the holding device (16).

Method according to one of the Claims 1 until 10 , characterized in that the myographic sensors (12) are electromyographic sensors and / or mechanomyographic sensors.

Man-machine interface with a holding device (16) which has a plurality of myographic sensors (12), the myographic sensors (12) being held by the holding device (16) in a defined position relative to one another on the skin surface (14) of a user , wherein the man-machine interface (10) has a control device for performing the method according to one of the Claims 1 until 11 having.