CH717682B1

CH717682B1 - Device for configuring robotic systems using electromyographic signals.

Info

Publication number: CH717682B1
Application number: CH000897/2020A
Authority: CH
Inventors: Wohlgemuth Felix; Mayer Simon
Original assignee: Univ St Gallen
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2023-05-15
Also published as: CH717682A1

Abstract

Die Erfindung betrifft eine Vorrichtung zur Konfiguration von Robotersystemen, insbesondere von kollaborativen Robotern, die gemeinsam mit Menschen arbeiten und nicht von diesen getrennt sind. Die Konfiguration erfasst hierbei vor allem das Vermitteln von Pfaden bzw. Wegpunkten, die von einem Robotersystem nach der Konfiguration autonom abgefahren werden sollen. Sie nutzt einen elektromyographischen (EMG) Sensor (103), welcher die elektrische Muskelaktivität eines Operators (101) anhand von Aktionsströmen der Muskeln misst (102). Der Sensor (103) kann am Unterarm des Operators oder auch an anderen Körperteilen angebracht werden. Die electromyographischen Signale kodieren beispielsweise den Vorgang, dass der Operator das Robotersystem oder Teile davon mit der Hand greift. Die elektromyographischen Signale werden drahtlos oder drahtgebunden übertragen (104) an einen Klassifizierungsalgorithmus (105), welcher auf die elektromyographischen Aktionsströme des Operators trainiert ist und diese Signale einer von zumindest zwei Kategorien zuordnet. Der Klassifizierungsalgorithmus (105) verwendet hierfür bekannte Klassifizierungsmethoden der Signale (104), beispielsweise nichtparametrische Methoden zur Schätzung von Wahrscheinlichkeitsdichtefunktionen (k-Nächste-Nachbarn-Algorithmen) und übertragt die geschätzte Kategorie (106) an das Kontrollprogramm des Roboters (107). In der Erfingung ist eine dieser Kategorien dem Trainingsmodus des Robotersystems zugeordnet. Bei Empfang der Kategorie (106) welche dem Trainingsmodus zugeordnet ist, versetzt (108) das Kontrollprogramm des Robotersystems (107) das Robotersystem (109) in den Trainingsmodus, wodurch der Manipulator (110) des Robotersystems (109) durch den Operator (101) direkt manipuliert werden kann und bezüglich des Arbeitsbereichs des Robotersystems (111) konfiguriert werden kann.The invention relates to a device for configuring robot systems, in particular collaborative robots that work together with people and are not separated from them. In this case, the configuration primarily covers the mediation of paths or waypoints that are to be traversed autonomously by a robot system after the configuration. It uses an electromyographic (EMG) sensor (103), which measures the electrical muscle activity of an operator (101) based on action currents of the muscles (102). The sensor (103) can be attached to the operator's forearm or to other parts of the body. The electromyographic signals encode, for example, the process of the operator gripping the robot system or parts thereof by hand. The electromyographic signals are transmitted wirelessly or by wire (104) to a classification algorithm (105) which is trained on the operator's electromyographic action currents and assigns these signals to one of at least two categories. For this purpose, the classification algorithm (105) uses known classification methods for the signals (104), for example non-parametric methods for estimating probability density functions (k-nearest neighbor algorithms) and transmits the estimated category (106) to the robot's control program (107). In the invention, one of these categories is associated with the training mode of the robotic system. Upon receipt of the category (106) associated with the training mode, the control program of the robotic system (107) puts (108) the robotic system (109) into the training mode, whereby the manipulator (110) of the robotic system (109) by the operator (101) can be directly manipulated and configured with respect to the working area of the robot system (111).

Description

[0001] Die Erfindung betrifft ein System zur Konfiguration von Robotersystemen, insbesondere von kollaborativen Robotern, die gemeinsam mit Menschen arbeiten und nicht von diesen getrennt sind. Die Konfiguration erfasst hierbei vor allem das Vermitteln von Pfaden bzw. Wegpunkten, die von einem Robotersystem nach der Konfiguration autonom abgefahren werden sollen. The invention relates to a system for configuring robot systems, in particular collaborative robots that work together with people and are not separated from them. In this case, the configuration primarily covers the mediation of paths or waypoints that are to be traversed autonomously by a robot system after the configuration.

[0002] Solche Robotersysteme werden heute mittels dedizierter Schnittstellen (z.B. mittels berührungsempfindlicher Bildschirme oder einfacher Programmierwerkzeuge), oder auch mittels direkter Manipulation bzw. Demonstration (US 9,821,457 B1), mittels visueller Erfassung der Bewegungen eines Operators (Guang-Long Du, et al: „Robot manipulator using a vision-based human-manipulator Interface“; JATIT 50(1): 96-103; 2013) und neuerdings mittels direkter Manipulation von Hologrammen des Robotersystems (US20200030979A1) konfiguriert. In heute verfügbaren Konfigurationsschnittstellen, insbesondere bei der direkten Manipulation, muss hierbei durch einen expliziten Software- oder Hardwareschalter zwischen verschiedenen Modi des Robotersystems gewechselt werden, wobei das Robotersystem nur in einem dieser Modi von Hand bewegt werden kann. Oft bedeutet dies, dass der Operator in Konfigurationsaufgaben beide Hände einsetzen muss, oder dass sogar mehrere Operatoren notwendig sind, die gemeinsam ein Robotersystem konfigurieren. [0002] Such robot systems are now controlled using dedicated interfaces (e.g. using touch-sensitive screens or simple programming tools), or also using direct manipulation or demonstration (US Pat. No. 9,821,457 B1), using visual detection of the movements of an operator (Guang-Long Du, et al: "Robot manipulator using a vision-based human-manipulator Interface"; JATIT 50(1): 96-103; 2013) and more recently configured using direct manipulation of holograms of the robot system (US20200030979A1). In the configuration interfaces available today, especially in the case of direct manipulation, an explicit software or hardware switch must be used to switch between different modes of the robot system, with the robot system being able to be moved manually in only one of these modes. This often means that the operator has to use both hands in configuration tasks, or that several operators are required to configure a robot system together.

[0003] US 2020/0097081 A1, US 2012/0221177 A1, CN 107553499 A und DE 10 2018 213 511 A1 offenbaren gattungsgemäße, zumindest teilweise elektromyographisch-basierte Kontrolltechniken, um nachgelagerte Vorrichtungen zu steuern. US 2020/0097081 A1, US 2012/0221177 A1, CN 107553499 A and DE 10 2018 213 511 A1 disclose generic, at least partially electromyographic-based control techniques to control downstream devices.

[0004] Mit der Erfindung wird das Umschalten zwischen diesen Modi vereinfacht und auf intuitive Weise mit der interaktiven Manipulation des Robotersystems verknüpft. Das Robotersystem selbst oder seine Manipulatoren werden bei der Erfindung nicht verändert. Durch die Erfindung können Robotersysteme, insbesondere kollaborative Roboter, mit weniger Arbeitsaufwand konfiguriert werden. With the invention, switching between these modes is simplified and linked to the interactive manipulation of the robot system in an intuitive manner. The robot system itself or its manipulators are not changed in the invention. The invention allows robot systems, in particular collaborative robots, to be configured with less work.

[0005] Der Anmeldung liegt eine Zeichnung bei, welche die Funktionsweise der Erfindung darstellt und im folgenden erläutert wird. The application is accompanied by a drawing which shows how the invention works and which is explained below.

[0006] Die Erfindung nutzt einen elektroymographischen (EMG) Sensor (103), welcher die elektrische Muskelaktivität eines Operators (101) anhand von Aktionsströmen der Muskeln misst (102). Der Sensor (103) kann am Unterarm des Operators oder auch an anderen Körperteilen angebracht werden. Diese Signale kodieren beispielsweise den Vorgang, dass der Operator das Robotersystem oder Teile davon mit der Hand greift. Die elektromyographischen Signale werden drahtlos oder drahtgebunden übertragen (104) an einen Klassifizierungsalgorithmus (105), welcher auf die elektromyographischen Aktionsströme des Operators trainiert ist und diese Signale einer von zumindest zwei Kategorien zuordnet. Der Klassifizierungsalgorithmus (105) verwendet hierfür bekannte Klassifizierungsmethoden der Signale (104), beispielsweise nichtparametrische Methoden zur Schätzung von Wahrscheinlichkeitsdichtefunktionen (k-Nächste-Nachbarn-Algorithmen) und überträgt die geschätzte Kategorie (106) an das Kontrollprogramm des Roboters (107). In der Erfindung ist eine dieser Kategorien (das „feste Zugreifen“) dem Trainingsmodus des Robotersystems zugeordnet. Bei Empfang der Kategorie (106) welche dem Trainingsmodus zugeordnet ist, versetzt (108) das Kontrollprogramm des Robotersystems (107) das Robotersystem (109) in den Trainingsmodus, wodurch der Manipulator (110) des Robotersystems (109) durch den Operator (101) direkt manipuliert werden kann und bezüglich des Arbeitsbereichs des Robotersystems (111) konfiguriert werden kann. The invention uses an electroymographic (EMG) sensor (103), which measures the electrical muscle activity of an operator (101) based on action currents of the muscles (102). The sensor (103) can be attached to the operator's forearm or to other parts of the body. These signals code, for example, when the operator grabs the robot system or parts of it by hand. The electromyographic signals are transmitted wirelessly or by wire (104) to a classification algorithm (105) which is trained on the operator's electromyographic action currents and assigns these signals to one of at least two categories. For this purpose, the classification algorithm (105) uses known classification methods of the signals (104), for example non-parametric methods for estimating probability density functions (k-nearest neighbor algorithms) and transfers the estimated category (106) to the robot's control program (107). In the invention, one of these categories (the "fixed grip") is assigned to the training mode of the robotic system. Upon receipt of the category (106) associated with the training mode, the control program of the robotic system (107) puts (108) the robotic system (109) into the training mode, whereby the manipulator (110) of the robotic system (109) by the operator (101) can be directly manipulated and configured with respect to the working area of the robot system (111).

Claims

1. Device with an electromyographic sensor (103), classification algorithm (105), control program (107), robot system (109) and one or more manipulators (110), wherein the robot system (109) and its manipulators (110) are controlled by an operator ( 101) and can be put into a training mode via the electromyographic sensor (103) by changing the electrical muscle activity, with measurement signals detected by the sensor (103) encoding a gesture of the operator (101), the classification algorithm (105) being set up to Assigning measurement signals to at least two different categories, with the category determined by the classification algorithm (105) being transmitted to the control program (107) of the robot system (107), characterized in that measurement signals that correspond to fixed access belong to the category of the training mode of the Robot system (109) are assigned in which the manipulators (110) of the robot system (109) by the operator (101) can be manipulated directly by hand.

2. Device according to claim 1, characterized in that the sensor (103) is attachable to a forearm of the operator (101), and wherein the robotic system (109) and its manipulators (110) are controlled by the operator (101) based on the sensor (103) can be switched to training mode.

3. Device according to claim 1, characterized in that the signals of the sensor (103) are transmitted wirelessly to the algorithm (105).

4. Device according to claim 1, characterized in that the classification algorithm (105) for determining the category uses non-parametric methods for estimating probability density functions, in particular k-nearest-neighbor algorithms.