DE102018122479B4

DE102018122479B4 - Device and method for calibrating at least one glove-like input device and program product

Info

Publication number: DE102018122479B4
Application number: DE102018122479.6A
Authority: DE
Inventors: Maximilian Maier; Maxime Chalon
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2018-09-14
Filing date: 2018-09-14
Publication date: 2022-03-31
Anticipated expiration: 2038-09-15
Also published as: WO2020053332A1; DE102018122479A1

Abstract

Vorrichtung zum Kalibrieren wenigstens eines handschuhartigen Eingabegeräts (114) auf einen Benutzer, die Vorrichtung aufweisend eine Recheneinrichtung und wenigstens ein mit der Recheneinrichtung signalleitend verbundenes handschuhartiges Eingabegerät (114), wobei die Vorrichtung wenigstens ein Griffelement (100) mit handangepassten Greifabschnitten (102, 104, 106, 108, 110, 112) für wenigstens eine vorgegebene Greifposition aufweist und die Greifabschnitte (102, 104, 106, 108, 110, 112) geometrisch komplementär zu einer Handkontur ausgeführt sind.Device for calibrating at least one glove-like input device (114) for a user, the device having a computing device and at least one glove-like input device (114) connected to the computing device in a signal-conducting manner, the device having at least one grip element (100) with hand-adapted grip sections (102, 104, 106, 108, 110, 112) for at least one predetermined gripping position and the gripping sections (102, 104, 106, 108, 110, 112) are designed to be geometrically complementary to a hand contour.

Description

Die Erfindung betrifft eine Vorrichtung zum Kalibrieren wenigstens eines handschuhartigen Eingabegeräts auf einen Benutzer, die Vorrichtung aufweisend eine Recheneinrichtung und wenigstens einen mit der Recheneinrichtung signalleitend verbundenes handschuhartiges Eingabegerät. Außerdem betrifft die Erfindung ein Verfahren zum Kalibrieren wenigstens eines handschuhartigen Eingabegeräts auf einen Benutzer mithilfe einer derartigen Vorrichtung. Außerdem betrifft die Erfindung ein Programmprodukt, das Programmcodeabschnitte umfasst, mit denen ein derartiges Verfahren durchführbar ist, wenn das Programmprodukt auf einer Recheneinrichtung einer derartigen Vorrichtung ausgeführt wird.The invention relates to a device for calibrating at least one glove-like input device for a user, the device having a computing device and at least one glove-like input device connected to the computing device in a signal-conducting manner. The invention also relates to a method for calibrating at least one glove-like input device for a user using such a device. The invention also relates to a program product that includes program code sections with which such a method can be carried out when the program product is executed on a computing device of such a device.

Aus dem Dokument DE 10 2006 045 100 A1 ist eine Navigationseinrichtung bekannt für ein Werkzeug, insbesondere ein medizinisches Instrument, welche mittels einer Steuereinrichtung die von einem Positionsmessgerät aufgenommenen Koordinaten eines Operateurs und/oder des Instruments und/oder eines Körpers in eine Anweisung für den Operateur, der das Instrument manuell führt, umrechnet und Signalgeber ansteuert, die dem Operateur die erforderliche Bewegung des Instruments signalisieren, bei der mittels der Signalgeber taktile Signale erzeugbar sind, deren Signale für den Operateur wahrnehmbar sind und von diesem unmittelbar und intuitiv für eine Bewegung des Instruments in eine vorbestimmte Position, Lage und/oder Orientierung des Instruments nutzbar ist. Dem Dokument DE 10 2006 045 100 A1 zufolge ist es günstig, wenn vor dem Gebrauch der Navigationseinrichtung der Operateur eine festgelegte Abfolge von Bewegungen und/oder Bewegungsmustern mit dem Instrument durchführt, aus denen Korrekturwerte für die Signalberechnung abgeleitet werden. Hierdurch wird die Navigationseinrichtung auf die individuellen Besonderheiten eines einzelnen Operateurs kalibriert.From the document DE 10 2006 045 100 A1 a navigation device is known for a tool, in particular a medical instrument, which uses a control device to convert the coordinates of an operator and/or the instrument and/or a body recorded by a position measuring device into instructions for the operator who guides the instrument manually and Controls signal transmitters that signal the operator the required movement of the instrument, in which tactile signals can be generated by means of the signal transmitter, the signals of which can be perceived by the operator and from this directly and intuitively for a movement of the instrument in a predetermined position, position and / or Orientation of the instrument is usable. the document DE 10 2006 045 100 A1 According to this, it is advantageous if, before using the navigation device, the operator carries out a defined sequence of movements and/or movement patterns with the instrument, from which correction values for the signal calculation are derived. As a result, the navigation device is calibrated to the individual characteristics of a single operator.

Aus dem Dokument DE 10 2013 007 820 A1 ist ein Verfahren bekannt zur Eingabe von Daten in eine Kommunikationseinrichtung und/oder in einen auslesbaren Speicher, bei dem Fingerflächen mindestens eine Tastenfunktion fiktiv zugeordnet wird und zur Erfassung und Wiedererkennung der jeweiligen Tastenfunktion die Daumenstellung bei der Berührung der jeweiligen Fingerfläche mit der Daumenkuppe erfasst und gespeichert wird, sodass bei jeder erneuten Berührung einer Fingerfläche mit der Daumenkuppe durch eine Auswerteelektronik für die dabei sensorisch erfasste Daumenstellung ein Signal generiert wird, dass der Tastenfunktion der jeweiligen Fingerfläche entspricht und dieses Signal mindestens einer Kommunikationseinrichtung oder einem auslesbaren Speicher zugeleitet wird. Das Dokument DE 10 2013 007 820 A1 erwähnt, dass eine Software zur Realisierung von Korrektur- und Kalibrierungsfunktionen wesentlich komplexer als eine Basissoftware ist, da durch unsachgemäße Handhabung, Verrutschen des Sensorträgers oder unscharfe Berührungspositionen Mehrdeutigkeiten entstehen können, bei welchen nur über eine intelligente Software der richtige Wert ermittelt werden kann. Als Instrumentarium hierfür werden Relativwerterfassungen bezogen auf benachbarte Punkte und auf Mittelwerte genannt, wodurch sich die Berührungsbereiche einengen lassen. Als weitere Maßnahmen werden Korrelationsbildungen mit gespeicherten Mustern, durch welche sich personenspezifische Eingabecharakteristika erkennen und in die Auswertung einbeziehen lassen, sowie Plausibilitätsprüfungen erwähnt.From the document DE 10 2013 007 820 A1 a method is known for entering data into a communication device and/or into a readable memory, in which at least one key function is notionally assigned to the surfaces of the fingers and the position of the thumb when the respective surface of the finger is touched with the tip of the thumb is recorded and stored in order to record and recognize the respective key function so that every time a finger surface is touched again with the tip of the thumb by evaluation electronics for the position of the thumb detected by sensors, a signal is generated that corresponds to the button function of the respective finger surface and this signal is fed to at least one communication device or a readable memory. The document DE 10 2013 007 820 A1 mentioned that software for the implementation of correction and calibration functions is much more complex than basic software, since improper handling, slipping of the sensor carrier or blurred touch positions can result in ambiguities, for which the correct value can only be determined using intelligent software. Relative value detections based on neighboring points and average values are mentioned as instruments for this, whereby the contact areas can be narrowed down. Correlation formation with stored patterns, through which person-specific input characteristics can be recognized and included in the evaluation, as well as plausibility checks are mentioned as further measures.

Die Veröffentlichung „KESSLER, G. D. u.a.: Evaluation of the CyberGlove as a whole-hand Input device. ACM Trans. Comput.-Hum. Interact. 2, 4, Dezember 1995, S. 263-283“ betrifft eine Bewertung des CyberGlove als Ganzhand-Eingabegerät. Dabei wird auch der Einfluss verschiedener Software-Kalibrierungsansätze auf die Genauigkeit der Sensoren analysiert. Das Experiment wurde in drei Schritten durchgeführt, wobei in jedem Schritt eine andere Apparatur verwendet wurde, um verschiedene Sensoren auf bestimmte Winkel einzustellen. Für jeden Schritt wurde der Sensor kalibriert, indem das entsprechende Gelenk auf zwei Winkel beschränkt wurde, entweder auf 0 und 90 Grad für die Fingerbeuge, die Daumendrehung und die Daumenabduktion, auf 0 und 60 Grad für die Beugung der Daumengelenke oder auf 0 und 30 Grad für die Abduktionssensoren zwischen den vier Fingern. Für alle Sensoren wurden Kalibrierungsmessungen auch verwendet, um die Auflösung des Sensors zu erhalten. Zum Messen der zwei Biegesensoren für jeden Finger wurden die Sensoren durch aus einem Block geschnittene Holzblöcke mit dem gewünschten Winkel auf 0, 30, 60 und 90-Grad-Winkel beschränkt, die eng auf das zu messende Gelenk aufgesetzt wurden. Zum Messen der Abduktionssensoren wurde die Hand auf ein Holzbrett gelegt, wobei Metallnägel aus dem Brett herausragten, um die Spreizung von zwei Fingern so zu führen, dass ein bestimmter Winkel erreicht wird. Zum Messen der Drehung des Daumens wurde die Hand so auf den Holzblock gelegt, dass die Kante des Blocks mit einer Linie, die in der Mitte des Mittelfingers verläuft und durch die Rille an der Basis der Hand verläuft, zusammenfällt. Es wurde jeweils eine Vielzahl unterschiedlicher Versuche durchgeführt, deren Reihenfolge zufällig generiert wurde.The publication "KESSLER, G.D. u.a.: Evaluation of the CyberGlove as a whole-hand Input device. ACM Trans. Comput.-Hum. interact 2, 4, December 1995, pp. 263-283” relates to an evaluation of the CyberGlove as a full-hand input device. The influence of different software calibration approaches on the accuracy of the sensors is also analyzed. The experiment was conducted in three steps, with each step using a different apparatus to adjust different sensors to specific angles. For each step, the sensor was calibrated by constraining the corresponding joint to two angles, either 0 and 90 degrees for finger flexion, thumb rotation, and thumb abduction, 0 and 60 degrees for thumb joint flexion, or 0 and 30 degrees for the abduction sensors between the four fingers. For all sensors, calibration measurements were also used to obtain the sensor's resolution. To measure the two flexure sensors for each finger, the sensors were constrained to 0, 30, 60, and 90 degree angles by blocks of wood cut from a block of the desired angle and placed snugly on the joint to be measured. To measure the abduction sensors, the hand was placed on a wooden board with metal nails protruding from the board to guide the spread of two fingers to achieve a specific angle. To measure thumb rotation, the hand was placed on the block of wood so that the edge of the block coincided with a line running down the middle of the middle finger and through the groove at the base of the hand. A large number of different tests were carried out in each case, the order of which was randomly generated.

Die Veröffentlichung „LU, P. and HUENERFAUTH, M.: Accessible motion-capture glove calibration protocol for recording sign language data from deaf subjects. In Proceedings of the 11th international ACM SIGACCESS conference on Computers and accessibility (Assets '09). ACM, New York, NY, USA, Oktober 2009, S. 83-90“ betrifft ein barrierefreies Kalibrierungsprotokoll für Bewegungserfassungshandschuhe zur Aufzeichnung von Gebärdensprachdaten von gehörlosen Probanden. Motion-Capture-Aufnahmen von Gebärdensprache werden in der Forschung zur automatischen Erkennung von Gebärdensprache oder zur Erstellung von Gebärdensprachanimationen verwendet, die für gehörlose Nutzer mit geringen Schriftsprachkenntnissen zugänglich sind. Bewegungserfassungshandschuhe werden verwendet, um die Handform des Trägers aufzuzeichnen. Leider müssen diese Handschuhe jedes Mal, wenn sie getragen werden, zeitaufwändig und ungenau manuell kalibriert werden. In dieser Veröffentlichung wird die Entwicklung und Evaluierung eines neuen Kalibrierungsprotokolls für Motion-Capture-Handschuhe beschrieben, das den Prozess effizienter machen und für gehörlose Teilnehmer, die die amerikanische Gebärdensprache (ASL) verwenden, zugänglich sein soll. Das Protokoll wurde experimentell evaluiert; gehörlose ASL-Gebärdensprachler trugen die Handschuhe, wurden kalibriert (unter Verwendung des neuen Protokolls und einer vom Handschuhhersteller bereitgestellten Kalibrierungsroutine) und wurden gebeten, Sequenzen von ASL-Handformen auszuführen. Ein ASL-Muttersprachler bewertete die Korrektheit und Verständlichkeit der erfassten Handformdaten. Das neue Protokoll erhielt deutlich höhere Werte als die Standardkalibrierung. Das Protokoll wurde online frei zugänglich gemacht und enthält Anweisungen für den Forscher, Bilder und Videos, die zeigen, wie die Teilnehmer ihre Hände während des Prozesses bewegen, sowie Anweisungen für die Teilnehmer (als ASL-Videos und englischer Text).The publication "LU, P. and HUENERFAUTH, M.: Accessible motion-capture glove calibration protocol for recording sign language data from deaf subjects. In Proceedings of the 11th Inter national ACM SIGACCESS conference on Computers and accessibility (Assets '09). ACM, New York, NY, USA, October 2009, pp. 83-90” relates to an accessible calibration protocol for motion capture gloves for recording sign language data from deaf subjects. Motion capture recordings of sign language are used in research to automatically recognize sign language or to create sign language animations that are accessible to deaf users with low literacy skills. Motion capture gloves are used to record the wearer's hand shape. Unfortunately, these gloves require a time-consuming and inaccurate manual calibration every time they are worn. This paper describes the development and evaluation of a new calibration protocol for motion capture gloves that aims to make the process more efficient and accessible to deaf participants using American Sign Language (ASL). The protocol was evaluated experimentally; deaf ASL signers wore the gloves, were calibrated (using the new protocol and a calibration routine provided by the glove manufacturer), and were asked to perform sequences of ASL hand shapes. An ASL native speaker assessed the correctness and understandability of the captured hand shape data. The new protocol received significantly higher values than the standard calibration. The protocol was made freely available online and includes instructions for the researcher, images and videos showing how the participants move their hands during the process, and instructions for the participants (as ASL videos and English text).

Die Veröffentlichung „DIPIETRO, Laura u.a.: A survey of glove-based systems and their applications. IEEE Trans. Systems, Man, and Cybernetics, Part C, 38. Jg., Nr. 4, 2008, S. 461-482“ betrifft eine Übersicht über handschuhbasierte Systeme und ihre Anwendungen. Die Erfassung von Handbewegungsdaten wird in vielen technischen Anwendungen eingesetzt, die von der Analyse von Gesten bis hin zu den biomedizinischen Wissenschaften reichen. Handschuhbasierte Systeme stellen eine der wichtigsten Bemühungen zur Erfassung von Handbewegungsdaten dar. Obwohl es sie schon seit über drei Jahrzehnten gibt, ziehen sie das Interesse von Forschern aus immer mehr verschiedenen Bereichen auf sich. Diese Veröffentlichung gibt einen Überblick über solche Handschuhsysteme und ihre Anwendungen. Darüber hinaus werden die Eigenschaften der Geräte analysiert, eine Strategie für die Entwicklung der Technologie erstellt und die Grenzen der derzeitigen Technologie sowie Trends an den Grenzen der Forschung erörtert. Ein Hauptziel dieser Veröffentlichung ist es, Lesern, die neu auf diesem Gebiet sind, eine Grundlage für das Verständnis der Handschuhsystemtechnologie und ihrer Anwendungsmöglichkeiten zu geben und gleichzeitig Fachleuten ein aktuelles Bild von der Breite der Anwendungen in verschiedenen Bereichen der Ingenieur- und Biomedizinwissenschaften zu vermitteln.The publication "DIPIETRO, Laura et al.: A survey of glove-based systems and their applications. IEEE Trans. Systems, Man, and Cybernetics, Part C, Vol. 38, No. 4, 2008, pp. 461-482” relates to an overview of glove-based systems and their applications. Hand motion data collection is used in many engineering applications ranging from gesture analysis to the biomedical sciences. Glove-based systems represent one of the most important efforts in collecting hand motion data. Although they have been around for over three decades, they are attracting the interest of researchers from a growing range of fields. This publication gives an overview of such glove systems and their applications. In addition, the characteristics of the devices are analyzed, a strategy for the development of the technology is drawn up, and the limitations of the current technology and trends at the frontiers of research are discussed. A primary objective of this publication is to provide readers who are new to the field with a foundation for understanding glove system technology and its possible applications, while providing professionals with an up-to-date picture of the breadth of applications across various fields of engineering and biomedical sciences.

Der Erfindung liegt die Aufgabe zugrunde, eine eingangs genannte Vorrichtung baulich und/oder funktional zu verbessern. Außerdem liegt der Erfindung die Aufgabe zugrunde, ein eingangs genanntes Verfahren zu verbessern.The object of the invention is to improve the construction and/or function of a device as mentioned at the outset. In addition, the invention is based on the object of improving a method mentioned at the outset.

Die Aufgabe wird gelöst mit einer Vorrichtung mit den Merkmalen des Anspruchs 1. Außerdem wird die Aufgabe gelöst mit einem Verfahren mit den Merkmalen des Anspruchs 5. Außerdem wird die Aufgabe gelöst mit einem Programmprodukt mit den Merkmalen des Anspruchs 10. Vorteilhafte Ausführungen und Weiterbildungen sind Gegenstand der Unteransprüche.The task is solved with a device with the features of claim 1. The task is also solved with a method with the features of claim 5. The task is also solved with a program product with the features of claim 10. Advantageous versions and developments are the subject the subclaims.

Das Eingabegerät kann zur Eingabe von Informationen an die Recheneinrichtung dienen. Das Eingabegerät kann zur Eingabe von Informationen an ein Programm dienen. Das Eingabegerät kann zum Kontrollieren eines virtuellen oder realen Kontrollobjekts dienen. Das Kontrollobjekt kann eine Repräsentation eines Benutzers sein. Das Eingabegerät kann zur Navigation und/oder Orientierung in einem virtuellen Raum dienen. Das Kontrollobjekt kann ein Roboter, wie Industrieroboter oder Medizinroboter, sein.The input device can be used to input information to the computing device. The input device can be used to input information to a program. The input device can be used to control a virtual or real control object. The control object can be a representation of a user. The input device can be used for navigation and/or orientation in a virtual space. The control object can be a robot, such as an industrial robot or a medical robot.

Ein handschuhartiges Eingabegerät kann ein Eingabegerät sein, das eine Hand ganz oder teilweise bedeckt. Das Eingabegerät kann an einer Hand anordenbar sein. Das Eingabegerät kann manschettenartig ausgeführt sein. Das Eingabegerät kann handschuhartig ausgeführt sein. Das Eingabegerät kann auch als Datenhandschuh bezeichnet werden.A glove-type input device may be an input device that fully or partially covers a hand. The input device can be arranged on one hand. The input device can be designed like a cuff. The input device can be designed like a glove. The input device can also be referred to as a data glove.

Das Kalibrieren kann dazu dienen, ein Programm anzupassen. Das Kalibrieren kann dazu dienen, ein standardisiertes Programm an individuelle Merkmale eines Benutzers und/oder an eine individuelle Benutzungssituation anzupassen.Calibration can be used to adjust a program. The calibration can serve to adapt a standardized program to individual characteristics of a user and/or to an individual usage situation.

Individuelle Merkmale eines Benutzers können Abmessungen und/oder Maßverhältnisse einer Hand sein. Eine individuelle Benutzungssituation kann eine konkret vorliegende Anordnung des Eingabegeräts an einer Hand berücksichtigen. Eine individuelle Benutzungssituation kann konkret vorzunehmende Bewegungen einer Hand berücksichtigen. Eine individuelle Benutzungssituation kann eine Maximalposition und/oder eine Minimalposition einer Bewegung einer Hand berücksichtigen. Die signalleitende Verbindung zwischen dem Computer und dem wenigstens einen Eingabegerät kann kabelgebunden oder kabellos sein.Individual features of a user can be dimensions and/or proportions of a hand. An individual usage situation can take into account a specific arrangement of the input device on a hand. An individual usage situation can take into account specific movements of a hand to be carried out. An individual usage situation can take into account a maximum position and/or a minimum position of a movement of a hand. The signal-conducting connection between the computer and the at least one input device may be wired or wireless.

Die Recheneinrichtung kann ein Computer oder eine elektrische Kontrolleinrichtung sein. Mithilfe der Recheneinrichtung kann ein Programm ausführbar sein.The computing device can be a computer or an electrical control device. A program can be executable with the aid of the computing device.

Die Vorrichtung kann ein einziges Griffelement aufweisen. Die Vorrichtung kann mehrere Griffelemente aufweisen. Die Griffelemente können gleich oder unterschiedlich sein. Aus mehreren Griffelementen kann wenigstens ein Griffelement zum Kalibrieren auswählbar sein. Das wenigstens eine Griffelement kann Greifabschnitte für eine einzige vorgegebene Greifposition aufweisen. Das wenigstens eine Griffelement kann Greifabschnitte für mehrere vorgegebene Greifpositionen aufweisen. Die Griffpositionen können unterschiedlich sein.The device can have a single handle element. The device can have several handle elements. The handle elements can be the same or different. At least one grip element can be selected for calibration from a plurality of grip elements. The at least one gripping element can have gripping sections for a single predetermined gripping position. The at least one gripping element can have gripping sections for a plurality of predetermined gripping positions. The grip positions can be different.

Die Greifabschnitte können an wenigstens eine Hand eines Benutzers angepasst sein. Die Greifabschnitte sind geometrisch komplementär zu einer Handkontur ausgeführt. Das wenigstens eine Griffelement kann Greifabschnitte für Finger und/oder Handfläche aufweisen. Das wenigstens eine Griffelement kann Greifabschnitte für eine rechte Hand und/oder für eine linke Hand aufweisen.The gripping portions can be adapted to fit at least one hand of a user. The gripping sections are designed to be geometrically complementary to a hand contour. The at least one gripping element can have gripping sections for fingers and/or the palm of the hand. The at least one gripping element can have gripping sections for a right hand and/or for a left hand.

Das wenigstens eine Griffelement kann auf Basis eines Abdrucks oder Scans einer Hand eines Benutzers hergestellt sein. Das wenigstens eine Griffelement kann aus einem Kunststoff und/oder Naturstoff hergestellt sein. Das wenigstens eine Griffelement kann aus Karton hergestellt sein.The at least one grip element can be manufactured on the basis of an impression or scan of a user's hand. The at least one handle element can be made of a plastic and/or natural material. The at least one handle element can be made of cardboard.

Die Vorrichtung kann wenigstens ein Signalmittel zur Signalübermittlung an den Benutzer aufweist. Das wenigstens eine Signalmittel kann ein optischen, akustisches und/oder taktiles Signalmittel sein. Das wenigstens eine Signalmittel kann ein elektrooptischer Wandler, wie Display oder Leuchtmittel, ein elektroakustischer Wandler, wie Lautsprecher oder Summer, oder ein elektrotaktiler Wandler, wie Vibrator oder Thermoelement, sein.The device can have at least one signaling means for signal transmission to the user. The at least one signaling means can be an optical, acoustic and/or tactile signaling means. The at least one signaling means can be an electro-optical converter, such as a display or light source, an electro-acoustic converter, such as a loudspeaker or buzzer, or an electro-tactile converter, such as a vibrator or thermocouple.

Das Verfahren kann dazu dienen, ein einziges handschuhartiges Eingabegerät zu kalibrieren. Das Verfahren kann dazu dienen, zwei handschuhartige Eingabegeräte gleichzeitig zu kalibrieren.The method can be used to calibrate a single glove-type input device. The method can be used to calibrate two glove-type input devices at the same time.

Die in der vorgegebene Greifposition erfassten Signale des wenigstens einen Eingabegeräts können der Recheneinrichtung zur Verfügung gestellt werden. Unter Berücksichtigung der in der vorgegebene Greifposition erfassten Signale können Kalibrierungsdaten bereitgestellt werden. Die Kalibrierung kann unter Berücksichtigung der Kalibrierungsdaten durchgeführt werden. Die Kalibrierungsdaten können mithilfe eines künstlichen neuronalen Netzwerks bereitgestellt werden.The signals of the at least one input device detected in the predetermined gripping position can be made available to the computing device. Calibration data can be provided taking into account the signals detected in the predetermined gripping position. The calibration can be performed considering the calibration data. The calibration data can be provided using an artificial neural network.

Die in der vorgegebene Greifposition erfassten Signale des wenigstens einen Eingabegeräts können gespeichert werden.The signals of the at least one input device detected in the predetermined gripping position can be stored.

Dem Benutzer kann signalisiert werden, welche/-r Eingabegeräte anzulegen ist/sind. Dem Benutzer kann signalisiert werden, welche/-s Griffelement/-e zu greifen ist/sind. Dem Benutzer kann signalisiert werden, in welcher/-n Griffposition/-en zu greifen ist. Dem Benutzer kann signalisiert werden, wenn ein Griffelement losgelassen und/oder eine Griffposition aufgelöst werden kann und/oder eine Kalibrierung abgeschlossen ist. Zum Signalisieren kann eine Repräsentation wenigstens eines Eingabegeräts, wenigstens eines Griffelements und/oder wenigstens einer Griffposition angezeigt werden. Insbesondere kann eine Repräsentation wenigstens eines Griffelements angezeigt und wenigstens eine Griffposition, beispielsweise farblich, hervorgehoben werden.The user can be signaled which input device(s) is/are to be created. The user can be signaled which gripping element(s) is/are to be gripped. The user can be signaled in which gripping position(s) to grip. The user can be signaled when a grip element can be released and/or a grip position can be resolved and/or a calibration is complete. A representation of at least one input device, at least one grip element and/or at least one grip position can be displayed for signaling. In particular, a representation of at least one grip element can be displayed and at least one grip position can be highlighted, for example in color.

Das Programmprodukt kann eine Software sein. Das Programmprodukt kann auf einem physischen Speichermedium gespeichert sein. Das Speichermedium kann ein Datenträger sein. Das Speichermedium kann computerlesbar sein. Das Programmprodukt kann als Signal vorliegen. Mithilfe des Programmprodukts kann ein künstliches neuronales Netzwerk darstellbar sein.The program product may be software. The program product may be stored on a physical storage medium. The storage medium can be a data carrier. The storage medium can be computer-readable. The program product can exist as a signal. An artificial neural network can be represented with the aid of the program product.

Zusammenfassend und mit anderen Worten dargestellt ergibt sich somit durch die Erfindung unter anderem ein Verfahren zur vereinfachten Kalibration eines Datenhandschuhs. Der kann dazu verwendet werden, Bewegungen einer menschlichen Hand zum Beispiel bei einer Teleoperation auf einen Roboter zu übertragen oder als Eingabegerät für Virtual-Reality und Motion Capture Anwendungen.In summary and presented in other words, the invention thus results, among other things, in a method for simplified calibration of a data glove. The can be used to transmit movements of a human hand to a robot, for example during a teleoperation, or as an input device for virtual reality and motion capture applications.

Um ein möglichst reales Verhältnis von einer Bewegung eines Menschen beispielsweise zu der einer Animation zu erreichen, sollte der Datenhandschuh zuvor abgeglichen werden, da sonst die Bewegung beispielsweise von einer animierten Hand nicht mit den realen Bewegungen des Menschen übereinstimmt. Die vorliegende Erfindung ermöglicht es auf einfache aber dennoch effiziente Weise einen Datenhandschuh mit den Bewegungen des Benutzers abzugleichen, um so eine Genauigkeit einer Eingabe zu erhöhen.In order to achieve the most realistic possible relationship between the movement of a human being and that of an animation, the data glove should be compared beforehand, otherwise the movement of an animated hand, for example, will not match the real human movements. The present invention enables a data glove to be matched to the user's movements in a simple yet efficient manner in order to increase the accuracy of an input.

Damit der Datenhandschuh abgeglichen werden kann, kann dem Benutzer eine spezielle Form zur Verfügung gestellt werden. Diese Form kann mehrere Arten von Griffen aufweisen, welche den Benutzer dazu forcieren, bestimmte Handbewegungen durchzuführen, beispielsweise Spreizen der Finger, volle Bewegung des Daumens, schließen der Hand etc. Diese Form kann zum Beispiel das Negativ einer Hand darstellen und auch aus Karton bestehen. Durch die vorher durch die Form vorgegebenen Griffe kann es einem Computer Algorithmus ermöglicht sein, die durch Sensoren aufgenommenen Bewegungen des Menschen direkt zuzuordnen. Dabei kann in einem Computerprogramm zunächst das Kalibrierverfahren gestartet werden. In dem Programm kann die Form dargestellt und der benötigte Griff zum Beispiel durch ein aufleuchten vorselektiert werden. Der Benutzer kann nun die Form beziehungsweise den Griff an der zuvor vom Computer selektierten Position anfassen. Dabei zeichnet der Computer alle ihm zur Verfügung stehenden Sensordaten auf und ordnet sie den Bewegungen zu. Durch mehrmaliges Wiederholen von gleichen sowie verschiedenen Griffen kann hierbei ein optimales Ergebnis innerhalb von kürzester Zeit mit geringem Aufwand erzielt werden.A special form can be made available to the user so that the data glove can be matched. This form can have several types of grips that force the user to perform certain hand movements, such as spreading the Fingers, full movement of the thumb, closing of the hand, etc. This form can, for example, represent the negative of a hand and can also be made of cardboard. The handles previously specified by the shape can make it possible for a computer algorithm to directly assign the human movements recorded by sensors. In this case, the calibration process can first be started in a computer program. The shape can be displayed in the program and the required grip can be preselected, for example by lighting it up. The user can now grasp the shape or handle at the position previously selected by the computer. The computer records all the sensor data available to it and assigns it to the movements. By repeating the same and different grips several times, an optimal result can be achieved within a very short time with little effort.

Mit „kann“ sind insbesondere optionale Merkmale der Erfindung bezeichnet. Demzufolge gibt es jeweils ein Ausführungsbeispiel der Erfindung, das das jeweilige Merkmal oder die jeweiligen Merkmale aufweist.In particular, “may” denotes optional features of the invention. Accordingly, in each case there is an exemplary embodiment of the invention which has the respective feature or features.

Mit der Erfindung wird eine Korrelation zwischen Bewegungen eines Benutzers und einem damit kontrollierten Objekt verbessert. Eine Arbeitsgenauigkeit kann erhöht werden. Ein Realitätserlebnis kann verbessert werden. Ein Versatz zwischen einer Bewegunge eines Benutzers und einem damit kontrollierten Objekt kann reduziert oder vermieden werden.With the invention, a correlation between movements of a user and an object controlled with it is improved. A working accuracy can be increased. A reality experience can be improved. An offset between a movement of a user and an object controlled with it can be reduced or avoided.

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren näher beschrieben. Aus dieser Beschreibung ergeben sich weitere Merkmale und Vorteile. Konkrete Merkmale dieser Ausführungsbeispiele können allgemeine Merkmale der Erfindung darstellen. Mit anderen Merkmalen verbundene Merkmale dieser Ausführungsbeispiele können auch einzelne Merkmale der Erfindung darstellen.Exemplary embodiments of the invention are described in more detail below with reference to figures. Further features and advantages result from this description. Specific features of these exemplary embodiments can represent general features of the invention. Features of these exemplary embodiments that are associated with other features can also represent individual features of the invention.

Es zeigen schematisch und beispielhaft:

1 ein in einer ersten vorgegebenen Greifposition gegriffenes Griffelement,
2 ein in einer zweiten vorgegebenen Greifposition gegriffenes Griffelement und
3 ein Bereitstellen von Kalibrierungsdaten mithilfe eines künstlichen neuronalen Netzwerks.

They show schematically and by way of example:

1 a gripping element gripped in a first predetermined gripping position,
2 a gripping element gripped in a second predetermined gripping position and
3 providing calibration data using an artificial neural network.

1 zeigt ein Griffelement 100 mit handangepassten Greifabschnitten, wie 102, 104, 106, 108, 110, 112, für zwei vorgegebene unterschiedliche Greifpositionen. Die Greifabschnitte 102, 104, 106, 108, 110, 112 sind geometrisch komplementär zu Finger- und Handflächenkonturen ausgeführt. Das Griffelement 100 dient zum Kalibrieren eines Datenhandschuhs 114 auf einen Benutzer. 1 shows a handle element 100 with hand-adapted gripping sections, such as 102, 104, 106, 108, 110, 112, for two predetermined different gripping positions. The gripping sections 102, 104, 106, 108, 110, 112 are designed to be geometrically complementary to the contours of the fingers and palms. The grip element 100 is used to calibrate a data glove 114 to a user.

Zum Kalibrieren des Datenhandschuhs 114 legt der Benutzer den Datenhandschuh 114 an, verbindet ihn signalleitend mit einem Computer und startet eine Kalibrierungssoftware. Über ein Display wird dem Benutzer signalisiert, in welcher Greifposition das Griffelement 100 zu greifen ist. 1 zeigt ein Greifen des Griffelements 100 in einer ersten vorgegebenen Greifposition. 2 zeigt ein Greifen des Griffelements 100 in einer zweiten vorgegebenen Greifposition.To calibrate the data glove 114, the user puts on the data glove 114, connects it to a computer in a signal-conducting manner and starts calibration software. A display signals the user in which gripping position the gripping element 100 is to be gripped. 1 shows a gripping of the gripping element 100 in a first predetermined gripping position. 2 shows a gripping of the gripping element 100 in a second predetermined gripping position.

In den vorgegebenen Greifpositionen werden jeweils Signale des Datenhandschuhs 114 erfasst und dem Computer zur Verfügung gestellt. Wie in 3 gezeigt, werden unter Berücksichtigung der in den vorgegebenen Greifpositionen erfassten Signale 116 mithilfe eines künstlichen neuronalen Netzwerks 118 Kalibrierungsdaten 120 ermittelt und bereitgestellt.In the predetermined gripping positions, signals from the data glove 114 are recorded and made available to the computer. As in 3 shown, calibration data 120 are determined and provided with the aid of an artificial neural network 118, taking into account the signals 116 detected in the predetermined gripping positions.

Unter Berücksichtigung der Kalibrierungsdaten 120 wird eine Kalibrierung durchgeführt, indem mit den Kalibrierungsdaten 120 ein standardisiertes Programm an individuelle Abmessungen und/oder Maßverhältnisse einer Hand des Benutzers und/oder an eine individuelle Benutzungssituation angepasst wird.A calibration is carried out taking into account the calibration data 120 by using the calibration data 120 to adapt a standardized program to individual dimensions and/or dimensional ratios of a hand of the user and/or to an individual usage situation.

BezugszeichenlisteReference List

100100: Griffelementgrip element
102102: Greifabschnittgripping section
104104: Greifabschnittgripping section
106106: Greifabschnittgripping section
108108: Greifabschnittgripping section
110110: Greifabschnittgripping section
112112: Greifabschnittgripping section
114114: Eingabegerät, Datenhandschuhinput device, data glove
116116: Signalesignals
118118: Netzwerknetwork
120120: Kalibrierungsdatencalibration data

Claims

Device for calibrating at least one glove-like input device (114) for a user, the device having a computing device and at least one glove-like input device (114) connected to the computing device in a signal-conducting manner, the device has at least one gripping element (100) with hand-adapted gripping sections (102, 104, 106, 108, 110, 112) for at least one predetermined gripping position and the gripping sections (102, 104, 106, 108, 110, 112) are geometrically complementary to a hand contour are.

device after claim 1 , characterized in that the at least one gripping element (100) has gripping sections (102, 104, 106, 108, 110, 112) for fingers and/or the palm of the hand.

Device according to at least one of the preceding claims, characterized in that the at least one gripping element (100) has gripping sections (102, 104, 106, 108, 110, 112) for a right hand and/or for a left hand.

Device according to at least one of the preceding claims, characterized in that the device has at least one signaling means for signal transmission to the user.

Method for calibrating at least one glove-like input device (114) for a user using a device according to at least one of the preceding claims, characterized in that the user grips at least one grip element (100) in a predetermined gripping position with at least one glove-like input device (114) put on, signals of the at least one input device (114) are detected in the predetermined gripping position and a calibration is carried out taking into account the detected signals (116).

procedure after claim 5 , characterized in that the user is signaled which input device(s) (114) is/are to be applied.

Method according to at least one of Claims 5 until 6 , characterized in that the user is signaled which grip element(s) (100) is/are to be gripped.

Method according to at least one of Claims 5 until 7 , characterized in that the user is signaled in which gripping position(s) to grip.

Method according to at least one of Claims 5 until 8th , characterized in that the user is signaled when a gripping element (100) can be released and/or a gripping position can be resolved and/or a calibration has been completed.

Program product that includes program code sections with which a method according to at least one of Claims 5 until 9 is feasible if the program product on a computing device of a device according to at least one of Claims 1 until 4 is performed.