DE102019108670A1 - Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms - Google Patents

Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms Download PDF

Info

Publication number
DE102019108670A1
DE102019108670A1 DE102019108670.1A DE102019108670A DE102019108670A1 DE 102019108670 A1 DE102019108670 A1 DE 102019108670A1 DE 102019108670 A DE102019108670 A DE 102019108670A DE 102019108670 A1 DE102019108670 A1 DE 102019108670A1
Authority
DE
Germany
Prior art keywords
camera
operator
glasses
sight
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019108670.1A
Other languages
English (en)
Inventor
Simon Hazubski
Harald Hoppe
Andreas Otte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HOCHSCHULE OFFENBURG
Original Assignee
HOCHSCHULE OFFENBURG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HOCHSCHULE OFFENBURG filed Critical HOCHSCHULE OFFENBURG
Priority to DE102019108670.1A priority Critical patent/DE102019108670A1/de
Priority to US16/836,746 priority patent/US11373341B2/en
Publication of DE102019108670A1 publication Critical patent/DE102019108670A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese 1 oder eines Roboterarms, wobei wenigstens ein an oder im Bezug zu dem Gerät positionierter Marker 5 von einer an einer Bedienperson angeordneten Kamera 11 erkannt wird, wobei ab dem Erkennen des wenigstens einen Markers 5 eine vordefinierte Bewegung der Bedienperson zusammen mit der Kamera 11 erkannt wird und zum Auslösen einer entsprechenden Aktion des Geräts verwendet wird, wobei die vordefinierte Bewegung der Bedienperson in Form eines Sehstrahls 15 mittels Kamera-Tracking erkannt wird. Weiterhin betrifft die Erfindung eine Anordnung aus einem Gerät, insbesondere einer Handprothese 1 oder eines Roboterarms, und einer AR-Brille 7 zur Durchführung eines derartigen Verfahrens.

Description

  • Die Erfindung betrifft ein Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms. Derartige Verfahren finden beispielsweise Anwendung im Bereich der Steuerung elektrischer Neurohandprothesen.
  • Derzeitige Ansätze zur Steuerung solcher elektrischer Neurohandprothesen basieren darauf, Elektromyographie(EMG)-Signale noch bestehender Muskeln zu messen oder mittels Brain-Machine-Interface Gedankenmuster auszuwerten und daraus Kommandos für die Prothese abzuleiten.
  • Im Bereich der Neuroprothetik wurde beispielsweise in „David P. McMullen, e. a. (22. July 2014). Demonstration of a Semi-Autonomous Hybrid Barin-Machine Interface Using Human Intracranial EEG, Eye Tracking, and Computer Vision to Control a Robotic Upper Limb Prosthetic. IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING“ ein komplexes System realisiert, mit welchem sich robotisierte Armprothesen steuern lassen. Hierfür kommt ein Brain-Machine-Interface zur Anwendung. Dort wird Eye-Tracking verwendet, um Auswahlmöglichkeiten anzuwählen. Derartige Ansätze finden sich in der Literatur häufig. Darüber hinaus werden herkömmliche Prothesen oftmals mit Hilfe von EMG-Signalen angesteuert.
  • Diese Ansätze haben allerdings den Nachteil, dass sie wenig intuitiv sind und von Anwendern bzw. Bedienpersonen aufwendig eingelernt werden müssen.
  • Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms, zu schaffen, das vorgenannte Nachteile vermeidet und eine komfortable Steuerung ermöglicht. Weiterhin liegt der Erfindung die Aufgabe zugrunde, auf einfache Art und Weise eine störungsfreie und präzise Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms, zu ermöglichen und hierdurch auch Fehlbedienungen zu vermeiden.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst.
  • Nach der Erfindung wird eine von einem Anwender bzw. einer Bedienperson, vorzugsweise am Kopf getragenen, Kamera verwendet, um mittels Kamera-Tracking ein Gerät, insbesondere eine (beliebig aktive, motorisierte) Handprothese oder einen (beliebig aktiven, motorisierten) Roboterarm zu steuern bzw. anzusteuern. Hierzu sind an oder im Bezug zu dem Gerät Marker, beispielsweise LEDs, positioniert, die von der Kamera vorzugsweise innerhalb eines definierten Bereiches eines, insbesondere zentralen, definierten Sehstrahls detektiert bzw. erkannt (lokalisiert) werden.
  • Erst wenn der Sehstrahl im Wesentlichen in Richtung der Marker oder unabhängig von der Markerposition der Sehstrahl auf eine vordefinierte Position (zum Beispiel links oben) gerichtet wurde, ist ein derartiges Erkennen und damit Ansteuern des Geräts möglich. Bereits hierdurch kann auf einfache Weise eine ungewollte Ansteuerung des Geräts und damit Fehlbedienung vermieden und eine robuste Ansteuerung gewährleistet werden.
  • Der Sehstrahl stellt damit die Blickrichtung des Anwenders bzw. des Betrachters dar, wobei unter dieser Blickrichtung im Sinne der Erfindung die Orientierung des Sichtfeldes des Anwenders, insbesondere die Orientierung einer Augmented-Reality(AR)-Brille zum Gerät, und nicht die Blickrichtung der Augen zu verstehen ist.
  • Im Weiteren wird nach der Erfindung nur bei einem derartigen Erkennen eines Markers bzw. Orientierung des Sehstrahls zum Marker auf einer Ausgabeeinheit ein Feedback-Ereignis ausgegeben und für eine Bedienperson angezeigt. Erst unter dieser Bedingung können Befehle zur Steuerung des Geräts erzeugt werden, so dass hierdurch die Gefahr von Fehlbedienungen weiter vermindert wird. Diese Befehle werden nach der Erfindung durch Erkennen (unterschiedlicher) vordefinierter Bewegungen der Bedienperson (zusammen mit der Kamera) erzeugt, indem die Bewegungen der Bedienperson eine entsprechende Bewegung des Sehstrahls (der Kamera), vorzugsweise in einer definierten Region, bewirken, die mittels Kamera-Tracking erkannt und zum Auslösen einer entsprechenden Aktion des Geräts verwendet wird.
  • Unter vordefinierte Bewegungen sind im Sinne der Erfindung auch im Laufe einer Benutzung erlernte oder verfeinerte Befehle (mittels Teach-in, Kl- Algorithmen etc.) zu verstehen.
  • Diese (An-)Steuerung eines Geräts ist durch Verwendung der Körper-, insbesondere der Kopfbewegungen einer Bedienperson intuitiv und einfach zu erlernen. Zudem wird in vorteilhafter Ausgestaltung der Erfindung durch die Ausgabe eines Feedback-Ereignisses für eine Bedienperson deutlich, ab wann Bewegungen als Steuersignale interpretiert werden, so dass die Gefahr von ungewollten Fehlbedienungen vermindert oder gar ausgeschlossen wird.
  • Als Ausgabeeinheit im Sinne der Erfindung kommt beispielsweise eine Audioausgabe-, visuelle Ausgabeeinheit (Lampe, Bildschirm etc.) oder auch eine haptische Ausgabeeinheit (Druck auf Hautoberfläche) in Frage.
  • In bevorzugter Ausgestaltung der Erfindung wird die an der Bedienperson angeordnete Kamera derart am Kopf der Bedienperson angeordnet, so dass die Kamera und damit das Sichtfeld der Kamera, insbesondere deren Sehstrahl, bei einer Bewegung des Kopfes mitbewegt wird.
  • Beispielsweise kann hierzu die Kamera einer Augmented-Reality(AR)-Brille verwendet werden, welche von einer Bedienperson zur Steuerung eines Geräts aufgesetzt und getragen wird. In diesem Fall kann als Ausgabeeinheit eine Anzeige einer AR-Brille verwendet werden, so dass nicht nur die Kopfbewegung einer Bedienperson zur Steuerung des Geräts verwendet werden kann, sondern auch die Anzeige von Feedback-Signalen und eventuell die Anzeige der Bewegung des Sehstrahls für eine Bedienperson komfortabel erfolgen kann.
  • In dieser Ausgestaltung der Erfindung ist die Kamera integraler Bestandteil der AR-Brille, so dass in fester Relation zur AR-Brille der Sehstrahl, vorzugsweise der zentrale Sehstrahl, definiert wird. Über die Nachverfolgung der Marker auf dem Gerät, insbesondere der Handprothese, kann deren Position und Orientierung relativ zum Sehstrahl nachverfolgt werden.
  • In weiterer Ausgestaltung der Erfindung wird als Feedback-Ereignis in der AR-Brille ein (sich öffnendes) Fenster, insbesondere in Form eines virtuellen Kommandofelds dargestellt, das in seiner Position fest bzw. fix (also an einer Fixposition) bezogen auf die Position des Geräts eingeblendet wird. Das virtuelle Kommandofeld befindet sich damit in örtlich fester Beziehung zu den Markern und wird vorzugsweise dann eingeblendet, wenn sich der Sehstrahl in definierter räumlicher Nähe zum Kommandofeld befindet.
  • Selbstverständlich ist es aber auch denkbar, dass ein derartiges Fenster dauerhaft in der Anzeige der AR-Brille eingeblendet ist. Als Feedback-Ereignis kann dann eine andere Aktion, beispielsweise ein Aufleuchten des Fensterrahmens, Änderung der Schattierung oder Hintergrundfarbe des Fensters oder andere Anzeigen auf der Anzeige der AR-Brille erfolgen.
  • In einem solchen Fenster können weiterhin nicht nur auf eine für eine Bedienperson komfortable Weise Informationen des Geräts, sondern auch die Bewegungen des Sehstrahls innerhalb des Fensters angezeigt werden. Als Feedback für den Anwender kann hierbei auch die erfolgte Bewegung, beispielsweise als Leuchtspur, dargestellt werden.
  • Beispielsweise können unterschiedliche vordefinierte Linien, Figuren, etc. in diesem Fenster samt Informationen der entsprechend auszuführenden Steuerbefehle (als Voranzeige) angezeigt und diesen Linien und Figuren mit dem aktuell ebenfalls dargestellten Sehstrahl durch entsprechende Kopfbewegung der Bedienperson gefolgt werden. Es ist aber auch denkbar, dass ohne eine derartige Voranzeige Bewegungen des Sehstrahls erkannt werden.
  • In weiterer Ausgestaltung der Erfindung kann zusätzlich ein sogenanntes Eye-Tracking verwendet werden, um eine Detaillierung der Steuerbefehle und/oder eine Erweiterung des Befehlssatzes zu ermöglichen. Beispielsweise könnten durch Eye-Tracking zusätzliche ermittelte Aktionen, wie Blinzeln oder Blickrichtung der Bedienperson, hierzu herangezogen werden. Selbstverständlich ist für ein solches Eye-Tracking eine zusätzliche Kamera, welche statt auf die Umgebung auf ein Auge der Bedienperson gerichtet ist, erforderlich. Eine derartige Eye-Tracking-Kamera kann vorzugsweise ebenfalls Bestandteil einer AR-Brille sein.
  • Die unterschiedlichen Ausgestaltungen der Erfindung ermöglichen eine einfache und robuste Methode, mit welcher das Gerät, insbesondere die Prothese, angesteuert werden kann. Da in den meisten Fällen das zu steuernde Gerät und dessen Aktionen (beispielsweise der Greifvorgang der Prothese) von der Bedienperson visuell kontrolliert wird, ist es besonders vorteilhaft, dass mit einer am Kopf angeordneten Kamera, insbesondere einer AR-Brille, und Kamera-Tracking ein visueller Steuerungsmechanismus geschaffen wird, mit dem das Gerät bereits mit minimalen Kopfbewegungen relativ zu dieser angesteuert bzw. gesteuert werden kann.
  • In weiterer Ausgestaltung der Erfindung kann zusätzlich Eye-Tracking verwendet werden, um Aktionen bzw. Steuerbefehle für das Gerät auszulösen oder bereits (mittels Kamera-Tracking) erzeugte Aktionen zu detaillieren. Hierzu wird die Augenausrichtung mittels einer zusätzlichen Kamera für das Eye-Tracking beobachtet und vordefinierte Aktionen, wie beispielsweise ein Blinzeln, Blick nach unten, etc. erkannt, um entsprechende Aktionen zur Steuerung des Geräts auszulösen.
  • Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Die Erfindung wird nachfolgend anhand eines in der Zeichnung dargestellten Ausführungsbeispiels einer Bedienperson, die mithilfe einer AR-Brille eine Handprothese steuert, näher erläutert.
  • In der Zeichnung zeigen:
    • 1 eine schematische Darstellung einer eine AR-Brille tragenden Bedienperson und einer Handprothese;
    • 2 eine vergrößerte schematische Darstellung eines Ausschnitts aus 1 und
    • 3 eine schematische Darstellung nach 1 mit zusätzlichem Eye-Tracking.
  • Die in 1 dargestellte Handprothese 1, als nicht einschränkendes Beispiel eines zu steuernden Geräts, weist eine Anzahl (1-n) an Markern, beispielsweise wie dargestellt vier Marker 5, vorzugsweise in Form von LEDs auf, um von einer Kamera 11 in seiner Position innerhalb eines Koordinatensystems B erkannt zu werden.
  • Die Kamera 11 wird von einem Anwender bzw. einer Bedienperson, beispielsweise als Teil einer AR-Brille 7 getragen, so dass die Position der Kamera und damit deren Sichtfeld 13 sich mit der Bewegung des Sichtfelds 9 des Anwenders, insbesondere bewirkt durch eine Kopfbewegung, im Koordinatensystem B ändert.
  • Befindet sich die Handprothese 1 mit den Markern 5 im Sichtfeld 13 der Kamera, können die Marker 5 erkannt werden. Sofern die, vorzugsweise auf der AR-Brille 7 angebrachte Kamera 11 (bzw. entsprechende Kamerabildauswertungssoftware) die Marker 5 sieht bzw. erkennt, kann je nach Anzahl der Marker-LEDs mittels Tracking die Position und Orientierung der Prothese mit 2 bis 6 Freiheitsgraden im Koordinatensystem A der Brille 7 ermittelt werden, wobei mittels geeignetem (trigonometrischen) Algorithmus die Transformation zwischen Koordinatensystem B der Handprothese 1 und Koordinatensystem A des Betrachters bzw. der AR-Brille 7 ermittelt wird. Dadurch ist die Voraussetzung geschaffen, die Blickrichtung (Sehstrahl 15) des Betrachters bzw. des Anwenders auszuwerten. Unter Blickrichtung des Anwenders ist im Sinne der Erfindung die Orientierung der AR-Brille 7 zur Handprothese 1 und nicht die Blickrichtung der Augen zu verstehen.
  • Darüber hinaus können Bewegungen der Handprothese 1 aus den Positionsänderungen der mittels Kamera-Tracking detektierten Marker 5 erkannt und in Bezug zum Koordinatensystem A der Kamera gesetzt werden.
  • In bevorzugter Anwendung der Erfindung weist die Kamera 11 einen großen Öffnungswinkel und damit ein möglichst großes Sichtfeld 13 (beispielsweise größer oder gleich 80°) auf. Die Entfernung der Kamera 11 bzw. AR-Brille 7 zu den zu trackenden Markern 5 beträgt hierbei für gewöhnlich weniger als einen Meter.
  • Innerhalb des Sichtfeldes 9 des Betrachters bzw. der AR-Brille 7 wird als Blickrichtung ein, vorzugsweise zentraler, Sehstrahl 15 definiert, dessen Richtung sich entsprechend einer Änderung des Sichtfeldes 13 der Kamera 11 und damit der Blickrichtung des Anwenders ändert. Folglich kann aus den Bewegungen der Brille 7 die Blickrichtung des definierten Sehstrahls 15 relativ zur Prothese 1 ermittelt werden bzw. für den Sehstrahl 15 angegeben werden, wie er sich in Relation zur Handprothese 1 bewegt. Dadurch ist die Voraussetzung geschaffen, die Blickrichtung des Betrachters auszuwerten.
  • Passiert der Sehstrahl 15 eine definierte Region im Koordinatensystem B, zum Beispiel einen Bereich nahe der Marker 5, oder werden innerhalb des Sichtfeldes 13 der Kamera 11, oder innerhalb eines vordefinierten kleineren Ausschnitts, beispielsweise eines etwas vergrößerten Bereichs um den Sehstrahl 15, Marker 5 einer Prothese 1 detektiert, wird für einen Anwender, wie in 2 dargestellt, in der Anzeige der AR-Brille 7 ein Fenster in Form eines visuellen Kommandofelds 3 (in einer beliebig wählbaren Größe, beispielsweise von etwa 10 bis 15 cm, aus Sicht des Betrachters), vorzugsweise in der Nähe der Prothese, eingeblendet. Dieses Kommandofeld 3 befindet sich im Koordinatensystem B, so dass aus einer Bewegung des Sichtfelds 9 des Anwenders und damit des Sehstrahls 15 (im Koordinatensystem A) eine Relativbewegung zueinander erfolgt.
  • Die Bewegungen des Sehstrahls 15 auf dem Kommandofeld 3 können, wie nachfolgend erläutert, beispielsweise mittels entsprechender Auswerteeinrichtung (inkl. Software) ausgewertet werden, um ein entsprechendes Steuerkommando für die Prothese 1 zu ermitteln.
  • Wie aus 2 ersichtlich, kann der Sehstrahl 15 durch eine Bewegung des Sichtfelds 9 des Anwenders, insbesondere durch eine Kopfbewegung, auf dem Kommandofeld 3 bewegt werden, wobei vorzugsweise die bereits erfolgte Bewegung 17 des Sehstrahls 15 auf dem Kommandofeld 3 für den Anwender sichtbar, beispielsweise als schräge Linie (von links oben nach rechts unten), vorzugsweise in Form einer Leuchtspur dargestellt wird. Hierdurch erhält der Nutzer Feedback über seine Bewegungen der Blickrichtung bzw. des Sehstrahls 15 auf dem Kommandofeld 3.
  • Auf diese Weise können von einem Anwender bestimmte Figuren gezeichnet werden, die zur Steuerung der Handprothese 1 verwendet werden.
  • Beispielsweise können einfache unterschiedliche Figuren, wie beispielswese Linien unterschiedlicher Ausrichtung (waagrecht von links nach rechts, senkrecht von oben nach unten, von links oben nach rechts unten, von links unten nach rechts oben sowie in umgekehrter Richtung, etc.), Kreise, o. ä. für unterschiedliche Aktionen der Prothese 1 vordefiniert sein. Wird von einem Anwender eine entsprechende Figur mit dem Sehstrahl 15 in dem Kommandofeld 3 gezeichnet und als solche (innerhalb einer vordefinierten Toleranz) erkannt, so wird die der erkannten Figur zugeordnete Aktion ausgeführt bzw. die Handprothese entsprechend angesteuert.
  • Beispiele für Kommandos können sein:
    1. 1. Bewegung von unterer rechter Ecke in obere linke Ecke → Prothese öffnet Hand komplett.
    2. 2. Blickrichtung des Betrachters durchläuft Kommandofeld von oberer linker Ecke in untere rechte Ecke nur teilweise → Prothese schließt Hand zur Hälfte.
    3. 3. Teilweise Bewegung in entgegengesetzte Richtung wie in 2. → Prothese öffnet Hand zur Hälfte.
    4. 4. Kreisbewegung der Blickrichtung → Daumen bewegen.
  • Selbstverständlich können die Kommandos entsprechend der Funktionen der Handprothese 1 individualisiert werden. Bei Handprothesen, die bei einem bestimmten Anpressdruck automatisch abschalten, genügt beispielsweise lediglich der An-/Aus-Befehl.
  • Ist ein Zeichnen bestimmter Muster durch Bewegungen des Kopfes innerhalb des Kommandofeldes 3 nicht ausreichend, kann die Steuerung der Handprothese 1, wie in 3 dargestellt, durch Eye-Tracking erweitert werden. Mittels Eye-Tracking können zusätzliche unabhängige Informationen ermittelt werden, nämlich die Augenausrichtung 23, beispielsweise des linken Auges 21 des Anwenders (nur zur besseren Verdeutlichung anhand einer Richtung auf ein Objekt 25 dargestellt) sowie Blinzeln des Auges 21. Dadurch ist es auch möglich, aus der Kombination der Position der Prothese 1 und der Augenausrichtung 23 der Augen Kommandos abzuleiten.
  • Soll die Prothese beispielsweise als Ersatz für eine Computermaus verwendet werden, können die Bewegungen der Prothese 1 direkt auf die Bewegungen des Cursors umgesetzt werden. In diesem Beispiel der Computermaus kann somit aus der Position der Prothese 1 die Cursorposition abgeleitet und durch Blinzeln oder Fokussieren des Mauszeigers ein Anwählen („Klicken“) realisiert werden. Selbstverständlich ist auch eine Kombination nur zur Steuerung der Prothese 1 denkbar. Beispielsweise könnte mittels Kamera-Tracking die Prothese 1 bewegt und mittels Blinzeln eine geschlossene Hand geöffnet werden, um beispielsweise einen mit der Hand gehaltenen Gegenstand freizugeben.
  • Auch bei bestimmten Patientengruppen (beispielsweise Schlaganfallpatienten oder Patienten mit amyotropher Lateralsklerose, bei denen Kopfbewegungen nur eingeschränkt möglich sind) kann das Eye-Tracking unterstützend zum Kamera-Tracking zur Steuerung einer Prothese 1 verwendet werden.
  • Wie in 3 dargestellt, weist die AR-Brille 7 zur Realisierung der zusätzlichen visuellen Steuerung einen zusätzlichen auf das linke Auge 21 gerichteten Eye-Tracker 19 bzw. eine Eye-Tracking-Kamera 19 auf, um die Augenausrichtung 23 sowie ein Blinzeln des Auges 21 zu detektieren. Die Prothese 1 trägt weiterhin den Marker 5, um deren Position relativ zur Brille 7 bestimmen zu können. Die Einblendungen nahe der Prothese sind bei diesem Ansatz nicht unbedingt notwendig, jedoch nicht ausgeschlossen und richten sich nach dem konkreten Anwendungsfall.
  • Bezugszeichenliste
    • 1
    Handprothese
    3
    virtuelles, eingeblendetes Kommandofeld (Anzeige)
    5
    Marker
    7
    AR-Brille
    9
    Sichtfeld der AR-Brille
    11
    Kamera
    13
    Sichtfeld der Kamera
    15
    Blickrichtung des Nutzers bzw. der Bedienperson (Sehstrahl)
    17
    Bewegung des Sehstrahls auf dem Kommandofeld 3
    19
    Eye-Tracker (Kamera)
    21
    linkes Auge
    23
    Augenausrichtung
    25
    Objekt

Claims (10)

  1. Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese (1) oder eines Roboterarms, dadurch gekennzeichnet, dass a) wenigstens ein an oder im Bezug zu dem Gerät positionierter Marker (5) von einer an einer Bedienperson angeordneten Kamera (11) erkannt wird, b) ab dem Erkennen des wenigstens einen Markers (5) eine vordefinierte Bewegung der Bedienperson zusammen mit der Kamera (11) erkannt wird und c) zum Auslösen einer entsprechenden Aktion des Geräts verwendet wird, d) wobei die vordefinierte Bewegung der Bedienperson in Form eines Sehstrahls (15) mittels Kamera-Tracking erkannt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass auf einer Ausgabeeinheit ein Feedback-Ereignis (3) ausgegeben wird, welches das Erkennen des wenigstens einen Markers (5) für eine Bedienperson anzeigt,
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die an der Bedienperson angeordnete Kamera (11) derart am Kopf der Bedienperson angeordnet wird, um bei einer Bewegung des Kopfes mitbewegt zu werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der Bedienperson um einen Träger einer AR-Brille (7) handelt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Kamera (11) eine Kamera einer AR-Brille (7) und als Ausgabeeinheit eine Anzeige einer AR-Brille (7) verwendet wird.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass als Feedback-Ereignis in der AR-Brille (7) ein Fenster (3) dargestellt wird, das in seiner Position fest bezogen auf die Position des Geräts eingeblendet wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in dem Fenster (3) Informationen des Geräts angezeigt werden.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die vordefinierte Bewegungen des Sehstrahls (15) innerhalb des Fensters (3) erfolgen muss, um erkannt zu werden.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mittels einer weiteren Eye-Tracking-Kamera (19) die Augenausrichtung und/oder ein Blinzeln detektiert wird, um entsprechend vordefinierter Augenbewegungen und/oder Blinzeln ein Auslösen einer entsprechenden Aktion des Geräts zu bewirken oder vorhandene Aktionen zu detaillieren.
  10. Anordnung aus einem Gerät, insbesondere einer Handprothese (1) oder eines Roboterarms, und einer AR-Brille (7) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wobei a) an oder im Bezug zu dem Gerät wenigstens ein Marker (5) positioniert ist, um von einer Kamera (11) der von einer Bedienperson getragenen AR-Brille (7) erkannt zu werden, b) die Kamera (11) oder die AR-Brille (7) derart ausgebildet ist, dass der wenigstens eine Marker (5) erkannt wird und im Falle des Erkennens auf einer Anzeige der AR-Brille (7) ein Feedback-Ereignis (3) ausgegeben wird, c) die Kamera (11) oder die AR-Brille (7) derart ausgebildet ist, dass ab dem Erkennen des wenigstens einen Markers (5) eine vordefinierte Bewegung der Bedienperson zusammen mit der Kamera (11) erkannt wird und zum Auslösen einer entsprechenden Aktion des Geräts verwendet wird, d) die Kamera (11) oder die AR-Brille (7) derart ausgebildet ist, dass die vordefinierte Bewegung der Bedienperson in Form eines Sehstrahls (15) mittels Kamera-Tracking erkannt wird.
DE102019108670.1A 2019-04-03 2019-04-03 Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms Granted DE102019108670A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019108670.1A DE102019108670A1 (de) 2019-04-03 2019-04-03 Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms
US16/836,746 US11373341B2 (en) 2019-04-03 2020-03-31 Method for controlling a device, in particular, a prosthetic hand or a robotic arm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019108670.1A DE102019108670A1 (de) 2019-04-03 2019-04-03 Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms

Publications (1)

Publication Number Publication Date
DE102019108670A1 true DE102019108670A1 (de) 2020-10-08

Family

ID=72518186

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019108670.1A Granted DE102019108670A1 (de) 2019-04-03 2019-04-03 Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms

Country Status (2)

Country Link
US (1) US11373341B2 (de)
DE (1) DE102019108670A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117142046A (zh) * 2023-03-17 2023-12-01 荣耀终端有限公司 控制方法、翻转站、运动控制组件和轨迹检测系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684531A (en) * 1995-04-10 1997-11-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ranging apparatus and method implementing stereo vision system
JP3708083B2 (ja) * 2003-02-28 2005-10-19 ファナック株式会社 ロボット教示装置
JP4815940B2 (ja) * 2005-08-17 2011-11-16 日本電気株式会社 ロボット制御システム、ロボット装置、およびロボット制御方法
KR101465020B1 (ko) * 2012-12-20 2014-11-27 한국과학기술연구원 인공 의수 제어 장치
US10441366B2 (en) * 2014-10-22 2019-10-15 Think Surgical, Inc. Actively controlled optical tracker with a robot
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
WO2016138178A1 (en) * 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
US10095928B2 (en) * 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HALES, Jeremy; ROZADO, David; MARDANBEGI, Diako: Interacting with objects in the environment by gaze and hand gestures. In: Proceedings of the 3rd international workshop on pervasive eye tracking and mobile eye-based interaction. 2013. S. 1-9. *
ZENG, Hong [et al.]: Closed-loop hybrid gaze brain-machine interface based robotic arm control with augmented reality feedback. Frontiers in neurorobotics, 2017, 11. Jg., S. 60. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117142046A (zh) * 2023-03-17 2023-12-01 荣耀终端有限公司 控制方法、翻转站、运动控制组件和轨迹检测系统

Also Published As

Publication number Publication date
US11373341B2 (en) 2022-06-28
US20200327705A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
DE102018109463C5 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102010003339B4 (de) Sterile Bedieneinheit mit Sensorbildschirm
EP2449997B1 (de) Medizinischer Arbeitsplatz
DE102014226240A1 (de) System zur roboterunterstützten medizinischen Behandlung
DE102014014498B4 (de) Mit einem Touchscreen ausgestattetes Gerät sowie Verfahren zur Steuerung eines derartigen Geräts
DE102013219155A1 (de) Verfahren zur Steuerung von Bewegungen eines medizinischen Gerätes, Steuergerät hierfür sowie medizinisches Gerät
DE102013226244A1 (de) Medizintechnische Steuerung
DE10130278A1 (de) Verfahren und Vorrichtung zur Darstellung eines Operationsgebietes bei Laseroperationen
DE20001134U1 (de) Operations-System
DE102017108551A1 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
DE102019108670A1 (de) Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms
DE19845027A1 (de) Medizintechnisches System
Cressman et al. Movement duration does not affect automatic online control
DE10335369B4 (de) Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
DE102013104429A1 (de) Vorrichtungen zum Steuern einer medizinischen Vorrichtung mittels Gesten und Verfahren
DE102015216573A1 (de) Digitales Operationsmikroskopiesystem
DE102013208762A1 (de) Intuitive Gestensteuerung
DE102014018054B4 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und Anzeigevorrichtung
DE102020114426A1 (de) Gerätesteuerung
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems
DE102007026120B4 (de) Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems
DE102013206569B4 (de) Gestensteuerung mit automatisierter Kalibrierung
WO2018087363A1 (de) Intraoralscanner und verfahren zur digitalen zahnabformung im zahnmedizinischen bereich
EP3644162A2 (de) Verfahren und system zur steuerung von geräten in steriler umgebung
DE102020214822B4 (de) Verfahren zum Betreiben eines Augmentierte-Realität-Betrachtungssystems bei einer chirurgischen Anwendung und Augmentierte-Realität-Betrachtungssystem für eine chirurgische Anwendung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division