DE102016212240A1 - Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems - Google Patents

Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems Download PDF

Info

Publication number
DE102016212240A1
DE102016212240A1 DE102016212240.1A DE102016212240A DE102016212240A1 DE 102016212240 A1 DE102016212240 A1 DE 102016212240A1 DE 102016212240 A DE102016212240 A DE 102016212240A DE 102016212240 A1 DE102016212240 A1 DE 102016212240A1
Authority
DE
Germany
Prior art keywords
mark
operator
hnd1
handling
forearm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016212240.1A
Other languages
English (en)
Inventor
Asa McWilliams
Markus Sauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102016212240.1A priority Critical patent/DE102016212240A1/de
Priority to PCT/EP2017/064249 priority patent/WO2018007102A1/de
Priority to CN201780041831.5A priority patent/CN109416587A/zh
Priority to EP17730452.4A priority patent/EP3465385A1/de
Priority to US16/315,231 priority patent/US10642377B2/en
Publication of DE102016212240A1 publication Critical patent/DE102016212240A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

Das erfindungsgemäße Verfahren sieht eine Erfassung einer Mehrzahl örtlicher Parameter vor, welche einem oder beiden Unterarmen eines Bedieners zugeordnet sind. Aus den örtlichen Parametern erzeugte Bearbeitungsmarkierungen werden in einer virtuellen Szene visualisiert. Der Bediener aktiviert Bearbeitungsmarkierungen und führt Bearbeitungsoperationen durch eine Lageänderung seines oder seiner Unterarme durch. Nach Abschluss der Bearbeitungsoperationen führt der Bediener eine Freigabe der Zuordnung zwischen Bearbeitungsmarkierung und Handhabungsmarkierung durch Rotation eines Unterarms herbei. Ein besonderer Vorteil der Erfindung gegenüber herkömmlichen Verfahren liegt in der Aktivierung und der Freigabe mit Hilfe einer Rotation eines Unterarms des Bedieners. Eine Rotation des Handgelenks kann weitgehend unabhängig von einer Zeigerichtung des Unterarms veranlasst werden. Auf diese Weise kann der Bediener Schulterrotation und Ellbogenflexion für eine Lageänderung des Unterarms einsetzen, um örtliche Parameter für eine Bearbeitungsmarkierung zu verändern, während Freigabe und/oder Aktivierung von Bearbeitungsoperationen durch eine davon unabhängige Rotation des Unterarms veranlasst werden können.

Description

  • Die Erfindung betrifft ein Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems.
  • Ein derartiges Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- oder Werkzeugmaschinen, bei Diagnose- oder Serviceunterstützungssystemen sowie bei einer Bedienung und Wartung komplexer Komponenten, Geräte und Systeme, insbesondere industrieller oder medizinischer Anlagen zum Einsatz.
  • Im Stand der Technik sind Interaktionssysteme bekannt, welche einen Bediener technischer Anlagen mit Hilfe einer angereicherten Situationsdarstellung bei einer Bewältigung von Einrichtungs- und Wartungsarbeiten unterstützen. Eine angereicherte Situationsdarstellung ist in der Fachwelt auch als »Augmented Reality« bekannt. Dabei wird eine vom Bediener wahrnehmbare Situation mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung oder Überlagerung ergänzt oder ersetzt.
  • Beispielsweise sind virtuelle Aktionsmarkierungen eines Industrieroboters zum Zweck einer Kollisionsanalyse bekannt, welche ein reales industrielles Umfeld im Blickfeld einer Datenbrille überlagern, um dem Bediener eine intuitive Überprüfung zu gewähren, ob der Industrieroboter von seinen Abmessungen oder von seinem Aktionsradius an einer vorgesehenen Stelle in der vorgesehenen Umgebung positioniert werden kann.
  • Eine Auswahl von virtuellen Objekten sowie ein Abruf von Zusatzinformationen erfordert eine Erfassung von Befehlen seitens des Bedieners. In einem industriellen Umfeld scheiden bekannte Eingabegeräte wie z.B. Tastatur, Touchscreen, Graphiktablett, Trackpad oder Maus, welche für eine sitzende Arbeitsposition eines Bedieners in einem Büroumfeld zugeschnitten sind, bereits aufgrund der üblicherweise stehenden Arbeitsposition aus.
  • Eine bekannte optische Detektion von Gesten erfolgt beispielsweise unter Verwendung von Microsoft Kinect, Leap Motion oder Microsoft HoloLens. Eine oder mehrere optischen Erfassungseinrichtungen erfassen die Körperhaltung des Bediener dreidimensional, beispielsweise unter Anwendung von Laufzeitverfahren (Time of Flight) oder Streifenlichttopometrie (Structured-light).
  • Zusammenfassend erfolgen heute bekannte Maßnahmen zur Interaktion nicht berührungslos, unsicher oder mit einem arbeitssituativ unpassenden Einsatz von Eingabegeräten zur Gestenerfassung.
  • Die vorliegende Erfindung ist demgegenüber vor die Aufgabe gestellt, ein Interaktionssystem mit einer intuitiven und berührungslosen Erfassung von Bearbeitungsoperationen bereitzustellen, welches eine Handhabung von Eingabegeräten entbehrlich macht.
  • Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.
  • Das erfindungsgemäße Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems sieht eine lagerichtige Visualisierung von Objekten des Modells in einer virtuellen Szene sowie eine lagerichtige Visualisierung mindestens einer Handhabungsmarkierung vor. Bei Bedienung eines Interaktionssystems wird eine Mehrzahl örtlicher Parameter erfasst, welche einem oder beiden Unterarmen des Bedieners zugeordnet sind. Eine oder mehrere aus den örtlichen Parametern erzeugte Bearbeitungsmarkierungen werden in der virtuellen Szene visualisiert. Der Bediener aktiviert zunächst eine oder mehrere Bearbeitungsmarkierungen als eine einer ersten Handhabungsmarkierung zugeordnete erste Bearbeitungsmarkierung bzw. Mehrzahl erster Bearbeitungsmarkierungen. Anschließend erfolgt eine Durchführung von Bearbeitungsoperationen an der ersten Handhabungsmarkierung in Abhängigkeit einer Veränderung von auf eine Lageänderung eines der ersten Bearbeitungsmarkierung zugeordneten Unterarms rückführbarer örtlicher Parameter. Der Unterarm des Bedieners erfährt dabei eine rotatorische oder translatorische Lageänderung, oder auch eine Kombination aus einer translatorischen und einer rotatorischen Lageänderung. Nach Abschluss der Bearbeitungsoperationen führt der Bediener eine Freigabe der Zuordnung der ersten Bearbeitungsmarkierung zur ersten Handhabungsmarkierung herbei, indem er eine Veränderung von auf eine Rotationsbewegung eines der ersten Bearbeitungsmarkierung zugeordneten Unterarms rückführbarer örtlicher Parameter veranlasst.
  • Ein besonderer Vorteil der Erfindung gegenüber herkömmlichen Verfahren liegt in der Aktivierung und der Freigabe einer Bearbeitungsoperation durch den Bediener.
  • Bekannte herkömmliche Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems sehen üblicherweise Gestensteuerungsverfahren vor, welche das Problem einer berührungslosen Interaktion mit zwei- oder dreidimensionalen Objekten mithilfe einer Steuerung über einen virtuellen Mauszeiger oder einer mit einer Mauszeigereingabe ähnlichen Steuerung lösen. Dabei stellt sich grundsätzlich die Frage, wie die Aktivierung und Freigabe einer Bearbeitung zu lösen ist, welche im Fall einer herkömmlichen Maussteuerung über einen Mausklick erfolgt. Die Abbildung dieses Mausklicks auf eine berührungslose Interaktion eines üblicherweise stehenden Bedieners gestaltet sich meist als unhandlich, insbesondere aufgrund der Tatsache, dass eine Erfassung eines einzelnen Fingers ohne eine entsprechende Sensorik für eine Gestensteuerungserfassung schwierig ist.
  • Die Erfindung löst dieses Problem durch eine Aktivierung und/oder Freigabe einer Bearbeitungsoperation mit Hilfe einer Rotation eines Unterarms des Bedieners. Eine solche Rotationsbewegung, beispielsweise eine Pronation oder Supination des Unterarms, ist mit herkömmlichen, im Unterarmbereich des Bedieners vorgesehenen Trägheitssensoren oder auch mit einer optischen Erfassung einer Armrotationsgeste wesentlich einfacher als eine Erfassung einer Fingergeste.
  • Ein besonderer Vorteil der Erfindung besteht darin, dass biomechanische Gegebenheiten eines menschlichen Arms vorteilhaft genutzt werden: Ein Bediener kann eine Rotation des Handgelenks unabhängig von einer Zeigerichtung des Unterarms veranlassen. Auf diese Weise kann ein Bediener Gelenkbewegungen, insbesondere Schulterrotation und Ellbogenflexion, für eine Lageänderung des Unterarms einsetzen, um örtliche Parameter für eine Bearbeitungsmarkierung zu verändern, während Freigabe und/oder Aktivierung von Bearbeitungsoperationen durch eine davon unabhängige Rotation des Unterarms veranlasst werden können.
  • Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, dass die zur Ausübung der Gestensteuerung notwendigen Mittel keine speziellen Vorrichtungen erfordern. Insbesondere sind keine Fingergestenerfassungsmittel oder elektromyographischen Mittel erforderlich.
  • Im Gegensatz zu herkömmlichen Gestenerfassungsverfahren gestattet das erfindungsgemäße Verfahren eine feingranulare Steuerung verschiedener und leicht unterscheidbarer Parameter eines visualisierten Modells zur Steuerung eines technischen Systems. Zur Visualisierung einer virtuellen Szenerie – das heißt verschiedener Objekte und zugehöriger Handhabungsmarkierungen – dieses Modells ist ein einfacher Bildschirm ausreichend.
  • Ein weiterer Vorteil der Erfindung besteht darin, dass der Bediener lediglich eine geringe Anzahl an Gesten zur Steuerung des Interaktionssystems verwenden und lernen muss. Diese umfassen insbesondere eine Aktivierung, ein Bewegen und eine Freigabe von Bearbeitungsmarkierungen mit Hilfe einer Handhabungsmarkierung. Die Freigabe einer Zuordnung der Bearbeitungsmarkierung zu einer Bearbeitungsmarkierung ist intuitiv mit einer Rotationsbewegung des Unterarms durchführbar.
  • Ein weiterer Vorteil des erfindungsgemäßen Interaktionsverfahrens besteht darin, dass die Art der Bedienung einen größtmöglichen Schutz gegen eine versehentliche Auslösung der Freigabe bietet. Die Gestaltung der Handhabungsmarkierungen kann so erfolgen, dass der Bediener während einer Steuerung der Bearbeitungsmarkierungen mit Lageänderungen keine irrtümliche Freigabe veranlasst.
  • Weitere Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche.
  • Gemäß einer vorteilhaften Weiterbildung ist vorgesehen, dass die im Modell des technischen Systems durchgeführten Bearbeitungsoperationen in Steueroperationen am technischen System umgesetzt werden. Diese Maßnahme gestattet eine über eine schlichte Simulation hinausgehende Steuerung des technischen Systems.
  • Gemäß einer vorteilhaften Weiterbildung ist vorgesehen, dass die Handhabungsmarkierung mindestens einem Objekt oder mindestens einem Bereich der virtuellen Szene zugeordnet ist. Eine Objektzuordnung ermöglicht eine Einflussnahme auf dieses Objekt, während eine Bereichszuordnung Bereichsauswahl und/oder eine Beeinflussung mehrerer Objekte ermöglicht.
  • Zur Aktivierung der ersten Bearbeitungsmarkierung wird eine örtliche Distanz zwischen einer Bearbeitungsmarkierung und der mindestens ersten Handhabungsmarkierung bestimmt. Gemäß einer ersten Ausführungsform erfolgt eine Aktivierung einer Bearbeitungsmarkierung, deren örtliche Distanz zu der ersten Handhabungsmarkierung einen vorgebbaren ersten Schwellwert unterschreit, als eine der ersten Handhabungsmarkierung zugeordnete erste Bearbeitungsmarkierung. Gemäß einer zweiten Ausführungsform erfolgt zunächst eine Markierung einer Bearbeitungsmarkierung, deren örtliche Distanz zu einer ersten Handhabungsmarkierung einen vorgebbaren ersten Schwellwert unterschreit, als eine der ersten Handhabungsmarkierung zuordenbare erste Bearbeitungsmarkierung. Im Anschluss erfolgt eine Aktivierung der zuordenbaren ersten Bearbeitungsmarkierung als eine einer ersten Handhabungsmarkierung zugeordnete erste Bearbeitungsmarkierung in Abhängigkeit einer Veränderung von auf eine Rotationsbewegung eines der ersten Bearbeitungsmarkierung zugeordneten Unterarms rückführbarer örtlicher Parameter. Die besagte Veränderung der auf eine Rotationsbewegung rückführbaren örtlichen Parameter ist auch so zu verstehen, dass der Bediener den Unterarm schon in eine vorgesehene Position gedreht hat – mithin die Rotationsbewegung schon vorher veranlasst hat – bevor die Bearbeitungsmarkierung der Handhabungsmarkierung angenähert wird, so dass auch in diesem Fall – also ohne eine über die vorhergehende hinausgehende, zusätzliche Rotationsbewegung – eine Aktivierung der Handhabungsmarkierung erfolgt.
  • Die erste Ausführungsform hat den Vorteil einer einfachen Aktivierung durch bloße Annäherung der durch den Unterarm gesteuerten Handhabungsmarkierung an eine Bearbeitungsmarkierung. Die zweite Ausführungsform sieht dagegen eine explizite Armrotation zur endgültigen Auswahl der Bearbeitungsmarkierung vor. Diese zweite Ausführungsform ist von Vorteil, wenn eine zusätzliche Bestätigung der Aktivierung durch eine Rotationsbewegung erwünscht ist, insbesondere aus Gründen einer sicheren Bedienung.
  • Gemäß einer vorteilhaften Weiterbildung ist vorgesehen, dass bei Unterschreitung eines zweiten Schwellwerts einer örtlichen Distanz zwischen der Bearbeitungsmarkierung und der ersten Handhabungsmarkierung eine Rückmeldung an den Bediener ausgegeben wird. Die Rückmeldung zeigt dem Benutzer eine bevorstehende Aktivierung der Bearbeitungsmarkierung an. Diese Rückmeldung erfolgt vorzugsweise haptisch, akustisch oder optisch. Eine akustische oder eine haptische Rückmeldung könnte beispielsweise durch eine Ausführung einer Gestenerfassungseinheit als Smart Watch erfolgen, welche üblicherweise über entsprechende Aktoren zur Ausgabe solcher Rückmeldungen verfügt.
  • Der zweite Schwellwert der örtlichen Distanz liegt vorzugsweise oberhalb des ersten Schwellwerts, so dass die Rückmeldung einer bevorstehenden Aktivierung vor der eigentlichen Aktivierung erfolgt. Der Bediener kann bei Auslösen der Rückmeldung entscheiden, ob er die Bearbeitungsmarkierung weiter in Richtung auf die zu aktivierende Handhabungsmarkierung führt, oder aber, – für den Fall, dass der für die Bearbeitungsmarkierung eingeschlagene Kurs nicht eine Aktivierung der angenäherten Handhabungsmarkierung erzielen sollte – den Kurs entsprechend ändern.
  • 1: eine schematische Strukturdarstellung eines Interaktionssystems mit einem steuernden Bediener; und;
  • 2: eine schematische Darstellung einer Interaktion eines Bedieners mit einem Modell eines technischen Systems.
  • 1 zeigt einen in einer Draufsicht dargestellten Bediener USR, dessen durch einen oder beide Unterarmen gebildete Gesten mit Hilfe mindestens einer Gestenerfassungseinheit GS erfasst werden.
  • Bei dem in der Zeichnung dargestellten Ausführungsbeispiel ist die Gestenerfassungseinheit ausgebildet zum Tragen am menschlichen Körper und umfasst mindestens eine in einem Unterarmbereich des Bedieners USR angebrachte Gestenerfassungseinheit GS mit einer Mehrzahl von Trägheitssensoren zur Erfassung einer dem Unterarm des Bedieners USR zugeordneten Mehrzahl örtlicher Parameter, insbesondere Parameter, welche von einer Bewegung, Drehung und/oder Stellung der Arme des Bedieners USR gebildet werden.
  • Alternativ wird ein – beispielsweise optisches – Trackingsystem eingesetzt. In einem solchen optischen Trackingsystem erfassen Infrarotkameras die örtlichen Parameter anhand mindestens einen optischen Markers und geben diese an eine Steuereinheit weiter.
  • Die örtlichen Parameter umfassen zumindest zwei, vorzugsweise drei Freiheitsgrade, von denen zumindest ein örtlicher Parameter einer Rotationsbewegung, also einer Pronation beziehungsweise Supination, des Unterarms zugeordnet ist.
  • Als Gestenerfassungseinheit GS kommt beispielsweise eine so genannte Smart Watch mit integrierten Beschleunigungssensoren, magnetischen Sensoren und gyroskopischen Sensoren zum Einsatz. Mit Auswertung dieser Sensoren ist eine Orientierungsbestimmung mit drei Freiheitsgraden möglich. Bei einer entsprechenden Kalibrierung dieser Sensoren und einer zumindest vorübergehend stillstehenden Position des Benutzers USR wird eine sichere Erfassung von im Folgenden näher betrachteten drei örtlichen Parameter ermöglicht:
    • – eine Außen- oder Innenrotation der Schulter des Bedieners USR, insbesondere zur Veranlassung einer links/rechts-Bewegung des Unterarms;
    • – eine Beugung oder Streckung des Ellbogens, insbesondere zur Veranlassung einer auf/ab-Bewegung des Unterarms um das Ellbogengelenk; und;
    • – eine Unterarmrotation, also eine Pronation oder Supination des Unterarms, also eine mit Hilfe des Handgelenks ausgeführte Rotation des Unterarms um dessen Hauptachse.
  • In der weiteren Beschreibung wird für die dem Unterarm zugeordneten Mehrzahl örtlicher Parameter ein Tripel (sr, ef, fp) aus den oben genannten Parametern fortgeführt, bestehend aus einem Parameter sr für die Schulterrotation, einem Parameter ef für die Ellbogenflexion ef sowie einem Parameter fp für die Unterarmrotation bzw. »Forearm Pronation«. Jeder örtliche Parameter dieses Tripels repräsentiert einen Winkel in Relation zu einer definierten Startorientierung, zum Beispiel einen in Richtung Norden weisenden Arm in horizontaler Richtung mit einem aufwärts gerichteten Daumen.
  • In Blickkontakt zum Bediener USR ist eine Visualisierungseinrichtung SCN, hier als Bildschirm ausgeführt, vorgesehen. Auf der Visualisierungseinrichtung SCN erfolgt eine lagerichtige Visualisierung einer Bearbeitungsmarkierung HND, welche in diesem Ausführungsbeispiel als ein kreisrundes Gebilde CR mit einer Darstellung der Daumenrichtung TP visualisiert wird. Ausführungsbeispiele für die Visualisierungseinrichtung SCN umfassen ferner einen Großbildschirm in einem Operationssaal, Datenbrille oder -helm bzw. »Head Mounted Display«, einen Projektor zur Projektion einer Szenerie – insbesondere einer lagerichtigen Projektion anatomischer Bild- oder Strukturdaten – auf einen Körper eines Patienten.
  • Gemäß einer weiteren Ausgestaltung kann auf eine Visualisierungseinrichtung SCN teilweise verzichtet werden, indem die lagerichtige Visualisierung von Objekten des Modells in der virtuellen Szene nicht durch virtuelle sondern durch reale Objekte erfolgt, beispielsweise bei einer Bewegungsteuerung oder -programmierung von Roboterarmen. Die lagerichtige Visualisierung von den realen Objekten zugeordneten Handhabungsmarkierungen sowie der Bearbeitungsmarkierung würde in einem solchen Fall mit einer angereicherten Situationsdarstellung oder »Augmented Reality«, beispielsweise durch Projektion der Handhabungsmarkierungen auf die realen Objekte oder auch in das Sichtfeld des Bedieners, etwa mit einer Datenbrille, erfolgen.
  • Eine – nicht dargestellte – Steuerungseinheit ist zum Ansteuern der Visualisierungseinheit SCN vorgesehen. In der Steuerungseinheit erfolgt eine Erkennung der von der Gestenerfassungseinheit GS erfassten Gesten und eine Verarbeitung der durch die Gesten des Bedieners USR auszulösenden Interaktion mit einer auf der Visualisierungseinheit SCN dargestellten Szenerie.
  • Aus Übersichtlichkeitsgründen ist die zeichnerisch dargestellte Szenerie gemäß 1 auf eine Darstellung der Bearbeitungsmarkierung HND beschränkt. Die Szenerie wiederum umfasst oder stellt ein Modell eines technischen Systems dar, welches der Bediener USR in Ausübung des Interaktionsverfahrens steuern, konfigurieren und betreiben kann.
  • Die Interaktion erfolgt durch Beeinflussung von Bearbeitungsmarkierungen HND. Jede Bearbeitungsmarkierung HND wird über das oben genannte Tripel örtlicher Parameter gesteuert beziehungsweise dargestellt. Beispielsweise wird eine Bewegung in horizontaler Richtung XD oder eine Bewegung in vertikaler Richtung YD durch eine entsprechende Kombination aus Schulterrotation und Ellbogenflexion gebildet. Die Bewegung in horizontaler oder vertikaler Richtung XD, YD erfolgt intuitiv durch eine entsprechende Bewegung einer visuelle Projektion des Bedieners USR in horizontaler oder vertikaler Richtung XD, YD. Die visuelle Projektion des Bedieners USR entspricht einer in der Zeichnung strichpunktiert dargestellte Verlängerung der Unterarmachse des Bedieners USR.
  • Die Bearbeitungsmarkierung HND ist eine visuelle Repräsentation einer Geste auf der Visualisierungseinheit SCN. Diese visuelle Repräsentation wird durch eine Zuordnungsfunktion erzeugt, welche aus dem von der Gestenerfassungseinheit GS erfassten örtlichen Parameter der visuellen Darstellung zuordnet. Durch Bewegung des Unterarms bewegt sich die Bearbeitungsmarkierung HND in der entsprechenden Weise.
  • In 2 ist eine schematische Darstellung einer Szenerie, bestehend aus einer beispielhaften Abbildung mehrerer Beeren, sowie mehreren Handhabungsmarkierungen HND2, HND3, HND4, HND5 dargestellt.
  • Der Bediener USR habe im dargestellten Ausführungsbeispiel die Aufgabe, einen rechteckförmigen Ausschnitt der Abbildung, beispielsweise einen lediglich eine Beere umfassenden Bereich, zu definieren. Dabei muss er den rechteckförmigen Ausschnitt selbst beziehungsweise einzelne Ecken dieses Ausschnittes so justieren, dass der gewünschte Ausschnitt mit dem in der Szenerie dargestellten Ausschnitt übereinstimmt. Die vier Handhabungsmarkierungen HND2, HND3, HND4, HND5 sind im Ausführungsbeispiel in einer jeweiligen Ecke dieses Ausschnitts visualisiert.
  • Die Bearbeitungsmarkierung HND1 befindet sich aufgrund der derzeitigen Armbestellung des Bedieners USR innerhalb des rechteckförmigen Ausschnitts. Gemäß dem die Daumenrichtung des Bedieners USR repräsentierenden Zeiger im Innenbereich der Handhabungsmarkierung HND1 ist die Daumenstellung des Bedieners derzeit in eine 8-Uhr-Richtung gerichtet.
  • Der Bediener USR kann nun der Bearbeitungsmarkierung HND1 die nächstgelegene dritte Handhabungsmarkierung HND3 zuordnen und die Handhabungsmarkierung HND3 somit zur Bearbeitung aktivieren. Anschließend kann er Bearbeitungsoperationen an der dritten Handhabungsmarkierung HND3 in Abhängigkeit einer Veränderung von auf eine Lageänderung eines der Bearbeitungsmarkierung HND1 zugeordneten Unterarms – beispielsweise des rechten Unterarms gemäß 1 – rückführbarer örtlicher Parameter durchführen. Im Ausführungsbeispiel könnte er die Lage der dritten Handhabungsmarkierung HND3 durch eine translatorische Lageänderung der Bearbeitungsmarkierung HND1 verändern. Eine translatorische Lageänderung umfasst eine Änderung der ersten beiden örtlichen Parameter des Tripels (sr, ef, fp). Nach Abschluss der Bearbeitungsoperationen veranlasst der Bediener USR eine Freigabe der Zuordnung der Bearbeitungsmarkierung HND1 zur dritten Handhabungsmarkierung HND3 durch eine Veränderung des auf eine Rotationsbewegung der Bearbeitungsmarkierung HND1 zugeordneten Unterarms rückführbarer örtlicher Parameter, mit anderen Worten des örtlichen Parameters fp im Tripel (sr, ef, fp). Der Bediener kann die Bearbeitungsmarkierung HND1 sodann für weitere alternative Bearbeitungsoperationen einsetzen.
  • Nach mehreren Bearbeitungsoperationen kann eine Bestätigungsoperation vorgesehen sein, welche bewirkt, dass die im Modell des technischen Systems durchgeführten Bearbeitungsoperationen in Steueroperationen am technischen System umgesetzt werden. Alternativ dazu kann die Umsetzung in Steueroperationen unmittelbar bzw. in-situ erfolgen.
  • Zusammenfassend sieht das erfindungsgemäße Verfahren eine Erfassung einer Mehrzahl örtlicher Parameter vor, welche einem oder beiden Unterarmen eines Bedieners zugeordnet sind. Aus den örtlichen Parametern erzeugte Bearbeitungsmarkierungen werden in einer virtuellen Szene visualisiert. Der Bediener aktiviert Bearbeitungsmarkierungen und führt Bearbeitungsoperationen durch eine Lageänderung seines oder seiner Unterarme durch. Nach Abschluss der Bearbeitungsoperationen führt der Bediener eine Freigabe der Zuordnung zwischen Bearbeitungsmarkierung und Handhabungsmarkierung durch Rotation eines Unterarms herbei.
  • Ein besonderer Vorteil der Erfindung gegenüber herkömmlichen Verfahren liegt in der Aktivierung und der Freigabe mit Hilfe einer Rotation eines Unterarms des Bedieners. Eine Rotation des Handgelenks kann weitgehend unabhängig von einer Zeigerichtung des Unterarms veranlasst werden. Auf diese Weise kann der Bediener Schulterrotation und Ellbogenflexion für eine Lageänderung des Unterarms einsetzen, um örtliche Parameter für eine Bearbeitungsmarkierung zu verändern, während Freigabe und/oder Aktivierung von Bearbeitungsoperationen durch eine davon unabhängige Rotation des Unterarms veranlasst werden können.
  • Das erfindungsgemäße Verfahren ist insbesondere von Vorteil bei einer Definition eines beispielsweise für eine Röntgenaufnahme abzugrenzenden Untersuchungsbereichs durch medizinisches Hilfspersonal an einem Körper eines Patienten. Die Interaktionen umfassen insbesondere die Auswahl des Untersuchungsbereichs, weiterhin eine Einstellung von Untersuchungsparametern wie Strahlungsintensität und Kontrast, sowie die Definition und Initiierung der Bildgebungssequenz.
  • Weiterhin kann in vorteilhafter Weise eine lagerichtige, auch zeitlich gestaffelte Projektion bereits aufgenommener Röntgenaufnahmen am Körper des Patienten eine Diagnose eines Arztes unterstützen.

Claims (9)

  1. Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems, umfassend folgende Schritte: – lagerichtige Visualisierung von Objekten des Modells in einer virtuellen Szene; – lagerichtige Visualisierung mindestens einer Handhabungsmarkierung (HND2, ..., HND5); – Erfassen einer mindestens einem Unterarm des Bedieners (USR) zugeordneter Mehrzahl örtlicher Parameter und lagerichtige Visualisierung mindestens einer aus den örtlichen Parametern erzeugten Bearbeitungsmarkierung (HND1) in der virtuellen Szene; – Aktivierung mindestens einer Bearbeitungsmarkierung (HND1) als eine einer ersten Handhabungsmarkierung (HND3) zugeordnete erste Bearbeitungsmarkierung (HND1), – Durchführung von Bearbeitungsoperationen an der ersten Handhabungsmarkierung (HND3) in Abhängigkeit einer Veränderung von auf eine Lageänderung eines der ersten Bearbeitungsmarkierung (HND1) zugeordneten Unterarms rückführbarer örtlicher Parameter; – Freigabe der Zuordnung der ersten Bearbeitungsmarkierung (HND1) zur ersten Handhabungsmarkierung (HND3) in Abhängigkeit einer Veränderung von auf eine Rotationsbewegung eines der ersten Bearbeitungsmarkierung (HND1) zugeordneten Unterarms rückführbarer örtlicher Parameter.
  2. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass die im Modell des technischen Systems durchgeführten Bearbeitungsoperationen in Steueroperationen am technischen System umgesetzt werden.
  3. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Handhabungsmarkierung (HND2, ..., HND5) mindestens einem Objekt oder mindestens einem Bereich der virtuellen Szene zugeordnet ist.
  4. Verfahren nach einem der vorgenannten Patentansprüche, die Aktivierung der ersten Bearbeitungsmarkierung umfassend folgende Schritte: – Erfassen einer örtlichen Distanz zwischen der mindestens einen Bearbeitungsmarkierung (HND1) und der mindestens ersten Handhabungsmarkierung (HND3); – Aktivierung einer Bearbeitungsmarkierung (HND1), deren örtliche Distanz zu der ersten Handhabungsmarkierung (HND3) einen vorgebbaren ersten Schwellwert unterschreit, als eine der ersten Handhabungsmarkierung (HND3) zugeordnete erste Bearbeitungsmarkierung (HND1).
  5. Verfahren nach einem der vorgenannten Patentansprüche 1 bis 3, die Aktivierung der ersten Bearbeitungsmarkierung umfassend folgende Schritte: – Erfassen einer örtlichen Distanz zwischen der mindestens einen Bearbeitungsmarkierung (HND1) und der mindestens ersten Handhabungsmarkierung (HND3); – Markierung einer Bearbeitungsmarkierung (HND1), deren örtliche Distanz zu einer ersten Handhabungsmarkierung (HND3) einen vorgebbaren ersten Schwellwert unterschreit, als eine der ersten Handhabungsmarkierung (HND3) zuordenbare erste Bearbeitungsmarkierung (HND1); – Aktivierung der zuordenbaren ersten Bearbeitungsmarkierung (HND1) als eine einer ersten Handhabungsmarkierung (HND3) zugeordnete erste Bearbeitungsmarkierung (HND1) in Abhängigkeit einer Veränderung von auf eine Rotationsbewegung eines der ersten Bearbeitungsmarkierung zugeordneten Unterarms rückführbarer örtlicher Parameter.
  6. Verfahren nach einem der vorgenannten Patentansprüche 4 und 5, wobei bei Unterschreitung eines zweiten Schwellwerts einer örtlichen Distanz zwischen der Bearbeitungsmarkierung (HND1) und der ersten Handhabungsmarkierung (HND3) eine Rückmeldung an den Bediener (USR) ausgegeben wird.
  7. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Rotationsbewegung eine Pronation oder Supination mindestens eines Unterarms des Bedieners (USR) ist.
  8. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Mehrzahl örtlicher Parameter mindestens umfasst: – einen Parameter für eine Schulterrotation des Bedieners USR; – einen Parameter für eine Ellbogenflexion des Bedieners USR; und; – einen Parameter für eine Unterarmrotation des Bedieners USR.
  9. Verwendung eines Verfahrens gemäß einem der vorgenannten Patentansprüche zur medizinischen Behandlung oder zur Maschinenbedienung in einem industriellen Prozess.
DE102016212240.1A 2016-07-05 2016-07-05 Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems Withdrawn DE102016212240A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102016212240.1A DE102016212240A1 (de) 2016-07-05 2016-07-05 Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
PCT/EP2017/064249 WO2018007102A1 (de) 2016-07-05 2017-06-12 Verfahren zur interaktion eines bedieners mit einem modell eines technischen systems
CN201780041831.5A CN109416587A (zh) 2016-07-05 2017-06-12 用于操作者与技术系统的模型交互的方法
EP17730452.4A EP3465385A1 (de) 2016-07-05 2017-06-12 Verfahren zur interaktion eines bedieners mit einem modell eines technischen systems
US16/315,231 US10642377B2 (en) 2016-07-05 2017-06-12 Method for the interaction of an operator with a model of a technical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016212240.1A DE102016212240A1 (de) 2016-07-05 2016-07-05 Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems

Publications (1)

Publication Number Publication Date
DE102016212240A1 true DE102016212240A1 (de) 2018-01-11

Family

ID=59067652

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016212240.1A Withdrawn DE102016212240A1 (de) 2016-07-05 2016-07-05 Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems

Country Status (5)

Country Link
US (1) US10642377B2 (de)
EP (1) EP3465385A1 (de)
CN (1) CN109416587A (de)
DE (1) DE102016212240A1 (de)
WO (1) WO2018007102A1 (de)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036737A1 (en) * 2006-08-13 2008-02-14 Hernandez-Rebollar Jose L Arm Skeleton for Capturing Arm Position and Movement
US20110148755A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute User interface apparatus and user interfacing method based on wearable computing environment
US20130265229A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Control of remote device based on gestures
US20130283202A1 (en) * 2010-12-30 2013-10-24 Wei Zhou User interface, apparatus and method for gesture recognition
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
WO2015081568A1 (en) * 2013-12-06 2015-06-11 Nokia Technologies Oy Apparatus and method for user input
EP2908215A1 (de) * 2014-02-18 2015-08-19 Sony Corporation Verfahren und Vorrichtung für Gestenerkennung und Anzeigesteuerung
US20150261659A1 (en) * 2014-03-12 2015-09-17 Bjoern BADER Usability testing of applications by assessing gesture inputs
US20160070439A1 (en) * 2014-09-04 2016-03-10 International Business Machines Corporation Electronic commerce using augmented reality glasses and a smart watch

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20030048280A1 (en) * 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
CN102681774B (zh) * 2012-04-06 2015-02-18 优视科技有限公司 通过手势控制应用界面的方法、装置和移动终端
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US20140173524A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Target and press natural user input
US10042510B2 (en) * 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
WO2014200017A1 (ja) * 2013-06-11 2014-12-18 Tanji Atsushi 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
US9211644B1 (en) 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
DE102014212660A1 (de) 2014-06-30 2015-12-31 Trumpf Medizin Systeme Gmbh + Co. Kg Steuerungsvorrichtung für ein Medizingerät
CN104345887B (zh) * 2014-10-31 2018-01-23 广东欧珀移动通信有限公司 桌面图标的位置调整方法与装置
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP2019537084A (ja) * 2016-09-16 2019-12-19 タクチュアル ラブズ シーオー. タッチセンサ式キーボード
US20180228430A1 (en) * 2017-02-10 2018-08-16 Mindmaze Holding Sa System, method and apparatus for rehabilitation with tracking

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036737A1 (en) * 2006-08-13 2008-02-14 Hernandez-Rebollar Jose L Arm Skeleton for Capturing Arm Position and Movement
US20110148755A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute User interface apparatus and user interfacing method based on wearable computing environment
US20130283202A1 (en) * 2010-12-30 2013-10-24 Wei Zhou User interface, apparatus and method for gesture recognition
US20130265229A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Control of remote device based on gestures
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
WO2015081568A1 (en) * 2013-12-06 2015-06-11 Nokia Technologies Oy Apparatus and method for user input
EP2908215A1 (de) * 2014-02-18 2015-08-19 Sony Corporation Verfahren und Vorrichtung für Gestenerkennung und Anzeigesteuerung
US20150261659A1 (en) * 2014-03-12 2015-09-17 Bjoern BADER Usability testing of applications by assessing gesture inputs
US20160070439A1 (en) * 2014-09-04 2016-03-10 International Business Machines Corporation Electronic commerce using augmented reality glasses and a smart watch

Also Published As

Publication number Publication date
EP3465385A1 (de) 2019-04-10
US20190163287A1 (en) 2019-05-30
US10642377B2 (en) 2020-05-05
CN109416587A (zh) 2019-03-01
WO2018007102A1 (de) 2018-01-11

Similar Documents

Publication Publication Date Title
DE102019009313B4 (de) Robotersteuerung, Verfahren und Computerprogramm unter Verwendung von erweiterter Realität und gemischter Realität
EP1447770B1 (de) Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
DE102015011830C5 (de) Robotersystem zum Einstellen eines Bewegungsüberwachungsbereichs eines Roboters
DE102019002898A1 (de) Robotorsimulationsvorrichtung
EP3458939B1 (de) Interaktionssystem und -verfahren
DE112018002565B4 (de) System und Verfahren zum direkten Anlernen eines Roboters
DE102011083876A1 (de) Verfahren zur Bewegungssteuerung einer Röntgenvorrichtung und Röntgensystem
EP3934859A1 (de) Verfahren zum ermitteln einer trajektorie eines roboters
DE102016224774B3 (de) Verfahren zur Programmierung eines Messroboters und Programmiersystem
DE102014226899A1 (de) Verfahren zum Betreiben eines medizinisch-robotischen Geräts und ein medizinisch-robotisches Gerät
DE102014101545A1 (de) System zur Druckmaschinenbedienung
DE102018004673A1 (de) Robotersystem, das eine Geschwindigkeit anzeigt
EP3990231B1 (de) System zum vornehmen einer eingabe an einem robotermanipulator
DE102020214654A1 (de) Fern-Kommunikation mit einer medizintechnischen Einrichtung mit Hilfe eines digitalen Zwillings
EP4016061B1 (de) Verfahren zur bedienung eines röntgen-systems
DE102016212240A1 (de) Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
DE102016217204A1 (de) Verfahren zu einem Planen und/oder Steuern einer medizinischen Bildgebungsuntersuchung mittels eines mobilen Endgeräts
DE102016214391B4 (de) Verfahren zum Steuern eines Betriebes eines Koordinatenmessgerätes und Koordinatenmessgerät mit Steuerung
EP3640767A1 (de) Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
DE102011075877A1 (de) Auswertungsverfahren für eine Folge von zeitlich aufeinander folgenden Tiefenbildern
DE102004032996A1 (de) Einfache Roboterprogrammierung
EP3809094B1 (de) Verfahren und anordnung zum visualisieren von sensorsignalen eines optischen sensors eines koordinatenmessgeräts sowie verfahren und anordnung zum visualisieren eines sensors eines koordinatenmessgeräts
DE102019117219A1 (de) System zum Bedienen einer grafischen Benutzeroberfläche
DE102008003680A1 (de) Oszillierende Kameras für sicherheitsgerichtete Anwendungen
WO2023110993A1 (de) Erstellen einer arbeitsanleitung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee