-
Die Erfindung betrifft ein Einstellungsverfahren und eine entsprechende Vorrichtung für eine Steuerung durch eine Bedienperson mit Hilfe einer Zuordnung von sich auf den Körper der Bedienperson beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorgesehenen Steueroberfläche.
-
Vor allem im medizinischen Umfeld bestehen häufig besondere Anforderungen, die die Steuerung der eingesetzten Datenverarbeitungsmittel und anderen Geräte erschweren. Dabei ist vor allem an die Sterilitätsanforderungen zu denken, die im medizinischen Arbeitsbereich, insbesondere bei therapeutischen Eingriffen herrschen.
-
Aus diesem Grund wurden für den medizinischen Einsatz Verfahren zur berührungslosen Interaktion zwischen Mensch und Bedienoberfläche vorgeschlagen, um Beeinträchtigungen der Sterilität durch den Kontakt mit dem Gerät zu vermeiden. Eine Möglichkeit zur berührungslosen Interaktion ist die kamerabasierte Auswertung von Freihandgestik. So wird beispielsweise in der
US 2007/0118400 A1 eine berührungslos funktionierende Steuerung für den Zugriff auf medizinische Datenspeichersysteme, z.B. HIS (Hospital Information System), RIS (Radiology Information System) und PACS (Picture Archiving and Communication System) vorgeschlagen. Dabei wird eine Geste bzw. Gestik erkannt und in einen Steuerungsbefehl für den Datenspeicher umgesetzt. Ähnliches beschreibt auch die
WO 2012/041371 A1 , in welcher die Erkennung eines Körperteils (z.B. Arme, Hände, Finger, Kopf, Gesicht, Ohren, Augen etc.) zur Steuerung verwendet wird, in dem eine Umsetzung in einen Steuerbefehl durchgeführt wird.
-
Es besteht ein Bedarf dafür, Steuerverfahren mittels Gestikerkennung besser anwendbar zu machen, insbesondere im Hinblick auf den Einsatz nicht nur zur Verwaltung abgespeicherter Informationen, sondern auch für sämtliche Steuererfordernisse im Behandlungs- bzw. Operationsraum.
-
Diese Erfindung wird gelöst durch ein Verfahren nach Anspruch 1 bzw. eine Vorrichtung nach Anspruch 8.
-
Die Erfindung beruht auf der Beobachtung, dass eine auf Gestik beruhende Steuerung durch Anpassung auf den Benutzer verbessert werden kann. Erfindungsgemäß wird für eine Steuerung durch eine Bedienperson mit Hilfe einer Zuordnung bzw. Korrelation von sich auf den Körper der Bedienperson beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorgesehenen Steueroberfläche eine Bedienperson-individuelle Einstellung vorgenommen. Die sich auf den Körper der Bedienperson beziehenden Ortsinformationen kann z.B. die jeweilige Position einer Hand oder eines Handbestandteiles der Bedienperson betreffen. Für eine intuitive Bedienung kann auch die sich auf den Körper der Bedienperson beziehenden Ortsinformationen auf die jeweilige Projektion einer durch die Position des Herzens der Bedienperson und die Position der Hand oder der Handbestandteiles der Bedienperson definierten Geraden auf die Steueroberfläche bezogen sein (Herz-Hand-Projektion).
-
Für die Bedienperson-individuelle Einstellung wird mindestens eine auf die Anatomie bzw. den Körper (z.B. Abmessungen von Körperteilen) der Bedienperson bezogene Information ermittelt. Diese Ermittlung kann mittels einer oder mehrerer Kameras vorgenommen werden. Die auf die Anatomie bezogene Information betrifft beispielsweise die (z.B. aus der Position des Rumpfes bzw. der Schulter und der Länge des Armes errechneten) Reichweite einer Hand oder der beiden Hände der Bedienperson. Die Zuordnung von auf den Körper der Bedienperson sich beziehenden Ortsinformationen zu Positionen auf der Steueroberfläche wird nach Maßgabe dieser auf die Anatomie der Bedienperson bezogenen Information festgelegt (andere Parameter, z.B. die Art der Gestiksteuerung, können die Festlegung der Zuordnung zusätzlich beeinflussen). Vorzugsweise erfolgt diese Festlegung derart, dass der mit einer Hand oder beiden Händen bequem abdeckbare Raumbereich auf die Steueroberfläche abgebildet bzw. projiziert wird. Zu diesem Zweck ist es sinnvoll, ein (virtuelles) Volumen, d.h. ein Bedienvolumen, als den Bereich der Zuordnung festzulegen, für deren Werte die Zuordnung definiert ist, d.h. dessen Werte auf Positionen der Steueroberfläche abgebildet werden. In anderen Worten, eine Ortsinformation wird zu einer Position auf der Steueroberfläche genau dann zugeordnet, wenn der zur Ortsinformation gehörige Ort innerhalb des Volumens liegt. Durch die Festlegung des Volumens (insbesondere dessen Größe, aber evtl. auch dessen Form) nach Maßgabe der auf die Anatomie der Bedienperson bezogenen Information kann so für eine gute und bequeme Bedienbarkeit gesorgt werden. Diese Festlegung kann z.B. auch im Sinne einer möglichst guten Nachbildung einer Herz-Hand-Projektion vorgenommen werden.
-
Gemäß einer Weiterbildung des Erfindungsgegenstandes ist durch eine Eingabe eine Steuerung durch eine bestimmte Hand (linke oder rechte Hand) oder durch beide Hände festlegbar und diese Eingabe bestimmt dann auch, wie die Zuordnung festgelegt wird. Z.B. wird dann bei Steuerung durch beide Hände ein größerer Bereich auf die Steueroberfläche projiziert, als bei Steuerung mit nur einer Hand. Die entsprechende Festlegung der Zuordnung kann aber nicht nur das auf die Steueroberfläche abgebildet Volumen betreffen, sondern auch die relative Lage des abgebildeten Volumens bezogen auf den Körper bzw. die Anatomie der Bedienperson. Weiter kann auch ein Umschalten zwischen verschiedenen Steuermethoden mittels Gestik vorgesehen sein.
-
Eine weitere Ausgestaltung des Erfindungsgegenstandes sieht vor, dass die mindestens eine auf die Anatomie der Bedienperson bezogene Information zusammen mit einer auf die Bedienperson bezogenen Identifikationsinformation abgespeichert wird. Bei einer erneuten Steuerung mittels der Bedienoberfläche durch dieselbe Bedienperson kann dann die mindestens eine auf die Anatomie der Bedienperson bezogene Information durch Speicherabfrage mit Hilfe der Identifikationsinformation ermittelt werden. D.h., hier wird praktisch ein benutzerspezifisches Profil abgelegt.
-
Die Erfindung betrifft auch eine Vorrichtung, die zur Durchführung eines erfindungsgemäßen Verfahrens angepasst ist. Diese Vorrichtung umfasst mindestens eine Kamera zur Ermittlung mindestens einer auf die Anatomie der Bedienperson bezogenen Information und einen Auswerterechner zur Bestimmung der Zuordnung nach Maßgabe dieser mindestens einen Information.
-
Bei der erfindungsgemäß verwendeten Kamera kann es sich z.B. um eine Kamera handeln, die zweidimensionale Informationen liefert (2D-Kamera), oder um eine Kamera, die Informationen in drei Dimensionen bereitstellt (3D-Kamera). Generell können für das erfindungsgemäße Vorgehen beliebige Kameravarianten eingesetzt werden.
-
Im Folgenden wird der Erfindungsgegenstand anhand von Figuren im Rahmen eines Ausführungsbeispiels näher beschrieben.
-
Es zeigen
-
1: eine schematische Darstellung einer bei Gestiksteuerung bestehenden Konstellation,
-
2: Steuerelemente auf einem Bildschirm für eine Gestiksteuerung
-
3: ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens, und
-
4: eine Darstellung mit Kugelschale als Benutzervolumen.
-
In 1 ist ein Bildschirmbereich 1 zu sehen, auf dem Steuerelemente (in 2 dargestellt) abgebildet sind. Durch eine Anwahl dieser Steuerelemente werden Steuervorgänge ausgelöst.
-
Die Steuerung erfolgt durch eine Bedienperson 2. Durch die Armenden 3 bzw. 4, welche den Händen der Bedienperson 2 entsprechen, kann eine Steuerung erfolgen. Im vorliegenden Fall wird das Ende der Hand 4 als Ortsinformation für die Steuerung verwendet. Dieses Handende der Hand 4 wird auf den Bildschirm 1 projiziert, und zwar in Form eines Cursors 6. Eine Kamera 10 ist zur Aufnahme von bedienungsrelevanten Teilen der Bedienperson vorgesehen. In 1 und 2 ist das Symbol einer Microsoft Kinect-Kamera 10 gezeigt, welche in Echtzeit 3D-Informationen liefert (mittels Infrarot-Punktmusterprojektion). Prinzipiell kann auch eine normale 2D-Kamera eine ausreichende Bildinformation für die Gestikbedienung und Anatomieermittlung liefern. Es sind auch 2D-Kameras in Steroskopie-Anordnung vorstellbar, um 3D-Daten zu erhalten. Ebenso gibt es Time-of-Flight-3D-Kameras, welche hierfür auch gut einsetzbar sind.
-
Die Erfindung verbessert die Bedienbarkeit, indem der auf den Bildschirm 1 projizierte Bereich nach Maßgabe der Anatomie der Bedienperson 2 eingestellt bzw. angepasst wird. Dabei wird von einem virtuellen Bedienvolumen 5 ausgegangen, dessen Größe benutzerabhängig angepasst wird. Dazu wird beispielsweise mit der Kamera 10 die Länge der Arme und somit der Bereich, der maximal abgedeckt werden kann, ermittelt. In dieses aufgespannte Gesamtvolumen zur Gestenausführung wird das virtuelle, sensitive Raumvolumen 5 so angepasst, dass sich aus Sicht des Anwenders annähernd eine intuitive Herz-Hand-Projektion ergibt. Es wird dabei auch berücksichtigt, dass ein Benutzer mit der rechten Hand leichter Bewegungen nach rechts ausführen kann als nach links, indem die Körpermitte nicht zwingend der Bildschirmmitte entsprechend festgelegt wird. Eine Bedienung erfolgt nun so, dass durch Bewegung der Hand 4 der Benutzer den Cursor 6 auf ein Bedienelement bewegt und beispielsweise durch eine bestimmte Gestik einen Bedienvorgang triggert.
-
In 2 ist eine mögliche Gestaltung des Bildschirmbereichs 1 gezeigt. Auf dem Bildschirm 1 sind Felder angezeigt, die Menüs (z.B. Feld 8) bzw. Funktionen (z.B. Feld 9) entsprechen. Durch Bewegung der Steuerhand 4 bringt der Bediener den Cursor auf das gewünschte Feld und triggert z.B. mittels einer Geste einen Menüaufruf oder eine angewählte Funktion.
-
Ein erfindungemäßes Verfahren ist in 3 beschrieben. In Schritt 11 erfolgt eine Aufnahme des Bedieners bzw. der Bedienperson durch eine Kamera. Im nächsten Schritt 12 werden aus der Kameraaufnahme anatomische Parameter errechnet. Anschließend wird auf Grundlage der anatomischen Parameter ein (virtuelles) Bedienvolumen festgelegt. Die Festlegung kann dabei nicht nur Form und Größe sondern auch die Position des Bedienvolumens betreffen. Bei einer Gestikerkennung, die eine Bewegung der Bedienperson erlaubt, kann vorgesehen sein, dass die Position des Volumens entsprechend verändert wird, d.h. das Volumen dem Bediener sozusagen folgt. In diesem Fall betrifft die Festlegung gemäß Schritt 13 die Startposition. Diese kann u.a. auch von der Art der Bedienung abhängen. Z.B. ist bei Einhandbedienung das Volumen nicht symmetrisch zum Bediener angeordnet, sondern horizontal in Richtung der Bedienhand verschoben. Im nächsten Schritt 14 wird auch dem Bildschirm bzw. der Bedienoberfläche, welche in der Regel als Bildschirm ausgeführt ist, ein Bereich für die Bedienung festgelegt. Dieser Bereich kann auch die gesamte Bedienoberfläche umfassen. Optional erfolgt noch eine Skalierung oder Anpassung des Bedienbereichs für eine intuitivere Bedienung. Diese Anpassung kann z.B. im Sinne einer Herz-Hand-Projektion durchgeführt werden. Mittels eines Cursors wird die Handposition der Bedienhand auf der Bedienoberfläche wiedergegeben (Schritt 16). Eine Herz-Hand-Projektion lässt sich auch mittels des Abbildungsalgorithmus emulieren, der aus der Handposition die Cursorposition errechnet. Nach erfolgter Einstellung wird im letzten Schritt 17 die Steuerung durch Gestikerkennung gestartet.
-
Zur Beschreibung der Form des virtuellen Raumvolumens 5 kann sowohl eine Quaderform als auch eine sphärisch gekrümmte Form herangezogen werden (Beispiel Kugelschalensegment). Letzteres dürfte ergonomischer aus der Sicht des Anwenders sein, wie auch in 4 angedeutet ist und evtl. auch für eine Emulation einer Herz-Hand-Projektion günstiger sein. In 4 ist ein Anwender 2 gezeigt, der eine Geste zur Steuerung benutzt. Mittels des Kugelschalenvolumens 5 erfolgt eine Projektion 7 auf einen Bildschirm bzw. eine Bedienoberfläche 1.
-
Die Erfindung betrifft gewissermaßen eine benutzerspezifische Kalibrierung von Steuerung durch Gestikerkennung. Diese ist insbesondere für den Einsatz im medizinischen Bereich geeignet. Andere Anwendungsmöglichkeiten beispielsweise im industriellen Bereich sind ebenfalls denkbar. Eine derartige Steuerung im industriellen Bereich ist vor allem dann von Vorteil, wenn eine Bedienperson zugleich eine Überwachung vornehmen muss und die Position der Überwachung nicht geeignet ist, um dort lokal eine Steuerung vorzusehen (z.B. innerhalb einer Fertigungsstrasse, die keinen Platz für eine Steuerkonsole vorsieht). Mittels Gestikerkennung kann dann die Notwendigkeit der Positionierung der Bedienperson am Ort der Steuereinrichtung vermieden werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2007/0118400 A1 [0003]
- WO 2012/041371 A1 [0003]
