-
Die Erfindung betrifft ein Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt.
-
Ein derartiges Verfahren kommt beispielsweise im Bereich der Gebäudeautomatisierung sowie der industriellen Automatisierungstechnik, bei Produktions- oder Werkzeugmaschinen, bei Diagnose- oder Serviceunterstützungssystemen sowie bei einer Bedienung und Wartung komplexer Komponenten, Geräte und Systeme, insbesondere industrieller oder medizinischer Anlagen zum Einsatz.
-
Im Stand der Technik sind Verfahren bekannt, welche eine Auswahl eines zu steuernden Objekts, gefolgt von einer Bedienoperation oder Interaktion mit dem technischen Objekt bewerkstelligen. Bekannt sind beispielsweise Gebäudeautomatisierungssysteme, welche von einer zentralen Eingabestelle aus eine Auswahl und eine Interaktion – in der einfachsten Variante ein Ein- und Ausschalten – mit verschiedenem technischen Objekten wie z.B. Beleuchtungseinrichtungen, Jalousien ermöglichen.
-
Weiterhin ist, ebenfalls in Gebäudeautomatisierungssystemen, eine Steuerung per Spracheingabe bekannt, welche beispielsweise eine gesprochene Auswahl eines Raumes, gefolgt von einer Einstellung der Raumtemperatur ermöglicht. Eine Sprachsteuerung bietet in Vorgriff auf die der Erfindung zugrundeliegende Aufgabe zwar bereits den Vorteil einer freihändigen (hands-free) Interaktion mit technischen Objekten, allerdings ist die Bedienung aufgrund zu erlernender Sprachbefehle wenig intuitiv.
-
Eine weitere Interaktion mit technischen Objekten bietet ein Einsatz von mobilen Endgeräten als Zeigereinrichtung. Eine Anvisierung eines Objekts wird aufgrund von Lagesensoren im mobilen Endgerät erkannt. Eine Interaktion erfolgt dann mit Eingabemitteln des mobilen Endgeräts. Eine Auswahl eines Objekts innerhalb einer Mehrzahl von Objekten unter Anwendung dieses Verfahrens erfolgt indes nur solange mit hinreichender Präzision, sofern die Mehrzahl an Objekten ausreichend separiert ist. Weiterhin hat auch dieses Interaktionsverfahren den Nachteil, dass eine freihändige Bedienung nicht unterstützt wird: der Bediener muss ein mobiles Endgerät handhaben. Bekannte Infrarotfernbedienungen haben ebenfalls den Nachteil einer nicht-freihändigen Bedienung.
-
Zusammenfassend erfolgen heute bekannte Maßnahmen zur Interaktion nicht berührungslos, unsicher oder mit einem arbeitssituativ unpassenden Einsatz von Eingabegeräten.
-
Die vorliegende Erfindung ist demgegenüber vor die Aufgabe gestellt, ein Interaktionssystem mit einer intuitiven und freihändigen Auswahl eines technischen Objekts sowie einer Interaktion mit dem technischen Objekt bereitzustellen.
-
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Das erfindungsgemäße Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt sieht vor, eine mindestens einem Arm des Bedieners zugeordnete Mehrzahl örtlicher Parameter von einer Gestenerfassungseinheit eines Interaktionssystems zu erfassen. Die Mehrzahl örtlicher Parameter wird von einer Steuereinheit des Interaktionssystems als eine jeweilige Geste ausgewertet, wobei durch eine Sequenz an Gesten eine Auswahl und Interaktion mit dem ausgewählten Objekt gesteuert wird. Dabei wird in der im Folgenden genannten Reihenfolge folgende Sequenz durchgeführt:
- a) Erfassung einer Initiierungsgeste zur Aktivierung des Interaktionssystems;
- b) Erfassung einer Auswahlgeste, Ermittlung erster Zielkoordinaten aus der der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der ersten Zielkoordinaten zu einem oder mehreren durch abrufbare Ortskoordinaten identifizierten Objekten;
- c) Aktivierung von den einem oder mehreren identifizierten Objekten zugeordneten Rückmeldungsmittel zur Bestätigung einer Auswahl eines oder mehrerer identifizierten Objekte an den Bediener;
- d) im Fall mehrerer identifizierter Objekte, Erfassung einer Selektionsgeste, Ermittlung zweiter Zielkoordinaten aus der der Selektionsgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der zweiten Zielkoordinaten zu einem durch abrufbare Ortskoordinaten identifizierten Objekt;
- e) Erfassung einer Bestätigungsgeste und Zuordnung des identifizierten Objekts in einen Interaktionsmodus aufgrund der Bestätigungsgeste;
- f) Steuerung des in einem Interaktionsmodus zugeordneten Objekts mit einer Mehrzahl von Interaktionsgesten;
- g) Erfassung einer Freigabegeste zur Freigabe des einem Interaktionsmodus zugeordneten Objekts.
-
Falls die Erfassung der Auswahlgeste in Schritt b) keine Zuordnung einer Mehrzahl, sondern lediglich eines durch abrufbare Ortskoordinaten identifiziertes Objekt ergibt, wird Schritt d) übersprungen.
-
Die Erfindung sieht eine Aktivierung des Systems, eine Auswahl, Selektion, Steuerung und Freigabe eines Objekts durch Bildung von Gesten mit Hilfe einer Bewegung der Arme des Bedieners vor. Eine Gestenerfassung ist vorzugsweise mit im Unterarmbereich des Bedieners vorgesehenen Trägheitssensoren oder auch mit einer optischen Erfassung der Armgesten durchführbar.
-
Ein Auswählen (engl.: to choose) ist dabei als eine Grobauswahl einer ersten Menge an identifizierten Objekten mit Hilfe einer Auswahlgeste (engl.: choice gesture) zu verstehen. Die genannte »erste Menge an identifizierten Objekten« schließt selbstverständlich nicht aus, dass die mit Hilfe der Auswahlgeste identifizierte Menge genau einem identifizierten Objekt entspricht. Demgegenüber ist ein Selektieren (engl.: to select) als eine Feinauswahl unter der ersten Menge mit Hilfe einer Selektionsgeste (engl.: selection gesture) zu verstehen mit dem Ziel, aus der vorausgehenden Grobauswahl genau ein identifiziertes Objekt zu selektieren.
-
Bereits bekannte Interaktionssysteme versuchen eine Auswahl technischer Objekte durch eine Zeigeoperation zu lösen. Allerdings scheitert die Umsetzung der Auswahloperation oftmals an einer unfreiwilligen Aktivierung und an einer ungenauen Auswahl der technischen Objekte, insbesondere dann, wenn diese eng benachbart sind. Dem gegenüber sieht das erfindungsgemäße Verfahren vor, eine Sequenz an Gesten zur Auswahl und Interaktion mit technischen Objekten vorzusehen, welche untereinander distinkt sind und durch die Vorsehung einer auf eine Auswahlgeste folgende Selektionsgeste eine fortschreitend genauere Auswahl ermöglichen.
-
Ein besonderer Vorteil der Erfindung ergibt sich durch die Möglichkeit, einzelnen Gesten wie z.B. der Auswahlgeste, der Selektionsgeste, der Bestätigungsgeste, usw., einen intuitiven und wohlbekannten Bewegungsablauf zuzuordnen, welche beispielsweise aus einer Bedienung eines Lassos bekannt ist.
-
Im Gegensatz zu herkömmlichen Interaktionssystemen ist die Bedienung des erfindungsgemäßen Interaktionssystems berührungslos, so dass ein Bediener in einem industriellen oder medizinischen Umfeld keine Bedienung von Eingabegeräten mit kontaminierender Wirkung durchzuführen hat.
-
Ein weiterer Vorteil der Erfindung besteht darin, dass der Bediener während der Bedienoperationen kein Ausgabegerät wie beispielsweise einen Bildschirm betrachten muss. Stattdessen kann er die zu bedienenden technischen Objekte direkt in sein Blickfeld nehmen. Tatsächlich kann die Bedienung darüber hinausgehend sogar betrachtungsfrei erfolgen für den Fall, dass der Bediener mit der Umgebung sowie den zu bedienenden technischen Objekten und deren Lokalisation hinreichend vertraut ist. Eine zusätzliche Vorsehung eines haptischen Feedbacks gemäß einer im Weiteren genannten Ausführungsformen verstärkt diesen Effekt der betrachtungsfreien Bedienung.
-
Im Vergleich zu herkömmlichen Ansätzen – wie z.B. einer Sprachsteuerung oder einer Auswahl eines Objektes mit Hilfe eines portablen Endgerätes – bietet das erfindungsgemäße Interaktionsverfahren eine schnellere und genauere Auswahl von technischen Objekten. Darüber hinaus ist das erfindungsgemäße Verfahren weniger anfällig für ungewollte Fehlbedienungen. Eine Auswahl distinkter Gesten gemäß den im Folgenden genannten Ausführungsbeispielen führt zu einer weiteren Verminderung der Fehleranfälligkeit.
-
Im Vergleich zu bekannten Auswahlverfahren, welche ebenfalls Zeigegesten zur Anvisierung eines technischen Objekts vorsehen, oder auch eine Position oder Orientierung des Bedieners zur Auswahl technischer Objekte auswerten, gestattet ein Zwei-Schritte-Prozess, also einer Kombination aus einer Auswahlgeste und einer Selektionsgeste, gemäß dem erfindungsgemäßen Verfahren eine wesentlich genauere Auswahl und Interaktion. Im Vergleich zu einer bildschirmbasierten Interaktion gestattet das erfindungsgemäße Verfahren eine intuitivere Interaktion mit technischen Objekten.
-
Einen besonderen Vorteil bilden auch die erfindungsgemäßen Rückmeldungsmittel zur Bestätigung einer Auswahl der Objekte an den Bediener. Mit dieser erfindungsgemäßen Maßnahme ist es einem Bediener möglich, ein identifiziertes Objekt visuell zu erkennen, dieses Objekt im Rahmen der erfindungsgemäßen Interaktion jedoch nicht notwendigerweise zu berühren – etwa durch eine übliche Betätigung von Betätigungseinheiten – oder sich diesen zu nähern – etwa zur Erfassung eines dem Objekt zugeordneten Barcodes.
-
Weitere Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche.
-
Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigen:
-
1: eine schematische Strukturdarstellung eines Bedieners in einer Rückansicht bei einer Ausführung einer ersten Geste;
-
2: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer zweiten Geste;
-
3: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer dritten Geste;
-
4: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer vierten Geste; und;
-
5: eine schematische Strukturdarstellung des Bedieners in einer Vorderansicht.
-
5 zeigt einen Bediener in einer Vorderansicht bei einer Ausführung einer Geste. Dem Bediener ist eine Gestenerfassungseinheit zugeordnet, welche im Ausführungsbeispiel am rechten Handgelenk getragen wird. In alternativen Ausführungsformen ist ein Tragen der Gestenerfassungseinheit am linken oder an beiden Handgelenken vorgesehen. Die Gestenerfassungseinheit umfasst eine Mehrzahl von Trägheitssensoren zur Erfassung einer Körperhaltung des Bedieners zugeordneten Mehrzahl örtlicher Parameter, insbesondere örtlicher Parameter, welche von einer Bewegung, Drehung und/oder Stellung der Arme des Bedieners gebildet werden. Die Mehrzahl örtlicher Parameter wird von einer – nicht dargestellten – Steuereinheit des Interaktionssystems als eine jeweilige Geste ausgewertet. Die Gestensteuerung erfolgt intuitiv mit einer Bewegung und/oder Drehung des Körpers, vor allem eines oder beider Vorderarme. Ein in einem industriellen Umfeld oftmals unpassendes Eingabegerät ist somit nicht erforderlich.
-
Gemäß einer Ausführungsform ist vorgesehen, als Gestenerfassungseinheit eine handelsübliche Smartwatch zu verwenden. Ein besonderer Vorteil dieser Ausführungsform der Gestenerfassungseinheit besteht darin, dass handelsübliche mit Trägheitssensoren ausgestatte Smart Watches verwendbar sind. Unter Anwendung einer derartigen tragbaren Gestenerfassungseinheit können viele erfindungsgemäß oder weiterbildungsgemäß zum Einsatz kommende Funktionseinheiten wiederverwendet werden, beispielsweise eine Gestenerfassung auf Basis von Trägheitssensoren, eine beispielsweise auf Bluetooth-Beacons basierende Lokalisierungseinheit, sowie haptischen Rückmeldungsmittel, etwa einem Unwuchtmotor zur Ausgabe einer Vibrationsrückmeldung an das Handgelenk des Bedieners.
-
Alternative Gestenerfassungseinheiten sehen beispielsweise eine optische Detektion von Gesten beispielsweise unter Verwendung von einer oder mehrerer optischen Erfassungseinrichtungen vor, welche eine Körperhaltung des Bediener dreidimensional, beispielsweise unter Anwendung von Laufzeitverfahren (Time of Flight) oder Streifenlichttopometrie (Structuredlight) erfassen. Die genannten Verfahren haben ebenfalls den Vorteil einer freihändigen Arbeitsweise des Bedieners, erfordern jedoch einen Einsatz von optischen Erfassungseinrichtungen in der Arbeitsumgebung des Bedieners.
-
Ein weiterer Bestandteil des Interaktionssystems ist mindestens die Steuereinheit zum Erkennen der von der Gestenerfassungseinheit erfassten Gesten und zur Verarbeitung der durch die Gesten des Bedieners auszulösenden Interaktion des Bedieners mit dem mindestens einen technischen Objekt.
-
Durch das Interaktionssystem wird eine mindestens einem Arm des Bedieners zugeordnete Mehrzahl örtlicher Parameter von der Gestenerfassungseinheit erfasst und von der Steuereinheit als eine jeweilige Geste ausgewertet, wobei durch eine Sequenz an Gesten eine Auswahl und Interaktion mit dem ausgewählten Objekt gesteuert wird.
-
Im Folgenden wird eine Interaktion mit einer auszuwählenden und zu aktivierenden Beleuchtungseinrichtung als Beispiel für ein technisches Objekt erläutert. Nach einer Initiierung des Interaktionssystems wird eine bestimmte Beleuchtungseinrichtung aus einer Mehrzahl von Beleuchtungseinrichtungen ausgewählt und diese eingeschaltet.
-
1 zeigt eine schematische Strukturdarstellung eines Bedieners in einer Rückansicht bei einer Ausführung einer Initiierungsgeste. Die Initiierungsgeste umfasst ein Heben eines Arms des Bedieners. Optional umfasst die Initiierungsgeste eine Drehung einer Handfläche in Richtung einer Körpermitte des Bedieners. Die Initiierungsgeste wird vom Interaktionssystem erfasst und aktiviert dieses für die folgende Interaktion des Bedieners mit dem technischen Objekt. Optional wird, z.B. durch die am Armgelenk getragene Gestenerfassungseinheit, eine haptische Rückmeldung an den Bediener ausgegeben, um die Bereitschaft des Interaktionssystems zu signalisieren.
-
2 zeigt den Bediener bei der Fortsetzung der Initiierungsgeste, welche eine Kreisbewegung um eine Unterarmhauptachse des Bedieners umfasst. Die Handfläche bleibt dabei weiterhin in Richtung der Körpermitte des Bedieners gerichtet. Eine bevorzugte Ausgestaltung der Auswahlgeste sieht eine wirbelnde Bewegung des Handgelenks vor, also eine kreisförmige Bewegung, beispielsweise des rechten Handgelenks, entlang einer gedachten kreisförmigen Linie, bei einer erhobenen Hand des Bedieners. Diese Auswahlgeste entspricht einer gedachten Betätigung eines virtuellen Lassos vor dessen Abwurf.
-
Optional wird durch die am Armgelenk getragene Gestenerfassungseinheit eine haptische Rückmeldung an den Bediener ausgegeben, um die Bereitschaft des Interaktionssystems für eine folgende Auswahl eines Objekts zu signalisieren.
-
3 zeigt den Bediener während einer Auswahlgeste. Die Auswahlgeste umfasst beispielsweise eine Wurfbewegung in Richtung eines auszuwählenden und durch das Interaktionssystem zu identifizierenden technischen Objekts. In Fortsetzung der Bewegungsabläufe der Initiierungsgeste entspricht diese Auswahlgeste einem gedachten Wurf des virtuellen Lassos in Richtung des auszuwählenden Objekts.
-
In einer alternativen Ausgestaltung der Initiierungsgeste und der Auswahlgeste löst eine virtuelle Wurfbewegung bei einer zuvor erhobenen Hand eine Auswahl aus, deren Gestik in etwa der Betätigung einer virtuellen Harpune entspricht. Der Bewegungsablauf entspricht im Wesentlichen der der oben beschriebenen Lassobewegung mit der Ausnahme, dass die einleitende kreisförmige Bewegung nicht ausgeführt wird. Gemäß dieser Ausführungsform ist die Auswahlgeste daher weniger distinkt als die Lassobewegung und führt eventuell zu einer erhöhten Anzahl an ungewollten Aktivierungen der Initiierung oder Auswahl.
-
In der Situation der 3 sind drei Beleuchtungsquellen gezeigt, welche derart nah beabstandet sind, dass eine Auswahl in mehreren Schritten vorteilhaft ist. Die Auswahlgeste führt dabei, wie im Folgenden gezeigt, zu einer Mehrzahl identifizierte Objekte, welche durch eine Selektionsgeste verfeinert schließlich zu einem einzigen identifizierten Objekt führt, nämlich dem Objekt, welches durch den Bediener tatsächlich gesteuert werden soll. Dieses zu steuernde Objekt sei unter den in 3 dargestellten drei Beleuchtungsquellen die ganz links angeordnete Beleuchtungsquelle.
-
Auf eine vom Interaktionssystem als gültig erkannte Auswahlgeste erfolgt eine Ermittlung erster Zielkoordinaten aus der der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter. Die der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter umfasst insbesondere die Position des Bedieners und die Richtung der Wurfbewegung.
-
Diese ersten Zielkoordinaten werden einem oder mehreren durch abrufbare Ortskoordinaten identifizierten Objekten zugeordnet, im Beispiel den drei Beleuchtungsquellen. Die Ortskoordinaten dieser drei Beleuchtungsquellen sind beispielsweise in einer beliebig gestaltbaren Datenquelle vorgehalten oder abrufbar, auf die das Interaktionssystem zugreift. Sollten die ersten Zielkoordinaten einem identifizierten Objekt eindeutig zugeordnet werden können, erübrigt sich die darauf folgende Selektionsgeste.
-
Zur Bestätigung einer Auswahl eines oder mehrerer identifizierten Objekte an den Bediener erfolgt eine Aktivierung von Rückmeldungsmittel, welche den identifizierten Objekten jeweils oder insgesamt zugeordnet sind. Im vorliegenden Ausführungsbeispiel sind die Rückmeldungsmittel den jeweiligen Beleuchtungsquellen immanent, zur Bestätigung blinken diese kurz auf.
-
Gemäß alternativen Ausführungsformen können zugeordnete Rückmeldungsmittel auch separate Rückmeldungsmittel umfassen, etwa wenn in den technischen Objekten selbst keine geeigneten Rückmeldungsmittel enthalten sind. Dies trifft beispielsweise für eine ausgewählte Pumpe in einem Fertigungsumfeld zu, welche keine akustischen oder optischen Signalgeber umfasst. Zur Rückmeldung würde hier ein entsprechender Hinweis oder Anzeige zur Auswahl der Pumpe auf einem Anzeigetableau der Industrieanlage erscheinen, so dass dieses Anzeigetableau in der genannten Ausführungsform als ein dem identifizierten Objekten zugeordnetes Rückmeldungsmittel zu verstehen ist.
-
4 zeigt den Bediener während einer Selektionsgeste, welche im Fall mehrerer identifizierter Objekte zur Verfeinerung der Auswahl zu veranlassen ist. Mit einem immer noch ein Richtung des auszuwählenden Objekts gerichteten Arm führt der Bediener eine Rotationsbewegung seines Arms – beispielsweise eine Pronation oder Supination – oder eine Translationsbewegung – beispielsweise eine Bewegung eines Arms in horizontaler oder vertikaler Richtung – oder eine Innen- oder Außenrotation der Schulter – durch. Zur Abstimmung einer Selektion erfolgt eine Aktivierung der Rückmeldungsmittel, welche den identifizierten Objekten zugeordnet sind. Eine Rotationsbewegung bis zu einer linken Anschlagsposition bringt hierbei beispielsweise die äußerste linke Beleuchtungsquelle zum Leuchten. Durch eine stetige Rotation nach rechts leuchtet eine nach der anderen Beleuchtungsquelle in rechter Richtung auf, um eine Selektion der auszuwählenden Beleuchtungsquelle zu visualisieren.
-
Eine solche Rotationsbewegung, beispielsweise eine Pronation oder Supination des Unterarms, ist mit den im Unterarmbereich des Bedieners vorgesehenen Trägheitssensoren oder auch mit einer optischen Erfassung einer Armrotationsgeste wesentlich einfacher als eine Erfassung einer Fingergeste.
-
Die Erfassung der Selektionsgeste erfolgt durch Ermittlung zweiter Zielkoordinaten aus der der Selektionsgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der zweiten Zielkoordinaten zu dem durch abrufbare Ortskoordinaten identifizierten Objekt.
-
Falls die Erfassung der Auswahlgeste keine Zuordnung einer Mehrzahl, sondern lediglich eines durch abrufbare Ortskoordinaten identifiziertes Objekt ergibt, wird dieser Selektionsschritt in vorteilhafter Weise übersprungen.
-
Nachdem das gewünschte Objekt unter Zuhilfenahme der aktivierten Rückmeldungsmittel ausgewählt bzw. identifiziert wurde, kann der Bediener nunmehr eine Bestätigungsgeste veranlassen.
-
Eine beispielhafte Bestätigungsgeste umfasst einen vorwärts gerichteten Arm, welcher in Richtung des Bedieners zurückgezogen und/oder nach oben gezogen wird. Diese Geste würde – in Fortsetzung der intuitiven Semiotik einer Lassobedienung – einem Strammziehen eines Lassos entsprechen.
-
Das Interaktionssystem erfasst diese Bestätigungsgeste, gibt optional eine Rückmeldung an den Bediener aus und ordnet das identifizierte Objekt einem darauf folgenden Interaktionsmodus zu.
-
Eine Steuerung des in einem Interaktionsmodus zugeordneten Objekts erfolgt mittels einer Mehrzahl von Interaktionsgesten, welche in fachüblicher Weise durchgeführt werden können. Beispielsweise führt eine Drehbewegung zu einem Schließen eines Ventils, eine Hebebewegung zu einem Öffnen von Beschattungseinrichtungen, eine Aufwärtsbewegung zu einer Erhöhung der Lichtintensität eines Raumes, eine Drehbewegung zu einer Änderung der Lichtfarbe, usw.
-
Ein Abschluss der Interaktion wird durch den Bediener durch eine Freigabegeste ausgelöst. Diese Freigabegeste führt zu einer Freigabe des dem Interaktionsmodus zugeordneten Objekts seitens des Interaktionssystems. Eine Freigabe des vormalig einem Interaktionsmodus zugeordneten Objekts aufgrund der Freigabegeste wird in vorteilhafter Weise durch eine Rückmeldung an den Bediener signalisiert.
-
Eine beispielhafte Freigabegeste umfasst einen vorwärts gerichteten Arm mit einer Drehbewegung seiner Hand, beispielsweise in einem Gegenuhrzeigersinn. Diese Geste würde – in Fortsetzung der intuitiven Semiotik einer Lassobedienung – einer Drehbewegung eines lose am Boden liegenden Lassos entsprechen, bei der das Lassoende von einem Gegenstand abgehoben werden soll.
-
Im Bereich der Gebäudeautomatisierung kann die erfindungsgemäße Steuerung technischer Objekte insbesondere zum Ein- und Ausschalten von Lichtquellen oder zum Öffnen oder Schließen von Jalousien oder anderen Beschattungseinrichtungen verwendet werden.
-
Das erfindungsgemäße Verfahren findet weiterhin Anwendung zur Auswahl eines bestimmten unter mehreren Anzeigemitteln, etwa in entsprechend ausgestatteten Command-and-Control-Centers oder in medizinischen Operationsräumen.
-
Im industriellen Umfeld findet das erfindungsgemäße Verfahren Verwendung bei einer Auswahl und Aktivierung von Pumpen, Ventilen oder ähnlichem. Weiterhin ist ein Einsatz im Produktions- und Logistikumfeld möglich, bei dem ein bestimmtes Paket oder Fertigungsteil ausgewählt wird, um hierüber nähere Informationen zu erhalten oder diesem einen bestimmten Fertigungsschritt zuzuordnen.
-
In dem oben genannten Beispielen kommt das erfindungsgemäße Verfahren im Besonderen dem Bedürfnis einer freihändigen Interaktion entgegen, welche insbesondere von der bislang üblichen Notwendigkeit befreit ist, für eine Interaktion eine Betätigungs- oder Handhabungseinheit zu bedienen. Eine solche freihändige Bedienung ist insbesondere von Vorteil in einem Umfeld, welches entweder kontaminiert oder mit erhöhtem Reinheitsanforderungen beaufschlagt ist, oder wenn das Arbeitsumfeld das Tragen von Handschuhen notwendig macht.
-
Eine vorteilhafte Ausgestaltung der Erfindung ermöglicht eine Mehrfachselektion identifizierter Objekte, welche in den Interaktionsmodus zu überführen sind. Diese Ausgestaltung ermöglicht beispielsweise eine Mehrfachauswahl auszuschaltender Leuchtmittel. Eine Mehrfachauswahl wird durch eine alternative Bestätigungsgeste gewährleistet, welche ein oder mehrere zuvor mit einer Auswahl- und/oder Selektionsgeste identifizierte Objekte durch weitere identifizierte Objekte ergänzt.
-
Die alternative Bestätigungsgeste führt zu einer Zuordnung eines weiteren identifizierten Objekts, ohne dass ein Wechsel in einen Interaktionsmodus aufgrund der alternativen Bestätigungsgeste erfolgt. Eine beispielhafte alternative Bestätigungsgeste umfasst einen vorwärts gerichteten Arm, welcher in Gegenrichtung zum Bediener nach vorne geschoben und/oder nach oben gezogen wird. Diese alternative Bestätigungsgeste wird jeweils nach einer Selektion eines hinzuzufügenden Objekts durchgeführt, bis die Mehrzahl an identifizierten Objekten aus Sicht des Bedieners komplett ist. Mit dem letzten identifizierten Objekt führt dann der Bediener die übliche Bestätigungsgeste – also ein in Richtung des Bedieners zurückgezogener Arm – durch und bestätigt seine Auswahl, als der ausgewählten Mehrzahl an identifizierten Objekten.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung zur Mehrfachselektion identifizierter Objekte ist eine Analogie zu einer bekannten Drag-and-Drop-Mausbedienung vorgesehen. Hierbei steht nach Erfassung der Bestätigungsgeste und Zuordnung des identifizierten Objekts in einen Interaktionsmodus aufgrund der Bestätigungsgeste eine weitere Erfassung einer Auswahlgeste – insbesondere Wurfbewegung – zur Verfügung, mit der weitere Objekte ausgewählt und selektiert werden können. Eine alternative Bestätigungsgeste wird nach einer Hinzufügung des aus Bedienersicht letzten hinzuzufügenden Objekts durchgeführt, welche anzeigt, dass die Mehrzahl an identifizierten Objekten aus Sicht des Bedieners komplett ist. Die beispielhafte alternative Bestätigungsgeste umfasst beispielsweise wieder einen in Gegenrichtung zum Bediener nach vorne geschobenen und/oder nach oben gezogenen Arm.
-
Ein Anwendungsbeispiel für eine derartige Mehrfachauswahl umfasst einen Überwachungsraum mit einer Mehrzahl an Anzeigevorrichtungen. Der Bediener möchte dabei den Inhalt von drei kleineren Anzeigevorrichtungen auf eine großflächige Anzeigeeinrichtung übertragen, um einen besseren Überblick zu erhalten. Mit einer Gestensequenz würde er die Lasso-Auswahlgestik zur Auswahl der besagten drei Anzeigeinhalte auswählen und dann einen Harpunen-Wurf zur Auswahl der großflächigen Anzeigeeinrichtung anwenden. Das Steuersystem des Interaktionssystems stellt dann die Anzeigeninhalte entsprechend um.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die mit der Auswahlgeste identifizierte Mehrzahl an Objekten auf eine Auswahl auf einen bestimmten Objekttyp reduziert. Beispielsweise ist in bestimmten Fällen eine Auswahl auf Beleuchtungsmittel sinnvoll. Diese Auswahl kann vor, während, oder auch nach der Erfassung der Auswahlgeste, etwa durch ein Sprachkommando »Wähle nur Beleuchtungsmittel aus« an das Interaktionssystem übermittelt werden.
-
Gemäß einer Ausgestaltung der Erfindung ist eine Kombination mit einem Visualisierungsmittel, beispielsweise einem Virtual Reality Head-Mounted Display, denkbar. Dies gestattet eine Ausführung des erfindungsgemäßen Verfahrens in einem virtuellen Umfeld statt in einer realen Umgebung zur Bedienung realer technischer Objekte.
