-
Die vorliegende Erfindung betrifft ein Verfahren zur Verfügungstellung von Informationen und Steuerung von Vorgängen nach dem Oberbegriff des Anspruchs 1. Die vorliegende Erfindung betrifft weiter ein Tragegerät, ein Gestenerkennungsgerät und ein System zur Durchführung des Verfahrens.
-
In insbesondere einem industriellen Produktions-Umfeld werden verstärkt Szenarien relevant, bei denen es wichtig ist, einem Beschäftigten:
- - auf Anfrage personalisierte und aktuelle Informationen direkt und jederzeit zur Verfügung zu stellen,
- - zusätzliche Meldepunkte zu geben, damit er ein besseres Abbild einer aktuellen Produktions- beziehungsweise Projektsituation hat,
- - moderne Möglichkeiten zur Selbstorganisation und Kommunikation zu geben.
-
Diese Faktoren bestimmen dabei nicht nur die Arbeitsbefähigung des Beschäftigten an sich, sondern auch in einem wesentlichen Ausmaß den Erfolg seines Arbeitseinsatzes. Je optimaler er mit diesen Faktoren verflochten ist, umso größer sind die Erfolgsaussichten seines Arbeitseinsatzes.
-
Die Fähigkeit, dies prozesstechnisch und technologisch zu realisieren, wird immer stärker zum Differenzierungsfaktor aufgrund der hohen Potentiale zur Kostenreduktion bei nicht eingeplanten Kosten und bei der Qualitätssicherung beziehungsweise Qualitätsverbesserung. Dies kann zu signifikanten Marktvorteilen führen.
-
Derzeit fehlen aktuell hierzu geeignete Geräte und Interaktionstechnologien. Technologisch bieten sich hierfür Tragegeräte wie zum Beispiel sogenannte Smartwatches an, da diese durch das Tragen am Körper der Nutzer den Nutzern permanent zur Verfügung stehen. Zusätzlich ist es mit diesen auch möglich, einen persönlichen Kontext an das Tragegerät zu binden, zum Bespiel zur personalisierten Anpassung an das Nutzerprofil oder zur Authentifizierung, da ein Ablegen des Tragegeräts detektiert werden kann und somit zum Beispiel ein automatisches Rücksetzen des Tragegeräts zum Beispiel aus Sicherheits- und Datenschutzgründen möglich ist.
-
Aus der Vielfalt der derzeit vorliegenden Tragegeräte, die im derzeitigen Umfeld von Endkunden zur Verfügung stehen, sind in einem heutigen industriellen Umfeld aber nur wenige einsetzbar. Dies liegt an den verschiedenen Designkonzepten der typischen Tragegeräte. Die Nutzung von Smartwatches zum Beispiel basiert in der Regel auf einem relativ kleinteiligen Touch-Interaktionskonzept und/oder sehr kleinen Hardkeys. Sowas ist in einem Produktionsumfeld nur schwierig oder manchmal gar nicht einsetzbar, zum Beispiel wenn Handschuhe genutzt werden, wenn feine Metallstäube vorkommen oder wenn die Nutzung in sogenannten EX-Gefahrenbereichen erfolgt. Insbesondere sind auch reine Hardkey Lösungen aufgrund der Kleinteiligkeit der Systeme in einem Produktions-Umfeld nur schwer nutzbar und haben Akzeptanz- und Benutzererfahrungs-Probleme, aufgrund der den Beschäftigten aus dem Verbraucher-Bereich bekannten Interaktionskonzepte. Weiterhin ist auch die Realisierung von bestimmten Schutzklassen insbesondere bei der Nutzung von Hardkeys schwierig.
-
Im industriellen Produktions-Umfeld wird Information heute noch meist in Papierform zur Verfügung gestellt. Dokumentation wird auf Papier ausgedruckt und Kommunikation läuft auf Zuruf oder zu festen Terminen.
-
Unterstützend werden manchmal separate Arbeitsstationen mit Personal Computer zur Verfügung gestellt, bei denen über zum Beispiel sogenannte SAP-Nummern Informationen abruf- oder Meldungen eingebbar sind.
-
Tragbare Geräte wie zum Beispiel mobile Datenerfassungseinheiten (MDE) stehen in der Regel nur für logistische Aufgaben und Datenabrufe, zum Beispiel in einem und für einen aktuellen Anwendungsfall zur Verfügung. Hier kommen Anwendungsfall spezifische Lösungen mit einfacher Touch-, Stift-, oder Hardkey-Bedienung zum Einsatz.
-
Aufgabe der vorliegenden Erfindung ist es, ausgehend von bekannten Verfahren zur Verfügungstellung von Informationen und Steuerung von Vorgängen, wie sie oben beschrieben sind, ein Verfahren, Geräte sowie ein System zur Durchführung des Verfahrens anzugeben mit der Zielerreichung einer Touch- und Hardkey-freien Bedienung einer graphischen, interaktiven Schnittstelle auf einem tragbaren Gerät ohne dessen Berührung und ohne externe Erfassungseinheiten, aber trotzdem mit präzisem und modernen Benutzerschnittstellenkonzept.
-
Diese Aufgabe wird bezüglich des Verfahrens erfindungsgemäß durch ein Verfahren gelöst, das die im Kennzeichen des Anspruchs 1 angegebenen Verfahrensschritte aufweist.
-
Diese Aufgabe wird bezüglich jeweiliger Geräte erfindungsgemäß durch Geräte gelöst, die die Merkmale des Anspruchs 16 beziehungsweise Anspruchs 17 aufweisen.
-
Diese Aufgabe wird schließlich bezüglich des Systems erfindungsgemäß durch ein System gelöst, das die Merkmale des Anspruchs 18 aufweist.
-
Das erfindungsgemäße Verfahren vollführt die Verfahrensschritte:
- - zur Verfügung stellen als eine Komponente eines Tragegeräts mit Displayanzeige einem Nutzer des Tragegeräts in dem Umfeld für den Empfang von von einer Informationen zur Verfügung stellenden Komponente in dem Umfeld zur Verfügung gestellte Informationen in Form von Navigations- und/oder Aktionselementen,
- - zur Verfügung stellen als eine Komponente eines Gestenerkennungsgeräts dem das Tragegerät zur Verfügung gestellten Nutzer zur Gestenerkennung von Gesten an dem Nutzer des Tragegeräts und des Gestenerkennungsgeräts,
- - technisch Kommunizieren zwischen dem Gestenerkennungsgerät und dem Tragegerät des diese Geräte nutzenden Nutzers zur Übermittlung von vom Gestenerkennungsgerät am Nutzer erkannten Gesten,
- - technisch Kommunizieren zwischen dem Tragegerät des dieses Gerät nutzenden Nutzers und wenigstens einer einzigen Informationen zur Verfügung stellenden Komponente in dem Umfeld zum Bewerkstelligen eines von den Gesten des Nutzers abhängigen Informationsanforderns und Entgegennehmens daraufhin zur Verfügung gestellter Informationen in Form von Navigations- und/oder Aktionselementen seitens wenigstens einer einzigen Informationen zur Verfügung stellender Komponente in dem Umfeld, und
- - bildliches Darstellen von vom Tragegerät entgegengenommener zur Verfügung gestellter Informationen in Form von Navigations- und/oder Aktionselementen auf der Displayanzeige des Tragegeräts.
-
Zur Durchführung des Verfahrens sind ein erfindungsgemäßes Tragegerät und ein erfindungsgemäßes Gestenerkennungsgerät vorgeschlagen, von denen das Tragegerät eine Schnittstelle aufweist zu einem Gestenerkennungsgerät für ein von dem Gestenerkennungsgerät Übermitteln von durch das Gestenerkennungsgerät an einem Nutzer des Tragegeräts erkannten Gesten, in deren Abhängigkeit das Tragegerät über die Kommunikationsschnittstelle zu den Komponenten in dem Umfeld Informationen anfordert und die daraufhin von wenigstens einer einzigen der Komponenten in dem Umfeld zur Verfügung gestellten Informationen entgegennimmt unter Anzeige dieser Informationen auf der Displayanzeige des Tragegeräts.
-
Weiter wird zur Durchführung des Verfahrens ein erfindungsgemäßes Gestenerkennungsgerät vorgeschlagen, das Mittel zum Erkennen von Gesten an einem Nutzer des Gestenerkennungsgeräts und Übermitteln dieser Gesten an ein Tragegerät aufweist.
-
Zusammen bilden das oben beschriebene Tragegerät und Gestenerkennungsgerät zur Lösung der gestellten Aufgabe ein erfindungsgemäßes System, das das oben beschriebene erfindungsgemäße Verfahren vollführt.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von Unteransprüchen.
-
Danach erfolgt in vorteilhafter Weise ein technisches Kommunizieren zwischen dem Tragegerät und Informationen zur Verfügung stellenden Komponenten in dem Umfeld mit Navigationsoptionen oder Aktionsauslösevorgänge beinhaltenden Informationsrückübergaben zur Verfügung gestellter Informationen an das Tragegerät.
-
Weiter erfolgt danach in vorteilhafter Weise ein Heranziehen eines industriellen Produktions-Umfelds als ein Umfeld.
-
Weiter erfolgt danach in vorteilhafter Weise ein zur Verfügung stellen des Tragegeräts an einem Unterarm, einem Handgelenk oder einer Hand eines Arms eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein zur Verfügung stellen des Gestenerkennungsgeräts an einem Unterarm, einem Handgelenk oder einer Hand eines Arms eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein zur Verfügung stellen des Gestenerkennungsgeräts und des Tragegeräts verteilt an den Unterarmen, Handgelenken oder Händen beider Arme eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein Erkennen von Gesten am Nutzer durch das Gestenerkennungsgerät anhand von Gesten eines Unterarms, eines Handgelenks oder einer Hand eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein Aktivieren von Interaktionen von Komponenten in dem Umfeld nach einer ersten am Nutzer durch das Gestenerkennungsgerät erkannten Geste.
-
Weiter erfolgt danach in vorteilhafter Weise ein zur Verfügung stellen von personalisierten Informationen durch die Informationen zur Verfügung stellenden Komponenten in dem Umfeld.
-
Weiter erfolgt danach in vorteilhafter Weise ein Rücksetzen des Tragegeräts oder des Gestenerkennungsgeräts nach einer zweiten am Nutzer durch das Gestenerkennungsgerät erkannten Geste.
-
Weiter erfolgt danach in vorteilhafter Weise ein Rücksetzen des Tragegeräts oder des Gestenerkennungsgeräts nach einer zweiten am Nutzer durch das Gestenerkennungsgerät erkannten Geste, die ein Ablegen wenigstens eines der Geräte Tragegerät oder Gestenerkennungsgerät ist.
-
Weiter erfolgt danach in vorteilhafter Weise ein Erkennen von Gesten am Nutzer anhand von drei Raumauslenkungswinkeln eines Unterarms, eines Handgelenks oder einer Hand eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein Aktivieren von Interaktionen zwischen Tragegerät und Gestenerkennungsgerät nach einem als Geste durch das Gestenerkennungsgerät erkannten Drehen eines das Tragegerät tragenden Unterarms, Handgelenks oder einer Hand eines Nutzers.
-
Weiter erfolgt danach in vorteilhafter Weise ein bildliches Darstellen von entgegengenommener zur Verfügung gestellter Informationen auf vom Tragegerät externen graphischen Displays.
-
Schließlich erfolgt danach in vorteilhafter Weise ein Eingeben von Eingaben in Form einer Spracheingabe über eine hierfür zur Verfügung gestellte Spracheingabeschnittstelle oder in Form einer Leseeingabe über eine hierfür zur Verfügung gestellte Leseeingabeschnittstelle. Letztere Schnittstelle kann zum Beispiel eine Schnittstelle für Barcodes, NFC, RFID und so weiter sein. Die Schnittstellen können beispielsweise im Tragegerät, Gestenerkennungsgerät oder einem zusätzlichen separaten Gerät zur Verfügung gestellt sein.
-
Mit den vorgenannten Maßnahmen ist insgesamt ein System vorgeschlagen, welches eine Touch und Hardkey freie Bedienung einer graphischen, interaktiven Schnittstelle auf einem tragbaren Gerät ermöglicht, das heißt, welches eine Bedienung des Systems ohne Berührung von Systemkomponenten ermöglicht und damit ohne externe Erfassungseinheiten auskommt, aber trotzdem ein präzises und modernes Benutzungsschnittellenkonzept hat.
-
Die Hände, aber auch die Finger, stehen permanent zur Verfügung, um zum Beispiel Greifaufgaben wahrzunehmen.
-
Vorteilhaft ist insbesondere, dass Handschuhe oder sonstige Schutzkleidungen getragen werden können. Weiter vorteilhaft ist, dass das System nicht abgelegt werden muss. Vorteilhaft ist auch, dass das Interaktionskonzept trotzdem eine zusätzliche beziehungsweise gleichzeitige Touch-Bedienung unterstützt. Weiter vorteilhaft ist auch, dass das System ohne mechanische Komponenten realisierbar ist und daher auch für spezielle Umgebungen geeignet ist, das heißt, für zum Beispiel Reinräume, medizinische Umgebungen, EX-Umgebungen und Räume mit Feinstaub. Vorteilhaft ist auch, dass durch Simplifizierung des Interaktionskonzeptes die Bedienung auch in rauen Umgebungen möglich ist, da keine feinmotorische, sondern grobmotorische Steuerung stattfindet. Schließlich ist vorteilhaft, dass durch die Trennung von Gestenerkennung und Visualisierung verschiedene Realisierungen möglich sind, wie zum Beispiel die Realisierung des Tragegeräts oder des Gestenerkennungsgeräts in Armbandform beziehungsweise in Form einer Jacken- oder Handschuhintegration.
-
Im Detail werden die erzielten Vorteile nachfolgend im Zusammenhang mit der Beschreibung eines Ausführungsbeispiels der Erfindung näher erläutert. Ein solches Beispiel ist in einer Zeichnung dargestellt, in der zeigen:
- 1 eine Darstellung bezüglich verschiedener Arm-Auslenkwinkel,
- 2A ein Konzeptdarstellung bezüglich Selektions-/Navigations-Vorgänge gemäß der Erfindung, und
- 2B eine Konzeptdarstellung bezüglich Aktionsauswahlen von Auswahlelementen gemäß der Erfindung.
-
1 veranschaulicht die in einem dreidimensionalen Raum mit den Raumachsen x, y und z vorkommenden Raumauslenkwinkel zum Beispiel eines Unterarms 1 zum zugehörigen Ellenbogengelenk 2, das heißt einen Pitch-Winkel P in Plus-Minus-Richtung bei einer Auf-/Ab-Bewegung des Unterarms 1 entlang der Raumachse y, einen Yaw-Winkel Y in Plus-Minus-Richtung bei einer Links-/Rechts-Bewegung des Unterarms 1 entlang der Raumachse z und einen Roll-Winkel R in Plus-Minus-Richtung bei einer Links-/Rechts-Drehung des Unterarms 1 um die Raumachse x.
-
Der Unterarm 1 weist in Richtung einer zugehörigen Hand ein Handgelenk 3 auf.
-
Das erfindungsgemäße System weist, wie die 2A und 2B näher veranschaulichen, ein Tragegerät 5 mit einer Displayanzeige 6 auf, die nachfolgend auch kurz als Display 6 bezeichnet wird. Das Tragegerät 5 ist beispielsweise an dem Unterarm 1, dem Handgelenk 3 oder der Hand 4 eines Nutzers (in den Figuren nicht näher dargestellt) getragen.
-
Weiter weist das erfindungsgemäße System ein Gestenerkennungsgerät (in den Figuren nicht näher dargestellt) auf, das ebenfalls an dem Unterarm 1 oder dem Handgelenk 3 oder der Hand 4 getragen ist.
-
Das erfindungsgemäße System weist außerdem ein Kommunikationssystem (in den Figuren nicht näher dargestellt) für diverse Kommunikationen auf.
-
Das Tragegerät 5 stellt die graphische Nutzerschnittstelle mit Navigationsoptionen, Informationen und entsprechenden Möglichkeiten, Aktionen auslösen zu können, zur Verfügung.
-
Das Gestenerkennungsgerät erfasst die drei Raumauslenkwinkel P, Y und R zum Beispiel des Unterarms 1 zum Ellenbogengelenk 2 als Navigationsgesten und singuläre Aktivierungsgesten, die als translatorische Impulsgesten entlang der drei Raumachsen x, y, z erfasst werden, zum Beispiel als eine Punch-Geste entlang der Raumachse x.
-
Die erfassten Winkel P, Y, R werden vom Gestenerkennungsgerät über ein Kommunikationssystem wie zum Beispiel einem BT LE- oder WiFi-Kommunikationssystem an das Tragegerät 5 übertragen. Dort werden die Navigationsgesten und Aktivierungsgesten bildlich auf der Displayanzeige 6 zum Beispiel des Tragegeräts 5 mit graphischer Navigations-Funktionalität im zugehörigen User Interface abgebildet, ebenso Selektionen von Daten und Aktionen (2B).
-
Die angesprochenen Gesten dienen nur zur Verdeutlichung des vorgestellten Erfindungsansatzes. Sie sind durch weitere Gesten, die auf dem Gestenerkennungsgerät durch Verarbeitung der entsprechenden Rohdaten detektiert werden können, erweiterbar und auf konkrete Anwendungsfälle und deren Rahmenbedingungen anpassbar.
-
Eine Kombinationsbewegung von Dreh-, Auf-Ab- und Links-Rechts-Bewegung des Unterarms 1 beziehungsweise des Handgelenks 3 beziehungsweise der Hand 4 über einen definierten Zeitbereich beschreibt eine Geste, die innerhalb eines graphischen Interaktionssystems wie folgt realisiert sein kann:
-
Die Aktivierung der Interaktion zwischen Tragegerät 5 und Gestenerkennungsgerät erfolgt durch die Drehung des Unterarms 1 oder des Handgelenks 3 oder der Hand 4 mit dem Tragegerät 5, so dass das Display 6 des Tragegeräts 5 in das Sichtfeld des Nutzers kommt. Diese Geste kann standardmäßig durch die Interialsensorik des Tragegeräts 5 detektiert werden und entspricht aus Benutzersicht der natürlichen Geste, um auf das Tragegerät 5 zu blicken. Erst nach Aktivierung des Displays 6 beginnt die Gestenerkennung im Gestenerkennungsgerät und die Abbildung der Gesten auf eine Navigation im graphischen Interaktionssystem. Die Deaktivierung des Systems erfolgt durch die erkannte gegenläufige Geste, nämlich das Herunternehmen des Tragegeräts beziehungsweise Wegbewegen des Unterarms 1, des Handgelenks 3 oder der Hand 4.
-
In der graphischen Benutzungsschnittstelle ist immer ein Navigationselement E zum Bespiel E3 (2A) beziehungsweise ein Paar aus einem Navigationselement E und einer Aktion A zum Beispiel E3/A3 (2B) im Fokus. Benachbarte Navigationselemente E beziehungsweise Paare von Navigationselement/Aktion E/A stehen zumindest imaginär oder gegebenenfalls wenigsten teilweise sichtbar an. Bezüglich der 2A sind das zum Beispiel in waagrechter Richtung die Navigationselemente E1, E2 von links und die Navigationselemente E4, E5 von rechts her beziehungsweise in senkrechter Richtung die Aktionen A1, A2 von oben und die Aktionen A3, A4 von unten her. Bezüglich der 2B steht in senkrechter Richtung von oben her die Aktion A2 und von unten her die Aktion A4 an.
-
Standardmäßig wird das fokussierte Navigationselement En und angedeutet links und rechts davon das jeweilige Vorgänger-/Nachfolgernavigationselement En-1/En+1 zum Beispiel Navigationselement E2 beziehungsweise Navigationselement E4 in 2A angezeigt.
-
Durch die Links-Rechts-Geste wird am Gestenerkennungsgerät das aktuelle Navigationselement En in einer horizontalen Liste auf das Vorgänger- beziehungsweise Nachfolgerelement umgesetzt. Infolge einer Auf-Ab-Geste wird die graphische Darstellung auf die Aktionsauswahl An+/-1 wie in der 2A dargestellt gewechselt. Hierzu wird das selektierte Navigationselement E3/Aktion An, in der 2B konkret Aktion A3, permanent angezeigt und zusammen mit der aktuell gewählten Aktion im Fokus auf dem Tragegerät 5 visualisiert. Vorgänger- und Nachfolgeraktionselement An+/-1 werden in der vertikalen Aktionsliste angedeutet mit zum Beispiel Transparenz und kleinerer Darstellung oberhalb und unterhalb der aktuellen Aktionsanzeige angezeigt. Die Aktivierung eines Navigations-/Aktionselement-Paares und die dahinterliegende auszuführende Aktion erfolgt durch eine Impulsgeste. Wird eine erste Impulsgeste, zum Beispiel einfaches Auftippen mit dem Finger, direkt auf dem Navigationselement E, ausgeführt, erfolgt eine Navigation in eine weitere Hierarchietiefe des Menüs. Rücksprünge in der Navigation oder Abbruch von Aktionen erfolgt durch eine zweite Impulsgeste, zum Beispiel doppeltes Auftippen mit dem Finger.
-
Ein- beziehungsweise zweidimensionale Wertauswahlen, zum Beispiel mittels eines Schiebereglers, können direkt auf die Navigationsgesten abgebbildet werden.
-
Eine nötige Texteingabe kann durch Spracheingabe als zusätzliche Eingabemodalität erfolgen. Die Aufnahme der Sprache kann im Tragegerät 5, im Gestenerkennungsgerät und/oder einem separaten Sprachaufnahmegerät erfolgen.
-
Die Technologie und das Verfahren können auch auf andere stationäre graphische Displays angewendet werden. Hierbei kann durch ein Lesegerät, beispielsweise ein Barcode-Leser, NFC-Leser, RFID-Leser, im Gestenerkennungsgerät die Verbindung hergestellt werden.
-
Weiterhin ist auch eine Bedienung eines Head-Mounted-Displays und von Augmented Reality Anwendungen mit diesem System als Ersatz oder Erweiterung des Tragegeräts 5 realisierbar.
-
Das System kann auch vollständig in die Schutzkleidung integriert werden durch zum Beispiel Einnähen oder Einlaminieren in den Stoff, so dass ein separates Anlegen der Geräte nicht erforderlich ist. Ein erstes Beispiel hierfür ist die Integration der zu tragenden Geräte in die Arbeitsjacke, zum Beispiel das Tragegerät 5 in den linken Ärmel und für die Gestendetektion das Gestenerkennungsgerät in den rechten Ärmel. Ein zweites Beispiel ist die entsprechende Integration in den linken und rechten Handschuh. Ein drittes Beispiel ist die Kombination der Integration in die Jacke und die Handschuhe.
