-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf das technische Gebiet der Identifikation von Freihandbefehlen (Gesten), bei welcher verwertbare Informationen aus im freien Raum erzeugten Freihandbewegungen abgeleitet werden.
-
In der
DE 10 2013 211 335 A1 werden ein Verfahren und eine Vorrichtung zum berührungslosen Erkennen einer Geste unter Verwendung eines ersten Sensors und eines räumlich vom ersten Sensor entfernt angeordneten zweiten Sensors offenbart, wobei die Geste eine Bewegung eines Objekts in einem dreidimensionalen Raum repräsentiert. Zugleich wird in diesem Zusammenhang darauf hingewiesen, dass Mensch-Maschine.Schnittstellen („human-machine-interface“) die Eingabe von Daten beispielsweise mittels Bildschirm, Tastatur, Maus, Spracherkennung, Touchscreen oder Touchpad ermöglichen, jedoch eine vergleichsweise neue Art der Eingabe die berührungslose Gestenerkennung ist.
-
-
Einlesen einer ersten Sensorposition des ersten Sensors und einer zweiten Sensorposition des zweiten Sensors, wobei dem ersten Sensor ein erster Erfassungsbereich des dreidimensionalen Raums zugeordnet ist und dem zweiten Sensor ein zweiter Erfassungsbereich des dreidimensionalen Raums zugeordnet ist,
Einlesen eines ersten Abtastsignals des ersten Sensors, um eine erste Trajektorie zu erfassen, die ein Bewegen des Objekts durch den ersten Erfassungsbereich repräsentiert, Einlesen eines zweiten Abtastsignals des zweiten Sensors, um eine zweite Trajektorie des Objekts zu erfassen, die ein Bewegen des Objekts durch den zweiten Erfassungsbereich repräsentiert, und Erkennen der Geste unter Verwendung zumindest einer der Sensorpositionen und zumindest eines der Abtastsignale.
-
Gemäß diesem bekannten Ansatz werden zudem eine Vorrichtung zum berührungslosen Erkennen einer Geste unter Verwendung eines ersten Sensors und eines vom ersten Sensor räumlich entfernt angeordneten Sensors geschaffen, wobei die Geste eine Bewegung in einem dreidimensionalen Raum repräsentiert. Unter einer Vorrichtung wird hier ein elektrisches Gerät verstanden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Die Schnittstellen können auch eigene, integrierte Schaltkreise sein oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Software-Module sein, die beispielweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Weiterhin beschreibt die
WO 2009 024 881 A1 ein herkömmliches Verfahren zum berührungslosen Erkennen einer Geste.
-
Ferner kann gemäß der
DE 602 15 504 T2 z.B. eine Gesten-Analyse ausgeführt werden, um Echtzeit-Befehlssignale zu einer Vorrichtung, z.B. einem Medienabspielgerät oder einem anderen Gerät, durch Gesten-Erkennung, auch als Gesten-Identifizierung bezeichnet, abzuleiten. Hierzu besteht Bedarf nach Mensch-Maschinen-Schnittstellen-Techniken, die ein Gewinnen aus im freien Raum erzeugten Gesten erlauben, insbesondere zum Steuern einer Vorrichtung oder zum Bereitstellen eines Feedbacks von Körperbewegungen (Freihandbefehlen).
-
Das Gewinnen brauchbarer Informationen aus Gesten im freien Raum (Freihandbefehlen) im obigen Kontext schafft technische Herausforderungen u.a. dahingehend, dass effiziente Algorithmen implementiert werden müssen, um eine geeignete Charakteristik aus den Rohdatensignalen an den Sensorausgängen zu erzeugen und die entsprechende Geste aus dieser Charakteristik mit annehmbarer Zuverlässigkeit und Geschwindigkeit zu identifizieren.
-
Ein Beispiel einer bekannten Technik zum Analysieren von Armbewegungen in dreidimensionalen Raum ist auch in einem Dokument mit dem Titel „EMG-based Human-Machine Interface System“ von O.A. Alsayegh, veröffentlicht in Proceedings of the IEEE Conference on Multmedia and Exposition, 2000.
-
Zudem ist ein Beispiel eines herkömmlichen Gesten-Erkennungsansatzes, der auf dem Analysieren von Bilddaten basiert, aus der Patentschrift
US-A- 5,454,043 vorbekannt.
-
Ein Gesten-Erkennungssystem, das auf myoelektrischen Signalen basiert, ist in einem Dokument von Osaman Alsayegh mit dem Titel „Guidance of video data acquisition by myoelectric signals for smart human-robot interfaces" veröffentlicht in IEEE 5/1998, Seiten 3179 bis 3185; Proceedings of the 1998 IEEE International Conference on Robots and Automation. Leuven, Belgien. erläutert.
-
Aus der
DE 10 2013 010 932 A1 geht schließlich ein Verfahren zum Bedienen einer Bedienschnittstelle zum Bedienen von zumindest einem Gerät in einem Kraftfahrzeug als bekannt hervor, wobei die Bedienschnittstelle ein Kamerasystem und eine mit dem Kamerasystem gekoppelte Gesten-Erkennungseinrichtung umfasst. Durch das Kamerasystem wird eine im Kraftfahrzeuginnenraum des Kraftfahrzeugs mit mindestens einem Arm gestikulierende Person gefilmt, und durch die Gesten-Erkennungseinrichtung auf der Grundlage von Bilddaten Beschreibungsdaten einer Stellung und/oder einer Bewegungsabfolge des zumindest einen gestikulierenden Arms ermittelt. Die Beschreibungsdaten werden einer aus mehreren vorbestimmten Bedien-Gesten durch eine erste Klassifizierung zugeordnet. Durch eine Plausibilisierungseinrichtung wird der Bedienschnittstelle zumindest ein Situationsparameter, welcher einen Gestikulationskontext der Person beschreibt, ermittelt und anhand des zumindest einen Situationsparameters durch eine zweite Klassifizierung entschieden, ob die Person überhaupt eine mögliche Bedienungsgeste oder nur eine nicht für die Bedienung bestimmte, zu ignorierende Geste ausgeführt. Bei Entscheidung auf eine mögliche Bediengeste in Abhängigkeit von der durch die erste Klassifizierung erkannten Bediengeste wird ein Steuerbefehl an das zumindest eine Gerät ausgegeben, hingegen bei Entscheidung auf eine zu ignorierende Geste das Ausgeben des Steuerbefehl unterdrückt..
-
Dem aufgezeigte Stand der Technik ist zu entnehmen, dass viele technologieherstellerspezifische Standards zur räumlichen Interaktion existieren, und für gewöhnlich ein hoher Implementierungs- und Testaufwand für Softwarehersteller bei der Integration der Gesten-Steuerung besteht, da jeder Sensor die eigene SDK nutzt und die Gesten-Information sensorspezifisch repräsentiert wird.
-
Besonders bei der Integration von Consumer-Technologien zur innovativen Softwaresteuerung bestehen im industriellen Anwendungskontext hohe Hürden, da Anforderungen an industrietaugliche Gesten bei implementierten Gesten der Sensorhersteller für gewöhnlich unberücksichtigt bleiben. Implementierte Gesten von Sensorherstellern unterscheiden sich stark, der Umfang an bereitgestellten Gesten hängt von mitgelieferten SDK's der Sensoren ab, und jeder Erfassungssensor hat seine eigene Art und Weise, Gestendaten zu repräsentieren.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit der vorliegenden Erfindung ein Verfahren und eine Vorrichtung zur Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle sowie ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung
-
Angestrebt wird, bei Einsatz verschiedener Sensortechnologien in einem industriellen Produktionsprozess den Implementierungs- und Testaufwand bei der Integration von heterogenen Consumer-Technologien auf ein Minimum zu begrenzen.
-
Zudem ist bei den Anforderungen an die industrietaugliche Gesten-Interaktion zu berücksichtigen, dass der Focus der Mitarbeiter in industriellen Anwendungsszenarien auf dem Prozess liegt, in den die Mitarbeiter involviert sind. Daher müssen gestenbasierte Steuerungsbefehle flüssig in den Arbeitsablauf integrierbar sein. Industrietaugliche Gesten sollten daher intuitiv, kurz, prägnant und eindeutig gestaltet sein, um leicht erinnerbar und auszuführen sein. Zudem sollten die Gesten aus Gründen des Arbeitsschutzes die ergonomischen Aspekte der menschlichen Bewegung berücksichtigen. Für die Akzeptanz der gestenbasierten Prozessführung und Produktionssteuerung dürfen die Gesten die Bedienperson nicht ablenken und keinen negativen Einfluss auf den Arbeitsablauf des Mitarbeiters ausüben.
-
Besonders geeignet sind daher gerade, grobe Handbewegungen wie sog. „Swipe“-Gesten z.B. von links nach rechts oder von oben nach unten sowie von vorne nach hinten. Hinsichtlich der Anzahl der Gesten (Hand-/Fingerbefehle), die sich ein Nutzer für die berührungslose Interaktion leicht zu merken vermag, tendiert die gängige Ansicht neuerdings zu vier unterscheidbaren Gesten als optimale Anzahl.
-
Im Zusammenhang mit der vorliegenden Erfindung wurden für die Identifikation interkulturell akzeptierte Freihandgesten für die softwaregestützte Produktionsplanung und - steuerung anhand von Praxisbeispielen geeignete kulturkreisübergreifende bzw. kulturkreisspezifische berührungslose Gesten identifiziert, die, gruppiert in industrie- und anwendungsspezifischen Gesten-Sets, innerhalb eines Gesten-Moduls verarbeitet werden. Demnach ergeben sich zu jeder untersuchten Interaktionsaufgabe mindestens eine sog. „Best-Practice-Geste“ und mindestens eine spezifische technische Repräsentation dieser Geste.
-
Es wird ein Verfahren zur Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle vorgestellt, bei dem eine Mensch-Maschinen-Schnittstellen-Einheit, die ein Rechner-System (IT-System) zur datentechnischen Generierung eines prozessbezogenen computergrafischen interaktiven Werkerführungs-Systems enthält, Anwendung findet, von der aus im freien Raum erzeugten und sensormäßig erfasst Freihandbewegungen verwertbarer Informationen gewonnen werden, die zum Bedienen und/oder Beobachten eines technischen Prozesses und/oder einer Produktionsanlage verwendet werden, wobei das Verfahren folgende Schritte umfasst:
- an das interaktive Werkerführungs-System wird ein technisches Modul als Gesten-Modul datentechnisch angebunden;
- das Gesten-Modul wird mit mindestens zwei physischen Erfassungseinheiten (Sensoreinheiten), die auf unterschiedlichen Erfassungsverfahren von räumlichen Nutzerinteraktionen basieren, datentechnisch verbunden;
- die definierten Freihandbewegungen werden von einem Gesten-Prozessor des Gesten-Moduls hardwareunabhängig erkannt, technologieneutral identifiziert, als Befehlsatz definierter Sammlungen von Freihandbefehlen datentechnisch verarbeitet und an datentechnische Einheiten des interaktiven Werkerführungs-Systems zum gestengesteuerten Bedienen und/oder Beobachten des industriellen technischen Prozesses und/oder der industriellen Produktionsanlage weitergeleitet.
-
Gemäß dem vorliegenden Ansatz kann das Gesten-Modul aus einer Vielzahl von Teilmodulen gebildet werden, wobei
über ein Sensor Interface-Modul, das die Schnittstelle zwischen dem Gesten-Modul und der gestenbasierten Softwareanwendung definiert, die Erfassungseinheiten (Sensoren) in dem Gesten-Modul installiert und der Datenstrom abgegriffen werden,
von einem Gesture Processor-Modul technologieunabhängig Gesten-Informationen in den Sensordatenströmen erkannt und die Sensorinformationen zu einer Geste weiter verarbeitet werden;
beim Erkennen einer Kombination aus Beginn und Ende einer Geste der entsprechende Auszug des Datenstroms aufbereitet und an einen Gesten-Mapper weitergeleitet wird;
zugleich die erkannte Geste mit einem Gesten-Set, der in einem mit dem Gesture Processor Modul verbundenen Gesten-Katalog hinterlegt wird, verglichen wird;
beim Identifizieren eines mit dem Gesten-Eintrag des Gesten-Sets übereinstimmenden Sensormuster der Gesten-Eintrag in einer Gesture Lookup-Tabelle gesucht wird,
bei Eintrag der Geste in der Gesture Lookup-Tabelle durch ein registriertes Softwaresystem das Ereignis (Gesten-Event) in einer Message-Queue durch einen Service Provider über ein Application Interface Modul an die registrierte gestenbasierte Softwareanwendung weitergeleitet wird;
von einem Service Provider-Modul einer registrierten Application mitgeteilt wird, welche Geste erkannt worden ist, indem ein hierzu bereit gestelltes „Push“-Verfahren über das Application Interface-Modul die Informationen über die erkannte Geste an das Softwaresystem weiterleitet und den Betrachtungsraum für Gesten in der Gesture Lookup-Tabelle bestimmt;
durch die logische Trennung des Service Providers- Moduls und des Application Interface-Moduls ein Betrieb des Gesten-Moduls auf verteilten Systemen erfolgt, und
in der Gesture Lookup-Tabelle, in der die für eine gestenbasierte Software relevanten Gesten-Einträge beinhaltet sind, letztere bei der Registrierung mit dem Gesten-Modul durch die Software bereitgestellt werden.
-
Nur für die anwendungsfallspezifischen Gesten, die in einem Gesten-Katalog festgelegt werden, erfolgt eine technische Weiterverarbeitung innerhalb des Gesten-Moduls, wobei abhängig vom Datenstromlieferanten (Sensor) für jede Geste des Gesten-Sets die technische Beschreibung analysiert wird, bis ein Eintrag mit einem passenden Gesten-Muster gefunden wird. Gesten-Einträge können mehrere Sensormuster für unterschiedliche Sensoren beinhalten.
-
Die Erfassungssysteme von räumlichen Nutzerinteraktionen können auf einer radarbasierten, magnetfeldbasierten, EMG-basierten oder optischen Erfassung basieren.
-
Das Gesten-Modul bildet eine Middleware (standardisierte Schnittstelle) zwischen heterogenen Sensoren und gestenbasierten Softwaresystemen, über die von letzteren dem Gesten-Modul mitgeteilt wird, welche Geste erkannt und weiterzuleiten ist.
-
Anhand von praktisch untersuchten Interaktionsaufgaben können kulturkreisübergreifende bzw. kulturkreisspezifische berührungslose Gesten identifiziert sowie in industrie- und anwendungsspezifische Gesten-Sets gruppiert werden, die in einer XML-Struktur gruppierte Gesten-Beschreibungen beinhalten, und dann innerhalb des Gesten-Moduls datentechnisch verarbeitet werden.
-
Zu jeder untersuchten Interaktionsaufgabe kann mindestens eine „Best-Practice-Geste“ und mindestens eine sensorspezifische Repräsentation der Geste ermittelt werden.
-
Das Gesten-Modul kann mit beliebigen Sensoren erweitert werden, ohne dass eine Anpassung eines bestehenden gestenbasierten Softwaresystems erfolgt.
-
Der vorliegende Ansatz schafft ferner eine Vorrichtung zur Identifikation standardisierter Industrie- und anwendungsfallspezifischer Freihandbefehle, bei dem eine Mensch-Maschinen-Schnittstellen-Einheit, die ein Rechnersystem (IT-System) zur datentechnischen Generierung eines prozessbezogenen computergrafischen interaktiven Werkerführungs-Systems enthält, vorgesehen ist, von der aus im freien Raum erzeugten und sensormäßig erfasste Freihandbewegungen verwertbarer Informationen bereitzustellen sind, die zum Bedienen und/oder Beobachten eines industriellen technischen Prozesses und/oder einer industriellen Produktionsanlage verwendbar sind, wobei
an das interaktive Werkerführungs-System ein technisches Modul als Gesten-Modul datentechnisch angebunden ist,
das Gesten-Modul mit mindestens zwei physischen Erfassungseinheiten (Sensoreinheiten), die auf unterschiedlichen Erfassungsverfahren von räumlichen Nutzerinteraktionen basieren, datentechnisch verbunden ist, und
ein Gesten-Prozessor in dem Gesten-Modul vorgesehen ist, von dem die definierten Freihandbewegungen hardwareunabhängig erkennbar, technologieneutral identifizierbar, als Befehlssatz definierter Sammlungen von Freihandbefehlen datentechnisch verarbeitbar und an datentechnische Einheiten des interaktiven Werkerführungs-Systems zum gestengesteuerten Bedienen und/oder Beobachten des industriellen technischen Prozesses und/oder der industriellen Produktionsanlage weiterleitbar sind.
-
Bevorzugt ist das als Gesten-Modul ausgebildete technische Modul der erfindungsgemäßen Vorrichtung zur Identifikation standardisierter Industrie- und anwendungsfallspezifischer Freihandbefehle aus einer Vielzahl datentechnisch vernetzter Teilmodule gebildet, wobei
über ein Sensor Interface-Modul, das die Schnittstelle zwischen dem Gesten-Modul und der gestenbasierten Softwareanwendung definiert, die Erfassungseinheiten (Sensoren) in dem Gesten-Modul installierbar und der Datenstrom abgreifbar sind,
von einem Gesture Processor-Modul technologieunabhängig Gesten-Informationen in den Sensordatenströmen erkennbar und die Sensorinformationen zu einer Geste weiter verarbeitbar sind;
beim Erkennen einer Kombination aus Beginn und Ende einer Geste der entsprechende Auszug des Datenstroms datentechnisch aufbereitbar und an einen Gesten-Mapper weiterleitbar ist,
zugleich die erkannte Geste mit einem Gesten-Set, der in einem mit dem Gesture Processor Modul verbundenen Gesten-Katalog hinterlegt ist, abgleichbar ist,
bei Identifizieren eines mit dem Gesten-Eintrag des Gesten-Sets überein stimmenden Sensormuster der Gesten-Eintrag in einer Gesture Lookup-Tabelle zu ermitteln ist,
bei Eintrag der Geste in der Gesture Lookup-Tabelle durch ein registriertes Softwaresystem das Ereignis (Gesten-Event) in einer Message-Queue durch einen Service Provider über ein Application Interface Modul an die registrierte gestenbasierte Softwareanwendung weiterleitbar ist;
von einem Service Provider-Modul einer registrierten Application vermittelbar ist, welche Geste erkannt ist, wobei über das Application Interface-Modul die Informationen über die erkannte Geste an das Softwaresystem weiterleitbar und der Betrachtungsraum für Gesten in der Gesture Lookup- Tabelle bestimmbar sind,
bei logischer Trennung des Service Providers-Moduls und des Application Interface-Moduls ein Betrieb des Gesten-Moduls auf verteilten Systemen durchführbar ist, und
in der Gesture Lookup-Tabelle, in der die für eine gestenbasierte Software relevanten Gesten-Einträge beinhaltet sind, letztere bei der Registrierung mit dem Gesten-Modul durch die Software bereitstellbar sind.
-
Von Vorteil ist auch ein Programm, das direkt in den internen Speicher eines Computers geladen werden kann und Softwareabschnitte umfasst, mit denen ein Verfahren nach einem oder mehreren der Ansprüche 1 bis 9 auszuführen ist, wenn das Programm auf einem Computer läuft, sowie ein Programm, das dazu geeignet ist, einen Computer zur Ausführung eines Verfahrens nach einem oder mehreren der Ansprüche 1 bis 9 zu bringen sowie eine Vorrichtung, eingerichtet, ausgelegt, konstruiert und/oder ausgerüstet mit einer Software zum Durchführen eines Verfahrens nach einem oder mehreren der vorhergehenden Ansprüchen 1 bis 9.
-
Von Vorteil ist zudem ein Computerprogrammprodukt mit gespeicherten computerimplementierten Instruktionen, die geeignet sind einen Prozessor zu veranlassen, bei einem Verfahren zur Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle, bei dem eine Mensch-Maschinen-Schnittstellen-Einheit Anwendung findet, von der aus im freien Raum erzeugten und sensormäßig erfassten Freihandbewegungen verwertbarer Informationen gewonnen werden, die zum Bedienen und/oder Beobachten eines technischen Prozesses und/oder einer Produktionsanlage verwendet werden, folgende Verfahrensmaßnahmen auszuführen:
-
Bilden eines Gesten-Moduls aus einer Vielzahl von Teilmodulen, wobei
über ein Sensor Interface-Modul, das die Schnittstelle zwischen dem Gesten-Modul und der gestenbasierten Softwareanwendung definiert, die Erfassungseinheiten (Sensoren) in dem Gesten-Modul installiert und der Datenstrom abgegriffen werden,
von einem Gesture Processor-Modul technologieunabhängig Gesten-Informationen in den Sensordatenströmen erkannt und die Sensorinformationen zu einer Geste datentechnisch weiter verarbeitet werden;
beim Erkennen einer Kombination aus Beginn und Ende einer Geste der entsprechende Auszug des Datenstroms aufbereitet und an einen Gesten-Mapper weitergeleitet wird;
zugleich die erkannte Geste mit einem Gesten-Set, der in einem mit dem Gesture Processor Modul verbundenen Gesten-Katalog hinterlegt wird, abgeglichen wird;
bei Identifizieren eines mit dem Gesten-Eintrag des Gesten-Sets übereinstimmenden Sensormuster der Gesten-Eintrag in einer Gesture Lookup-Tabelle gesucht wird,
bei Eintrag der Geste in der Gesture Lookup-Tabelle durch ein registriertes Softwaresystem das Ereignis (Gesten-Event) in einer Message-Queue durch einen Service Provider über ein Application Interface Modul an die registrierte gestenbasierte Softwareanwendung weitergeleitet wird;
von einem Service Provider-Modul einer registrierten Application mitgeteilt wird, welche Geste erkannt worden ist, indem ein hierzu bereit gestelltes „Push“-Verfahren über das Application Interface-Modul die Informationen über die erkannte Geste an das Softwaresystem weiterleitet und den Betrachtungsraum für Gesten in der Gesture Lookup-Tabelle bestimmt;
durch die logische Trennung des Service Provider-Moduls und des Application Interface-Moduls ein Betrieb des Gesten-Moduls auf verteilten Systemen erfolgt, und
in der Gesture Lookup-Tabelle, in der die für eine gestenbasierte Software relevanten Gesten-Einträge beinhaltet sind, letztere bei der Registrierung mit dem Gesten-Modul durch die Software bereitgestellt werden.
-
Die vorliegende Erfindung ermöglicht die Identifikation standardisierter industrie- und anwendungsfallbezogener Sammlungen von Freihandbefehlen (Gesten-Sets), die unabhängig von der genutzten Erfassungstechnologie eine Projektierung eines interaktiven Werkerführungs-Systems mit einer räumlichen Nutzerschnittstelle ermöglichen.
-
Das Gesten-Modul erleichtert die Integration verschiedener Erfassungssysteme, indem die Verarbeitung der Sensordaten und die Erkennung definierter Freihandbewegungen datentechnisch von einem gestengesteuerten technischen Prozess getrennt wird. Da der Gesten-Prozessor des Gesten-Moduls definierte Freihandbefehle für verschiedene Sensortechnologien verarbeiten kann, ist ein sicheres und robustes Erkennen von räumlichen Nutzerinteraktionen bei reduziertem Implementierungs- und Testaufwand für gestenbasierte technische Prozesse im industriellen Bereich gewährleistet.
-
Mit dem Gesten-Modul ist es möglich, standardisierte Sammlungen von Freihandbefehlen für definierte industrie- und anwendungsspezifische Aufgaben sensorneutral zu erfassen sowie ein zertifiziertes System zur Verarbeitung von Gesten-Informationen in einer abgesicherten Middleware, die durch gestenbasierte Prozesse genutzt werden kann, zu etablieren.
-
In Gesten-Sets werden standardisierte industrie- und anwendungsspezifische Freihandbefehle und deren technische Repräsentationen für verschiedene Erfassungstechnologien in Sammlungen gruppiert und in Form einer Auszeichnungssprache bereitgestellt. Definierte Freihandbefehle, die in industrie- und anwendungsspezifischen Sammlungen von Gesten gruppiert sind, können sicher und robust mit verschiedenen Erfassungstechnologien erfasst werden.
-
Der Nutzer von gestengesteuerten Softwaresystemen kann Entwicklungsdienstleistern bzw. Lieferanten gestengesteuerter Applikationen das Gesten-Modul zur Integration in ihre jeweilige Anwendung überlassen und so den Entwicklungsaufwand reduzieren. Außerdem kann der Nutzer von gestengesteuerten Softwaresystemen die Nutzung eines Gesten-Katalogs bei der Entwicklung gestengesteuerter Softwareanwendungen vorschreiben und diese für eigene Anwendungen einsetzen. Zudem kann der Gesten-Katalog Entwicklungsdienstleistern bzw. Lieferanten als Lastenheft zur Verfügung gestellt werden, so dass eine Vereinheitlichung / Standardisierung der Gesten-Steuerung zu erreichen ist.
-
Die Erfindung wird nachstehend anhand der Zeichnungen beispielhaft näher erläutert. In diesen sind:
- 1 eine schematische Darstellung des Gesten-Moduls für die berührungslose Steuerung der Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit);
- 2 eine schematische Darstellung der Funktionsweise des Gesten-Moduls als Middleware zwischen heterogener Sensorlandschaft und gestengesteuertem Softwaresystem mit einer standardisierten industrie- und anwendungsspezifischen Sammlung von Freihandbefehlen;
- 3 eine schematische Darstellung der relevanten Teilmodule des Gesten-Moduls zur sensorneutralen Erfassung standardisierter industrie- und anwendungsspezifischer Gesten-Sets;
- 4 eine schematische Darstellung des Gesten-Zuordnungsverfahrens registrierter Freihandbefehle einer gestengesteuerten Anwendung;
- 5 eine datentechnische Darstellung der Gesten zur sensorneutralen Beschreibung von Freihandbefehlen und deren Zuordnung in industrie- und anwendungsfallspezifischen Sammlungen von Freihandbefehlen;
- 6 eine schematische Darstellung des technischen Moduls zur Gesten-Erkennung mit einer Erfassungseinheit (links in 6), einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 6) und einem datentechnisch verbundenen Betriebsmittel (rechts in 6);
- 7 eine schematische Darstellung des technischen Moduls zur Gesten-Erkennung (oben in 7) in einer über einen Feldbus datentechnisch vernetzten Anordnung mit einer Erfassungseinheit (links in 7) und einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 7) und einem datentechnisch verbundenen Betriebsmittel (rechts in 7);
- 8 eine vereinfachte Darstellung des datentechnischen Informationsflusses zwischen dem technischen Modul zur Gesten-Erkennung, einer Erfassungseinheit (links in 8), einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 8) und einem Betriebsmittel (rechts in 8); und
- 9 eine schematische Darstellung der Anwendung des technischen Moduls zur technologieneutralen Identifikation standardisierter industrie- und anwendungsspezifischer Freihandbefehle am Anwendungsfall eines gesteuerten Dokumentationssystems.
-
1 zeigt ein IT-System 100 auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit), auch als „Industrie-PC“ bezeichnet, auf der ein Erfassungssystem 101 den Betrieb eines Sensors 102 zur Erfassung physischer Freihandbewegungen ermöglicht. Mit einem technischen Modul als Gesten-Modul 103 wird die sensorneutrale Erkennung standardisierter industrie- und anwendungsspezifischer Freihandbefehle zur gestenbasierten Steuerung einer technischen Einrichtung 104 in einer industriellen Anwendung ermöglicht. Das Gesten-Modul 103 wertet technologieübergreifend Sensordaten aus und gleicht diese mit den hinterlegten Sensormustern für die Gesten eines Gesten-Sets ab. Wird eine Geste erkannt, leitet das Gesten-Modul 103 diese Information als Ereignis an registrierte gestengesteuerte Prozesse weiter. Gestengesteuerte technische Systeme können das Gesten-Modul 103 in Form eines technischen Moduls nutzen.
-
2 zeigt eine schematische Darstellung eines IT-Systems 200, auf welchem ein Sensor-Framework 201 den Betrieb einer Erfassungseinheit 202 mit hardwarespezifischen softwaretechnischen Modulen 203 sicherstellt. Durch ein von der Erfassungseinheit 202 genutzte technische Verfahren zur Erfassung der physischen Umgebung bzw. zur Erfassung menschbezogener Einflüsse bzw. zur Erfassung körpereigener Bewegungen werden durch das technische Modul 204 zur Gesten-Erkennung harwareneutral repräsentiert. Das Gesten-Modul 203 dient als technische Einheit zwischen einem Erfassungssystem und der in einer Anwendungsdomäne genutzten softwaretechnischen industriellen Anwendung zum Betrieb eines technischen Prozesses. Die Anwendungsdomäne 205 kann ein IT-System auf einem Industrie-PC sein oder ein IT-System, das über einen Feldbus mit einer Mensch-Maschinen-Schnittstellen-Einheit (HIM-Einheit) datentechnisch vernetzt ist. Der Gesten-Katalog 207 definiert den Gesamtumfang aller für verschiedene Erfassungssysteme bekannten Freihandbefehle. Definierte Freihandbefehle werden in standardisierten Sammlungen von Gesten 208 für industrie- und anwendungsspezifische Aufgaben bereitgestellt und durch einen gestengesteuerten technischen Prozess als Kommunikationsbasis mit dem Gesten-Modul 203 genutzt.
-
3 zeigt den technischen Aufbau des Gesten-Moduls 302 mit den datentechnisch vernetzten Teilmodulen. Das Sensor-Interface-Modul 303 beinhaltet die technische Schnittstelle zur Einbindung heterogener Erfassungssysteme in das Gesten-Modul 302. Das Sensor-Interface-Modul 303 realisiert die datentechnische Verknüpfung mindestens eines Erfassungssystems an das Gesten-Modul 302. Im Gesture Pocessor-Modul 304 werden ein technischer Datenstrom einer Erfassungseinheit und möglich Freihandbewegungen identifiziert. Das Gesture Processor-Modul 304 ermöglicht ein technologieübergreifendes Erkennen von Gesten-Informationen in datentechnischen Sensorinformationen. Wird eine Kombination aus Beginn und Ende einer expliziten Freihandbewegung erkannt, wird dieser Auszug des Datenstroms aufbereitet und im Gesture Mapper-Modul 305 datentechnisch verarbeitet. Für die weitere Verarbeitung werden in aufbereiteten datentechnischen Sensorinformationen enthaltene Gesten identifiziert und mit den im Gesten-Set hinterlegten Einträgen bekannter Freihandbewegungen abgeglichen. Wird für einen datentechnischen Eintrag in einem Gesten-Set ein übereinstimmendes Sensormuster identifiziert, wird dieser Gesten-Eintrag mit den registrierten aktiven Gesten-Einträgen einer Applikation abgeglichen. Für den Fall, dass die Geste durch ein registriertes technisches System eingetragen wurde, wird das Ereignis einer erkannten Geste in einer Message-Queue über definierte Schnittstellen an registrierte technische Systeme weitergeleitet. Das Service Provider-Modul 306 teilt einem registrierten technischen System die erkannte Freihandbewegung über definierte Schnittstellen zum datentechnischen Austausch mit. Das Application Interface-Modul 307 definiert eine bidirektionale Schnittstelle zum datentechnischen Austausch zwischen dem Gesten-Modul 302 und einem gestengesteuerten technischen System. Über diese Schnittstelle kann ein gestengesteuertes technisches System den Betrachtungsraum durch Registrieren aktiver Freihandbehle aus dem Gesamtraum möglicher Gesten spezifizieren und das Auftreten einer Freihandbewegung an eine Prozessaktion binden. Die logische Trennung des Service-Provider-Moduls 306 vom Application Interface-Modul 307 ermöglicht den Betrieb des Gesten-Moduls 302 in einer über einen Feldbus datentechnisch verteilten Anordnung. Ein gestengesteuertes technisches System innerhalb des Anwendungskontextes 308 ist eine mit Freihandbefehlen steuerbare Applikation oder ein gestengesteuerter technischer Prozess unter Nutzung des Gesten-Moduls 302. Ein Gesten-Set 309 stellt eine industrie- und anwendungsspezifische Gruppierung geeigneter Gesten zu definierten Interaktionsaufgaben dar und definiert als Bestandteil des Gesten-Katalogs den Betrachtungsraum möglicher Freihandbefehle. Für die im Betrachtungsraum definierten Gesten erfolgt eine datentechnische Weiterverarbeitung innerhalb des Gesten-Moduls 302. Einträge definierter Gestern enthalten beispielsweise angelernte Sensormuster für stereo-kamerabasierte, tiefenkamerabasierte, radarfeld-, magnetfeld- und EMG-basierte Erfassungstechnologien. In einer Gesture Lookup-Tabelle 310 werden relevante Gesten-Einträge zur Laufzeit durch ein gestengesteuertes technisches System registriert und mit Aktionen zur Prozesssteuerung verknüpft.
-
4 verdeutlicht die Funktionsweise des Gesten-Zuordnungsverfahrens eines identifizierten Freihandbefehls aus einem aktiven industrie- und anwendungsspezifischen Gesten-Set 404 zu einem registrierten Freihandbefehl eines technischen Prozesses. Im Gesten-Modul 401 nutzt das Gesten Mapper-Modul 402 die datentechnisch aufbereiteten Gesten-Informationen einer Erfassungseinheit für den Abgleich mit registrierten Freihandbefehlen in der Gesture Lookup-Tabelle 403. Gesten-gesteuerte technische Systeme nutzen die Gesture Lookup-Tabelle 403, um Freihandbefehle für die gestenbasierte Steuerung eines Prozesses zu registrieren und diese mit einer anwendungsspezifischen Funktion zu verknüpfen. Über die datentechnisch verbundenen Teilmodule wird ein Gesten-Ereignis eines registrierten Freihandbefehls zur gestenbasierten Steuerung eines technischen Prozesses weitergeleitet. Ein Gesten-Set 404 stellt eine industrie- und anwendungsspezifische Gruppierung geeigneter Gesten dar und definiert als Bestandteil des Gesten-Katalogs den Betrachtungsraum möglicher Freihandbewegungen. Für die im Betrachtungsraum definieren Gesten erfolgt eine technische Weiterverarbeitung innerhalb des Gesten-Moduls. Abhängig vom Erfassungssystem wird für jeden Freihandbefehl eines Gesten-Sets 404 die technische Beschreibung analysiert, bis ein Eintrag mit einem passenden Sensormuster gefunden wurde. Gesten-Einträge können mehrere Sensormuster für unterschiedliche Sensoren beinhalten.
-
5 zeigt die datentechnische Repräsentation der im Gesten-Modul 501 genutzten Freihandbefehle. Die Kommunikationsbasis zwischen dem technischen Modul zur Gesten-Erkennung und einem gestengesteuerten technischen Prozess wird durch eine Sammlung industrie- und anwendungsfallspezifischer Freihandbefehle 502 definiert. Ein Gesten-Set 503 ermöglicht die Gruppierung von Gesten, die für einen bestimmten Anwendungskontext geeignet sind, in einer systemneutralen Auszeichnungssprache. Einträge in dem Gesten-Set 503 bestehen aus einer eindeutigen Identifikationsnummer, einer Beschreibung der Geste und einer Beschreibung der für diese Geste am besten geeigneten Interaktionsaufgaben, sowie der technischen Beschreibung eines Freihandbefehls für verschiedene Erfassungstechnologien.
-
6 ist eine schematische Darstellung einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) 600 mit sensorneutraler berührungsloser Gesten-Steuerung. In einem industrietauglichen Sensor-Ökosystem 601 wird der anwendungsfallbezogene Betrieb einer technischen Erfassungseinheit 602 zur gestenbasierten Steuerung eines technischen Systems mittels physischer Freihandbefehle ermöglicht.
-
Über ein Gesten-Modul Ökosystem 603 erfolgt die datentechnische Verbindung des Gesten-Moduls 604 mit einem OPC-UA Client 605, um SPS-Variablen und deren Wertemanipulation an das Auftreten definierter Freihandbefehle zu binden. Zur Bereitstellung und zur Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen wird eine industrielle OPC-UA Kommunikationsarchitektur 606 genutzt. Das technische Modul zur Gesten-Erkennung kommuniziert über diese Architektur mit einer SIMATIC WinCC Application 607 auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit). Über ein Prozessvisualisierungssystem 608 werden aktuelle Prozessinformationen angezeigt. Die Bereitstellung und Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen erfolgt über einen SPS-Speicher 609 und die in ein gestengesteuertes technisches System 610 integrierte SPS-Logik 611 zur Steuerung eines Betriebsmittels 612.
-
7 zeigt eine alternative Anordnung der in 5 dargestellten Komponenten, in der das technische Modul zur Gesten-Erkennung in einer über einen Feldbus datentechnisch vernetzten Anordnung die gestenbasierte Steuerung eines technischen Prozesses ermöglicht.
-
8 beinhaltet eine vereinfachte Beschreibung des datentechnischen Informationsflusses zwischen einer Erfassungseinheit und einem mittels Freihandbewegungen gesteuerten technischen Prozesses. Zudem ist die Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) mit den relevanten Teilmodulen dargestellt. Die gestenbasierte Steuerung eines technischen Prozesses kann direkt über das technische Modul zur technologieneutralen Identifikation standardisierter industrie-und anwendungsfallspezifischer Freihandbefehle über eine OPC-UA Architektur für ein interaktives Werkerführungs-System auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) dienen.
-
9 zeigt eine einen Prozess verbesssernde Anwendung des technischen Moduls zur technologieneutralen Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle am Anwendungsfall eines Dokumentationssystems. In 9 ist ein industrieller Sichtprüfplatz mit Prüftisch, Prüfobjekt und einem gestengesteuerten Dokumentationssystem exemplarisch dargestellt. Die schematische Darstellung des Workflows zeigt eine sensorneutrale Erfassung von Freihandbefehlen mit einem Gesten-Modul und einer neutralen Schnittstelle zur gestenbasierten Steuerung eines technischen Prozesses.
-
Es versteht sich, das die Ausführungsformen der vorliegenden Erfindung nicht beschränkt sind auf die speziellen Strukturen, Verfahrensschritte oder Materialien, die hier offenbart sind, sondern auf deren Äquivalente ausgedehnt werden können, wie es für einen Durchschnittsfachmann auf den relevanten Gebieten erkennbar ist. Es versteht sich, dass die hier benutzte Terminologie lediglich zum Beschreiben bestimmter Ausführungsformen verwendet wird und nicht als beschränkend auszulegen ist. Die beschriebenen Merkmale, Strukturen oder Eigenschaften können in jeder geeigneten Weise in einer oder mehreren Ausführungsformen kombiniert werden.
-
Bezugszeichenliste
-
- 100
- IT-System
- 101
- Sensor Ökosystem
- 102
- Sensor
- 103
- Gesten-Modul
- 104
- Gesten gesteuerter Prozess
- 200
- Gesten-Modul Ökosystem
- 201
- Sensor Ökosystem
- 202
- Sensor
- 203
- Sensor Framework
- 204
- Gesten-Modul
- 205
- Anwendungskontext (Clients)
- 206
- Gesten gesteuerter Prozess
- 207
- Gesten-Katalog
- 208
- Industrie / anwendungsspezifische Gesten-Sets
- 301
- Sensor Ökosystem
- 302
- Gesten-Modul
- 303
- Sensor-Interface-Modul
- 304
- Gesten Prozessor-Modul
- 305
- Gesten Mapper-Modul
- 306
- Service Provider-Modul
- 307
- Application Interface-Modul
- 308
- Anwendungskontext (Clients)
- 309
- Industrie / anwendungsspezifischer Gesten-Set
- 310
- Gesten-Zuordnungstabelle
- 401
- Gesten-Modul
- 402
- Gesten Mapper-Modul
- 403
- Gesten-Zuordnungstabelle
- 404
- Gesten-Katalog
- 501
- Gesten-Modul
- 502
- Industrie / anwendungsspezifische Gesten-Sets
- 503
- Gesten-Eintrag
- 600
- Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit)
- 601
- Sensor Ökosystem
- 602
- Sensor
- 603
- Gesten-Modul Ökosystem
- 604
- Gesten-Modul
- 605
- OPC-UA Client
- 606
- OPC-UA Server
- 607
- SIMATIC WinnCC Application
- 608
- SIMATIC WinCC Frontend
- 609
- Betriebsmittel Ökosystem
- 610
- SPS Speicher
- 611
- SPS Logik
- 612
- Betriebsmittel
- 901
- Prüfplatz
- 902
- Prüftisch
- 903
- Prüfobjekt
- 907
- Prüfsystem
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013211335 A1 [0002, 0003]
- WO 2009024881 A1 [0006]
- DE 60215504 T2 [0007]
- US 5454043 A [0010]
- DE 102013010932 A1 [0012]
-
Zitierte Nicht-Patentliteratur
-
- Osaman Alsayegh mit dem Titel „Guidance of video data acquisition by myoelectric signals for smart human-robot interfaces“ veröffentlicht in IEEE 5/1998, Seiten 3179 bis 3185 [0011]
