DE102020214811A1

DE102020214811A1 - Verfahren zum Betreiben einer Datenbrille und Datenbrille

Info

Publication number: DE102020214811A1
Application number: DE102020214811.2A
Authority: DE
Inventors: Thomas Alexander Schlebusch; Andreas Petersen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-11-25
Filing date: 2020-11-25
Publication date: 2022-05-25

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Datenbrille mit erweiterter Realität, wobei die Datenbrille ein Okulografiesystem, einen Bewegungssensor und eine Projektionseinheit zum Einblenden von virtuellen Elementen umfasst und wobei das Verfahren einen Schritt 205 des Einlesens eines Umgebungssignals, einen Schritt 210 des Einlesens eines Fixationssignals, einen Schritt 215 des Erkennens eines den Fixationspunkt umfassenden Objekts, einen Schritt 220 des Bestimmens von auf das Objekt bezogenen Informationen, einen Schritt 225 des Einlesens eines Gestensignals und einen Schritt 230 des Bereitstellens eines Aktionssignals umfasst.

Description

Stand der Technik
Die Erfindung geht von einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Teiltransparente Augmented Reality (AR) Datenbrillen überlagern virtuelle Inhalte dem natürlich wahrgenommenen Bild eines Umfelds eines Nutzers. Je nach Anwendungsfeld der AR-Brille ist eine Interaktion zwischen virtuellen Inhalten und realen Objekten möglich.
Stand der Technik sind gestenbasierte Eingaben, wie sie die Schrift US2019212827 beschreibt oder das direkte Einblenden von Informationen für erkannte Objekte in der realen Welt, wie die Schrift CN109996044 A beschreibt.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Betreiben einer Datenbrille, eine Datenbrille, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Das hier vorgestellte Verfahren ermöglicht eine intuitive Bedienung einer Datenbrille, wobei umfeldsensitive Eingaben über die Datenbrille getätigt werden können. Vorteilhafterweise kann dadurch eine Interaktion zwischen virtuellen Inhalten und realen Objekten unabhängig von Handgestik oder taktilen Eingabehilfen erleichtert werden.
Es wird ein Verfahren zum Betreiben einer Datenbrille mit erweiterter Realität vorgestellt, wobei die Datenbrille ein Okulografiesystem, einen Bewegungssensor und eine Projektionseinheit zum Einblenden von virtuellen Elementen umfasst und wobei das Verfahren folgende Schritte aufweist:

Einlesen eines Umgebungssignals, wobei das Umgebungssignal ein Abbild einer Umgebung repräsentiert,
Einlesen eines Fixationssignals über eine Okulografieschnittstelle zu dem Okulografiesystem, wobei das Fixationssignal eine Fixation eines Auges auf einen Fixationspunkt repräsentiert,
Erkennen eines den Fixationspunkt umfassenden Objekts der Umgebung unter Verwendung des Umgebungssignals und des Fixationssignals und Bereitstellen eines das Objekt repräsentierenden Objektsignals,
Bestimmen von auf das Objekt bezogenen Informationen unter Verwendung des Objektsignals und Bereitstellen eines die Informationen umfassenden Projektionssignals an eine Projektionsschnittstelle zu der Projektionseinheit,
Einlesen eines Gestensignals über eine Sensorschnittstelle zu dem Bewegungssensor und/oder über die Okulografieschnittstelle, wobei das Gestensignal eine Kopfgeste und/oder eine Augengeste repräsentiert, und
Bereitstellen eines Aktionssignals ansprechend auf das Gestensignal und das Objektsignal an eine Steuerschnittstelle zu einer Steuereinrichtung um eine Aktion bezüglich des Objekts zu veranlassen.

Bei der Datenbrille kann es sich beispielsweise um eine sogenannte Augmented Reality Datenbrille beziehungsweise AR-Brille handeln, mittels derer einer realen Umgebung eines die Datenbrille verwendenden Nutzers virtuelle Elemente hinzugefügt werden können. Die virtuellen Elemente können beispielsweise auf ein oder beide Brillengläser projiziert werden oder von einem oder beiden Brillengläsern in ein Sichtfeld des Nutzers projiziert werden, sodass die virtuellen Elemente im Blickfeld des Nutzers Objekte der Umgebung überlagern oder ergänzen können. Dabei kann die Umgebung des Nutzers beispielsweise von einer Weltkamera erfasst werden, deren Blickfeld im Wesentlichen dem des Nutzers entspricht. Zusätzlich oder alternativ kann eine die reale Umgebung überlagernde beziehungsweise ergänzende virtuelle Umgebung mittels der Projektionseinheit im Blickfeld des Nutzers bereitgestellt werden. Somit kann die Umgebung sowohl als virtuelle Umgebung als auch als reale Umgebung angesehen werden. Der aktuelle Blickwinkel des Nutzers kann dabei über das Okulografiesystem erfasst werden, beispielsweise indem eine Bewegung der Augen oder Veränderungen des Ruhepotenzials der Netzhaut gemessen werden können. Entsprechend seines Einsatzbereiches kann das Okulografiesystem auch als eye tracker bezeichnet werden. Dabei kann auf bekannte Verfahren zum Ermitteln des Blickwinkels des Nutzers zurückgegriffen werden. Ebenso kann auf bekannte Verfahren zurückgegriffen werden, die unter Verwendung eines Okulografiesystems, einer Welt-Kamera, die ebenso wie der Nutzer in die Umgebung schaut, und einer individuellen Kalibrierung den Punkt im Welt-Kamera-Bild ermitteln, auf das der Nutzer gerade schaut. Das hier vorgestellte Verfahren kann eine Interaktion zwischen den virtuellen Elementen und realen Objekten oder virtuellen Objekten über eine Koordination der Augen- und der Kopfbewegung ermöglichen. Beispielsweise kann ein Nutzer Informationen oder Kontrollmöglichkeiten zu realen Objekten oder virtuellen Objekten angezeigt bekommen, zum Beispiel kann der Name einer im Raum anwesenden Person angezeigt werden, eine Lampe eingeschaltet oder ein Rollladen geschlossen werden. Hierfür kann mittels des Okulografiesystems die Fixation eines oder beider Augen des Nutzers auf einen bestimmten Fixationspunkt erfasst werden. Der Fixationspunkt, der auch als Blickpunkt oder gaze point bezeichnet werden kann, kann zum Beispiel für ein vordefiniertes Zeitintervall auf einem Objekt der realen oder virtuellen Umgebung ruhen. Das Zeitintervall sollte nicht zu kurz gewählt werden, um nicht unnötig Optionen einzublenden, sollte aber auch nicht zu lang gewählt werden, um den Benutzer in der Aktivierung von Funktionen nicht unnötig einzuschränken. Beispielsweise kann ein Wert im Bereich von 500-4000 ms voreingestellt werden. In dem hier vorgestellten Verfahren wird ein eine solche Fixation repräsentierendes Fixationssignal eingelesen und mit einem ein Abbild der realen und zusätzlich oder alternativ virtuellen Umgebung repräsentierenden Umgebungssignal abgeglichen, um das fixierte Objekt zu erkennen. Wird das Objekt erkannt und sind durch den Benutzer Aktionen ausführbar oder weitere Informationen darstellbar, kann die Verfügbarkeit dieser Handlungsoptionen unter Verwendung eines Projektionssignals mittels der Projektionseinheit dem Nutzer optisch kenntlich gemacht werden. Beispielsweise kann die Projektionseinheit ansprechend auf das Projektionssignal ein Einblenden von virtuellen Elementen veranlassen, wie beispielsweise das Einblenden eines Rahmens um das fixierte Objekt oder eines kleinen Symbols. Im folgenden Schritt wird ein Gestensignal eingelesen, das eine Kopfgeste und zusätzlich oder alternativ eine Augengeste des Nutzers repräsentiert. Dabei kann die Kopfgeste von einem Bewegungssensor erfasst werden, bei dem es sich zum Beispiel um einen Inertialsensor handeln kann, der beispielsweise über Drehraten- oder Beschleunigungssensoren die Bewegung des Kopfes im Raum bestimmen kann. Eine Augengeste kann zum Beispiel von dem Okulografiesystem erfasst und über die Okulografieschnittstelle eingelesen werden. Wenn das Okulografiesystem auch eine Erkennung des Liedschlusses umfasst, bei dem die Pupille sozusagen aus dem Bild verschwindet, dann kann zum Beispiel auch der Lidschluss als Augengeste erfasst werden. Dabei kann das Gestensignal parallel zu dem Fixationssignal eingelesen und verarbeitet werden. Wird beispielsweise der Blick des Nutzers vom Objekt abgewandt bevor die Geste erfolgreich ausgeführt wurde, kann das Programm zum Beispiel das Verfahren abbrechen, zum vorherigen Schritt zurückwechseln und erneut auf die Fixierung eines Objekts warten. Wird die Geste erfolgreich ausgeführt, dann wird ansprechend auf das Gestensignal und das Objektsignal ein Aktionssignal bereitgestellt, aufgrund dessen die Steuereinrichtung eine Aktion bezüglich des Objekts veranlasst. Anschließend kann zum ersten Schritt zurückgekehrt und das Verfahren beliebig oft wiederholt werden.
Das Okulografiesystem kann somit auf besonders vorteilhafte Weise mit einem Bewegungssensor kombiniert werden. Dabei kann auf bekannte Bewegungssensoren zurückgegriffen werden, die die Bewegung des Kopfes des Nutzers im Raum bestimmen können. Durch das hier vorgestellte Verfahren ist vorteilhafterweise eine einfache Gestensteuerung der Datenbrille ohne Einsatz der Hände möglich, was zum Beispiel im Bereich industrieller Wartung Vorteile bietet, da Informationen und Steuerungsmöglichkeiten zu Objekten abgerufen werden können, auch wenn die Hände bereits mit Werkzeug belegt sind.
Optional kann der beschriebene Ansatz mit Systemen mit kapazitiven oder taktilen Schaltern oder kapazitiven Trackpads am Brillenbügel kombiniert werden, mit denen Eingaben möglich sind.
Vorteilhafterweise können eine Kopfgeste und eine Augenbewegung gegenläufig sein. Dadurch wird eine Unterscheidung von normalen Kopfbewegungen wie ein Nicken im Gespräch mit anderen Menschen möglich.
Somit kann gemäß einer Ausführungsform im Schritt des Einlesens eines Gestensignals das Gestensignal eine Kombination aus einer Kopfgeste und einer zur Kopfgeste gegenläufig ausgeführten Augengeste repräsentieren. Beispielweise kann ein Nutzer ein virtuelles Element, wie zum Beispiel ein Element zum Schließen einer Applikation, mit dem Auge fixieren und dabei den Kopf entlang einer Kopfgeste, wie zum Beispiel einem Nicken, Kopfschütteln oder Kreisen, bewegen. Die Augen können dann intuitiv die gegenläufige Gesten-Trajektorie zu der von dem Bewegungssensor erfassbaren Kopfgeste ausführen. Diese Form der kombinierten Gestik hat den Vorteil, dass sie intuitiv ausführbar ist und zugleich sehr selten als Alltagsgeste, beispielsweise in einer Gesprächssituation, verwendet wird. Zudem ist sie noch weit einfacher auszuführen als reine Blicktrajektorien mit dem Auge.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens eines Umgebungssignals das Umgebungssignal über eine Kameraschnittstelle zu einer Weltkamera zum Erfassen einer realen Umgebung eingelesen werden. Dabei kann das Umgebungssignal ein Abbild der realen Umgebung repräsentieren. Beispielsweise kann die Weltkamera als Teil der Datenbrille ausgeformt sein, wobei der Blickwinkel der Weltkamera dem des Nutzers entsprechen kann. Somit kann vorteilhafterweise die reale Umgebung mittels einer bereits bewährten Methodik leicht erfasst und verarbeitet werden. Dabei kann eine Interaktion zwischen der Datenbrille sowie von der Datenbrille bereitgestellten virtuellen Elementen und Objekten der realen Umgebung ermöglicht werden.
Zusätzlich oder alternativ kann im Schritt des Einlesens eines Umgebungssignals das Umgebungssignal über eine Projektionsschnittstelle zu der Projektionseinheit eingelesen werden. Dabei kann das Umgebungssignal ein Abbild der virtuellen Umgebung repräsentieren. Beispielsweise können von der Projektionseinheit virtuelle Elemente, wie beispielsweise eine Uhr oder zusätzliche Menüpunkte, im Blickfeld des Nutzers angezeigt werden. Die virtuellen Elemente können zum Beispiel mit Hilfe einer Inertialsensorik fest im virtuellen Raum verankert sein. Bei einer Kopfbewegung können die Elemente also durch das Blickfeld des Nutzers bewegt werden, sodass es erscheint, als wären sie fest im Raum verankert. Mittels des von der Projektionseinheit bereitgestellten Umgebungssignals können vorteilhafterweise auch solch virtuelle Elemente verarbeitet und unter Verwendung des Umgebungssignals angesteuert werden. Wenn viertuelle Objekte aus einer virtuellen Welt fixiert werden, dann kann die Kamera entfallen.
Gemäß einer Ausführungsform kann im Schritt des Bereitstellens das Projektionssignal bereitgestellt werden, um die Informationen in Form von virtuellen Menüelementen einzublenden. Ein solches Menüelement kann beispielsweise weitere Informationen oder Optionen zu dem Objekt beinhalten. Beispielsweise kann der Nutzer ein Objekt in seinem Umfeld fixieren, das über das Okulografiesystem und die Weltkamera erfasst werden kann. Erkennt die Vorrichtung beziehungsweise der Computer die Fixation des Objekts, kann kenntlich gemacht werden, dass zu diesem Objekt Aktionen ausgeführt werden können, beispielsweise indem ein Menüelement eingeblendet werden kann. Vorteilhafterweise kann durch die Verwendung von Menüelementen eine große Anzahl an Informationen für eine Nutzer bereitgestellt werden, unter Vermeidung einer übermäßigen Überlagerung der Umgebung durch virtuelle Elemente.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen zusätzlichen Schritt des Zuordnens der von dem Gestensignal repräsentierten Geste zu einem der virtuellen Menüelemente aufweisen, wobei im Schritt des Bereitstellens das Aktionssignal bereitgestellt werden kann, um die dem Menüelement zugeordnete Aktion zu veranlassen. Beispielsweise kann durch eine nickende Geste ein Menü geöffnet werden, das weitere Informationen oder Optionen zum fixierten Objekt anzeigt. Mittels der Projektionseinheit können zum Beispiel vier Optionen über, unter und beidseitig neben dem Objekt angezeigt werden. Durch eine jeweilige Kopf- oder Augenbewegung in die Richtung des virtuellen Elements kann zum Beispiel die dem virtuellen Element hinterlegte Option ausgewählt und ansprechend auf das Aktionssignal ausgeführt werden. Zusätzlich oder alternativ kann Aktivierung der Aktionen, beziehungsweise ein Öffnen des Menüs, zum Beispiel auch durch eine definierte Augengeste ausgeführt werden, beispielsweise durch ein kurzes Überkreuzen der Sehstrahlen, das heißt ein Schielen, oder zum Beispiel durch kurze koordinierte Augenbewegungen in eine Richtung, zum Beispiel nach oben, unten, rechts, links, und anschließende schnelle Re-Fixation des Objekts. Vorteilhafterweise kann somit die Bandbreite der für einen Nutzer zugänglichen Informationen und Optionen erweitert und eine Abfolge von aufeinander aufbauenden, beziehungsweise voneinander abhängigen, Aktionen ermöglicht werden.
Gemäß einer weiteren Ausführungsform kann das Projektionssignal eine Positionierung der virtuellen Elemente innerhalb eines vorbestimmten Toleranzbereichs um den Fixationspunkt umfassen. Beispielsweise kann die Blickwinkelregion, deren Verlassen das Ende der Fixation bedeuten würde, bei der Anzeige der virtuellen Elemente auf einen Bereich vergrößert werden, der die angezeigten Elemente umfasst. Das hat den Vorteil, dass damit die Optionen gelesen werden können, ohne die Interaktion vorzeitig zu beenden. Ebenso ist zum Beispiel eine Totzeit von einigen hundert Millisekunden möglich, nach deren Verstreichen die Menüelemente wieder ausgeblendet werden können, wenn keine Auswahl durch eine Geste erfolgt.
Zudem kann das Verfahren einen zusätzlichen Schritt des Bestimmens von auf das Objekt bezogenen weiteren Informationen unter Verwendung des Gestensignals aufweisen. In diesem Schritt kann zudem ein Bereitstellen eines die weiteren Informationen umfassenden weiteren Projektionssignals an die Projektionsschnittstelle erfolgen, sowie ein Einlesen eines weiteren Gestensignals über die Sensorschnittstelle und zusätzlich oder alternativ über die Okulografieschnittstelle, wobei das weitere Gestensignal eine weitere Kopfgeste und zusätzlich oder alternativ eine weitere Augengeste repräsentieren kann und wobei im Schritt des Bereitstellens das Aktionssignals unter Verwendung des weiteren Gestensignals und des Objektsignals an die Steuerschnittstelle bereitgestellt werden kann, um die Aktion oder eine weitere Aktion bezüglich des Objekts zu veranlassen. Mit anderen Worten können zum Beispiel außer einer einzelnen definierten Geste auch zusätzlich oder alternativ mehrere Gesten möglich sein. Beispielsweise können ein nickendes Absenken und Anheben des Kopfes als eine zusammenhängende Geste erfasst werden. Andere Beispiele sind eine leichte Kopfdrehung nach rechts und links oder eine kreisende Kopfbewegung um das Objekt beziehungsweise um den Fixationspunkt, die zum Beispiel sowohl recht als auch links drehend ausführbar sein kann. Zudem kann beispielsweise ein gleichzeitiges Schließen beider Augen oder ein doppeltes Klimpern mit einem Augenlid zum Beispiel als sogenannter Doppelklick erkannt werden. Vorteilhafterweise kann dadurch das Repertoire der erfassten Gestik erweitert werden, wodurch einem Nutzer eine größere Anzahl an Optionen zur Verfügung stehen kann.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Bereitstellens eines Markierungssignals unter Verwendung des Objektsignals an die Projektionsschnittstelle umfassen, um ein Einblenden einer virtuellen Markierung zum Bestätigen der Fixation zu veranlassen. Beispielsweise kann zunächst eine Fixation des Nutzers auf ein Objekt erfasst werden. Dauert die Fixation länger als ein vorher festgelegter zeitlicher Schwellwert, dann kann unter Verwendung des Umgebungssignals und des Fixationssignals das Objektsignal bereitgestellt und ermittelt werden, ob Informationen für das fixierte Objekt vorliegen. Virtuelle Objekte werden meist mit Hilfe einer Inertialsensorik fest im Raum verankert. Bei Kopfbewegung bewegen sich die Objekte also durch den Projektionsbereich, sodass es erscheint, als wären sie fest im Raum verankert. Der beschriebene Ansatz lässt sich zur Interaktion mit physisch vorhandenen Weltobjekten verwendet, deckt jedoch gleichwohl auch den Anwendungsfall virtueller Objekte bzw. virtueller Menüs ab.
Falls Optionen verfügbar sind, kann dem Nutzer die erfolgreiche Fixierung beziehungsweise Triggerung unter Verwendung des Markierungssignals mittels der Projektionseinheit in Form einer virtuellen Markierung angezeigt werden.
Beispielsweise kann es sich bei der virtuellen Markierung um einen grünen Rahmen um das Objekt handeln. Vorteilhafterweise kann dadurch eine erfolgreiche Fixation eines Objekts optisch kenntlich gemacht werden.
Zudem kann das Verfahren einen Schritt des Einlesens eines Bestätigungssignals über eine Sensorschnittstelle zu dem Bewegungssensor und zusätzlich oder alternativ über die Okulografieschnittstelle aufweisen, wobei das Bestätigungssignal eine bestätigende Kopfgeste und zusätzlich oder alternativ eine bestätigende Augengeste repräsentieren kann. Dabei kann der Schritt des Bestimmens ansprechend auf das Bestätigungssignal erfolgen. Beispielsweise kann zum Bestätigen einer Markierung der Nutzer zum Beispiel kurz an die Stelle eines zweiten Fixationspunkt und zurück zum ersten Fixationspunkt schauen. Liegt der zweite Fixationspunkt innerhalb eines vorbestimmten Toleranzbereiches um den ersten Fixationspunkt, beispielsweise auf einer Linie des grünen Rahmens der virtuellen Markierung, dann kann die Augenbewegung als Augengeste erkannt und mit ihr zum Beispiel die Fixation des markierten Objekts bestätigt werden. Nach erfolgreicher Bestätigung können auf das Objekt bezogenen Informationen unter Verwendung des Objektsignals und ein die Informationen umfassendes Projektionssignals an die Projektionsschnittstelle bereitgestellt werden.
Eine beispielhafte Anwendung dieser Verfahrensvariante ist die Steuerung eines Rollladens. Blickt der Benutzer zum Beispiel für länger als 2000 Millisekunden auf den Rollladen, dann kann eine virtuelle Markierung in Form eines Rahmens rund um den Rollladen gezogen werden. Zum Bestätigen der Fixation kann der Nutzer zum Beispiel einmal kurz nach ganz rechts und zurück zum vorher fixierten Punkt schauen. Nun kann der Nutzer beispielsweise ein Menü mit Optionen zur Steuerung des Rollladens eingeblendet bekommen. Der Nutzer kann einen Menüpunkt fixieren, der nach beispielsweise 1000 Millisekunden Fixationsdauer ebenfalls mit einem virtuellen grünen Rahmen versehen werden kann. Ein erneuter Blick nach ganz rechts und zurück auf die Menüoption kann den Menüpunkt aktivieren und es kann ein entsprechender Befehl an die Hausautomatisierung gesendet werden, um den Rollladen beispielsweise zu öffnen.
Vorteilhafterweise können durch den Schritt des Einlesens eines Bestätigungssignals auf ein Objekt bezogene Informationen erst nach einem aktiven Bestätigen durch den Nutzer angezeigt werden. Dadurch kann Energie eingespart und eine unerwünschte Überlagerung des Blickfeldes mit virtuellen Elementen vermieden werden kann.
Das hier vorgestellte Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Die Vorrichtung kann auch als Mensch-Maschine-Schnittstelle für eine Datenbrille basierend auf einem Okulografie- und einem Bewegungssensor bezeichnet werden. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Zudem wird eine Datenbrille mit erweiterter Realität vorgestellt, wobei die Datenbrille eine Weltkamera zum Erfassen einer realen Umgebung, ein Okulografiesystem, einen Bewegungssensor, eine Projektionseinheit zum Einblenden von virtuellen Elementen und eine Vorrichtung zum Ansteuern der Schritte einer Variante des zuvor vorgestellten Verfahrens umfasst. Über die Datenbrille und unter Verwendung des zuvor vorgestellten Verfahrens kann vorteilhafterweise eine Interaktion zwischen virtuellen Elementen und realen Objekten erleichtert werden. Ein Nutzer kann beispielsweise ein Objekt in seiner Umgebung fixieren, wobei das Objekt über das Okulografiesystem und die Weltkamera erfasst werden kann. Während der Nutzer das Objekt weiterhin fixiert, kann er beispielsweise eine Geste mit dem Kopf ausführen, zum Beispiel ein Nicken oder eine Kreisbewegung. Das Okulografiesystem kann die entgegengesetzte Bewegung der Augen zur Bewegung des Kopfes registrieren, das der Nutzer während der Ausführung der Geste das ausgewählte Objekt fixiert halten kann. Zusätzlich oder alternativ kann eine entsprechende Geste auch allein mit den Augen ausgeführt werden. Ansprechend auf die Kopf- oder Augengeste kann über die Datenbrille eine gewünschte Aktion bezüglich des Objekts ausgeführt werden.
Eine beispielhafte Anwendung für die Datenbrille kann die wiederum die Steuerung eines Rollladens sein. Blickt ein Nutzer zum Beispiel länger als 800 ms auf den Rollladen, dann kann ein entsprechendes Fixationssignal eingelesen und mit einem Umgebungssignal abgeglichen werden, wodurch das fixierte Objekt als Rollladen erkannt werden kann. Anschließend kann zum Beispiel mittels der Projektionseinheit im Blickfeld des Nutzers eine virtuelle Markierung in Form eines Rahmens rund um den Rollladen gezogen werden. Bei Ausführen einer entsprechenden Kopfgeste und zusätzlich oder alternativ einer Augengeste, beispielsweise einem Nicken, können zum Beispiel die Optionen 25 % weiter öffnen oberhalb, komplett öffnen rechts, komplett schließen links, und 25 % weiter schließen unterhalb des Rollladens angezeigt werden. Nach einer weiteren Kopfgeste und zusätzlich oder alternativ einer Augengeste, beispielsweise einem Fixieren der Option den Rollladen komplett zu öffnen, kann die Option zum Beispiel nach einer Wartezeit von wenigen 100 ms mit einem grünen Rahmen gekennzeichnet werden. Nach einer erneuten Kopf- und zusätzlich oder alternativ Augengeste kann ein Aktionssignal, beispielsweise zum kompletten Öffnen des Rollladens, an die Steuereinrichtung, beziehungsweise an die Heimatsautomatisierung, gesendet und der Rollladen geöffnet werden.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Betreiben einer Datenbrille;
3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Betreiben einer Datenbrille; und
4 eine Teilansicht einer Datenbrille gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung einer Vorrichtung 100 gemäß einem Ausführungsbeispiel. Die Vorrichtung 100, die auch als Verarbeitungseinheit bezeichnet werden kann, ist in diesem Ausführungsbeispiel in einer Datenbrille 101 angeordnet und ist ausgebildet, um das in den nachfolgenden 2 und 3 beschriebene Verfahren in entsprechenden Einheiten auszuführen.
Mittels der Vorrichtung ist ein von einem Nutzer durch die Datenbrille 101 wahrgenommenes Bild einer Umgebung mit virtuellen Inhalten überlagerbar. Hierfür umfasst die Vorrichtung 100 eine Einleseeinheit 102 zum Einlesen eines Umgebungssignals 105, 106. Bei dem Umgebungssignal 105, 106 handelt es sich um ein über eine Kameraschnittstelle 107 zu einer Weltkamera 110 einlesbares reales Umgebungssignal 105, das ein Abbild einer realen Umgebung repräsentiert und/oder um ein über eine Projektionsschnittstelle 135 zu einer Projektionseinheit 137 einlesbares virtuelles Umgebungssignal 106, das ein Abbild einer virtuellen Umgebung repräsentiert. Zudem umfasst die Vorrichtung 100 eine Einleseeinheit 115 zum Einlesen eines Fixationssignals 117 über eine Okulografieschnittstelle 120 zu einem Okulografiesystem 122, wobei das Fixationssignal 117 eine Fixation eines Auges auf einen Fixationspunkt repräsentiert.
Mittels einer Erkennungseinheit 125 wird ein den Fixationspunkt umfassendes Objekt der Umgebung erkannt. Dabei wird zum Erkennen des Objekts sowohl das Umgebungssignal 105 als auch das Fixationssignal 117 verwendet. Beispielsweise ist die Erkennungseinheit 125 ausgebildet, um den Fixationspunkt einer Position in dem Abbild der Umgebung zuzuordnen und ein Objekterkennungsverfahren auf einen die Position umgebenden Bereich des Abbilds anzuwenden, um das Objekt zu erkennen. Die Erkennungseinheit 125 ist ausgebildet, um nach dem Erkennen des Objekts, ein das Objekt repräsentierendes Objektsignal 127 bereitzustellen. Das Objektsignal 127 repräsentiert beispielsweise einen Typ des Objekts oder eine individuelle Bezeichnung des Objekts. Unter Verwendung des Objektsignals 127 sind von einer Bestimmungseinheit 130 auf das Objekt bezogenen Informationen bestimmbar. Beispielsweise ist die Bestimmungseinheit 130 ausgebildet, um die auf das Objekt bezogenen Informationen unter Verwendung des Objektsignals 127 aus einer Nachschlagetabelle auszulesen. Dabei ist die Bestimmungseinheit 130 ausgebildet, um infolge des Bestimmens der Informationen ein die Informationen umfassendes Projektionssignal 132 an die Projektionsschnittstelle 135 zu der Projektionseinheit 137 bereitzustellen. Die Projektionseinheit 137 ist in diesem Ausführungsbeispiel ausgebildet, um ansprechend auf das Projektionssignal 132 die Informationen darstellende virtuelle Elemente in einen Projektionsbereich der Datenbrille 101, der auch als Sichtfeld bezeichnet werden kann, einzublenden.
Des Weiteren umfasst die Vorrichtung 100 eine Einleseeinheit 140 zum Einlesen eines Kopfgestensignals 142 über eine Sensorschnittstelle 145 zu einem Bewegungssensor 147. Zusätzlich oder alternativ ist die Einleseeinheit 140 ausgebildet, um ein Augengestensignal 150 über die Okulografieschnittstelle 120 einzulesen. Dabei repräsentiert das Kopfgestensignal 142 eine Geste des Nutzers mit dem Kopf, während das Augengestensignal 150 eine Geste des Nutzers mit einem oder beiden Augen repräsentiert.
Dabei ist die Einleseeinheit 140 gemäß einem Ausführungsbeispiel ausgebildet, um eine Kombination einer Augengeste und einer gegenläufig zur Augengeste ausgeführten Kopfgeste als eine vordefinierte Geste zu verarbeiten. Solche gegenläufigen Augen- und Kopfbewegungen lassen sich im Gegensatz zu reinen Augenbewegungen besonders einfach und intuitiv ausführen und treten trotzdem selten im „normalen Umherschauen“ auf.
Das Kopfgestensignal 142 und/oder das Augengestensignal 150 werden als Gestensignal 151 bereitgestellt. Ansprechend auf das Gestensignal 151 und/oder auf das Objektsignal 127 wird von einer Bereitstellungseinheit 152 ein Aktionssignal 155 an eine Steuerschnittstelle 157 zu einer Steuereinrichtung 160 bereitgestellt, um eine Aktion bezüglich des Objekts zu veranlassen. Beispielsweise ist die Steuereinrichtung 160 ausgebildet, um ein Steuersignal zum Veranlassen der Aktion über eine Funkschnittstelle auszusenden.
Mit anderen Worten basiert ein Ausführungsbeispiel des in dieser Figur gezeigten Systems auf der Welt-Kamera 110, dem Okulografiesystem 122 und dem Bewegungssensor 147. In einem anderen Ausführungsbeispiel kann anstelle der Welt-Kamera beispielsweise auch ein kamerabasierter Gestensensor eingesetzt werden. Die Vorrichtung 100 ist in diesem Ausführungsbeispiel ausgebildet, um aus den Daten des Okulografiesystems 122, dem Welt-Kamerabild und der gespeicherten Kalibrierung das vom Benutzer fixierte Bild zu ermitteln und das in den nachfolgenden 2 und 3 beschriebene Programm auszuführen. Darüber ist die Vorrichtung ausgebildet, um eine Projektionseinheit 137 zu steuern, die ausgebildet ist, um entsprechende Menüoptionen oder Informationen zum ausgewählten Objekt anzuzeigen. Über verschiedenen Datenschnittstellen sind Steuerungswerte sendbar oder Informationen zur Anzeige abrufbar.
Der beschriebene Ansatz ermöglicht eine Interaktion mit einem Objekt. Dabei kann zum Erkennen des Objekts eine das Objekt betreffende Information für den Anwendungsfall eines realen Objekts über eine Kameraschnittstelle eingelesen werden und für den Anwendungsfall eines virtuellen Objekts über eine Schnittstelle zu einer Projektionseinheit oder Steuereinheit. Ein beispielhaftes virtuelles Objekt ist beispielsweise eine Uhr oder ein Messenger-Symbol, das im virtuellen Raum um den Nutzer platziert ist und das mit den beschriebenen Gesten aktiviert werden kann. Dafür ist keine Kamera erforderlich.
In einem Ausführungsbeispiel ist die Bestimmungseinheit 130 zudem ausgebildet, um unter Verwendung des Gestensignals 151 auf das Objekt bezogene weitere Informationen zu bestimmen. Lediglich beispielhaft werden die weiteren Informationen mittels eines weiteren Projektionssignals 167 an die Projektionsschnittstelle 135 bereitgestellt. Außerdem ist die Einleseeinheit 140 in diesem Ausführungsbeispiel ausgebildet, um ein weiteres Kopfgestensignal 172 und/oder ein weiteres Augengestensignal 175 einzulesen und als weiteres Gestensignal 180 bereitzustellen. In diesem Ausführungsbeispiel repräsentiert das weitere Kopfgestensignal 172 eine weitere Kopfgeste des Nutzers und das weitere Augengestensignal 175 eine weitere Augengeste. Lediglich beispielhaft ist die Bereitstellungseinheit 152 ausgebildet, um das Aktionssignals 155 unter Verwendung des weiteren Gestensignals 180 und des Objektsignals 127 an die Steuerschnittstelle 157 bereitzustellen, um die Aktion oder eine weitere Aktion bezüglich des Objekts zu veranlassen.
In einem Ausführungsbeispiel ist die Bereitstellungseinheit 130 zudem ausgebildet, um unter Verwendung des Objektsignals 127 ein Markierungssignal 182 an die Projektionsschnittstelle 135 bereitzustellen. Dabei ist die Projektionseinheit 137 in diesem Ausführungsbeispiel ausgebildet, um ansprechend auf das Markierungssignal 182 eine virtuelle Markierung zum Bestätigen der Fixation eines Objekts in das Sichtfeld einzublenden. Lediglich beispielhaft handelt es sich bei der Markierung um einen virtuellen Rahmen, der um das fixierte Objekt gezogen wird. Mittels einer Einleseeinheit 140 ist in diesem Ausführungsbeispiel ein Bestätigungssignal 185 einlesbar, bei dem es sich um ein über die Sensorschnittstelle 145 eingelesenes Kopfbestätigungssignal 187 und/oder um ein über die Okulografieschnittstelle 120 eingelesenes Augenbestätigungssignal 190 handelt. Entsprechend repräsentiert das Bestätigungssignal 185 eine bestätigende Kopfgeste und/oder eine bestätigende Augengeste. Ansprechend auf das Bestätigungssignal 185 sind in diesem Ausführungsbeispiel mittels der Bestimmungseinheit 130 Informationen bezüglich des Objekts bestimmbar und das Projektionssignal 132 bereitstellbar.
2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Betreiben einer Datenbrille. Das Verfahren 200 kann beispielsweise unter Verwendung der anhand von 1 beschriebenen Datenbrille ausgeführt werden.
Das in 2 gezeigte Verfahren 200, das auch als Programm oder Gesten-Erkennungsprogramm bezeichnet werden kann, umfasst einen Schritt 205 des Einlesens eines Umgebungssignals, wobei das Umgebungssignal ein Abbild der Umgebung repräsentiert.
Zudem weist das Verfahren 200 einen Schritt 210 des Einlesens eines Fixationssignals über eine Okulografieschnittstelle zu dem Okulografiesystem auf, wobei das Fixationssignal eine Fixation eines Auges auf einen Fixationspunkt repräsentiert. Mit anderen Worten wartet in diesem Schritt das Programm auf die Fixation eines Objektes durch einen Nutzer der Datenbrille. Hierzu muss der Blickpunkt, beziehungsweise gaze point, des Nutzers für ein definiertes Zeitintervall auf einem Objekt in der realen oder virtuellen Umgebung ruhen.
In einem anschließenden Schritt 215 des Erkennens erfolgt ein Erkennen eines den Fixationspunkt umfassenden Objekts der Umgebung unter Verwendung des Umgebungssignals und des Fixationssignals und ein Bereitstellen eines das Objekt repräsentierenden Objektsignals.
Unter Verwendung des Objektsignals werden in einem Schritt 220 des Bestimmens auf das Objekt bezogene Informationen bestimmt und ein die Informationen umfassendes Projektionssignals an eine Projektionsschnittstelle zu einer Projektionseinheit bereitgestellt. Wird das Objekt also erkannt und sind bezüglich dieses Objekts Aktionen ausführbar oder weitere Informationen darstellbar, dann ist die Verfügbarkeit dieser Handlungsoptionen bereits in diesem Schritt visualisierbar.
Nach dem Schritt 220 des Erkennens folgt ein Schritt 225 des Einlesens eines Gestensignals. In diesem Ausführungsbeispiel erfolgt das Einlesen über eine Sensorschnittstelle zu dem Bewegungssensor, wobei das Gestensignal eine Kopfgeste repräsentiert. In einem anderen Ausführungsbeispiel wird in dem Schritt 225 ein Gestensignal über die Okulografieschnittstelle eingelesen. Das Gestensignal repräsentiert dabei eine Augengeste.
Anschließend erfolgt in einem Schritt 230 des Bereitstellens ein Bereitstellen eines Aktionssignals ansprechend auf das Gestensignal und auf das Objektsignal an eine Steuerschnittstelle zu einer Steuereinrichtung, um eine Aktion bezüglich des Objekts zu veranlassen.
Mit anderen Worten wartet das Programm im Schritt 225 des Einlesens auf die Erkennung einer Kopfgeste des Nutzers. Wird der Blick des Nutzers vom Objekt abgewandt, bevor die Geste erfolgreich ausgeführt wurde, wechselt das Programm in diesem Ausführungsbeispiel wieder zu Schritt 210 des Einlesens und wartet auf die Fixierung des nächsten Objektes. Wird die Geste erfolgreich ausgeführt, gelangt das Programm zu Schritt 230 des Bereitstellens, in dem die mit der Geste verbundene Aktion ausgelöst wird. Danach gelangt das Programm wieder in die den Ausgangszustand und das Verfahren 200 ist erneut durchführbar.
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Betreiben einer Datenbrille. Dabei kann es sich um das in 2 beschriebene Verfahren handeln, mit dem Unterschied, dass in diesem Ausführungsbeispiel ergänzende Schritte in den Verfahrensablauf integriert sind.
In einem Ausführungsbeispiel wartet das Gesten-Erkennungsprogramm zunächst auf die Fixation eines Objektes durch den Nutzer. Hierzu muss der Blickpunkt für ein definiertes Zeitintervall auf dem Objekt ruhen. Das Zeitintervall ist lediglich beispielhaft auf einen Wert von 2000 ms voreingestellt. In einem anderen Ausführungsbeispiel kann dieser Wert im Bereich von 500 ms bis 4000 ms liegen, so dass nicht unnötig Optionen eingeblendet werden, das Zeitintervall aber zugleich aber auch nicht zu lang ist, um den Nutzer nicht in der Aktivierung von Funktionen unnötig einzuschränken. In diesem Ausführungsbeispiel werden die Koordinaten des Blickpunkts gespeichert. Die Funktion „Optionen einblenden“ ist lediglich beispielhaft derart gestaltet, dass sie vom Nutzer ein- und ausgeschaltet werden kann, um in bestimmten Situationen Fehlauslösungen oder Latenzen zu vermeiden.
In einem Ausführungsbeispiel folgt daraufhin ein Schritt 305 des Bereitstellens eines Markierungssignals. In diesem Schritt wird ein Markierungssignal unter Verwendung des Objektsignals an die Projektionsschnittstelle bereitgestellt, um ein Einblenden einer virtuellen Markierung zum Bestätigen der Fixation zu veranlassen. Lediglich beispielhaft ist die virtuelle Markierung in diesem Ausführungsbeispiel als virtueller grüner Rahmen um das fixierte Objekt ausgeformt. In einem weiteren Schritt 310 des Einlesens eines Bestätigungssignals wird ein Bestätigungssignal über die Sensorschnittstelle zu dem Bewegungssensor und/oder über die Okulografieschnittstelle eingelesen. Dabei repräsentiert das Bestätigungssignal in diesem Ausführungsbeispiel eine bestätigende Augengeste. In einem anderen Ausführungsbeispiel kann das Bestätigungssignal eine bestätigende Augengeste repräsentieren. Erst nach erfolgreicher Bestätigung der Fixation erfolgt der Schritt 220 des Bestimmens ansprechend auf das Bestätigungssignal. Hierbei wird, lediglich beispielhaft mittels Bildverarbeitungsalgorithmen, ermittelt, ob für das fixierte Objekt Informationen zur Verfügung stehen. In diesem Ausführungsbeispiel sind diese Informationen über eine Datenschnittstelle zu einer Internetdatenbank abrufbar. Alternativ kann eine Kommunikation mit einer Produktionsanlage oder einem Warenwirtschaftssystem möglich sein. Sind für das fixierte Objekt keine Optionen verfügbar, wird dies dem Nutzer lediglich beispielhaft durch Einblenden eines Symbols kenntlich gemacht und das System kehrt zu Schritt 205 des Einlesens zurück. Wird das Objekt erkannt und sind diesbezüglich Aktionen ausführbar oder weitere Informationen darstellbar, dann werden diese Handlungsoptionen dem Nutzer angezeigt. Unter Verwendung des Gestensignals werden in diesem Ausführungsbeispiel in einem Schritt 315 des Bestimmens von auf das Objekt bezogenen weiteren Informationen weitere Informationen abgerufen. Lediglich beispielhaft wird in diesem Schritt 315 des Bestimmens ein die weiteren Informationen umfassendes weiteres Projektionssignal an die Projektionsschnittstelle bereitgestellt, um die weiteren Informationen in Form von virtuellen Menüelementen einzublenden. In einem zusätzlichen Schritt 320 des Einlesens wird in diesem Ausführungsbeispiel ein weiteres Gestensignal über die Sensorschnittstelle eingelesen, wobei das weitere Gestensignal eine weitere Kopfgeste repräsentiert. In einem anderen Ausführungsbeispiel kann das weitere Gestensignal über die Okulografieschnittstelle eingelesen werden und eine weitere Augengeste repräsentieren. Es folgt ein Schritt 325 des Zuordnens der von dem Gestensignal repräsentierten Geste zu einem der virtuellen Menüelemente. Neben der Ermittlung eines physikalischen Objektes im Sichtfeld findet also in diesem Ausführungsbeispiel eine Ermittlung statt, ob sich am Ort der Fixation ein virtuelles Objekt befindet, das aktiviert werden soll. Im anschließenden Schritt 230 des Bereitstellens wird das Aktionssignals unter Verwendung des weiteren Gestensignals und des Objektsignals an die Steuerschnittstelle bereitgestellt, um die dem Menüelement zugeordnete Aktion zu veranlassen. Mit anderen Worten wird in diesem Ausführungsbeispiel durch eine nickende Geste ein Menü geöffnet, das weitere Informationen oder Optionen zum Objekt anzeigt. Lediglich beispielhaft handelt es sich um vier Optionen, die über, unter und beidseitig neben dem Objekt angezeigt werden. Im nächsten Schritt wird durch eine jeweilige Kopfbewegung in die Richtung der Option die Option ausgewählt und/oder ausgeführt. Die Blickwinkel-Region, beziehungsweise der Toleranzbereich, deren Verlassen das Ende der Fixation bedeuten würde, wird in diesem Ausführungsbeispiel bei Anzeige von Optionen auf einen Bereich vergrößert, der die angezeigten Optionen umfasst, damit die Optionen gelesen werden können, ohne die Interaktion vorzeitig zu beenden. Lediglich beispielhaft besteht zudem eine Totzeit von einigen hundert Millisekunden, nach deren Verstreichen die Menüelemente wieder ausgeblendet werden, wenn keine Auswahl durch eine weitere Geste erfolgt.
In einem alternativen Ausführungsbeispiel wartet das Programm anstelle eines Nickens auf eine erneute Augenbewegung. Sobald eine signifikante Augenbewegung erkannt wurde, wird eine Zeitmessung gestartet und die Koordinaten der Augenbewegung im Zeitverlauf aufgezeichnet. Kommen die Augen erneut für eine Fixation zur Ruhe, ermittelt das Programm die Koordinaten des aktuellen Blickpunkts und ob der aktuelle Blickpunkt innerhalb eines beliebig, aber fest gewählten Toleranzbereichs um den gespeicherten Blickpunkt der ersten Fixation liegt. Ist dies nicht der Fall, wird die Gestenerkennung abgebrochen und das System kehrt in seinen Ausgangszustand zurück. Liegt die Fixation im Toleranzbereich, ermittelt das Programm, ob es sich um eine korrekt ausgeführte Augengeste handelt, indem das Programm die aufgezeichnete Augenbewegung mit hinterlegten möglichen Augengesten vergleicht. Das Programm kann auch in der Lage sein mehr als eine Geste zu erkennen. Im folgenden Schritt sendet das Programm die Kennung der Geste an einen Steuerrechner, um entsprechend hinterlegte Aktionen auszuführen. Sollten die Augen bis zum Erreichen eines zeitlichen Schwellwerts der Zeitmessung nicht zu einer erneuten Fixation gekommen sein, gelangt das Programm in Ausgangszustand und die Gestenerkennung wird abgebrochen.
4 zeigt eine Teilansicht einer Datenbrille 101 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 beschriebene Datenbrille mit der beschriebenen Vorrichtung handeln.
In dieser Figur ist lediglich beispielhaft ein Projektionsbereich 405 der Datenbrille 101, ein fixiertes Objekt 410, eine erster Fixationspunkt 415, ein Toleranzbereich 420 um den ersten Fixationspunkt 415 und ein zweiter Fixationspunkt 425 dargestellt. Bei dem fixierten Objekt 410 handelt es sich um ein reales Objekt, das von dem Nutzer der Datenbrille 101 hindurch betrachtet.
In diesem Ausführungsbeispiel ist das Objekt 410 durch den Nutzer fixierbar, indem der Nutzer den dem Objekt 410 zuordenbaren ersten Fixationspunkt 415 fixiert. Lediglich beispielhaft ist für die Dauer der Fixation ein zeitlicher Schwellwert von 2000 ms festgelegt. In einem anderen Ausführungsbeispiel kann für die Fixationszeit ein Wert im Bereich von 500 bis 4000 ms festgelegt sein. Bei Erreichen oder Überschreiten dieses Schwellenwerts erkennt die Vorrichtung das betrachtete Objekt 410 und ermittelt, ob Optionen beziehungsweise Informationen zu diesem Objekt 410 verfügbar sind. Falls Optionen verfügbar sind, ist für den Nutzer die erfolgreiche Fixierung oder Triggerung durch eine virtuelle Markierung 430 anzeigbar, indem lediglich beispielhaft ein grüner Rahmen um das Objekt 410 im Projektionsbereich 405 einblendbar ist. In diesem Ausführungsbeispiel ist ein Bestätigen der Fixation möglich, indem der Nutzer kurz an die Stelle des zweiten Fixationspunkts 425 und zurück zur Stelle des ersten Fixationspunkts 415 schaut. Wenn die erneute Fixation des ersten Fixationspunktes 415 innerhalb des Toleranzbereichs 420 liegt, der auch als Toleranzblickwinkelbereich bezeichnet werden kann, ist die Augenbewegung als Geste erkennbar und aus der Spur der Augenbewegung die Art der Geste ermittelbar. In anderen Ausführungsbeispielen kann zum Bestätigen der Fixation eine oder mehrere andere Gesten hinterlegt sein. Mögliche alternative Gesten wären unvollständig und beispielhaft: kurz nach rechts schauen, kurz nach links schauen, kurz nach oben schauen, kurz nach unten schauen, Augen rechts herum rollen, Augen links herum rollen, nach oben, nach unten, zurück zum Fixationspunkt schauen. Bei binokularen Okulografiesystemen kann auch die Parallaxe der Sehstrahlen zur Gestenerkennung genutzt werden, das heißt Aktionen durch kurzes Überkreuzen der Sehstrahlen vor dem auszuwählenden Objekt („Objekt anschielen“) können aktiviert werden. Zusätzlich oder alternativ kann die Vorrichtung auch eine Erkennung des Lidschlusses umfassen, bei dem die Pupille aus dem Bild verschwindet. Damit kann auch der Lidschluss als Augengeste verwendbar sein, beispielsweise gleichzeitiges Schließen beider Augen oder doppeltes „Klimpern“ mit einem Augenlid beispielsweise als „Doppelklick“. Optional kann die Vorrichtung auch ausgebildet sein, um eine zu einer Augengeste gegenläufig ausgeführte Kopfgeste als eine kombinierte Geste zu erkennen und dieser Geste hinterlegte weiterführende Schritte zu veranlassen.
In diesem Ausführungsbeispiel sind zusätzliche Informationen zum Objekt 410 in Form von virtuellen Menüelementen 435 im Projektionsbereich 405 einblendbar. Die Menüelemente 435 sind jeweils durch eine Kopf- oder Augengeste oder einer Kombination einer Kopf- und einer Augengeste von einem Nutzer auswählbar, wobei jedem der Menüelemente 435 eine nach dem Auswählen durchzuführende Aktion zugeordnet ist. Hierfür ist der Toleranzbereich ausweitbar, sodass die angezeigten Menüelemente für die Dauer ihrer Anzeige innerhalb des Toleranzbereichs anordenbar sind. Lediglich beispielhaft ist durch Blick auf ein Menüelement beziehungsweise eine Option und eine anschließende nickende Geste die dem Menüelement hinterlegte Aktion ausführbar. In einem weiteren Ausführungsbeispiel kann das automatische Einblenden der virtuellen Markierung, die auch als Trigger-Marker oder Triggermarkeranzeige bezeichnet werden kann, entfallen und erst nach erfolgreicher Augengeste können eine Objekterkennung durchführbar und für das Objekt verfügbarer Optionen ermittelbar sein, um in einem zusätzlichen Schritt den Triggermarker zu einer erneuten Aktivierung anzuzeigen oder ein Optionenmenü zu öffnen.
In einer anderen Ausführungsform kann die Gestensteuerung unabhängig von realen oder virtuellen Objekten erfolgen. Anwendungen sind zum Beispiel die Funktionen „zurück“, „nächstes Element/Seite“, „zeige den Desktop“, „öffne eine bestimme Anwendung“. Dazu kann eine Kombinationen von Augen und Kopfbewegungen durchführbar sein, die idealerweise im täglichen Leben nicht oder nur selten vorkommen. Zum Beispiel kann eine bestimmte Augenbewegung ohne Kopfbewegung durchführbar sein. Dies kann ein Blick entlang des Blickfeldrandes sein, bei dem das Auge diesen Rand zweimal überstreicht, zum Beispiel entlang des rechten Blickfeldrandes runter und wieder hoch. Ähnlich wie bei einem Doppelklick bei der Computermaus kann hierbei durch den Nutzer ein Zeitlimit definierbar sein, innerhalb dessen die Geste ausgeführt werden soll um als solche erkennbar zu sein. Zusätzlich oder alternativ kann eine bestimmte Augenbewegung zusammen mit einer Kopfbewegung ausführbar sein. Dies kann ein Blick in eine Richtung sein, bei gleichzeitiger Drehung des Kopfes in die entgegengesetzte Richtung, oder auch die Fixierung eines Punktes mit anschließender Kopfgeste. Eine solche Kopfgeste kann beispielsweise in vier Schritten durchführbar sein: Fixierung eines Beliebigen Punktes im Raum, Hin- und Herbewegen des Kopfes, beispielsweise als Kopfschütteln (links/rechts) oder Nicken (oben/unten), Bewegung des Kopfes rechtwinklig zur Bewegung im vorherigen Schritt, beispielsweise als Bewegung nach oben oder unten oder Bewegung nach links oder rechts, und Aufheben der Fixierung.
Beispielsweise handelt es sich bei dem Objekt 410 um einen Rollladen. Die Datenbrille 101 ermöglicht es dem Nutzer eine Aktion des Rollladens dadurch zu steuern, dass der Nutzer den Rollladen fixiert und anschließend die Aktion, durch eine entsprechende Geste auswählt. Beispielsweise werden dem Nutzer nach Erkennen der Fixierung des Rollladens unter Verwendung der Menüelemente 435 als auswählbare Aktionen ein Schließen des Rollladens und ein Öffnen des Rollladens angeboten. Gemäß einem Ausführungsbeispiel wird die Aktion ausgeführt, indem beispielsweise von einer Steuereinrichtung der Datenbrille 101 ein Steuersignal zum Steuern eines Antriebs des Rolllandens ausgesendet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019212827 [0003]
CN 109996044 A [0003]

Claims

Verfahren (200) zum Betreiben einer Datenbrille (101) mit erweiterter Realität, wobei die Datenbrille (101) ein Okulografiesystem (122), einen Bewegungssensor (147) und eine Projektionseinheit (137) zum Einblenden von virtuellen Elementen (430, 435) umfasst und wobei das Verfahren (200) folgende Schritte aufweist: Einlesen (205) eines Umgebungssignals (105, 106), wobei das Umgebungssignal (105) ein Abbild einer Umgebung repräsentiert; Einlesen (210) eines Fixationssignals (117) über eine Okulografieschnittstelle (120) zu dem Okulografiesystem (122), wobei das Fixationssignal (117) eine Fixation eines Auges auf einen Fixationspunkt (415, 425) repräsentiert; Erkennen (215) eines den Fixationspunkt (415, 425) umfassenden Objekts (410) der Umgebung unter Verwendung des Umgebungssignals (105, 106) und des Fixationssignals (117) und Bereitstellen eines das Objekt (410) repräsentierenden Objektsignals (127); Bestimmen (220) von auf das Objekt (410) bezogenen Informationen unter Verwendung des Objektsignals (127) und Bereitstellen eines die Informationen umfassenden Projektionssignals (132) an eine Projektionsschnittstelle (135) zu der Projektionseinheit (137); Einlesen (225) eines Gestensignals (151) über eine Sensorschnittstelle (145) zu dem Bewegungssensor (147) und/oder über die Okulografieschnittstelle (120), wobei das Gestensignal (151) eine Kopfgeste und/oder eine Augengeste repräsentiert; und Bereitstellen (230) eines Aktionssignals (155) ansprechend auf das Gestensignal (151) und das Objektsignal (127) an eine Steuerschnittstelle (157) zu einer Steuereinrichtung (160) um eine Aktion bezüglich des Objekts (410) zu veranlassen.
Verfahren (200) gemäß Anspruch 1, wobei im Schritt des Einlesens (225) eines Gestensignals (151) das Gestensignal (151) eine Kombination aus einer Kopfgeste und einer zur Kopfgeste gegenläufig ausgeführten Augengeste repräsentiert.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt des Einlesens (205) eines Umgebungssignals (105, 106) das Umgebungssignal (105) über eine Kameraschnittstelle (107) zu einer Weltkamera (110) zum Erfassen einer realen Umgebung eingelesen wird, wobei das Umgebungssignal (105) ein Abbild der realen Umgebung repräsentiert.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt des Einlesens (205) eines Umgebungssignals (105, 106) das Umgebungssignal (106) über eine Projektionsschnittstelle (107) zu der Projektionseinheit (137) eingelesen wird, wobei das Umgebungssignal (106) ein Abbild der virtuellen Umgebung repräsentiert.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt des Bereitstellens (230) das Projektionssignal (132) bereitgestellt wird, um die Informationen in Form von virtuellen Menüelementen (435) einzublenden.
Verfahren (200) gemäß Anspruch 5, mit einem Schritt des Zuordnens (325) der von dem Gestensignal (151) repräsentierten Geste zu einem der virtuellen Menüelemente (435), wobei im Schritt des Bereitstellens (230) das Aktionssignal (155) bereitgestellt wird, um die dem Menüelement zugeordnete Aktion zu veranlassen.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei das Projektionssignal (132) eine Positionierung der virtuellen Elemente (430, 435) innerhalb eines vorbestimmten Toleranzbereichs (420) um den Fixationspunkt (415, 425) umfasst.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (315) des Bestimmens von auf das Objekt (410) bezogenen weiteren Informationen unter Verwendung des Gestensignals (151) und Bereitstellen eines die weiteren Informationen umfassenden weiteren Projektionssignals (132) an die Projektionsschnittstelle (135) und Einlesen eines weiteren Gestensignals (172, 175) über die Sensorschnittstelle (145) und/oder über die Okulografieschnittstelle (120), wobei das weitere Gestensignal (172, 175) eine weitere Kopfgeste und/oder eine weitere Augengeste repräsentiert und wobei im Schritt des Bereitstellens (230) das Aktionssignals (155) unter Verwendung des weiteren Gestensignals (172, 175) und des Objektsignals (127) an die Steuerschnittstelle (157) bereitgestellt wird, um die Aktion oder eine weitere Aktion bezüglich des Objekts (410) zu veranlassen.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (305) des Bereitstellens eines Markierungssignals (182) unter Verwendung des Objektsignals (127) an die Projektionsschnittstelle (135), um ein Einblenden einer virtuellen Markierung (430) zum Bestätigen der Fixation zu veranlassen.
Verfahren (200) gemäß Anspruch 9s, mit einem Schritt (310) des Einlesens eines Bestätigungssignals (185) über eine Sensorschnittstelle (145) zu dem Bewegungssensor (147) und/oder über die Okulografieschnittstelle (120), wobei das Bestätigungssignal (185) eine bestätigende Kopfgeste und/oder eine bestätigende Augengeste repräsentiert, wobei der Schritt (220) des Bestimmens ansprechend auf das Bestätigungssignal (185) erfolgt.
Vorrichtung (100), die eingerichtet ist, um die Schritte (205, 210, 215, 220, 225, 230) des Verfahrens (200) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (102, 115, 125, 130, 140, 152) auszuführen und/oder anzusteuern.
Datenbrille (101) mit erweiterter Realität, wobei die Datenbrille (101) eine Weltkamera (110) zum Erfassen einer realen Umgebung, ein Okulografiesystem (122), einen Bewegungssensor (147), eine Projektionseinheit (137) zum Einblenden von virtuellen Elementen (430, 435) und eine Vorrichtung (100) zum Ansteuern der Schritte (205, 210, 215, 220, 225, 230) des Verfahrens (200) gemäß Anspruch 1 bis 7 umfasst.
Computerprogramm, das dazu eingerichtet ist, die Schritte (205, 210, 215, 220, 225, 230) des Verfahrens (200) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.