-
Stand der Technik
-
Es ist bereits ein Verfahren zu einer Nutzeraktivitätserkennung für Datenbrillen, mit einer, zumindest eine integrierte Sensoreinheit umfassenden Datenbrille, wobei in zumindest einem durch eine Klassifiziereinheit vorgenommenen Nutzeraktivitätserkennungsschritt eine Aktivität eines Nutzers der Datenbrille mittels einer Auswertung von Daten, die durch die integrierte Sensoreinheit erfasst werden, erkannt wird, vorgeschlagen worden.
-
Offenbarung der Erfindung
-
Die Erfindung geht aus von einem, vorzugsweise nutzerindividualisierten, Verfahren, insbesondere computerimplementierten Verfahren, zu einer Nutzeraktivitätserkennung für Datenbrillen, mit einer, zumindest eine integrierte Sensoreinheit umfassenden Datenbrille, wobei in zumindest einem durch eine Klassifiziereinheit vorgenommenen Nutzeraktivitätserkennungsschritt eine Aktivität eines Nutzers der Datenbrille mittels einer Auswertung von Daten, die durch die integrierte Sensoreinheit erfasst werden, erkannt wird.
-
Es wird vorgeschlagen, dass die Klassifiziereinheit bei der Durchführung des Nutzeraktivitätserkennungsschritts Informationen berücksichtigt, die in einem, insbesondere dem Nutzeraktivitätserkennungsschritt zeitlich vorangehenden, vorzugsweise nutzerspezifischen, Anlernschritt durch Anlernen der Klassifiziereinheit ermittelt wurden. Dadurch kann vorteilhaft eine besonders zuverlässige und exakte Nutzeraktivitätserkennung erreicht werden. Vorteilhaft kann eine Aktivitätserkennung präzise auf einen jeweiligen Nutzer zugeschnitten werden. Vorteilhaft können bei der Ermittlung von Nutzeraktivitäten nutzerspezifische Verhalten u.dgl. mitberücksichtigt werden. Vorteilhaft kann ein besonders hoher Nutzerkomfort erreicht werden. Zudem kann vorteilhaft eine besonders hohe Alltagstauglichkeit und/oder Verkehrssicherheit für eine Datenbrille erreicht werden.
-
Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Augmented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses bezeichnet. Die Sensoreinheit kann einen oder mehrere Sensoren gleichen oder verschiedenen Typs umfassen. Beispielsweise kann die Sensoreinheit einen Eye-Tracking-Sensor, ein oder mehrere Mikrofone, ein oder mehrere Inertialsensoren (Gyrosensoren o.dgl.), insbesondere zur Durchführung eines Head-Trackings, ein Navigationsmodul (GPS o.dgl.), eine oder mehrere Kameras, etc. umfassen. Die Sensoren der Sensoreinheit können dabei beispielsweise zumindest teilweise in einen Brillenrahmen der Datenbrille integriert sein oder an den Brillenrahmen oder an die Brillengläser der Datenbrille befestigt sein. Zudem kann in dem Brillenrahmen der Datenbrille eine Bilderzeugungseinheit der Datenbrille, über welche die Bilder in das Sichtfeld des Nutzers eingebracht werden (z.B. eine Laser-Projektoreinheit), zumindest teilweise angeordnet sein. Insbesondere umfasst die Datenbrille eine Steuer- und/oder Regeleinheit, welche zumindest dazu vorgesehen ist, die Daten der Sensoren zu verwalten (z.B. zu erhalten und vorzuverarbeiten), die Ausgabe der Bilddaten zu steuern und/oder eine Kommunikation mit der Umgebung oder dem Internet (z.B. über WLAN oder Mobilfunkprotokolle) zu organisieren. Unter einer „Steuer- und/oder Regeleinheit“ soll insbesondere eine Einheit mit zumindest einer Steuerelektronik verstanden werden. Unter einer „Steuerelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speicher sowie mit einem in dem Speicher gespeicherten Betriebsprogramm verstanden werden. Dabei ist denkbar, dass die Steuer- und/oder Regeleinheit einstückig mit der Klassifiziereinheit ausgebildet ist oder zumindest mit einer getrennt von der Steuer- und/oder Regeleinheit, insbesondere sogar getrennt von der Datenbrille, ausgebildeten Klassifiziereinheit kommuniziert. Insbesondere ist die Datenbrille dazu vorgesehen, immer weiter zu lernen / die Klassifiziereinheit immer weiter zu trainieren, insbesondere immer dann, wenn zusätzlich zu den durch die Sensoreinheit erfassten internen Sensordaten gerade externe Sensordaten zur Verfügung stehen, welche vorzugsweise Rückschlüsse auf eine gerade durchgeführte Aktivität erlauben. Vorteilhaft kann nach dem nutzerspezifischen Anlernen die Erkennung/Klassifizierung von Aktivitäten ohne externe Daten zuverlässig erfolgen. Unter „vorgesehen“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.
-
Ferner wird vorgeschlagen, dass in dem Anlernschritt die Klassifiziereinheit unter Zuhilfenahme von Messdaten, insbesondere durch ein Auswerten von Messdaten, zumindest eines dem Nutzer zugeordneten und von der Datenbrille getrennt ausgebildeten externen Sensors angelernt wird. Dadurch kann vorteilhaft eine Nutzeraktivitätserkennung optimiert werden. Vorteilhaft kann eine hohe Abdeckung von Aktivitäten und/oder eine hohe Klassifizierungsgenauigkeit erreicht werden. Vorteilhaft kann ein besonders großes Reservoir an Sensordaten zum Anlernen der Klassifiziereinheit bereitgestellt werden. Vorteilhaft kann eine einfache und/oder leichtbauende Ausführung der Datenbrille ermöglicht werden. Vorteilhaft kann ein Energiebedarf der Datenbrille gering gehalten werden. Der externe Sensor kann dabei insbesondere ein Teil eines, vorzugsweise mobilen, Computer-/Sensorsystems sein. Der externe Sensor ist insbesondere getrennt von der Datenbrille ausgebildet und angeordnet. Der externe Sensor kann dabei den Nutzer oder die Nutzerumgebung überwachen. Der externe Sensor kann dabei dem Nutzer oder Bewegungen des Nutzers zumindest teilweise folgen. Der externe Sensor ist vorzugsweise tragbar und/oder mobil ausgebildet. Der externe Sensor kann dabei dem Nutzer oder einem mit dem Nutzer mitbewegten System, z.B. Fahrzeug, zugeordnet sein. Außerdem ist denkbar, dass die Klassifiziereinheit unter Mitwirkung mehrerer externer Sensoren angelernt wird. Optional können in dem Anlernschritt Sensorinformationen aus mehreren Quellen zur Aktivitätserkennung kombiniert werden. Optional können in dem Anlernschritt Sensorinformationen aus mehreren Quellen zum Anlernen der Klassifiziereinheit kombiniert werden.
-
Wenn der externe Sensor zumindest Teil eines, insbesondere dem Nutzer zugeordneten, Smartphones, von einer Datenbrille verschiedenen Wearables oder Fahrzeugs ist, kann vorteilhaft eine hohe Nutzerfreundlichkeit erreicht werden. Vorteilhaft können Daten eines Systems verwendet werden, welches der Nutzer sowieso bereits besitzt und/oder mitführt. Insbesondere wird aus den externen Sensordaten die sogenannte „ground truth“ ermittelt. Insbesondere besitzt der externe Sensor eine, vorzugsweise drahtlose, Datenkommunikationsschnittstelle, welche zu einem Datenaustausch mit der Datenbrille, insbesondere mit der Klassifiziereinheit der Datenbrille, vorgesehen ist. Insbesondere kann der externe Sensor mit dem Internet verbunden sein.
-
Zusätzlich wird vorgeschlagen, dass die Klassifiziereinheit ein neuronales Netz oder einen statischen Klassifikator umfasst, welches in dem Anlernschritt trainiert wird. Dadurch kann vorteilhaft die Nutzeraktivitätserkennung optimiert werden. Vorteilhaft kann dadurch die Erkennung der Nutzeraktivität besonders effektiv und gezielt individualisiert werden. Insbesondere wird das neuronale Netz oder der statische Klassifikator dadurch trainiert, dass ein Abgleich der (zuverlässiger) durch den externen Sensor ermittelten Aktivität (z.B. ein Erkennen eines Supermarktbesuchs anhand von GPS-Daten des externen Sensors) mit einer durch die internen Sensordaten ermittelten Aktivität erfolgt. Bei einer Übereinstimmung der ermittelten Aktivitäten wird dann z.B. eine positive Rückmeldung an die Klassifiziereinheit gegeben und bei einer Abweichung der ermittelten Aktivitäten eine negative Rückmeldung und/oder eine Korrektur. Insbesondere kann das neuronale Netz über eine beliebige, dem Fachmann bekannte Topologie verfügen. Insbesondere kann der statische Klassifikator als ein naiver Bayes-Klassifikator, als ein Nächste-Nachbarn-Klassifikator, als ein Entscheidungsbaum-Klassifikator, als eine Support Vector Machine oder als eine weitere geeignete statische Klassifikationsmethode ausgebildet sein.
-
Außerdem wird vorgeschlagen, dass in dem Anlernschritt aus den Sensordaten des externen Sensors Nutzer-Kontextinformationen ermittelt werden, welche zur Validierung der zeitgleich durch die Klassifiziereinheit aus den Messdaten der integrierten Sensoreinheit bestimmten momentanen Aktivität herangezogen werden. Dadurch kann vorteilhaft die Nutzeraktivitätserkennung optimiert werden. Vorteilhaft kann dadurch die Erkennung der Nutzeraktivität besonders effektiv und gezielt individualisiert werden. Insbesondere sollen auch Daten, die der externe Sensor über die Internetverbindung erhält, als externe Sensordaten verstanden werden. Beispielsweise kann ein Aufenthalt in einem Empfangsbereich eines bestimmten WLAN-Netzwerks, z.B. von einem Flughafen oder Bahnhof, nutzbare Kontextinformationen liefern. Die aus den externen Sensordaten ermittelten Nutzer-Kontextinformationen können dann beispielsweise als „Label“ für die internen Sensordaten dienen. Aus einem Ermitteln von ähnlichen internen Sensordaten in der Zukunft kann dann auf ein erneutes Durchführen der Aktivität geschlossen werden ohne, dass externe Sensordaten zwingend notwendig wären.
-
Des Weiteren wird vorgeschlagen, dass in dem Anlernschritt die Klassifiziereinheit unter Zuhilfenahme / durch eine Auswertung der von durch den Nutzer ausgeführten Funktionen und/oder Programmen der Datenbrille und/oder des externen Sensors angelernt wird. Dadurch kann vorteilhaft die Nutzeraktivitätserkennung optimiert werden. Vorteilhaft kann dadurch die Erkennung der Nutzeraktivität besonders effektiv und gezielt individualisiert werden. Verwendet beispielsweise der Nutzer eine integrierte Straßen-Navigationsapp eines Smartphones oder hat der Nutzer sein Smartphone mit dem Auto verbunden, lässt sich daraus die Aktivität „Autofahren“ ableiten. Die Datenbrille sammelt dann in der Folge interne Sensordaten aus den integrierten Sensoren, um diese Aktivität zu erlernen und in der Zukunft wiederzuerkennen. Die Kontextinformationen dienen in diesem Zusammenhang insbesondere als Labels für die internen Sensordaten, die von der Datenbrille aufgezeichnet werden. Anschließend kann die Aktivität dann vorteilhaft lediglich aus den internen Sensordaten erkannt werden, auch wenn die zusätzlichen Kontextinformationen fehlen (bspw. die Straßen-Navigationsapp nicht verwendet wird). Ein weiteres Ausführungsbeispiel ist die Nutzung eines GPS-Sensors und von Kartenmaterial in einem mit der Datenbrille kommunizierenden Smartphone, um die Position eines Nutzers zu ermitteln und diese mit Kontextinformationen zu ergänzen, beispielsweise zu identifizieren, ob der Nutzer sich in einem Supermarkt befindet. Diese Kontextinformation könnte dann dazu verwendet werden, um die aufgezeichneten internen Sensordaten der Datenbrille zu verwenden, das Label „Einkaufen“ hinzuzufügen, bzw. die Klassifiziereinheit zu trainieren die Aktivität „Einkaufen“ zu erkennen. Interne Sensordaten, die so mit der Aktivität „Einkaufen“ verbunden werden könnten, sind bestimmte typische Töne, wie das Piepsen einer Kasse oder das Surren eines Kühlfachs oder typische Kopf- und/oder Augenbewegungen, die entstehen, wenn Waren in einem Regal beobachtet/ gesucht werden. Die Aktivität „Einkaufen“ könnte beispielsweise auch durch ein Aufrufen eines Einkaufszettels oder einer Produktinformation mit der Datenbrille mit dem externen Sensor verknüpft werden.
-
Wenn außerdem der Nutzeraktivitätserkennungsschritt und/oder der Anlernschritt zumindest unabhängig von jeglicher mit der Datenbrille, insbesondere physisch, verbundenen Weltkamera durchgeführt wird/werden, kann vorteilhaft ein geringer Energieverbrauch erzielt werden. Zudem kann vorteilhaft eine Akzeptanz der Datenbrille im öffentlichen Raum erhöht werden. Insbesondere wird der Nutzeraktivitätserkennungsschritt und/oder der Anlernschritt zumindest unabhängig von jeglichem mit der Datenbrille verbundenen Kamerasensor durchgeführt.
-
Zudem wird vorgeschlagen, dass die Klassifiziereinheit in die Datenbrille integriert ist, z.B. als Teil der Steuer- und/oder Regeleinheit, oder dass die Klassifiziereinheit zumindest teilweise in einer Cloud ausgeführt wird. Dadurch kann vorteilhaft ein besonders energieeffizienter Betrieb der Datenbrille ermöglicht werden. Beispielsweise kann das Training des neuronalen Netzes und/oder des statischen Klassifikators und/oder die Auswertung der internen Sensordaten in der Cloud stattfinden. Beispielsweise können die internen Sensordaten an die Cloud übertragen werden, eine Klassifizierung anhand dieser Daten dann in der Cloud vorgenommen werden und ein Ergebnis der Klassifizierung an die Datenbrille zurückgesandt werden.
-
Weiterhin wird vorgeschlagen, dass eine durch eine Ausgabeeinheit der Datenbrille dargestellte Bildausgabe in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität angepasst wird und/oder dass basierend auf der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität eine bestimmte Funktion und/oder ein bestimmtes Programm der Datenbrille ausgeführt und/oder beendet wird. Dadurch kann vorteilhaft ein Nutzerkomfort verbessert werden. Vorteilhaft kann eine erhöhte Alltagstauglichkeit der Datenbrille erreicht werden. Insbesondere kann die Ausgabeeinheit der Datenbrille als eine virtuelle Netzhautanzeige (Retinal Scan Display, RSD) oder als eine andere, für den Einsatz in Datenbrillen geeignete Anzeigetechnologie ausgebildet sein. Insbesondere kann eine Position der Bildausgabe im Blickfeld eines Nutzers der Datenbrille in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität angepasst werden. Wenn beispielsweise die Nutzeraktivität Autofahren erkannt wird, dann werden keine Bilder in einer Mitte des Blickfelds erzeugt. Insbesondere kann eine Position der Bildausgabe im Blickfeld eines Nutzers der Datenbrille in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität angepasst werden. Insbesondere kann ein im Blickfeld eines Nutzers der Datenbrille aufgerufenes Programm in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität aufgerufen, bedient oder voreingestellt werden. Wenn beispielsweise die Nutzeraktivität Einkaufen erkannt wird, dann werden Einkaufshilfen, wie Einkaufszettel, Wegbeschreibungen, Preise, etc. in das Blickfeld des Nutzers projiziert. Insbesondere kann ein im Blickfeld eines Nutzers der Datenbrille dargestellter Anzeigeinhalt in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt ermittelten Nutzeraktivität angepasst werden.
-
Ferner wird die Datenbrille mit der integrierten Sensoreinheit und ein System mit der Datenbrille und dem zumindest einen mit der Datenbrille kommunizierenden externen Sensor vorgeschlagen. Dadurch kann vorteilhaft kann ein besonders hoher Nutzerkomfort erreicht werden. Zudem kann vorteilhaft eine besonders hohe Alltagstauglichkeit und/oder Verkehrssicherheit für eine Datenbrille erreicht werden.
-
Das erfindungsgemäße Verfahren, die erfindungsgemäße Datenbrille und das erfindungsgemäße System soll hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere kann das erfindungsgemäße Verfahren, die erfindungsgemäße Datenbrille und das erfindungsgemäße System zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
-
Figurenliste
-
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
-
Es zeigen:
- 1 Eine schematische Darstellung eines Systems mit einer Datenbrille und mit einem externen Sensor und
- 2 ein schematisches Ablaufdiagramm für ein Verfahren zu einer Nutzeraktivitätserkennung für Datenbrillen.
-
Beschreibung des Ausführungsbeispiels
-
Die 1 zeigt ein System 26 mit einer Datenbrille 10. Die Datenbrille 10 umfasst ein Brillengestell 28. Die Datenbrille 10 umfasst Brillengläser 30, 30'. Die Datenbrille 10 umfasst eine Ausgabeeinheit 24. Die Ausgabeeinheit 24 ist zu einer Ausgabe eines Bilds in ein Blickfeld eines Nutzers/Trägers der Datenbrille 10 vorgesehen. Die Ausgabeeinheit 24 ist als ein Retinal Scan Display ausgebildet. Die Ausgabeeinheit 24 umfasst eine Projektoreinheit 32. Die Projektoreinheit 32 erzeugt einen gescannten Laserstrahl, welcher durch Wechselwirkung mit einem in zumindest einem der Brillengläser 30, 30' integrierten optischen Element (z.B. ein holographisch-optisches Bauelement, HOE, nicht dargestellt) direkt auf einer Netzhaut eines Nutzer-Auges das Bild erzeugt. Die Datenbrille 10 umfasst eine Sensoreinheit 12. Die Sensoreinheit 12 ist zumindest teilweise in der Datenbrille 10 / in dem Brillengestell 28 integriert. Die Sensoreinheit 12 umfasst einen Eye-Tracking Sensor 34. Die Sensoreinheit 12 umfasst ein Mikrofon 36. Die Sensoreinheit 12 umfasst einen Trägheitssensor 38 (Inertialsensor). Der Trägheitssensor 38 dient als Head-Tracking-Sensor. Die Sensoreinheit 12 umfasst ein GPS-Modul 40.
-
Die Datenbrille 10 umfasst ein Cellular-Modul 42. Das Cellular Modul 42 ist dazu vorgesehen, eine drahtlose Datenverbindung mit extern herzustellen und/oder zu verwalten. Das Cellular Modul 42 ist dazu vorgesehen, drahtlose Verbindungen mit externen Sensoren 20 und/oder einer Cloud 22 des Systems 26 herzustellen. Das Cellular-Modul 42 ist als ein Mobilfunkmodul ausgebildet, welches beispielsweise mittels eines Mobilfunkprotokolls wie GPRS mit extern kommuniziert. Alternative oder zusätzliche Kommunikationsprotokolle wie Bluetooth, WLAN etc. sind denkbar. Die Datenbrille 10 umfasst eine Steuer- und/oder Regeleinheit 44. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Messdaten der Sensoreinheit 12 zu empfangen. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Messdaten der Sensoreinheit 12 zu versenden. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Messdaten der Sensoreinheit 12 zumindest teilweise zu verarbeiten. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Kommunikation des Cellular-Moduls 42 zu steuern. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Projektoreinheit 32 zu steuern. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, die Ausgabeeinheit 24 zu steuern. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, Programme, deren Ausgaben über die Ausgabeeinheit 24 darstellbar sind, aufzurufen und/oder zu steuern. Es ist denkbar, dass die Steuer- und/oder Regeleinheit 44 aus mehreren einzelnen Recheneinheiten oder Controllern zusammengesetzt ist. Zudem ist denkbar, dass einzelne elektronische Bauelemente der Datenbrille 10 eigene Controller aufweisen, welche insbesondere miteinander oder mit einer zentralen Steuer- und/oder Regeleinheit 44 vernetzt sind. Die Steuer- und/oder Regeleinheit 44 umfasst eine Klassifiziereinheit 14. Die Klassifiziereinheit 14 ist dazu vorgesehen, verschiedene Nutzeraktivitäten zu identifizieren.
-
Das System 26 umfasst einen externen Sensor 20. Der externe Sensor 20 ist von der Datenbrille 10 getrennt ausgebildet. Die Datenbrille 10 kommuniziert mit dem externen Sensor 20. Der externe Sensor 20 ist zumindest ein Teil einer dem Nutzer zugeordneten externen Vorrichtung 58, wie ein Smartphone, eines Wearables oder eines Fahrzeugs. Der externe Sensor 20 ist ein in der, dem Nutzer zugeordneten Vorrichtung 58 enthaltener Sensor, beispielsweise ein GPS-Sensor, ein Lagesensor, ein Beschleunigungssensor, ein Kamerasensor, ein Mikrofon, ein Helligkeitssensor, ein Regensensor, etc. Das System 26 umfasst die Cloud 22. Das Cellular-Modul 42 ist dazu vorgesehen, mit dem externen Sensor 20 zu kommunizieren. Das Cellular-Modul 42 ist dazu vorgesehen, Sensordaten des externen Sensors 20 zu empfangen und vorzugsweise an die Klassifiziereinheit 14 weiterzuleiten. Das Cellular-Modul 42 ist dazu vorgesehen, Sensordaten von dem externen Sensor 20 anzufragen. Das Cellular-Modul 42 ist dazu vorgesehen, ein Vorhandensein externer Sensoren 20 zu erkennen und automatisch Datenverbindungen aufzubauen und/oder zu trennen, wenn nötig. Die Steuer- und/oder Regeleinheit 44 ist dazu vorgesehen, basierend auf den Sensordaten der Sensoreinheit 12 Features zu extrahieren, welche anschließend für die Klassifizierung von Nutzeraktivitäten verwendet werden können, wobei die Sensordaten der externen Sensoren 20 zur Optimierung und/oder Bestätigung der jeweiligen Klassifikationen dienen. Die Datenbrille 10, insbesondere die Sensoreinheit 12 der Datenbrille 10, ist frei von jeglichen Kamerasensoren. Alternativ ist jedoch auch eine Datenbrille 10 mit integrierter Weltkamera denkbar.
-
Die 2 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zu einer Nutzeraktivitätserkennung für die Datenbrillen 10. In zumindest einem Verfahrensschritt 46 wird die Datenbrille 10 von dem Nutzer aufgesetzt. In zumindest einem Verfahrensschritt 48 wird die Datenbrille 10 aktiviert. In zumindest einem Verfahrensschritt 50 wird ein Programm durch die Datenbrille 10 aufgerufen. In dem Verfahrensschritt 50 wird durch das Programm eine Bildausgabe für die Ausgabeeinheit 24 erzeugt. In dem Verfahrensschritt 50 wird das erzeugte Bild von der Ausgabeeinheit 24 ausgegeben. In zumindest einem Verfahrensschritt 52 werden Sensordaten der Sensoreinheit 12 von der Klassifiziereinheit 14 empfangen und verarbeitet. In einem Anlernschritt 18 wird die Klassifiziereinheit 14 angelernt. In dem Anlernschritt 18 wird die Klassifiziereinheit 14 unter Zuhilfenahme der Messdaten des dem Nutzer zugeordneten und von der Datenbrille 10 getrennt ausgebildeten externen Sensors 20 angelernt. Die Klassifiziereinheit 14 umfasst ein neuronales Netz oder einen statischen Klassifikator, welches/welcher in dem Anlernschritt 18 trainiert wird. Das neuronale Netz/der statische Klassifikator ist dazu vorgesehen, Muster in den empfangenen Sensordaten der Sensoreinheit 12 zu erkennen und bestimmten Nutzeraktivitäten zuzuordnen. Die Sensordaten des externen Sensors 20 werden in dem Anlernschritt 18 dazu verwendet die von dem neuronalen Netz oder von dem statischen Klassifikator ermittelten Nutzeraktivitäten zu validieren und dadurch insbesondere die Nutzeraktivitätserkennung durch eine Rückkoppelung zu optimieren. Dazu werden in dem Anlernschritt 18 aus den Sensordaten des externen Sensors 20 Nutzer-Kontextinformationen ermittelt, welche dann wiederum zur Validierung der zeitgleich durch die Klassifiziereinheit 14 aus den Messdaten der integrierten Sensoreinheit 12 bestimmten momentanen Aktivität herangezogen werden. Alternativ oder zusätzlich werden dabei in dem Anlernschritt 18 die von dem Nutzer ausgeführten Funktionen und/oder Programme der Datenbrille 10 zu dem Anlernen der Klassifiziereinheit 14 herangezogen. Das Ziel des Anlernschritts 18 ist dadurch erreichen zu können, dass die Erkennung der Nutzeraktivität auch ohne ein Vorhandensein externer Sensordaten rein aus den intern durch die Sensoreinheit 12 ermittelten Sensordaten zuverlässig und nutzerspezifisch abgestimmt ermöglicht wird. Der Anlernschritt 18 wird unabhängig von jeglicher mit der Datenbrille 10 physisch verbundenen Weltkamera durchgeführt. Der Anlernschritt 18 kann vollständig von der Steuer- und/oder Regeleinheit 44 der Datenbrille 10 oder zumindest teilweise in der Cloud 22 ausgeführt werden.
-
In zumindest einen Nutzeraktivitätserkennungsschritt 16 wird eine Aktivität des Nutzers der Datenbrille 10 mittels einer Auswertung (ausschließlich) der Daten, die durch die integrierte Sensoreinheit 12 erfasst werden, erkannt. Der Nutzeraktivitätserkennungsschritt 16 wird dabei durch die Klassifiziereinheit 14 vorgenommen. Der Nutzeraktivitätserkennungsschritt 16 wird unabhängig von jeglicher mit der Datenbrille 10 physisch verbundenen Weltkamera durchgeführt. Die Klassifiziereinheit 14 berücksichtigt bei der Durchführung des Nutzeraktivitätserkennungsschritts 16 Informationen, die in dem, dem Nutzeraktivitätserkennungsschritt 16 zeitlich vorangehenden nutzerspezifischen Anlernschritt 18 durch das Anlernen der Klassifiziereinheit 14 ermittelt wurden. Der Nutzeraktivitätserkennungsschritt 16 kann vollständig von der Steuer- und/oder Regeleinheit 44 der Datenbrille 10 oder zumindest teilweise in der Cloud 22 ausgeführt werden.
-
In zumindest einem weiteren Verfahrensschritt 54 wird die durch die Ausgabeeinheit 24 der Datenbrille 10 dargestellte Bildausgabe in Abhängigkeit von der in dem Nutzeraktivitätserkennungsschritt 16 ermittelten Nutzeraktivität angepasst. In zumindest einem weiteren Verfahrensschritt 56 wird basierend auf der in dem Nutzeraktivitätserkennungsschritt 16 ermittelten Nutzeraktivität eine bestimmte Funktion und/oder ein bestimmtes Programm der Datenbrille 10 ausgeführt und/oder beendet.
