EP3332284A1

EP3332284A1 - Verfahren und vorrichtung zur datenerfassung und auswertung von umgebungsdaten

Info

Publication number: EP3332284A1
Application number: EP16751273.0A
Authority: EP
Inventors: Eberhard Schmidt; Tom Sengelaub
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: Apple Inc
Priority date: 2015-08-07
Filing date: 2016-08-05
Publication date: 2018-06-13
Also published as: US20200081524A1; WO2017025483A1; CN108139582A

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Datenerfassung von Umgebungsdaten einer Umgebung (12) eines Benutzers mittels einer Szenenbildaufnahmeeinrichtung (16) und zur Auswertung der erfassten Umgebungsdaten mittels einer Auswerteeinrichtung (22). Dabei wird eine räumliche Auswahl (36a, 36b, 36c) und/oder zeitliche Auswahl betreffend eine Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung (16) und/oder eine Übertragung der Umgebungsdaten von der Szenenbildaufnahmeeinrichtung (16) zur Auswerteeinrichtung (22) und/oder eine Auswertung der Umgebungsdaten durch die Auswerteeinrichtung (22) getroffen. Weiterhin wird die Auswahl (36a, 36b, 36c) in Abhängigkeit von mindestens einem erfassten, zeitlich variablen ersten Parameter (30, 32) getroffen, um diese hinsichtlich ihrer Relevanz zu selektieren, und damit eine Reduktion der Datenmenge durch auf weniger relevante Daten beschränkte Reduktionsmaßnahmen zu ermöglichen.

Description

Verfahren und Vorrichtung zur Datenerfassung und Auswertung von Umge- bungsdaten

BESCHREIBUNG:

Die Erfindung geht aus von einem Verfahren zur Datenerfassung von Umgebungsda- ten einer Umgebung eines Benutzers mittels einer Szenenbildaufnahmeeinrichtung und zur Auswertung der erfassten Umgebungsdaten mittels einer Auswerteeinrichtung. Des Weiteren geht die Erfindung aus von einer entsprechenden Vorrichtung mit einer Szenenbildaufnahmeeinrichtung zur Datenerfassung von Umgebungsdaten einer Umgebung eines Benutzers und mit einer Auswerteeinrichtung zur Auswertung der erfassten Umgebungsdaten.

Aus dem Stand der Technik sind vielzählige Anwendungsmöglichkeiten bekannt, bei denen eine Datenerfassung von Umgebungsdaten, zum Beispiel in Form von Bildern mittels einer Szenenkamera, sowie deren Auswertung eine große Rolle spielt. Bei- spielsweise können Augmented Reality Systeme, wie beispielsweise Augmented Reali- ty Brillen eine frontseitig angeordnete Szenenkamera beziehungsweise Umgebungskamera aufweisen, die Bilder der Umgebung des Benutzers aufnimmt. Weiterhin können durch eine solche Brille computergenerierte Objekte in die vom Benutzer wahrgenommene Realität eingeblendet werden, die insbesondere mit Objekten der realen Umgebung in Zusammenhang stehen können. Beispielsweise können zu Objekten in der Umgebung Zusatzinformationen durch die Brille eingeblendet werden. Um dies zu ermöglichen, werden die von der Szenenkamera aufgenommenen Bilder ausgewertet und auf vorhandene bzw. bestimmte Objekte durchsucht. Werden solche Objekte in den Bildaufnahmen gefunden, können die korrespondierenden Informationen, durch die Brille eingeblendet werden. In Kombination mit mobilen Eyetracking-Systemen gibt es zahlreiche weitere Anwendungsmöglichkeiten. Weist beispielsweise eine solche Brille auch einen Eyetracker auf, können die Eyetracking-Daten mit den aufgenommenen Szenenbilddaten abgeglichen werden, um beispielsweise festzustellen, wohin in der Umgebung der Benutzer gerade blickt, insbesondere auch auf welches Objekt in der Umgebung. Zusätzlich können hierbei auch noch Registrierungsverfahren zum Einsatz kommen, die es ermöglichen, eine Bildaufnahme auf ein Referenzbild, welches beispielsweise aus einer anderen Perspektive aufgenommen wurde, abzubilden. Solche Registrierungsverfahren können genutzt werden, um auf einfache Weise zum Beispiel Blickrichtungsdaten über die Zeit sowie auch über mehrere Benutzer zu akkumulieren, indem diese auf ein gemeinsames Referenzbild übertragen werden. Bei Registrierungsverfahren können beispielsweise im Referenzbild bestimmte Objekte, signifikante Bereiche, oder signifikante Punkte definiert sein, wie beispielsweise Muster, Kanten oder Schnittpunkte von Kanten, die bei der Auswertung des Szenenbilds in diesem ge- sucht und identifiziert werden. Über die Korrespondenz zwischen den im Szenenbild identifizierten Punkten oder Bereichen und denen des Referenzbilds kann eine Transformation abgeleitet werden, die das Szenenbild auf das Referenzbild abbildet. Diese Transformation kann beispielsweise in gleicher Weise genutzt werden, um den Blickpunkt des Benutzers im Szenenbild auf das Referenzbild abzubilden.

Bei all diesen Verfahren, bei denen Szenenbilder oder Szenenvideos aufgenommen und ausgewertet werden, besteht das Problem, dass sehr große Datenmengen anfallen können. Sowohl die Datenübermittlung als auch deren Auswertung gestaltet sich damit entsprechend zeitintensiv und erfordert viel Rechenkapazität. Echtzeitsysteme sind dadurch nur bedingt oder gar nicht realisierbar, zumindest wenn eine hohe Qualität entweder bezüglich der Bildaufnahmen selbst oder auch bei der Auswertung, m beispielsweise eine hohe Zuverlässigkeit bei der Objekterkennung in Bildern zu ermöglichen, gewünscht oder erforderlich ist. Weiterhin sind auch Möglichkeiten zur Datenreduktion bekannt, wie beispielsweise Komprimierungsverfahren. Diese sind jedoch wie- derum mit dem großen Nachteil behaftet, dass durch eine derartige Datenreduktion auch Informationen verloren gehen, die insbesondere sehr relevant für die Auswertung sein können, und damit wiederum die Qualität eines solchen Systems oder Vorrichtung extrem mindern. Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Datenerfassung und Auswertung von Umgebungsdaten bereitzustellen, die eine Reduktion von Datenmengen ermöglichen und dabei gleichzeitig den Verlust relevanter Daten möglichst gering halten können.

Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung mit den Merkmalen gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Ansprüchen. Das erfindungsgemäße Verfahren zur Datenerfassung von Umgebungsdaten einer Umgebung eines Benutzers mittels einer Szenenbildaufnahmeeinrichtung, wie beispielsweise einer Szenenkamera, und zur Auswertung der erfassten Umgebungsdaten mittels einer Auswerteeinrichtung zeichnet sich dadurch aus, dass eine räumliche und/oder zeitliche Auswahl getroffen wird, die eine Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung und/oder eine Übertragung der Umgebungsdaten von der Szenenbildaufnahmeeinrich- tung zur Auswerteeinrichtung und/oder eine Auswertung der Umgebungsdaten durch die Auswerteeinrichtung betrifft. Diese Auswahl wird dabei in Abhängigkeit von mindestens einem erfassten und zeitlich variablen ersten Parameter getroffen, und insbesondere gesteuert oder auch geregelt. Durch das Treffen einer Auswahl ist es vorteilhafterweise möglich, Daten beispielsweise hinsichtlich ihrer Relevanz, spezifiziert durch den ersten erfassten Parameter, zu kategorisieren. Dabei können auch mehrere zeitliche und/oder räumliche Auswahlen getroffen werden, beispielsweise eine erste Auswahl für Umgebungsdaten mit der höchsten Relevanz, eine zweite Auswahl für Umgebungsdaten mit mittlerer Relevanz, eine dritte Auswahl für Umgebungsdaten mir geringer Relevanz, usw.. Diverse Reduktionsmaßnahmen können dann vorteilhafterweise auf nicht oder weniger relevante Daten beschränkt sein, sodass sich insgesamt die Datenmengen reduzieren lassen ohne dabei auf relevante Informationen verzichten zu müssen. Eine solche Auswahl kann dabei zudem vorteilhafterweise auf dem gesamten Datenweg von der Erfassung bis hin zur Auswertung getroffen werden, sodass vielzählige Möglichkeiten zur Datenreduktion bereitgestellt sind. Beispielsweise kann die die Erfassung der Umgebungsdaten betreffende Auswahl spezifizieren, welche der mittels der Szenenbildaufnahmeeinrichtung aufgenommenen Bilddaten aus einem Bildsensor der Szenenbildaufnahmeeinrichtung ausgelesen werden und welche nicht oder auch wie oft und mit welcher Rate. Die die Übertragung der Umgebungsdaten betreffende Auswahl kann zum Beispiel spezifizieren, welche der erfassten Daten übertragen werden, welche nicht, oder auch mit welcher Qualität, zum Beispiel komprimiert oder unkompri- miert. Eine die Auswertung betreffende Auswahl kann beispielsweise festlegen, welche der Daten ausgewertet werden, welche nicht, oder welche zuerst. Eine zeitliche Auswahl kann entsprechend spezifizieren, wann Daten beispielsweise erfasst, ausgelesen, übertragen oder ausgewertet werden, wann nicht oder mit welcher Rate. Damit sind insgesamt vielzählige Möglichkeiten bereitgestellt zum einen eine Auswahl zu treffen und zum anderen wie mit den ausgewählten und nicht ausgewählten Daten verfahren werden kann, wodurch zahlreiche Optimierungsmöglichkeiten bezüglich Bandbreiteneffizienz und Datenrelevanz bereitgestellt sind. Die Erfindung ermöglicht damit eine deutliche Reduktion der Basisbandbreite, wobei der Gewinn an Breitbreite wiederum umgesetzt werden kann in schnellere Bildraten, schnellere Verarbeitung geringere Latenzzei- ten, geringere Energie oder Prozessorleistungsbedarf, einfacheren Schnittstellen und kostengünstigeren Komponenten.

Die Szenenbildaufnahmeeinrichtung kann dabei im Allgemeinen als eine oder mehrere Kameras ausgebildet sein, beispielswiese als klassischer 2D Sensor, als ein sogenann- ter event-based Sensor und/oder auch als 3D Kamera (z.B. TOF, Depth Map, Stereokamera, usw.).

Bei einer vorteilhaften Ausgestaltung der Erfindung werden die gemäß der Auswahl ausgewählten Umgebungsdaten in einer ersten vorbestimmbaren Weise behandelt, insbesondere mit der Szenenbildaufnahmeeinrichtung erfasst und/oder aus der Szenenbildaufnahmeeinrichtung ausgelesen und/oder an die Auswerteeinrichtung übertragen und/oder von dieser ausgewertet, und die nicht gemäß der Auswahl ausgewählten Umgebungsdaten nicht oder in zumindest einer zweiten von der ersten verschiedenen vorbestimmbaren Weise behandelt, insbesondere wiederum erfasst und/oder ausgele- sen und/oder übertragen und/oder ausgewertet. Dadurch können vorteilhafterweise unterschiedliche Reduktionsmaßnahmen auf die ausgewählten sowie auf die nicht ausgewählten Umgebungsdaten angewendet werden. Beispielsweise können die ausgewählten Umgebungsdaten mit maximaler Qualität erfasst, übertragen und ausgewertet werden, während die nicht ausgewählten Umgebungsdaten beispielsweise gar nicht verwertet werden, wodurch sich die Datenmenge insgesamt auf besonders effektive Weise reduzieren lässt, oder zumindest mit geringerer Qualität erfasst, übermittelt oder mit niedrigerer Priorität ausgewertet werden, was vorteilhafterweise dennoch eine Verwendung dieser Daten bei gleichzeitiger Datenreduktion zulässt.

Bei einer besonders vorteilhaften Ausgestaltung der Erfindung werden die nicht gemäß der Auswahl ausgewählten Umgebungsdaten reduziert, insbesondere wobei die gemäß der Auswahl ausgewählten Umgebungsdaten nicht reduziert werden. Eine derartige Reduktion kann bei einer räumlichen Auswahl beispielsweise dadurch erfolgen, dass nicht ausgewählte Bildbereiche gar nicht erst aufgenommen, an die Auswerteeinrichtung übermittelt oder von dieser ausgewertet werden, oder dass nicht ausgewählte Bildbereiche komprimiert werden, strukturell, zum Beispiel in ihrer Farbtiefe, reduziert werden, oder ähnliches. Eine räumliche Auswahl kann beispielsweise bei Vorhandensein von mehreren Kameras der Szenenbildaufnahmeeinrichtung auch durch eine Wahl einer dieser Kameras zur Datenerfassung der Umgebungsdaten erfolgen. Alternativ werden aus einzelnen oder mehreren Kameras nur ausgewählte Infomationsebe- nen aufgenommen, ausgelesen, übertragen oder verarbeitet. Dies kann betreffen z.B. Reduktion auf Kanten, Tiefeninformationen, Grauwerte, bestimmte Frequensbereiche. Eine räumliche Auswahl hat dabei insbesondere unabhängig davon, ob sie die Erfas- sung, Übermittlung oder Auswertung betrifft, zur Folge, dass zur Auswertung eine gegenüber dem ursprünglich aufgenommenen Bild hinsichtlich seiner Datenmenge reduziertes Bild bereitgestellt ist. Bei einer zeitlichen Auswahl lässt sich die Reduktion beispielsweise dadurch bewerkstelligen, dass Bilddaten entweder gar nicht erst erfasst werden oder mit niedriger Bildfrequenz aufgenommen werden, übertragen werden und/oder ausgewertet werden. Durch all diese Maßnahmen lassen sich vorteilhafterweise die Datenmengen insgesamt reduzieren, wobei dadurch, dass diese Reduktion vorzugsweise nur auf die nicht ausgewählten Umgebungsdaten beschränkt ist, der Informationsverlust bezogen auf relevante Daten möglichst gering gehalten werden kann. Dabei ist es besonders vorteilhaft, wenn zur Reduktion, insbesondere strukturellen Reduktion, der nicht gemäß der Auswahl ausgewählten Umgebungsdaten die nicht gemäß der Auswahl ausgewählten Umgebungsdaten komprimiert werden. Alternativ oder zusätzlich können die nicht gemäß der Auswahl ausgewählten Umgebungsdaten gefiltert werden. Die Datenkompression lässt sich beispielsweise durch Binning oder Färb- komprimierung bewerkstelligen, während bei einer Filterung beispielsweise Farbfilter zum Einsatz kommen können, um zum Beispiel die Farbtiefe zu reduzieren. Auf diese Weise lassen sich die nicht ausgewählten Datenmengen reduzieren, ohne diese vollständig zu verlieren. Für den Fall, dass die ausgewählten Daten dennoch nicht die ge- wünschten Informationen enthalten, kann damit immer noch auf die nicht ausgewählten Daten zurückgegriffen werden. Alternativ oder zusätzlich kann es zur Reduktion der nicht ausgewählten Daten auch vorgesehen sein, dass eine Rate betreffend die Erfassung und/oder das Auslesen und/oder das Übertragen und/oder das Auswerten der nicht gemäß der Auswahl ausgewählten Umgebungsdaten reduziert ist, gegenüber ei- ner Rate betreffend die Erfassung und/oder das Auslesen und/oder das Übertragen und/oder das Auswerten der gemäß der Auswahl ausgewählten Umgebungsdaten. Solange beispielsweise bei den Bildaufnahmen keine relevanten Informationen zu erwarten sind, was beispielsweise durch den mindestens einen ersten Parameter, in Abhängigkeit von welchem diese Auswahl getroffen wird, spezifiziert werden kann, kann bei- spielsweise die Bildaufnahmerate gering gehalten werden und damit auch die zu erfassende, zu übertragende und letztendlich auszuwertende Datenmenge - quasi in Sleepmodus für die Datenaufnahme. In gleicher Weise kann entsprechend auch die Übertragungsrate, oder die Auswertungsrate reduziert sein. Alternativ oder zusätzlich kann es auch vorgesehen sein, dass den nicht gemäß der Auswahl ausgewählten Um- gebungsdaten eine gegenüber den gemäß der Auswahl ausgewählten Umgebungsdaten geringere zeitliche Priorität, insbesondere bei der Auswertung, zugeordnet wird. Dadurch lässt es sich beispielsweise bewerkstelligen, dass zunächst ein relevanter Bildbereich ausgewertet und analysiert wird, und erst wenn die gesuchten Informationen darin nicht gefunden werden, wie beispielsweise zu detektierende Objekte, können zeitlich danach auch die nicht ausgewählten Daten ausgewertet werden. Diese Variante spart enorm viel Zeit bei der Auswertung, da in Bildbereichen mit der Analyse begonnen werden kann, für die die Wahrscheinlichkeit hoch ist, dass dort die gesuchten Informationen beziehungsweise Objekte aufzufinden sind. Im Falle einer 3D Szenenkamera als Szenenbildaufnahmeeinrichtung ist es auch denkbar, dass als Reduktions- maßnähme nur ein Teil der sogenannten Depth Map verwertet wird. Diese Teil kann wiederum in Abhängigkeit von einem Augen parameter des Benutzers sowie in Abhängigkeit von einer oder mehrerer Bildcharakteristiken bestimmt bzw. ausgewählt werden, wie zum Beispiel auf Basis der ermittelten Blickrichtung und deren Schnittpunkt mit ei- nem Objekt, oder auf Basis der Vergenz, dem Akkommodierungszustand des Auges, usw..

Auf welche Weise die nicht gemäß der Auswahl ausgewählten Umgebungsdaten redu- ziert werden, z.B. welche der oben genannten Reduktionsmaßnahmen angewandt wird, kann entweder vorab festgelegt sein oder in Abhängigkeit von einem oder mehreren weiteren Parameter bestimmt werden. Beispielsweise kann dies in Abhängigkeit von der Bildcharakteristik erfolgen. Im Zuge einer Voranalyse eines aufgenommen Bildes kann beispielsweise ermittelt werden, ob um den Bereich des Blickpunkts herum überhaupt Objekte oder weitere Objekte im Bild vorhanden sind. Blickt der Benutzer beispielsweise auf einen bestimmten Punkt auf einer weißen Wand, so kann auf Basis der Voranalyse bestimmt werden, dass die nicht gemäß der Auswahl ausgewählten Daten beispielsweise gar nicht weiterbehandelt werden sollen, anstatt nur komprimiert übertragen oder ausgewertet zu werden. Die Art der Reduktion der Umgebungsdaten kann auch in Abhängigkeit von Vorgaben bezüglich einer maximalen Datenmenge oder Datenrate bei der Übermittlung und/oder Auswertung erfolgen, so dass entsprechend eine Komprimierungsart gewählt wird, die diese Vorgaben erfüllt. Auch kann die Art der Reduktion in Abhängigkeit von einer Anwendung oder im Allgemeinen vom Zeck der Datenanalyse und Verarbeitung gemacht werden. Spielen dabei beispielsweise Farbin- formationen eine untergeordnete Rolle und es kommt vielmehr auf gute Kontraste oder hohe Auflösung an, dann können beispielsweise Farbfilter als Reduktionmaßnahme ausgewählt werden anstatt Komprimierungsverfahren zu verwenden, die die Auflösung insgesamt reduzieren. Die beschriebenen Auswahlparameter für die Reduktionsmaßnahmen sind dabei insbesondere bei Anwendung auf strukturelle und/oder räumliche Reduktionsmaßnahmen vorteilhaft.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung können die gemäß der Auswahl ausgewählten Umgebungsdaten durch zusätzliche Daten einer von der Szenebildaufnahmeeinrichtung verschiedenen Datenquelle angereichert werden. Derartige Anreicherungen können beispielsweise vorab definierte Hervorhebungen, insbesondere farblich oder auch in Bezug auf den Kontrast, darstellen, eine Annotation durch den Benutzer, zum Beispiel durch Spracheingabe, eine Annotation von biometrischen oder anderen Nutzerdaten, und/oder eine Annotation oder Kombination von Performancedaten bezogen auf eine gerade vom Benutzer durchgeführte Handlung, Aufgabe oder Anwendung. Bei der Auswertung der ausgewählten Umgebungsdaten können diese vorteilhafterweise mit weiteren zusätzlichen Daten ausgewertet werden, und zum Beispiel gerade mit Bezug auf die zusätzlichen Informationen ausgewertet werden. Die Datenquelle kann beispielsweise eine weitere Erfassungseinrichtung, zum Beispiel eine Spracherfassungseinrichtung, eine Gestenerfassungseinrichtung, ein Pulsmessgerät, ein EEG, oder auch ein Speicher, in dem die zusätzlichen Daten abgelegt sind, darstellen.

Um nun geeignet spezifizieren zu können, zum Beispiel welche Bildbereiche eines auf- genommenen Bildes oder wann Bildaufnahmen relevante Informationen enthalten, kommen für den mindestens einen erfassten und zeitlich variablen ersten Parameter ebenfalls mehrere vorteilhafte Möglichkeiten in Betracht, die im Folgenden näher erläutert werden. Besonders vorteilhaft ist es, wenn der mindestens eine erste erfasste Parameter einen Augenparameter mindestens eines Auges des Benutzers darstellt. Zur Erfassung des Augenparameters kann beispielsweise ein Eyetracker dienen. Insbesondere kann der Augenparameter dabei eine Blickrichtung und/oder einen Blickpunkt und/oder ein Blickmuster, insbesondere eine Augenbewegung und/oder Blickfolgebewegung und/oder eine zeitliche Blickpunktabfolge, und/oder einen Augenöffnungszustand darstellen und/oder einer Information über einen Abstand des Blickpunkts zum Benutzer, wie beispielsweise ein Konvergenzwinkel der beiden Augen des Benutzers, darstellen. Die Erfindung beruht dabei auf der Erkenntnis, dass insbesondere Objekte oder signifikante Punkte, wie beispielsweise Ecken oder Kanten von Objekten, die Aufmerksam- keit des Auges erregen, insbesondere im Gegensatz zu zum Beispiel farblich homogenen und nicht strukturierten Flächen. Sieht sich der Benutzer beispielsweise in seiner Umgebung um, so blicken seine Augen ganz automatisch auf hervorstechende Punkte und Bereich, wie Ecken, Kanten oder Objekte im Allgemeinen. Dies kann auf besonders vorteilhafte Weise zur Objektdetektion in der Umgebung des Benutzers genutzt werden, da angenommen werden kann, dass sich mit sehr hoher Wahrscheinlichkeit relevante Objekte, Punkte oder Bereiche an der Stelle der Umgebung befinden, auf die der Benutzer gerade blickt. Die erfasste Blickrichtung kann beispielsweise mit den mittels der Szenenbildaufnahmeeinrichtung erfassten Umgebungsdaten abgeglichen werden, um den Blickpunkt des Benutzers im korrespondierenden Szenenbild zu ermitteln. Anschließend kann beispielsweise ein Bereich um diesen ermittelten Blickpunkt im Szenenbild räumlich ausgewählt werden und damit als relevanter Bildbereich in der ersten vorbestimmbaren Weise behandelt werden, während Bildbereiche außerhalb dieses Bereichs als nicht relevant oder weniger relevant eingestuft werden können und damit nicht oder in der zweiten vorbestimmbaren Weise zur Reduktion der Datenmenge behandelt werden können. Auch eine Information über einen Abstand des Blickpunkts zum Benutzer, wie beispielsweise aus einem Konvergenzwinkel der beiden Augen oder einem Akkommodierungszustand des mindestens einen Auges ermittelbar, kann vorteilhafterweise zum Treffen einer räumlichen Auswahl, insbesondere auch zum Treffen einer dreidimensionalen Datenauswahl genutzt werden. Beispielsweise kann im Falle einer 3D Szenenkamera als Szenenbildaufnahmeeinrichtung nur ein Teil der sogenannten Depth Map verwertet werden, insbesondere auch nur für den ausgewählten dreidimensionalen Bereich. Der Blickpunkt des Benutzers im Szenenbild, insbesondere als 2D Blickpunkt oder auch 3D Blickpunkt, kann dabei insbesondere dadurch ermittelt werden, indem die Szenenbildaufnahmeeinrichtung und der Eyetracker zum Ermitteln der Blickrichtung und/oder des Blickpunkts synchronisiert arbeiten. Beispielsweise kann der Eyetracker zum gleichen Zeitpunkt eine Bildaufnahme eines Auges des Benutzers machen und daraus die Blickrichtung ermitteln, zu dem die Szenenbildaufnahmeeinrichtung eine korrespondierende Bildaufnahme der Umgebung zur Erfassung der Umgebungsdaten macht. Die Szenenbildaufnahmeeinrichtung ist dabei bevorzugt auch so angeordnet und/oder ausgebildet, dass sich das Sichtfeld der Szenenbildaufnahmeeinrichtung zum Großteil mit dem Sichtfeld des Benutzers oder zumindest einem möglichen Sichtfeld des Benutzers überschneidet, und insbesondere dieses vollständig umfasst. Besonders vorteilhaft ist es dabei beispielsweise, wenn die Szenenbildaufnahmeeinrichtung dabei Teil einer am Kopf getragenen Einrichtung darstellt, die zudem auch den Eyetracker umfasst. Bei einer Kopfbewegung des Benutzers wird damit vorteilhafterweise auch die Szenenbildaufnahmeeinrichtung mitbewegt, sodass diese auch immer vorteil hafter- weise in Richtung des Sichtfelds des Benutzers ausgerichtet ist. Denkbar wären jedoch auch Ausgestaltungen, bei denen die Szenenbildaufnahmeeinrichtung nicht am Kopf des Benutzers oder einem sonstigen Körperteil des Benutzers sondern zum Beispiel ortsfest angeordnet ist. Die Szenenbildaufnahmeeinrichtung kann beispielsweise eine oder mehrere Kameras umfassen, die vorzugsweise dann einen möglichst großen Raum winkelbereich eines Raums abdecken. In diesem Fall könnte beispielsweise auch durch die Szenenbildaufnahmeeinrichtung eine Position des Benutzers oder seines Kopfes in Bezug zum Szenenkamerakoordinatensystem ermittelt werden und auch die entsprechend ermittelte Blickrichtung in das Szenenkamerasystem umgerechnet wer- den. Dies ist besonders vorteilhaft, wenn das Szenenkamerasystem entfernt vom Benutzer angebracht ist und die Bandbreite für die Datenübertragung gering oder unzuverlässig ist. In derartigen Fällen erlaubt die Erfindung die Nutzung der zur Verfügung stehende Bandbreite für die für den Benutzer wesentlichen Informationen. Die zu einer Bildaufnahme der Szenenbildaufnahmeeinrichtung zu einem bestimmten Zeitpunkt korrespondierende Blickrichtung muss aber nicht notwendigerweise auf Basis von Bilddaten ermittelt werden, die zum gleichen Zeitpunkt vom Auge des Benutzers aufgenommen wurden. Die Blickrichtung und/oder der daraus resultierende Blickpunkt kann beispielsweise auch auf Basis einer oder mehrerer zeitlich vorher aufgenomme- ner Bildaufnahmen vom Auge prognostiziert werden, zum Beispiel mittels Kaimanfilter oder anderer Verfahren. Die der Blickpunktvorhersage zugrundeliegende Idee besteht dabei darin, dass Augenbewegungen beziehungsweise Blickbewegungen in Sakkaden und Fixationen, insbesondere bewegte und nicht bewegte Fixationen, unterteilt werden können. Eine Sakkade stellt dabei den Wechsel zwischen zwei Fixationen dar. Wäh- rend einer solchen Sakkade nimmt das Auge keine Informationen auf, sondern lediglich während einer Fixation. Weiterhin folgt eine solche Sakkade einer ballistischen Augenbewegung, sodass sich beispielsweise durch Erfassen von Anfangswerten einer solchen Sakkade, wie beispielsweise Anfangsgeschwindigkeit, Anfangsbeschleunigung und deren Richtung, der Zeitpunkt und Ort des Endpunkts einer solchen Sakkade, die letztendlich in eine Fixation mündet, bestimmen und damit vorhersagen lässt. Derartige Blickpunktvorhersagen können vorteilhafterweise auch im vorliegenden Fall genutzt werden, um beispielsweise die Blickrichtung beziehungsweise den Blickpunkt für einen Zeitpunkt vorherzusagen, zu dem dann die Szenenbildaufnahmeeinrichtung ein korrespondierendes Umgebungsbild aufnimmt. Insbesondere kann bei Sakkaden der End- punkt ermittelt und für die nächste zeitliche und/oder räumliche Auswahl am Ende der Sakkade verwendet werden. Damit lassen sich vorteilhafterweise zusätzlich Latenzzeiten verkürzen. Eine räumliche Auswahl kann dann durch Verschieben des auszuwählenden Bereichs oder eines zweiten räumlichen Bereichs an den oder die möglichen Blickpunkte in einem Prädiktionsfernster vorgenommen werden. Aber nicht nur der Blickpunkt oder die Blickrichtung können vorteilhafterweise zur Auswahl relevanter und nicht relevanter Daten genutzt werden, sondern beispielsweise auch ein Blickmuster beziehungsweise Augenbewegungen oder zeitliche Blickpunktab- folgen oder charakteristische Augenbewegungsabfolgen, wie die eben beschriebenen Sakkaden und Fixationen. Derartige Blickmuster können dabei vorzugsweise für eine zeitliche Auswahl besonders vorteilhaft genutzt werden, da wie beschrieben ein Benutzer während einer Sakkade keine Umgebungsinformationen aufnimmt. Damit sind auch die Blickpunkte in einem von der Szenenbildaufnahmeeinrichtung während einer Sak- kade aufgenommenen Bild weniger geeignet, um Aufschluss auf das Vorhandensein relevanter Objekte, Punkte oder Bereiche im Bild zu geben. Dagegen sind jedoch einer Fixation zuzuordnende Blickpunkte im Szenenbild sehr gut geeignet, um ein Indiz für das Vorhandensein relevanter Bildbereiche, Objekte oder Punkte zu liefern. Da auf Basis charakteristischer Augenbewegungen für Sakkade und Fixation diese beiden Zu- stände unterschieden und damit erfasst werden können, sind diese Zustände besonders gut dazu geeignet, eine zeitliche Auswahl bezüglich relevanter Umgebungsdaten zu treffen. Beispielsweise kann es vorgesehen sein, dass nur dann Bildaufnahmen von der Umgebung gemacht werden, wenn eine Fixation erkannt wird. Auch kann die Bildaufnahmerate während einer nicht bewegten Fixation gegenüber einer bewegten Fixa- tion reduziert sein, beispielsweise auch auf eine oder wenige während einer erfassten oder prognostizierten Fixationsphase beschränkt sein, da während einer nicht bewegten Fixation, sich auch der Blickpunkt des Benutzers bezüglich seiner Umgebung nicht ändert. Auch können Blickfolgebewegungen erkannt werden und damit ein bewegtes Objekt von besonderer Bedeutung indiziert sein. Auch aus Pupillenreaktionen lassen sich Rückschlüsse auf die Bedeutung von bestimmten Bildinhalten ziehen und damit eine Auswahl für die Aufnahme, Übertragung oder Anlyse unterstützen. Diese für die Bildaufnahmen beschriebenen Auswahl und Reduktionsmaßnahmen, können in gleicher Weise auch zusätzlich oder alternativ für das Auslesen der Bilddaten, das Übermitteln und deren Auswertung angewandt werden.

Gleiches gilt auch für den Augenöffnungszustand, der ebenfalls besonders geeignet ist, um eine zeitliche Auswahl für die Erfassung, das Auslesen, Übermitteln und/oder das Auswerten der Umgebungsdaten zu treffen. Da das Auge, beispielsweise bei einem Lidschluss, keinen Aufschluss über relevante Bildbereiche liefern kann, kann es vorge- sehen sein, dass auch nur dann Bildaufnahmen von der Umgebung mittels der Sze- nenbildaufnahmeeinrichtung getätigt werden, oder nur dann diese Daten übermittelt oder ausgewertet werden, wenn das Auge geöffnet ist, während wenn ein Lidschluss detektiert wird, auf Bildaufnahmen, deren Übermittlung oder Auswertung verzichtet werden kann oder diese mit geringerer zeitlichen Rate durchgeführt, oder komprimiert übermittelt, oder durch andere Reduktionsmaßnahmen reduziert behandelt werden.

Ein erfasster Augenparameter liefert somit vielzählige vorteilhafte Informationen darüber, wo und wann relevante Informationen in der Umgebung eines Benutzers bezie- hungsweise in den korrespondierenden, von der Szenenbildaufnahmeeinrichtung aufgenommenen Bildern vorhanden sind. Dies ermöglicht es vorteilhafterweise, die räumliche und/oder zeitliche Auswahl so zu treffen beziehungsweise auch zu steuern, dass sich einerseits Datenmengen besonders effektiv reduzieren lassen und sich andererseits der Verlust relevanter Daten auf ein Minimum reduzieren lässt.

Alternativ oder zusätzlich kann es auch vorgesehen sein, dass der mindestens eine erfasste Parameter einen eine Bildcharakteristik eines bei der Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung aufgenommenen Bildes darstellt und/oder eine Änderung der Bildcharakteristik mit Bezug auf zumindest ein zeitlich vorher aufgenommenes Bild. Besonders vorteilhaft ist es dabei beispielsweise, als Bildcharakteristik den Bildinhalt des aufgenommenen Bildes beziehungsweise die Änderung des Bildinhalts des aufgenommenen Bildes mit Bezug auf ein zeitlich vorher aufgenommenes Bild als den mindestens einen ersten Parameter heranzuziehen, da, wenn sich der Bildinhalt nicht oder nur geringfügig gegenüber einem vorher aufge- nommenen Bild geändert hat, beispielsweise auf bereits vorher ermittelte Ergebnisse zurückgegriffen werden kann, ohne das neu aufgenommene Bild auswerten zu müssen. Beispielsweise kann es auch vorgesehen sein, dass so lange sich der Bildinhalt nicht signifikant ändert, Bilder mit geringerer Rate beziehungsweise Frequenz aufgenommen, übermittelt oder ausgewertet werden, wodurch sich Daten wiederum enorm einsparen lassen. Dieser Bildinhaltsvergleich kann beispielsweise im Zuge einer Vorverarbeitung durchgeführt werden, insbesondere bevor die Bilddaten an die Auswerteeinrichtung übermittelt und von dieser ausgewertet werden. Im Gegensatz zu einer detaillierten Bildanalyse lässt sich ein solcher Bildinhaltsvergleich auf deutlich weniger zeitaufwändige und rechenintensive Weise durchführen. Ein solcher Bildinhaltsver- gleich kann sich dabei auf das gesamte jeweilige aufgenommene Szenenbild beziehen oder auch nur auf einen Teilbereich davon, wie beispielsweise wiederum auf einen vorab räumlich ausgewählten Bereich um den ermittelten Blickpunkt des Benutzers. Anhand eines Ergebnisses eines solchen Vergleichs kann dann beispielsweise entschie- den werden, ob die aufgenommenen Bilddaten überhaupt an die Auswerteeinrichtung übermittelt oder von dieser ausgewertet werden. Weitere vorteilhafte Bildcharakteristiken, die als der mindestens eine erste Parameter herangezogen werden können, sind beispielsweise auch Raumfrequenzen im aufgenommenen Szenenbild, ein Kontrast oder Kontrastverläufe, das Vorhandensein von Objekten, Bereichen oder signifikanten Punkten im Bild, eine Anzahl im Bild vorhandener Objekte, Bereiche Punkte oder auch die Anordnung von im Bild vorhandener Objekte, Bereiche, Punkte, Strukturen, usw.. Derartige Bildparameter beziehungsweise Bildcharakteristiken können vorteilhafterweise herangezogen werden, um insbesondere eine räumliche Auswahl zu treffen bzw. zu steuern, was später näher erläutert wird.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung stellt der mindestens eine erste Parameter eine Benutzereingabe oder eine erfasste Benutzercharakteristik oder auch jedes andere externe Ereignis aus anderen Signalquellen oder Inputmodalitäten dar. Derartige Parameter können alternativ oder zusätzlich ebenfalls verwendet wer- den, um beispielsweise die Aufnahme, die Übermittlung beziehungsweise den Transfer und/oder die Analyse beziehungsweise Auswertung von Einzelbildern oder Bildsequenzen auszulösen und insbesondere auch zu steuern oder zu regeln. Zur Erfassung von Benutzereingaben können herkömmliche Steuerelemente wie Tasten, Maus, und so weiter dienen, Gestenerfassung genutzt werden, oder ähnliches. Damit kann der Be- nutzer beispielsweise aktiv signalisieren, wann sich interessante bzw. relevante Objekte in seinem Sichtfeld befinden oder auf diese blickt. Benutzercharakteristiken können beispielsweise durch das Erfassen von Bewegungen eines Benutzers, sein Gestikulieren, durch EEG-Signale, oder ähnliches erfasst werden. Solche Charakteristiken können ebenfalls darüber Aufschluss geben, ob sich gerade interessante Objekte im Sicht- feld des Benutzers befinden oder nicht. Besonders vorteilhaft ist es dabei, derartige Parameter für eine zeitliche Auswahl relevanter Daten vorzusehen.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung legt die räumliche Auswahl fest, welcher Bereich der Umgebung als die Umgebungsdaten, insbesondere auf die erste vorbestimmbare Weise, mittels der Szenenbildaufnahmeeinrichtung erfasst wird und/oder aus der Szenenbildaufnahmeeinrichtung ausgelesen wird und/oder an die Auswerteeinrichtung übermittelt wird und/oder von der Auswerteeinrichtung ausgewertet wird. Auf dem gesamten Datenweg von der Erfassung bis zur Auswertung können damit vorteilhafterweise Daten räumlich ausgewählt werden, und dadurch die relevanten Daten charakterisiert werden.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die räumliche Auswahl derart in Abhängigkeit von einem erfassten Blickpunkt des Benutzers getroffen, dass der Bereich den Blickpunkt umfasst. Wie bereits beschrieben ist der Blickpunkt besonders geeignet, um zwischen relevanten und nicht relevanten oder weniger relevanten Daten selektieren zu können. Damit eignet sich der Blickpunkt besonders gut als der erfasste Parameter, in Abhängigkeit von welchem die räumliche Auswahl getroffen und ggf. auch zeitlich gesteuert wird.

In diesem Zusammenhang kann es weiterhin vorgesehen sein, dass die Größe des Bereichs fest vorgegeben, das heißt nicht variabel beziehungsweise konstant ist. Beispielsweise kann der Blickpunkt des Benutzers in einem korrespondierenden Bild der Szenenbildaufnahmeeinrichtung bestimmt werden und dann ein in Bezug auf seine Größe festgelegter Bereich um diesen Blickpunkt als die relevanten Daten ausgewählt werden. Dieser Bereich kann beispielsweise durch einen fest vorgegebenen Radius um den Blickpunkt vorgegeben sein oder auch als fester Bildanteil in Bezug auf das gesamte aufgenommene Szenenbild. Dies stellt eine besonders einfache, wenig rechenintensive und vor allem zeitsparende Möglichkeit zur Auswahl und Festlegung des Bereichs mit den relevanten Bilddaten dar.

Alternativ kann es auch vorgesehen sein, dass die Größe des Bereichs in Abhängigkeit von mindestens einem zweiten Parameter festgelegt beziehungsweise gesteuert wird. Damit sind besonders flexible Auswahlmöglichkeiten bezüglich der relevanten Bildda- ten bereitgestellt. Dies ermöglicht beispielsweise eine adaptive Anpassung, um noch besser zwischen relevanten und nicht relevanten Daten um den Blickpunkt herum unterscheiden zu können. Als diese zweiten Parameter eignen sich dabei vor allem wiederum eine Bildcharakteristik eines bei der Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung aufgenommenen Bildes und/oder ein Maß für eine Genauigkeit und/oder Dynamik des ermittelten Blickpunkts des Benutzers und/oder mindestens ein Geräteparameter, wie beispielsweise Übertragungsqualität, Latenzzeiten oder Performance des Verarbeitungsgeräts, einer Vorrichtung umfassend die Sze- nenbildaufnahmeeinrichtung und/oder die Auswerteeinrichtung, und/oder eine Größe eines sich in vorbestimmter Nähe des Blickpunkts oder auch in zumindest teilweise Überdeckung mit dem Blickpunkt des Benutzers befindlichen Objekts in einem bei der Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung aufgenommenen Bildes. Stellt der zweite Parameter beispielsweise die Bildcharakteristik dar, so kann zum Beispiel auf Basis der Charakteristik des Bildinhalts, wie zum Bei- spiel Raumfrequenz um den Blickpunkt, Anzahl oder Eindeutigkeit der Objekte oder relevanter Punkte, Objektcluster, Feature Cluster, Kontraststärke um den Blickpunkt oder erkannter Objekte hinter, vor oder um den Blickpunkt, herangezogen werden, um die Größe und auch den Grenzverlauf des festzulegenden Bereichs festzulegen beziehungsweise zu steuern. Dies ermöglicht es beispielsweise, den Bereich derart festzule- gen, dass immer ein ganzes Objekt, auf welches der Benutzer gerade blickt, abgedeckt werden kann oder zum Beispiel immer eine zusammenhängende Fläche, oder ausgehend vom Blickpunkt alles bis zur nächsten Kante (Startburst), und so weiter. Daher ist es auch besonders vorteilhaft, die Größe des Bereichs in Abhängigkeit von einer Größe eines Objektes, auf dem sich der Blickpunkt befindet oder welches sich zumindest in vorbestimmter Nähe des Blickpunkts des Benutzers befindet, festgelegt bzw. gesteuert wird, insbesondere so dass immer das ganze Objekt oder auch einer Objektgruppe mit ausgewählt wird. Dies erhöht vorteilhafterweise die Wahrscheinlichkeit, dass die relevanten zu erfassenden Informationen auch vollständig von dem ausgewählten Bereich umfasst sind. Besonders vorteilhaft ist es auch als den zweiten Para- meter das Maß für die Genauigkeit des ermittelten Blickpunkts des Benutzers vorzusehen. Ist die Eyetracking-Qualität beispielsweise schlecht, so kann es sein, dass der ermittelte Blickpunkt stark vom eigentlichen Blickpunkt des Benutzers abweicht. Damit dennoch möglichst alle relevanten Daten erfasst werden beziehungsweise ausgewählt werden, ist es besonders vorteilhaft, bei geringerer Genauigkeit des ermittelten Blick- punkts den auszuwählenden Bereich um den Blickpunkt zu vergrößern im Gegensatz zum Fall bei höherer Genauigkeit des ermittelten Blickpunkts. Die Genauigkeit des ermittelten Blickpunkts lässt sich durch bekannte Verfahren berechnen beziehungsweise abschätzen, wie beispielsweise aus der Blickqualität des vom Eyetracker aufgenommenen Bildes, der zeitlichen Streuung von Blickpunktwerten, und so weiter. Auch die Dynamik des Blickpunkts kann vorteilhafterweise bei der Steuerung der Größe des Bereichs berücksichtigt werden. Weist der Blickpunkt in seinem zeitlichen Verlauf eine hohe Dynamik auf, d.h. bewegt sich bzw. springt dieser beispielsweise in kurzer Zeit innerhalb eines großen Umgebungsbereichs, so kann auch die Größe des auszuwäh- lenden Bereichs entsprechend größer gewählt werden. Auch können diverse andere Geräteparameter bei der Festlegung der Größe des Bereichs berücksichtigt werden. Zum Beispiel kann bei insgesamt niedriger Performance der Vorrichtung oder geringer Rechenleistung, geringer Übertragungsbandbreite, usw. der auszuwählende Bereich in seiner Größe entsprechend geringer gewählt werden, um die zu übermittelnden, oder auszuwertenden Datenmengen zu reduzieren und damit Latenzzeiten zu verkürzen oder in vorgebbaren Grenzen zu halten. Im Gegensatz dazu kann bei höherer Performance oder Leistungsfähigkeit der Vorrichtung der Bereich auch entsprechend größer gewählt werden. Solche Performanceparameter können beispielsweise sowohl die Übertragung als auch die Auswertung sowie diverse andere Komponenten der Vorrich- tung betreffen. Auch kann es beispielsweise vorgesehen sein, dass der Benutzer selbst oder eine andere Person dem System diesen zweiten Parameter zur Festlegung der Größe des Bereichs vorgeben kann. Damit kann der Benutzer selbst seine Prioritäten bezüglich Zeiteffizienz beziehungsweise Datenreduktion, und Qualität des Ergebnisses festlegen. Je größer der Bereich gewählt wird, desto wahrscheinlicher ist es, dass alle relevanten Informationen von diesem Bereich umfasst sind, während je kleiner dieser Bereich gewählt wird, desto weniger Daten müssen ausgelesen, übertragen und/oder ausgewertet werden.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung legt die zeitliche Auswahl fest, wann, insbesondere auf die erste vorbestimmbare Weise, ein Bereich der Umgebung als Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung erfasst wird und/oder aus der Szenenbildaufnahmeeinrichtung ausgelesen wird und/oder an die Auswerteeinrichtung übermittelt wird und/oder von der Auswerteeinrichtung ausgewertet wird. In gleicher Weise wie bei der räumlichen Auswahl kann damit vorteilhafter- weise eine Auswahl von Daten bezüglich des gesamten Datenwegs erfolgen. Damit sind vielzählige Möglichkeiten zur Datenreduktion bereitgestellt, beispielsweise bereits bei der Datenerfassung, oder erst bei der Übermittlung sowie letztendlich auch erst bei der Auswertung der erfassten Daten. Dabei ist es weiterhin besonders vorteilhaft, wenn die zeitliche Auswahl derart in Abhängigkeit des mindestens einen ersten Parameters getroffen wird, dass nur dann oder in der ersten vorbestimmbaren Weise zum Beispiel mit erhöhter zeitlicher Rate, unkomprimiert, ungefiltert, und so weiter, Bilder und/oder Bildausschnitte mit der Szenen- bildaufnahmeeinrichtung aufgenommen werden und/oder aufgenommene Bilddaten ausgelesen werden und/oder an die Auswerteeinrichtung übermittelt werden und/oder von der Auswerteeinrichtung ausgewertet werden, wenn der mindestens eine erste Parameter ein vorbestimmtes Kriterium erfüllt. Bei der Datenselektion besteht also die Möglichkeit, nicht ausgewählte Daten entweder gar nicht weiter zu behandeln, insbe- sondere auch gar nicht erst zu erfassen, oder diese in reduzierter Weise, wie beispielsweise durch Kompression oder Filterung oder weniger häufig, auszulesen, zu übermitteln und/oder zu verarbeiten. Durch den mindestens einen ersten erfassten Parameter kann so vorteilhafterweise eine zeitliche Steuerung der Auswahl vorgenommen werden, sodass sich wiederum Datenmengen reduzieren lassen indem als weniger relevant eingestufte Daten gar nicht erst behandelt oder zumindest mit geringerer Qualität bedingt durch die Reduktion behandelt werden, ohne dabei die Qualität relevanter Daten zu beeinflussen.

Eine besonders vorteilhafte Ausgestaltung der Erfindung sieht es dabei weiterhin vor, dass das vorbestimmte Kriterium darin besteht, dass erfasst wird, dass ein Blickmuster und/oder eine Augenbewegung und/oder eine Blickfolge und/oder eine Fixation des Auges, die als der mindestens eine erste Parameter erfasst und/oder prognostiziert wird, eine vorbestimmte Charakteristik aufweist. Wie bereits beschrieben, kann durch das Vorliegen einer Fixaktion des Auges auf das Vorliegen relevanter Umgebungsda- ten geschlossen werden, auch langsame und kontinuierliche Augenbewegungen lassen darauf beispielsweise schließen, dass das Auge ein bewegtes Objekt verfolgt, welches als relevante Umgebungsdaten kategorisiert werden kann, usw.. Alternativ oder zusätzlich kann das vorbestimmte Kriterium darin bestehen, dass auf Basis des Öffnungszustands des Auges als der mindestens eine erste Parameter erfasst und/oder prognostiziert wird, dass das mindestens eine Auge des Benutzers geöffnet ist. Gerade bei Verfahren, bei denen der Blickpunkt des Benutzers in Bezug auf Objekte in seiner Umgebung analysiert und ausgewertet werden soll, ist es eine besonders vorteilhafte Möglichkeit, Datenmengen zu reduzieren indem Bildaufnahmen, während welchen der Benutzer seine Augen, zum Beispiel durch Lidschluss, geschlossen hat, gar nicht erst betrachtet werden, da sie keine relevanten Informationen enthalten. Alternativ oder zusätzlich kann das vorbestimmte Kriterium auch darin bestehen, dass auf Basis der Bildcharakteristik als der mindestens eine erste Parameter erfasst wird, dass eine Änderung zumindest eines Teils des Bildinhalts gegenüber zumindest einem Teil des Bildin- halts zumindest eines zeitlich vorher aufgenommenen Bildes ein vorbestimmbares Maß überschreitet. Ändert sich der Bildinhalt nicht oder nicht signifikant, so enthält das neu aufgenommene Bild ebenfalls keine zusätzlichen, neuen oder relevanten Informationen, sodass auch dadurch vorteilhafterweise die Datenmenge reduziert werden kann. Alternativ oder zusätzlich kann das vorbestimmte Kriterium auch darin bestehen, dass eine Benutzereingabe als der mindestens eine erste Parameter detektiert wird. Damit kann der Benutzer dem System selbst mitteilen, wann sich in seinem Sichtfeld besonders relevante Informationen befinden. Alternativ oder zusätzlich kann es auch vorgesehen sein, dass der Benutzer passiv über das Vorhandensein relevanter Informationen in seinem Sichtfeld Aufschluss gibt, beispielsweise dadurch, dass auf Basis einer Benutzercharakteristik, wie beispielsweise EEG-Signale, als der mindestens eine erste Parameter ein vorbestimmter Benutzerzustand erkannt und/oder prognostiziert wird. Auch das Benutzerverhalten, wie beispielsweise Gesten oder ähnliches, können analysiert werden, um über das Vorhandensein relevanter Informationen in der Umgebung des Benutzers Aufschluss zu geben. Diese genannten Kriterien können entweder ein- zeln oder auch in Kombination vorgesehen sein, was vielzählige Möglichkeiten bereitstellt, um Situationen, in welchen relevante Informationen, insbesondere relevante Umgebungsdaten vorliegen, und Situationen, in welchen solche relevante Umgebungsdaten nicht vorliegen, charakterisieren zu können. Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird nach dem Erfassen der Umgebungsdaten und vor der Auswertung der Umgebungsdaten eine Vorverarbeitung der Umgebungsdaten durchgeführt, bei welcher die Auswahl getroffen wird und/oder bei welcher die erste vorbestimmbare Weise bestimmt wird, die den gemäß der Auswahl ausgewählten Umgebungsdaten zugeordnet wird, und/oder bei welcher die zweite Weise bestimmt wird, welche der nicht gemäß der Auswahl ausgewählten Umgebungsdaten zugeordnet wird. Eine derartige Vorverarbeitung ist insbesondere dann besonders vorteilhaft, wenn die räumliche und/oder zeitliche Auswahl in Abhängigkeit von einer Bildcharakteristik der als Bild erfassten Umgebungsdaten getroffen werden soll. Dabei kann es zudem auch vorgesehen sein, dass eine erste Auswahl bereits vor der Vorverarbeitung der Umgebungsdaten durchgeführt wird, sodass nur ausgewählte Umgebungsdaten überhaupt einer Vorverarbeitung unterzogen werden. Beispielsweise kann es vorgesehen sein, dass diese erste Auswahl auf Basis des ermittelten Blickpunktes des Benutzers in der korrespondierenden Szenenbildaufnahme getroffen wird, und in der Vorverarbeitung entsprechend nur ein Bereich des Bildes um den ermittelten Blickpunkt auf Bildcharakteristiken hin untersucht wird, wie beispielsweise auf zusammenhängende Flächen oder das Vorhandensein von Objekten, Kanten im Bereich des Blickpunkts, wodurch dann beispielsweise die letztendliche Größe des Bereichs um den Blickpunkt gemäß einer zweiten Auswahl festgelegt wird, sodass dann nur die Daten den Bereich betreffend auch übermittelt oder final ausgewertet werden. Auch kann im Zuge einer solchen Vorverarbeitung festgestellt werden, ob sich der Bildinhalt des aktuell aufgenommenen Szenenbildes in signifikanter Weise gegenüber einem vorher aufgenommenen Bildinhalt geändert hat. Durch eine solche Vorverarbeitung kann auf besonders zeiteffiziente Weise einer Selektion von relevanten und weni- ger relevanten Bildinformationen vorgenommen werden und entsprechend auch für die betreffenden ausgewählten oder nicht ausgewählten Daten die Art ihrer Weiterbehandlung festgelegt werden.

Des Weiteren betrifft die Erfindung eine Vorrichtung mit einer Szenenbildaufnahmeein- richtung zur Datenerfassung von Umgebungsdaten einer Umgebung eines Benutzers und mit einer Auswerteeinrichtung zur Auswertung der erfassten Umgebungsdaten. Dabei ist die Vorrichtung dazu ausgelegt, eine räumliche und/oder zeitliche Auswahl betreffend einer Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeein- richtung und/oder eine Übertragung der Umgebungsdaten von der Szenenbildaufnah- meeinrichtung zur Auswerteeinrichtung und/oder eine Auswertung der Umgebungsdaten durch die Auswerteeinrichtung in Abhängigkeit von mindestens einem erfassten, zeitlich variablen ersten Parameter zu treffen.

Die für das erfindungsgemäße Verfahren und seine Ausgestaltungen genannten Vortei- le gelten in gleicher Weise für die erfindungsgemäße Vorrichtung. Darüber hinaus ermöglichen die im Zusammenhang mit dem erfindungsgemäßen Verfahren und seine Ausgestaltungen genannten Verfahrensschritte die Weiterbildung der erfindungsgemäßen Vorrichtung durch weitere gegenständliche Merkmale. Insbesondere ist die Vor- richtung dazu ausgelegt das erfindungsgemäße Verfahren oder eines seiner Ausgestaltungen durchzuführen.

Bevorzugt weist die Vorrichtung weiterhin eine Eyetracking-Einrichtung auf, die dazu ausgelegt ist, den mindestens einen ersten Parameter zu erfassen. Dies ist besonders vorteilhaft, da Augenparameter, wie Blickrichtung, Blickpunkt und so weiter besonders geeignet sind, um die mit der Szenenbildaufnahmeeinrichtung aufgenommenen Bilddaten in mehr oder weniger relevante Daten zu selektieren. Des Weiteren ist es vorteilhaft, wenn die Vorrichtung eine am Kopf tragbare Vorrichtung umfasst, beispielsweise eine Augmented Reality Brille, wobei die am Kopf tragbare Vorrichtung die Szenenbildaufnahmeeinrichtung und mindestens eine Anzeigevorrichtung, und vorzugsweise die Eyetracking-Einrichtung, aufweist. Durch eine Augmented Reality Brille können Zusatzinformationen und Objekte eingeblendet und der realen Umgebung überlagert werden. Um eine korrekte Positionierung bezüglich der realen Umgebung solcher eingeblendeten Objekte oder Informationen zu ermöglichen, ist es erforderlich, betreffende Objekte in der Umgebung eines Benutzers zu identifizieren, was durch die Erfindung auf besonders zeiteffiziente und wenig rechenintensive Weise erfolgen kann. Die Auswerteeinrichtung kann beispielsweise ebenfalls in der am Kopf tragbaren Vor- richtung integriert sein, oder auch als externe Auswerteeinrichtung, zum Beispiel als Rechner, Computer, und so weiter, bereitgestellt sein, wobei dann die am Kopf tragbare Vorrichtung dazu ausgelegt ist, die gemäß der Auswahl ausgewählten Daten in der ersten vorbestimmbaren Weise an die externe Auswerteeinrichtung zum Beispiel kabelgebunden oder kabellos zu übermitteln und entsprechend die nicht gemäß der Auswahl ausgewählten Daten in der zweiten vorbestimmbaren Weise oder gar nicht. Durch die Auswahl betreffender Bilddaten lässt sich damit auch bei einer nachfolgenden Videoanalyse des Szenenvideos oder Videobildern der Zeitaufwand deutlich reduzieren. Insgesamt lässt sich die Erfindung in vorteilhafter Weise in vielzähligen Anwendungsfeldern verwenden wie beispielsweise bei mobilem Eyetracking zur Reduktion der Band- breite des Szenenvideos durch Beschränkungen auf den Bereich des fovealen oder erweiterten fovealen Blickpunkts des Benutzers, bei Augmented Reality Anwendungen ebenfalls zur Reduktion der Bandbreite. Zusätzlich kann damit der Bereich der Szene, auf den ein Overlay, das heißt einzublendende Informationen oder Objekte, registriert werden muss, verkleinert werden. Außerdem können Objekte visuell markiert werden, um die Aufnahme mit der Szenenkamera darauf zu beschränken. Auch bietet die Erfindung vorteilhafte und vielzählige Einsatzmöglichkeiten bei der automatischen Szenen- videoanalyse, bei welcher beispielsweise nur ein Bereich um den Blickpunkt in der Szenen übertragen und beispielsweise mit einer Referenz, das heißt mit einem Refe- renzvideo oder einem Referenzbild, registriert wird. In allen Anwendungsfeldern ist damit eine deutliche Reduktion der Basisbandbreite möglich. Vorteilhafterweise können so insgesamt Bildausschnitte, Bildausschnittsinhalte und Aufnahme-, Übertragungs- und Verarbeitungsfrequenz mit bestimmten verfügbaren Steuerungskriterien gesteuert werden, sodass die Datenmenge gegenüber dem ursprünglichen Video deutlich reduziert wird, ohne die jeweils kritische, das heißt relevante Information zu verlieren.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung.

Dabei zeigen:

Fig. 1 eine schematische Darstellung einer Vorrichtung zur Datenerfassung von

Umgebungsdaten und zur Auswertung der erfassten Umgebungsdaten gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 2 eine schematische Querschnittsdarstellung der Vorrichtung zur Datenerfassung und Auswertung gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 3 eine schematische Darstellung von erfassten Umgebungsdaten in Form eines Szenenbildes zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 4 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung gemäß einem Ausführungsbeispiel der Erfindung; Fig. 5 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung, insbesondere mit einer räumlichen Auswahl von Umgebungsdaten, gemäß einem Ausführungsbeispiel der Erfindung; und

Fig. 6 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung, insbesondere mit einer zeitlichen Auswahl, gemäß einem Ausführungsbeispiel der Erfindung. Fig. 1 zeigt eine schematische Darstellung einer Vorrichtung 10 zur Datenerfassung von Umgebungsdaten einer Umgebung 12 eines Benutzers und zu deren Auswertung gemäß einem Ausführungsbeispiel der Erfindung. Die Vorrichtung 10 umfasst dabei eine hier exemplarisch als Brille 14 ausgebildete am Kopf tragbare Vorrichtung, die beispielsweise als Augmented Reality Brille oder Datenbrille ausgebildet sein kann, oder auch als herkömmliche Brille mit oder auch ohne Brillengläser ausgebildet sein. Die am Kopf tragbare Vorrichtung könnte auch in beliebiger anderer Weise, beispielsweise als Helm oder ähnliches, ausgebildet sein.

Diese Brille 14 umfasst weiterhin eine als Szenenkamera 16 ausgebildete Szenenbild- aufnahmeeinrichtung, die frontseitig und in der Mitte der Brille 14 angeordnet ist. Die Szenenkamera 16 besitzt ein Sichtfeld 18, welches in Fig. 1 durch gestrichelte Linien veranschaulicht werden soll. Bereiche der Umgebung 12 innerhalb des Sichtfelds 16 der Szenenkamera 14 können auf dem Bildsensor der Szenenkamera 16 abgebildet und damit als Umgebungsdaten erfasst werden. Dieses Sichtfeld 18 ist dabei vorzugs- weise so ausgebildet, dass dieses sich zumindest zum Teil mit einem Sichtfeld eines Benutzers, welcher die Brille 14 trägt, überschneidet, bevorzugt zum Großteil oder auch vollständig abdeckt. Weiterhin umfasst die Brille 14 einen Eyetracker mit zwei Augenkameras 20a, 20b, die in diesem Beispiel innenseitig am Rahmen der Brille 14 angeordnet sind, sodass diese jeweils Bilder von einem jeweiligen Auge eines Benutzers, der die Brille 14 trägt, aufnehmen können, um diese Bildaufnahmen zum Beispiel zur Blickrichtungsermittlung, Blickpunktsermittlung, Blickmustererkennung, zum Detektieren eines Lidschlusses, und so weiter, auszuwerten. Weiterhin weist die Brille 14 eine optionale Vorverarbeitungseinrichtung 23 auf, von welcher später noch näher erläuterte Vorverarbeitungsschritte der Bildaufnahmen, insbesondere der Szenenkamera 16, durchgeführt werden können. Weiterhin weist die Vorrichtung 10 eine Auswerteeinrichtung 22 auf, welche in diesem Beispiel eine brillenexterne Einrichtung darstellt. Die Auswerteeinrichtung 22 ist weiterhin mit der Brille 14 über eine kommunikative Verbindung 25, beispielsweise eine Datenleitung, drahtlos oder dratgebunden koppelbar. Bei- spielsweise kann es auch vorgesehen sein, dass die Szenenkamera 16 zunächst ein Szenenvideo aufnimmt und die entsprechenden Daten zunächst in einen Speicher (nicht dargestellt) der Brille 14 abgelegt werden, und erst zu einem späteren Zeitpunkt die kommunikative Verbindung 25 zwischen der Brille 14 und der Auswerteeinrichtung 22 hergestellt wird, um die im Speicher abgelegten Daten auszulesen und an die Aus- Werteeinrichtung 22 zu übermitteln. Alternativ könnte diese Auswerteeinrichtung 22 jedoch auch in die Brille 14 integriert sein. Des Weiteren kann die Brille 14 optional Displays 21 aufweisen, mittels welchen beispielsweise zusätzliche digitale Informationen oder Objekte der Sicht auf die Umgebung 12 überlagert eingeblendet werden können. Eine solche Vorrichtung 10 kann nun für vielzählige Anwendungen genutzt werden. Beispielsweise kann mittels der Szenenkamera 16 ein Szenenvideo aufgenommen werden, während ein Benutzer die Brille 14 trägt und sich beispielsweise in der Umgebung 12 bewegt. Währenddessen können die Augenkameras 20a, 20b Aufnahmen von den Augen des Benutzers machen, um daraus die zu den jeweiligen Bildaufnahmen des Szenenvideos korrespondierende Blickrichtung zu ermitteln. Die erfassten Daten können nun beispielsweise an die Auswerteeinrichtung 22 übermittelt werden, die die Bilddaten der Szenenkamera 16 und der Augenkameras 20a, 20b auswertet. Beispielsweise kann dadurch ein Szenenvideo erstellt werden, indem der Blickpunkt des Benutzers zum jeweiligen Zeitpunkt markiert ist. Weiterhin ist es möglich, sich auch den zeitlichen Verlauf des Blickpunkts als Akkumulation dieser Blickpunkte in einem einzigen Bild, zum Beispiel einer Referenzaufnahme, zu veranschaulichen. Eine solche Referenzaufnahme kann beispielsweise ebenfalls eine Bildaufnahme der Umgebung 12 darstellen, die ebenfalls mittels der Szenenkamera 16 oder auch mittels einer anderen Bildaufnahmeeinrichtung getätigt wurde. Um nun die aufgenommenen Blickpunkte auf diese Referenzaufnahme transferieren zu können, müssen die Bildaufnahmen der Szenenkamera 1 6 mit dem Referenzbild registriert werden. Dies kann beispielsweise dadurch erfolgen, dass im Referenzbild signifikante Punkte oder Objekte markiert werden, die in den jeweiligen Bildern des Szenenvideos gesucht und identifiziert werden, um dadurch beispielsweise eine Transformation abzuleiten, die ein jeweiliges Szenen- bild auf das Referenzbild abbildet. Auf diese Weise können dann auch die Blickpunkte des Benutzers zu den jeweiligen Zeitpunkten auf das eine Referenzbild abgebildet werden. Durch die Akkumulation solcher Blickpunkte lassen sich beispielsweise Aussagen darüber treffen, welche Objekte in der Umgebung 12 die Aufmerksamkeit eines Benut- zers erregen, und welcher weniger. Solche Maßnahmen können beispielsweise für Verbraucherverhaltensforschung eingesetzt werden, oder auch andere Studien. Ein solches Prozedere kann dabei nicht nur für einen Benutzer, sondern auch für mehrere Benutzer durchgeführt werden, die beispielsweise jeweils eine solche Brille 14 tragen oder die Brille 14 nacheinander. Zudem können Registrierungsverfahren auch dazu genutzt werden um eine Interaktion, zum Beispiel zwischen mehreren Benutzern, zu ermöglichen sowie auch eine live Analyse z.B. bei einer Besichtigung oder einem Ausprobieren von Verkaufsangeboten/objekten. Beispielsweise können die für einen ersten Benutzer jeweils aktuellen Blickpunkte bezüglich seiner Umgebung ermittelt werden und einem zweiten Benutzer, der beispielsweise die gleiche Umgebung betrachtet, je- doch aus einer anderen Perspektive, diese Blickpunkte des ersten Benutzers über das Display 21 seiner Brille 14 an korrespondierender Stelle, insbesondere auch in Echtzeit, eingeblendet werden, so dass der zweite Benutzer nachvollzeihen kann, auf welche Objekte in der Umgebung der erste Benutzer gerade Blickt. Bei solchen Verfahren fallen üblicherweise sehr hohe Datenmengen an, sodass sowohl die Datenübermittlung sowie auch deren Auswertung extrem zeitintensiv und rechenintensiv ist. Bei anderen Anwendungen, bei denen beispielsweise eine Onlinedatenauswertung erforderlich ist, insbesondere um Echtzeitsysteme bereitstellen zu können, und bei denen zudem die Auswerteeinrichtung zum Beispiel nicht als externe, sondern als in die Brille 14 integrierte Auswerteeinrichtung 22 bereitgestellt sein soll, wodurch die durch die Auswerteeinrichtung 22 bereitgestellte Rechenleistung zusätzlich begrenzt ist, stellen diese großen Datenmengen weiterhin große Probleme bereit. Dies gilt zum Beispiel für Augmented Reality Brillen, bei denen zusätzliche digitale Informationen durch die Brille 14 in die Umgebung 12 eingeblendet werden sollen, und zudem bezüg- lieh der Umgebung 12 auch in der richtigen Position. Ähnlich wie bei der Registrierung von Szenenbildern mit einem Referenzbild müssen hierbei die entsprechend einzublendenden Overlays mit den Umgebungsaufnahmen, die durch die Szenenbilder bereitgestellt sind, registriert werden. Durch die Erfindung wird es nun in vorteilhafter Weise ermöglicht, diese enormen Datenmengen zu reduzieren, ohne dass dabei wesentliche Informationen verloren gehen, was die Qualität eines solchen Verfahrens stark mindern würde. Dies wird dadurch bewerkstelligt, dass eine die Umgebungsdaten betreffende Auswahl getroffen wird. Diese Auswahl kann bei der Datenerfassung mittels der Szenenkamera 16, beim Auslesen der Daten aus der Szenenkamera 16 beziehungsweise deren Bildsensor, beim Übermitteln der Daten an die Auswerteeinrichtung 22 sowie auch beim Auswerten durch die Auswerteeinrichtung 22 erfolgen. Hierzu kann die Vorrichtung 10 zumindest eine Steuervorrichtung aufweisen, die beispielsweise Teil der Vorverarbeitungseinrichtung 23, der Auswerteeinrichtung 22, der Szenenkamera 16 und/oder des Eyetrackers sein kann, oder auch als eine weitere separate Steuervorrichtung ausgebildet sein kann, um die Datenerfassung, das Auslesen der Daten, die Datenübermittlung und deren Auswertung sowie das Treffen der Auswahl zu steuern. Insbesondere können die eine oder mehreren Steuervorrichtungen eine Prozessoreinrichtung aufweisen, die dazu einge- richtet ist, eine oder mehrere Ausführungsformen des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen MikroController aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsformen des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.

Durch eine die Umgebungsdaten betreffende Auswahl lässt sich vorteilhafterweise eine Datenselektion bezüglich relevanter und weniger relevanter Daten vornehmen. Diese Auswahl kann dabei vorteilhafterweise sowohl zeitlich als auch räumlich getroffen werden. Beispiele für eine räumliche Auswahl werden nachfolgend exemplarisch anhand von Fig. 2 und Fig. 3 näher beschrieben.

Die Auswahl wird dabei in Abhängigkeit von mindestens einem erfassten Parameter getroffen. Dieser Parameter dient dazu, die Relevanz der Umgebungsdaten zu katego- risieren beziehungsweise einzuschätzen. Dabei kommen vielzählige Parameter in Betracht, anhand welcher eine solche Kategorisierung vorgenommen werden kann. Besonders vorteilhaft ist dabei vor allem die Blickrichtung beziehungsweise der Blickpunkt des Benutzers in Bezug auf ein aufgenommenes Szenenbild. Dies ist dadurch bedingt, dass sich das Auge automatisch auf signifikante Bereiche, Punkte oder Objekte in seiner Umgebung richtet. Damit kann der Blickpunkt im Bild vorteilhafterweise dazu genutzt werden, um den wahrscheinlichsten Aufenthaltsort signifikanter Punkte, Objekte oder Bereiche im Szenenbild zu finden.

Fig. 2 zeigt dabei eine schematische Darstellung der Brille 14 der Vorrichtung 10 im Querschnitt sowie ein Auge 24 eines Benutzers, der durch die Brille 14 blickt. Die Szenenkamera 16 nimmt dabei ein Bild 26 (vergleiche Fig. 3) von einem Umgebungsbereich 28 auf, welcher sich im Sichtfeld 18 der Szenenkamera 16 befindet. Des Weiteren nimmt der Eyetracker mit der Augenkamera 20a ein oder mehrere Bilder vom Auge 24 des Benutzers auf, auf deren Basis die Blickrichtung 30 des Auges 24 zum Zeitpunkt der Aufnahme des Umgebungsbildes 26 ermittelt wird. Auf Basis der ermittelten Blickrichtung 30 und des korrespondierend aufgenommenen Szenenbildes 26 kann der Blickpunkt 32 im aufgenommenen Szenenbild 26 berechnet werden.

Fig. 3 zeigt eine schematische Darstellung eines solchen aufgenommenen Szenenbildes 26, mit dem in Bezug auf dieses berechneten Blickpunkts 32. Weiterhin sind mit 34a und 34b Objekte im Szenenbild 26 bezeichnet. Als relevante Bilddaten kann hierbei nun ein Bereich um den Blickpunkt 32 ausgewählt werden, da die Wahrscheinlich- keit, ein Objekt, einen signifikanten Punkt oder Bereich in der Nähe des Blickpunkts 32 aufzufinden, am höchsten ist. Für die Auswahl dieses Bereichs gibt es nun ebenfalls mehrere Möglichkeiten. Bei einer besonders einfachen Ausgestaltung kann die Größe dieses Bereichs durch einen festen Parameter, wie zum Beispiel Bildanteil oder Radius um den Blickpunkt 32 fest vorgegeben sein, wie dies in diesem Beispiel in Fig. 3 für den Bereich 36a veranschaulicht ist. Noch bessere Ergebnisse lassen sich beispielsweise erzielen, wenn sich dieser Bereich adaptiv anpassen lässt, zum Beispiel mittels einer Feedbackschleife. Für eine solche adaptive Anpassung kann beispielsweise die Charakteristik des Bildinhalts, wie zum Beispiel die Raumfrequenz um den Blickpunkt 32, die Anzahl oder Eindeutigkeit von Features oder Feature Cluster, Objekte, interessante- re Bereiche, Kontraststärke um den Blickpunkt 32, betrachtet werden. Die Untersuchung der Bildcharakteristik im Bereich des ermittelten Blickpunkts 32 kann beispielsweise im Zuge einer Vorverarbeitung durch die Vorverarbeitungseinrichtung 23 durchgeführt werden. Dadurch lassen sich zusammenhängende Flächen oder Objekte erkennen, wie in diesem Beispiel das Objekt 34a, und der auszuwählende Bereich 36b kann dann so gewählt werden, dass immer ein ganzes Objekt 34a, das gerade angeschaut wird, oder eine zusammenhängende Fläche oder ausgehend vom Blickpunkt 32 alles bis zur nächsten Kante, durch den ausgewählten Bereich 36b umfasst ist. Eine solche Auswahl ermöglicht nun eine Datenreduktion in besonders vorteilhafter Weise. Beispielsweise kann es vorgesehen sein, dass nur der ausgewählte Bereich 36a, 36b von der Szenenkamera 16 aufgenommen, aus dieser ausgelesen, an die Auswerteeinrichtung 22 übermittelt oder von der Auswerteeinrichtung 22 ausgewertet wird. Alternativ kann es auch vorgesehen sein, dass von dem ausgewählten Bereich 36a, 36b verschiedene Bildbereiche des Szenenbilds 26 in reduzierter Weise weiter behandelt werden, die beispielsweise mit geringerer Auflösung erfasst und durch Komprimierungsalgorithmen komprimiert übermittelt oder ausgewertet werden.

Zudem kann nicht nur ein, sondern beispielsweise auch zwei oder mehrere ausgewähl- te Bereiche bereitgestellt werden, wie in Fig. 3 anhand des ersten ausgewählten Bereichs 36a und eines weiteren ausgewählten Bereichs 36c veranschaulicht werden soll. Dadurch lässt sich beispielsweise eine graduelle oder auch kontinuierliche Datenreduktion aus dem erfassten Blickpunkt 32 ermöglichen. Beispielsweise können so die Bilddaten in unmittelbarer Nähe des Blickpunkts 32 zum Erreichen einer maximalen Quali- tät in unreduzierter Weise behandelt werden, während die Daten außerhalb dieses ersten Bereichs 36a und innerhalb des zweiten Bereichs 36c in reduzierter Weise behandelt werden, beispielsweise komprimiert oder mit geringerer Priorität, während die übrigen Daten außerhalb des Bereichs 36c und des Bereichs 36a gar nicht oder gegenüber den Daten im Bereich 36c in weiter reduzierterer Weise behandelt werden. Damit lässt es sich beispielsweise bewerkstelligen, dass Bildbereiche, je peripherer diese in Bezug auf den Blickpunkt 32 angeordnet sind, mit umso höherer Komprimierung oder anderen Reduktionsmaßnahmen behandelt werden, und Bildbereiche im fovealen Bereich als unkomprimiertes Szenenvideo bereitgestellt werden (zum Beispiel mit H264 pro Macroblock 16x1 6). Damit lassen sich Bilddaten mehreren Relevanzklassen zuordnen, wobei vorzugsweise je weiter Bildbereiche vom Blickpunkt 32 entfernt sind, eine umso geringere Relevanz zugeordnet wird. Auch lassen sich dadurch verschiedene Grade und/oder Arten der Komprimierung anhand des menschlichen Sehvermögens vorsehen. Zur relevanzabhängigen Datenreduktion kann jedoch nicht nur eine räumliche Auswahl dienen, sondern beispielsweise auch eine zeitliche Auswahl von Daten getroffen werden. Eine solche zeitliche Auswahl bedeutet beispielsweise, dass, wenn mehrere Bilder 26 als eine Bildsequenz aufgenommen werden, in Abhängigkeit vom Zeitpunkt ihrer Aufnahme als relevant oder weniger relevant eingestuft werden können und entsprechend zeitlich ausgewählt werden können. Eine solche zeitliche Auswahl kann beispielsweise ereignisgesteuert sein. Wird beispielsweise ein Lidschluss des Benutzers detektiert, oder kann aus anderen Gründen der Blickpunkt 32 für einen bestimmten Zeitpunkt oder Zeitraum nicht bestimmt werden, so können die während dieses Zeit- raums erfassten Bilddaten als weniger relevant eingestuft werden, oder auch gar keine Bildaufnahmen während eines als weniger relevant eingestuften Zeitraums getätigt werden. Auch kann es vorgesehen sein, dass Bilddaten nur dann als relevant eingestuft werden, wenn sie gegenüber einem vorher aufgenommenen Bild eine signifikante inhaltliche Änderung aufweisen. Zudem lassen sich vorteilhafterweise zeitliche und räumliche Auswahl auch beliebig kombinieren. Beispielsweise kann es vorgesehen sein, dass Bilddaten außerhalb eines räumlich ausgewählten Bereichs 36a, 36b mit niedrigerer Frequenz beziehungsweise Rate ausgelesen, übermittelt oder verarbeitet werden, als die den ausgewählten Bereichen 36a, 36b zugeordneten Bilddaten. Fig. 4 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Umgebungsdatenerfassung und Auswertung, welches insbesondere räumliche und zeitliche Auswahlen vereint, gemäß einem Ausführungsbeispiel der Erfindung. Gemäß diesem Beispiel werden mittels der Szenenkamera 16 Bilder 26 von der Umgebung 12 eines Benutzers in einer zeitlichen Sequenz, zum Beispiel in Form eines Videos, aufgenom- men, wobei eine jeweilige Bildaufnahme durch S1 6 veranschaulicht ist. Des Weiteren wird auf Basis der Blickdaten, welche vom Eyetracker erfasst werden, für eine jeweilige Bildaufnahme die Blickrichtung in S18 ermittelt und basierend auf der ermittelten Blickrichtung sowie auf der korrespondierenden Bildaufnahme in S20 der Blickpunkt des Benutzers im entsprechenden Bild 26 bestimmt. Zur Datenreduktion ist in diesem Bei- spiel diesem Ablauf jedoch bereits eine zeitliche Auswahl vorgelagert. Hierzu wird zunächst in Schritt S10 überprüft, ob beispielsweise ein Auge des Benutzers geöffnet ist und/oder eine Fixation des Auges erkannt wurde oder für den Zeitpunkt der nachfolgenden Bildaufnahme in S16 prognostiziert wurde. Diese Informationen können beispielsweise ebenfalls auf Basis der vom Eyetracker ermittelten Blick- oder Augendaten erfasst werden. Gemäß einem ersten Ausführungsbeispiel kann es vorgesehen sein, dass erst dann eine Bildaufnahme und eine korrespondierende Blickrichtungsermittlung stattfinden, wenn auch das Auge geöffnet beziehungsweise eine Fixation erkannt oder prognostiziert wurde. Ist dies nicht der Fall, so wird die Überprüfung darauf, ob das Au- ge geöffnet oder eine Fixation erkannt oder prognostiziert wurde, wiederholt, bis dies der Fall ist. Gemäß einer weiteren Ausführungsform kann es aber auch vorgesehen sein, dass für den Fall, dass das Auge geöffnet oder eine bestimmte Augenbewegung, wie die Fixation oder auch eine Sakkade, erkannt wurde, für die Bildaufnahme und die Blickrichtungsermittlung in S12 eine erste Rate festgelegt wird, während, wenn das Au- ge geschlossen oder zum Beispiel keine Fixation erkannt oder prognostiziert wurde, für die Bildaufnahme in S1 6 und die Blickrichtungsermittlung in S18 eine zweite Rate in S14 festgelegt wird, die geringer ist als die erste Rate. Diese Raten beziehen sich dabei auf die Bildaufnahmeraten für die Bildaufnahme in S16 und gegebenenfalls auch auf die korrespondierende Blickrichtungsermittlung in S18. Mit anderen Worten erfolgt die Bildaufnahme solange ein Auge geschlossen ist oder das Auge nicht auf einen bestimmten Punkt oder Bereich fixiert ist, weniger häufig beziehungsweise mit verringerter Rate. Wird dagegen detektiert, dass das Auge geöffnet ist oder eine Fixation erfolgt, wird zu einer höheren Aufnahmerate gewechselt. Diese bleibt erhalten bis wiederum detektiert wird, dass das Auge geschlossen ist, oder für den Fall einer erkannten Fixati- on des Auges zum Beispiel auch nur für eine vorbestimmbare Zeitdauer. Auch kann es im Rahmen dieser zeitlichen Auswahl vorgesehen sein, dass eine Reduktion auf eines oder nur einiger Bilder je Fixation vorgenommen wird. Eine Fixation lässt sich bei- spielswiese auch auf Basis einer offline Fixationserkennung detektieren, was beispielsweise für eine zusätzliche oder alternative Auswahl der Umgebungsdaten bei einer nachträglichen Auswertung der Daten genutzt werden kann.

Eine weitere zeitliche Auswahl könnte optional auch noch in S20 bei der Ermittlung des Blickpunkts 32 im Bild 26 erfolgen. Befindet sich der Blickpunkt 32 des Benutzers beispielsweise außerhalb des Sichtfeldes 18 der Szenenkamera 14 und damit nicht im aufgenommenen Bild 32, so kann die Bildaufnahme verworfen werden und zur nächsten Bildaufnahme übergegangen werden.

Als weiteres optionales Auswahlkriterium bzw. als weitere Auswahlparameter können auch alternativ oder zusätzlich andere biometrische Charakteristiken oder auch externe Signale herangezogen werden, was in SO veranschaulicht werden soll. Hier wird ein biometrisches Signal basierend auf einer erfassten biometrischen Charakteristik des Benutzers, wie beispielsweise eine Pulsrate, eine Pupillenkontraktion, usw. auf das erfüllt sein eines Kriteriums hin geprüft. Alternativ oder zusätzlich kann in SO auch über- prüft werden, ob ein Signal einer externen Vorrichtung empfangen wurde und/oder ob ein solches externes Signal ein Kriterium erfüllt. Derartige Signale können dann beispielsweise herangezogen werden, um das Verfahren zu triggern bzw. zu starten und erst dann mit der Überprüfung in S10 zu beginnen. Derartige biometrische und/oder externe Signale können auch zusätzlich oder alternativ zur Überprüfung in S10 ver- wendet werden, so dass beispielsweise erst dann eine Blickrichtungsermittlung in S19 und eine Bildaufnahme in S16 erfolgt, wenn ein Signal in SO empfangen oder ein solches Signal ein Kriterium erfüllt. Auch kann optional ein solches Signal herangezogen werden, um zu entscheiden, wann die nachfolgend noch näher beschriebene Größenbestimmung des Bildbereichs gemäß S22 durchgeführt wird und wann nicht und bei- spielsweise gleich zu S24 übergegangen wird.

Wurde nun ein Bild 26 in S16 aufgenommen und in S18 die korrespondierende Blickrichtung ermittelt, sowie auch in S20 der korrespondierende Blickpunkt des Benutzers im Bild 26 bestimmt, wird in S22 im Zuge einer räumlichen Auswahl die Größe eines Bildbereichs um den Blickpunkt 32 ermittelt. Um eine möglichst gute Situationsanpassung zu ermöglichen, erfolgt die Größenbestimmung dieses Bildbereichs in diesem Beispiel dynamisch, das heißt in Abhängigkeit von einem oder mehreren weiteren Parametern. Ein solcher Parameter kann beispielsweise die Blickpunktgenauigkeit darstellen, welche in S22a ermittelt wird. Eine Abschätzung der Blickpunktgenauigkeit kann beispielsweise auf Basis von Bildcharakteristiken oder der Bildqualität des durch den Eyetracker aufgenommenen Bildes zur Ermittlung der Blickrichtung und des Blickpunktes erfolgen, durch statistische Auswertung mehrerer Blickdaten, zum Beispiel deren Streuung, oder auch zahlreicher weiterer Parameter. Damit lässt es sich vorteilhafterweise bewerkstelligen, dass die Bereichsgröße größer gewählt wird, wenn die Blick- punktgenauigkeit geringer ist im Vergleich zu einer größeren Blickpunktgenauigkeit. Dadurch lässt es sich bewerkstelligen, dass die Bereichsgröße dynamisch in Abhängigkeit von der Blickpunktgenauigkeit oder im Allgemeinem von einem Qualitätsmaß des ermittelten Blickpunkts 32 gesteuert wird, so dass z.B. der Ausschnittsradius des Bereichs um den Blickpunkt 32 vergrößert wird, wenn die Genauigkeit der Blickpunktermittlung sinkt.

Zusätzlich kann in S22b ein weiterer Parameter ermittelt oder vorgegeben werden, wie beispielsweise ein Schwellwert für die oben beschriebene Blickpunktgenauigkeit, so dass zum Beispiel erst dann eine entsprechende Größenanpassung des Bildbereichs vorgenommen wird, wenn die Blickpunktgenauigkeit diesen Schwellwert unterschreitet und andernfalls die Größe des Bildbereichs immer den gleichen vorbestimmten Wert annimmt oder das Festlegen der Bereichsgröße in S22c unabhängig von der Blick- punktgenauigkeit erfolgt. Auch können in S22b andere Parameter alternativ oder zusätzlich ermittelt werden, wie zum Beispiel wieder biometrische und/oder externe Signale, so dass das Festlegen der Bereichsgröße in S22c auch in Abhängigkeit von solchen Signalen erfolgen kann. Als weiterer Parameter zur Größenbestimmung kann beispielsweise auch eine Bildcharakteristik des aufgenommenen Bildes 26 herangezogen werden. Beispielsweise sollte der den Blickpunkt 32 umfassende Bereich so gewählt werden, dass auch Objekte, auf die der Benutzer gerade blickt, vollständig in diesem Bereich enthalten sind. Solche Bildcharakteristiken lassen sich im Rahmen einer Voranalyse beziehungsweise Vorver- arbeitung des aufgenommenen Bildes 26 ermitteln, bei welcher der Bildinhalt durch Analyse von Raumfrequenzen um den Blickpunkt 32 hin analysiert werden kann, die Kontraststärke um den Blickpunkt 32 berücksichtigt werden kann, das Vorhandensein von Objekten, Kanten, oder ähnlichem um den Blickpunkt 32 herum berücksichtigt werden kann. In Abhängigkeit von diesen in S22a, S22b und S22d ermittelten Parametern wird schließlich in S22c die Bereichsgröße des den Blickpunkt 32 umfassenden Bildbereich des Bildes 26 festgelegt.

An diese räumliche Auswahl kann sich nun nochmal optional eine zeitliche Auswahl anschließen, die im Folgenden beschrieben wird. Gemäß dieser zeitlichen Auswahl kann nun in S24 überprüft werden, ob sich der Bildinhalt entweder gesamten Bildes 26 oder nur der Bildinhalt des in S22 ausgewählten Bereichs signifikant gegenüber einer vorherigen Bildaufnahme geändert hat. Ist dies nicht der Fall, können gemäß einer ersten Ausführungsform alle Bilddaten betreffend die aktuelle Bildaufnahme verworfen werden und zur nächsten Bildaufnahme übergegangen werden. Dies kann solange wiederholt werden, bis in S24 eine signifikante Änderung des Bildinhalts festgestellt wird. Erst dann werden die Daten, zumindest die Bilddaten des ausgewählten Bildbereichs, in S28 an die Auswerteeinrichtung 22 übermittelt. Gemäß einer weiteren Ausführungsform können jedoch auch hier wieder erste und zweite Raten für die Übermitt- lung der Bilddaten festgelegt werden. Wird beispielsweise eine signifikante Änderung in S24 festgestellt, so kann das Übermitteln der Bilddaten des ausgewählten Bildbereichs mit einer ersten Rate in S25 erfolgen. Wird dagegen keine signifikante Änderung in S24 festgestellt, so kann das Übermitteln der Bilddaten zumindest des ausgewählten Bildbereichs mit einer zweiten Rate in S26, die geringer ist als die erste Rate, erfolgen, da in diesem Fall die Bilddaten als weniger relevant einzustufen sind. Wurden nun schließlich in S28 die Bilddaten des ausgewählten Bildbereichs an die Auswerteeinrichtung 23 übermittelt, und insbesondere von dieser ausgewertet, so kann in Schritt S30 überprüft werden, ob die Auswertung dieser Bilddaten erfolgreich war. Dies kann beispielsweise anhand vorbestimmter Kriterien bemessen werden, wie beispielsweise daran, ob Ob- jekte im ausgewählten und ausgewerteten Bildbereich detektiert wurden, ob vorbestimmte Objekte in diesem Bildbereich detektiert wurden, vorbestimmte signifikante Punkte oder Bereiche in diesem Bildbereich wiedererkannt werden konnten, und so weiter. Ist dies der Fall, so kann das Verfahren zumindest für die aktuelle Bildaufnahme beendet sein und es wird optional das beschriebene Verfahren für weitere Bildaufnah- men in gleicher Weise durchgeführt. War die Auswertung in S30 dagegen nicht erfolgreich, zum Beispiel wenn keine Objekte, oder signifikante Punkte identifiziert werden konnten, so kann mit einer Analyse des nicht ausgewählten Bildbereichs fortgefahren werden. Dazu können die in S22 nicht ausgewählten Bildbereiche beziehungsweise diesen zugeordnete Bilddaten zunächst in S32 komprimiert werden, um die Datenmen- ge zu reduzieren, in S34 an die Auswerteeinrichtung 22 übermittelt werden und anschließend von dieser in S36 ausgewertet werden.

Die Erfindung stellt damit vielzählige Möglichkeiten bereit, die Daten gemäß ihrer Relevanz sowohl räumlich als auch zeitlich insbesondere auf unterschiedlichste Weise und nach vielzähligen möglichen Kriterien, ausgewählt werden können, um eine Datenreduktion ohne Verlust relevanter Bildinhalte zu ermöglichen. Die beschriebenen Auswahlschritte können dabei in beliebiger Kombination, sowie auch einzeln umgesetzt werden, wie anhand von Fig. 5 und Fig. 6 anhand vereinfachter Beispiele veranschaulicht werden soll. Fig. 5 zeigt dabei ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung von Umgebungsdaten, gemäß welchen insbesondere nur eine räumliche Auswahl getroffen wird, gemäß einem weiteren Ausführungsbeispiel der Erfindung. Gemäß diesem Verfahren erfolgt in S1 6 wiederum eine Bildaufnahme mittels der Szenenkamera 1 6 von der Umgebung 12 eines Benutzers, wobei der Eye- tracker in S1 8 eine Blickrichtung, die zum Zeitpunkt der Bildaufnahme korrespondiert, ermittelt oder prognostiziert. Aus der ermittelten Blickrichtung und der Bildaufnahme wird in S20 wiederum der Blickpunkt 32 des Benutzers im aufgenommenen Bild 26 be- stimmt. Anschließend wird in S23 eine Bereichsgröße des Bereichs um den Blickpunkt 32 bestimmt. Die Bereichsgröße kann beispielsweise durch einen festen Parameter, wie einen vorbestimmten Radius um den Blickpunkt 32 vorgegeben sein. Anschließend werden die Bilddaten des ausgewählten Bereichs um den Blickpunkt 32 in S28 an die Auswerteeinrichtung 22 übermittelt. Die Bilddaten außerhalb des in S23 festgelegten Bereichs werden dagegen zunächst in S32 komprimiert und erst anschließend in S34 an die Auswerteeinrichtung 22 übermittelt. Diese wertet dann in S38 die übermittelten Daten, gegebenenfalls in vorbestimmter Reihenfolge, zum Beispiel zunächst die des ausgewählten Bildbereichs und erst anschließend die des nicht ausgewählten Bildbereichs, aus. Auch durch dieses Verfahren lassen sich vorteilhafterweise durch eine räumliche Auswahl eines Bildbereichs Bilddaten in relevante und weniger relevante Daten selektieren und durch Kompression der weniger relevanten Daten insgesamt eine Datenreduktion bereitstellen, ohne auf relevante Informationen verzichten zu müssen. Auch bei diesem Verfahren kann optional noch die Erfassung eines weiteren Parameters, wie eines biometrischen Signals oder eines externen Signals, wie in S00 ver- anschaulicht, vorgesehen sein, das beispielsweise die Bildaufnahme in S1 6 und/oder die Blickpunktbestimmung in S20 triggert und/oder in Abhängigkeit von welchem das Festlegen der Bereichsgröße in S23 erfolgt.

Fig. 6 zeigt ein weiteres Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Datenerfassung und Auswertung von Umgebungsdaten, bei welchen insbesondere eine zeitliche Auswahl bezüglich Datenerfassung getroffen wird, gemäß einem Ausführungsbeispiel der Erfindung. Im Zuge dieser zeitlichen Auswahl wird wiederum im Schritt S10 überprüft, ob das Auge des Benutzers oder ob beide Augen des Benutzers geöffnet sind und/oder eine Fixation des Auges erkannt oder zumindest für den Zeit- punkt der nachfolgenden Bildaufnahme in S16 prognostiziert wird. Ist dies der Fall, so wird in S12 eine erste Rate für die Bildaufnahme in S1 6 festgelegt. Diese erste Rate, das heißt Bildaufnahmerate, bleibt erhalten, das heißt insbesondere für die nachfolgenden Bildaufnahmen, solange weiterhin in S10 erfasst wird, dass das Auge geöffnet und/oder eine Fixation erkannt wird. Ist dies dagegen nicht der Fall oder nicht mehr, so wird in S14 eine zweite Rate für die Bildaufnahme in S16 festgelegt, die geringer ist als die erste Rate, da dann davon ausgegangen werden kann, dass die betreffenden Bildaufnahmen weniger relevante Informationen enthalten und dadurch gleichzeitig Datenmengen eingespart werden können. Nach einer erfolgten Bildaufnahme in S16 werden im Zuge einer Vorverarbeitung der Bilddaten, beispielsweise durch die Vorverarbeitungseinrichtung 23, eine oder mehrere Bildcharakteristiken in S21 ermittelt. Diese Bildcharakteristik kann beispielsweise den Bildinhalt des aufgenommenen Bildes 26 betreffen, wobei im nachfolgenden Schritt S24 überprüft wird, ob sich dieser Bildinhalt in signifikanter Weise, beispielsweise in vorbestimmtem Ausmaß, gegenüber einer vor- hergehenden Bildaufnahme geändert hat. Ist dies der Fall, werden die Bilddaten in S33 an die Auswerteeinrichtung 22 übermittelt. Ist dies jedoch nicht der Fall, so kann von weniger relevanten Bilddaten ausgegangen werden, und diese werden daraufhin zunächst in S31 komprimiert und erst anschließend in S33 an die Auswerteeinrichtung 22 übermittelt, welche die übermittelten Bilddaten daraufhin in S38 auswertet.

Der mit dem Eyetracker berechnete Blickpunkt 32 (2D oder 3D) kann auch hier bezüglich des Szenenkamerakoordinatensystems verwendet werden, um einen relevanten Bildausschnitt räumlich und ggf. zusätzlich zeitlich festzulegen. Dieser Bildausschnitt kann dann auch alleine oder mit einem zusätzlichen Referenzausschnitt, z.B. einem Rahmen am Außenrand des Szenenbildes 26, einigen Zeilen oben, unten oder seitlich im Szenenbild 26, zusammen aus dem Szenenkamerasensor nur ausgelesen, übertragen oder weiterverarbeitet werden. Damit ist also explizit eingeschlossen, dass das gesamte Szenenbild 26 übertragen aber nur ein Bereich als AOI (area of interest) analysiert wird.

In allen Fällen kann zudem eine Vorverarbeitung eines Teiles oder des gesamten Bildes 26 vorgenommen werden um Umfang und Art der Datenreduktion genau zu bestimmen. Dazu würde entweder das ganze oder ein bestimmter Teilbereich des Bildes 26 ausgelesen, dann komplett oder teilweise voranalysiert um dann die Charakteristik und ggf. eine weitere Datenreduktion bzw. -kompression für das weitere Auslesen, die Übertagung und/ oder die finale Verarbeitung zu bestimmen.

Damit lassen sich vielzählige Möglichkeiten bereitstellen, Umgebungsdaten durch räumliche und/oder zeitliche Auswahl gemäß einer Einschätzung ihrer Relevanz auszulesen, zu übertragenden oder auszuwerten, wodurch sich die Datenmengen insgesamt deutlich reduzieren lassen, während gleichzeitig die Wahrscheinlichkeit für den Verlust relevanter Daten oder Informationen gering gehalten werden kann. Damit werden insgesamt eine Vorrichtung und ein Verfahren zur blickgesteuerten Aufnahme von Videos für die effiziente Weiterleitung, Verarbeitung und bevorzugt zur Registrierung relevanter Bildinhalte zueinander und zu anderen Referenzen wie Videos und Bildern bereitgestellt, die es sich zunutze machen, den Blickpunkt im Bild und/oder einen anderen externen Parameter und/oder eine Information oder Bildinhalt oder Bildstruktur entweder einmalig bei der Selektion eines Objekts oder fortlaufend bei der Bestimmung eines relevanten Zielbereichs einzusetzen und dabei entweder die laufenden Blickdaten oder nur die Fixationsdaten auf Basis einer Onlinefixationserkennung einerseits und einer Analyse dieses Bildbereichs andererseits zu verwenden. Nur ein so bestimmter relevanter Zielbereich des Szenenbildes oder Szenenvideos kann dann von der Kamera aufgenommen, ausgelesen oder übertragen und dann vom System, insbesondere der Auswerteeinrichtung, weiterverarbeitet und beispielsweise für eine Registrierung verwendet werden.

Die letztendlich durch die zeitliche und/oder räumliche Auswahl bereitgestellten Umgebungsdaten können in vorteilhafter Weise verwendet werden, um eine effiziente Regist- rierung mit vorher aufgenommenen Referenzbildern oder Videos vorzunehmen und auf Basis dieser Registrierung, die auch für mehrere Nutzer, und damit mehrerer Bildströme, Blickdatenströme gegebenenfalls zusätzliche Input- oder Triggerdaten, parallel o- der hintereinander erfolgen kann, und darauf basierend eine visuelle und quantitative Aggregation und/oder einen Vergleich von Blickverläufen und gegebenenfalls zugehö- rigen anderen Ereignissen, vorzunehmen. Das Referenzbild kann beispielsweise auch ein reduziertes oder unverändertes Szenenbild darstellen oder aus mehreren reduzierten Szenenbildern oder auch unveränderten Szenenbildern zusammengesetzt werden. Weiterhin können die Bilddaten auch verwendet werden, um eine effizientere Registrierung von visuell markierten, beispielsweise durch langes Fixieren oder durch Fixieren und Sprachkommando oder Tastendruck, und so weiter, oder fortlaufend betrachteten, Objekten oder Szenenbereichen mit Überlagerungen in einem transparenten Head- Mounted Display zu erreichen, die nicht das ganze Szenenvideo verarbeiten und/oder durchsuchen muss, beispielsweise wie bei einer Inhaltsanalyse wie durch OCR (optical character recognition) für Schilder, um zum Beispiel nur das Schild zu übersetzen, auf das der Benutzer gerade schaut. Weitere Anwendungsmöglichkeiten sind auch die Bestimmung relevanter Objekte oder Bereiche im Referenzbild und somit eine graduelle Reduktion der Bandbreite der zu analysierenden Bildströme, basierend auf der Idee, dass das Auge der beste„Merkmalsextrah ierer" ist.

Zudem ergeben sich daraus vielzählige weitere Anwendungsmöglichkeiten, in welchen in gleicher Weise große Datenmengen eingespart werden können. Beispielsweise kann einem Benutzer eine Detailansicht, Zoomansicht oder Röntgenansicht eines betrachteten Objekts gegeben werden, es wird eine effiziente simultane Lokalisierung und Abbil- dung (SLAM) und ein Zusammenfügen der Szene beziehungsweise Objekten in der Szene, vorzugsweise unter Benutzung der Winkel und Vergenztiefe zwischen den aufgenommenen Fixationen ermöglicht, um eine 3D-Karte des Raumes zu erstellen, insbesondere über Zeit und eventuell mehrere Benutzer. Dabei kann dafür auch die relative Position des ausgewählten Bereichs auf dem Sensor verwendet werden, bezie- hungsweise ist es denkbar, dass eventuell weitere ausgewählte Bereiche auf dem Sensor relativ zu einem aktuellen ausgewählten Bereich gesetzt werden, um eine robustere Erkennung zu ermöglichen. Zudem ist die Möglichkeit einer Aufwertung der Eigenschaften für registrierte Objekte oder Szenenausschnitte durch Kontextinformationen bereitgestellt, wie beispielsweise einer Entfernung, den Blickverlauf, Fixationsverhalten, und so weiter, um eine Featurezuordnung und Erstellung robuster zu machen. Es wird ein Mosaiking des Referenzbildes ermöglicht sowie eine Verbesserung der räumlichen Auflösung dessen über Zeit und über Benutzer. Zudem können diese Überlagerungen auch als Funktion einer Abweichung des Blickpunktes oder Blickverlaufs von einem Zielobjekt, wie einem Zielblickpunkt oder Zielverlauf, errechnet werden und dann auf Basis von Ziel und Ist positioniert werden.

Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren lassen sich damit für vielzählige Anwendungsmöglichkeiten einsetzen, in welchen damit deutliche Verbesserungen bei gleichzeitiger enormer Zeitersparnis und Rechenersparnis ermöglicht wird.

Bezugszeichenliste:

10 Vorrichtung

12 Umgebung

14 Brille

16 Szenenkamera

18 Sichtfeld der Szenenkamera

20a, 20b Augenkamera

22 Auswerteeinrichtung

21 Display

23 Vorverarbeitungseinrichtung

24 Auge

25 kommunikative Verbindung

26 Bild

28 Umgebungsbereich

30 Blickrichtung

32 Blickpunkt

34a, 34b Objekt

36a,36b,36c Bereich

Claims

Verfahren und Vorrichtung zur Datenerfassung und Auswertung von Umge- bungsdaten ANSPRÜCHE:

1 . Verfahren zur Datenerfassung von Umgebungsdaten einer Umgebung (12) eines Benutzers mittels einer Szenenbildaufnahmeeinrichtung (1 6) und zur

Auswertung der erfassten Umgebungsdaten mittels einer Auswerteeinrichtung (22),

dadurch gekennzeichnet,

dass eine räumliche Auswahl (36a, 36b, 36c) und/oder zeitliche Auswahl be- treffend

eine Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung (1 6) und/oder

eine Übertragung der Umgebungsdaten von der Szenenbildaufnahmeeinrichtung (1 6) zur Auswerteeinrichtung (22) und/oder

- eine Auswertung der Umgebungsdaten durch die Auswerteeinrichtung

(22),

getroffen wird, wobei die Auswahl (36a, 36b, 36c) in Abhängigkeit von mindestens einem erfassten, zeitlich variablen ersten Parameter (30, 32) getroffen wird.

2. Verfahren nach Anspruch 1 ,

dadurch gekennzeichnet,

dass die gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten in einer ersten vorbestimmbaren Weise behandelt, insbesondere erfasst und/oder ausgelesen und/oder übertragen und/oder ausgewertet, werden und die nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten nicht oder in zumindest einer zweiten von der ersten verschiedenen vorbestimmbaren Weise behandelt, insbesondere erfasst und/oder ausgelesen und/oder übertragen und/oder ausgewertet, werden.

Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet,

dass die nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten reduziert werden.

Verfahren nach Anspruch 3,

dadurch gekennzeichnet,

dass zur Reduktion der nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten

die nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten komprimiert werden; und/oder

die nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten gefiltert werden; und/oder

eine Rate betreffend die Erfassung und/oder das Auslesen und/oder das Übertragen und/oder das Auswerten der nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten reduziert ist gegenüber einer Rate betreffend die Erfassung und/oder das Auslesen und/oder das Übertragen und/oder das Auswerten der gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten; und/oder den nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten eine gegenüber den gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten geringere zeitliche Priorität, insbesondere bei der Auswertung, zugeordnet wird.

Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet,

dass die gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten durch zusätzliche Daten einer von der Szenebildaufnahmeeinrichtung verschiedenen Datenquelle angereichert werden.

Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet,

dass der mindestens eine erste erfasste Parameter (30, 32) einen Augenparameter (30, 32) mindestens eines Auges (24) des Benutzers darstellt, insbesondere wobei der Augenparameter (30, 32) mindestens einen aus der folgenden Gruppe darstellt:

eine Blickrichtung (30);

ein Blickpunkt (32);

- ein Blickmuster, insbesondere eine Augenbewegung und/oder eine zeitliche Blickpunktabfolge;

ein Augenöffnungszustand;

- eine Information über einen Abstand des Blickpunkts vom Benutzer, insbesondere ein Konvergenzwinkel der beiden Augen des Benutzers.

Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet,

dass der mindestens eine erste erfasste Parameter einen eine Bildcharakteristik eines bei der Erfassung der Umgebungsdaten mittels der Szenenbildauf- nahmeeinrichtung (1 6) aufgenommenen Bildes (26) darstellt und/oder eine Änderung der Bildcharakteristik mit Bezug auf zumindest ein zeitlich vorher aufgenommenes Bild.

Verfahren nach einem der vorhergehenden Ansprüche

dadurch gekennzeichnet,

dass der mindestens eine erste Parameter eine Benutzereingabe und/oder eine erfasste Benutzercharakteristik darstellt.

Verfahren nach einem der vorhergehenden Ansprüche

dadurch gekennzeichnet,

dass die räumliche Auswahl (36a, 36b, 36c) festlegt, welcher Bereich (36a, 36b, 36c) der Umgebung (12) als die Umgebungsdaten, insbesondere auf die erste vorbestimmbare Weise,

- mittels der Szenenbildaufnahmeeinrichtung (1 6) erfasst wird und/oder aus der Szenenbildaufnahmeeinrichtung (1 6) ausgelesen wird und/oder

- an die Auswerteeinrichtung (22) übermittelt wird und/oder

- von der Auswerteeinrichtung (22) ausgewertet wird.

0. Verfahren nach Anspruch 9,

dadurch gekennzeichnet,

dass die räumliche Auswahl (36a, 36b, 36c) derart in Abhängigkeit von einem erfassten Blickpunkt (32) des Benutzers getroffen wird, dass der Bereich (36a, 36b, 36c) den Blickpunkt (32) umfasst.

1 . Verfahren nach einem der Ansprüche 9 oder 10,

dadurch gekennzeichnet,

die Größe des Bereichs fest vorgegeben, das heißt nicht variabel bzw. konstant, ist.

2. Verfahren nach einem der Ansprüche 9 oder 10,

dadurch gekennzeichnet,

die Größe des Bereichs (36a, 36b, 36c) in Abhängigkeit von mindestens einem zweiten Parameter festgelegt bzw. gesteuert wird, insbesondere in Abhängigkeit von

einer Bildcharakteristik eines bei der Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung (1 6) aufgenommenen Bildes (26); und/oder

- einem Maß für eine Genauigkeit und/oder Dynamik des ermittelten

Blickpunkts (32) des Benutzers; und/oder

mindestens einem Geräteparameter einer Vorrichtung (10) umfassend die Szenenbildaufnahmeeinrichtung (1 6) und/oder die Auswerteeinrichtung (22); und/oder

- einer Größe eines sich in vorbestimmter Nähe des Blickpunkts (32) des Benutzers befindlichen Objekts (34a, 34b) in einem bei der Erfassung der Umgebungsdaten mittels der Szenenbildaufnahmeeinrichtung (1 6) aufgenommenen Bildes (26).

Verfahren nach einem der vorhergehenden Ansprüche

dadurch gekennzeichnet,

dass die zeitliche Auswahl festlegt, wann, insbesondere auf die erste vorbestimmbare Weise, ein Bereich (26; 36a, 36b, 36c) der Umgebung (12) als Umgebungsdaten

- mittels der Szenenbildaufnahmeeinrichtung (1 6) erfasst wird; und/oder

- aus der Szenenbildaufnahmeeinrichtung (1 6) ausgelesen wird;

und/oder

- an die Auswerteeinrichtung (22) übermittelt wird; und/oder

- von der Auswerteeinrichtung (22) ausgewertet wird.

Verfahren nach einem der vorhergehenden Ansprüche

dadurch gekennzeichnet,

dass die zeitliche Auswahl derart in Abhängigkeit des mindestens einen ersten Parameters (30, 32) getroffen wird, dass nur dann oder in der ersten vorbestimmbaren Weise

- Bilder (26) und/oder Bildausschnitte mit der Szenenbildaufnahmeeinrichtung (1 6) aufgenommen werden; und/oder

aufgenommene Bilddaten ausgelesen werden; und/oder

- an die Auswerteeinrichtung (22) übermittelt werden; und/oder

- von der Auswerteeinrichtung (22) ausgewertet werden;

wenn der mindestens eine erste Parameter (30, 32) ein vorbestimmtes Kriterium erfüllt.

Verfahren nach Anspruch 14,

dadurch gekennzeichnet,

dass das vorbestimmte Kriterium darin besteht, dass

erfasst wird, dass ein Blickmusters und/oder eine Augenbewegung und/oder eine Blickfolge und/oder eine Fixation des Auges (24), die als der mindestens eine erste Parameter erfasst und/oder prognostiziert wird, eine vorbestimmte Charakteristik aufweist; und/oder der Offnungszustand des Auges (24) als der mindestens eine erste Parameter erfasst und/oder prognostiziert wird, und darauf basierend er- fasst wird, dass das mindestens eine Auge (24) des Benutzers geöffnet ist; und/oder

auf Basis der Bildcharakteristik als der mindestens eine erste Parameter erfasst wird, dass eine Änderung zumindest eines Teils eines Bildinhalts gegenüber zumindest einem Teil eines Bildinhalts zumindest eines zeitlich vorher aufgenommenen Bildes ein vorbestimmbares Maß überschreitet; und/oder

eine Benutzereingabe als der mindestens eine erste Parameter detek- tiert wird; und/oder

- auf Basis einer Benutzercharakteristik als der mindestens eine erste Parameter ein vorbestimmter Benutzerzustand erkannt und/oder prognostiziert wird.

Verfahren nach einem der vorhergehenden Ansprüche

dadurch gekennzeichnet,

dass nach dem Erfassen der Umgebungsdaten und vor der Auswertung der Umgebungsdaten eine Vorverarbeitung der Umgebungsdaten durchgeführt wird, bei welcher die Auswahl (36a, 36b, 36c) getroffen wird und/oder bei welcher die erste vorbestimmbare Weise bestimmt wird, die den gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten zugeordnet wird, und/oder bei welcher die zweite Weise bestimmt wird, welche den nicht gemäß der Auswahl (36a, 36b, 36c) ausgewählten Umgebungsdaten zugeordnet wird.

Vorrichtung (10) mit einer Szenenbildaufnahmeeinrichtung (1 6) zur Datenerfassung von Umgebungsdaten einer Umgebung (12) eines Benutzers und mit einer Auswerteeinrichtung (22) zur Auswertung der erfassten Umgebungsdaten,

dadurch gekennzeichnet,

dass die Vorrichtung (10) dazu ausgelegt ist, eine räumliche und/oder zeitliche Auswahl (36a, 36b, 36c) betreffend eine Erfassung der Umgebungsdaten mittels der Szenenbildaufnahme- einrichtung (1 6) und/oder

eine Übertragung der Umgebungsdaten von der Szenenbildaufnahme- einrichtung (1 6) zur Auswerteeinrichtung (22) und/oder

- eine Auswertung der Umgebungsdaten durch die Auswerteeinrichtung

(22),

in Abhängigkeit von mindestens einem erfassten, zeitlich variablen ersten Parameter (30, 32) zu treffen. 18. Vorrichtung (10) nach Anspruch 17,

dadurch gekennzeichnet,

dass die Vorrichtung eine Eyetracking-Einrichtung (20a, 20b) aufweist, die dazu ausgelegt ist, den mindestens einen ersten Parameter (30, 32) zu erfassen. 19. Vorrichtung (10) nach Anspruch 17 oder 18,

dadurch gekennzeichnet,

dass die Vorrichtung (10) eine am Kopf tragbare Vorrichtung (14) umfasst, insbesondere eine Augmented-Reality-Brille, wobei die am Kopf tragbare Vorrichtung (14) die Szenenbildaufnahmeeinrichtung (1 6) und mindestens eine Anzeigevorrichtung (21 ) aufweist.