DE202014103729U1

DE202014103729U1 - Augmented-Reality mit Bewegungserfassung

Info

Publication number: DE202014103729U1
Application number: DE202014103729.2U
Authority: DE
Original assignee: Leap Motion Inc
Current assignee: Leap Motion Inc
Priority date: 2014-08-08
Filing date: 2014-08-12
Publication date: 2014-09-09
Anticipated expiration: 2024-08-13
Also published as: US20190335158A1; US20160044298A1; US20210120222A1; US20240031547A1; JP2016038889A; US11483538B2; CN204480228U; US11778159B2; US10349036B2; US10880537B2; US20230042990A1

Abstract

Bewegungssensorische und bildgebende Vorrichtung, umfassend: eine Vielzahl bildgebender Sensoren, die angeordnet ist, um stereoskopische Bildinformationen einer betrachteten Szene bereitzustellen; eine oder mehr über den Bildsensoren angeordnete Beleuchtungsquellen; und eine Steuerung, die an die bildgebenden Sensoren und die Beleuchtungsquellen gekoppelt ist, um deren Betrieb zu steuern, Bildinformationen einer Szene zu erhalten und wenigstens eine nahezu Echtzeit-Weiterleitung von Bildinformationen an einen Benutzer bereitzustellen.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine hochfunktionelle/hochgenaue sensorische und bildgebende Vorrichtung für die Verwendung in tragbaren Sensorsysteme zur Erfassung von Gesten in einem dreidimensionalen (3D) sensorischen Raum mit Bildgebung oder anderen Sensoren und zur Darstellung einer 3D Augmented-Reality-Umgebung für einen Benutzer.
HINTERGRUND
Eine Geräteklasse, wie Google Glass, bietet die Möglichkeit, Informationen darzustellen, die auf einem durchsichtigen, von einem Benutzer getragenen Bildschirm eingeblendet sind. Eine andere Geräteart, wie Oculus Rift, stellt dem Benutzer einen Virtual-Reality-Anzeige, ohne Informationen aus der realen Welt, die den Benutzer umgibt, zur Verfügung. Beide Arten von Vorrichtungen berücksichtigen jedoch nicht ausreichend die Einbindung virtueller (z. B., rechnerischer) Informationen in einen Echtzeit-Bilddatenstrom, der die Umgebung, in der sich der Träger befindet, wiedergibt. Daher besteht ein Bedarf für eine hochfunktionelle sensorische und bildgebende Vorrichtung, die zur Erfassung von Bildinformationen des Orts und zur Bereitstellung wenigstens einer nahezu Echtzeit-Weiterleitung von Bildgebungsinformationen an einen Benutzer geeignet ist. Die sensorische und bildgebende Vorrichtung könnte im Idealfall an ein tragbares oder ein transportables Gerät gekoppelt werden, um ein tragbares sensorisches System zu bilden, das in der Lage ist, dem Träger die Bildinformation anzuzeigen, die um virtuelle oder erzeugte Informationsdarstellungen erweitert wurde. Keine bisher bekannten Geräte bieten diese Fähigkeiten.
ZUSAMMENFASSUNG
Ausführungsformen der vorliegenden Erfindung befassen sich mit diesen und anderen Problemen durch Bereitstellen einer bewegungssensorischen und bildgebenden Vorrichtung, die zur Erfassung von Bildinformationen des Orts und zur Bereitstellung wenigstens einer nahezu Echtzeit-Weiterleitung von Bildgebungsinformationen an einen Benutzer geeignet ist. Die sensorische und bildgebende Vorrichtung kann als eigenständiges Gerät oder an ein tragbares oder transportables Gerät gekoppelt verwendet werden, um ein tragbares sensorisches System zu bilden, das in der Lage ist, dem Träger die Bildinformation anzuzeigen, die um virtuelle oder erzeugte Informationsdarstellungen erweitert wurde.
Eine Ausführungsform einer bewegungssensorischen und bildgebenden Vorrichtung umfasst eine Vielzahl bildgebender Sensoren, die angeordnet ist, um stereoskopische Bildgebungsinformationen für eine betrachtete Szene zu bilden; eine oder mehrere über den bildgebenden Sensoren angeordnete Beleuchtungsquellen; und eine an die bildgebenden Sensoren und Lichtquellen gekoppelte Steuerung, um deren Betrieb zu steuern. Durch die Steuerung kann die Vorrichtung Bildinformationen der Szene erfassen und eine wenigstens nahezu Echtzeit-Weiterleitung von Bildinformationen an einen Benutzer bereitstellen. Die Vorrichtung ist an ein tragbares Gerät koppelbar, um ein tragbares sensorisches System zu bilden, das in der Lage ist, dem Träger die Bildinformation anzuzeigen, die um virtuelle oder erzeugte Informationsdarstellungen erweitert wurde.
In einer Ausführungsform nimmt eine bewegungssensorische und bildgebende Vorrichtung ferner Bildinformation für Steuerobjekte – einschließlich Steuerobjekte wie menschliche Hände – innerhalb des Sichtfeldes der bildgebenden Sensoren auf. Die Bildgebungsinformationen für die Steuerobjekte von Interesse können verwendet werden, um Gesteninformationen, die einen Befehl an eine gesteuerte Maschine anzeigen, zu ermitteln. In den Ausführungsformen kann die Vorrichtung Positionen, Posen und Bewegungen von Objekten, die den Träger der Vorrichtung umgeben, mit einer Sub-Millimeter-Genauigkeit erfassen und diese Informationen zur Einbindung in die an den Benutzer übermittelte Darstellung bereitstellen.
In einer Ausführungsform umfasst eine bewegungssensorische und bildgebende Vorrichtung Funktionen, um Informationen aus Pixeln, die für IR-Licht empfindlich sind, von Informationen aus Pixeln, die für sichtbares Licht, z. B., RGB (rot, grün und blau), empfindlich sind, voneinander zu trennen und Bildinformationen von IR-(Infrarot)-Sensoren für die Gestenerkennung und Bildinformationen von RGB-Sensoren, die als Live-Video-Feed (bzw. Live-Videozuspielung) über eine Darstellungsschnittstelle zur Verfügung gestellt werden, zu verarbeiten. Beispielsweise wird ein Videodatenstrom mit einer Bildersequenz einer Szene in der realen Welt mit Kameras, die einen Satz RGB-Pixel und einen Satz IR-Pixel aufweisen, aufgenommen. Informationen aus den IR-empfindlichen Pixeln werden für die Verarbeitung aussortiert, um Gesten zu erkennen. Informationen aus den RGB-empfindlichen Pixeln werden an eine Darstellungsschnittstelle einer tragbaren Vorrichtung (HUD, HMD, etc.) als Live-Video-Feed zur Ausgabe einer Darstellung weitergegeben. Die Darstellungsausgabe wird einem Benutzer der tragbaren Vorrichtung angezeigt. Ein oder mehrere virtuelle Objekte können in den Videodatenstrombildern eingebunden sein, um die Darstellungsausgabe zu bilden. Dementsprechend kann die Vorrichtung eine Gestenerkennung, eine Realwelt-Darstellung von Realwelt-Objekten durch Weiterleiten von Video-Feeds, und/oder eine Augmented-Reality-Umgebung (bzw. eine erweiterte Realität) mit virtuellen Objekten, die in die Realwelt-Ansicht eingebunden sind, bereitstellen.
In einer Ausführungsform kann eine bewegungssensorische und bildgebende Vorrichtung zur Bewegungsverfolgung der Vorrichtung selbst unter Verwendung einer Kombination von RGB- und IR-Pixeln der Kameras verwendet werden. Insbesondere umfasst dies die Erfassung von ungenauen oder groben Merkmalen und entsprechenden Merkmalswerten eines Realwelt-Raums mit RGB-Pixeln und die Erfassung von feinen oder genauen Merkmalen und entsprechenden Merkmalswerten des Realwelt-Raums mit IR-Pixeln. Einmal erfasst, wird die Bewegungsinformation des tragbaren Sensorsystems hinsichtlich wenigstens eines Merkmals der Szene auf der Grundlage des Vergleichs von Merkmalswerten, die zu unterschiedlichen Zeitpunkten erfasst wurden, ermittelt. Zum Beispiel ist ein Merkmal eines Realwelt-Raums ein Objekt an einer bestimmten Position in dem Realwelt-Raum, und dann kann der Merkmalswert die dreidimensionalen (3D) Koordinaten der Position des Objekts in dem Realwelt-Raum darstellen. Wenn sich zwischen Paaren von Bildausschnitten oder anderen Bildvolumen der Wert der Positionskoordinaten ändert, dann kann dies dazu verwendet werden, um Bewegungsinformationen des tragbaren sensorischen Systems in Bezug auf das Objekt, dessen Position sich zwischen den Bildausschnitten geändert hat, zu bestimmen.
In einem anderen Beispiel ist ein Merkmal eines Realwelt-Raums eine Wand in dem Realwelt-Raum und der entsprechende Merkmalswert ist die Ausrichtung der Wand wie sie von einem Betrachter, der mit einem tragbaren sensorischen System verbunden ist, wahrgenommen wird. In diesem Beispiel kann dies, wenn eine Änderung in der Ausrichtung der Wand zwischen aufeinanderfolgenden Bildausschnitten, die von einer elektronisch an das tragbare sensorische System gekoppelten Kamera erfasst werden, registriert wird, dann eine Positionsänderung des tragbaren sensorischen Systems, das auf die Wand sieht, anzeigen.
Gemäß einer Ausführungsform können Informationen von RGB-Pixeln einer Kamera verwendet werden, um ein Objekt in dem Realwelt-Raum zusammen mit markanten oder groben Merkmalen des Objekts aus einem Bild oder einer Sequenz von Bildern, wie Objektkontur, Form, volumetrische Form, Skelettform, Silhouetten, Gesamtanordnung und/oder Struktur der Objekte in einem Realwelt-Raum zu identifizieren. Dies kann durch Messen einer Durchschnittspixelintensität eines Bereichs oder unterschiedlicher Strukturen von Bereichen erreicht werden. Somit ermöglichen die RGB-Pixel die Erfassung einer groben Schätzung des Realwelt-Raums und/oder der Objekte in dem Realwelt-Raum.
Ferner können Daten aus den IR-Pixeln verwendet werden, um feine oder genaue Merkmale des Realwelt-Raums aufzunehmen, die die aus den RGB-Pixeln extrahierten Daten verbessern. Beispiele für feine Merkmale sind Oberflächenstrukturen, Kanten, Rundungen und andere schwache Merkmale des Realwelt-Raums und der Objekte in dem Realwelt-Raum. In einem Beispiel werden, während die RGB-Pixel ein Volumenmodell einer Hand erfassen, IR-Pixel verwendet, die Venen- und/oder Arterienmuster oder Fingerabdrücke der Hand zu erfassen.
Einige andere Ausführungsformen umfassen die Erfassung von Bilddaten unter Verwendung der RGB- und IR-Pixel in verschiedenen Kombinationen und Permutationen. Zum Beispiel kann eine Ausführungsform die RGB- und IR-Pixel zur Durchführung einer Gesamtgrößenerfassung von Bilddaten gleichzeitig aktivieren, ohne zwischen groben oder feinen Merkmalen zu unterscheiden. Eine weitere Ausführungsform kann die periodische Verwendung der RGB- und IR-Pixel umfassen. Noch eine weitere Ausführungsform kann die Aktivierung der RGB- und IR-Pixel gemäß einer quadratischen oder Gauß-Funktion umfassen. Einige andere Ausführungsformen können das Durchführen eines ersten Scans unter Verwendung der IR-Pixel, gefolgt von einem RGB-Scan, und umgekehrt, umfassen.
In einer Ausführungsform werden die Umgebungslichtbedingungen bestimmt und verwendet, die Anzeige der Ausgabe anzupassen. Zum Beispiel werden Informationen aus dem RGB-Pixelsatz bei normalen Lichtverhältnissen und Informationen aus dem IR-Pixelsatz bei dunklen Lichtverhältnissen angezeigt. Alternativ oder zusätzlich dazu können Informationen aus dem IR-Pixelsatz verwendet werden, um die Informationen aus dem RGB-Pixelsatz bei schwachen Lichtverhältnissen zu verbessern, oder umgekehrt. Einige Ausführungsformen erhalten von einem Benutzer eine Auswahl, die einen bevorzugten Bildschirm anzeigt, der aus Farbbildern von den RGB-Pixel und IR-Bildern von den IR-Pixel, oder Kombinationen davon ausgewählt wird. Alternativ oder zusätzlich dazu kann die Vorrichtung selbst dynamisch zwischen Videoinformationen, die mittels RGB-empfindlicher Pixel erfasst wurden, und Videoinformationen, die mittels IR-empfindlicher Pixel erfasst wurden, für die Anzeige in Abhängigkeit von den Umgebungsbedingungen, den Benutzereinstellungen, der Situationswahrnehmung, anderer Faktoren oder Kombinationen davon wechseln.
In einer Ausführungsform werden Informationen aus den IR-empfindlichen Pixeln für die Verarbeitung einer Gestenerkennung ausgesondert, während die Informationen aus den RGB-empfindlichen Pixeln als ein Live-Video-Feed zu einem Ausgang weitergeleitet werden, wodurch die Bandbreite bei der Verarbeitung der Gestenerkennung bewahrt werden kann. Bei der Gestenverarbeitung können Merkmale in den Bildern, die Objekten in der realen Welt entsprechen, erfasst werden. Die Merkmale der Objekte werden über mehrere Bilder hinweg korreliert, um Veränderungen zu ermitteln, die sich auf Gestenbewegungen beziehen können. Die Gestenbewegungen können verwendet werden, um Befehlsinformationen an eine gesteuerte Maschine, darauf angesiedelte Anwendungen oder Kombinationen davon zu ermitteln.
In einer Ausführungsform werden Bewegungssensoren und/oder andere Arten von Sensoren an ein Bewegungserfassungssystem gekoppelt, um die Bewegung von zumindest dem Sensor des Bewegungserfassungssystems, die zum Beispiel auf die Berührung durch den Benutzer zurückzuführen ist, zu überprüfen. Eine Information der Bewegungssensoren kann verwendet werden, um eine erste und eine zweite Positionsinformation des Sensors in Bezug auf einen festen Punkt zu einem ersten und zweiten Zeitpunkt zu bestimmen. Es wird eine Information über eine Differenz zwischen der ersten und der zweiten Positionsinformation ermittelt. Eine Bewegungsinformation für den Sensor mit Bezug auf den festen Punkt wird aus der Differenzinformation berechnet. Die Bewegungsinformation für den Sensor wird auf eine scheinbare, von dem Sensor erfasste Umgebungsinformation angewendet, um die Bewegung des Sensors daraus zu entfernen, um die tatsächliche Umgebungsinformation zu erhalten, die übermittelt wird. Eine Steuerinformation kann an ein System übermittelt werden, das ausgebildet ist, ein Virtual-Reality- oder Augmented-Reality-Erlebnis über ein tragbares Gerät und/oder an Systeme weiterzuleiten, die Maschinen oder dergleichen steuern, auf der Grundlage einer Bewegungserfassungsinformation für ein sich im Raum bewegendes Objekt, die vom Sensor stammt und eingestellt ist, die Bewegung des Sensors selbst zu entfernen. In einigen Anwendungen kann ein Erlebnis von einer virtuellen Vorrichtung durch Hinzufügen von haptischen, audiobezogenen und/oder visuellen Projektionsmittel erweitert werden.
In einer Ausführung wird eine scheinbare Umgebungsinformation aus einer Positionsinformation eines Objektabschnitts zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt mit Hilfe eines Sensors des Bewegungserfassungssystems erfasst. Die Objektabschnittsbewegungsinformation bezogen auf den festen Punkt zum ersten Zeitpunkt und zum zweiten Zeitpunkt wird auf Grundlage der Differenzinformation und der Bewegungsinformation des Sensors berechnet.
In weiteren Ausführungsformen wird ein Pfad (bzw. Bahn) des Objektes durch wiederholtes Bestimmen von Bewegungsinformationen des Sensors mittels der Bewegungssensoren und des Objektabschnitts mittels des Sensors zu aufeinanderfolgenden Zeitpunkten und durch Analysieren einer Sequenz von Bewegungsinformationen berechnet, um einen Pfad des Objektabschnitts in Bezug auf den festen Punkt zu bestimmen. Die Pfade können mit Vorlagen zur Ermittlung von Bewegungsabläufen verglichen werden. Bewegungsabläufe von Körperteilen können als Gesten erkannt werden. Gesten können Befehlsinformationen anzeigen, die an ein System übermittelt werden. Einige Gesten übermitteln Befehle, um die Betriebsweisen eines Systems zu ändern (z. B., vergrößern, verkleinern, schwenken, mehr Details anzeigen, nächste Bildschirmseite, und so weiter).
Vorteilhafterweise können einige Ausführungsformen ein verbessertes Benutzererlebnis, mehr Sicherheit und eine verbesserte Funktionalität für Benutzer von tragbaren Geräten ermöglichen. Einige Ausführungsformen bieten weitere Möglichkeiten für Bewegungserfassungssysteme, Gesten zu erkennen, so dass der Benutzer intuitiv Gesten ausführt, die einen virtualisierten Kontakt mit einem virtuellen Objekt beinhalten. Zum Beispiel kann eine Vorrichtung die Funktion aufweisen, die Bewegung von Objekten von Bewegungen der Vorrichtung selbst zu unterscheiden, um eine genaue Gestenerkennung zu erleichtern. Einige Ausführungsformen können eine verbesserte Kopplung mit einer Vielzahl von tragbaren oder transportablen Maschinen gewährleisten (z. B., Smartphones, tragbare Computersysteme, einschließlich Laptops, Tablets, Minicomputer, zweckgebundene Visualisierungscomputer, einschließlich Head-Up-Displays (HUD) für beispielsweise den Einsatz in Flugzeugen oder Autos, tragbare Virtual- und/oder Augmented-Reality-Systeme, einschließlich Google Glass, und andere, Grafikprozessoren, Embedded-Mikrocontroller, Spielkonsolen, oder dergleichen; drahtgebundene oder drahtlose Netzwerke von einer oder mehreren der vorstehenden Ausführungen und/oder Kombinationen davon), und die Notwendigkeit für kontaktbasierte Eingabegeräte wie eine Maus, Joystick, Touchpad oder Touchscreen beseitigen oder verringern. Einige Ausführungsformen können eine bessere Kopplung mit Rechnern und/oder anderen Maschinen bereitstellen als dies mit bisher bekannten Technologien möglich ist. In einigen Ausführungsformen können vielfältigere Erlebnisse bei einer Mensch-Maschine-Verbindung zur Verfügung gestellt werden.
Weitere Aspekte und Vorteile der vorliegenden Erfindung sind aus der folgenden Beschreibung der Zeichnungen, der detaillierten Beschreibung und den Ansprüchen ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Beispiel einer bewegungssensorischen und bildgebenden Vorrichtung.
2 zeigt ein Beispiel eines tragbaren sensorischen Systems auf Grundlage einer bewegungssensorischen und bildgebenden Vorrichtung.
3 zeigt ein vereinfachtes Blockdiagramm eines Computersystems.
4 zeigt grundlegende Operationen und Funktionseinheiten, die bei der Bewegungserfassung und Bildanalyse verwendet werden.
5 zeigt ein Beispiel einer Augmented-Reality-Weiterleitung, die von einer bewegungssensorischen und bildgebenden Vorrichtung dargestellt wird.
BESCHREIBUNG
Die vorliegende Erfindung betrifft eine bewegungssensorische und bildgebende Vorrichtung, die Echtzeit oder nahezu Echtzeitbilder einer Szene erfassen, eine Geste in einem sensorischen 3D-Raum erkennen und die Geste als einen Befehl an ein System oder gesteuerte Maschine auswerten, und die erfasste Bildinformationen und gegebenenfalls den Befehl zur Verfügung stellen kann.
Ausführungsformen umfassen das Bereitstellen eines ”Pass-Through” (bzw. einer Weiterleitung), bei dem eine Live-Videozuspielung an den Benutzer der Vorrichtung mit virtueller Realität, entweder allein oder in Verbindung mit dem Anzeigen eines oder mehrerer virtueller Objekte, weitergeleitet wird, so dass der Benutzer die reale Welt direkt wahrnehmen kann. Zum Beispiel kann der Benutzer eine tatsächliche Schreibtischumgebung sowie virtuelle Anwendungen oder Objekte darin vermischt sehen. Durch die Gestenerkennung und -erfassung können Implementierungen den Benutzer befähigen, neben den virtuellen Objekten (beispielsweise das Schweben eines virtuellen Dokuments über der Oberfläche des Schreibtischs des Benutzers) mit Objekten in Echt (z. B., eine Cola-Dose des Benutzers) zu interagieren und diese zu greifen. In einigen Ausführungsformen werden Informationen aus unterschiedlichen Spektralquellen gezielt eingesetzt, um den einen oder anderen Aspekt des Erlebnisses zu steuern. Beispielsweise können Informationen von IR-empfindlichen Sensoren verwendet werden, um Handbewegungen des Benutzers zu erfassen und Gesten zu erkennen. Während Informationen aus dem sichtbaren Lichtbereich eingesetzt werden, um die Weiterleitung einer Video-Darstellung zu steuern, wird eine Realwelt-Darstellung aus realen und virtuellen Objekten erzeugt. In einem weiteren Beispiel, können Kombinationen von Bildinformationen aus verschiedenen Quellen verwendet werden; das System – oder der Benutzer – wählt zwischen IR-Bildern und Bildern aus sichtbarem Licht, auf der Grundlage situationsabhängiger, zustandsabhängiger, umweltabhängiger oder anderer Faktoren oder Kombinationen davon. Beispielsweise kann die Vorrichtung von einer Bildgebung mit sichtbarem Licht zu einer Bildgebung mit IR wechseln, wenn es die Umgebungslichtbedingungen erfordern. Der Benutzer ist befähigt, auch die Bildgebungsquelle zu steuern. In noch weiteren Beispielen können Informationen einer Sensorart verwendet werden, um Informationen einer anderen Sensorart zu erweitern, zu korrigieren oder zu untermauern. Informationen von IR-Sensoren können verwendet werden, um die Anzeige der Bildgebung, die von Sensoren, die für sichtbares Licht empfindlich sind, durchgeführt werden, zu korrigieren, und umgekehrt. Bei schwachem Licht oder in anderen Situationen, die der optischen Bildgebung nicht zuträglich sind, in denen Freiform-Gesten nicht mit ausreichender Zuverlässigkeit optisch erfasst können, können Audio-Signale oder Vibrationswellen erfasst und verwendet werden, um die Richtung und Lage des Objekts, wie im Nachfolgenden genauer beschrieben, bereitzustellen.
Die vorliegende Erfindung kann angewendet werden, um ein Benutzererlebnis in umfassenden Virtual-Reality-Umgebungen mit tragbaren Sensorsysteme zu verbessern. Beispiele von Systemen, Vorrichtungen und Verfahren gemäß den offenbarten Ausführungsformen werden in einem ”tragbare Sensorsysteme”-Kontext beschrieben. Die Beispiele für ”tragbare Sensorsysteme” dienen ausschließlich der näheren Beschreibung der Zusammenhänge und dem besseren Verständnis der offenbarten Ausführungsformen. In anderen Fällen können Beispiele gestenbasierter Interaktionen in anderen Zusammenhängen, wie Kraftfahrzeugen, Robotern oder anderen Maschinen, auf virtuelle Spiele, virtuelle Anwendungen, virtuelle Programme, virtuelle Betriebssysteme, etc., angewandt werden. Zudem sind andere Anwendungen möglich, sodass die folgenden Beispiele nicht als endgültig oder einschränkend im Hinblick auf Umfang, Kontext, oder Umgebungssituationen aufgefasst werden sollten. Es ist somit für einen Fachmann offensichtlich, dass die Ausführungsformen innerhalb oder außerhalb des ”tragbare Sensorsysteme”-Kontexts ausführbar sind.
Zunächst wird auf 1 Bezug genommen, die ein Beispiel einer bewegungssensorischen Vorrichtung 100, die eine Beleuchtungsplatine 172 aufweist, die mit Befestigungselementen oder dergleichen an eine Hauptplatine 182 gekoppelt werden kann, zeigt. Eine Verkabelung (der Übersichtlichkeit halber nicht in 1 dargestellt) ist für eine elektrische Verbindung zwischen der Beleuchtungsplatine 172 und der Hauptplatine 182 für den Austausch von Signalen und Energiefluss vorgesehen. Die Befestigungselemente, die die Hauptplatine 182 (erster Teil) und die Beleuchtungsplatine 172 (zweiter Teil) miteinander verbinden, können ferner diese Teile an eine Montagefläche A einer tragbaren oder transportablen elektronischen Vorrichtung (z. B., HMD, HUD, Smartphone oder dergleichen) befestigen. Die Montagefläche A kann eine Fläche (intern oder extern) von einer tragbaren oder transportablen elektronischen Vorrichtung sein. Alternativ kann die Vorrichtung in einem Hohlraum oder einer Aufnahme einer tragbaren oder transportablen elektronischen Vorrichtung mit Reibungsschluss, einem Befestigungsmittel oder einer beliebigen Kombination davon angeordnet sein. Die Vorrichtung 100 kann in einer Vielzahl von tragbaren oder transportablen elektronischen Vorrichtungen eingebaut sein, um den Konstruktionsanforderungen einer Vielzahl von Anwendungen zu genügen.
Die Beleuchtungsplatine 172 weist eine Reihe von individuell steuerbaren Beleuchtungsquellen 115, 117 auf, wie zum Beispiel LEDs, die darauf eingebettet sind. Zwei Kameras 102, 104 erstellen eine stereoskopische Bild-basierte Erfassung einer betrachteten Szene und befinden sich in der vorliegenden Ausführungsform auf der Hauptplatine 182 der Vorrichtung 100. Die Hauptplatine 182 kann auch einen Prozessor für die Basisbildverarbeitung, die Steuerung der Kameras 102, 104 und der LEDs der Platine 172 umfassen. Es sind verschiedene Modifikationen des in 1 gezeigten Aufbaus möglich; beispielsweise können die Anzahl und die Anordnung der LEDs, der Photodetektoren und der Kameras variieren und die Abtast- und Bildgebungshardware auf einer einzigen Platine integriert sein, oder beides, abhängig von den Anforderungen einer bestimmten Anwendung.
Stereoskopische Bildgebungsinformationen der Kameras, 102, 104 werden selektiv oder kontinuierlich an einen Benutzer, der die tragbare oder transportable elektronische Vorrichtung trägt oder transportiert, übermittelt. Die Vorrichtung 100 kann direkte ”Echtzeit” oder nahezu Echtzeit-Zuspielungen von Bildinformationen der Kameras, Echtzeit oder nahezu Echtzeit-Bildinformationen, die durch computergenerierten Grafiken erweitert wurden, Informationen, Icons oder andere virtuelle Darstellungen, virtuelle Darstellungen der betrachteten Szene, und daraus ausgewählte zeitlich variierende Kombinationen umfassen. Auch können die von einem Benutzer durchgeführten Gesten von den Kameras 102, 104 der sensorischen Vorrichtung 100 aufgenommen werden, und die resultierende Bildinformation kann an ein Bewegungserfassungssystem zur Identifizierung und Bestimmung von Befehlen an jedes von den Gesten gesteuerte System (einschließlich der tragbaren bzw. mobile Vorrichtung selbst) weitergeleitet werden. Vorteilhafterweise kann durch das Einbinden einer Gestenerkennung mit Bildgebungsfunktionen in einer einzigen Bewegungssensorvorrichtung 100 eine hochfunktionelle, flexible und dennoch kompakte Vorrichtung gebildet werden, die zum Einbau in tragbare oder mobile elektronische Vorrichtungen geeignet ist, und so weiter.
Einige der Beleuchtungsquellen 115, 117 können in einigen Ausführungsformen eine zugeordnete Fokussierungsoptik aufweisen (der Klarheit halber nicht in 1 gezeigt). Eine der Platinen 172 oder 182 kann auch eine Steckdose/Steckdosen zur Kopplung eines Photodetektors/Photodetektoren (oder andere Sensoren), die der Klarheit halber nicht in 1 gezeigt sind, aufweisen. Informationen einer Erfassung durch den Photodetektor ändern sich hinsichtlich des Reflexionsvermögens, wodurch das Vorhandensein oder Fehlen von Objekten innerhalb eines Raumabschnitts, in den von den Beleuchtungsquellen, während einer ”Abtastung” des Raumabschnitts durch die Beleuchtungsquellen, z. B., LEDs, Licht emittiert wird, angezeigt wird.
Im Folgenden wird auf die 2 Bezug genommen, die ein System 200 zur Erfassung von Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Das System 200 ist vorzugsweise an eine tragbare Vorrichtung 201 gekoppelt, die ein persönliches Head-Mounted-Display (HMD) in Brillenform, wie in 2 gezeigt, oder in Helmform aufweist, oder mit einer Uhr, einem Smartphone oder einer anderen tragbaren Vorrichtungsart gekoppelt oder darin eingebaut, um ein tragbares Sensorsystem zu bilden.
In verschiedenen Ausführungsformen kann das System und Verfahren zur Erfassung einer 3D-Bewegung eines Objekts, wie hierin beschrieben, mit anderen Anwendungen, wie beispielsweise einer Head-Mounted-Vorrichtung oder einer mobilen Vorrichtung, ausgestattet sein. Unter erneuter Bezugnahme auf die 2, kann eine Head-Mounted-Vorrichtung 201 eine optische Anordnung 203 umfassen, die dem Benutzer eine Umgebung oder eine virtuelle Umgebung anzeigt; der Einbau des Bewegungserfassungssystems 200 in die Head-Mounted-Vorrichtung 201 ermöglicht es dem Benutzer, die angezeigte Umgebung interaktiv zu steuern. Beispielsweise kann eine virtuelle Umgebung virtuelle Objekte umfassen, die durch Handbewegungen des Benutzers, die von dem Bewegungserfassungssystem 200 nachverfolgt werden, betätigt werden können. In einer Ausführungsform erfasst das in die Head-Mounted-Vorrichtung 201 integrierte Bewegungserfassungssystem 200 eine Position und Form der Hand des Benutzers und projiziert diese auf die Anzeige der Head-Mounted-Vorrichtung 201, so dass der Benutzer seine Gesten sehen und die Objekte in der virtuellen Umgebung interaktiv steuern kann. Dies findet zum Beispiel bei Spielen oder beim Internet-Surfen Anwendung.
Das System 200 enthält einige Kameras 102, 104, die mit einem sensorischen Verarbeitungssystem 206 gekoppelt sind. Die Kameras 102, 104 können jede Art von Kamera umfassen, einschließlich Kameras, die für das gesamte sichtbare Spektrum empfindlich sind oder eine erhöhte Empfindlichkeit gegenüber einem bestimmten Wellenlängenbereich (z. B., dem Infrarot-(IR)-Bereich oder der Ultraviolettbereich) aufweisen; Im Allgemeinen bezieht sich der Begriff ”Kamera” hierin auf jede Vorrichtung (oder eine Kombination von Vorrichtungen), die zum Aufnehmen eines Bildes eines Objekts geeignet ist und das Bild in Form von digitalen Daten wiedergibt. Zum Beispiel können Zeilensensoren oder Zeilenkameras anstelle herkömmlicher Vorrichtungen, die ein zweidimensionales (2D)-Bild erfassen, verwendet werden. Der Begriff ”Licht” wird in der Regel verwendet, um irgendeine elektromagnetische Strahlung anzugeben, die sich innerhalb des sichtbaren Spektrums befinden kann oder nicht und ein Breitband (z. B., weißes Licht) oder Schmalband (z. B., eine einzelne Wellenlänge oder ein Wellenlängenschmalband) aufweisen kann.
Die Kameras 102, 104 sind vorzugsweise in der Lage, Videobilder aufzunehmen (d. h., aufeinanderfolgende Bildausschnitte mit einer gleichmäßigen Geschwindigkeit von ungefähr 15 Bilder pro Sekunde), obwohl keine bestimmter Bildfolge erforderlich ist. Die Funktionen der Kameras 102, 104 sind für die vorliegende Erfindung nicht entscheidend, und die Kameras können in Hinblick auf die Bildfolge, die Bildauflösung (z. B., Pixel pro Bild), die Farb- oder Intensitätsauflösung (z. B., die Bitanzahl der Intensitätsdaten pro Pixel), die Brennweite der Linsen, die Feldtiefe, usw., variieren. Im Allgemeinen können für eine bestimmte Anwendung alle Kameras verwendet werden, die in der Lage sind, auf Objekte in einem Raumvolumen von Interesse zu fokussieren. Zur Erfassung der Handbewegung einer ansonsten sich nicht bewegenden Person kann beispielsweise das Volumen von Interesse als ein Würfel mit etwa einem Meter auf einer Seite definiert werden.
Wie dargestellt, werden die Kameras 102, 104 durch die Bewegung der Vorrichtung 201 auf Teile eines Bereichs von Interesse 212 gerichtet, um eine virtuell wiedergegebene oder virtuell erweiterte Ansicht des Bereichs von Interesse 212 zu betrachten, der eine Vielzahl virtueller Objekte 216 umfassen und auch ein Objekt von Interesse 214 (in diesem Beispiel eine oder mehrere Hände), das sich innerhalb des Bereichs von Interesse 212 bewegt, enthalten kann. Ein oder mehrere Sensoren 208, 210 erfassen die Bewegungen der Vorrichtung 201. In einigen Ausführungsformen sind eine oder mehrere Lichtquellen 115, 117 angeordnet, um den Bereich von Interesse 212 zu beleuchten. In einigen Ausführungsformen sind eine oder mehrere der Kameras 102, 104 gegenüber der zu erfassenden Bewegung angeordnet, z. B., dort, wo sich die Hand 214 voraussichtlich hin bewegen wird. Dies ist eine optimale Position, da die Menge der über die Hand aufgezeichneten Informationen proportional zu der Anzahl der Pixel ist, die sie in den Kamerabildern besetzt, wobei die Hand mehr Pixel besetzen wird, wenn der Kamerawinkel in Bezug auf die „Zeigerichtung” der Hand so senkrecht wie möglich ist. Das sensorische Verarbeitungssystem 206, das beispielsweise ein Computersystem sein kann, kann den Betrieb der Kameras 102, 104 zur Aufnahme von Bildern des Bereichs von Interesse 212 und der Sensoren 208, 210 zur Erfassung von Bewegungen der Vorrichtung 201 steuern. Informationen von den Sensoren 208, 210 können auf Modelle der von den Kameras 102, 104 aufgenommenen Bilder angewendet werden, um die Auswirkungen durch die Bewegungen der Vorrichtung 201 aufzuheben, und um eine größere Genauigkeit des virtuellen Erlebnisses, das die Vorrichtung 201 wiedergibt, zu gewährleisten. Auf Grundlage der erfassten Bilder und Bewegungen der Vorrichtung 201 ermittelt das sensorische Verarbeitungssystem 206 die Position und/oder die Bewegung des Objekts 214 und gibt die Darstellungen davon über die Anordnung 203 für den Benutzer wieder.
Beispielsweise kann das Bildanalysesystem 206 als Schritt bei der Bestimmung der Position des Objekts 214 bestimmen, welche Pixel der von den Kameras 102, 104 aufgenommenen, verschiedenen Bilder Teile des Objekts 114 enthalten. In einigen Ausführungsformen kann jedes Pixel in einem Bild als ein ”Objekt”-Pixel oder ein ”Hintergrund”-Pixel eingeordnet werden, je nachdem, ob das Pixel einen Teil des Objekts 214 aufweist oder nicht. Die Objekt-Pixel können somit leicht auf Grundlage der Helligkeit von den Hintergrund-Pixel unterschieden werden. Ferner können Kanten des Objekts auch ohne weiteres auf Grundlage von Unterschieden in der Helligkeit zwischen benachbarten Pixeln auf einfache Weise erfasst werden, wodurch die Position des Objektes in jedem Bild bestimmbar ist. In einigen Ausführungsformen werden die Silhouetten eines Objekts von einem oder mehreren Bildern des Objekts, das Informationen über das Objekt aus verschiedenen Blickwinkeln zeigt, extrahiert. Während die Silhouetten unter Verwendung einer Anzahl verschiedener Verfahren erhalten werden können, werden die Silhouetten in einigen Ausführungsformen unter Verwendung von Kameras zur Aufnahme von Bildern des Objekts und durch Analysieren der Bilder zur Erfassung von Objektkanten erhalten. Die Korrelation von Objektpositionen zwischen den Bildern von Kameras 102, 104 und die Aufhebung der erfassten Bewegungen der Vorrichtung 201 von den Sensoren 208, 210 ermöglicht es dem Bildanalysesystem 206, die Position im 3D-Raum des Objekts 214 zu bestimmen, und die Analyse von Bildsequenzen ermöglicht es dem Bildanalysesystem 206, die 3D-Bewegung des Objekts 214 mit herkömmlichen Bewegungsalgorithmen oder anderen Verfahren zu rekonstruieren. Siehe zum Beispiel US-Patentanmeldung Nr. 13/414,485 (am 7. März 2012 eingereicht) und die vorläufigen US-Patentanmeldungen Nr. 61/724,091 (am 8. November 2012 eingereicht) und 61/587,554 (am 7. Januar 2012 eingereicht), deren gesamte Offenbarungen hiermit durch Bezugnahme aufgenommen sind.
Eine Darstellungsschnittstelle 220 verwendet Projektionstechniken in Verbindung mit der sensorbasierten Verfolgung, um virtuelle (oder virtualisiert reale) Objekte (visuelle, akustische, haptische und so weiter) darzustellen, die durch Anwendungen, die in die optische Anordnung 203 der Vorrichtung 201 ladbar oder in kooperativer Verbindung mit dieser sind, erzeugt werden, um einen Benutzer der Vorrichtung ein persönliches virtuelles Erlebnis zur Verfügung zu stellen. Die Projektion kann ein Bild oder eine andere visuelle Darstellung eines Objekts enthalten.
Eine Ausführungsform verwendet die Bewegungssensoren und/oder andere Arten von Sensoren, die an ein Bewegungserfassungssystem gekoppelt sind, um Bewegungen innerhalb einer realen Umgebung zu überwachen. Ein virtuelles Objekt, das in eine erweiterte Wiedergabe einer realen Umgebung eingebunden ist, kann zu einem Benutzer einer tragbaren Vorrichtung 201 projiziert werden. Eine Bewegungsinformation eines Körperteils des Benutzers kann zumindest teilweise auf der Grundlage einer sensorischen Information von den Bildgebungsmittel 102, 104 oder akustisch oder von anderen sensorischen Geräten bestimmt werden. Die Steuerinformation wird teilweise auf Grundlage einer Kombination der Bewegung der tragbaren Vorrichtung 201 an ein System weitergeleitet, und die erfasste Bewegung des Benutzers wird aus der sensorischen Information ermittelt, die von den Bildgebungsmittel 102, 104 oder akustisch oder von anderen sensorischen Geräten erhalten werden. Das virtuelle Erlebnis von der Vorrichtung kann in einigen Ausführungsformen durch Hinzufügen haptischer, audiobezogener und/oder anderer sensorischer Informationsprojektionen erweitert werden. Zum Beispiel kann mit Bezug auf 5 eine visuelle Projektionsanordnung 504 ein Bild einer Seite (z. B., ein virtuelle Vorrichtung 501) eines virtuellen Buches projizieren, das auf ein Objekt der realen Welt eingeblendet ist, z. B., der an einen Benutzer per Live-Video-Feed angezeigte Schreibtisch 216, wodurch ein virtuelles Erlebnis des Lesens eines Buches selbst, oder eines elektronisches Buches auf einem physischen E-Reader erzeugt wird, auch wenn kein Buch oder E-Reader vorhanden ist. Ein haptisches Projektionsmittel 506 kann das Gefühl der Textur des ”virtuellen Papiers” des Buches auf die Finger des Lesers projizieren bzw. übertragen. Ein Audio-Projektionsmittel 502 kann den Klang des Seitenumblätterns in Reaktion auf das Detektieren, dass der Leser eine Streifbewegung zum Umblättern der Seite durchgeführt hat, projizieren. Weil eine Augmented-Reality-Welt dargestellt wird, wird die Handrückseite 214 des Benutzers derart projiziert, dass die Szene für den Benutzer so aussieht, als ob der Benutzer auf seine eigene Hand (Hände) sähe.
Mit erneutem Bezug auf 2 ist eine Vielzahl von Sensoren 208, 210 an das sensorische Verarbeitungssystem 206 gekoppelt, um Bewegungen der Vorrichtung 201 zu erfassen. Die Sensoren 208, 210 können jede Art von Sensor umfassen, die nützlich sind, um Signale von verschiedenen Bewegungsparametern (Beschleunigung, Geschwindigkeit, Winkelbeschleunigung, Winkelgeschwindigkeit, Position/Orte) zu erhalten; im Allgemeinen bezieht sich der Begriff ”Bewegungsdetektor” hierin auf jede Vorrichtung (oder Kombination von Vorrichtungen) zur Umwandlung mechanischer Bewegung in ein elektrisches Signal. Solche Vorrichtungen können, einzeln oder in verschiedenen Kombinationen, Beschleunigungsmesser, Gyroskope und Magnetometer umfassen, die ausgebildet sind, Bewegungen durch Veränderungen in der Orientierung, dem Magnetismus oder der Schwerkraft zu erfassen. Es gibt viele Arten von Bewegungssensoren und Alternativen der Ausführungsformen unterscheiden sich stark.
Das dargestellte System 200 kann irgendeinen von verschiedenen anderen Sensoren, die der Klarheit halber nicht in der 2 gezeigt sind, alleine oder in verschiedenen Kombinationen umfassen, um das virtuelle Erlebnis für den Benutzer der Vorrichtung 201 zu verbessern. Zum Beispiel kann das System 206 in Situationen mit wenig Licht, in denen Freiform-Gesten optisch nicht mit hinreichender Sicherheit erkannt werden, in einen Touch-Modus wechseln, in dem Berührungsgesten auf der Grundlage akustischer oder vibrierender Sensoren erfasst werden. Alternativ kann das System 206 in den Touch-Modus oder in eine zusätzliche Bildaufnahme und -verarbeitung mit Berührungserfassung wechseln, wenn Signale von den akustischen oder vibrierenden Sensoren erfasst werden. In noch einem anderen Betriebsmodus kann eine Tipp- oder Berührungsgeste als ”Aufwach”-Signal dienen, um das Bild- und Audio-Analysesystem 206 von einem Standby-Modus in einen Betriebsmodus zu bringen. Zum Beispiel kann das System 206 in den Standby-Modus übergehen, wenn optische Signale von den Kameras 102, 104 nicht länger als eine Schwellwertzeitdauer vorhanden sind.
Es versteht sich, dass die Elemente in 2 veranschaulichend sind. In einigen Ausführungsformen kann es wünschenswert sein, das System 200 in einem anders geformten Gehäuse unterzubringen oder in eine größere Komponente oder Baugruppe einzubauen. Ferner sind Anzahl und Typ der Bildsensoren, der Bewegungsdetektoren, der Lichtquellen usw. der Klarheit halber schematisch dargestellt, aber weder die Größe noch die Anzahl ist in allen Ausführungsformen die gleiche.
Im Folgenden wird auf 3 Bezug genommen, die ein vereinfachtes Blockdiagramm eines Computersystems 300 zur Realisierung des sensorischen Verarbeitungssystems 206 zeigt. Das Computersystem 300 enthält einen Prozessor 302, einen Speicher 304, eine Bewegungsdetektor- und Kameraschnittstelle 306, die Darstellungsschnittstelle 220, Lautsprecher 309, ein Mikrophon(e) 310 und ein drahtlose Schnittstelle 311. Der Speicher 304 kann verwendet werden, um von dem Prozessor 302 auszuführende Befehle sowie Eingangs- und/oder Ausgangsdaten, die mit der Ausführung der Befehle in Verbindung gebracht werden, zu speichern. Insbesondere umfasst der Speicher 304 Anweisungen, die konzeptionell als eine Gruppe von im Folgenden näher beschriebenen Modulen dargestellt sind, die den Betrieb des Prozessors 302 und seine Interaktion mit anderen Hardware-Komponenten steuern. Ein Betriebssystem steuert die Durchführung systemnaher Systembasisfunktionen, wie Speicherzuweisung, Dateimanagement und Massenspeichergerätevorgänge. Das Betriebssystem kann eine Vielzahl von Betriebssystemen, wie das Microsoft WINDOWS-Betriebssystem, das Unix-Betriebssystem, das Linux-Betriebssystem, das Xenix-Betriebssystem, das IBM AIX-Betriebssystem, das Hewlett Packard UX-Betriebssystem, das Novell NETWARE-Betriebssystem, das Sun Microsystems SOLARIS-Betriebssystem, das OS/2-Betriebssystem, das BeOS-Betriebssystem, das MACINTOSH-Betriebssystem, das APACHE-Betriebssystem, ein OPENSTEP-Betriebssystem oder eine andere Betriebssystemplattform sein oder umfassen.
Die Rechnerumgebung kann auch andere entfernbare/nicht-entfernbare, flüchtige/nichtflüchtige Computerspeichermedien umfassen. Zum Beispiel kann ein Festplattenlaufwerk von nicht-entfernbaren, nichtflüchtigen magnetischen Medien lesen oder darauf schreiben. Eine Magnetplattenlaufwerk kann von einer entfernbaren, nichtflüchtigen Magnetplatte lesen oder darauf schreiben, und ein optisches Plattenlaufwerk kann von einer entfernbaren, nichtflüchtigen optischen Platte, wie einer CD-ROM oder anderen optischen Medien, lesen oder darauf schreiben. Andere entfernbare/nicht-entfernbare, flüchtige/nichtflüchtige Computerspeichermedien, die in der beispielhaften Betriebsumgebung verwendbar sind, umfassen Magnetbandkassetten, Flash-Speicherkarten, digitale, vielseitig verwendbare Disks, ein digitales Videoband, Halbleiterspeicher RAM, Halbleiterspeicher ROM und dergleichen, sind aber nicht darauf beschränkt. Die Speichermedien sind typischerweise über eine entfernbare oder nicht entfernbare Speicherschnittstelle mit dem Systembus verbunden.
Der Prozessor 302 kann ein Allzweck-Mikroprozessor sein, aber je nach Anwendung alternativ einen Mikrocontroller, ein peripheres integriertes Schaltkreiselement, ein CSIC (anwenderspezifisch-integrierte Schaltung), ein ASIC (anwenderspezifisch-integrierte Schaltung), eine logische Schaltung, einen digitalen Signalprozessor, eine programmierbare Logikvorrichtung, wie ein FPGA (Field Programmable Gate Array), eine PLD (programmierbare Logikvorrichtung), eine PLA (programmierbares Logik-Array), einen RFID-Prozessor, Smart Chip oder ein anderes Gerät oder Vorrichtungsanordnung, die für die Umsetzung der Verfahrensschritte der Erfindung geeignet ist, umfassen.
Die Bewegungsdetektor- und Kamera-Schnittstelle 306 kann Hardware und/oder Software umfassen, die die Kommunikation zwischen dem Computersystem 300 und den Kameras 102, 104, sowie den Sensoren 208, 210 (siehe 2) ermöglicht. Somit kann zum Beispiel die Bewegungsdetektor- und Kameraschnittstelle 306 eine oder mehrere Kameradatenanschlüsse 316, 318, Beleuchtungsquellenanschlüsse 313, 315 und Bewegungsdetektoranschlüsse 317, 319 an die die Kameras, Beleuchtungsquellen und Bewegungsdetektoren angeschlossen werden können (unter Verwendung herkömmlicher Stecker und Buchsen), sowie Hardware- und/oder Software-Signalprozessoren zur Modifizierung von Datensignalen, die aus den Kameras und Bewegungsdetektoren empfangen werden (z. B., zur Verringerung von Rauschen oder Umformatierung von Daten), vor dem Bereitstellen der Signale als Eingänge an ein Bewegungserfassungsprogramm (”mocap”) 314, das auf dem Prozessor 302 ausführt wird, umfassen. In einigen Ausführungsformen kann die Bewegungsdetektor- und Kameraschnittstelle 306 auch Signale an die Kameras, Beleuchtungsquellen und Sensoren übertragen, beispielsweise zur Aktivierung oder zur Deaktivierung derselben, um die Kameraeinstellungen (Bildfolge, Bildqualität, Empfindlichkeit, etc.), die Beleuchtungseinstellungen (Intensität, Dauer, etc.), die Sensoreinstellungen (Kalibrierung, Empfindlichkeitsstufe, etc) oder dergleichen zu steuern. Solche Signale können beispielsweise in Reaktion auf die Steuerungssignale von dem Prozessor 302 übertragen werden, die wiederum in Reaktion auf Benutzereingaben oder andere detektierte Ereignisse erzeugt werden können.
Die das mocap Programm 314 definierenden Befehle werden im Speicher 304 gespeichert, und diese Befehle führen bei deren Ausführung bei den von den Kameras bereitgestellten Bildern und den Audiosignalen von den Sensoren, die mit der Bewegungsdetektor- und Kameraschnittstelle 306 verbunden sind, eine Bewegungserfassungsanalyse durch. In einer Ausführungsform umfasst das mocap Programm 314 verschiedene Module, wie beispielsweise ein Objektanalysemodul 322 und ein Pfadanalysemodul 324. Das Objektanalysemodul 322 kann Bilder analysieren (z. B., die über die Schnittstelle 306 erfassten Bilder), um Kanten eines Objekts darin und/oder andere Informationen über die Position des Objekts zu erfassen. In einigen Ausführungsformen kann das Objektanalysemodul 322 auch Audiosignale analysieren (z. B., die über die Schnittstelle 306 erfassten Audiosignale), um das Objekt beispielsweise durch die Zeitspanne bis zum Empfang, Multilateration und dergleichen zu lokalisieren. ("Die Multilateration ist eine Navigationstechnik auf der Grundlage der Messung in der Entfernung zu zwei Stationen an bekannten Positionen, die Signale zu bekannten Zeitpunkten übertragen." Siehe Wikipedia, unter http://en.wikipedia.org/w/index.php?title=Multilateration&oldid=523281858, aufgerufen am 16. November 2012, um 06:07 UTC). Das Pfadanalysemodul 324 kann Objektbewegungen in 3D auf der Grundlage von Informationen, die über die Kameras erhalten werden, verfolgen und vorhersagen. Einige Ausführungsformen umfassen einen Virtual-Reality/Augmented-Reality-Umgebungsmanager 326, der die Integration von virtuellen Objekten, die reale Objekte (z. B., eine Hand 214) sowie synthetisierte Objekte 216 darstellen, ermöglicht, um diese dem Benutzer der Vorrichtung 201 über die Darstellungsschnittstelle 220 zur Bildung eines persönlichen virtuellen Erlebnisses 213 anzuzeigen. Es können eine oder mehrere Anwendungen 328 in den Speicher 304 geladen werden (oder auf andere Weise für den Prozessor 302 zugänglich gemacht werden), um die Arbeitsweise der Vorrichtung 201 zu erweitern oder anzupassen, wodurch das System 200 als Plattform arbeiten kann. Aufeinanderfolgende Kamerabilder werden auf Pixelebene analysiert, um Objektbewegungen und Geschwindigkeiten zu extrahieren. Audiosignale verorten das Objekt auf einer bekannten Fläche, und die Stärke und die Schwankungen der Signale können verwendet werden, um das Vorhandensein des Objekts zu erfassen. Wenn sowohl eine Audio- als auch eine Bildinformation gleichzeitig zur Verfügung stehen, können beide Arten von Informationen zur Erzeugung einer detaillierteren und/oder genauen Pfad-Analyse analysiert und aufeinander abgestimmt werden. Ein Video-Feed-Integrator 329 ermöglicht die Integration von Live-Video-Feeds von den Kameras 102, 104 und eines oder mehrerer virtueller Objekte (z. B., 501 der 5). Der Video-Feed-Integrator 329 regelt die Verarbeitung von Videoinformationen von ganz verschiedenen Kameratypen 102, 104. Zum Beispiel kann die Information, die von den für IR-Licht empfindlichen Pixeln und den für sichtbares Licht empfindlichen Pixeln (z. B., RGB) erhalten wird, durch den Integrator 329 getrennt und unterschiedlich verarbeitet werden. Die von den IR-Sensoren erhaltene Bildinformation kann zur Erkennung von Gesten verwendet werden, während die von den RGB-Sensoren erhaltene Bildinformation als Live-Video-Feed über die Darstellungsschnittstelle 220 zur Verfügung gestellt werden kann. Die Information einer Sensorart kann verwendet werden, um die Information einer anderen Sensorart zu verbessern, zu korrigieren und/oder zu untermauern. Die Information von einer Sensorart kann bei bestimmten situationsabhängigen oder umgebungsabhängigen Bedingungen (z. B., schwaches Licht, Nebel, helles Licht und so weiter) bevorzugt werden. Die Vorrichtung kann bei der Bereitstellung einer Darstellungsausgabe, entweder automatisch oder durch Erhalt einer Benutzerauswahl, zwischen einer Art oder den anderen Arten von Bildinformation auswählen. Der Integrator 329 steuert in Verbindung mit dem VR/AR-Umgebungsmanager 326 die Erzeugung der Umgebung, die dem Benutzer über die Darstellungsschnittstelle 220 angezeigt wird.
Die Darstellungsschnittstelle 220, Lautsprecher 309, Mikrofone 310 und die drahtlose Netzwerkschnittstelle 311 können verwendet werden, um die Wechselbeziehung des Benutzers mit dem Computersystem 200 über die Vorrichtung 201 zu erleichtern. Diese Komponenten können einen im Allgemeinen herkömmlichen Aufbau aufweisen oder wie gewünscht modifiziert werden, um jegliche Art von Benutzerinteraktion zu gewährleisten. In einigen Ausführungsformen können die Ergebnisse der Bewegungserfassung unter Verwendung der Bewegungsdetektor- und Kameraschnittstelle 306 und des mocap-Programms 314 als Benutzereingaben interpretiert werden. Zum Beispiel kann ein Benutzer Handgesten oder Bewegungen über eine Oberfläche ausführen, die mit dem mocap-Programm 314 analysiert werden, und die Ergebnisse dieser Analyse können als ein Befehl an ein anderes Programm, das auf dem Prozessor 302 ausgeführt wird (z. B. einen Web-Browser, eine Textverarbeitung oder eine andere Anwendung), interpretiert werden. Somit kann zum Zwecke der Veranschaulichung ein Benutzer nach oben oder unten verlaufende, streichende Gesten verwenden, um in einer angezeigten Webseite, die momentan dem Benutzer der Vorrichtung 201 über die Darstellungsschnittstelle 220 angezeigt wird, „zu blättern” (engl. scroll), und rotierende Gesten verwenden, um die Lautstärke der Audioausgabe über die Lautsprecher 309 zu erhöhen oder zu verringern, und so weiter. Ein Pfadanalysemodul 324 kann den erfassten Pfad als Vektor darstellen und eine Extrapolation durchführen, um den Pfad vorherzusagen, z. B., um die Wiedergabe einer Handlung auf der Vorrichtung 201 durch die Darstellungsschnittstelle 220 durch Vorhersagen einer Bewegung zu verbessern.
Es versteht sich, dass das Computersystem 300 veranschaulichend ist und Änderungen und Modifikationen möglich sind. Computersysteme können in einer Vielzahl von Formfaktoren, einschließlich Server-Systemen, Desktop-Systemen, Laptop-Systemen, Tablets, Smartphones oder Minicomputer (PDA's) und so weiter, implementiert werden. Eine besondere Anwendung kann eine andere Funktionsweise, die hier nicht beschrieben ist, wie beispielsweise drahtgebundene und/oder drahtlose Netzwerkschnittstellen, Medienabspiel- und/oder -aufnahmefunktionen usw., umfassen. In einigen Ausführungsformen können eine oder mehrere Kameras und zwei oder mehre Mikrofone in den Computer eingebaut sein, anstatt sie als separate Komponenten bereitzustellen. Ferner kann eine Bild- oder Audioanalysevorrichtung implementiert werden, die nur einen Teilsatz von Computersystemkomponenten verwendet (z. B., ein Programm-Code ausführender Prozessor, ein ASIC oder ein digitaler Signalprozessor mit festen Funktionen, der geeignete I/O-Schnittstellen aufweist, um Bilddaten zu empfangen und Analyseergebnisse auszugeben).
Während das Computersystem 300 hierin mit Bezug auf bestimmte Blöcke beschrieben wurde, sollte verstanden werden, dass die Blöcke zur Vereinfachung der Beschreibung definiert wurden und nicht dazu gedacht sind, eine bestimmte physikalische Anordnung der Komponenten zu implizieren. Ferner müssen die Blöcke nicht physisch getrennten Komponenten entsprechen. Soweit physisch getrennte Komponenten verwendet werden, können Verbindungen zwischen den Komponenten (z. B. zur Datenkommunikation) je nach Bedarf drahtgebunden und/oder drahtlos sein. So kann beispielsweise die Ausführung des Objektanalysemoduls 322 durch den Prozessor 302 den Prozessor 302 dazu veranlassen, die Bewegungsdetektor- und Kameraschnittstelle 306 zu steuern, um Bilder und/oder Audiosignale eines Objekts zu erfassen, das sich über und in Kontakt mit einer Oberfläche bewegt, um dessen Aussehen durch Analysieren der Bild- und/oder Audiodaten zu detektieren.
4 zeigt die Grundfunktionen und Funktionseinheiten 400, die bei der Bewegungserfassungs- und Bildanalyse gemäß den Ausführungsformen der vorliegenden Erfindung verwendet werden. Wie in 4 gezeigt, zeichnen die Kamera(s) 402, 404 digitale Bilder 410 von einer Szene auf. Jedes digitale Bild wird durch den Bildsensor der zugeordneten Kamera als ein Pixelwert-Array erfasst, und die digitalen Bilder werden – entweder im ”Roh”-Format oder nach herkömmlicher Vorverarbeitung – an einen oder mehrere Bildspeicher 415 übertragen. Ein Bildspeicher (engl. frame Puffer) ist ein Teilbereich oder ein bestimmter Teilabschnitt eines flüchtigen Speichers, der einen ”Bitmap”-Bildausschnitt 420 entsprechend der Pixelwerte eines Bildes, wie sie von der Kamera, die sie aufgezeichnet hat, ausgegeben werden, speichert. Die Bitmap ist im Allgemeinen konzeptionell als ein Gitter organisiert, wobei jedes Pixel ein-zu-eins oder anderweitig auf Ausgabeelemente einer Anzeige abgebildet werden. Es sollte jedoch beachtet werden, dass die Topologie (bzw. die räumliche Struktur), wie die Speicherzellen physisch in dem Bildspeicher 415 organisiert sind, keine Rolle spielt und der konzeptionellen Organisation nicht direkt entsprechen muss.
Die Anzahl der Bildspeicher in einem System spiegelt im Allgemeinen die Anzahl der Bilder wieder, die gleichzeitig durch das Analysesystem oder -modul 430, das im Nachfolgenden detaillierter beschrieben wird, analysiert werden. Kurz gesagt, analysiert das Analysemodul 430 die Pixeldaten in jeder Sequenz einer Bildfolge 420, um Objekte darin zu lokalisieren und deren Bewegung über die Zeit (wie in 440 angedeutet) nach zu verfolgen. Diese Analyse kann verschiedene Formen annehmen, und der die Analyse durchführende Algorithmus bestimmt, wie Pixel in den Bildausschnitten 420 gehandhabt werden. Zum Beispiel kann der durch das Analysemodul 430 implementierte Algorithmus die Pixel jedes Bildspeichers auf einer Zeile-für-Zeile-Basis bearbeiten – d. h., jede Zeile des Pixelrasters wird nacheinander analysiert. Andere Algorithmen können Pixel spaltenweise, in Form fliesenförmiger Flächen oder anderer geordneter Formate analysieren.
In verschiedenen Ausführungsformen wird die in einer Reihe von Kamerabildern aufgenommene Bewegung benutzt, um eine entsprechende Reihe von Ausgabebildern zur Anzeige auf der Anzeige 220 zu berechnen. Zum Beispiel können Kamerabilder einer sich bewegenden Hand durch den Prozessor 302 in ein Drahtgitter oder eine andere grafische Darstellung der Hand umgewandelt werden. Alternativ können Handgesten als Eingabe interpretiert werden, um eine separate visuelle Ausgabe zu steuern; zur Veranschaulichung kann ein Benutzer nach oben oder unten gerichtete Streichgesten verwenden, um in einer Webseite oder in einem anderen Dokument, das gerade angezeigt wird, zu ”blättern”, oder seine Hand öffnen und schließen, um die Seite heran zu zoomen oder heraus zu zoomen. In jedem Fall werden die Ausgabebilder im Allgemeinen in Form von Pixeldaten in einem Bildspeicher gespeichert, z. B., einen der Bildspeicher 415. Eine Videoanzeige-Steuervorrichtung liest den Bildspeicher aus, um einen Datenstrom und zugehörige Steuersignale zur Ausgabe der Bilder an die Anordnung 203 zu erzeugen. Eine von der Darstellungsschnittstelle 220 bereitgestellte Videoanzeigesteuerung kann zusammen mit dem Prozessor 302 und dem Speicher 304 auf der Hauptplatine des Computersystems 300 ausgebildet werden, und kann mit dem Prozessor 302 eingebaut sein oder als Co-Prozessor, der einen separaten Videospeicher betätigt, verwendet werden. Wie erwähnt, kann das Computersystem 300 mit einer separaten Grafik- oder Videokarte ausgestattet sein, die dabei helfen, die Ausgabebilderzuspielung für die Anordnung 203 zu erzeugen. Eine Ausführungsform umfasst eine Videokarte, die im Allgemeinen eine Grafikverarbeitungseinheit (GPU) und einen Videospeicher aufweist, und die sich insbesondere für komplexe und rechenintensive Bildverarbeitungen und -wiedergaben eignet. Die Grafikkarte kann den Bildspeicher und die Funktionsweise der Videoanzeigesteuervorrichtung umfassen (und die auf der Platine angeordnete Videoanzeigesteuerung kann deaktiviert werden). Im Allgemeinen kann die Funktionsweise der Bildverarbeitung und Bewegungserfassung des Systems zwischen der GPU und dem Hauptprozessor 302 unterschiedlich verteilt werden.
Geeignete Algorithmen für das Bewegungserfassungsprogramm 314 sind sowohl im Nachfolgen beschrieben als auch detaillierter in den US-Seriennummern 61/587,554 , 13/414,485 , 61/724,091 , 13/724,357 und 13/742,953 , die jeweils am 17. Januar 2012, am 7. März 2012, am 8. November 2012, am 21. Dezember 2012 und am 16. Januar 2013 eingereicht wurden und die durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen sind. Die verschiedenen Module können in jeder geeigneten Programmiersprache programmiert werden, einschließlich, ohne Einschränkung, höherer Programmiersprachen wie C, C++, C#, OpenGL, Ada, Basic, Cobra, FORTRAN, Java, Lisp, Perl, Python, Ruby oder Object Pascal, oder untergeordneter Assemblersprachen.
Mit erneutem Bezug auf 4, können die Betriebsarten einer Vorrichtung, die mit einer bewegungssensorischen Steuervorrichtung ausgestattet ist, die Grobheit (bzw. Ungenauigkeit) der an das Bildanalysemodul 430 bereitgestellten Daten, die Grobheit der Analyse, oder beides gemäß den Einträgen in einer Leistungsdatenbank bestimmen. Zum Beispiel kann bei einer Weitverkehrsbetriebsart das Bildanalysemodul 430 auf jeden Bildausschnitt und auf alle Daten innerhalb eines Ausschnitts zugreifen, und Kapazitätsbeschränkungen können eine Analyse einer reduzierten Bilddatenmenge pro Ausschnitt (d. h., die Auflösung) vorschreiben oder einige Ausschnitte völlig verwerfen, wenn die Daten in jedem der Bildspeicher 415 als eine Sequenz von Datenleitungen organisiert sind. Die Art und Weise wie Daten von der Analyse entfernt werden, hängt von dem Bildanalyse-Algorithmus oder den Verwendungen, an die die Bewegungserfassungsausgabe ausgegeben wird, ab. In einigen Ausführungsformen werden Daten auf eine symmetrische oder gleichmäßige Art und Weise entfernt – z. B., wird jede zweite Zeile, jede dritte Zeile usw. bis zu einer Toleranzgrenze des Bildanalyse-Algorithmus oder einer Anwendung, die dessen Ausgabe verwendet, verworfen. In anderen Ausführungsformen kann sich die Frequenz der Zeilenentfernung zu den Rändern des Bildausschnitts hin erhöhen. Noch andere variierbare Bilderfassungsparameter umfassen die Bildausschnittgröße, die Bildausschnittauflösung und die Anzahl der pro Sekunde erfassten Bildausschnitte. Insbesondere kann die Bildausschnittgröße beispielsweise durch Verwerfen der Kantenpixel oder durch erneutes Abtasten mit einer niedrigeren Auflösung (und unter Verwendung nur eines Teils der Bildspeicherkapazität) verringert werden. Die zur Erfassung von Bilddaten (z. B., Größe und Bildfolge und Eigenschaften) relevanten Parameter werden zusammenfassend als ”Erfassungsparameter” bezeichnet, während die für den Betrieb des Bildanalysemoduls 430 (z. B. durch Definieren der Kontur eines Objekts) relevanten Parameter zusammenfassend als ”Bildanalyseparameter” bezeichnet werden. Die vorstehenden Beispiele der Erfassungsparameter und der Bildanalyseparameter sind lediglich darstellend und nicht einschränkend.
Die Erfassungsparameter können auf die Kameras 402, 404 und/oder auf den Bildspeicher 415 angewendet werden. Die Kamera 402, 404 kann beispielsweise auf die Erfassungsparameter beim Betrieb der Kameras 402, 404 ansprechen, um Bilder mit einer angeordneten Geschwindigkeit zu erfassen oder sie kann stattdessen die Anzahl der erfassten Bildausschnitte, die an den Bildspeicher 415 (pro Zeiteinheit) weitergegeben werden, begrenzen. Die Bildanalyseparameter können als numerische Größen, die den Betrieb des konturdefinierenden Algorithmus beeinflussen, auf das Bildanalysemodul 430 angewendet werden.
Die gewünschten Werte für die Erfassungsparameter und die Bildanalyseparameter können entsprechend eines bestimmten Werts der verfügbaren Ressourcen beispielsweise von den Eigenschaften des Bildanalysemoduls 430, der Art der Anwendung, die die mocap-Ausgabe verwendet, und den Designpräferenzen abhängen. Während einige Bildverarbeitungsalgorithmen die Auflösung der Konturnäherung gegen die Auflösung der Bildausschnitteingabe über einen weiten Bereich abwägen können, können andere Algorithmen gar keinen Toleranzspielraum aufweisen – wobei zum Beispiel eine minimale Bildauflösung benötigt wird, bei der der gesamte Algorithmus aussetzt.
Einige Ausführungsformen können auf Virtual-Reality- oder Augmented-Reality-Anwendungen angewendet werden. Zum Beispiel und unter Bezugnahme auf 5 ist gemäß einer Ausführungsform der vorliegenden Erfindung ein System 500 zum Projizieren eines Augmented-Reality Erlebnisses 213 von einer virtuellen Vorrichtung mit einer Ansicht eines realen Objekts, beispielsweise einer Schreibtischfläche 516, und eines oder mehrerer virtueller Objekte (z. B. Objekt 501) gezeigt. Das System 500 umfasst ein Verarbeitungssystem 206, das eine Vielzahl von Sensoren und Projektionsmittel, wie beispielsweise eine oder mehrere Kameras 102, 104 (oder anderen Bildsensoren) und gegebenenfalls einige Beleuchtungsquellen 115, 117, die ein Bildgebungssystem aufweisen, steuert. Gegebenenfalls kann eine Vielzahl von vibrierenden (oder akustischen) Sensoren 508, 510 enthalten sein, die angeordnet sind, um Kontakte mit dem Schreibtisch 516 zu erfassen. Optionale Projektionsmittel, die von dem System 206 gesteuert werden, können beispielsweise ein optionales Audioprojektionsmittel 502 zur Erzeugung eines Audio-Feedbacks, ein optionales Videoprojektionsmittel 504, ein optionales haptisches Projektionsmittel 506 zur Erzeugung eines haptischen Feedbacks an einen Benutzer zur Erweiterung der Realität umfassen. Für weitere Informationen über Projektionsmittel kann auf "Visio-Tactile-Projector" Youtube (https://www.youtube.com/watch?v=Bb0hNMxxewg) (aufgerufen am 15. Januar 2014) verwiesen werden. Im Betrieb werden die Sensoren und Projektionsmittel auf einen Bereich 212 von Interesse gerichtet, der wenigstens einen Abschnitt eines Schreibtisches 516, oder einen leeren Raum, in dem sich ein Objekt von Interesse 214 (in diesem Beispiel eine Hand) entlang der angezeigten Bahn 518 bewegt, umfassen kann. Eine oder mehrere Anwendungen 521 und 522 können als virtuelle Objekte, die in der Anzeige der erweiterten Realität 213 integriert sind, vorgesehen sein. Dementsprechend kann der Benutzer (z. B. der Besitzer der Hand 214) mit den realen Objekten, z. B., Schreibtisch 516, Cola 517, interagieren, die sich in der gleichen Umgebung wie die virtuellen Objekte 501 befinden.
In einigen Ausführungsformen wird eine virtuelle Vorrichtung zu dem Benutzer projiziert. Die Projektion kann ein Bild oder eine andere visuelle Darstellung eines Objekts enthalten. Zum Beispiel kann mit Bezug auf 5 ein visueller Projektionsmechanismus 504 ein Bild einer Seite (z. B., ein virtuelle Vorrichtung 501) von einem Buch in eine Augmented-Reality-Umgebung 213 eines Lesers (z. B., Flächenabschnitt 516 und/oder Umgebungsraum 212) projizieren, wodurch ein virtuelles Erlebnis des Lesens eines Buches selbst, oder eines elektronisches Buches auf einem physischen E-Reader erzeugt wird, auch wenn auch kein Buch oder E-Reader vorhanden ist. In einigen Ausführungsformen kann ein haptisches Projektionsmittel 506 das Gefühl der Textur des ”virtuellen Papiers” des Buches auf die Finger des Lesers projizieren bzw. übertragen. In einigen Ausführungsformen kann ein Audio-Projektionsmittel 502 den Klang des Seitenumblätterns in Reaktion auf das Detektieren, dass der Leser eine Streifbewegung zum Umblättern der Seite durchgeführt hat, projizieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 61/587554 [0053]
US 13/414485 [0053]
US 61724091 [0053]
US 13/724357 [0053]
US 13742953 [0053]

Zitierte Nicht-Patentliteratur

”Die Multilateration ist eine Navigationstechnik auf der Grundlage der Messung in der Entfernung zu zwei Stationen an bekannten Positionen, die Signale zu bekannten Zeitpunkten übertragen.” Siehe Wikipedia, unter http://en.wikipedia.org/w/index.php?title=Multilateration&oldid=523281858, aufgerufen am 16. November 2012, um 06:07 UTC [0046]
”Visio-Tactile-Projector” Youtube (https://www.youtube.com/watch?v=Bb0hNMxxewg) (aufgerufen am 15. Januar 2014) [0057]

Claims

Bewegungssensorische und bildgebende Vorrichtung, umfassend: eine Vielzahl bildgebender Sensoren, die angeordnet ist, um stereoskopische Bildinformationen einer betrachteten Szene bereitzustellen; eine oder mehr über den Bildsensoren angeordnete Beleuchtungsquellen; und eine Steuerung, die an die bildgebenden Sensoren und die Beleuchtungsquellen gekoppelt ist, um deren Betrieb zu steuern, Bildinformationen einer Szene zu erhalten und wenigstens eine nahezu Echtzeit-Weiterleitung von Bildinformationen an einen Benutzer bereitzustellen.
Vorrichtung nach Anspruch 1, wobei die Steuerung ferner umfasst: Erfassen von Bildinformationen zur Steuerung von Objekten im Blickfeld der Bildsensoren; wobei die Bildinformationen zur Steuerung von Objekten von Interesse verwendet werden, um eine Information über Gesten zu ermitteln, die einen Befehl an ein gesteuertes Gerät anzeigt.
Vorrichtung nach Anspruch 2, wobei das Erfassen ferner umfasst: Trennen einer Information, die von IR-lichtempfindlichen Pixeln empfangen werden, von einer Information, die von Pixeln empfangen werden, die für sichtbares Licht (z. B., RGB) empfindlich sind; Verarbeiten der Bildinformationen von IR-Sensoren, die für die Gestenerkennung verwendet werden; und Verarbeiten von Bildinformationen von RGB-Sensoren, die als Live-Video-Feed über eine Darstellungsschnittstelle zur Verfügung gestellt werden.
Vorrichtung nach Anspruch 3, wobei das Verarbeiten von Bildinformationen von den RGB-Sensoren ferner umfasst: Extrahieren von groben Merkmalen eines Realwelt-Raums unter Verwendung der RGB-Pixel, die jeweils rote, grüne und blaue Komponenten der Beleuchtung in der Szene erfassen.
Vorrichtung nach Anspruch 3, wobei das Verarbeiten von Bildinformationen von den IR-Sensoren ferner umfasst: Extrahieren von feinen Merkmalen eines Realwelt-Raums unter Verwendung der IR-Pixel, die Infrarotkomponenten der Beleuchtung in der Szene erfassen.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums eine Oberflächenstruktur des Realwelt-Raums umfasst.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums Kanten des Realwelt-Raums umfassen.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums Krümmungen des Realwelt-Raums umfassen.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums eine Oberflächenstruktur von Objekten in dem Realwelt-Raum umfassen.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums Kanten von Objekten in dem Realwelt-Raum umfassen.
Vorrichtung nach Anspruch 5, wobei die feinen Merkmale des Realwelt-Raums Krümmungen von Objekten in dem Realwelt-Raum umfassen.
Vorrichtung nach Anspruch 1, wobei die Steuerung ferner umfasst: Bestimmen von Umgebungslichtbedingungen; und Einstellen der Ausgabeanzeige auf der Grundlage der ermittelten Bedingungen; Bestimmen einer ersten und einer zweiten Positionsinformation des Sensors in Bezug auf einen festen Punkt zu einem ersten und zweiten Zeitpunkt.
Vorrichtung nach Anspruch 1, ferner umfassend: einen Bewegungssensor; und wobei die Steuerung ferner umfasst: Bestimmen einer Differenzinformation zwischen einer ersten und einer zweiten Positionsinformationen von dem Bewegungssensor; und Berechnen einer Bewegungsinformation für die Vorrichtung in Bezug auf einen festen Punkt auf der Grundlage der Differenzinformation.
Vorrichtung nach Anspruch 1, ferner umfassend: ein oder mehrere Verbindungselemente zur Befestigung der Bildsensoren und der Beleuchtungsquellen an einer Montagefläche in einer tragbaren Darstellungsvorrichtung.
Vorrichtung nach Anspruch 1, ferner umfassend: ein oder mehrere Verbindungselemente zur Befestigung der Bildsensoren und der Beleuchtungsquellen in einem Hohlraum in einer tragbaren Darstellungsvorrichtung.
Vorrichtung nach Anspruch 1, ferner umfassend: ein oder mehrere Verbindungselemente zur Befestigung der Bildsensoren und der Beleuchtungsquellen an einer Montagefläche in einer transportierbaren Darstellungsvorrichtung.
Vorrichtung nach Anspruch 1, ferner umfassend: ein oder mehrere Verbindungselemente zur Befestigung der Bildsensoren und der Beleuchtungsquellen in einem Hohlraum in einer transportierbaren Darstellungsvorrichtung.