DE112017003205T5

DE112017003205T5 - Kompakter, kostengünstiger VCSEL-Projektor für Hochleistungsstereotiefenkamera

Info

Publication number: DE112017003205T5
Application number: DE112017003205.9T
Authority: DE
Inventors: Krishna Swaminathan; Anders Grunnet-Jepsen; Leonid M. Keselman
Original assignee: GRUNNET JEPSEN ANDERS; Intel Corp
Current assignee: Intel Corp
Priority date: 2016-06-27
Filing date: 2017-05-16
Publication date: 2019-03-14
Also published as: WO2018004852A1; US20170374244A1; US20210185190A1; US10924638B2; US11889046B2

Abstract

Es sind ein VCSEL-Projektor und ein Verfahren zur Verwendung desselben offenbart. In einer Ausführungsform umfasst der Apparat eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs; eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist; und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, wo Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, durch die Projektionslinse als eine Abfolge von Mustern auf ein Objekt projiziert wird.

Description

GEBIET DER ERFINDUNG
Ausführungsformen der vorliegenden Erfindung betreffen Kamerasysteme; insbesondere betreffen Ausführungsformen der vorliegenden Erfindung Systeme mit VCSEL-Kamerasystemen, die Linsen zum Beugen von Licht verwenden.
HINTERGRUND
Stereotiefenkameras sind allgemein bekannt und werden häufig zum Messen einer Distanz von einem Objekt verwendet. Eine solche Messvorrichtung enthält einen Projektor und eine Kamera. In einer solchen Vorrichtung projiziert der Projektor ein bekanntes Musterbild auf ein Objekt (z.B. eine Szene) und ein Bild des Objekts, auf das das Bild projiziert wird, wird von der Kamera aufgenommen. Aus den aufgenommenen Bildern können Tiefeninformationen bestimmt werden. Eine Technik zur Tiefenbestimmung in solchen Vorrichtungen ist mit Hilfe einer Triangulierung. Somit werden Bilder von Objekten aufgenommen und Messungen vorgenommen, um Tiefeninformationen zu ermitteln.
Es ist allgemein bekannt, dass eine Verwendung eines Infrarot-, (IR-), Laserprojektors zum Projizieren eines texturierten Musters auf das Ziel eine signifikante Erhöhung der Leistung stereoskopischer Tiefenkameras bereitstellt. Das projizierte Muster fügt der Szene Textur hinzu und erlaub eine Tiefenbildgebung hoher Exaktheit selbst von Zielen mit minimaler oder ohne Textur, wie einer Wand. Im Fall von Stereokameras, die eine strukturierte Lichtmethode verwenden, ist die Kenntnis der Größe und Distanz zwischen den Merkmalen im projizierten Muster noch wichtiger und dient als der Hauptmechanismus, um exakte Tiefenkarten zu erlangen. Aus diesen Gründen wurde ein IR-Lasermusterprojektor allgemein in fast allen stereoskopischen Tiefenkameras verwendet.
Die meisten Laserprojektoren, die derzeit verwendet werden, haben ein typisches Design, das einen IR-randemittierenden Laser, ein optisches Element wie einen Spiegel oder ein Prisma, um das Laserlicht zur Szene zu drehen, und einen Diffusor oder ein brechendes optisches Element (DOE), um ein texturiertes Muster mit räumlich variierenden Pegeln einer Lichtintensität enthält.
Obwohl mit der typischen randemittierenden Projektormethode eine ausgezeichnete Leistung erzielt wurde, gibt es einige inhärente Begrenzungen, die die Gesamtleistung, enthaltend Exaktheit und Maximaltiefe, der Tiefenkameras beeinträchtigen. Erstens ist der Musterkontrast nicht sehr hoch. Zweitens ist die maximale Ausgangsleistung auf einen geringen Wert aufgrund einer Augensicherheitsanforderung für Laserklassifikation Klasse 1 begrenzt. Drittens ist das Design des Musters zur Leistungsmaximierung, wie Steuerung von Größe und Stelle jedes Merkmals im Muster, wenn verschiedene Algorithmen und/oder Kamerasichtfeld verwendet werden, kompliziert, teuer und zeitaufwändig. Viertens ist die gesamte Energieumwandlungseffizienz des Projektors aufgrund der optischen Verluste begrenzt, die auch den Lichtverlust enthalten, der außerhalb des FOV der Kamera projiziert wird (vorwiegend aufgrund der oben erwähnten Herausforderung im DOE-Design).
Figurenliste
Die vorliegende Erfindung wird anhand der folgenden ausführlichen Beschreibung und beiliegenden Zeichnungen verschiedener Ausführungsformen der Erfindung besser verständlich, die jedoch nicht als Beschränkung der Erfindung auf die speziellen Ausführungsformen sondern nur als Erklärung und Erläuterung auszulegen sind.

1 zeigt eine Ausführungsform eines aktiven codierten Lichttriangulierungssystems.
2A ist eine schematische Darstellung eines typischen randemittierenden Laserprojektordesigns, gemeinsam mit einem Beispiel des projizierten Musters.
2B zeigt ein Beispiel eines Punktmusters.
3A ist eine schematische Darstellung einer Ausführungsform eines VCSEL-Projektors.
3B zeigt einen Teil einer Ausführungsform einer VCSEL-Gruppe.
3C zeigt einen Teil einer Ausführungsform einer Mikrolinsengruppe (MLA).
4A zeigt ein Beispiel eines projizierten Musters von einem Projektor, der keine MLA verwendet.
4B zeigt ein Beispiel eines projizierten Musters (z.B. Fernfeldbild des Musters) von einem Projektor, der MLA verwendet.
5 zeigt Beispiele eines Linsenversatzes.
6 ist ein Flussdiagramm einer Ausführungsform eines Prozesses zur Verarbeitung von Informationen.
7 ist ein Blockdiagramm einer Ausführungsform eines Kamerasystems.
8 ist ein Blockdiagramm einer Ausführungsform eines Systems.
9 zeigt eine Ausführungsform einer Rechenumgebung, die imstande ist, die hier beschriebenen Operationen zu unterstützen.

AUSFÜHRLICHE BSCHREIBUNG DER VORLIEGENDEN ERFINDUNG
In der folgenden Beschreibung sind zahlreiche Einzelheiten angeführt, um eine ausführlichere Erklärung der vorliegenden Erfindung bereitzustellen. Einem Fachmann auf dem Gebiet ist jedoch klar, dass die vorliegende Erfindung ohne diese speziellen Einzelheiten in die Praxis umgesetzt werden kann. In anderen Fällen sind allgemein bekannte Strukturen und Vorrichtungen in der Form eines Blockdiagramms, und nicht im Detail, dargestellt, um eine Verschleierung der vorliegenden Erfindung zu vermeiden.
Die Beschreibung kann die Phrasen „in einer Ausführungsform,“ oder „in Ausführungsformen“ verwenden, die sich auf eine oder mehrere derselben oder unterschiedlicher Ausführungsformen beziehen. Weiters sind die Begriffe „umfassend“, „enthaltend“, „aufweisend“ und dergleichen, wie in Bezug auf Ausführungsformen der vorliegenden Offenbarung verwendet, synonym.
Der Begriff „gekoppelt mit“, gemeinsam mit seinen Ableitungen, kann hier verwendet werden. „Gekoppelt“ kann eine oder mehrere der folgenden Bedeutungen haben. „Gekoppelt“ kann bedeuten, dass zwei oder mehr Elemente in direktem physischen, elektrischen oder optischen Kontakt sind. „Gekoppelt“ kann aber auch bedeuten, dass zwei oder mehr Elemente in indirektem Kontakt miteinander sind, aber dennoch zusammenwirken oder miteinander interagieren, und kann bedeuten, dass ein anderes Element oder mehrere andere Elemente zwischen den Elementen gekoppelt oder verbunden sind, von welchen behauptet wird, dass sie miteinander gekoppelt sind. Der Begriff „direkt gekoppelt“ kann bedeuten, dass zwei oder mehr Elemente in direktem Kontakt sind.
1 zeigt eine Ausführungsform eines aktiven codierten Lichttriangulierungssystems. Das System enthält codierte Lichtbereichkameras, die durch Projizieren einer Abfolge eindimensionaler binärer („Schwarz“ und „Weiß“) Muster auf eine Szene arbeiten, sodass der erzeugte binäre Code den Winkel der Projektionsebene codiert. Dann wird Tiefe durch Triangulierung rekonstruiert, bestehend aus einem Berechnen des Schnittpunkts eines imaginären Strahls, der aus der Kamera ausgeht, mit der Ebene, die aus dem Projektor ausgeht.
Unter Bezugnahme auf 1 kann eine Aufnahmevorrichtung 100 einen 3D-Scanner, eine 3D-Kamera oder jede andere Vorrichtung enthalten, die für eine 3D-Objekterfassung konfiguriert ist. In einigen Ausführungsformen, wie dargestellt, enthält eine Aufnahmevorrichtung 100 eine Bildaufnahmevorrichtung 102 (z.B. eine Digitalkamera) und eine Projektoreinheit104, wie einen Laserprojektor oder Laserscanner, mit einer Anzahl von Komponenten. In einigen Ausführungsformen kann die Digitalkamera 102 eine Infrarot-, (IR-), Kamera umfassen und die Projektoreinheit104 kann einen IR-Projektor umfassen.
Die Projektoreinheit 104 ist konfiguriert, ein Lichtmuster wie oben beschrieben zu projizieren, und kann einen eindimensionalen Codeprojektor umfassen. In einer Ausführungsform umfassen die Lichtmuster eindimensionale codierte Lichtmuster, z.B. die Muster, die durch eindimensionale oder lineare Codes beschrieben sind. Die Lichtmuster, die durch die Laserebenen auf einer Oberfläche des Objekts gebildet werden, können durch die Bildaufnahmevorrichtung 102 empfangen und durch einen Sensor der Bildaufnahmevorrichtung 102 erfasst (z.B. gelesen) werden. Basierend auf den Ablesungen der mehreren Abtastungen der Lichtmuster, die während eines Erfassungszyklus des Sensors gesammelt werden, kann die Aufnahmevorrichtung 100 konfiguriert sein, die Form des Objekts zu rekonstruieren.
In einigen Ausführungsformen kann die Aufnahmevorrichtung 100 ferner eine weitere Bildaufnahmevorrichtung, wie Digitalkamera 103, enthalten. In einigen Ausführungsformen kann die Digitalkamera 103 eine Auflösung haben, die sich von jener der Digitalkamera 103 unterscheidet. Zum Beispiel kann Digitalkamera 102 eine multi-chromatische Kamera, wie rote, grüne und blaue (RGB) Kamera, sei, die konfiguriert ist, Texturbilder eines Objekts aufzunehmen.
Die Aufnahmevorrichtung 100 kann ferner einen Prozessor 106 enthalten, der über einen Bus oder-eine Zwischenverbindung 107 in betriebsbereiter Kommunikation mit der Bildkamerakomponente 101 steht. Der Prozessor 106 kann einen standardisierten Prozessor, einen spezialisierten Prozessor, einen Mikroprozessor oder dergleichen enthalten, der Anweisungen ausführen kann, die Anweisungen zum Generieren von Tiefeninformationen, Generieren eines Tiefenbilds, Ermitteln, ob ein geeignetes Ziel im Tiefenbild enthalten sein kann oder Durchführen anderer hier beschriebener Operationen enthalten können.
Der Prozessor 106 kann konfiguriert sein, das Objekt basierend auf den Bildern, die zum Beispiel durch die Digitalkamera 102 aufgenommen werden, unter Verwendung von Geometrietechniken oder anderen Techniken, die zur 3D-Bildrekonstruktion verwendet werden, zu rekonstruieren. Der Prozessor 106 kann ferner konfiguriert sein, die Aufnahmevorrichtung 100 dynamisch zu kalibrieren, um Verzerrungen in dem rekonstruierten Bild des Objekts zu korrigieren, die zum Beispiel durch verschiedene externe Faktoren (z.B. Temperatur) verursacht werden.
Die Aufnahmevorrichtung 100 kann ferner einen Speicher 105 enthalten, der die Anweisungen, die durch den Prozessor 106 ausgeführt werden, Bilder oder Frames von Bildern, die durch die Kameras aufgenommen wurden, Benutzerprofile oder sämtliche anderen geeigneten Informationen, Bilder oder dergleichen speichern kann. Gemäß einem Beispiel kann der Speicher 105 einen Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), Cache, Flash-Speicher, eine Festplatte oder eine andere geeignete Datenspeicherkomponente enthalten. Wie in 1 dargestellt, kann die Speicherkomponente 105 eine separate Komponente in Kommunikation mit den Kameras 101 und dem Prozessor 106 sein. Alternativ kann der Speicher 105 in den Prozessor 106 und/oder die Bildaufnahmekameras 101 integriert sein. In einer Ausführungsform sind einige oder alle der Komponenten 102-106 in einem einzigen Gehäuse gelegen.
Der Prozessor 105, Speicher 104, andere Komponenten (nicht dargestellt), die Bildaufnahmevorrichtung 102 und Projektoreinheit104 können mit einer oder mehreren Schnittstellen (nicht dargestellt) gekoppelt sein, die konfiguriert sind, einen Informationsaustausch unter den obengenannten Komponenten zu erleichtern. Eine oder mehrere Kommunikationsschnittstellen (nicht dargestellt) können eine Schnittstelle für Vorrichtung 100 bereitstellen, um über ein oder mehrere verdrahtete(s) oder drahtlose(s) Netzwerk(e) und/oder mit einer anderen geeigneten Vorrichtung zu kommunizieren. In verschiedenen Ausführungsformen kann die Aufnahmevorrichtung 100 in einem Server, einer Workstation, einer Desktop-Rechenvorrichtung, oder einer mobilen Rechenvorrichtung (z.B. einer Laptop-Rechenvorrichtung, einer handgehaltenen Rechenvorrichtung, einem Handset, einem Tablet, einem Smartphone, einem Netbook, einem Ultrabook usw.) enthalten oder mit diesem verknüpft sein, ohne aber darauf beschränkt zu sein.
In einer Ausführungsform ist die Aufnahmevorrichtung 100 in ein Computersystem (z.B. Laptop, Personal Computer (PC) usw.) integriert. Die Aufnahmevorrichtung 100 kann jedoch alternativ als eine alleinstehende Vorrichtung konfiguriert sein, die an ein solches Computersystem mit Hilfe herkömmlicher Technologien, enthaltend sowohl verdrahtete als auch drahtlose Verbindungen, koppelbar ist.
In verschiedenen Ausführungsformen kann die Aufnahmevorrichtung 100 mehr oder weniger Komponenten und/oder verschiedene Architekturen aufweisen. Zum Beispiel kann die Aufnahmevorrichtung 100 in einigen Ausführungsformen eines oder mehrere von einer Kamera, einer Tastatur, einer Anzeige wie einem Flüssigkristallanzeige-, (LCD-), Schirm (enthaltend Berührungsschirmanzeigen), einer Berührungsschirmsteuerung, einem nicht flüchtigen Speicheranschluss, einer Antenne oder mehreren Antennen, einem Grafik-Chip, einer ASIC, Lautsprecher(n), einer Batterie, einem Audio-Codec, einem Video-Codec, einem Leistungsverstärker, einer globalen Positionierungssystem- (GPS) Vorrichtung, einem Kompass, einem Beschleunigungsmesser, einem Gyroskop und dergleichen enthalten. In verschiedenen Ausführungsformen kann die Aufnahmevorrichtung 100 mehr oder weniger Komponenten und/oder verschiedene Architekturen aufweisen. In verschiedenen Ausführungsformen können hier beschriebene Techniken und Konfigurationen in einer Reihe von Systemen verwendet werden, die von den hier beschriebenen Prinzipien profitieren.
Die Aufnahmevorrichtung 100 kann für eine Reihe von Zwecken verwendet werden, enthaltend, ohne aber darauf beschränkt zu sein, als Teil eines Zielerkennungs-, Analyse- und Verfolgungssystems, um humane und nicht humane Ziele in einem Erfassungsbereich des physischen Raums, ohne Verwendung spezieller Erfassungsvorrichtungen, die an den Subjekten angebracht sind, zu erkennen, diese einzigartig zu identifizieren und sie im dreidimensionalen Raum zu verfolgen. Die Aufnahmevorrichtung 100 kann konfiguriert sein, Video mit Tiefeninformationen, enthaltend ein Tiefenbild, das Tiefenwerte enthaltend kann, mittels einer geeigneten Technik aufzunehmen, enthaltend, zum Beispiel, Triangulierung, Flugzeit, strukturiertes Licht, Stereobild oder dergleichen.
Die Aufnahmevorrichtung 100 kann konfiguriert sein, als Tiefenkamera zu arbeiten, die ein Tiefenbild einer Szene aufnehmen kann. Das Tiefenbild kann eine zweidimensionale (2D) Pixelfläche der aufgenommenen Szene enthalten, wo jedes Pixel in der 2D-Pixelfläche einen Tiefenwert wie eine Distanz in, zum Beispiel, Zentimetern, Millimetern oder dergleichen eines Objekts in der aufgenommenen Szene von der Kamera darstellen kann. In diesem Beispiel enthält die Aufnahmevorrichtung 100 einen IR-Lichtprojektor 404, eine IR-Kamera 102 und eine Sichtbares-Licht-RGB-Kamera 103, die in einer Gruppe konfiguriert sind.
Es können verschiedene Techniken zum Aufnehmen von Tiefenvideoframes verwendet werden. Zum Beispiel kann die Aufnahmevorrichtung 100 strukturiertes Licht zum Aufnehmen von Tiefeninformationen verwenden. In einer solchen Analyse kann ein gemustertes Licht (d.h. Licht, das als ein bekanntes Muster wie ein Gittermuster oder ein Streifenmuster angezeigt wird) auf den Aufnahmebereich zum Beispiel durch einen IR-Lichtprojektor 104 projiziert werden. Beim Auftreffen auf die Oberfläche eines oder mehrerer Ziele oder Objekte im Aufnahmebereich kann das Muster in Reaktion darauf verformt werden. Eine solche Verformung des Musters kann zum Beispiel durch die IR-Kamera 102 und/oder die RGB-Kamera 103 aufgenommen werden und kann dann analysiert werden, um eine physische Distanz von der Aufnahmevorrichtung 100 zu einer bestimmten Stelle auf den Zielen oder Objekten zu ermitteln.
Die Aufnahmevorrichtung 100 kann zwei oder mehr physisch getrennte Kameras verwenden, die einen Aufnahmebereich aus verschiedenen Winkeln sehen können, um visuelle Stereodaten zu erhalten, die aufgelöst werden können, um Tiefeninformationen zu generieren. Andere Arten von Tiefenbildanordnungen, die einzelne oder mehrere Kameras verwenden, können auch zum Kreieren eines Tiefenbilds verwendet werden.
Die Aufnahmevorrichtung 100 kann die Tiefeninformationen und zum Beispiel durch die IR-Kamera 102 und/oder die RGB-Kamera 103 aufgenommene Bilder bereitstellen, enthaltend ein Skelettmodell und/oder Gesichtserkennungsmodell, die durch die Aufnahmevorrichtung 100 generiert werden können, wobei das Skelett- und/oder Gesichtserkennungsmodell, die Tiefeninformationen und die aufgenommenen Bilder zum Beispiel zum Kreieren eines virtuellen Schirms, Anpassen der Benutzerschnittstelle und Steuern einer Anwendung verwendet werden.
Zusammenfassend kann die Aufnahmevorrichtung 100 eine Projektoreinheit104 (z.B. einen IR-Projektor), eine Digitalkamera (z.B. IR-Kamera) 102, eine andere Digitalkamera (z.B. multi-chromatische Kamera) 103 und einen Prozessor (eine Steuerung) umfassen, die konfiguriert sind, die Aufnahmevorrichtung 100 gemäß den hier beschriebenen Ausführungsformen zu betreiben. Die obengenannte Gruppenkonfiguration ist jedoch nur zur Veranschaulichung beschrieben und sollte die vorliegende Offenbarung nicht einschränken. Es können verschiedene Konfigurationen einer Baugruppe für eine 3D-Objekterfassung verwendet werden, um die hier beschriebenen Ausführungsformen zu implementieren. Zum Beispiel kann eine Baugruppe für eine 3D-Objekterfassung, die konfiguriert ist, Korrekturen der rekonstruierten Objektverzerrung zu ermöglichen, drei Digitalkameras enthalten, von welchen zwei zum Rekonstruieren eines 3D-Bilds eines Objekts verwendet werden und die dritte Kamera (z.B. mit einer Auflösung, die sich von jener der zwei Kameras unterscheidet) kann zum Aufnehmen von Bildern des Objekts verwendet werden, um Bildverzerrungen im rekonstruierten Objekt zu identifizieren und identifizierte Verzerrungen auszugleichen.
IR-Projektor
Wie oben besprochen, projiziert eine codierte Lichtkamera, die einen IR-Projektor 104 umfasst, eindimensionale Codemuster auf die Szene und eine IR-Kamera 102 nimmt die Muster auf. Ein Decodieren der aufgenommenen Muster an jeder Pixelstelle x_c in der Kamera erzeugt einen Code, der die Stelle x_p der projizierten Ebene codiert. Bei der Triangulierung wird die Ebene mit dem Strahl geschnitten, der aus dem Kamerabrennpunkt durch x_c geht, wodurch die Distanz zum Objekt z(x_c) erhalten wird.
In einer Ausführungsform empfängt eine Verarbeitungseinheit eine Abfolge von Bildern und rekonstruiert die Tiefe mittels Triangulierung in Antwort auf Kamera- und Projektorpositionskoordinaten. In einer Ausführungsform ist die Verarbeitungseinheit betreibbar, um einen Tiefenwert zu generieren auf Basis der neuen Projektorpositionskoordinate eine Kamerapositionskoordinate.
2A ist eine schematische Darstellung eines typischen randemittierenden Laserprojektordesigns gemeinsam mit einem Beispiel des projizierten Musters. Unter Bezugnahme auf 2A, Projektor 200 eine IR-randemittierende Laserdiode 201, ein optisches Element 202 (z.B. einen Spiegel, ein Prisma), um das Laserlicht zur Szene zu drehen, und einen Diffusor oder ein brechendes optisches Element (DOE) 203, um ein texturiertes Muster mit räumlich variierenden Pegeln einer Lichtintensität zu erzielen. 2B zeigt ein Beispiel eines solchen Musters. Wie jedoch oben angeführt, hat ein solches Projektordesign eine Reihe von Nachteilen.
In einer Ausführungsform umfasst der IR-Projektor einen auf einer Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe basierenden Musterprojektor. In einer Ausführungsform hat der auf der VCSEL-Gruppe basierende Musterprojektor eine hohe Effizienz, einen kleinen Formfaktor und löst die oben in Bezug auf den randemittierenden Laserprojektor besprochenen Probleme, was zu einer signifikanten Verbesserung in der Leistung von Stereotiefenkameras führt. Somit ist in der folgenden Offenbarung ein Projektor mit VCSEL-Gruppe offenbart, der Merkmale bietet, die den Bereich und die Genauigkeit einer Stereotiefenkamera signifikant verbessern könnten, während Kosten und Größe gering und Energieeffizient hoch gehalten werden.
3A ist eine schematische Darstellung einer Ausführungsform eines VCSEL-Projektors. Unter Bezugnahme auf 3A enthält ein Substrat eine VCSEL-Gruppe von VCSELs, wie VCSEL 302. 3B zeigt einen Teil einer Ausführungsform einer VCSEL-Gruppe. Jeder VCSEL erzeugt IR-Licht. Zum Beispiel erzeugt VCSEL 302 IR-Licht 303. Eine Mikrolinsengruppe (MLA) enthält mehrere Linsen, wobei jede Linse über einem VCSEL (und dem IR-Licht, das dieser erzeugt) positioniert ist. Zum Beispiel ist eine Mikrolinse 304 über IR-Licht vom VCSEL 302 positioniert. 3C zeigt einen Teil einer Ausführungsform einer MLA.
Licht aus der MLA wird durch IR-Projektionslinse 306 projiziert, um ein projiziertes Muster 307 auf einem Objekt (z.B. Wand, Oberfläche usw.) zu projizieren. In einer Ausführungsform umfasst die IR-Projektionslinse 306 eine einzelne Linse. In einer anderen Ausführungsform ist die IR-Projektionslinse 306 mit mehreren Linsen konstruiert, die in Bezug zueinander ausgerichtet und in Position gehalten werden. In einer Ausführungsform umfasst die IR-Projektionslinse 306 eine Bildgebungslinse in einer Kamera.
Somit wird im Fall des vorgeschlagenen, auf einer VCSEL-Gruppe basierenden Projektors das Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, auf die Szene durch die Projektionslinse (die dieselbe wie die Bildgebungslinse sein kann, die in der Kamera verwendet wird) abgebildet oder projiziert. 4A zeigt ein Beispiel eines projizierten Musters aus einem Projektor, der keine MLA verwendet, während 4B ein Beispiel eines projizierten Musters (z.B. Fernfeldbild des Musters) aus einem Projektor zeigt, der eine MLA verwendet.
In einer Ausführungsform ist jeder Punkt in dem projizierten Bild ein einzelner Laser aus der VSCEL-Gruppe. In einer Ausführungsform wird die erforderliche Größe und Stelle jedes Punkts/Lasers lithografisch auf das Substrat 301 gezeichnet und auch durch die Verwendung einer Projektionslinse 306 mit erforderlichem Sichtbereich (FOV) gesteuert, um dem optimalen. Muster möglichst nahe zu kommen, das zur Maximierung einer Tiefenleistung für einen gegebenen Tiefenberechnungsalgorithmus erforderlich ist, der zum Generieren von Tiefeninformationen verwendet wird (z.B. Triangulierungstechnik).
In einer Ausführungsform verwendet der hier offenbarte VCSEL-Projektor eine lithografisch gemusterte Mikrolinsengruppe (MLA) mit unterschiedlichem Niveau an Linsenversatz, um den Beugewinkel für Licht, das von einzelnen VCSELs in der Gruppe ausgestrahlt wird, abzustimmen, um mit dem Hauptstrahlwinkel der Projektionslinse übereinzustimmen (größerer Beugewinkel an den Rändern im Vergleich zur Mitte), um ausreichend Punkte zum Füllen des gesamten FOV zu erreichen, während der Lichtverlust aus den VCSELs an den Rändern signifikant verringert wird. Das Ergebnis ist ein IR-Projektor, der Flexibilität bietet, um die Tiefenleistung für einen weiten Bereich von . Stereotiefenbildgebungssystemen unter unterschiedlichen Bedingungen und in unterschiedlichen Anwendungen zu optimieren, ohne Größe und Kosten zu gefährden. Es ist zu beachten, dass die Verwendung von Lithografie zum Kreieren einer Linsengruppe in der Technik allgemein bekannt ist.
5 zeigt Beispiele eines Linsenversatzes. In einer Ausführungsform bewirken die Linsen der MLA, das Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, gebeugt wird, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
Unter Bezugnahme auf 5 sind VCSELs 501A-C eines Substrats dargestellt. Es ist zu beachten, dass nur drei VCSELs zu Veranschaulichungszwecken dargestellt sind; einem Fachmann auf dem Gebiet wäre klar, dass das Substrat viel mehr VCSELs enthält. VCSEL 501A und 501C sind gegenüberliegenden Rändern des FOV näher als VCSEL 501B, der sich in der Mitte befindet. Jeder von VCSELs 501A-501C enthält eine Mikrolinse, die über einem entsprechenden VCSEL gelegen ist. Zum Beispiel ist Mikrolinse 501B über VCSEL 501A gelegen, Mikrolinse 502B ist über VCSEL 502A gelegen und Mikrolinse 503B ist über VCSEL 503A gelegen. In einer Ausführungsform sind Linsen der MLA weiter weg von einer Mitte der VCSEL-Gruppe betreibbar, um das Licht stärker zu beugen als jene, die näher bei der Mitte der VCSEL-Gruppe liegen. In einer Ausführungsform beugen Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in zunehmendem Maße, je näher Linsen bei einem Rand des Sichtbereichs (FOV) liegen. Zum Beispiel beugen Mikrolinsen 501B und 503B, die näher beim Rand der VCSEL-Gruppe liegen, Licht stärker als Mikrolinse 502B, die näher bei der Mitte der VCSEL-Gruppe liegt.
In einer Ausführungsform beugt jede MLA-Linse Licht, da sie von ihrem entsprechenden VCSEL versetzt ist. In einer Ausführungsform sind die Mikrolinsen der MLA auf dem Substrat lithografisch gemustert, um in Dicke, Form und Morphologie identisch zu sein. Im Speziellen sind die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet, um ein Beugen eines Lichts zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird. Wenn die Linse in Bezug auf den Mittelpunkt des VCSEL versetzt ist, interagiert das Licht aus dem VCSEL mit einem anderen Teil der Linse, mit einer anderen Krümmung, was zu anderen Beugewinkeln führt. In einer Ausführungsform beugen die Mittelpunkte (Mittellinien) einer MLA-Linse und ihres entsprechenden VCSEL mit stärkerer Fehlausrichtung (stärkerem Versatz) Licht stärker als eine MLA-Linse und ihre entsprechenden VCSEL-Paare, deren jeweilige Mittelpunkte (Mittellinien) weniger fehlausgerichtet sind. Unter erneuter Bezugnahme auf 5 ist der Mittelpunkt 501C von VCSEL 501A mit dem Mittelpunkt 501D von MLA-Linse 501B fehlausgerichtet, wobei Mittelpunkt 501D dem Mittelpunkt der VCSEL-Gruppe näher ist als Mittelpunkt 501C von VCSEL 501A. Dies bewirkt, dass das Licht, das aus VCSEL 501A ausgestrahlt wird, stärker zum Mittelpunkt der VCSEL-Gruppe gebeugt wird. Dasselbe gilt für VCSEL 503A und den Versatz, der mit seiner entsprechenden MLA-Linse 503B am gegenüberliegenden Rand der VCSEL-Gruppe verbunden ist. Der Mittelpunkt 502C von VCSEL 502A ist im Gegensatz nicht mit dem Mittelpunkt 502D von MLA-Linse 502B fehlausgerichtet. In diesem Fall wird das Licht, das aus VCSEL 502A ausgestrahlt wird, nicht durch MLA-Linse 502B gebeugt. Somit kann durch ein Ändern der Lage des Mittelpunkts der MLA-Linse in Bezug auf ihren entsprechenden VCSEL der Strahl gebeugt werden und dazu beitragen, eine Intensitätsabnahme zu verhindern.
Es ist zu beachten, dass in einer Ausführungsform das Ausmaß an Fehlausrichtung von der verwendeten IR-Projektionslinse und ihrer Position in Bezug auf die VCSEL-Gruppe abhängig ist. Ein Ziel der MLA und der Versätze der einzelnen Linse ist die Erhöhung der Menge von Licht, das aus der VCSEL-Gruppe ausgestrahlt wird, die durch die Projektionslinse durchgelassen wird. Somit kann Licht, das aus VCSELs an den Rändern der VCSEL-Gruppe ausgestrahlt wird, stärker gebeugt worden sein, falls die IR-Projektionslinse der VCSEL-Gruppe näher ist, um sicherzustellen, dass die erhöhte Lichtmenge durch die IR-Projektionslinse geht, um das Muster auf der Objektoberfläche zu kreieren. Dies ist günstig, da die Verwendung der MLA zum Beigen des Lichts ermöglicht, dass ein Musterprojektor kompakt ist, was für einige Anwendungen kritisch ist.
6 ist ein Flussdiagramm einer Ausführungsform eines Prozesses zur Verarbeitung von Informationen. Unter Bezugnahme auf 6 beginnt der Prozess durch Projizieren einer Abfolge von Lichtmustern auf ein Objekt mit Hilfe eines Projektors, wobei der Projektor eine Oberflächenemitter- (VCSEL) Gruppe, die eine Vielzahl von VCSELs umfasst, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, umfasst, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird (Verarbeitungsblock 601). In einer Ausführungsform wird Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, mit Hilfe von Linsen der MLA gebeugt, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
In einer Ausführungsform wird Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, mit Hilfe von Linsen der MLA, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht. In einer Ausführungsform sind Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind. In einer Ausführungsform beugen Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß, je näher Linsen einem Rand des Sichtbereichs sind.
In einer Ausführungsform sind die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird. In einer Ausführungsform beugen Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
Anschließend nimmt der Prozess mit Hilfe einer Kamera eine Abfolge von Bildern der Abfolge von Lichtmustern auf (Verarbeitungsblock 602) und generiert Tiefeninformationen durch Triangulierung mit Hilfe der Abfolge von Bildern (Verarbeitungsblock 603).
Eine oder mehrere Ausführungsformen des hier offenbarten VCSEL-Projektors enthalten einen oder mehrere Vorteile verglichen mit anderen IR-Projektoren, die zur Tiefenbildgebung verwendet werden. Diese Vorteile enthalten die folgenden:

1. Bereitstellen eines sehr hohen Kontrasts zwischen den hellen und dunklen Flächen in dem Muster, der auch leicht durch Einstellen des Brennpunkts der Projektionslinse gesteuert werden könnte.
2. Ermöglichen einer vollständigen Steuerung der Größe und Position jedes Merkmals oder Punkts im projizierten Muster, um den Anforderungen des Tiefenberechnungsalgorithmus für eine beste Tiefenleistung am besten zu entsprechen.
3. Bereitstellen eines Laser-Augensicherheitsgrenze von ~ 10 bis 100 x, die höher als beim randemittierenden Laser & DOE-Projektor ist. Dies ist auf die Tatsache zurückzuführen, dass jeder Laser in der VCSEL-Gruppe als eine separate Punktquelle dient, die Daten an etwas anderen Stellen in der Retina abbilden würde. Eine höhere Sicherheitsgrenze erlaubt einfachere Sicherheitsschaltkreis und gibt viele interessante Anwendungen frei, enthaltend eine verbesserte Leistung im Freien.
4. Bereitstellen einer ausgezeichneten Temperaturstabilität des VCSELs, mit einem Wellenlängendrift -0,07 nm/C, die ~5x kleiner als bei randemittierenden Lasern ist, wodurch eine größere Musterstabilität für strukturierte Lichtanwendungen möglich ist.
5. Erleichtert eine leichte Herstellung und Montage (ein Prozess ähnlich wie bei einer Kamera) und bequeme Änderung der Musterdichte und des FOV zur Verwendung in verschiedenen Tiefenkamerasystemen.
6. Garantiert, mit Hilfe der Bildgebungslinse, die durch die Kameras als die VCSEL-Projektionslinse verwendet wird, einen minimalen Lichtverlust außerhalb des FOV und die Verwendung des MLA-Designs führt zu einer sehr hohen Gesamtenergieumwandlungseffizienz.

7 ist ein Blockdiagramm einer Ausführungsform eines Kamerasystems. Unter Bezugnahme auf 7 umfasst Kamerasystem 700 eine Leiterplatte (PCB) 710 mit rechtem IR-Sensor 701 (Kamera), RGB-Sensor 702 (Kamera), IR-Laserprojektor 703 mit einer VCSEL-Gruppe und linkem IR-Sensor (Kamera), der daran gekoppelt ist.
8 zeig für eine Ausführungsform ein beispielhaftes System 800 mit einem oder mehreren Prozessor(en) 804, einem Systemsteuermodul 808, das zumindest einen der Prozessor(en) 804 gekoppelt ist, einem Systemspeicher 812, der an das Systemsteuermodul 808 gekoppelt ist, einen nicht flüchtigen Speicher (NVM)/Datenspeicher 814, der an das Systemsteuermodul 808 gekoppelt ist, und einer oder mehreren Kommunikationsschnittstelle(n) 820, die an das Systemsteuermodul 808 gekoppelt ist (sind). In einigen Ausführungsformen kann das System 800 eine Aufnahmevorrichtung 100 enthalten und Logik/Modul bereitstellen, die/das Funktionen durchführt, die einen Ausgleich von Projektorverzerrungen in der Tiefenermittlung in einem hier beschriebenen rekonstruierten Objektbild zum Ziel haben.
In einigen Ausführungsformen kann das System 800 ein oder mehrere computerlesbare Medien (z.B. Systemspeicher oder NVM/Datenspeicher 814) mit Anweisungen und einen oder mehrere Prozessor(en) (z.B. Prozessor(en) 804) enthalten, die mit dem einen oder den mehreren computerlesbaren Medien gekoppelt und konfiguriert sind, die Anweisungen auszuführen, um ein Modul zu implementieren, um hier beschriebene Bildverzerrungskorrekturberechnungsmaßnahmen durchzuführen.
Das Systemsteuermodul 808 für eine Ausführungsform kann sämtliche geeignete Schnittstellensteuerungen enthalten, um eine geeignete Schnittstelle für mindestens einen der Prozessoren 804 und/oder für eine geeignete Vorrichtung oder Komponente in Kommunikation mit Systemsteuermodul 808 bereitzustellen.
Das Systemsteuermodul 808 kann Speichersteuermodul 810 enthalten, um eine Schnittstelle zum Systemspeicher 812 bereitzustellen. Das Speichersteuermodul 810 kann ein Hardware-Modul, ein Software-Modul und/oder ein Firmware-Modul sein. Der Systemspeicher 812 kann zum Laden und Speichern von Daten und/oder Anweisungen, zum Beispiel für System 800, verwendet werden. Der Systemspeicher 812 kann für eine Ausführungsform jeden geeigneten flüchtigen Speicher enthalten, wie zum Beispiel einen geeigneten DRAM. Das Systemsteuermodul 808 kann für eine Ausführungsform eine oder mehrere Eingangs-/Ausgangs-, (I/O-), Steuerung(en), um eine Schnittstelle zum NVM/Datenspeicher 814 bereitzustellen, und Kommunikationsschnittstelle(n) 820 enthalten.
Der NVM/Datenspeicher 814 kann zum Beispiel zum Speichern von Daten und/oder Anweisungen verwendet werden. Der NVM/Datenspeicher 814 kann jeden geeigneten nicht flüchtigen Speicher, wie zum Beispiel Flash Speicher, enthalten und/oder kann jede (sämtliche) geeignete(n) nicht flüchtige(n) Datenspeichervorrichtung(en) enthalten, wie zum Beispiel ein oder mehrere Festplattenlaufwerk(e) (HDD(s)), ein oder mehrere Compact Disc (CD) Laufwerk(e) und/oder ein oder mehrere Digital Versatile Disc (DVD) Laufwerk(e). Der NVM/Datenspeicher 814 kann eine Datenspeicherressource enthalten, der physisch Teil einer Vorrichtung ist, auf der das System 800 installiert ist, oder kann, muss aber nicht, durch einen Teil der Vorrichtung zugänglich sein. Zum Beispiel kann auf den NVM/Datenspeicher 814 über ein Netzwerk durch die Kommunikationsschnittstelle(n) 820 zugegriffen werden.
Die Kommunikationsschnittstelle(n) 820 kann (können) eine Schnittstelle für ein System 800 bereitstellen, um über ein oder mehrere Netzwerk(e) und/oder mit einer anderen geeigneten Vorrichtung zu kommunizieren. Das System 800 kann drahtlos mit der einen oder den mehreren Komponenten des drahtlosen Netzwerks gemäß einem oder mehreren drahtlosen Netzwerkstandards und/oder -protokollen kommunizieren.
Für eine Ausführungsform kann zumindest einer der Prozessor(en) 804 gemeinsam mit Logik für eine oder mehrere Steuerung(en) des Systemsteuermoduls 808 gepackt sein, z.B. Speichersteuermodul 810. Für eine Ausführungsform kann zumindest einer der Prozessor(en) 804 gemeinsam mit Logik für eine oder mehrere Steuerung(en) des Systemsteuermoduls 808 gepackt sein, um ein System in Package (SiP) zu bilden. Für eine Ausführungsform kann zumindest einer der Prozessor(en) 804 auf demselben Die mit Logik für eine oder mehrere Steuerung(en) des Systemsteuermoduls 808 integriert sein. Für eine Ausführungsform kann zumindest einer der Prozessor(en) 804 auf demselben Die mit Logik für eine oder mehrere Steuerung(en) des Systemsteuermoduls 808 integriert sein, um ein System on Chip (SoC) zu bilden.
In verschiedenen Ausführungsformen kann das System 800 mehr oder weniger Komponenten und/oder unterschiedliche Architekturen haben. Zum Beispiel kann in einigen Ausführungsformen das System 800 eines oder mehrerer von einer Kamera, einer Tastatur, einem Flüssigkristallanzeige-, (LCD-), Schirm (enthaltend Berührungsschirmanzeigen), einem nicht flüchtigen Speicheranschluss, mehreren Antennen, einem Grafik-Chip, einer anwendungsspezifischen integrierten Schaltung (ASIC) und Lautsprechern enthalten.
In verschiedenen Implementierungen kann das System 800 eine mobile Rechenvorrichtung (z.B. eine Laptop-Rechenvorrichtung, eine handgehaltene Rechenvorrichtung, ein Tablet, ein Netbook usw.) ein Laptop, ein Netbook, ein Notebook, ein Ultrabook, ein Smartphone, ein Tablet, ein Personal Digital Assistant (PDA), an Ultra-Mobil-PC, ein Mobiltelefon, ein Desktop-Computer, ein Server, ein Drucker, ein Scanner, ein Monitor, eine Set-Top Box, eine Unterhaltungssteuerungseinheit, eine Digitalkamera, ein tragbares Musikabspielgerät oder ein digitaler Videorecorder sein, ohne aber darauf beschränkt zu sein. In weiteren Implementierungen kann das System 800 jede andere elektronische Vorrichtung sein.
9 zeigt eine Ausführungsform einer Rechenumgebung 900, die imstande ist, die oben besprochenen Operationen zu unterstützen. Die zuvor beschriebenen Module können die Tiefeninformationen (z.B. Werte) und andere oben beschriebene Daten zur Durchführung dieser Funktionen verwenden. Die Module und Systeme können in einer Reihe unterschiedlicher Hardware-Architekturen und Formfaktoren implementiert werden.
Befehlsausführungsmodul 901 enthält eine zentrale Verarbeitungseinheit zum Zwischenspeichern und Ausführen von Befehlen und Verteilen von Aufgaben unter den anderen dargestellten Modulen und Systemen. Es kann einen Anweisungsstapel, einen Cache-Speicher zum Speichern von Zwischen- und Endergebnissen und einen Massenspeicher zum Speichern von Anwendungen und Betriebssystemen enthalten. Das Befehlsausführungsmodul 901 kann auch als eine zentrale Koordinations- und Aufgabenzuordnungseinheit für das System dienen.
Schirmwiedergabemodul 921 zeichnet Objekte auf dem einen oder den mehreren mehrfachen Schirmen zur Ansicht für den Benutzer. Es kann angepasst werden, um Daten vom in der Folge beschriebenen Modul für ein Verhalten eines virtuellen Objekts 904 zu empfangen und das virtuelle Objekt und sämtliche anderen Objekte und Kräfte auf dem passenden Schirm oder Schirmen wiederzugeben. So würden die Daten vom Modul für ein Verhalten eines virtuellen Objekts 904 zum Beispiel die Position und Dynamik des virtuellen Objekts und zugehöriger Gesten, Kräfte und Objekte bestimmen und das Schirmwiedergabemodul 921 würde das virtuelle Objekt und zugehörige Objekte und Umgebung auf einem Schirm entsprechend anzeigen. Das Schirmwiedergabemodul 921 könnte ferner angepasst sein, Daten vom in der Folge beschriebenen Nachbarschirm-Perspektivenmodul 907 zu empfangen, um entweder eine Ziellandefläche für das virtuelle Objekt darzustellen, falls das virtuelle Objekt zur Anzeige der Vorrichtung bewegt werden kann, mit der das Nachbarschirm-Perspektivenmodul 907 verbunden ist. Falls das virtuelle Objekt von einem Hauptschirm zu einem Hilfsschirm bewegt wird, könnte somit zum Beispiel das Nachbarschirm-Perspektivenmodul 907 Daten zum Schirmwiedergabemodul 921 senden, um zum Beispiel in Schattenform eine oder mehrere Ziellandeflächen für das virtuelle Objekt auf der Bahn von Handbewegungen oder Augenbewegungen eines Benutzers vorzuschlagen.
Objekt- und Gestenerkennungssystem 922 kann angepasst werden, um Hand- und Armgesten eines Benutzers zu erkennen und zu verfolgen. Ein solches Modul kann verwendet werden, um Hände, Finger, Fingergesten, Handbewegungen und eine Position von Händen relativ zu Anzeigen zu erkennen. Zum Beispiel könnte das Objekt- und Gestenerkennungssystem 922 zum Beispiel bestimmen, dass ein Benutzer eine Geste mit einem Körperteil ausgeführt hat, um ein virtuelles Objekt auf den einen oder anderen der mehrere Schirme fallen zu lassen oder zu werden, oder das der Benutzer eine Geste mit einem Körperteil gemacht hat, um das virtuelle Objekt zu einer Einfassung des einen oder anderen der mehreren Schirme zu bewegen. Das Objekt- und Gestenerkennungssystem 922 kann an eine Kamera oder Kameragruppe, ein Mikrofon oder Mikrofongruppe, einen Berührungsbildschirm oder eine Berührungsoberfläche oder eine Zeigevorrichtung oder eine gewisse Kombination dieser Artikel gekoppelt sein, um Gesten und Befehle vom Benutzer zu erfassen.
Der Berührungsschirm oder die Berührungsoberfläche des Objekt- und Gestenerkennungssystems 922 kann einen Berührungsschirmsensor enthalten. Daten vom Sensor können zu Hardware, Software, Firmware oder einer Kombination derselben geleitet werden, um die Berührungsgeste einer Hand eines Benutzers auf den Schirm oder die Oberfläche auf ein entsprechendes dynamisches Verhalten eines virtuellen Objekts abzubilden. Die Sensordaten können bei Impuls- und Trägheitsfaktoren angewendet werden, um ein unterschiedliches Impulsverhalten für ein virtuelles Objekt basierend auf einer Eingabe von einer Hand eines Benutzers zu ermöglichen, wie einer Wischrate eines Fingers eines Benutzers relativ zum Schirm. Kneifende Gesten können als ein Befehl interpretiert werden, ein virtuelles Objekt vom Anzeigeschirm aufzuheben oder zu beginnen, eine virtuelle Bindung zu generieren, die mit dem virtuellen Objekt verbunden ist, oder auf einer Anzeige hinein oder heraus zu zoomen. Ähnliche Befehle können durch das Objekt- und Gestenerkennungssystem 922 mit Hilfe einer oder mehrerer Kameras ohne den Vorteil einer Berührungsoberfläche generiert werden.
Aufmerksamkeitsrichtungsmodul 923 kann mit Kameras oder anderen Sensoren ausgestattet sein, um die Position oder Orientierung eines Gesichts oder von Händen eines Benutzers zu verfolgen. Wenn eine Geste oder ein Sprachbefehl ausgegeben wird, kann das System den richtigen Schirm für die Geste ermitteln. In einem Beispiel ist eine Kamera nahe jeder Anzeige montiert um zu erfassen, ob der Benutzer zur Anzeige blickt. Falls ja, werden die Informationen vom Aufmerksamkeitsrichtungsmodul einem Objekt- und Gestenerkennungsmodul 922 bereitgestellt um sicherzustellen, dass die Gesten oder Befehle mit der richtigen Bibliothek für die aktive Anzeige verbunden sind. Ebenso können die Befehle ignoriert werden, wenn der Benutzer von allen Schirmen wegblickt.
Vorrichtungsnähedetektionsmodul 925 kann Näherungssensoren, Kompasse, GPS- (globales Positionierungssystem) Empfänger, persönlichen Netzwerkfunk und andere Arten von Sensoren, gemeinsam mit Triangulierung und anderen Techniken zum Ermitteln der Nähe anderer Vorrichtungen umfassen. Sobald eine Vorrichtung in der Nähe erfasst ist, kann sie bei dem System registriert werden und ihre Art kann als eine Eingabevorrichtung oder eine Anzeigevorrichtung oder beide ermittelt werden. Für eine Eingabevorrichtung können dann empfangene Daten bei dem Objektgesten- und Erkennungssystem 922 angewendet werden. Für eine Anzeigevorrichtung kann diese vom Nachbarschirm-Perspektivenmodul 907 berücksichtigt werden.
Modul für ein Verhalten eines virtuellen Objekts 904 ist ausgebildet, einen Eingang vom Objektgeschwindigkeits- und - richtungsmodul 903 zu empfangen und einen solchen Eingang bei einem virtuellen Objekt anzuwenden, das in der Anzeige angezeigt wird. So würde zum Beispiel das Objekt- und Gestenerkennungssystem 922 eine Geste eines Benutzers interpretieren und durch Abbilden der aufgenommenen Bewegungen einer Hand des Benutzers auf erkannte Bewegungen würde das Modul zur Verfolgung eines virtuellen Objekts 906 die Position und Bewegungen des virtuellen Objekts mit den Bewegungen, wie vom Objekt- und Gestenerkennungssystem 922 erkannt, verbinden, das Objekt- und Geschwindigkeits- und Richtungsmodul 903 würde die Dynamik der Bewegungen des virtuellen Objekts aufnehmen und das Modul für ein Verhalten eines virtuellen Objekts 904 würde den Eingang vom Objekt- und Geschwindigkeits- und Richtungsmodul 903 empfangen, um Daten zu generieren, die die Bewegungen des virtuellen Objekt so lenken würden, dass sie der Eingabe vom Objekt- und Geschwindigkeits- und Richtungsmodul 903 entsprechen.
Das Modul zur Verfolgung eines virtuellen Objekts 906 kann andererseits angepasst sein, basierend auf einer Eingabe vom Objektgesten- und Erkennungssystem 922 zu verfolgen, wo sich ein virtuelles Objekt im dreidimensionalen Raum in einer Nähe einer Anzeige befinden sollte und welches Körperteil des Benutzers das virtuelle Objekt hält. Das Modul zur Verfolgung eines virtuellen Objekts 906 kann zum Beispiel ein virtuelles Objekt verfolgen, während es sich über und zwischen Schirme(n) bewegt, und verfolgen, welches Körperteil des Benutzers das virtuelle Objekt hält. Ein Verfolgen des Körperteils, das das virtuelle Objekt hält, erlaubt ein ständiges Bewusstsein der Luftbewegungen des Körperteils und somit ein letztendliches Bewusstsein, ob das virtuelle Objekt auf einen oder mehrere Schirme freigegeben wurde.
Modul zur Ansicht-und-Schirmsynchronisation einer Geste 908, empfängt die Auswahl der Ansicht und des Schirms oder beider vom Aufmerksamkeitsrichtungsmodul 923 und in einigen Fällen Sprachbefehle, um zu ermitteln, welche Ansicht die aktive Ansicht ist und welcher Schirm der aktive Schirm ist. Es veranlasst dann, dass die relevante Gestenbibliothek für das Objekt- und Gestenerkennungssystem 922 geladen wird. Verschiedene Ansichten einer Anwendung auf einem oder mehreren Schirmen können mit alternativen Gestenbibliotheken oder einen Satz aus Gestentemplaten für eine bestimmte Ansicht verbunden werden.
Nachbarschirm-Perspektivenmodul 907, das ein Vorrichtungsnähedetektionsmodul 925 enthalten oder an dieses gekoppelt sein kann, kann angepasst sein, einen Winkel und eine Position einer Anzeige relativ zu einer anderen Anzeige zu ermitteln. Eine projizierte Anzeige enthält zum Beispiel ein Bild, das auf eine Wand oder einen Schirm projiziert ist. Die Fähigkeit, eine Nähe eines nahen Schirms und einen entsprechenden Winkel oder eine Orientierung einer von diesem projizierten Anzeige zu erfassen, kann zum Beispiel entweder mit einem Infrarotausstrahler und -empfänger oder einer elektromagnetischen oder Lichtdetektionserfassungsfähigkeit erreicht werden. Für Technologien, die projizierte Anzeigen mit Berührungseingabe erlauben, kann das eingehende Video analysiert werden, um die Position einer projizierten Anzeige zu ermitteln und die Verzerrung zu korrigieren, die durch Anzeige in einem Winkel verursacht wird. Ein Beschleunigungsmesser, Magnetometer, Kompass oder eine Kamera kann zum Ermitteln des Winkels verwendet werden, in dem eine Vorrichtung gehalten wird, während Infrarotausstrahler und Kameras eine Ermittlung der Orientierung der Schirmvorrichtung in Relation zu den Sensoren auf einer benachbarten Vorrichtung erlauben würden. Das Nachbarschirm-Perspektivenmodul 907 kann auf diese Weise Koordinaten eines benachbarten Schirms relativ zu seinen eignen Schirmkoordinaten ermitteln. Somit kann das Nachbarschirm-Perspektivenmodul, welche Vorrichtungen in Nähe zueinander sind, und ferner mögliche Ziele zum Bewegen eines oder mehrerer virtueller Objekte über Schirme ermitteln. Das Nachbarschirm-Perspektivenmodul 907 kann ferner ein Korrelieren der Position der Schirme mit einem Modell eines dreidimensionalen Raums erlauben, das alle der bestehenden Objekte und virtuellen Objekte darstellt.
Das Objekt- und Geschwindigkeits- und Richtungsmodul 903 kann angepasst sein, die Dynamik eines bewegten virtuellen Objekts zu schätzen, wie seine Flugbahn, (lineare oder Winke-) Geschwindigkeit, (linearen oder Winkel-) Impuls, indem es eine Eingabe vom Modul zur Verfolgung eines virtuellen Objekts 906 empfängt. Das Objekt- und Geschwindigkeits- und Richtungsmodul 903 kann ferner angepasst sein, die Dynamik physikalischer Kräfte zu schätzen, zum Beispiel durch Schätzen der Beschleunigung, Ablenkung, des Dehnungsgrades einer virtuellem Bindung usw. und des dynamischen Verhaltens eines virtuellen Objekts, sobald es von einem Körperteil des Benutzers freigegeben wird. Das Objekt- und Geschwindigkeits- und Richtungsmodul 903 kann auch Bildbewegungs-, Größen- und Winkeländerungen zum Schätzen der Geschwindigkeit von Objekten, wie der Geschwindigkeit von Händen und Fingern verwenden.
Impuls- und Trägheitsmodul 902 kann Bildbewegungs-, Bildgrößen- und Winkeländerungen von Objekten in der Bildebene oder in einem dreidimensionalen Raum zum Schätzen der Geschwindigkeit und Richtung von Objekten im Raum oder auf einer Anzeige verwenden. Das Impuls- und Trägheitsmodul 902 ist an das Objekt- und Gestenerkennungssystem 922 gekoppelt, um die Geschwindigkeit von Gesten zu schätzen, die von Händen, Fingern und anderen Körperteilen ausgeführt werden, und dann diese Schätzungen zum Ermitteln von Impuls und Geschwindigkeiten bei virtuellen Objekte anwenden, die von der Geste betroffen sind.
Modul für 3D-Bildinteraktionen und -effekte 905 verfolgt eine Interaktion des Benutzers mit 3D-Bildern, die sich aus einem oder mehreren Schirmen zu erstrecken erscheinen. Der Einfluss von Objekten in der z-Achse (zur Ebene des Schirms und von dieser weg) kann gemeinsam mit dem relativen Einfluss dieser Objekte aufeinander berechnet werden. Zum Beispiel kann ein Objekt, das durch eine Benutzergeste geworfen wird, durch 3D-Objekte im Vordergrund beeinflusst werden, bevor das virtuelle Objekt auf der Ebene des Schirms eintrifft. Diese Objekte können die Richtung oder Geschwindigkeit des Profils ändern oder dieses vollständig zerstören. Das Objekt kann durch das 3D-Bild-Interaktions- und Wirkungen-Modul 905 im Vordergrund einer oder mehrerer der Anzeigen wiedergegeben werden.
In einer ersten beispielhaften Ausführungsform umfasst ein Apparat eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der ersten beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA ein Beugen von Licht veranlassen, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind. In einer anderen beispielhaften Ausführungsform kann der Gegenstand der ersten beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß beugen, je näher Linsen einem Rand des Sichtbereichs sind.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der ersten beispielhaften Ausführungsform optional enthalten, dass die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird. In einer anderen beispielhaften Ausführungsform kann der Gegenstand der ersten beispielhaften Ausführungsform optional enthalten, dass Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker beugen als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der ersten beispielhaften Ausführungsform optional enthalten, dass das Licht Infrarot-, (IR-), Licht umfasst und die Projektionslinse eine IR-Projektionslinse umfasst.
In einer zweiten beispielhaften Ausführungsform umfasst ein Apparat: einen Projektor, der konfiguriert ist, eine Abfolge von Lichtmustern auf ein Objekt zu projizieren, wo der Projektor eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, umfasst, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird; und eine erste Kamera, die konfiguriert ist, eine Abfolge von Bildern des Objekts aufzunehmen, die mit den projizierten Lichtmustern beleuchtet sind; und eine Verarbeitungseinheit zum Empfangen der Abfolge von Bildern und zum Rekonstruieren von Tiefe mit Hilfe von Triangulierung.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der zweiten beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA ein Beugen von Licht bewirken, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß beugen, je näher Linsen einem Rand des Sichtbereichs sind.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der zweiten beispielhaften Ausführungsform optional enthalten, dass die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker beugen als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der zweiten beispielhaften Ausführungsform optional enthalten, dass der Projektor einen Infrarot-, (IR-), Projektor umfasst und die Projektionslinse eine IR-Projektionslinse umfasst.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der zweiten beispielhaften Ausführungsform optional eine zweite Kamera enthalten, konfiguriert ist, ein zweites Bild des Objekts aufzunehmen, das mit den projizierten Lichtmustern beleuchtet wird, und konfiguriert ist, ein Texturbild des Objekts im zweiten Bild aufzunehmen. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass der Projektor einen Infrarot-, (IR-), Projektor umfasst, die erste Kamera eine IR-Kamera umfasst und die zweite Kamera eine Rot-, Grün- und Blau-, (RGB-), Kamera umfasst.
In einer dritten beispielhaften Ausführungsform umfasst ein Verfahren: Projizieren einer Abfolge von Lichtmustern auf ein Objekt mit Hilfe eines Projektors, wobei der Projektor eine Oberflächenemitter-(Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, umfasst, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird; und Aufnehmen, mit Hilfe einer Kamera, einer Abfolge von Bildern der Abfolge von Lichtmustern; und Generieren von Tiefeninformationen durch Triangulierung mit Hilfe der Abfolge von Bildern.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der dritten beispielhaften Ausführungsform optional ein Beugen von Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, mit Hilfe von Linsen der MLA enthalten, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind. In einer anderen beispielhaften Ausführungsform kann der Gegenstand dieser beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß beugen, je näher Linsen einem Rand des Sichtbereichs sind.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der dritten beispielhaften Ausführungsform optional enthalten, dass die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird. In einer anderen beispielhaften Ausführungsform kann der Gegenstand der dritten beispielhaften Ausführungsform optional enthalten, dass Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker beugen als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der dritten beispielhaften Ausführungsform optional enthalten, dass das Licht Infrarot-, (IR-), Licht umfasst und die Projektionslinse eine IR-Projektionslinse umfasst.
In einer vierten beispielhaften Ausführungsform hat ein Herstellungsartikel ein oder mehrere nicht transitorische computerlesbare Datenspeichermedien, die Anweisungen speichern, die wenn sie durch ein System ausgeführt werden, ein Verfahren durchführen, umfassend: Empfangen einer Abfolge von Bildern der Abfolge von Lichtmustern, die durch eine Kamera aufgenommen wurden, wobei die Lichtmuster durch einen Projektor projiziert werden, der eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, umfasst, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird; und Generieren von Tiefeninformationen durch Triangulierung mit Hilfe der Abfolge von Bildern.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der vierten beispielhaften Ausführungsform optional enthalten, dass das Verfahren ferner ein Beugen von Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, mit Hilfe von Linsen der MLA umfasst, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
In einer anderen beispielhaften Ausführungsform kann der Gegenstand der vierten beispielhaften Ausführungsform optional enthalten, dass Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind.
Einige Abschnitte der oben angeführten ausführlichen Beschreibung sind im Sinn von Algorithmen und symbolischen Darstellungen von Operationen an Datenbits innerhalb eines Computerspeichers präsentiert. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die von Fachleuten auf dem Gebiet der Datenverarbeitung verwendet werden, um die Substanz ihrer Arbeiten anderen Fachleuten auf dem Gebiet zu vermitteln. Ein Algorithmus wird hier und allgemein als eine in sich stimmige Abfolge von Schritten verstanden, die zu einem gewünschten Ergebnis führt. Die Schritte sind jene, die physische Manipulationen physikalischer Größen erfordern. Üblicherweise, wenn auch nicht unbedingt, nehmen diese Größen die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen, kombiniert, verglichen oder auf andere Weise manipuliert werden können. Es hat sich gelegentlich, vorwiegend aus Gründen einer allgemeinen Nutzung, als praktisch erwiesen, diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Terme, Zahlen oder dergleichen zu bezeichnen.
Es sollte jedoch beachtet werden, dass alle dieser und ähnlicher Begriff mit den richtigen physikalischen Größen verbunden sein sollen und nur praktische Markierungen sind, die bei diesen Größen angewendet werden. Falls nicht ausdrücklich anderes angegeben ist, wie aus der folgenden Besprechung hervorgeht, ist klar, dass sich in der gesamten Beschreibung Besprechungen, in welchen Begriffe wie „Verarbeiten“ oder „Rechnen“ oder „Berechnen“ oder „Ermitteln“ oder „Anzeigen“ oder dergleichen verwenden, auf die Aktion und Prozesse eines Computersystems oder einer ähnlichen elektronischen Rechenvorrichtung beziehen, die Daten, die als physikalische (elektronische) Größen dargestellt sind innerhalb der Register und Speicher des Computersystems in andere Daten manipuliert und umformt, die ebenso als physikalische Größen innerhalb der Register und Speicher des Computersystems oder anderer Informationsdatenspeicher-, Übertragungs- oder Anzeigevorrichtungen dargestellt sind.
Die vorliegende Erfindung betrifft auch einen Apparat zum Durchführen der vorliegenden Operationen. Dieser Apparat kann im Speziellen für die erforderlichen Zwecke konstruiert sein oder kann einen Allzweckcomputer umfassen, der durch ein Computerprogramm, das im Computer gespeichert ist, selektiv aktiviert oder rekonfiguriert wird. Ein solches Computerprogramm kann in einem computerlesbaren Datenspeichermedium gespeichert sein, wie, ohne aber darauf beschränkt zu sein, in jeder Art von Platte, enthaltend Disketten, optische Platten, CD-ROMs und magnetische-optische Platten, Nur-Lese-Speicher (ROMs), Direktzugriffsspeicher (RAMs), EPROMs, EEPROMs, magnetische oder optische Karten oder jede Art von Medien, die zum Speichern elektronischer Anweisungen geeignet sind und jeweils an einen Computersystembus gekoppelt sind.
Die hier präsentierten Algorithmen und Anzeigen beziehen sich an sich nicht auf einen bestimmten Computer oder anderen Apparat. Es können verschiedene Allzwecksysteme mit Programmen gemäß den vorliegenden Lehren verwendet werden oder es kann sich als praktisch erweisen, einen spezialisierteren Apparat zur Durchführung der erforderlichen Verfahrensschritte zu konstruieren. Die erforderlich Struktur für eine Reihe dieser Systeme geht aus der folgenden Beschreibung hervor. Zusätzlich wird die vorliegende Erfindung nicht unter Bezugnahme auf eine bestimmte Programmierungssprache beschrieben. Es ist klar, dass eine Reihe von Programmierungssprachen zur Implementierung der Lehren der Erfindung, wie hier beschrieben, verwendet werden kann.
Ein maschinenlesbares Medium enthält jeden Mechanismus zum Speichern oder Übertragen von Informationen in einer Form, die durch eine Maschine (z.B. einen Computer) lesbar ist. Zum Beispiel enthält ein maschinenlesbares Medium eine Nur-Lese-Speicher („ROM“); Direktzugriffsspeicher („RAM“); Magnetplatten-Datenspeichermedien; optische Datenspeichermedien; Flash-Speichervorrichtungen; usw.
Während viele Änderungen und Abänderungen der vorliegenden Erfindung für einen Durchschnittsfachmann auf dem Gebiet zweifellos nach Lesen der vorangehenden Beschreibung offensichtlich sind, ist klar, dass jede bestimmte dargestellte und als Veranschaulichung beschriebene Ausführungsform in keiner Weise als Einschränkung auszulegen ist. Daher sind Bezugnahmen auf Einzelheiten verschiedener Ausführungsformen nicht als Einschränkung des Umfangs der Ansprüche zu verstehen, die selbst nur jene Merkmale zitieren, die als wesentlich für die Erfindung erachtet werden.

Claims

Apparat, umfassend: eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs; eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist; und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird.
Apparat nach Anspruch 1, wobei Linsen der MLA ein Beugen von Licht bewirken, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
Apparat nach Anspruch 2, wobei Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind.
Apparat nach Anspruch 3, wobei Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß beugen, je näher Linsen einem Rand des Sichtbereichs sind.
Apparat nach Anspruch 2, wobei die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird.
Apparat nach Anspruch 5, wobei Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker beugen als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
Apparat nach Anspruch 1, wobei das Licht Infrarot-, (IR-), Licht umfasst und die Projektionslinse eine IR-Projektionslinse umfasst.
Apparat, umfassend: einen Projektor, der konfiguriert ist, eine Abfolge von Lichtmustern auf ein Objekt zu projizieren, wobei der Projektor umfasst eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird; und eine erste Kamera, die konfiguriert ist, eine Abfolge von Bildern des Objekts aufzunehmen, die mit den projizierten Lichtmustern beleuchtet sind; und eine Verarbeitungseinheit zum Empfangen der Abfolge von Bildern und zum Rekonstruieren von Tiefe mit Hilfe von Triangulierung.
Apparat nach Anspruch 8, wobei Linsen der MLA ein Beugen von Licht bewirken, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
Apparat nach Anspruch 9, wobei Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind.
Apparat nach Anspruch 10, wobei Linsen der MLA Licht, das durch die VCSELs ausgestrahlt wird, in einem zunehmenden Maß beugen, je näher Linsen einem Rand des Sichtbereichs sind.
Apparat nach Anspruch 9, wobei die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird.
Apparat nach Anspruch 12, wobei Mittelpunkte einer MLA-Linse und entsprechender VCSEL-Paare mit mehr Fehlausrichtung Licht stärker beugen als eine MLA-Linse und entsprechende VCSEL-Paare mit weniger Fehlausrichtung.
Apparat nach Anspruch 8, wobei der Projektor einen Infrarot-, (IR-), Projektor umfasst und die Projektionslinse eine IR-Projektionslinse umfasst.
Apparat nach Anspruch 8, ferner umfassend eine zweite Kamera, die konfiguriert ist, ein zweites Bild des Objekts aufzunehmen, das mit den projizierten Lichtmustern beleuchtet wird, und konfiguriert ist, ein Texturbild des Objekts im zweiten Bild aufzunehmen.
Apparat nach Anspruch 15, wobei der Projektor einen Infrarot-, (IR-), Projektor umfasst, die erste Kamera eine IR-Kamera umfasst und die zweite Kamera eine Rot-, Grün- und Blau-, (RGB-), Kamera umfasst.
Verfahren, umfassend: Projizieren einer Abfolge von Lichtmustern auf ein Objekt mit Hilfe eines Projektors, wobei der Projektor umfasst eine Oberflächenemitter- (Vertical Cavity Surface Emitting Laser, VCSEL) Gruppe, umfassend eine Vielzahl von VCSELs, eine Mikrolinsengruppe, die an die VCSEL-Gruppe gekoppelt ist und eine Vielzahl von Linsen aufweist, und jede der Vielzahl von Linsen über einem VCSEL in der VCSEL-Gruppe positioniert ist, und eine Projektionslinse, die an die Mikrolinsengruppe (MLA) gekoppelt ist, wobei Licht, das durch die VCSEL-Gruppe ausgestrahlt wird, als eine Abfolge von Mustern durch die Projektionslinse auf ein Objekt projiziert wird; Aufnehmen, mit Hilfe einer Kamera, einer Abfolge von Bildern der Abfolge von Lichtmustern; und Generieren von Tiefeninformationen durch Triangulierung mit Hilfe der Abfolge von Bildern.
Verfahren nach Anspruch 17, ferner umfassend ein Beugen von Licht, das durch VCSELs in der VCSEL-Gruppe ausgestrahlt wird, mit Hilfe von Linsen der MLA, sodass mehr Licht, das von den VCSELs ausgestrahlt wird, durch die Projektionslinse geht.
Verfahren nach Anspruch 18, wobei Linsen der MLA, die weiter weg von einem Mittelpunkt der VCSEL-Gruppe liegen, betreibbar sind, um das Licht stärker zu beugen als jene, die dem Mittelpunkt der VCSEL-Gruppe näher sind.
Verfahren nach Anspruch 18, wobei die Mittelpunkte jeder MLA-Linse und eines entsprechenden VCSEL fehlausgerichtet sind, um ein Beugen von Licht zu bewirken, das aus dem entsprechenden VCSEL ausgestrahlt wird.