DE112016006069T5

DE112016006069T5 - Stereotiefenkamera mit vcsel-projektor mit gesteuerten projektionslinsen

Info

Publication number: DE112016006069T5
Application number: DE112016006069.6T
Authority: DE
Inventors: Anders Grunnet-Jepsen; Leonid M. Keselman; Krishna Swaminathan
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-12-26
Filing date: 2016-11-02
Publication date: 2018-10-25
Also published as: US10007994B2; US20170186167A1; WO2017112103A1

Abstract

Gemäß den offenbarten Ausführungsformen werden Systeme, Verfahren und Vorrichtungen zur Implementierung einer Stereotiefenkamera mit einem VCSEL-Projektor mit einer gesteuerten Projektionslinse bereitgestellt. Beispielsweise wird eine Tiefenkamera beschrieben, die aufweist: einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor), um mehrere Infrarotstrahlen abzustrahlen; eine bewegliche Linse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; stereoskopische Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert wird; und Verarbeitungsschaltungen, um eine Tiefe eines Objekts in der Szene zu bestimmen, basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster, das darin wie vom VCSEL-Projektor projiziert dargestellt ist. Weitere verwandte Ausführungsformen werden offenbart.

Description

URHEBERRECHTSHINWEIS
Ein Teil des Offenbarungsgehalts der vorliegenden Patentschrift enthält dem Urheberrechtsschutz unterliegendes Material. Der Inhaber der Urheberrechte erhebt keine Einwände gegen die Faksimile-Wiedergabe sowohl in der Patentschrift als auch in der Patentoffenbarung wie in den Patentakten bzw. Registern des Patent- und Markenamtes vorliegend, behält sich ansonsten jedoch jegliche Urheberrechte vor.
TECHNISCHES GEBIET
Der hier beschriebene Erfindungsgegenstand betrifft allgemein das Gebiet von Bilderfassungsvorrichtungen wie z. B. Kameras sowie insbesondere Systeme, Verfahren und Vorrichtungen zum Implementieren einer Stereotiefenkamera, die mit einem VCSEL (Vertical-Cavity-Surface-Emitting, Oberflächenemitter)-Laserprojektor mit gesteuerter Projektionslinse arbeitet.
HINTERGRUND DER ERFINDUNG
Der in diesem Abschnitt erörterte Erfindungsgegenstand ist einzig aufgrund der Erwähnung in der Beschreibung des technischen Hintergrunds nicht als Stand der Technik aufzufassen. In ähnlicher Weise ist nicht davon auszugehen, dass eine in der Beschreibung des technischen Hintergrunds erwähnte oder mit dem Erfindungsgegenstand in diesem Abschnitt in Zusammenhang stehende Aufgabenstellung bereits früher im Stand der Technik betrachtet wurde. Der Erfindungsgegenstand in der Beschreibung des technischen Hintergrunds steht lediglich für verschiedene Lösungsansätze, die in oder aus sich selbst ebenfalls Ausführungsformen des beanspruchten Erfindungsgegenstands entsprechen können.
Herkömmliche Kameras erfassen ein einzelnes Bild von einem einzigen optischen Brennpunkt und können Bildpunkte aufnehmen, die einem Objekt in einer Szene entsprechen, jedoch gehen bei diesen Kameras hierbei Tiefeninformationen dazu verloren, wo in der Szene das Objekt hinsichtlich der Tiefe oder der Entfernung zur Kamera angeordnet ist.
Im Gegensatz dazu besitzen Stereokameras zwei oder mehr Linsen entweder an demselben oder an verschiedenen Bildsensoren, und die zwei oder mehr Linsen ermöglichen es, dass die Kamera dreidimensionale Bilder in einem als Stereofotografie bezeichneten Verfahren aufnimmt. Bei derartigen herkömmlichen Stereokameras kommt das Triangulationsverfahren zur Anwendung, um die Tiefe zu einem Objekt in einer Szene anhand eines als Korrespondenz bezeichneten Verfahrens zu ermitteln. Korrespondenz ergibt jedoch ein Problem, einwandfrei festzustellen, welche Teile eines an einer ersten der Linsen aufgenommenen Bildes Teilen eines anderen, an einer zweiten der Linsen aufgenommenen Bildes entsprechen. Das bedeutet zu identifizieren, welche Elemente der beiden Fotos einander entsprechen, weil sie denselben Teil eines Objekts in der Szene darstellen, so dass eine Triangulation durchgeführt werden kann, um die Tiefe eines Objekts in der Szene zu ermitteln.
Sind zwei oder mehr Bilder derselben dreidimensionalen Szene vorhanden, die von unterschiedlichen Blickpunkten aus über die zwei oder mehr Linsen der Stereokamera aufgenommen wurden, erfordert eine Korrespondenzverarbeitung, eine Gruppe von Punkten in einem Bild zu identifizieren, die übereinstimmend als dieselben Punkte in einem anderen Bild identifiziert werden, indem Punkte oder Merkmale in einem Bild mit entsprechenden Punkten oder Merkmalen in einem anderen Bild abgeglichen werden.
Neben der korrespondenzbasierten Triangulation existieren noch andere dreidimensionale (3D-) Verarbeitungsverfahren, etwa die Flugzeit des Laserlichts und die Projektion von codiertem Licht.
Bestimmte 3D-Bildgebungs- und Tiefenmesssysteme verfügen über einen integrierten Laserprojektor für eine verbesserte Korrespondenzverarbeitung, allerdings weisen die herkömmlichen Lösungen, wie sie in 3D-Bildgebungs- und Tiefenmesssystemen zur Anwendung kommen, eine Reihe von Nachteilen auf.
Der derzeitige Stand der Technik kann daher von den Systemen, Verfahren und Vorrichtungen zur Implementierung einer Stereotiefenkamera mit VCSEL-Projektor und gesteuerter Projektionslinse wie hier beschrieben profitieren.
Figurenliste
Ausführungsformen sind beispielhaft, jedoch nicht einschränkend dargestellt und werden anhand der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen leicht verständlich, wobei gilt:

1A zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können;
1B zeigt eine weitere beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können;
1C zeigt eine weitere beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können;
2 zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können;
3 zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können;
4 zeigt ein beispielhaftes projiziertes Muster, das dynamisch veränderbar ist und gemäß dem Ausführungsformen betrieben werden können;
5 zeigt eine alternative Ausführungsform einer Tiefenkamerabaugruppe, gemäß der Ausführungsformen betrieben werden können;
6 ist ein Flussdiagramm, das ein Verfahren zur Implementierung einer Stereotiefenkamera mit einem VCSEL (Vertical-Cavity-Surface-Emitting-Laser)-Projektor mit einer gesteuerten Projektionslinse gemäß den beschriebenen Ausführungsformen zeigt;
7A zeigt eine beispielhafte Tablet-Computervorrichtung mit einem Kameragehäuse, das die Tiefenkamerabaugruppe gemäß beschriebenen Ausführungsformen beherbergt;
7B zeigt ein beispielhaftes handgehaltenes Smartphone mit einem Kameragehäuse, das die Tiefenkamerabaugruppe gemäß beschriebenen Ausführungsformen beherbergt;
7C ist ein Blockdiagramm einer Ausführungsform einer Tablet-Computervorrichtung, eines Smartphones oder einer anderen mobilen Vorrichtung, bei der Berührungsschirm-Schnittstellenverbinder verwendet werden; und
8 zeigt eine Diagrammdarstellung einer Maschine in der beispielhaften Form eines Computersystems gemäß einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Beschrieben werden hier Systeme, Vorrichtungen und Verfahren zur Implementierung einer Stereotiefenkamera mit einem VCSEL-Projektor mit einer gesteuerten Projektionslinse. Beispielsweise wird eine Tiefenkamera beschrieben, die aufweist: einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor), um mehrere Infrarotstrahlen abzustrahlen; eine bewegliche Linse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; stereoskopische Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert wird; und Verarbeitungsschaltungen, um eine Tiefe eines Objekts in der Szene zu bestimmen, basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster, das darin wie vom VCSEL-Projektor projiziert dargestellt ist.
In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, etwa Beispiele spezieller Systeme, Sprachen, Komponenten etc., um ein gründliches Verständnis der verschiedenen Ausführungsformen zu vermitteln. Es wird jedoch für einen Fachmann auf diesem Gebiet ersichtlich sein, dass diese spezifischen Einzelheiten nicht eingesetzt werden müssen, um die hier offenbarten Ausführungsformen in der Praxis umzusetzen. In anderen Fällen wurden ausreichend bekannte Materialien oder Verfahren nicht beschrieben, um zu vermeiden, dass die offenbarten Ausführungsformen unnötig unübersichtlich werden.
Zusätzlich zu den verschiedenen in den Figuren dargestellten und hier beschriebenen Hardware-Komponenten weisen Ausführungsformen ferner verschiedene Operationen auf, die nachstehend beschrieben werden. Die gemäß solchen Ausführungsformen beschriebenen Operationen können durch Hardware-Komponenten durchgeführt werden oder können als maschinenausführbare Anweisungen ausgeführt sein, die dazu dienen, einen Universal- oder einen Spezialprozessor, der mit den Anweisungen programmiert ist, zur Durchführung der Operationen zu veranlassen. Alternativ können die Operationen durch eine Kombination aus Hardware und Software durchgeführt werden.
Ausführungsformen betreffen auch eine Vorrichtung zum Durchführen der in dieser Patentschrift offenbarten Operationen. Eine solche Vorrichtung kann speziell für die geforderten Zwecke konstruiert sein oder kann ein Universal-Computer sein, der durch ein auf dem Computer gespeichertes Computerprogramm selektiv aktiviert oder umkonfiguriert wird. Ein solches Computerprogramm kann auf einem computerlesbaren Speichermedium gespeichert sein, beispielsweise, jedoch nicht beschränkt auf jegliche Art von Platte einschließlich Floppy-Disks, optischer Platten, CD-ROMs und magneto-optischer Platten, Festwertspeicher (Read-Only Memories, ROMs), Direktzugriffsspeicher (Random Access Memories, RAMs), EPROMs, EEPROMs, magnetische oder optische Karten oder eine beliebige Art vom Medium, das sich zum Speichern elektronischer Anweisungen eignet, jeweils mit einem Computersystembus verbunden. Der Begriff „verbunden“ kann sich auf zwei oder mehr Elemente beziehen, die in direktem Kontakt (physisch, elektrisch, magnetisch, optisch etc.) stehen, oder zwei oder mehre Elemente, die nicht in direktem Kontakt miteinander stehen, jedoch zusammenwirken und/oder miteinander interagieren.
Die Algorithmen und Anzeigen, die in der vorliegenden Patentschrift vorgestellt werden, beziehen sich nicht inhärent auf eine bestimmte Computer- oder sonstige Vorrichtung. Verschiedene Universalsysteme können mit Programmen gemäß den Lehren in dieser Patentschrift verwendet werden, es kann sich jedoch auch als vorteilhaft erweisen, eine mehr spezialisierte Vorrichtung zu konstruieren, um die geforderten Verfahrensschritte durchzuführen. Die für eine Vielzahl dieser Systeme erforderliche Struktur wird aus der hier vorliegenden Beschreibung ersichtlich. Darüber hinaus werden Ausführungsformen nicht in Bezug auf eine bestimmte Programmiersprache beschrieben. Es ist einzusehen, dass zur Implementierung der Lehren der hier beschriebenen Ausführungsformen eine Vielzahl von Programmiersprachen verwendet werden kann.
Jede der offenbarten Ausführungsformen kann für sich oder zusammen mit anderen in beliebiger Kombination verwendet werden. Auch wenn verschiedene Ausführungsformen zum Teil durch Mängel bei herkömmlichen Verfahren und Lösungsansätzen motiviert sind, die in der vorliegenden Patentbeschreibung teils beschrieben oder angedeutet werden, müssen die Ausführungsformen nicht notwendigerweise jegliche derartige Mängel ansprechen oder lösen, sondern können vielmehr auf einige dieser Mängel eingehen, auf keinen dieser Mängel eingehen oder auf verschiedene Mängel und Probleme gerichtet sein, die nicht unmittelbar erörtert werden.
1A zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist eine Tiefenkamerabaugruppe 199 dargestellt, die eine Leiterplatte 137 aufweist, auf der 3D-Schaltungen oder -Komponenten 135, ein VCSEL 150, eine RGB-Kamera 168 sowie eine rechte Kamera 105 und eine linke Kamera 110 vorgesehen sind. Die 3D-Schaltungen oder -Komponenten 135 können eine Verarbeitungskomponente beinhalten, etwa Verarbeitungsschaltungen, die beispielsweise eine oder mehrere CPUs, Speicher, Busse, FPGAs und eine Triangulationsvorrichtung etc. aufweisen können.
Es ist zu beachten, dass die rechte Kamera 105 hier auf der linken Seite der Tiefenkamerabaugruppe 199 dargestellt ist und die linke Kamera 110 auf der rechten Seite der Tiefenkamerabaugruppe 199 dargestellt ist, da die Tiefenkamerabaugruppe 199 der Kamera, wenn eine Kamera zum Aufnehmen eines Bildes genutzt wird, vom Benutzer weg weist.
Mittels der rechten Kamera 105 und der linken Kamera 110 der stereoskopischen Tiefenkamera werden zwei Bilder aufgenommen.
Die rechte Kamera 105 und die linke Kamera 110 bilden ein stereoskopisches Tiefenkamerasystem, indem die beiden Kameras um einen als Basislinie 103 bezeichneten Abstand voneinander getrennt und in dieselbe Richtung gerichtet sind wie gezeigt. Das Objekt 192 befindet sich bei Tiefe Z (Element 102) wie von den Kameras beobachtet.
Die beiden Kameras (rechte Kamera 105 und linke Kamera 110) sind in einem bekannten festen Abstand zueinander angeordnet, der die Basislinie 103 bildet. Abhängig vom Abstand des Objekts 192 bei Tiefe Z (Element 102) wird sich das Objekt für jedes der beiden separaten, von der rechten Kamera 105 bzw. der linken Kamera 110 aufgenommenen Bilder um einen unterschiedlichen Betrag verschieben.
Diese Verschiebung des Objekts wird als Disparität bezeichnet.
1B zeigt eine weitere beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist ein fernes Objekt 125 (z. B. das Gebäude im Hintergrund) dargestellt, das im Bild der Szene sowohl von der linken Kamera 110 als auch von der rechten Kamera 105 aufgenommen wurde. Außerdem ist ein nahes Objekt 120 (z. B. der Ballon) dargestellt, das im Bild der Szene sowohl von der linken Kamera 110 als auch von der rechten Kamera 105 aufgenommen wurde. Es ist zu beachten, dass die Tiefenkamerabaugruppe 199 gedreht wurde, so dass sie nun der Szene zugewandt ist und sich die linke Kamera 110 und das linke Bild auf der linken Seite befinden und sich die rechte Kamera 105 und das rechte Bild auf der rechten Seite befinden.
Je entfernter das Objekt in den von der rechten Kamera 105 und der linken Kamera 110 aufgenommenen Bildern ist, desto geringer ist die Verschiebung, und je näher das Objekt in den von der rechten Kamera 105 und der linken Kamera 110 aufgenommenen Bildern ist, desto größer ist die Verschiebung, was es ermöglicht, dass die Tiefenmessfunktionalität der Tiefenkamerabaugruppe 199 eine Disparität 145 anhand der Bildpunktverschiebung bestimmt. Die Entfernung oder Tiefe zu einem Objekt in der Szene, nah oder fern, ist daher abhängig davon, wie weit die entsprechenden Punkte auseinander liegen, wie durch die Disparität 145 für das jeweilige Objekt festgestellt.
Ein einzelnes Bild einer Szene, das mithilfe einer einzelnen Kamera aufgenommen wird, enthält keinerlei Tiefeninformationen zu einem Objekt, da es, wenn man sich einen imaginären Strahl ausgehend vom Brennpunkt der Kamera und bis zu einem Punkt im Bild reichend denkt, etwa einem Bildpunkt am Objekt der Szene, unmöglich ist zu bestimmen, wo auf dem Strahl dieser Bildpunkt liegt, und es somit unbekannt ist, wo das Objekt in der Szene positioniert ist.
Somit besteht Unklarheit hinsichtlich der Lage des Objekts in der Szene. Die Triangulation erlaubt eine Wiedergewinnung dieser Tiefeninformationen, um die Lage eines Objekts in einer Szene zu identifizieren, indem bestimmt wird, wo sich zwei Strahlen, je einer von jeder der beiden Stereokameras, schneiden. Korrespondenz durch eine Tiefenmesskamera löst diese Unklarheit, indem die Tiefe Z (z. B. Element 102 von 1A) zu einem Objekt ermittelt wird. Neben der korrespondenzbasierten Triangulation existieren noch andere dreidimensionale (3D-) Verarbeitungsverfahren, etwa die Flugzeit des Laserlichts und die Projektion von codiertem Licht.
Gleichwohl identifiziert, wenn zwei oder mehr Bilder derselben dreidimensionalen Szene vorhanden sind, die von unterschiedlichen Blickpunkten aus über die zwei oder mehr Linsen (rechte Kamera 105, linke Kamera 110) der Stereokamera aufgenommen wurden, die Korrespondenzverarbeitung eine Gruppe von Punkten in einem Bild, die übereinstimmend als dieselben Punkte in einem anderen Bild identifiziert werden können, indem Punkte oder Merkmale in einem Bild mit entsprechenden Punkten oder Merkmalen in einem anderen Bild abgeglichen werden.
Somit sucht beispielsweise die Korrespondenzverarbeitung für jeden Punkt in dem Bild, das von der linken Kamera 110 aufgenommen wurde, nach einer Entsprechung in dem rechten Bild, das von der rechten Kamera 105 aufgenommen wurde. Die Bildpunktverschiebung, die zur Erzielung einer Übereinstimmung benötigt wird, wird als Disparität bezeichnet wie bei Element 145 dargestellt. Gemäß einer solchen Ausführungsform wird die Disparität 145 für alle Bildpunkte eines aufgenommenen Bildes berechnet.
Auf solche Weise versucht die Stereokamera, die sowohl die linke Kamera 110 als auch die rechte Kamera 105 aufweist, um eine Szene aufzunehmen, eine Tiefe anhand der Position der Kamera zu idealerweise jedem Bildpunkt eines Objekts (z. B. Objekte 120 und 125) in einem aufgenommenen Bild mittels Triangulation zu ermitteln, die dadurch erfolgt, dass der Schnittpunkt zwischen zwei Strahlen berechnet wird, wobei jeder der beiden Strahlen von den beiden verschiedenen optischen Systemen der linken Kamera und der rechten Kamera (105 und 110) ausgeht. Der Ausdruck „Strahl“ verweist auf das mathematische Objekt, und der Ausdruck „Strahl“ bezieht sich nicht auf eine irgendwie geartete Projektion (z. B. das Abstrahlen von Licht) durch die Tiefenkamera, wie sie in der vorliegenden Patentschrift als Projektionen, Strahlen, Laserlicht, Infrarotlicht, VCSEL-Abstrahlungen oder VCSEL-Laser etc. bezeichnet werden. Ein Strahl ist eine Hälfte einer Linie, das heißt, einer Geraden, die an einem Anfangspunkt beginnt und sich ohne Krümmung in nur einer Richtung ins Unendliche erstreckt und für die es nur eine Dimension gibt, nämlich die Länge, ohne Breite oder Tiefe. Gemäß Verwendung hierin ist das mathematische Objekt „Strahl“ von einem Begriff des „Strahls“ im Bereich der Optik zu unterscheiden.
1C zeigt eine weitere beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist ein Korrespondenzpunkt 186 an einem Objekt in der Szene kenntlich gemacht. Eine Diffraktionsplatte 142 bewirkt, dass ein eingearbeitetes Muster 143 auf die Szene projiziert wird, was ein projiziertes Muster 183 auf dem Objekt in der Szene ergibt.
Bestimmte 3D-Bildgebungs- und Tiefenmesssysteme verfügen über einen integrierten Laserprojektor zum Verbessern und „Unterstützen“ der Korrespondenzverarbeitung, allerdings weisen die herkömmlichen Lösungen, wie sie in 3D-Bildgebungs- und Tiefenmesssystemen zur Anwendung kommen, eine Reihe von Nachteilen auf.
Durch gestützte Bildgebung wird eine Art Textur auf eine ansonsten merkmallose Szene aufgebracht, um das Problem des Alias-Effekts zu lösen, wo ein zum Bestimmen der Korrespondenz gesuchter Punkt aus einem ersten Bild in einem zweiten Bild nicht eindeutig ist, derart, dass der Punkt sich an einer Reihe unterschiedlicher Positionen wiederholt, wodurch die genaue Lage des Punktes nicht bestimmbar ist und somit die Korrespondenzverarbeitung stört, was es wiederum unmöglich macht, eine Disparität für diesen Punkt mit Gewissheit zu bestimmen, da es keine 1:1-Übereinstimmung für den Punkt in den beiden Bildern gibt.
Herkömmliche Systeme, die mit aus einer Triangulation abgeleiteter Korrespondenz arbeiten, leiden unter einer gewissen Tiefenblindheit angesichts einer Szene, die keinerlei Einzelheiten enthält. Man denke hierbei etwa an eine solche herkömmliche Kamera, die ein linkes und ein rechtes Stereobild von einer weißen Wand aufnimmt. Ein solches System kann für eine derartige merkmallose Szene keine Korrespondenz berechnen und ist von daher schlicht nicht in der Lage, die daran anschließende Triangulation durchzuführen. Auch wenn eine weiße Wand ein Extrembeispiel darstellen mag, weisen kleinere Bereiche einer aufgenommenen Szene nicht selten Abschnitte auf, die keine ausreichenden Einzelheiten enthalten, anhand deren die Korrespondenz berechnet werden kann, etwa aufgrund der Beleuchtung, der Entfernung, mangelnder Bildpunktdichte und so weiter, und dieses Unvermögen herkömmlicher Kameras, die Korrespondenz für diese Teilbereiche der aufgenommenen Szene zu berechnen, führt zu erheblichen Fehlern in den Tiefenberechnungen und zu einer Beeinträchtigung der Tiefenbestimmungsleistung.
Das Projizieren eines Musters mit Punkten oder Textur auf die Szene verbessert die Genauigkeit der Tiefenbestimmung und verbessert die Auflösung für die Tiefenbestimmungsalgorithmen auch bei Objekten oder Szenen, die von sich aus nicht ausreichend Textur oder Einzelheiten aufweisen. Daher führt die Tiefenkamera wie hier beschrieben eine aktive Komponente in die Szene ein, um mithilfe eines VCSEL-Projektors mit gesteuerter Projektionslinse aktive Stereobilder zu erzeugen.
In „gestützten“ oder „aktiven“ stereoskopischen Tiefenkamerasystemen verbessert das optische Projektionssystem die Leistung und die Abdeckung. Der Projektor dient dazu, die Szene mit einem Texturmuster auszuleuchten, so dass, wenn die linke und die rechte Kamera (105 und 110) die Szene aufnehmen, die 3D-Schaltung der Tiefenmesskamera das Korrespondenzproblem lösen kann und feststellt, welche Punkte im linken Bild denen im rechten Bild entsprechen, auch in Fällen, in denen die Szene von sich aus nicht genügend eigene Textur aufweist, wie dies üblicherweise bei Wänden und Tischen der Fall ist.
Das projizierte Muster 183 bildet ein ungleichmäßiges Licht auf Objekten in der Szene, um eine Textur zu erzeugen, so dass die Korrespondenz durch die Tiefenmesskamera gelöst werden kann.
Problematischerweise verwenden herkömmliche Lösungen ein eingearbeitetes, für das jeweilige System festes Muster 143. Ein solches eingearbeitetes Muster 143 kann speziell für den spezifischen Tiefenalgorithmus optimiert sein, der verwendet wird, um die Tiefe durch dieses System zu bestimmen, kann jedoch nicht an andere Tiefenbestimmungsalgorithmen angepasst werden, wie dies für verschiedene Entfernungen oder verschiedene Mengen von Umgebungslicht in der Szene erforderlich sein kann.
Solche herkömmlichen Lösungen arbeiten typischerweise mit einem einzelnen Laserstrahler, der die Strahlen durch einen Diffusor, ein optisches Beugungselement oder ein optisches Holografieelement sendet, was wiederum ein Fernfeld-Strahlungsdiagramm ergibt, welches das geeignete räumlich variierende Ausleuchtdiagramm als projiziertes Muster 183 speziell für den von dem betreffenden System genutzten Tiefenbestimmungsalgorithmus optimiert aufweist. Allerdings ist es, da der einzelne Laserstrahler die Strahlen durch einen Diffusor oder ein optisches Holografieelement sendet, nicht möglich, das projizierte Muster 183 zu ändern. Ferner ist es nicht möglich, Kontrast oder Form des projizierten Musters zu ändern, und von daher kann das resultierende projizierte Muster 183 für die betreffende(n) Szene, Lichtverhältnisse, Entfernung oder Auswahl verfügbarer Tiefenbestimmungsalgorithmen, die von den optimierten Tiefen- und Szenenbedingungen abweichen, nicht geeignet sein.
Darüber hinaus zeigen Einzellaser solcher herkömmlicher Lösungen eine räumliche und zeitliche Restkohärenz, die die optische Leistung dieser Systeme beeinträchtigt. Noch ferner ist es, da das projizierte Muster fest ist, nicht möglich, die Szene zu beleuchten, ohne das projizierte Muster 183 zu bilden, weil der einzelne Laserstrahler durch den Diffusor oder das optische Holografieelement sendet.
2 zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist die Tiefenkamerabaugruppe 199 erneut dargestellt (von der Vorderseite gezeigt), die eine Leiterplatte (Printed Circuit Board, PCB) 137 aufweist, auf der 3D-Schaltungen oder -Komponenten 135, eine RGB-Kamera 168, eine rechte Kamera 105 und eine linke Kamera 110 vorhanden sind. Ferner ist eine VCSEL-Baugruppe 250 dargestellt. In dem Kästchen oben ist die VCSEL-Baugruppe 250 mit einem Substrat 240, der VCSEL-Anordnung 235, Infrarotlicht (IR-Licht) 230, einer Mikrolinsenanordnung 225, einer IR-Projektionslinse 205 und einem projizierten Muster 210 dargestellt.
Die VCSEL-Anordnung 235 oder die „Vertical-Cavity-Surface-Emitting“-Laserprojektoren sind eine Art von Halbleiterlaserdiode mit Laserstrahlaussendungen, die senkrecht von der oberen Oberfläche ausgehen, im Gegensatz zu den üblicheren Einzelkantenemitter- und In-Plane-Halbleiterlasern.
VCSEL-Anordnungsbaugruppe 250, die als Infrarotprojektor mit einer IR-Projektionslinse 205 mit einstellbarem Fokus fungiert, kann daher verwendet werden, um ein derartiges Tiefenmesssystem dynamisch zu optimieren, indem das resultierende projizierte Muster 210, das auf eine Szene geworfen wird, verändert wird, wogegen Lösungen des Standes der Technik durch das eingearbeitete Muster, für das sie optimiert sind, eingeschränkt sind.
Ein Chip mit einer beispielhaften VCSEL-Anordnung 235 weist tausende (z. B. 1000er) oder zehntausende (z. B. 10.000er) kleiner oberflächenemittierender Laser mit vertikaler Kavität (Vertical Cavity Surface Emitting Laser) auf, in denen die Positionen der einzelnen VCSEL-Laser auf dem Chip lithografisch festgelegt sind, womit das Muster auf die Anforderungen des Herstellers optimiert werden kann. Weiterhin kann, da die VCSEL-Anordnung 235 zahlreiche einzelne, als Einzeleinheiten oder in Gruppen steuerbare VCSEL-Laser aufweist, eine breite Palette verschiedener Muster gleichermaßen erzeugt werden, die jeweils dynamisch in Qualität und Kontrast sowie in Dichte und Helligkeit einstellbar sind, um so die vorteilhafteste Ausleuchtung für den auf die jeweilige Szene zur Anwendung kommenden Tiefenbestimmungsalgorithmus zu erzeugen.
Gemäß einer Ausführungsform wird ein Muster mittels X,Y-Koordinaten spezifiziert, um ein gewünschtes Muster zu erzielen. Beispielsweise kann ein Hersteller die VCSEL-Baugruppe 250 herstellen, bei der die zugehörige VCSEL-Anordnung 235 gemäß dem spezifizierten Muster aufgebaut ist.
Die Mikrolinsenanordnung 225 ermöglicht die Strahlbeugung 220 der Strahlen von IR-Licht 230, das von der VCSEL-Anordnung 235 abgestrahlt wird, so dass die Strahlen durch die IR-Projektionslinse 205 wie gezeigt effektiver gesammelt werden. Die Mikrolinsenanordnung 225 beugt das IR-Licht zur IR-Projektionslinse 205 und konzentriert somit das von der VCSEL-Anordnung 235 abgestrahlte IR-Licht auf einen kleineren optischen Blickpunkt der IR-Projektionslinse 205, indem die Winkel des abgestrahlten IR-Lichts verändert werden, und somit wird der Hauptstrahlwinkel (Chief Ray Angle, CRA) verkleinert. Auf diese Weise ändert die Mikrolinsenanordnung 225 die funktionale Entfernung vom Mittelpunkt passend zum Hauptstrahlwinkel (Chief Ray Angle, CRA) der IR-Projektionslinse 205. Das von der VCSEL-Anordnung 235 abgestrahlte IR-Licht wird dann durch die IR-Projektionslinse 205 nach außen projiziert und erzeugt so das projizierte Muster 210 in der Szene.
Das von der VCSEL-Anordnung 235 abgestrahlte IR-Licht kann, muss jedoch nicht in beliebiger Weise gebrochen werden. In bestimmten Ausführungsformen gibt es keine Brechung durch die IR-Projektionslinse 205, wohingegen in anderen Ausführungsformen die IR-Projektionslinse 205 das von der VCSEL-Anordnung 235 abgestrahlte IR-Licht in verschiedenem Umfang bricht.
Gemäß einer Ausführungsform erlaubt die Verwendung der VCSEL-Baugruppe 250, das projizierte Muster 210 während des Betriebs dynamisch zu ändern, indem der Fokus verändert wird, um die Brechung zu verstärken bzw. zu verringern. Diese Funktion steht im Gegensatz zu dem festen und unveränderlichen Muster, das bei herkömmlichen Lösungen erzeugt wird. Beispielsweise können gemäß einer solchen Ausführungsform Kontrast und Qualität des über die VCSEL-Baugruppe 250 auf die Szene projizierten Musters so eingestellt werden, dass sie zu einem beliebigen der zahlreichen Tiefenbestimmungsalgorithmen passen, oder so eingestellt werden, dass sie zu den Echtzeit-Lichtverhältnissen oder den Verhältnissen der Szene passen, etwa einer Szene mit weit entfernten Objekten, Objekten nahe an der Kamera, Gesichtserkennung über Tiefenmessung, Drohnen- und Roboternavigation etc.
Weil das projizierte Muster 210 dynamisch veränderbar ist, kann ein geeigneter Algorithmus ausgewählt werden, um die bestmöglichen Ergebnisse bei einer Anzahl verschiedener Entfernungen zur Kamera zu erzielen. Beispielsweise können die Tiefenbestimmungsalgorithmen, die für die Tiefenbestimmung naher Objekte optimiert sind, von Tiefenbestimmungsalgorithmen verschieden sein, die für die Tiefe entfernter Objekte optimiert sind, und jeder von ihnen wird für optimale Leistung mit hoher Wahrscheinlichkeit ein anderes projiziertes Muster 210 erfordern.
Weil herkömmliche Tiefenmesskameras das projizierte Muster, das von dem einzelnen Laserstrahler während des Betriebs erzeugt wird, nicht verändern können, müssen solche herkömmlichen Kameras für den Nahfeldbereich zur Durchführung der Tiefenbestimmung von Objekten sehr nahe an der Kamera optimiert sein oder für den Fernfeldbereich zur Durchführung der Tiefenbestimmung von Objekten in größerer Entfernung von der Kamera optimiert sein. Nachteiligerweise bewirkt eine derartige Optimierung für den Nah-/Fernfeldbereich dazu, dass die Leistung sich verschlechtert, wenn sich das Objekt aus dem Nahfeldbereich in den Fernfeldbereich oder umgekehrt bewegt.
Gemäß einer anderen Ausführungsform erlaubt die Verwendung der VCSEL-Baugruppe 250 nicht nur, das projizierte Muster 210 dynamisch während des Betriebs zu ändern, sondern ermöglicht darüber hinaus auch, Qualität oder Kontrast oder beides während des Betriebs einer solchen Tiefenmesskamera zu ändern. Beispielsweise ist in einer Ausführungsform das projizierte Muster ein fokussiertes Muster, während in anderen Ausführungsformen das Muster defokussiert ist, was bewirkt, dass das projizierte Muster vollständig ausgebleicht wird und so eine gleichmäßige Ausleuchtung der Szene erzeugt wird, ohne ein bestimmtes Muster auf die Szene zu projizieren.
Gemäß einer bestimmten Ausführungsform ändert die VCSEL-Baugruppe 250 das projizierte Muster während des Betriebs von einem Punktmuster in ein Muster mit gleichmäßigerer Verteilung und geringerem Kontrast. Man beachte zum Beispiel den Unterschied in den Tiefenbestimmungsalgorithmen und Einsatzmöglichkeiten zwischen der Identifizierung der Tiefe zu einem unbelebten Objekt in einer Szene, etwa einer Wand, einem Ballon oder einem Ball etc., die jeweils mit hoher Wahrscheinlichkeit von einem kontrastreicheren projizierten Muster profitieren, verglichen mit der Ermittlung der Tiefe zu Bestandteilen etwa eines menschlichen Gesichts für Gesichtserkennungszwecke, für die eine gleichmäßige Ausleuchtung günstiger ist.
Gemäß beschriebenen Ausführungsformen ändert die VCSEL-Baugruppe 250 den Fokus des projizierten Musters über die IR-Projektionslinse 205, was es ermöglicht, Qualität und Kontrast des projizierten Musters 210 während des Betriebs zu ändern, beispielsweise von einem scharf fokussierten Punktmuster mit hohem Kontrast in eine diffuse, verwaschene und gleichmäßige Ausleuchtung durch ein projiziertes Muster 210, das durch die IR-Projektionslinse der VCSEL-Baugruppe 250 defokussiert (z. B. verwischt) wurde.
Wie hier dargestellt, weist die Tiefenkamerabaugruppe 199 ferner eine RGB (Rot, Grün, Blau)-Kamera 168 gemäß einer Ausführungsform auf. In einer solchen Ausführungsform projiziert die VCSEL-Baugruppe 250 das projizierte Muster 210 auf die Szene in einem Infrarotlichtbereich, und die rechte Kamera 105 und die linke Kamera 110 fungieren als Detektoren, um das projizierte Muster 210 von der Szene im Infrarotlichtbereich aufzunehmen. Die RGB-Kamera 168 dient daher dazu, RGB-Bilder der Szene im sichtbaren Lichtbereich aufzunehmen.
3 zeigt eine beispielhafte Architektur, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist eine Tiefenkamera 310 dargestellt, die eine Tiefe 385 zu einem Objekt 390 in einer Szene 395 bestimmt. Die Szene 395 wird durch das projizierte Muster, das vom VCSEL-Projektor 315 projiziert wird, ausgeleuchtet.
Gemäß einer bestimmten Ausführungsform weist eine derartige Tiefenkamera 310 auf: den VCSEL-Projektor 315, um das projizierte Muster 370 auf die Szene zu projizieren, einen linken IR-Detektor 320A, um ein erstes Bild des Objekts 390, auf das das projizierte Muster 370 beleuchtet wird, aufzunehmen, und einen rechten IR-Detektor 320B, um ein zweites Bild des Objekts 390, auf das das projizierte Muster 370 beleuchtet wird, aufzunehmen. Die Verarbeitungskomponente 325 arbeitet in Verbindung mit der Triangulationsvorrichtung 335, um Korrespondenz und Triangulation durchzuführen, um die Tiefe 385 zum Objekt 390 in der Szene 395 zu bestimmen.
4 zeigt ein beispielhaftes projiziertes Muster, das dynamisch veränderbar ist und gemäß dem Ausführungsformen betrieben werden können. Insbesondere ist dasselbe projizierte Muster dargestellt, wobei jedoch das projizierte Muster von vollkommen fokussiert bis hin zu völlig defokussiert und damit vollständig ausgebleicht und diffus reicht.
Spezieller stellt das projizierte Muster 410 oben links ein fokussiertes, durch den Projektor der VCSEL-Anordnung projiziertes Muster dar; das projizierte Muster 415 oben in der Mitte stellt ein leicht defokussiertes, durch den Projektor der VCSEL-Anordnung projiziertes Muster dar, für das die IR-Projektionslinse um eine 90-Grad-Drehung gedreht wurde; das projizierte Muster 420 oben rechts stellt ein stärker defokussiertes, durch den Projektor der VCSEL-Anordnung projiziertes Muster dar, für das die IR-Projektionslinse um eine 180-Grad-Drehung gedreht wurde; das projizierte Muster 425 unten links stellt ein stark defokussiertes, durch den Projektor der VCSEL-Anordnung projiziertes Muster dar, für das die IR-Projektionslinse um eine 270-Grad-Drehung gedreht wurde; und das projizierte Muster 430 unten rechts stellt ein vollständig defokussiertes, durch den Projektor der VCSEL-Anordnung projiziertes Muster dar, für das die IR-Projektionslinse um eine 360-Grad-Drehung gedreht wurde, was zu einer gleichmäßigen Ausleuchtung der Szene im Infrarotbereich durch den Projektor der VCSEL-Anordnung führt, bei der jedoch kein klar unterscheidbares Muster auf die Szene projiziert wird.
Die Projektionslinse 451 der VCSEL-Baugruppe 405 kann eine „Autofokus“-Linse sein, die mit einem VCM (Voice Coil Motor, Tauchspulenmotor) arbeitet. Alternativ kann die Projektionslinse 451 der VCSEL-Baugruppe 405 aus einer Membranlinse (z. B. einer MEMs-Linse oder einer adaptiven flüssigkeitsgefüllten Silizium-Membranlinse) bestehen, die auf eine Festbrennweitenlinse aufgesetzt ist und dieselbe Autofokusfunktion erfüllt wie die VCM-Linse. Der Tauchspulenmotor ermöglicht es, die Linse nach oben oder unten zu bewegen, wodurch der Fokus geändert wird, was zu einem gewissen Grad einer zunehmenden Unschärfe bzw. zunehmenden Schärfe des Fokus auf dem projizierten Muster führt.
Indem die Projektionslinse 451 der VCSEL-Baugruppe 405 steuerbar ist, lässt sich eine erheblich bessere Kontrolle des projizierten Musters (410, 415, 420, 425 und 430) hinsichtlich Kontrast, Unschärfe, Fokus etc. erzielen. Beispielsweise wird in bestimmten Fällen ein sehr kontrastreiches Muster (etwa die projizierten Muster 410 und 415) bevorzugt, etwa für weit entfernte Objekte oder in Szenarien, die einen beträchtlichen Anteil an Umgebungslicht aufweisen. Anders herum profitiert in anderen Fällen ein stereoskopisches 3D-System von einem kontrastärmeren projizierten Muster (etwa den projizierten Mustern 420 und 425), beispielsweise in Umgebungen mit schwachem Licht und bei näher zur Tiefenmesskamera gelegenen Objekten.
Ein dynamisch einstellbarer Fokus erlaubt somit, das Tiefenmesssystem während der Verwendung dynamisch zu optimieren und die beste Tiefenkarte für die in der Szene jeweils vorliegenden Bedingungen zu erzeugen.
Gemäß einer bestimmten Ausführungsform ist eine gleichmäßige Ausleuchtung für den verwendeten Tiefenbestimmungsalgorithmus die geeignetste Form. Bei herkömmlichen Lösungen ist eine gleichmäßige Ausleuchtung im Infrarotbereich schlicht nicht machbar, wenn ein eingearbeitetes Muster in der Optik ausgeführt wurde, durch die das Infrarotlaserlicht abgestrahlt wird. Gleichwohl ist in einem Fall, in dem eine gleichmäßige Ausleuchtung die geeignetste Form darstellt, die Projektionslinse 451 vollständig defokussiert, etwa wie in dem für eine 360-Grad-Drehung dargestellten projizierten Muster 430, was dazu führt, dass das projizierte Muster in einem derart extremen Maß defokussiert ist, dass die Projektionslinse 451 das projizierte Muster 430 vollständig verwischt, und doch die Ausleuchtung der Szene durch die Laseranordnung der VCSEL-Baugruppe im Infrarotbereich erlaubt. Auf diese Weise werden dieselben Laser der VCSEL-Baugruppe 405 genutzt, um sowohl eine gleichmäßige Ausleuchtung einer Szene zu erzeugen, was für Anwendungen wie etwa Gesichtserkennungsverfahren anstatt alphanumerischer Passwörter vorteilhaft ist, als auch detaillierte, fokussierte projizierte Muster 410 zu erzeugen, die für die Bestimmung einer Objekttiefe nützlicher sind.
Bei perfekter Fokussierung erzeugt das resultierende projizierte Muster 410 ein kontrastreiches, scharfes Muster, das besonders für Tiefenbestimmungsalgorithmen mit weit von den Kameras entfernten Objekten geeignet sein kann. Für weiter entfernte Objekte verbessert ein schärferes Profil mit höherer Dichte oder ein kontrastreicheres Profil die Tiefenwahrnehmung durch die Kamera, indem trotz der Entfernung von der Kamera ein bekanntes Muster auf der Szene erzeugt wird.
Anders herum kann bei näher zur Kamera befindlichen Objekten ein Profil mit hoher Dichte einen zu starken Kontrast erzeugen, und somit ergibt sich durch das Verändern des Fokus mittels der Projektionslinse 451 ein weniger scharfes projiziertes Muster, das einen geringeren Kontrast aufweist, was für Tiefenbestimmungsalgorithmen bei näher an der Kamera befindlichen Objekten vorteilhafter sein kann.
Das kontrastreiche projizierte Muster kann für naheliegende Objekte weniger geeignet sein, da es dazu führt, dass für einige Bildpunkte am Detektor Informationen fehlen, weil auf kurze Distanz Bildpunkte vorhanden sind, die dunkel sind, und andere Bildpunkte, die hell sind, was zu einer Helligkeitsintensität von 0 oder 1 im Bild führt. Allerdings ist es bei diesen kurzen Entfernungen besser, wenn alle Bildpunkte einige Informationen aufweisen, etwa einen variierenden Grad an Helligkeit statt 0 und 1 aufgrund des extremen Kontrasts. Somit erzeugt das Verändern des projizierten Musters durch Defokussieren der Projektionslinse 451 eine gewisse Unschärfe, so dass sich das Licht über eine größere Fläche verteilt, während gleichzeitig immer noch ein gewisses Muster auf das Bild projiziert wird, und dadurch wird die Genauigkeit der Tiefenbestimmung für nahe Objekte in der Szene verbessert. Auf diese Weise nehmen die Detektoren, anstatt dass die Detektoren im Wesentlichen ein auf die kontrastreichen Punkte zurückzuführendes binäres Ergebnis wahrnehmen, ein mehr sinuswellenartiges projiziertes Muster wahr, in dem Informationen in der Szene beispielsweise im Bereich von 75 Prozent zu 25 Prozent und wieder zurück zu 75 Prozent liegen, statt dass es abrupte Wechsel der Bildpunkthelligkeit zwischen 0 % und 100 % oder 0 und 1 gibt.
So stellt die Projektionslinse 451 einen großen Dynamikbereich bereit, so dass die Leistung der Tiefenbestimmung von Objekten nahe der Kamera und die Leistung der Tiefenbestimmung von Objekten in größerer Entfernung von der Kamera angeglichen werden, indem das projizierte Muster dynamisch variiert wird, wo Lösungen nach dem Stand der Technik eine Optimierung des projizierten Musters für eine bestimmte Entfernung erforderten und bei anderen, nicht optimierten Entfernungen die Fähigkeit zur Tiefenbestimmung beeinträchtigt war.
Gemäß einer anderen Ausführungsform wird die Helligkeit der Punkte innerhalb des projizierten Musters verändert, um Veränderungen oder anderen Umgebungslichtbedingungen in der Szene Rechnung zu tragen. Dazu sei beispielsweise eine Szene im direkten Sonnenlicht mit einer Szene in einem geschlossenen Raum verglichen. Die defokussierten projizierten Muster (z. B. 415, 420, 425) können ausreichend hell sein, um von Kameras in geschlossenen Räumen wahrgenommen zu werden, wenn sie jedoch in direktem Sonnenlicht verwendet werden, können sie durch die Helligkeit der Sonne vollständig ausgebleicht werden. In einem derartigen Fall kann es daher vorzuziehen sein, jeden von der VCSEL-Baugruppe 405 erzeugten Punkt mit voller (100%iger) Helligkeit und voll fokussiert zu projizieren und dadurch einen Punkt hoher Intensität zu erzeugen, so dass die Detektoren die Lage der Punkte im projizierten Muster selbst im Sonnenlicht wahrnehmen.
Gemäß einer anderen Ausführungsform variiert die Tiefenmessung zwischen der Nahfeld- und der Fernfeld-Tiefenbestimmung in einem iterativen Zyklus, um für die Fernfeld-Tiefenbestimmung optimierte Projektionsmuster und für die Nahfeld-Tiefenbestimmung optimierte Projektionsmuster zu erzeugen. Betrachtet sei beispielsweise eine autonome Drohne oder ein selbstnavigierendes Fahrzeug, die per Definition ohne menschliche Eingriffe navigieren müssen. Ein derartiges System erfordert verschiedene Tiefenbestimmungsmechanismen, einschließlich wenigstens einen für große Entfernungen, um die allgemeine Szene und Hindernisse im Makro-Maßstab (etwa ein entferntes Gebäude, eine Landebahn etc.) zu erkennen, und einen für kürzere Entfernungen, um mit hoher Präzision nahegelegene Objekte (beispielsweise einen Baum oder ein bewegliches Objekt wie etwa ein anderes Fahrzeug im Nahbereich, mit dem Kollisionsgefahr besteht) wahrzunehmen. Lösungen nach dem Stand der Technik erfordern entweder einen Kompromiss bei der Tiefenbestimmung oder mehrere getrennte Systeme, die Kosten, Komplexität, Paketgröße und Leistungsanforderungen erhöhen. Anders herum erlaubt die Verwendung der Projektionslinse 451 die Anwendung einer Tiefenbestimmung, um wiederholt zwischen der Optimierung für nahe Objekte und der Optimierung für entfernte Objekte zu variieren, ohne dass mehrere Systeme erforderlich wären, und so die Kosten, die Komplexität, die Paketgröße und die Leistungsanforderungen zu reduzieren.
Gemäß einer anderen Ausführungsform wird die VCSEL-Baugruppe 250 verwendet, um Flecken (Speckle)-Rauschen in der Szene zu reduzieren, das mit einer kohärenten Lichtquelle zusammenhängt, etwa einer einzelnen Laserstrahler-Lichtquelle, wie sie bei herkömmlichen Lösungen anzutreffen ist. Fleckenrauschen entspringt bekanntlich solchen einzelnen Laserstrahler-Lichtquellen, was Interferenzmuster durch kohärente Ausleuchtung der Szene erzeugt und im Gegenzug die Fähigkeit zur Tiefenbestimmung beeinträchtigt.
Bei einer kohärenten Lichtquelle wie etwa einem einzelnen Laserstrahler zeigen zwei mittels stereoskopischer Kameras aufgenommene Bilder einen erheblichen Anteil an Flecken oder Rauschen aufgrund von Interferenz vom Ziel, die aus einer Reflexion des Laserlichts durch das Ziel entsteht. Dieses Fleckenrauschen schränkt die erzielbare Auflösung und Genauigkeit erheblich ein, sowohl was die Tiefe zu einem Objekt angeht als auch was eine hohe Auflösung zwischen zwei nahe beieinander liegenden Objekten und die Fähigkeit zu bestimmen, wie weit diese beiden nahe beieinander liegenden Objekte voneinander entfernt sind, betrifft.
Derartiges Fleckenrauschen ist ein ausreichend bekanntes Phänomen und Problem bei Infrarotprojektoren mit einzelnen Infrarotlaserstrahlern, wie sie in herkömmlichen Lösungen zum Einsatz kommen. Rest-Laserspeckle wirkt sich bei herkömmlichen Tiefenmesssystemen in der Größenordnung von ungefähr 30 % negativ auf den RMS-Fehler (Root-Mean-Square Error, mittlere quadratische Abweichung, oder RMSE) aus.
Gemäß einer Ausführungsform wird das Fleckenrauschen durch die VCSEL-Baugruppe 250 reduziert, indem in der Bildgebung eine Bewegung simuliert wird. Gemäß einer solchen Ausführung ist die IR-Projektionslinse 205 als Autofokuslinse ausgeführt, und die IR-Projektionslinse 205 ändert dynamisch und iterativ den Fokus des Punktes im projizierten Muster 210, um Bewegung in der durch die Detektoren (z. B. die rechte Kamera 105 und die linke Kamera 110) abgebildeten Szene zu simulieren. Das iterative Fokussieren und Defokussieren des projizierten Musters durch die Linse erzeugt eine Bewegung des projizierten Musters, die wiederum das Fleckenrauschen reduziert, das von den IR-Bildgebern/-Detektoren (z. B. rechte Kamera 105 und linke Kamera 110) wahrgenommen wird.
Gemäß einer alternativen Ausführungsform wird das Fleckenrauschen durch die VCSEL-Baugruppe 250 reduziert, indem mittels einer MEMs-Linse an der IR-Projektionslinse 205 eine seitliche Bewegung in das Bild induziert wird. Insbesondere erzeugt eine MEMs-Linse eine seitliche Bewegung und eine Verschiebung in einer XY-Ebene, indem der Strahl, mit dem das projizierte Muster die Szene ausleuchtet, geschwenkt wird.
Auf diese Weise erlaubt die Autofokusfähigkeit der Projektionslinse 451 ein physisches Jitter oder Zittern der Linse in der X-, der Y- und der Z-Richtung, was eine seitliche Verschiebung hervorruft und den Kontrast zunehmen und abnehmen lässt, was das Fleckenrauschen nahezu vollständig eliminiert, und dies wiederum ergibt eine fast 30%ige Verbesserung der Tiefenbestimmung gegenüber herkömmlichen Lösungen.
5 zeigt eine alternative Ausführungsform einer Tiefenkamerabaugruppe 599, gemäß der Ausführungsformen betrieben werden können. Insbesondere ist die Tiefenkamerabaugruppe 599 (von der Vorderseite gezeigt) mit sowohl einem „rechten“ IR-Sensor 505 als auch einem „linken“ IR-Sensor 520 darauf abgebildet, um Licht im Infrarotbereich zu erkennen, etwa ein projiziertes Muster, das eine Szene ausleuchtet und von der VCSEL-Baugruppe 525 sowie dem IR-VCSEL-Laserprojektor projiziert wird. Ferner sind auf der Leiterplatte (Printed Circuit Board, PCB) 555 ein RGB-Sensor 510 und Verarbeitungsschaltungen 538 dargestellt.
6 ist ein Flussdiagramm 600, das ein Verfahren zur Implementierung einer Stereotiefenkamera mit einem VCSEL (Vertical-Cavity-Surface-Emitting-Laser)-Projektor mit einer gesteuerten Projektionslinse gemäß den beschriebenen Ausführungsformen zeigt.
Einige der nachstehend zum Verfahren 600 aufgeführten Blöcke und/oder Vorgänge sind gemäß bestimmten Ausführungsformen optional. Die Nummerierung der dargestellten Blöcke soll der Klarheit dienen und ist nicht als Vorschrift für eine Reihenfolge der Operationen zu verstehen, in der die verschiedenen Blöcke aufeinander folgen müssen. Das Verfahren 600 kann von Verarbeitungslogik durchgeführt werden, die Hardware (z. B. Schaltungen, dedizierte Logik, programmierbare Logik, Mikrocode etc.), Software (z. B. Anweisungen, die auf einer Verarbeitungsvorrichtung ausgeführt werden) aufweist, um verschiedene Operationen durchzuführen, etwa Ausstrahlung, Lenkung, Projektion, Aufnahme, Einstellung, Ausgabe, Triangulation, Fokussierung, Defokussierung, Normalisierung, Steuerung, Analyse, Erfassung, Überwachung, Ausführung, Darstellung, Verbindung, Empfang, Verarbeitung, Bestimmung, Auslösung, Anzeige etc. entsprechend den in dieser Patentschrift beschriebenen Systemen und Verfahren. Beispielsweise können die Tiefenkamerabaugruppen 199, die Tiefenkamera 310, die Tiefenkamerabaugruppe 599 wie in den 1, 2, 3 und 5 dargestellt, das Smartphone oder die Tablet-Computervorrichtungen wie in den 7A, 7B, und 7C dargestellt oder die Maschine 800 in 8 die beschriebenen Verfahren implementieren.
Es wird Bezug genommen auf das Verfahren 600; die Operationen beginnen bei Block 605 mit dem Abstrahlen mehrerer Infrarotstrahlen über einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor).
Bei Block 610 beinhalten Operationen, die mehreren Infrarotstrahlen durch eine bewegliche Linse der Tiefenkamera zu lenken, wobei die bewegliche Linse den Fokus der mehreren Infrarotstrahlen kontrolliert, die vom VCSEL-Projektor abgestrahlt werden.
Bei Block 615 beinhalten Operationen das Projizieren der mehreren vom VCSEL abgestrahlten und durch die bewegliche Linse projizierten Infrarotstrahlen, um ein projiziertes Muster zu bilden, das auf die Szene projiziert wird.
Bei Block 620 beinhalten Operationen das Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert ist, über stereoskopische Bilderfassungsvorrichtungen der Tiefenkamera.
Bei Block 625 beinhalten Operationen das Bestimmen der Tiefe eines Objekts in der Szene basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster darin dargestellt.
Gemäß einer bestimmten Ausführungsform des Verfahrens 600 beinhalten die mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen Licht vom VCSEL-Projektor, das das Oberflächenmuster des VCSEL-Projektors durch die bewegliche Linse auf die Szene abbildet.
Gemäß einer anderen Ausführungsform des Verfahrens 600 wird das Oberflächenmuster des VCSEL-Projektors lithografisch bestimmt gemäß X,Y-Koordinaten, die zum Zeitpunkt der Herstellung für den VCSEL-Projektor festgelegt wurden; wobei der VCSEL-Projektor das Oberflächenmuster des VCSEL-Projektors durch die bewegliche Linse auf die Szene abbildet, wobei das projizierte Oberflächenmuster den festgelegten X,Y-Koordinaten entspricht.
Gemäß einer anderen Ausführungsform des Verfahrens 600 beinhaltet die bewegliche Linse zum Kontrollieren des Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen eine steuerbare Linse, die in einer X- und einer Y-Richtung einer horizontalen Ebene parallel zum VCSEL-Projektor seitlich beweglich ist sowie vorwärts und rückwärts in einer Z-Richtung einer vertikalen Ebene senkrecht zum VCSEL-Projektor beweglich ist.
Gemäß einer anderen Ausführungsform des Verfahrens 600 beinhaltet die bewegliche Linse zum Kontrollieren des Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen entweder eine Membranlinse oder eine adaptive flüssigkeitsgefüllte Silizium-Membranlinse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, oder eine Linse mit Tauchspulenmotor (Voice Coil Motor, VCM), um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren.
Gemäß einer anderen Ausführungsform des Verfahrens 600 beinhalten die stereoskopischen Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert ist, eine linke Infrarotkamera zum Aufnehmen eines linken Bildes der Szene, in dem das projizierte Muster dargestellt ist, und eine rechte Infrarotkamera zum Aufnehmen eines rechten Bildes der Szene, in dem das projizierte Muster dargestellt ist.
Gemäß einer anderen Ausführungsform des Verfahrens 600 bestimmen die Verarbeitungsschaltungen die Tiefe des Objekts in der Szene, indem eine Korrespondenz für jeden von mehreren Punkten in dem aufgenommenen linken und rechten Bild bestimmt wird und eine Entfernung zu jedem der mehreren Punkte in dem aufgenommenen linken und rechten Bild mittels Disparität trianguliert wird.
Gemäß einer anderen Ausführungsform des Verfahrens 600 soll die Tiefenkamera eine gestützte oder aktive stereoskopische Tiefenbestimmung über eine optische Projektion durchführen, die vom VCSEL-Projektor abgestrahlt wird, um die Szene mit einem Texturmuster auszuleuchten. Gemäß einer solchen Ausführungsform ergibt die gestützte oder aktive stereoskopische Tiefenbestimmung eine wahrnehmbare Textur im Infrarotlichtbereich, anhand deren die stereoskopischen Bilderfassungsvorrichtungen der Tiefenkamera stereoskopische Bilder mit der wahrnehmbaren Textur aufnehmen, um die Korrespondenzbestimmung durch die Verarbeitungsschaltungen für eine Szene zu verbessern, die nicht genügend natürliche Textur aufweist, nach der eine Korrespondenz zuverlässig bestimmt werden könnte.
Gemäß einer anderen Ausführungsform des Verfahrens 600 beinhaltet der VCSEL-Projektor eine Mikrolinsenanordnung, um die mehreren von einer VCSEL-Anordnung des VCSEL-Projektors abgestrahlten Infrarotstrahlen zu einem Mittelpunkt der beweglichen Linse zu lenken, bevor die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um das projizierte Muster auf der Szene zu bilden.
Gemäß einer anderen Ausführungsform des Verfahrens 600 verändert die bewegliche Linse dynamisch das auf die Szene projizierte Muster, indem der Fokus der beweglichen Linse verändert wird, um die Brechung des projizierten Musters zu verstärken oder zu verringern.
Gemäß einer anderen Ausführungsform des Verfahrens 600 werden die mehreren Infrarotstrahlen durch die bewegliche Linse in voller Fokussierung durch die bewegliche Linse projiziert, um eine kontrastreiche Darstellung des projizierten Musters, das auf die Szene projiziert wird, zu erzielen, oder werden alternativ durch die bewegliche Linse in voller Defokussierung durch die bewegliche Linse projiziert, um eine kontrastarme und vollständig diffuse Darstellung des projizierten Musters, das auf die Szene projiziert wird, zu erzielen.
Gemäß einer anderen Ausführungsform des Verfahrens 600 werden die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert und durch die bewegliche Linse vollständig defokussiert, um eine gleichmäßige Ausleuchtung der Szene für einen Tiefenbestimmungsalgorithmus einer Gesichtserkennung bereitzustellen.
Gemäß einer anderen Ausführungsform des Verfahrens 600 verändert die bewegliche Linse einen Fokus des projizierten Musters, das auf die Szene projiziert wird, basierend auf einer Menge von Umgebungslicht in der Szene.
Gemäß einer anderen Ausführungsform des Verfahrens 600 verändert die bewegliche Linse einen Fokus des projizierten Musters, das auf die Szene projiziert wird, gemäß einem ausgewählten Tiefenbestimmungsalgorithmus, wobei der ausgewählte Tiefenbestimmungsalgorithmus für näher zur Tiefenkamera gelegene Objekte optimiert ist oder alternativ für weiter von der Tiefenkamera entfernte Objekte optimiert ist.
Gemäß einer anderen Ausführungsform wird das Verfahren 600 durch eine Tiefenkamera ausgeführt, die in einer Drohne oder einem selbstnavigierenden Roboter ausgeführt ist. Gemäß einer solchen Ausführungsform sollen die Verarbeitungsschaltungen iterativ zwischen einem Nahfeld-Tiefenbestimmungsalgorithmus und einem Fernfeld-Tiefenbestimmungsalgorithmus rotieren; wobei ferner die Verarbeitungsschaltungen die bewegliche Linse anweisen, den Fokus des projizierten Musters, das durch die bewegliche Linse auf die Szene projiziert wird, gemäß einem Fokussierungsgrad, der jeweils für den Nahfeld-Tiefenbestimmungs- bzw. den Fernfeld-Tiefenbestimmungsalgorithmus optimiert ist, iterativ zu ändern.
Gemäß einer anderen Ausführungsform des Verfahrens 600 sollen die Verarbeitungsschaltungen eine Einstellung für Umgebungsbeleuchtung und Reflexionseigenschaften der Szene vornehmen, indem ein Kontrast des projizierten Musters, das auf die Szene projiziert wird, erhöht oder verringert wird oder ein Fokus des projizierten Musters, das auf die Szene projiziert wird, über die bewegliche Linse erhöht oder verringert wird.
Gemäß einer anderen Ausführungsform des Verfahrens 600 sollen die Verarbeitungsschaltungen Flecken in der Szene reduzieren, indem eine Bewegung in der durch die stereoskopischen Bilderfassungsvorrichtungen aufgenommenen Szene dadurch simuliert wird, dass das projizierte Muster, das auf die Szene projiziert wird, über die bewegliche Linse iterativ fokussiert und defokussiert wird.
Gemäß einer anderen Ausführungsform des Verfahrens 600 soll die bewegliche Linse Flecken in der Szene reduzieren, indem eine seitliche Bewegung der beweglichen Linse induziert wird, die eine iterative Verschiebung des projizierten Musters, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird, bewirkt.
Gemäß einer anderen Ausführungsform des Verfahrens 600 soll die bewegliche Linse Flecken in der Szene reduzieren, indem die mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen durch die bewegliche Linse gelenkt werden, um eine Bewegung des projizierten Musters zu induzieren, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird.
Gemäß einer anderen Ausführungsform wird das Verfahren 600 durch eine Tiefenkamera durchgeführt, die ferner eine RGB (Rot, Grün, Blau)-Kamera aufweist, um ein Bild der Szene im sichtbaren Lichtbereich aufzunehmen.
Gemäß einer anderen Ausführungsform des Verfahrens 600 ist eine derartige Tiefenkamera mit einem der Folgenden ausgeführt: einem Gestensteuerungsmodul für einen Computer; einem 3D-Fotografiemodul einer 3D-Kamera; einem immersiven 3D-Spielmodul einer Spielplattform; einem Gesichtserkennungsmodul zur Durchführung von Sicherheitsprüfungen auf Basis einer Gesichtserkennung anstatt alphanumerischer Passwörter; einem Drohnennavigation-Steuerungsmodul; einem Roboternavigation-Steuerungsmodul; einem Smartphone; oder einem Tablet.
Gemäß einer anderen Ausführungsform ist ein nichttransitorisches, computerlesbares Speichermedium vorhanden, auf dem Anweisungen gespeichert sind, die bei Ausführung durch einen Prozessor einer Tiefenkamera die Tiefenkamera veranlassen, Operationen durchzuführen, beinhaltend: Abstrahlen mehrerer Infrarotstrahlen über einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor); lenken der mehreren Infrarotstrahlen durch eine bewegliche Linse der Tiefenkamera, wobei die bewegliche Linse den Fokus der mehreren Infrarotstrahlen kontrolliert, die vom VCSEL-Projektor abgestrahlt werden; Projizieren der mehreren vom VCSEL abgestrahlten und durch die bewegliche Linse projizierten Infrarotstrahlen, um ein projiziertes Muster zu bilden, das auf die Szene projiziert wird; Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert ist, über stereoskopische Bilderfassungsvorrichtungen der Tiefenkamera; und Bestimmen der Tiefe eines Objekts in der Szene basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster darin dargestellt.
7A zeigt eine beispielhafte Tablet-Computervorrichtung 701 mit einem Kameragehäuse 746, das die Tiefenkamerabaugruppe 799 gemäß beschriebenen Ausführungsformen beherbergt. 7B zeigt ein beispielhaftes handgehaltenes Smartphone 702 mit einem Kameragehäuse 746, das die Tiefenkamerabaugruppe 799 gemäß beschriebenen Ausführungsformen beherbergt.
Beispielsweise besteht, gemäß der dargestellten Ausführungsform von 7A, die Tiefenkamerabaugruppe 799 der Tablet-Computervorrichtung 701 aus einem Kameragehäuse für die Tiefenkamerabaugruppe mit der notwendigen Optik (z. B. Linsen) der VCSEL-Baugruppe 715, die als Projektor 715 fungiert, einer linken 717 und einer rechten 718 Kamera, die als Detektoren fungieren, sowie der Verarbeitungskomponente 725, RGB-Kamera 719 und einer Triangulationsvorrichtung 735. Die Tiefenkamerabaugruppe 799 ist in eine handgehaltene Smartphone- 702 oder Tablet-Computervorrichtung 701 als Kameragehäuse für die Tiefenkamerabaugruppe 799 integriert. Alternativ besteht, gemäß der dargestellten Ausführungsform von 7B, die Tiefenkamerabaugruppe 799 des handgehaltenen Smartphones 702 aus einem Kameragehäuse für die Tiefenkamerabaugruppe mit der notwendigen Optik (z. B. Linsen) der VCSEL-Baugruppe 715, die als Projektor 715 fungiert, einer linken Kamera 717 und einer rechten Kamera 718, die als Detektoren fungieren, sowie der Verarbeitungskomponente oder Triangulationsvorrichtung 725. Ferner sind eine RGB-Kamera 719 und eine PCB 721 dargestellt.
Auf diese Weise kann die Tiefenkamerabaugruppe 799 in eine handgehaltene Smartphone-702 oder Tablet-Computervorrichtung 701 als Kameragehäuse für die Tiefenkamerabaugruppe 799 integriert sein.
Gemäß einer Ausführungsform bildet das handgehaltene Smartphone 702 oder die Tablet-Computervorrichtung 701 mit darin integrierter Berührungsschirmschnittstelle 745 das Kameragehäuse, in das die Tiefenkamerabaugruppe 799 integriert oder installiert wird.
7A und 7B stellen die Tablet-Computervorrichtung 701 und das handgehaltene Smartphone 702 dar, die jeweils darin integrierte Schaltungen aufweisen wie gemäß den Ausführungsformen beschrieben. Wie gezeigt, weisen sowohl die Tablet-Computervorrichtung 701 als auch das handgehaltene Smartphone 702 jeweils eine Berührungsschirmschnittstelle 745 und einen integrierten Prozessor 711 gemäß offenbarten Ausführungsformen auf.
Beispielsweise weist in einer Ausführungsform eine Tablet-Computervorrichtung 701 oder ein handgehaltenes Smartphone 702 eine Anzeigeeinheit auf, die eine Berührungsschirmschnittstelle 745 für das Tablet oder das Smartphone aufweist, wobei ferner ein Speicher und eine integrierte Schaltung, die als der integrierte Prozessor fungiert, in das Tablet oder das Smartphone aufgenommen sind, wobei der integrierte Prozessor zusammen mit der Tiefenkamerabaugruppe 799 und ihren Komponenten und Schaltungen wie hier beschrieben betreibbar ist; wobei das Tablet oder das Smartphone und ihre Verarbeitungskomponenten ferner dazu betreibbar sind, eine Musterprojektion, eine Aufnahme eines projizierten Musters und eine Bildverarbeitung, die die Bestimmung einer Disparität und Korrespondenz zum Bestimmen von Tiefeninformationen zu einem Objekt einer Szene beinhaltet, durchzuführen. In einer Ausführungsform ist die vorstehend beschriebene integrierte Schaltung oder der dargestellte integrierte Prozessor des Tablets oder Smartphones ein integrierter Siliziumprozessor, der als zentrale Verarbeitungseinheit (Central Processing Unit, CPU) und/oder Grafikverarbeitungseinheit (Graphics Processing Unit, GPU) für eine Tablet-Computervorrichtung oder ein Smartphone fungiert.
Gemäß einer bestimmten Ausführungsform ist eine Kameragehäusebaugruppe vorhanden, die aufweist: ein Kameragehäuse; eine Batterie; eine Anzeige; einen Prozessor und einen Speicher zur Ausführung von Logik oder Anweisungen; eine Linsenmontagebaugruppe, wobei die Linsenmontagebaugruppe eine oder mehrere optische Komponenten und komplementäre Metalloxid-Halbleiter (Complementary Metal Oxide Semiconductor, CMOS)-Komponenten aufweist; und eine Tiefenkamerabaugruppe-Leiterplatte (Printed Circuit Board, PCB), auf der Folgendes montiert ist: ein Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor), um mehrere Infrarotstrahlen abzustrahlen; eine bewegliche Linse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; stereoskopische Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert wird; und Verarbeitungsschaltungen, um eine Tiefe eines Objekts in der Szene zu bestimmen, basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster, das darin wie vom VCSEL-Projektor projiziert dargestellt ist.
Gemäß einer solchen Ausführungsform weist das Kameragehäuse eines der Folgenden auf: ein Gestensteuerungssystem, ein 3D-Fotografiesystem, ein immersives 3D-Spielsystem, ein Gesichtserkennungssystem zur Durchführung von Sicherheitsprüfungen auf Basis einer Gesichtserkennung anstatt alphanumerischer Passwörter, ein Drohnen-oder Robotersteuerungssystem, ein Tiefenmesskamerasystem zur Durchführung einer beliebigen Tiefenmessung bei der stereoskopischen Bildgebung, eine handgehaltene eigenständige Kamera, eine Tablet-Computervorrichtung und ein handgehaltenes Smartphone; wobei die Tiefenkamerabaugruppe-PCB von einem Erstausrüster (Original Equipment Manufacturer, OEM) in das Kameragehäuse integriert wird, für das Gestensteuerungssystem, das 3D-Fotografiesystem, das immersive 3D-Spielsystem, das Gesichterkennungssystem, das Drohnen-oder Robotersteuerungssystem, das Tiefenmesskamerasystem, die handgehaltene eigenständige Kamera, die Tablet-Computervorrichtung oder das handgehaltene Smartphone.
7C ist ein Blockdiagramm 703 einer Ausführungsform einer Tablet-Computervorrichtung, eines Smartphones oder einer anderen mobilen Vorrichtung, bei der Berührungsschirm-Schnittstellenverbinder verwendet werden. Der Prozessor 710 führt die primären Verarbeitungsoperationen durch. Das Audio-Subsystem 720 stellt Hardware-Komponenten (z. B. Audio-Hardware und Audio-Schaltungen) und Software-Komponenten (z. B. Treiber, Codecs) dar, die mit der Bereitstellung von Audio-Funktionen für die Rechenvorrichtung in Verbindung stehen. In einer Ausführungsform interagiert ein Benutzer mit der Tablet-Computervorrichtung oder dem Smartphone, indem er Audio-Befehle eingibt, die vom Prozessor 710 empfangen und verarbeitet werden.
Die Tiefenkamerabaugruppe 799 ist in Kommunikationsverbindung mit dem Prozessor 710 und Peripherieverbindungen 780 dargestellt. Die Tiefenkamerabaugruppe 799 weist den VCSEL-Projektor 798 und einen linken/rechten Detektor 797 (z. B. Kameras) auf.
Das Anzeigesubsystem 730 repräsentiert Hardware (z.B. Anzeigevorrichtungen)- und Software (z. B. Treiber)-Komponenten, die eine visuelle und/oder taktile Anzeige bereitstellen, über die ein Benutzer mit der Tablet-Computervorrichtung oder dem Smartphone interagieren kann. Das Anzeigesubsystem 730 umfasst eine Anzeigeschnittstelle 732, die den Bildschirm oder die Hardware-Vorrichtung umfasst, welche(r) jeweils zum Bereitstellen einer Anzeige für den Benutzer verwendet wird. In einer Ausführungsform weist das Anzeigesubsystem 730 eine Berührungsbildschirmvorrichtung auf, die für einen Benutzer sowohl Eingabe als auch Ausgabe bereitstellt.
Eine -/A-Steuerung 740 stellt Hardware-Vorrichtungen und Software-Komponenten dar, die im Zusammenhang mit der Interaktion mit einem Benutzer stehen. Die -/A-Steuerung 740 lässt sich zum Verwalten von Hardware betreiben, die Teil des Audio-Subsystems 720 und/oder des Anzeigesubsystems 730 ist. Des Weiteren veranschaulicht die E/A-Steuerung 740 einen Anschlusspunkt für zusätzliche Vorrichtungen, die mit der Tablet-Computervorrichtung oder dem Smartphone verbunden werden, über die ein Benutzer interagieren kann. In einer Ausführungsform verwaltet die E/A-Steuerung 740 Vorrichtungen wie Beschleunigungsmesser, Kameras, Lichtsensoren oder andere Umgebungssensoren oder andere Hardware, die in der Tablet-Computervorrichtung oder dem Smartphone enthalten sein kann. Die Eingabe kann Bestandteil einer direkten Benutzerinteraktion, ebenso aber auch die Bereitstellung umgebungsbasierter Eingänge an die Tablet-Computervorrichtung oder das Smartphone sein.
In einer Ausführungsform weist die Tablet-Computervorrichtung oder das Smartphone eine Energieverwaltung 790 auf, die den Stromverbrauch des Akkus, das Aufladen des Akkus und Merkmale im Zusammenhang mit dem energiesparenden Betrieb verwaltet. Das Speichersubsystem 760 weist Speichervorrichtungen zum Speichern von Informationen in der Tablet-Computervorrichtung oder dem Smartphone auf. Die Anbindung 770 weist Hardware-Vorrichtungen (z. B. drahtlose und/oder verdrahtete Anschlüsse und Kommunikations-Hardware) und Software-Komponenten (z. B. Treiber, Protokollstapel) auf, um der Tablet-Computervorrichtung oder dem Smartphone die Kommunikation mit externen Vorrichtungen zu ermöglichen. Die Mobilfunkanbindung 772 kann beispielsweise drahtlose Träger wie GSM (globales System für Mobilkommunikation), CDMA (Code Division Multiple Access, Codemultiplex-Vielfachzugriff), TDM (Time Division Multiplexing, Zeitmultiplex) oder andere Mobilfunkdienststandards beinhalten. Die drahtlose Anbindung 774 kann beispielsweise Aktivitäten beinhalten, die nicht unter den Begriff Mobilfunk fallen, etwa Personal Area Networks (Netze für den persönlichen Bereich, z. B. Bluetooth), Local Area Networks (Ortsnetze, z. B. WiFi) und/oder Wide Area Networks (Weitbereichsnetze, z. B. WiMax) oder andere drahtlose Kommunikationsformen.
Peripherieverbindungen 780 beinhalten Hardware-Schnittstellen und -Anschlüsse sowie Software-Komponenten (z. B. Treiber, Protokollstapel) zum Herstellen von Peripherieverbindungen als Peripherievorrichtung („an“ 782) zu anderen Computervorrichtungen sowie Peripherievorrichtungen („von“ 784), die mit der Tablet-Computervorrichtung oder dem Smartphone verbunden sind, beinhaltend beispielsweise einen „Andock“-Verbinder zum Verbinden mit anderen Computervorrichtungen. Peripherieverbindungen 780 beinhalten handelsübliche oder standardbasierte Verbinder, etwa einen USB-Anschluss (Universal Serial Bus), einen Anzeige-Port einschließlich MiniDisplayPort (MDP), einen HDMI-Anschluss (High Definition Multimedia Interface), einen Firewire-Anschluss etc.
8 veranschaulicht eine Diagrammdarstellung einer Maschine 800 in der beispielhaften Form eines Computersystems gemäß einer Ausführungsform, in dem eine Reihe von Anweisungen ausgeführt werden kann, mit denen die Maschine/das Computersystem 800 veranlasst wird, ein oder mehrere Verfahren wie in der vorliegenden Patentschrift erörtert durchzuführen. In alternativen Ausführungsformen, kann die Maschine mit anderen Maschinen in einem Ortsnetz (Local Area Network, LAN), einem Intranet, einem Extranet oder im öffentlichen Internet verbunden (z. B. vernetzt) werden. Die Maschine kann in der Eigenschaft einer Server- oder einer Client-Maschine in einer Client-Server-Netzumgebung, als Peer-Maschine in einer Peer-to-Peer (oder verteilten) Netzumgebung oder als eine Reihe von Servern in einer On-Demand-Diensteumgebung betrieben werden. Bestimmte Ausführungsformen der Maschine können in Form eines Personal-Computers (PC), eines Tablet-PC, einer Set-Top-Box (STB), eines Personal Digital Assistant (PDA), eines Mobiltelefons, eines Web-Geräts, eines Servers, eines/einer Netzrouters, -Switch oder -Bridge, eines Computersystems oder einer beliebigen Maschine vorliegen, die in der Lage ist, eine Reihe von Anweisungen, welche von der betreffenden Maschine durchzuführende Aktionen definieren, (sequenziell oder in anderer Weise) auszuführen. Ferner soll, auch wenn nur eine einzelne Maschine dargestellt ist, der Ausdruck „Maschine“ auch dahingehend verstanden werden, dass er jegliche Ansammlung von Maschinen (z. B. Computern) einschließt, die einzeln oder gemeinsam eine Reihe (oder mehrere Reihen) von Anweisungen ausführen, um eines oder mehrere der hier erörterten Verfahren durchzuführen, einschließlich das Implementieren einer Größte-Wahrscheinlichkeit-Bildbinarisierung in einer Coded-Light-Range-Kamera.
Das beispielhafte Computersystem 800 weist einen Prozessor 802, einen Hauptspeicher 804 (z. B. Festwertspeicher (ROM), Flash-Speicher, dynamischen Direktzugriffsspeicher (DRAM) wie etwa ein Synchron-DRAM (SDRAM) oder Rambus-DRAM (RDRAM) etc., statischen Speicher wie z. B. Flash-Speicher, statischen Direktzugriffsspeicher (SRAM), flüchtigen RAM, jedoch mit hoher Datenrate etc.) sowie einen Sekundärspeicher 818 (z. B. Dauerspeichervorrichtung wie Festplatten und dauerhafte Datenbank und/oder Mehrbenutzer-Datenbankimplementierung) auf, die über einen Bus 830 miteinander kommunizieren. Der Hauptspeicher 804 enthält Software 822 und eine Funktionalität zur Tiefenverarbeitung 824, die mit der Triangulationsschaltung 823 verbunden ist, welche in der Lage ist, eine Triangulationsverarbeitung einschließlich Korrespondenzberechnung an einer Reihe von mehreren Bildern durchzuführen, die vom linken/rechten IR-Detektor 880 aufgenommen wurden und in denen ein von der VCSEL-Baugruppe 879 abgestrahltes projiziertes Muster dargestellt ist. Der Hauptspeicher 804 und seine Unterelemente sind zusammen mit der Verarbeitungslogik 826 und dem Prozessor 802 betreibbar, um die in der vorliegenden Patentschrift erörterten Verfahren durchzuführen.
Der Prozessor 802 steht für eine oder mehrere universelle Verarbeitungsvorrichtungen wie etwa einen Mikroprozessor, eine Zentraleinheit oder dergleichen. Spezieller kann der Prozessor 802 ein CISC (Complex Instruction Set Computing, Rechnen mit komplexem Befehlssatz)-Mikroprozessor, ein RISC (Reduced Instruction Set Computing, Rechnen mit reduziertem Befehlssatz)-Mikroprozessor, ein VLIW (Very Long Instruction Word, langes Befehlswort)-Mikroprozessor, ein Prozessor, der andere Anweisungssätze implementiert oder Prozessoren, die eine Kombination von Anweisungssätzen implementieren, sein. Der Prozessor 802 kann auch eine oder mehrere Spezialverarbeitungsvorrichtungen sein, beispielsweise etwa eine anwendungsspezifische integrierte Schaltung (Application Specific Integrated Circuit, ASIC), eine feldprogrammierbare Gatteranordnung (Field Programmable Gate Array, FPGA), ein Digitalsignalprozessor (DSP), ein Netzprozessor oder dergleichen. Der Prozessor 802 ist dafür ausgelegt, die Verarbeitungslogik 826 auszuführen zur Durchführung der Operationen und Funktionalität wie hier erörtert einschließlich Verbindung mit der Tiefenkamera und/oder Durchführung der Verarbeitung für eine solche Tiefenkamera.
Das Computersystem 800 kann ferner eine Netzschnittstellenkarte 808 aufweisen. Das Computersystem 800 kann außerdem eine Benutzerschnittstelle 810 (z. B. Video-Anzeigeeinheit, Flüssigkristallanzeige (Liquid Crystal Display, LCD), Berührungsbildschirm oder Kathodenstrahlröhre (Cathode Ray Tube, CRT)), eine alphanumerische Eingabevorrichtung 812 (z. B. Tastatur), eine Cursor-Steuervorrichtung 814 (z. B. Maus) und eine Signalerzeugungsvorrichtung wie z. B. einen integrierten Lautsprecher 16 aufweisen. Das Computersystem 800 kann ferner die Peripherievorrichtung 836 (z. B. drahtlose oder drahtgebundene Kommunikationsvorrichtungen, Arbeitsspeichervorrichtungen, Datenspeichervorrichtungen, Audio-Verarbeitungsvorrichtungen, Video-Verarbeitungsvorrichtungen etc.) aufweisen.
Der Sekundärspeicher 818 kann ein nichttransitorisches, maschinenlesbares oder computerlesbares Speichermedium 831 aufweisen, auf dem eine oder mehrere Reihen von Anweisungen (z. B. Software 822) gespeichert sind, die eines oder mehrere der hier beschriebenen Verfahren ausführen. Die Software 822 kann auch vollständig oder wenigstens teilweise im Hauptspeicher 804 und/oder im Prozessor 802 liegen, während sie vom Computersystem 800 ausgeführt wird, wobei der Hauptspeicher 804 und der Prozessor 802 ebenfalls maschinenlesbare Speichermedien darstellen. Die Software 822 kann ferner über die Netzschnittstellenkarte 808 über ein Netz 820 übertragen oder empfangen werden.
Auch wenn der hier offenbarte Erfindungsgegenstand beispielhaft und bezogen auf spezifische Ausführungsformen beschrieben wurde, versteht es sich, dass die beanspruchten Ausführungsformen nicht auf die ausdrücklich offenbarten aufgelisteten Ausführungsformen beschränkt sind. Vielmehr soll die Offenbarung verschiedene Modifikationen und ähnliche Anordnungen abdecken, wie sie für Fachleute auf diesem Gebiet der Technik offensichtlich sind. Der Schutzumfang der angehängten Patentansprüche ist daher im weitesten Sinne dahingehend zu interpretieren, dass alle derartigen Modifikationen und ähnlichen Anordnungen abgedeckt sind. Es versteht sich, dass die obige Beschreibung veranschaulichend und nicht einschränkend zu interpretieren ist. Zahlreiche andere Ausführungsformen sind für den Fachmann auf diesem Gebiet bei Lektüre und Verständnis der obigen Beschreibung ersichtlich. Der Schutzumfang des offenbarten Erfindungsgegenstandes soll daher unter Bezugnahme auf die beigefügten Patentansprüche bestimmt werden, zusammen mit der Gesamtheit aller Äquivalente, denen derartige Schutzansprüche zustehen.

Claims

Tiefenkamera, umfassend: einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor), um mehrere Infrarotstrahlen abzustrahlen; eine bewegliche Linse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; stereoskopische Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert wird; und Verarbeitungsschaltungen, um eine Tiefe eines Objekts in der Szene zu bestimmen, basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster, das darin wie vom VCSEL-Projektor projiziert dargestellt ist.
Tiefenkamera nach Anspruch 1, wobei die mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen Licht vom VCSEL-Projektor umfassen, das das Oberflächenmuster des VCSEL-Projektors durch die bewegliche Linse auf die Szene abbildet.
Tiefenkamera nach Anspruch 1: wobei das Oberflächenmuster des VCSEL-Projektors lithografisch gemäß X,Y-Koordinaten bestimmt wird, die zum Zeitpunkt der Herstellung für den VCSEL-Projektor festgelegt wurden; und wobei der VCSEL-Projektor das Oberflächenmuster des VCSEL-Projektors durch die bewegliche Linse auf die Szene abbildet, wobei das projizierte Oberflächenmuster den festgelegten X,Y-Koordinaten entspricht.
Tiefenkamera nach Anspruch 1, wobei die bewegliche Linse zum Kontrollieren des Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen eine steuerbare Linse umfasst, die in einer X- und einer Y-Richtung einer horizontalen Ebene parallel zum VCSEL-Projektor seitlich beweglich ist sowie vorwärts und rückwärts in einer Z-Richtung einer vertikalen Ebene senkrecht zum VCSEL-Projektor beweglich ist.
Tiefenkamera nach Anspruch 1, wobei die bewegliche Linse zum Kontrollieren des Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen entweder eine Membranlinse oder eine adaptive flüssigkeitsgefüllte Silizium-Membranlinse umfasst, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, oder eine Linse mit Tauchspulenmotor (Voice Coil Motor, VCM), um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren.
Tiefenkamera nach Anspruch 1, wobei die stereoskopischen Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert ist, eine linke Infrarotkamera zum Aufnehmen eines linken Bildes der Szene, in dem das projizierte Muster dargestellt ist, und eine rechte Infrarotkamera zum Aufnehmen eines rechten Bildes der Szene, in dem das projizierte Muster dargestellt ist, umfassen.
Tiefenkamera nach Anspruch 6, wobei die Verarbeitungsschaltungen zum Bestimmen der Tiefe des Objekts in der Szene basierend auf den aufgenommenen stereoskopischen Bildern der Szene, in denen das projizierte Muster dargestellt ist, die Verarbeitungsschaltungen umfassen, um die Tiefe des Objekts in der Szene zu bestimmen, indem eine Korrespondenz für jeden von mehreren Punkten in dem aufgenommenen linken und rechten Bild bestimmt wird und eine Entfernung zu jedem der mehreren Punkte in dem aufgenommenen linken und rechten Bild mittels Disparität trianguliert wird.
Tiefenkamera nach Anspruch 1: wobei die Tiefenkamera eine gestützte oder aktive stereoskopische Tiefenbestimmung über eine optische Projektion durchführen soll, die vom VCSEL-Projektor abgestrahlt wird, um die Szene mit einem Texturmuster auszuleuchten; wobei die gestützte oder aktive stereoskopische Tiefenbestimmung eine wahrnehmbare Textur im Infrarotlichtbereich ergibt, anhand deren die stereoskopischen Bilderfassungsvorrichtungen der Tiefenkamera stereoskopische Bilder mit der wahrnehmbaren Textur aufnehmen, um die Korrespondenzbestimmung durch die Verarbeitungsschaltungen für eine Szene zu verbessern, die nicht genügend natürliche Textur aufweist, nach der eine Korrespondenz zuverlässig bestimmt werden könnte.
Tiefenkamera nach Anspruch 1, wobei der VCSEL-Projektor eine Mikrolinsenanordnung umfasst, um die mehreren von einer VCSEL-Anordnung des VCSEL-Projektors abgestrahlten Infrarotstrahlen zu einem Mittelpunkt der beweglichen Linse zu lenken, bevor die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um das projizierte Muster auf der Szene zu bilden.
Tiefenkamera nach Anspruch 1, wobei die bewegliche Linse dynamisch das auf die Szene projizierte Muster verändert, indem der Fokus der beweglichen Linse verändert wird, um die Brechung des projizierten Musters zu verstärken oder zu verringern.
Tiefenkamera nach Anspruch 1, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse in voller Fokussierung durch die bewegliche Linse projiziert werden, um eine kontrastreiche Darstellung des projizierten Musters, das auf die Szene projiziert wird, zu erzielen, oder alternativ durch die bewegliche Linse in voller Defokussierung durch die bewegliche Linse projiziert werden, um eine kontrastarme und vollständig diffuse Darstellung des projizierten Musters, das auf die Szene projiziert wird, zu erzielen.
Tiefenkamera nach Anspruch 1, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert und durch die bewegliche Linse vollständig defokussiert werden, um eine gleichmäßige Ausleuchtung der Szene für einen Tiefenbestimmungsalgorithmus einer Gesichtserkennung bereitzustellen.
Tiefenkamera nach Anspruch 1, wobei die bewegliche Linse einen Fokus des projizierten Musters, das auf die Szene projiziert wird, basierend auf einer Menge von Umgebungslicht in der Szene verändert.
Tiefenkamera nach Anspruch 1, wobei die bewegliche Linse einen Fokus des projizierten Musters, das auf die Szene projiziert wird, gemäß einem ausgewählten Tiefenbestimmungsalgorithmus verändert, wobei der ausgewählte Tiefenbestimmungsalgorithmus für näher zur Tiefenkamera gelegene Objekte optimiert ist oder alternativ für weiter von der Tiefenkamera entfernte Objekte optimiert ist.
Tiefenkamera nach Anspruch 1: wobei die Tiefenkamera in einer Drohne oder einem selbstnavigierenden Roboter ausgeführt ist; wobei Verarbeitungsschaltungen iterativ zwischen einem Nahfeld-Tiefenbestimmungsalgorithmus und einem Fernfeld-Tiefenbestimmungsalgorithmus rotieren; und wobei die Verarbeitungsschaltungen die bewegliche Linse anweisen, den Fokus des projizierten Musters, das durch die bewegliche Linse auf die Szene projiziert wird, gemäß einem Fokussierungsgrad iterativ zu ändern, der jeweils für den Nahfeld-Tiefenbestimmungs- bzw. den Fernfeld-Tiefenbestimmungsalgorithmus optimiert ist.
Tiefenkamera nach Anspruch 1, wobei die Verarbeitungsschaltungen eine Einstellung für Umgebungsbeleuchtung und Reflexionseigenschaften der Szene vornehmen sollen, indem ein Kontrast des projizierten Musters, das auf die Szene projiziert wird, erhöht oder verringert wird oder ein Fokus des projizierten Musters, das auf die Szene projiziert wird, über die bewegliche Linse erhöht oder verringert wird.
Tiefenkamera nach Anspruch 1: wobei die Verarbeitungsschaltungen Flecken in der Szene reduzieren sollen, indem eine Bewegung in der durch die stereoskopischen Bilderfassungsvorrichtungen aufgenommenen Szene dadurch simuliert wird, dass das projizierte Muster, das auf die Szene projiziert wird, über die bewegliche Linse iterativ fokussiert und defokussiert wird.
Tiefenkamera nach Anspruch 1: wobei die bewegliche Linse Flecken in der Szene reduzieren soll, indem eine seitliche Bewegung der beweglichen Linse induziert wird, die eine iterative Verschiebung des projizierten Musters, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird, bewirkt.
Tiefenkamera nach Anspruch 1: wobei die bewegliche Linse Flecken in der Szene reduzieren soll, indem die mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen durch die bewegliche Linse gelenkt werden, um eine Bewegung des projizierten Musters zu induzieren, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird.
Tiefenkamera nach Anspruch 1, ferner eine RGB (Rot, Grün, Blau)-Kamera umfassend, um Bilder der Szene im sichtbaren Lichtbereich aufzunehmen.
Tiefenkamera nach Anspruch 1, wobei die Tiefenkamera mit einem der Folgenden ausgeführt ist: einem Gestensteuerungsmodul für einen Computer; einem 3D-Fotografiemodul einer 3D-Kamera; einem immersiven 3D-Spielmodul einer Spielplattform; einem Gesichtserkennungsmodul zur Durchführung von Sicherheitsprüfungen auf Basis einer Gesichtserkennung anstatt alphanumerischer Passwörter; einem Drohnennavigation-Steuerungsmodul; einem Roboternavigation-Steuerungsmodul; einem Smartphone; und einem Tablet.
Verfahren in einer Tiefenkamera, wobei das Verfahren umfasst: Abstrahlen mehrerer Infrarotstrahlen über einen Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor); Lenken der mehreren Infrarotstrahlen durch eine bewegliche Linse der Tiefenkamera, wobei die bewegliche Linse den Fokus der mehreren Infrarotstrahlen kontrolliert, die vom VCSEL-Projektor abgestrahlt werden; Projizieren der mehreren vom VCSEL abgestrahlten und durch die bewegliche Linse projizierten Infrarotstrahlen, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert ist, über stereoskopische Bilderfassungsvorrichtungen der Tiefenkamera, und Bestimmen der Tiefe eines Objekts in der Szene basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster darin dargestellt.
Verfahren nach Anspruch 22, ferner umfassend: dynamisches Verändern des projizierten Musters, das auf die Szene projiziert wird, indem der Fokus der beweglichen Linse verändert wird, um die Brechung des projizierten Musters zu verstärken oder zu verringern; und Reduzieren von Flecken in der Szene, indem eine Bewegung des projizierten Musters, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird, dadurch induziert wird, dass das projizierte Muster, das auf die Szene projiziert wird, über die bewegliche Linse iterativ fokussiert und defokussiert wird, oder indem eine seitliche Bewegung der beweglichen Linse induziert wird, die eine iterative Verschiebung des projizierten Musters, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird, bewirkt, oder indem die mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen durch die bewegliche Linse gelenkt werden, um eine Bewegung des projizierten Musters zu induzieren, das auf die von den stereoskopischen Bilderfassungsvorrichtungen aufgenommene Szene projiziert wird.
Kameragehäusebaugruppe, umfassend: ein Kameragehäuse ; eine Batterie; eine Anzeige; einen Prozessor und einen Speicher zur Ausführung von Logik oder Anweisungen; eine Linsenmontagebaugruppe, wobei die Linsenmontagebaugruppe eine oder mehrere optische Komponenten und komplementäre Metalloxid-Halbleiter (Complementary Metal Oxide Semiconductor, CMOS)-Komponenten aufweist; und eine Tiefenkamerabaugruppe-Leiterplatte (Printed Circuit Board, PCB), auf der Folgendes montiert ist: ein Vertical-Cavity-Surface-Emitting-Laserprojektor (VCSEL-Projektor), um mehrere Infrarotstrahlen abzustrahlen; eine bewegliche Linse, um den Fokus der mehreren vom VCSEL-Projektor abgestrahlten Infrarotstrahlen zu kontrollieren, wobei die mehreren Infrarotstrahlen durch die bewegliche Linse projiziert werden, um ein projiziertes Muster zu bilden, das auf eine Szene projiziert wird; stereoskopische Bilderfassungsvorrichtungen zum Aufnehmen stereoskopischer Bilder von der Szene, auf die das projizierte Muster projiziert wird; und Verarbeitungsschaltungen, um eine Tiefe eines Objekts in der Szene zu bestimmen, basierend auf den aufgenommenen stereoskopischen Bildern der Szene mit dem projizierten Muster, das darin wie vom VCSEL-Projektor projiziert dargestellt ist.
Kameragehäusebaugruppe nach Anspruch 24: wobei das Kameragehäuse eines der Folgenden umfasst: ein Gestensteuerungssystem, ein 3D-Fotografiesystem, ein immersives 3D-Spielsystem, ein Gesichtserkennungssystem zur Durchführung von Sicherheitsprüfungen auf Basis einer Gesichtserkennung anstatt alphanumerischer Passwörter, ein Drohnen- oder Robotersteuerungssystem, ein Tiefenmesskamerasystem zur Durchführung einer beliebigen Tiefenmessung bei der stereoskopischen Bildgebung, eine handgehaltene eigenständige Kamera, eine Tablet-Computervorrichtung und ein handgehaltenes Smartphone; und wobei die Tiefenkamerabaugruppe-PCB von einem Erstausrüster (Original Equipment Manufacturer, OEM) des Gestensteuerungssystems, des 3D-Fotografiesystems, des immersiven 3D-Spielsystems, des Gesichterkennungssystems, des Drohnen- oder Robotersteuerungssystems, des Tiefenmesskamerasystems, der handgehaltenen eigenständigen Kamera, der Tablet-Computervorrichtung oder des handgehaltenen Smartphones in das Kameragehäuse integriert wird.