-
Gebiet der Erfindung
-
Das Gebiet der Erfindung betrifft generell Computersystemperipherievorrichtungen und insbesondere ein integriertes Kamerasystem mit zweidimensionaler Bilderfassung und dreidimensionaler Laufzeiterfassung mit beweglicher beleuchteter Region von Interesse.
-
Allgemeiner Stand der Technik
-
Viele vorhandene Computersysteme umfassen eine herkömmliche Kamera als eine integrierte Peripherievorrichtung. Ein gegenwärtiger Trend besteht daraus, Computersystembildgebungsvermögen durch Integrieren von Tiefenerfassung in die Bildgebungskomponenten zu verbessern. Tiefenerfassung kann beispielsweise verwendet werden, um verschiedene intelligente Objekterkennungsfunktionen wie Gesichtserkennung (z. B. zur sicheren Systementsperrung) oder Handgestenerkennung (z. B. für berührungslose Benutzerschnittstellenfunktionen) auszuführen.
-
Eine Herangehensweise zur Tiefeninformationserfassung, die als „Laufzeit-“Bildgebung bezeichnet wird, emittiert Licht von einem System auf ein Objekt und misst für jedes von mehreren Pixeln eines Bildsensors, die Zeit zwischen der Emission des Lichts und dem Empfangen seines Spiegelbildes am Sensor. Das von den Laufzeitpixeln erzeugte Bild entspricht einem dreidimensionalen Profil des Objekts, wie gekennzeichnet, durch eine einzigartige Tiefenmessung (z) an jeder von den unterschiedlichen (x, y) Pixelpositionen.
-
Da viele Computersysteme mit Bildgebungsvermögen in der Art mobil sind (z. B. Laptops, Tabletcomputer, Smartphones usw.), stellt die Integration einer Lichtquelle („Beleuchter“) in das System, um einen Laufzeitbetrieb zu erreichen, eine Anzahl von Designherausforderungen wie beispielsweise Herausforderungen bezüglich Kosten, Packaging und/oder Energieverbrauch.
-
Kurzdarstellung
-
Es wird eine Vorrichtung mit einem integrierten zweidimensionalen Bilderfassungs- und dreidimensionalen Laufzeittiefenerfassungssystem beschrieben. Das integrierte System umfasst einen Beleuchter zum Erzeugen von Licht für das Laufzeittiefenerfassungssystem. Der Beleuchter umfasst eine Anordnung (Array) von Lichtquellen und eine bewegliche Linsenbaugruppe. Die bewegliche Linsenbaugruppe dient dazu, einen emittierten Strahl des Lichts auf einen von irgendwelchen von mehreren Orten innerhalb des Sichtfelds des Beleuchters beweglich zu richten, um eine beleuchtete Region von Interesse innerhalb des Sichtfelds des Beleuchters zu bilden. Die beleuchtete Region von Interesse weist eine Größe auf, die kleiner ist als das Sichtfeld des Beleuchters.
-
Figuren
-
Die folgende Beschreibung und die begleitenden Zeichnungen werden verwendet, um Ausführungsformen der Erfindung zu veranschaulichen. In den Zeichnungen:
-
1a zeigt einen Beleuchter und sein Sichtfeld;
-
1b zeigt eine erste beleuchtete Region von Interesse;
-
1c zeigt eine zweite beleuchtete Region von Interesse;
-
1d zeigt Scannen einer beleuchteten Region von Interesse;
-
1e zeigt unterschiedlich dimensionierte beleuchtete Regionen von Interesse;
-
2a zeigt eine Seitenansicht eines Beleuchters, der fähig ist, eine Region von Interesse zu beleuchten und die beleuchtete Region von Interesse zu scannen.
-
2b zeigt eine Draufsicht des Beleuchters von 2a;
-
3a veranschaulicht das Ändern der Größe der beleuchteten Region von Interesse durch Anpassen des Abstandes zwischen einer Linse und einer Lichtquellenanordnung;
-
3b veranschaulicht, dass die Richtung eines emittierten Strahls durch Anpassen des seitlichen Versatzes einer Linse in Bezug auf eine Lichtquellenanordnung bestimmt werden kann;
-
3c veranschaulicht, dass die Richtung eines emittierten Strahls durch Neigen des Winkels einer Linse bestimmt werden kann;
-
4a zeigt eine bewegliche Linsenbaugruppe, um eine Linse vertikal in Bezug auf eine Lichtquellenanordnung zu bewegen;
-
4b zeigt eine bewegliche Linsenbaugruppe, um eine Linse vertikal und seitlich in Bezug auf eine Lichtquellenanordnung zu bewegen;
-
4c zeigt eine bewegliche Linsenbaugruppe, um eine Linse relativ zu einer Lichtquellenanordnung zu neigen;
-
5a zeigt eine Ausführungsform einer integrierten Kamera, die herkömmliche 2D-Bilderfassungs- als auch 3D-Laufzeitbilderfassungsfunktionen aufweist.
-
5b zeigt ein Verfahren, das durch das System von 5a ausgeführt wird;
-
6 zeigt eine Ausführungsform eines Computersystems.
-
Ausführliche Beschreibung
-
Ein „intelligente Beleuchtung“-Laufzeitsystem adressiert einige der vorstehend angegebenen Designherausforderungen. In der folgenden Beschreibung wird verdeutlicht, dass ein „intelligente Beleuchtung“-Laufzeitsystem Licht nur auf eine „Region von Interesse“ innerhalb des Sichtfelds des Beleuchters emittieren kann. Infolgedessen ist die Intensität des emittierten optischen Signals stark genug, um ein detektierbares Signal am Bildsensor zu erzeugen, während zur gleichen Zeit der Stromverbrauch des Beleuchters von der Stromversorgung des Computersystems nicht beträchtlich ist.
-
Eine Herangehensweise für eine intelligente Beleuchtung ist, eine bewegliche Objektivlinse zu verwenden, um divergierendes Licht von einer Anordnung (Array) von Lichtquellen in einen intensiveren Lichtstrahl, der auf verschiedene Regionen von Interesse innerhalb des Sichtfelds des Beleuchters gerichtet werden kann, zu sammeln und zu konzentrieren. Eine Übersicht von einigen Merkmalen dieser bestimmten Herangehensweise wird unmittelbar nachfolgend in Bezug auf die 1a bis 1d beschrieben.
-
Unter Bezugnahme auf 1a besitzt ein Beleuchter 101 ein Sichtfeld 102, über das er Licht scheinen lassen kann. In bestimmten Situationen und/oder wenn er zur Unterstützung bestimmter Anwendungen betrieben wird, kann der Beleuchter 101 Licht nur auf eine kleinere Region innerhalb des Sichtfelds 102 richten. Als ein Beispiel wird unter Bezugnahme auf 1b nur die Region 103 innerhalb des Sichtfelds 102 beleuchtet. Zum Vergleich wird, wie in 1c ersichtlich, nur die Region 104 innerhalb des Sichtfelds beleuchtet. Bei verschiedenen Ausführungsformen kann wie nachfolgend ausführlicher beschrieben die beleuchtete Region auf im Wesentlichen jeden Ort innerhalb des Sichtfelds 102 gerichtet werden.
-
Eine Herausforderung, welche die „intelligente Beleuchtung“ adressiert, ist der Wunsch, ein optisches Signal mit ausreichender Stärke zu emittieren, um ein detektierbares Signal am Bildsensor zu erzeugen, während gleichzeitig übermäßiger Energieverbrauch durch die Lichtquelle, die das emittierte Licht erzeugt, vermieden wird. Eine Herangehensweise besteht daher daraus, den natürlichen Emissionswinkel der physikalischen Lichtquelle(n) (z. B. LED(s) oder Laser) durch Sammeln und Konzentrieren ihres divergierenden Lichts durch eine Objektivlinse effektiv zu reduzieren, um weniger divergierendes Licht (wie kollimiertes oder fokussierteres Licht) zu erzeugen. Das absichtliche Formen eines weniger divergierenden emittierten Strahls in einen schmaleren Strahl konzentriert effektiv größere optische Signalleistung auf eine kleinere Region von Interesse 103, 104 innerhalb des Sichtfelds des Beleuchters.
-
Zusätzlich kann in Fällen, in denen eine größere Größe der beleuchteten Region gewünscht wird, intelligente Beleuchtungstechnik den größeren Bereich mit einer kleineren beleuchteten Region „scannen“. Wenn beispielsweise wie in 1d ersichtlich eine Anwendung wünscht, einen größeren Bereich 105 innerhalb des Sichtfelds 102 zu beleuchten, kann der Beleuchter die Region 105 durch Scannen einer kleiner dimensionierten beleuchteten Region über den Bereich 105 effektiv beleuchten. Wie in 1d dargestellt ist zur Zeit t1 die beleuchtete Region am Ort 106 zentriert, zur Zeit t2 ist die beleuchtete Region am Ort 107 zentriert, zur Zeit t3 ist die beleuchtete Region am Ort 108 zentriert und zur Zeit t4 ist die beleuchtete Region am Ort 109 zentriert. Solange die vom Sensor aufgenommenen Informationen als sich über einen Zeitraum erstreckend verstanden werden, der sich annähernd von der Zeit t1 zur Zeit t4 erstreckt, kann die Beleuchtung der größer dimensionierten Region 105 eingeschlossen werden, obwohl eine kleiner dimensionierte Beleuchtungsregion verwendet wurde.
-
Weiter noch kann wie in 1e ersichtlich bei verschiedenen Ausführungsformen die Größe der beleuchteten Region 110, 111 selbst variiert werden. Generell kann eine größere beleuchtete Region-Größe proportional in dem Ausmaß toleriert werden, in dem eine schwächere Empfangssignalstärke am Sensor toleriert werden kann (z. B. befindet sich das Objekt von Interesse näher am Beleuchter, es gibt weniger in Konflikt stehendes Umgebungslicht usw.), und/oder in dem das Ausmaß, in dem der höhere Systemstromverbrauch von der Stromversorgung toleriert werden kann. Je größer die beleuchtete Region ist, desto geringer wäre natürlich die Scanaktivität, die durch den Beleuchter ausgeführt werden muss, um eine größere Region von Interesse effektiv zu beleuchten. Denkbar ist, dass einige Situationen ermöglichen können, dass eine einzelne beleuchtete Region ausreichend groß ist, um das gesamte Sichtfeld 102 auszufüllen.
-
Daher konzentriert zusammenfassend der Beleuchter 101 von 1a die Lichtleistung seiner Lichtquelle(n) über einer kleineren Beleuchtungsregion, um die Empfangssignalstärke am Empfänger zu verstärken. Da der Beleuchter 101 eine kleinere Region beleuchtet, ist der Beleuchter mit der Fähigkeit konzipiert, die kleinere beleuchtete Region zu verschiedenen Orten innerhalb des Sichtfelds 102 zu bewegen. Unter gewissen Umständen kann der Beleuchter 101 die kleinere beleuchtete Region über einen größeren Flächenbereich scannen, um den größeren Flächenbereich effektiv zu beleuchten. Zusätzlich kann der Beleuchter 101 konzipiert sein, die Größe der beleuchteten Region anzupassen.
-
Welche Region des Sichtfelds zu beleuchten ist, welche Größe die beleuchtete Region haben muss, und ob irgendein Scannen auszuführen ist oder nicht, ist eine Funktion des bestimmten Zustands/ der Situation des Computersystems und/oder der bestimmten Anwendung, die es ausführt. Beispiele von einigen Situationen/Zuständen/Anwendungen umfassen, um nur einige zu nennen, intelligentes Erkennen des Gesichts einer Person (z. B. für den sicheren Zugang zum Computersystem) oder intelligentes Erkennen die Formation der Hand einer Person (z. B. für eine Benutzerschnittstelle des Computersystems, das Handbewegungserkennung unterstützt). Hier ist das Gesicht oder die Hand der Person („das Objekt von Interesse“) geeignet, nur einen Abschnitt des Sichtfelds 102 zu verbrauchen.
-
Die 2a und 2b zeigen unterschiedliche perspektivische Ansichten einer Ausführungsform eines Beleuchters 201 mit einer Objektivlinse 202, deren mechanische Vorrichtung einen oder mehrere elektromechanische Motoren 203 umfasst, welche die Objektivlinse 202 in verschiedenen Freiheitsgraden (abhängig von der Implementierung) mit Bewegung versehen. Eine Lichtquellenanordnung 204 (Lichtquellenarray) befindet sich unter der Objektivlinse 202. Wenn die Lichtquellen der Lichtquellenanordnung 204 im Betrieb „ein“ sind, wird das durch die Lichtquellenanordnung 204 emittierte Licht von der Linse 202 als eine Funktion des Positionierens der Linse 202 relativ zur Lichtquellenanordnung 204 gesammelt, geformt und gelenkt.
-
Die Lichtquellenanordnung 204 kann beispielsweise als eine Anordnung (Array) von Licht emittierenden Dioden (LEDs) oder Lasern wie Vertical Cavity Surface Emitting Laser (VCSELs) implementiert sein. Bei einer Ausführungsform sind die verschiedenen Lichtquellen der Anordnung auf einem gleichen Halbleiterchipsubstrat integriert. Bei einer typischen Implementierung emittieren die Lichtquellen der Anordnung nicht sichtbares (z. B. Infrarot-(IR))-Licht, sodass das reflektierte Laufzeitsignal die herkömmliche Bilderfassung mit sichtbarem Licht des Computersystems nicht stört. Zusätzlich kann bei verschiedenen Ausführungsformen jede der Lichtquellen innerhalb der Anordnung mit der gleichen Anode und der gleichen Kathode verbunden sein, sodass alle Lichtquellen innerhalb der Anordnung entweder alle ein oder alle aus sind (alternative Ausführungsformen könnten konzipiert sein, zu ermöglichen, dass Untergruppen von Lichtquellen innerhalb einer Anordnung zusammen ein-/ausgeschaltet werden).
-
Eine Anordnung (Array) von Lichtquellen tendiert dazu, gleichförmigeres Licht zu emittieren als eine einzelne Lichtquelle. Hier tendiert jede Lichtquelle (wie eine einzelne LED oder ein VCSEL) selbst dazu, nicht gleichförmiges Licht zu emittieren. D. h., dass der Flächenbereich einer Region, die durch eine einzelne LED oder ein VCSEL beleuchtet wird, dazu tendiert, hellere Stellen und dunklere Stellen aufzuweisen. Durch das Integrieren einer Anzahl von Lichtquellen in einer Anordnung (Array) tendiert von unterschiedlichen Vorrichtungen emittiertes Licht dazu, sich zu überlappen, was in dunklen Stellen von einigen Lichtquellen resultiert, die durch die hellen Stellen von anderen bestrahlt werden. Als solches tendiert das gesamte von der Anordnung emittierte Licht dazu, ein gleichförmigeres Intensitätsprofil aufzuweisen.
-
Um die Emission von gleichförmigem Licht weiter zu fördern, kann der Beleuchter optional einen Diffusor 205 umfassen. Licht wird gestreut, während es sich durch den Diffusor 205 ausbreitet, was in gleichförmigerem Licht resultiert, das den Diffusor 205 verlässt, als Licht, das in den Diffusor 205 eintritt. Obwohl der Diffusor 205 in 2 als zwischen der Objektivlinse 202 und der Austrittsöffnung des Beleuchters 201 befindlich dargestellt ist, ist es denkbar, dass sich der Diffusor 205 irgendwo entlang dem optischen Weg des Beleuchters 201 befinden kann.
-
Zusätzlich ist, wie vorstehend in Bezug auf die 1a bis 1e beschrieben, zu beachten, dass die individuellen Lichtquellen typischerweise einen weiten emittierten Lichtdivergenzwinkel 206 aufweisen. Der weite Divergenzwinkel 206 der individuellen Lichtquellen resultiert in einem weiten Divergenzwinkel der Lichtquellenanordnung 204 als Ganzes. Wie in 2a ersichtlich, sammelt die Objektivlinse 202 das divergierende Licht der Lichtquellenanordnung 204 und bildet einen Strahl aus emittiertem Licht 207, der kollimiert ist oder konvergiert oder mindestens einen kleineren Divergenzwinkel aufweist.
-
Das Sammeln von divergierendem Licht der Lichtquellenanordnung 204 und das Bilden eines Strahls von stärker gebündeltem Licht erhöht die optische Intensität pro Flächeneinheit des emittierten Strahls, was wiederum in einem stärkeren Empfangssignal am Sensor resultiert. Gemäß einer Berechnung wird das Reduzieren des Divergenzwinkels des emittierten Strahls auf 30° die Signalstärke am Sensor um einen Faktor von 4,6 erhöhen, wenn der Divergenzwinkel 206 von der Lichtquellenanordnung 60° beträgt. Das Reduzieren des Divergenzwinkels des emittierten Strahls auf 20° wird die Signalstärke am Sensor um einen Faktor von 10,7 erhöhen.
-
Das Verstärken der empfangenen Signalstärke am Sensor durch optische Konzentration des von der Lichtquellenanordnung 204 emittierten Lichts (im Gegensatz dazu, einfach Licht mit höherer Intensität von der Lichtquellenanordnung 204 zu emittieren) konserviert Batterielebensdauer, da die Lichtquellenanordnung 204 fähig sein wird, ein Objekt von Interesse ausreichend zu beleuchten, ohne signifikante Mengen an Strom zu verbrauchen.
-
Die 3a bis 3c stellen einige grundlegende Beispiele/Ausführungsformen dessen bereit, wie die Größe und der Ort der beleuchteten Region durch die Manipulation des Positionierens der Objektivlinse 202 beeinflusst werden können.
-
Wie in 3a ersichtlich, kann die Größe der beleuchteten Region 310 durch Variieren des vertikalen Abstandes 312 zwischen der Objektivlinse und der Lichtquellenanordnung angepasst werden. Wie vorstehend beschrieben, bildet die Objektivlinse einen kollimierteren Strahl von einer divergierenden Lichtquelle. Da sich die Linse von der Anordnung (3a(i)) weiter wegbewegt, wird ein breiterer Radius des divergierenden Lichts der Lichtquellenanordnung durch die Linse gesammelt, was in einer emittierten Strahlform mit einer weiteren Breite 310 resultiert. Während die Linse sich näher an die Anordnung (3a(ii)) heranbewegt, wird im umgekehrten Fall ein kleinerer Radius des divergierenden Lichts von der Lichtquellenanordnung durch die Linse gesammelt, was in einer emittierten Strahlform mit einer schmaleren Breite resultiert. Mechanische Konstruktionen mit elektromechanischer Motorisierung für eine vertikale Linsenbewegung, wie direkt zuvor in Bezug auf 3a beschrieben, werden nachfolgend bereitgestellt. Bei einer Ausführungsform ist die Linse am nahesten an der Lichtquellenanordnung angeordnet, wenn das gesamte Sichtfeld zu beleuchten ist.
-
Wie in 3b ersichtlich, kann der Ort der beleuchteten Region innerhalb des Sichtfelds durch Variieren des horizontalen Orts der Objektivlinse relativ zur Lichtquellenanordnung angepasst werden. Bei der spezifischen Herangehensweise von 3b ist die Position der Lichtquellenanordnung feststehend und die Objektivlinse wird steuerbar entlang einer Ebene 320 bewegt, die sich parallel zu und über die Fläche der Lichtquellenanordnung befindet. Generell gilt, dass der Zeigewinkel des vom Beleuchter emittierten Strahls umso größer ist, je größer der Ausrichtungsfehler zwischen der Linse und der Lichtquellenanordnung ist (wie gemessen entlang der Ebene 320). Des Weiteren bestimmt die Richtung des Ausrichtungsfehlers die Zeigerichtung des emittierten Strahls. Der Ausrichtungsfehler erzeugt beispielsweise wie in 3b(i) ersichtlich in einer ersten Richtung einen Strahl, der entlang einer ersten Strahlrichtung zeigt. Zum Vergleich erzeugt der Ausrichtungsfehler in einer zweiten entgegengesetzten Richtung, wie in 3b(ii) ersichtlich, einen Strahl, der entlang einer zweiten Strahlrichtung zeigt, die der ersten Strahlrichtung entgegengesetzt ist. Mechanische Konstruktionen mit elektromechanischer Motorisierung für die horizontale Linsenbewegung, wie gerade vorstehend in Bezug auf 3b beschrieben, werden nachfolgend bereitgestellt.
-
Alternativ oder in Kombination mit der Herangehensweise von 3b kann wie in 3c ersichtlich der Ort der beleuchteten Region innerhalb des Sichtfelds auch durch Variieren des Neigungswinkels der Objektivlinse angepasst werden. D. h., ein Neigen der Linse veranlasst den Strahl, in eine Richtung zu zeigen, die sich nach außen entlang der Senkrechten 330 von der Außenfläche der Linse erstreckt. Mechanische Konstruktionen mit elektromechanischer Motorisierung zum Induzieren von Linsenneigung, wie direkt zuvor in Bezug auf 3c beschrieben, werden ebenfalls nachfolgend bereitgestellt.
-
4a zeigt eine detailliertere bewegliche Linsenbaugruppe zum Anpassen des vertikalen Abstands der Objektivlinse 402 von der Lichtquellenanordnung 404 (Lichtquellenarray). Wie in 4a ersichtlich, kann ein Schwingspulenmotor bestehend aus einem höhenbeweglichen Innenelement 410 mit einer Federrückholung 411 und einem hohlen Außenelement 412 verwendet werden, wenn die Objektivlinse 402 innerhalb des höhenbeweglichen Innenelements 410 aufgenommen ist. Die Objektivlinse 402, die am Innenelement 410 befestigt ist, bewegt sich vertikal mit dem Innenelement 410, dessen senkrechte Lage entlang der z-Achse durch die Motorkraft definiert ist, die durch das Innenelement 410 gegen die Rückholfedern 411 ausgeübt wird. Die Motorkraft ist durch eine an der Spule des Motors angelegte Spannung definiert. Bei einer typischen Implementierung ist die Spule in das Innenelement 410 integriert und das Außenelement 412 umfasst einen Dauermagneten. Ein Magnetfeld, das auf einen durch die Spule getriebenen Strom anspricht, interagiert mit dem Magnetfeld des Dauermagneten, das die auf das Innenelement angewandte Kraft bestimmt.
-
Hier weisen Schwingspulenmotoren mit Federrückholung typischerweise eine direkte Strom-Position-Beziehung auf und erfordern daher keinen Positionssensor für eine Regelung. Zur Zeichnungsvereinfachung umgibt ein Gehäuse den Schwingspulenmotor, gegen das die Rückholfedern 411 pressen, wenn sich das Innenelement 410 entlang der z-Achse höher erstreckt. Bei einer alternativen Ausführungsform können sich die Rückholfedern unter dem Motor befinden und gegen das Substrat pressen, an dem der Lichtquellenanordnungschip (Lichtquellenarraychip) befestigt ist. In diesem Fall sollte der Durchmesser des Innenelementes größer als die Breite des Lichtquellenanordnungshalbleiterchips (Lichtquellenarrayhalbleiterchip) sein.
-
4b zeigt eine bewegliche Linsenbaugruppe zum Anpassen der seitlichen Position der Objektivlinse 402 relativ zur Lichtquellenanordnung 404. Wie in 4b ersichtlich, wird ein Paar von Stellgliedschwingspulenmotoren 421, 422 jedes mit einer Federrückholung 423, 424 verwendet, um die Position der Objektivlinse 402 in jeder der x- und y-Dimensionen entsprechend zu definieren. D. h., ein Schwingspulenmotor 421 und eine Rückholfeder 423 stellen die x-Position der Linse 402 her und der andere Schwingspulenmotor 422 und die andere Rückholfeder 424 stellen die y-Position der Linse 402 her. Die Kräfte der Federn und Motoren werden physikalisch gegen das Außenelement 412 des vertikalen Elements ausgeübt. Obwohl zur Zeichnungsvereinfachung das Außenelement 412 wie in 4b dargestellt eine zylindrische äußere Form aufweist, kann es in Wirklichkeit quadratisch/rechteckig sein, sodass die Stellglieder 421, 422 eine bündige Kraft gegen das Außenelement an achsenentfernten Positionen der Linse 402 ausüben können.
-
4c zeigt eine bewegliche Linsenbaugruppe zum Anpassen des Neigungswinkels der Linse. Hier wird ein Paar von Schwingspulenmotoren 431, 432 bei dem jeder mit einer Federrückholung 433, 434 versehen ist, als Stellglied verwendet, um die vertikale Position von jedem von zwei Punkten entlang der Außenkante der Linse 402 zu definieren. Der Neigungswinkel der Linse 402 über die y-Achse ist im Wesentlichen durch die Kraft eines ersten Motors 431 definiert, wie sie gegen seine Rückholfeder 433 ausgeübt wird. Der Neigungswinkel der Linse 402 über die x-Achse wird im Wesentlichen durch die Kraft eines ersten Motors 432 definiert, wie sie gegen seine Rückholfeder 434 ausgeübt wird. Aus diesen grundlegenden Szenarien kann jeder Neigungswinkel für die Linse als eine Funktion der entsprechenden Kräfte, die durch die Motoren ausgeübt werden, und die entgegenwirkenden Kräfte, die durch die Federn ausgeübt werden, festgestellt werden.
-
Zusätzlich kann die Vertikalpositionierung der Linse 402 durch gleichmäßiges Betätigen der zwei Motoren 431, 432 hergestellt werden. D. h., wenn sich beide Motoren 431, 432 um ein gleiches Maß nach außen erstrecken, wird die Linse in der +z-Richtung angehoben. Wenn beide Motoren 431, 432 um ein gleiches Maß nach innen einfahren, wird die Linse in z-Richtung abgesenkt. Ein oder mehrere zusätzliche Schwingspulenmotorstellglieder können entlang dem Umfang der Linsenfassung angeordnet sein, um sowohl den Neigungswinkel als auch die Vertikalpositionierung der Linse (z. B. drei um 120° beabstandete Stellglieder, vier um 90° beabstandete Stellglieder usw.) weiter zu stabilisieren.
-
Obwohl die vorstehende Erörterung die Verwendung von Schwingspulenmotoren hervorgehoben hat, können andere Ausführungsformen andere Vorrichtungen wie piezoelektrische Stellglieder oder Schrittmotoren verwenden.
-
5 zeigt eine integrierte herkömmliche Kamera und ein Laufzeitbildgebungssystem 500. Das System weist einen Anschluss 501 auf, um elektrischen Kontakt, z. B. mit einer größeren System-/Hauptplatine herzustellen, wie beispielsweise der System-/Hauptplatine eines Laptopcomputers, Tabletcomputers oder Smartphones. Abhängig vom Layout und der Implementierung kann der Anschluss 501 mit einem flexiblen Kabel verbinden, das z. B. eine tatsächliche Verbindung mit der System-/Hauptplatine herstellt, oder der Anschluss 501 kann direkten Kontakt mit der System-/Hauptplatine herstellen.
-
Der Anschluss 501 ist an einer Grundplatine 502 angebracht, die als eine mehrschichtige Struktur von abwechselnden leitenden und isolierenden Schichten implementiert sein kann, wobei die leitenden Schichten strukturiert sind, elektronische Spuren zu bilden, welche die internen elektrischen Verbindungen des Systems 500 unterstützen.
-
Ein integrierter „RGBZ“-Bildsensor 503 ist an der Grundplatine 502 befestigt. Der integrierte RGBZ-Sensor umfasst unterschiedliche Arten von Pixeln, von denen einige für sichtbares Licht empfindlich sind (z. B. eine Untergruppe von R-Pixeln, die für rotes sichtbares blaues Licht empfindlich sind, eine Untergruppe von G-Pixeln, die für sichtbares grünes Licht empfindlich sind, und eine Untergruppe von B-Pixeln, die für blaues Licht empfindlich sind) und andere, die für IR-Licht empfindlich sind. Die RGB-Pixel werden verwendet, um herkömmliche Erfassungsfunktionen eines sichtbaren „2D“-Bildes (herkömmliche Bildaufnahme) zu unterstützen. Die IR-empfindlichen Pixel werden verwendet, um IR-2D-Bilderfassung und 3D-Tiefenprofilbildgebung unter Verwendung von Laufzeitmethoden zu unterstützen. Obwohl eine grundlegende Ausführungsform RGB-Pixel für die Aufnahme eines sichtbaren Bildes umfasst, können andere Ausführungsformen unterschiedliche gefärbte Pixelschemen (z. B. Cyan, Purpur und Gelb) verwenden.
-
Der integrierte Bildsensor 503 kann auch für die IR-empfindlichen Pixel spezielle Signalleitungen oder andere Schaltungen umfassen, um Laufzeitdetektierung zu unterstützen einschließlich z. B. Taktungssignalleitungen und/oder andere Signalleitungen, die das Timing des Empfangs von IR-Licht anzeigen (im Hinblick auf das Timing der Emission des IR-Lichts von der Lichtquellenanordnung 505).
-
Der integrierte Bildsensor 503 kann auch eine Anzahl von Analog-Digital-Wandlern (ADCs) umfassen, um die analogen Signale, die von den RGB-Pixeln des Sensors empfangen werden, in digitale Daten umzuwandeln, die für das sichtbare Bildmaterial vor dem Kameralinsenmodul 504 repräsentativ sind. Die Grundplatine 502 kann Signalspuren umfassen, um digitale Informationen zu transportieren, die durch die ADC-Schaltungen an den Anschluss 501 zum Verarbeiten durch eine höhere Endkomponente des Computersystems wie eine Bildsignalverarbeitungspipeline (die z. B. in einem Anwendungsprozessor integriert ist) bereitgestellt werden.
-
Ein Kameralinsenmodul 504 ist über dem integrierten RGBZ-Bildsensor 503 integriert. Das Kameralinsenmodul 504 enthält ein System von einer oder mehreren Linsen, um durch eine Öffnung empfangenes Licht auf den Bildsensor 503 zu fokussieren. Da der Empfang des Kameralinsenmoduls von sichtbarem Licht den Empfang von IR-Licht durch die Laufzeitpixel des Bildsensors stören kann und umgekehrt, da der Empfang des Kameramoduls von IR-Licht den Empfang von sichtbarem Licht durch die RGB-Pixel des Bildsensors stören kann, kann eines oder beide von der Pixelmatrix des Bildsensors 503 und dem Linsenmodul 504 ein System von Filtern (z. B. Filter 510) enthalten, die angeordnet sind, um im Wesentlichen IR-Licht zu blockieren, das durch RGB-Pixel empfangen werden soll, und im Wesentlichen sichtbares Licht zu blockieren, das durch Laufzeitpixel empfangen werden soll.
-
Ein Beleuchter 507, der aus einer Lichtquellenanordnung 505 unterhalb einer beweglichen Objektivlinsen-506-Baugruppe besteht, ist auch auf der Grundplatine 501 befestigt. Die Lichtquellenanordnung 505 kann auf einem Halbleiterchip implementiert sein, der an Grundplatine 501 befestigt ist. Ausführungsformen der Lichtquellenanordnung 505 und der beweglichen Linsenbaugruppe 506 wurden in Bezug auf die 1 bis 4 vorstehend beschrieben.
-
Insbesondere können eine oder mehrere unterstützende integrierte Schaltungen für die Lichtquellenanordnung (nicht gezeigt in 5a) auf der Grundplatine 502 befestigt sein. Die eine oder die mehreren integrierten Schaltungen können LED- oder Lasertreiberschaltungen umfassen, um entsprechende Ströme durch die Lichtquellen der Lichtquellenanordnung zu treiben, und Spulentreiberschaltungen, um jede der mit den Schwingspulenmotoren der beweglichen Linsenbaugruppe verbundenen Spulen anzusteuern. Sowohl die LED- oder Lasertreiberschaltungen als auch die Spulentreiberschaltungen können entsprechende Digital-zu-analog-Schaltungen umfassen, um digitale Informationen, die durch den Anschluss 501 empangen werden, in eine spezifische Steuerungsstromstärke für die Lichtquellen oder eine Schwingspule umzuwandeln. Der Lasertreiber kann zusätzlich Taktungsschaltungen zum Erzeugen eines Taktsignals oder eines anderen Signals mit einer Sequenz von 1 s und 0 s einschließen, die, wenn sie durch die Lichtquellen angesteuert werden, bewirken, dass die Lichtquellen wiederholt ein- und ausgeschaltet werden, sodass die Tiefenmessungen wiederholt erfolgen können.
-
Bei einer Ausführungsform unterstützt das integrierte System 500 von 5 drei Betriebsarten: 1) 2D-Modus; 3) 3D-Modus; und, 3) 2D/3D-Modus. Im Fall von 2D-Modus verhält sich das System wie eine herkömmliche Kamera. Als solches ist der Beleuchter 507 deaktiviert und der Bildsensor wird verwendet, um sichtbare Bilder durch seine RGB-Pixel zu empfangen. Im Fall des 3D-Modus erfasst das System Laufzeittiefeninformationen eines Objekts im Sichtfeld des Beleuchters 507 und des Kameralinsenmoduls 504. Als solches ist der Beleuchter aktiviert und emittiert IR-Licht (z. B. in einer Ein-Aus-Ein-Aus-...Sequenz) auf das Objekt. Das IR-Licht wird vom Objekt reflektiert, durch das Kameralinsenmodul 504 empfangen und durch die Laufzeitpixel des Bildsensors erfasst. Im Fall des 2D/3D-Modus sind die vorstehend beschriebenen 2D- und 3D-Modi gleichzeitig aktiv.
-
5b zeigt ein Verfahren 500, das durch das System von 5a ausgeführt werden kann. Wie in 5b ersichtlich treibt das System Strom durch eine Lichtquellenanordnung, um zu bewirken, dass Licht von der Lichtquellenanordnung 551 emittiert wird. Das System sammelt und konzentriert das Licht mit einer Linse, um einen emittierten Lichtstrahl 552 zu bilden. Das System bewegt die Linse, um den Lichtstrahl auf eine Region von Interesse zu richten und eine beleuchtete Region von Interesse innerhalb eines Sichtfelds zu bilden, wobei die Größe der beleuchteten Region von Interesse kleiner ist als das Sichtfeld 553. Das System detektiert mindestens einen Teil des Lichts, nachdem es von einem Objekt von Interesse innerhalb des Sichtfelds reflektiert wurde, und vergleicht entsprechende Ankunftszeiten des Lichts mit Emissionszeiten des Lichts, um Tiefeninformationen des Objekts von Interesse zu erzeugen.
-
6 zeigt eine Darstellung eines beispielhaften Computersystems 600 wie ein Personalcomputersystem (z. B. Desktop oder Laptop) oder ein mobiles oder handgehaltenes Computersystem wie eine Tabletvorrichtung oder ein Smartphone. Wie in 6 ersichtlich kann das grundlegende Computersystem eine Zentraleinheit 601 (die z. B. mehrere Universalprozessorkerne 615_1 bis 615_N und einen Hauptspeichercontroller 617, der auf einem Anwendungsprozessor angeordnet ist, umfassen kann), Systemspeicher 602, ein Display 603 (z. B. Touchscreen, Flachpanel), eine lokale verdrahtete Punkt-zu-Punkt-Verbindung 604 (z. B. USB), verschiedene Netzwerk-I/O-Funktionen 605 (wie eine Ethernetschnittstelle und/oder ein Mobilfunkmodemsubsystem), eine drahtlose lokale Netzwerkverbindung 606 (z. B. WiFi), eine drahtlose Punkt-zu-Punkt-Verbindung 607 (z. B. Bluetooth) und eine globale Positionsbestimmungssystemverbindung 608, verschiedene Sensoren 609_1 bis 609_N, eine oder mehrere Kameras 610, eine Batterie 611, eine Leistungsmanagementsteuereinheit 612, einen Lautsprecher und ein Mikrofon 613 und einen Audiocodierer/-decodierer 614 umfassen.
-
Ein Anwendungsprozessor oder ein Mehrkernprozessor 650 kann einen oder mehrere Universalprozessorkerne 615 innerhalb ihrer CPU 601, eine oder mehrere Grafikprozessoreinheiten 616, eine Speicherverwaltungsfunktion 617 (z. B. einen Speichercontroller), eine I/O-Steuerungsfunktion 618 und eine oder mehrere Bildsignalverarbeitungspipelines 619 umfassen. Die Universalprozessorkerne 615 führen typischerweise das Betriebssystem und die Anwendungssoftware des Computersystems aus. Die Grafikprozessoren 616 führen typischerweise intensive Grafikfunktionen aus, um z. B. Grafikinformationen, die auf dem Display 603 dargestellt werden, zu erzeugen. Die Speichersteuerungsfunktion 617 verbindet mit dem Systemspeicher 602, um Daten in den Systemspeicher 602 zu schreiben bzw. davon lesen. Die Bildsignalverarbeitungspipelines 619 empfangen Bildinformationen von der Kamera 610 und verarbeiten die Rohbildinformationen für nachgeordnete Verwendungen. Die Leistungsmanagementsteuereinheit 612 steuert generell die Leistungsaufnahme des Systems 600.
-
Die Touchscreendisplays 603, die Kommunikationsschnittstellen 604 bis 607, die GPS-Schnittstelle 608, die Sensoren 609, die Kamera 610 und die Lautsprecher/Mikrofon-Codecs 613, 614 können jeweils als verschiedene I/O-Formen (Eingabe und/oder Ausgabe) relativ zu dem gesamten Computersystem betrachtet werden einschließlich gegebenenfalls einer integrierten Peripherievorrichtung (wie z. B. die eine oder die mehreren Kameras 610). Abhängig von der Implementierung können verschiedene dieser I/O-Komponenten im Anwendungsprozessor/Mehrkernprozessor 650 integriert sein oder können sich außerhalb des Chips oder Pakets des Anwendungsprozessors/Mehrkernprozessors 650 befinden.
-
Bei einer Ausführungsform umfassen eine oder mehrere Kameras 610 eine integrierte herkömmliche sichtbare Bilderfassung und ein Laufzeittiefenmessungssystem wie das vorstehend in Bezug auf 5 beschriebene System 500. Anwendungssoftware, Betriebssystemsoftware, Gerätetreibersoftware und/oder Firmware, die auf einem Universal-CPU-Kern (oder einem anderen Funktionsblock, der eine Befehlsausführungspipeline aufweist, um Programmcode auszuführen) von einem Anwendungsprozessor oder einem anderen Prozessor ausgeführt wird, kann Befehle an das Kamerasystem richten und Bilddaten davon empfangen.
-
Im Fall von Befehlen können die Befehle den Eintritt in oder das Verlassen von jedem der vorstehend in Bezug auf 5 beschriebenen 2D-, 3D- oder 2D/3D-Systemzustände umfassen. Zusätzlich können Befehle an die bewegliche Linsenunterbaugruppe des Beleuchters gerichtet werden, um spezifische Zeigerichtungen der beweglichen Linse, den Abstand der Linse von der Lichtquellenanordnung (um die Größe der beleuchteten Region zu spezifizieren) und eine Reihe von Zeigerichtungen der beweglichen Linse zu spezifizieren, um das vorstehend erwähnte Scannen der vorstehend erwähnten Linse zu bewirken.
-
Ausführungsformen der Erfindung können wie vorstehend beschrieben verschiedene Prozesse umfassen. Die Prozesse können in maschinenausführbaren Befehlen verkörpert sein. Die Befehle können verwendet werden, um einen Allzweck- oder Spezialprozessor zu veranlassen, bestimmte Prozesse auszuführen. Alternativ können diese Prozesse durch spezifische Hardwarekomponenten ausgeführt werden, die festverdrahtete Logik enthalten, um die Prozesse auszuführen, oder durch jede Kombination von programmierten Computerkomponenten und benutzerdefinierten Hardwarekomponenten.
-
Elemente der vorliegenden Erfindung können ebenfalls als ein maschinenlesbares Medium zum Speichern der maschinenausführbaren Befehle bereitgestellt werden. Das maschinenlesbare Medium kann umfassen, ist aber nicht beschränkt auf, Disketten, optische Disks, CD-ROMs und magnetooptische Disks, FLASH-Speicher, ROMs, RAMs, EPROMs, EEPROMs, magnetische oder optische Karten, Ausbreitungsmedien oder andere Arten von Medien/maschinenlesbaren Medien, die zum Speichern elektronischer Befehle geeignet sind. Die vorliegende Erfindung kann beispielsweise als ein Computerprogramm heruntergeladen werden, das von einem entfernten Computer (z. B. einem Server) an einen anfragenden Computer (z. B. einem Client) mittels Datensignalen übertragen werden kann, die in einem Trägersignal oder anderem Ausbreitungsmedium über einen Kommunikationslink (z. B. ein Modem oder eine Netzwerkverbindung) ausgeführt werden.
-
In der vorstehenden Beschreibung wurde die Erfindung unter Bezugnahme auf spezifische beispielhafte Ausführungsformen davon beschrieben. Es ist jedoch offensichtlich, dass verschiedene Modifizierungen und Änderungen daran vorgenommen werden können, ohne vom weiteren Sinn und Umfang der Erfindung, wie in den angehängten Ansprüchen angeführt, abzuweichen. Die Beschreibung und Zeichnungen sollen dementsprechend in einem veranschaulichenden anstatt in einschränkendem Sinne betrachtet werden.
