-
Gebiet der Erfindung
-
Das Gebiet der Erfindung betrifft generell Kameratechnologie und insbesondere einen Laufzeitbildsensor und einen Lichtquellentreiber mit Abstandssimuliervermögen.
-
Allgemeiner Stand der Technik
-
Viele existierende Computersysteme umfassen eine oder mehrere traditionelle Bilderfassungskameras als eine integrierte Peripherievorrichtung. Ein gegenwärtiger Trend besteht daraus, Computersystembildgebungsvermögen durch Integrieren von Tiefenerfassung in die Bildgebungskomponenten zu verbessern. Tiefenerfassung kann beispielsweise verwendet werden, um verschiedene intelligente Objekterkennungsfunktionen wie Gesichtserkennung (z. B. zur sicheren Systementsperrung) oder Handbewegungserkennung (z. B. für berührungslose Benutzerschnittstellenfunktionen) auszuführen.
-
Eine Herangehensweise zur Tiefeninformationserfassung, die als „Laufzeit“-Bildgebung bezeichnet wird, emittiert Licht von einem System auf ein Objekt und misst für jedes von mehreren Pixeln eines Bildsensors, die Zeit zwischen der Emission des Lichts und dem Empfangen seines Spiegelbildes am Sensor. Das von den Laufzeitpixeln erzeugte Bild entspricht einem dreidimensionalen Profil des Objekts, wie gekennzeichnet, durch eine einzigartige Tiefenmessung (z) an jeder von den unterschiedlichen (x, y) Pixelpositionen.
-
Da viele Computersysteme mit Bildgebungsvermögen in der Art mobil sind (z. B. Laptopcomputer, Tabletcomputer, Smartphones usw.), stellt die Integration einer Lichtquelle („Beleuchter“) in das System, um einen Laufzeitbetrieb zu erreichen, eine Anzahl von Designherausforderungen, wie beispielsweise Herausforderungen bezüglich Kosten, Packaging und/oder Energieverbrauch.
-
Kurzdarstellung
-
Es wird eine Vorrichtung beschrieben, die einen Bildsensor und eine Lichtquellentreiberschaltung umfasst, die in einem gleichen Halbleiterchippaket mit dem Konfigurationsregisterraum zum Empfangen von Informationen integriert ist, die einen Befehl betreffen, um einen Abstand zwischen einer Lichtquelle und einem Objekt zu simulieren, der sich von einem tatsächlichen Abstand zwischen der Lichtquelle und dem Objekt unterscheidet.
-
Es wird eine Vorrichtung beschrieben, die Mittel zum Empfangen von Raumkonfigurationsinformationen in einen Konfigurationsregisterraum umfasst, um einen Abstand zwischen einer Lichtquelle und einem Objekt zu simulieren, der sich von einem tatsächlichen Abstand zwischen der Lichtquelle und dem Objekt unterscheidet. Die Vorrichtung umfasst zudem Mittel zum Erzeugen eines Lichtquellenansteuersignals mit einem Lichtquellentreiber. Die Vorrichtung umfasst ebenfalls Mittel zum Erfassen von Licht, das mit dem Lichtquellenansteuersignal erzeugt und vom Objekt reflektiert wurde, mit Tiefenerfassungspixeln, wobei relative Phasen des Lichtquellenansteuersignals und ein Takt, der an die Tiefenerfassungspixel gerichtet ist, angepasst werden, um den simulierten Abstand zu realisieren, und wobei eine Amplitude von mit Tiefenerfassungspixeln erfassten Signalen, angepasst wird, um den simulierten Abstand zu realisieren.
-
Figuren
-
Die folgende Beschreibung und die begleitenden Zeichnungen werden verwendet, um Ausführungsformen der Erfindung zu veranschaulichen. In den Zeichnungen:
-
1a zeigt eine Darstellung einer Ausführungsform eines integrierten Bildsensors und Lichtquellentreibers;
-
1b zeigt eine weitere Darstellung einer Ausführungsform eines integrierten Bildsensors und Lichtquellentreibers;
-
2 zeigt ein Systemdiagramm eines integrierten Bildsensors und Lichtquellentreibers;
-
3a zeigt ein Systemdiagramm eines Lichtquellentreibers;
-
3b zeigt ein Diagramm eines Kernlichtquellentreibers;
-
3c zeigt ein Diagramm einer optischen Ausgangsleistungsschaltung;
-
4 zeigt ein Diagramm einer Timing- und Steuerschaltung;
-
5a zeigt eine erste Methodik, die durch einen integrierten Bildsensor und einen Lichtquellentreiber ausgeführt wird;
-
5b zeigt eine zweite Methodik, die durch einen integrierten Bildsensor und einen Lichtquellentreiber ausgeführt wird;
-
6a zeigt eine weitere Ausführungsform eines integrierten Bildsensors und Lichtquellentreibers;
-
6b zeigt noch eine weitere Ausführungsform eines integrierten Bildsensors und Lichtquellentreibers;
-
7 zeigt eine Ausführungsform eines 2D/3D-Kamerasystems mit einem integrierten Bildsensor und Lichtquellentreiber;
-
8 zeigt eine Ausführungsform eines Computersystems mit 2D/3D-Kamerasystem mit einem integrierten Bildsensor und Lichtquellentreiber.
-
Ausführliche Beschreibung
-
Die 1a und 1b zeigen unterschiedliche Perspektiven eines integrierten Bildsensor- und Lichquellentreibers 100, der einige der Herausforderungen adressiert, auf die unter Allgemeiner Stand der Technik Bezug genommen wird. Wie ersichtlich in den 1a und 1b umfasst der integrierte Bildsensor und Lichtquellentreiber 100 einen RGBZ-Pixelmatrix-Chip 101, der auf einer darunterliegenden integrierten Schaltung 102 mit Analog-Digital-(ADC)-Schaltungen 103 gestapelt ist, Timing- und Steuerschaltungen 104 und Lichtquellentreiberschaltungen 105. Die darunterliegende integrierte Schaltung 102 ist auf einem Paketsubstrat 106 befestigt, sodass die Gesamtheit der Pixelmatrix 101 und der darunterliegenden integrierten Schaltung 102 innerhalb eines gleichen Pakets 107 enthalten sind.
-
Der RGBZ-Pixelmatrix-Chip 101 umfasst unterschiedliche Arten von Pixeln, von denen einige gegenüber sichtbarem Licht (Rot (R), Grün (G) und Blau (B)) und andere gegenüber IR-Licht empfindlich sind. Die RGB-Pixel werden verwendet, um traditionelle Erfassungsfunktionen eines sichtbaren „2D“-Bildes (traditionelle Bild-/Videoaufnahme) zu unterstützen. Die IR-empfindlichen Pixel werden verwendet, um 3D-Tiefenprofilbildgebung unter Verwendung von Laufzeittechniken zu unterstützen.
-
Ein Kamerasystem mit traditionellen Bilderfassungs- und Laufzeittiefenerfassungsfunktionen umfasst typischerweise: 1) einen Beleuchter (z. B. mindestens einen Laser, eine Lasermatrix, eine LED oder eine LED-Matrix, um das IR-Licht für das Laufzeitsystem zu erzeugen); 2) eine RGBZ-Pixelmatrix; 3) Treiberschaltungen für den Beleuchter; und 4) Analog-zu-digital-Umwandlungsschaltungen und Timing- und Steuerschaltungen, die zusammen mit der RGBZ-Pixelmatrix einen vollständigen Bildsensor bilden. Hier können die obigen Elemente 1) und 2) als die elektro-optischen Komponenten des Kamerasystems angesehen werden und die Elemente 3) und 4) können als die unterstützende Elektronik für die elektro-optischen Komponenten angesehen werden. Insbesondere integrieren der integrierte Bildsensor und der Lichtquellentreiber 100 der 1a und 1b die meisten wenn nicht alle der obigen Elemente 2), 3) und 4) in einem einzelnen Paket 107, was wiederum verglichen mit Herangehensweisen des Standes der Technik eine billigere und/oder kleinere Formfaktorlösung für diese Elemente bereitstellen sollte.
-
Zur Zeichnungsvereinfachung sind die ADC-Schaltungen 103, die Timing- und Steuerschaltungen 104 und die Lichtquellentreiberschaltungen 105 nicht unbedingt maßstäblich gezeichnet und zeigen nicht unbedingt irgendeine „Unterfüllung“ unter der Pixelmatrix 101. Es ist denkbar, dass einige Lösungen wählen können, einen Abschnitt oder die Gesamtheit von irgendwelchen der ADC-Schaltungen 103, der Timing- und Steuerschaltungen 104 und des Lichtquellentreibers 105 unter der Pixelmatrix 101 anzuordnen.
-
1b zeigt eine Ausführungsform eines Querschnitts der Pixelmatrix 101, der auf der darunterliegenden Halbleiter-Die 102 gestapelt ist. Wie in 1b ersichtlich, sind elektrisch leitfähige Kugeln/Kontakthügel, die auf der oberen Fläche der darunterliegenden integrierten Schaltung 102 gebildet sind, derart ausgerichtet, dass sie Kontakt mit leitfähigen Kugeln/Kontakthügeln herstellen, die auf der unteren Fläche der Pixelmatrix 101 gebildet sind.
-
Die Kugeln/Kontakthügel auf der unteren Fläche der Pixelmatrix 101 sind mit entsprechenden leitfähigen Durchkontaktierungen innerhalb des Pixelmatrixsubstrats verbunden, die mit entsprechenden Spuren elektrisch koppeln, die innerhalb der Metallisierungsebenen der Pixelmatrix 101 gebildet sind. Wie auf dem Fachgebiet bekannt stellen die Metallisierungsebenen der Pixelmatrix 101 Vorspannung und/oder Signalgebung an jegliche Transistoren, die in der oberen Fläche des Pixelmatrixsubstrats eingebettet sind, sowie die durch die Pixel der Pixelmatrix erzeugten ausgegebenen Analogerfassungssignale bereit. Die Metallisierungsebenen können Teil einer größeren Mehrschichtstruktur über dem Pixelmatrixsubstrat sein, das auch Filter (z. B. RGB-Filter für RGB-Pixel und Infrarotfilter für Z-Pixel) und Mikrolinsen umfasst.
-
Der darunterliegende IC 102 umfasst auch leitfähige Substratdurchkontaktierungen, die ihre Metallisierungsschichten mit ihren darunterliegenden Kontaktkugeln/Kontakthügeln elektrisch verbinden. Zu beachten ist, dass, wie jeweils für jede bestimmte Packagingtechnik anwendbar, jede Kugel/jeder Kontakthügel eines Paares von Kugeln/Kontakthügeln, die in 1b gezeigt sind, durch eine Kontaktstelle/einen Kontaktfleck anstatt einer Kugel/eines Kontakthügels ersetzt werden kann. Kugeln/Kontakthügel/Kontaktstellen können als eine Matrix um den Umfang oder eine andere Anordnung auf der Fläche ihrer entsprechenden Die angeordnet sein. Bei einem Alternativverfahren kann der IC Drahtbondkontaktstellen um seinen Umfang herum umfassen und der IC kann elektrisch mit dem Paketsubstrat durch Drahtbonden dieser Kontaktstellen mit der Fläche des darunterliegenden Substrats gekoppelt werden, anstatt dass eine Kugel/ein Kontakthügel auf der Unterseite des ICs gebildet wird.
-
Das Paketsubstrat 107 kann mit jeder typischen Grundplatinentechnologie ausgeführt werden (z. B. mit alternativen Schichten von leitfähigen und isolierenden Ebenen, wobei die isolierenden Ebenen aus irgendeinem von z. B. FR4, Keramik, usw. bestehen). Wie in 1b ersichtlich, weist das Paketsubstrat 107 auch leitfähige Kugeln/Kontakthügel für den elektrischen Kontakt mit dem Kamerasystem auf, in das der Sensor und der Treiber integriert sind.
-
2 zeigt eine Darstellung der Systemarchitektur 200 für einen integrierten Bildsensor und einen Lichtquellentreiber 100 der 1a und 1b. Wie in 2 ersichtlich, stellen die Lichtquellentreiberschaltungen 205 ein Ansteuersignal 211 an den Beleuchter (nicht gezeigt) bereit. Die Amplitude des Ansteuersignals bestimmt die optische Leistung des vom Beleuchter emittierten Lichts. Bei einer Ausführungsform umfasst der Beleuchter einen Fotodetektor, der ein höheres Amplitudensignal erzeugt, während die durch den Beleuchter emittierte optische Intensität ansteigt. Gemäß der Systemarchitektur 200 von 2 wird das Fotodetektorsignal 212 durch die Lichtquellentreiberschaltungen empfangen und in eine Regelungsschleife einbezogen, um die Amplitude des Ansteuersignals 211 zu regeln.
-
Das Ansteuersignal 211 kann auch z. B. in der Form eines sinusförmigen Signals oder eines Taktsignals moduliert werden, um eine kontinuierliche Wellenbeleuchtung zu implementieren. Die Timing- und Steuerschaltungen 204 Stellen das Modulationssignal an die Lichtquellentreiberschaltungen 205 bereit. Wenn das Modulationssignal einem Taktsignal ähnlich ist, entspricht ein Logikwert des Taktsignals dem Zustand, dass der Beleuchter „ein“ ist, während der andere Logikwert dem entspricht, dass der Beleuchter „aus“ ist. Als solches lässt der Beleuchter Licht in einer Ein-Aus-Ein-Aus-Weise in das Sichtfeld der Kamera aufleuchten. Bei verschiedenen Ausführungsformen kann bzw. können die Lichtquellen des Beleuchters als eine Matrix von oberflächenemittierenden Diodenlasern (VCSELs) oder Leuchtdioden (LEDs) angeordnet sein, wobei jede mit einem gleichen Anodenanschluss und einem gleichen Kathodenanschluss gekoppelt ist (sodass alle VCSEL/LEDs der Matrix zusammen ein- und ausschalten) und wobei das Ansteuersignal 211 vom Lichtquellentreiber 205 mit einer von der Anode oder der Kathode der Matrix gekoppelt ist.
-
Die „Z“-Pixel der RGBZ-Pixelmatrix 201 führen effektiv “3D“-Laufzeittiefenmessungen aus durch Erzeugen von Ladung als eine Funktion der Zeit, zwischen der das Licht des Beleuchters „auf“-leuchtet und der Zeit, zu der das reflektierte aufleuchtende Licht am Sensor empfangen wird. Die Z-Pixel empfangen Taktsignale von den Timing- und Steuerschaltungen 204, die jeweils eine bekannte Phasenbeziehung mit dem Taktsignal des Beleuchters aufweisen. Bei einer Ausführungsform gibt es vier solcher Taktsignale (z. B. Quadraturzweige 0°, 90°, 180° und 270°), die an jede Region der Pixelmatrix 201, bei der ein Tiefenwert gemessen werden soll, bereitgestellt werden.
-
Hier sammeln Z-Pixel, die durch Takte mit sich unterscheidenden Phasen getaktet werden, unterschiedliche Mengen an Ladung für einen gleichen Lichtblitz. Gesammelte Ladungssignale von unterschiedlich getakteten Z-Pixeln in einer gleichen/folgenden Region des Sensors können kombiniert werden, um einen spezifischen Laufzeitwert für die Sensorregion zu erzeugen. Bei einer typischen Implementierung erfolgt solch eine Kombination durch das Hostsystem (z. B. einem Prozessor oder einem Anwendungsprozessor) mit einem Bildsignalprozessor. Als solches wandeln die ADC-Schaltungen 203 typischerweise analoge Signale, welche die Ladung darstellen, die durch die individuellen Z-Pixel gesammelt wurden, in digitale Werte um, die an das Hostsystem weitergeleitet werden, das anschließend die Tiefeninformationen aus den digitalisierten Pixelwerten berechnet. Bei anderen Ausführungsformen können verschiedene Formen der Bildsignalverarbeitung einschließlich aber nicht beschränkt auf die Berechnung der Tiefeninformationen von den Pixeln durch zur Hostseite externe Logikschaltungen ausgeführt werden (z. B. Logikschaltungen, die auf einem gleichen Halbleiterchip angeordnet sind, der den Bildsensor umfasst, oder einem anderen Halbleiterchip, der in der Kameraperipherie beinhaltet ist).
-
Die RGB-Pixel der RGBZ-Pixelmatrix 201 werden für die traditionelle „2D“-Bilderfassung verwendet und sind entsprechend für rotes, grünes und blaues sichtbares Licht innerhalb des Sichtfelds der Kamera empfindlich. Die ADC-Schaltungen 203 empfangen desgleichen analoge Signale von den RGB-Pixeln der Pixelmatrix 201 und wandeln sie in digitale Werte um, die an das Hostsystem weitergeleitet werden. Obwohl eine übliche Herangehensweise RGB-Pixel für die Erfassung eines sichtbaren Bildes umfasst, können andere Ausführungsformen unterschiedliche gefärbte Pixelschemen (z. B. Cyan, Magenta und Gelb) verwenden.
-
Die Timing- und Steuerschaltung 204 erzeugt entsprechende Taktsignale, die an den Lichtquellentreiber 205, die Pixelmatrix 201 und die ADC-Schaltungen 203 gesendet werden. Andere Signale wie Steuersignale, die als Reaktion auf Befehle oder Konfigurationsinformationen erzeugt werden, die vom Hostsystem empfangen und im Konfigurationsregister 208 gespeichert werden, können von den Timing- und Steuerschaltungen auch erzeugt werden. Zur Zeichnungsvereinfachung stellen die 1a und 1b das Konfigurationsregister 208 von 2 nicht dar.
-
Da traditionelle Bildsensoren keinen integrierten Beleuchtertreiber aufweisen, erzeugen traditionelle Bildsensor-Timing- und Steuerschaltungen insbesondere nur Steuer- und Takterzeugungssignale für Bildsensorkomponenten (insbesondere die ADC-Schaltungen 203 und die Pixelmatrix 201). Im Vergleich dazu kann die Timing- und Steuerschaltung 204 bei verschiedenen Ausführungsformen als einzigartig angesehen werden, da sie, abgesehen von dem Bereitstellen von für den Bildempfang verwendeten Takt- und Steuersignalen auch Timing- und Steuerschaltungen für eine Lichtquellenansteuerschaltung 205 erzeugt. Zu beachten ist, dass architektonisch gesprochen Bildsensortiming- und Steuerschaltungen, die auch Timing- und/oder Steuersignale für eine Lichtquellenansteuerschaltung erzeugen, als einzigartig angesehen werden, ob nun die Lichtquellenansteuerschaltung auf dem gleichen Halbleiterchip mit den Bildsensortiming- und Steuerschaltungen integriert ist oder nicht.
-
Die 3a bis 3c zeigen Aspekte der Lasertreiberschaltung 205 von 2. Wie in 3a ersichtlich, kann die Lasertreiberschaltung 305 als eine Kerntreiberschaltung 301 und eine Leistungssteuerungsschaltung 302 umfassend angesehen werden. Die Kerntreiberschaltung 301 stellt den Ansteuerstrom bereit, der durch die Lichtquelle getrieben wird. Die Kerntreiberschaltung 301 empfängt auch eine Wellenform (z. B. Taktsignal, Sinuskurve usw.) als ein Modulationssignal 303 für das Ansteuersignal. Wie vorstehend beschrieben, bestimmt das Modulationssignal das Timing der Weise, in der die Lichtquelle aufblitzen gelassen wird.
-
Die optische Ausgangsleistungssteuerungsschaltung 302 stellt an die Kerntreiberschaltung 301 ein Signal 304 bereit, das die Größenordnung des Ansteuersignals spezifiziert. Die Größenordnung des Ansteuersignals bestimmt wiederum die durch die Lichtquelle emittierte optische Leistung. Bei einer Ausführungsform empfängt die Leistungssteuerungsschaltung 302 auch den Strom der Fotodiode (oder einen Hinweis auf den RMS- oder Durchschnittswert davon) von der Lichtquellenmatrix. Wie nachfolgend ausführlicher beschrieben, stellt der Strom der Fotodiode einen Hinweis auf die optische Ausgangsleistung bereit, die gegenwärtig durch die Lichtquelle emittiert wird, und die optische Ausgangsleistungssteuerungsschaltung 302 verwendet den Strom des Fotodetektors als eine Eingabe in eine Regelungsschleife. Die optische Ausgangsleistungssteuerungsschaltung 302 kann auch einen optischen Leistungsübersteuerungswert empfangen, der die vorstehend genannte Regelungsschleife z. B. für Prüf- oder Fertigungsumgebungen übersteuert. Jedes dieser Merkmale wird unmittelbar nachfolgend vollständiger beschrieben.
-
3b zeigt eine Ausführungsform der Kerntreiberschaltung 301. Wie in 3a ersichtlich, umfasst der Kerntreiber 301 mehrere Treiber-„Segmente“ 310, von denen jedes einen Ansteuertransistor und ein Aktivierungsgate aufweist. Um eine spezifische Ansteuerstärke für den Kerntreiber 301 zu etablieren, ist der Kerntreiber 301 konfiguriert, Eingabeinformationen 311 zu empfangen, welche die Anzahl zu aktivierender Segmente definieren. Gemäß der spezifischen Ausführungsform von 3 nehmen die Eingabeinformationen die Form eines Busses an, wobei jeder Draht des Busses einem Aktiv-/Inaktiv-Signal für ein bestimmtes Segment entspricht.
-
Jedes der Treibersegmente umfasst zudem einen Taktsignaleingang 312, um ein digitales Taktsignal zu empfangen. Das Taktsignal moduliert den Strom, der durch die Ansteuerstransistoren der aktivierten Segmente gezogen wird, sodass die Lichtquelle mit einer Ein-Aus-Ein-Aus-Sequenz wie vorstehend beschrieben aufleuchtet. Da der Satz von Treibersegmenten eine große Eingangskapazität am Taktsignaleingang darstellt, ist ein invertierender Ansteuerpuffer 313 mit ausreichender Ausgangsstromansteuerstärke zum Ansteuern der Taktsignaleingangskapazität mit dem Taktsignaleingang 312 gekoppelt. Wie in 3b ersichtlich, bilden der invertierende Ansteuerpuffer 313 und vorhergehende Puffer/Inverter 314 eine Anfachungskette, um die Ansteuerstärke des Ansteuerpuffers 313 zu erhöhen. Eine Anfachungskette umfasst eine Reihe von Puffern/Invertern, wobei jeder Puffer/Inverter in der Kette eine größere Ausgangsansteuerstärke als sein vorhergehender Puffer/Inverter bereitstellt. Daher wird die Ausgangsansteuerstärke pro Puffer/Inverter im Wesentlichen in der Kette vorangehend verstärkt. Bei der Ausführungsform von 3b erzeugen vier Inverter eine ausreichende Ansteuerstärke am Ausgang des invertierenden Ansteuerpuffers 313.
-
Speziell umfasst die Kerntreiberschaltung 301 isolierte obere und untere Stromschienen VDD_DRVR 316 und VSS_DRVR 317. Bei einer Ausführungsform wird jede dieser Stromschienen 316, 317 durch einen entsprechenden externen Die-externen Spannungsregler (nicht gezeigt) bereitgestellt, welcher der Kerntreiberschaltung zugeordnet ist. Mehrere I/Os (Kugeln/Kontaktstellen) des Halbleiterchips des Kerntreibers sind für jede der Schienen reserviert, um einen kleinen Widerstand zwischen den Reglern und dem integrierten Sensor-/Treiberpaket sicherzustellen.
-
Bei einer Ausführungsform, bei der die Halbleiter-Die an das Paketsubstrat drahtgebondet ist, sind mehrere Kontaktstellen des ICs für beide Schienen reserviert und jede der mehreren Kontaktstellen ist doppelt an das Paketsubstrat gebondet (erneut um den Widerstand zwischen dem Paketsubstrat und dem Halbleiterchip zu reduzieren). Da die Kerntreiberschaltung signifikante Mengen an Strom treiben kann, hält hier das niedrig Halten des Widerstands entlang den Versorgungsschienen die Verlustleistung durch die IC-Drahtverbindungen niedrig.
-
Die Kerntreiberschaltung 301 umfasst auch andere Schaltungen, um einen Schutz gegenüber elektrostatischer Entladung (ESD) und eine Isolierung gegenüber den anderen Schaltungen auf dem Halbleiterchip bereitzustellen. In Bezug auf ESD-Schutz ist entsprechend zu erkennen, dass jeder Knoten von der Kerntreiberschaltung 301, der mit einem I/O-Paket verbunden ist, eine große Menge an ESD-Ladung aufnehmen kann. Diese Knoten umfassen jegliche von den VDD_DRVR 316, VSS_DRVR 317 und den Lichtquellenansteuersignalausgangsknoten 318. Um die Kerntreiberschaltung 301 zu schützen, sollte die Kerntreiberschaltung 301 einen Strompfad aus der Schaltung 301 von jedem dieser Knoten 316, 317, 318 umfassen, sollten diese elektrostatische Entladung aufnehmen.
-
3b zeigt einen ersten Strompfad 320 aus der Schaltung 310 heraus, wenn der VDD_DRVR-Knoten 316 geladen ist, einen zweiten Strompfad 321 aus der Schaltung 310 heraus, wenn das Ansteuersignal 318 geladen ist, und einen dritten bzw. dritte Strompfade 322 aus der Schaltung heraus, wenn der VSS_DRVR-Knoten 317 geladen ist. Diese Pfade 320, 321, 322 verlaufen in „andere“ VSS-Knoten der Halbleiter-Die (z. B. VSS-Knoten, die von anderen Schaltungen der Halbleiter-Die als dem Kerntreiber 301 verwendet werden).
-
Zu beachten ist, dass einige dieser Pfade 320, 322 durch einen Ableitkondensator 323 verlaufen, der sich zwischen den VDD_DRVR- und den VSS_DRVR-Knoten befindet. Der Ableitkondensator 323 und eine ESD-Klemmschaltung 324 unterstützen auch dabei, die Erzeugung einer großen schädigenden Spannungsdifferenz über den Knoten VDD_DRVR 316 und VSS_DRVR 317 als Folge dessen, dass diese geladen sind, zu verhindern. Desgleichen wird durch schützende Kappdioden 325 verhindert, dass eine große Spannung am Lichtquellenansteuerausgang erzeugt wird.
-
Die Kerntreiberschaltung 301 kann beim Ansteuern der Lichtquelle aufgefordert werden, große Mengen Strom zu treiben, und kann daher die Tendenz aufweisen, als eine Rauschquelle für andere Schaltungen auf der Halbleiter-Die oder sonst etwas innerhalb des Paketes zu agieren. Als solches umfasst die Kerntreiberschaltung 301 auch eine Anzahl an Isolierungsmerkmalen.
-
Ein erstes Isolierungsmerkmal sind die vorstehend beschriebenen separaten VDD_DRVR- und VSS_DRVR-Versorgungsschienen 316, 317, die durch ihre eigenen Spannungsregler angesteuert werden (d. h., bei einer Ausführungsform steuern die Spannungsregler abgesehen von den den VDD_DRVR- und VSS_DRVR-Schienen entsprechenden Schienen keine anderen Schaltungen an). Ein zweites Isolierungsmerkmal ist das Vorhandensein von Isolationsklemmen 326, 327, die sich an beiden Kontaktpunkten zwischen der Kerntreiberschaltung und den anderen VSS-Knoten befinden. Hier koppeln die Überspannungsschutzpfade aus der Kerntreiberschaltung effektiv den VSS_DRVR-Knoten mit den anderen VSS-Knoten. Solch ein Koppeln kann ermöglichen, dass Rauschen, das durch die Kerntreiberschaltung 301 erzeugt wird, andere Schaltungen innerhalb der Halbleiter-Die erreicht. Die Isolationsklemmen 326, 327 unterstützen dabei, eine solche Rauschkopplung zu unterdrücken.
-
Ein viertes Isolierungsmerkmal ist, die Transistoren des Kerntreibers in einer „Deep-well“-Technologie wie einer Deep-N-well-Technologie zu implementieren. Eine Deep-well-Technologie bettet aktive Bauelemente in eine Wanne einer ersten Dotierstoffpolarität (z. B. P) ein. Tiefer innerhalb des Substrats wird die erste Wanne innerhalb einer größeren entgegengesetzt gepolten Wanne (z. B. N) eingebettet, die selbst innerhalb eines Substrats von erster Dotierstoffpolarität (z. B. P) eingebettet ist. Die Verbindungen mit entgegengesetzter Polarität erzeugen effektiv Rauschsperren zwischen den aktiven Bauelementen und dem Substrat. Bei einigen Ausführungsformen können sich aktive Bauelemente auch innerhalb der größeren Wanne befinden.
-
Ein fünftes Isolierungsmerkmal erkennt, dass die durch die Kernansteuerschaltung erzeugten hohen Ströme energiereiche Ladungsträger erzeugen können, welche eine Photonenerzeugung induzieren. Die Erzeugung von Photonen kann wiederum den Betrieb der Sensormatrix stören. Als solches wird bei einer Ausführungsform eine der Metallisierungsschichten der integrierten Schaltung verwendet, um eine breite/große Fläche festen leitenden Materials (z. B. Metall) über der Kerntreiberschaltung zu bilden. Die große leitfähige Region über dem Kerntreiber agiert als eine Abschirmung, die im Wesentlichen irgendwelche Photonen, die vom Kerntreiber 301 erzeugt werden, daran hindern sollte, andere Schaltungen wie die Pixelmatrix zu erreichen.
-
3c zeigt eine Ausführungsform der Leistungssteuerungsschaltung 302. Wie ersichtlich in 3c umfasst die Leistungssteuerungsschaltung 302 einen endlichen Automaten 330. Wie auf dem Fachgebiet bekannt umfasst ein endlicher Automat 330 typischerweise Kombinationslogik 331 vor einem Register 332, wobei der Zustand des Registers an die Kombinationslogik 331 zurückgeleitet wird, und wobei die Kombinationslogik 331 auch eine andere unabhängige Eingabe 333 empfängt. Bei einer Ausführungsform ist die Kombinationslogik 331 mit einer Nachschlagtabelle implementiert (z. B. implementiert mit z. B. inhaltsadressierbaren Register- oder Speicherzellen). Bei anderen Ausführungsformen kann die Kombinationslogik 331 mit festverdrahteten Logikschaltungen oder einer Kombination aus einer Nachschlagtabelle und festverdrahteten Logikimplementierungen implementiert sein.
-
Der Zustand des Registers entspricht der Ausgabe der Leistungssteuerungsschaltung 302 und definiert, welche Kerntreibersegmente zu aktivieren sind. Die an die Kombinationslogik 331 des endlichen Automaten bereitgestellte unabhängige Eingabe 333 entspricht einem Fotodetektorstrom. Hier wird angenommen, dass die Lichtquellenmatrix eine Fotodiode umfasst, die ein Ausgangssignal bereitstellt, das proportional zur tatsächlichen Intensität des Lichts ist, das die Lichtquellenmatrix emittiert (oder vorausgesetzt, dass das optische Signal die Form eines periodischen Signals aufweist, kann der Durchschnitt oder der Effektivwert (RMS) des Fotostroms verwendet werden). Das Fotodetektorsignal wird durch eine ADC-Schaltung 334 in eine digitale Form umgewandelt und an die Kombinationslogik 331 bereitgestellt. Die Kombinationslogik 331 bestimmt eine Anzahl von zu aktivierenden Kerntreibersegmenten als eine Funktion der gegenwärtigen Anzahl an aktivierten Kerntreibersegmenten und dem gegenwärtigen Fotodetektorstrom.
-
Bei alternativen Implementierungen kann der endliche Automat durch eine traditionellere Regelungsschleife mit einem Schleifenfilter ersetzt werden, der ein Signal erzeugt, dessen Wert die Anzahl an Segmenten anzeigt, die durch Integrieren eines Offsetsignals, das von z. B. einem gewünschten optischen Leistungssignal und einem tatsächlichen vom Fotodetektorsignal abgeleiteten optischen Leistungssignal erzeugt wird, zu aktivieren. Die traditionelle Regelungsschleife kann mit Digital- und/oder Analogschaltungen implementiert sein.
-
Insbesondere umfasst die Leistungssteuerungsschaltung auch einen Übersteuerungsmultiplexer 335, um die bestimmte Anzahl an Segmenten von dem endlichen Automaten effektiv zu übersteuern und stattdessen eine individuellere Anzeige der Anzahl an zu aktivierenden Segmenten bereitzustellen. Die Aufhebung kann verwendet werden, um z. B. ein stärkeres optisches Ausgangssignal als das Typische einzustellen, um zu simulieren, dass sich der Beleuchter näher an einem Gegenstand von Interesse befindet, als er sich tatsächlich befindet, oder ein schwächeres optisches Ausgangssignal als das Typische einzustellen, um zu simulieren, dass sich der Beleuchter weiter weg von einem Gegenstand von Interesse befindet, als er sich tatsächlich befindet.
-
Die individuelle Anzahl an Segmenten kann direkt vom Konfigurationsregisterraum bereitgestellt oder kann von einer Nachschlagetabelle (LUT), von festverdrahteter Logik oder anderen Schaltungen 335 bereitgestellt sein, welche die korrekte Anzahl an zu aktivierenden Kerntreibersegmenten bestimmt als Reaktion auf einen vom Benutzer bereitgestellten Wert für irgendeines von dem Folgenden im Konfigurationsregisterraum: 1) optische Ausgangsleistung; 2) simulierter zusätzlicher Abstand entfernt; 3) simulierter zusätzlicher Abstand näher. Der Konfigurationsregisterraum kann auch einen „Übersteuerung aktivieren“-Parameter umfassen, der verwendet wird, um die Kanalwahleingabe des Übersteuerungsmultiplexers 335 einzustellen (sodass der vom Benutzer bereitgestellte Wert verwendet wird, wenn die Übersteuerung aktiviert ist).
-
4 zeigt Taktungsschaltungen für die Lasertreiberschaltung und die Pixelmatrix. Die Taktungsschaltungen von 4 können auch Taktsignale an die ADC-Schaltungen bereitstellen. Wie ersichtlich in 4 können die Taktungsschaltungen als eine Komponente der Timing- und Steuerschaltungen 104, 204 der 1a, b und 2 angesehen werden.
-
Wie ersichtlich in 4 umfassen die Taktungsschaltungen eine Phasenregelschleifen-(PLL)-Schaltung 410, die als eine Taktquelle agiert. Der Taktsignalausgang des PLL ist mit einem IQ-Block 411 gekoppelt, der vier unterschiedliche Phasen des PLL-Taktsignals (0°, 90°, 180° und 270°) erzeugt. Alle vier aufeinander abgestimmte Taktsignale werden an die Pixelmatrix und einen Phaseninterpolator 414 weitergeleitet. Der Phaseninterpolator 414 stellt das Taktsignal 415 bereit, das als ein Modulationssignal an die Kernansteuerschaltung gerichtet wird. Der Phaseninterpolator 414 ist Teil einer Verzögerungsregelschleife (DLL), die die Phasenpositionierung des Taktsignals 415 variiert, um einen Timingversatz (Phasenunterschied) zwischen den Taktsignalen 416 zu eliminieren, die an die Pixelmatrix und an das Taktsignal 415, das an den Kerntreiber gerichtet ist, gerichtet sind.
-
Hier messen Laufzeittechniken wie vorstehend beschrieben den Zeitunterschied zwischen der Zeit, zu der der Beleuchter Licht aufblitzen lässt, und der Zeit, zu der seine Reflexion an der Pixelmatrix erfasst wird. Jegliche unerklärte Differenz zwischen diesen Zeiten wird als Fehler oder Ungenauigkeit bei der Laufzeitmessung und den Profilentfernungsinformationen reproduziert, die davon bestimmt werden. Als solches hat das Steuern des Offsets zwischen dem Taktsignal 312, 412, das den Treibertransistoren innerhalb des Kerntreibers präsentiert wird, und den Takten 416, die an die Pixelmatrix bereitgestellt werden, eine direkte Auswirkung auf die Genauigkeit der Laufzeitmessung.
-
Als solches umfasst die DLL einen Phasendetektor 417, der die Phasendifferenz zwischen dem Taktsignal, das an die Ansteuertransistoren 312, 412 der Kerntreiberschaltungssegmente bereitgestellt wird, und dem 0°-Phasentaktsignal 416_1, das an die Pixelmatrix gerichtet ist, vergleicht. Als Reaktion auf irgendeine Phasendifferenz zwischen den beiden erzeugt der Phasendetektor 417 ein Offsetsignal, das eine Korrekturrichtung durch den Phaseninterpolator 414 anzeigt, der den Offset reduziert. Bei einer alternativen Implementierung wird eine Ausgabe weiter nachgeschaltet des Puffers 313 genommen, wie beispielsweise der Kerntreiberausgang 318, anstatt die Ausgabe vom Puffer 313 als eine Eingabe an den Phasendetektor 417 zu verwenden. Da der Kerntreiberausgang 318 eine zusätzliche Ausbreitungsverzögerung umfassen kann, die dem Ansteuersignal jenseits des Puffers 313 auferlegt wird, ist das Abgreifen des Ansteuersignals am Kerntreiberausgang 318 was die Timing-Flanken des emittierten optischen Signals betrifft tatsächlich ein genaueres Signal. Bei einer noch weiteren Implementierung kann ein „Dummysegment“ irgendwo nachgeschaltet der Kerneingabe 315 gekoppelt sein, um das Lichtquellenansteuersignal oder das emittierte optische Ausgangssignal „nachzuahmen“. Der Kerntreiber 301 kann beispielsweise einen „Duplikat“-Satz von Anfachungs-, Umkehrpuffer, Treibersegment(en)-und „Dummylast“-Schaltungen (die Letzteren, um die Last des VCSEL- oder LED-Lichts zu repräsentieren) umfassen, um ein Signal zu erzeugen, das nahezu mit dem Signal, das durch die Lichtquellen empfangen wird, oder der tatsächlich emittierten optischen Leistung identisch sein sollte.
-
Das Offsetsignal des Phasendetektors 417 wird an einen Schleifenfilter 418 bereitgestellt. Der Schleifenfilter 418 integriert das Offsetsignal, um ein Steuersignal zum Phaseninterpolator 414 zu erzeugen, der die Phase des Taktsignals 415 anpasst, das an die Kerntreiberschaltung bereitgestellt wird, die den zuvor detektierten Offset korrigiert. Idealerweise wird ein stationärer Zustand erreicht, bei dem es keine Phasendifferenz zwischen dem Signal, das an die Treibertransistoren bereitgestellt wird, und dem 0°-Phasensignal 416_1, das an die Pixelmatrix gesendet wird, gibt. Jede andere Zeitdifferenz zwischen der tatsächlichen Emission des Lichts von der Lichtquelle und der Phase des Signals, das an die Treibertransistoren bereitgestellt wird, neigt dazu, fixiert zu sein und/oder anderweitig eine Bestimmbarkeit von z. B. einer oder mehreren Ausbreitungsverzögerungen und Lichtquellenansprechzeiten zu sein, die als ein fixierter Offset angepasst werden können.
-
Der DLL-Pfad zum Phaseninterpolator 414 wird ebenfalls durch einen Übersteuerungsmultiplexer 419 unterbrochen, der einem Benutzer ermöglicht, z. B. im Konfigurationsregisterraum 408 eine Anpassung an die Ausgabe des Schleifenfilters 418 einzustellen. Wenn die Ausgabe des Schleifenfilters 418 beispielsweise ein Spannungspegel ist, den der Phaseninterpolator 414 verwendet, um die Phase des Taktsignals 415 einzustellen, kann die Schaltung 420 diesen Spannungspegel gemäß einem programmierten Wert vom Konfigurationsregisterraum 408 in Inkrementen erhöhen oder verringern. Hier ermöglicht die Fähigkeit, die Schleifenfilterausgangsspannung nach oben oder nach unten anzupassen dem Benutzer im Wesentlichen dem Taktsignal 415 relativ zur tatsächlichen Schleifenfiltereinstellung eine Phasennacheilung oder Phasenvoreilung aufzuerlegen, die wiederum dem absichtlichen Auferlegen von „Offset “ in die Laufzeitmessung entspricht. Bei verschiedenen Implementierungen kann der Phaseninterpolator 414 ein digitales Wort anstatt eines analogen Signals als sein Steuersignal empfangen. Als solches kann der Schleifenfilter 418 als eine digitale Schaltung (z. B. ein digitaler Akkumulator oder endlicher Automat) implementiert sein. Desgleichen kann die Schaltung 420 als eine digitale Schaltung (z. B. ein digitaler Addierer/Subtrahierer) implementiert sein, um die Schleifenfilterausgabe digital zu verändern.
-
Ähnlich der vorstehend in Bezug auf 3c beschriebenen optischen Leistungsübersteuerung kann das absichtliche Auferlegen von Offset in das Phasentaktsignal 415 verwendet werden, um zu simulieren, dass sich das Kamerasystem näher an einem Objekt von Interesse oder weiter davon entfernt befindet. Insbesondere kann sowohl die optische Leistungsübersteuerung als auch die DLL-Übersteuerung zusammen verwendet werden, um zu simulieren, dass sich die Kamera in einem anderen Abstand von einem Objekt befindet, als ihr tatsächlicher Abstand. D. h., durch Verringern der optischen Leistung und dem Auferlegen einer zusätzlichen Verzögerung auf das Taktsignal 415 empfangen die Z-Pixel des RGBZ-Sensors Signale mit reduzierter Intensität und zeitlich später, als ob sich die Kamera weiter weg von einem Objekt befindet, als es tatsächlich der Fall ist. Im Vergleich dazu werden durch das Erhöhen der optischen Leistung und das Bewegen der Verzögerung des Taktsignals 415 nach früher in der Zeit die Z-Pixel des RGBZ-Sensors Signale mit verbesserter Intensität zeitlich früher empfangen, als ob sich die Kamera näher an einem Objekt befindet, als es tatsächlich der Fall ist.
-
Hier ist relevant, einige alternative Ausführungsformen zum Auferlegen eines simulierten Abstandes zwischen der Lichtquelle und einem Objekt zu erkennen, der sich von einem tatsächlichen Abstand zwischen der Lichtquelle und dem Objekt unterscheidet. Bis jetzt beschriebene Ausführungsformen umfassen das Anpassen der Amplitude und der Phase des Lichtquellenansteuersignals. Es ist denkbar, dass ein stärkeres optisches Signal von einem näheren Objekt durch Erhöhen der Verstärkung der Tiefenpixel simuliert werden kann, um mehr Ladung zu erfassen und daher ein höheres Amplitudensignal von den Tiefenpixeln zu erzeugen. Desgleichen kann ein schwächeres optisches Signal von einem Objekt, das sich weiter weg befindet, durch Verringern der Verstärkung der Tiefenpixel simuliert werden, um weniger Ladung zu erfassen und daher ein kleineres Amplitudensignal von den Tiefenpixeln zu erzeugen.
-
Jede Kombination von diesen Techniken kann verwendet werden, um den gewünschten simulierten Abstand zu realisieren. Als solches können verschiedene Ausführungsformen eine auf simulierte Abstandskonfigurationseinstellungen ansprechende Tiefenpixelverstärkungsanpassungsschaltung umfassen, um die Verstärkung der Tiefenpixel dementsprechend anzupassen.
-
Es kann zusätzlich eine Phaseninterpolatorschaltung verwendet werden, um die Tiefenpixeltaktsignale (z. B. anstatt des Lichtquellenansteuersignals) auszugeben, um den Tiefenpixeltaktsignalen Phasenanpassungen aufzuerlegen und den simulierten Abstand zu realisieren. Als solches können die relativen Phasen des Lichtquellentreibersignals und der Tiefenpixeltakte genereller angepasst werden, sodass sie zeitlich näher zusammen sind, um ein Objekt zu simulieren, das sich näher befindet, und die relativen Phasen des Lichtquellentreibersignals und der Tiefenpixeltakte können angepasst werden, sodass sie zeitlich weiter auseinander sind, um ein Objekt zu simulieren, das sich weiter weg befindet.
-
Der programmierbare Registerraum 408 zum Ändern der Verzögerung des Taktsignals 415 kann irgendeines akzeptieren von: 1) einem Wert, der eine spezifische Veränderung spezifiziert, die an der Schleifenfilterausgabe auszuführen ist; 2) simulierter zusätzlicher Abstand entfernt; 3) simulierter zusätzlicher Abstand näher. Die obigen Elemente 2) und 3) können der gleiche Konfigurationsraum sein, der verwendet wird, um die optische Leistungsübersteuerung einzustellen. Im Fall der obigen Elemente 2) und 3) umfasst die Schaltung 420 Schaltungen, um die korrekte Anpassung zu bestimmen, die an der Schleifenfilterausgabe basierend auf dem gewünschten simulierten Abstand auszuführen ist. Bei einer Ausführungsform können die Elemente 2) und 3) die simulierten Abstände in spezifischen Inkrementen spezifizieren und die Schaltung 420 passt die Schleifenfilterausgabe in Inkrementen an.
-
Bei einer Ausführungsform ist der Schleifenfilter 418 als Analog- oder Mischsignalkomponente implementiert, die das Phaseninterpolatorsteuersignal als analoges Signal (z. B. eine Spannung) bereitstellt. Bei einer weiteren Ausführungsform ist der Schleifenfilter 418 als ein endlicher Automat implementiert, der den Interpolator mit einem digitalen Wert steuert. Im erstgenannten Fall passt die Schaltung 420 das Niveau des analogen Signals an, im letzteren Fall addiert/subtrahiert die Schaltung 420 zu/von dem digitalen Wert. Das Konfigurationsregister 408 kann auch Registerraum umfassen, der bestimmt, ob die DLL-Schaltung mit oder ohne Anpassungen der Schaltung 420 zu betreiben ist. Wie in 4 ersichtlich, kann der Multiplexer 419 eine Eingabe umfassen, um eine Phaseninterpolatorsteuereingabe direkt vom Konfigurationsregisterraum 408 ohne irgendeine Komponente vom Schleifenfilter und der Schaltung 420 zu empfangen. Die Kanalwahleingabe des Multiplexers 419 wird als Reaktion etabliert. Bei einer weiteren Ausführungsform können Parameter des Schleifenfilters 418 selbst (z. B. Zeitkonstante, Polfrequenz, Kombinationslogikwerte der Nachschlagtabelle des endlichen Automaten usw.) von den Registern 408 konfiguriert werden.
-
Die Timing- und Steuerschaltungen von 4 können auch andere Timing- und Steuersignale erzeugen, wie beispielsweise Timing- und Steuersignale für die ADC-Schaltungen, die analoge Signale von den RGB-Pixeln für die Erfassung eines sichtbaren Bildes der Pixelmatrix sowie RGB-Pixel für die Erfassung eines sichtbaren Bildes selbst digitalisieren. Der Einfachheit halber sind die Schaltungen, die verwendet werden, um diese Timing- und Steuersignale zu erzeugen, in 4 nicht dargestellt.
-
5a zeigt eine erste Methodik, die durch Ausführungsformen des vorstehend beschriebenen integrierten Bildsensors und des Lichtquellentreibers ausgeführt werden kann. Wie in 5a ersichtlich, umfasst die erste Methodik das Ausführen des Folgenden innerhalb eines gleichen Halbleiterchippakets: das Erzeugen eines Ansteuersignals für eine Lichtquelle; das Ansprechen auf Licht, das vom Ansteuersignal erzeugt und von einem Objekt reflektiert wurde, um analoge Tiefenprofilinformationen für das Objekt zu erzeugen; und, das Digitalisieren der analogen Tiefenprofilinformationen.
-
5b zeigt eine zweite Methodik, die durch Ausführungsformen des vorstehend beschriebenen integrierten Bildsensors und des Lichtquellentreibers ausgeführt werden kann. Wie in 5b ersichtlich, umfasst die zweite Methodik das Empfangen von Konfigurationsinformationen in Konfigurationsregisterraum, um einen Abstand zwischen einer Lichtquelle und einem Objekt zu simulieren, der sich von einem tatsächlichen Abstand zwischen der Lichtquelle und dem Objekt 511 unterscheidet. Das Verfahren umfasst zudem Mittel zum Erzeugen eines Lichtquellenansteuersignals mit einem Lichtquellentreiber 512. Das Verfahren umfasst ebenfalls das Erfassen von Licht, das mit dem Lichtquellenansteuersignal erzeugt und vom Objekt reflektiert wurde, mit Tiefenerfassungspixeln, wobei relative Phasen des Lichtquellenansteuersignals und ein Takt, der an die Tiefenerfassungspixel gerichtet ist, angepasst werden, um den simulierten Abstand zu realisieren, und wobei eine Amplitude von mit den Tiefenerfassungspixeln erfassten Signalen, angepasst wird, um den simulierten Abstand 513 zu realisieren.
-
Die 6a und 6b zeigen alternative Ausführungsformen eines integrierten Bildsensors und Lichtquellentreibers. Wie ersichtlich in 6a befinden sich die ADC-Schaltungen 603 auf der gleichen oberen Halbleiter-Die 610 wie die Pixelmatrix 601 anstatt auf der unteren Halbleiter-Die 602 mit der Lichtquellentreiberschaltung 605. Wie ersichtlich in 6b ist die obere Halbleiter-Die 610 ein kompletter Bildsensor mit der Pixelmatrix 601, den ADC-Schaltungen 603 und den Timing- und Steuerschaltungen 604. Die untere Halbleiter-Die 610 weist die Lichtquellentreiberschaltungen 605 auf. Noch weitere Ausführungsformen können unterschiedliche Abschnitte von irgendwelchen der ADC-Schaltungen, der Timing- und Steuerschaltungen und des Lichtquellentreibers auf sowohl der oberen als auch der unteren Halbleiter-Die aufweisen.
-
7 zeigt eine integrierte traditionelle Kamera und ein Laufzeitbildgebungssystem 700. Das System 700 weist einen Anschluss 701 auf, um elektrischen Kontakt, z. B. mit einer größeren System-/Hauptplatine herzustellen, wie beispielsweise der System-/Hauptplatine eines Laptopcomputers, Tabletcomputers oder Smartphones. Abhängig vom Layout und der Implementierung kann der Anschluss 701 mit einem flexiblen Kabel verbinden, das z. B. eine tatsächliche Verbindung mit der System-/Hauptplatine herstellt, oder der Anschluss 701 kann direkten Kontakt mit der System-/Hauptplatine herstellen.
-
Der Anschluss 701 ist an einer Grundplatine 702 angebracht, die als eine mehrschichtige Struktur von abwechselnden leitenden und isolierenden Schichten implementiert sein kann, wobei die leitenden Schichten strukturiert sind, elektronische Spuren zu bilden, welche die internen elektrischen Verbindungen des Systems 700 unterstützen. Durch den Anschluss 701 werden Befehle vom größeren Hostsystem wie Konfigurationsbefehle, die Konfigurationsinformationen von/zu Konfigurationsregistern innerhalb des Kamerasystems 700 lesen/schreiben, empfangen.
-
Ein RGBZ-Bildsensor und Lichtquellentreiber 703 sind in ein gleiches Halbleiter-Die-Paket integriert, das an der Grundplatine 702 unter einer Empfangslinse 702 angebracht ist. Der RGBZ-Bildsensor umfasst eine Pixelmatrix mit unterschiedlichen Arten von Pixeln, von denen einige gegenüber sichtbarem Licht empfindlich sind (speziell eine Untergruppe von R Pixeln, die gegenüber sichtbarem roten Licht empfindlich sind, eine Untergruppe von G Pixeln, die gegenüber sichtbarem grünen Licht empfindlich sind, und einer Untergruppe von B Pixeln, die gegenüber blauem Licht empfindlich sind) und andere gegenüber IR-Licht empfindlich sind. Die RGB-Pixel werden verwendet, um traditionelle Erfassungsfunktionen eines sichtbaren „2D“-Bildes (traditionelle Bildaufnahme) zu unterstützen. Die IR-empfindlichen Pixel werden verwendet, um 3D-Tiefenprofilbildgebung unter Verwendung von Laufzeittechniken zu unterstützen. Obwohl eine grundlegende Ausführungsform RGB-Pixel für die Erfassung eines sichtbaren Bildes umfasst, können andere Ausführungsformen unterschiedliche gefärbte Pixelschemen (z. B. Cyan, Magenta und Gelb) verwenden. Der integrierte Bildsensor und der Lichtquellentreiber 703 können auch ADC-Schaltungen für das Digitalisieren der Signale des Bildsensors und Timing- und Steuerschaltungen zum Erzeugen von Takt- und Steuersignalen für die Pixelmatrix, die ADC-Schaltungen und die Lichtquellentreiberschaltung umfassen.
-
Die Grundplatine 702 kann Signalspuren umfassen, um digitale Informationen zu transportieren, die durch die ADC-Schaltungen an den Anschluss 701 zum Verarbeiten durch eine höhere Endkomponente des Host-Computersystems wie eine Bildsignalverarbeitungspipeline (die z. B. in einem Anwendungsprozessor integriert ist) bereitgestellt werden.
-
Ein Kameraobjektivmodul 704 ist über dem integrierten RGBZ-Bildsensor- und Lichtquellentreiber 703 integriert. Das Kameraobjektivmodul 704 enthält ein System von einer oder mehreren Linsen, um empfangenes Licht durch eine Apertur des integrierten Bildsensor- und Lichtquellentreibers 703 zu bündeln. Da der Empfang von sichtbarem Licht des Kameralinsenmoduls den Empfang von IR-Licht durch die Laufzeitpixelzellen des Bildsensors stören kann und umgekehrt, da der Empfang des Kameramoduls von IR-Licht den Empfang von sichtbarem Licht durch die RGB-Pixelzellen des Bildsensors stören kann, kann eines oder beide von der Pixelmatrix des Bildsensors und dem Linsenmodul 703 ein System von Filtern enthalten, die angeordnet sind, um im Wesentlichen IR-Licht zu blockieren, das durch die RGB-Pixelzellen empfangen werden soll, und im Wesentlichen sichtbares Licht zu blockieren, das durch Laufzeitpixelzellen empfangen werden soll.
-
Ein Beleuchter 705, der aus einer Lichtquellenmatrix 707 unter einer Apertur 706 besteht, ist auch auf der Grundplatine 701 befestigt. Die Lichtquellenmatrix 707 kann auf einem Halbleiterchip implementiert sein, der an Grundplatine 701 befestigt ist. Der Lichtquellentreiber, der im gleichen Paket 703 mit dem RGBZ-Bildsensor integriert ist, ist mit der Lichtquellenmatrix gekoppelt, um zu bewirken, dass sie Licht mit einer bestimmten Intensität und modulierten Wellenform emittiert.
-
Bei einer Ausführungsform unterstützt das integrierte System 700 von 7 drei Betriebsarten: 1) 2D-Modus; 3) 3D-Modus; und, 3) 2D/3D-Modus. Im Fall des 2D-Modus verhält sich das System wie eine traditionelle Kamera. Als solches ist der Beleuchter 705 deaktiviert und der Bildsensor wird verwendet, um sichtbare Bilder durch seine RGB-Pixel zu empfangen. Im Fall des 3D-Modus erfasst das System Laufzeittiefeninformationen eines Objekts im Sichtfeld des Beleuchters 705. Als solches ist der Beleuchter 705 aktiviert und emittiert IR-Licht (z. B. in einer Ein-Aus-Ein-Aus-... Sequenz) auf das Objekt. Das IR-Licht wird vom Objekt reflektiert, durch das Kameralinsenmodul 704 empfangen und durch die Laufzeitpixel des Bildsensors erfasst. Im Fall des 2D/3D-Modus sind die vorstehend beschriebenen 2D- und 3D-Modi gleichzeitig aktiv.
-
8 zeigt eine Darstellung eines beispielhaften Computersystems 800 wie ein Personalcomputersystem (z. B. Desktop oder Laptop) oder ein mobiles oder handgehaltenes Computersystem wie eine Tabletvorrichtung oder ein Smartphone. Wie in 8 ersichtlich kann das grundlegende Computersystem eine Zentraleinheit 801 (die z. B. mehrere Universalprozessorkerne umfassen kann) und einen Hauptspeichercontroller 817 umfassen, die auf einem Anwendungsprozessor oder Mehrkernprozessor 850 angeordnet sind, Systemspeicher 802, ein Display 803 (z. B. Touchscreen, Flachpanel), eine lokale verdrahtete Punkt-zu-Punkt-Verbindung 804 (z. B. USB), verschiedene Netzwerk-I/O-Funktionen 805 (wie eine Ethernetschnittstelle und/oder ein Mobilfunkmodemsubsystem), eine drahtlose lokale Netzwerkverbindung 806 (z. B. WiFi), eine drahtlose Punkt-zu-Punkt-Verbindung 807 (z. B. Bluetooth) und eine globale Positionsbestimmungssystemverbindung 808, verschiedene Sensoren 809_1 bis 809_N, eine oder mehrere Kameras 810, eine Batterie 811, eine Leistungsmanagementsteuereinheit 812, einen Lautsprecher und ein Mikrofon 813 und einen Audiocodierer/-decodierer 814.
-
Ein Anwendungsprozessor oder ein Mehrkernprozessor 850 können einen oder mehrere Universalprozessorkerne 815 innerhalb ihrer CPU 401, eine oder mehrere Grafikprozessoreinheiten 816, einen Hauptspeichercontroller 817, eine I/O-Steuerungsfunktion 818 und eine oder mehrere Bildsignalverarbeitungspipelines 819 umfassen. Die Universalprozessorkerne 815 führen typischerweise das Betriebssystem und die Anwendungssoftware des Computersystems aus. Die Grafikprozessoren 816 führen typischerweise intensive Grafikfunktionen aus, um z. B. Grafikinformationen, die auf dem Display 803 dargestellt werden, zu erzeugen. Die Speichersteuerungsfunktion 817 ist mit dem Systemspeicher 802 verbunden. Die Bildsignalverarbeitungspipelines 819 empfangen Bildinformationen von der Kamera und verarbeiten die Rohbildinformationen für nachgeordnete Verwendungen. Die Leistungsmanagementsteuereinheit 812 steuert generell die Leistungsaufnahme des Systems 800.
-
Die Touchscreendisplays 803, die Kommunikationsschnittstellen 804 bis 807, die GPS-Schnittstelle 808, die Sensoren 809, die Kamera 810 und die Lautsprecher/Mikrofon-Codecs 813, 814 können jeweils als verschiedene I/O-Formen (Eingabe und/oder Ausgabe) relativ zu dem gesamten Computersystem betrachtet werden einschließlich gegebenenfalls einer integrierten Peripherievorrichtung (wie z. B. die eine oder die mehreren Kameras 810). Abhängig von der Implementierung können verschiedene dieser I/O-Komponenten im Anwendungsprozessor/Mehrkernprozessor 850 integriert sein oder können sich außerhalb des Chips oder Pakets des Anwendungsprozessors/Mehrkernprozessors 850 befinden.
-
Bei einer Ausführungsform umfassen eine oder mehrere Kameras 810 ein integriertes traditionelles sichtbares Bilderfassungs- und Laufzeittiefenmessungssystem mit einem RGBZ-Bildsensor und einen in einem gleichen Halbleiterchippaket integrierten Lichtquellentreiber. Anwendungssoftware, Betriebssystemsoftware, Gerätetreibersoftware und/oder Firmware, die auf einem Universal-CPU-Kern (oder einem anderen Funktionsblock, der eine Befehlsausführungspipeline aufweist, um Programmcode auszuführen) von einem Anwendungsprozessor oder einem anderen Prozessor ausgeführt wird, kann Befehle an das Kamerasystem richten und Bilddaten davon empfangen.
-
Im Fall von Befehlen können die Befehle den Eintritt in oder das Verlassen von jedem der vorstehend beschriebenen 2D-, 3D- oder 3D/2D-Systemzustände umfassen. Zusätzlich können Befehle an den Konfigurationsraum des integrierten Bildsensor- und Lichtquellentreibers gerichtet sein, um irgendwelche der vorstehend in Bezug auf die 1a, b bis 6a, b beschriebenen konfigurierten Einstellungen zu implementieren, einschließlich aber nicht begrenzt auf, eine Konfiguration, die den integrierten Bildsensor- und Lichtquellentreiber veranlasst, zu simulieren, dass sich die Kamera näher an einem Objekt in ihrem Sichtfeld oder weiter davon entfernt befindet, wie es tatsächlich der Fall ist.
-
Ausführungsformen der Erfindung können wie vorstehend beschrieben verschiedene Prozesse umfassen. Die Prozesse können in maschinenausführbaren Befehlen verkörpert sein. Die Befehle können verwendet werden, um einen Allzweck- oder Spezialprozessor zu veranlassen, bestimmte Prozesse auszuführen. Alternativ können diese Prozesse durch spezifische Hardwarekomponenten ausgeführt werden, die festverdrahtete Logik enthalten, um die Prozesse auszuführen, oder durch jede Kombination von programmierten Computerkomponenten und benutzerdefinierten Hardwarekomponenten.
-
Elemente der vorliegenden Erfindung können ebenfalls als ein maschinenlesbares Medium zum Speichern der maschinenausführbaren Befehle bereitgestellt werden. Das maschinenlesbare Medium kann umfassen, ist aber nicht beschränkt auf, Disketten, optische Disks, CD-ROMs und magnetooptische Disks, FLASH-Speicher, ROMs, RAMs, EPROMs, EEPROMs, magnetische oder optische Karten, Ausbreitungsmedien oder andere Arten von Medien/maschinenlesbaren Medien, die zum Speichern elektronischer Befehle geeignet sind. Die vorliegende Erfindung kann beispielsweise als ein Computerprogramm heruntergeladen werden, das von einem entfernten Computer (z. B. einem Server) an einen anfragenden Computer (z. B. einem Client) mittels Datensignalen übertragen werden kann, die in einem Trägersignal oder anderem Ausbreitungsmedium über einen Kommunikationslink (z. B. ein Modem oder eine Netzwerkverbindung) ausgeführt werden.
-
In der vorstehenden Beschreibung wurde die Erfindung unter Bezugnahme auf spezifische beispielhafte Ausführungsformen davon beschrieben. Es ist jedoch offensichtlich, dass verschiedene Modifizierungen und Änderungen daran vorgenommen werden können, ohne vom weiteren Sinn und Umfang der Erfindung, wie in den angehängten Ansprüchen angeführt, abzuweichen. Die Beschreibung und Zeichnungen sollen dementsprechend in einem veranschaulichenden anstatt in einschränkendem Sinne betrachtet werden.
