DE112018006100T5

DE112018006100T5 - Einzelchip-rgb-d-kamera

Info

Publication number: DE112018006100T5
Application number: DE112018006100.0T
Authority: DE
Inventors: Christoph Lang; Pedram Lajevardi; Ken Wojciechowski; Behnam Behroozpour
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-12-26
Filing date: 2018-12-18
Publication date: 2020-10-29
Also published as: WO2019129546A1; US20210075980A1; DE112018006021T5; WO2019129544A1; US11240445B2; CN111758047B; CN111758047A; CN111727602B; US20210058605A1; CN111727602A; US11140340B2

Abstract

Eine 3D-Kamera nutzt eine Quelle für moduliertes sichtbares Licht für Tiefenbildgebung und umfasst einen Prozessor, der betreibbar ist, um zwischen Bilddetektion und Tiefe oder Laufzeit- (ToF-) Detektion unter Verwendung derselben Photodetektoren zeitliches Multiplexen durchzuführen. Die Kamera kann zwischen dem Bilddetektionsmodus und dem ToF-Detektionsmodus abwechseln, um einen kontinuierlichen Strom von Farb- und Tiefenbildern zu erzeugen, die übereinander gelegt werden können, ohne dass eine Nachbearbeitungssoftware erforderlich ist. Die Kamera kann auch ausgelegt sein, um die Laufzeit unter Verwendung analoger Integrationsmodule zu bestimmen, wodurch die für Analog/Digital-Umwandlungen und ToF-Berechnungen im digitalen Bereich erforderlichen Schaltungsanordnungen minimiert

Description

Prioritätsanspruch
Diese Anmeldung ist eine reguläre Anmeldung für und beansprucht die Priorität der parallelen provisorischen US-Anmeldung Nr. 62/610.325 , eingereicht am 26. Dezember 2017, deren vollständige Offenbarung hierin durch Verweis aufgenommen ist.
Hintergrund
Dreidimensionale (3D-) Bildgebung und Abbildung wird weit verbreitet in der Robotertechnik, Computervision, im Videospielbereich, in der persönlichen Unterhaltung und vielen anderen Bereichen genutzt. In den meisten dieser Anwendungen werden zwei Chips genutzt. Zuerst werden die 3D-Daten von einem 3D-Laufzeit- (ToF-) Infrarot- (IR-) Bildsensorchip erfasst. Dann werden die 3D-Daten auf zweidimensionalen (2D-) Bildern und/oder Videos, die von einem herkömmlichen 2D-Farbbildgeberchip erhalten wurden, abgebildet oder mit diesen vereinigt. Beispielhafte Systeme werden in K. Shin, Z. Wang und W. Zhan, „3D Object Detection based on Lidar and Camera Fusion“, University of California, Berkeley, online verfügbar unter https://deepdrive.berkeley.edu/preject/3d-object-detectionbased-Lidar-and-camera-fusion; und in D. Pani Paudel, C. Demonceaux, A. Habed, P. Vasseur und I. S. Kweon, „2D-3D Camera Fusion for Visual Odometry in Outdoor Environments“, in lEEE/RSJ International Corference on Intelligent Robots and Systems (TROS 2014), Chicago, 2014 beschrieben, deren Offenbarungen hierin durch Verweis aufgenommen sind.
Durch das Verwenden eines 3D-Sensorchips und eines separaten 2D-Bildgeberchips wird die Software komplexer und erhöht den Leistungsverbrauch der digitalen Verarbeitungseinheit. Darüber hinaus erfordert die Verwendung von zwei Bildgebern einen Abgleich und eine Kalibrierung zwischen dem 3D- und 2D-Farbsensor in der physikalischen Implementationsschicht, um eine Nachbearbeitung oder Vereinigung der 3D- und 2D-Daten zu ermöglichen. Diese Anforderung schafft sogar noch mehr Komplexität und erhöht die Herstellungskosten. In manchen Fällen, in denen die 3D-Daten unter Verwendung von 2D-Bildgebern (zwei Chips) auf Basis von Triangulierung erhalten werden, entstehen bei dem Abgleich und der Kalibrierung der zwei 2D-Kameras Komplexität und Kosten im gleichen Ausmaß. Zusätzlich dazu erfordert die Verwendung von zwei 2D-Kameras eine noch größere Verarbeitung und einen größeren Leistungsverbrauch-Overhead zum Extrahieren der 3D-Informationen aus den zwei 2D-Bildern unter Verwendung von Triangulierung.
Aus diesem Grund gibt es andauernde Bemühungen, um 3D-Laufzeit- und 2D-Bildsensoren auf einem einzelnen Chip, vorzugsweise einem CMOS-Chip, zu entwickeln. Beispiele für diesen Ansatz sind in W. Kim, W. Yibing, I. Ovsiannikov, S. Lee, Y. Park, C. Chung und E. Fossum, „A 1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image Capture", in International Solid-Sate Circuits Conference, San Francisco, 2012; und S.-J. Kim, J. D. K. Kim, S.-W. Han, B. Kang, K. Lee und C.-Y. Kim, „A 640×480 Image Sensor with Unified Pixel Architecture for 2D/3D Imaging in 0.11µm CMOS", in VLSI Circuits (VLSIC), 2011 Symposium on, Honolulu, 2011 offenbart, deren Offenbarung hierin durch Verweis aufgenommen sind. Die Einzelchipvorrichtungen basieren auf dem Multiplexen zwischen den 2D- und 3D-Bildgebungsmodi, in denen sichtbares Licht unter Verwendung eines herkömmlichen Bildsensors abgebildet wird, wobei beispielsweise rote, grüne und blaue (RGB-) Farbfilter auf den Pixeln platziert werden, um eine Unterscheidung der Farben zu ermöglichen. Es werden zusätzliche Pixel bereitgestellt, die mit einem anderen optischen Filter, beispielsweise im infraroten (IR-) Spektrum, bedeckt sind, die mit einer modulierten Infrarotquelle zur Laufzeitbildgebung verwendet werden. In weiteren Fällen können die Farbfilter zum Infrarot- und Zeitmultiplexen transparent sein oder so eingesetzt werden, dass zwischen den zwei Bildgebungsmodi gewechselt werden kann. Diese früheren Ansätze benötigen eine zusätzliche IR-Quelle (zusätzlich zur sichtbaren Blitzlichtquelle, die von einer 2D-Kamera benötigt wird) und Nachbearbeitungsschritte auf dem CMOS-Chip, um dessen Empfindlichkeit gegenüber dem IR-Spektrum herzustellen, wobei beides Kosten verursacht. Eine Zusammenfassung der bekannten 3D-Kamera-Ansätze wird in 1 bereitgestellt.
Der allgemeine Aufbau einer traditionellen Blitzlaufzeit- (ToF-) 3D-Kamera wird in 2 gezeigt. Die ToF-3D-Kamera umfasst einen Sender TX, der betrieben werden kann, um die Amplitude des Lichts von einem Infrarot- (IR-) Laser als eine Reihe von Impulsen zu modulieren, wobei das Licht unter Verwendung der eigenen optischen Elemente auf eine Szene verteilt wird. Die Kamera umfasst ferner einen Empfänger RX, in dem das reflektierte Licht von der Szene gesammelt und auf einer Sensoranordnung, wie beispielsweise einer Photodiodenanordnung auf einem CMOS-Chip, abgebildet wird. Eine Zeitverzögerung, τ, der elektrischen Wellenform (z. B. Photodiodenstrom), die von jedem der Sensorelemente als Reaktion auf das RX-Licht in Bezug auf die ursprüngliche Modulationswellenform im TX-Licht erzeugt wird, wird unter Verwendung von elektronischen Schaltungen gemessen. Die Distanz, R, zu jedem Element der Szene wird dann unter Verwendung der Zeitverzögerung gemäß Gleichung 1 berechnet, wobei c die Lichtgeschwindigkeit ist. $R = \frac{1}{2} c \cdot τ$
3D-Bildgebungskameras dieser Art, die in 2 gezeigt werden, wurden in R. Lange und P. Seitz, „Solid-State Time-of-Flight Range Camera", IEEE Journal of Quantum Electronics, pp. 390-397, 2001; A. Simoni, L. Gonzo and M. Gottardi, „Integrated Optical Sensors for 3-D Vision", in Sensors, 200; und D. Stoppa, L. Viarani, A. Simoni, L. Gonzo, M. Malfatti und G. Pedretti, „A 16x16-Pixel Range-Finding CMOS Image Sensor", in Europian Solid-State Circuits Corference, 2004, erforscht, deren Offenbarungen hierin durch Verweis aufgenommen sind. Nichtsdestotrotz stellen solche Systeme nicht immer ausreichend Informationen über die Farbe und Helligkeit der Szene bereit. Daher wird für Anwendungen, die sowohl Farb- als auch Tiefeninformationen benötigen, wie beispielsweise Objekterkennung und Maschinenvision ein separater herkömmlicher 2D-Bildgeber benötigt, um ein Farbfoto (z. B. eine Kamera mit RGB-Pixeln) der Szene zu erfassen. Nach der 2D- und 3D-Bilderfassung kombiniert eine digitale Bildverarbeitungseinheit die Informationen von den zwei Kameras. Dieser Schritt kann eine große Verarbeitungsleistung nutzen und zeitaufwändig sein, wodurch die Verwendung dieser Systeme zur Echtzeit-Videonutzung mitunter verhindert wird.
Um diese Probleme zu lösen, untersuchten Forscher die Entwicklung eines Einzelchips mit RGB+3D. In vielen Fällen wurde nahes Infrarotlicht (NIR) mit Wellenlängen in der Größenordnung von 800 bis 1000 nm zur Entfernungs- (3D-) Bildgebung genutzt. NIR war die erste Wahl, da es zwei Vorteile gegenüber sichtbarem Licht aufweist:

1) Nahes Infrarotlicht ist für das menschliche Auge nicht sichtbar.
2) Das Strahlungsausmaß des Hintergrundsonnenlichts in den nahen Infrarotwellenlängen ist niedriger als das im sichtbaren Spektrum. Daher ist das Hintergrundrauschen geringer. Ein geringeres Hintergrundrauschen bedeutet eine bessere 3D-Farbmessauflösung.

Nichtsdestotrotz gibt es bei Verfahren, die Infrarot (IR) nutzen Nachteile. Der erste besteht darin, dass diese Verfahren zwei Lichtquellen erfordern - eine sichtbare Lichtquelle zur Farb- oder RGB-Bildgebung und eine Infrarotquelle zur 3D-Bildgebung. Ein weiterer Nachteil in früheren RGB+3D-Systemen und Verfahren besteht darin, dass das Abtasten von Pixeln sowohl gegenüber Infrarotlicht als auch sichtbarem Licht empfindlich ist. Daher setzen die meisten RGB+3D-Kameras vier optische Filter ein, einen für jeden Teil des optischen Spektrums von Interesse, rot, grün, blau und IR, die auf einem CMOS-Pixel angeordnet sind. Da ein Teil jedes Pixels/Pixelbereichs der Detektion von IR zugeordnet sein muss, erfordert diese Lösung entweder die Verringerung des Füllfaktors der Kamera (einer der wesentlichen Gütezahlen für Kamerasysteme) oder die Vergrößerung des tatsächlichen Pixelbereichs, um sowohl Farb- als auch Tiefenbilder zu ermöglichen. Daher erhöht der Zusatz eines IR-Filters die Kameragröße/den Kamerabereich, vorausgesetzt, die Anzahl der Pixel in der Kamera wird konstant gehalten. Die Herstellungskosten zur Produktion einer Digitalkamera sind proportional zum Kamerabereich und der Komplexität, die zur Produktion benötigt wird. Daher ist eine Kamera mit zusätzlichem IR-Filter aufgrund der zusätzlichen Produktionskomplexität zur Herstellung des IR-Filters und des vergrößerten Kamerabereichs kostenintensiver. Es gilt ferner zu verstehen, dass zur Sicherstellung der RGB-Bildqualität in diesen früheren Systemen die Erfassung von 3D-Bildern nicht zur gleichen Zeit stattfindet, sondern zeitmultiplext wird, sodass erst ein RGB-Bild und dann ein 3D-Bild oder umgekehrt erfasst werden. In einem neuen System, wie dem hierin offenbarten System, ist es wünschenswert, die IR-Quelle zu eliminieren und lediglich eine sichtbare Lichtquelle oder sowohl 3D- als auch Standardbildgebung (RGB) zu verwenden.
In einem Versuch auf die erhöhten Kosten aufgrund eines zusätzlichen IR-Filters einzugehen, nutzen manche RGB+3D-Kameras zur IR-Detektion bestehende optische RGB-Filter, und zwar auf Grundlage der Tatsache, dass die RGB-Filter IR nicht vollständig sperren, sondern stattdessen einen Teil des Lichts im IR-Spektrum zu den CMOS-Photodetektoren durchlassen. Obwohl das Entfernen des IR-Filters Kosten reduziert, leidet die Leistung dieser Lösung, da das gesamte sichtbare Licht im Durchlassbereich der RGB-Filter Hintergrundlicht wird, wodurch das Rauschen deutlich erhöht und die 3D-Messauflösung vermindert wird. Zusätzlich dazu wird dennoch eine IR-Lichtquelle benötigt und die Detektoren leiden an einer niedrigeren Quanteneffizienz im IR-Bereich als im sichtbaren Bereich, wodurch die Wirkung des sichtbaren Hintergrundlichts verstärkt wird, während das Signal im IR-Bereich geschwächt wird. Auch hierbei ist es in einem neuen System wünschenswert, die IR-Quelle zu eliminieren und nur eine sichtbare Lichtquelle oder sowohl 3D- als auch Standardbildgebung (RGB) zu nutzen.
Als weiterer Hintergrund ist Lidar (Laser Imaging, Detection and Ranging) eine Technologie zur Feststellung der Distanz zu einem Objekt durch das Messen der Dauer, die eine Lichtwelle benötigt, um sich zu diesem Objekt und wieder zurück zu bewegen. Lidar kann in Abtast- oder Blitzkonstruktionen implementiert werden. Im ersten Fall tastet ein gebündelter Lichtstrahl die Szene von Punkt zu Punkt ab und erzeugt eine 3D-Punktwolke, die die Szene beschreibt. Bei einem Blitz-Lidar jedoch wird die gesamte Szene auf einmal beleuchtet und die Distanz zu allen Punkten wird gleichzeitig und parallel gemessen. Es kann auch eine Kombination aus beiden Techniken genutzt werden, wobei ein Subsatz der Punkte in der Szene parallel gemessen wird.
Eine der Herausforderungen bei der Umsetzung von Blitz-Lidar liegt in der Verringerung der Komplexität der Empfängerpixel, da Millionen davon oft auf einem einzelnen Chip betrieben werden müssen. Das umfasst sowohl den ToF-Messschritt als auch die Digitalisierung, was bei allen Pixeln entweder hintereinander oder parallel stattfinden muss. In Vorrichtungen des Stands der Technik gab es zwei Lösungskategorien für dieses Problem. In der ersten Kategorie werden die Eigenschaften der Wellenform genutzt, um die ToF in einen analogen elektrischen Zwischenparameter, wie beispielsweise Ladung oder Spannung, umzuwandeln und diesen dann in einem weiteren Schritt in eine digitale Zahl umzuwandeln. Zwei Beispiele für diese Kategorie werden in R. Lange und P. Seitz, „Solid-State Time-of-Flight Range Camera", IEEE Journal of Quantum Electronics, pp. 390-397, 2001.; und A. Simoni, L. Gonzo und M. Gottardi, „Integrated Optical Sensors for 3-D Vision", in Sensors, 2002 dargestellt, deren Offenbarungen hierin durch Verweis aufgenommen sind. Ein Verfahren beruht auf der sinusförmigen Modulation der Beleuchtungsquelle. Dann werden in den Empfängerpixeln vier Proben pro Modulationsperiode erhalten und digitalisiert, wobei ihre Werte genutzt werden, um die Phasenverschiebung der Sinuswellenform im Echosignal zu extrahieren und darauf basierend die ToF zu berechnen. Dieses Verfahren hängt stark von der Sinusform der Modulationswellenform ab, um das korrekte Ergebnis zu erzielen, und kann nicht leichtfertig mit anderen Modulationsmustern, wie beispielsweise einer gepulsten (oder Rechteckwellen-) Modulation, genutzt werden. Darüber hinaus wird ein zusätzlicher Schritt zur Digitalisierung der gesampelten Werte benötigt, wodurch die Komplexität zunimmt und die Genauigkeit durch zusätzliche Fehlerquellen in zusätzlichen Schritten verringert wird.
Zur Laufzeitmessung wurde eine andere Technik genutzt, die auf der Rechteckwellenmodulation der Beleuchtungsquelle beruht. Bei dieser Technik wird der vom Rücklauflicht erzeugte Photostrom in zwei getrennten Zeitfenstern integriert. Die Menge der gesammelten Ladung in jedem Fenster zeigt die Überlappung des Hochintensitätsteils der Rechteckwelle mit diesem. Nach der Digitalisierung und manchen zusätzlichen Verarbeitungsschritten kann dann die ToF gemessen werden. Manche andere Varianten dieses Verfahrens werden in folgenden Dokumenten offenbart: R. Lange und P. Seitz, „Solid-State Time-of-Flight Range Camera", IEEE Journal cf Quantum Electronics, pp. 390-397, 2001; A. Simoni, L. Gonzo und M. Gottardi, „Integrated Optical Sensors for 3-D Vision", in Sensors, 2002; D. Stoppa, L. Gonzo, M. Gottardi, A. Simoni und L. Viarani, „A Novel Fully Differential Pixel Concept for Indirect ToF 3D Measurement", in Instrumentation and Measurement Technology Center, 2003; L. Viarani, D. Stoppa, L. Gonzo, M. Gottardi und A. Simoni, „A CMOS Smart Pixel for Active 3-D Vision Applications", IEEE Sensors Journal, Vol. 4, Nr. 1, pp. 145-152, 2004; B. Buttgen, T. Oggier, M. Lehmann, R. Kaufmann und F. Lustenberger, „CCD/CMOS Lock-In Pixel for Range Imaging: Challenges, Limitations and State-of-the-Art", Ist Range Imaging Research Day, 2005; D. Stoppa, L. Viarani und A. Simoni, „A 50x30-pixel CMOS Sensor for ToF-based Real Time 3D Imaging", IEEE Workshop CCD&AIS, 2005; D. Stoppa, L. Gonzo und A. Simoni, „Scannerless 3D Imaging Sensors", International Workshop on Imaging Systems and Techniques, Niagara Falls, 2005; D. Stoppa, L. Pancheri, M. Scandiuzzo, L. Gonzo, G.-F. Dalla Betta und A. Simoni, „A CMOS 3-D Imager Based on Single Photon Avalanche Diode", IEEE Transactions on Circuits and Systems, Vol. 54, Nr. 1, pp. 4-12, 2007; S. Bellisani, F. Guerrieri und S. Tisa, „3D ranging with a high speed imaging array", in Ph.D. Research in Microelectronics and Electronics, 2010; M. Davidovic, G. Zach, K. Schneider-Hornstein und H. Zimmermann, „ToF Range Finding Sensor in 90nm CMOS Capable of Suppressing 180 klx Ambient light", in IEEE Sensors, 2010; G. Zach, M. Davidovic und H. Zimmermann, „A 16 16 Pixel Distance Sensor With In-Pixel Circuitry That Tolerates 150 klx of Ambient Light", JSSC, Vol. 45, Nr. 7, pp. 1345-1353, 2010; O. Sgrott, D. Mosconi, M. Perenzoni, G. Pedretti, L. Gonzo und D. Stoppa, „A 134-Pixel CMOS Sensor for Combined Time-of-Flight and Optical Triangulation 3-D Imaging", JSSC, Vol. 45, Nr. 7, pp. 1354-1364, 2010; A. Speckermann, D. Durini, W. Suss, W. Brockherede, B. Hosticka, S. Schwope und A. Grabmaier, „CMOS 3D Image Sensor Based on Pulse Modulated Time-of-Flight Principle and Intrinsic Lateral Drift-Field Photodiode Pixels", in ESSCIRC, 2011; D. Durini, A. Speckermann, J. Fink, W. Brockherde, A. Grambmaier und B. Hosticka, „Experimental Comparison of Four Different CMOS Pixel Architectures Used in Indirect Time-of-Flight Distance Measurement Sensors", in Image Sensors Workshop, 2011; M. Davidovic, M. Hofbauer, K. Schneider-Hornstein und H. Zimmermann, „High Dynamic Range Background Light Suppression for a ToF Distance Measurement Sensor in 180nm CMOS", in Sensors, 2011; R; Walker, j. Richardson und R. Henderson, „128×96 Pixel Event-Driven Phase-Domain Δ∑-Based Fully Digital 3D Camera in 0.13µm CMOS Imaging Technology", in ISSCC, 2011; D. Milos, M. Hofbauer und H. Zimmermann, „A 33 × 25 µm2 Low-Power Range Finder", in 1SCAS, 2012; D. Bronzi, S. Bellisai, B. Markovic, G. Boso, C. Scarcella, A. Della Frera and A. Tosi, „CMOS SPAD Pixels for Indirect Time-of-Flight Ranging", in Photonics Corference, 2012; M. L. Hafiane, W. Wagner, Z. Dibi und O. Manck, „Depth Resolution Enhancement Technique for CMOS Time-of-Flight 3-D Image Sensors", IEEE Sensors Journal, Vol. 12, Nr. 6, pp. 2320-2327, 2012; K. Yasutomi, T. Usui, S.-M. Han, T. Takasawa, K. Kagawa und S. Kawahito, „A 0.3mm-Resolution Time-of-Flight CMOS Range Imager with Column-Gating Clock-Skew Calibration", in ISSCC, 2014; C. Niclass, M. Soga, H. Matsubara, M. Ogawa und M. Kagami, „A 0.18- m CMOS SoC for a 100-m-Range 10-Frame/s 200 96-PixelTime-of-Flight Depth Sensor", JSSC, Vol. 49, Nr. 1, pp. 315-330, 2014; E. Tadmor, A. Lahav, G. Yahav, A. Fish und D. Cohen, „A Fast-Gated CMOS Image Sensor With a Vertical Overflow Drain Shutter Mechanism", Transaction on Electron Devices, Vol. 63, Nr. 1, pp. 138-144, 2016; J. Illade-Quinteiro, V. Brea, P. Lopez und D. Cabello, „Time-of-Flight Chip in Standard CMOS Technology with In-Pixel Adaptive Number of Accumulations", in 1SCAS, 2016, deren Offenbarungen vollständig hierin durch Verweis aufgenommen sind. Alle Verfahren, die in diesen Referenzen offenbart sind, werden als indirekte ToF- (I-ToF-) Messung bezeichnet.
In der zweiten Kategorie wird die ToF auf direktere Weise gemessen und wird oft als direktes ToF-Verfahren (D-ToF) bezeichnet. Die Modulationswellenform für die Verfahren in dieser Kategorie ist oft eine Reihe von kurzen Lichtimpulsen, die an das Ziel übertragen werden. In den Empfängerpixeln markiert die Ankunftsflanke des Rücklaufimpulses ein Zeitereignis, das dann unter Verwendung eines Zeit/Digital-Wandlers (TDC) digitalisiert wird. Arbeiten in dieser Kategorie werden in F. Villa, R. Lissana, D. Tamborini, B. Markovic, A. Tosi, F. Zappa und S. Tisa, „CMOS single photon sensor with in-pixel TDC for time-of-flight applications", in Workshop on Time-to-Digital Converters (NoMe TDC), Nordic-Mediterranean, 2013 präsentiert, deren Offenbarungen hierin durch Verweis aufgenommen sind. Bei diesen Verfahren werden die ToF-Informationen nur aus ansteigenden oder abfallenden Flanken der Rücklaufwellenform extrahiert, daher hängt ihre Genauigkeit stark von der Schärfe dieser Flanken ab. Darüber hinaus sollten die Empfängerpixel in der Lage sein, solche scharfen Ereignisse aufzunehmen, die die Komplexität erhöhen.
Eine allgemeine schematische Darstellung einer 3D-Kamera wird in 3 gezeigt, die einen Senderabschnitt TX, der das TX-Licht zum Ziel sendet und einen Empfängerabschnitt RX, der das vom Ziel reflektierte RX-Licht sammelt und dessen Laufzeit misst. Eine Art zur Erzeugung einer Punktwolke einer Szene besteht darin, diese sequentiell mit dem Licht von der Quelle abzutasten, wie in der Figur gezeigt wird. In diesem Fall können ein einzelner Detektor oder eine kleine Unteranordnung von Detektoren genutzt werden, um das 3D-Bild Punkt für Punkt oder Stück für Stück zu erzeugen. Eine andere Art besteht darin, die ganze Szene auf einmal zu fluten, wobei eine Detektoranordnung das Licht von den entsprechenden Pixeln sammelt, um ein vollständiges 3D-Bild zu erzeugen. In diesem Fall können die Strahlsteuereinheit eliminiert und die TX-Optikelemente modifiziert werden, um den Lichtstrahl (wie einen Kegel) zu erweitern, um die gesamte Szene abzudecken.
Zur Laufzeitmessung können unterschiedliche Parameter des übertragenen TX-Lichts, wie beispielsweise Intensität oder Amplitude, Phase oder Frequenz, basierend auf dem Aufbau des Lidar moduliert werden. Die Laufzeitmessverfahren, die in der vorliegenden Offenbarung bereitgestellt sind, sind zur Verwendung mit einem beliebigen Intensitätsmodulationsschema, wie beispielsweise einer sinusförmigen, Rechteckwellen- oder gepulsten Modulation, geeignet. 4 zeigt ferner die Betriebsprinzipien eines intensitätsmodulierten Lidar für den Fall, dass das Modulationssignal eine Rechteckwelle ist. Insbesondere gibt die ToF eine Zeitverzögerung τ im Empfangssignal in Bezug auf das Übertragungssignal wieder, das genutzt werden kann, um den Bereich R unter Verwendung der vorstehenden Gleichung 1 zu finden. Es gilt zu verstehen, dass der Faktor von eineinhalb in Gleichung 1 der Tatsache zugrunde liegt, dass die Zeitverzögerung τ von der Umlaufverzögerung des Lichts zum Ziel verursacht wird, sodass der Bereich gleich die halbe Distanz ist, die das Lichtsignal tatsächlich zurücklegt.
Ein effizientes ToF-Messverfahren ist bei Lidar von zentraler Bedeutung, wird jedoch bei Blitz-Lidar zur Herausforderung, wenn Millionen solcher Messungen parallel in den Bildgebungspixeln durchgeführt werden sollen. Bei den meisten Verfahren des Stands der Technik wird die Ausgabe von Millionen der Pixel digitalisiert, indem die Digitalisierungsschaltungsanordnung außerhalb der Pixel platziert wird. Durch die äußere Platzierung der Digitalisierung werden kleinere Pixel und damit eine bessere laterale Auflösung und Empfindlichkeit ermöglicht. Das Auslagern der Digitalisierung führt jedoch zu einer verringerten Bildgebungsgeschwindigkeit. In bestimmten Fällen, in denen die Bildgebungsgeschwindigkeit wichtig ist, wird der Zeitablauf in den Pixeln mit der zugeordneten Schaltungsanordnung gemessen, wie in Texas Instruments, OPT8241 3D Time-of-Flight Sensor, 2015 offenbart, wobei dieses Dokument hierin durch Verweis aufgenommen ist. Diese zusätzliche Schaltungsanordnung führt allerdings zu einer größeren Pixelgröße und einem kleineren Füllfaktor, wodurch die Empfindlichkeit verringert wird. Bei ToF-Lidar-Systemen wird eine relativ einfache Schaltungsanordnung benötigt, um die ToF mit vergleichbarer Genauigkeit aufzulösen.
Zusammenfassung der Offenbarung
In Übereinstimmung mit der vorliegenden Offenbarung wird ein System und Verfahren bereitgestellt, das die vorstehend angeführten Probleme der Ansätze des Stands der Technik lösen kann. Insbesondere beabsichtigt das vorliegende System und Verfahren das Abfühlen der Laufzeit (3D) mit dem sichtbaren Lichtspektrum und das Multiplexen des Bildsensors zwischen der 2D-Farbbildgebung- und 3D-Laufzeit-Bildgebungsmodi als Funktion der Zeit. Der Einfachheit halber wird das vorliegende System in einem Aspekt als RGBvD-System bezeichnet, das dem RGB-Farbsensor mit sichtbarem (Visible) Lichtspektrum-3D-Bildgebungssystem oder - sensor entspricht.
Das hierin offenbarte RGBvD-System stellt folgende Vorteile gegenüber früheren Stereokameras (zwei 2D-Bildgebern, die auf Basis von Triangulierung zwei Chips nutzen) bereit:

1) Wesentlich kleiner mit besserer Tiefenauflösung als mit Stereokameras erzielt werden kann;
2) Geringerer Overhead und geringere Kosten. Durch die Verwendung eines einzelnen Bildgebers entfallen Triangulierungsberechnungen, zusätzliche Komponenten und Einhausungskosten.

Das hierin offenbarte RGBvD-System stellt die folgenden Vorteile gegenüber früheren Systemen, die zwei Chips nutzen (ein Chip für die RGB- und ein Chip für die IR-3D-Abtastung, wie durch die Vorrichtung Microsoft Kinect® veranschaulicht), bereit:

1) Ermöglicht sowohl Farbbildgebung als auch 3D-Bildgebung auf einem einzelnen Chip.
2) Geringerer Overhead und geringere Kosten;
- a. Durch die Verwendung eines einzelnen Bildgebers entfällt der Bedarf an einer Kalibrierung oder Vereinigung von 2D- und 3D-Bildern, die von den zwei Bildgeberchips erhalten werden;
- b. Kein Bedarf an zusätzlichem 3D-IR-Bildgeberchip, IR-Quelle und zusätzlicher Linse für den 3D-IR-Bildgeber.

Das hierin offenbarte RGBvD-System stellt die folgenden Vorteile gegenüber bestehenden RGB+D-Zweichip-Lösungen (ein Chip zur RGB- plus einer zur IR-3D-Abtastung):

1) Nutzt sichtbares Licht
- a. Kein Bedarf an zusätzlichem IR-Filter auf dem Chip, wodurch die Chipverarbeitungskosten verringert werden;
- b. Kein Bedarf an zusätzlicher IR-Lichtquelle. Kosten des 3D-Abtastsystems werden verringert.

Das hierin offenbarte RGBvD-System nutzt sichtbares Licht anstelle von Infrarot und führt ein Zeitmultiplexen zwischen Farb- und Tiefenbildgebungsmodi durch, um sowohl 2D- als auch 3D-Bilder zu den geringstmöglichen Kosten sammeln zu können.
In einem Aspekt der vorliegenden Offenbarung nutzt das RGBvD-System eine modulierte sichtbare Lichtquelle, wie beispielsweise den Blitz einer typischen 2D-Kamera auf einem Funktelefon, zur Tiefenbildgebung und Zeitmultiplexen zwischen Farb- und Tiefenbildgebung. Während der Farbbildgebung kann das Blitzlicht entweder durchgehend aus (z. B. bei der Bildgebung bei Tageslicht) oder durchgehend an sein (z. B. bei der Bildgebung bei Nacht), wohingegen die Intensität der Lichtquelle während der Tiefenbildgebung für die Laufzeit(ToF-) Messung moduliert werden kann. Die Modulationsfrequenz der Lichtquelle liegt außerhalb der Bandbreite des menschlichen Auges, sodass es während der 3D-Bildgebung so aussieht, als wäre die sichtbare Lichtquelle ein konstantes schwaches Licht, das von der Kamera kommt. Zusätzlich dazu kann die Kamera zwischen den beiden Modi hin- und herwechseln, um einen kontinuierlichen Strom von Farb- und Tiefenbildern zu erzeugen, die übereinander gelegt werden können, ohne dass eine Nachbearbeitungssoftware erforderlich ist. Das hierin offenbarte RGBvD-System und die Verfahren können Verfahren implementieren, um die in der Folge genauer beschriebene 3D-Tiefe zu messen, oder können andere bekannte Messverfahren für ToF nutzen, wie beispielsweise jene Verfahren, die in den vorstehenden, durch Verweis aufgenommenen, Dokumenten beschrieben sind.
Das hierin offenbarte RGBvD-System und Verfahren führt zu einer kostengünstigen 3D+RGB-Kameralösung, da dadurch der Bedarf an der Verwendung von kostspieligen Prozessen von CMOS-Bildgebern mit integriertem Schaltkreis, die IR-Filter aufweisen, entfällt. Darüber hinaus entfällt durch das vorliegende RGBvD-System und Verfahren der Bedarf an einer zusätzlichen IR-Quelle, die derzeit in 3D-Lösungen genutzt wird.
In einem weiteren Aspekt der vorliegenden Offenbarung können das vorstehend beschriebene System und Verfahren, sowie andere 3D-Kamerasysteme und -verfahren ein neues Laufzeit- (ToF-) Messsystem und -verfahren implementieren, mit dem die gleichzeitige Messung und Digitalisierung der Umlaufverzögerung einer intensitätsmodulierten Lichtwelle zu einem Ziel ermöglicht wird. Das findet Anwendung in Lidarsystemen (Light-Detection And Ranging), die zur Erzeugung einer 3D-Punktwolke eines Objekts oder einer Szene genutzt werden. Ein Aspekt des Verfahrens beruht auf der sukzessiven Approximation des Integralsymmetriepunkts der Rücklauflichtintensität auf der Zeitachse, um die Phasenverschiebung des Ankunftssignals in Bezug auf die Modulationswellenform der Beleuchtungsquelle zu bestimmen. Der Integralsymmetriepunkt ist der Punkt in der Modulationsperiode, an dem das Integral der Wellenform einer halben Periode links und rechts von dem Punkt gleich ist. Ein weiterer Aspekt des Verfahrens der vorliegenden Offenbarung beruht auf der Sigma-Delta- (ΣΔ-) Modulation, um die Laufzeit festzustellen. Verglichen mit anderen indirekten ToF-Messtechniken nutzen die vorliegenden Verfahren eine einfache Schaltungsanordnung, die im Pixel für große 3D-Blitzkameras implementiert werden können, bei denen Millionen Pixel parallel ToF-Messungen durchführen, um ein gesamtes Einzelbild mit einer einzigen Aufnahme zu erfassen. Die vorliegenden Verfahren können außerdem in einer 3D-Abtastkamera implementiert werden, bei denen Pixel eines 3D-Bilds sequentiell unter Verwendung von Strahlsteuerverfahren erfasst werden. Schließlich können die vorliegenden Verfahren, im Gegensatz zu anderen Verfahren, die üblicherweise nur mit einer bestimmten Modulationswellenform (z. B. Rechteckwelle, sinusförmig etc.) funktionieren, beinahe mit jeder Modulationswellenform einer beliebigen Intensität mit einem Schaltungsaufbau funktionieren, der mit gängigen CMOS, CMOS-Bildgebung und CCD-Technologien kompatibel ist.
Die Systeme und Verfahren der vorliegenden Offenbarung stellen eine inhärente Digitalisierung im Pixel bereit, wodurch der Kameraaufbau vereinfacht und das auf die Eingabe bezogene Rauschen reduziert werden kann. Im Vergleich mit dem D-ToF-Verfahren nutzt dieses Verfahren die gesamte Wellenform des Modulationssignals anstelle der Ankunftsflanke, um die ToF-Informationen zu extrahieren. Dadurch werden die Empfindlichkeit gegenüber den Merkmalen der Modulationswellenform und auch die Komplexität der Empfangsschaltungsanordnung verringert. Zusätzlich zu all diesen Vorteilen können die vorliegenden Systeme und Verfahren mit beinahe jeder beliebigen Modulationswellenform genutzt werden, wodurch diese zu Universalverfahren werden, die im Detektionspfad der meisten Systeme, unabhängig von ihrer Senderdurchlassarchitektur oder ihrer Modulationswellenform.
Figurenliste

1 ist eine Graphik bekannter 3D-Bildgebungsverfahren.
2 ist ein Diagramm einer Blitzlaufzeit- (ToF-) 3D-Kamera.
3 ist ein Diagramm einer 3D-Kamera und eines Lidar-Systems.
4 ist ein Diagramm von übertragenen und empfangenen Signalen unter Verwendung des in 3 gezeigten Systems.
5 ist ein Diagramm des Zeitmultiplexens zur Laufzeit- und RGB-Detektion, das durch das hierin beschriebene System und Verfahren implementiert wird.
6 ist ein Schaltplan, der zur Laufzeitbestimmung konfiguriert ist.
7 ist ein Zeitablaufdiagramm zum Betreiben der Schaltung von 6.
8a ist ein Diagramm einer Pixelanordnung zur Verwendung in der 3D-Kamera von 3.
8b ist ein Schaltplan, der zur RGB-Lichtdetektion und ToF-Bestimmung für die 3D-Kamera von 3 gemäß einem Aspekt der vorliegenden Offenbarung konfiguriert ist.
8c ist ein Schaltplan einer Kondensatorschaltung, die in der in 8b gezeigten Schaltung genutzt wird.
9 ist ein Zeitablaufdiagramm zum Betreiben der Schaltung 8b um ein RGB-Bild zu erzeugen.
10 ist ein Zeitablaufdiagramm zum Betreiben der Schaltung von 8b zum Erzeugen von Laufzeit- und Tiefeninformationen für die 3D-Kamera von 3 gemäß einem Aspekt der vorliegenden Offenbarung.
11 ist ein Diagramm von ToF-Messungen unter Verwendung einer sukzessiven Approximation gemäß einem Aspekt der vorliegenden Offenbarung.
12 ist ein Schaltplan einer Schaltung zum Durchführen der sukzessiven Approximation, die in dem Diagramm von 11 gezeigt wird, gemäß einem Aspekt der vorliegenden Offenbarung.
13 ist ein Diagramm von ToF-Messungen unter Verwendung einer Sigma-Delta-Modulation gemäß einem weiteren Aspekt der vorliegenden Offenbarung.
14 ist ein Schaltplan einer Schaltung zum Durchführen der Sigma-Delta-Modulation, die in dem Diagramm von 13 gezeigt wird, gemäß einem weiteren Aspekt der vorliegenden Offenbarung.
15 ist ein Diagramm des Sigma-Delta-Modulationsverfahrens unter Verwendung von schmalen Modulationsimpulsen.
16 ist eine Graphik, in der der Betrieb eines integrationsbasierten Proportionaldiskriminators gemäß einem Merkmal der vorliegenden Offenbarung erklärt wird.
17 ist ein Diagramm eines Signals, das durch eine Nichtrechteckwelle übertragen wird, in dem eine Rückkopplungsschleife für den integrationsbasierten Proportionaldiskriminator dargestellt wird, um den Integralsymmetriepunkt des Signals zur Verwendung bei den hierin offenbarten ToF-Messungen zu bestimmen.
18 ist ein Diagramm einer Vorrichtung zum Durchführen des in 17 gezeigten Rückkopplungsschleifenverfahrens.
19 ist ein Diagramm einer Vorrichtung zum Durchführen des in 17 gezeigten Rückkopplungsschleifenverfahrens, in dem eine analoge Rückkopplungsschleife eingebunden ist.
20 ist ein Diagramm einer Vorrichtung zum Durchführen des in 17 gezeigten Rückkopplungsschleifenverfahrens zur Verwendung mit der hierin offenbarten ΣΔ-Laufzeitmessung.

Detaillierte Beschreibung
Zum Zwecke eines leichteren Verständnisses der Prinzipien der Offenbarung wird nun Bezug auf die in den Zeichnungen dargestellten und in der folgenden schriftlichen Beschreibung beschriebenen Ausführungsformen genommen. Es gilt zu verstehen, dass damit keine Einschränkung des Schutzumfangs der Offenbarung beabsichtigt ist. Es gilt weiters zu verstehen, dass die vorliegende Offenbarung beliebige Änderungen und Modifikationen der dargestellten Ausführungsformen und außerdem weitere Anwendungen der hierin offenbarten Prinzipien umfasst, wie sie üblicherweise Fachleuten auf dem Gebiet der Erfindung in den Sinn kommen, an die sich diese Offenbarung richtet.
Zeitmultiplex-Farbbildgebungsvorrichtung
Die vorliegende Offenbarung beabsichtigt das Abtasten der Laufzeit (3D) mit dem sichtbaren Lichtspektrum und das Multiplexen des Bildsensors, wie beispielsweise des RX-Sensors in 3, zwischen 2D-Farbbildgebungs- und 3D-Laufzeitbildgebungsmodi als Zeitfunktion. Der Einfachheit halber wird das vorliegende System als RGBvD-System bezeichnet, das dem RGB-Farbsensor mit sichtbarem (Visible) Lichtspektrum-3D-Bildgebungssystem oder -sensor entspricht. In einem Aspekt der vorliegenden Offenbarung nutzt das RGBvD-System eine modulierte sichtbare Lichtquelle, wie beispielsweise den Blitz einer typischen 2D-Kamera auf einem Funktelefon, zur Tiefen- oder ToF-Bildgebung und zum Zeitmultiplexen zwischen der Farb- und Tiefenbildgebung. Während der Farbbildgebung kann das Blitz- oder TX-Licht entweder durchgehend aus (z. B. bei der Bildgebung bei Tageslicht) oder durchgehend an sein (z. B. bei der Bildgebung bei Nacht), wohingegen die Intensität der Lichtquelle für die Laufzeit- (ToF-) Messung moduliert werden kann. Die Modulationsfrequenz der Lichtquelle liegt außerhalb der Bandbreite des menschlichen Auges, sodass es während der 3D-Bildgebung so aussieht, als wäre die sichtbare Lichtquelle ein konstantes schwaches Licht, das von der Kamera kommt.
Zusätzlich dazu ist die Kamera ausgelegt, um zwischen den beiden Modi hin- und herzuwechseln, um einen kontinuierlichen Strom von Farb- und Tiefenbildern zu erzeugen, die übereinander gelegt werden können, ohne dass eine Nachbearbeitungssoftware erforderlich ist, wie in 5 gezeigt wird. Daher kann die 3D-Kamera, wie beispielsweise die Kamera in 3, und insbesondere die RX- und Verarbeitungsschaltungsanordnung oder der RX-Prozessor der Kamera gesteuert werden, wie beispielsweise durch eine Schaltungsanordnung oder Software, um zwischen dem Erhalten eines Farbbilds in einem Bildgebungsmodus, wie beispielsweise in Einzelbild N und Einzelbild N+2, und dem Erhalten von Laufzeit- (ToF-) Informationen in einem ToF-Modus, wie beispielsweise in dem Zwischeneinzelbild N+1, aus dem gleichen übertragenen TX-Licht und dem gleichen RX-Licht, das von dem detektierten Objekt oder der detektierten Szene reflektiert wird, zu multiplexen. Das hierin offenbarte RGBvD-System und die hierin offenbarten Verfahren können Verfahren umsetzen, um die 3D-Tiefe oder ToF zu messen, wie im Folgenden genauer beschrieben wird, oder sie können andere bekannte Messverfahren für ToF nutzen, wie beispielsweise jene Verfahren, die in vorstehenden, durch Verweis aufgenommenen, Dokumenten beschrieben sind. Die Kamera kann den in 3 gezeigten Aufbau aufweisen, bei dem das Rücklaufsignal zu einer Photodiodenanordnung A geleitet wird, bei der die Ausgabe jeder Photodiode vom RX-Prozessor C verarbeitet wird. In Übereinstimmung mit der hierin offenbarten RGBvD-Kamera ist der RX-Prozessor C zum Alternieren zwischen Einzelbildern ausgelegt, um Farbbilder im Bildgebungsmodus zu speichern und ToF-Informationen im ToF-Modus zu erzeugen und zu speichern, die alle vom gleichen TX-Signal stammen.
Eine detailliertere Erklärung beginnt mit der in 6 gezeigten Basisschaltung zum Messen der Laufzeit zwischen dem TX-Licht und dem RX-Licht, das im Diagramm in 4 gezeigt wird. Die in 6 gezeigte Schaltung betrifft einen einzelnen Lichtdetektor 10 an der RX-Sensorseite der in 3 gezeigten Kamera. Bei dem Detektor 10 kann es sich um einen herkömmlichen RGB-Lichtdetektor oder eine Photodiode handeln. Die Ausgabe von Detektor 10 wird einem Paar von Transfergates TG₁ , TG₂ bereitgestellt, die zusammen mit entsprechenden Kondensatoren, C_FD1, C_FD2, einen Integrator zum Integrieren oder Sammeln von Ladung von dem Detektor 10 bilden. Ladung Q₁ , Q₂ wird in jedem Kondensator gesammelt, wenn das entsprechende Transfergate geöffnet wird. Wenn die Gates geschlossen sind, kann die Ladung in jedem Kondensator durch einen Puffer BUF als entsprechende Spannungen V₁ , V₂ ausgegeben werden. Diese Spannungen können in entsprechende A/D-Wandler eingespeist werden, um sie zur Berechnung der Laufzeit innerhalb des RX-Prozessors C oder innerhalb einer externen Vorrichtung, der die Spannungen V₁ , V₂ (oder die A/D-umgewandelten digitalen Werte) bereitgestellt werden, zu verwenden.
Die Transfergates TG₁ , TG₂ werden gemäß der in 7 gezeigten Zeitablaufgraphik aktiviert oder geöffnet, um die zur Bestimmung der Laufzeit nötige Integration durchzuführen. Wie in 7 gezeigt, wird das erste Transfergate TG₁ bei der Übertragung des TX-Lichtimpulses für eine Zeitspanne geöffnet, der gleich der Länge oder Zeitdauer des TX-Impulses T_P ist. Solange das Transfergate TG₁ offen ist, wird Ladung vom Detektor 10 als Ladung Q₁ im Kondensator C_FD1 gesammelt. Am Ende der Zeitspanne T_P wird das zweite Gate TG₂ für eine gleiche Zeitspanne T_P geöffnet, währenddessen die Ladung Q₂ im Kondensator C_FD2 gesammelt wird. Es gilt zu verstehen, dass wenn die Transfergates TG₁ , TG₂ geöffnet sind, die Ladung nur in den entsprechenden Kondensatoren gesammelt wird, wenn der RX-Sensor das reflektierte Licht detektiert. Somit wird, wie in 7 gezeigt, das RX-Licht zu einem Zeitpunkt empfangen, der vom Beginn des TX-Impulses versetzt ist - d. h. die Laufzeit (ToF). Wie von den zwei schattierten Abschnitten des RX-Lichts in 7 dargestellt, überlappen der vordere Abschnitt des empfangenen RX-Impulses und der TG₁-Impuls um die Ladung Q₁ und der hintere Abschnitt des RX-Impulses und der TG₂-Impuls um die zweite Ladung Q₂ .
Die Schaltungsanordnung für eine 3D-Kamera gemäß der vorliegenden Offenbarung wird in 8a-8c gezeigt. Die 3D-Kamera umfasst eine Vielzahl von Pixelanordnungen, wie beispielsweise die in 8a gezeigte Pixelanordnung. In der dargestellten Ausführungsform umfasst eine 2x2-Anordnung einen Detektor, der für rotes, grünes und blaues Licht (RGB) eingestellt ist. Der zusätzliche Detektor in dem Beispiel kann auf grünes Licht oder auf andere Frequenzen oder Frequenzbandbreiten kalibriert werden. Jeder Detektor gibt einem entsprechenden Paar von Transfergates TG₁ , TG₂ , wie vorstehend angeführt, in Übereinstimmung mit der in 8b gezeigten Schaltung eine Ladung aus. Die entsprechenden Transfergates leiten die Ladung zu einer Kondensatorschaltung DIN weiter, die genauer in 8c dargestellt ist. Wie in 8c gezeigt, ist der Kondensator CFD durch einen Rücksetztransistor mit einer Grundspannung VDD verbunden, wobei die Ladung des Kondensators zu einem Datenbus COL über einen Puffer ausgegeben wird, der einen Auswahltransistor SEL umfasst. Wie in 8b gezeigt, umfasst jeder Detektor ein Paar von Transfergates TG₁ , TG₂ und ein Paar von Kondensatorschaltungen, wie in 8c gezeigt, wobei die Ausgabe jeder Kondensatorschaltung einer Leitung COL(0), COL(1) ... COL(7)., des Datenbus COL zugeführt wird. Alternativ dazu kann der Datenbus eine einzelne Datenleitung sein, wobei der Ausgang jeder Kondensatorschaltung der Busleitung COL ein Seriensignal bereitstellt.
In Übereinstimmung mit der vorliegenden Offenbarung wird die Schaltungsanordnung von 8b-8c abwechselnd genutzt, um das RGB-Bild zu detektieren und um die Laufzeit zu bestimmen, um so den 3D-Aspekt der Kamera zu ermöglichen. Im Speziellen beabsichtigt die vorliegende Offenbarung das Multiplexen des Betriebs der Schaltung über eine Reihe von TX-Impulsen zwischen Bilddetektion und der ToF-Messung, wie vorstehend in Bezug auf 5 angeführt. Im Speziellen werden die Eingabeleitungen SEL, RESET, VDD und Ströme zu den Transfergates TG₁ , TG₂ für jede Kondensatorschaltung DIN vom RX-Prozessor C gesteuert werden. Der RX-Prozessor C ist auch zur Steuerung in der Lage, wenn das TX-Licht aktiviert ist.
Wenn die Schaltungsanordnung von 8b-8c im RGB-Bildgebungsmodus betrieben wird, aktiviert der RX-Prozessor C die RESET-, TG₁-, TG₂- und SEL-Eingaben in Übereinstimmung mit der in 9 gezeigten Zeitablaufgraphik. Erst gilt es zu verstehen, dass das TX-Licht im RGB-Bildgebungsmodus nicht aktiviert sein muss, wie durch das Null-TX-Lichtsignal in 9 angezeigt wird. In diesem Fall erfolgt die Bilddetektion unter Umgebungslichtbedingungen, um eine genaue Abbildung der erfassten Szene bereitzustellen. Es gilt jedoch zu verstehen, dass in manchen Fällen zusätzliches Licht zu der Szene hinzugefügt werden kann, wobei das TX-Licht kontinuierlich über den Bildabtastungszeitraum aktiviert werden kann.
Im Standardfall setzt das RESET-Signal alle Kondensatorschaltungen DIN zurück, sodass keine Ladung Q₁ , Q₂ in beliebigen der Kondensatoren, die den RGB-Detektoren entsprechen, vorhanden ist. In Übereinstimmung mit dem Rücksetzsignal werden die zwei Transfergates TG₁ , TG₂ aktiviert, sodass Ladung von dem entsprechenden Detektor in jedem der Kondensatoren C_FD1, C_FD2 (FIG. A) gesammelt wird. Die Ladungen werden über einen vorbestimmten Zeitraum gesammelt, der besonders geeignet ist, um genug Licht für eine genaue Detektion der Intensität der jeweiligen roten, grünen und blauen Lichtkomponenten, die von der Szene reflektiert werden, zu erhalten. Die Transfergates werden nach Ende des vorbestimmten Zeitraums geschlossen und die SEL-Eingabe wird aktiviert, um die Kondensatorladung zur entsprechenden Datenbusleitung COL zu leiten. Bei diesem Farbbildgebungsmodus wird erwartet, dass die Ladungen in den zwei Kondensatoren für jeden Detektor gleich oder im Wesentlichen gleich sind, da die Transfergates für jede Kondensatorschaltung für den gleichen Zeitraum geöffnet werden. Sobald die Kondensatorladungen zum Datenbus ausgegeben wurden, startet das RESET-Signal den Zyklus von neuem. Die an den Datenbus COL ausgegebenen Ladungen werden durch einen A/D-Wandler geleitet und der RX- und Verarbeitungsschaltungsanordnung C (2), um das Farbbild der detektierten Szene zu erzeugen, und/oder einer externen Vorrichtung zur weiteren Verarbeitung zugeführt.
Um dem Farbbild Tiefe bereitzustellen, werden die Laufzeitinformationen im zweiten Betriebsmodus der Schaltung von 8b-8c erzeugt. Wenn die Schaltungsanordnung im ToF-Modus betrieben wird, aktiviert der RX-Prozessor C die RESET-, TX-Licht-, TG₁-, TG₂- und SEL-Eingaben in Übereinstimmung mit der in 10 gezeigten Zeitablaufgraphik. Das RESET-Signal bereinigt die Kondensatorschaltungen DIN jedes Detektors, wobei dann nach der Übertragung des TX-Lichtsignals das Transfergate TG₁ des ersten Kondensator C_FD1 jedes Detektors für die Zeitspanne Tp des TX-Lichtimpulses offen ist. Am Ende der Zeitspanne Tp ist das erste Transfergate geschlossen und das zweite Gate TG₂ ist geöffnet, und Ladung wird in dem zweiten Kondensator C_FD2 auf die in dem Diagramm in 7 dargestellte Weise akkumuliert. Nachdem der TX-Impuls übertragen wurde, empfangen die Detektoren gewisse Zeit danach das reflektierte Lichtsignal RX, und es ist dieses Signal, das durch die zwei Kondensatoren C_FD1, C_FD2, wie oben erläutert, integriert wird. Das SEL-Signal wird zu einem vorbestimmten Zeitpunkt nach der Übertragung des TX-Signals bereitgestellt, um die Kondensatoren an die entsprechende Busleitung COL zu entladen. Die Spannungen auf den Busleitungen für alle Detektoren (nämlich die RGBG-Detektoren in dem vorliegenden Beispiel) können durch einen A/D-Wandler geleitet werden, und die digitalen Informationen können verwendet werden, um die ToF für jeden Detektor zu berechnen.
Es gilt anzuerkennen, dass dieselbe Schaltung, die in 8b-8c dargestellt ist, ihr entsprechendes Farbsignal und ein ToF-Signal für jeden Detektor abhängig von der Zeitgebung der Signale in 9 und 10 erzeugt. Daher erwägt die vorliegende Offenbarung, dass die RX- und Verarbeitungsschaltung C der 3D-Kamera (3) ausgelegt sein kann, um die Signale RESET, TX-Licht, TG₁ , TG₂ und SEL gemäß dem Standardbildgebungsmodus aus 9 zu erzeugen, der mit der Erzeugung der Signale RESET, TX-Licht, TG₁ , TG₂ und SEL gemäß dem ToF-Modus aus 10 verschachtelt ist. Der Multiplexing-Zyklus kann in gleichmäßigen Zeitabständen wie nach jedem RESET-Signal abwechselnd zwischen den Modi auftreten, oder der ToF-Zeitablauf aus 10 kann nach 2, 3 oder mehr Zyklen des Bildgebungsmoduszeitablaufs aus 9 aktiviert werden.
Wie in 10 dargestellt, wird das TX-Lichtsignal gepulst, um eine Basislinie für die Messung der ToF zwischen dem TX-Lichtsignal und dem reflektierten RX-Lichtsignal zu erstellen. Die Dauer T_P und die Frequenz des übertragenen TX-Lichtimpulses kann so kalibriert werden, dass das Licht nicht von Beobachtern wahrgenommen wird. Andererseits ist die Dauer T_P lange genug, so dass ausreichend Lichtenergie oder Photonen von den Detektoren empfangen wird/werden, um die Kondensatoren zu laden und eine genaue Messung der Zeitablaufdifferenz ToF bereitzustellen.
Das Multiplexing-Merkmal der vorliegenden Offenbarung kann mit verschiedenen Lichtquellen für das TX-Licht implementiert werden. Die Lichtquelle kann z.B. eine einzelne Weißlichtquelle oder getrennte Lichtquellen sein, bei denen Licht auf einer bestimmten Wellenlänge oder einem Wellenlängenband (z.B. rot, grün, blau) zentriert ist. Alternativ dazu kann sich die Lichtquelle außerhalb des sichtbaren Spektrums befinden, wobei einer der Lichtdetektoren in der Pixelanordnung aus 8a der nichtsichtbaren Lichtquelle unter der Voraussetzung entspricht, dass die alternative Lichtquelle nur während des ToF-Teils des Zyklus aktiviert wird. Die Lichtquellen in dem TX-Bereich der Kamera aus 3 können LEDs, VCESLs, Laser oder andere geeignete Lichtübertragungselemente sein. Die Lichtdetektoren können Standard-Photodioden oder andere Vorrichtungen sein, die dazu in der Lage sind, die jeweiligen Lichtsignale zu erfassen. Alle Komponenten, einschließlich der Schaltungen aus 8b-8c, können auf einer gemeinsamen Platine unter Verwendung konventioneller Halbleiterherstellungsverfahren bereitgestellt werden.
Der hierin offenbarte Multiplexing-Ansatz ermöglicht die Verwendung von sichtbarem Licht, derselben Lichtquelle und denselben Lichtdetektoren sowohl für die Bilderzeugung und die ToF-Berechnung. Da dieselben Detektoren, die das Farbbild erfassen, auch ToF-Daten bereitstellen, sind die ToF-Informationen für jede Pixelanordnung der Farbkamera korrekt - d.h. es gibt keinen Parallaxe-Effekt zwischen dem Farbbild und der ToF-Tiefenmessung. Der Multiplexing-Ansatz der vorliegenden Offenbarung ermöglicht daher die Verwendung eines Standard-CMOS-Bildsensors, CIS oder ASIC, die für die Farbbilderfassung verwendet werden, unter der Steuerung der Komponenten, die dem RX-Prozessor oder der Software zugeordnet sind. Die Verarbeitungsschaltungsanordnung muss mit der 3D-Kameralichtquelle (wie dem Blitz eines Smartphones oder dergleichen) verbunden sein, um den TX-Lichtimpuls zu steuern. Die RX- und Verarbeitungsschaltungsanordnung C kann ausgelegt sein, das Signal auf der Busleitung COL zu empfangen und kann die ToF-Informationen für jeden Sensor mit den RGB-Informationen für jenen speziellen Sensor korrelieren, um ein 3D-Bild zu erzeugen.
Messung der sukzessiven Approximation der Laufzeit
In einer Ausführungsform der vorliegenden Offenbarung kann eine 3D-Kamera, wie die in 3 dargestellte Kamera, RX-Prozessor C einbinden, der ausgelegt und betreibbar ist, um ein erstes Verfahren der vorliegenden Offenbarung zur Messung der Laufzeit durchzuführen, die als „Messung des Integralsymmetriepunkts (ISP) der sukzessiven Approximation der ToF (SA-ToF)“ bezeichnet wird. Die Verarbeitungsschaltungsanordnung C kann eine elektronische Schaltungsanordnung, einen Mikroprozessor, der programmierbar ist, um Softwarebefehle auszuführen, oder eine Kombination daraus sowie eine Schaltungsanordnung umfassen, die jeder Photodiode oder einer Gruppe von Photodioden zugeordnet ist. Ältere 2D- oder 3D-Kameras basieren auf dem Abnehmen von Ladungen von Photodioden, wobei die abgenommenen Ladungen in digitale Daten umgewandelt werden und die Laufzeitberechnungen in der digitalen Domäne durchgeführt werden. Andererseits bestimmt die vorliegende Offenbarung die ToF in der analogen Domäne unter Verwendung einer Schaltungsanordnung, die einer oder mehreren Photodioden zugeordnet ist, um die gesammelten Ladungen von der/den Photodiode(n) zu integrieren. Das ISP-SA-ToF-Verfahren basiert auf dem Finden eines Punkts (d.h. ein Zeitpunkt) in dem empfangenen Signal RX während einer einzelnen Modulationsperiode, in der das Integral unter der Signalkurve rechts und links des Punkts innerhalb dieser Periode gleich ist - daher die Bezeichnung Integralsymmetriepunkt. Beispielsweise ist dieser Punkt bei einer Quadratmodulation, wie in 4 dargestellt, im Mittelpunkt des „HOCH“-Zustands der Modulation. Die ToF kann durch Vergleichen der Zeitgebung dieses ISP-Punkts in dem empfangenen Signal RX mit der Zeitgebung des ähnlichen ISP-Punkts in dem Übertragungssignal TX gemessen werden. Der ISP für das übermittelte Signal TX ist bereits von vornhinein bekannt, da das Übertragungssignal in der Kamera erzeugt und gesteuert wird.
Gemäß der vorliegenden Offenbarung wird der Vorgang zum Finden der exakten Position des Integralsymmetriemittelpunkts für das empfangene Signal RX in aufeinanderfolgenden Schritten über mehrere Modulationszyklen durchgeführt, daher der Aspekt der sukzessiven Approximation der SA-ToF-Messung. Das vorliegende Verfahren ermöglicht die Wiederverwendung derselben Schaltungsanordnung, welche die Schaltungskomplexität und deren Größe insbesondere beim Einsatz für 3D-Blitzkameras wiederum reduziert. Die Modulationsfrequenz ist oftmals um einige Größenordnungen höher als die Einzelbildrate, daher führt das Durchführen der Messung in aufeinanderfolgenden Perioden nicht zu praktischen Einschränkungen.
Das Verfahren der sukzessiven Approximation der vorliegenden Offenbarung wird in dem Diagramm in 11 dargestellt. Das vorliegende System und das Verfahren sind betreibbar, um die ToF durch Messen des Zeitablaufs des Integralsymmetriepunkts (ISP) des empfangenen Signals unter Bezugnahme auf denselben ISP-Punkt des Übertragungssignals TX zu finden. Der Einfachheit halber kann angenommen werden, dass die Modulation des TX-Lichts und des RX-Lichts beide eine Rechteckwellenform aufweisen, aber das vorliegende Verfahren kann auch auf jede andere Modulationswellenform angewendet werden. Das Übertragungssignal, das an das Ziel übermittelt wird, ist in 11 ganz oben als TX-Licht dargestellt, und das zeitverzögerte empfangene Signal oder RX-Licht ist unterhalb des TX-Signals dargestellt. Der Integralsymmetriepunkt des RX-Lichts wird durch einen Punkt mit der Bezeichnung ISP markiert und wird unter Bezugnahme auf den Integralsymmetriepunkt des TX-Lichts gemessen, der bereits im vornhinein als Mittelpunkt der Rechteckwelle bekannt ist. Gemäß der vorliegenden Offenbarung ist das Ergebnis der Messung eine Binärzahl, die mit einer Binärzahl aus einer vollständigen Skala gleich einer vordefinierten Maximallaufzeit ToF_max verglichen werden kann, die das System messen kann. Die ToF_max ist notwendigerweise geringer als die Modulationsperiode T_M des TX-Signals.
In dem ersten Schritt der Messung werden zwei Integrationszeitfenster, W₁ und W₂ , definiert, von denen jedes eine vorbestimmte Zeitdauer aufweist, die gleich der Hälfte von ToF_max ist, wie in „Schritt 1“ in 11 dargestellt. Die Zeitfenster bestimmen die Periode, in der die von der Photodiode 10 erzeugte Ladung als Reaktion auf den Empfang des RX-Signals unter Verwendung einer analogen Schaltungsanordnung wie hierin beschrieben akkumuliert oder integriert wird. Das anfängliche Zeitfensterpaar W₁ , W₂ beginnt an dem ISP des TX-Signals. Das Integral oder die Akkumulation der Photodioden-Ladung innerhalb jedes Fensters wird bestimmt, wobei das Integral des ersten Zeitfensters W₁ als Q₁ bezeichnet wird, und das Integral des RX-Signals innerhalb des zweiten Zeitfensters W₂ als Q₂ bezeichnet wird. In der in 11 dargestellten Ausführungsform ist Q₂ > Q₁, so dass daraus gefolgert werden kann, dass das RX-Signal eine größere Überlagerung mit dem zweiten Zeitfenster als mit dem ersten Fenster aufweist. Daher ist dann bekannt, dass der ISP in dem zweiten Fenster W₂ auftreten sollte. In Übereinstimmung mit dem vorliegenden Verfahren setzt die Gegenwart des ISP in dem zweiten Fenster W₂ eine erste Binärzahl für diese zeitliche Integration auf eine binäre „1“, wie in 11 unter der Zeitachse abgebildet ist. Es gilt anzumerken, dass, falls der ISP innerhalb des ersten Fensters W₁ vorhanden ist, die erste Binärzahl eine binäre „0“ wäre. Die nachfolgenden Schritte sollen das Paar aus Zeitfenstern der ½ ToF_max-Länge hin zu einem Punkt verschieben, an dem das Integral des RX-Signals in jedem der Fenster gleich, im Wesentlichen gleich oder innerhalb eines vorbestimmten Bereichs ist/liegt.
Daher wird in dem zweiten Schritt bestimmt, ob der ISP sich in der ersten Hälfte des Fensters W₂ oder in der zweiten Hälfte dieses Fensters befindet. Um diese Bestimmung vorzunehmen, werden die Zeitfenster W₁ , W₂ an dem nächsten TX-Signal auf dieselbe Weise wie oben beschrieben neu definiert, und zwei neue Zeitfenster W₃ und W₄ werden ebenfalls auf ähnliche Weise definiert - d.h. sie weisen eine Zeitdauer gleich der Hälfte von ToF_max auf. Allerdings sind die neuen Fenster W₃ , W₄ anders als die ersten zwei Fenster so definiert, dass die Hinterflanke von Fenster W₃ und die Vorderflanke von Fenster W₄ in der Mitte des neu definierten Fensters W₂ ausgerichtet sind, wie in „Schritt 2“ in 11 abgebildet. In diesem Beispiel ist das Integral der von der Photodiode 10 innerhalb des neuen Zeitfensters W₃ , das als Q₃ bezeichnet wird (entsprechend der während dieses Zeitfensters akkumulierten Ladung), erzeugten Ladung größer als das Integral des RX-Signals in dem Zeitfenster W₄ , das als Q₄ bezeichnet wird, daher wird die zweite Binärzahl als „0“ ausgewählt.
In dem dritten Schritt werden die Zeitfenster W₁ , W₂ , W₃ und W₄ an dem nächsten TX-Signal auf dieselbe Weise wie in dem zweiten Schritt neu definiert. Die neuen Zeitfenster W₅ und W₆ werden in „Schritt 3“ auf dieselbe Weise definiert, wie die Fenster W₃ , W₄ (d.h. von denen jedes eine Dauer von ½ ToF_max aufweist), außer, dass die Grenzen der zwei neuen Fenster auf die Mitte des dritten Fensters W₃ eingestellt werden, da das Integral Q₃ größer ist als Q₄ . In dem dritten Schritt ist das Integral der von der Photodiode 10 als Reaktion auf das RX-Signal innerhalb des Zeitfensters W₅ , das als Q₅ bezeichnet wird, erzeugten Ladung größer als das Integral des RX-Signals innerhalb des Zeitfensters W₆ , das als Q₆ bezeichnet wird, da die dritte Zahl auch als binäre „0“ eingestellt wird. Am Ende der drei Schritte wird die ToF mit einer Genauigkeit von drei Stellen durch eine binäre „100“ dargestellt. Bei einer Genauigkeit von drei Stellen ist der Binärwert für die maximale Laufzeit ToF_max eine binäre „111“. In diesem Beispiel und bei einer Genauigkeit von drei Stellen tritt der Integralsymmetriepunkt ISP für das empfangene Signal RX, aus dem der ToF-Wert erhalten werden kann, in dem fünften Fenster oder dem Oktant des maximal messbaren ToF_max-Zeitintervalls auf. (Es gilt anzumerken, dass der erste Oktant „000“ entspricht und der achte Oktant „111“ entspricht).
Die Genauigkeit der Messung kann durch Fortsetzen dieser Schritte, bei denen sich die Grenze des Paars aus Integrationsfenstern näher und näher an den tatsächlichen ISP bewegt, unendlich erhöht werden, wie durch „Schritt n“ in 11 dargestellt. Es gilt anzuerkennen, dass die Grenze jedes aufeinanderfolgenden Paars aus Integrationsfenstern W_2n-1 und W_2n nach den ersten Integrationen in der Mitte des Zeitfensters in dem vorangegangenen Paar aus Zeitfenstern eingestellt wird, für das dessen Integral oder die akkumulierte Ladung größer ist als das Integral für das andere Fenster des Paars. Beispielsweise werden die Vorderfenster W₃ , W₅ etc. der Fensterpaare in dem dargestellten Beispiel immer das größere Integral aufweisen, zumindest bis die Grenze zwischen dem Paar aus Fenstern den ISP des RX-Signals erreicht. Falls das Integral von Fenster W₁ in dem anfänglichen Schritt des Vorgangs andererseits größer als das Integral von Fenster W₂ gewesen wäre, würde die Grenze von nachfolgenden Paaren von Integrationsfenstern an den geradzahligen Fenstern W₂ , W₄ etc. ausgerichtet werden.
In manchen Ausführungsformen wird die Messgenauigkeit von der elektronischen Schaltung begrenzt, die den Vergleich der Integralwerte Q_2n-1 und Q_2n in „Schritt n“ durchführt. Ebenso wird die Zeitgebungsgenauigkeit der Fenster von dem elektronischen Taktgeber oder von Verzögerungselementen begrenzt, die verwendet werden, um die Integrationszeitfenster zu verschieben. In einem speziellen Beispiel kann eine geeignete Annäherung der Fenstergrenzlinie an den tatsächlichen ISP nach zehn Schritten (n = 10) erzielt werden, was eine binäre 10-BitZahl ergibt, ausgehend von der die ToF berechnet werden kann.
Die Beziehung zwischen der maximalen Laufzeit ToF_max und der Modulationsperiode T_M kann berücksichtigt werden, so dass sich in einem hypothetischen Fall, falls ToF gleich null ist, das erste Integrationsfenster in jedem Schritt auf der Zeitachse weiterbewegen würde, bis das Integrationszeitfenster vollständig vor dem ISP des TX-Übertragungssignals auftritt. In einem weiteren Szenario würde sich das zweite Fenster in der Zeit nach vorne bewegen, falls die ToF ihr Maximum erreicht hat, bis es vollständig nach ToF_max vor dem ISP des TX-Signals auftreten würde. Da jedes Fenster gleich $\frac{1}{2} T o F_{m a x}$
ist, bedeutet dies, dass sich der Integrationsintervall (der aus zwei Fenstern besteht) für jeden Schritt von $\frac{1}{2} T o F_{m a x}$
vor dem ISP des Übertragungssignals bis $\frac{1}{2} T o F_{m a x}$
nach dem $I S P + T o F_{m a x}$
erstrecken kann. Deshalb sollte die Modulationsperiode T_M des Sende- und Empfangssignals TX, RX für das vorliegende Verfahren zumindest gleich 2 × ToF_max sein. Falls nötig, kann diese erforderliche Zusatzzeit durch Hinzufügen einer Redundanz zu den Integrationsfenstern und auch einer Pixelschaltungsanordnung ausgeschlossen werden, wobei in diesem Fall die Modulationsperiode T_M sinken kann, um gleich ToF_max zu sein.
Eine beispielhafte Schaltung, die die oben beschriebenen Verfahren implementiert, ist in 12 dargestellt. Diese beispielhafte Schaltung kann einem jeden Pixel oder jeder Photodiode oder einer Photodiodenanordnung zugeordnet werden oder kann Gruppen aus Pixeln/Photodioden zugeordnet werden. Es kann anerkannt werden, dass die vorliegende Offenbarung das Durchführen der ToF-Bestimmung unter Verwendung einer analogen Schaltungsanordnung ohne die Notwendigkeit des Durchführens einer Analog-Digital-Umwandlung wie in früheren ToF-Kamerasystemen erwägt. In einer Ausführungsform umfasst die Schaltungsanordnung zwei gegatete Integrationsblöcke 12, 14, die das Signal oder die Ladung von dem Photodetektor 10 empfangen, das/die als Reaktion auf den Empfang des RX-Signals erzeugt wurden. Es gilt zu verstehen, dass die Integrationsblöcke gemäß der in 6 dargestellten Schaltungsanordnung konstruiert werden können, die Transfergates und Kondensatoren verwendet, um Ladung von dem Photodetektor zu speichern. Die Transfergates von Integrationsblöcken 12, 14 werden gemäß jedem der Paare von Integrationszeitfenstern W₁ , W₂ , etc. aktiviert, um die Photodiodenladung innerhalb des Fensters wie oben erläutert zu integrieren oder zu akkumulieren. Der Integrationsblock 12 wird während Zeitfenster W_2k-1 aktiviert, während der zweite Integrationsblock 14 während des späteren Zeitfensters W_2k aktiviert wird, wobei „k“ für die Nummer des „Schritts“ steht (siehe 11). Daher können die Integrationsblöcke unter Verwendung von Schaltkondensatorschaltungen implementiert werden, um den Photostrom von dem Sensor (Photodetektor 10) in Ladungen Q_2k-1 und Q_2k zu integrieren. Die integrierten Werte oder Ladungen Q_2k-1 und Q_2k werden dann unter Verwendung eines Komparators 16 verglichen, und die analoge Spannung, entsprechend einer binären „0“ oder „1“ wird an ein Steuermodul 18 übermittelt. Das Steuermodul 18 erhöht die Nummer des „Schritts“ „k“ und legt die Zeiten für die zwei Integrationsfenster W_2k+i , W_2k+2 für den nächsten Zyklus fest, der nach Empfang des nächsten TX-Signals beginnt. Die neuen Zeitfenster werden an den zwei Integrationsmodulen 12, 14 bereitgestellt. Eine beispielhafte Weise, um diese Funktion des Steuermoduls 18 zu implementieren, ist die Verbindung eines Hochfrequenz-Taktsignals mit einem digitalen Zähler und die Erstellung der Zeitfenster W_2k+1 , W_2k+2 bei bestimmten Zahlen am Ausgang des Zählers. Diese bestimmten Zahlen können dann digital aktualisiert werden, um die Zeitgebung für W_2k+1 und W_2k+2 festzulegen.
Das Steuermodul 18 kann ausgelegt und betreibbar sein, um die analoge Ausgabe des Komparators 16 in eine binäre „0“ oder „1“ umzuwandeln. Ein Speicherblock oder ein Schieberegister 20 kann das Vergleichsergebnis von jedem Schritt für die endgültige binäre Ausgabe für das Pixel enthalten, wobei das Ergebnis des ersten Vergleichs in „Schritt 1“, die signifikanteste Bit-Position einnimmt und der letzte Vergleich die am wenigsten signifikante Bit-Position einnimmt. Es gilt zu verstehen, dass die Ausgabe eine Binärzahl mit einer Bitlänge n sein wird, wobei n der Anzahl von Integrationen entspricht, die von den Integrationsblöcken 12, 14 vorgenommen wurden. Diese Ausgabe wird an einen Prozessor innerhalb der RX-Schaltungsanordnung C übermittelt, um die ToF-Berechnung durchzuführen.
Alternativ dazu kann das Schieberegister 20 Serienkondensatoren umfassen, die den Ziffern der Binärzahl entsprechen, wobei die analoge Ausgabe des Komparators unter Steuerung des Steuermoduls 18 an den „k-ten“ Serienkondensator übermittelt wird. Die Serienkondensatoren können unter Verwendung eines Abtast-Halte-Peakdetektors oder einer ähnlichen Komponente in die Binärzahl mit einer Länge von n Bits umgewandelt werden.
Für die Berechnung der Laufzeit (ToF), kann die binäre Ausgabezahl b₀b₁ ...b_n mit dem binären Wert für die maximale ToF verglichen werden, die von der gegenständlichen Vorrichtung gemessen werden kann. Laut Definition ist der maximale Binärwert für die maximale ToF 111 ... 1_n, wobei dieser Binärwert den tatsächlichen Zeitwert für die maximal messbare ToF darstellt. Die gemessene ToF ist daher das Verhältnis der binären Ausgabe b₀b₁ ...b_n aus der in 12 dargestellten Schaltung und die maximale binäre ToF-Zahl 111... 1_n, multipliziert mit dem tatsächlichen maximalen ToF_max-Zeitwert, der bereits absichtlich bekannt ist. Daher kann der Prozessor innerhalb des RX-Prozessors C ausgelegt sein, die zwei binären Werte zu vergleichen, die Multiplikation des Verhältnisses mit dem maximalen ToF_max-Zeitwert durchführen und eine Ausgabe bereitstellen, die den tatsächlichen Laufzeitwert für das/die jeweilige Pixel/Photodiode oder Gruppe aus Pixeln/Photodioden abbildet. Diese Ausgabe kann eine wahrnehmbare Ausgabe wie eine visuelle Anzeige sein oder kann ein Ausgabesignal sein, das an einer Verarbeitungsvorrichtung wie einem Lidar oder einer Bild- oder VideoVerarbeitungsvorrichtung bereitgestellt wird. In dem oben erläuterten Beispiel mit drei Stellen ist der Binärwert in dem Ausgaberegister 20 „100“, verglichen mit dem maximalen binären ToF-Wert von „111“. Das binäre Verhältnis beträgt daher „100/111“ oder dezimal 4/7, was bedeutet, dass die tatsächlich gemessene ToF 4/7 der vorbestimmten Zeit für ToF_max beträgt.
Eine Variante dieser Schaltung kann beide Ladungen Q_2k-1 und Q_2k auf demselben Kondensator wie dem Kondensator C_FD1 in 6 integrieren, jedoch mit einer anderen Polarität für die in dem späteren Zeitfenster akkumulierte Ladung, so dass die in dem Kondensator akkumulierte Ladung im Wesentlichen die zweite Ladung von der ersten Ladung subtrahiert. Die endgültige Ladung über die zwei Zeitfenster in dem Kondensator wird mit einem Referenzpotenzial verglichen, das gleich dem ursprünglichen Potenzial jenes Kondensators ist, um zu bestimmen, ob die Ladung mit positiver oder negativer Polarität größer war. Diese Technik kann zwei Vorteile bieten. Erstens kann sie den Effekt des Hintergrundlichts in dem Subtraktionsvorgang aufheben, was den erforderlichen Bereich für den Komparator-Gleichtakt verringert. Zweitens beseitigt sie den Fehlpaarungsfehler über die zwei integrierenden Kanäle unter Verwendung desselben Integrationselements (Kondensator) für beide Zeitfenster.
Der hierin offenbarte Algorithmus wie in dem Diagramm in 11 ausgeführt und wie durch die in 12 dargestellte Schaltung durchgeführt basiert darauf, dass die Gesamtzeit für die Integrationsschritte kurz genug ist, so dass die Objekte in der Szene keine merkliche Bewegung aufweisen, um die Messung zu stören. Eine ausreichend kurze Gesamtzeit ist möglich, da die Modulationsperiode T_M nur ein Bruchteil einer Mikrosekunde sein kann und die Einzelbildrate der meisten 3D-Kameras Zehntel einer Millisekunde betragen kann. In einer speziellen Ausführungsform kann die Anzahl von Integrationsschritten, die die Anzahl von Bits für die ToF-Messung festlegt, kleiner als 10 sein. Daher kann die Zeit, die pro Umwandlungsschritt gebraucht wird, um vieles länger sein als ein Bruchteil einer Mikrosekunde. Dieses Merkmal ermöglicht die mehrmalige Wiederholung der Integrationsfenster für jeden Umwandlungsschritt und das Akkumulieren von mehr elektrischer Ladung, bevor der Vergleich zwischen den Ladungen durchgeführt wird. Eine größere akkumulierte Ladung kann die Anforderungen an die Konstruktion des Komparators verringern und kritische Parameter wie den Leistungsverbrauch für jedes Pixel positiv beeinflussen. Dies kann dann wichtig sein, wenn die Schaltung in einer Blitzkamera implementiert ist, in der die Menge Licht pro Pixel klein ist (daher kann weniger Ladung akkumuliert werden) und Millionen Pixel arbeiten gleichzeitig, daher sollte ihr Leistungsverbrauch begrenzt werden. Außerdem kann die Wiederholung der Integration pro Umwandlungsschritt dabei helfen, weißes Rauschen, das von dem Detektionsschrotrauschen und thermalem Rauschen vom elektronischen Frontend verursacht wurde, auszumitteln. Dies verbessert in der Folge die Genauigkeit der ToF-Messung. Gemäß der möglichen Modulationsperiode und typischen Einzelbildraten in 3D-Kameras können zehntausende Integrationsfenster akkumuliert werden, bevor der Vergleich für jeden Umwandlungsschritt durchgeführt wird.
Das Steuermodul 18 der Schaltung in 12 kann eine Schaltungsanordnung und/oder Firmware umfassen, die ausgelegt und betreibbar ist, um das Zeitfenster an jedem Schritt „k“ zu bestimmen. Die Ausgaben W_2k+1 , W_2k+2 können Aktivierungsfenster für die Transfergates TG₁ , TG₂ (6) für jedes Integrationsmodul 12,14 darstellen. Die Dauer der Zeitfenster ist basierend auf der Länge von ToF_MAX vorbestimmt und kann in das Steuermodul „fest verdrahtet“ sein oder kann für das Steuermodul 18 zugänglich sein. Das Steuermodul ist ferner ausgelegt und betreibbar, zu bestimmen, welche der früheren Zeitfenster von der Grenze zwischen dem nächsten Paar aus Zeitfenstern halbiert werden. Bestimmte Aspekte des in 11 dargestellten Algorithmus, der von dem Steuermodul 18 ausgeführt wird, können an ein zentrales Steuermodul wie einer Nachschlagtabelle für die Länge von ToF_MAX delegiert werden.
Es kann anerkannt werden, dass die Schaltung aus 12 in die in 8b dargestellte Schaltung zur Verwendung zum Multiplexen zwischen RGB-Farbbildgebung und der ToF-Bestimmung aufgenommen werden kann. In diesem Fall können der Komparator 16 und das Steuermodul 18 zwischen der Kondensatorschaltung DIN und der Ausgangsbusleitung COL integriert werden, wobei die binäre Ausgabe 20 auf der Busleitung bereitgestellt ist. Anstelle der zwei Ausgaben (z.B. COL(0), COL(1)) für jedes Pixel würde eine einzige Ausgabe bereitgestellt werden, die der binären Ausgabe 20 entspricht. Es kann ferner anerkannt werden, dass die RX- und Verarbeitungsschaltungsanordnung C ausgelegt sein kann, die Komponenten gemäß dem ToF-Zeitablaufdiagramm aus 10 über mehrere Zyklen je nach Bedarf zu betätigen, um eine Konvergenz der Integration zu erzielen. Beispielsweise kann die Schaltungsanordnung C betrieben werden, um eine RGB-Farbbildgebungssequenz gemäß dem Zeitablaufdiagramm aus 9 ausführen, gefolgt von sieben Zyklen der ToF-Zeitablaufssequenz aus 10, wobei sich dieses Muster im gesamten Bildgebungsvorgang wiederholt. Alternativ dazu kann die Schaltungsanordnung C ausgelegt sein, eine Konvergenz vor der vorbestimmten Anzahl von ToF-Zeitablaufszyklen (z.B. sieben) zu detektieren und die ToF-Zeitablaufssequenz zu beenden und die RGB-Farbdetektionszeitablaufssequenz auszuführen.
∑Δ-Ladungsakkumulation für die Laufzeitmessung
Ein zweites Verfahren der vorliegenden Offenbarung kann als „ISP-Annäherung mit ∑Δ-Ladungsakkumulation für die ToF-Messung“ identifiziert werden, wie in 13 dargestellt. In diesem Verfahren bleibt das Integrationsfenster für jeden Schritt dasselbe - d.h. es verschiebt sich in Bezug auf die Signale TX, RX über die Zeit hinweg nicht. Vielmehr schaltet die Akkumulation der Photodiodenladung als Reaktion auf dem Empfang des RX-Signals zwischen den zwei Fenstern basierend auf dem insgesamt akkumulierten Signal um. In dem ersten Schritt werden die zwei Zeitfenster W₁ , W₂ wie oben beschrieben in Bezug auf den Integrationssymmetriepunkt ISP, wie in 11 dargestellt, definiert, nämlich mit einer Dauer von ½ ToF_max und mit einem Beginn am ISP des übertragenen TX-Signals. Die Ladung der Photodiode 10 als Reaktion auf das RX-Signal wird in jedem Zeitfenster, Q₁ , Q₂ , integriert oder akkumuliert. Q₁ sowie Q₂ werden in getrennten Speichern wie analogen Speichern oder Kondensatoren innerhalb der entsprechenden Integrationsmodule gespeichert. In dem in 13 dargestellten Beispiel bekommt nur die Ladung für das erste Fenster W₁ , Q₁ , eine zweite Akkumulation, genannt 2Q₁ , da Q₂ > Q₁ , während Q₂ gleich bleibt. Anders ausgedrückt wird die Ladungsakkumulation in dem ersten Zeitfenster in dem nächsten Schritt bestimmt oder noch genauer wird das eingehende RX-Signal nur in dem ersten Fenster integriert und in seinem entsprechenden Speicher gespeichert, während die Ladung für Q₂ gleich bleibt. In dem zweiten Schritt wird Q₂ mit 2Q₁ verglichen und da Q₂ < 2Q₁ , (d.h. die zweite Ladungsakkumulation des ersten Fensters überschreitet die unveränderte Ladung des zweiten Fensters) bekommt die während des zweiten Zeitfensters W₂ , Q₂ , akkumulierte Ladung eine zusätzliche Akkumulierung, die als 2Q₂ bezeichnet wird, während die zweite Akkumulierung für Fenster W₁ , 2Q₁ , gleich bleibt.
Das Verfahren wird dann mit derselben Logik fortgesetzt, wobei zwei Zähler die Anzahl von Akkumulierungen N₁ und N₂ für jedes der Fenster W₁ und W₂ nachverfolgen. Insbesondere werden die Akkumulierungen N₁ und N₂ nur dann erhöht, wenn der Umschalter 50 die Ausgabeladung an das entsprechende Integrationsmodul weiterleitet. Die Zähler können in das Steuermodul 48 aufgenommen werden. Dies ähnelt einem ∑Δ-Modulator, bei dem die Rückkopplung die Konvergenz des akkumulierten Signals von den zwei Fenstern für eine lange Messperiode verglichen mit der Abtastperiode (d.h. über-abgetastetes System) sicherstellt. Das Steuermodul 48 bestimmt das Produkt der Anzahl von Akkumulationen und der akkumulierten Ladung für jedes Integrationsmodul. Das Steuermodul beendet den Vorgang, wenn diese Produkte gleich sind, nämlich wenn N₁ · Q₁ = N₂ · Q₂. Am Ende der Umwandlung können die in den Zählern gespeicherten Zahlen verwendet werden, um das Verhältnis von Ladungen gemäß der nachstehenden Gleichung 2 zu bestimmen, wobei T_P die Impulsbreite ist: $N_{1} \cdot Q_{1} = N_{2} \cdot Q_{2} \Rightarrow n = \frac{Q_{1}}{Q_{2}} = \frac{N_{2}}{N_{1}} \Rightarrow T o F = \frac{1}{2} (T o F_{m a x} + \frac{n - 1}{n + 1} T_{p})$
Ein Vorteil dieses ∑Δ-ToF-Messverfahrens verglichen mit dem vorangegangenen ToF-Messverfahren der sukzessiven Approximation ist jener, dass die akkumulierte Ladung über die Zeit nicht auf null zurückgesetzt wird, was eine höhere Genauigkeit ermöglicht. Außerdem erfordert das ∑Δ-Verfahren keinen Hochfrequenz-Referenztaktgeber, um die Fenster vor- und zurück zu verschieben, wie es in dem Verfahren der sukzessiven Approximation nötig ist. Der Zeitquantifizierungsschritt ist im Wesentlichen gleich der Breite der Integrationsfenster, aber das Quantifizierungsrauschen wird mittels Über-Abtasten und Rauschformen durch ∑Δ-Modulation begrenzt gehalten.
Eine Implementierung dieser ∑Δ-Laufzeit- (∑Δ - ToF -)Engine ist in dem Schaltbild aus 14 dargestellt. Wie die Schaltung aus 12 für die SA-ToF-Messung kann die Schaltung in 14 jedem Pixel/jeder Photodiode 40 oder einer Gruppe von Pixeln/Photodioden zugeordnet werden. Die Schaltung umfasst zwei gegatete Integrationsblöcke 42, 44, die die Ladung als Reaktion auf den Empfang des RX-Signals von dem Photodetektor 40 empfangen. Allerdings bestimmt anders als in der SA-ToF-Messschaltung ein Umschalter 50, welcher Integrationsblock das Signal von dem Photodetektor empfängt, um Ladung zu akkumulieren. Natürlich stellt der Umschalter 50 in dem anfänglichen Schritt das RX-Signal an beiden Blöcken bereit.
Die Ausgaben der Integrationsblöcke N₁ · Q₁ und N₂ · Q₂ werden an einen Komparator 46 weitergegeben, wobei das Ergebnis an ein Steuermodul 48 übermittelt wird, das über einen Umschalter 50 auswählt, welcher der Integrationsblöcke 42, 44 die Ladung von dem Photodetektor 40 in dem nächsten Schritt abhängig von dem oben beschriebenen Vergleich empfängt. Das Steuermodul speichert die Ausgabe in einem Speicherblock 52. In diesem Fall ist die Ausgabe die Anzahl von Akkumulationen für die zwei Fenster N₁, N₂, da gemäß der obigen Gleichung 2 das Verhältnis dieser Akkumulationen für das Verhältnis der gemessenen ToF und der maximal messbaren ToF_max für die Vorrichtung steht. Dieses Verhältnis kann daher verwendet werden, um die Laufzeit für das reflektierte RX-Signal durch Multiplizieren des tatsächlichen Zeitwerts für ToF_max mit diesem Verhältnis zu berechnen. Diese Berechnung kann in dem Steuermodul 48 oder in einem getrennten Prozessor erfolgen, der die Ausgabe 52 empfängt. Der Wert für die tatsächliche Laufzeit kann als wahrnehmbare Ausgabe wie eine visuelle Anzeige bereitgestellt werden oder kann ein Ausgabesignal sein, das an einer Verarbeitungsvorrichtung wie einem Lidar oder an einer Bild- oder Videoverarbeitungsvorrichtung bereitgestellt wird.
Diese Schaltung ähnelt einem konventionellen ∑Δ-Quantisierer, außer, dass die vorliegende Schaltung kein Referenzsignal in seinem Rückkopplungs-Digital-Analog-Wandler (DAC) verwendet. Vielmehr verwendet die Schaltung die Ladungen Q₁ und Q₂ als die zwei Zustände, zwischen denen der DAC hin- und herschaltet. Deshalb hängt die Genauigkeit dieses Verfahrens nicht von der Genauigkeit irgendeines analogen Parameters ab, der auf einem CMOS-Chip erzeugt werden sollte, was einen wichtigen praktischen Vorteil darstellt.
Eine Variante dieser Schaltung kann Ladungen aus beiden Fenstern auf demselben Speicherelement (z.B. Kondensator) speichern, jedoch mit entgegengesetzter Polarität. Dann kann die Entscheidung zum Umschalten der Akkumulierung durch Vergleichen der gespeicherten Gesamtladung mit dem ursprünglichen Referenzzustand des Kondensators getroffen werden, während die Rückkopplungsschleife sicherstellt, dass die insgesamt akkumulierte Ladung über lange Zeit gegen null konvergiert (N₁ · Q₁ - N₂ · Q₂ = 0).
Ähnlich wie ein konventioneller ∑Δ-Modulator kann der Integrator (d.h. Akkumulierung) in dem Vorwärtskoppelungspfad durch eine Übertragungsfunktion der höheren Ordnung ersetzt werden, um die Modulationsordnung zu erhöhen und die Genauigkeit zulasten von komplizierteren Pixeln zu verbessern, die auf einem Chip möglicherweise eine größere Fläche besetzen. Unter Annahme einer Modulationsfrequenz im MHz-Zehnerbereich (was gleich einer konventionellen ∑Δ-Abtastrate ist) und einer Einzelbildrate im Hz-Zehnerbereich ist das Über-Abtastverhältnis nahe an der Million, was groß genug ist, so dass für die meisten 3D-Bildgebungsanwendungen keine Schleifenfilter höherer Ordnung erforderlich sind.
Es kann angemerkt werden, dass wenn das ∑Δ-ToF-Messsystem und das hierin beschriebene Verfahren verwendet wird, das Hintergrundlicht zur Ladung von beiden Fenstern beitragen und zu einer Ungenauigkeit der Messung führen kann. Dieses Problem kann durch Hintergrundlicht-Unterdrückungsverfahren wie jenen verringert werden, die in M. Davidovic, G. Zach, K. Schneider-Hornstein and H. Zimmermann, „ToF Range Finding Sensor in 90nm CMOS Capable of Suppressing 180 klx Ambient light," in IEEE Sensors, 2010, dessen Offenbarung hierin durch Verweis aufgenommen ist, vorgeschlagen werden.
Das in 13 dargestellte ∑Δ-ToF-Messverfahren muss möglicherweise nicht genau sein, falls die Modulationswellenform ein scharfer Impuls ist, der nur unter eines der Zeitfenster W₁ oder W₂ fällt, wie in 15 dargestellt. Unter dieser Bedingung ist die in jeder Periode akkumulierte Ladung keine Funktion der Impulszeitgebung. Anders ausgedrückt wird eine konstante Menge Ladung immer in einem der Fenster akkumuliert, unabhängig davon, ob der Impuls am Anfang des Fensters ankommt oder an dessen Ende. Eine Möglichkeit, um die Verwendung dieses Verfahrens auf solche schmalen Impulswellenformen auszuweiten, ist die Verwendung eines Multi-Bit-∑Δ-Modulators, bei dem die Breite der Zeitquantifizierungsschritte kurz genug ist, um sicherzustellen, dass die Impulsbreite immer mit zumindest zwei der Schritte eine Überlagerung aufweist und daher die Ladung, die innerhalb dieser Schritte akkumuliert wurde, eine analoge Funktion der Impulsankunftszeit ist und die Zeitgebungsinformationen daher nicht verloren gehen.
Eine weitere Möglichkeit ist die Verwendung eines Zweistufenwandlers, in dem die erste Stufe eine SA-ToF mit niedriger Auflösung verwendet, um den ungefähren ISP wie oben in Verbindung mit 11 beschrieben zu lokalisieren. In der zweiten Stufe wird das exakte Verhältnis der Ladung in den zwei Fenstern unter Verwendung eines ∑Δ-Kerns quantisiert, um die Zeitgebung des Ankunftssignals mit höherer Auflösung aufzulösen, wie in 13 dargestellt. In diesem Fall weist der ∑Δ-Wandler die zuvor erwähnte Einschränkung nicht auf, da die SA-ToF bereits sicherstellt, dass die zwei ∑Δ-Quantifizierungsfenster einen geeigneten Zeitablauf aufweisen, so dass der Rückimpuls RX nicht von einem einzelnen Fenster eingeschlossen wird und dessen Zeitablauf korrekt von dem Verhältnis der in den zwei Fenstern akkumulierten Ladungen widergespiegelt wird.
Das oben beschriebene Zweistufen-Umwandlungsverfahren könnte mit SA-ToF, gefolgt von einem beliebigen anderen Wandler verwendet werden, der das genaue Verhältnis der Ladungen Q₁ und Q₂ bestimmen könnte, wie es mithilfe des ∑Δ-Verfahrens erreicht wird. Außerdem muss das sekundäre Feinumwandlungsverfahren nicht auf Pixelebene implementiert werden und kann auch auf Spalten- oder Einzelbild-Ebene durchgeführt werden, je nach Anforderung der jeweiligen Kameraarchitektur und des jeweiligen Anwendungsfalls. Es gilt anzuerkennen, dass die in 14 in Verbindung mit dem in 13 dargestellten ∑Δ-ToF-Messverfahren dargestellte Schaltungsanordnung für den ersten Schritt als die in 12 in Verbindung mit dem SA-ToF-Verfahren aus 11 dargestellte Schaltungsanordnung betrieben werden. Daher kann das Steuermodul 48 ausgelegt und betreibbar sein, um den Umschalter 50 für beide Integrationsmodule 42, 44 zu schließen, so dass jedes Modul die Ladung empfängt, die von der Photodiode 40 ausgegeben wurde, wodurch es der Schaltungsanordnung ermöglicht wird, im SA-ToF-Modus betrieben zu werden. Das Steuermodul arbeitet für eine begrenzte Anzahl an Schritten in diesem Modus, wie z.B. für die ersten drei Schritte, die in 11 dargestellt sind, um eine Schätzung niedriger Auflösung der Position des tatsächlichen ISP bereitzustellen. Nach Abschluss der Schritte mit niedriger Auflösung (d.h. drei in dem Beispiel) arbeitet das Steuermodul 48 in dem ∑Δ-ToF-Modus, wie oben beschrieben.
Finden des Integralsymmetriepunkts
In einem weiteren Merkmal der vorliegenden Offenbarung ist ein Verfahren zum Finden des Integralsymmetriepunkts ISP der RX-Wellenform bereitgestellt, bei dem die Wellenform keine Rechteckwelle ist. Üblicherweise wird oftmals eine Klasse an Schaltungen, die als Proportionaldiskriminator (CFD) bekannt ist, verwendet, um Zeitgebungs- oder Phaseninformationen einer Wellenform unabhängig von ihrer Amplitude zu extrahieren und diese sind in vielen verschiedenen Systemen, einschließlich Lidars, von Nutzen. In einem Lidar können die Lichtstrahlen, die von zwei Objekten mit unterschiedlicher Reflexivität reflektiert werden, unterschiedliche Amplituden aufweisen, was deren Zeitgebung nicht beeinflussen sollte. Der gemessene Abstand zu beiden Objekten sollte immer noch derselbe sein, obwohl die Amplitude des empfangenen Signals unterschiedlich sein kann. Ein Beispiel für ein Verfahren des Stands der Technik, das verwendet werden kann, um die Zeitgebungsinformationen einer Wellenform unabhängig von ihrer Amplitude zu finden, ist in https://indico.cern.ch/event/522485/contributions/2145668/attachments/1284172/1909096/ FEE2016.pdf offenbart, deren gesamte Offenbarung durch Verweis hierin aufgenommen ist. Viele Beispiele für CFDs des Stands der Technik nutzen eine Zeitverzögerung, t_d, die kleiner sein muss als die Anstiegszeit des eingehenden Impulses, wo die Ausgabe des CFD eine Funktion der Impulsankunftszeit und der Verzögerung ist, wie in der zuvor zitierten Referenz und in https://jrm.phys.ksu.edu/Resource/Pubs/CFD/CFD.html beschrieben, deren gesamte Offenbarung durch Verweis hierin aufgenommen ist. Da die Anstiegszeit nur in einer Größenordnung von hunderten Pikosekunden oder weniger liegt, muss diese Verzögerung relativ klein sein. Zusätzlich dazu ist diese Verzögerung oftmals eine Funktion von variierenden Umwelteinflüssen wie Temperatur und Leistung, mit der der CFD beaufschlagt wird. Während traditionelle CFDs daher Zeitgebungsausgaben bereitstellen, die von der Signalamplitude unabhängig sein, sind ihre Zeitgebungsausgaben in Hinblick auf Variationen in der Verzögerung sehr empfindlich.
Die hierin für die ToF-Messung offenbarten Verfahren messen die Zeitgebung der Wellenform unabhängig von deren Amplitude, was es diesen Verfahren ermöglicht, traditionelle CFD-Verfahren und -Schaltungen zu ersetzen. Ein Vorteil des hierin offenbarten Verfahrens ist jener, dass das Verfahren nicht auf einer Zeitverzögerung basiert. Es erfordert nur einen schnellen Integrator, der oftmals aus einem Verstärker und einem Kondensator besteht, in dem der schnelle Integrator einstellbar mit einer Rückkopplungsschleife gesteuert werden kann, um den ISP zu finden. Verfahren für einen integrationsbasierten Proportionaldiskriminator (CFD) zur Bestimmung des ISP werden unter Bezugnahme auf 16-20 beschrieben. Da der ISP-Punkt einer Wellenform unabhängig von deren Amplitude ist, kann die Fläche unterhalb eines Impulses mit willkürlicher Form, wie z.B. die in 16 dargestellte dreieckige Wellenform, in zwei Teile geteilt werden - A₁ und A₂. Die Zeitstempel t₁, t₂ für die zwei Flächen A₁ und A₂ sind gleich und unabhängig von der Impulshöhe.
17-18 zeigen, wie ein Rückkopplungsmechanismus verwendet werden kann, um den ISP-Punkt der beispielhaften dreieckigen Impulsform aus 16 zu finden, wie in 17 wiederholt wird. Das Impulsfolgensignal p(t) (das dem RX-Signal entspricht) unter dem ersten Zeitfenster A₁ wird an einen Integrationsblock 60 (18) übermittelt, wo das Signal mit einem positiven Zeichen (D_Zeichen = 1) bis zum Zeitpunkt t_s integriert oder akkumuliert wird, während die Fläche unterhalb des zweiten Zeitfensters A₂ mit einem negativen Zeichen (D_Zeichen = -1) mit Beginn ab Zeitpunkt t_s in den Integrationsblock 60 integriert wird. Die Rückkopplungssteuerschleife 62 bewegt die Grenze, Zeitpunkt t_s, durch Anpassen der Dauer von D_Zeichen = 1, wie in den nachfolgenden Zeitintervallen in 17 verdeutlicht, zwischen den zwei Fenstern, so dass D_Zeichen an 64 in einer Schleife an den Integrationsblock übermittelt wird, um die positive-negative-Richtung der Integration zu steuern. Die Rückkopplungssteuerschleife 62 steuert die Dauer von D_Zeichen und daher kommt es zu einem Anstieg der Dauer des Fensters A₁, so dass die positive Integration fortgesetzt wird, bis der Fehler err(t) nicht länger negativ ist, wonach die Rückkopplungssteuerschleife 62 die Dauer des Fensters A₁ reduziert. Die Dauer von Fenster A₁ wird kontinuierlich angepasst, bis die Summe der zwei integrierten Werte err(t) gleich null ist, wie in der unteren Zeile des Diagramms in 17 verdeutlicht wird. Es gilt anzumerken, dass dieses System in der digitalen oder analogen Domäne implementiert werden könnte. Das Rückkopplungssignal 64, das die Integrationsgrenze (die analog oder digital sein könnte) steuert, kann als Maß für die Position des ISP auf der Zeitachse verwendet werden. In dem Beispiel in 17 entspricht die Dauer des Rückkopplungssignals D_Zeichen t_ISP und es ist dieser Wert, der verwendet wird, um den ISP für die SA-ToF-Messung (11-12) oder für die ∑Δ-ToF-Messung (13-14) zu lokalisieren, wenn die TX- und RX-Signalwellenformen keine Rechteckwellen sind. In der in 19 dargestellten Ausführungsform kann die Rückkopplungssteuerschleife durch ein Filter 65 ersetzt werden, das ein Integrator oder eine andere Art Filter sein kann, und wobei die analoge Verzögerung 66 D_Zeichen an der Rückkopplungsschleife 67 an den Integrationsblock 60 bereitstellt. Die analoge Verzögerung 66 empfängt ein Startsignal t_start (siehe 17), so dass die Zeitverzögerung t_A einstellbar ist.
Es kann anerkannt werden, dass diese ISP-Bestimmung durch die Steuermodule 18 oder 48 zu Beginn ihrer entsprechenden Laufzeitvorgänge implementiert werden kann. Da die Zeitgebung beider ToF-Messverfahren an dem ISP des TX-Signals beginnt, können die Steuermodule 18, 48 ausgelegt und betreibbar sein, um die Integration und die Rückkopplung aus 18 oder 19 in das TX-Signal aufzunehmen, um den ISP zu finden.
20 zeigt ein ∑Δ-ToF-Messverfahren zum Finden des ISP-Punkts. In dieser Ausführungsform folgt auf den Integrationsblock 60 das Filter 65, das das Fehlersignal err(t), das von dem Integrationsblock erzeugt wurde, wie auch in der Schaltung aus 19 filtert. Allerdings wird die Ausgabe des Filters an einen Analog-Digital-Wandler übermittelt, der eine Gesamtanzahl von Akkumulierungen über das ∑Δ-ToF-Messverfahren erstellt, und dieser Wert wird von einer digitalen Verzögerung 74 verwendet, um D_Zeichen zu bestimmen. Die Menge der digitalen Verzögerung in dem Rückkopplungspfad 72 gibt die Position des ISP-Punkts auf der Zeitachse an. Die digitale Verzögerung 74 wird von einem Taktsignal 76 und der Startzeit t_start gesteuert.
Die vorliegende Offenbarung sollte als beispielhaft und nicht als beschränkend ausgelegt werden. Es gilt zu verstehen, dass nur bestimmte Ausführungsformen vorgestellt wurden, und dass alle Änderungen, Modifikationen und weitere Anwendungen, die dem Geist der Offenbarung entsprechen, geschützt werden sollen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62610325 [0001]

Zitierte Nicht-Patentliteratur

W. Kim, W. Yibing, I. Ovsiannikov, S. Lee, Y. Park, C. Chung und E. Fossum, „A 1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image Capture“, in International Solid-Sate Circuits Conference, San Francisco, 2012 [0004]
S.-J. Kim, J. D. K. Kim, S.-W. Han, B. Kang, K. Lee und C.-Y. Kim, „A 640×480 Image Sensor with Unified Pixel Architecture for 2D/3D Imaging in 0.11µm CMOS“, in VLSI Circuits (VLSIC), 2011 Symposium on, Honolulu, 2011 [0004]
R. Lange und P. Seitz, „Solid-State Time-of-Flight Range Camera“, IEEE Journal of Quantum Electronics, pp. 390-397, 2001 [0006, 0011]
A. Simoni, L. Gonzo and M. Gottardi, „Integrated Optical Sensors for 3-D Vision“, in Sensors, 200; und D. Stoppa, L. Viarani, A. Simoni, L. Gonzo, M. Malfatti und G. Pedretti, „A 16x16-Pixel Range-Finding CMOS Image Sensor“ [0006]
A. Simoni, L. Gonzo und M. Gottardi, „Integrated Optical Sensors for 3-D Vision“, in Sensors, 2002 [0011, 0012]
R. Lange und P. Seitz, „Solid-State Time-of-Flight Range Camera“, IEEE Journal cf Quantum Electronics, pp. 390-397, 2001 [0012]
D. Stoppa, L. Gonzo, M. Gottardi, A. Simoni und L. Viarani, „A Novel Fully Differential Pixel Concept for Indirect ToF 3D Measurement“, in Instrumentation and Measurement Technology Center, 2003 [0012]
L. Viarani, D. Stoppa, L. Gonzo, M. Gottardi und A. Simoni, „A CMOS Smart Pixel for Active 3-D Vision Applications“, IEEE Sensors Journal, Vol. 4, Nr. 1, pp. 145-152, 2004 [0012]
B. Buttgen, T. Oggier, M. Lehmann, R. Kaufmann und F. Lustenberger, „CCD/CMOS Lock-In Pixel for Range Imaging: Challenges, Limitations and State-of-the-Art“, Ist Range Imaging Research Day, 2005 [0012]
D. Stoppa, L. Viarani und A. Simoni, „A 50x30-pixel CMOS Sensor for ToF-based Real Time 3D Imaging“, IEEE Workshop CCD&AIS, 2005 [0012]
D. Stoppa, L. Gonzo und A. Simoni, „Scannerless 3D Imaging Sensors“, International Workshop on Imaging Systems and Techniques, Niagara Falls, 2005 [0012]
D. Stoppa, L. Pancheri, M. Scandiuzzo, L. Gonzo, G.-F. Dalla Betta und A. Simoni, „A CMOS 3-D Imager Based on Single Photon Avalanche Diode“, IEEE Transactions on Circuits and Systems, Vol. 54, Nr. 1, pp. 4-12, 2007 [0012]
S. Bellisani, F. Guerrieri und S. Tisa, „3D ranging with a high speed imaging array“, in Ph.D. Research in Microelectronics and Electronics, 2010 [0012]
M. Davidovic, G. Zach, K. Schneider-Hornstein und H. Zimmermann, „ToF Range Finding Sensor in 90nm CMOS Capable of Suppressing 180 klx Ambient light“, in IEEE Sensors, 2010 [0012]
G. Zach, M. Davidovic und H. Zimmermann, „A 16 16 Pixel Distance Sensor With In-Pixel Circuitry That Tolerates 150 klx of Ambient Light“, JSSC, Vol. 45, Nr. 7, pp. 1345-1353, 2010 [0012]
O. Sgrott, D. Mosconi, M. Perenzoni, G. Pedretti, L. Gonzo und D. Stoppa, „A 134-Pixel CMOS Sensor for Combined Time-of-Flight and Optical Triangulation 3-D Imaging“, JSSC, Vol. 45, Nr. 7, pp. 1354-1364, 2010 [0012]
A. Speckermann, D. Durini, W. Suss, W. Brockherede, B. Hosticka, S. Schwope und A. Grabmaier, „CMOS 3D Image Sensor Based on Pulse Modulated Time-of-Flight Principle and Intrinsic Lateral Drift-Field Photodiode Pixels“, in ESSCIRC, 2011 [0012]
D. Durini, A. Speckermann, J. Fink, W. Brockherde, A. Grambmaier und B. Hosticka, „Experimental Comparison of Four Different CMOS Pixel Architectures Used in Indirect Time-of-Flight Distance Measurement Sensors“, in Image Sensors Workshop, 2011 [0012]
M. Davidovic, M. Hofbauer, K. Schneider-Hornstein und H. Zimmermann, „High Dynamic Range Background Light Suppression for a ToF Distance Measurement Sensor in 180nm CMOS“, in Sensors, 2011 [0012]
R; Walker, j. Richardson und R. Henderson, „128×96 Pixel Event-Driven Phase-Domain Δ∑-Based Fully Digital 3D Camera in 0.13µm CMOS Imaging Technology“, in ISSCC, 2011 [0012]
D. Milos, M. Hofbauer und H. Zimmermann, „A 33 × 25 µm² Low-Power Range Finder“, in 1SCAS, 2012 [0012]
D. Bronzi, S. Bellisai, B. Markovic, G. Boso, C. Scarcella, A. Della Frera and A. Tosi, „CMOS SPAD Pixels for Indirect Time-of-Flight Ranging“, in Photonics Corference, 2012 [0012]
M. L. Hafiane, W. Wagner, Z. Dibi und O. Manck, „Depth Resolution Enhancement Technique for CMOS Time-of-Flight 3-D Image Sensors“, IEEE Sensors Journal, Vol. 12, Nr. 6, pp. 2320-2327, 2012 [0012]
K. Yasutomi, T. Usui, S.-M. Han, T. Takasawa, K. Kagawa und S. Kawahito, „A 0.3mm-Resolution Time-of-Flight CMOS Range Imager with Column-Gating Clock-Skew Calibration“, in ISSCC, 2014 [0012]
C. Niclass, M. Soga, H. Matsubara, M. Ogawa und M. Kagami, „A 0.18- m CMOS SoC for a 100-m-Range 10-Frame/s 200 96-PixelTime-of-Flight Depth Sensor“, JSSC, Vol. 49, Nr. 1, pp. 315-330, 2014 [0012]
E. Tadmor, A. Lahav, G. Yahav, A. Fish und D. Cohen, „A Fast-Gated CMOS Image Sensor With a Vertical Overflow Drain Shutter Mechanism“, Transaction on Electron Devices, Vol. 63, Nr. 1, pp. 138-144, 2016 [0012]
J. Illade-Quinteiro, V. Brea, P. Lopez und D. Cabello, „Time-of-Flight Chip in Standard CMOS Technology with In-Pixel Adaptive Number of Accumulations“, in 1SCAS, 2016 [0012]
F. Villa, R. Lissana, D. Tamborini, B. Markovic, A. Tosi, F. Zappa und S. Tisa, „CMOS single photon sensor with in-pixel TDC for time-of-flight applications“, in Workshop on Time-to-Digital Converters (NoMe TDC), Nordic-Mediterranean, 2013 [0013]
M. Davidovic, G. Zach, K. Schneider-Hornstein and H. Zimmermann, „ToF Range Finding Sensor in 90nm CMOS Capable of Suppressing 180 klx Ambient light,“ in IEEE Sensors, 2010 [0065]

Claims

Kamera, die Folgendes umfasst: eine Lichtquelle zur Aussendung eines gepulsten Lichtsignals TX zu einem Objekt oder einer Szene; ein Photodetektorarray, das zumindest einen Photodetektor umfasst, der ausgelegt und angeordnet ist, um ein gepulstes Lichtsignal RX zu empfangen, das von dem Objekt oder der Szene reflektiert wird, wobei jeder Photodetektor ausgelegt ist, um ein Ausgabesignal zu erzeugen, das die Detektion des Lichtsignals RX anzeigt; und einen Prozessor, der mit jedem Photodetektor des Photodetektorarrays verbunden ist und ausgelegt und betreibbar ist, um zwischen einem Bilddetektionsmodus, in dem der Prozessor das Ausgabesignal von jedem Photodetektor für Bildinformationen verarbeitet, und einem Laufzeit(ToF)-Modus, in dem der Prozessor das Ausgabesignal von jedem Photodetektor verarbeitet, um die ToF für das Lichtsignal TX zu dem Objekt oder der Szene und des reflektierten Lichts RX zu dem entsprechenden Photodetektor zu bestimmen, abzuwechseln.
Kamera nach Anspruch 1, wobei der Prozessor betreibbar ist zum Aktivieren der Lichtquelle.
Kamera nach Anspruch 2, wobei der Prozessor in dem ToF-Moduls betreibbar ist, um die Lichtquelle zu aktivieren, das Lichtsignal TX mit einer Frequenz zu pulsen, die durch das menschliche Auge nicht erfassbar ist.
Kamera nach Anspruch 3, wobei der Prozessor betreibbar ist, um die Lichtquelle nur in dem ToF-Modus zu aktivieren.
Kamera nach Anspruch 1, wobei das gepulste Lichtsignal TX ein sichtbares Lichtsignal ist.
Kamera nach Anspruch 1, wobei der Prozessor zwischen dem Bildgebungsmodus und dem ToF-Modus in aufeinanderfolgenden Pulsen des gepulsten Lichtsignals RX abwechselt.
Kamera nach Anspruch 1, wobei der Prozessor für einen oder mehrere aufeinanderfolgende Pulse des gepulsten Lichtsignals RX in dem Bildgebungsmodus arbeitet und dann für einen oder mehrere aufeinanderfolgende Pulse des gepulsten Lichtsignals RX in dem ToF-Modus arbeitet.
Kamera nach Anspruch 1, wobei: das Ausgabesignal von jedem Photodetektor eine Ausgabeladung ist; und der Prozessor eine Integratorschaltung umfasst, die eine Kondensatorschaltung aufweist, und ausgelegt und betreibbar ist, um die Ausgabeladung von jedem Photodetektor zu empfangen und zu akkumulieren.
Kamera nach Anspruch 8, wobei: die Kondensatorschaltung zwei Kondensatoren für jeden Photodetektor umfasst; und die Integratorschaltung ein Transfergate für jeden Kondensator umfasst, wobei jedes Transfergate von dem Prozessor aktiviert wird, um die Ausgabeladung in dem entsprechenden Kondensator gemäß einer Zeitablaufssequenz zu akkumulieren.
Kamera nach Anspruch 9, wobei der Prozessor jedes Transfergate in dem Bildgebungsmodus gemäß derselben Zeitablaufssequenz aktiviert und jedes Transfergate in dem ToF-Modus gemäß unterschiedlichen Zeitablaufssequenzen aktiviert.