DE112020006326T5 - Laufzeitsensor, laufzeitsystem und system - Google Patents

Laufzeitsensor, laufzeitsystem und system Download PDF

Info

Publication number
DE112020006326T5
DE112020006326T5 DE112020006326.7T DE112020006326T DE112020006326T5 DE 112020006326 T5 DE112020006326 T5 DE 112020006326T5 DE 112020006326 T DE112020006326 T DE 112020006326T DE 112020006326 T5 DE112020006326 T5 DE 112020006326T5
Authority
DE
Germany
Prior art keywords
signal line
coupled
capacitor
switch circuitry
photodiode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020006326.7T
Other languages
English (en)
Inventor
Kei NAKAGAWA
Golan Zeituni
Zvika Veig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112020006326T5 publication Critical patent/DE112020006326T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Electric Clocks (AREA)

Abstract

Eine Laufzeitvorrichtung weist ein Pixel-Array auf, das ein Array von Pixel-Schaltungen enthält, wobei eine Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator und einen zweiten Kondensator enthält, die mit der ersten Fotodiode gekoppelt sind; und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator und einen vierten Kondensator enthält, die mit der zweiten Fotodiode gekoppelt sind; eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist; eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist; eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist; eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist; eine erste Schalter-Schaltungsanordnung, eine zweite Schalter-Schaltungsanordnung; einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist; und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.

Description

  • TECHNISCHES GEBIET
  • Diese Anmeldung bezieht sich allgemein auf Bildsensoren. Konkreter bezieht sich diese Anmeldung auf ein System und Verfahren zur Abstands- und Tiefenbestimmung in einem Laufzeit-(ToF-)Sensor, einem Laufzeitsystem und einem System.
  • HINTERGRUNDTECHNIK
  • Bilderfassungsvorrichtungen enthalten typischerweise einen im Allgemeinen als Array von Pixel-Schaltungen implementierten Bildsensor sowie eine Signalverarbeitungs-Schaltungsanordnung und eine etwaige zugeordnete Steuerung oder Schaltungsanordnung zur Zeitsteuerung. Innerhalb des Bildsensors selbst wird als Folge des Auftreffens von Licht Ladung in einer fotoelektrischen Umwandlungsvorrichtung der Pixel-Schaltung gesammelt. Typischerweise gibt es eine sehr große Anzahl einzelner fotoelektrischer Umwandlungsvorrichtungen (z. B. mehrere zehn Millionen) und viele Komponenten einer Signalverarbeitungs-Schaltungsanordnung, die parallel arbeiten. Verschiedene Komponenten innerhalb der Signalverarbeitungs-Schaltungsanordnungsanordnung werden von einer großen Anzahl an fotoelektrischen Umwandlungsvorrichtungen gemeinsam genutzt; beispielsweise können eine Spalte oder mehrere Spalten fotoelektrischer Umwandlungsvorrichtungen einen einzelnen Analog-Digital-Wandler (ADC) oder eine Abtast-Halte-(S/H-)Schaltung gemeinsam nutzen.
  • ZUSAMMENFASSUNG
  • TECHNISCHES PROBLEM
  • Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf einen Bildsensor und ein Abstandsbestimmungsverfahren darin.
  • LÖSUNG FÜR DAS PROBLEM
  • In einem Aspekt der vorliegenden Offenbarung wird ein Laufzeitsensor bereitgestellt, der aufweist: ein Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine erste Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist; eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist; eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist; eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist; eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist; eine erste Schalter-Schaltungsanordnung; eine zweite Schalter-Schaltungsanordnung; einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist; und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  • In einem anderen Aspekt der vorliegenden Offenbarung wird ein Laufzeitsystem bereitgestellt, das aufweist: eine Lichtquelle, die dafür konfiguriert ist, Licht zu emittieren; und einen Sensor, der aufweist: ein Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist, eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist, eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist, eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist, eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist, eine erste Schalter-Schaltungsanordnung, eine zweite Schalter-Schaltungsanordnung, einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist, und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  • In einem anderen Aspekt der vorliegenden Offenbarung wird ein System bereitgestellt, das aufweist: einen ersten Sensor, der dafür konfiguriert ist, Bilddaten zu erzeugen, wobei der erste Sensor ein erstes Pixel-Array aufweist; und einen zweiten Sensor, der dafür konfiguriert ist, Abstandsdaten zu erzeugen, wobei der zweite Sensor aufweist: ein zweites Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist, eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist, eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist, eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist, eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist, eine erste Schalter-Schaltungsanordnung, eine zweite Schalter-Schaltungsanordnung, einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist, und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  • Somit liefern verschiedene Aspekte der vorliegenden Offenbarung Verbesserungen auf zumindest dem technischen Gebiet der Tiefenabtastung bzw. -erfassung sowie den damit verbundenen technischen Gebieten der Bildgebung, Bildverarbeitung und dergleichen.
  • Diese Offenbarung kann in verschiedenen Formen einschließlich Hardware oder Schaltungen, die mittels computerimplementierter Verfahren, Produkte von Computerprogrammen, Computersysteme und Netzwerke und Schnittstellen zur Anwendungsprogrammierung gesteuert werden, sowie hardwareimplementierte Verfahren, Signalverarbeitungs-Schaltungsanordnungen, Bildsensorschaltungen, anwendungsspezifische integrierte Schaltungen, feldprogrammierbare Gate-Arrays und dergleichen verkörpert werden. Die vorhergehende Zusammenfassung soll nur eine allgemeine Vorstellung verschiedener Aspekte der vorliegenden Offenbarung geben und beschränkt den Umfang der Offenbarung in keiner Weise.
  • VORTEILHAFTE EFFEKTE DER ERFINDUNG
  • Die Größen I und Q können im N-ten Frame erhalten werden, und die Größen -I und -Q können im (N+1)-ten Frame erhalten werden.
  • Figurenliste
  • Diese und andere detailliertere und spezifischere Merkmale verschiedene Ausführungsformen werden in der folgenden Beschreibung vollständiger offenbart, wobei auf die beiliegenden Zeichnungen verwiesen wird, in denen:
    • [1A] 1A beispielhafte TOF-Systeme gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [1B] 1B beispielhafte TOF-Systeme gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [2] 2 einen beispielhaften TOF-Sensor gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [3A] 3A beispielhafte Pixel-Schaltungen gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [3B] 3B beispielhafte Pixel-Schaltungen gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [4] 4 eine beispielhafte Ausleseschaltung gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [5A] 5A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [5B] 5B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [5C] 5C beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [5D] 5D beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [6] 6 beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [7] 7 beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [8] 8 beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [9A] 9A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [9B] 9B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [10] 10 einen beispielhaften IQ-Mosaik-Modus zur Verwendung mit verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht;
    • [11A] 11A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [11B] 11B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [12A] 12A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [12B] 12B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [13A] 13A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [13B] 13B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [14A] 14A beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [14B] 14B beispielhafte Auslesemodi und -vorgänge in der beispielhaften Ausleseschaltung von 4 veranschaulicht;
    • [15] 15 ein beispielhaftes Betriebsverfahren gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht; und
    • [16] 16 ein anderes beispielhaftes Betriebsverfahren gemäß verschiedenen Aspekten der vorliegenden Offenbarung veranschaulicht.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • In der folgenden Beschreibung werden zahlreiche Details wie etwa Flussdiagramme, Datentabellen und Systemkonfigurationen dargelegt. Für den Fachmann ist es ohne weiteres ersichtlich, dass diese spezifischen Details nur beispielhaft sind und nicht den Umfang dieser Anmeldung beschränken sollen.
  • Auch wenn sich die vorliegende Offenbarung hauptsächlich auf Beispiele konzentriert, bei denen die Verarbeitungsschaltungen in Bildsensoren verwendet werden, versteht es sich außerdem, dass dies nur ein Beispiel einer Implementierung bzw. Realisierung ist. Ferner versteht es sich, dass die offenbarten Systeme und Verfahren in jeder beliebigen Vorrichtung, bei der es notwendig ist, einen Abstand in einem wellenlängenbasierten Sensor zu detektieren, beispielsweise einer Audioschaltung, einem Phononensensor, einem Radarsystem und dergleichen genutzt werden können.
  • Bildgebungssystem
  • 1A veranschaulicht ein erstes Beispiel 100a eines TOF-Bildgebungssystems 101a, das dafür konfiguriert ist, ein in einem Abstand d entfernt gelegenes Objekt zu detektieren und/oder abzubilden. Das TOF-Bildgebungssystem 101a enthält einen Lichtgenerator 111, der dafür konfiguriert ist, eine in Richtung des Objekts 102 emittierte Lichtwelle 120 zu erzeugen, und einen TOF-Bildsensor 112, der dafür konfiguriert ist, eine reflektierte Lichtwelle 130 vom Objekt 102 zu empfangen. Die emittierte Lichtwelle 120 kann eine periodische Wellenform aufweisen. Der TOF-Bildsensor 112 kann jede beliebige Vorrichtung sein, die imstande ist, einfallende Strahlung in Signale umzuwandeln. Beispielsweise kann der TOF-Bildsensor 112 mittels eines Bildsensors (CIS) aus einem komplementären Metalloxid-Halbleiter (CMOS), einer ladungsgekoppelten Vorrichtung (CCD) und dergleichen realisiert werden. Das TOF-Bildgebungssystem 101a kann ferner eine Schaltungsanordnung zur Abstandsbestimmung wie etwa einen Controller 113 (z. B. eine CPU) und einen Speicher 114 enthalten, die so arbeiten kann, dass sie ein oder mehr Beispiele einer Laufzeitverarbeitung wie unten weiter beschrieben durchführt.
  • 1B veranschaulicht ein zweites Beispiel 100b eines TOF-Bildgebungssystems 101b, das dafür konfiguriert ist, ein in einem Abstand d entfernt gelegenes Objekt 102 zu detektieren und/oder abzubilden. Das TOF-Bildgebungssystem 101b enthält einen Lichtgenerator 111, der dafür konfiguriert ist, eine emittierte Lichtwelle 120 in Richtung des Objekts 102 zu erzeugen, einen TOF-Bildsensor 112, der dafür konfiguriert ist, eine reflektierte Lichtwelle 130 vom Objekt 102 zu empfangen, und einen RGB-Bildsensor 115, der dafür konfiguriert ist, ein RGB-Bild des Objekts 112 aufzunehmen. Die emittierte Lichtwelle 120 kann eine periodische Wellenform aufweisen. Der TOF-Bildsensor 112 kann jede beliebige Vorrichtung sein, die imstande ist, einfallende Strahlung in Signale umzuwandeln. Beispielsweise können der TOF-Bildsensor 112 und der RGB-Sensor 115 jeweils mittels eines Bildsensors (CIS) aus einem komplementären Metalloxid-Halbleiter (CMOS), einer ladungsgekoppelten Vorrichtung (CCD) und dergleichen realisiert sein. Während das zweite Beispiel 100b mit Verweis auf einen RGB-Bildsensor 115 beschrieben wird, kann der Bildsensor 115 in der Praxis ein monochromatisches Bild aufnehmen oder von RGB verschiedene Farbfilter enthalten. Darüber hinaus können, während 1B den TOF-Bildsensor 112 und den RGB-Bildsensor 115 als separate Komponenten veranschaulicht, in einigen Aspekten der vorliegenden Offenbarung der TOF-Bildsensor 112 und der RGB-Bildsensor 115 als ein einziger Chip integriert sein und/oder ein einziges Pixel-Array nutzen. Das TOF-Bildgebungssystem 101b kann ferner eine Schaltungsanordnung zur Abstandsbestimmung und -verarbeitung wie etwa einen Controller 113 (z. B. eine CPU) und einen Speicher 114 enthalten, die so arbeiten kann, dass sie ein oder mehr Beispiele einer Laufzeit- und Bildverarbeitung wie unten weiter beschrieben durchführt.
  • Der Lichtgenerator 111 kann beispielsweise eine lichtemittierende Diode (LED), eine Laserdiode oder irgendeine andere lichterzeugende Vorrichtung oder Kombination von Vorrichtungen sein, und die Lichtwellenform kann mittels des Controllers 113 gesteuert werden. Der Lichtgenerator kann im Infrarotbereich arbeiten, um eine Interferenz bzw. Störung vom sichtbaren Lichtspektrum zu reduzieren, wenngleich jeder beliebige Wellenlängenbereich, der vom Bildsensor 112 wahrgenommen werden kann, genutzt werden kann. Der Controller 113 kann dafür konfiguriert sein, ein Bild vom Bildsensor zu empfangen und eine Tiefenkarte zu berechnen, die den Abstand d zu verschiedenen Punkten des Objekts 102 angibt.
  • 2 veranschaulicht einen bespielhaften Bildsensor 200 gemäß verschiedenen Aspekten der vorliegenden Offenbarung. Der Bildsensor 200 kann ein Beispiel des in 1 veranschaulichten TOF-Bildsensors 112 sein. Wie in 2 veranschaulicht ist, enthält der Bildsensor 200 ein Array 201 von Pixel-Schaltungen 211, die jeweils an einem Schnittpunkt liegen, an dem sich eine horizontale Signalleitung 212 und ein Satz vertikaler Signalleitungen 213a, 213b, 213c, 213d kreuzen. Die horizontalen Signalleitungen 212 sind mit einer vertikalen Scan-Schaltungsanordnung 220, auf die auch als „Reihen-Scan-Schaltung“ oder „vertikale Ansteuerschaltung“ verwiesen wird, an einem Punkt außerhalb des Pixel-Arrays 210 wirksam bzw. betriebsbereit verbunden. Die horizontalen Signalleitungen 212 tragen Signale von der vertikalen Scan-Schaltungsanordnung 220 zu einer bestimmten Reihe der Pixel-Schaltungen 211. Während 2 eine einzige horizontale Signalleitung 212 für eine gegebene Reihe der Pixel-Schaltungen 211 veranschaulicht, kann in der Praxis eine Vielzahl der horizontalen Signalleitungen 212 für jede Reihe der Pixel-Schaltungen 211 vorgesehen sein.
  • Die Pixel-Schaltungen 211 speichern eine Ladung entsprechend einer Menge an einfallendem Licht abwechselnd in Floating-Diffusionsbereichen FDa und FDb (wie zum Beispiel in 3 veranschaulicht) und geben selektiv ein analoges Signal, das der Menge der Ladung entspricht, an die vertikalen Signalleitungen 213a, 213b, 213c, 213d auf eine Art und Weise ab, die unten detaillierter beschrieben werden wird. Während 2 die vertikalen Signalleitungen 213a und 213c auf einer Seite einer gegebenen Pixel-Schaltung 211 und die vertikalen Signalleitungen 213b und 213d auf der anderen Seite der gegebenen Pixel-Schaltung 211 veranschaulicht, können in der Praxis die vertikalen Signalleitungen 213a, 213b, 213c, 213d alle auf einer einzigen Seite der gegebenen Pixel-Schaltung 211 vorgesehen werden; oder eine der vertikalen Signalleitungen 213a, 213b, 213c, 213d kann auf einer Seite der gegebenen Pixel-Schaltung 211 liegen und die anderen drei der vertikalen Signalleitungen 213a, 213b, 213c, 213d können auf der anderen Seite der gegebenen Pixel-Schaltung 211 liegen. Darüber hinaus ist zu Veranschaulichungszwecken nur eine Teilmenge der Pixel-Schaltungen 211 im Array 210 in 2 tatsächlich dargestellt; jedoch kann in der Praxis der Bildsensor 200 jede beliebige Anzahl der Pixel-Schaltungen 211 aufweisen. 2 veranschaulicht zwei vertikale Signalleitungen 213a und 213b oder 213c und 213d für jede der Pixel-Schaltungen 211 (ein „Zwei-Tap“-System); jedoch kann in der Praxis der Bildsensor 200 eine größere Anzahl der vertikalen Signalleitungen für jede Spalte der Pixel-Schaltungen 211 aufweisen.
  • Die Pixel-Schaltungen 211 in einigen Reihen des Arrays 201 sind mit den vertikalen Signalleitungen 213a und 213b verbunden, während die Pixel-Schaltungen 211 in anderen Reihen des Arrays 210 mit den vertikalen Signalleitungen 213c und 213d verbunden sind. In einigen Aspekten sind die Pixel-Schaltungen 211 mit bestimmten vertikalen Signalleitungen in Gruppen von vier Reihen verbunden; das heißt, die Pixel-Schaltungen 211 in den ersten vier Reihen des Arrays 210 sind mit den vertikalen Signalleitungen 213a und 213b verbunden, die Pixel-Schaltungen 211 in den zweiten vier Reihen des Arrays 210 sind mit den vertikalen Signalleitungen 213c und 213d verbunden, die Pixel-Schaltungen in den dritten vier Reihen des Arrays 210 sind mit den vertikalen Signalleitungen 213c und 213d verbunden und so weiter.
  • Die vertikalen Signalleitungen 213a, 213b, 213c, 213d leiten die analogen Signale (A für die vertikalen Signalleitungen 213a und 213c und B für die vertikalen Signalleitungen 213b und 213d) für eine bestimmte Spalte zu einer Ausleseschaltung 231, die einen Schaltkreis bzw. eine Umschalt-Schaltungsanordnung 232 enthält und zwei Komparatoren 234 für jede Spalte der Pixel-Schaltungen 211 enthält. Jeder Komparator 234 vergleicht ein analoges Signal mit einem von einem Referenzsignalgenerator 233 abgegebenen Referenzsignal. Der Referenzsignalgenerator 233 kann beispielsweise ein Digital-Analog-Wandler (DAC) sein, und das Referenzsignal kann beispielsweise eine periodische Rampenwellenform aufweisen. Jeder Komparator 234 gibt ein digitales Signal ab, das einen Vergleich zwischen dem eingespeisten analogen Signal von der entsprechenden Signalleitungseinspeisung und dem Referenzsignal angibt.
  • Die Ausgabe der Ausleseschaltung 231 wird einer Signalverarbeitungs-Schaltungsanordnung 235 bereitgestellt. Die Signalverarbeitungs-Schaltungsanordnung 235 kann zusätzliche Komponenten wie etwa Zähler, Latches, S/H-Schaltungen und dergleichen enthalten. Die Signalverarbeitungs-Schaltungsanordnung 235 kann imstande sein, ein Verfahren einer korrelierten Doppelabtastung (CDS) durchzuführen. CDS ist imstande, einige mit Pixel-Rauschen verbundene Probleme zu überwinden, indem jede Pixel-Schaltung 211 zweimal abgetastet wird. Zunächst wird die Rücksetzspannung Vreset einer Pixel-Schaltung 211 abgetastet. Darauf kann auch als der P-Phase-Wert oder cds-Wert verwiesen werden. Anschließend wird die Datenspannung Vdata der Pixel-Schaltung 211 (das heißt die Spannung, nachdem die Pixel-Schaltung 211 belichtet wurde) abgetastet. Darauf kann auch als D-Phase-Wert oder Belichtungswert verwiesen werden. Der Rücksetzwert Vreset wird dann vom Datenwert Vdata subtrahiert, um einen Wert zu liefern, der die auf die Pixel-Schaltung 211 fallende Lichtmenge widerspiegelt. Das CDS-Verfahren kann für jeden Abgriff bzw. Tap der Pixel-Schaltung 211 durchgeführt werden.
  • Verschiedene Komponenten der Signalverarbeitungs-Schaltungsanordnung werden durch eine horizontale Scan-Schaltungsanordnung 240 gesteuert, die auch als „Spalten-Scan-Schaltung“ oder „horizontale Ansteuerschaltung“ bezeichnet wird. Die horizontale Scan-Schaltungsanordnung 240 veranlasst, dass die Signalverarbeitungs-Schaltungsanordnung Signale über eine Ausgabeschaltung 250 zur weiteren Verarbeitung, Speicherung, Übertragung und dergleichen abgibt. Die vertikale Scan-Schaltungsanordnung 220, die Umschalt-Schaltungsanordnung 232, der Referenzsignalgenerator 233 und die horizontale Scan-Schaltungsanordnung 240 können unter der Steuerung eines Controllers 260 zur Ansteuerung und/oder einer Kommunikations- und Zeitsteuerungs-Schaltungsanordnung 270 arbeiten, die wiederum basierend auf einer Taktgeberschaltung 280 arbeiten kann. Die Taktgeberschaltung 280 kann ein Taktgenerator sein, der ein oder mehr Taktsignale für verschiedene Komponenten des Bildsensors 200 erzeugt. Zusätzlich oder alternativ dazu kann die Tatgeberschaltung 280 ein Taktwandler sein, der ein oder mehr von außerhalb des Bildsensors 200 empfangene Taktsignale umwandelt und das (die) umgewandelte(n) Taktsignal(e) verschiedenen Komponenten des Bildsensors 200 bereitstellt.
  • 3A veranschaulicht eine erste beispielhafte Pixel-Schaltung 300a mit einer Zwei-Tap-Konfiguration. Die Pixel-Schaltung 300a kann ein Beispiel der Pixel-Schaltung 211 sein, die in der ersten Reihe oder zweiten Reihe des Arrays 210 in 2 veranschaulicht ist. Wie in 3A dargestellt ist, enthält die Pixel-Schaltung 300a eine fotoelektrische Umwandlungsvorrichtung 301 (z. B. eine Fotodiode), einen Pixel-Rücksetztransistor 302, einen ersten Übertragungstransistor 303a, einen zweiten Übertragungstransistor 303b, einen ersten Floating-Diffusionsbereich FDa, einen zweiten Floating-Diffusionsbereich FDb, einen ersten Tap-Rücksetztransistor 304a, einen zweiten Tap-Rücksetztransistor 304b, einen ersten Zwischentransistor 305a, einen zweiten Zwischentransistor 305b, einen ersten Verstärkertransistor 306a, einen zweiten Verstärkertransistor 306b, einen ersten Auswahltransistor 307a und einen zweiten Auswahltransistor 307b. Die fotoelektrische Umwandlungsvorrichtung 301, der erste Übertragungstransistor 303a, der erste Tap-Rücksetztransistor 304a, der erste Zwischentransistor 305a, der erste Verstärkertransistor 306a und der erste Auswahltransistor 307a werden gesteuert, um ein analoges Signal (A) über eine erste vertikale Signalleitung 308a abzugeben, die ein Beispiel der in 2 veranschaulichten vertikalen Signalleitung 213a sein kann. Auf diesen Satz von Komponenten kann als „Tap A“ verwiesen werden. Die fotoelektrische Umwandlungsvorrichtung 301, der zweite Übertragungstransistor 303b, der zweite Tap-Rücksetztransistor 304b, der zweite Zwischentransistor 305b, der zweite Verstärkertransistor 306b und der zweite Auswahltransistor 307b werden gesteuert, um ein analoges Signal (B) über eine zweite vertikale Signalleitung 308b abzugeben, die ein Beispiel der in 2 veranschaulichten vertikalen Signalleitung 213b sein kann. Auf diesen Satz von Komponenten kann als „Tap B“ verwiesen werden. 3A veranschaulicht auch eine dritte Signalleitung 308c, die ein Beispiel der in 2 veranschaulichten vertikalen Signalleitung 213c sein kann, und eine vierte Signalleitung 308d, die ein Beispiel der in 2 veranschaulichten vertikalen Signalleitung 213d sein kann. Wie in 3A veranschaulicht ist, ist jedoch die Pixel-Schaltung 300a weder mit der dritten Signalleitung 308c noch der vierten vertikalen Signalleitung 308d verbunden.
  • 3B veranschaulicht eine zweite beispielhafte Pixel-Schaltung 300b mit einer Zwei-Tap-Konfiguration. Die Pixel-Schaltung 300b kann ein Beispiel der in der letzten Reihe des Arrays 210 in 2 veranschaulichten Pixel-Schaltung 211 sein. Wie in 3B dargestellt ist, weist die Pixel-Schaltung 300b strukturelle Ähnlichkeiten mit der Pixel-Schaltung 300a von 3A auf und enthält eine fotoelektrische Umwandlungsvorrichtung 301 (z. B. eine Fotodiode), einen Pixel-Rücksetztransistor 302, einen ersten Übertragungstransistor 303a, einen zweiten Übertragungstransistor 303b, einen ersten Floating-Diffusionsbereich FDa, einen zweiten Floating-Diffusionsbereich FDb, einen ersten Tap-Rücksetztransistor 304a, einen zweiten Tap-Rücksetztransistor 304b, einen ersten Zwischentransistor 305a, einen zweiten Zwischentransistor 305b, einen ersten Verstärkertransistor 306a, einen zweiten Verstärkertransistor 306b, einen ersten Auswahltransistor 307a und einen zweiten Auswahltransistor 307b. Die fotoelektrische Umwandlungsvorrichtung 301, der erste Übertragungstransistor 303a, der erste Tap-Rücksetztransistor 304a, der erste Zwischentransistor 305a, der erste Verstärkertransistor 306a und der erste Auswahltransistor 307a werden gesteuert, um ein analoges Signal (A) über die dritte vertikale Signalleitung 308c abzugeben. Auf diesen Satz von Komponenten kann als „Tap A“ verwiesen werden. Die fotoelektrische Umwandlungsvorrichtung 301, der zweite Übertragungstransistor 303b, der zweite Tap-Rücksetztransistor 304b, der zweite Zwischentransistor 305b, der zweite Verstärkertransistor 306b und der zweite Auswahltransistor 307b werden gesteuert, um ein analoges Signal (B) über die vierte vertikale Signalleitung 308d abzugeben. Auf diesen Satz von Komponenten kann als „Tap B“ verwiesen werden. 3B veranschaulicht ebenfalls die erste vertikale Signalleitung 308a und die zweite vertikale Signalleitung 308b. Wie in 3B veranschaulicht ist, ist jedoch die Pixel-Schaltung 300b weder mit der ersten vertikalen Signalleitung 308a noch der zweiten vertikalen Signalleitung 308b verbunden.
  • In jeder Pixel-Schaltung (300a oder 300b) werden der erste Übertragungstransistor 303a und der zweite Übertragungstransistor 303b durch Steuerungssignale auf einer ersten Gate-Leitung 309a für die Übertragung bzw. einer zweiten Gate-Leitung 309b für die Übertragung gesteuert. Der erste Transistor 304a für die Tap-Rücksetzung und der zweite Transistor 304b für die Tap-Rücksetzung werden durch ein Steuerungssignal auf einer Gate-Leitung 310 für die Tap-Rücksetzung gesteuert. Der erste Zwischentransistor 305a und der zweite Zwischentransistor 305b werden durch ein Steuerungssignal auf einer FD-Gate-Leitung 311 gesteuert. Der erste Auswahltransistor 307a und der zweite Auswahltransistor 307b werden durch ein Steuerungssignal auf einer Gate-Leitung 312 für die Auswahl gesteuert. Die ersten und zweiten Gate-Leitungen 309a und 309b für die Übertragung, die Gate-Leitung 310 für die Tap-Rücksetzung, die FD-Gate-Leitung 311 und die Gate-Leitung 312 für die Auswahl können Beispiele der in 2 veranschaulichten horizontalen Signalleitungen 212 sein.
  • Im Betrieb wird die Pixel-Schaltung 300a oder die Pixel-Schaltung 300b so zeitgeteilt gesteuert, dass während einer Hälfte einer horizontalen Periode einfallendes Licht über Tap A umgewandelt wird, um das Ausgangssignal A zu erzeugen, und während der anderen Hälfte der horizontalen Periode einfallendes Licht über Tap B umgewandelt wird, um das Ausgangssignal B zu erzeugen. Auf die Unterteilung des Frames zwischen dem Tap-A-Bereich und dem Tap-B-Bereich kann als die Phase des Tap verwiesen werden. Verläuft beispielsweise eine horizontale Periode von 0 bis t, kann die Pixel-Schaltung 300a oder die Pixel-Schaltung 300b gesteuert werden, so dass Tap A von 0 bis t/2 (0-Phase) arbeitet und Tap B von t/2 bis t (180-Phase) arbeitet, so dass Tap A von t/4 bis 3t/4 (90-Phase) arbeitet und Tap B von 0 bis t/4 und von 3t/4 bis t (270-Phase) arbeitet, so dass Tap A von t/2 bis t und Tap B von 0 bis t/2 arbeitet oder so dass Tap A von 0 bis t/4 und von 3t/4 bis t arbeitet und Tap B von t/4 bis 3t/4 arbeitet. Bei solch einem Betrieb können die Größen Q und I für die Pixel-Schaltung 300a oder die Pixel-Schaltung 300b so definiert werden, dass Q durch die 0-Phase minus die 180-Phase gegeben ist und I durch die 90-Phase minus die 270-Phase gegeben ist.
  • Während 3A-B die Pixel-Schaltung 300a und die Pixel-Schaltung 300b mit einer Vielzahl von Transistoren in einer bestimmten Konfiguration veranschaulichen, ist die vorliegende Offenbarung so nicht beschränkt und kann für eine Konfiguration gelten, bei der die Pixel-Schaltung 300a oder die Pixel-Schaltung 300b weniger oder mehr Transistoren sowie auch andere Elemente wie etwa zusätzliche Kondensatoren, Widerstände und dergleichen enthält.
  • Auslesemodi
  • Ein Bildsensor gemäß der vorliegenden Offenbarung kann zu einer Vielzahl verschiedener Auslesemodi befähigt sein, was zunächst mit Verweis auf 4 beschrieben wird. 4 veranschaulicht einen Bereich eines Pixel-Arrays wie etwa des in 2 veranschaulichten Arrays 210 sowie einen Bereich einer Ausleseschaltung wie etwa der in 2 veranschaulichten Ausleseschaltung 231. Konkret veranschaulicht 4 zwei benachbarte Spalten von Pixel-Schaltungen 410, welche die gleichen wie die in 2 veranschaulichten Pixel-Schaltungen 211 und/oder die in 3A-B veranschaulichten Pixel-Schaltungen 300a, 300b oder diesen ähnlich sein können, vier vertikale Signalleitungen 420a, 420b, 420c, 420d für jede Spalte, welche die gleichen wie in 2 veranschaulichten vertikalen Signalleitungen 213a, 213b, 213c, 213d und/oder die in 3A-B veranschaulichten vertikalen Signalleitungen 308a, 308b, 308c, 308d oder diesen ähnlich sein können, eine Umschalt-Schaltungsanordnung 430, die die gleiche wie der in 2 veranschaulichte Umschalt-Schaltungsanordnung oder dieser ähnlich sein kann, einen Referenzsignalgenerator 440, der der gleiche wie der in 2 veranschaulichte Referenzsignalgenerator 233 oder diesem ähnlich sein kann, und eine Vielzahl von Komparatoren 450, die gleich den in 2 veranschaulichten Komparatoren 234 oder diesen ähnlich sein können. Jede der Pixel-Schaltungen 410 ist mittels einer gestrichelten Linie halbiert veranschaulicht, um dadurch die beiden Abgriffe bzw. Taps jeder Pixel-Schaltung 410 zu veranschaulichen.
  • Die unteren vier Pixel-Schaltungen 410 sind mit einer ersten vertikalen Signalleitung 420a an einem Tap (zum Beispiel an dem Kondensator, der den ersten Floating-Diffusionsbereich FDa bildet) gekoppelt und mit einer zweiten vertikalen Signalleitung 420b am anderen Tap (zum Beispiel an dem Kondensator, der den zweiten Floating-Diffusionsbereich FDb bildet) gekoppelt. Somit können die unteren vier Pixel-Schaltungen 410 jeweils der in 3A veranschaulichten Pixel-Schaltung 300a entsprechen. Die oberen vier Pixel-Schaltungen 410 sind mit einer dritten vertikalen Signalleitung 420c an einem Tap (zum Beispiel an dem Kondensator, der den ersten Floating-Diffusionsbereich FDa bildet) gekoppelt und mit einer vierten vertikalen Signalleitung 420d am anderen Tap (zum Beispiel an dem Kondensator, der den zweiten Floating-Diffusionsbereich FDb bildet) gekoppelt. Folglich können die oberen vier Pixel-Schaltungen 410 jeweils der in 3B veranschaulichten Pixel-Schaltung 300b entsprechen.
  • Für eine gegebene Spalte enthält die Umschalt-Schaltungsanordnung 430 einen ersten Satz einer Schalter-Schaltungsanordnung 431 und einen zweiten Satz einer Schalter-Schaltungsanordnung 432. Wie veranschaulicht ist, enthält jeder Satz einer Schalter-Schaltungsanordnung 431, 432 drei Schalter, von denen jeder einzeln steuerbar ist. Der erste Satz der Schalter-Schaltungsanordnung 431 enthält einen ersten Schalter, der an einem ersten Ende mit der ersten vertikalen Signalleitung 420a der linken Spalte verbunden ist, einen zweiten Schalter, der an einem ersten Ende mit der dritten vertikalen Signalleitung 420c der linken Spalte verbunden ist, und einen dritten Schalter, der an einem ersten Ende mit einer ersten vertikalen Signalleitung 420a der rechten Spalte verbunden ist. Ein zweites Ende des ersten, zweiten und dritten Schalters ist mit einem ersten Eingang eines ersten Komparators 450 der linken Spalte gekoppelt (wie veranschaulicht kapazitiv gekoppelt). Der zweite Satz der Schalter-Schaltungsanordnung 431 enthält einen ersten Schalter, der an einem ersten Ende mit der zweiten vertikalen Signalleitung 420b der linken Spalte verbunden ist, einen zweiten Schalter, der an einem ersten Ende mit der vierten vertikalen Signalleitung 420d der linken Spalte verbunden ist, und einen dritten Schalter, der an einem ersten Ende mit der zweiten vertikalen Signalleitung 420b der rechten Spalte verbunden ist. Ein zweites Ende des ersten, zweiten und dritten Schalters ist mit einem ersten Eingang eines zweiten Komparators 450 der linken Spalte gekoppelt (wie veranschaulicht kapazitiv gekoppelt). Ein zweiter Eingang des ersten Komparators 450 und ein zweiter Eingang des zweiten Komparators 450 sind mit dem Referenzsignalgenerator 440 gekoppelt (wie veranschaulicht kapazitiv gekoppelt).
  • Somit ist der erste Komparator 450 mit zumindest der ersten vertikalen Signalleitung 420a und der dritten vertikalen Signalleitung 420c über die erste Schalter-Schaltungsanordnung 431 gekoppelt und ist der zweite Komparator 450 mit zumindest der zweiten vertikalen Signalleitung 420b und der vierten vertikalen Signalleitung 420d über die zweite Schalter-Schaltungsanordnung 432 gekoppelt. Die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 können durch eine Zeitsteuerungsschaltung wie etwa die in 2 veranschaulichte Kommunikations- und Zeitsteuerungs-Schaltungsanordnung 270 gesteuert werden. Die Pixel-Schaltungen 411 in der linken Spalte sind ebenfalls mit den Komparatoren 450 in der rechten Spalte gekoppelt; beispielsweise ist die dritte vertikale Signalleitung 420c mit einem dritten Schalter der ersten Schalter-Schaltungsanordnung 431 in der rechten Spalte gekoppelt und ist die vierte vertikale Signalleitung 420d mit einem dritten Schalter der zweiten Schalter-Schaltungsanordnung 432 in der rechten Spalte gekoppelt.
  • Die verschiedenen Auslesemodi des Bereichs der in 4 veranschaulichten Ausleseschaltung werden in Bezug auf 5A - 14B detaillierter beschrieben. Die in 5A - 14B veranschaulichten Komponenten entsprechen jenen, die in 4 veranschaulicht sind, und eine detaillierte Beschreibung der Komponenten wird somit nicht wiederholt.
  • 5A - D veranschaulichen jeweils einen sogenannten normalen Modus für einen N-ten Frame bis zu einem (N+3)-ten Frame. In 5A ist der N-te Frame veranschaulicht. Wie veranschaulicht ist, ist der erste Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 geschlossen, während die zweiten und dritten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen sind. Die Pixel-Schaltungen 410 in den unteren vier Reihen werden in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet.
  • In 5B ist ein (N+1)-ter Frame veranschaulicht. Wie veranschaulicht ist, sind die Zustände der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 die gleichen wie in 5A; jedoch sind die Phasen der Pixel-Schaltungen 410 modifiziert. So werden die Pixel-Schaltungen 410 in den unteren vier Reihen in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet.
  • In 5C ist ein (N+2)-ter Frame veranschaulicht. Wie veranschaulicht ist, sind die Zustände der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 die gleichen wie in 5A; jedoch sind die Phasen der Pixel-Schaltungen 410 modifiziert. So werden die Pixel-Schaltungen 410 in den unteren vier Reihen in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet.
  • In 5D ist ein (N+3)-ter Frame veranschaulicht. Wie veranschaulicht ist, sind die Zustände der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 die gleichen wie in 5A; jedoch sind die Phasen der Pixel-Schaltungen 410 modifiziert. So werden die Pixel-Schaltungen 410 in den unteren vier Reihen in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet.
  • Die Ausgaben für jeden Frame und/oder jede horizontale Periode innerhalb eines Frames können in einem Speicher gespeichert werden. Nach den vier Frames können die Größen Q und I wie oben beschrieben berechnet werden. In einigen Aspekten der vorliegenden Offenbarung werden die Größen Q und I in einer nach den Komparatoren 450 angeordneten Signalverarbeitungs-Schaltungsanordnung wie etwa der in 2 veranschaulichten Signalverarbeitungs-Schaltungsanordnung 235 berechnet. Die Signalverarbeitungs-Schaltungsanordnung kann die Speicher- und Berechnungs-Schaltungsanordnung wie etwa einen Prozessor (z. B. eine CPU oder ein FPGA) enthalten.
  • 6 veranschaulicht einen sogenannten Pixel-Ausdünnungs- oder Pixel-Übersprung-Modus für einen N-ten Frame. Insbesondere veranschaulicht 6 einen Modus „Übersprung 1“, bei dem eine Reihe von Pixeln übersprungen wird. Jedoch kann die vorliegende Offenbarung auch mit einem Auslesemodus „Übersprung 2“ realisiert werden, bei dem zwei Reihen von Pixeln übersprungen werden. Wie in 6 veranschaulicht ist, ist der erste Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 geschlossen, während die zweiten und dritten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen sind. Jede zweite der Pixel-Schaltungen 410 in den unteren vier Reihen wird in zwei aufeinanderfolgenden horizontalen Perioden 1H bis 2H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet.
  • In 6 werden die Pixel-Schaltungen 410 in der unteren Reihe und die Pixel-Schaltungen 410 in der dritten Reihe von unten im Frame ausgelesen, während die Pixel-Schaltungen 410 in der zweiten Reihe von unten und die Pixel-Schaltungen 410 in der vierten Reihe von unten übersprungen werden. Nach dem in 6 veranschaulichten N-ten Frame können die Phasen der Pixel-Schaltungen 410 in der oben in Bezug auf 5A - D beschriebenen Art und Weise für den (N+1)-ten Frame bis zum (N+3)-ten Frame modifiziert werden. Somit können nach den vier Frames die Größen Q und I berechnet werden. Im Vergleich zu dem normalen Modus der 5A - D kann jedoch der Modus Übersprung 1 bzw. Übersprung-1-Modus in der halben Zeit realisiert werden, da nur die Hälfte der horizontalen Perioden in jedem Frame enthalten ist.
  • 7 veranschaulicht einen sogenannten Pixel-Binning-Modus für einen N-ten Frame. Insbesondere veranschaulicht 7 einen Modus „2×2 Binning“, bei dem Gruppen aus vier Pixeln zusammengefasst bzw. gebinnt werden; jedoch kann die vorliegende Offenbarung mit einem „2×4-Binning-Modus“, einem „1×2-Binning-Modus“, einem „1×4-Binning-Modus“ und einem dergleichen realisiert werden. Wie in 7 veranschaulicht ist, sind die ersten und dritten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 geschlossen, während der zweite Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen ist.
  • In einer ersten horizontalen Periode 1H, werden die ersten, zweiten, fünften und sechsten Reihen (von unten gezählt) von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet. Während der ersten horizontalen Periode 1H werden die Signale für die ersten und zweiten Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die fünften und sechsten Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In einer zweiten horizontalen Periode 2H werden die dritten, vierten, siebten und achten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet. Während der zweiten horizontalen Periode 2H werden die Signale für die dritten und vierten Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die siebten und achten Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • Nach dem in 7 veranschaulichten N-ten Frame können die Phasen der Pixel-Schaltungen 410 in der oben in Bezug auf 5A - D beschriebenen Art und Weise für den (N+1)-ten Frame bis zum (N+3)-ten Frame modifiziert werden. Somit können nach den vier Frames die Größen Q und I berechnet werden. Im Vergleich zu dem normalen Modus der 5A - D kann jedoch der 2×2-Binning-Modus in der halben Zeit realisiert werden, da nur die Hälfte der horizontalen Perioden in jedem Frame enthalten ist.
  • Die Binning- und Übersprung-Modi können zu einem Hybrid-Modus kombiniert werden. 8 veranschaulicht solch einen Hybrid-Modus, wobei 2×4-Binning und Übersprung-2 realisiert werden. Wie in 8 veranschaulicht ist, sind die ersten und dritten Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der linken Spalte geschlossen, während der zweite Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 in der linken Spalte offen ist. Alle drei Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der rechten Spalte sind offen.
  • In einer ersten horizontalen Periode 1H werden die unteren vier Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet. Während der ersten horizontalen Periode 1H werden die Signale der unteren vier Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt.
  • Die nächsten vier Reihen von Pixel-Schaltungen 410 werden übersprungen, so dass in einer zweiten horizontalen Periode 2H die unteren vier Reihen des nächsten Satzes von acht Pixel-Schaltungen (in 8 nicht veranschaulicht) angesteuert werden. Nach dem in 8 veranschaulichten N-ten Frame können die Phasen der Pixel-Schaltungen 410 in der oben in Bezug auf 5A - D beschriebenen Art und Weise für den (N+1)-ten Frame bis zum (N+3)-ten Frame modifiziert werden. Nach den vier Frames können somit die Größen Q und I berechnet werden. Im Vergleich zu dem normalen Modus der 5A - D kann jedoch der 2×4-Binning-Übersprung-2-Modus in einem Viertel der Zeit realisiert werden, da nur ein Viertel der horizontalen Perioden in jedem Frame enthalten ist.
  • In jedem der obigen Modi werden vier Frames verwendet, um die Größen Q und I zu berechnen, da vier Phasen pro Pixel genutzt werden. In einigen Modi werden jedoch die Größen Q und I in nur zwei Frames erhalten, indem zwei Phasen pro Pixel genutzt werden. Auf diese Modi kann als IQ-Modi verwiesen werden. Die IQ-Modi können mit jedem beliebigen des normalen Modus, der Übersprung-Modi, der Binning-Modi und der Hybrid-Modi realisiert werden, die oben beschrieben wurden. 9A - 9B veranschaulichen einen 2×2-Binning-IQ-Modus.
  • In 9A ist ein N-ter Frame veranschaulicht. Wie veranschaulicht, sind die ersten und dritten Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der linken Spalte und die zweiten und dritten Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der rechten Spalte geschlossen, während der zweite Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der linken Spalte und der erste Schalter der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 in der rechten Spalte offen ist. In einer ersten horizontalen Periode 1H werden die ersten und dritten Reihen (von unten gezählt) von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet, und werden die fünften und sechsten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet.
  • In einer zweiten horizontalen Periode 2H werden die zweiten und vierten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet, und werden die fünften und siebten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet.
  • Während der ersten horizontalen Periode 1H und der zweiten horizontalen Periode 2H werden die Signale für die unteren vier Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die oberen vier Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In 9B ist ein (N+1)-ter Frame veranschaulicht. Die Konfiguration von jedem der Schalter in der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 bleibt die gleiche wie in 9A. In einer ersten horizontalen Periode 1H werden die ersten und dritten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet, und werden die fünften und siebten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet.
  • In einer zweiten horizontalen Periode 2H werden die zweiten und vierten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 90-Phase arbeitet, und werden die fünften und siebten Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der 0-Phase arbeitet.
  • Während der ersten horizontalen Periode 1H und der zweiten horizontalen Periode 2H werden die Signale für die unteren vier Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die oberen vier Reihen der Pixel-Schaltungen 410 in sowohl der linken Spalte als auch der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • IQ-Mosaik/Demosaik-Auslesemodi
  • 10 veranschaulicht einen beispielhaften Mosaik/Demosaik-(mdm-)Prozess, der mit den Modi implementiert werden kann, wie unten detaillierter diskutiert wird. Wie in 10 veranschaulicht ist, werden ein erster Datenblock 1010 und ein zweiter Datenblock 1020 erhalten. Der erste Datenblock 1010 und der zweite Datenblock können zum Beispiel durch die in Bezug auf 11A - 14B diskutierten Prozesse erhalten werden.
  • Der ersten Datenblock 1010 enthält Pixel-Daten, die den Größen I und Q entsprechen, in abwechselnden Spalten. Der zweite Datenblock 1020 enthält Pixel-Daten, die den Größen -I und -Q entsprechen, in abwechselnden Spalten. Indem man den zweiten Datenblock 1020 vom ersten Datenblock 1010 subtrahiert, wird ein dritter Datenblock 1030 erhalten. Der dritte Datenblock 1030 enthält Daten entsprechend den Größen Q' und I', die den Pixel-Daten mit gelöschtem Umgebungsfehler entsprechen.
  • Unter den Quellen eines Umgebungsfehlers finden sich Umgebungslicht, das im Allgemeinen für sowohl Tap A als auch Tap B einer gegebenen Pixel-Schaltung 410 gleich ist, und eine Fehlanpassung der Tap-Verstärkung, die für sowohl Tap A als auch Tap B der gegebenen Pixel-Schaltung 410 nicht notwendigerweise gleich ist. Der Umgebungsfehler kann durch einen IQ-Demosaik-Prozess beseitigt bzw. gelöscht werden, bei dem der dritte Datenblock 1030 in einen vierten Datenblock 1040 und einen fünften Datenblock 1050 umgewandelt wird. Der vierte Datenblock 1040 enthält in allen Spalten der Größe I' entsprechende Daten, und der fünfte Datenblock 1050 enthält in allen Spalten der Größe Q' enthaltende Daten.
  • Der IQ-Demosaik-Prozess kann durch den folgenden Ausdruck (1) repräsentiert werden:
    [Math. 1] atan ( Q + Q e r r o r I + I e r r o r )
    Figure DE112020006326T5_0001
  • Q, I, Qerror und Ierrer können jeweils durch die folgenden Ausdrücke (2) - (4) angegeben werden:
    [Math. 2] q = x α y β
    Figure DE112020006326T5_0002

    [Math. 3] I = m α n β
    Figure DE112020006326T5_0003

    [Math. 4] Q e r r o r = I e r r o r = γ α γ β
    Figure DE112020006326T5_0004
  • Oben entsprechen die Größen x, y, m und n den Mengen an aktivem Licht (zum Beispiel Licht, das vom Lichtgenerator 111 emittiert wird, der in 1A - B veranschaulicht ist), entspricht die Größe γ einer Menge an Umgebungslicht und entsprechen α und β einer Fehlanpassung der Tap-Verstärkung. Indem man den auf dem ersten Datenblock 1010 und dem zweiten Datenblock 1020 basierenden IQ-Demosaik-Prozess nutzt, wird der Ausdruck (1) zum folgenden Ausdruck (5):
    [Math. 5] atan ( ( x y ) ( α p i x 1 + β p i x 1 ) + ( ( γ α p i x 1 γ β p i x 1 ) ( γ α p i x 1 γ β p i x 1 ) ) ( m n ) ( α p i x 2 + β p i x 2 ) + ( ( γ α p i x 1 γ β p i x 1 ) ( γ α p i x 1 γ β p i x 1 ) ) ) = atan ( x y ) ( α p i x 1 + β p i x 1 ) ( m n ) ( α p i x 2 + β p i x 2 ) = atan ( Q ' I ' )
    Figure DE112020006326T5_0005
  • Somit wird der Umgebungsfehler aufgehoben bzw. gelöscht. Die Größen I und Q können wie in 11A - 14B veranschaulicht in verschiedenen Modi erhalten werden.
  • 11A - B veranschaulichen einen normalen IQ-mdm-Modus für einen N-ten Frame bzw. einen (N+1)-ten Frame. In 11A ist der N-te Frame veranschaulicht. Wie veranschaulicht ist, ist der erste Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 geschlossen, während die zweiten und dritten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen sind. Die Pixel-Schaltungen 410 in den unteren vier Reihen werden in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 180-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet.
  • In 11B ist der (N+1)-te Frame veranschaulicht. Wie veranschaulicht ist, sind die Zustände der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 die gleichen wie in 11A; jedoch sind die Phasen der Pixel-Schaltungen 410 modifiziert. Somit werden die Pixel-Schaltungen 410 in den unteren vier Reihen in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 0-Phase arbeitet.
  • Auf die obige Art und Weise können die Größen I und Q im N-ten Frame erhalten werden und können die Größen -I und -Q im (N+1)-ten Frame erhalten werden. Die Größen können dann dem in 10 veranschaulichten IQ-Mosaik/Demosaik-Prozess unterzogen werden.
  • 12A-B veranschaulichen einen Übersprung-1-IQ-mdm-Modus für einen N-ten Frame bzw. einen (N+1)-ten Frame. In 12A ist der N-te Frame veranschaulicht. Wie veranschaulicht ist, ist der erste Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 geschlossen, während die zweiten und dritten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen sind. Die Pixel-Schaltungen 410 in den ersten, dritten, fünften und siebten Reihen werden in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung in der linken Spalte in der 180-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet. Die Pixel-Schaltungen 410 in der zweiten, vierten, sechsten und achten Reihe werden übersprungen.
  • In 12B ist der (N+1)-te Frame veranschaulicht. Wie veranschaulicht ist, sind die Zustände der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 die gleichen wie in 12A; jedoch sind die Phasen der Pixel-Schaltungen 410 modifiziert. So werden die Pixel-Schaltungen 410 in der ersten, dritten, fünften und siebten Reihe in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der 180-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 0-Phase arbeitet. Die Pixel-Schaltungen 410 in der zweiten, vierten, sechsten und achten Reihe werden wieder übersprungen.
  • Auf die obige Art und Weise können die Größen I und Q im N-ten Frame erhalten werden und können die Größen -I und -Q in dem (N+1)-ten Frame erhalten werden. Die Größen können dann dem in 10 veranschaulichten IQ-Mosaik/Demosaik-Prozess unterzogen werden.
  • 13A-B veranschaulichen einen IQ-mdm-Modus mit 2×2-Pixel-Binning für einen N-ten Frame bzw. einen (N+1)-ten Frame. In 13A ist der N-te Frame veranschaulicht. Die ersten und zweiten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 sind geschlossen, während der dritte Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen ist. Die Pixel-Schaltungen 410 in Paaren von Reihen werden in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 180-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet.
  • In einer ersten horizontalen Periode 1H werden die unteren zwei Reihen der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der ersten horizontalen Periode 1H werden die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In einer zweiten horizontalen Periode 2H werden die dritte und vierte Reihe der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der zweiten horizontalen Periode 2H werden die Signale für die dritte und vierte Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die dritte und vierte Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden. Eine dritte horizontale Periode 3H und eine vierte horizontale Periode 4H folgen ähnlich.
  • In 13B ist der (N+1)-te Frame veranschaulicht. Die ersten und zweiten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 sind geschlossen, während der dritte Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen ist. Die Pixel-Schaltungen 410 in Paaren von Reihen werden in vier aufeinanderfolgenden horizontalen Perioden 1H bis 4H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 180-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 der linken Spalte in der 0-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 der rechten Spalte in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet.
  • In einer ersten horizontalen Periode 1H werden die unteren zwei Reihen der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der ersten horizontalen Periode 1H werden die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 in der linken Spalte bereitgestellt, während die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In einer zweiten horizontalen Periode 2H werden die dritte und vierte Reihe der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der zweiten horizontalen Periode 2H werden die Signale für die dritte und vierte Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die dritte und vierte Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden. Eine dritte horizontale Periode 3H und eine vierte horizontale Periode 4H folgen ähnlich.
  • Auf die obige Art und Weise können die Größen I und Q im N-ten Frame erhalten werden und können die Größen -I und -Q im (N+1)-ten Frame erhalten werden. Die Größen können dann dem in 10 veranschaulichten IQ-Mosaik/Demosaik-Prozess unterzogen werden.
  • 14A-B veranschaulichen einen IQ-mdm-Modus mit 2×2-Pixel-Binning und Übersprung-1 für einen N-ten Frame bzw. einen (N+1)-ten Frame. In 14A ist der N-te Frame veranschaulicht. Die ersten und zweiten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 sind geschlossen, während der dritte Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 offen ist. Die Pixel-Schaltungen 410 in jedem zweiten Paar von Reihen werden in zwei aufeinanderfolgenden horizontalen Perioden 1H und 2H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 180-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet.
  • In einer ersten horizontalen Periode 1H werden die unteren zwei Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der ersten horizontalen Periode 1H werden die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die erste und zweite Reihe der Pixel-Schaltungen in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In einer zweiten horizontalen Periode 2H werden die fünfte und sechste Reihe der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der zweiten horizontalen Periode 2H werden die Signale für die fünfte und sechste Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die fünfte und sechste Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden. Eine dritte horizontale Periode 3H und eine vierte horizontale Periode 4H folgen ähnlich. Die dritte, vierte, siebte und achte Reihe der Pixel-Schaltungen 410 werden übersprungen.
  • In 14B ist der (N+1)-te Frame veranschaulicht. Die ersten und zweiten Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 als auch der zweiten Schalter-Schaltungsanordnung 432 sind geschlossen, während der dritte Schalter sowohl der ersten Schalter-Schaltungsanordnung 431 und der zweiten Schalter-Schaltungsanordnung 432 offen ist. Die Pixel-Schaltungen 410 in jedem zweiten Paar von Reihen werden in zwei aufeinanderfolgenden horizontalen Perioden 1H und 2H so angesteuert, dass in einer jeweiligen horizontalen Periode Tap A der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 180-Phase arbeitet, Tap B der entsprechenden Pixel-Schaltung 410 in der linken Spalte in der 0-Phase arbeitet, Tap A der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 270-Phase arbeitet und Tap B der entsprechenden Pixel-Schaltung 410 in der rechten Spalte in der 90-Phase arbeitet.
  • In einer ersten horizontalen Periode 1H werden die unteren zwei Reihen von Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der ersten horizontalen Periode 1H werden die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die erste und zweite Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden.
  • In einer zweiten horizontalen Periode 2H werden die fünfte und sechste Reihe der Pixel-Schaltungen 410 so angesteuert, dass Tap A und Tap B der entsprechenden Pixel-Schaltungen 410 in den oben bezeichneten Phasen arbeiten. Während der zweiten horizontalen Periode 2H werden die Signale für die fünfte und sechste Reihe der Pixel-Schaltungen 410 in der linken Spalte den Komparatoren 450 für die linke Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die linke Spalte bereitgestellt, während die Signale für die fünfte und sechste Reihe der Pixel-Schaltungen 410 in der rechten Spalte den Komparatoren 450 für die rechte Spalte über die erste Schalter-Schaltungsanordnung 431 und die zweite Schalter-Schaltungsanordnung 432 für die rechte Spalte bereitgestellt werden. Eine dritte horizontale Periode 3H und eine vierte horizontale Periode 4H folgen ähnlich. Die dritte, vierte, siebte und achte Reihe der Pixel-Schaltungen 410 werden übersprungen.
  • Auf die obige Art und Weise können die Größen I und Q im N-ten Frame erhalten werden und können die Größen -I und -Q im (N+1)-ten Frame erhalten werden. Die Größen können dann dem in 10 veranschaulichten IQ-Mosaik/Demosaik-Prozess unterzogen werden.
  • Betriebsverfahren
  • Ein Bildgebungssystem wie etwa das TOF-Bildgebungssystem 101a oder das TOF-Bildgebungssystem 101b, die in 1A-B veranschaulicht sind, kann betrieben werden, um einen der obigen Auslesemodi zu realisieren und dadurch eine Objektdetektion, eine Erzeugung einer Tiefenkarte, eine Gesichts-/Gestenerkennung, eine Bildgebung oder Kombinationen davon zu ermöglichen.
  • 15 veranschaulicht ein beispielhaftes Bildgebungsverfahren gemäß der vorliegenden Offenbarung. Das Bildgebungsverfahren kann mittels des TOF-Bildgebungssystems 101a oder des TOF-Bildgebungssystems 101b realisiert werden. Bei 1501 wird ein Annäherungs- bzw. Proximity-Modus ausgewählt. Die Auswahl kann von einem lokalen Nutzer beispielsweise mittels einer Betätigung auf einer Taste oder einem Touchscreen einer Vorrichtung vorgenommen werden, die das TOF-Bildgebungssystem 101a oder das TOF-Bildgebungssystem 101b implementiert. Die Auswahl kann auch von einem Controller einer Vorrichtung, die das TOF-Bildgebungssystem 101a oder das TOF-Bildgebungssystem 101b realisiert, beispielsweise mittels einer Fernabfrage durch einen Nutzer oder einen automatischen oder vorprogrammierten Vorgang vorgenommen werden. Im Proximity-Modus kann bei 1502 ein Modus mit geringer Leistungsaufnahme (LPM; engl.: low power mode) ausgewählt werden; wieder entweder von einem lokalen Nutzer und/oder einem Controller der Vorrichtung. Bei dem Modus mit geringer Leistungsaufnahme kann es sich um einen beliebigen der Ausdünnungs-Modi, der Binning-Modi oder der Hybrid-Modi handeln, die oben beschrieben wurden. Bei 1503 wird eine Bestimmung einer Objekterkennung vorgenommen. Falls kein Objekt detektiert wird, kann das beispielhafte Verfahren erneut initialisiert oder neu gestartet werden.
  • Falls ein Objekt detektiert wird, wird bei 1504 ein Tiefenmessungsmodus ausgewählt. Wie oben kann die Auswahl von einem lokalen Nutzer und/oder einem Controller der Vorrichtung vorgenommen werden. Im Tiefenmessungsmodus wird bei 1505 ein Auslesemodus von dem lokalen Nutzer und/oder dem Controller der Vorrichtung ausgewählt. Bei dem Auslesemodus kann es sich um einen beliebigen des normalen Modus, der Ausdünnungs-Modi, der Binning-Modi, der IQ-Mosaik-Modi, der mdm-Modi oder der Hybrid-Modi handeln, die oben beschrieben wurden. Bei 1506 erzeugt die Vorrichtung eine Tiefenkarte. Bei 1507 führt die Vorrichtung einen Gesichtserkennungsvorgang und/oder einen Gestenerkennungsvorgang durch. In einigen Aspekten der vorliegenden Offenbarung kann das beispielhafte Bildgebungsverfahren nur eine Tiefenkarte erzeugen (und keinen Erkennungsvorgang durchführen) oder nur einen Erkennungsvorgang durchführen (und keine vollständige Tiefenkarte erzeugen).
  • Auf diese Weise bestimmt in 1501 bis 1503 die Vorrichtung, ob ein Objekt vorhanden ist, und, falls dies der Fall ist, kann die Vorrichtung in 1504 bis 1506/1507 eine Tiefenkarte erzeugen und/oder einen Erkennungsvorgang durchführen.
  • 16 veranschaulicht ein anderes beispielhaftes Bildgebungsverfahren gemäß der vorliegenden Offenbarung. Das Bildgebungsverfahren kann mittels des TOF-Bildgebungssystems 101b implementiert werden, das zusätzlich zum TOF-Sensor einen RGB-Sensor integriert. Bei 1601 wird der Proximity-Modus ausgewählt. Die Auswahl kann von einem lokalen Nutzer beispielsweise durch Betätigung auf einer Taste oder einem Touchscreen einer Vorrichtung, die das TOF-Bildgebungssystem 101b implementiert, vorgenommen werden. Die Auswahl kann auch von einem Controller einer Vorrichtung, die das TOF-Bildgebungssystem 101b implementiert, beispielsweise mittels einer Fernabfrage durch einen Nutzer oder einen automatischen oder vorprogrammierten Vorgang vorgenommen werden. Im Proximity-Modus kann bei 1602 ein Modus mit geringer Leistungsaufnahme (LPM) ausgewählt werden; wieder entweder von einem lokalen Nutzer und/oder einem Controller der Vorrichtung. Bei dem Modus mit geringer Leistungsaufnahme kann es sich um einen beliebigen der Ausdünnungs-Modi, der Binning-Modi oder der Hybrid-Modi handeln, die oben beschrieben wurden. Bei 1603 wird eine Bestimmung einer Objektdetektion vorgenommen. Falls kein Objekt detektiert wird, kann das beispielhafte Verfahren wieder initialisiert oder neu gestartet werden.
  • Falls ein Objekt detektiert wird, kann bei 1604 eine RGB-Kamera wie etwa der RGB-Bildsensor 115 eingeschaltet werden. Der Einschaltvorgang kann von einem lokalen Nutzer vorgenommen werden und/oder kann automatisch mittels eines Controllers der Vorrichtung erfolgen. Ist die RGB-Kamera einmal eingeschaltet, wird bei 1605 ein vorläufiger Gesichtserkennungsvorgang unter Verwendung eines Signals von der RGB-Kamera durchgeführt. Danach wird bei 1606 ein Auslesemodus von dem lokalen Nutzer und/oder dem Controller der Vorrichtung ausgewählt. Bei dem Auslesemodus kann es sich um einen beliebigen des normalen Modus, der Ausdünnungs-Modi, der Binning-Modi, der IQ-Mosaik-Modi, der mdm-Modi oder der Hybrid-Modi handeln, die oben beschrieben wurden. Bei 1607 erzeugt die Vorrichtung eine Tiefenkarte. Bei 1608 führt die Vorrichtung einen Gesichtserkennungsvorgang durch. Der Gesichtserkennungsvorgang kann Eingaben von der RGB-Kamera (wie etwa das Ergebnis des vorläufigen Gesichtserkennungsvorgangs) und der TOF-Kamera (wie etwa die Tiefenkarte) nutzen. Außerdem oder alternativ dazu kann eine Gestenerkennung durchgeführt werden. In einigen Aspekten der vorliegenden Offenbarung kann das beispielhafte Bildgebungsverfahren nur eine Tiefenkarte erzeugen (und keinen Erkennungsvorgang durchführen) oder nur einen Erkennungsvorgang durchführen (und keine vollständige Tiefenkarte erzeugen).
  • Auf diese Weise bestimmt in 1601 bis 1603 die Vorrichtung, ob ein Objekt vorhanden ist, und, falls dies der Fall ist, kann die Vorrichtung in 1604 bis 1607/1608 eine Tiefenkarte erzeugen und/oder einen Erkennungsvorgang durchführen.
  • Schlussfolgerung
  • In Bezug auf die Prozesse, Systeme, Verfahren, Heuristiken etc., die hierin beschrieben wurden, sollte es sich verstehen, dass, obgleich die Schritte solcher Prozesse etc. als entsprechend einer bestimmten geordneten Sequenz ablaufend beschrieben wurden, solche Prozesse in die Praxis umgesetzt werden könnten, wobei die beschriebenen Schritte in einer anderen Reihenfolge als der hierin beschriebenen Reihenfolge durchgeführt werden. Es sollte sich ferner verstehen, dass bestimmte Schritte gleichzeitig durchgeführt werden könnten, dass andere Schritte hinzugefügt werden könnten oder dass bestimmte Schritte, die hierin beschrieben wurden, weggelassen werden könnten. Mit anderen Worten sind die Beschreibungen der Prozesse hierin zum Zwecke der Veranschaulichung bestimmter Ausführungsformen vorgesehen und sollen in keiner Weise dahingehend ausgelegt werden, dass sie die Ansprüche einschränken.
  • Dementsprechend sollte es sich verstehen, dass die obige Beschreibung zur Veranschaulichung und nicht zur Einschränkung gedacht ist. Viele Ausführungsformen und Anwendungen, die von den gelieferten Beispielen verschieden sind, werden beim Lesen der obigen Beschreibung offensichtlich. Der Umfang sollte nicht mit Verweis auf die obige Beschreibung bestimmt werden, sondern sollte stattdessen mit Verweis auf die beigefügten Ansprüche zusammen mit dem vollen Umfang von Äquivalenten bestimmt werden, die solche Ansprüche benennen bzw. einschließen. Es wird davon ausgegangen und ist beabsichtigt, dass zukünftige Entwicklungen in den hierin diskutierten Technologien stattfinden werden und dass die offenbarten Systeme und Verfahren in solche zukünftigen Ausführungsformen integriert werden. Zusammenfassend sollte es sich verstehen, dass die Anmeldung modifiziert und variiert werden kann.
  • Alle in den Ansprüchen verwendeten Begriffe sollen in ihren umfassendsten vernünftigen Auslegungen und ihren gewöhnlichen Bedeutungen angegeben werden, wie sie vom Fachmann in den hierin beschriebenen Technologien verstanden werden, sofern nicht hierin explizit das Gegenteil angegeben ist. Insbesondere sollten die Verwendung der Einzahlartikel wie etwa „ein/eine“, „der/die/das“, „der/die/das besagte“ etc. so gelesen werden, dass ein oder mehrere der angegebenen Elemente vorgetragen bzw. zitiert werden, es sei denn, ein Anspruch trägt eine explizite gegenteilige Einschränkung vor.
  • Die Zusammenfassung der Offenbarung ist vorgesehen, um dem Leser zu ermöglichen, das Wesen der technischen Offenbarung schnell herauszufinden. Sie wird mit der Maßgabe vorgelegt, dass sie nicht genutzt wird, um den Umfang oder die Bedeutung der Ansprüche zu interpretieren oder zu beschränken. Außerdem kann man in der vorhergehenden detaillierten Beschreibung ersehen, dass verschiedene Merkmale in verschiedenen Ausführungsformen in Gruppen zusammengefasst sind, um die Offenbarung zu vereinfachen. Diese Vorgehensweise bei der Offenbarung sollte nicht dahingehend interpretiert werden, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale als in jedem Anspruch ausdrücklich vorgetragen erfordern. Vielmehr liegt, wie die folgenden Ansprüchen widerspiegeln, der Erfindungsgegenstand in weniger als allen Merkmalen einer einzigen offenbarten Offenbarung. Folglich werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung integriert, wobei jeder Anspruch für sich als separat beanspruchter Gegenstand steht.
  • Es sollte sich für den Fachmann verstehen, dass je nach Design- bzw. Gestaltungsanforderungen und anderen Faktoren verschiedene Modifikationen, Kombinationen, Teilkombinationen und Änderungen erfolgen können, sofern sie innerhalb des Umfangs der beigefügten Ansprüche und ihrer Äquivalente liegen.
  • Bezugszeichenliste
  • 101a, 101b
    TOF-Bildgebungssystem

Claims (20)

  1. Laufzeitsensor, aufweisend: ein Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine erste Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist; eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist; eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist; eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist; eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist; eine erste Schalter-Schaltungsanordnung; eine zweite Schalter-Schaltungsanordnung; einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist; und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  2. Laufzeitsensor nach Anspruch 1, wobei eine zweite Spalte des Arrays enthält: eine dritte Pixel-Schaltung, die eine dritte Fotodiode, einen fünften Kondensator, der mit der dritten Fotodiode gekoppelt ist, und einen sechsten Kondensator enthält, der mit der dritten Fotodiode gekoppelt ist, und eine vierte Pixel-Schaltung, die eine vierte Fotodiode, einen siebten Kondensator, der mit der vierten Fotodiode gekoppelt ist, und einen achten Kondensator enthält, der mit der vierten Fotodiode gekoppelt ist; und der Laufzeitsensor ferner enthält: eine fünfte Signalleitung, die mit dem fünften Kondensator gekoppelt ist, eine sechste Signalleitung, die mit dem sechsten Kondensator gekoppelt ist, eine siebte Signalleitung, die mit dem siebten Kondensator gekoppelt ist, und eine achte Signalleitung, die mit dem achten Kondensator gekoppelt ist.
  3. Laufzeitsensor nach Anspruch 2, wobei der erste Komparator mit der fünften Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist und der zweite Komparator mit der sechsten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  4. Laufzeitsensor nach Anspruch 2, ferner aufweisend: eine dritte Schalter-Schaltungsanordnung; eine vierte Schalter-Schaltungsanordnung; einen dritten Komparator, der mit der fünften Signalleitung, der siebten Signalleitung und der dritten Signalleitung über die dritte Schalter-Schaltungsanordnung gekoppelt ist; und einen vierten Komparator, der mit der sechsten Signalleitung, der achten Signalleitung und der zweiten Signalleitung über die vierte Schalter-Schaltungsanordnung gekoppelt ist.
  5. Laufzeitsensor nach Anspruch 1, ferner aufweisend eine Zeitsteuerungsschaltung, die dafür konfiguriert ist, die erste Schalter-Schaltungsanordnung und die zweite Schalter-Schaltungsanordnung zu steuern.
  6. Laufzeitsensor nach Anspruch 5, wobei die Zeitsteuerungsschaltung dafür konfiguriert ist, zu veranlassen, dass der Laufzeitsensor in einem einer Vielzahl von Auslesemodi basierend auf einem Zustand der ersten Schalter-Schaltungsanordnung und der zweiten Schalter-Schaltungsanordnung arbeitet.
  7. Laufzeitsensor nach Anspruch 6, wobei die Vielzahl von Auslesemodi einen Pixel-Ausdünnungs-Modus einschließt, in dem eine vorbestimmte Anzahl von Reihen des Pixel-Arrays übersprungen wird.
  8. Laufzeitsensor nach Anspruch 6, wobei die Vielzahl von Auslesemodi einen Pixel-Binning-Modus einschließt, in dem Gruppen einer vorbestimmten Anzahl von Pixel-Schaltungen kombiniert werden.
  9. Laufzeitsensor nach Anspruch 6, wobei die Vielzahl von Auslesemodi einen Hybrid-Modus einschließt, in dem eine erste vorbestimmte Anzahl von Reihen des Pixel-Arrays übersprungen wird und in dem Gruppen einer zweiten vorbestimmten Anzahl von Pixel-Schaltungen, die nicht übersprungen werden, kombiniert werden.
  10. Laufzeitsensor nach Anspruch 6, wobei die Vielzahl von Auslesemodi einen IQ-Modus einschließt, in dem die erste Pixel-Schaltung in einer ersten Phase und in einer zur ersten Phase komplementären zweiten Phase während einer horizontalen Periode angesteuert wird.
  11. Laufzeitsensor nach Anspruch 1, ferner aufweisend: einen Referenzsignalgenerator, der dafür konfiguriert ist, ein Referenzsignal an den ersten Komparator und den zweiten Komparator abzugeben.
  12. Laufzeitsensor nach Anspruch 11, wobei das Referenzsignal eine periodische Rampenwellenform aufweist.
  13. Laufzeitsystem, aufweisend: eine Lichtquelle, die dafür konfiguriert ist, Licht zu emittieren; und einen Sensor, aufweisend: ein Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist, eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist, eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist, eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist, eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist, eine erste Schalter-Schaltungsanordnung, eine zweite Schalter-Schaltungsanordnung, einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist, und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  14. Laufzeitsystem nach Anspruch 13, wobei der Sensor ferner eine Zeitsteuerungsschaltung aufweist, die dafür konfiguriert ist, die erste Schalter-Schaltungsanordnung und die zweite Schalter-Schaltungsanordnung zu steuern.
  15. Laufzeitsystem nach Anspruch 14, wobei die Zeitsteuerungsschaltung dafür konfiguriert ist, zu veranlassen, dass der Sensor in einem einer Vielzahl von Auslesemodi basierend auf einem Zustand der ersten Schalter-Schaltungsanordnung und der zweiten Schalter-Schaltungsanordnung arbeitet.
  16. Laufzeitsystem nach Anspruch 15, wobei die Vielzahl von Auslesemodi zumindest einen eines Pixel-Ausdünnungs-Modus, in dem eine vorbestimmte Anzahl von Reihen des Pixel-Arrays übersprungen wird, eines Pixel-Binning-Modus, in dem Gruppen einer vorbestimmten Anzahl von Pixel-Schaltungen kombiniert werden, eines Hybrid-Modus, in dem eine erste vorbestimmte Anzahl von Reihen des Pixel-Arrays übersprungen wird und in dem Gruppen einer zweiten vorbestimmten Anzahl von Pixel-Schaltungen, die nicht übersprungen werden, kombiniert werden, oder eines IQ-Modus enthält, in dem die erste Pixel-Schaltung in einer ersten Phase und in einer zur ersten Phase komplementären zweiten Phase während einer horizontalen Periode angesteuert wird.
  17. Laufzeitsystem nach Anspruch 13, wobei die Lichtquelle eine Laserdiode oder eine lichtemittierende Diode ist.
  18. Laufzeitsystem nach Anspruch 14, wobei das Licht eine Wellenlänge im Infrarotbereich hat.
  19. System, aufweisend: einen ersten Sensor, der dafür konfiguriert ist, Bilddaten zu erzeugen, wobei der erste Sensor ein erstes Pixel-Array aufweist; und einen zweiten Sensor, der dafür konfiguriert ist, Abstandsdaten zu erzeugen, wobei der zweite Sensor aufweist: ein zweites Pixel-Array, das eine Vielzahl von Pixel-Schaltungen enthält, die in einem Array angeordnet sind, wobei eine Spalte des Arrays enthält: eine erste Pixel-Schaltung, die eine erste Fotodiode, einen ersten Kondensator, der mit der ersten Fotodiode gekoppelt ist, und einen zweiten Kondensator enthält, der mit der ersten Fotodiode gekoppelt ist, und eine zweite Pixel-Schaltung, die eine zweite Fotodiode, einen dritten Kondensator, der mit der zweiten Fotodiode gekoppelt ist, und einen vierten Kondensator enthält, der mit der zweiten Fotodiode gekoppelt ist, eine erste Signalleitung, die mit dem ersten Kondensator gekoppelt ist, eine zweite Signalleitung, die mit dem zweiten Kondensator gekoppelt ist, eine dritte Signalleitung, die mit dem dritten Kondensator gekoppelt ist, eine vierte Signalleitung, die mit dem vierten Kondensator gekoppelt ist, eine erste Schalter-Schaltungsanordnung, eine zweite Schalter-Schaltungsanordnung, einen ersten Komparator, der mit der ersten Signalleitung und der dritten Signalleitung über die erste Schalter-Schaltungsanordnung gekoppelt ist, und einen zweiten Komparator, der mit der zweiten Signalleitung und der vierten Signalleitung über die zweite Schalter-Schaltungsanordnung gekoppelt ist.
  20. System nach Anspruch 19, wobei die Bilddaten einer RGB-Darstellung eines Objekts entsprechen und die Abstandsdaten einer Tiefenkarte des Objekts entsprechen.
DE112020006326.7T 2019-12-26 2020-12-15 Laufzeitsensor, laufzeitsystem und system Pending DE112020006326T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962953804P 2019-12-26 2019-12-26
US62/953,804 2019-12-26
PCT/JP2020/046675 WO2021131887A1 (en) 2019-12-26 2020-12-15 Time-of-flight sensor, time-of-flight system and system

Publications (1)

Publication Number Publication Date
DE112020006326T5 true DE112020006326T5 (de) 2022-12-22

Family

ID=74141790

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020006326.7T Pending DE112020006326T5 (de) 2019-12-26 2020-12-15 Laufzeitsensor, laufzeitsystem und system

Country Status (6)

Country Link
US (3) US11297270B2 (de)
EP (1) EP4081824A1 (de)
KR (1) KR20220122623A (de)
CN (1) CN114829969A (de)
DE (1) DE112020006326T5 (de)
WO (1) WO2021131887A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297270B2 (en) * 2019-12-26 2022-04-05 Sony Corporation Readout circuit and method for time-of-flight image sensor
EP4141488A1 (de) * 2021-08-31 2023-03-01 Infineon Technologies AG Verfahren zur pixel-binning in einem flugzeitsensor, schaltvorrichtung für einen flugzeitsensor und computerprogramm

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
JP5233828B2 (ja) * 2009-05-11 2013-07-10 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
US9762890B2 (en) * 2013-11-08 2017-09-12 Samsung Electronics Co., Ltd. Distance sensor and image processing system including the same
JP6650309B2 (ja) 2016-03-24 2020-02-19 スタンレー電気株式会社 距離計測装置
US10522578B2 (en) 2017-09-08 2019-12-31 Sony Semiconductor Solutions Corporation Pixel-level background light subtraction
JP7146483B2 (ja) * 2018-06-27 2022-10-04 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその制御方法、並びに電子機器
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102543350B1 (ko) * 2018-08-16 2023-06-15 삼성전자주식회사 이미지 센서
US11297270B2 (en) * 2019-12-26 2022-04-05 Sony Corporation Readout circuit and method for time-of-flight image sensor

Also Published As

Publication number Publication date
KR20220122623A (ko) 2022-09-02
CN114829969A (zh) 2022-07-29
US11297270B2 (en) 2022-04-05
US20230232129A1 (en) 2023-07-20
US20210203868A1 (en) 2021-07-01
EP4081824A1 (de) 2022-11-02
US20220247951A1 (en) 2022-08-04
WO2021131887A1 (en) 2021-07-01
US11641532B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
DE112018006264T5 (de) Festkörper-bildaufnahmevorrichtung, steuerverfahren für die festkörper-bildaufnahmevorrichtung und computerprogramm
DE102016100038B4 (de) Bildsensor
DE69729648T2 (de) Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
DE69631356T2 (de) Halbleiter-Bildaufnehmer mit gemeinsamer Ausgangsleistung
DE69005991T2 (de) Verfahren und anordnung zur erzeugung eines hochauflösenden elektronischen signals von der zeilenabtastung einer farbvorlage.
DE102007030985B4 (de) Bildsensor, Verfahren zum Betreiben eines Bildsensors und Computerprogramm
DE112020006326T5 (de) Laufzeitsensor, laufzeitsystem und system
DE10239889A1 (de) Verfahren zum Reduzieren von kohärentem zeilenweisen und spaltenweisen Festmusterrauschen bei CMOS-Bildsensoren
DE102010061350A1 (de) Komplementärer Metall-Oxid-Halbleiter-Bildsensor, Datenausleseverfahren davon und elektronisches System mit demselben
DE102005007330B4 (de) CMOS-Bildsensor mit reduziertem 1/f-Rauschen
DE60307511T2 (de) Schaltung für bildsensoren mit lawinenphotodioden
DE112011103229T5 (de) Farbbildabtastung und -rekonstruktion
DE102010037436A1 (de) Bildsensor zum Abgeben eines RGB Bayer-Signals durch eine interne Umwandlungs- und Bildverarbeitungsvorrichtung mit demselben
DE102011089629A1 (de) Lichtlaufzeitkamera
DE112018004287T5 (de) Bildsensor und Bildaufnahmegerät
DE112019000510T5 (de) Laufzeit-bildsensor mit abstandsbestimmung
DE69933984T2 (de) Mehrkanaliges, paralleles, aufeinander abgestimmtes Digital-Analog-Wandlungsverfahren und Wandler, und damit versehene analoge Treiberschaltung
DE112021003310T5 (de) Abbildungsvorrichtung
DE112018001060T5 (de) Ein systolisches Prozessorsystem für ein System zur Lichtlaufzeitmessung
DE112019001793T5 (de) 158festkörper-bildgebungsvorrichtung
DE212017000155U1 (de) CMOS-Bildsensoren mit reduziertem Leistungsverbrauch
DE102019113278A1 (de) Bildsensoren mit ladungsüberlauffähigkeiten
DE102006014632A1 (de) Bildabtastvorrichtung
DE112016004361T5 (de) Halbleiter-bildsensor und elektronische vorrichtung
DE112018003502T5 (de) Bildgeber mit niedriger leistungsaufnahme und niedriger datenrate

Legal Events

Date Code Title Description
R012 Request for examination validly filed