DE102013111021A1

DE102013111021A1 - Tiefensensor, Bilderfassungsverfahren und Tiefensensor verwendendes Bildverarbeitungssystem

Info

Publication number: DE102013111021A1
Application number: DE102013111021.5A
Authority: DE
Inventors: Kyung Il Kim; Dong Wook Kwon; Min Ho Kim; Gi Sang Lee; Sang Bo Lee; Jin Kyung Lee; Young Gu Jin; Jin Wuk Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-10-12
Filing date: 2013-10-04
Publication date: 2014-04-17
Also published as: KR20140047271A; US20140104391A1; US10171790B2; KR101977711B1; CN103731611A; US9621868B2; CN103731611B; US20170180698A1

Abstract

Ein Bilderfassungsverfahren, das von einem Tiefensensor (10) ausgeführt wird, weist ein Emittieren eines erstes Quellensignals (EL') mit einer ersten Amplitude zu einem Motiv und danach ein Emittieren eines zweiten Quellensignals (EL'') mit einer sich von der ersten Amplitude unterscheidenden zweiten Amplitude zu einem Motiv (40), ein Aufnehmen eines ersten Bildes als Antwort auf das erste Quellensignal (EL') und ein Aufnehmen eines zweiten Bildes als Antwort auf das zweite Quellensignal (EL'') und ein Interpolieren der ersten und zweiten Bilder, um einen Endbild zu erzeugen, auf.

Description

QUERVERWEIS AUF RELEVANTE ANMELDUNGEN
Es wird die Priorität der am 12. Oktober 2012 eingereichten Koreanischen Patentanmeldung Nr. 10-2012-0113259 beansprucht, deren Gegenstand hiermit durch Bezugnahme mit aufgenommen wird.
HINTERGRUND
Die erfinderische Idee bezieht sich allgemein auf Sensoren und Verfahren zum Betreiben von Sensoren. Insbesondere bezieht sich die erfinderische Idee auf Tiefen-Informationsberechnungen, Tiefensensoren, die ein Time-Of-Flight-Prinzip(TOF)-Prinzip verwenden, Bilderfassungsverfahren, die einen Tiefensensor verwenden, und Bildverarbeitungssysteme mit einem Tiefensensor.
Ein „Sensor” ist eine Vorrichtung, die den Zustand eines Objekts erfasst und ein Erfassungsergebnis in ein entsprechendes elektrisches Signale umwandelt. Bestimmte Sensoren sind auch in der Lage, das entsprechende elektrische Signal an eine Vielzahl von externen Schaltungen zu übertragen.
Sensoren beinhalten Lichtsensoren, Temperatursensoren, Drucksensoren, Magnetsensoren und sogenannte Tiefensensoren (oder Entfernungssensoren). Der Begriff „Tiefensensor” wird verwendet, um eine Sensorgruppe zu bezeichnen, die – bei einer Bauart – den Ort (oder den relativen Ort) des Objekts erfasst. Sensoren können verwendet werden, um den Zustand eines Objekts in Bezug auf einen bestimmten Bereich von elektromagnetischen Signalen wie zum Beispiel Mikrowellensignale, sichtbare Lichtsignale, Infrarotsignale, Ultraschallsignale, etc. zu erfassen. Bei bestimmten Anwendungen wird ein Sensor an eine „Quelle” angeschlossen, die ein „Quellensignal” oder ein Übertragungssignal zu einem Objekt überträgt (oder emittiert). Das Objekt kann sodann einen Bereich des Quellensignals reflektieren und der reflektierte Bereich des Quellensignals wird durch einen Tiefensensor erfasst.
Auf diese Weise kann ein Tiefensensor eine Tiefe (oder einen Bereich, oder eine Entfernung) zwischen dem Objekt und dem Sensor, der ein TOF-Messverfahren verwendet, messen. D. h., dass der Tiefensensor verwendet werden kann, um eine erste Verzögerungszeit zwischen dem Übertragen (oder Emittieren) des Quellensignals und einem Zurückkehren des reflektierten Bereiches des Quellensignals zu messen. In diesem Zusammenhang kann ein Bereich, der das Objekt umgibt, ein Bereich, der effektiv eine Übertragung des Quellensignals empfängt, und/oder ein Bereich, der effektiv durch den Sensor erfasst wird, als ”Motiv” bezeichnet werden.
Wenn ein Tiefensensor relativ weit entfernt von einem Motiv angeordnet ist, kann der Pegel des Quellensignals, der das Motiv erreicht, und/oder der Pegel des reflektierten Bereiches des Quellensignals, das zu dem Tiefensensor zurückkehrt, relativ klein sein.
Im Gegensatz dazu ist, wenn der Tiefensensor relativ nahe bei einem Motiv ist, kann der Pegel des reflektierten Bereiches des Quellensignals relativ groß sein, und dadurch ein gutes Signal-zu-Rausch-Verhältnis liefern. Unglücklicherweise enthalten viele Motive einige Objekte, die weit entfernt von dem Tiefensensor sind, und andere Objekte, die nahe bei dem Tiefensensor sind. Oft ist es auch schwierig, Bilder von einer komplexen Mischung von Signalen, die sowohl von nahen als auch weit entfernten Objekten oder Motivbereichen reflektiert werden, aufzunehmen. Dementsprechend gibt es eine Nachfrage nach Verfahren, die die Gesamtgenauigkeit einer Tiefeninformation, die durch Tiefensensoren geliefert wird, erhöht, insbesondere, als sich eine Tiefeninformation auf Motive bezieht, die viele Objekte aufweisen, die nahe bei und weit entfernt von dem Tiefensensor räumlich angebracht sind.
KURZFASSUNG
Gemäß einem Aspekt der erfinderischen Idee ist ein Bilderfassungsverfahren vorgesehen, das durch einen Tiefensensor durchgeführt wird, wobei das Verfahren ein aufeinanderfolgendes Emittieren von Quellensignalen mit unterschiedlichen Amplituden zu einem Motiv; und Aufnehmen von Bildern entsprechend der Quellensignale, die aufeinanderfolgend von dem Motiv reflektiert werden, aufweist.
Das Bilderfassungsverfahren kann ferner ein Erzeugen eines Einzelbildes durch Interpolieren von Bildern aufweisen.
Ein Quellensignal mit einer kleinen Amplitude unter den Quellensignalen wird verwendet, um eine Stelle auf dem Motiv aufzunehmen, die nahe bei dem Tiefensensor ist. Ein Quellensignal mit einer großen Amplitude unter den Quellensignalen wird verwendet, um eine Stelle auf dem Motiv aufzunehmen, die weit entfernt von dem Tiefensensor ist.
Gemäß einem weiteren Aspekt der erfinderischen Idee ist ein Tiefensensor vorgesehen, der eine Lichtquelle, die Quellensignale mit unterschiedlichen Amplitude aufeinanderfolgend zu einem Motiv emittiert; einen Lichtquellen-Treiber, der die Lichtquelle aufeinanderfolgend steuert, sodass die Quellensignale unterschiedliche Amplituden aufweisen; und einen Tiefenpixel, das Pixelsignale mit unterschiedlichen Pixelwerten entsprechend von Quellensignalen, die aufeinanderfolgend durch das Motiv reflektiert werden, aufweist.
Der Tiefensensor kann ferner einen Bildsignalprozessor aufweisen, der Bilder durch Verwenden der Pixelsignale mit den unterschiedlichen Pixelwerten erzeugt.
Der Bildsignalprozessor kann ein Einzelbild durch Interpolieren von Bildern erzeugen. Die Lichtquelle kann eine Infrarotdiode oder eine Laserdiode sein.
Gemäß einem weiteren Aspekt der erfinderischen Idee ist ein Bildverarbeitungssystem vorgesehen, das den Tiefensensor und einen Prozessor aufweist, der Pixelsignale verarbeitet, die durch den Tiefensensor ausgegeben werden.
Das Bildverarbeitungssystem kann eine tragbare Vorrichtung sein. Das Bildverarbeitungssystem kann ein Smart-TV, eine Handheld-Spielekonsole oder eine Sicherheitskamera sein.
KURZBESCHREIBUNG DER FIGUREN
1 ist ein Blockdiagramm eines Tiefensensors gemäß einer Ausführungsform der erfinderischen Idee;
2 ist eine Draufsicht eines 1-Tap-Tiefenpixels, der in dem Array von 1 enthalten sein kann;
3 ist eine Schnittansicht, die durch Schneiden des 1-Tap-Tiefenpixels von 2 entlang einer Linie I-I' erhalten wird;
4 ist ein Zeitablaufdiagramm, das Signale veranschaulicht, die für den Betrieb des Tiefensensors von 1 relevant sind;
5 ist ein Blockdiagramm eines Tiefensensors gemäß einer weiteren Ausführungsform der erfinderischen Idee;
6 ist eine Draufsicht eines 2-Tap-Tiefenpixels, der in dem Array von 5 enthalten sein kann;
7 ist eine Schnittansicht, die durch Schneiden des 2-Tap-Tiefenpixels von 6 entlang einer Linie I-I' erhalten wird;
8 ist ein Zeitablaufdiagramm, das Signale veranschaulicht, die für den Betrieb des Tiefensensors von 5 relevant sind;
9 ist ein konzeptionelles Diagramm, das ein Bilderfassungsverfahren veranschaulicht, das durch einen Tiefensensor gemäß einer Ausführungsform der erfinderische Idee durchgeführt wird;
10 ist ein Ablaufdiagramm, das ein mögliches Bilderfassungsverfahren zusammenfasst, dass durch einen Tiefensensor gemäß einer Ausführungsform der erfinderischen Idee durchgeführt werden kann;
11 veranschaulicht ein mögliches Beispiel eines Einheitspixelarrays für einen dreidimensionalen Bildsensor (3D-Sensor), der bei bestimmten Ausführungsformen der erfinderischen Idee verwendet werden kann;
12 veranschaulicht ein weiteres mögliches Beispiel eines Einheitspixelarrays für einen 3D-Bildsensor, der in bestimmten Ausführungsformen der erfinderischen Idee verwendet werden kann;
13 ist ein Blockdiagramm eines 3D-Bildsensors gemäß einer Ausführungsform der erfinderischen Idee;
14 ist ein Blockdiagramm eines Bildverarbeitungssystems, dass den 3D-Bildsensor von 13 aufweisen kann;
15 ist ein Blockdiagramm eines Bildverarbeitungssystems, dass einen Farbbildsensor und einen Tiefensensor gemäß einer Ausführungsform der erfinderischen Idee aufweisen kann;
16 ist ein Blockdiagramm eines Bildverarbeitungssystem; und
17 ist ein Blockdiagramm eines Bildverarbeitungssystems, das einen Tiefensensor gemäß einer Ausführungsform der erfinderischen Idee aufweisen kann.
DETAILLIERTE BESCHREIBUNG
Wie bereits oben erwähnt ist die 1 (1) ein Blockdiagramm eines Tiefensensors 10 gemäß einer Ausführungsform der erfinderischen Idee. Die 2 ist eine Draufsicht eines 1-Tap-Tiefenpixels 23, der in einem Array 22 von der 1 enthalten sein kann. Die 3 ist eine Schnittansicht, die durch Schneiden des 1-Tap-Tiefenpixels 23 von der 2 entlang einer Linie I-I' erhalten wird und die 4 ist ein Zeitablaufdiagramm, das Signale veranschaulicht, die für den Betrieb des Tiefensensors 10 von der 1 relevant sind.
In Bezug auf die 1, 2, 3 und 4 ist der Tiefensensor 10 insgesamt in der Lage, eine Entfernung oder eine Tiefe unter Verwenden eines Time-Of-Flight-Prinzips (TOF-Prinzips) zu messen. Der Tiefensensor 10 weist eine Lichtquelle 32, ein Linsenmodul 34 und einen Halbleiterchip 20 auf, der das Array 22 aufweist. Es wird angenommen, dass das Array 22 eine Mehrzahl von 1-Tap-Tiefenpixel (Detektoren oder Sensoren) 23 aufweist.
Die 1-Tap-Tiefenpixel 23 sind in einer zweidimensionalen Matrix angeordnet, um das Array 22 zu bilden. Jedes 1-Tab-Tiefenpixel weist ein Fotogate 110 und eine Mehrzahl von Transistoren zum Signalverarbeiten auf.
Ein Zeilendecoder 24 kann verwendet werden, um eine von einer Mehrzahl von Zeilen als Antwort auf eine Zeilenadresse auszuwählen, die durch eine Zeitablauf-Steuereinheit (T/C) 26 geliefert wird. Jede „Zeile” ist eine bestimmte Anordnung von 1-Tap-Tiefenpixel in einer beliebig definierten Richtung (zum Beispiel einer X-Richtung) in dem Array 22.
Eine Fotogate-Steuereinheit (TG CON) 28 kann verwendet werden, um erste, zweite, dritte und vierte Fotogate-Steuersignale (Ga, Gb, Gc und Gd) zu erzeugen und, um dieselben dem Array 22 unter der Steuerung der Zeitablauf-Steuereinheit 26 zu liefern.
So wie in der 4 gezeigt ist, besteht eine 90°-Phasendifferenz zwischen den ersten und dritten Fotogate-Steuersignalen (Ga und Gc), eine 180°-Phasendifferenz besteht zwischen den ersten und zweiten Fotogate-Steuersignalen (Ga und Gb) und eine 270°-Phasendifferenz besteht zwischen den ersten und vierten Fotogate-Steuersignalen (Ga und Gd).
Ein Lichtquellentreiber 30 kann verwendet werden, um ein Taktsignal (MLS) zu erzeugen, das in der Lage ist, die Lichtquelle 32 unter der Steuerung der Zeitablauf-Steuereinheit 26 zu steuern.
Die Lichtquelle 32 emittiert ein moduliertes Quellensignal (EL) zu einem Motiv 40 als Antwort auf das Taktsignal. Das Motiv 40 kann allgemein ein Zielobjekt oder mehrere Zielobjekte aufweisen. Das modulierte Quellensignal kann unterschiedliche Amplituden entsprechende einem Steuern des Lichtquellentreibers 30 aufweisen. So wie in der 1 konzeptionell veranschaulicht ist, werden unterschiedliche Bereiche (und in Verbindung gesetzte Objekte) des Motivs 40 von dem Tiefensensor 10 durch unterschiedliche Entfernungen getrennt werden.
Die Lichtquelle 32 kann eine oder mehrere lichtemittierende Dioden (LED), eine organische lichtemittierende Diode (OLED), eine Aktive-Matrix-Organic-Lichtemittierende Diode (AMOLED) und eine Laserdiode sein. Das Taktsignal, das auf die Lichtquelle und/oder das modulierte Quellensignal, das durch die Lichtquelle 32 übertragen wird, aufgebracht wird, kann eine Sinuswelle oder eine Rechteckwelle aufweisen.
Der Lichtquellentreiber 30 liefert das Taktsignal und/oder Information, die von dem Taktsignal abgeleitet wird, zu der Fotogate-Steuereinheit 28. Die Fotogate-Steuereinheit 28 kann dementsprechend verwendet werden, um das erste Fotogate-Steuersignale Ga in Phase mit dem Taktsignal und das zweite Fotogate-Steuersignal Gb mit einem 180°-Phasenunterschied in Bezug auf das Taktsignal zu erzeugen. Die Fotogate-Steuereinheit 28 kann ebenso verwendet werden, um das dritte Fotogate-Steuersignal Gc mit einem 90°-Phasenunterschied in Bezug auf das Taktsignal und das vierte Fotogate-Steuersignal Gd mit einem 270°-Phasenunterschied in Bezug auf das Taktsignal zu erzeugen. Das bedeutet, dass in bestimmten Ausführungsformen der erfinderischen Idee die Fotogate-Steuereinheit 28 und der Lichtquellentreiber 30 synchron betrieben werden können.
Das Fotogate 110 kann aus transparentem Polysilizium gebildet sein. Bei bestimmten Ausführungsformen der erfinderischen Idee kann das Fotogate 110 aus Indium-Zinnoxid, zinndotiertem Indiumoxid (ITO), Indium-Zinkoxid (IZO) und/oder Zinkoxid (ZnO) gebildet sein. Das Fotogate 110 kann verwendet werden, um Nah-Infrarotwellenlängen, die über das Linsenmodul 34 empfangen werden, zu übertragen.
Das modulierte Quellensignal, das durch die Lichtquelle 32 geliefert wird, wird in unterschiedlichen Bereichen von einem Objekt/Objekten in dem Motiv 40 reflektiert werden. Es wird zum Zweck der Erläuterung angenommen, dass das Motiv 40 von der 1 jeweilige Objekte aufweist, die bei drei (3) grundsätzlichen Abständen Z1, Z2 und Z3 von dem Tiefensensor 10 (zum Beispiel der Lichtquelle 32 und/oder dem Array 22) angeordnet sind. Eine Entfernung „Z” zwischen dem Tiefensensor 10 und einem Objekt in dem Motiv 40 kann allgemein wie folgt berechnet werden.
Dort, wo angenommen wird, dass das modulierte Quellensignal eine Wellenform ”cosωt” aufweist und ferner angenommen wird, dass ein reflektierter Bereich des Quellensignals (im Folgenden „reflektiertes Signal”) (RL), das durch den 1-Tap-Tiefenpixel 23 empfangen wird, „cos(ωt + θ)” ist, wobei „θ” ein Phasenversatz oder Phasenunterschied ist, kann eine TOF-Berechnungen unter Verwenden von Gleichung 1 durchgeführt werden: θ = 2·ω·Z/C = 2·(2πf)·Z/C (Gleichung 1), wobei C die Lichtgeschwindigkeit ist.
Die Entfernung Z zwischen Tiefensensor 10 und einem Objekt in dem Motiv 40 kann sodann unter Verwenden der Gleichung 2 berechnet werden: Z = θ·C/(2·ω) = θ·C/(2·(2πf)) (Gleichung 2).
Das reflektierte Signal kann auf das Array 22 unter Verwenden des Linsenmoduls 34 fokussiert werden (oder derart eingestellt werden, dass es unter Verwenden des Linsenmoduls 34 auf das Array 22 einfällt). Das Linsenmodul 34 kann auf unterschiedliche Weise als eine Einheit mit einer oder mehreren Linsen und einem oder mehreren optischen Filtern (zum Beispiel einem Infrarot-Durchlassfilter) realisiert sein.
Bei bestimmten Ausführungsformen kann der Tiefensensor 10 eine Mehrzahl von Lichtquellen aufweisen, die in einer Struktur (zum Beispiel einem Kreis) um das Linsenmodul 34 angeordnet sind. Jedoch wird angenommen, dass die hier vorgestellten beschreibenden Ausführungsformen eine Einzellichtquelle 32 zur Vereinfachung der Erläuterung aufweisen.
Das reflektierte Signal, das zu dem Array 22 über das Linsenmodul 34 zurückgeführt wird, wird durch Durchführen einer N-fachen Samplingoperation (zum Beispiel einer 4-fachen Samplingoperation) demoduliert. Auf diese Weise kann eine sichere Samplingoperation ein gesampletes Pixelsignal (zum Beispiel Pixelsamples A0, A1, A2 und A3 von der 4) von einem reflektierten Signal erzeugen (oder erfassen). Die gesampleten Pixelsignale A0, A1, A2 oder A3 werden im Folgenden in einigen zusätzlichen Details beschrieben werden.
Ein durch die Gleichung 1 berechneter Phasenversatz θ zwischen dem modulierten Quellensignal (EL) und dem reflektierten Signal (RL) kann durch die Gleichung 3 ausgedrückt werden: θ = –arctan( A3–A1 / A2–A0) (Gleichung 3), wobei eine Amplitude ”A” des reflektierten Signals (RL) durch Gleichung 4 ausgedrückt werden kann:
Folglich kann eine Amplitude „A” des reflektierten Signals (RL) durch die Amplitude des modulierten Quellensignals (EL) in dem veranschaulichten Beispiel von den 1 und 4 bestimmt werden.
Sodann kann ein Offset ”B” für das reflektierte Signal (RL) durch Gleichung 5 ausgedrückt werden: B = A0+A1+A2+A3 / 4 (Gleichung 5).
In Bezug auf die 2, 3 und 4 wird ein Floating-Diffusionsbereich 114 in einem P-Typ-Substrat 100 gebildet. Der Floating-Diffusionsbereich 114 ist mit dem Gate eines Treibertransistors S/F verbunden. Der Treibertransistor S/F (nicht dargestellt) führt die Funktion eines Sourcefolgers durch. Der Floating-Diffusionsbereich 114 kann durch ein Dotieren mit N-Typ-Verunreinigungen gebildet werden.
Eine Siliziumoxidschicht wird auf dem P-Typ-Substrat 100 gebildet, das Fotogate 110 wird auf einer Siliziumsoxidschicht gebildet und ein Transfertransistor 112 wird ebenso auf der Siliziumoxidschicht gebildet. Das P-Typ-Substrat 100 kann ein P-dotiertes Epitaxialsubstrat sein.
Das erste Fotogate-Steuersignal (Ga) wird dem Fotogate 110 während eines Integrationsintervalls geliefert. Dies wird als Ladungsauswahloperation bezeichnet. Ein Transfersteuersignal (TX), das den Transfer von Fotoladungen steuert, die in einem Bereich des P-Typ-Substrats 100 unter dem Fotogate 110 zu dem Floating-Diffusionsbereich 114 erzeugt wird, wird einem Gate des Transfertransistors 112 geliefert. Dies wird als Ladungstransferoperation bezeichnet.
Gemäß bestimmten Ausführungsformen der erfinderischen Idee kann ein Überbrückungs-Diffusionsbereich 116 ferner in einem Bereich des P-Typ-Substrats 100 zwischen Bereichen des P-Typ-Substrats 100 unter dem Fotogate 110 und dem Transfertransistor 112 gebildet werden. Der Überbrückungs-Diffusionsbereich 116 kann mit N-Typ-Verunreinigungen dotiert werden. Die Fotoladung wird durch Quellensignale erzeugt, die in das P-Typ-Substrat 100 über das Fotogate 110 einfallen.
Wenn das Transfersteuersignal (TX) mit einem „Low”-Pegel (zum Beispiel 1.0 V) dem Gate des Transfertransistors 112 geliefert wird und das erste Fotogate-Steuersignal (Ga) mit einem „High”-Pegel (zum Beispiel 3.3 V) dem Fotogate 110 geliefert wird, wird eine Fotoladung, die in dem P-Typ-Substrat 100 erzeugt wird, in dem Bereich des P-Typ-Substrats 100 unter dem Fotogate 110 konzentriert und diese konzentrierte Fotoladung kann sodann zu dem Floating-Diffusionsbereich 114 (zum Beispiel, wenn der Überbrückungs-Diffusionsbereich 116 nicht gebildet ist) oder zu dem Floating-Diffusionsbereich 114 über dem Überbrückungs-Diffusionsbereich 116 (zum Beispiel, wenn der Überbrückungs-Diffusionsbereich 116 gebildet ist) übertragen werden.
Die 3 zeigt einen „VHA-Bereich”, bei dem ein Potential oder eine Fotoladung, die erzeugt wird, wenn ein erstes High-Fotogate-Steuersignal (Ga) der ersten Fotogate 110 geliefert wird, angehäuft wird.
Wenn ein Low-Transfersteuersignal (TX) dem Gate des Transfertransistors 112 und ein erstes Low-Fotogate-Steuersignal (Ga) dem Fotogate 110 geliefert wird, wird eine Fotoladung in dem Bereich des P-Typ-Substrats 100 unterhalb der Fotogate 110 erzeugt, jedoch wird die erzeugte Fotoladung nicht zu dem Floating-Diffusionsbereich 114 übertragen.
Eine Ladungs-Sammeloperation und eine Ladungs-Übertragungsoperation, wenn jedes der zweiten, dritten und vierten Fotogate-Steuersignale Gb, Gc und Gd dem Fotogate 110 geliefert wird, ähneln denen, wenn das erste Fotogate-Steuersignal Ga dem Fotogate 110 geliefert wird.
Obwohl der in der 3 veranschaulichte 1-Tap-Tiefenpixel 23 eine Mikrolinsen 150 aufweist, die auf dem Fotogate 110 installiert ist, kann der 1-Tab-Tiefenpixel 23 in einigen Fällen die Mikrolinsen 150 nicht aufweisen.
Der 1-Tab-Tiefensensor 23 häuft Fotoladung während einer definierten Zeitspanne zum Beispiel während einer Integrationszeit an und gibt entsprechende Pixelsignale A0, A1, A2 und A3 aus, die entsprechend einem Ergebnis dieser Anhäufung erzeugt werden. Ein Pixelsignal (A_k), das durch jedes der 1-Tab-Tiefenpixel 23 erzeugt wird, kann durch die Gleichung 6 ausgedrückt werden:
Wenn das erste Fotogate-Steuersignal (Ga) zu dem Fotogate 110 des 1-Tab-Tiefenpixels 23 eingegeben wird, hat „k” in Gleichung 6 einen Wert von „0”. Wenn das dritte Fotogate-Steuersignal (Gc) zu dem Fotogate 110 des 1-Tab-Tiefenpixels 23 eingegeben wird, wird „k” einen Wert von „1” haben. Wenn das zweite Fotogate-Steuersignal (Gb) zu dem Fotogate 110 des 1-Tab-Tiefenpixels 23 eingegeben wird, wird „k” in Gleichung 6 einen Wert von „2” haben und, wenn ein Phasenunterschied des vierten Fotogate-Steuersignals (Gd) in Bezug auf das Taktsignal MLS 270° beträgt, wird „k” in Gleichung 6 einen Wert von „3” haben.
Folglich gibt in Gleichung 6 der Begriff „a_k,n” eine Menge von Fotoladung an, die durch den 1-Tab-Tiefensensor 23 erzeugt wird, wenn ein N-tes Gatesignal mit einem Phasenunterschied entsprechend der Variable „k” angewendet wird und der natürliche Zahlenwert von N ist gleich (fm·Tint), wobei „fm” die Frequenz eines modulierten Steuersignals (EL) ist und „Tint” eine Integrationszeitspanne angibt.
In Bezug auf die 1 führt unter der Steuerung der Zeitablauf-Steuereinheit 26 eine Digitalschaltung wie zum Beispiel (z. B.) eine korrelierte Doppelabtastung(CDS)/Analog/Digital-Umwandlungs-(ADC)-Schaltung eine CDS-Operation und eine ADC-Operation in Bezug auf die Pixelsignale A0, A1, A2 und A3 aus, die durch den 1-Tab-Tiefenpixel 23 geliefert werden, um digitale Pixelausgabesignale zu erzeugen und zu liefern. Der in der 1 veranschaulichte Tiefensensor 10 kann ferner aktive Ladungsschaltungen (nicht dargestellt) zum Übertragen von Pixelsignalen, die über eine Mehrzahl von Spaltenleitungen in dem Array 22 realisiert sind, zu der CDS/ADC-Schaltung 36 aufweisen. Ein Speicher 38 kann als ein Puffer gewendet werden, der digitale Pixelsignale empfängt und speichert, die durch die CDS/ADC-Schaltung 36 geliefert werden.
Gemäß einer in den 1, 2 und 3 veranschaulichten Ausführungsform kann der Tiefensensor 10 ferner einen Bildsignalprozessor (ISP) 39 aufweisen. Der ISP 39 kann verwendet werden, um Entfernungsinformation oder Tiefeninformation zu berechnen, die von den Pixelsignalen A0, A1, A2 und A3 abgeleitet werden, die in den Speicher 38 gespeichert sind.
Die 5 ist ein Blockdiagramm eines Tiefensensors 10' gemäß einer weiteren Ausführungsform der erfinderischen Idee. Die 6 ist eine Draufsicht eines 2-Typ-Tiefensensors 23-1, der in dem Array 22 von der 5 enthalten sein kann. Die 7 ist eine Schnittansicht, die durch Schneiden des 2-Tab-Tiefenpixels 23-1 der 6 entlang einer Linie I-I' erhalten wird und die 8 ist ein Zeitablaufdiagramm, das Signale veranschaulicht, die für den Betrieb des Tiefensensors 10' von 5 relevant sind.
In Bezug auf die 5 kann angenommen werden, dass der Tiefensensor 10' strukturell ähnlich zu dem Tiefensensor 10 der 1 ist, ausgenommen von der Bereitstellung eines 2-Tab-Tiefenpixels 23-1 in dem Array 22 anstelle des 1-Tab-Tiefensensors 23. Folglich wird eine wiederholende Beschreibung weggelassen.
So wie zuvor ist der Tiefensensor 23-1 der 5, 6 und 7 in der Lage, eine Entfernung oder eine Tiefe unter Verwenden eines TOF-Prinzips zu messen.
Jedes der 2-Tab-Tiefenpixel 23-1 kann zweidimensional in dem Array 22 realisiert sein, wobei es eine erste Fotogate 110 und eine zweite Fotogate 120 aufweist. Jedes der 2-Tab-Tiefenpixel 23-1 weist ebenso eine Mehrzahl von Transistoren zum Signalverarbeiten auf.
Da sich der Tiefensensor 10' von der 7 und der Tiefensensor 10 von der 1 nur in Bezug auf die 2-Typ-Tiefensensoren 23-1 und die 1-Tab-Tiefensensoren 23 unterscheiden, sind die Funktionen und Operationen von Komponenten und Signalen, die in der 7 angegeben sind, die gleichen und analogen Funktionen und Operationen, die zuvor beschrieben wurden, wenn es nicht anders angemerkt ist.
Während eines ersten Integrationsintervalls wird das erste Fotogate-Steuersignal (Ga) dem ersten Fotogate 110 geliefert und das zweite Fotogate-Steuersignal (Gb) dem zweiten Fotogate 120 geliefert. Während einem zweiten Integrationsintervall wird das dritte Fotogate-Steuersignal (Gc) dem ersten Fotogate 110 geliefert und das vierte Fotogate-Steuersignal (Gd) wird dem zweiten Fotogate 120 geliefert.
In Bezug nun auf die 5, 6 und 7 werden ein erster Floating-Diffusionsbereich 114 und ein zweiter Floating-Diffusionsbereich 124 in einem P-Typ-Substrat 100 gebildet.
Der erste Floating-Diffusionsbereich 114 ist mit dem Gate des ersten Treibertransistors S/F_A (nicht dargestellt) verbunden und der zweite Floating-Diffusionsbereich 124 ist mit dem Gate eines zweiten Treibertransistors S/F_B (nicht dargestellt) verbunden. Jeder der ersten und zweiten Treibertransistoren S/F_A und S/F_B kann die Funktion eines Sourcefolgers durchführen. Jeder der ersten und zweiten Floating-Diffusionsbereiche 114 und 124 kann mit N-Typ-Verunreinigungen dotiert sein.
Eine Siliziumoxidschicht wird auf das P-Typ-Substrat 100 gebildet und die ersten und zweiten Fotogates 110 und 120 werden auf der Siliziumoxidschicht gebildet und erste und zweite Transfertransistoren 112 und 122 werden ebenso auf der Siliziumoxidschicht gebildet. Ein Isolationsbereich 130, der verhindert, dass eine Fotoladung, die in dem P-Typ-Substrat 100 durch das erste Fotogate 110 erzeugt wird, eine Fotoladung beeinträchtigt, die in dem P-Typ-Substrat 100 durch die zweite Fotogate 120 erzeugt wird, kann in dem P-Typ-Substrat 100 gebildet werden.
Das P-Typ-Substrat 100 kann ein P-dotiertes Epitaxialsubstrat sein und der Isolationsbereich 130 kann ein P+-dotierter Bereiche sein. Gemäß bestimmten Ausführungsformen der erfinderischen Idee kann der Isolationsbereich 130 durch eine Isolation flacher Gräben (STI) oder einer örtlichen Oxidation von Silizium (LOCOS) gebildet werden.
Während eines ersten Integrationsintervalls wird das erste Fotogate-Steuersignal (Ga) der ersten Fotogate 110 geliefert und das zweite Fotogate-Steuersignal (Gb) wird der zweiten Fotogate 120 geliefert. Ein erstes Transfersteuersignal (TX_A), das den Transfer von Fotoladung, die in einem Bereich des P-Typ-Substrats 100 unter der ersten Fotogate 110 zu dem ersten Floating-Diffusionsbereich 114 erzeugt wird, wird dem Gate des ersten Transfertransistors 112 zugeführt. Ein zweites Transfersteuersignal (TX_B), das den Transfer der Fotoladung, die in einem Bereich des P-Typ-Substrats 100 unter dem zweiten Fotogate 120 erzeugt wird, zu dem zweiten Floating-Diffusionsbereich 124 steuert, wird einem Gate des zweiten Transfertransistors 122 geliefert.
Gemäß der in der 7 veranschaulichten Ausführungsform kann ein erster Überbrückungs-Diffusionsbereich 110 in einem Bereich des P-Typ-Substrats 100 zwischen Bereichen des P-Typ-Substrats 100 unter der ersten Fotogate 110 und dem ersten Transfertransistor 112 gebildet werden. Ein zweiter Überbrückungs-Diffusionsbereich 126 kann in einem Bereich des P-Typ-Substrats 100 zwischen Bereichen des P-Typ-Substrats 100 unter dem zweiten Fotogate 120 und dem zweiten Transfertransistor 122 gebildet werden. Jeder der ersten und zweiten Floating-Diffusionsbereiche 116 und 126 kann mit N-Typ-Verunreinigungen dotiert sein.
Die Fotoladung wird durch Quellensignale erzeugt, die mit dem P-Typ-Substrat 100 über jedes der ersten und zweiten Fotogates 110 und 120 einfallen.
Wenn ein erstes Low-Transfersteuersignal (TX_A) dem Gate des ersten Transfertransistors 112 geliefert wird und ein erstes High-Foto-Steuersignal (Ga) dem ersten Fotogate 110 geliefert wird, wird eine Fotoladung, die in dem P-Typ-Substrat 100 erzeugt wird, in dem Bereich des P-Typ-Substrats 100 unter der ersten Fotogate 110 konzentriert und die konzentrierte Fotoladung wird zu dem ersten Floating-Diffusionsbereich 114 (zum Beispiel wenn der erste Überbrückungs-Diffusionsbereich 116 nicht gebildet ist) oder zu dem ersten Floating-Diffusionsbereich 114 über dem ersten Überbrückungs-Diffusionsbereich 116 (zum Beispiel, wenn der erste Überbrückungs-Diffusionsbereich 116 gebildet ist) übertragen.
Gleichzeitig wird, wenn ein zweites Low-Transfersteuersignal (TX_B) dem Gates des zweiten Transfertransistors 122 geliefert wird und ein zweites Low-Fotogate-Steuersignal (Gb) dem zweiten Fotogate 120 geliefert wird, wird eine Fotoladung in dem Bereich des P-Typ-Substrats 100 unter der zweiten Fotogate 120 erzeugt, jedoch wird die erzeugte Fotoladung nicht zu dem zweiten Flaoting-Diffusionsbereich 124 übertragen. Diese Operation wird als ein Ladungs-Sammeloperation bezeichnet.
In der 7 häuft der VHA-Bereich Ladung an, die erzeugt wird, wenn ein erstes High-Fotogate-Steuersignal (Ga) dem ersten Fotogate 110 geliefert wird und der VLB-Bereich häuft eine Ladung an, die erzeugt wird, wenn ein zweites Low-Fotogate-Steuersignal Gb der zweiten Fotogate 120 geliefert wird.
Wenn ein erstes Low-Transfersteuersignal (TX_A) dem Gate des ersten Transfertransistors 112 geliefert wird und ein erstes Low-Fotogate-Steuersignal (Ga) dem ersten Fotogate 110 geliefert wird, wird eine Fotoladung in dem Bereich des P-Typ-Substrats 100 unter den ersten Fotogate 110 erzeugt, jedoch wird die erzeugte Fotoladung nicht zu dem ersten Floating-Diffusionsbereich 114 übertragen.
Gleichzeitig wird, wenn ein zweites Transfersteuersignal (TX_B) dem Gate des zweiten Transfertransistors 122 geliefert wird und ein zweites High-Fotogate-Steuersignal (Gb) dem zweiten Fotogate 120 geliefert wird, eine Fotoladung, die in dem P-Typ-Substrat 100 erzeugt wird in dem Bereich des P-Typ-Substrats 100 unter den zweiten Fotogate 120 konzentriert und die konzentrierte Ladung wird zu dem zweiten Floating-Diffusionsbereich 124 (zum Beispiel, wenn der zweite Überbrückungs-Diffusionbereich 126 nicht gebildet ist) oder zu dem zweiten Floating-Diffusionsbereich 124 über den zweiten Überbrückungs-Diffusionsbereich 126 (zum Beispiel, wenn der zweite Überbrückungs-Diffusionsbereich 126 gebildet ist) übertragen. Diese Operation wird als eine Ladungs-Transferoperation bezeichnet.
In der 7 häuft der VHB-Bereich eine Ladung an, die erzeugt wird, wenn ein zweites High-Fotogate-Steuersignal (Gb) dem zweiten Fotogate 120 geliefert wird und der VLA-Bereich häuft Ladung an, die erzeugt werden, wenn ein erstes Low-Fotogate-Steuersignal (Ga) dem ersten-Fotogate 110 geliefert wird.
Eine Ladungs-Sammeloperation und eine Ladungs-Transferoperation, die durchgeführt werden, wenn das dritte Fotogate-Steuersignal (Gc) dem ersten Fotogate 110 geliefert wird, sind ähnlich zu denen, die durchgeführt werden, wenn das erste Fotogate-Steuersignal (Ga) dem ersten Fotogate 110 geliefert wird. Und eine Ladungs-Sammeloperation und eine Ladungs-Transferoperation, die durchgeführt werden, wenn das vierte Fotogate-Steuersignal (Gd) dem zweiten Fotogate 120 geliefert wird, sind ähnlich zu denen, die durchgeführt werden, wenn das zweite Fotogate-Steuersignal (Gb) dem zweiten Fotogate 120 geliefert wird.
Die 9 ist ein Diagramm, das ein Bilderfassungsverfahren veranschaulicht, dass durch den Tiefensensor 10 von der 1 durchgeführt werden kann (oder analog durch den Tiefensensor 10' von der 5).
In Bezug auf die 1, 4, 5, 8 und 9 emittiert der Tiefensensor 10 ein erstes moduliertes Quellensignal (EL') mit einer ersten Amplitude zu einem Objekt in dem Motiv 40 als Antwort auf ein Taktsignal zu einer erste Zeit T1. Daraufhin wird ein erstes reflektiertes Signal RL' durch das Objekt in einem Motiv 40 zu dem Tiefensensor 10 zurückgeschickt. Eine erste Entfernungsinformation (oder Tiefeninformation), die eine erste Entfernung (oder eine erste Tiefe) zwischen dem Tiefensensor 10 und dem Motiv 40 angibt, wird entsprechend einem berechneten ersten Phasenversatz θ zwischen dem ersten modulierten Quellensignal EL' und dem ersten reflektierten Quellensignal RL' erzeugt.
Danach emittiert der Tiefensensor 10 ein zweites moduliertes Quellensignal EL'' mit einer zweiten Amplitude (die sich von der ersten Amplitude unterscheidet) zu dem Objekt in dem Motiv 40 als Antwort auf ein Taktsignal zu einer zweiten Zeit T2. Dementsprechend wird ein zweites reflektiertes Signal RL'' von dem Objekt des Motivs 40 zu dem Tiefensensor 10 zurückgeführt. Hierbei wird in dem veranschaulichten Beispiel der 9 angenommen, dass die zweite Amplitude größer als die erste Amplitude ist. Folglich entsprechen die Amplituden der reflektierten ersten und zweiten Quellensignale RL' und RL'' jeweils den ersten und zweiten Amplituden der ersten und zweiten modulierten Quellensignale EL' und EL''. Dementsprechend resultieren das zweite Quellensignal EL'' und das zweite reflektierte Signal RL'' in einer intensiveren Bildhelligkeit während einer anschließenden Anzeige eines Motivbildes als das erste modulierte Quellensignal EL' und das erste reflektierte Signal RL'. Anders ausgedrückt entspricht eine Amplitude einer Ähnlichkeit bei dem Anwendungsfall derart, dass je größer die Amplitude ist, desto intensiver (oder „heller”) wird die Helligkeit sein.
Das erste Quellensignal EL' mit einer ersten Amplitude kann verwendet werden, um einen „Nahpunkt” (zum Beispiel Z1) von dem Motiv 40 aufzunehmen, der relativ nahe bei dem Tiefensensor 10 ist. Währenddessen kann das zweite Quellensignal EL'' mit einer zweiten Amplitude verwendet werden, um einen „Fernpunkt” (zum Beispiel Z3) von dem Motiv 40 aufzunehmen, der relativ weit entfernt von dem Tiefensensor 10 ist.
Die Pixelsignale A0, A1, A2 und A3 mit unterschiedlichen Pixelwerten werden durch den Tiefenpixel 23 durch ein aufeinanderfolgendes Emittieren der ersten und zweiten Quellensignale EL' und EL'' mit unterschiedlichen Amplituden hin zu dem Motiv 40 erfasst. Die Pixelsignale A0, A1, A2 und A3, die jeweils einen ersten Pixelwert aufweisen, werden zum Beispiel durch vierfaches Durchführen einer Sampling-Operation auf das erste reflektierte Signal RL' erfasst, und Pixelsignale A0, A1, A2 und A3, die jeweils einen zweiten Pixelwert aufweisen, werden durch vierfaches Durchführen einer Sampling-Operation auf das zweite reflektierte Signal RL'' erfasst.
Der erste Pixelwert des ersten Pixelsignals A0, das durch das erste reflektierte Signal RL' erfasst wird, kann sich von dem zweiten Pixelwert des ersten Pixelsignals A0, dass durch das zweite reflektierte Signal RL'' erfasst wird, unterscheiden. Folglich erzeugt der ISP 39 ein „erstes Bild” unter Verwenden der Pixelsignale A0, A1, A2 und A3, die jeweils einen ersten Pixelwert aufweisen, und erzeugt ein ”zweites Bild” unter Verwenden der Pixelsignale A0, A1, A2 und A3, die jeweils einen zweiten Pixelwert aufweisen. Das erste Bild wird in Einklang mit dem ersten Quellensignal EL' mit der ersten Amplitude erzeugt, wobei das zweite Bild in Einklang mit dem zweiten Quellensignal EL'' mit der zweiten Amplitude erzeugt wird. Ein erster Punkt (oder ein erstes Objekt) in dem ersten Bild, der relativ weit entfernt von dem Tiefensensor 10 ist, kann zum Beispiel durch ein Rauschen verfälscht (oder fokussiert werden). Entsprechend erzeugt der ISP 39 sowohl erste als auch zweite Bilder und interpoliert sodann die ersten und zweiten Bilder, um ein Endbild zu erzeugen. Das Bild ist durch eine bedeutend verbesserte Qualität in Hinblick auf die ersten und zweiten Bilder charakterisiert. Anders ausgedrückt wird die Genauigkeit von Entfernungsinformation, die verwendet wird um das Bild zu erzeugen, verbessert.
Die 10 ist ein Ablaufdiagramm eines Bilderfassungsverfahren, das durch den Tiefensensor gemäß der erfinderischen Idee durchgeführt wird.
In Bezug auf die 1, 4, 5, 8, 9 und 10 emittiert die Lichtquelle 32 aufeinanderfolgend die ersten und zweiten modulierten Quellensignale EL' und EL'', wobei jedes eine unterschiedliche Amplitude aufweist, zu dem Motiv 40 (S10). Der Lichtquellentreiber 30 kann die Lichtquelle 32 steuern, um aufeinanderfolgend die ersten und zweiten moduliert Quellensignale EL' und EL'' zu emittieren.
Der ISP 39 kann sodann verwendet werden, um erste und zweite Bilder jeweils entsprechend den ersten und zweiten reflektierten Signale RL' und RL'', die von dem Motiv 40 (S20) reflektiert werden, aufzunehmen. Dies bedeutet, dass der Tiefensensor 23 erste und zweite Pixelsignale mit unterschiedlichen Pixelwerten in Einklang mit den ersten und zweiten reflektierten Signalen RL' und RL'' erfasst. Der ISP 39 erfasst erste und zweite Bilder unter Verwenden der ersten und zweiten Pixelsignale.
Sodann kann der ISP 39 verwendet werden, um ein Einzel-(End-)-bild durch Interpolieren der ersten und zweiten Bilder (S30) zu erzeugen.
Die 11 veranschaulicht ein Einheitspixelarray 522-1 eines dreidimensionalen Bildsensors (3D-Sensors) gemäß einem Beispiel. In Bezug auf die 11 bildet das Einheitspixelarray 522-1 einen Teil eines Pixelarrays 522 von der 13 und kann einen roten Pixel R, eine grüne Pixel G, einen blauen Pixel B und einen Tiefenpixel D aufweisen. Der Tiefenpixel D kann der Tiefenpixel 23 mit einer 1-Tab-Pixelstruktur so wie in der 1 veranschaulicht oder der Tiefenpixel 23-1 mit einer 2-Tab-Pixelstruktur so wie in der 5 veranschaulicht sein. Das rote Pixel R, das grüne Pixel G und das blaue Pixel B können als RGB-Farbpixel bezeichnet werden.
Der rote Pixel R erzeugt ein rotes Pixelsignal entsprechend den Wellenlängen, die zu einem roten Bereich eines sichtbaren Lichtbereiches gehören, der grüne Pixel G erzeugt ein grünes Pixelsignal entsprechend den Wellenlängen, die zu einem grünen Bereich des sichtbaren Lichtbereiches gehören, und der blaue Pixel B erzeugt ein blaues Pixelsignal entsprechend den Wellenlängen, die zu einem blauen Bereich des sichtbaren Lichtbereiches gehören. Das Tiefenpixel D erzeugt ein Tiefenpixelsignal entsprechend den Wellenlängen, die zu einem Infrarotbereich gehören.
Die 12 veranschaulicht ein Einheitspixelarray 522-2 des 3D-Bildsensors gemäß einem weiteren Beispiel. In Bezug auf die 12 bildet das Einheitspixelarray 522-2 einen Teil des Pixelarrays 522 von der 13 und kann zwei rote Pixel R, zwei grüne Pixel G, zwei blaue Pixel B und zwei Tiefenpixel D aufweisen.
Die Einheitspixelarrays 522-1 und 522-2 der 11 und 12 werden beispielhalber veranschaulicht, eingestanden, dass ein Muster eines bestimmten Einheitspixelarrays und Pixel, die das Muster bilden, gemäß einer Ausführungsform variieren können. Zum Beispiel können die roten, grünen und blauen Pixel R, G und B der 12 jeweils durch Magenta-Pixel, Cyan-Pixel und Yellow-Pixel ersetzt werden. Ein Farbpixelarray mit den roten, grünen und blauen Pixel R, G und B kann von einem Array mit dem Tiefenpixel D getrennt sein.
Die 13 ist ein Blockdiagramm eines dreidimensionalen Bildsensors (3D-Bildsensors) 500 gemäß einer Ausführungsform der erfinderischen Idee. Der 3D-Bildsensor 500 stellt eine Vorrichtung dar, die in der Lage ist, eine 3D-Bildinformation durch Kombinieren einer Tiefenmessinformationsfunktion unter Verwenden des Tiefenpixels D, der in dem Einheitspixelarray 522-1 oder 522-2 von 11 oder 12 enthalten ist, mit einer Messfunktion jeder Farbinformation (zum Beispiel einer roten Farbinformation, einer grünen Farbinformation oder einer blauen Farbinformation) durch Verwenden der roten, grünen und blauen Pixel R, G und B, die in dem Einheitspixelarray 522-1 oder 22-2 enthalten sind, zu erhalten.
In Bezug auf die 13 weist der 3D-Bildsensor 500 einen Halbleiterchip 520, eine Lichtquelle 532 und ein Linsenmodul 534 auf. Der Halbleiterchip 520 weist das Pixelarray 522, einen Zeilendecoder 524, eine Zeitablauf-Steuereinheit 526, eine Fotogate-Steuereinheit 528, einen Lichtquellentreiber 530, eine CDS/ADC-Schaltung 536, einen Speicher 538 und einen ISP 539 auf.
Die Operationen und Funktionen des Zeilendecoders 524, der Zeitablauf-Steuereinheit 526, der Fotogate-Steuereinheit 528, des Lichtquelle-Treibers 530, der CDS/ADC-Schaltung 536, des Speichers 538 und des ISP 539 der 13 sind jeweils dieselben wie die des Zeilendecoders 24, der Zeitablauf-Steuereinheit 26, der Fotogate-Steuereinheit 28, des Lichtquellentreibers 30, der Lichtquelle 32, der CDS/ADC-Schaltung 36, des Speichers 38 und des ISP 39 von der 1 und folglich wird eine detaillierte Beschreibung davon weggelassen, wenn es nicht anderweitig besonders angegeben ist.
Gemäß einer Ausführungsform kann der 3D-Bildsensor 500 ferner einen Spaltendecoder (nicht dargestellt) aufweisen. Der Spaltendecoder kann Spaltenadressen, die durch die Zeitablauf-Steuereinheit 526 ausgegeben werden, kodieren, um Spaltenauswahlsignale auszugeben.
Der Zeilendecoder 524 kann Steuersignale zum Steuern eines Betriebes jedes Pixels, der in dem Pixelarray 522 enthalten ist, zum Beispiel Operationen der Pixel R, G, -B und D der 11 oder 12 erzeugen.
Das Pixelarray 522 weist das Einheitspixelarray 522-1 oder 522-2 der 11 oder 12 auf. Das Pixelarray 522 weist zum Beispiel eine Mehrzahl von Pixel auf. Die Pixel können eine Mischung von mindestens zwei von einem roten Pixel, einem grünen Pixel, einem blauen Pixel, einem Tiefenpixel, einem Magenta-Pixel, einem Cyan-Pixel und einem Yellow-Pixel sein. Die Pixel können auf Kreuzungspunkten einer Mehrzahl von Zeilenleitungen und einer Mehrzahl von Spaltenleitungen in einer Matrixform angeordnet sein. Gemäß einer Ausführungsform kann der 3D-Bildsensor 500 einen ISP 539 aufweisen.
Die 14 ist ein Blockdiagramm eines Bildverarbeitungssystems 600, das den 3D-Bildsensor 500 von der 13 umfassen kann. In Bezug auf die 14 kann das Bildverarbeitungssystems 600 den 3D-Bildsensor 500 und einen Prozessor 210 aufweisen.
Der Prozessor 210 kann einen Betrieb des 3D-Bildsensor 500 steuern. Der Prozessor 210 kann zum Beispiel ein Programm zum Steuern des Betriebes des 3D-Bildsensors 500 speichern. Entsprechend einer Ausführungsform kann der Prozessor 210 auf einen Speicher (nicht dargestellt) zugreifen, indem das Programm zu Steuern des Betriebes des 3D-Bildsensors 500 gespeichert ist, um das Programm, das in den Speicher gespeichert ist, auszuführen.
Der 3D-Bildsensor 500 kann 3D-Bildinformation basierend auf jedem digitalen Pixelsignal (zum Beispiel einer Farbinformation oder einer Tiefeninformation) unter der Steuerung des Prozessors 210 erzeugen. Die 3D-Bildinformation kann auf eine Anzeige (nicht dargestellt) angezeigt werden, die mit einer Schnittstelle (I/F) 230 verbunden ist. Die 3D-Bildinformation, die durch den 3D-Bildsensor 500 erzeugt wird, kann in einem Speicher 220 über einen Bus 201 unter der Steuerung des Prozessors 210 gespeichert werden. Der Speicher 220 kann unter Verwenden eines nichtflüchtigen Speichers realisiert sein.
Die I/F 230 kann unter Verwenden einer Schnittstelle zu Empfangen und Ausgeben von 3D-Bildinformation realisiert sein. Gemäß einer Ausführungsform kann die I/F 230 durch Verwenden einer Drahtlosschnittstelle realisiert sein.
Die 15 ist ein Blockdiagramm eines Bildverarbeitungssystem 700, das den Tiefensensor 10 der 1 oder den Tiefensensor 10' der 5 oder den Farbbildsensor 310 umfassen kann. In Bezug auf die 15 kann das Bildverarbeitungssystem 700 den Tiefensensor 10 oder 10', den Farbbildsensor 310, der RGB-Farbpixel aufweist, und einen Prozessor 210 aufweisen.
Obwohl der Tiefensensor 10 oder 10' physikalisch von dem Farbbildsensor 310 zum Zweck der Erläuterung in der 15 getrennt ist, können der Tiefensensor 10 oder 10' und der Farbbildsensor 310 sich physikalisch überlappende Signalverarbeitungsschaltungen aufweisen.
Der Farbbildsensor 310 kann einen Bildsensor umfassen, der keinen Tiefenpixel aufweist und ein Pixelarray mit einem roten Pixel, einem grünen Pixel und einem blauen Pixel aufweist.
Dementsprechend kann der Prozessor 210 3D-Bildinformation basierend auf Tiefeninformation, die durch den Tiefensensor 10 oder 10' vorausberechnet (oder berechnet) wird, und jeder Farbinformation (zum Beispiel mindestens eine von einer Rot-Information, einer Grün-Information, einer Blau-Information, einer Magenta-Information, einer Cyan-Information oder einer Yellow-Information), die durch den Farbbildsensor 310 ausgegeben wird, erzeugen und kann die 3D-Bildinformation auf einer Anzeige anzeigen. Die 3D-Bildinformation, die durch den Prozessor 210 erzeugt wird, kann in einem Speicher 220 über einen Bus 301 gespeichert werden.
Die 16 ist ein Blockdiagramm eines Bildverarbeitungssystems 800, das den Tiefensensor 10 der 1 oder den Tiefensensor 10' der 5 umfassen kann. In Bezug auf die 16 ist das Signalverarbeitungssystem 800 in der Lage, nur einem Einzel-Tiefen-(oder Entfernungs-)-Sensor zu dienen und weist den Tiefensensor 10 oder 10' und einen Prozessor 210 zum Steuern eines Betriebes des Tiefensensors 10 oder 10' auf.
Der Prozessor 210 kann eine Entfernungsinformation oder Tiefeninformation, die jeweils eine Entfernung oder eine Tiefe zwischen dem Signalverarbeitungssystem 800 und einem Gegenstand (oder einen Zielobjekt) repräsentiert, basierend auf Pixelsignalen, die durch den Tiefensensor 10 oder 10' ausgegeben werden, berechnen. In diesem Fall kann der Tiefensensor 10 oder 10' einen ISP 39 aufweisen. Die Entfernungsinformation oder die Tiefeninformation, die durch den Prozessor 210 gemessen wird, kann in einem Speicher 220 über einen Bus 401 gespeichert werden.
Eine I/F 410 kann zum Empfangen und Ausgeben von Tiefeninformation realisiert sein. Gemäß einer Ausführungsform kann die I/F 410 unter Verwenden einer Drahtlosschnittstelle realisiert sein.
Das Bildverarbeitungssystem 600, 700 oder 800 der 14, 15 oder 16 kann in einer 3D-Entfernungsvorrichtung, einem Spielecontroller, einer Tiefenkamera, einer tragbaren Vorrichtung oder einer Bewegungswahrnehmungsvorrichtung verwendet werden. Gemäß einer Ausführungsform kann das Bildverarbeitungssystem 600, 700 oder 800 der 14, 15 oder 16 unter Verwenden eines Mobiltelefons, eines Smartphone, eines Tablet-PC, eines persönlichen digitalen Assistenten (PDA), eines Enterprise-Digital-Assistent (EDA), einer Digitalbildkamera, einer digitalen Videokamera, eines tragbaren Multimediaspieler (PMP), einer persönlichen (oder tragbaren) Navigationsvorrichtung (PND), eines Smart-TV, einer Handheld-Spielekonsole, einer Sicherheitskamera oder eines e-Book realisiert sein.
Die 17 ist ein Blockdiagramm eines Bildverarbeitungssystems 1200, das einen Tiefensensor gemäß einer Ausführungsform der erfinderischen Idee umfassen kann. In Bezug auf die 17 kann das Bildverarbeitungssystem 1200 unter Verwenden einer Datenverarbeitungsvorrichtung realisiert sein, die in der Lage ist, eine mobile Industrie-Prozessorschnittstelle (MIPI^®) zu verwenden, zum Beispiel eine tragbare Vorrichtung wie zum Beispiel ein PDA, ein PMP, ein Mobiltelefon, ein Smarthone oder ein Tablet-PC.
Das Bildverarbeitungssystem 1200 weist einen Anwendungsprozessor 1210, einen Bildsensor 1220 und eine Anzeige 1230 auf.
Ein serieller Kamera-Interface-Host 1212 (CSI-Host), der in dem Anwendungsprozessor 1210 realisiert ist, kann mit einer CSI-Vorrichtung 1221 des Bildsensors 1220 über eine CSI seriell verbunden sein. Gemäß einer Ausführungsform kann ein Deserializer DES in dem CSI-Host 1212 realisiert sein und ein Serializer SER in der CSI-Vorrichtung 1221 realisiert sein. Der Bildsensor 1220 kann der Tiefensensor 10 der 1 oder der Tiefensensor 10' der 5 sein.
Ein serieller Anzeige-Schnittstellen-Host (DSI-Host) 1211, der in dem Anwendungsprozessor 1210 realisiert ist, kann mit einer DSI-Vorrichtung 1231 der Anzeige 1230 über eine DSI seriell verbunden sein. Gemäß einer Ausführungsform kann ein Serializer SER in dem DSI-Host 1231 realisiert sein.
Das Bildverarbeitungssystem 1200 kann ferner einen Radiofrequenz-Chip (RF-Chip) 1240 aufweisen, der in der Lage ist, mit dem Anwendungsprozessor 1210 in Verbindung zu stehen. Eine PHY (eine physikalische Schicht) 1213 des Anwendungsprozessors 1210 und eine PHY 1241 des RF-Chips 1240 können Daten zu und voneinander über MIPI DigRF übertragen und empfangen.
Das Bildverarbeitungssystem 1200 kann ferner ein globales Positionierungssystem (GPS) 1250, einen Speicher 1252 wie zum Beispiel einen dynamischen Direktzugriffspeicher (DRAM), eine Datenspeichervorrichtung 1254, die derart realisiert ist, dass sie einen nichtflüchtigen Speicher wie zum Beispiel einen NAND-Flashspeicher verwendet, ein Mikrofon (MIC) 1256, oder einen Lautsprecher 1258 aufweisen.
Das Bildverarbeitungssystem 1200 kann mit einer externen Vorrichtung unter Verwenden mindestens eines Kommunikationsprotokolls (oder eines Kommunikationsstandards) wie beispielsweise eines Ultra-Breitband (UWB) 1260, eines drahtlosen lokalen Netzwerkes (WLAN) 1262, eines Worldwide-Interoperability-For-Microwave-Access (WiMAX) 1264, einem Long-Term-Evolution (LTE^TM) (nicht dargestellt) in Verbindung stehen.
Bei einem Tiefensensor gemäß einer Ausführungsform der vorliegenden erfinderischen Idee und einem Bilderfassungsverfahren, das durch den Tiefensensor durchgeführt wird, können viele Quellensignale mit unterschiedlichen Amplituden jeweils aufeinanderfolgend zu einem Motiv emittiert werden und vorteilhaft derart verwendet werden, dass sie die Genauigkeit von Entfernungsinformation in einem Bild des Motivs erhöhen.
Während die erfinderische Idee insbesondere in Bezug auf beispielhafte Ausführungsformen davon gezeigt und beschrieben worden ist, ist es selbstverständlich, dass viele Änderungen in der Form und in Details darin gemacht werden können, ohne von dem Umfang der folgenden Ansprüche abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2012-0113259 [0001]

Claims

Bilderfassungsverfahren, das durch einen Tiefensensor (10) durchgeführt wird, wobei das Verfahren aufweist: Emittieren eines ersten Quellensignals (EL') mit einer ersten Amplitude zu einem Motiv (40) und danach Emittieren eines zweiten Quellensignals (EL'') mit einer sich von der ersten Amplitude unterscheidenden zweiten Amplitude zu einem Motiv (40); Aufnehmen eines ersten Bildes als Antwort auf das erste Quellensignal (EL') und Aufnehmen eines zweiten Bild als Antwort auf das zweite Quellensignal (EL''); und Interpolieren der ersten und zweiten Bilder, um ein Endbild zu erzeugen.
Bilderfassungsverfahren nach Anspruch 1, wobei ein erstes Objekt in dem ersten Bild relativ weit entfernt von dem Tiefensensor (10) verfälscht wird und ein zweites Objekt in dem zweiten Bild relativ nahe bei dem Tiefensensor (10) verfälscht wird.
Bilderfassungsverfahren nach Anspruch 2, wobei die erste Amplitude kleiner als die zweite Amplitude ist.
Bilderfassungsverfahren nach Anspruch 3, wobei ein Erfassen des ersten Bildes als Antwort auf das erste Quellensignal (EL') aufweist: Empfangen eines reflektierten Bereiches des ersten Quellensignals (EL') als ein erstes reflektiertes Signal (RL'), das auf ein Array (22) von Tiefenpixel (23) in dem Tiefensensor (10) einfällt; und Umwandeln des ersten reflektierten Signals (RL') in das erste Bild; und wobei ein Aufnehmen des zweiten Bildes als Antwort auf das zweite Quellensignal (EL'') aufweist: Empfangen eines reflektierten Bereiches des zweiten Quellensignals (EL'') als ein zweites reflektiertes Signal (RL''), das auf das Array (522) von Tiefenpixeln (23) in dem Tiefensensor (10) einfällt, nach einem Empfangen des ersten reflektierten Signals (RL''), das auf das Array (22) von Tiefenpixel (23) einfällt; und Umwandeln des zweiten reflektierten Signals (RL'') in das zweite Bild nach einem Umwandeln des ersten reflektierten Signals (RL') in das erste Bild.
Bilderfassungsverfahren nach Anspruch 4, wobei ein Empfangen des ersten reflektierten Signals (RL') ein Fokussieren des ersten reflektierten Signals (RL') durch ein Linsenmodul (34) aufweist, und ein Empfangen des zweiten reflektierten Signals (RL'') ein Fokussieren der zweiten reflektierten Signale (RL'') durch das Linsenmodul (34) nach einem Fokussieren des ersten reflektierten Signals (RL') durch das Linsenmodul (34) aufweist.
Bilderfassungsverfahren nach Anspruch 4, wobei jedes der Tiefenpixel (23) eines von einem 1-Tap-Tiefenpixel (23) oder von einem 2-Tap-Tiefenpixel (23-1) ist.
Bilderfassungsverfahren nach Anspruch 6, wobei der Tiefensensor (10) zu einem dreidimensionalen Bildsensor (500) mit mindestens einem von einem roten Pixel (R), einem grünen Pixel (G) und einem blauen Pixel (B), einem Magenta-Pixel, einem Cyan-Pixel und einem Yellow-Pixel gehört.
Bilderfassungsverfahren nach Anspruch 1, das ferner aufweist: Speichern von Bilddaten entsprechend des Endbildes; Übertragen der Bilddaten über eine Schnittstelle (230) an eine Anzeige (1230); und Erzeugen eines Anzeigebildes auf der Anzeige (1230) entsprechend der Bilddaten.
Tiefensensor, der aufweist: eine Lichtquelle (32), die ein erstes Quellensignal (EL') mit einer ersten Amplitude und ein zweites Quellensignal (EL'') mit einer sich von der ersten Amplitude unterscheidenden zweiten Amplitude zu einem Motiv (40) emittiert; und ein Tiefenpixel (23), der erste Pixelsignale (A0, A1, A2, A3) als Antwort auf einen reflektierten Bereich des ersten Quellensignals (EL') (erstes reflektiertes Signal (RL')) erzeugt, und dann zweite Pixelsignale (A0, A1, A2, A3) als Antwort auf einen reflektierten Bereich des zweiten Quellensignals (EL'') (zweites reflektiertes Signal (RL'')) erzeugt; und einen Bildsignalprozessor (39), der ein erstes Bild aus den ersten Pixelsignalen (A0, A1, A2, A3) erzeugt, ein zweites Bild aus den zweiten Pixelsignalen (A0, A1, A2, A3) erzeugt und die ersten und zweiten Bilder interpoliert, um ein Endbild zu erzeugen.
Tiefensensor nach Anspruch 9, wobei die Lichtquelle (32) eine Infrarotdiode oder eine Laserdiode ist.
Tiefensensor nach Anspruch 9, wobei ein erstes Objekt in dem ersten Bild relativ weit entfernt von dem Tiefensensor (10) verfälscht ist und ein zweites Objekt in dem zweiten Bild relativ nahe bei dem Tiefensensor (10) verfälscht ist.
Tiefensensor nach Anspruch 9, wobei die erste Amplitude kleiner als die zweite Amplitude ist.
Tiefensensor nach Anspruch 9, der ferner aufweist: ein Linsenmodul (34), das das erste reflektierte Signal (RL') und das zweite reflektierte Signal (RL'') auf das Tiefenpixel (23; 23-1) reflektiert; und eine korrelierte Doppel-Abtastungsschaltung (36), die mit einem Analog-Digital-Wandler arbeitet, um das erste reflektierte Signal (RL') in die ersten Pixelsignale (A0, A1, A2, A3) umzuwandeln und, um das zweite reflektierte Signal (RL'') in die zweiten Pixelsignale (A0, A1, A2, A3) umzuwandeln.
Tiefensensor nach Anspruch 9, wobei das Tiefenpixel (23) eines von einem 1-Tap-Tiefenpixel (23) oder einem 2-Tap-Tiefenpixel (23-1) ist.
Dreidimensionaler Sensor (3D-Sensor), der aufweist: eine Lichtquelle (32), die ein erstes Quellensignal (EL') mit einer ersten Amplitude und ein zweites Quellensignal (EL'') mit einer sich von der ersten Amplitude unterscheidenden zweiten Amplitude emittiert; mindestens eines von einem Farbpixel und einem Tiefenpixel (23), wobei das Tiefenpixel (23) derart konfiguriert ist, dass er erste Pixelsignale (A0, A1, A2, A3) als Antwort auf einen reflektierten Bereich des ersten Quellensignals (EL') (erstes reflektiertes Signal (RL')) erzeugt und zweite Pixelsignale (A0, A1, A2, A3) als Antwort auf einen reflektierten Bereich des zweiten Quellensignals (EL'') (zweites reflektiertes Signal (RL'')) erzeugt; und einen Bildsignalprozessor (39), der ein erstes Bild aus den ersten Pixelsignalen (A0, A1, A2, A3) erzeugt, ein zweites Bild aus den zweiten Pixelsignalen (A0, A1, A2, A3) erzeugt und das erste und das zweite Bild interpoliert, um ein Endbild zu erzeugen.
3D-Sensor nach Anspruch 15, wobei die Lichtquelle (32) eine Infrarotdiode oder eine Laserdiode ist.
3D-Sensor nach Anspruch 15, wobei ein erstes Objekt in dem ersten Bild relativ weit entfernt von dem Tiefensensor (10) verfälscht ist und ein zweites Objekt in dem zweiten Bild relativ nahe bei dem Tiefensensor (10) verfälscht ist.
3D-Sensor nach Anspruch 15, wobei die erste Amplitude kleiner als die zweite Amplitude ist.
3D-Sensor nach Anspruch 15, wobei das Tiefenpixel (23) eines von einem 1-Tap-Tiefenpixel (23) oder einem 2-Tap-Tiefenpixel (23-1) ist.
3D-Sensor nach Anspruch 15, wobei der mindestens eine Farbpixel entweder einen ersten Satz von Farbpixeln mit einem roten Pixel (R), einem grünen Pixel (G) und einem blauen Pixel (B) oder einen zweiten Satz von Farbpixeln mit einem Magenta-Pixel, einem Cyan-Pixel und einem Yellow-Pixel aufweist.