DE102013208805A1 - Lichtlaufzeitsensor mit Zwischenspeicher - Google Patents

Abstract

Lichtlaufzeitsensor und Verfahren zum Betreiben eines solchen, bei dem für eine Entfernungsbestimmung eine Sequenz von mindestens zwei Aufnahmeframes mit unterschiedlichen Phasenlagen durchgeführt wird, wobei in einem Pixelblock-Betrieb, in dem mindestens zwei Lichtlaufzeitpixel (23) zu einem Pixelblock (PB) zusammengefasst werden, in mindestens einem Aufnahmeframe laufzeitrelevante Signale des Pixelblocks in einer diesem Aufnahmeframe zugeordneten Ausleseschaltung (400.1–.3) zwischengespeichert und am Ende der Sequenz ausgelesen werden.

Description

• Die Erfindung betrifft einen Lichtlaufzeitsensor, insbesondere einem PMD-Sensor, mit zuschaltbarer Hintergrundlichtunterdrückung nach Gattung des unabhängigen Anspruchs.
• Mit Lichtlaufzeitsensor oder allgemein Lichtlaufzeitkamerasystem sollen nicht nur Systeme umfasst sein, die Entfernungen direkt aus der Lichtlaufzeit ermitteln, sondern insbesondere auch alle Lichtlaufzeit bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma 'ifm electronic GmbH’ oder 'PMD-Technologies GmbH' als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. Insbesondere sollen unter Lichtlaufzeitkamerasystem auch Systeme mit umfasst sein, bei dem der Lichtlaufzeitsensor nur ein Pixel oder eine geringe Anzahl von Pixeln aufweist.
• Für die Bestimmung einer Entfernung bzw. einer entsprechenden Phasenverschiebung des reflektierten Lichts wird, wie in der DE 197 04 496 ausführlich beschrieben, im PMD-Sensor das reflektierte Licht mit dem modulierenden Signal gemischt. Diese Mischung liefert ein in Phase liegendes Signal (0°) und ein um 180° versetztes Signal, aus dem in bekannter Weise eine Entfernung bestimmt werden kann. Zur Verbesserung der Qualität der Entfernungsmessung kann es vorgesehen sein, die Sendemodulation gezielt beispielsweise um 90°, 180° oder 270° zu verschieben und vorzugsweise mittels einer IQ(Inphase, Quadratur)-Demodulation einen Phasenwinkel des reflektierten in Relation zum gesendeten Signal zu bestimmen. Dieses Vorgehen ist insbesondere nützlich zur Gewinnung von redundanten Informationen, um beispielsweise verschiedene parasitäre Effekte wie fixed pattern noise (FPN), Hintergrundlicht oder Asymmetrien des Sensors zu kompensieren.
• Aus der DE 102004016626 A1 und DE 102005056774 A1 sind ferner so genannten SBI-(supressed background illumination)-Schaltungen bekannt, die durch eine pixelindividuelle Unterdrückung von Hintergrundlicht die Dynamik eines Pixels erweitern. Hierbei wirkt sich der erhöhte Platzbedarf der schaltungstechnischen Realisierung in jedem Pixel nachteilig auf den Flächenfüllfaktor der Pixel aus. Dieser Nachteil besteht auch, wenn die SBI aufgrund der Beleuchtungs-verhältnisse während der Bildaufnahme deaktiviert wird.
• Aufgabe der Erfindung ist es, die Auslesegeschwindigkeit eines Lichtlaufzeitsensors zu verbessern.
• Die Aufgabe wird vorteilhaft durch den Lichtlaufzeitsensor, der Lichtlaufzeitkamera und ein Verfahren zum Betreiben derselben gemäß der unabhängigen Ansprüche gelöst.
• Vorteilhaft ist ein Verfahren zum Betreiben eines Lichtlaufzeitsensors vorgesehen, bei dem für eine Entfernungsbestimmung eine Sequenz von mindestens zwei Aufnahmeframes mit unterschiedlichen Phasenlagen durchgeführt wird, wobei in einem Pixelblock-Betrieb, in dem mindestens zwei Lichtlaufzeitpixel zu einem Pixelblock zusammengefasst werden, in mindestens einem Aufnahmeframe laufzeitrelevante Signale des Pixelblocks in einer diesem Aufnahmeframe zugeordneten Ausleseschaltung zwischengespeichert und am Ende der Sequenz ausgelesen werden.
• Dieses Vorgehen hat den besonderen Vorteil, dass die Zwischenspeicherung entfernungsrelevanter Signale auf dem Lichtlaufzeitsensor selbst, und insbesondere in Pixelnähe, deutlich schneller erfolgen kann als ein übliches Auslesen des gesamten Sensors. Dieser Vorteil kommt bereits bei einer Sequenz von zwei Aufnahmeframes zum Tragen und wirkt sich selbstverständlich bei einer größeren Anzahl von Aufnahmeframes deutlicher aus.
• Als Vorrichtung ist bevorzugt ein Lichtlaufzeitsensor mit mehreren Lichtlaufzeitpixeln und diesen zugeordneten Ausleseschaltungen vorgesehen, bei dem der Lichtlaufzeitsensor derart ausgestaltet ist, dass Gruppen von mindestens zwei Lichtlaufzeitpixel zu einem Pixelblock zusammenschaltbar sind und mindestens eine Ausleseschaltung eines Pixelblocks einen Speicher zur Speicherung eines entfernungsrelevanten Signals aufweist.
• Vorteilhaft ist der Lichtlaufzeitsensor für die Durchführung des erfindungsgemäßen Verfahrens ausgebildet und eine Lichtlaufzeitkamera mit einem solchen Sensor ausgestaltet.
• Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
• Es zeigen schematisch:
• 1 eine Lichtlaufzeitkamera,
• 2 das Grundprinzip der Demodulation,
• 3 ein Querschnitt durch ein PMD-Pixel mit Potentialverteilungen,
• 4 ein Verhalten einer Amplitude zur einfallenden Lichtmenge,
• 5 ein Potentialverlauf an einem Lichtlaufzeitpixel mit und ohne SBI-Einsatz,
• 6 einen Aufbau eines typischen Lichtlaufzeitpixels,
• 7 einen Aufbau mehrerer Pixel mit einer gemeinsamen SBI-Schaltung,
• 8 einen Aufbau gemäß 7 mit einer Steuerung,
• 9 einen Aufbau gemäß 8 mit einem Detektionspixel
• 10 einen Aufbau gemäß 7 mit mehrfacher Phasensteuerung,
• 11 einen Aufbau mit Zwischenspeicherungen in den Ausleseeinheiten,
• 12 einen Aufbau gemäß 11 ohne SBI-Schaltung,
• 13 ein Prinzipschaltbild der erfindungsgemäßen Zwischenspeicherung,
• 14 eine weitere Möglichkeit der Zwischenspeicherung,
• 15 einen Aufbau gemäß 7 mit RGB-Filtern.
• Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
• 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist.
• Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. eine Beleuchtung 10 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist mindestens ein Pixel, vorzugsweise jedoch ein Pixel-Array, auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet
• Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung ∆φ des emittierten und empfangenen Lichts die Lichtlaufzeit t_L und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz M(p1) mit einer ersten Phasenlage p1 beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal S(p1) mit der ersten Phaselage p1 aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage p2 = p1 + ∆φ(t_L) als Empfangssignal S(p2) auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M(p1) mit dem empfangenen Signal S(p2), gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung ∆φ(t_L) bzw. die Objektentfernung d ermittelt wird.
• Dieses Grundprinzip ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf der Modulationsfrequenz M(p1) mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S(p2) entsprechend seiner Lichtlaufzeit t_L phasenverschoben ∆φ(t_L) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage der Modulationsfrequenz M(p1) in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M(p1 + 180°) in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung ∆φ und somit eine Entfernung d des Objekts bestimmen.
• 3 zeigt einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm sind im Wesentlichen transparent ausgebildet und in einem lichtsensitiven Bereich eines Lichtlaufzeit bzw. PMD-Pixels angeordnet. Entsprechend der an den Modulationsgates bzw. Modulationsphotogates Gam, G0, Gbm angelegten Spannung, werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate Ga, Gb gelenkt. Hierbei bezeichnet „Akkumulationsgate“ allgemein eine Struktur, in der die Ladungssammlung stattfindet. Es handelt sich hier nicht notwendigerweise um ein Gate einer MOS(Metal-Oxide-Semiconductor)-Struktur. Als bevorzugte Ausführungsform wird beispielsweise eine Diodenstruktur verwendet.
• 3b zeigt einen Potenzialverlauf bei dem die Ladungen q in Richtung des ersten Akkumulationsgates Ga abfließen, und 3c einen komplementären Potenzialverlauf, der die Ladungen q in Richtung des zweiten Akkumulationsgates Gb fließen lässt. Die Potenziale können beispielsweise entsprechend der anliegenden Modulationsfrequenz vorgegeben werden. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 1000 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
• In 3a ist ferner eine Auslesevorrichtung 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten Lichtlaufzeitsensors 22 bzw. PMD-Sensors sein kann.
• Die als Kapazitäten ausgebildeten Akkumulationsgates Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Akkumulationsgates Ga, Gb anliegende Spannung Ua, Ub beispielsweise über die Auslesevorrichtung 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Akkumulationsgates und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.
• Alternativ zur Messung der an den Akkumulationsgates Ga, Gb anliegenden Spannung Ua, Ub kann auch der bei einer Entladung fließende Strom ia, ib gemessen werden.
• 4 zeigt schematisch die Abhängigkeit einer elektrischen Größe beispielsweise eine Spannungsamplitude des Lichtlaufzeitpixels bzw. eines Akkumulationsgates von der Lichtmenge. Die Lichtmenge bestimmt sich in bekannter Weise aus dem Lichtstrom und der Bestrahlungsdauer. Proportional zur Lichtmenge werden Ladungsträger q im photosensitiven Bereich erzeugt und mit Hilfe der an den Modulationsgates Gam, G0, Gbm anliegenden Potenziale entsprechend der Modulationsfrequenz phasenkorreliert auf die Akkumulationsgates Ga, Gb verteilt. Diese aufgeteilten Ladungen q_a, q_b können entweder als Spannungssignal U_a, U_b bzw. Spannungsamplitude hochohmig am Gate abgegriffen oder ggf. bei einer Entladung der Gates als Strom i_a, i_b gemessen werden. Diese elektrischen Größen entsprechen somit dem phasenkorrelierten Lichtstrom bzw. der entsprechenden Lichtmenge.
• Der mögliche Dynamikbereich erstreckt sich typischerweise über mehrere Größenordnungen. Die Größe des Dynamikbereiches hängt im Wesentlichen von der Fläche der photosensitiven Schicht eines Lichtlaufzeitpixel 23 sowie der Kapazität C_int der Akkumulationsgates Ga, Gb ab und ggf. auch von dynamikerweiternden Elementen in der Ausleseschaltung, beispielsweise spezielle Kennlinien oder aktive Konzepte zur Unterdrückung von Gleichanteilen ab. Die Integrationszeit t_int für den Lichtlaufzeitsensor 22 bzw. einem einzelnen Lichtlaufzeitpixel 23 wird vorzugsweise so festgelegt, dass für den Anwendungsfall die Lichtlaufzeitpixel 23 nicht in die Sättigung geraten. Mit abnehmender Lichtmenge bzw. analog mit abnehmender Integrationszeit nehmen jedoch die zur Verfügung stehenden Ladungen bzw. das Potenzial am Akkumulationsgate immer mehr ab und bewirkt unter anderem aufgrund des abnehmenden Signal/Rausch-Verhältnisses eine zunehmende Unsicherheit bei der Entfernungsbestimmung, so wie es mit der gestrichelten Kurve der Standardabweichung in 4 dargestellt ist. Die untere Grenze des Arbeitsbereichs der Integrationszeit sollte daher vorzugsweise so gewählt sein, dass ein zu erwartender Distanzfehler noch innerhalb einer zulässigen Toleranz bzw. Standardabweichung liegt, wobei die obere Grenze vorzugsweise unterhalb der Sättigung liegen sollte.
• Bevorzugt ist ein Lichtlaufzeitpixel 23 mit einer so genannten Hintergrundslichtausblendung bzw. SBI(supression of background illumination)-Schaltung ausgerüstet, die in Abhängigkeit bestimmter Eingangsgrößen einen Teil der an den Akkumulationsgates Ga, Gb anliegenden Ladung q_a, q_b abführt, um so ggf. eine Sättigung des Lichtlaufzeitpixel 23 durch zu hohe Fremdlicht- oder Nutzsignale zu vermeiden oder zu verzögern.
• 5 zeigt einen möglichen Verlauf der während einer Messung an den Akkumulationsgates Ga, Gb anliegenden Spannung Ua, Ub. Nach einem Reset der Akkumulationsgates Ga, Gb liegt an den Gates Ga, Gb eine Resetspannung U_DRS mit einem positiven Potenzial an. Im dargestellten Beispiel soll die Ladungskompensation mit Beginn der Messung zum Startzeitpunkt t₀ noch nicht wirksam sein. Mit zunehmender Anzahl gesammelter Ladungsträger bzw. Photoelektronen nimmt die Spannung Ua, Ub an den Akkumulationsgates Ga, Gb ab.
• Werden im weiteren Verlauf die Ladungen an den Akkumulationsgates Ga, Gb nicht kompensiert, fällt, dargestellt mit einer gestrichelten Line, das Potenzial Ua, Ub an den Akkumulationsgates Ga, Gb weiter ab. Im dargestellten Fall erreicht das zweite Akkumulationsgate Gb zu einem Sättigungszeitpunkt ts ein Sättigungspotenzial Us, ab dem das Gate in Sättigung gerät und der Phasenbezug der akkumulierten Ladung bzw. anliegenden Spannung verloren geht. Sättigung tritt ein, wenn entweder wegen eines unzureichenden Potenzialgefälles im Halbleiter (siehe 3) keine weiteren Ladungsträger gesammelt werden können oder aber der Aussteuerbereich der Auslesevorrichtung 400 verlassen wird. Entfernungswerte, die ab diesem Zeitpunkt ermittelt werden, sind fehlerhaft.
• Um eine solche Sättigung zu verhindern oder zu verzögern, ist es aus der DE 10 2005 056 774 A1 bekannt, eine Ladungskompensation an beiden Akkumulationsgates Ga, Gb durchzuführen, sobald ein Akkumulationsgate Ga, Gb einen Potenzialgrenzwert U_on, hier zu einem ersten Zeitpunkt t1, erreicht. Die Ladungskompensation erfolgt, indem beide Akkumulationsgates Ga, Gb mit einem Kompensationsstrom i_k beaufschlagt werden. Der Kompensationsstrom i_k kann beispielsweise aus der Steigung des größeren Potenzialabfalls aus (Ua, Ub) bestimmt und ggf. mit einem Kompensationsfaktor k angepasst werden: i_k = C_int· ∆U / ∆t·k
• Auch ist es möglich den Kompensationsstrom i_k in Abhängigkeit einer an einem Gate Ga, Gb anliegenden elektrischen Größe i_a, i_b, Ua, Ub vorzugsweise über eine Regelung bereit zu stellen. Derartige Regelungen sind beispielsweise aus der DE 10 2004 016 626 A1 und insbesondere aus der DE 10 2005 056 774 , auf die hier ausdrücklich Bezug genommen wird, in verschiedenen Varianten bekannt. Eine derartige Regelung zeichnet sich dadurch aus, dass der Kompensationsstrom i_k durch die Regelung so vorgegeben wird, dass das Gate, an dem der Potenzialgrenzwert U_on zuerst erreicht wird, im Potenzial konstant gehalten wird.
• Ein derartiges Vorgehen ist in 5 mit der durchgezogenen Linie gezeigt. Die Akkumulation der Ladungen erfolgt wie eingangs beschrieben zunächst ohne Aufprägen eines Kompensationsstroms ik. Im dargestellten Beispiel zeigt das zweite Akkumulationsgate Gb den größten Potenzialabfall und erreicht als erstes den Potenzialgrenzwert U_on. Über die SBI-Regelung ist es nun vorgesehen, den Kompensationsstrom ik so vorzuhalten, dass das Potenzial an diesem Gate Gb im Wesentlichen konstant gehalten wird. Das erste Gate Ga wird mit einem Kompensationsstrom i_k in gleiche Höhe beaufschlagt und ist somit quasi überkompensiert, so dass das Potenzial mit Beginn der Kompensation ansteigt. Diese Überkompensation kann solange erfolgen, bis das erste Gate Ga ein Basispotenzial U_com, das im Wesentlichen schaltungstechnisch vorgegeben ist, erreicht.
• In 6 ist beispielhaft eine Topologie eines einzelnen Lichtlaufzeitpixels 23 eines beispielsweise aus der DE 197 04 496 C2 bekannten Lichtlaufzeitsensors 22 dargestellt. Das Lichtlaufzeitpixel 23 umfasst einen aktiven Bereich 500 mit zwei Metallabdeckungen 180 sowie eine Ausleseeinheit 400, eine SBI-Schaltung 200 und mehrere Leitungsbereiche für die Pixelansteuerung 300 und der Modulation 150.
• Im aktiven Bereich 500 sind im seitlichen Bereich Metallabdeckungen 180 zur Bereitstellung eines lichtunempfindlichen Bereichs angeordnet. Zwischen den Metallabdeckungen 180 erstreckt sich ein lichtempfindlicher Bereich, in dem die Modulationsgates Gam, Gbm, G0 angeordnet sind. Unterhalb der Metallabdeckung sind vorzugsweise die Akkumulationsgates Ga, Gb angeordnet. Die Metallabdeckungen 180 sind in den nachfolgenden Ausführungsbeispielen zwar vorhanden aber der Übersicht halber in den Figuren nicht explizit gezeigt. Die Verschaltung, insbesondere mit den übrigen Komponenten, ist grundsätzlich bekannt und zeichnerisch auch nicht weiter dargestellt.
• Über die Modulations-Leitungsbereiche 150 wird das Modulationssignal mit einer vorgegebenen Phasenlage dem Lichtlaufzeitpixel 23 zugeführt.
• Über die Leitungsbereiche der Pixelansteuerung 300 werden vorzugsweise Schaltsignale beispielsweise Reset- oder Auslese-Signale geleitet. Außerdem können über diese Leitungsbereiche die ausgelesenen Daten- bzw. Signale nach außen bzw. außerhalb des Pixels geführt werden. Bevorzugt lassen sich über diesen Leitungsbereich auch Steuerungssignale für die SBI-Schaltung 200 von außen heranführen.
• Diese Topologie wiederholt sich für jedes Lichtlaufzeitpixel 23 gleichermaßen, so dass beispielsweise für vier Lichtlaufzeitpixel 23 auch vier SBI-Schaltungen notwendig sind.
• Erfindungsgemäß ist es vorgesehen, eine SBI-Schaltung nicht nur für ein Lichtlaufzeitpixel 23, sondern für mindestens zwei Lichtlaufzeitpixel 23 gemeinsam einzusetzen.
• In 7 ist eine Anordnung bzw. Topologie gezeigt, bei der eine SBI-Schaltung 200 vier Lichtlaufzeitpixel 23 zugeordnet und mit ihnen elektrisch verbunden ist. Die Lichtlaufzeitpixel 23 weisen jeweils einen aktiven Bereich 500, eine Ausleseschaltung 400 und Modulations- und Ansteuerungsbereiche 150, 300 auf. Die SBI-Schaltung 200 wird von den vier dargestellten Lichtlaufzeitpixeln 23 gemeinsam verwendet.
• Der Grundgedanke der Erfindung ist, den Lichtlaufzeitsensor 22 bei geringen Lichtmengen hochauflösend (HD) mit inaktiver SBI-Schaltung 200 und bei großen Lichtmengen niedrigauflösend (LD) mit aktiver SBI-Schaltung 200 zu betreiben.
• Liegen die Lichtmengen bzw. Belichtungen unterhalb eines vorgegebenen Belichtungsgrenzwertes werden die Lichtlaufzeitpixel 23 einzeln und somit hochauflösend betrieben.
• Liegen die Lichtmengen oberhalb des Belichtungsgrenzwertes werden Gruppen von Lichtlaufzeitpixel 23 zu einem Verbundpixel bzw. zu einem Pixelblock zusammengefasst und die SBI-Schaltung 200 für diesen Pixelblock aktiv geschaltet.
• Besteht der Lichtlaufzeitsensor beispielsweise aus 100 × 100 = 10.000 Pixeln lässt sich der Sensor ohne Einsatz der SBI-Schaltung 200 mit einer Auflösung von 10.000 Pixeln hochauflösend betreiben. Nimmt die Lichtmenge beispielsweise aufgrund eines hohen Hintergrundlichts zu, ist es erfindungsgemäß vorgesehen, das Hintergrundlicht mit Hilfe der SBI-Schaltung 200 zu kompensieren und hierbei die der SBI-Schaltung 200 zugeordneten Lichtlaufzeitpixel zu einem Pixelblock zusammenzufassen. Im in 7 dargestellten Beispiel sind vier Lichtlaufzeitpixel 23 einer SBI-Schaltung 200 zugeordnet und bilden einen Pixelblock Erfolgt die Umschaltung auf diesen Pixelblock-Betrieb über den gesamten Lichtlaufzeitsensor 22 reduziert sich die Auflösung des Sensors 22 auf 2.500 Pixel.
• Somit ist der Lichtlaufzeitsensor 22 grundsätzlich in einer HD-(High Density) und einer LD-(Low Densitiy)-Auflösung betreibbar, wobei bei großen Lichtmengen zumindest die betroffenen Bereiche des Lichtlaufzeitsensors 22 in Pixelblöcken bzw. in LD-Auflösung betrieben werden.
• Durch dieses Vorgehen ist es möglich, eine hohe Auflösung und einen hohen Füllfaktor mit kleinen Lichtlaufzeitpixeln 23 zu realisieren, ohne dabei auf die Funktion der Hintergrundlichtunterdrückung zu verzichten.
• Die Überwachung der Lichtmenge bzw. der Belichtung erfolgt vorzugsweise über eine elektrische Größe, die der einfallenden Lichtmenge entspricht. Wie beispielsweise in 3 gezeigt, eignen sich hierzu insbesondere die an den Akkumulationsgates bzw. Integrationsknoten Ga, Gb anliegenden Spannung Ua, Ub oder den abgegriffenen Strom i_a, i_b.
• Der Belichtungsgrenzwert, ab dem die Lichtlaufzeitpixel 23 zu Pixelblöcken zusammengefasst werden und die SBI-Schaltung 200 aktiv geschaltet wird, leitet sich zwar im Wesentlichen vom Einschaltgrenzwert bzw. Potenzialgrenzwert U_on der SBI-Schaltung 200 ab, muss jedoch hiermit nicht übereinstimmen und kann grundsätzlich frei gewählt werden. Insbesondere kann der Belichtungsgrenzwert eine kleinere Spannung aufweisen als der Potenzialgrenzwert U_on, so dass die SBI-Schaltung 200 bereits bei Lichtmengen aktiv geschaltet wird, bei der zwar noch keine Überbelichtung vorliegt aber die Gefahr besteht, dass nachfolgende Messungen in die Überbelichtung gehen.
• Eine aktiv geschaltete SBI-Schaltung 200 bedeutet somit vornehmlich nur eine Bereitstellung der SBI-Funktionalität. Die Kompensation der Ladungsträger an den Integrationsknoten erfolgt nach wie vor erst beim Erreichen des Potenzialgrenzwertes U_on der SBI-Schaltung 200.
• Selbstverständlich ist auch eine Kopplung des Belichtungsgrenzwertes und des Potenzialgrenzwertes U_on möglich, so dass bei einem Erreichen dieses Grenzwertes die Einzel-Lichtlaufzeitpixel 23 in Pixelblöcken zusammengeschaltet werden und gleichzeitig eine Ladungskompensation beginnt.
• Unterschiedliche Konfigurationen des Lichtlaufzeitsensors 22 ermöglichen die Anpassung sowohl an unterschiedliche Anwendungen als auch an die Beleuchtungsverhältnisse: Folgende Varianten sind denkbar:
• 1) Hohe Auflösung ohne Einsatz der SBI-Schaltung 200: Hierbei werden alle Lichtlaufzeitpixel 23 separat angesteuert, die SBI-Schaltung 200 ist hierbei deaktiviert.
• 2) Reduzierte Auflösung ohne Einsatz der SBI-Schaltung 200: Hier kann bei einer Anwendung mit wenig Hintergrundbeleuchtung auf die hohe Auflösung verzichtet und die LD-Konfiguration aktiviert werden.
• 3) Reduzierte Auflösung mit Einsatz der SBI-Schaltung: Bei Anwendungen mit starkem Hintergrundlicht werden die Lichtlaufzeitpixel 23 zu Pixelblöcken zusammengefasst, und gemeinsam über eine SBI-Schaltung kompensiert.
• Die vorliegende Erfindung ermöglicht bei entsprechender Ansteuerung die Aufnahme von zwei Bildern unterschiedlicher Auflösung innerhalb eines kurzen Zeitraums und somit eine automatische Anpassung an die Beleuchtungsverhältnisse.
• Ein mögliches Vorgehen ist, zunächst bei deaktivierter SBI-Schaltung 200 ein Bild mit hoher Auflösung aufzunehmen. Eine automatische Detektorschaltung bzw. eine Steuerung erkennt, wenn ein oder mehrere Lichtlaufzeitpixel überbelichtet sind bzw. der Belichtungsgrenzwert überschritten ist. Ist dies der Fall, werden die der SBI-Schaltung 200 zugeordneten Lichtlaufzeitpixel 23 zu einem Pixelblock zusammengefasst und die SBI-Schaltung 200 für diesen Pixelblock aktiviert und ein weiteres Bild aufgenommen. Die Umschaltung in den LD-Modus bzw. Pixelblock-Betrieb kann für den gesamten Sensor erfolgen oder nur für die betroffenen Lichtlaufzeitpixel 23 oder einem Teilbereich des Sensors.
• Bevorzugt kann nach einer vorgegebenen Zeit und/oder abhängig von einer gemessenen Lichtmenge wieder in den HD-Modus gewechselt werden bis erneut größere Lichtmengen auftreten. So kann der Sensor automatisch an die Beleuchtungsverhältnisse angepasst werden.
• Vorteilhaft weist die Lichtlaufzeitkamera eine Steuerung oder Auswerteeinheit auf, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Diese Steuerung kann sowohl auf dem Lichtlaufzeitsensor 22 selbst oder als separate Baugruppe realisiert sein.
• Besonders vorteilhaft ist eine solche Steuerung bereits auf dem Lichtlaufzeitsensor 22 angeordnet. 8 zeigt einen Aufbau gemäß 7, bei dem im Bereich der SBI-Schaltung 200 zusätzlich eine Steuerung 250 angeordnet ist, die die Lichtlaufzeitpixel in Abhängigkeit der erfassten Lichtmenge bzw. Belichtung in den Einzel- oder Pixelblock-Betrieb umschaltet.
• Vorzugsweise weist jeder mögliche Pixelblock eine eigene Steuerung 250 auf. Die Steuerung 250 überwacht die Lichtmenge mindestens eines Lichtlaufzeitpixels 23 in der Gruppe der Lichtlaufzeitpixel 23, die mit der SBI-Schaltung 200 verbunden sind. Übersteigt die Lichtmenge eines der überwachten Lichtlaufzeitpixel 23 den Belichtungsgrenzwert, kann jede Pixelgruppe individuell in den Pixelblock-Betrieb umgeschaltet werden.
• 9 zeigt eine weitere Ausgestaltung, bei der im SBI-Schaltungsbereich 200 zusätzlich ein Detektionspixel 270 zur Erfassung der Lichtmenge bzw. Belichtung angeordnet ist. Dieses Vorgehen hat den Vorteil, dass die Lichtmenge unabhängig von den Lichtlaufzeitpixeln 23 und ggf. mit einer vereinfachten Auswertung erfasst werden kann.
• Wenn nur eine zentrale Steuerung für den Lichtlaufzeitsensor 22 vorgesehen ist, ist es auch möglich, die Lichtmenge bzw. Belichtung nur über ein einziges Detektionspixel 270 oder Lichtlaufzeitpixel 23 zu erfassen. Hierbei ist jedoch in der Regel nur ein vollständiges Umschalten des Lichtlaufzeitsensors 22 in den Einzel- oder Pixelblock-Betrieb möglich.
• Auch ist es denkbar, mehrere Teilbereiche auf dem Lichtlaufzeitsensor 22 vorzusehen. Beispielsweise könnte der Lichtlaufzeitsensor 22 in 20 Teilbereiche mit je 100 Lichtlaufzeitpixel 23 aufgeteilt werden. Übersteigt die Belichtung eines oder mehrerer Lichtlaufzeitpixel 23 in einem Teilbereich den Belichtungsgrenzwert können dann alle Lichtlaufzeitpixel in diesem Teilbereich in einen Pixelblock-Betrieb, beispielsweise zu 25 Blöcken à 4 Lichtlaufzeitpixel 23, umgeschaltet werden.
• In einer weiteren Ausgestaltung ist es vorteilhaft vorgesehen, bei einem Umschalten in die jeweils andere Betriebsart – Einzel- oder Pixelblock-Betrieb – diese Betriebsart für eine vorgegebene Zeitdauer unabhängig von der erfassten Belichtung beizubehalten. Hierdurch wird wirksam vermieden, dass bei kleineren Belichtungsschwankungen um den Belichtungsgrenzwert die Betriebsart ständig gewechselt wird und die Bildauswertung erschwert.
• 10 zeigt eine weitere Ausgestaltung bei der die vorgeschlagene Schaltung bzw. Sensorstruktur auch als so genannter 4Q-PMD verwendet werden kann. Dazu werden die Modulationsspalten abwechselnd mit 0° / 180° und 90° / 270° angesteuert. Die vier Lichtlaufzeitpixel werden zu einem gemeinsamen Lichtlaufzeitpixel zusammengefasst, wobei jedes der zusammengefassten Lichtlaufzeitpixel mit einer unterschiedlichen Phasenlage betrieben wird. Hierdurch ist es möglich, in einer Belichtung alle Phasenlagen zu erfassen und die Framerate auf Kosten der Auflösung zu erhöhen.
• 11 zeigt eine weitere Ausgestaltung, in der die Ausleseschaltungen 400.1–400.4 der einzelnen Lichtlaufzeitpixel 23, P1–P4 auch als Zwischenspeicher verwendet werden. Werden die Lichtlaufzeitpixel P1–P4 als Pixelblock PB betrieben, so wird lediglich eine der vier Ausleseschaltungen 400.1–400.4 zum Auslesen benötigt. Die drei nicht verwendeten Ausleseschaltungen 400.1–400.4 können dazu verwendet werden, um Signale zwischenzuspeichern.
• Beispielsweise können alle vier Einzelpixel P1–P4 in einem Frame mit derselben Phasenlage betrieben und von der ersten Ausleseeinheit 400.1 gemeinsam ausgelesen sowie auch in der Ausleseeinheit 400.1 zwischengespeichert werden. Im nachfolgenden Frame werden alle vier Einzelpixel P1–P4 mit der zweiten Phasenlage und so fort betrieben. Im vierten Frame und nach Durchlauf der vierten Phasenlagen werden alle vier Einzelpixel P1–P4 von der vierten Ausleseeinheit 400.4 ausgelesen und zusammen mit den in den Ausleseeinheit 400.1–400.3 zwischengespeicherten Werten zur weiteren Verarbeitung nach außen geführt.
• Auf diese Weise können mehrere Frames in sehr kurzen zeitlichen Abständen aufgenommen, zwischengespeichert und anschließend gemeinsam ausgelesen werden. Der Vorteil in diesem Vorgehen liegt darin, dass eine Zwischenspeicherung deutlich schneller erfolgt als ein komplettes Auslesen der Sensormatrix.
• 12 zeigt eine Variante mit Zwischenspeicherung ohne die in 11 gezeigten SBI-Schaltung 100. Das Zusammenschalten zu einem Pixelblock kann beispielsweise durch eine der Ausleseeinheiten 400.1–400.4 koordiniert werden.
• In 13 ist schematisch eine mögliche Verschaltung der Lichtlaufzeitpixel P1–P4 und den Ausleseeinheiten 400.1–400.4 gezeigt. Im LD-Modus bzw. Pixelblockbetrieb ist es im dargestellten Fall vorgesehen, die Lichtlaufzeitpixel P1–P4 zu einem Pixelblock PB zusammenzuschalten, indem die A- und B-Kanäle bzw. Akkumulationsgates Ga, Gb der vier Lichtlaufzeitpixel P1–P4 auf die Ausleseeinheit 400.4 zusammengeführt und gemeinsam ausgelesen werden. Im Gegensatz zu einem üblichen Auslesevorgang werden die Signale jedoch nicht nach außen geführt, sondern in einem Speicherbereich 410.1–.3 eines der Ausleseeinheiten 400.1–.3 zwischengespeichert. In einem ersten Aufnahmeframe werden im dargestellten Beispiel in einem Speicher 410.1 der ersten Ausleseeinheit 400.1 gespeichert. Im zweiten Frame im zweiten Speicher 410.2 und im dritten Frame im dritten Speicher 410.3. Die Aufnahmeframes können für die Entfernungsbestimmung beispielsweise als Sequenz von vier Phasenlagen mit 0°, 90°, 180° und 270° ausgebildet sein.
• Die Signale im vierten Frame müssen nicht notwendigerweise zwischengespeichert werden, sondern können direkt zusammen mit den in den übrigen Ausleseeinheiten 400.1–.3 gespeicherten Signalen nach außen geführt werden. Das Auslesen kann ohne Weiteres über die üblichen Ausleseleitungen parallel erfolgen. Ggf. kann es auch von Vorteil sein, die zwischengespeicherten Werte auch über die vierte Ausleseeinheit 400.4 gezielt nach außen zu führen.
• Bevorzugt können als Speicher 410.1–410.4 die in einer Ausleseeinheit 400 üblicherweise vorhandenen Sample&Hold-Kondensatoren verwendet werden. Auch ist es denkbar, eine eigene Speicherschaltung vorzusehen.
• 14 zeigt eine Variante, bei der die Zusammenschaltung der Pixel zu einem Pixelblock PB nicht über eine einzige Ausleseeinheit erfolgt, sondern jede Ausleseeinheit 400.1–400.4 den kompletten Pixelblock PM auslesen bzw. erfassen kann. Für die Umschaltung auf die einzelnen Ausleseeinheiten 400.1–400.4 bestehen eine Vielzahl von Möglichkeiten. Zum einen können die Ausleseeinheiten über Schaltbefehle auf den Pixelblock PM zu- oder abgeschaltet werden zum anderen können zusätzliche Vorrichtung die Umschaltung auf die Ausleseeinheiten übernehmen. Eine solche zusätzliche Vorrichtung kann beispielsweise durch eine SBI-Schaltung 200 realisiert sein, die die Zusammenschaltung und Weiterleitung der Signale koordiniert.
• Die Ausleseeinheiten 400.1–400.4 sind bestimmten Aufnahmeframes und insbesondere Phasenlagen zugeordnet und speichern die Signale des Pixelblocks für die zugewiesene Phasenlage in ihren Speichern 410.1–410.4 ab. Nach Auslesen der Signale des letzten Frames werden, wie zuvor beschrieben, die gespeicherten und erfassten Signale nach außen geführt. Die Speicherung im letzten Frame ist optional und kann ggf. aus Symmetriegründen vorgenommen werden oder aus Zeitgründen weggelassen werden.
• In einer weiteren Ausgestaltung gemäß 15 wird vorgeschlagen, mit Hilfe der vier HD-Pixel ein RGBZ-Pixel zu realisieren, indem die Lichtlaufzeitpixel 23 mit entsprechenden Farbfiltern Rot, Grün oder Blau versehen sind. Selbstverständlich sollten diese Farbfilter im Spektrum der Lichtlaufzeitkamera-Beleuchtung, also vorzugsweise im IR-Bereich, transparent sein. Beispielsweise könnten die Farbfilter in einem Bayer-Pattern angeordnet sein. Der Farbmodus ist nur im HD-Modus zu verwenden. Mit einem Frame kann hier die Farbinformation gewonnen werden. Hierzu wird die aktive Beleuchtung deaktiviert und das Summensignal der einzelnen Pixel ausgewertet.
• Die Lichtlaufzeitpixel weisen somit Farbfilter mit unterschiedlicher spektraler Durchlässigkeit im sichtbaren Bereich auf. Jeder Farbfilter hat zudem zusätzlich eine Transparenz für zumindest einen Teilbereich des Spektrums der modulierten Beleuchtung.
• Bezugszeichenliste

10

Beleuchtung

12

Lichtquelle

22

Lichtlaufzeitsensor

27

Auswerteeinheit

30

Modulator

35

Phasenschieber, Beleuchtungsphasenschieber

38

Modulationssteuergerät

∆φ(t_L)

laufzeitbedingte Phasenverschiebung

φ_var

Phasenlage

φ₀

Basisphase

M₀

Modulationssignal

p1

erste Phase

p2

zweite Phase

Sp1

Sendesignal mit erster Phase

Sp2

Empfangssignal mit zweiter Phase

Ga,

Gb Akkumulationsgates

Ua,

Ub Spannungen am Modulationsgate

d

Objektdistanz

150

Modulation

180

Metallabdeckung

200

SBI-Schaltung

250

Steuerung

270

Detektionspixel

300

Pixelansteuerung

400

Auslesevorrichtung, -schaltung

400.1

Ausleseschaltung für Frame 1

400.2

Ausleseschaltung für Frame 2

400.3

Ausleseschaltung für Frame 3

400.4

Ausleseschaltung für Frame 4

500

PMD Aktivbereich

500.1

PMD Aktivbereich rot

500.2

PMD Aktivbereich grün

500.3

PMD Aktivbereich grün

500.4

PMD Aktivbereich blau

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• EP 1777747 [0002]
• US 6587186 [0002]
• DE 19704496 [0002, 0003, 0029]
• DE 102004016626 A1 [0004, 0044]
• DE 102005056774 A1 [0004, 0043]
• DE 19704496 C2 [0033, 0046]
• DE 102005056774 [0044]

Claims (4)

1. Verfahren zum Betreiben eines Lichtlaufzeitsensors (22), bei dem für eine Entfernungsbestimmung eine Sequenz von mindestens zwei Aufnahmeframes mit unterschiedlichen Phasenlagen durchgeführt wird, dadurch gekennzeichnet, dass in einem Pixelblock-Betrieb, in dem mindestens zwei Lichtlaufzeitpixel (23) zu einem Pixelblock (PB) zusammengefasst werden, in mindestens einem Aufnahmeframe laufzeitrelevante Signale des Pixelblocks in einer diesem Aufnahmeframe zugeordneten Ausleseschaltung (400.1–.3) zwischengespeichert und am Ende der Sequenz ausgelesen werden.
2. Lichtlaufzeitsensor (22) mit mehreren Lichtlaufzeitpixeln (23) und diesen zugeordneten Ausleseschaltungen (400.1–.4), wobei der Lichtlaufzeitsensor (22) derart ausgestaltet ist, dass Gruppen von mindestens zwei Lichtlaufzeitpixel (23) zu einem Pixelblock (PB) zusammenschaltbar sind, dadurch gekennzeichnet, dass mindestens eine Ausleseschaltung (400.1–.4) eines Pixelblocks (PB) einen Speicher (400.1–400.4) zur Speicherung eines entfernungsrelevanten Signals (Ua, Ub) aufweist.
3. Lichtlaufzeitsensor (22) nach Anspruch 2, der zur Durchführung des Verfahrens gemäß Anspruch 1 ausgebildet ist.
4. Lichtlaufzeitkamera (1) mit einem Lichtlaufzeitsensor (22) nach einem der Ansprüche 2 oder 3.

Images