-
Die Erfindung betrifft ein Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung und einen Lichtlaufzeitdetektor aufweisenden Lichtlaufzeit-Entfernungsmesssystems, insbesondere eines Lichtlaufzeitkamerasystems, bei dem ausgehend von einer Basis-PN-Folge ein Modulationssignal für die Beleuchtung und für den Lichtlaufzeitdetektor generiert wird, wobei mehrere Einzelmessungen durchgeführt werden und für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich mindestens zwei dieser Einzelmessungen verwendet werden.
-
Die Erfindung betrifft weiterhin ein entsprechendes Lichtlaufzeit-Entfernungsmesssystem, insbesondere ein Lichtlaufzeitkamerasystem, mit einer Beleuchtung zur Aussendung und einem Lichtlaufzeitsensor zum Empfang modulierten Lichts und mit einem Modulator zur Erzeugung eines Modulationssignals für die Beleuchtung und den Lichtlaufzeitsensor aus zumindest einer Basis-PN-Folge.
-
Die Verwendung von derartigen pseudo-zufällige Binärfolgen (PN-Folgen) bei Lichtlaufzeit-Messsystemen ist durchaus verbreitet und auch die Substitution einer zugrundeliegenden Basis-PN-Folge mittels Sub-Bitfolgen ist im Zusammenhang mit derartigen Messsystemen hinlänglich bekannt. Die Verwendung von solchen pseudo-zufälligen Binärfolgen, die auch als „Pseudo-Noise Sequences“ bekannt sind, wie beispielsweise „Maximum Length Sequences“ (MLS) so genannte Maximalfolgen und „Barker-Codes“ zur Modulation eines Lichtlaufzeitsensors (Tiefenbildsensors) bieten aufgrund ihrer vorteilhaften Autokorrelationseigenschaften entscheidende Vorteile gegenüber herkömmlichen Modulationssequenzen in Form von einfach periodischen rechteck- bzw. sinusförmigen Signalfolgen.
-
Aus der der
DE 102 01 670 A1 ist eine Zeitmessvorrichtung bekannt, die Lichtimpulse aussendet und die Lichtlaufzeit zu einem Messobjekt mit Hilfe einer Grob- und Feinmesseinrichtung bestimmt.
-
Die
DE 10 2005 004 113 A1 beschreibt eine Abstandsberechnungseinrichtung, die in einem ersten Schritt ohne aktivierte Beleuchtung das Hintergrundlicht, in einem zweiten Schritt ein Referenzobjekt aktiv beleuchtet und in einem dritten Schritt das zu überwachende Objekt beleuchtet. Die Einrichtung weist zudem eine Sättigungszeit-Messeinrichtung auf, die die Belichtungsdauer gleich oder kürzer als eine Sättigungszeit des fotoelektrischen Wandlerelements einstellt.
-
Die
DE 198 21 974 A1 beschäftigt sich mit einem Lichtlaufzeitsensor bzw. PMDSensor zur Erfassung von Phase und Amplitude von elektromagnetischen Wellen. Unter anderem wird für die Modulation der Akkumulationsgates auch die Verwendung eines Pseudorauschens oder ein anderes codiertes Modulationssignal mit geeigneter, schmaler Korrelationsfunktion und einer hinreichenden Wortlänge vorgeschlagen.
-
Die
WO 01/ 55 746 A1 beschäftigt sich mit einem optischen Distanzmesssystem, das ein Signal moduliert in Form einer Maximalfolge aussendet und zur Entfernungsbestimmung ein Maximum der Korrelation mit dem reflektierten Signal ermittelt.
-
Ein Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung und einen Lichtlaufzeitdetektor aufweisenden Lichtlaufzeit-Entfernungsmesssystems ist beispielsweise aus der Patentschrift
DE 10 2014 210 750 B3 bekannt. Als Lichtlaufzeitdetektor dient dort eine auf dem Photomischelement-Prinzip beruhende Lichtlaufzeitkamera. Bei dem Verfahren wird ausgehend von einer Basis-PN-Folge mittels eines Modulators ein Modulationssignal für die Beleuchtung und für den Lichtlaufzeitdetektor generiert. Die Basis-PN-Folge wird dabei in Form von Sub-Bitfolgen, die sich gemäß einer Substitutionsregel ergeben, an die Beleuchtung und die Lichtlaufzeitkamera ausgegeben. Zur Entfernungsmessung werden mehrere Einzelmessungen durchgeführt, wobei für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich in der Regel vier dieser Einzelmessungen verwendet werden.
-
Aufgabe der Erfindung ist es, Maßnahmen anzugeben, die die Entfernungsmessung verbessern.
-
Die Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.
-
Bei dem erfindungsgemäßen Verfahren zur Entfernungsmessung mittels eines eine Beleuchtung und einen Lichtlaufzeitdetektor aufweisenden Lichtlaufzeit-Entfernungsmesssystems, insbesondere eines Lichtlaufzeitkamerasystems, ist es vorgesehen, dass ausgehend von einer Basis-PN-Folge, die als eine Maximalfolge zur Selektion einer Einzelmessung ausgebildet ist, ein Modulationssignal (M
0',M
0'') für die Beleuchtung und den Lichtlaufzeitsensor generiert wird,
wobei eine Entfernungsmessung M
t aus mindestens drei Einzelmessungen (E
t,1, E
t,2, ...) mit verschiedenen Phasenverschiebungen zwischen Beleuchtung in Lichtlaufzeitdetektor besteht,
wobei eine zeitliche Entfernungsmessungssequenz ((M
1,M
2, ...)) mit mindestens zwei Entfernungsmessungen (M
1,M
2) erzeugt wird,
und wobei Belichtungszeiten
für eine Messung M
t+1 aus der vorherigen Messung (M
t) mit zugehörigen Belichtungszeiten
hervorgeht, also
-
Dieses Vorgehen hat den Vorteil, dass durch diese quasi rekursive Belichtungskorrektur eine Sättigung des Lichtlaufzeitdetektors vermieden werden kann. Bei Bedarf kann außerdem die verfügbare Belichtungszeit auf interessante Messbereiche konzentriert werden.
-
Voraussetzung für eine distanzabhängige Verteilung der Belichtungszeit ist die Möglichkeit zur Zerlegung (Unterteilung) des beabsichtigten Messbereichs in eine Anzahl von Teilbereichen. Diese Eigenschaft lässt sich insbesondere durch ein geeignetes Modulationsverfahren erzielen.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung wird ein durchzumessender Gesamtentfernungsmessbereich in mehrere unterschiedliche Entfernungsmessbereiche aufgeteilt, wobei für jeden dieser Entfernungsmessbereiche eine separate Entfernungsmessung erfolgt.
-
Aufgrund ihrer impulsförmigen Autokorrelationsfunktion bieten sich für das Verfahren vor allem die Folgen maximaler Länge, besser bekannt als „Maximum Length Sequences“ (MLS) an, während sich die Modulation mit konventionellen, einfach periodischen rechteck- bzw. sinusförmigen Modulationssignalen aufgrund ihrer periodischen Autokorrelationsfunktion als weniger geeignet erweist. Maximalfolgen MLS stellen einen speziellen Typ pseudo-zufälliger Binärfolgen, besser bekannt als „Pseudo-Noise“-Sequenzen (PN-Sequenzen) dar, die es erlauben, den gewünschten Distanzmessbereich präzise zu begrenzen, so dass Objekte, die sich außerhalb dieses selektierten Distanzbereichs befinden nicht erfasst werden.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung erfolgt die Anpassung der Belichtungszeit für jede der Einzelmessungen derart, dass sich ein vorgegebenes Signal-Rausch-Verhältnis ergibt.
-
Dabei ist bevorzugt vorgesehen, dass das vorgegebene Signal-Rausch-Verhältnis ein über den Gesamtentfernungsmessbereich im Wesentlichen konstantes Signal-Rausch-Verhältnis ist. Unter anderem kann durch die Anpassung der quadratische Amplitudenabfall des Beleuchtungssignals mit zunehmender Entfernung (Messdistanz) kompensiert werden.
-
Gemäß noch einer weiteren bevorzugten Ausführungsform der Erfindung wird die Basis-PN-Folge in Form von Sub-Bitfolgen, die sich aus einer Substitutionsregel ergeben, an die Beleuchtung und den Lichtlaufzeitsensor ausgegeben, wobei sich die Sub-Bitfolgen für die Beleuchtung von den entsprechenden Sub-Bitfolgen für den Lichtlaufzeitsensor unterscheiden.
-
Dies hat den Vorteil, dass die aus der Substitution resultierende Folge für den Lichtlaufzeitsensor zumindest in gewissem Maße unabhängig von der aus der Substitution resultierende Folge für die Beleuchtung wählbar ist. Dies ermöglicht es, die beiden Folgen nach unterschiedlichen Kriterien zu optimieren.
-
Bevorzugt ist der Lichtlaufzeitsensor als photonischer Mischelemente-Sensor mit Modulationskanälen ausgebildet. Dieser Sensortyp wird auch kurz als PMD-Sensor bezeichnet (PMD: Photonic Mixer Device). In diesem Falle ist besonders bevorzugt vorgesehen, dass die Sub-Bitfolgen für den photonischen Mischelemente-Sensor derart ausgestaltet ist, dass eine im Wesentlichen symmetrische Verteilung von Ladungsträgern auf die Modulationskanäle erfolgt.
-
Mit Vorteil erfolgen zumindest zwei Entfernungsmessungen, bei denen zumindest eine für eine erste dieser Entfernungsmessungen genutzte Einzelmessung auch für eine zweite dieser Entfernungsmessungen genutzt wird. Mit anderen Worten beruht nicht jede der Entfernungsmessungen auf einem Satz an Einzelmessungen, die ausschließlich für diese eine Entfernungsmessung genutzt werden.
-
Bei dem erfindungsgemäßen Lichtlaufzeit-Entfernungsmesssystem mit einer Beleuchtung zur Aussendung und einem Lichtlaufzeitsensor zum Empfang modulierten Lichts und mit einem Modulator zur Erzeugung eines Modulationssignals für die Beleuchtung und den Lichtlaufzeitsensor auf Basis zumindest einer Basis-PN-Folge ist vorgesehen, dass das System eingerichtet ist (i) mehrere Einzelmessungen (Et,1, Et,2, ...) durchzuführen und für jede einzelne Entfernungsmessung in einem zugeordneten Entfernungsmessbereich mindestens zwei dieser Einzelmessungen zu verwenden und (ii) die jeweilige Belichtungszeit bei den Einzelmessungen in Abhängigkeit des zugeordneten Entfernungsmessbereichs zu wählen.
-
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Lichtlaufzeit-Entfernungsmesssystems ist dieses System zur Durchführung eines vorstehend genannten Verfahrens zur Entfernungsmessung eingerichtet.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen:
- 1 eine schematische Darstellung eines als Lichtlaufzeitkamerasystem ausgebildeten Lichtlaufzeit-Entfernungsmesssystems
- 2 eine modulierte Integration der erzeugten Ladungsträger,
- 3 einen Schnitt durch ein Pixel eines als photonischer Mischelemente-Sensor ausgebildeten Lichtlaufzeitsensors des Lichtlaufzeitkamerasystems,
- 4 Entfernungsmessbereiche sowie der Verlauf von resultierenden Korrelationsfunktionen von Einzelmessungen,
- 5 eine mögliche Anpassung der Belichtungszeiten der Einzelmessungen sowie der Verlauf der aus der Anpassung resultierenden Korrelationsfunktionen und
- 6 schematisch ein PMD-Pixel.
-
Die 1 zeigt eine schematische Darstellung eines Lichtlaufzeitkamerasystems 10. Das Lichtlaufzeitkamerasystem 10 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 12 mit einer Beleuchtung 14 und einer dazugehörigen Strahlformungsoptik 16 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 18 mit einer Empfangsoptik 20 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist ein Pixel-Array einer Vielzahl von Lichtlaufzeitpixeln 24 auf (von denen eines in 3 explizit gezeigt ist) und ist im Beispiel als photonischer Mischelemente-Sensor 26, auch PMD-Sensor genannt, ausgebildet. Ist der Lichtleitsensor 22 nicht bildgebend, so kann der Lichtlaufzeitsensor 22 auch wenige oder sogar nur ein einziges Lichtlaufzeitpixel 24 aufweisen. In diesem Zusammenhang spricht man nicht mehr von einem Lichtlaufzeitkamerasystem 10 sondern allgemein von einem Lichtlaufzeit-Entfernungsmesssystem 28. Die Empfangsoptik 20 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 16 des Beleuchtungsmoduls 12 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann gegebenenfalls auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
-
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Beleuchtung 14 und der Lichtlaufzeitsensor 22 über einen Modulator 30 mit Modulationssignalen M'0, M''0 beaufschlagt, die auf gemeinsamen Basis-PN-Folgen beruhen.
-
Im dargestellten Beispiel ist ferner zwischen dem Modulator 28 und der Beleuchtung 14 ein Phasenschieber 32 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals M'0 der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von (φvar = 0°, 90°, 180°, 270°, ... verwendet, wobei 360° einem Bit in der Original-PN-Sequenz entsprechen.
-
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 34 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(tL) mit einer zweiten Phasenlage p2 = φ0 + φvar + Δφ(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M0 mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
-
Ferner ist ein Modulationssteuergerät 36 vorgesehen, mit dem die Form und insbesondere Puls und Pausenverhältnisse des Modulationssignals vorgegeben werden. Auch kann über das Modulationssteuergerät 36 der Phasenschieber 32 in Abhängigkeit der durchzuführenden Messaufgabe angesteuert werden.
-
Als Beleuchtungs- beziehungsweise Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden und -Laserdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
-
Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Basis-Modulationssignals M0 mit der die Beleuchtung 14 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 32 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22.
-
Die 3 zeigt den Querschnitt eines einzelnen Pixels 24 eines photonischen Mischelemente-Sensors 26 am Beispiel einer CCD-Struktur. Dabei umfasst das photonische Mischelement neben dem Pixel 24 die für die Spannungsversorgung und die Signalableitungen notwendigen Strukturen. Die äußeren Gates Gsep dienen lediglich zur elektrischen Abgrenzung dieses Pixels 24 gegenüber benachbarten Strukturen.
-
Die in 3 gezeigte Ausführung ist auf einem p-dotierten Siliziumsubstrat 38 ausgeführt. Die Modulationsgates Ga, Gb der beiden Modulationskanäle A, B stellen den lichtsensitiven Teil 40 dar und befinden sich im Inversionszustand. Zusätzlich zu einer positiven Vorspannung Uo an der leitfähigen aber optisch teiltransparenten oberen Abdeckung, zum Beispiel aus Poly-Silizium, werden sie mit den überlagerten Gegentaktspannungen Um(t) betrieben. Die sich ergebenden Modulationsspannungen verursachen multiplikativ eine Separierung der durch die Photonen des einfallenden Lichts in der Raumladungszone erzeugten Minoritätsladungsträger unmittelbar unterhalb der Isolatorschicht 42, zum Beispiel aus Siliziumoxyd oder Siliziumnitrid. Diese Ladungsträger (im Beispiel Elektronen) driften unter dem Einfluss der modulierenden Gegentaktspannung zu den eng benachbarten Akkumulationsgates Ga oder Gb und werden dort aufintegriert während die Majoritätsladungsträger bzw. Löcher zum Masseanschluss des p-Si-Substrats fließen.
-
Mit anderen Worten weist das Lichtlaufzeitpixel 24 des Lichtlaufzeitsensors 22 typischerweise eine erstes und zweites Akkumulationsgate Ga, Gb auf, in denen in Abhängigkeit des Potentialverlaufs im lichtempfindlichen Bereichs die photonisch erzeugten Ladungen q abwechselnd über mehrere Modulationsperioden gesammelt werden. Die in der unverschobenen Phasenlage erzeugten Ladungen q werden im ersten Akkumulationsgate Ga und die in der um 180° verschobenen Phasenlage M0 + 180° im zweiten Akkumulationsgate Gb gesammelt. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δϕ(tL) und somit eine Entfernung d des Objekts bestimmen.
-
Grundsätzlich ist die Anzahl von logischen Einsen einer pseudo-zufälligen Binärfolgen, beispielsweise einer Maximalfolge (MLS), jeweils um Eins größer als die Anzahl logischer Nullen, wobei sie jeweils eine gerade Anzahl von logischen Einsen und die ungerade Anzahl von logischen Nullen aufweist. Bei der direkten Verwendung einer Maximalfolge MLS für die Modulation eines PMD-Tiefenbildsensors 26 führt dies prinzipbedingt zu einer ungleichmäßigen Ladungsträgerverteilung auf die beiden Modulationsgates Ga, Gb beziehungsweise Modulationskanäle A, B. Um eine symmetrische Ladungsträgerverteilung zu erzielen und somit MLS für die Modulation eines PMD-Tiefenbildsensors 26 nutzbar zu machen, muss die Anzahl von Einsen und Nullen für die Realisierung der impulsförmigen Autokorrelationseigenschaft identisch sein. Dieser Ausgleich wird nun durch eine adäquate Substitution der einzelnen Bits der Basis-MLS herbeigeführt.
-
Es ergibt sich nun folgendes Vorgehen bezüglich der resultierenden Modulationssignale M0',M0'' für die Beleuchtung 14 und den Lichtlaufzeitsensor 22:
- Ausgehend von einer Basis-PN-Folge, die man auch als Basis-Modulationssignal M0 auffassen kann, wird ein Modulationssignal M0' für die Beleuchtung 14 und ein Modulationssignal M0'' für den Lichtlaufzeitsensor 22 in Form von Sub-Bit-Folgen generiert, wobei sich die Sub-Bitfolgen für die Beleuchtung 14 einer jeden Basis-PN-Folge von den entsprechenden Sub-Bitfolgen für den Lichtlaufzeitsensor 22 unterscheidet.
-
Die Tabelle 1 zeigt ein besonders einfaches Schema für ein System
28, bei dem der Lichtlaufzeitsensor
22 als Photonischer Mischelemente-Sensor
26 ausgebildet ist. Bei diesem Beispiel wird jedes Bit der Basis PN-Folge bei den Modulationssignalen durch ein 2-Bit-Wort ersetzt.
Tabelle 1
Basis-PN-Bit | Exemplarische Substitution |
BeleuchtungsModulation | PMD Modulation (Kanal A) | PMD Modulation (Kanal B) |
0 | 0 0 | 1 0 | 0 1 |
1 | 0 1 | 0 1 | 1 0 |
-
Da eine jede Basis-PN-Folge mindestens eine Null aufweist, bei der sich die Beleuchtungsmodulation von der PMD-Modulation jedes der Modulationskanäle A, B unterscheidet, unterscheiden sich die Sub-Bitfolgen für die Beleuchtung 14 einer jeden Basis-PN-Folge zwingend von den entsprechenden Sub-Bitfolgen für den hier als PMD-Sensor 26 ausgebildeten Lichtlaufzeitsensor 22.
-
Die Substitution ist selbstverständlich nicht auf 2-Bit-Wort beschränkt, sondern kann auch mehr als 2-Bit, insbesondere auch 4-Bit aufweisen, wie in der nachfolgender Tabelle exemplarisch gezeigt.
Tabelle 2
Basis-PN-Bit | Exemplarische Substitution |
BeleuchtungsModulation | PMD Modulation (Kanal A) | PMD Modulation (Kanal B) |
0 | 0 0 0 0 | 1 1 0 0 | 0 0 1 1 |
1 | 1 0 0 0 | 0 0 1 1 | 1 1 0 0 |
-
Diese Substitution zeichnet sich dadurch aus, dass in der PMD-Modulation zwei EINSER-Bits vorgesehen sind und in der Beleuchtungsmodulations nur ein einziges EINS-Bit. Die Postion des gesetzten EINS-Bits ist hierbei beliebig wählbar.
-
Vorteilhaft weisen die Sub-Bit-Folgen eine geradzahlige Anzahl von Bits auf. Dabei ist die Anzahl der EINS- und NULL-Bits bei der Sensor- bzw. PMD-Modulation gleich groß. Für die Beleuchtungsmodulation ist es jedoch bevorzugt, die Anzahl der EINS-Bits kleiner als die Anzahl NULL-Bits und insbesondere kleiner als die Anzahl der EINS-Bits der Sensor- bzw. PMD-Modulation zu wählen.
-
Lichtlaufzeitkameras 18 mit PMD-Sensoren 26 messen in jedem Pixel 24 die Entfernung d zum jeweiligen Objekt 34 anhand der laufzeitabhängigen Phasenverschiebung zwischen einem reflektierten modulierten Lichtsignal und einem Referenzsignal mit identischer Modulation (--> homodyne Detektion). Dazu wird die Korrelationsfunktion von reflektiertem Modulationssignal und Referenzsignal ausgewertet. Aus der Phasenverschiebung lässt sich mithilfe der Lichtgeschwindigkeit c und der Modulationsfrequenz fmod anschließend die resultierende Entfernung (=Messdistanz) d ermitteln. Zur vollständigen Ermittlung der Phasenverschiebung benötigt man in der Regel mindestens zwei Einzelmessungen mit unterschiedlichen relativen Phasenwinkeln zwischen Beleuchtungsmodulations- und Referenzsignal. Zugunsten einer einfacheren Berechnung sowie Redundanz verwendet man jedoch in der Regel vier Einzelmessungen mit Phasenwinkeln von jeweils 0°, 90°, 180° und 270°.
-
Da die Messung der Objektdistanz bei Laufzeitmessungen (ToF: Time of Flight) auf der Laufzeit des von der Beleuchtung
14 emittierten und von den Objekten
34 der Szene reflektierten Lichtsignals beruht, ist die gemessene Amplitude 4 stark von der Szene abhängig. Z.B. ist die Amplitude
A proportional zur Reflektivität µ der gemessenen Objekte und nimmt prinzipbedingt quadratisch mit der Messdistanz
d ab, wodurch sich folgende Gleichung ergibt:
-
So erhält man beispielsweise von einem Objekt 34, welches sich in zwei Metern Entfernung von dem Kamerasystem 10 befindet statistisch nur noch ein Viertel der Photonenanzahl die man bei einer Distanz von einem Meter erhält. Diese Gegebenheit wirkt sich vor allem negativ auf das Signal-Rauschverhältnis (SNR) bei größeren Objektdistanzen aus.
-
Für eine einzelne Distanzmessung wird die Lichtlaufzeitkamera mit den beschriebenen substituierten Folgen betrieben, wobei das Beleuchtungssignal gegenüber dem PMD-Signal um Δφ phasenverschoben wird. Hierbei bezieht sich eine Phasenverschiebung von Δφ = 360° auf eine relative Verschiebung von 1 Bit in der Original-PN-Sequenz. Verschiebungen Δφ > 360° und Δφ < 0° sind ebenfalls möglich. 4 zeigt exemplarisch acht Korrelationsfunktionen, die sich mit Phasenverschiebungen ergeben, die in 90°-Schritten größer werden.
-
In 4 unten, wird angenommen, dass die gemessenen Objekte für alle Entfernungen d identische Reflektivitäten aufweist. Ist dies in einer realen Szene nicht der Fall, kann dies dazu führen kann, dass in manchen Einzelmessungen die Objekte überbelichtet (gesättigt) sind oder unterbelichtet sind (ein schlechtes Signal-Rausch-Verhältnis aufweisen).
-
Die 4 zeigt im Detail eine sich ergebende Situation bei acht Einzelmessungen #1, #2, #3, #4, #5, #6, #7, #8, die so miteinander kombiniert werden, dass sich fünf Entfernungsmessungen D1 bis D5 mit einem jeweilig zugeordneten Entfernungsmessbereich Entfernungsmessbereichs 44, 46, 48, 50, 52 ergeben.
-
Die Tabelle 3 gibt die entsprechende Situation wieder. Diese zeigt die entsprechende Mess-Konfiguration auf Basis von MLS für einen Gesamtmessbereich von 4m (2,67m - 6,67m) aufgeteilt auf die acht Einzelmessungen
#1,
#2,
#3,
#4,
#5,
#6,
#7,
#8. Bei der Berücksichtigung von jeweils vier Einzelmessungen pro Auswertung erfordert dies insgesamt fünf Auswertungen.
Tabelle 3
# | Verwendete Einzelmessungen | Messbereich [m] |
D1 | [#1; #2; #3; #4] | 2,67 - 4 |
D2 | [#2; #3; #4; #5] | 3,33 - 4,67 |
D3 | [#3; #4; #5; #6] | 4 - 5,33 |
D4 | [#4; #5; #6; #7] | 4,67 - 6 |
D5 | [#5; #6; #7; #8] | 5,33 - 6,67 |
-
Dementsprechend ergibt sich in 4 auch ein Gesamtentfernungsmessbereich 54 von 2,67 - 6,67 m. Weiterhin ist in 4 der Verlauf der resultierenden Korrelationsfunktionen 56 zwischen optischem Modulationssignal und dem Modulationssignal, mit dem der PMD-Tiefenbildsensor moduliert wird für acht um jeweils einen Puls verschobene Beleuchtungsmodulationssequenzen dargestellt. Daraus resultiert eine sukzessive Verschiebung des selektiven Distanzmessbereichs, also beispielsweise des Entfernungsmessbereichs 44 zu den Entfernungsmessbereichen 46, 48, 50, 52. Im vorliegenden Beispiel entspricht eine relative Verschiebung der Modulationssequenzen um jeweils ein Sub-Bit einer Verschiebung des selektierten Messbereichs um jeweils 0,66 m. Bei jeder nachfolgenden Einzelmessung #2, #3, #4, #5, #6, #7, #8 wird der Messbereich in diesem Fall daher um jeweils 0,66 m verschoben. Bei der Verwendung einer konstanten Belichtungszeit muss diese stets auf die größte geforderte Messdistanz, also das Ende des Gesamtentfernungsmessbereichs 54, dimensioniert werden, um das Distanzrauschen über einen spezifizierten Messbereich auf einen maximal zulässigen Wert zu begrenzen. Für geringere Distanzen oder sehr helle Objekte ergibt sich dadurch jedoch stets eine größere Belichtungszeit als nötig, was ggf. bereits zu Sättigung führen kann. Bei den in der 1. Diagrammzeile dargestellten Korrelationsfunktionen 56 ist der quadratische Amplitudenabfall mit der Distanz nicht berücksichtigt. Berücksichtigt man diesen, erhält man die in der 2. Diagrammzeile (unten) dargestellten Verläufe der Korrelationsfunktionen 58.
-
Um den über den Gesamtentfernungsmessbereichs 54 variierenden Intensitätsverlauf zu kompensieren und so eine ausgewogene Beleuchtungsintensität zu erzielen, erfolgt eine Aufteilung des beabsichtigten Gesamtentfernungsmessbereichs 54 in die Entfernungsmessbereiche 44, 46, 48, 50, 52. Jeder dieser Entfernungsmessbereiche 44, 46, 48, 50, 52 wird durch eine gewisse Anzahl von Einzelmessungen (im vorliegenden Beispiel vier Einzelmessungen) abgedeckt. Jeder Einzelmessung #1, #2, #3, #4, #5, #6, #7, #8 kann dann eine individuelle Belichtungszeit 60, 62, 64, 66, 68, 70, 72, 74 (in 5 gezeigt) zugeordnet werden, die jeweils auf den korrespondierenden Entfernungsmessbereich 44, 46, 48, 50, 52 angepasst ist.
-
Im Falle Szene von Objekten mit identischer Reflektivität µ lässt sich, unter Verwendung der in 5 (1. Diagrammzeile) gezeigten Belichtungszeiten 60, 62, 64, 66, 68, 70, 72, 74, die auf den jeweiligen Entfernungsmessbereich 44, 46, 48, 50, 52 angepasst sind, über den Gesamtentfernungsmessbereich 54 eine ausgewogene Beleuchtung mit im Wesentlichen konstanten Amplituden erzielen, entsprechend 5 Diagrammzeile (unten).
-
Für die distanzspezifische Anpassung der Belichtungszeit müssen zwei Voraussetzungen erfüllt sein:
- (a) Die Aufteilung in Entfernungsmessbereiche 44, 46, 48, 50, 52 setzt zunächst die Möglichkeit zur Begrenzung des Gesamtentfernungsmessbereichs 54 voraus.
- (b) Zusätzlich muss die Möglichkeit gegeben sein, die Grenzen eines einzelnen Entfernungsmessbereichs 44 zu verschieben.
-
Beide Voraussetzungen lassen sich vorzugsweise durch eine angepasste Modulation des Lichtlaufzeitkamerasystems 10 realisieren. Als prädestiniert erweist sich hier die Verwendung von Folgen maximaler Länge bzw. Maximalfolgen, besser bekannt als Maximum Length Sequences (MLS) zur Modulation.
-
Zur Ergänzung des Beispiels gemäß
3 zeigt
6 einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der
DE 197 04 496 A1 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. Integrationsknoten
Ga,
Gb gelenkt. Die Integrationsknoten können als Gate oder auch als Diode ausgebildet sein.
-
6b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationskonten Ga abfliesen, während das Potenzial gemäß 6c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
-
In 6a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.
-
Die im vorgenannten beschriebenen Belichtungszeiten entsprechen den Integrationszeiten mit denen Ladungen an den Integrationskonten Ga, Gb gesammelt werden.
-
Die Belichtungszeiten bzw. Integrationszeiten sind so gewählt, dass die Integrationszeiten nicht in Sättigung geraten und für die gewählten Entfernungsmessungen vergleichbare Signal-Rauschverhältnisse aufweisen.
-
Die Idee der Erfindung ist eine Methode, die die dynamische Adaption der Belichtungszeiten jeder Einzelmessung individuell erlaubt, sodass jede der Einzelmessungen optimal belichtet ist. Hierfür ist eine Zeitreihe von mindestens zwei Messungen (M1, M2, ...) (wie z.B. in einem Video) nötig, wobei jede Messung Mt aus mehreren n >_ 3 phasenverschobenen Einzelmessungen Et,1, ..., Et,n besteht. Jeder Einzelmessung Et,1 ist dabei eine Belichtungszeit τt,i zugeordnet, wobei t ∈ {1, ..., m} (m = Anzahl der Messungen) und i ∈ {1, ...,n} (n = Anzahl der Einzelmessungen pro Messung). Grundsätzlich kann jede Einzelmessung die Ergebnisse bzw. Amplituden mehrerer Pixel enthalten, sofern der Sensor der Kamera mehrere Pixel aufweist.
-
Die Idee besteht darin, eine Belichtungszeit-Steuerungsfunktion
anzugeben, über die aus der aktuellen Messung M
t und Belichtungszeiten
die Belichtungszeiten τ
t+1,1, ...,τ
t+1,n der Einzelmessungen der nächsten Messung M
t+1 bestimmt werden, also
-
Eine besonders einfache Ausführung besteht darin, dass aus jeder Einzelmessung E
t,i die Belichtungszeit τ
t+1,i derselben Einzelmessung E
t+1,i im nächsten Zeitschritt t + 1 bestimmt wird. Hierbei kann z.B. das 90%-Quantil der Amplituden-Betragswerte der Pixel dieser Einzelmessung, Q
0.9(|E
t,i|), folgendermaßen verwendet werden:
mit A
aim als gewünschte Zielamplitude.
-
Nimmt man an, Werte der Einzelmessung (und somit auch das Quantil) proportional zur Belichtungszeit sind, sorgt obige Berechnungsgrundlage dafür, dass das Quantil der neuen Einzelmessung Q0.9(|Et+1,i|) Aaim ist, sofern sich in diesem Zeitschritt nur wenig in der Szene geändert hat.
-
Hierbei gibt es zu bedenken, dass Einzelmessungen nach der oben beschriebenen Art für jeden Pixel positive und negative Werte aufweisen können, da sie die Differenz zwischen den beiden Kanälen A und B im PMD-Sensor sind. Daher ist der Betrag nötig. Nehmen wir an, dass ein Pixel bei den Werten ±AS sättigt, sollte Aaim < As gewählt werden, z.B. Aaim = 0.8As. Dadurch ist gewährleistet, dass 90% der Pixelwerte weit genug von dem Sättigungswert entfernt sind und somit eine zweckmäßige Auswertung möglich ist.
-
Zu bemerken ist, dass Gl. (3) nicht auf die erste Messung angewandt werden kann, da keine vorherige Messung vorhanden ist. Hierbei ist es möglich, identische Belichtungszeiten τ
t,1 = τ
t,2 = ... = τ
t,n für jede Einzelmessung zu wählen. Alternativ könnte als Startwert auch
wobei d̅
i ein typischer Wert aus dem Messbereich der Einzelmessung E
t,i ist, z.B. die Mitte des Messbereichs.
-
Unter Umständen kann es passieren, dass die gesamte Belichtungszeit τ
t,Σ = τ
t,1 + ... + τ
t,
n limitiert ist, z.B. aus Gründen der Augensicherheit. Ist τ
max die maximal zulässige Gesamtbelichtungszeit, können durch die Vorschrift
für alle i = 1, ..., n mögliche Belichtungszeiten erhalten werden.
-
Sollte eine optimale Belichtung der Einzelmessungen i
1, ..., i
k (k < n) erwünscht sein, ist es auch möglich,
zu wählen, wobei
zu wählen ist. Somit werden nur die Belichtungszeiten der unwichtigen Einzelmessungen i ≠ i
1, ..., i
k reduziert.
-
In Einzelmessungen für Distanzbereiche, in denen sich kein Objekt befindet, weisen fast alle Pixel sehr geringe Messwerte auf. In diesem Fall ist es vorteilhaft, die Belichtungszeit für diese Einzelmessung gering zu halten, um die Gesamtbelichtungszeit gering zu halten.
-
In einer einfachen Ausführung könnte z.B. die Belichtungszeit τ
t+1,i = 100µs gesetzt werden für alle Einzelmessungen E
i, bei denen das das belichtungszeitnormierte 90%-Quantil
ist. Hierbei ist A
min ein modulspezifischer Schwellwert.
-
Zu bemerken ist, dass die neue Belichtungszeit τt+1,i hinreichend groß zu wählen ist, sodass ein mögliches Objekt, das sich in den Messbereich von Ei bewegt hat, Messwerte über dem Rauschwert liefert.
-
Für bestimmte Anwendungen kann es nötig sein, ein bestimmtes Objekt, das sich im gesamten Messbereich befindet, optimal zu beleuchten, während der Rest der Szene weniger wichtig ist. Sollte das Objekt nach jeder Messung in einem weiteren Arbeitsschritt identifiziert werden, kann es auf einen Bereich
B c 5 auf dem Sensor S eingeschränkt werden, wobei S sämtliche Pixel des Sensors bezeichnet, sodass das Objekt durch die Pixel im Bereich
B abgedeckt wird. Da das Objekt typischerweise auch nur einen Teil des gesamten Distanzbereichs abdeckt, können außerdem die relevanten Einzelmessungen E
t,i
min ,..., E
t,i
max identifiziert werden. Die Funktion
in Gl. (3) ist nun so zu wählen, dass das 90%-Quantil der Beträge der Pixelwerte dieses Bereichs, Q
0.9(|E
t,i
min (B)|,... |E
t,i
max (B)|), den Wert A
aim annimmt.
-
Das erfindungsgemäße Lichtlaufzeit-Entferungsmesssystem ist vorzugsweise so aufgebaut, dass eine Messung M
t aus mindestens drei Einzelmessungen mit verschiedenen Phasenverschiebungen Δcp zwischen Beleuchtung in PMD-Sensor besteht, wodurch verschiedene Distanzbereiche abgedeckt werden. Hiebei ist es vorgesehen, eine zeitliche Sequenz M
1,M
2,... mit mindestens zwei Messungen zu erzeugen und die Belichtungszeiten
T - t+, für eine Messung M
t+1 aus der vorherigen Messung M
t mit zugehörigen Belichtungszeiten
hervorgeht, also
-
Bezugszeichenliste
-
- 10
- Lichtlaufzeitkamerasystem
- 12
- Beleuchtungsmodul
- 14
- Beleuchtung
- 16
- Strahlformungsoptik
- 18
- Lichtlaufzeitkamera
- 20
- Empfangsoptik
- 22
- Lichtlaufzeitsensor
- 24
- Lichtlaufzeitpixel
- 26
- Photonischer Mischelemente-Sensor
- 28
- Lichtlaufzeit-Entfernungsmesssystem
- 30
- Modulator
- 32
- Phasenschieber
- 34
- Objekt
- 36
- Modulationssteuergerät
- 38
- Siliziumsubstrat
- 40
- lichtsensitiver Teil
- 42
- Isolatorschicht
- 44 - 52
- Entfernungsmessbereich
- 54
- Gesamtentfernungsmessbereich
- 56
- Verlauf der Korrelationsfunktionen
- 58
- Verlauf der Korrelationsfunktionen
- 60 - 74
- Belichtungszeit
- 76
- Verlauf der Korrelationsfunktionen
- d
- Abstand
- A
- erster Modulationskanal
- B
- zweiter Modulationskanal
- Δφ(tL)
- laufzeitbedingte Phasenverschiebung
- φvar
- Phasenlage
- φ0
- Basisphase
- Ga, Gb
- Modulationsgate
- Gaa, Gba, Gsep
- weitere Gates
- #1, ... , #8
- Einzelmessungen