-
Die Erfindung befasst sich mit einem Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems nach Gattung des Anspruchs 1.
-
Lichtlaufzeitkameras bzw. Lichtlaufzeitkamerasysteme betreffen insbesondere alle Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der
DE 197 04 496 C2 beschrieben und von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
-
Bei einem Lichtlaufzeitkamerasystem können auf verschiedene Weisen Messfehler entstehen, die darauf beruhen, dass sich der gewünschte Lichtpfad mit ungewünschten Lichtpfaden überlagert, deren Distanzen sich möglicherweise vom gewünschten unterscheiden. Z.B. wird bei Multipath-Interferenz MPI der direkte Lichtpfad mit Pfaden gemischt, die an anderen Objekten in der Szene reflektieren, bevor sie das gewünschte Objekt treffen, wodurch ein längerer Lichtpfad als der gewünschte suggeriert wird.
-
Andererseits kann Licht von einem Objekt in der Szene durch Fehler im Linsensystem zum Teil auf andere Pixel eines Pixel-Sensors gerichtet werden, als derjenige, der der Richtung des Objekts entspricht. Dies wird allgemein als Streulicht (Engl. „stray light“) bezeichnet. Derartige Fehler sind grundsätzlich szenenabhängig, insbesondere verursachen Objekte mit doppelter Reflektivität auch doppelt so viel Streulicht.
-
Meist beruhen Korrekturmethoden darauf, dass das streulichtverfälschte Bild die Faltung eines zu bestimmenden unverfälschten Bildes und der durch das Linsensystem charakterisierten Punktspreizfunktion PSF ist. Das unverfälschte Bild kann dann z.B. durch Entfaltung mit der PSF erhalten werden. Ein derartiges Vorgehen ist beispielsweise in den Schriften
US8554009B2 , ,
US8723924B2 ,
EP1672912B1 beschrieben.
-
Eine andere Möglichkeit beruht auf dem ständigen Vergleich der gemessenen und der wahren Distanz eines Referenzobjekts, das sich immer bei bekannter Distanz in der Szene befindet, wie es beispielsweise in der
US8964028B2 aufgezeigt wird.
-
Davon zu unterscheiden ist „internes Streulicht“ bzw. „internes Übersprechen“, bei dem ein Teil des emittierten Lichts, z.B. durch Reflexionen an der Innenseite des Gehäuses oder Cover-Glases bzw. Abdeckglas bzw. Frontscheibe, von der aktiven Beleuchtungseinheit zurück zum Lichtlaufzeitsensor kommt, ohne in die Szene zu gelangen. Da damit das Licht nicht von der Szene abhängen kann, sind obige Methoden hier nicht anwendbar.
-
Aufgabe der Erfindung ist es, die Kompensation von Phasenfehlern weiter zu verbessern.
-
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren gelöst.
-
Besonders vorteilhaft ist ein Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems mit einem Lichtlaufzeitsensor mit mehreren Lichtlichtlaufzeitpixeln zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts vorgesehen,
wobei ausgehend von den erfassten Phasenverschiebungen Entfernungswerte ermittelt werden,
wobei die Entfernungswerte ausgehend von den erfassten Kanaldifferenzen unter Berücksichtigung einer im Vorfeld ermittelten internen Streulichtkorrektur ermittelt werden.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen:
- 1 schematisch ein Lichtlaufzeitkamerasystem,
- 2 eine modulierte Integration erzeugter Ladungsträger,
- 3 Verläufe von Ladungsintegrationen an einem Lichtlaufzeitpixel,
- 4 eine Relation einer Phasenverschiebung in einem IQ-Diagramm,
- 5 eine mögliche Anordnung, die internes Streulicht verursacht.
-
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
-
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der
DE 197 04 496 A1 bekannt ist.
-
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
-
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
-
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M0 mit einer Basisphasenlage φ0 beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals M0 der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φvar = 0°, 90°, 180°, 270° verwendet.
-
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke 2d, bzw. der Lichtlaufzeit tL , phasenverschoben A(P(tL ) mit einer zweiten Phasenlage p2 = φ0 + φvar + A(P(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M0 mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
-
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden oder Oberflächenemitter (VCSEL). Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
-
Das Grundprinzip der Phasenmessung ist beispielhaft schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M0 mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben A(P(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M0 in einem ersten Integrationsknoten Ga und in einer um 180° verschobenen Phasenlage in einem zweiten Integrationsknoten Gb. Für diese Lenkung der Ladungen auf die Integrationsknoten weisen die Pixel 23 des Lichtlaufzeitsensors 22 wenigstens zwei Modulationsgates Gam, Gbm auf, die in Abhängigkeit der anliegenden Modulationssignale die Ladungen zum ersten oder zweiten Integrationsknoten Ga, Gb lenken. Der erste und zweite Integrationsknoten bilden so genannte A- und B-Kanäle. Aus dem Ladungsunterschied zwischen den beiden Kanälen A und B bzw. der im ersten und zweiten Integrationsknoten Ga, Gb gesammelten Ladungen qa, qb lässt sich unter Berücksichtigung aller Phasenlagen φvar die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.
-
3a und 3b zeigen Verläufe der Kanaldifferenzen bzw. hier der normierten Ladungsdifferenz Δq = qa - qb / (qa + qb) in Abhängigkeit der Phasenverschiebung Δφ(tL) mit unterschiedlichen Phasenlagen des an einem zweikanaligen Lichtlaufzeitpixel in den Kanäle A und B empfangenen Lichtsignals Sp2 . Die 3a zeigt einen Verlauf für eine unverschobene Modulationsphase M0 mit einer Phasenlage φvar = 0°.
-
Bei einem Auftreffen des Signals Sp2 ohne Phasenverschiebung also A(P(tL ) = 0°, beispielsweise, wenn das Sendesignal Sp1 direkt auf den Sensor gelenkt wird, sind die Phasen der Modulation M0 und vom empfangenen Signal Sp2 identisch, so dass alle erzeugten Ladungsträger phasensynchron am ersten Integrationsknoten Ga erfasst werden und somit ein maximales Differenzsignal mit Δq = 1 anliegt.
-
Mit zunehmender Phasenverschiebung nimmt die am ersten Integrationsknoten Ga akkumulierte Ladung ab und am zweiten Integrationsknoten Gb zu. Bei einer Phasenverschiebung von A(P(tL) = 90° sind die Ladungsträger qa, qb an beiden Integrationsknoten Ga, Gb gleich verteilt und die Ladungsdifferenz somit Null und nach 180° Phasenverschiebung „-1". Mit weiter zunehmender Phasenverschiebung nimmt die Ladung am ersten Gate Ga wieder zu, so dass im Ergebnis die Ladungsdifferenz wieder ansteigt, um dann bei 360° bzw. 0° wieder ein Maximum zu erreichen.
-
Mathematisch handelt es sich hierbei um eine Korrelationsfunktion des empfangenen Signals
Sp2 mit dem modulierenden Signal
M0 .
-
Bei einer Modulation mit einem Rechtecksignal ergibt sich wie bereits dargestellt als Korrelationsfunktion eine Dreiecksfunktion. Bei einer Modulation mit beispielsweise einem Sinussignal wäre das Ergebnis eine Kosinusfunktion.
-
Wie 3a zeigt, ist eine Messung der Phase mit einer Phasenlage nur bis zu einer Phasenverschiebung A(P(tL) ≤ 180° eindeutig.
-
Zur maximalen Erfassung der Phasenverschiebung ist beispielsweise das IQ(Inphase-Quadratur) Verfahren bekannt, bei dem zwei Messungen mit um 90° verschobenen Phasenlagen durchgeführt werden, also beispielsweise mit der Phasenlage φvar = 0° und φvar = 90°. Das Ergebnis einer Messung mit der Phasenlage φvar = 90° ist in 3b dargestellt.
-
Die Beziehung dieser beiden Kurven lässt sich in bekannter Weise beispielsweise für sinusförmige Kurvenverläufe in einem IQ-Diagramm gemäß 4 darstellen. In erster Näherung ist diese Darstellung ohne weiteres auch für die dargestellten Dreiecksfunktionen anwendbar.
-
Der Phasenwinkel lässt sich dann in bekannter Weise über eine arctan-Funktion bzw. arctan2-Funktion bestimmen:
-
Gleichermaßen kann der Formalismus auch als Verhältnis des Imaginär- zum Realteil gesehen werden.
-
Aufgrund des linearen Zusammenhangs zwischen Ladung und Spannung, lässt sich der Phasenwinkel ebenso über die Spannungsdifferenzen bestimmen:
-
Um beispielsweise Asymmetrien des Sensors zu kompensieren, können zusätzliche um 180° verschobene Phasenmessungen durchgeführt werden, so dass sich im Ergebnis der Phasenwinkel wie folgt bestimmen lässt.
-
Oder verkürzt formuliert:
-
Wobei die Indizes die jeweilige Phasenlage der Kanaldifferenzen D
i andeuten, mit
-
Die Kanaldifferenz Di muss hier nicht zwingend in der Ladungsdomäne ermittelt werden, sondern kann insbesondere in davon abgeleiteten Größen wie beispielsweise einer Spannung bestimmt werden. Insbesondere können die Kanaldifferenzen Di auch nach einer Analog-Digitalwandlung bestimmt werden. Insbesondere können die Kanaldifferenzen auch direkt als Ladungs- und/oder Spannungsunterschiede zwischen den Integrationsknoten Ga, Gb respektive A- und B-Kanälen bestimmt werden. Es können insofern bereits die Rohdaten als auch davon abgeleitete Größen herangezogen werden.
-
Aus der Phasenverschiebung
φ bzw. A(
P(t
L) lassen sich für Objektabstände
d, die kleiner sind als die halbe Wellenlänge λ der Modulationsfrequenz d ≤ λ/2, in bekannter Weise ein Abstand bestimmen.
-
Eine mögliche Ursache der Distanzfehler ist, dass sich das intern bzw. direkt zurückreflektierte Licht (Phase φ ≈ 0°) mit dem Licht des betrachteten Objekts in der Szene (Phase φ > 0°) mischt, wie in 5 exemplarisch gezeigt. Hier wird ein Teil des Lichts an einer Cover-Glas-Abdeckung 45 mehrfach reflektiert und nimmt anstatt des gewünschten Lichtpfads Sp1 , Sp2 den ungewünschten Pfad Sp,int.
-
Um eine zuverlässige Korrektur zu erreichen kann man ausnutzen, dass beide Beiträge additiv sind. Die gemessenen Kanaldifferenzen D
0, D
1, D
2, D
3 lassen sich daher darstellen als:
wobei
der „gewünschte“ Beitrag des gemessenen Objekts und
der „ungewünschte“ Beitrag der internen Reflexion zu der gemessenen Kanaldifferenz D
i(x) ist. D.h. die gemessen Kanaldifferenz D
i(x) ist die Summe aus ,wahrer‘
und interner Kanaldifferenz
-
Die vier Kanaldifferenzen D
i(x) werden dabei typischerweise mit Phasenverschiebungen von 0°, 90°, 180°, 270° zwischen Beleuchtung und Sensor aufgenommen, wobei auch andere Aufnahme-Schemata, z.B. mit N ≠ 4 Bildern oder anderen Phasenverschiebungen, möglich sind. Sofern das System als Pixel-Array ausgelegt ist und der Beitrag der internen Reflexionen von der Position auf dem Sensor abhängen kann, beschreibt x die Position auf dem Sensor. Andernfalls kann
angenommen werden.
-
Die Idee der Erfindung besteht darin, aus obiger Gleichung den fehlerfreien Beitrag
zu bestimmen:
-
Die Berechnung der Distanzen kann daraufhin anhand der korrigierten Kanaldifferenz
erfolgen.
-
Für Messungen nach dem indirekten Time-of-Flight Prinzip ist es üblich, die Kanaldifferenzen D
0, D
1, D
2, D
3 durch Linearkombinationen jeweils zu einem Real- und einem Imaginärteil (Re und Im) zusammenzusetzen, (üblicherweise Re = D
0 - D
2 und Im = D
1 - D
3), aus denen sich die Phase
φ bestimmen lässt. Daher ist es vorteilhaft, auch hier die Additivität der Beiträge auszunutzen und direkt Re und Im zu korrigieren:
-
Die Beiträge Re
int und Im
int ergeben sich aus
auf gleiche Weise wie Re und Im aus D
i. Da typischerweise vier Kanaldifferenzen aufgenommen werden, lässt sich dadurch Rechenzeit einsparen.
-
Um die Korrektur (2) oder (3) anzuwenden, ist es nötig, die Beiträge der internen Kanaldifferenz
zu bestimmen. Eine Möglichkeit ist, ein Target bzw. eine Szene aufzunehmen, deren Reflektivität so gering ist, dass sein Beitrag
verschwindend klein ist. In diesem Fall bestehen die gemessenen Kanaldifferenzen nur aus dem Beitrag der internen Reflexionen und entsprechen somit den internen Kanaldifferenzen:
-
Als Szene eignet sich z.B. ein dunkler und weit entfernter Moltonstoff oder auch ein dunkler Nachthimmel. Um das Bildrauschen zu verringern, ist es weiterhin vorteilhaft, die Ergebnisse über mehrere Aufnahmen zu mitteln.
-
Eine Alternative ist, eine oder mehrere Szenen mit bekannten Entfernungswerten aufzunehmen, wie z.B. eine Wand bei bekannten Abständen. Dann kann ein Optimierungsalgorithmus derart auf die interne Kanaldifferenz
angewendet werden, dass der Unterschied zwischen den wahren Distanzen und den über (2) oder (3) bestimmten Distanzen minimal wird.
-
Während die interne Kanaldifferenz
nicht von der Szene abhängt, kann es durchaus von den gewählten Aufnahmeeinstellungen der Kamera abhängen. So führt z.B. eine längere Belichtungszeit auch zu einem höheren Störsignal. Da beide proportional sind, lässt sich die belichtungszeitabhängige interne Kanaldifferenz
bei Belichtungszeit τ aus einer internen Referenz-Kanaldifferenz
bei einer Referenzbelichtungszeit τ
ref bestimmen über:
-
Sollte es bei anderen Parametern, wie der Modulationsfrequenz, nicht möglich sein, die interne Kanaldifferenz umzurechnen, kann für jeden verwendeten Parameter-Wert eine neue Messung von
erfolgen.
-
Bezugszeichenliste
-
- 1
- Lichtlaufzeitkamerasystem
- 10
- Beleuchtungsmodul
- 12
- Beleuchtung
- 15
- Strahlformungsoptik
- 20
- Empfänger, Lichtlaufzeitkamera
- 22
- Lichtlaufzeitsensor
- 30
- Modulator
- 35
- Phasenschieber, Beleuchtungsphasenschieber
- 40
- Objekt
- 45
- Cover-Glas Abdeckung
- φ, Δ(φ(tL)
- laufzeitbedingte Phasenverschiebung
- φvar
- Phasenlage
- φ0
- Basisphase
- M0
- Modulationssignal
- p1
- erste Phase
- p2
- zweite Phase
- Sp1
- Sendesignal mit erster Phase
- Sp2
- Empfangssignal mit zweiter Phase
- tL
- Lichtlaufzeit
- Ga, Gb
- Integrationsknoten
- d
- Objektdistanz
- q
- Ladung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19704496 C2 [0002]
- US 8554009 B2 [0005]
- US 8723924 B2 [0005]
- EP 1672912 B1 [0005]
- US 8964028 B2 [0006]
- DE 19704496 A1 [0014]