DE102023128922A1

DE102023128922A1 - Lichtlaufzeitkamera

Info

Publication number: DE102023128922A1
Application number: DE102023128922.5A
Authority: DE
Inventors: Yulia Levakhina; Christopher Dietz
Original assignee: IFM Electronic GmbH; PMDtechnologies AG
Current assignee: IFM Electronic GmbH; PMDtechnologies AG
Priority date: 2022-12-16
Filing date: 2023-10-20
Publication date: 2024-06-27

Abstract

Lichtlaufzeitkamera, die nach einem Phasenmessprinzip arbeitet,mit einer Beleuchtung zur Aussendung eines modulierten Lichts,mit einem Empfänger zum Empfang des ausgesendeten und von einer Szenerie reflektierten Lichts,wobei der Empfänger wenigstens ein als Photomischdetektor ausgebildetes Lichtlaufzeitpixel aufweist,wobei das wenigstens eine Lichtlaufzeitpixel wenigstens zwei Integrationsknoten für die Akkumulation photogenerierter Ladungen aufweist,wobei zur Entfernungsbestimmung in wenigstens zwei Messzyklen Licht mit unterschiedlichen Modulationsfrequenzen ausgesendet und empfangen wird und jeweils Phasoren (z1, z2) ermittelt werden,wobei die Auswerteeinheit derart ausgestaltet ist,das aus den Daten eines ersten und zweiten Messzyklus ein kombinierter Phasor (Zc) nach folgender Vorschrift gebildet wird:zc=((1−α)z1N1+α z2N1)z1u−N1z2vmit dem erweiterten euklidischen Algorithmusu,v=egcd(f1,f2)und dem Koeffizientenα=112−v N1

Description

Es wird eine Lichtlaufzeitkamera, die nach dem Phasenmessprinzip arbeitet, nach Gattung des unabhängigen Anspruchs vorgeschlagen.
Aus der DE 10 2013 207 647 A1 ist bereits ein Verfahren zur Entfernungsmessung nach dem Phasenmessprinzip bekannt, bei dem zu Erweiterung des Eindeutigkeitsbereich mehrere Modulationsfrequenzen verwendet werden.
Aus der DE 10 2021 103 581 A1 ist ein Verfahren zur Korrektur von Tiefenbildern einer Lichtlaufzeitkamera bekannt, wobei in wenigstens zwei Phasenmessungen Licht mit unterschiedlichen Modulationsfrequenzen ausgesendet wird, wobei zur Berechnung eines Entfernungswerts, wenigstens zwei Frequenzfaktoren gemäß n₁f₂ = n₂f₁ ermittelt werden.
Aufgabe der Erfindung ist es, eine Lichtlaufzeitkamera robuster insbesondere gegenüber Mehrwegausbreitungen zu machen.
Die Aufgabe wird durch die erfindungsgemäße Lichtlaufzeitkamera gelöst.
Durch Formulierung eines neuen Algorithmus wird das Unwrapping-Problem in der ToF-Prozessierung von Mehrfrequenzverfahren vollständig kontinuierlich und differenzierbar. Die Differenzierbarkeit ermöglicht besseres Training von neuronalen Netzen und Anwendung von Optimierungsverfahren, sowie eine Umsetzung als analoge Schaltung.
Die Rohbilder einer Lichtlaufzeitkamera sind Messungen phasenverschobener periodischer Funktionen. Die Phase ist proportional zur Tiefe d und kann für jeden Bildpunkt (Pixel) bestimmt werden. Üblicherweise sind die Rohdaten sinusförmige Signale, welche als Real- (Re) und Imaginärteil (Im) bezeichnet werden: $R e = - A sin (ϕ)$
$I m = A cos (ϕ)$
$A = \sqrt{R e^{2} + I m^{2}}$
Dabei wurde die Amplitude mit A bezeichnet. Dadurch ergibt sich die Phase ϕ zu: $ϕ = atan 2 (- R e, I m)$
Die Tiefe ist somit: $d = \frac{u r}{2 π} ϕ$
Der Eindeutigkeitsbereich (ur) einer ToF-Kamera limitiert die maximale Reichweite und ist antiproportional zur Modulationsfrequenz: $u r = \frac{c}{2 f}$
Die Lichtgeschwindigkeit ist mit c bezeichnet.
Üblich ist die Anwendung des Zweifrequenzverfahrens, um den Eindeutigkeitsbereich zu erhöhen. Durch Verwendung von zwei Modulationsfrequenzen f₁ und f₂ verdoppelt sich die Anzahl der Rohbilder und in Konsequenz gibt es zwei Tiefen d₁ und d₂ mit Eindeutigkeitsbereichen ur₁ und ur₂.
Die gegen Rauschen robuste Kombination beider Tiefen zu einer Tiefe erfolgt mit dem chinesischen Restsatz: $d_{c} = \frac{u r_{c}}{2} (N_{1} \frac{d_{1}}{u r_{1}} + N_{2} \frac{d_{2}}{u r_{2}} + M (2 v N_{1} - 1))$
$M = r o u n d (N_{2} \frac{d_{2}}{u r_{2}} - N_{1} \frac{d_{1}}{u r_{1}})$
Dabei sind N₁ und N₂ die kleinsten gemeinsamen Vielfachen von f₁ und f₂. Der Bezout Koeffizient v kann durch den erweiterten euklidischen Algorithmus bestimmt werden. Der erweiterte Eindeutigkeitsbereich wird ur_c genannt und wie folgt berechnet:

Dadurch, dass M nicht an allen Stellen differenzierbar ist, lässt sich Formel 1 (oder nur schlecht) in gradientenbasierten Optimierungsverfahren verwenden. Ersetzt man die Rundungsfunktion durch eine lineare Funktion, um den Algorithmus differenzierbar zu machen, ist dieser nicht mehr robust gegen Rauschen.

Das Problem der fehlenden Differenzierbarkeit lässt sich durch ein Unwrapping direkt auf den Rohdaten lösen. Zunächst vereinfachen wir die Rechnung durch Überführung der Rohdaten in die Phasoren z₁ und z₂: $R e_{1} = - A_{1} sin (ϕ_{1})$
$I m_{1} = A_{1} cos (ϕ_{1})$
$R e_{2} = - A_{2} sin (ϕ_{2})$
$I m_{2} = A_{2} cos (ϕ_{2})$
$z_{1} = I m_{1} - i R e_{1} = A_{1} exp (i ϕ_{1})$
$z_{2} = I m_{2} - i R e_{2} = A_{2} exp (i ϕ_{2})$
Der kombinierte Phasor ergibt sich durch ein gewichtetes Mittel aus zwei Phasoren mit kompatibler Frequenz: $z_{c} = ((1 - α) z_{1}^{N_{1}} + α z_{2}^{N_{2}}) z_{1}^{u - N_{1}} z_{2}^{v}$
$u, v = e g c d (f_{1}, f_{2})$
Das Rauschverhalten von z_c hängt zum einen von dem Rauschniveau der Messungen z₁ und z₂ ab und zum anderen von der Wahl des Parameters α. Durch folgende Definition von α heben sich korrelierte Anteile im Rauschen gegenseitig auf (Anstatt sich zu verstärken). $α = \frac{1}{\frac{1}{2} - v N_{1}}$
Der erweiterte euklidische Algorithmus wird mit egcd bezeichnet und liefert die Bezout Koeffizienten u und v. Es ist leicht zu erkennen, dass z_c an allen Stellen differenzierbar ist. Die Distanzmessung berechnet sich wie folgt: $d_{c} = \frac{u r_{c}}{2 π} a t a n 2 (R e a l (z_{c}), I m a g (z_{c}))$
Somit ist dieses Unwrapping-Verfahren vollständig differenzierbar definiert. Ein bedeutender Vorteil dieser Erfindung besteht daher darin, dass gradientenbasierte Optimierungsverfahren von den Rohdaten zum kombinierten Phasor angewendet werden können.
Ein weiterer Vorteil ist die einfache Umsetzung dieses Verfahrens durch eine analoge Schaltung, zum Beispiel durch die Kombination von Analogmultiplizierern mit Log- und Antilogverstärkern. Damit lässt sich eine Analogschaltung entweder in einer Lichtlaufzeitkamera als separate integrierte Schaltung oder direkt in einem 4-Tap Photomischdetektorpixel realisieren, um in einer einzigen Messung einen Phasor mit erweitertem Messbereich aufzunehmen. Alternativ kann die Verarbeitung in einer digitalen integrierten Schaltung erfolgen.
Das Verfahren lässt sich analog zum chinesischen Restsatz auf mehr als zwei Frequenzen erweitern, indem das N-Frequenz Problem z.B. auf die Berechnung mehrerer Frequenzpaare abgebildet wird.
Zusätzlich: Unwrapping der Rohdaten zu kombiniertem Phasor über digitale integrierte Schaltung On-Device oder On-Chip
Bevorzugt ist eine Auswerteeinheit derart ausgestaltet, dass aus den erfassten Daten ein erfindungsgemäße kombinierter Phasor gebildet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013207647 A1 [0002]
DE 102021103581 A1 [0003]

Claims

Lichtlaufzeitkamera, die nach einem Phasenmessprinzip arbeitet, mit einer Beleuchtung zur Aussendung eines modulierten Lichts, mit einem Empfänger zum Empfang des ausgesendeten und von einer Szenerie reflektierten Lichts, wobei der Empfänger wenigstens ein als Photomischdetektor ausgebildetes Lichtlaufzeitpixel aufweist, wobei das wenigstens eine Lichtlaufzeitpixel wenigstens zwei Integrationsknoten für die Akkumulation photogenerierter Ladungen aufweist, wobei zur Entfernungsbestimmung in wenigstens zwei Messzyklen Licht mit unterschiedlichen Modulationsfrequenzen ausgesendet und empfangen wird und jeweils Phasoren (z1, z2) ermittelt werden, wobei die Auswerteeinheit derart ausgestaltet ist, das aus den Daten eines ersten und zweiten Messzyklus ein kombinierter Phasor (Z_c) nach folgender Vorschrift gebildet wird: $z_{c} = ((1 - α) z_{1}^{N_{1}} + α z_{2}^{N_{2}}) z_{1}^{u - N 1} z_{2}^{v}$
so dass der Phasor (Zc) an allen Stellen differenzierbar ist, mit dem erweiterten euklidischen Algorithmus $u, v = e g c d (f_{1}, f_{2})$
wobei der Koeffizient (α) gemäß der Vorschrift $α = \frac{1}{\frac{1}{2} - v N_{1}}$
gebildet wird, so dass sich korrelierte Anteile im Rauschen gegenseitig aufheben, mit Z₁ und Z₂ Phasor des ersten und zweiten Messzyklus und N1, N2 als kleinste gemeinsame Vielfache der ersten und zweiten Frequenz (f1, f2).
Lichtlaufzeitkamera nach Anspruch 1, bei dem aus dem kombinierter Phasor (Z_c) ein Entfernungswert bestimmt wird.