DE102017205743A1

DE102017205743A1 - Lichtlaufzeitkamera

Info

Publication number: DE102017205743A1
Application number: DE102017205743.2A
Authority: DE
Inventors: Stephan Ulrich; Lutz Heyne
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2017-04-04
Filing date: 2017-04-04
Publication date: 2018-10-04

Abstract

Verfahren zur Ermittlung einer Punktspreizfunktion (PSF) für eine Lichtlaufzeitkamera (20) eines Lichtlaufzeitkamerasystems (1),
bei dem mit Hilfe der Lichtlaufzeitkamera (20) ein erstes 3D-Bild I₁(x) einer Referenzszene und ein zweites 3D-Bild I₂(x) mit einem Objekt (40) im Vordergrund der Referenzszene erfasst wird,
wobei das zweite 3D-Bild I₂(x) oder zumindest einen Teilbereich des zweiten 3D-Bilds I₂(x) mit Hilfe einer Punktspreizfunktion korrigiert wird,
und ausgehend von einem Unterschied zwischen dem ersten und dem korrigierten zweiten 3D-Bild I'₂(x) Parameter der Punktspreizfunktion solange verändert werden, bis der Unterschied zwischen beiden Bildern (I₁(x), I'₂(x)) zumindest in den ausgewählten Teilbereichen minimal ist und/oder einen Grenzwert unterschreitet,
die sich so ergebende Punktspreizfunktion kann als Korrektur-Punktspreizfunktion weiter verwendet werden.

Description

Die Erfindung befasst mit einer Lichtlaufzeitkamera und einem Verfahren zur Erfassung einer Punktspreizfunktion zur Korrektur der ermittelten Signale eines Lichtlaufzeitsensors.
Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasysteme betreffen insbesondere alle Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der DE 197 04 496 C2 beschrieben und von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es, die Kompensation von Phasenfehlern weiter zu verbessern.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Lichtlaufzeitkamerasystem nach Gattung der unabhängigen Ansprüche gelöst.
Besonders vorteilhaft ist ein Verfahren zur Ermittlung einer Punktspreizfunktion für eine Lichtlaufzeitkamera eines Lichtlaufzeitkamerasystems vorgesehen,
bei dem mit Hilfe der Lichtlaufzeitkamera ein erstes 3D-Bild I₁(x) einer Referenzszene und ein zweites 3D-Bild I₂(x) mit einem Objekt im Vordergrund der Referenzszene erfasst wird, wobei das zweite 3D-Bild I₂(x) oder zumindest einen Teilbereich des zweiten 3D-Bilds I₂(x) mit Hilfe einer Punktspreizfunktion korrigiert wird,
und ausgehend von einem Unterschied zwischen dem ersten und dem korrigierten zweiten 3D-Bild I'₂(x) Parameter der Punktspreizfunktion solange verändert werden, bis der Unterschied zwischen beiden Bildern (I₁(x), I'₂(x)) zumindest in den ausgewählten Teilbereichen minimal ist und/oder einen Grenzwert unterschreitet,
die sich so ergebende Punktspreizfunktion kann als Korrektur-Punktspreizfunktion weiter verwendet werden.
Dieses Vorgehen ermöglicht eine schnelle Ermittlung einer Punktspreizfunktion anhand einer einfachen Referenzszene
Besonders vorteilhaft ist eine Lichtlaufzeitkamera für ein Lichtlaufzeitkamerasystem vorgesehen, mit einem Lichtlaufzeitsensor mit mehreren Lichtlichtlaufzeitpixeln zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts, wobei ausgehend von den erfassten Phasenverschiebungen Entfernungswerte ermittelt werden, wobei die Lichtlaufzeitkamera einen Speicher aufweist, in dem zumindest Parameter einer Korrektur-Punktspreizfunktion, die nach dem vorgenannten Verfahren ermittelt wurde, abgelegt sind, wobei die Punktspreizfunktion ein Streulichtverhalten und ein Signalübersprechen der Lichtlaufzeitkamera und des Lichtlaufzeitsensors berücksichtigt, mit einer Auswerteeinheit, die derart ausgestaltet ist, dass anhand der abgelegten Korrektur-Punktspreizfunktion ein erfasstes Bild entfaltet und ein korrigiertes Bild ermittelt wird, und dass die Ermittlung der Phasenverschiebungen bzw. Entfernungswerte anhand des korrigiertes Bilds erfolgt.
Vorzugsweise ist die Punktspreizfunktion komplexwertig.
Nützlich ist es ferner, wenn die Entfaltung des erfassten Bilds und der abgelegten Punktspreizfunktion im Fourierraum erfolgt.
Vorzugsweise ist die Punktspreizfunktion als Matrix oder Lookup-Table und/oder als Fouriertransformierte im Speicher abgelegt ist.
In einer weiteren Ausgestaltung ist es vorgesehen, die Punktspreizfunktion auf einem externen Gerät zu speichern und die Korrektur der Phasenverschiebungen oder Entfernungswerte auf dem externen Gerät durchzuführen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:

1 schematisch ein Lichtlaufzeitkamerasystem,
2 eine modulierte Integration erzeugter Ladungsträger,
3 ein Aufbau zur Ermittlung einer Punktspreizfunktion,
4 einen Querschnitt von Bildern zu Ermittlung einer Punktspreizfunktion
5 eine Erfassung einer Referenzszene,
6 eine Erfassung eines Objekts vor der Referenzszene,
7 gemessene Distanzwerte nach 6 in Relation zu den tatsächlichen Distanzen,
8 eine Erfassung von zwei Referenzflächen mit unterschiedlichem Abstand,
9 gemessene Distanzwerte nach 8 in Relation zu den tatsächlichen Distanzen,
10 einen möglichen schematischen Ablauf der Streulichtkorrektur im Sinne der Erfindung.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist.
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φ₀ beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals M₀ der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S_p1 mit der ersten Phasenlage p1 bzw. p1 = φ₀ + φ_var aus. Dieses Signal S_p1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke 2d, bzw. der Lichtlaufzeit t_L , phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p2 = φ₀ + φ_var + Δφ(t_L) als Empfangssignal S_p2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal Mo mit dem empfangenen Signal S_p2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden oder Oberflächenemitter (VCSEL). Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
Das Grundprinzip der Phasenmessung ist beispielhaft schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals Mo mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S_p2 entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ(t_L) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M₀ in einem ersten Integrationsknoten Ga und in einer um 180° verschobenen Phasenlage in einem zweiten Integrationsknoten Gb. Für diese Lenkung der Ladungen auf die Integrationsknoten weisen die Pixel 23 des Lichtlaufzeitsensors 22 wenigstens zwei Modulationsgates Gam, Gbm auf, die in Abhängigkeit der anliegenden Modulationssignale die Ladungen zum ersten oder zweiten Integrationsknoten Ga, Gb lenken. Aus dem Unterschied der im ersten und zweiten Integrationsknoten Ga, Gb gesammelten Ladungen qa, qb unter Berücksichtigung aller Phasenlagen φ_var lässt sich die Phasenverschiebung Δφ(t_L) und somit eine Entfernung d des Objekts bestimmen.
3 zeigt schematisch einen Aufbau zur Ermittlung einer Punktspreizfunktion PSF. Hier kann die Lichtquelle 112 und der Lichtlaufzeitsensor 22 unmoduliert oder mit wenigstens einer vorgegebenen Modulationsfrequenz betrieben werden. Bei der Verwendung eines unmodulierten Lichts ist es von Vorteil, wenn auch der Lichtlaufzeitsensor 22 bzw. die Pixel 23 unmoduliert betrieben werden. Hierbei ist es hilfreich, wenn an den Modulationsgates Gam, Gbm der Pixel 23 ein konstante Spannung derart anliegt, dass die photogenerierten Ladungen vornehmlich nur in einem Integrationsknoten Ga, Gb gesammelt werden.
Zur Bestimmung der PSF ist es günstig, wenn die Lichtquelle 112 im Wesentlichen nur ein einziges Pixel 23 vorzugsweise weniger als 3x3 und insbesondere weniger als 5x5 Pixel 23 des Lichtlaufzeitsensors 22 beleuchtet. Zur Bereitstellung eines solchen Lichtpunkts ist vor der Lichtquelle 112 eine Blende 150 mit einer hinreichend kleinen Blendenöffnung 152 vorgesehen. Das aus der Blende 150 austretende originäre Lichtsignal I₀ wird durch eine Vielzahl von Einflüssen auf dem Weg zum Sensor bis hin zum erfassten Bildsignal I(x) beeinflusst, beispielsweise durch Eigenschaften des optischen System bzw. der Optik 25 oder Reflektionen zwischen Sensor 22 und der Optik 25. Auch spielen intrinsische Eigenschaften des Sensors 22 selbst eine Rolle, wie zum Beispiel ein Signalübersprechen oder eine Elektronendiffusion zwischen den Pixeln 23. Im Ergebnis kann das am Sensor erfasste Bildsignal I(x) als Faltung zwischen dem einkommenden Licht I₀ und einer Punktspreizfunktion PSF, die im Wesentlichen alle Eigenschaften des Gesamtsystems umfasst, betrachtet werden. Aufgrund der singulären Beleuchtung eines oder ein paar weniger Pixel entspricht das erfasste Bildsignal I(x) im Wesentlichen der Punktspreizfunktion PSF. Für die Ermittlung der Punktspreizfunktion werden vorzugsweise alle Pixel ausgewertet. Grundsätzlich ist es jedoch auch denkbar, nur einen Teilbereich um das singulär beleuchtete Pixel auszuwerten.
Die Qualität der Punktspreizfunktion PSF lässt sich bei Bedarf verbessern, wenn mehrere Punktspreizfunktionen anhand mehrerer singulär beleuchteter Pixel 23 ermittelt werden. Beispielsweise ist es sinnvoll, auch Pixel 23 außerhalb der optischen Achse zu beleuchten um an diesen Positionen weitere Punktspreizfunktionen zu ermitteln. Ausgehend von den ermittelten Punktspreizfunktionen kann dann eine Punktspreizfunktion ermittelt werden, die für die späteren Korrekturen herangezogen werden soll.
Da die erwähnte Elektronendiffusion typischerweise mit einer Diffusionsgeschwindigkeit erfolgt, die signifikant geringer ist als die Lichtausbreitung, erreichen die Elektronen benachbarte Pixel zeitverzögert, so dass sich der Einfluss der Elektronendiffusion auch als Phasenverschiebung bemerkbar macht. Die Punktspreizfunktion PSF erhält somit auch komplexwertige Anteile. Zur genaueren Bestimmung dieser Größen ist es daher von Vorteil, die Lichtquelle 112 in verschiedenen Phasenlagen zu betreiben.
Da eine Punktspreizfunktion typischerweise einen hohe Dynamik über mehrere Zehnerpotenzen aufweist, ist es zur Erfassung der PSF ferner von Vorteil, die Punktlichtquelle 112 mit unterschiedlichen Intensitäten und/oder den Sensor 22 mit unterschiedlichen Integrationszeiten zu betreiben.
Zur Kompensation von Dunkelströmen ist es hilfreich, Bildsignale I(x) sowohl bei ein- und ausgeschalteter Lichtquelle 112 zu erfassen.
Aus der Summe aller Messungen kann dann ein Modell einer Punktspreizfunktion generiert werden, das für alle Pixel 23 anwendbar ist.
Ein solches Modell kann entsprechend folgender Überlegungen generiert werden: Da die gemessene PSF rauschbehaftet ist und beispielsweise Artefakte enthalten kann, die sehr spezifisch für die Pixelposition auf dem Sensor sind, erhält man eine „saubere“ PSF beispielsweise durch einen Fit der gemessenen PSF an ein geeignetes Modell. Als Modell eignen sich z.B. $PSF (\vec{x}) = A (\vec{x}) + B ({‖ \vec{x} ‖}_{p_{B}})$
wobei beispielsweise $A (\vec{x}) = A_{0} exp (- s ({‖ \vec{x} ‖}_{p}))$
gewählt werden kann.
Hierbei bezeichnet $\vec{x}$
den Entfernungsvektor vom Zentralpixel ${\vec{x}}_{0}$
der PSF in Pixeln und ${‖ \vec{x} ‖}_{p} = {(x_{1}^{p} + x_{2}^{p})}^{1 / p}$
die p-Norm von $\vec{x} . p = 2$
ergäbe z.B. eine exakt radialsymmetrische PSF. Da die PSF nicht unbedingt radialsymmetrisch ist, sondern z.B. rautenförmig sein kann, kann p ≠ 2 bessere Ergebnisse liefern. Durch geeignete Wahl der p-Norm können somit Anisotropien der PSF berücksichtigt werden.
Da das meiste Licht auf den Zentralpixel der PSF fällt, ist es hilfreich, dem Modell eine örtlich schmale Funktion B(r) hinzuzufügen, die diesen Anteil wiederspiegelt. Dies kann z.B. ein Dirac-Delta, oder eine Gauß-Funktion sein, die beispielsweise die Linsenunschärfe beschreibt.
Aus Effizienzgründen ist es von Vorteil, die PSF beispielsweise in Form einer Spline-Kurve zu beschreiben. Um Phasenverschiebungen mit dieser PSF zu beschreiben, kann der Spline beispielsweise neben dem Realteil auch einen komplexwertigen Anteil haben. Dadurch wird auch die PSF komplexwertig. Geeignete Fitting-Parameter sind dann beispielsweise die Werte an den Knoten der Splines, die Norm-Parameter p und p_B, sowie Parameter, die die Form von B(r) angeben. Anstatt die komplette PSF abzuspeichern, ist es von Vorteil, lediglich die nötigen Parameter abzuspeichern, um bei der Initialisierung der Software die PSF aus diesen Parametern zu generieren.
Im laufenden Betrieb der Lichtlaufzeitkamera besteht dann die Möglichkeit anhand der hinterlegten Parameter und der daraus genierten PSF die Distanzwerte hinsichtlich Streulichteinflüsse zu bereinigen.
Mit Hilfe des beschriebenen Aufbaus wird vorzugsweise ein erstes Bild ${\tilde{I}}_{k} (\vec{x})$
mit kurzer Belichtungszeit t_k aufgenommen. Konkret ist die Belichtungszeit so zu wählen, dass keiner der Pixel in Sättigung ist. Für den Fall, dass moduliertes Licht verwendet wird, darf kein Pixel der erhaltenen Rohbilder gesättigt sein.
Außerdem wird ein zweites Bild ${\tilde{I}}_{l} (\vec{x})$
mit langer Belichtungszeit t_l, aufgenommen. Hier ist die Belichtungszeit so zu wählen, dass der von Streulicht und/oder crosstalk/Signalübersprechen verursachte Anteil der PSF möglichst vollständig sichtbar, also nicht von Rauschen beeinträchtigt ist. Die Belichtungszeit ist hier typischerweise 1000-10000 mal größer als im ersten Bild.
Bei den Aufnahmen kann entweder unmoduliertes Licht verwendet werden oder Lichtquelle und Sensor können auf übliche Weise moduliert werden. In letzterem Fall sind die Bilder ${\tilde{I}}_{k} (\vec{x}) und {\tilde{I}}_{l} (\vec{x})$
wie üblich komplexwertig, enthalten also Phaseninformationen, die die Zeit vom Aussenden des Lichts bis zum Aufnehmen der erzeugten Elektronen an den Gates des Sensors wiederspiegelt.
Für beide Bilder kann es hilfreich sein, anstatt eines Bildes eine Serie von Bildern aufzunehmen und diese zu mitteln, um das Rauschen weiter zu reduzieren.
Um konsistente Werte zwischen dem ersten und zweiten Bild zu erlangen, werden beispielsweise die Helligkeiten (oder Amplituden) mit den unterschiedlichen Integrationszeiten normiert: $\begin{matrix} I_{l} (\vec{x}) = {\tilde{I}}_{l} (\vec{x}) / t_{l} \\ I_{k} (\vec{x}) = {\tilde{I}}_{k} (\vec{x}) / t_{k} \end{matrix}$
Auf den erhaltenen Bildern ist i.A. die genaue Position des beleuchteten Zentralpixels ${\vec{x}}_{0}$
noch unbekannt. Um die Position des Zentralpixels ${\vec{x}}_{0}$
zu bestimmen, wird das erste Bild $I_{k} (\vec{x})$
beispielsweise mit Hilfe eines Schwellwertverfahrens binarisiert, wodurch der helle LED-Spot in einer zusammenhängenden Fläche resultieren sollte.
Das Zentrum der zusammenhängenden Fläche, ist eine gute Schätzung für das Zentralpixel bzw. den Zentralpunkt ${\vec{x}}_{0}$
auf dem Sensor, auf den die Lichtquelle gerichtet ist. Dieser Zentralpunkt ${\vec{x}}_{0}$
muss nicht notwendigerweise auf die Mitte eines Pixels fallen, d.h. die gefundene Position für den Zentralpunkt ${\vec{x}}_{0}$
muss nicht ganzzahlig sein.
Nun wird das Bild $I_{k} (\vec{x})$
der kurzen Belichtung an das Modell eines scharfen Spots gefittet. Ein solches Modell ist beispielsweise in Gleichung (1) mit $B ({‖ \vec{x} ‖}_{p})$
bezeichnet. Konkret wird hierbei $(P_{B}, p_{B}) = \underset{P_{B}, p_{B}}{arg min} (\sum_{\vec{x}} {| I_{k} (\vec{x}) - B ({‖ \vec{x} - {\vec{x}}_{0} ‖}_{p_{B}}) |}^{2})$
bestimmt, wobei P_B die Parameter der Funktion B(r) und p_B der Parameter der Norm sind. Beispielsweise könnte B(r) = B₀ expe (-br²) gewählt werden, wobei dann P_B = (B₀, b) würde.
Für die numerische Minimierung gemäß Gleichung (4) gibt es zahlreiche Algorithmen, wie z.B. das Nelder-Mead-Verfahren.
Zusätzlich zu P_B und p_B kann es auch bessere Ergebnisse liefern, in Gleichung (4) das Zentrum ${\vec{x}}_{0}$
der Lichtquelle mit in die Optimierung aufzunehmen. Dann würde der zuvor gefundene Wert aus dem binarisierten Bild sich als Startwert eignen.
Nun wird das zweite Bild $I_{l} (\vec{x})$
mit der langen Belichtungszeit betrachtet. Analog zu Gleichung (4) wird das Bild an das Modell der Streulichtsignatur, $A (\vec{x})$
in Gleichung (1), gefittet: $(P_{A}, p_{A}) = \underset{P_{A}, p_{A}}{arg min} (\sum_{\vec{x}} {| I_{l} (\vec{x}) - A (\vec{x} - {\vec{x}}_{0}) |}^{2})$
Bei Bedarf kann der zentrale Anteil der PSF, der durch B(r) beschrieben wird unberücksichtigt bleiben.
Analog zum ersten Fit sind hier P_A die Parameter der Modellfunktion $A (\vec{r}) .$
Als zweckdienlich erweist sich z.B. eine Funktion der Form: $A (\vec{r}) = A_{0} exp (- s ({‖ \vec{r} ‖}_{p_{A}}) + i Φ (\vec{r}))$
wobei s(r) und eine (reelle) Spline-Kurve darstellt. Die Funktion $Φ (\vec{r})$
beschreibt eine Phasenverzögerung des einfallenden Lichtspots, wie sie beispielsweise durch Phase-Crosstalk/Signalübersprechen zwischen den Pixel verursacht werden kann. Da dieser nicht zwingend isotrop ist, kann es nötig sein, $Φ (\vec{r})$
als zweidimensionale Funktion (z.B. einen 2D-Spline oder eine 2D-Look-up-Table) zu modellieren, anstatt wie für s(r) eine radial symmetrische Funktion anzunehmen.
Die Fit-Parameter P_A sind in diesem Fall A₀, p_A, sowie die Funktionswerte der Splines an den Knotenpunkten. Nach Bedarf kann die Lage der Knotenpunkte ebenfalls Teil der Fit-Parameter P_A sein.
Mit den erhaltenen Parametern P_A und P_B, sowie dem PSF-Modell beispielsweise nach Gleichung (1) ist es nun möglich, eine artefaktfreie und nicht rauschbehaftete PSF zu generieren. Anstatt die komplette PSF abzuspeichern, ist es von Vorteil, lediglich diese oder andere geeignete Parameter abzuspeichern, aus denen bei der Initialisierung der Software die PSF generiert werden kann.
Bevorzugt ist es vorgesehen, die mit unterschiedlichen Belichtungszeiten erfassten Aufnahmen getrennt voneinander zu bearbeiten: $PSF (\vec{x}) = A_{1} (\vec{x}) + A_{2} (\vec{x}) + \dots$
Die Teil-Modelle $A_{1} (\vec{x}), A_{2} (\vec{x}), \dots$
können beispielsweise unterschiedlichen Dynamikbereichen der PSF entsprechen und jeweils getrennt voneinander an Aufnahmen $I_{1} (\vec{x}), I_{2} (\vec{x}), \dots$
gefittet werden. Ausgehend von diesen Fit-Parameter kann dann die PSF gemäß Gleichung (7) zusammengefasst werden.
Im Vorgenannten wurde die Kalibrierung anhand einer Punktlichtquelle mit Blende als Lichtquelle bzw. Lichtquellensystem beschrieben. Selbstverständlich ist die Kalibrierung nicht auf eine solche Lichtquelle eingeschränkt, sondern es kommen alle Lichtquellen oder Lichtsysteme in Betracht, die einen geeigneten Lichtpunkt erzeugen können.
4 bis 9 zeigen weitere Methoden zur Bestimmung einer geeigneten Punktspreizfunktion PSF. In der Methode gemäß 4 werden ein erstes 3D-Bild I₁(x) einer Referenzszene und ein zweites 3D-Bild I₂(x) mit einem Objekt 40 im Vordergrund der Referenzszene erfasst. Wie bereits besprochen ist aufgrund systemischer Einflüsse eine Veränderung der aus dem ersten 3D-Bild I₁(x) bekannten Distanzwerte zu erwarten. Zur Ermittlung einer für die Korrektur geeigneten Punktspreizfunktion werden dann Parameter einer ersten modellhaften PSF solange variiert, bis Unterschiede zwischen dem ersten und zweiten Bild, insbesondere Distanzfehler minimal sind bzw. kleiner sind als ein tolerierter Grenzwert. Hierbei werden vorzugsweise nur die Bildbereiche oder ein Teilbereich davon berücksichtigt, bei denen die Referenzszene in beiden Bildern sichtbar ist.
Die Bilder können beispielsweise wie in 5 und 6 gezeigt aufgenommen werden. In einem ersten Schritt wird ein erstes 3D-Bild I₁(x) einer Referenzszene erfasst (5). Als Referenzszene kann beispielsweise in einfacher Art und Weise eine Wand oder ein Boden erfasst werden, grundsätzlich können kann jedoch auch beliebige Szenen mit einem beliebigen Höhenprofil erfasst werden. Im zweiten Schritt gemäß 6 wird ein Objekt oberhalb der Referenzszene angeordnet, beispielsweise eine Hand oder ein anderes Objekt, und ein zweites Entfernungsbild I₂(x) erfasst. Auch hier sind die Eigenschaften des Objekts im Wesentlichen unkritisch. Wie zur 4 beschrieben kann dann anhand der Differenz beider Bilder eine Korrektur-PSF generiert werden.
In 7 ist eine Variante gezeigt, bei der die Referenzszene und das Objekt eben und planparallel zueinander angeordnet sind. Anhand eines solchen Vorwissens, lässt sich die Optimierung der PSF ggf. vereinfachen.
Alternativ ist es beispielsweise möglich, statt zwei Bilder nur ein Bild von einem Target in hinreichender Distanz von einer flachen Referenzszene bzw. -ebene (z.B. Wand, Tisch, Boden) zu erfassen. Zur Bestimmung der PSF werden nun die Parameter solange variiert, bis die Referenzfläche hinter dem Target möglichst eben ist, bzw. die Abweichungen der korrigierten Referenzfläche von einer Ebene kleiner sind, als ein tolerierter Grenzwert.
Besonders vorteilhaft ist es, wenn die Dimensionen und Abstände der Referenzszene und/oder des eingebrachten Targets im Vorfeld bekannt sind.
8 und 9 zeigen eine weitere Variante zu dem vorgenannten Vorgehen. Das in 8 dargestellte Objekt 40 weist eine in der Höhe definierte Stufe auf. Die Höhe Δd = d_T2 - d_T1 ist vorzugsweise vorbekannt. Ebenso wie im vorgenannten Beispiel werden die Parameter eines PSF-Modells solange variiert bis der Distanzfehler minimal wird oder unterhalb eines tolerierten Grenzwertes liegt.
Die vom Sensor gemessenen Rohbilder D_j (z.B. j = 0,1,2,3 entsprechend der Phasenlagen 0°, 90°, 180°, 270°) sind, mathematisch gesehen, eine Faltung der unbekannten, nicht Streulichtverfälschten Rohbildern $D_{j}^{0}$
mit der PSF: $D_{j} (x) = \sum_{Δ x} D_{j}^{0} (x - Δ x) \cdot PSF (Δ x)$
Interessant für die Weiterverarbeitung sind die komplexwertigen Bilder $I (x) : = (D_{0} (x) - D_{2} (x)) + i (D_{1} (x) - D_{3} (x))$
Da die Faltung eine lineare Operation ist, gilt analog für I(x) und das nicht-streulichtverfälschte komplexwertige Bild I₀ (x): $I (x) = \sum_{Δ x} I_{0} (x - Δ x) \cdot PSF (Δ x)$
bzw. $I (x) = I_{0} (x) * PSF (x)$
Die Entfaltung wird im Fourier-Raum durchgeführt. Dazu werden I(x) und die PSF Fouriertransformiert $(F [\cdot]) : \hat{I} (k) = F [I (x)] und \hat{PSF} (k) = F [PSF (x)] .$
Gleichung 4 wird damit zu: $\hat{I} (k) = {\hat{I}}_{0} (k) \cdot \hat{PSF} (k)$
und daher ${\hat{I}}_{0} (k) = \frac{\hat{I} (k)}{\hat{PSF} (k)}$
Damit erhält man das nicht-streulichtverfälschte Bild $I_{0} (x) = F^{- 1} [{\hat{I}}_{0} (k)]$
Bezugszeichenliste

1: Lichtlaufzeitkamerasystem
10: Beleuchtungsmodul
12: Beleuchtung
15: Strahlformungsoptik
20: Empfänger, Lichtlaufzeitkamera
22: Lichtlaufzeitsensor
30: Modulator
35: Phasenschieber, Beleuchtungsphasenschieber
40: Objekt
φ, Δφ(t_L): laufzeitbedingte Phasenverschiebung
φ_var: Phasenlage
φ₀: Basisphase
M₀: Modulationssignal
p1: erste Phase
p2: zweite Phase
S_p1: Sendesignal mit erster Phase
S_p2: Empfangssignal mit zweiter Phase
t_L: Lichtlaufzeit
Ga, Gb: Integrationsknoten
d: Obj ektdistanz
q: Ladung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19704496 C2 [0002]
DE 19704496 A1 [0015]

Claims

Verfahren zur Ermittlung einer Punktspreizfunktion (PSF) für eine Lichtlaufzeitkamera (20) eines Lichtlaufzeitkamerasystems (1), bei dem mit Hilfe der Lichtlaufzeitkamera (20) ein erstes 3D-Bild I₁(x) einer Referenzszene und ein zweites 3D-Bild I₂(x) mit einem Objekt (40) im Vordergrund der Referenzszene erfasst wird, wobei das zweite 3D-Bild I₂(x) oder zumindest einen Teilbereich des zweiten 3D-Bilds I₂(x) mit Hilfe einer Punktspreizfunktion korrigiert wird, und ausgehend von einem Unterschied zwischen dem ersten und dem korrigierten zweiten 3D-Bild I'₂(x) Parameter der Punktspreizfunktion solange verändert werden, bis der Unterschied zwischen beiden Bildern (I₁(x), I'₂(x)) zumindest in den ausgewählten Teilbereichen minimal ist und/oder einen Grenzwert unterschreitet, die sich so ergebende Punktspreizfunktion kann als Korrektur-Punktspreizfunktion weiter verwendet werden.
Lichtlaufzeitkamera (20) für ein Lichtlaufzeitkamerasystem (1), mit einem Lichtlaufzeitsensor (22) mit mehreren Lichtlichtlaufzeitpixeln (23) zur Ermittlung einer Phasenverschiebung eines ausgesendeten und empfangenen Lichts (Sp2), wobei ausgehend von den erfassten Phasenverschiebungen (Δφ) Entfernungswerte (d) ermittelt werden, wobei die Lichtlaufzeitkamera (20) einen Speicher aufweist, in dem zumindest Parameter einer Korrektur-Punktspreizfünktion (PSF), die nach einem Verfahren gemäß Anspruch 1 ermittelt wurde, abgelegt sind, wobei die Punktspreizfunktion (PSF) ein Streulichtverhalten und ein Signalübersprechen der Lichtlaufzeitkamera (20) und des Lichtlaufzeitsensors (22) berücksichtigt, mit einer Auswerteeinheit, die derart ausgestaltet ist, dass anhand der abgelegten Punktspreizfunktion (PSF) ein erfasstes Bild (I(x)) entfaltet und ein korrigiertes Bild (I₀(x)) ermittelt wird, und dass die Ermittlung der Phasenverschiebungen (Δφ) bzw. Entfernungswerte (d) anhand des korrigiertes Bilds (I₀(x)) erfolgt.
Lichtlaufzeitkamera (20) nach Anspruch 2, bei dem die Punktspreizfunktion (PSF) komplexwertig ist.
Lichtlaufzeitkamera (20) nach einem der vorhergehenden Vorrichtungsansprüche, bei dem die Entfaltung des erfassten Bilds (I(x)) und der abgelegten Punktspreizfunktion (PSF) im Fourierraum erfolgt.
Lichtlaufzeitkamera (20) nach einem der vorhergehenden Vorrichtungsansprüche, bei dem die Punktspreizfunktion (PSF) als Matrix oder Lookup-Table im Speicher abgelegt ist.
Lichtlaufzeitkamera (20) nach einem der vorhergehenden Vorrichtungsansprüche, bei dem die Punktspreizfunktion (PSF) als Fouriertransformierte im Speicher abgelegt ist.
Lichtlaufzeitkamera (20) nach einem der vorhergehenden Vorrichtungsansprüche, bei dem die Punktspreizfunktion (PSF) auf einem externen Gerät gespeichert ist und die Korrektur der Phasenverschiebungen (Δφ) oder Entfernungswerte (d) auf dem externen Gerät erfolgt.