DE102020123652A1 - Verfahren und Vorrichtungen zum Bestimmen von Entfernungsinformation - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen mit den Merkmalen des Anspruchs 1 gelöst, insbesondere dadurch, dass das Verfahren umfasst: Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ferner basiert auf der Ermittlung eines Winkels, der einer von dem ersten Wert und dem zweiten Wert abhängigen komplexen Zahl in Polardarstellung entspricht.

Description

• Die Erfindung betrifft ein Verfahren aus der Nachrichtentechnik, insbesondere der Bildverarbeitung zur Abstandsbestimmung, beispielsweise unter Verwendung von Laufzeitkameras (Time-of-Flight-Kamera; TOF-Kamera). Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Bestimmen von Entfernungsinformation, insbesondere zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden, bereitgestellt.
• Die Erfindung betrifft auch ein Kamerasystem und ein Computerprogramm (welches beispielsweise als Computerprogrammprodukt ausgeführt sein kann).
• Die Bestimmung von Abständen oder Entfernungen ist wesentlicher Bestandteil von verschiedenen Anwendungen, beispielsweise bei autonomen Fahrzeugen oder bei der automatischen Qualitätskontrolle. Beispielsweise können Radar- oder Lidar-Sensoren zur Abstandsbestimmung eingesetzt werden. Ein anderer Ansatz besteht in der Verwendung von TOF-Kameras, bei denen basierend auf der Lichtlaufzeit von der Kamera zu einem Objekt und zurück der Abstand zwischen der Kamera und dem Objekt ermittelt werden kann. Dabei wird insbesondere die Phasen- oder Amplitudeninformation von emittierten Lichtsignalen nach Reflektion (in anderen Worten: Reflexion) ausgewertet. Ein Verfahren und eine Vorrichtung für eine solche Auswertung sind aus DE 197 04 496 C2 bekannt.
• Bei der Bestimmung von Abständen basierend auf Laufzeitunterschieden ergeben sich allerdings Probleme durch Reflektion von ausgesendeten Signalen an verschiedenen Oberflächen. Es wird in diesem sogenannten Multipfadfall dann nämlich nicht mehr genau eine Reflektion des ausgesendeten Signals empfangen, sondern eine Überlagerung von mehreren Reflektionen. Dadurch wird die Genauigkeit der Bestimmung des Abstands mit gebräuchlichen Verfahren verschlechtert. Es gibt Ansätze zur Kompensation der Effekte des Multipfadfalls. Ein möglicher Ansatz ist beispielsweise in US 9753128 B1 beschrieben, wobei allerdings keine geschlossene Lösung bereitgestellt wird, sondern ein iteratives Näherungsverfahren.
• Es ist daher Aufgabe der Erfindung, eine genaue und effiziente Abstandsbestimmung auch dann zu ermöglichen, wenn ein ausgesendetes Signal an verschiedenen Oberflächen reflektiert wird. Dies soll bevorzugt in geschlossener Form erfolgen, was garantiert, dass eine Lösung zuverlässig und in vorab bestimmter Zeit ermittelt werden kann.
• Diese Aufgabe wird durch ein Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen mit den Merkmalen des Anspruchs 1 gelöst, insbesondere dadurch, dass das Verfahren umfasst: Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ferner basiert auf der Ermittlung eines Winkels, der einer von dem ersten Wert und dem zweiten Wert abhängigen komplexen Zahl in Polardarstellung entspricht.
• In einer Ausgestaltung des Verfahrens wird der Winkel ermittelt basierend auf einer Berechnung eines Arcustangens basierend auf dem ersten Wert und dem zweiten Wert.
• Gemäß einer Ausführungsform umfasst der mindestens eine erste Wert zwei erste Komponenten-Werte, die als eine erste komplexe Zahl darstellbar sind, wobei der mindesteins eine zweite Wert zwei zweite Komponenten-Werte, die als eine zweite komplexe Zahl darstellbar sind, umfasst, und wobei der Winkel ermittelt wird basierend auf einem Wert bzw. auf Werten, der bzw. die einer Differenz zwischen der zweiten komplexen Zahl und dem Quadrat der ersten komplexen Zahl entspricht bzw. entsprechen.
• Die Aufgabe der Erfindung wird auch durch ein weiteres Verfahren gelöst, insbesondere ein Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ausschließlich auf analytischen Berechnungen und/oder exakten Berechnungen und/oder nicht-iterativen Berechnungen und/oder nicht-näherungsweisen Berechnungen basiert. Neben analytischen Berechnungen, exakten Berechnungen, nicht-iterativen Berechnungen und/oder nicht-näherungsweisen Berechnungen werden also keine weiteren Berechnungen (insbesondere keine näherungsweisen oder iterativen Berechnungen) verwendet.
• Die Aufgabe der Erfindung wird auch durch ein weiteres Verfahren gelöst, insbesondere ein Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ferner basiert auf einem Normieren der jeweiligen Signale basierend auf einem skalaren Gesamtwert, der auf dem ersten Wert und dem zweiten Wert basiert.
• Gemäß einer Ausführungsform basiert das Normieren auf einer Bestimmung von Nullstellen eines Polynoms dritten oder höheren Grades.
• Gemäß einer Ausführungsform umfasst der mindestens eine erste Wert zwei erste Komponenten-Werte, die als eine erste komplexe Zahl darstellbar sind, und der mindestens eine zweite Wert umfasst zwei zweite Komponenten-Werte, die als eine zweite komplexe Zahl darstellbar sind, , wobei ein Normierungsfaktor der Normierung ermittelt wird basierend auf einem Wert bzw. auf Werten, der bzw. die einer Differenz zwischen der zweiten komplexen Zahl und dem Quadrat der ersten komplexen Zahl entspricht bzw. entsprechen.
• Gemäß einer Ausführungsform entspricht der erste Wert einer ersten Intensität oder einer ersten Intensitätsdifferenz, und der zweite Wert entspricht einer zweiten Intensität oder einer zweiten Intensitätsdifferenz.
• Gemäß einer Ausführungsform umfasst der mindestens eine erste Wert zwei erste Intensitäten oder zwei erste Intensitätsdifferenzen, die zumindest im Wesentlichen um 90° phasenverschoben zueinander ermittelt werden, und der mindestens eine zweite Wert umfasst zwei zweite Intensitäten oder zwei zweite Intensitätsdifferenzen, die zumindest im Wesentlichen um 90° phasenverschoben zueinander ermittelt werden.
• Gemäß einer Weiterbildung ist die die zweite Frequenz (zumindest im Wesentlichen) doppelt so groß ist wie die erste Frequenz.
• Die Aufgabe der Erfindung wird auch durch ein weiteres Verfahren gelöst, insbesondere ein Verfahren zum Bestimmen einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: Ermittlung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor unter Verwendung eines der oben beschriebenen Verfahren; Ermittlung von Entfernungsinformation basierend auf mindestens drei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor mittels eines iterativen numerischen Verfahrens, wobei für das iterative numerische Verfahren mindestens drei Startwerte für die mindestens drei Pfade basierend auf den ermittelten mindestens zwei Pfaden ermittelt werden.
• Die Aufgabe der Erfindung wird auch durch ein Kamerasystem gelöst, insbesondere ein Kamerasystem umfassend eine Lichtlaufzeitkamera mit einer Lichtquelle, einem Bildsensor und einer Synchronisationseinrichtung und eine Recheneinheit, zur Ausführung eines der oben beschriebenen Verfahren.
• Die Aufgabe der Erfindung wird auch durch eine Vorrichtung gelöst, insbesondere eine Vorrichtung umfassend eine Synchronisationseinrichtung und eine Recheneinheit, die ausgestaltet ist zur Durchführung eines der oben beschriebenen Verfahren.
• Die Aufgabe der Erfindung wird auch durch ein Computerprogramm gelöst, welches insbesondere als Computerprogrammprodukt bereitgestellt werden kann, wobei das Computerprogramm zum Speichern auf einem Datenträger geeignet ist und eingerichtet ist zum Veranlassen einer Computervorrichtung zum Ausführen eines der oben beschriebenen Verfahren, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.
• Die hierin beschriebenen Aspekte der Erfindung, also die Verfahren, das Kamerasystem, die Vorrichtung und das Computerprogramm lassen sich selbstverständlich und vorteilhaft im Sinne aller zu jeweils anderen Aspekten beschriebenen Ausführungsformen weiterbilden.
• Die Erfindung wird nachfolgend lediglich beispielhaft anhand der schematischen Zeichnung erläutert.
• 1A zeigt eine Illustration einer Signalansteuerung für drei Fotodioden mit Rechteckpulsen;
• 1B zeigt eine Illustration der von den jeweiligen Fotodioden empfangenen Signale;
• 1C zeigt ein Diagramm mit dem normierten Signalverlauf über die Laufzeit des Lichtes;
• 1D zeigt eine Illustration der Trajektorie der Ansteuerung gemäß 1A;
• 2 zeigt eine Illustration eines Aufbaus, der Multipfad-Effekte erzeugen kann;
• 3 zeigt eine Illustration einer sich schneidenden Konvexkombination;
• 4 zeigt eine Illustration der Anzahl von korrekten Rekonstruktionen; und
• 5 zeigt eine Illustration eines arithmetischen Mittels eines absoluten Fehlers.
• Time-of-Flight-Kameras (ToF-Kameras), welche auch als Lichtlaufzeitkameras bezeichnet werden können, senden periodisch modulierte Lichtpulse (in anderen Worten: Lichtsignale) aus. Diese werden von Objekten reflektiert. Die endliche Lichtgeschwindigkeit bedingt eine Phasenverschiebung zwischen dem ausgesandten (in anderen Worten: emittierten) und dem reflektierten Licht. Diese Phasenverschiebung entspricht der Laufzeit des Lichtes und wird von der Kamera gemessen. Die Entfernung d zwischen Kamera und Objekt ist proportional zur Laufzeit des Lichts δ. Daher lässt sich aus der Phasenverschiebung für jeden Pixel diese Entfernung d bestimmen und daraus ein Entfernungsbild formen: $$d=\frac{c}{2}\cdot \delta$$

  
• Hierbei beschreibt c die Lichtgeschwindigkeit im umgebenden Medium, beispielsweise in Luft. Das Licht legt die Strecke hin und retour zweimal zurück. Dadurch begründet sich die 2 im Nenner von Formel (1.1).
• Die Periodenlänge wird hier durch ein Intervall I beschrieben. Innerhalb dieses Intervalls ist die Bestimmung der Entfernung eindeutig möglich. Falls die Periodenlänge die Länge des Intervalls I überschreitet, kann eine Mehrdeutigkeit auftreten, die als Tiefen-Aliasing bezeichnet wird.
• Um eine typische Tiefengenauigkeit im Bereich von Zentimetern zu erhalten, ergibt sich mit Gleichung (1.1) eine erforderliche zeitliche Auflösung der Messung von ungefähr 66,71 ps. Somit ist es besonders wichtig, die Laufzeit des Lichtes sehr genau zu bestimmen. Dies kann durch den im Folgenden beschriebenen Sensoraufbau erreicht werden.
• Ein ToF-Bildsensor besitzt eine matrixförmige Anordnung von Pixeln. Jedes Pixel ist mit mindestens einem elektronischen Verschluss ausgestattet, der auch als Shutter bezeichnet wird. Ein Shutter wird jeweils durch ein Steuersignal geöffnet bzw. geschlossen. Ist ein Shutter geöffnet, sammelt das Pixel das einfallende Licht und erzeugt daraus ein diesem Shutter zugeordnetes, elektrisches Signal. Bei ToF-Bildsensoren kann ein Shutter zumeist mehrfach hintereinander geöffnet bzw. geschlossen werden, wobei das Sammeln des Lichtes jeweils fortgesetzt bzw. unterbrochen wird. Die i-ten Shutter einer Mehrzahl von Pixeln werden jeweils von einem gemeinsamen i-ten Steuersignal geschaltet. Zum leichteren Verständnis wird nachfolgend ein Pixel exemplarisch betrachtet.
• Das gemessene Signal an dem i-ten Shutter des Pixels S_i(δ) wird in Abhängigkeit von der Phasenverschiebung im mathematischen Modell folgendermaßen beschrieben. Der reflektierte Lichtimpuls wird als die Funktion I_ref modelliert, welche die Intensität des reflektierten Lichtes in Abhängigkeit von der Zeit angibt. Das Öffnen und Schließen der Shutter wird durch die Shutterfunktion p(t): I → [0,1]ⁿ beschrieben. Eine Eins steht für einen geöffneten Shutter und eine Null für einen geschlossenen Shutter. Dazwischen liegende Werte können einen teilweise geöffneten Shutter modellieren. Die Kreuzkorrelation wird aus den beiden Funktionen I_ref und der i-ten Komponente der Shutterfunktion p_i gebildet und für die Phasenverschiebung δ ausgewertet: $$S_i\left(\delta \right)={\displaystyle \int l_{ref}\left(t-\delta \right)p_i\left(t\right)dt}={\displaystyle \int l_{ref}\left(t\right)p_i\left(t+\delta \right)dt}=:\left(l_{ref}\ast p_i\right)\left(\delta \right)$$

  
• Der Signalvektor S(δ) ∈ ℝⁿ wird komponentenweise aus den einzelnen Kreuzkorrelationen gebildet: $$S\left(\delta \right):=\left(\begin{array}{c}\left(l_{ref}\ast p_1\right)\left(\delta \right)\\ \left(l_{ref}\ast p_2\right)\left(\delta \right)\\ ⋮\\ \left(l_{ref}\ast p_n\right)\left(\delta \right)\end{array}\right)\in {ℝ}^n.$$

  
• Der reflektierte Lichtimpuls I_ref hängt dabei über einen Reflektionskoeffizienten a_ref >0 und dem Hintergrundlicht l_h ≥ 0 von dem emittierten Lichtimpuls l_e ab: $$l_{ref}\left(t\right)=a_{ref}\cdot l_e\left(t\right)+l_h$$

  
• Im mathematischen Modell wird angenommen, dass bei der kurzen Zeitdauer der Messung das Hintergrundlicht l_h konstant ist (vgl. Gleichung 1.1). In diesem Fall wird integrierend ein zusätzlicher additiver Term gemessen. Dieser hängt von dem Integral der jeweiligen Shutterfunktion und der konstanten Intensität des Hintergrundlichtes ab, aber nicht von der Phasenverschiebung δ. Unter der Bedingung, dass die Shutterfunktionen p_i die gleiche „Masse“ haben, also die Gleichung (1.5) erfüllen, $${\displaystyle \int p_j\left(t\right)dt}={\displaystyle \int p_k\left(t\right)dt}=:\kappa \forall j,k\in \left[\mathrm{1,}n\right]$$

  

  gilt mit der Linearität der Kreuzkorrelation: $$S\left(a_{ref},\delta ,l_h\right):=a_{ref}\cdot \left(\begin{array}{c}\left(l_e\ast p_1\right)\left(\delta \right)\\ \left(l_e\ast p_2\right)\left(\delta \right)\\ ⋮\\ \left(l_e\ast p_n\right)\left(\delta \right)\end{array}\right)+l_h\cdot \kappa \left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right).$$

  
• Aus dem gemessenen Signal soll die Laufzeit des Lichtes und damit die Entfernung rekonstruiert werden. Um eine eindeutige Entfernungsinformation zu erhalten, muss eine : Bild(S) → I existieren mit D - s(a_ref, δ, l_h) = δ. Mit Gleichung (1.6) folgt, dass D invariant gegenüber Skalierung und Verschiebung entlang des Einsvektors 1_v sein muss. Eine Verschiebung des vektorwertigen Signals entlang des Einsvektors nimmt somit keinen Einfluss auf die rekonstruierte Entfernung. Das bildet die erforderliche Invarianz gegenüber Hintergrundlicht im Modell ab. Außerdem ist die rekonstruierte Entfernung unabhängig von einer Skalierung des Signalvektors. Damit wird die Invarianz bezüglich unterschiedlich reflexiven Oberflächen beschrieben.
• Gleichermaßen gilt für ein eindeutig rekonstruierbares Signal: $$S\left(\mathrm{1,}\delta ,0\right)\ne a_{ref}\cdot S\left(\mathrm{1,}\delta \text{'},0\right)+l_h\cdot \kappa \cdot 1_V\forall a_{ref},l_h,\delta \ne \delta \text{'}.$$

  
• Daher kann Bild(S(1, δ, 0)) durch eine Projektion P_U injektiv auf U := (Span(1_v)^⊥ ∩ ∂Bⁿ) abgebildet werden, wobei Span(1_v)^⊥ das orthogonale Komplement vom Spann des Einsvektors und ∂Bⁿ den Rand der n-dimensionalen Einheitskugel bezeichnet. Bei der Menge Span(1_v)^⊥ handelt es sich um einen Unterraum der Dimension n-1 und U ist somit topologisch äquivalent zu ∂B^n-1. Damit ist auch D eindeutig über die Abbildung D|_U ◦ P_U definiert. Die Kurve, welche die Abbildung δ → S(1, δ, 0) definiert, wird als Trajektorie von S bezeichnet. Diese muss schnittfrei sein, um eine eindeutige Entfernungsinformation zu ermöglichen.
• Im Folgenden werden Eigenschaften der Trajektorie beschrieben, die im mathematischen Modell gewisse erwünschte Verhaltensweisen der 3D-Kamera widerspiegeln.
• 1A zeigt eine Illustration 100 einer Signalansteuerung für drei Fotodioden mit Rechteckpulsen für die Shutter P0, P1, P2 und die LED. Das emittierte Signal 102 wird als reflektiertes Signal 104 empfangen und an den drei Fotodioden gemäß den Shutterfunktionen P0 (106), P1 (108) und P2 (110) empfangen.
• 1B zeigt eine Illustration 120 der von den jeweiligen Fotodioden empfangenen Signale. Entsprechend den in 1A als schraffierte Flächen dargestellten Lichtmengen, die bei offenem Shutter basierend auf dem reflektierten Signal empfangen werden, ist das Signal S0 gleich 0, und das Signal S1 größer als das Signal S2.
• 1C zeigt ein Diagramm 140 mit dem normierten Signalverlauf S(δ) über die Laufzeit des Lichtes. Eine Komponente der Signalfunktion S_i ergibt sich aus der Kreuzkorrelation des um die Laufzeit δ verschobenen LED-Signals (also des reflektierten Signals) mit der i-ten Komponente der Shutterfunktion S_i(δ) = (LED * P_i)(δ) mit einem zusätzlichen Normierungsfaktor.
• 1D zeigt eine Illustration 160 der Trajektorie der Ansteuerung gemäß 1A. Der Signalverlauf wird als Kurve in Abhängigkeit von der Phasenverschiebung δ in den hier 3-dimensionalen Signalraum abgebildet. Das Erzeugen des gemessenen Signals durch die Sensoransteuerung in Abhängigkeit von der Laufzeit des Lichtes wird als Signalcodierung bezeichnet und die Bestimmung der Laufzeit aus dem gemessenen Signal als Signaldecodierung oder Rekonstruktion.
• In realen Anwendungen einer ToF-Kamera wird das emittierte Licht häufig mehrfach reflektiert. Es entsteht eine Überlagerung von dem Lichtimpuls auf dem direkten Pfad und einer Summe von Impulsen auf indirekten Pfaden. Daraus bildet sich das reflektierte Licht, welches der Sensor aufnimmt. Auf diese Weise entstehen Fehler bei der Tiefenbestimmung aus dem gemessenen Signal. Bei einer üblichen Decodierung des Signals wirken Objekte so weiter entfernt und konvexe Ecken stumpfer.
• 2 zeigt eine Illustration 200 eines Aufbaus, der Multipfad-Effekte erzeugen kann, da neben einem direkten Pfad 208 zwischen einer Kamera 202 und einem ersten Objekt 204 mehrere indirekte Pfade 210 zwischen der Kamera 202 und dem ersten Objekt 204 über ein zweites Objekt 206 bestehen.
• Im mathematischen Modell wird dieses Verhalten folgendermaßen abgebildet. Mit der Linearität der Kreuzkorrelation ergibt sich für das Signal an der i-ten Diode, $$\left(\left(l_{ref}+l_{ref}^{\text{'}}\right)\ast p_i\right)\left(\delta \right)=\left(l_{ref}\ast p_i\right)\left(\delta \right)=\left(l_{ref}^{\text{'}}\ast p_i\right)\left(\delta \right)$$

  

  und gleichermaßen $$\begin{array}{l}\left(l_{ref}^{\text{'}}\ast p_i\right)\left(\delta \right)={\displaystyle \int l_{ref}^{\text{'}}}\left(t\right)p_i\left(t+\delta \right)dt={\displaystyle \int \left(a_{ref}^{\text{'}}\cdot l_e\left(t-{\delta }_{mp}\right)\right)p_i\left(t+\delta \right)dt}\\ ={\displaystyle \int \left(a_{ref}^{\text{'}}\cdot l_e\left(t\right)\right)p_i\left(t+\delta +{\delta }_{mp}\right)dt=a_{ref}^{\text{'}}}\cdot \left(l_e\ast p_i\right)\left(\delta +{\delta }_{mp}\right).\end{array}$$

  
• Die Variable δ_mp steht hierbei für die längere Zeitdauer, die das Licht benötigt, wenn es nicht über den direkten Weg wieder zum Sensor gelangt. Wenn Multipfad-Effekte auftreten, lässt sich der resultierende Signalvektor M als Summe von verschiedenen Pfaden mit den entsprechenden Koeffizienten der Reflexivität schreiben.
• Die Reihenfolge der einzelnen Summanden spielt dabei keine Rolle und ist auch für die Rekonstruktion unwichtig, deshalb wird im Folgenden angenommen, dass die einzelnen Phasenverschiebungen δ_i der Größe nach geordnet werden.
• Im Folgenden werden Eigenschaften der Trajektorie im Signalraum herausgestellt, die eine geeignete Sensoransteuerung ermöglichen, die eine Kompensation von Multipfad-Fehlern ermöglicht bzw. die Tiefenschärfe des 3d-Bildes erhöht. Erfindungsgemäß wird die Klasse der harmonischen Signalcodierungen für den Multipfad-Fall bereitgestellt.
• Gemäß verschiedenen Ausführungsformen wird die Messung unabhängig von dem Einfluss des Hintergrundlichtes und der Reflexivität gemacht. Die hier beschriebenen Methoden gelten unabhängig von dem Auftreten von Multipfad-Effekten. Der Einfluss des Hintergrundlichtes v auf das Signal kann herausgerechnet werden, indem eine zweite Messung mit inaktiver Beleuchtung erfolgt. Bei der zweiten Messung wird damit derjenige additive Term des Signals, welchen das Hintergrundlicht erzeugt, bestimmt. Sofern keine Sättigung des Sensors auftritt, ist die Differenz der Ergebnisse aus beiden Messungen dann frei vom Einfluss des Hintergrundlichtes. Außerdem können auch zwei Messungen hintereinander mit unterschiedlicher Intensität int_i der Beleuchtung ausgeführt werden. Dann ergibt sich für die beiden Signale: $$S_1=in{t}_1\cdot S+v,S_2=in{t}_2\cdot S+v\Rightarrow S=\frac{S_2-S_1}{in{t}_2-in{t}_1}$$

  
• Das resultierende Signal ist dann ebenfalls unabhängig vom Hintergrundlicht. Daher kann von nun an der Einfluss des Hintergrundlichtes grundsätzlich vernachlässigt werden. Außerdem kann die Reflexivität des Lichtpfades, bzw. die Summe der Reflexivitäten im Multipfad-Fall, im Voraus bestimmt werden. Dazu muss eine j-te Komponente der vektorwertigen Signalfunktion konstant sein. Dann gilt für diese Komponente der Signalfunktion: $$M_j\left(a,\delta \right)={\displaystyle \sum _{i=1}^n{a}_{i}S{\left({\delta }_i\right)}_j=r{\displaystyle \sum _{i=1}^n{a}_i\text{mit}r=S{\left(\delta \right)}_j.}}$$

  
• So lässt sich die Summe der Reflexivitäten immer bestimmen. Eine konstante Komponente in der Signalfunktion lässt sich erzeugen, indem eine Shutterfunktion die Periode über konstant eins ist. Damit wird einfach die Intensität des reflektierten Lichtes integrierend gemessen, ohne dass die Phasenverschiebung δ Auswirkungen auf das Ergebnis nimmt. Die gebildete Kreuzkorrelation nimmt in diesem Fall konstant den Wert des Integrals des reflektierten Lichtes an. Da die Kreuzkorrelation eine lineare Verknüpfung ist, lässt sich eine konstante Komponente der Signalfunktion auch als die Summe von mehreren Komponenten der Signalfunktion bilden, deren Shutterfunktionen in Summe die konstante Einsfunktion ergeben. Wird die Summe der Reflexivitäten ${\displaystyle {\sum }_{i=1}^n{a}_i}$

  

  nun auf diese Weise bestimmt, kann das Signal $M={\displaystyle {\sum }_{i=1}^n{a}_{i}S\left({\delta }_i\right)}$

  

  normalisiert werden, d.h.: $$M_{norm}=\frac{M}{{\displaystyle {\sum }_{i=1}^n{a}_i}}={\displaystyle \sum _{i=1}^n\frac{a_i}{{\displaystyle {\sum }_{i=1}^n{a}_i}}}S\left({\delta }_i\right).$$

  
• Damit ergibt die Summe der Reflektionskoeffizienten für ein normalisiertes Signal 1. Geometrisch betrachtet kann das normalisierte Signal bei der Überlagerung von n verschiedenen Lichtpfaden also als Konvexkombination von n Punkten auf der Trajektorie im mehrdimensionalen Signalraum beschrieben werden.
• Im Folgenden wird der Einfluss des Multipfadeffektes auf das Signal beschrieben. Bei der Tiefenmessung tritt eine Überlagerung von verschiedenen Lichtpfaden auf.
• Damit ergibt sich für das normalisierte Signal: $M\left(a,\delta \right)={\displaystyle {\sum }_{i=1}^n{a}_{i}S\left({\delta }_i\right)},$

  

  wobei nun zusätzlich gilt ${\displaystyle {\sum }_{i=1}^n{a}_i=1.}$

  

  Also ist das normalisierte Signal eine Konvexkombination von n Punkten auf der Signalkurve und liegt damit in deren konvexen Hülle. Um eine eindeutige Rekonstruktion des normalisierten Signals zu ermöglichen, müssen die nach Länge geordneten Phasenverschiebungen aus der entsprechenden Signalfunktion eindeutig rekonstruierbar sein, woraus folgt: $$\delta \ne \delta \text{'}\Rightarrow M\left(a,\delta \right)\ne M\left(b,\delta \text{'}\right)={\displaystyle \sum _{i=1}^n{a}_{i}S\left({\delta }_i\right)}\ne {\displaystyle \sum _{i=1}^n{b}_{j}S\left({\delta }_i^{\text{'}}\right)\forall a_i,b_i}>0:{\displaystyle \sum _{j=1}^n{a}_j={\displaystyle \sum _{j=1}^n{b}_j=1}}$$

  
• Die Mengen der Konvexkombinationen von jeweils n Punkten auf der Signalkurve müssen folglich für paarweise unterschiedliche Punkte disjunkt sein. Wenn diese Kombinationen sich schneiden, liegen 2n paarweise verschiedene Punkte auf der Signalkurve in einem affinen Unterraum der Dimension 2n - 2. Das bietet also einen Hinweis auf eine möglicherweise nicht eindeutig rekonstruierbare Signalcodierung. Die Gleichung (2.4) ist für bijektive linear-affine Abbildungen der Signalfunktion invariant.
• Sei L : ℝⁿ → ℝⁿ, L(x) = Ax + v, wobei A ∈ R^n×n : A regulär und v ∈ ℝⁿ. Daraus folgt: $$\begin{array}{l}{\displaystyle {\sum }_{i=1}^n{a}_{i}L\left(S\left({\delta }_i\right)\right)\ne }{\displaystyle {\sum }_{j=1}^n{b}_j\left(S\left({\delta }_j^{\text{'}}\right)\right)}\hfill \\ \iff {\displaystyle {\sum }_{i=1}^n{a}_i\left(A\cdot S\left({\delta }_i\right)+v\right)}\ne {\displaystyle {\sum }_{j=1}^n{b}_j}\left(A\cdot S\left({\delta }_j^{\text{'}}\right)+v\right)\hfill \\ \iff A\left({\displaystyle {\sum }_{i=1}^n{a}_{i}S\left({\delta }_i\right)}\right)+v\ne A\left({\displaystyle {\sum }_{j=1}^n{b}_{j}S\left({\delta }_j^{\text{'}}\right)}\right)+v\hfill \\ \iff A\left({\displaystyle {\sum }_{i=1}^n{a}_{i}S\left({\delta }_i\right)}\right)\ne A\left({\displaystyle {\sum }_{j=1}^n{b}_{j}S\left({\delta }_j^{\text{'}}\right)}\right)\hfill \\ \iff {\displaystyle {\sum }_{i=1}^n{a}_{i}S}\left({\delta }_i\right)\ne {\displaystyle {\sum }_{j=1}^n{b}_{j}S\left({\delta }_j^{\text{'}}\right)}\hfill \end{array}$$

  
• Damit hängt die Rekonstruierbarkeit im Multipfadfall einer Signalkurve, die eine gewisse Sensoransteuerung repräsentiert, nicht von bijektiven affin-linearen Transformationen der Trajektorie ab. Diese Freiheitsgrade können genutzt werden, um weitere gewünschte Eigenschaften oder eine gute technische Realisierung zu erzielen.
• Im Folgenden wird die Bildstruktur des normalisierten Multipfadeffekts im Signalraum beschrieben. Hier wird zunächst der einfachste Multipfadfall betrachtet, der durch die Überlagerung von genau zwei verschiedenen Lichtpfaden entsteht. Unter diesen Umständen setzt sich der Multipfadvektor als $$M\left({\delta }_1,{\delta }_2,a\right)=\left(1-a\right)S\left({\delta }_1\right)+aS\left({\delta }_2\right)$$

  

  zusammen, wobei gilt: 0 < a < 1.
• Gemäß verschiedenen Ausführungsformen wird die Klasse der harmonischen Signalcodierung bereitgestellt. Vereinfachend kann vorausgesetzt werden, dass die Signale normalisiert und frei von Hintergrundlicht sind. Dieser Zustand lässt sich gegebenenfalls auch durch Differenzbildung von mehreren Signalen herstellen.
• Um den Fehler, der durch den Multipfad-Effekt entsteht, zu kompensieren, wird gemäß verschiedenen Ausführungsformen ein Multifrequenzverfahren eingesetzt. Die gemessenen Signale des Sensors können durch einen Signalvektor mathematisch modelliert werden. Der Signalvektor S setzt sich in diesem Fall aus Sinusfunktionen mit möglicherweise verschiedenen Frequenzen f_i (beispielsweise einer ersten Frequenz f₁ und einer zweiten Frequenz f₂) und Phasenverschiebungen Φ_i zusammen: $$S\left(\delta \right)=\left(\begin{array}{c}sin\left({ƒ}_1\cdot \delta +{\varphi }_1\right)\\ sin\left({ƒ}_2\cdot \delta +{\varphi }_2\right)\\ ⋮\\ sin\left({ƒ}_n\cdot \delta +{\varphi }_n\right)\end{array}\right)$$

  
• Diese Signalverläufe lassen sich technisch erzeugen, indem mehrere Messungen nacheinander erfolgen. Dabei wird die Intensität der Lichtquelle mit entsprechender Frequenz f_i harmonisch moduliert. Die Shutterfunktionen sind rechteckig und mit der Frequenz f_i periodisch. Über die Wahl der Zeitpunkte, wann die Shutter geöffnet bzw. geschlossen werden, lässt sich die Phasenverschiebung Φ_i einstellen.
• Dabei kann dann die erste Komponente von S(δ) ein Beispiel für einen erster Wert von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz f₁ sein, und die zweite Komponente von S(δ) ein Beispiel für einen zweite Wert von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz f₂ sein.
• Für den allgemeinen Multipfad-Fall ohne Hintergrundlicht ergibt sich folgende Gleichung: $$M\left(\delta ,a\right)=M\left(\left({\delta }_1,\mathrm{...,}{\delta }_n\right),\left(a_1\mathrm{,...,}{a}_n\right)\right)={\displaystyle \sum _{i=1}^n{a}_{i}S\left({\delta }_i\right)}$$

  
• Der im Multipfad-Fall gemessene Multipfad-Vektor ergibt sich aus einer Linearkombination der Signalvektoren. Da sich die Summe der Reflexivitäten a_i bestimmen lässt, wie oben beschrieben wurde, wird vereinfachend angenommen ${\displaystyle {\sum }_{i=1}^n{a}_i=1}.$

  
• Lemma 1. Mit mehr als 2 phasenverschobenen Messungen für die gleiche Frequenz ist die Signalcodierung für den allgemeinen Multipfad-Fall (ohne Hintergrundlicht) überbestimmt.
• Beweis: Sei M=Σ_i∈N a_iS(δ_i). Dann gilt für die r-te Komponente M_r von M, dass M_r = Σ_i∈N a_i · sin(f_r · δ + ϕ_r) $$\begin{array}{l}={\displaystyle {\sum }_{i\in \mathbb{N}}{a}_i\cdot \left(cos\left({\varphi }_r\right)\cdot sin\left({ƒ}_r\cdot \delta \right)+sin\left({\varphi }_r\right)\cdot cos\left({ƒ}_r\cdot \delta \right)\right)}\\ =cos\left({\varphi }_r\right)\cdot {\displaystyle {\sum }_{i\in \mathbb{N}}{a}_i\cdot sin\left({ƒ}_r\cdot \delta \right)}+sin\left({\varphi }_r\right)\cdot {\displaystyle {\sum }_{i\in \mathbb{N}}{a}_{i}cos\left({ƒ}_r\cdot \delta \right)}.\end{array}$$

  
• Die Koeffizienten a_i geben den Einfluss der Reflexivitäten der unterschiedlichen Pfade wieder und die Äquivalenz ergibt sich aus den Additionstheoremen. Werden jeweils 2 unterschiedliche Phasenverschiebungen bei der gleichen Frequenz gewählt, lässt sich das resultierende Gleichungssystem eindeutig nach Σ_i∈N a_i sin(f_r · δ_i) und Σ_i∈N a_i cos(f_r · δ_i) auflösen, sofern die Differenz der gewählten Phasen kein Vielfaches von π ist, und daraus alle Werte für weitere Phasenverschiebungen bei gleicher Frequenz f_r bestimmen.
• Daher werden im Folgenden die beiden Phasenverschiebungen für die verschiedenen Frequenzen immer 0 und π/2 betragen. Es werden also die trigonometrischen Funktionen sin und cos gewählt. Für eine andere Wahl der beiden Phasen lässt sich das resultierende Signal mit Lemma 1 für die Ansteuerung mit sin und cos transformieren. Dabei kann bei einer Sensoransteuerung mit mehr als 2 verschiedenen Phasenverschiebungen für eine spezifische Frequenz mittels der Methode der kleinsten Quadrate und der Pseudoinversen auf die Werte für sin und cos geschlossen werden. Gemäß verschiedenen Ausführungsformen wird ein geeignetes Frequenzverhältnisse für den Multipfad-Fall bereitgestellt. Der Signalvektor lautet nun: $$S\left(\delta \right)=\left(\begin{array}{c}cos\left({ƒ}_1\cdot \delta \right)\\ sin\left({ƒ}_1\cdot \delta \right)\\ cos\left({ƒ}_2\cdot \delta \right)\\ sin\left({ƒ}_2\cdot \delta \right)\\ ⋮\\ cos\left({ƒ}_n\cdot \delta \right)\\ sin\left({ƒ}_n\cdot \delta \right)\end{array}\right)$$

  
• Im Folgenden wird der einfachste Multipfadfall mit nur 2 Pfaden beschrieben. Unter diesen Umständen setzt sich der Multipfadvektor als $$M\left({\delta }_1,{\delta }_2,r\right)=\left(1-r\right)S\left({\delta }_1\right)+rS\left({\delta }_2\right)$$

  

  zusammen, wobei gilt: 0 ≤ r ≤ 1.
• Gemäß verschiedenen Ausführungsformen wird die folgende Signalfunktion für den Fall des Multipfadproblems mit 2 Pfaden verwendet: $$S\left(\delta \right)=\left(\begin{array}{c}cos\left(\delta \right)\\ sin\left(\delta \right)\\ cos\left(2\delta \right)\\ sin\left(2\delta \right)\end{array}\right)$$

  
• Der Signalraum kann nun als C² betrachtet werden: $$S\left(\delta \right)=\left(\begin{array}{c}{z}_1^{\text{'}}\\ z_2^{\text{'}}\end{array}\right):=\left(\begin{array}{c}cos\left(\delta \right)+isin\left(\delta \right)\\ cos\left(2\delta \right)+isin\left(2\delta \right)\end{array}\right)$$

  
• Dabei kann dann die erste Komponente von S(δ), also $z_1^{\text{'}}$

  

  ein Beispiel für einen erster Wert von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz f₁ (beispielsweise δ) sein, und die zweite Komponente von S(δ), also $z_2^{\text{'}},$

  

  ein Beispiel für einen zweite Wert von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz f₂ (beispielsweise 2δ) sein.
• Die Trajektorie jeder Komponente verläuft damit jeweils auf einem Einheitskreis in der komplexen Ebene. Damit wird dieser für die doppelte Frequenz mit doppelter Geschwindigkeit durchlaufen. Also liegen die Punkte $z_1^{\text{'}}$

  

  und $z_2^{\text{'}}$

  

  auf dem entsprechenden Einheitskreis, meistens an verschiedenen Stellen. Der Multipfadeffekt eines normalisierten Signals wird als Konvexkombination von 2 Punkten auf der Trajektorie modelliert. Die Menge der Punkte p₁, welche sich als Konvexkombination zweier fest gewählter Punkte auf dem Einheitskreis ergibt, bildet geometrisch betrachtet eine Sehne des Kreises. Die Punkte p₂, welche sich aus dieser Konvexkombination ergeben, liegen auf einer weiteren Sehne des Einheitskreises. Möglicherweise entartet diese Sehne zu einem Punkt, wenn die Endpunkte der Sehne auf dem Einheitskreis mit doppelter Frequenz auf den gleichen Punkt abgebildet werden. Das geschieht genau bei einer Phasendifferenz von π- zwischen den beiden Phasenverschiebungen. Da sich das durch Multipfad-Effekte gestörte Signal als eine Konvexkombination von 2 Punkten ergibt, befinden sich beide Komponenten dieses Signal immer innerhalb der jeweiligen Einheitskreisscheibe. Sei nun z₁ ein fester Wert eines Signals, das durch Multipfad-Effekte gestört wurde. Die Menge aller möglichen Konvexkombinationen von Phasenverschiebungen und Reflektionsverhältnissen, deren Signal in der ersten Komponente z₁ ergibt, ist eindimensional und eindeutig über den Winkel y bestimmt. Dabei beschreibt y den Winkel, der von dem Durchmesser des Kreises, welcher durch z₁ verläuft, und einer beliebigen Kreissehne durch z₁ eingeschlossen wird, wie beispielhaft in 3 dargestellt.
• 3 zeigt eine Illustration 300 einer sich in p₁ schneidenden Konvexkombination.
• Für z₁ = 0 kann als Durchmesser hier die reelle Achse gewählt werden. Über die Endpunkte dieser Kreissehne sind damit die beiden Phasenverschiebungen δ eindeutig bestimmt. Der Winkel y verläuft im halboffenen Intervall $\left[-\frac{\pi }{2},\frac{\pi }{2}\right[.$

  

  Auf diese Weise besteht eine Bijektion zwischen y und der Menge zweier Punkte auf der Trajektorie, deren Konvexkombination z₁ ergeben kann. Über die Trigonometrischen Identitäten resultieren dabei folgende Zusammenhänge.
• Sei z₁ = a · e^iα in Polardarstellung geschrieben. Dann gilt Folgendes für die Winkel der beiden Endpunkte der Kreissehne und ihren zugeordneten Laufzeiten δ in Abhängigkeit des Winkels: $$\begin{array}{l}{\delta }_1\left(a,\alpha ,\gamma \right)=\alpha +\gamma -\text{arcsin}\left(a\cdot sin\left(\gamma \right)\right)\hfill \\ {\delta }_2\left(a,\alpha ,\gamma \right)=-\pi +\alpha +\gamma +\text{arcsin}\left(a\cdot \text{sin}\left(\gamma \right)\right)\hfill \end{array}$$

  
• Der Winkel γ kann dabei ein Beispiel sein für einen Winkel, der einer von dem ersten Wert z₁ und dem zweiten Wert z₂ abhängigen komplexen Zahl in Polardarstellung entspricht. Ebenfalls lässt sich das Verhältnis der Reflexivitäten r eindeutig wie folgt bestimmen: $$\begin{array}{c}r\left(a,\gamma \right)=\frac{-acos\left(\gamma \right)}{2\sqrt{1-a^2{\text{sin}}^2\left(\gamma \right)}}+\frac{1}{2}\\ M\left(a,\alpha ,\gamma \right)=\left(1-r\left(a,\gamma \right)\right)\cdot S\left({\delta }_1\left(a,\alpha ,\gamma \right)\right)+r\left(a,\gamma \right)\cdot S\left({\delta }_2\left(a,\alpha ,\gamma \right)\right)\end{array}$$

  
• Damit kann jedes Signal in Abhängigkeit von a, α und δ geschrieben werden. Die obigen Zusammenhänge ergeben sich insbesondere unter Nutzung des Sinus- und Kosinussatzes am Einheitskreis. Die Werte a und δ können durch die Messung des Signals mit der Grundfrequenz bestimmt werden. Für den Einzelpfadfall mit a=1 liefert δ₁ mit α das richtige Ergebnis. Also lässt sich das Multipfad-Problem mit zwei Pfaden lösen, wenn der Winkel γ bestimmt werden kann. Dazu werden die Informationen aus der weiteren Messung mit doppelter Frequenz genutzt. Wenn γ = 0 ist, haben die beiden Laufzeiten zueinander eine Phasenverschiebung von π, damit werden sie für die doppelte Frequenz auf den gleichen Punkt auf dem Einheitskreis abgebildet, d.h. z₂ = e^2iα.
• Insgesamt ergibt sich für den gemessenen Wert z₂ in Abhängigkeit von γ folgendes, indem die Gleichung (2.13) für die zweite Koordinate der Signalfunktion ausgewertet und vereinfacht wird. O.B.d.A ist α = 0, da α genau eine Rotation des Punktes z₂ um den Ursprung mit der doppelten Frequenz bewirkt. Dann folgt: $$\begin{array}{c}Re\left(z_2\right)=\left(\frac{a\text{cos}\left(\gamma \right)}{2\sqrt{1-a^2{\text{sin}}^2\left(\gamma \right)}}+\frac{1}{2}\right)\text{cos}\left(2\left(\gamma -\text{arcsin}\left(a\text{sin}\left(\gamma \right)\right)\right)\right)\\ +\left(\frac{-a\text{cos}\left(\gamma \right)}{2\sqrt{1-a^2{\text{sin}}^2\left(\gamma \right)}}+\frac{1}{2}\right)\text{cos}\left(2\left(-\pi +\gamma +\text{arcsin}\left(a\text{sin}\left(\gamma \right)\right)\right)\right)\\ =a^2{\left(-cos\left(2\gamma \right)+1\right)}^2+a^2\text{cos}\left(2\gamma \right)-\frac{a^2}{2}\text{cos}\left(4\gamma \right)-\frac{a^2}{2}+\text{cos}\left(2\gamma \right)\\ =2a^2{\text{sin}}^2\left(\gamma \right)-2\text{sin}{\left(\gamma \right)}^2+1\\ =\left(1-a^2\right)\text{cos}\left(2\gamma \right)+a^2\\ Im\left(z_2\right)=\left(\frac{a\text{cos}\left(\gamma \right)}{2\sqrt{1-a^2{\text{sin}}^2\left(\gamma \right)}}+\frac{1}{2}\right)\text{sin}\left(2\left(\gamma -\text{arcsin}\left(a\text{sin}\left(\gamma \right)\right)\right)\right)\\ +\left(\frac{-a\text{cos}\left(\gamma \right)}{2\sqrt{1-a^2{\text{sin}}^2\left(\gamma \right)}}+\frac{1}{2}\right)\text{cos}\left(2\left(-\pi +\gamma +\text{arcsin}\left(a\text{sin}\left(\gamma \right)\right)\right)\right)\\ =-2a^2\text{sin}\left(\gamma \right)\text{cos}\left(\gamma \right)+2\text{sin}\left(\gamma \right)\text{cos}\left(\gamma \right)\\ =\left(1-a^2\right)\text{sin}\left(2\gamma \right)\end{array}$$

  
• Damit ist eine Kreisgleichung mit dem Radius (1 - a²) und Mittelpunkt a² definiert, wobei der Kreis mit dem doppelten Wert des Winkels γ durchlaufen wird. Nun sorgt α für eine Rotation von z₂ mit doppelter Frequenz. Also bilden die Punkte z₂ für festen Punkt z₁ insgesamt in Abhängigkeit von γ einen Kreis mit dem Radius 1-a² und dem Mittelpunkt $z_1^2.$

  

  Damit lässt sich der Winkel γ eindeutig bestimmen, um die Phasenverschiebungen aus der Überlagerung zweier Lichtpfade bei einem normalisierten, hintergrundlichtfreien Signal zu rekonstruieren. Auf diese Weise ergibt sich ein Verfahren zur Detektion der Laufzeit bei einer Überlagerung von 2 Pfaden. Wenn das Signal normalisiert ist, bestimmt das im Folgenden angegebene „Verfahren 1“ die Laufzeit der beiden Pfade, wie im Folgenden in Pseudocode angegeben.

  Verfahren 1 Decodierung des normalisierten Signals
  1: procedure DECODE(S1, S2, S3, S4)	➢Das normalisierte Signal
  2: z1 ← S1 + i · S2
  3: z2 ← S3 + i · S4	➢Darstellung des ℝ4 als C2
  4: a ← |z1|	➢0 ≤ a ≤ 1 für die normalisierten Reflexivitäten
  5: $\alpha \leftarrow \text{arctan}\left(\frac{Im\left(z_1\right)}{Re\left(z_1\right)}\right)$
  6: $p\leftarrow z_2-z_1^2$
  7: $\gamma \leftarrow \frac{\text{arctan}\left(\frac{Im\left(p\right)}{Re\left(p\right)}\right)}{2}$	➢Für eine schnellere Laufzeit wurden die Terme gekürzt
  8: δ1 ← γ - arcsin(a • sin(γ - α))
  9: δ2 ← —π + γ + arcsin(α • sin(γ - α))
  10: return (δ1, δ2)	➢Die Phasenverschiebungen der beiden Pfade
  11: end procedure

• Dabei können S₁ und S₂ (also Real- und Imaginärteil von z₁) Beispiele sein für den ersten und zweiten Komponentenwert von z₁. Entsprechend können S₃ und S₄ (also Real- und Imaginärteil von z₂) Beispiele sein für den ersten und zweiten Komponentenwert von z₂.
• Da der Radius der oben beschriebenen Kreisgleichung mit 1-a² bekannt ist, bietet sich die Möglichkeit, das Signal alleine aus den Daten der vier Messungen zu normalisieren. Denn ein normalisiertes Signal S erfüllt die Gleichung |p| = $\left|z_2-z_1^2\right|=1-a^2.$

  

  Wenn das Signal $S\text{'}=\frac{S}{s}$

  

  normalisiert ist, gilt somit: $$\begin{array}{l}\left|\frac{z_2}{S}-{\left(\frac{z_1}{S}\right)}^2\right|=1-{\left|\frac{z_1}{S}\right|}^2\hfill \\ \Rightarrow s^4-\left(2{\left|z_1\right|}^2+{\left|z_2\right|}^2\right)s^2+2\text{Re}\left({\overline{z}}_2\cdot z_1^2\right)s=0\text{Da s}>0\text{sein muss}\text{, folgt}\hfill \\ \Rightarrow s^3-\left(2{\left|z_1\right|}^2+{\left|z_2\right|}^2\right)s+2\text{Re}\left({\overline{z}}_2\cdot z_1^2\right)=0\hfill \end{array}$$

  
• Sei s echt größer als die positive Summe der Reflexivitäten. Dann ergibt sich: $$\left|\frac{z_2}{s}-{\left(\frac{z_1}{s}\right)}^2\right|\ast <\left|\frac{z_1^2}{\left|z_1^2\right|}-{\left(\frac{z_1}{s}\right)}^2\right|=\left|\frac{z_1^2}{z_1^2}\right|-\left|{\left(\frac{z_1}{s}\right)}^2\right|=1-{\left|\frac{z_1}{s}\right|}^2.$$

  
• Für $s={\displaystyle {\sum }_{i=1}^n{a}_{i}gilt\left|z_1\right|,\left|z_2\right|\le s}$

  

  sowie $\left|\frac{z_2}{s}-{\left(\frac{z_1}{s}\right)}^2\right|=1-{\left|\frac{z_1}{s}\right|}^2=\left|\frac{z_1^2}{\left|z_1^2\right|}-{\left(\frac{z_1}{s}\right)}^2\right|\iff \left|s{z}_2-z_1^2\right|=\left|\frac{s^2{z}^2}{\left|z_1^2\right|}-z_1^2\right|.$

  
• Für $s>{\displaystyle {\sum }_{i=1}^n{a}_i}$

  

  gilt dann die Ungleichung * und in diesem Fall $$s^3-\left(2{\left|z_1\right|}^2+{\left|z_2\right|}^2\right)s+2\text{Re}\left({\overline{z}}_2\cdot z_1^2\right)>0.$$

  
• Also ergibt die größte Nullstelle der reduzierten kubischen Gleichung $$s^3-\left(2{\left|z_1\right|}^2+{\left|z_2\right|}^2\right)s+2\text{Re}\left({\overline{z}}_2\cdot z_1^2\right)=0.$$

  

  die Summe der Reflexivitäten. Damit erhält man das im Folgenden als „Verfahren 2“ angegebene Verfahren, um das Signal zu normalisieren. Diese Nullstelle kann als Normierungsfaktor gewählt werden. Die Nullstelle kann ein Beispiel sein für den skalaren Gesamtwert, der auf dem ersten Wert und dem zweiten Wert basiert.

  Verfahren 2 Normalisierung des gemessenen Signals
  1: procedure NORMALIZE(S1, S2, S3, S4)	➢Die gemessene Signal
  2: z1 ← S1 + i · S2
  3: z2 ← S3 + i · S4	➢Darstellung des ℝ4 als C2
  4: c ← -2 · |z1|2 - |z|2
  5: $d\leftarrow 2\cdot \text{Re}\left({\overline{z}}_2\cdot z_1^2\right)$	➢Koeffizienten der reduzierten kubischen Gleichung
  6: $s\leftarrow \sqrt{-\frac{4}{3}\cdot c}\cdot \text{cos}\left(\frac{1}{3}\cdot \text{arcos}\left(\frac{-d}{2}\cdot \sqrt{\frac{-27}{c^3}}\right)\right)$	➢cardanische Formel
  7: return $\left(\frac{S_1}{s},\frac{S_2}{s},\frac{S_3}{s},\frac{S_4}{s}\right)$	➢Das normalisierte Signal
  8: end procedure

• Wenn die Phasenverschiebungen somit bestimmt wurden, lassen sich die zugehörigen Reflexivitäten ermitteln, indem das entsprechende lineare Gleichungssystem für den entsprechenden Pixel gelöst wird. Im Folgenden wird die Stabilität des Verfahrens analysiert. Dazu wird im Rahmen eines Monte-Carlo-Verfahrens zufällig generiertes Rauschen auf zufällig generierte Signale addiert und nachfolgend die Richtigkeit des Ergebnisses geprüft. Diese wird hier als gegeben angenommen, sofern der Phasenunterschied im Bogenmaß zwischen der echten Laufzeit δ₀ mit der höheren Reflexivität und der rekonstruierten Laufzeit δ_re weniger als 10^-4 beträgt. In der Praxis ist das Nutzsignal meistens stärker als das Störsignal. Daher wird hier als die zu rekonstruierende Laufzeit δ_re wird der Pfad mit der höheren Reflexivität betrachtet, der damit das Signal am stärksten beeinflusst. Dazu werden die beiden Laufzeiten δ₁, δ₂ ∈ [-π, π] und die Reflexivität r ∈ [0,1] gleichverteilt zufällig gewählt. Somit werden zufällige Signale erzeugt, auf die ein Rauschen mit einer Gaußverteilung addiert wird.
• 4 zeigt eine Illustration 400 der Anzahl der korrekten Rekonstruktionen 402, aufgetragen über die Standardabweichungen der Gaußverteilung 404 von 10^-10 bis 10^-1. Jedes Mal wurden 10000 zufällige Signale erzeugt, die maximale Anzahl korrekter Rekonstruktionen beträgt also 10000.
• 5 zeigt eine Illustration 500 des arithmetischen Mittels des absoluten Fehlers 502 über der Standardabweichung des Gaußrauschens 504, hierbei wurden jeweils 100000 Zufallssignale erzeugt.
• Wie oben gezeigt, lässt sich bei einer Überlagerung von zwei Lichtpfaden eine eindeutige Entfernungsinformation rekonstruieren lässt. Dabei wird ein Multifrequenzverfahren mit zwei Modulationsfrequenzen eingesetzt, das Frequenzverhältnis liegt bei 2 zu 1.
• Gemäß verschiedenen Ausführungsformen kann aber auch ein anderes Frequenzverhältnis gewählt werden, beispielsweise ein Frequenzverhältnis von 3 zu 1.
• Bei einem Frequenzverhältnis von 3 zu 1 sind nicht mehr alle möglichen Kombinationen von Laufzeiten der beiden Lichtpfade eindeutig rekonstruierbar. Für die in der Praxis auftretenden Überlagerungen könnten aber dennoch viele gemessene Signalwerte eindeutig zwei Lichtpfaden zugeordnet werden. Die nun betrachtete Signalfunktion lautet: $$S\left(\delta \right)=\left(\begin{array}{c}\text{cos}\left(\delta \right)\\ \text{sin}\left(\delta \right)\\ \text{cos}\left(3\delta \right)\\ \text{sin}\left(3\delta \right)\end{array}\right)$$

  
• Gemäß verschiedenen Ausführungsformen wird eine Rekonstruktion in geschlossener Form bereitgestellt. Das im Folgenden angegebene „Verfahren 3“ zur Dekodierung des normalisierten Signals ähnelt dem Fall eines Multifrequenzverfahrens mit doppelter Oberfrequenz und basiert auf ähnlichen geometrischen Überlegungen.

  Verfahren 3 Die Decodierung des normalisierten Signals bei dreifacher Oberschwingung
  1: procedure DECODE(S1, S2, S3, S4)	➢Das gemessene Signal
  2: z1 ← S1 + i · S2
  3: z2 ← S3 + i · S4	➢Darstellung des ℝ4 als C2
  4: α ← |z1|	➢0 ≤ a ≤ 1 für die normalisierten Reflexivitäten
  5: $\alpha \leftarrow \text{arctan}\left(\frac{\text{Im}\left(z_1\right)}{\text{Re}\left(z_1\right)}\right)$
  6: p1 ← a · e3iα
  7: p ← z2 - p1
  8: $\gamma \leftarrow \frac{arctan\left(\frac{Im\left(p\right)}{Re\left(p\right)}\right)-3\alpha }{2}$
  9: δ1 ← α + γ - arcsin(a · sin(γ))
  10: δ2 ← π + α + γ + arcsin(a · sin(γ))
  11: return (δ1, δ2)	➢Die Phasenverschiebungen der beiden Pfade
  12: end procedure

• Im Folgenden wird das Normalisieren des Signals gemäß verschiedenen Ausführungsformen beschrieben. Die allgemeine Parameterdarstellung einer Kardioide lautet in Polarkoordinaten mit Winkel γ und Parameter c: r(y) = 2c(1 - cos(γ)). Bei fester Wahl des Punktes z₁ = ae^αi bilden die komplexen Zahlen p für alle möglichen Signale im Bild von M(a, δ) eine Kardioide im komplexen Einheitskreis mit Parameter c = a - a³ s. Ein normalisiertes Signal S erfüllt somit die Gleichung $$\left|p\right|=2*\left(a-a^3\right)\left(1-\text{cos}\left(\gamma \right)\right).$$

  
• Somit ist das Signal $S\text{'}=\frac{s}{s}$

  

  mit s>0 normalisiert, wenn gilt: $$\begin{array}{l}\frac{\left|p\right|}{s}=2\left(\frac{a}{s}-\frac{a^3}{s^3}\right)\left(1-\text{cos}\left(\gamma \right)\right)\\ \Rightarrow \left(\frac{\left|p\right|}{1-\text{cos}\left(\gamma \right)}-2a\right)s^2=-2a^3\left(s>0\right)\end{array}$$

  
• Aus dieser Gleichung $\Rightarrow s=\sqrt{\frac{-2a^3}{\frac{\left|p\right|}{1-\text{cos}\left(\gamma \right)}-2a}}$

  

  ergibt sich das im Folgenden angegebene „Verfahren 4“ zum Normalisieren des Signals.

  Verfahren 4 Normalisierung bei dreifacher Oberschwingung
  1: procedure normalize(S1, S2, S3, S4)	> Die gemessene Signal
  2: z1 ← S1 + i · S2
  3: z2 ← S3 + i · S4	➢Darstellung des ℝ4 als C2
  4: a ← |z1|
  5: $\alpha \leftarrow \text{arctan}\left(\frac{\text{Im}\left(z_1\right)}{\text{Re}\left(z_1\right)}\right)$
  6: p1 ← a · ei3α
  7: p ← z2 - p1
  8: $\gamma \leftarrow arctan\left(\frac{Im\left(p\right)}{Re\left(p\right)}\right)-3\alpha$
  9: $d\leftarrow \frac{\left|p\right|}{1-\text{cos}\left(\gamma \right)}-2a$	➢Keine Normalisierung ist möglich, wenn der Nenner d ≥ 0 ist
  10: $s\leftarrow \sqrt{\frac{2a^3}{d}}$
  11: return $\left(\frac{S_1}{s},\frac{S_2}{s},\frac{S_3}{s},\frac{S_4}{s}\right)$	➢Das normalisierte Signal
  12: end procedure

• Im Folgenden wird die Überlagerung von drei Lichtpfaden beschrieben. Ein normalisierter Multipfadeffekt, der sich als Überlagerung von 3-Pfaden ergibt, lässt sich durch folgende Abbildung beschreiben: $$M\left(a,\delta \right)={\displaystyle \sum _{i=1}^3{a}_{i}S\left({\delta }_i\right)=a_{1}S\left({\delta }_1\right)+a_{2}S\left({\delta }_2\right)+a_{3}S\left({\delta }_3\right)}\text{mit 0}\le {\text{a}}_1,a_2,a_3:a_1+a_2+a_3=1$$

  
• Als Signalfunktion kann in diesem Fall in Analogie zu dem Fall mit 2 Lichtpfaden und den obigen Überlegungen der Signalvektor S folgendermaßen gewählt werden: $$S\left({\delta }_i\right)=\left(\begin{array}{c}\text{cos}\left({\delta }_i\right)\\ \text{sin}\left({\delta }_i\right)\\ \text{cos}\left(2{\delta }_i\right)\\ \text{sin}\left(2{\delta }_i\right)\\ \text{cos}\left(3{\delta }_i\right)\\ \text{sin}\left(3{\delta }_i\right)\end{array}\right)$$

  
• Die Trajektorie verläuft also in einem sechsdimensionalen Signalraum. Sei nun S_m das durch Multipfad-Effekte gestörte Signal, zur Rekonstruktion des Signals wird nun folgendes Verfahren genutzt. $$Er\left(S_m,a,\delta \right)=\Vert S_m-M\left(a,\delta \right)\Vert$$

  
• Die Gleichung beschreibt den Fehler zwischen dem gemessenen und modellierten Signal. Die rekonstruierten Laufzeiten δ ergeben sich dann mittels: $$Re\left(S_m\right)=\text{arg}\underset{\delta ,a}{{\displaystyle \text{min}}}Er\left(S_m,a,\delta \right)$$

  
• Wenn die Laufzeiten eindeutig rekonstruierbar sind und das gemessene Signal S_m im Bild(M) liegt, ist Re(S_m) auf jeden Fall wohldefiniert. Denn in diesem Fall besitzt Er(S_m, a, δ) genau eine Nullstelle. Die rekonstruierten Laufzeiten können mit numerischen Minimierern ermittelt werden. Dazu können Startwerte vorgegeben werden, die sich nahe der Stelle befinden, an der das Minimum angenommen wird.
• Wenn die Laufzeiten und ein Signal vorgegeben werden, lassen sich zugehörige Reflexivitäten folgendermaßen bestimmen. Definiere die gemessene Signalkomponente $S_m^i:=M{\left(a,\delta \right)}_i$

  

  für entsprechende a, δ. Damit gilt dann: $$\begin{array}{l}M\left(a,\delta \right)={\displaystyle \sum _{i=1}^3{a}_{i}S\left({\delta }_i\right)=a_{1}S\left({\delta }_1\right)+a_{2}S\left({\delta }_2\right)+a_{3}S\left({\delta }_3\right)}\\ \Rightarrow S_m^1=a_1{S}_1\left({\delta }_1\right)+a_2{S}_1\left({\delta }_2\right)+a_3{S}_1\left(\delta 3\right)\\ S_m^2=a_1{S}_2\left({\delta }_1\right)+a_2{S}_2\left({\delta }_2\right)+a_3{S}_2\left({\delta }_3\right)\\ \Rightarrow S_m^1=a_1\text{cos}\left({\delta }_1\right)+a_2\text{cos}\left({\delta }_2\right)+a_3\text{cos}\left(\delta 3\right)\\ S_m^2=a_1\text{sin}\left({\delta }_1\right)+a_2\text{sin}\left({\delta }_2\right)+a_3\text{sin}\left({\delta }_3\right)\end{array}$$

  
• Dabei beschreibt der obere Index die i-te Komponente des vektorwertigen Signals.
• Zusätzlich mit a₁ + a₂ + a₃ = 1 bedingt dies das folgende lineare Gleichungssystem: $$K\left(\delta \right)\cdot a:=\left(\begin{array}{ccc}\text{cos}\left({\delta }_1\right)& \text{cos}\left({\delta }_2\right)& \text{cos}\left({\delta }_3\right)\\ \text{sin}\left({\delta }_1\right)& \text{sin}\left({\delta }_2\right)& \text{sin}\left({\delta }_3\right)\\ 1& 1& 1\end{array}\right)\left(\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right)=\left(\begin{array}{c}{S}_m^1\\ S_m^2\\ 1\end{array}\right)$$

  
• Das ist für paarweise unterschiedliche Werte von δ₁, δ₂, δ₃ im Intervall [-π-, π) stets eindeutig lösbar, da die Matrix K(δ) in diesen Fällen vollen Rang hat. Auf diese Weise können die Koeffizienten a mit $$a\text{'}\left(\delta ,S_m\right)=K{\left(\delta \right)}^{-1}\left(\begin{array}{c}{S}_m^1\\ S_m^2\\ 1\end{array}\right)$$

  

  in einer Umgebung um die Nullstelle von Er(S_m, a, δ) abgeschätzt werden. Damit ergibt sich eine weitere Fehlerfunktion $$Er\text{'}\left(S_m,\delta \right)=\Vert S_m-M\left(a\text{'}\left(\delta ,S_m\right),\delta \right)\Vert$$

  

  und die dazugehörigen rekonstruierten Laufzeiten mit $$Re\left(S_m\right)=\text{arg}\underset{\delta }{{\displaystyle \text{min}}}Er\text{'}\left(S_m,\delta \right)$$

  
• Wenn S_m im Bild(M) liegt, besitzt auch diese Fehlerfunktion eine Nullstelle, die bei Injektivität von M eindeutig ist. In diesem Fall kann die Anzahl der Variablen, über die minimiert wird, halbiert werden. Der Suchraum ist nur noch dreidimensional.
• Als Startwert für die numerischen Optimierer müssen nun Werte für die 3 Laufzeiten angegeben werden. Dabei können die Ergebnisse der geschlossenen Form für 2 Laufzeiten genutzt werden.
• Gute Resultate können mit den Startwerten (ϕ₁ - ∈, ϕ₂ - ∈, ϕ₂ + ∈) erzielt werden, wobei die Laufzeiten (ϕ₁, ϕ₂) die Lösungen der geschlossenen Form für die Überlagerung von 2 Lichtpfaden sind, die gute Näherungen für die Startwerte liefern. Die Zahl ∈ stellt eine kleine Verschiebung der Näherungen dar, die sicherstellt, dass die Matrix K(δ) vollen Rang hat.
• Im Folgenden wird eine dimensionale Reduktion des Signalraumes gemäß verschiedenen Ausführungsformen beschrieben. Dabei wird der Signalraum als ℂ³ betrachtet. Dann lautet die Signalfunktion $$S\left(\delta \right)=\left(\begin{array}{c}{z}_1\\ z_2\\ z_3\end{array}\right)=\left(\begin{array}{c}{e}^{i\delta }\\ e^{2i\delta }\\ e^{3i\delta }\end{array}\right)$$

  
• Eine Verschiebung der Laufzeit δ wirkt sich dann folgendermaßen auf das Signal aus: $$S\left(\delta +\kappa \cdot 1_V\right):=\left(\begin{array}{c}{e}^{i\left(\delta +\kappa \right)}\\ e^{2i\left(\delta +\kappa \right)}\\ e^{3i\left(\delta +\kappa \right)}\end{array}\right)=\left(\begin{array}{c}{e}^{i\delta }\\ e^{2i\delta }\\ e^{3i\delta }\end{array}\right)\circ \left(\begin{array}{c}{e}^{i\kappa }\\ e^{2i\kappa }\\ e^{3i\kappa }\end{array}\right)$$

  
• Dabei beschreibt ◦ das Hadamard-Produkt, also die komponentenweise Vektormultiplikation. Mit der Linearität der Summe gilt diese Gleichung auch im Multipfadfall. Es gilt dann: $$M\left(a,\delta \text{+}\kappa \cdot {\text{1}}_V\right)=M\left(a,\delta \right)\circ \left(\begin{array}{c}{e}^{i\kappa }\\ e^{2i\kappa }\\ e^{3i\kappa }\end{array}\right)$$

  
• Sei nun z₁ = a · e^iα das gemessene Signal, welches der Grundfrequenz zugeordnet ist. Dann gilt: $$M\left(a,\delta +\alpha \cdot {\text{1}}_V\right)=M\left(a,\delta \right)\circ \left(\begin{array}{c}{e}^{-i\alpha }\\ e^{-2i\alpha }\\ e^{-3i\alpha }\end{array}\right).$$

  
• Durch diese Transformation des Signals gilt, dass Im(z₁) = 0 ist, wodurch die Dimensionalität des Signalraums also reduziert wurde. Können nun die Laufzeiten δ' für das transformierte Signal ermittelt werden, ergeben sich mit δ = δ + α · 1_v die ursprünglichen Laufzeiten erneut. Dieses Verfahren funktioniert analog auch für Signalfunktionen mit mehr als 3 paarweise unterschiedlichen Frequenzen. Wenn die Laufzeit eines Lichtpfades als bekannt vorausgesetzt wurde, konnten die übrigen beiden Lichtpfade in geschlossener Form und in Analogie zu dem System mit 2 Pfaden bestimmt werden über die Messungen mit der Grundfrequenz und der doppelten Frequenz. Davon ausgehend und mit trigonometrischen Umformungen, ähnlich dem Fall mit 2 Lichtpfaden, kann die Fehlerfunktion nur in Abhängigkeit von einer Variablen aufgestellt werden und skalare Optimierer zur Rekonstruktion der der Laufzeiten der Pfade genutzt werden.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 19704496 C2 [0003]
• US 9753128 B1 [0004]

Claims (14)

1. Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: - Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; - Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; - Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und - Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; - wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ferner basiert auf der Ermittlung eines Winkels, der einer von dem ersten Wert und dem zweiten Wert abhängigen komplexen Zahl in Polardarstellung entspricht.
2. Verfahren nach Anspruch 1, wobei der Winkel ermittelt wird basierend auf einer Berechnung eines Arcustangens basierend auf dem ersten Wert und dem zweiten Wert.
3. Verfahren nach einem der Ansprüche 1 oder 2, wobei der mindestens eine erste Wert zwei erste Komponenten-Werte, die als eine erste komplexe Zahl darstellbar sind, umfassen; wobei der mindesteins eine zweite Wert zwei zweite Komponenten-Werte, die als eine zweite komplexe Zahl darstellbar sind, umfassen; und wobei der Winkel ermittelt wird basierend auf einem Wert bzw. auf Werten, der bzw. die einer Differenz zwischen der zweiten komplexen Zahl und dem Quadrat der ersten komplexen Zahl entspricht bzw. entsprechen.
4. Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: - Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; - Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; - Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und - Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; - wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ausschließlich auf analytischen Berechnungen und/oder exakten Berechnungen und/oder nicht-iterativen Berechnungen und/oder nicht-näherungsweisen Berechnungen basiert.
5. Verfahren zum Bestimmen mindestens einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: - Steuern der Lichtquelle zum Aussenden einer Mehrzahl von Lichtsignalen, wobei jedes Lichtsignal einen zeitlichen Intensitätsverlauf basierend auf einer jeweiligen Frequenz aufweist, wobei mindestens eine erste Frequenz und eine von der ersten Frequenz verschiedene zweite Frequenz verwendet werden; - Ermitteln mindestens eines ersten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der ersten Frequenz; - Ermitteln mindestens eines zweiten Werts von in der Lichtlaufzeitkamera empfangenen Lichtsignalen in der zweiten Frequenz; und - Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds basierend auf den ermittelten jeweiligen ersten und zweiten Werten unter Berücksichtigung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor; - wobei die Berechnung der mindestens einen Entfernungsinformation des dreidimensionalen Bilds ferner basiert auf einem Normieren der jeweiligen Signale basierend auf einem skalaren Gesamtwert, der auf dem ersten Wert und dem zweiten Wert basiert.
6. Verfahren nach Anspruch 5, wobei das Normieren auf einer Bestimmung von Nullstellen eines Polynom dritten oder höheren Grades basiert.
7. Verfahren nach einem der Ansprüche 5 oder 6, wobei der mindestens eine erste Wert zwei erste Komponenten-Werte, die als eine erste komplexe Zahl darstellbar sind, umfasst; wobei der mindestens eine zweite Wert zwei zweite Komponenten-Werte, die als eine zweite komplexe Zahl darstellbar sind, umfasst; und wobei ein Normierungsfaktor der Normierung ermittelt wird basierend auf einem Wert bzw. auf Werten, der bzw. die einer Differenz zwischen der zweiten komplexen Zahl und dem Quadrat der ersten komplexen Zahl entspricht bzw. entsprechen.
8. Verfahren nach einem der Ansprüche 1 bis 7, wobei der erste Wert einer ersten Intensität oder einer ersten Intensitätsdifferenz entspricht; und wobei der zweite Wert einer zweiten Intensität oder einer zweiten Intensitätsdifferenz entspricht.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei der mindestens eine erste Wert zwei erste Intensitäten oder zwei erste Intensitätsdifferenzen umfasst, die zumindest im Wesentlichen um 90° phasenverschoben zueinander ermittelt werden; und wobei der mindestens eine zweite Werte zwei zweite Intensitäten oder zwei zweite Intensitätsdifferenzen umfasst, die zumindest im Wesentlichen um 90° phasenverschoben zueinander ermittelt werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, wobei die zweite Frequenz zumindest im Wesentlichen doppelt so groß ist wie die erste Frequenz.
11. Verfahren zum Bestimmen einer Entfernungsinformation für ein dreidimensionales Bild aus mindestens zwei Laufzeitunterschieden zwischen von einer Lichtquelle einer Lichtlaufzeitkamera emittierten Lichtsignalen und von einem Bildsensor der Lichtlaufzeitkamera durch Streuung oder Reflektion der emittierten Lichtsignale an mindestens einem Objekt empfangenen Lichtsignalen, wobei das Verfahren umfasst: Ermittlung von mindestens zwei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor unter Verwendung des Verfahrens nach einem der Ansprüche 1 bis 10; Ermittlung von Entfernungsinformation basierend auf mindestens drei Pfaden der emittierten Lichtsignale von der Lichtquelle zum Bildsensor mittels eines iterativen numerischen Verfahrens, wobei für das iterative numerische Verfahren mindestens drei Startwerte für die mindestens drei Pfade basierend auf den ermittelten mindestens zwei Pfaden ermittelt werden.
12. Kamerasystem umfassend eine Lichtlaufzeitkamera mit einer Lichtquelle, einem Bildsensor und einer Synchronisationseinrichtung und eine Recheneinheit, zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 11.
13. Vorrichtung umfassend eine Synchronisationseinrichtung und eine Recheneinheit, die ausgestaltet ist zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11.
14. Computerprogramm zum Speichern auf einem Datenträger und zum Veranlassen einer Computervorrichtung zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 11, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.

Images