DE102020127332A1 - Lichtlauftzeitkamerasystem - Google Patents

Abstract

Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems mit einem Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln an einem Fahrzeug,bei dem eine Bewegung des Fahrzeugs erfasst und für Berechnungen zur Verfügung gestellt wird,mit den Schritten:a) Ermittlung von Rohdistanzwerten (mij(tn,fs)) zu einem ersten Erfassungsframe (tn) und mit einer ersten Modulationsfrequenz (fs),b) Überführung der Rohdistanzwerte (mij(tn,fs)) in Distanzwerte (dij(tn,fs,k)) unter der Vorgabedij[tn, fs, k]=mij[tn, fs]+k*EB(fs)mit einem k-Wert als Zähler von 0 bis einem maximalen k-Wertund einem frequenzabhängigen Eindeutigkeitsbereich (EB),c) Rückrechnung der Distanzwerte (dij(tn,fs,k))in Distanzwerte d'pq(tn-1,fs,k) eines vorhergehenden Erfassungsframes (tn-1) unter Berücksichtigung der zwischen den beide Erfassungsframes (t1, t2, Δx) stattgefundenen Bewegung (TΔx) des Fahrzeugs,d) Grenzwert-Vergleich des rückgerechneten Distanzwerts d'pq(tn-1,fs,k) mit einem entsprechenden Rohdistanzwert mpq(tn-1,fs-1) desselben Pixels Pixpqnach der Vorschrift:|d'pq[tn-1, fs, k]−mpq[tn-1, fs-1]|(mod EB(tn-1, fs-1))<GWe) Ausgabe des im Schritt b) ermittelten Distanzwert dij(tn,fs,k) als valide, wenn ein k-Wert existiert, bei dem der Grenzwert GW unterschritten wird, unter Berücksichtigung des ermittelten k-Werts,f) Wiederholung der vorgenannten Schritte für einen nächsten Erfassungsframe (tn+1) mit einer nächsten Frequenz (fs+1).

Description

• Die Erfindung betrifft ein Lichtlaufzeitkamerasystem und ein Verfahren zum Betreiben eines solchen nach Gattung der unabhängigen Ansprüche.
• Mit Lichtlaufzeitkamerasystem sollen nicht nur Systeme umfasst sein, die Entfernungen aus einer Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der DE 197 04 496 beschrieben sind.
• Für die Bestimmung einer Entfernung bzw. einer entsprechenden Phasenverschiebung des reflektierten Lichts wird, wie in der DE 197 04 496 ausführlich beschrieben, im PMD-Sensor das reflektierte Licht mit dem modulierenden Signal gemischt. Diese Mischung liefert ein in Phase liegendes Signal (0°) und ein um 180° versetztes Signal, aus dem in bekannter Weise eine Entfernung bestimmt werden kann. Zur Verbesserung der Qualität der Entfernungsmessung kann es vorgesehen sein, die Sendemodulation gezielt beispielsweise um 90°, 180° oder 270° zu verschieben und vorzugsweise mittels einer IQ- (Inphase-Quadratur-) Demodulation einen Phasenwinkel des reflektierten in Relation zum gesendeten Signal zu bestimmen. Dieses Vorgehen ist insbesondere nützlich zur Gewinnung von redundanten Informationen, um beispielsweise verschiedene parasitäre Effekte wie fixed pattern noise (FPN), Hintergrundlicht oder Asymmetrien des Sensors zu kompensieren.
• Aufgabe der Erfindung ist es, die Entfernungsmessung eines Lichtlaufzeitkamerasystems zu verbessern.
• Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Lichtlaufzeitkamerasystem und Verfahren nach Gattung der unabhängigen Ansprüche gelöst.
• Vorteilhaft ist ein Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems vorgesehen, mit einem Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln an einem Fahrzeug,
  bei dem eine Bewegung des Fahrzeugs erfasst und für Berechnungen zur Verfügung gestellt wird,
  mit den Schritten:
1. a) Ermittlung von Rohdistanzwerten (m_ij(t_n,f_s)) zu einem ersten Erfassungsframe (t_n) und mit einer ersten Modulationsfrequenz (f_s),
2. b) Überführung der Rohdistanzwerte (m_ij(t_n,f_s)) in Distanzwerte (d_ij(t_n,f_s,k)) unter der Vorgabe $${\text{d}}_{\text{ij}}\left[{\text{t}}_{\text{n}}{\text{, f}}_{\text{s}}\text{, k}\right]={\text{m}}_{\text{ij}}\left[{\text{t}}_{\text{n}}{\text{, f}}_{\text{s}}\right]+\text{k}*\text{EB}\left({\text{f}}_{\text{s}}\right)$$
   
   mit einem k-Wert als Zähler von 0 bis einem maximalen k-Wert und einem frequenzabhängigen Eindeutigkeitsbereich (EB),
3. c) Rückrechnung der Distanzwerte (d_ij(t_n,f_s,k)) in Distanzwerte d'_pq(t_n-1,f_s,k) eines vorhergehenden Erfassungsframes (t_n-1) unter Berücksichtigung der zwischen den beide Erfassungsframes (t1, t2, Δx) stattgefundenen Bewegung (TΔx) des Fahrzeugs,
4. d) Grenzwert-Vergleich des rückgerechneten Distanzwerts d'_pq(t_n-1,f_s,k) mit einem entsprechenden Rohdistanzwert m_pq(t_n-1,f_s-1) desselben Pixels Pix_pq nach der Vorschrift: $$\left|{\text{d'}}_{\text{pq}}\left[{\text{t}}_{\text{n-1}}{\text{, f}}_{\text{s}}\text{, k}\right]-{\text{m}}_{\text{pq}}\left[{\text{t}}_{\text{n-1}}{\text{, f}}_{\text{s-1}}\right]\right|\left(\text{mod EB}\left({\text{t}}_{\text{n-1}},{\text{f}}_{\text{s-1}}\right)\right)<\text{GW}$$
   
5. e) Ausgabe des im Schritt b) ermittelten Distanzwert d_ij(t_n,f_s,k) als valide, wenn ein k-Wert existiert, bei dem der Grenzwert GW unterschritten wird, unter Berücksichtigung des ermittelten k-Werts,
6. f) Wiederholung der vorgenannten Schritte für einen nächsten Erfassungsframe (t_n+i) mit einer nächsten Frequenz (f_s+1).
• Dieses Vorgehen hat den Vorteil, dass mit Hilfe von schnell durchführbaren Berechnungen valide und gültige Entfernungsdaten ausgegeben werden.
• Besonders vorteilhaft ist es, wenn die Rückrechnung gemäß Punkt c) mit folgende Schritten durchgeführt wird:
• c1) Überführung der Distanzwerte (d_ij(t_n,f_s,k)) in Koordinatenwerte (k_ij(t_n,f_s,k))
• c2) Rückrechnung der Koordinatenwerte (k_ij(t_n,f_s,k)) in Koordinatenwerte (k'_ij(t_n-1,f_s,k)) auf einen vorherigen Zeitpunkt (t_n-1) unter Berücksichtigung der zwischen den beide Zeitpunkten (t1, t2, Δx) stattgefundenen Bewegung (TΔx) des Fahrzeugs,
• c3) Überführung der rückgerechneten Koordinatenwerte (k'_ij(t_n-1,f_s,k)) in rückgerechnete Distanzwerte (d'_pq(t_n-1,f_s,k)).
• Nützlich ist es, wenn für direkt aufeinander folgenden Erfassungsframes (t_n, t_n+1) unterschiedliche Modulationsfrequenzen (f_n) verwendet werden.
• Bevorzugst werden die Modulationsfrequenzen (f_s) aus einem Satz von vorgegebenen Modulationsfrequenzen verwendet, wobei der Satz eine vorgegebene maximale Anzahl (s_max) an Modulationsfrequenzen aufweist.
• In einer weiteren Ausgestaltung ist es von Vorteil, für eine Ausgabe eines gültigen Entfernungswerts (dij) die Distanzen über eine Anzahl von Erfassungsframes (t_n) zu ermitteln, die größer ist als die Anzahl (s_max) der im Modulationsfrequenzsatz (fs) vorgegebenen Modulationsfrequenzen.
• Hierdurch lassen sich insbesondere Messartefakte vermeiden, die durch eine homogene Szenerie entstehen können.
• Nützlich ist es ein inkrementeller Zähler (C_ij) vorzusehen, der die Erfassungsframes mit validen Distanzwerten aufsummiert, wobei der Zähler (C_ij) auf Null gesetzt wird sobald ein Erfassungsframe ein ungültigen Distanzwert aufweist.
• Vorteilhaft ist eine Ausgestaltung vorgesehen, bei der ausgehend von einer Pixelkoordinate (pq), die sich aus dem rückgerechneten Distanzwert (d'_pq) ergibt auch benachbarte Pixel dem Grenzwert-Vergleich gemäß Schritt d) des Anspruchs 1 unterzogen werden.
• In einer solchen Ausgestaltung ist es hilfreich, wenn mehrere Pixel den Grenzwert unterschreiten, das Pixel heranzuziehen, dessen inkrementeller Zähler (C_uv) den höchsten Wert zeigt und der inkrementelle Zähler (C_uv) dieses Pixels um Eins zu erhöhen.
• Besonders vorteilhaft ist es, ein Lichtlaufzeitkamerasystem (1) mit einem Modulator (30), der mit einer Beleuchtung (10) und einem Empfänger (20) des Lichtlaufzeitkamerasystems (1) verbunden ist,
  ein Modulationssteuergerät (38) mit dem Modulator (30) verbunden ist und derart ausgestaltet ist, dass der Modulator (30) mit mindestens zwei Modulationsfrequenzen (f₁, f₂, f₃) betreibbar ist,
  vorzusehen,
  und das Lichtlaufzeitkamerasystem (1) zur Durchführung eines der vorgenannten Verfahren auszubilden.
• Es zeigen:
• 1 schematisch das grundlegende Prinzip der Photomischdetektion,
• 2 eine modulierte Integration der erzeugten Ladungsträger,
• 3 zwei zeitliche Verläufe der Ladungsintegration mit unterschiedlichen Phasenlagen,
• 4 Relation der Integration in einem IQ-Diagramm,
• 5 eine Distanzmessung mit einer Wellenlänge,
• 6 eine Distanzmessung mit zwei unterschiedlichen Wellenlängen,
• 7 einen Verlauf der Phasenverschiebungen mit dem Abstand,
• 8 einen Verlauf der Distanzwerte für unterschiedliche Wellenlängen,
• 9 schematisch eine Entfernungsbestimmung für unterschiedliche Wellenlängen,
• 10, schematisch ein von einem Pixelarray erfasstes Objekt,
• 11 ein gegenüber dem Beispiel gemäß 10 bewegten Sensor.
• 12 schematisch eine Rückrechnung der Entfernungen des bewegten Sensors auf eine vorherigen Zeitpunkt,
• 13 ein Ablaufdiagramm des erfindungsgemäßen Vorgehens,
• 14 unterschiedliche Eindeutigkeitsbereiche,
• 15 ein Erfassung von Objekten in unterschiedlichen Vielfachen der Eindeutigkeitsbereiche,
• 16 eine erfindungsgemäße Festlegung eines Messbereichs,
• 17 eine erfindungsgemäße Ausgabe gültiger Entfernungswerte.
• Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
• 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist.
• Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
• Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
• Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M_o mit einer Basisphasenlage φ₀ beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals Mo der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.
• Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S_p1 mit der ersten Phasenlage p1 bzw. p1 = φ₀ + φ_var aus. Dieses Signal S_p1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p2 = φ₀ + φ_var + Δφ(t_L) als Empfangssignal S_P2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M_o mit dem empfangenen Signal S_p2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
• Zur Verbesserung der Messgenauigkeit und/oder zur Erweiterung des Eindeutigkeitsbereichs ist es vorteilhaft, die Lichtlaufzeitmessungen mit unterschiedlichen Modulationsfrequenzen durchzuführen. Zu diesem Zweck ist der Modulator 30 mit einem Modulationssteuergerät 38 verbunden, das vorzugsweise innerhalb eines vorgegebenen Frequenzspektrums Modulationsfrequenzen vorgeben kann.
• Der Modulator 30 könnte beispielsweise als Frequenzsynthesizer ausgebildet sein, der über das Modulationssteuergerät 38 für die jeweilige Messaufgabe angesteuert wird. Auch ist ein Umschalten zwischen Quarzoszillatoren mit festen Frequenzen denkbar.
• Ferner ist die Empfangseinheit 20 mit einer Auswerteeinheit 27 verbunden. Die Auswerteeinheit 27 kann gegebenenfalls auch Bestandteil der Empfangseinheit 20 und insbesondere auch Teil des Lichtlaufzeitsensors 22 sein. Aufgabe der Auswerteeinheit 27 ist es, anhand der empfangenen Signale in Relation zur Modulationsfrequenz Phasenverschiebungen zu ermitteln und/oder auszuwerten. Die Mischung der empfangen Lichtstrahlen mit der Modulationsfrequenz erfolgt vorzugsweise im Lichtlaufzeitsensor 22 bzw. PMD-Sensor. Ferner kann das Modulationssteuergerät 38 auch Bestandteil der Auswerteeinheit 27 sein. Insbesondere kann es auch vorgesehen sein, dass die Auswerteeinheit 27 die Funktion des Modulationssteuergeräts 38 vollständig oder teilweise übernimmt.
• Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
• Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M₀ mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S_P2 entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals Mo in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M₀ + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.
• 3a und 3b zeigen Verläufe der Ladungsdifferenz Δq = q_a - q_b / (q_a + q_b) in Abhängigkeit der Phasenverschiebung Δφ(t_L) des empfangenen Lichtsignals S_p2 mit unterschiedlichen Phasenlagen. Die 3a zeigt einen Verlauf für eine unverschobene Modulationsphase Mo mit einer Phasenlage φ_var = 0°.
• Bei einem Auftreffen des Signals S_p2 ohne Phasenverschiebung also Δφ(tL) = 0°, beispielsweise, wenn das Sendesignal S_p1 direkt auf den Sensor gelenkt wird, sind die Phasen der Modulation M₀ und vom empfangenen Signal S_p2 identisch, so dass alle erzeugten Ladungsträger phasensynchron am ersten Gate Ga erfasst werden und somit ein maximales Differenzsignal mit Δq = 1 anliegt.
• Mit zunehmender Phasenverschiebung nimmt die Ladung am ersten Akkumulationsgate Ga ab und am zweiten Akkumulationsgate Gb zu. Bei einer Phasenverschiebung von Δφ(t_L) = 90° sind die Ladungsträger qa, qb an beiden Gates Ga, Gb gleich verteilt und die Differenz somit null und nach 180° Phasenverschiebung „-1“. Mit weiter zunehmender Phasenverschiebung nimmt die Ladung am ersten Gate Ga wieder zu, so dass im Ergebnis die Ladungsdifferenz wieder ansteigt, um dann bei 360° bzw. 0° wieder ein Maximum zu erreichen.
• Mathematisch handelt es sich hierbei um eine Korrelationsfunktion des empfangenen Signals S_p2 mit dem modulierenden Signal M₀. $$q\left(\tau \right)={\displaystyle \underset{0}{\overset{\tau }{\int }}{S}_{p2}\left(t-\tau \right)M_0\left(t\right)dt}$$

  
• Bei einer Modulation mit einem Rechtecksignal ergibt sich wie bereits dargestellt als Korrelationsfunktion eine Dreiecksfunktion. Bei einer Modulation mit beispielsweise einem Sinussignal wäre das Ergebnis eine Kosinusfunktion.
• Wie 3a zeigt, ist eine Messung der Phase mit einer Phasenlage nur bis zu einer Phasenverschiebung Δφ(tL) ≤ 180° eindeutig.
• Zur maximalen Erfassung der Phasenverschiebung ist beispielsweise das IQ(Inphase-Quadratur) Verfahren bekannt, bei dem zwei Messungen mit um 90° verschobenen Phasenlagen durchgeführt werden, also beispielsweise mit der Phasenlage φ_var = 0° und φ_var = 90°. Das Ergebnis einer Messung mit der Phasenlage φ_var = 90° ist in 3b dargestellt.
• Die Beziehung dieser beiden Kurven lässt sich in bekannter Art und Weise beispielsweise für sinusförmige Kurvenverläufe in einem IQ-Diagramm gem. 4 darstellen. In erster Näherung ist diese Darstellung ohne weiteres auch für die dargestellten Dreiecksfunktionen anwendbar.
• Der Phasenwinkel lässt sich dann in bekannter Weise über eine arctan-Funktion bestimmen: $$\phi =\text{arctan}\frac{\Delta q\left(90°\right)}{\Delta q\left(0°\right)}$$

  
• Um beispielsweise Asymmetrie des Sensors zu kompensieren, können zusätzliche um 180° verschobene Phasenmessungen durchgeführt werden, so dass sich im Ergebnis der Phasenwinkel wie folgt bestimmen lässt. $$\phi =\text{arctan}\frac{\Delta q\left(90°\right)-\Delta q\left(270°\right)}{\Delta \left(0°\right)-\Delta q\left(180°\right)}$$

  
• Aus der in 2 dargestellten laufzeitbedingten Phasenverschiebung Δφ(tL) lassen sich für Objektabstände d, die kleiner sind als die halbe Wellenlänge λ der Modulationsfrequenz
  d ≤ λ/2 in bekannter Weise ein Abstand bestimmen. $$d=\Delta \phi \left(t_L\right)\frac{\lambda }{2\pi }\cdot \frac{1}{2}$$

  
• Für Entfernungen d > λ/2 besteht in der Regel keine Möglichkeit die Phasenverschiebung absolut zu messen, so dass die ermittelte Phasenverschiebung nicht mehr eindeutig einem Entfernungswert zugeordnet werden kann.
• 5 zeigt ein Beispiel, bei dem das Objekt 40 einen Abstand d vom Sender 10 von $d=2\lambda +\frac{R}{2}$

  

  aufweist, wobei selbstverständlich die bis zum Empfänger 20 zurückgelegt Wegstrecke doppelt so groß ist, nämlich D = 2d = 4λ + R
• Zur Erhöhung des Eindeutigkeitsbereichs ist es, wie in 6 schematisch dargestellt, vorgesehen, mit mindestens zwei Modulationsfrequenzen respektive Modulationswellenlängen eine Objektabstand d zu bestimmen. Der Einfachheit halber ist in 6 die Gesamtstrecke D zwischen Sender 10 und Empfänger 20 dargestellt. Innerhalb des Eindeutigkeitsbereichs der beiden Wellenlängen λ₁, λ₂, der typischerweise durch das kleinste gemeinsame Vielfache der Wellenlängen λ₁, λ₂ aufgespannt wird, gilt folgende Distanzgleichung: $$D=2d=n_1{\lambda }_1+R_1=n_2{\lambda }_2+R_2$$

  

  mit $$R_i=D\cdot \left(\text{mod}{\lambda }_i\right)={\phi }_i\left(f_i,D\right)\frac{{\lambda }_i}{2\pi }$$

  

  wobei für die von der Modulationsfrequenz und dem Objektabstand abhängige relative Phasenverschiebung φ_i(f_i,D) gilt: $${\phi }_i=\frac{D\cdot f_i}{c}\cdot 2\pi \left(\text{mod 2}\pi \right)=\frac{D}{{\lambda }_i}\cdot 2\pi \left(\text{mod}2\pi \right)$$

  
• Die relative Phasenverschiebung φ_i(f_i,D) ist somit ein Maß für das in der Entfernungsmessung verbleibende Reststück R_i. Für die Entfernungsbestimmung kann nun mit zwei für unterschiedliche Modulationsfrequenzen f₁, f₂ erfassten Phasenverschiebungen φ_1/2(f_1/2,D) eine Lösung für die oben dargestellte Distanzgleichung gefunden werden.
• Ein möglicher Lösungsweg ist in 7 schematisch dargestellt. Die 7 zeigt zwei relative Phasenverschiebung φ_1/2(f_1/2,D) in Abhängigkeit des doppelten Objektabstandes 2d = Gesamtweglänge D für zwei unterschiedliche Frequenzen f₁, f₂. Mit durchgezogener Linie ist die Phasenverschiebung φ₁ für f₁ = 7,5 MHz entsprechend einer Wellenlänge λ₁ = 40 m und mit gestrichelter Line für f2 = 5 MHz entsprechend einer Wellenlänge λ₂ = 60 m dargestellt. Der Eindeutigkeitsbereich EB₁₂ für die beiden Frequenzen f₁, f₂ ergibt sich in bekannter Weise aus dem kleinsten gemeinsamen Vielfachen der beiden Wellenlänge λ₁, λ₂, also hier 120 m.
• Für jeden Entfernungswert bzw. jeder Gesamtweglänge D innerhalb des gemeinsamen Eindeutigkeitsbereich EB₁₂ gibt es genau ein Phasendifferenzpaar (φ₁, φ₂). Für den beispielhaften Entfernungswert D von 23 m, also einem Objektabstand d von 11,5 m, ergibt sich ein Phasendifferenzpaar von ca. (1,2 | 0,8).
• In einem möglichen Anwendungsfall könnte es beispielsweise vorgesehen sein, eine geeignete Anzahl von Phasendifferenzpaaren mit dem ihnen zugeordneten Entfernungswert D oder Objektabstand d in einer Wertetabelle abzulegen. Bei einer Entfernungsmessung kann dann beispielsweise ermittelt werden, welches tabellierte Phasendifferenzpaar mit einem entsprechend zugeordnetem Entfernungswert dem ermittelten Phasendifferenzpaar am nächsten kommt. Alternativ kann der Objektabstand auch jedes Mal berechnet werden.
• 8 entspricht der Darstellung gemäß 7 mit dem Unterschied, dass auf der y-Achse die Länge des jeweiligen Reststücks aufgetragen ist mit: $$R_i=D\cdot \left(\text{mod}{\lambda }_i\right)={\phi }_i\left(f_i,D\right)\frac{{\lambda }_i}{2\pi }$$

  
• Im dargestellten Beispiel sind bis zu einer Gesamtweglänge D, die der kleinsten Wellenlänge entspricht, also hier 40 m, beide Reststücke gleich lang. Für eine Gesamtstrecke D von beispielsweise 70 m hingegen sind die Reststücke unterschiedlich groß.
• Der in den 7 und 8 dargestellte Zusammenhang von Phase und Abstand lässt sich vorteilhaft in einem so genannten Modulodiagramm gemäß 9 dargestellt. Auf der x- und y-Achse sind die Phasenwerte φ₁ und φ₂ für eine erste und zweite Modulationsfrequenz und auf der sekundären x- und y-Achse die den Phasenwerten entsprechenden Distanzwerte bzw. Reststückwerte d₁, d₂ dargestellt. Wie bereits erwähnt, existiert für einen Entfernwert innerhalb des Eindeutigkeitsbereichs nur ein einziges Phasenwertepaar.
• 9 zeigt ein Modulodiagramm für die Frequenzen f₁ = 7,5 MHz entsprechend einer Wellenlänge λ₁ = 40 m und f₂ = 5 MHz entsprechend einer Wellenlänge λ₂ = 60 m wie bereits in 7 und 8 dargestellt. Die Kurve beginnt mit dem Phasendifferenzpaar (0 | 0) für D = 0. Erreicht die Gesamtweglänge des vom Objekt reflektierten Licht die Wellenlänge λ₁ = 40 m der ersten Modulationsfrequenz so erreicht auch der Phasenwert seinen maximalen Wert, nämlich 2π mit dem Phasenwertepaar (2 | 1,33). Mit größer werdender Entfernung springt die Kurve immer an den Punkten, an denen eine der beiden Phasenwerte einen 2π -Wert durchläuft, bis ein Eindeutigkeitsbereich EB von 120 m erreicht ist.
• Eine Entfernung kann beispielsweise dadurch bestimmt werden, indem ein ermitteltes Phasenwertepaar einem Entfernungspunkt der Distanzkurve zugeordnet wird. Phasenwertepaare liegen nur idealerweise auf der Distanzkurve und weichen typischerweise beispielsweise aufgrund von Rauschen davon ab. Im in 9 dargestellten Fall ist exemplarisch ein gemessenes Phasenwertepaar mit (1,05 | 0,85) eingezeichnet. Dieses Phasenwertepaar liegt nicht auf der Distanzkurve und ist nun einem Entfernungspunkt auf einer der beiden Kurvenabschnitte zuzuordnen. Der Abstand d_AB zwischen den Kurvenabschnitten ist bekannt. Für die Zuordnung ist es daher ausreichend den Abstand d_A, d_B zu einer der beiden Kurvenabschnitte zu bestimmen. Der Objektabstand bestimmt sich alsdann aus dem am nächsten liegenden Entfernungspunkt. Im dargestellten Fall kann dem Phasenwertepaar ein Entfernungswert D von 23 m, also einem tatsächlichen Objektabstand d von 11,5 m zugeordnet werden.
• Liegt hingegen ein erfasstes Phasenwertepaar beispielsweise in der Mitte der benachbarten Entfernungsgerade bzw. Kurvenabschnitte könnte statt der tatsächlichen Entfernung von 23 m dem Phasenwertepaar eine Entfernung von 93 m zugeordnet werden.
• Inkorrekte Entfernungswerte entstehen jedoch nicht nur durch derartige Fehlzuordnungen, sondern auch durch Überreichweiten von Objekten außerhalb des Eindeutigkeitsbereichs. Im dargestellten Fall erstreckt sich der Eindeutigkeitsbereich EB bis 120 m Gesamtdistanz D, also einem maximalen Objektabstand d von 60 m. Typischerweise ist ein Lichtlaufzeitkamerasystem derart ausgelegt, dass Objekte außerhalb des Eindeutigkeitsbereichs nur noch ein geringes Signal liefern und in der Auswertung unberücksichtigt bleiben. Objekte mit einer hohen Reflektivität können jedoch eine ausreichend hohe Signalstärke am Sensor erzeugen und werden als Objekt erkannt.
• Steht ein solches Objekt beispielsweise in einer tatsächlichen Entfernung von d = 71, 5, also einer Gesamtlaufstrecke von 143 m, wird ein solches Objekt aufgrund des auf 120 m begrenzten Eindeutigkeitsbereich mit einer Gesamtdistanz D von 23 m erfasst. Bei einer Überreichweite mit der Gesamtstrecke von 213 m ergibt sich ein Distanzwert D von 93 m.
• Um Überreichweiten und Fehlzuordnungen zu erkennen ist es erfindungsgemäße vorgesehen, die Entfernungsmessung mit weiteren unterschiedlichen Modulationsfrequenzen und entsprechend unterschiedlichen Eindeutigkeitsbereichen zu wiederholen und Entfernungswerte nur dann zuzulassen, wenn vorzugsweise alle oder eine vorbestimmte Anzahl von Entfernungsmessungen innerhalb tolerierter Grenzen zum selben Ergebnis führen.
• Ein Zwei- oder Mehrfrequenzverfahren funktioniert vorzugsweise bei statischen Anordnungen oder/und bei Anordnungen, die sich mit geringer Geschwindigkeit bewegen. Bei bewegten Objekten oder bewegter Kamera sind ungültige Distanzwerte zu erwarten, da die Distanzen eines Pixels durch die Bewegung nicht mehr zueinander passen.
• Kernidee der Erfindung ist es, die Eigenbewegung der Lichtlaufzeitkamera zu erfassen und im Mehrfrequenzverfahren zu kompensieren.
• Die Eigenbewegung der Kamera kann auf verschiedene Weise gemessen werden, beispielsweise: mit Hilfe eines Encoders an den Rädern, der die Bewegung im zweidimensionalen Raum erfasst oder durch Integrieren der Daten eines mehrachsigen gyroskopischen Sensors. Auch ist es denkbar so genannte SLAM-Verfahren (Simultaneous Localization and Mapping) für die Bestimmung der Eigenbewegung heranzuziehen.
• Des Weiteren ist es hilfreich das verwendete Optiksystem in einem Optikmodell zu hinterlegen, indem beispielsweise Brennweite, Verzeichnungen etc. berücksichtigt sind. Das verwendete Optikmodell sollte sowohl die Projektion von 3D Punkten auf Pixel der Sensormatrix als auch die Rückprojektion von Pixeln zu 3D Richtungen unterstützen.
• Weiterhin ist das Kamerasystem in Kombination mit dem Transportsystem zu kalibrieren. Diese extrinsische Kalibrierung sollte dann zum Koordinatensystem des Ego- bzw. Fahrzeugsystems passen.
• In den 10 bis 12 sind schematisch die Grundüberlegung der Erfindung gezeigt. Zu einem ersten Zeitpunkt t1 befindet sich das Fahrzeug, wie in 10 gezeigt, an einem ersten Standort und der Sensor detektiert mit einem Pixel Pix_7,2 ein Objekt. Entsprechend der Optik bzw. dem Sensor vorgeschaltetem Optiksystem sieht jedes Pixel des Sensors einen anderen Raumbereich. Das Pixel Pix_5,3 sieht beispielsweise in eine andere Raumrichtung als das Pixel Pix_7,2 und erfasst das Objekt nicht.
• Für alle Pixel Pix_ij des Sensors werden Distanzdaten d_ij ermittelt, so dass sich hieraus ein komplettes Tiefenbild der erfassten Umgebung bzw. eine Distanzmatrix D erstellen lässt.
• Als Rohdaten liegen in bekannter Weise zunächst Ladungsdifferenzen vor aus denen wie bereits beschrieben Phasenverschiebungen und ausgehend von der verwendeten Modulationsfrequenzen f ein Roh-Entfernungswert m bestimmt wird. Aufgrund der Periodizität des Eindeutigkeitsbereichs EB ergibt sich ein tatsächlicher Distanzwert d aus: $$\text{d=m+k}*\text{EB}$$

  
• So bestimmt sich für jedes Pixel Pix_ij der Distanzwert d_ij(k) in Abhängigkeit von k.
• Ausgehend von einem bekannten Optikmodell der Optik bzw. des Optiksystems ist bekannt, in welche Raumrichtung jedes Pixel orientiert ist, so dass zusammen mit der ermittelten Distanz d_ij(k), für jedes Pixel die Distanzen der erfassten Umgebung in ein kartesisches Koordinatensystem des Fahrzeugs umgerechnet werden können. So lassen sich Distanzwerte d_ij(k) in Koordinantenwerte k_ij(k) = (x,y,z) bzw. eine Distanzmatrix D(k) in eine Koordinatenmatrix K(k) überführen.
• Das in 10 vom Pixel Pix_7,2 erfasste Objekt befindet sich zum ersten Zeitpunkt t1 mit dem Distanzwert d_7,2(t1,k) somit am Ort k_7,2(t1,k) = (x1, y1, z1)_7,2 im Ego- / Koordinatensystem des Fahrzeugs.
• Wird das Fahrzeug, wie in 11 gezeigt, bewegt verschiebt sich auch der Ort des Objekts in Relation zum Fahrzeug und somit auch in Relation zum Sensor bzw. dessen Pixel, so dass zu einem zweiten Zeitpunkt t2 das Objekt mit einer Distanz d5_,3(t2,k) von einem anderen Pixel Pix_5,3 erfasst wird.
• Wie bereits beschrieben lassen sich diese Distanzen d(t_n)_ij für alle Pixel Pix_ij dann auch für alle neuen Zeitpunkte t_n in eine Koordinatenmatrix K überführen. $$D=\left(t_{n-1},k\right)=\left(\begin{array}{ccc}d{\left(t_{n-1},k\right)}_{11}& \cdots & \\ ⋮& \ddots & ⋮\\ & \dots & d{\left(t_n,k\right)}_{uv}\end{array}\right)\iff \left(\begin{array}{ccc}k{\left(t_{n-1},k\right)}_{11}& \cdots & \\ ⋮& \ddots & ⋮\\ & \dots & k{\left(t_{n-1},k\right)}_{uv}\end{array}\right)=K\left(t_n,k\right)$$

  
• Erfindungsgemäß ist es vorgesehen, in aufeinanderfolgenden Erfassungszeitpunkten / Erfassungsframes t1, t2 unterschiedliche Modulationsfrequenzen f_s zu verwenden, d.h. die Distanzen d_ij(t1 ,f1 ,k) zum ersten Zeitpunkt t1 wurde mit einer ersten Modulationsfrequenz f1 ermittelt und die Distanzen d_ij(t2,f2,k) zum zweiten Zeitpunkt t2 mit einer zweiten Modulationsfrequenz f2. $$\begin{array}{l}D\left(t_n,f_s,k\right)=\left(\begin{array}{ccc}d{\left(t_n,k\right)}_{11}& \cdots & \\ ⋮& \ddots & ⋮\\ & \dots & d{\left(t_n,f_s\right)}_{uv}\end{array}\right)\\ \iff \left(\begin{array}{ccc}k{\left(t_n,f_s,k\right)}_{11}& \cdots & \\ ⋮& \ddots & ⋮\\ & \dots & k{\left(t_n,f_s,k\right)}_{uv}\end{array}\right)=K\left(t_n,f_{s}k\right)\end{array}$$

  
• Erfindungsgemäß ist es vorgesehen, wenigstens zwei Modulationsfrequenzen zu verwenden, die zufällig oder in einem vorgegebenen Muster für einen jeweiligen Zeitpunkt ausgewählt werden. Bevorzugt wird ein Satz mit einer maximalen Anzahl s_max an Modulationsfrequenzen f_s vorgegeben mit denen die Messungen dann erfolgen.
• Zur Verifizierung der zum zweiten Zeitpunkt t2 mit einer zweiten Frequenz f2 erfassten Distanz d_ij(t2, f2,k) ist es erfindungsgemäß vorgesehen, die Distanzen d_ij(t2,f2), die zum zweiten Zeitpunkt t2 ermittelt wurden, um die Eigenbewegung T_Δt des Fahrzeugs, die zwischen dem ersten und zweiten Zeitpunkt Δt = t2 - t1 erfolgt ist, zu korrigieren und auf Distanzen d'_pq(t1 ,f2,k) des vorhergehenden Zeitpunkts, also hier auf den ersten Zeitpunkt t1, zurückzurechnen.
• Dieses Vorgehen ist beispielhaft in 12 gezeigt. Aus der bekannten Bewegung T_Δt des Fahrzeugs, die sich im Allgemeinen aus einer Translationskomponente x und einer Rotationskomponente rot zusammensetzt, kann der Distanzwert d_ij(t2,f2,k) bzw. der Koordinatenwert k_ij(t2,f2,k) des Objekts auf den vorhergehenden Zeitpunkt t_n-1 zurückgerechnet werden. Bleibt das Objekt unbewegt und ist die Bewegung T_Δt des Fahrzeugs exakt bekannt, wären die zurückgerechnete Distanz d'_pq(t1 ,f2,k) grundsätzlich identisch mit der zum Zeitpunkt t1 tatsächlich gemessenen Objektdistanz d_ij(t1 ,f1 ,k), vorausgesetzt die passenden k-Werte sind gefunden.
• Die Schritte noch einmal zusammengefasst:
1. a) d_ij(t2,f2,k) →(x_2,f2,k y_2,f2,k, z_2,f2,k)_ij = k_ij(t2,f2,k)
   • - Überführung der Distanzwerte in Koordinatenwerte
2. b) k_ij(t2,f2,k) -T_Δt → k'_pq(t1,f2,k)
   • - Rückrechnung der Koordinatenwerte auf Koordinatenwerte zum vorherigen Zeitpunkt
3. c) k'_pq(t1,f2,k) → d'_pq(t1,f2,k)
   • - Transformation der rückgerechneten Koordinatenwerte in Distanzwerte
4. d) Vergleich der Distanzwerte
• Die Schritte werden vorzugsweise für alle Pixel des Sensors ausgeführt.
• Es sei noch einmal bemerkt, dass aufgrund der Bewegung T_Δtdes Fahrzeugs, sich nicht nur die Distanzen an den Pixeln verändern, sondern sich auch die Lage der Objekte in Relation zum Sensor bzw. den Pixeln ändert, so dass in den nachfolgenden Zeitpunkten / Erfassungsframes t_n+1 in der Regel das Objekt von verschiedenen Pixel erfasst wird. $${\text{P}}_{\text{ij}}\left(\text{tn}\right)\to {\text{P}}_{\text{pq}}\left({}_{\text{tn-1}}\right)mit\text{ij}\ne \text{pq}$$

  
• Es sei auch bemerkt, dass es bei einer Rückrechnung der Koordinatenmatrix auf einen vorherigen Zeitpunkt neben einem evtl. leicht veränderten Distanzwert auch der Aufpunkt auf dem Sensor ein anderer sein kann, so dass ein Distanzwert nicht auf das Pixel zurückgerechnet wird, das zuvor das Objekt erfasst hat, sondern ggf. auf einem Nachbarpixel. Solche Grenzfälle können ggf. mit einem so genannten Neighbourhood Filtering aufgefangen werden.
• In den Fällen, in denen die rückgerechneten Pixel Pix_pq außerhalb des sichtbaren Bereichs der Kamera bzw. des Sensors zum Zeitpunkt t1 liegen, kann keine Validierung des Distanzwerts d_ij(t2,f2,k) erfolgen.
• Zur Verifizierung der ermittelten Distanzwerte sind, wie in 13 gezeigt, erfindungsgemäß folgende Verfahrensschritte vorgesehen,
1. a) Ermittlung von Rohdistanzwerten m_ij(t_n,f_s) zu einem ersten Zeitpunkt t_n und mit einer ersten Modulationsfrequenz f_s,
2. b) Überführung der Rohdistanzwerte m_ij(t_n,f_s) in Distanzwerte d_ij(t_n,f_s,k) unter der Vorgabe d_ij(t_n,f_s,k) = m_ij(f_n,f_s) + k*EB(f_s)
3. c) Überführung der Distanzwerte di_j(f_n,f_s,k) in Koordinatenwerte k_ij(f_n,f_s,k)
4. d) Rückrechnung der Koordinatenwerte k_ij(t_n,f_s,k) in Koordinatenwerte k'_ij(t_n-1,f_s,k) auf einen vorherigen Zeitpunkt t_n-1 unter Berücksichtigung der zwischen den beide Zeitpunkten t1, t2 stattgefundenen Bewegung TΔx des Fahrzeugs,
5. e) Überführung der rückgerechneten Koordinatenwerte k'_ij(t_n-1,f_s,k) in rückgerechnete Distanzwerte d'_pq(t_n-1,f_s,k). Hierbei ist zu berücksichtigen, dass im Allgemeinen die projizierten Pixel-Koordinaten pq für das Bild zum Zeitpunkt t0 keine ganzen Zahlen sind. In einer möglichen Ausgestaltung der Erfindung können die projizierten pq-Koordinaten mit einem Nearest-Neighbor Verfahren auf gültige Pixel-Koordinaten umgerechnet werden. Ferner ist es vorteilhaft, wenn die neue Koordinaten pq durch die Projektion von k' auch ein Optikmodell und eine extrinsischer Kalibrierung berücksichtigen.
6. f) Grenzwert-Vergleich des Distanzwerts d'_pq(t_n-1,f_s,k) aus dem Schritt e) mit einem entsprechenden Rohdistanzwert m_pq(t_n-1,f_s-1) desselben Pixels Pix_pq. Im allgemeinsten Fall wird für die Grenzwertbetrachtung folgender Formalismus herangezogen: $$\left(\left|d{\text{'}}_{pq}\left(t_{n-1},f_s,k\right)-m_{pq}\left(t_{n-1},f_{s-1}\right)+\frac{EB\left(t_{n-1},f_{s-1}\right)}{2}\right|modEB\left(t_{n-1},f_{s-1}\right)\right)+\frac{EB\left(t_{n-1},f_{s-1}\right)}{2}<GW$$
   
   oder vereinfacht, wenn das Modulo für zirkuläre Frequenzen beachtet wird: $$\left|d{\text{'}}_{pq}\left(t_{n-1},f_s,k\right)-m_{pq}\left(t_{n-1},f_{s-1}\right)\right|modEB\left(t_{n-1},f_{s-1}\right)<GW$$
   
   hierbei werden die k-Werte solange durchlaufen bis ein maximal vorgesehener Messbereich d_max erreicht oder überschritten ist mit der Vorgabe k_max* EB(t_n-1,f_s-1) >= d_max = maximaler vorgegebener Messbereich MB.
7. g) Wenn ein k-Wert existiert, bei dem der Grenzwert GW unterschritten wird, wird ein Distanzwert d_ij(t_n,f_s,k) mit diesem k-Wert berechnet und ausgeben, wird ein solcher k-Wert nicht gefunden wird der Distanzwert für den jeweiligen Pixel als ungültig ausgewiesen.
8. h) Die vorgenannten Schritte werden für einen nächsten Zeitpunkt t_n+1 mit einer nächsten Frequenz f_s+1 wiederholt.
• Hierbei wird in einer äußeren Schleife über alle k iteriert und in einer inneren Schleife über alle Pixel. Sobald für einen Pixel eine Übereinstimmung gefunden ist, wird Schritt g) diese Distanz d_ij festgehalten und kann ausgegeben werden.
• Wie in 14 kurz skizziert ergeben sich in bekannter Weise für unterschiedliche Frequenzen f1, f2, ... unterschiedliche Eindeutigkeitsbereiche E1, E2, ...
• Dies führt ebenso in bekannter Weise, wie in 15 gezeigt, zu Fehlinterpretationen, wenn sich ein Objekt, hier als Kreis dargestellt, in einem Vielfachen Abstand des Eindeutigkeitsbereichs befindet
• Während das mit einer Raute dargestellte Objekt, in allen drei Entfernungsmessungen, die mit unterschiedlichen Frequenzen f durchgeführt werden, immer mit dem gleichen Rohdistanzwert m gemessen wird, variieren die Rohdistanzwerte für Objekte außerhalb der Eindeutigkeitsbereiche.
• Die Distanz dieser Objekte kann dann in einfacher Art und Weise wie im oben gezeigten Ablauf mit dem Modulo-Grenzwertvergleich gemäß Schritt f) ermittelt werden.
• Dieser kann beispielshaft wie folgt erfolgen. Erstreckt sich beispielsweise ein erster Eindeutigkeitsbereich EB1 um 5 m und ein zweiter Eindeutigkeitsbereich EB2 um 7 m und das Objekt befindet sich zum Zeitpunkt t1 in einem Abstand von 17 m, so wird als Messwert m1(t1,f1) zum ersten Zeitpunkt 2 m = 17(mod5) gemessen. Im Maßstab des zweiten Eindeutigkeitsbereichs EB2 wären 3 m = 17(mod7) zu erwarten.
• Wird dann beispielsweise zu einem zweiten Zeitpunkt t2 ein Messwert m2(t2,f2) = 4 m gemessen und ergibt sich beim Zurückrechnen auf den ersten Zeitpunkt t1 ein Distanzwert d' von 3,2 m + k*EB2 so ergeben sich im o.g. Modulo-Vergleich folgende Werte (der Modulo Vergleich verwendet hierbei die zirkuläre Distanz, siehe k=1):

  k=0 →	|(3,2 + 0*7) - 2 |(mod 5) = 1,2(mod 5) = 1,2
  k=1 →	|(3,2 + 1*7) - 2 |(mod 5) = 8,2(mod 5) = 3,2 bzw. 1,8 bei zirkularer
  Betrachtung
  k=2 →	|(3,2 + 2*7) - 2 |(mod 5) = 15,2(mod 5) = 0,2
  k=3 →	|(3,2 + 3*7) - 2 |(mod 5) = 22,2(mod 5) = 2,2

• In diesem Beispiel könnte der Messbereich MB mit dmax auf 20 m festgelegt sein, so dass die k-Werte maximal bis zum Wert 3 durchlaufen werden. Ist der Grenzwert GW beispielsweise auf 0,4 m festgelegt, wäre die Entfernung d'ij mit k=2 plausibel.
• Zum Zeitpunkt t2 könnte dann der Distanzwert dij(t2,f2,k) = 4 m + 2*7m = 18 m als valide ausgegeben werden.
• Die folgenden Beispiele nehmen die Verwendung von 3 unterschiedlichen Frequenzen an. Ausprägungen mit einer anderen Anzahl von Frequenzen sind ebenfalls möglich.
• Weiterhin kann die Beobachtung von ausgedehnten Ebenen, die nicht parallel zum Bildsensor sind (z.B. Decke, Boden, Wände), bei Verwendung von Frequenzen, die zeitlich monoton absteigend oder aufsteigend sind, mit bestimmten Ego-Daten ebenfalls zu fälschlicherweise konsistenten Messungen führen.
• Um diese Fälle auch absichern zu können und die Messung zu verifizieren ist es, wie in 16 dargestellt, erfindungsgemäß vorgesehen, eine vierte Messung vorzunehmen, die entweder die erste oder die zweite Frequenz verwendet. Im dargestellten Beispiel wurde die zweite Frequenz f2 verwendet. Damit werden zeitlich monoton ab- oder aufsteigende Frequenz-Reihenfolgen vermieden.
• Wird durch die vierte Messung das Entfernungsergebnis der vorhergehenden Messungen bestätigt, liegt ein valider Entfernungswert vor.
• Die Validierung mit mehr als zwei Frequenzen kann durch mehrfache Anwendung des oben beschriebenen Verfahrens erfolgen, bei dem der aktuelle Frame mit den 3 vorherigen Frames verglichen wird und Pixel nur dann als gültig ausgegeben werden, wenn alle Vergleiche mit den vorherigen Frames gültig sind.
• Um Rechenaufwand zu sparen, ist es aber auch möglich, einen Zähler C_ij(t_n) für jedes Pixel einzuführen, der die Anzahl der gültigen Vergleiche zählt. Bei einem gültigen Vergleich von Pixel P_ij(t_n) mit Pixel P_pq(t_n-1) wird dann der Zähler des aktuellen Frames auf den um Eins inkrementierten Wert des Vorgänger-Frames gesetzt: $$C_{ij}\left(t_n\right)=C_{pq}\left(t_n-1\right)+1$$

  
• Diese Zähler zählen somit die Länge des „tracks“ in Frames minus eins.
• Ein Pixel ist dann gültig, wenn die Anzahl der gültigen Vergleiche mindestens die Anzahl der verwendeten Frequenzen ist. In unserem Beispiel mit einem Satz aus drei Frequenzen f_s mit s_max = 3 müsste der Zähler mindestens 3 sein, was einer Track-Länge von 4 Frames entspricht.
• 17 zeigt dieses Vorgehen schematisch für den unbewegten Fall. Der erste Erfassungsframe tn kann nicht mit einem Vorgänger-Frame verglichen werden, daher wird der Zähler cij auf 0 gesetzt. Zwar kann ein Rohentfernungswert m bestimmt werden aber aufgrund des fehlenden Vergleichs zum Vorgänger-Frame jedoch kein Entfernungswert d_ij.
• Die nachfolgenden Erfassungsframes tn+1, tn+2 und tn+3 liefern valide Distanzwerte bei den Vergleichen mit ihren jeweiligen Vorgänger-Frames tn, tn+1 und tn+2. Vor dem vierten Zeitframe tn+3 wurden somit bereits zwei valide Distanzwerte ermittelt, so dass der Zähler aus dem vorherigen Frame auf 2 gesetzt ist. Somit hat der Zähler die Anzahl der Frequenzen minus 1 erreicht.
• Im vierten Erfassungsframe tn+3 wird nun mit einer Frequenz fs aus dem Frequenzsatz (f1, f2, f3) gemessen, die sich von der vorherigen Frequenz fs+2 unterscheidet. Wird nun in diesem vierten Erfassungsframe tn+3 auch ein valider Distanzwert d(tn+3) gefunden wird der aktuelle Zähler auf 3 erhöht und der aktuelle valide Distanzwert als gültiger Distanzwert d_aus ausgegeben.
• Im nachfolgenden fünften Erfassungsframe n+4 liegt auch ein valider Distanzwert vor und c > s_max so dass der valide Distanzwert ausgegeben werden kann.
• Im nachfolgenden sechsten Erfassungsframe n+5 liegt kein gültiger Distanzwert vor und der Zähler wird auf Null gesetzt und es wird kein gültiger Distanzwert ausgegeben.
• In den weiteren nachfolgenden Erfassungsframes n+ ..., liegen dann wieder valide Distanzwerte vor, so dass nach drei validen Distanzwerten wieder ein gültiger Distanzwert ausgegeben werden kann.
• Das Verfahren kann grundsätzlich auch mit einer kodierten oder pseudo noise Modulation durchgeführt werden. Hier eignen sich insbesondere so genannte Maximalfolgen.
• Bei der Verwendung einer solchen Modulation reicht es in der Regel aus, zwei unterschiedliche Frequenzen zu verwenden. Eine Iteration über die Eindeutigkeitsbereiche kann dann ggf. wegfallen. Der Messbereich wäre dann die Schnittmenge der beiden Pseudo-Noise-Messbereiche.
• Ferner kann es vorgesehen sein, dass bei einer Aufintegration über einen gyroskopischen Sensor, die Geschwindigkeit des Fahrzeugs über die Time of flight Daten zu stabilisieren.
• Im Weiteren sei angemerkt, dass für das Mapping von k' nach d' ein einzelner Pixel betrachtet wird mit k'_ij = x', y', z' unter Berücksichtigung eines Optikmodell OM und ggf. einer extrinsischen Kalibrierung. So ergibt sich im Resultat OM(x',y',z') ein Pixelkoordinate r,c. r,c sind hierbei row, column floating point Koordinaten auf dem Sensor.
• Für die Auswertung können ggf. folgende Methoden herangezogen werden:
1. a) Nearest neighbor Mapping. Der Vergleich findet mit den (r,c) am nächsten liegenden integer Koordinaten statt.
2. b) Laterale Relaxation. Der Vergleich findet mit einer lateralen Umgebung von (r,c) statt und ist gültig wenn mindestens ein Pixel in der Umgebung das Kriterium erfüllt. Wenn mehrere Pixel das Grenzwert-Kriterium erfüllen, wird das Pixel herangezogen, dessen Track-Counter den höchsten Wert zeigt und der Track-Counter dieses Pixels erhöht.
3. c) Bilineare Interpolation. Der Vergleich findet mit der Bilinearen Interpolation um (r,c) statt.
• Des Weiteren wäre es denkbar, die transformierten Distanzen zur zeitlichen Filterung (z.B. mit einem rekursiven Filter) zu benutzen. Dazu müssten die Distanzen zeitlich wieder in die Zukunft transformiert werden.
• Bezugszeichenliste

10

Beleuchtungsmodul

12

Beleuchtung

22

Lichtlaufzeitsensor

27

Auswerteeinheit

30

Modulator

35

Phasenschieber, Beleuchtungsphasenschieber

38

Modulationssteuergerät

Δφ(tL)

laufzeitbedingte Phasenverschiebung

φvar

Phasenlage

φ0

Basisphase

Mo

Modulationssignal

p1

erste Phase

p2

zweite Phase

Sp1

Sendesignal mit erster Phase

Sp2

Empfangssignal mit zweiter Phase

Ga, Gb

Akkumulationsgates

Ua, Ub

Spannungen am Modulationsgate

f1, f2, f3

erste, zweite, dritte Modulationsfrequenz

λ

Wellenlänge

PMi

Phasenmesszyklus

Mi

Distanzmesszyklus

D

Gesamtweglänge

d

Objektdistanz

dij

ermittelte Objektdistanz

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 19704496 [0002, 0003, 0019]

Claims (9)

1. Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems mit einem Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln an einem Fahrzeug, bei dem eine Bewegung des Fahrzeugs erfasst und für Berechnungen zur Verfügung gestellt wird, mit den Schritten: a) Ermittlung von Rohdistanzwerten (m_ij(t_n,f_s)) zu einem ersten Erfassungsframe (t_n) und mit einer ersten Modulationsfrequenz (f_s), b) Überführung der Rohdistanzwerte (m_ij(t_n,f_s)) in Distanzwerte (d_ij(t_n,f_s,k)) unter der Vorgabe $${\text{d}}_{\text{ij}}\left({\text{t}}_{\text{n}}{\text{, f}}_{\text{s}}\text{, k}\right)={\text{m}}_{\text{ij}}\left({\text{t}}_{\text{n}}{\text{, f}}_{\text{s}}\right)+\text{k}*\text{EB}\left({\text{f}}_{\text{s}}\right)$$

   

   mit einem k-Wert als Zähler von 0 bis einem maximalen k-Wert und einem frequenzabhängigen Eindeutigkeitsbereich (EB), c) Rückrechnung der Distanzwerte (d_ij(t_n,f_s,k)) in Distanzwerte d'_pq(t_n-1,f_s,k) eines vorhergehenden Erfassungsframes (t_n-1) unter Berücksichtigung der zwischen den beide Erfassungsframes (t1, t2, Δx) stattgefundenen Bewegung (TΔx) des Fahrzeugs, d) Grenzwert-Vergleich des rückgerechneten Distanzwerts d'_pq(t_n-1,f_s,k) mit einem entsprechenden Rohdistanzwert m_pq(t_n-1,f_s-1) desselben Pixels Pix_pq nach der Vorschrift: $$\left|{\text{d'}}_{\text{pq}}\left({\text{t}}_{\text{n-1}}{\text{, f}}_{\text{s}}\text{, k}\right)-{\text{m}}_{\text{pq}}\left({\text{t}}_{\text{n-1}}{\text{, f}}_{\text{s-1}}\right)\right|\left(\text{mod EB}\left({\text{t}}_{\text{n-1}},{\text{f}}_{\text{s-1}}\right)\right)<\text{GW}$$

   

   e) Ausgabe des im Schritt b) ermittelten Distanzwert d_ij(t_n,f_s,k) als valide, wenn ein k-Wert existiert, bei dem der Grenzwert GW unterschritten wird, unter Berücksichtigung des ermittelten k-Werts, f) Wiederholung der vorgenannten Schritte für einen nächsten Erfassungsframe (t_n+1) mit einer nächsten Frequenz (f_s+1).
2. Verfahren nach Anspruch 1, bei dem die Rückrechnung gemäß Punkt c) mit folgende Schritten durchgeführt wird: c1) Überführung der Distanzwerte (d_ij(t_n,f_s,k)) in Koordinatenwerte (k_ij(t_n,f_s,k)) c2) Rückrechnung der Koordinatenwerte (k_ij(t_n,f_s,k)) in Koordinatenwerte (k'_ij(t_n-i,f_s,k)) auf einen vorherigen Zeitpunkt (t_n-1) unter Berücksichtigung der zwischen den beide Zeitpunkten (t1, t2, Δx) stattgefundenen Bewegung (TΔx) des Fahrzeugs, c3) Überführung der rückgerechneten Koordinatenwerte (k'_ij(t_n-1,f_s,k)) in rückgerechnete Distanzwerte (d'_pq(t_n-1,f_s,k)).
3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in direkt aufeinanderfolgenden Erfassungsframes (t_n, t_n+1) unterschiedliche Modulationsfrequenzen (f_n) verwendet werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Modulationsfrequenzen (f_s) aus einem Satz von vorgegebenen Modulationsfrequenzen verwendet werden und der Satz eine vorgegebene maximale Anzahl (s_max) an Modulationsfrequenzen aufweist.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem für eine Ausgabe eines gültigen Entfernungswerts (dij) die Distanzen über eine Anzahl von Erfassungsframes (t_n) ermittelt werden, die größer ist als die Anzahl (s_max) der im Modulationsfrequenzsatz (fs) vorgegebenen Modulationsfrequenzen.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein inkrementeller Zähler (C_ij) vorgesehen ist, der die Erfassungsframes mit validen Distanzwerten aufsummiert, wobei der Zähler (C_ij) auf Null gesetzt wird sobald ein Erfassungsframe ein ungültigen Distanzwert aufweist.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ausgehend von einer Pixelkoordinate (pq), die sich aus dem rückgerechneten Distanzwert (d'_pq) ergibt auch benachbarte Pixel dem Grenzwert-Vergleich gemäß Schritt d) des Anspruchs 1 unterzogen werden.
8. Verfahren nach Anspruch 6 und 7, bei dem, wenn mehrere Pixel den Grenzwert unterschreiten, das Pixel herangezogen wird, dessen inkrementeller Zähler (C_uv) den höchsten Wert zeigt und der inkrementelle Zähler (C_uv) dieses Pixels wird um Eins erhöht.
9. Lichtlaufzeitkamerasystem (1) mit einem Modulator (30), der mit einer Beleuchtung (10) und einem Empfänger (20) des Lichtlaufzeitkamerasystems (1) verbunden ist, ein Modulationssteuergerät (38) mit dem Modulator (30) verbunden ist und derart ausgestaltet ist, dass der Modulator (30) mit mindestens zwei Modulationsfrequenzen (f₁, f₂, f₃) betreibbar ist, dadurch gekennzeichnet, dass das Lichtlaufzeitkamerasystem (1) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.

Images