DE102021100856A1

DE102021100856A1 - Lichtlaufzeitkamera mit Verfahren zur Reduzierung von Laufzeitfehlern

Info

Publication number: DE102021100856A1
Application number: DE102021100856.5A
Authority: DE
Inventors: Lutz Heyne
Original assignee: IFM Electronic GmbH; PMDtechnologies AG
Current assignee: IFM Electronic GmbH; PMDtechnologies AG
Priority date: 2021-01-18
Filing date: 2021-01-18
Publication date: 2022-07-21

Abstract

Lichtlaufzeitkamera mit einer Beleuchtung zur Aussendung eines intensitätsmodulierten Lichts,mit einem Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln zur Erfassung des ausgesendeten und von einer Szenerie reflektierten Lichts,wobei Gruppen von Pixel mittels Binning zusammenfassbar sind,wobei die Beleuchtung derart ausgestaltet ist, das das Licht in Form mehrerer Spots bzw. Lichtpunkte ausgesendet wird,wobei die Größe der zu Gruppen zusammengefassten Lichtlaufzeitpixel in Abhängigkeit einer Dichte der Spots festgelegt ist

Description

Es ist bekannt, dass Spotbeleuchtung durch die Konzentration des aktiven Lichtes geeignet ist, Lichtlaufzeitfehler zu reduzieren. Hier ist insbesondere die WO 215 33910 A2 zu nennen.
Es zeigen schematisch:

1 ein erfindungsgemäßes Binning

Um nicht erst aufwendig die Spots finden zu müssen, wird die Binning Größe einmalig so gewählt, dass im Mittel ein Spot auf ein Bin fällt. Basierend auf der gemessenen Amplitude in den einzelnen Pixeln wird im Betrieb ein pixelindividuelles Gewicht bestimmt (bei mehr-Frequenz-Messungen entweder für jede Frequenz oder die Gewichte bei einer Frequenz-messung werden für die anderen Frequenzen übernommen). Die Rohdaten (Re/Im) werden dann jeweils für sich separat mit diesem Gewicht gemittelt.
Dieser Ansatz vereinfacht die Auswertung massiv. Parallaxen bedingte Spot-Bewegungen im Bild sowie variable Amplituden machen ein klassisches Spot-finden schwierig.
Das hier beschriebene Verfahren arbeitet stabil, auch wenn teilweise ein Binning Bereich keinen kompletten Spot sieht, sondern nur eine oder mehrere Flanken. Das äußert sich dann durch lokal höheres Rauschen und eine dunklere finale Amplitude, die Distanzen sind davon aber unbeeinträchtigt.
Das gebinnte und MPI korrigierte Tiefenbild hat erwartungsgemäß eine geringere Auflösung, bietet dafür aber eine höhere Datenqualität.
Eine mögliche Kombination mit anderen Sensoren (high resolution) rgb Kameras, IMU, SLAM..) ist dann über Datenfusion in der Lage eine qualitativ höherwertige MPI befreite 3D Punktwolke zu liefern, die wiederum auch eine hohe Auflösung besitzt. Die reduzierte Auflösung wird somit durch die Kombination mit anderen Sensoren mitigiert.
Eine weitere Option wäre es, das Punkte-Projektionsmuster mit einer konventionellen homogenen Beleuchtung zu kombinieren (zwei unabhängige Beleuchtungen, die sequentiell verwendet werden). Das niedrig aufgelöste gebinnte Bild der Spotbeleuchtung kann dann verwendet werden, um über Upsampling oder ähnliche Techniken als Basis für eine MPI Korrektur der hochaufgelösten Bild verwendet zu werden. Das erfindungsgemäße Verfahren hat den Vorteil, dass im Low Resolution Spot-Bild die Fehler hinsichtlich Mehrwegausbreitung MPI nicht nur reduziert, sondern sogar korrigiert werden.
Es ist vorgesehen, dass eine Gewichtung anhand einer Amplituden Gewichtung erfolgt $w_{i} = \frac{A_{i}}{Σ A_{i}},$
wobei die Amplitude auf die Summe aller Pixel innerhalb der Gruppe bzw. des zu mittelnden Bereichs normiert wird.
Für eine automatische MPI Korrektur werden die Rohdaten mit einem Kernel, der in der Summe 0 beträgt, gemittelt. Damit ist man nur sensitiv auf Veränderungen. Konstante Offsets im Binning Bereich, wie zum Beispiel MPI, Streulicht haben keinen Beitrag.
Eine mögliche Implementierung ist, von der Amplitudengewichtung einen Mittelwert abzuziehen: $w_{i} = \frac{A_{i}}{Σ A_{i}} - \frac{1}{Σ 1}$
Alternativ kann der zweite Term auch so angepasst werden, dass Pixel mit geringen Amplituden bevorzugt verwendet werden.
Ferner kann der zweite Teil auch so angepasst werden, dass nur (dunkle) Pixel aus der unmittelbaren Umgebung des Spots ein Gewicht bekommen. Damit ist sichergestellt, dass insbesondere bei großen Binning Bereichen, nur der Offset aus der Spot-Nähe abgezogen wird. Weiter entfernte Pixel, die vielleicht bereits ein leicht anderes MPI Signal sehen, werden so nicht berücksichtigt.
Weiterhin kann ein MPI befreiten low-resolution Bild verwendet werden, um eine MPI-Korrektur eines weiteren hoch aufgelösten Tiefenbildes, welches mit einer normalen flood-illumination bzw. homogenen Beleuchtung aufgenommen wurde, beispielsweise mittels upsampling, guided filtering durchzuführen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 21533910 A2 [0001]

Claims

Lichtlaufzeitkamera mit einer Beleuchtung zur Aussendung eines intensitätsmodulierten Lichts, mit einem Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln zur Erfassung des ausgesendeten und von einer Szenerie reflektierten Lichts, wobei Gruppen von Pixel mittels Binning zusammenfassbar sind, wobei die Beleuchtung derart ausgestaltet ist, das das Licht in Form mehrerer Spots bzw. Lichtpunkte ausgesendet wird, wobei die Größe der zu Gruppen zusammengefassten Lichtlaufzeitpixel in Abhängigkeit einer Dichte der Spots festgelegt ist.
Lichtlaufzeitkamera nach Anspruch 1, bei der die Pixelgruppen in Größe und Position derart gewählt sind, dass im Mittel ein Spot auf eine Pixelgruppe fällt.
Lichtlaufzeitkamera nach einem der vorhergehenden Ansprüche, bei der das Binning unter Verwendung adaptiver Gewichtungs-Kernel erfolgt.
Lichtlaufzeitkamera nach Anspruch 3, bei der das Gewicht der einzelnen Pixel auf der Basis der gemessenen Amplitude bestimmt wird.
Lichtlaufzeitkamera nach Anspruch 3 oder 4, bei der die Gewichtung anhand einer Amplituden Gewichtung $w_{i} = \frac{A_{i}}{Σ A_{i}}$
erfolgt, wobei die Amplitude auf die Summe aller Pixel innerhalb der Gruppe bzw. des zu mittelnden Bereichs normiert wird.
Lichtlaufzeitkamera nach einem der vorhergehenden Ansprüche, bei der für eine MPI-Korrektur die Rohdaten in einem Kernel gemittelt werden, der die Summe Null aufweist.
Lichtlaufzeitkamera nach einem der vorgenannten Ansprüche, bei der die Beleuchtung zusätzlich für eine homogene Beleuchtung der Szenerie mit moduliertem Licht ausgebildet ist, wobei die bei der Spotbeleuchtung ermittelten MPI-Korrekturen zur MPI-Korrektur eines ohne Binning bei homogener Beleuchtung aufgenommenes Tiefenbild herangezogen wird.
Lichtlaufzeitkamera nach Anspruch 7, bei der das bei homogener Beleuchtung aufgenommene Tiefenbild eine höhere Auflösung als das bei Spot-Beleuchtung aufgenommene Tiefenbild aufweist.