DE102021101468A1

DE102021101468A1 - Verfahren zur Erzeugung valider Entfernungsdaten für eine Lichtlaufzeitkamera

Info

Publication number: DE102021101468A1
Application number: DE102021101468.9A
Authority: DE
Inventors: Katrin Bolay
Original assignee: IFM Electronic GmbH; PMDtechnologies AG
Current assignee: IFM Electronic GmbH; PMDtechnologies AG
Priority date: 2020-02-27
Filing date: 2021-01-25
Publication date: 2021-09-02

Abstract

Verfahren zur Generierung valider Entfernungsdaten für eine Lichtlaufzeitkamera, die nach dem Phasenmessprinzip arbeitet, mit den Schritten:- Erzeugung eines Konfidenzbilds ausgehend von einem Originalbild, das als Real-, Imaginär-, Roh- oder Tiefenbild, indem die Pixel des Originalbilds anhand eines vorgegebenen Kriteriums in schlechte und gute Pixel kategorisiert und mit einem False oder True-Wert belegt werden,- Erzeugung eines validen Originalbilds , indem die Entfernungswerte der mit False kategorisierten Pixel auf Null gesetzt werden, so dass nur noch die mit True kategorisierten Pixel einen Entfernungswert aufweisen,- Berechnung einer auf einer Quadtree-Struktur basierenden Quadtree-Variablen ausgehend von dem validen Originalbild, indem 2x2 Quadrate unter Mittelwertbildung zu einem übergeordneten Quadrat zusammengefasst werden,- wobei der Mittelwert nur dann gebildet wird, wenn im Quadrat mindestens ein Pixel mit True existiert und keine Bedingungen, die an das Mitteln gestellt werden, verletzt sind,- wobei die Pixel mit dem Wert False den Wert des berechneten Mittelwerts erhalten,- Berechnung und Ausgabe eines korrigierten Originalbilds aus der Gesamtheit des berechneten Quadtree-Variablen.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen valider Daten an Stelle von verrauschter Pixel durch mittelwertbildende Nachbarschaftsfilterung in einer Quadtree-Struktur unter zusätzlichen Bedingungen
Die Verwendung eines Quadtree-Filters für 2D-Bilder ist eine gängige Methode. Ebenso hat sich die Verwendung von rauschreduzierenden Filtern durch mittelwertbildende Nachbarschaftsfilter für 3D-Bilder allgemein bewährt. Dagegen wurde die Anwendung eines mittelwertbildenden Nachbarschaftsfilters in einer Quadtree-Struktur auf einzelne verrauschte Pixel bisher nicht erwähnt. Außerdem wurden die Bedingungen zur Mittelwertberechnung bisher nicht in diesem Zusammenhang verwendet.
Das Ziel des Quadtree-Filters ist es, verrauschte Pixel in einem 3D-Bild durch valide Daten zu ersetzen. Daher muss ein Konfidenzbild definiert werden, das jeden Pixel als guten oder schlechten Pixel auszeichnet.
Basierend auf diesem Konfidenzbild wird dann der Quadtree zum 3D-Bild erzeugt. Das 3D-Bild kann sowohl das Distanzbild sein, als auch das Real- und Imaginärbild, ebenso wie die Rohdaten. Die Quadtree-Konstruktion erfolgt vereinfacht gesagt wie folgt: Jedes Quadrat einer Quadtree-Ebene wird als Mittelwert eines 2x2-Quadrates der darunterliegenden Ebene berechnet. Außerdem kann auch eine Tiefenreduktion erfolgen.
Anschließend wird zu jedem schlechten Pixel der zugehörige valide Wert gesucht, der so weit unten wie möglich im Quadtree liegt. Das heißt der Pixel besitzt ein zugehöriges gutes Quadrat im Quadtree. Dann wird der schlechte Pixel im Originalbild durch diesen Wert ersetzt. Hat ein schlechter Pixel kein zugehöriges gutes Quadrat im Quadtree, wird der verrauschte Wert im gefilterten Bild beibehalten.
Das Ziel des Quadtree-Filters ist es verrauschte Pixel eines 3D-Bildes unter Verwendung eines Quadtrees des verrauschten Bildes durch möglichst genaue Werte zu ersetzten. Das 3D-Bild können das Distanzbild, das Real- und Imaginärbild oder die Rohdaten sein.
Zuerst muss allerdings geklärt werden, was einen schlechten Pixel bezeichnet. Aus diesem Grund wird ein Konfidenzbild definiert. Dieses Konfidenzbild ist eine boolsche Variable mit True für gute und False für schlechte Pixel. Die folgenden verschiedenen Bewertungen der Bildpixel sind möglich.

• Die Flags definieren das Konfidenzbild in der Form, dass alle Flags (oder alle Flags ohne die Flying Pixel) als schlechte Pixel bezeichnet werden und alle anderen als gute.
• Das Konfidenzbild kann auch durch einen Schwellenwert des Signal-Rausch-Verhältnisses zum Beispiel der Distanz oder der Amplitude definiert werden.
• Die schlechten Pixel sind die Ausreißer gegeben durch einen Outlier-Filter.

Allgemein wird der Quadtree konstruiert, indem immer 2x2-Quadrate zu einem neuen Quadrat zusammengefasst werden. Der Wert dieses neuen Quadrates ist ein Mittelwert der ursprünglichen Quadrate. Der Mittelwert kann durch klassische Mittelwerte wie dem arithmetischen, dem geometrischen, dem harmonischen, dem Hölder- oder dem Lehmer-Mittel gebildet werden. Darüber hinaus kann zur Mittelwertbildung auch der Median verwendet werden. Eine weitere Möglichkeit ist die Verwendung des Wertes jenes guten Pixles mit geringster euklidischer Distanz im Pixel-Array zum aktuellen schlechten Pixel. Für alle diese Mittelwertspezifizierungen werden nur die guten Pixel eines Quadrates einbezogen.
Der Quadtree-Aufbau kann auf zwei Wegen erfolgen. Es kann von unten nach oben oder von oben nach unten durch die Quadtree-Struktur gegangen werden. Von oben nach unten bedeutet, dass mit der obersten Ebene begonnen wird. Diese besteht nur aus einem einzigen großen Quadrat. Dann wird Ebene für Ebene nach unten gegangen um alle Quadtree-Ebenen zu bestimmen. Dabei wird jeder Mittelwert aus dem Originalbild berechnet. Standardmäßig gehen wir von oben nach unten im Quadtree in unserer Anwendung. Dagegen bedeutet von unten nach oben, dass mit der Quadtree-Ebene begonnen wird, bei der jeder Pixel des Originalbildes ein eigenes Quadrat bildet. Dann wird Ebene für Ebene nach oben gegangen, um alle Quadtree-Ebenen zu bestimmen. Hierbei kann die darunterliegende Ebene verwendet werden, um die Mittelwerte der aktuellen Ebene zu berechnen.
Die Laufzeit kann mittels Tiefenreduktion reduziert werden. Speziell haben Experimente gezeigt, dass schlechte Pixel, die wirklich in sinnvolle gute geändert werden können, bereits in den untersten Quadtree-Ebenen (Ebene 2 oder 3) ersetzt werden. Schlechte Pixel, die durch höhere Quadtree-Ebenen ersetzt werden, sind meist fehlerbehaftet. Die ersetzten Werte liegen meist räumlich so weit von den schlechten Pixeln entfernt, dass sie mit den realen Daten nichts mehr gemeinsam haben. Wenn es große Bereiche bestehend aus schlechten Pixeln gibt, tauchen im gefilterten Bild meist große Blockstrukturen auf. Um dies zu umgehen ist die Tiefenreduktion des Quadtree ebenfalls nützlich. Tiefenreduktion meint dabei, das nur die untersten Ebenen des Quadtrees verwendet werden. Die Anzahl der Ebenen, die betrachtet werden sollen, kann gewählt werden. Dabei meint eine Ebenenanzahl von 1, das nur das Originalbild verwendet wird. Eine Ebenenanzahl von der höchsten Ebene meint, dass der gesamte Quadtree verwendet wird ohne Tiefenreduktion.
Ein zusätzliches wichtiges Feature des erfindungsgemäßen Quadtree-Filters ist das Knüpfen von Bedingungen an die Berechnung des Quadtrees. Diese Bedingungen hängen von der speziellen Struktur des Originalbildes ab. Dies können Objekte oder Konturen im Originalbild sein. Im Folgenden werden solche Bedingungen präsentiert.

• Das Kantenbild liefert ein Bild, das die Konturen des Originalbildes aufzeigt. Es ist ein Binärbild mit True für Kanten und False für alle anderen Pixel. Es kann auf verschiedenen Wegen berechnet werden. Zum Beispiel ist das Kantenbild durch die Anwendung eines Differentialoperators wie dem Canny-Operator gegeben. Die einfachste Methode ist es die Flying Pixel als Kantenbild zu verwenden. Etwas komplexer ist die Berechnung des Kantenbildes mittels des Connected Component Algorithmus angewendet auf das Schwellenbild des Originalbildes. Der Schwellenwert kann zum Beispiel bestimmt werden durch Schwellenwertbildung des Ergebnisses des Wasserscheiden-Algorithmus, durch den Mittelwert des Bildes oder durch einen festen Wert. Das Kantenbild kann ebenfalls direkt durch die Schwellenwertbildung des Wasserscheiden-Algorithmus berechnet werden. Das Kantenbild wird dann als Bedingung an die Berechnung des Quadtrees verwendet in der Form, dass der Mittelwert eines Quadrates nur berechnet und verwendet wird, wenn in diesem Quadrat keine Kanten enthalten sind. Gibt es allerdings dort Kanten, wird das Quadrat als ein schlechtes bezeichnet.
• Ähnlich zum Kantenbild ist die Konstruktion des Segmentierungsbildes. Es gibt viele verschiedene Segmentierungsmöglichkeiten. Hier wird ausschließlich der Connected Component Algorithmus, angewendet auf des Schwellenbild des Originalbildes, verwendet. Der Schwellenwert kann wie zuvor zum Beispiel bestimmt werden durch Schwellenwertbildung des Ergebnisses des Wasserscheiden-Algorithmus, durch den Mittelwert des Bildes oder durch einen festen Wert. Jedes Segment des Segmentierungsbildes wird einzeln betrachtet und der Mittelwert eines Quadtrates wird für jedes Segment einzeln berechnet, sodass auch nur Quadtrate des Segments diesen Wert annehmen. Es werden also nur Pixel miteinander verrechnet, die zum gleichen Segment gehören und somit im Optimalfall auch zum gleichen Objekt und zur gleichen Distanz.
• Ist in einem Quadrat der min-max-Schwellenwert erfüllt, das heißt $max - min > t h r e s h o l d,$
dann ist das Quadrat ein schlechtes. Anderfalls nimmt das Quadrat den Mittelwert an. Weiterhin haben wir diese Bedingung aus numerischen Gründen zu $(max - min > t h r e s h o l d_{m i n}) a n d (max - min < t h r e s h o l d_{m a x})$
verschärft.
• In der vereinfachten Version des Prune-Algorithmus wird ein Quadrat der nächsthöheren Ebene als schlecht bezeichnet, wenn sein Wert und die Werte der zugehörigen Quadrate in der aktuellen Quadtree-Ebene nah beieinander liegen. Das heißt, wenn $| d_{i l} - a v e r a g e (B_{j k}) |> ε,$
dann ist d_il = average(B_jk). Hierbei bezeichnet d_il das Quadrat in der nächsthöheren Ebene und B_jk die Quadrate in der aktuellen Ebene, die d_il erzeugen.
• Für die Rauschmittelwert-Schwellenbedinungsmethode wird das Rauschen verwendet. Hierbei wird für jedes Quadrat des Quadtrees der Mittelwert des Rauschens aller Pixel in diesem Quadrat berechnet. Ist dieser Rauschmittelwert kleiner als ein Rauschschwellenwert, dann nimmt dieses Quadrat den Mittelwert aller Pixel dieses Quadrates an. Hierbei ist zu beachten, dass alle Pixel verwendet werden, auch die schlechten.

Zusammengefasst ist der Anwendungsablauf des Quadtree-Filters wie folgt.

• Berechnung des Konfidenzbildes.
• Konstruktion des Quadtrees des Bildes (Distanzbild, Real- und Imaginärbild, Rohdaten) durch Mittelwertbildung von 2x2-Quadraten von Ebene zu Ebene. Hierbei können Bedingungen an die Berechnung gestellt werden.
• Ersetzung der schlechten Pixel im Originalbild durch zugehörige gute Werte aus möglichst weit unterer Ebene des Quadtrees. Gibt es für schlechte Pixel keine validen Wert, werden für diese die verrauschten Daten beibehalten.

Übrigens kann Wavelet-Entrauschen mit der Quadtree-Konstruktion kombiniert werden. Dabei wird die Wavelet-Transformation auf das Originalbild angewendet. Anschließend wird der Quadtree für das Wavelet-transformierte Bild erzeugt. In diesem werden dann die schlechten Pixel, die durch das Konfidenzbild definiert sind, durch zugehörige valide Werte des Quadtrees in der zuvor beschriebenen Weise ersetzt. Als nächstes kann das Wavelet-Entrauschen / Wavelet-Thresholding angewendet werden. Zum Schluss wird das gefilterte Wavelet-transformierte Bild durch die inverse Wavelet-Transformation zurücktransformiert, sodass dies die gefilterte Version des Originalbildes ergibt.
Die 1a, b, c zeigen einen Ablauf des erfindungsgemäßen Vorgehens. Als Eingangsgröße / Input 10 wird ein Originalbild herangezogen, vorzugsweise können hier die Rohdaten einer TOF-Kamera oder bereits prozessierte Daten wie das Real- oder Imaginärbild der Entfernungsmessung herangezogen werden.
Aus dem Originalbild wird in einem Vorberechnungsschritt 20 zunächst ein Konfidenzbild 21 bestimmt, bei dem Pixel mit einer Boolschen Größe belegt werden, beispielsweise True für gute und False für schlechte Pixel. Die Einordnung in gute oder schlechte Pixel kann beispielsweise anhand des Signal-Rausch-Verhältnisses oder mittels eines Outlier-Filters oder anderer Methoden erfolgen.
Hiernach wird ein valides Originalbild 22 erzeugt, indem die schlechten Pixel auf Null gesetzt werden, sodass nur noch die validen Pixel einen Entfernungswert aufweisen.
Statt die schlechten Pixel auf Null zu setzen, können die schlechten Pixel grundsätzlich auch auf einen anderen ansonsten nicht existierenden Wert gesetzt werden. Wesentlich ist, dass die schlechten Pixel in den weiteren Berechnungen aufgefunden werden können.
Bevorzugt wird, wenn möglich, ein Bedingungsbild 23 berechnet, indem beispielsweise spezielle Strukturen des Originalbilds, wie insbesondere Kanten, Segmente, Flying Pixel etc. berücksichtigt werden. Falls keine geeigneten Strukturen im Bild vorhanden oder keine Signifikanz aufweisen, kann auch auf ein Bedingungsbild verzichtet werden.
Das Ergebnis der Vorberechnungen 20 fließt dann in die Quadtree-Berechnungen 40 ein. Alternativ oder zusätzlich kann das valide Originalbild beispielsweise mit Hilfe einer Wavelet-Transformation 30 entrauscht werden. Zur Durchführung dieser Transformation ist das valide Originalbild 22 im Schritt 31 auf quadratische Bilder hochzuskalieren. Die Wavelet-Transformation kann dann beispielsweise mittels Haar-Wavelets, Daubechies-Wavelets oder anderen Methoden berechnet werden.
Die Vorberechnungen 20 mit dem validem Originalbild oder das Wavelet-transformierte valide Originalbild aus den Wavelet-Berechnungen 30 fließen dann in die Quadtree-Berechnungen 40 ein. Im Schritt 41 werden die Quadratgrößen der Ebenen berechnet. Dafür werden von Ebene zu -Ebene je 2x2 Quadrate zu einem Quadrat zusammengefasst.
Bevorzugt wird im Schritt 42 die Tiefe reduziert, indem beispielsweise nur die untersten 2 bis 4 Ebenen des Quadtrees berechnet werden. Die Anzahl der Ebenen kann hier in Abhängigkeit der Komplexität der Szenerie gewählt werden. Für eine hoch komplexe Ebene ist es von Vorteil nur wenige Ebenen zu verwenden, um Artefakte zu vermeiden. Bei einer weniger komplexen Szenerie können grundsätzlich alle Ebenen herangezogen werden. Im tiefenreduzierten Quadtree wird im Schritt 43 eine Startebene festgelegt und die Quadtree-Variable initialisiert. Der Quadtree kann entweder Upwards oder Downwards aufgestellt werden und bedingt die Wahl der Startparameter.
Im Schritt 44 werden die Quadrate zur aktuellen Ebene eingeteilt und ein Quadtree-Ebene berechnet, indem zunächst im Schritt 45 Bedingungen zu jedem Quadrat geprüft werden. Mögliche Bedingungen könnten beispielsweise sein:

Segmentzugehörigkeit, Existenz von Kanten aus dem Bedingungsbild, Überschreitung des min-max-Schwellenwertes, des Rauschmittelwertes, etc. Ist die Bedingung erfüllt, wird die Bedingung für das Quadrat auf True gesetzt ansonsten auf False.

Im Schritt 46 wird ein Mittelwert in den Quadraten berechnet, wenn eine Bedingung False vorliegt und im Quadrat mindestens ein guter Pixel existiert. Die Mittelwertbildung erfolgt hierbei nur durch die guten Pixel. Hierbei werden bei einer Upwards-Berechnung die Werte aus der vorangehenden Ebene und bei einer Downwards-Berechnung die Werte aus dem Originalbild verwendet. Für die Berechnung der Mittelwerte können unterschiedliche Methoden herangezogen werden, beispielshaft und nicht abschließend seien genannt: Arithmetisches, Geometrisches, Harmonisches, Hölder-, Lehmer-Mittel, Median, nächster valider Nachbar, etc.
Im Schritt 47 wird das Quadtree zur aktuellen Ebene berechnet. Die schlechten Pixel in jedem Quadrat werden hierbei durch den zugehörigen berechneten Mittelwert ersetzt. Ist keine Mittelwertberechnung für das Quadrat durchgeführt worden, bleibt hier die Quadtree-Variable erhalten. Bei Upwards-Berechnungen werden die Werte-Zuordnungen nicht mehr ersetzt, bei Downwards-Berechnungen hingegen schon.
Bei der Upwards-Berechnung ist die Initial-Quadtree-Variable das valide Originalbild. Das heißt alle schlechten Pixel haben hier den Wert Null. Es werden also die Null-Werte durch Mittelwerte ersetzt. Durch die Bedingung: „es muss im Quadrat mindestens ein valider Pixel sein“ fürs Mittelwertberechnen oder ggf. auch die anderen Bedingungen, können Quadrate in einer Ebene auch auf Null bleiben.
Bei der Downwards-Berechnung wird die Quadtree-Variable als Null-Array initialisiert und in jeder Ebene mit dem Mittelwert überall ersetzt. Es werden somit nicht nur die schlechten Pixel ersetzt, da in der untersten Ebene jedes Quadrat nur aus einem Pixel besteht und dort die guten Pixel wieder durch die Originalwerte ersetzt werden.
Hiernach werden im Schritt 44 die Berechnungen für die weiteren Ebenen wiederholt, bis alle Ebenen abgearbeitet sind. Mit der dann berechneten Quadtree-Variablen kann im Schritt 50 ein korrigiertes Originalbild berechnet werden. Vorzugsweise werden die schlechten Pixel durch Werte aus dem Quadtree ersetzt, wenn kein Wert aus dem Quadtree verfügbar ist, verbleibt der schlechte Wert.
Wurde eine Entrauschung des Bildes vorgenommen, wird im Schritt 51 das korrigierte Bild mittels Wavelet-Transformation rücktransformiert. Hierzu kann im Schritt 52 ein Wavelet-Thresholding beispielsweise in Form eines Hard, Soft oder Neighbouring Thresholdings oder eines Thresholdings unter Verwendung von Rauschen etc. durchgeführt werden. Die Inverse Wavelet-Tranfsformation erfolgt dann beispielsweise mittels Haar- oder Daubechies-Wavelets oder anderen Algorithmen. Abschließend ist dann die Rückskalierung 54 des quadratischen Formats in das Ausgangsformat durchzuführen. Im Schritt 60 erfolgt dann die Ausgabe des korrigierten Originalbilds aus Schritt 50 oder des rücktransformierten Bilds nach Schritt 54.

Claims

Verfahren zur Generierung valider Entfernungsdaten für eine Lichtlaufzeitkamera, die nach dem Phasenmessprinzip arbeitet, mit den Schritten: - Erzeugung eines Konfidenzbilds (21) ausgehend von einem Originalbild, das als Real-, Imaginär-, Roh- oder Tiefenbild, indem die Pixel des Originalbilds anhand eines vorgegebenen Kriteriums in schlechte und gute Pixel kategorisiert und mit einem False oder True-Wert belegt werden, - Erzeugung eines validen Originalbilds (22), indem die Entfernungswerte der mit False kategorisierten Pixel auf Null gesetzt werden, so dass nur noch die mit True kategorisierten Pixel einen Entfernungswert aufweisen, - Berechnung einer auf einer Quadtree-Struktur basierenden Quadtree-Variablen (40) ausgehend von dem validen Originalbild, indem 2x2 Quadrate unter Mittelwertbildung zu einem übergeordneten Quadrat zusammengefasst werden, - wobei der Mittelwert nur dann gebildet wird, wenn im Quadrat mindestens ein Pixel mit True existiert und keine Bedingungen, die an das Mitteln gestellt werden, verletzt sind, - wobei die Pixel mit dem Wert False den Wert des berechneten Mittelwerts erhalten, - Berechnung und Ausgabe eines korrigierten Originalbilds (50) aus der Gesamtheit des berechneten Quadtree-Variablen.
Verfahren nach Anspruch 1, bei dem für schlechte Pixel zu denen keine validen Werte auffindbar sind, die Originalwerte beibehalten werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Entrauschung des validen Originalbilds (22) mit Hilfe einer Wavelet-Transformation (30) durchgeführt wird und die Quadtree-Berechnung (40) anhand des entrauschten Bilds durchgeführt wird, und hiernach die Wavelet-Rücktransformierte als korrigiertes Originalbild ausgegeben wird.