DE102008046505B4 - Verfahren zur Bildverarbeitung von Stereobildern - Google Patents

Abstract

Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1, 1'), bei dem für jedes Pixel (p, p') eines der Bilder (1, 1') eine Berechnung von Kosten (C(p,d), C'(p',d')) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p') des anderen Bildes (1') durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L1 bis L8, L1' bis L8'), die im Pixel (p,p') münden, eine Akkumulierung der Kosten (C(p,d),C'(p',d')) zu akkumulierten Kosten (S(p,d), S'(p',d')) für diesen Pixel (p,p') erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p') des anderen Bildes (1') dasjenige zur Erstellung einer Disparitätskarte (D(1), D'(1)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p,d), C'(p',d')) der Unähnlichkeit umfasst, dadurch gekennzeichnet, dass bildbezogen die Kosten (C(p,d), C'(p,d)) jeweils von zumindest vier Pfaden (L1 bis L4, L5' bis L8' oder L1' bis L4', L5 bis L8) an jedem Pixel (p, p') summiert werden und bildbezogen diejenige Disparität (dmin, d'min) ermittelt wird, die den kleinsten Kostenwert (Cmin, C'min) aufweist.

Description

• Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern gemäß dem Oberbegriff des Anspruchs 1.
• Die Bestimmung von Korrespondenzen von Pixeln, auch Bildpunkte genannt, in stereoskopisch aufgenommenen Bildern ist ein Standardproblem der Bildverarbeitung. Zur Lösung dieses Problems sind bereits zahlreiche Algorithmen bekannt geworden. Zur Lösung werden häufig einschränkende Annahmen getroffen, z. B. Epipolar Constraint, Ordering Constraint, Smoothness Assumption, Uniqueness Constraint. Ein häufig auftretendes Problem ist die unterschiedliche Helligkeit, auch Intensität genannt, korrespondierender Pixel in den stereoskopisch aufgenommenen Bildern. Eine Korrespondenzbildung wird in diesem Fall dadurch erschwert, dass für globale Stereoverfahren meist ein pixelbasiertes Ähnlichkeitskriterium verwendet wird, das sensitiv auf unterschiedliche Helligkeiten reagiert. In (H. Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814) wird Transinformation (mutual information) als Ähnlichkeitskriterium, das globale Helligkeitsschwankungen kompensiert, beschrieben. Zur Tiefenberechnung von Eingangsbildern in Embedded-Echtzeit-Systemen muss der Algorithmus in programmierbarer Hardware oder anderer Spezialhardware implementiert und diese Hardware mit externem Speicher versehen werden. Um die Leistungsfähigkeit des Verfahrens hoch und die elektrische Leistungsaufnahme gering zu halten, muss die Speicherbandbreite minimiert werden.
• Aus der älteren Anmeldung DE 10 2008 017 834 A1 ist ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern bekannt. Um Speicherbedarf zu reduzieren, werden bei dem bekannten Verfahren nur die in jedem eindimensionalen Pfad akkumulierten Kosten für jede n-te Zeile und jede n-te Spalte eines Bildes gespeichert.
• Aus der DE 19509373 C1 ist auch ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern bekannt. Indem der Bereich, in dem sich Verschiebungsvektoren befinden, vorberechnet wird, kann die Anzahl der zu berücksichtigenden Pfade reduziert werden. Sobald die Kosten für einen Knoten berechnet sind, können aufbauend auf diesen Kosten des vorhergehenden Knotens die zusätzlichen Kosten der Pfade bis an das Ende der Zeile berechnet werden. Dieses Verfahren wird für jede Bildzeile durchgeführt. Durch diese Regelschleife wird die zu übertragende Datenmenge reduziert.
• Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern anzugeben, bei dem ein Speicherbedarf reduziert ist.
• Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
• Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
• Bei einem erfindungsgemäßen Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern wird für jedes Pixel eines der Bilder eine Berechnung von Kosten einer Unähnlichkeit anhand von Intensitäten des Pixels und eines als potentiell korrespondierend betrachteten Pixels des anderen Bildes durchgeführt. Entlang einer Anzahl von eindimensionalen Pfaden, die im Pixel münden, erfolgt eine Akkumulierung der Kosten. Aus den als potentiell korrespondierend betrachteten Pixeln des anderen Bildes wird dasjenige zur Erstellung einer Disparitätskarte ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten der Unähnlichkeit umfasst.
• Erfindungsgemäß werden anhand der ermittelten Disparitäten bildbezogen die Kosten jeweils von zumindest vier Pfaden an jedem Pixel summiert und bildbezogen diejenige Disparität ermittelt, die den kleinsten Kostenwert aufweist.
• Im Vergleich zum Stand der Technik werden hierdurch externe Speicherzugriffe eliminiert, wodurch eine externe Speicherung von Zwischenergebnissen vermieden wird. Dabei wird zumindest nur noch jeweils eine Zeile in vier Richtungen eines Kosten-kubus und somit vier Pfade ermittelt, wobei für die Berechnung der vier Richtungen nur noch jeweils eine Zeile des Kostenkubus gespeichert wird.
• Im Vergleich mit dem aus dem Stand der Technik bekannten Speichern aller akkumulierten Kosten erhöht sich zwar der Berechnungsaufwand, jedoch wird die Speicherbandbreite reduziert, so dass weniger Speicher benötigt wird. Bei weniger installiertem Speicher sinken sowohl die Kosten für den Speicher selbst als auch für die Leistungsaufnahme des Speichers. Voraussetzung ist, dass ein interner Speicher eines Mikroprozessors oder eines FPGA, in dem die Berechnung durchgeführt wird, hinreichend groß für die Berechnung aller eindimensionalen Pfade ist. Hierbei kann für die Berechnung in einer Weiterbildung der Erfindung eine Größe des Bildausschnitts vorgegeben und gewählt werden. Gegebenenfalls ist die Größe des Bildausschnitts anzupassen.
• Beispielsweise wird das Bild zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n+1)x(n+1) unterteilt. Zur Weiterberechnung werden nicht alle akkumulierten Kosten gespeichert, wie im Stand der Technik gebräuchlich, sondern nur die in jedem der eindimensionalen Pfade akkumulierten Kosten für jede n-te Zeile und jede n-te Spalte des Bildes. Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten, die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade akkumulierten Kosten für ein Inneres des Bildausschnitts werden neu berechnet.
• Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert.
• Dabei zeigt:
• 1 eine schematische Darstellung eines Bildes mit einem Pixel und acht eindimensionalen Pfaden, die in dem Pixel münden, und eines zu diesem korrespondierenden Bildes,
• 2 ein Diagramm einer Disparität eines Pixels in Abhängigkeit von einer Richtung des eindimensionalen Pfades,
• 3 ein Ausführungsbeispiel für ein Ablaufdiagramm für die Ermittlung von Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts-Kostenberechnungen, und
• 4 ein alternatives Ausführungsbeispiel für ein Ablaufdiagramm für die Ermittlung von Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen.
• Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
• Die Figur zeigt ein Bild 1 und einen Pixel p und ein zu diesem Bild 1 korrespondierendes Bild 1' und zu dem Pixel p korrespondierenden Pixel p'. Zur Veranschaulichung lässt sich das Verfahren mit dem Übereinanderlegen der Bilder 1 und 1' und dem Verschieben der Bilder 1, 1' relativ zueinander zur Ermittlung einer Übereinstimmung in einem Pixel p, p' vergleichen.
• Das Verfahren wird zur Bestimmung von Korrespondenzen von Bildpunkten (Pixeln p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern 1, 1' angewandt. Dabei wird für jedes Pixel p, p' eines der Bilder 1, 1' eine Berechnung der Kosten der Unähnlichkeit C(p, d), C'(p',d') (= Kosten der Disparität) zu einem als potentiell korrespondierend betrachteten Pixel p', p des anderen Bildes 1', 1 durchgeführt. Dies geschieht beispielsweise anhand von Intensitäten des Pixels p und des als potentiell korrespondierend betrachteten Pixels p' des anderen Bildes 1'. Mit anderen Worten: Kosten der Disparität sind Kosten, die beim Matchen von p auf d entstehen.
• Entlang einer Anzahl von eindimensionalen Pfaden L1 bis L8, die aus verschiedenen Richtungen r im Pixel p münden, erfolgt eine Akkumulierung der Kosten C(p,d) zu akkumulierten Kosten S(p,d) durch Summation. Dabei werden die niedrigsten Kosten Cmin(p,d) entlang des jeweiligen eindimensionalen Pfades L1 bis L8 fortgepflanzt, ähnlich wie bei dynamischer Programmierung (ohne Zurückverfolgung).
• In 1 werden acht eindimensionale Pfade L1 bis L8 zugrunde gelegt. Es ist aber auch eine andere Anzahl denkbar, beispielsweise sechzehn. Die akkumulierten, durch Summation ermittelten Kosten S(p, d) werden gemäß folgender Formel ermittelt: $$S\left(p,d\right)={\displaystyle \sum _r{L}_r\left(p,d\right)}$$

  
• Aus den als potentiell korrespondierend betrachteten Pixel p' des anderen Bildes 1' wird dasjenige zur Erstellung einer Disparitätskarte D(p) ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten C(p,d) der Unähnlichkeit umfasst. Die globale Energie kann auch Strafterme p1, p2 enthalten, die die Änderungen einander benachbarter Disparitäten d+1, d, d-1 zueinander berücksichtigen, wie aus 2 deutlich wird und wie in folgender Formel gezeigt ist: $$L\left(p,d\right)=C\left(p,d\right)+\text{min}\{\begin{array}{l}L\left(p-r,d\right)\to \hfill \\ L\left(p-r,d+1\right)+p_1\to \hfill \\ L\left(p-r,d-1\right)+p_1\to \hfill \\ \underset{i}{\text{min}}L\left(p-r,i\right)+p_2\hfill \end{array}$$

  
• Beispielsweise wird bei der Bestimmung der globalen Energie ein kleiner Strafterm p1 berücksichtigt, wenn sich die Disparität d zwischen benachbarten Pixeln p, p' geringfügig ändert und ein großer Strafterm p2, wenn eine sprungartige Änderung der Disparität d zwischen benachbarten Pixeln p, p' vorliegt. Man spricht hierbei auch von einer Glattheitsbeschränkung (smoothness constraint).
• Das Bild 1 wird zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n+1)x(n+1) unterteilt. Zur Weiterberechnung werden nur die in jedem der eindimensionalen Pfade L1 bis L8 akkumulierten Kosten S(p, d) für jede n-te Zeile und jede n-te Spalte des Bildes 1 in einer Akkumulierte-Kosten-Matrix gespeichert, wobei die Komplexität des Algorithmus bezüglich der Zeit 0(WHD) ist (WHD - width, height, disparity range; Breite, Höhe, Disparitätsbereich).
• Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA oder einem Mikrocontroller stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten S(p, d), die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade L1 bis L8 akkumulierten und durch Summation ermittelten Kosten S(p, d) für ein Inneres des Bildausschnitts werden neu berechnet.
• 3 zeigt ein Ausführungsbeispiel für ein Ablaufdiagramm zur Ermittlung von Kosten C(p,d), C'(p',d') und durch Summation ermittelten, akkumulierten Kosten S(p,d), S'(p',d') je Bild 1, 1' anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen.
• Dabei wird für die ursprünglich aufgenommenen Bilder 1 und 1' jeweils pixelbezogen die zugehörige Disparität d bzw. d', z. B. je Bild 1 und 1' 128 Disparitäten d bzw. d' in einem Disparitätskubus D(1) bzw. D(1') (auch Disparitätsbild oder Disparitätskarte genannt) ermittelt. Der jeweilige Disparitätskubus D(1, d) (= D(x,y,d)) oder D(1', d') (= D'(x', y', d') umfasst als Ähnlichkeitsmaß die Disparität d bzw. d' bezogen auf die miteinander korrespondierenden Pixel p(x,y) und p'(x', y') im jeweiligen Bild 1, z. B. im rechten Bild R bezogen auf das linke Bild L, bzw. 1', z. B. im linken Bild L bezogen auf das rechte Bild R, oder umgekehrt wie durch die gestrichelte Linie angedeutet.
• Anschließend wird anhand der ermittelten Disparitätskuben D(1), D'(1') jeweils ein Kostenkubus C(1), C'(1') ermittelt, indem die Kosten C(p,d) bzw. C'(p',d') entlang einer Anzahl von vorgebbaren Pfaden L1 bis L8 bzw. L1' bis L8' bildbezogen an jedem Pixel p, p' ermittelt werden. Zur Reduzierung des Speicherbedarfs werden anschließend bildbezogen an jedem Pixel p, p' die ermittelten Kosten C(p,d), C'(p',d') durch Summation zu dem einzelnen akkumulierten Kostenwert S(p,d), S'(p',d') ermittelt. Anschließend wird diejenige Disparität dmin bzw. d'min ermittelt, welche den kleinsten akkumulierten Kostenwert Smin(p,d) bzw. S'min(p',d') aufweist. Wie dargestellt, wird diese Berechnung für beide Bilder 1 und 1' separat durchgeführt.
• In einem weiteren Schritt werden dann die zu diesem kleinsten akkumulierten Kostenwert Smin(p,d) und S'min(p',d') zugehörig ermittelten Disparitäten dmin bzw. d'min der miteinander korrespondierenden Bildpunkte oder Pixel p bzw. p' miteinander verglichen und ein daraus resultierender Vergleichswert analysiert.
• Zweckmäßigerweise wird der ermittelte Vergleichswert mit einem vorgebbaren Differenzwert verglichen. Wenn der Vergleichswert den vorgegebenen Differenzwert überschreitet und somit die Differenz der Disparitäten dmin und d'min der miteinander korrespondierenden Pixel p bzw. p' zu groß ist, werden die ermittelten Disparitäten dmin und d'min auf ungültig gesetzt und somit nicht berücksichtigt; anderenfalls werden sie beibehalten.
• Mit anderen Worten: Die Disparitäts- und Kostenberechnung erfolgt einmal für das rechte und einmal für das linke Bild 1 bzw. 1' eines Stereopaares. Bildbereiche, insbesondere Pixel p und p', in denen unterschiedliche Disparitäten d bzw. d', insbesondere dmin und d'min ermittelt werden, stellen so genannte „Stereo-Schatten“ dar, die durch Setzen auf ungültig eliminiert und somit unberücksichtigt bleiben. Dies geschieht zu Lasten der Dichte des Stereobildes. Es hat sich aber überraschenderweise in der Darstellung von Straßenszenen gezeigt, dass der Verlust an Stereoinformation für 3D-Szenarien vernachlässigbar klein ist. Dabei ist die Ermittlung und Eliminierung von Stereo-Schatten ohne externe Speicherung von Zwischenergebnissen möglich. Hierdurch kann die genutzte Speicherbandbreite weiter reduziert werden.
• 4 zeigt ein alternatives Ausführungsbeispiel für ein Ablaufdiagramm für die Ermittlung von Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts-Kostenberechnungen.
• Dabei werden die miteinander korrespondierenden Bilder 1 und 1' eines Stereopaares und die daraus resultierenden Disparitätskuben D(1) bzw. D'(1') in analoger Weise, wie im Ausführungsbeispiel nach 3 beschrieben, ausgeführt. Die Ermittlung des jeweiligen Kostenkubus C(1) und C'(1') je Bild 1 bzw. 1' unterscheidet sich darin, dass für das eine Bild 1, z. B. das rechte Bild R, zunächst vier Pfade L1 bis L4 von oben und links, und für das andere Bild 1', z. B. das linke Bild L, vier andere Pfade L5' bis L8' von unten und rechts ausgewählt und deren zugehörige Kosten C(p,d) bzw. C'(p',d') sowie pfadbezogen die zugehörigen durch Summation ermittelten und als ein Summenwert akkumulierten Kosten S(p,d) bzw. S'(p',dd') ermittelt werden und in analoger Weise die zugehörige Disparität dmin bzw. d'min mit dem kleinsten Kostenwert Cmin bzw. C'min ermittelt wird. Anschließend werden in einem zweiten Schritt die Teilsummen der vier Pfade L1 bis L4 und L5' bis L8' wieder eingelesen und die restlichen vier Pfade L5 bis L8 bzw. L1 bis L4 hinzuaddiert. Dabei muss für die jeweilige Kostenermittlung der vier Pfade L1 bis L4, L5 bis L8, L1' bis L4' und/oder L5' bis L8' jeweils nur eine Zeile des Kostenkubus S(1), S'(1'), insbesondere der kleinste Kostenwert Cmin, C'min mit der zugehörigen Disparität dmin, d'min gespeichert werden.
• Auch kann je Bild 1, 1' eine waagerechte fünfte Richtung, wie durch die gestrichelte Linie angedeutet, je Kostenkubus C(1) und C'(1') ermittelt werden. Dies führt zu einem verbesserten Ergebnis mit einer höheren Dichte.
• Bezugszeichenliste

1, 1'

Bild

C(p,d), C'(p',d')

Kosten der Unähnlichkeit

C(1), C'(1')

Kostenkubus

D, d'

Disparität bei ausgerichteten Bildern

D(1), D(1')

Disparitätskubus

L1 bis L8

eindimensionale Pfade

p, p'

korrespondierende Pixel

p1

Strafterm 1

p2

Strafterm 2

S(p,d), S'(p',d')

durch Summation ermittelte, akkumulierte Kosten der Unähnlichkeit

Claims (5)

1. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1, 1'), bei dem für jedes Pixel (p, p') eines der Bilder (1, 1') eine Berechnung von Kosten (C(p,d), C'(p',d')) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p') des anderen Bildes (1') durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L1 bis L8, L1' bis L8'), die im Pixel (p,p') münden, eine Akkumulierung der Kosten (C(p,d),C'(p',d')) zu akkumulierten Kosten (S(p,d), S'(p',d')) für diesen Pixel (p,p') erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p') des anderen Bildes (1') dasjenige zur Erstellung einer Disparitätskarte (D(1), D'(1)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p,d), C'(p',d')) der Unähnlichkeit umfasst, dadurch gekennzeichnet, dass bildbezogen die Kosten (C(p,d), C'(p,d)) jeweils von zumindest vier Pfaden (L1 bis L4, L5' bis L8' oder L1' bis L4', L5 bis L8) an jedem Pixel (p, p') summiert werden und bildbezogen diejenige Disparität (dmin, d'min) ermittelt wird, die den kleinsten Kostenwert (Cmin, C'min) aufweist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ermittelten Disparitäten (dmin, d'min) für miteinander korrespondierende Pixel (p, p') verglichen und ein daraus resultierender Vergleichswert analysiert wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Vergleichswert anhand eines vorgebbaren Differenzwertes analysiert wird, wobei wenn der Vergleichswert den Differenzwert überschreitet, die ermittelten Disparitäten (dmin, d'min) ungültig gesetzt werden, anderenfalls beibehalten werden.
4. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem ersten Schritt die Kosten (C(p, d) von acht Pfaden (L1 bis L8) in einem der beiden Bilder (1) und in einem zweiten Schritt die Kosten (C'(p',d') von zu diesen acht Pfaden (L1 bis L8) korrespondierenden Pfaden (L1' bis L8') im anderen Bild (1') ermittelt werden.
5. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem ersten Schritt die Kosten (C(p, d) von vier der acht Pfade (L1 bis L4) in einem der beiden Bilder (1) und in einem zweiten Schritt die Kosten (C'(p',d') der restlichen vier Pfade (L5' bis L8') im anderen Bild (1') ermittelt werden.

Images