DE102008017834A1

DE102008017834A1 - Verfahren zur Bildverarbeitung von Stereobildern

Info

Publication number: DE102008017834A1
Application number: DE102008017834A
Authority: DE
Inventors: Stefan Dipl.-Inform. Hahn
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2008-04-08
Filing date: 2008-04-08
Publication date: 2008-10-30
Also published as: WO2009124663A1

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1, 1'), bei dem für jedes Pixel (p) eines der Bilder (1) eine Berechnung der Kosten (C(p,d)) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p') des anderen Bildes (1') durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L), die im Pixel (p) münden, eine Akkumulierung der Kosten (C(p,d)) erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p') des anderen Bildes (1') dasjenige zur Erstellung einer Disparitätskarte (D(p)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p,d)) der Unähnlichkeit umfasst, wobei das Bild (1) zur Bestimmung der Korrespondenz in Bildausschnitte der Größe (n + 1) x (n + 1) unterteilt wird, wobei die in jedem der eindimensionalen Pfade (L) akkumulierten Kosten (S(p,d)) für jede n-te Zeile und jede n-te Spalte gespeichert werden, wobei jeweils einer der Bildausschnitte geladen wird, wobei die für einen Rand des Bildausschnitts gespeicherten akkumulierten Kosten (S(p,d)) geladen werden, wobei die in jedem der eindimensionalen Pfade (L) akkumulierten Kosten (S(p,d)) für ein Inneres des Bildausschnitts neu berechnet werden.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern gemäß dem Oberbegriff des Anspruchs 1.
Die Bestimmung von Korrespondenzen von Pixeln, auch Bildpunkte genannt, in stereoskopisch aufgenommenen Bildern ist ein Standardproblem der Bildverarbeitung. Zur Lösung dieses Problems sind bereits zahlreiche Algorithmen bekannt geworden. Zur Lösung werden häufig einschränkende Annahmen getroffen, z. B. Epipolar Constraint, Ordering Constraint, Smoothness Assumption, Uniqueness Constraint. Ein häufig auftretendes Problem ist die unterschiedliche Helligkeit, auch Intensität genannt, korrespondierender Pixel in den stereoskopisch aufgenommenen Bildern. Eine Korrespondenzbildung wird in diesem Fall dadurch erschwert, dass für globale Stereoverfahren meist ein pixelbasiertes Ähnlichkeitskriterium verwendet wird, das sensitiv auf unterschiedliche Helligkeiten reagiert. In (H. Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, 2005 IEEE Computer Society Conference an Computer Vision and Pattern Recognition (CVPR'05)-Volume 2, pp. 807–814) wird Transinformation (mutual information) als Ähnlichkeitskriterium, das globale Helligkeitsschwankungen kompensiert, beschrieben. Zur Tiefenberechnung von Eingangsbildern in Embedded-Echtzeit-Systemen muss der Algorithmus in programmierbarer Hardware oder anderer Spezialhardware implementiert und diese Hardware mit externem Speicher versehen werden. Um die Leistungsfähigkeit des Verfahrens hoch und die elektrische Leistungsaufnahme gering zu halten, muss die Speicherbandbreite minimiert werden.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern anzugeben, bei dem ein Speicherbedarf reduziert ist.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruch 1.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern wird für jedes Pixel eines der Bilder eine Berechnung von Kosten einer Unähnlichkeit anhand von Intensitäten des Pixels und eines als potentiell korrespondierend betrachteten Pixels des anderen Bildes durchgeführt. Entlang einer Anzahl von eindimensionalen Pfaden, die im Pixel münden, erfolgt eine Akkumulierung der Kosten. Aus den als potentiell korrespondierend betrachteten Pixeln des anderen Bildes wird dasjenige zur Erstellung einer Disparitätskarte ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten der Unähnlichkeit umfasst. Dabei wird in erfinderischer Weise das Bild zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n + 1) × (m + 1) unterteilt. Zur Weiterberechnung werden nicht alle akkumulierten Kosten gespeichert, wie im Stand der Technik gebräuchlich, sondern nur die in jedem der eindimensionalen Pfade akkumulierten Kosten für jede n-te Zeile und jede m-te Spalte des Bildes. Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten, die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade akkumulierten Kosten für ein Inneres des Bildausschnitts werden neu berechnet.
Im Vergleich mit dem aus dem Stand der Technik bekannten Speichern aller akkumulierten Kosten erhöht sich zwar der Berechnungsaufwand um etwa einen Faktor 2, jedoch kann die externe Speicherbandbreite mindestens um den Faktor m/2 bis Faktor m reduziert werden, so dass weniger Speicher benötigt wird. Bei weniger installiertem Speicher sinken sowohl die Kosten für den Speicher selbst als auch für die Leistungsaufnahme des Speichers. Voraussetzung ist, dass ein interner Speicher eines Mikroprozessors oder eines FPGA, in dem die Berechnung durchgeführt wird, hinreichend groß für die Berechnung aller eindimensionalen Pfade für die gewählte Größe des Bildausschnitts ist. Gegebenenfalls ist die Größe des Bildausschnitts anzupassen.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert.
Dabei zeigt:
1 eine schematische Darstellung eines Bildes mit einem Pixel und acht eindimensionalen Pfaden, die in dem Pixel münden, und
2 ein Diagramm einer Disparität eines Pixels in Abhängigkeit von einer Richtung des eindimensionalen Pfades.
Die Figur zeigt ein Bild 1 und einen Pixel p. Das andere Bild 1' und der als potentiell korrespondierend betrachtete Pixel p' sind nicht gezeigt. Zur Veranschaulichung lässt sich das Verfahren mit dem Übereinanderlegen der Bilder 1 und 1' und dem Verschieben der Bilder 1, 1' relativ zueinander zur Ermittlung einer Übereinstimmung in einem Pixel p, p' vergleichen.
Das Verfahren wird zur Bestimmung von Korrespondenzen von Bildpunkten (Pixeln p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern 1, 1' angewandt. Dabei wird für jedes Pixel p eines der Bilder 1 eine Berechnung der Kosten der Unähnlichkeit C(p, d) (= Kosten der Disparität) zu einem als potentiell korrespondierend betrachteten Pixel p' des anderen Bildes 1' durchgeführt. Dies geschieht beispielsweise anhand von Intensitäten des Pixels p und des als potentiell korrespondierend betrachteten Pixels p' des anderen Bildes 1'. Mit anderen Worten: Kosten der Disparität sind Kosten, die beim Matchen von p auf d entstehen.
Entlang einer Anzahl von eindimensionalen Pfaden L, die aus verschiedenen Richtungen r im Pixel p münden, erfolgt eine Akkumulierung der Kosten C(p, d). Dabei werden die niedrigsten Kosten C(p, d) entlang des eindimensionalen Pfades L fortgepflanzt, ähnlich wie bei dynamischer Programmierung (ohne Zurückverfolgung).
In 1 werden acht eindimensionale Pfade L zugrunde gelegt. Es ist aber auch eine andere Anzahl denkbar, beispielsweise sechzehn. Die akkumulierten Kosten S(p, d) werden gemäß folgender Formel ermittelt:
Aus den als potentiell korrespondierend betrachteten Pixel p' des anderen Bildes 1' wird dasjenige zur Erstellung einer Disparitätskarte D(p) ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten C(p, d) der Unähnlichkeit umfasst. Die globale Energie kann auch Strafterme P1, P2 enthalten, die die Änderungen einander benachbarter Disparitäten zueinander berücksichtigen, wie aus 2 deutlich wird und wie in folgender Formel gezeigt ist:
Beispielsweise wird bei der Bestimmung der globalen Energie ein kleiner Strafterm p1 berücksichtigt, wenn sich die Disparität d zwischen benachbarten Pixeln p, p' geringfügig ändert und ein großer Strafterm p2, wenn eine sprungartige Änderung der Disparität d zwischen benachbarten Pixeln p, p' vorliegt. Man spricht hierbei auch von einer Glattheitsbeschränkung (smoothness constraint).
Das Bild 1 wird zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n + 1) × (m + 1) unterteilt. Zur Weiterberechnung werden nur die in jedem der eindimensionalen Pfade L akkumulierten Kosten S(p, d) für jede n-te Zeile und jede m-te Spalte des Bildes 1 in einer Akkumulierte-Kosten-Matrix gespeichert, wobei die Komplexität des Algorithmus bezüglich der Zeit 0(WHD) ist (WHD – width, height, disparity range; Breite, Höhe, Disparitätsbereich).
Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA oder einem Mikrocontroller stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten S(p, d), die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade L akkumulierten Kosten S(p, d) für ein Inneres des Bildausschnitts werden neu berechnet.

1, 1': Bild
C(p, d): Kosten der Unähnlichkeit
d: Disparität bei ausgerichteten Bildern, sonst Linienparameter
D(p): Disparitätsbild, -karte
L: eindimensionaler Pfad
P, p': Pixel
21: Strafterm 1
P2: Strafterm 2
r: Richtung
S(p, d): akkumulierte Kosten für einen Pixel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- H. Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, 2005 IEEE Computer Society Conference an Computer Vision and Pattern Recognition (CVPR'05)-Volume 2, pp. 807–814 [0002]

Claims

Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1, 1'), bei dem für jedes Pixel (p) eines der Bilder (1) eine Berechnung von Kosten (C(p, d)) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p') des anderen Bildes (1') durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L), die im Pixel (p) münden, eine Akkumulierung der Kosten (C(p, d)) erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p') des anderen Bildes (1') dasjenige zur Erstellung einer Disparitätskarte (D(p)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p, d)) der Unähnlichkeit umfasst, dadurch gekennzeichnet, dass das Bild (1) zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n + 1) × (n + 1) unterteilt wird, wobei die in jedem der eindimensionalen Pfade (L) akkumulierten Kosten (S(p, d)) für jede n-te Zeile und jede m-te Spalte gespeichert werden, wobei jeweils einer der Bildausschnitte geladen wird, wobei die für einen Rand des Bildausschnitts gespeicherten akkumulierten Kosten (S(p, d)) geladen werden, wobei die in jedem der eindimensionalen Pfade (L) akkumulierten Kosten (S(p, d)) für ein Inneres des Bildausschnitts neu berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Bestimmung der globalen Energie ein kleiner Strafterm (P1) berücksichtigt wird, wenn sich die Disparität (d) zwischen benachbarten Pixeln (p, p') geringfügig ändert und ein großer Strafterm (P2) berücksichtigt wird, wenn eine sprungartige Änderung der Disparität (d) zwischen benachbarten Pixeln (p, p') vorliegt.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Kosten (C(p, d)) entlang von acht eindimensionalen Pfaden (L) akkumuliert werden.