DE102004004528A1

DE102004004528A1 - Verfahren, Vorrichtung und Programm zur Verarbeitung eines Stereobildes

Info

Publication number: DE102004004528A1
Application number: DE102004004528A
Authority: DE
Inventors: Shinichi Suwa Miyazaki
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-01-31
Filing date: 2004-01-29
Publication date: 2004-08-19
Also published as: JP2004234423A; US20050008220A1; US7471809B2

Abstract

Zur Verminderung der Abnahme der Meßgenauigkeit infolge eines falschen Ergebnisses einer Übereinstimmungsprüfung und zur Schaffung einer genaueren Messung bei einem Verfahren zur Verarbeitung eines Stereobildes wird ein Verfahren vorgeschlagen, welches die Schritte enthält: Einstellen eines speziellen Bereichs eines Basisfensters, bezogen auf einen Objektpunkt, zum Erhalte eines Korrespondenzpunkts in dem Basisbild; Einstellen eines Referenzfensters mit derselben Größe wie das Basisfenster in dem Referenzbild; Bewertung der Differenz zwischen den Mustern des Basisfensters und des Referenzfensters unter Abtasten des Referenzfensters längs einer Epipolarlinie in dem Referenzbild, die dem Objektpunkt entspricht; Ermitteln der Position des Referenzfensters mit der minimalen Differenz als einen Stereokorrespondenzpunkt; Messen der Parallaxe durch die Differenz zwischen der Position des Basisfensters und der Position des Referenzfensters, wenn der Stereokorrespondenzpunkt ermittelt ist; Berechnen der Zuverlässigkeit der Parallaxe durch eine erste Zuverlässigkeit auf der Basis der Schärfe der Spitze einer Bewertungswertverteilung der Differenz von Mustern zwischen dem Basisfenster und dem Referenzfenster, die durch Abtasten des Referenzfensters gewonnen wurde, und einer zweiten Zuverlässigkeit auf der Basis der Form der Spitzen und Ausgabe des Wertes der Zuverlässigkeit der Parallaxe zusammen mit dem Wert der Parallaxe.

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Programm zur Verarbeitung eines Stereobildes. Genauer gesagt betrifft die Erfindung ein Verfahren, eine Vorrichtung und ein Programm zur Verarbeitung eines Stereobildes, bei dem eine Korrespondenzsuche zwischen zwei Bildern ausgeführt wird, die durch zwei Abbildungseinrichtungen aufgenommen wurden, um die Parallaxe bei einer Stereoübereinstimmungssuche zum Erhalt dreidimensionaler Positionskoordinaten eines Beobachtungsobjekts aus einer Mehrzahl von Bildern zu erhalten, die von verschiedenen Standpunkten aus gesehen werden, und zwar auf der Basis des Prinzips der Triangulation und der Verwendung der bekannten Positionsrelation zwischen zwei oder mehr Kameras.
Wenn ein Objekt von zwei verschiedenen Standpunkten aus gemessen wird, wird ein Punkt des Objekts auf unterschiedliche Positionen in den jeweiligen Beobachtungsbildern projiziert. Der Unterschied gemessener Positionen zwischen den Bildern wird als Parallaxe bezeichnet. Das Finden der Parallaxe erlaubt die Berechnung dreidimensionaler Positionskoordinaten des Punkts auf der Basis des Prinzips der Triangulation.
Zur Bestimmung der Parallaxe durch Korrespondenzsuche zwischen Stereobildern wird oft ein Block-Übereinstimmungsprüfverfahren (block matching method) eingesetzt, bei dem ein kleiner Bereich (Block) in einem Bild (dem linken) beobachtet wird, ein Block mit einer Luminanzverteilung möglichst ähnlich (die maximale Korrelation) zu der des Blocks im anderen Bild (dem rechten) gesucht, und die Parallaxe durch die relative Position zwischen den Blöcken in beiden Bildern mit maximaler Korrelation ermittelt wird. Bei dem Block-Übereinstimmungsprüfverfahren hat manchmal eine von der wirklich korrespondierenden Position verschiedene Position die größte Korrelation aufgrund des Einflusses von Rauschen oder dergleichen. Bei dem obigen einfachen Prüfverfahren wird jedoch die Korrelationsverteilung in dem Blocksuchbereich nicht berücksichtigt, was oft zu einer Fehlübereinstimmung führt und die Zuverlässigkeit der Genauigkeit der Parallaxenmessung verringert.
Zur Lösung dieses Problems sind verschiedene Verfahren zur Verbesserung der Zuverlässigkeit vorgesehen worden. Beispielsweise wird die Korrelationsverteilung in dem Blocksuchbereich untersucht, wobei, wenn es mehrere Blöcke großer Ähnlichkeit gibt, die Parallaxe nicht bestimmt wird und nur für sehr zuverlässige Teile erfaßt wird (siehe beispielsweise JP 2001-351200 A , 1).
Ein anderes Beispiel ist ein Verfahren, bei dem die Verteilung der Korrelation untersucht wird, um die Zuverlässigkeit der Korrespondenz über den Grad der Übereinstimmung zu bewerten, der durch die Schärfe der Spitze angezeigt wird, wobei für einen Teil geringer Zuverlässigkeit die Parallaxe auf der Basis der Kontinuität der Parallaxe mit den umgebenden Pixeln korrigiert wird, um eine sehr zuverlässige detaillierte Messung zu erhalten, so daß die Messung effektiv in solch einem Fall korrigiert werden kann, bei dem die gemessene Parallaxe plötzlich aufgrund des Einflusses von Rauschen oder dergleichen diskontinuierlich wird (siehe zum Beispiel JP 2001-116513 A , 1).
Ein weiteres Beispiel ist ein Verfahren, bei dem zwei Ausschnitte unterschiedlicher Größen (ein kleiner Ausschnitt und ein großer Ausschnitt) vorbereitet werden, wobei der kleine Ausschnitt dazu verwendet wird, zwei oder mehr Kandidaten des entsprechenden Punkts herauszugreifen, während dann der große Ausschnitt dazu verwendet wird, die Korrelation lediglich für die Positionen der Kandidaten des entsprechenden Punkts zu erhalten, und einer mit der höchsten Korrelation als ein entsprechender Punkt ermittelt wird, wodurch eine fehlerhafte Korrespondenz verringert wird, wenn zwei oder mehr Muster ähnlich dem Ausschnitt vorhanden sind (siehe beispielsweise JP 2001-141424 , 1).
Ein anderes Verfahren der Einführ-Korrespondenzpunkt-Suche (phase-in corresponding-point search) ist dazu vorgesehen, die Verarbeitungszeit zu verringern, wodurch eine Korrespondenzsuchenfläche mit einem Bild geringer Auflösung verengt wird und dann eine akkurate Korrespondenzsuche mit einem Bild hoher Auflösung ausgeführt wird (vergleiche beispielsweise JP 7-103734 A , 1).
Das in der JP 2001-351200 beschriebene Verfahren besitzt das Problem der niedrigen Dichteverteilung gemessener Daten.
Das in der JP 2001-116513 beschriebe Verfahren besitzt die Möglichkeit einer teilweise zunehmenden fehlerhaften Messung, obwohl es eine scheinbar sehr zuverlässige detaillierte Messung bietet, weil die Parallaxe zwangsweise auf der Basis der Kontinuität der peripheren Parallaxe korrigiert wird. Wenn es zwei oder mehr Korrespondenzpunktkandidaten mit sehr ähnlicher Korrelation gibt, wie bei einer Wiederholung von Mustern, dann ist die Korrelation mit einem Block an einer Position, die sich von der tatsächlich korrespondierenden Position unterscheidet, manchmal stärker als die der tatsächlichen korrespondierenden Position, während bei dem bekannten Verfahren die tatsächliche Zuverlässigkeit nachteilig gering ist.
Bei dem in der JP 2001-141424 beschriebenen Verfahren, bei dem eine Blockgröße unabhängig von dem Ergebnis der Übereinstimmungsprüfung weiter vergrößert wird, um die Übereinstimmungsprüfung zu wiederholen und die Zuverlässigkeit der Korrespondenzsuche zu verbessern, nehmen die Verarbeitungskosten der Wiederholung des Vergleichs von Blöcken infolge einer Zunahme der Blockgröße zu, so daß die Verarbeitungszeit zum Erhalt eines Ergebnisses nachteilig vergrößert wird.
Gemäß dem in der JP 7-103734 beschriebenen Verfahren, bei dem die Korrespondenzpunktsuche in Stufen unter Verwendung eines hierarchischen Bildes erfolgt kann, wenn das Korrespondenzdetektorergebnis mit einem Bild geringer Auflösung fehlerhaft ist, die Genauigkeit nicht erhöht werden, selbst wenn die Suche mit einem Bild hoher Auflösung ausgeführt wird. Anders ausgedrückt, die Genauigkeit hängt von dem Korrespondenzdetektorergebnis mit einem Bild niedriger Auflösung ab (Suchbereich in einem Bild hoher Auflösung). Da jedoch Detailinformation bei dem Bild geringer Auflösung verloren geht, ist: es schwierig die Zuverlässigkeit der Übereinstimmungsprüfung zu erhöhen.

Die vorliegende Erfindung erfolgte unter Berücksichtigung der oben geschilderten Situation. Aufgabe der Erfindung ist es, eine sehr zuverlässige Stereokorrespondenzsuche mit kurzer Verarbeitungszeit zu schaffen.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gemäß Anspruch 1, einer Vorrichtung gemäß Anspruch 5 und ein Programm gemäß Anspruch 6 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Das Verfahren nach Anspruch 1 eröffnet die Möglichkeit, nicht zutreffende Übereinstimmungen genauer zu erfassen, und bietet eine detailliertere Messung.

Die Weiterbildung gemäß Anspruch 2 erlaubt es, bei hoher Zuverlässigkeit, die Verarbeitungszeit zu verringern.

Die Weiterbildung des Anspruchs 3 erlaubt eine Verringerung der Abnahme der Meßgenauigkeit infolge einer fehlenden Übereinstimung. Zugleich ermöglicht dies, die Zeit zum Erhalt der notwendigen Ergebnisse zu verringern und damit bei hoher Zuverlässigkeit die Verarbeitungszeit zu verkürzen und die Zuverlässigkeit sicherzustellen.

Die Weiterbildung des Anspruchs 4 erlaubt eine effiziente Suche und verbessert die Zuverlässigkeit der Übereinstimmungsprüfung.

Die Vorrichtung des Anspruchs 5 und das Verfahren nach Anspruch 6 bieten Vorteile entsprechend denen des Verfahrens von Anspruch 1.

Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:

1 ein Blockdiagramm einer Stereobild-Verarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung,

2 ein Diagramm zu Erläuterung eines Verfahrens zur Korrespondenzsuche,

3 ein Diagramm eines Beispiels einer SAD-Wertverteilung,

4 ein Diagramm zur Erläuterung einer Epipolarbeschränkungsbedingung bei der Stereoübereinstimmungssuche,

5 die Startposition einer Stereokorrespondenzsuche am Schnittpunkt eines optischen Achsensystems,

6 eine Referenztabelle mit Startpositionen der Korrespondenzpunktsuche,

7 ein Beispiel eines Bildes gleichmäßiger Streifen,

8 ein Beispiel einer SAD-Wertverteilung in einem Stereobild mit gleichmäßigen Streifen,

9 ein Flußdiagramm eines Hauptprozesses,

10 ein Flußdiagramm einer Stereokorrespondenzsuche und eines Zuverlässigkeitsberechnungsprozesses,

11 ein Flußdiagramm eines Prozesses zur Zuverlässigkeitsbewertung und Korrespondenzpunktermittlung, und

12 die Positionen und SAD-Werte der vorangehenden und der momentanen Korrespondenzpunkte und Korrespondenzpunktkandidaten.

1 ist ein Blockdiagramm eines Beispiels einer Vorrichtung zur Implementierung eines Stereobild-Verarbeitungsverfahrens gemäß der vorliegenden Erfindung. Die Anordnung einer Stereobild-Verarbeitungsvorrichtung gemäß einer Ausführungsform der Erfindung wird nachfolgend unter Bezugnahme auf die 1 beschrieben.

In 1 bezeichnen die Bezugszahlen 101 und 102 Stereokameras zum gleichzeitigen Aufnehmen eines Objekts von verschiedenen Ansichtspunkten. Die Kamera 101 nimmt ein Basisbild für eine Stereokorrespondenzsuche auf. Die Kamera 102 nimmt ein Referenzbild zum Suchen eines Punkts auf, der einem Punkt in dem mit der Kamera 101 aufgenommenen Basisbild entspricht. Die Bezugszahlen 103 und 104 bezeichnen A/D-Umsetzer zur Umsetzung analoger Signale, die von den Kameras 101 und 102 ausgegeben werden, in jeweilige digitale Signale. Es gibt neuere Kameras mit eingebautem A/D-Umsetzer, die bereits digitale Signale ausgeben. Es versteht sich, daß bei Verwendung solcher Kameras die A/D-Umsetzer 103 und 104 entfallen können.

Rahmenspeicher 105 und 106 speichern das Basisbild bzw. das Referenzbild. Ein Rahmenspeicher 107 speichert den Inhalt des Rahmenspeichers 105 (Basisbild) des unmittelbar vorhergehenden Rahmens, das heißt des Bildrahmens, der unmittelbar vor dem momentanen Bildrahmen verarbeitet wurde. Eine Rahmendifferenzbildungseinrichtung 108 bildet die Differenz zwischen dem Inhalt (Graustufenbild) des Rahmenspeichers 105 und dem Inhalt (Graustufenbild) des Rahmenspeichers 107, und gibt ein Rahmendifferenzbild des Basisbilds aus.

Ein Binärumsetzer 109 macht aus dem Rahmendifferenzbild unter Verwendung eines bestimmten Schwellenwerts ein binäres Bild und speichert das binäre Bild in einem Rahmenspeicher 110. Der Inhalt des Rahmenspeichers 110 weist den Wert 1 in dem Bereich oder an Stellen auf, wo sich der Graustufenwert abhängig von den Kamerabedingungen und der Bewegung des Objekts geändert hat, und den Wert 0 in dem Bereich bzw. an den Stellen ohne Änderung einschließlich eines statischen Teils. Eine Stereokorrespondenz-Sucheinrichtung 111 sucht in dem Referenzbild (dem Rahmenspeicher 106) nach dem Punkt, der einem Objektpunkt in dem Basisbild (dem Rahmenspeicher 105) am meisten entspricht.

2 zeigt ein Verfahren der Suche nach solch einem korrespondierenden Punkt. Das Verfahren der Korrespondenzsuche wird nachfolgend unter Bezugnahme auf 2 beschrieben. Wie in 2 gezeigt, wird der Punkt für die Korrespondenzsuche in dem Basisbild als ein Objektpunkt eingestellt, und es wird ein bestimmter Fensterbereich (Basisfenster) mit dem Objektpunkt als Mitte eingestellt. Ein Fenster (Referenzfenster) gleicher Größe wie das Basisfenster wird in dem Referenzbild eingestellt derart, daß der Mittelpunkt des Referenzfensters mit der Suchstartposition in dem Referenzbild übereinstimmt.

Anschließend wird die Differenz zwischen dem Muster des Basisfensters und demjenigen des Referenzfensters bewertet, während das Referenzfenster längs einer Epipolarlinie in dem Referenzfenster abgetastet wird, die dem Objektpunkt entspricht. Bezugnehmend auf 3 wird die Position in dem Fenster im Referenzbild, bei der die Differenz minimal ist, als ein Korrespondenzpunkt festgelegt. Dabei wird die Summe der absoluten Differenz (SAD) der Luminanz jedes Pixels im Fenster als Bewertungsfunktion verwendet. 3 ist ein Beispiel eines Graphs der Verteilung von SAD-Werten längs der Epipolarlinie, wobei die SAD-Werte auf der Ordinate und die x-Koordinate des Referenzbildes (horizontale Koordinate des Bildes) auf der Abszisse aufgetragen sind. Natürlich kann die Bewertungsfunktion ebensogut die Quadratsumme der Luminanzdifferenzen sein.

Die Stereo-Übereinstimmungssuche ist ein Verfahren zum Erhalt dreidimensionaler Positionskoordinaten nach dem Prinzip der Triangulation, bei dem die bekannte relative Anordnung von zwei oder mehr Kameras verwendet wird. Wenn, bezugnehmend auf 4, der Punkt P im Raum im linken Bild von einer Stereokamera (beispielsweise einem mit der Kamera 101 aufgenommenen Bild) als Punkt PL ermittelt wird, besitzt der Punkt PR, der im rechten Bild (zum Beispiel einem mit der Kamera 102 aufgenommenen Referenzbild) dem Punkt PL entspricht, folgende einschränkende Bedingungen:

Wenn CL und CR die optischen Mitten der Kameras (beispielsweise der Kamera 101 bzw. der Kamera 102) sind, muß der Punkt PR (die Projektion des Punktes P auf das rechte Bild), der dem Punkt PL (der Projektion des Punktes P auf das linke Bild) entspricht, im rechten Bild irgendwo auf der Schnittlinie zwischen der Ebene (Epipolarebene), die von den drei Punkten (CL-CR-PL) gebildet wird, und der Ebene des rechten Bildes liegen. Diese Beschränkungsbedingung wird als Epipolarbeschränkung bezeichnet, und die oben erwähnte Schnittlinie wird als Epipolarlinie bezeichnet. Anders ausgedrückt, die Epipolarbeschränkungsbedingung gibt an, daß es ausreicht, die Korrespondenzsuche lediglich auf der Epipolarlinie durchzuführen.

2 zeigt ein Beispiel des einfachsten Aufbaus der Stereo-Übereinstimmungssuche, bei dem zwei Kameras mit gleicher Brennweite so angeordnet sind, daß ihre optischen Achsen zueinander parallel sind und ihre Bildebenen auf derselben Ebene liegen, wobei die gerade Linie (Basislinie), die die optischen Mitten der linken und der rechten Kamera verbindet, parallel zur horizontalen Achse des Bildes verläuft. Solch eine Kameraanordnung wird als System mit parallelen optischen Achsen bezeichnet. Bei diesem System mit parallelen optischen Achsen sind die Koordinaten auf der vertikalen Achse der Projektion des Punkts im Raum auf das linke und das rechte Bild einander gleich. Dementsprechend liegt die Epipolarlinie auf derselben Abtastlinie. Daher reicht es aus, für den Korrespondenzpunkt dieselbe Abtastlinie zu durchsuchen.

Außerdem besteht natürlich keine Notwendigkeit alle Pixel auf der Epipolarlinie bei der Suche nach dem Korrespondenzpunkt zu prüfen. Manchmal reicht es aus einen begrenzten Suchbereich auf der Epipolarlinie abzusuchen.

5 ist eine schematische Draufsicht auf ein optisches System, bei der die optische Achse der linken Kamera und diejenige der rechten Kamera unter einem Winkel α nach innen geneigt sind (System mit sich schneidenden optischen Achsen), wenn man vertikal von oben darauf schaut, und zeigt einen Startpunkt für eine Stereokorrespondenzsuche in dem System mit sich schneidenden optischen Achsen. Die Brennweiten (f) der Kameras sind alle gleich. Der Punkt P im Raum sei im linken Bild als Projektionspunkt PL festgestellt. Unter der Annahme, daß der Punkt P im Unendlichen liegt, ist dann der Projektionspunkt des Punktes P auf das rechte Bild der Punkt PR, das heißt der Schnittpunkt einer ersten Linie mit der Bildebene des rechten Bildes, wobei diese erste Linie eine durch das rechte optische Zentrum CR verlaufende Linie ist, die parallel zu einer zweiten Linie CL-PL verläuft, die das linke optische Zentrum CL mit dem Punkt PL verbindet. Daher kann im Fall von 5 der Punkt P bzw. seine Projektion nicht links vom Punkt PR liegen. Demgemäß reicht es für die Korrespondenzsuche im rechten Bild aus, längs der Epipolarlinie ausgehend von dem Punkt PR als Suchstartpunkt nach rechts zu suchen.

Wenn man in 5 annimmt, daß das linke Bild ein Basisbild ist, dann ist die Suchstartposition im rechten Bild, einem Referenzbild, auf einer Epipolarlinie mit einer Koordinate x₂ (Abszissenkoordinate) durch die folgende Gleichung (1) gegeben:

Darin bedeuten:
x₁: die x-Koordinate eines Suchfensters im Basisbild, wobei der Ursprung der Koordinate im optischen Zentrum liegt,
x₂: die x-Koordinate einer Suchstartposition im Referenzbild, wobei der Ursprung der Koordinate in dem optischen Zentrum liegt und der Wert von x₂ auf den Bereich des Referenzbildrahmens beschränkt ist,
f: Brennweite der Kameras, wobei die Basiskamera und die Referenzkamera dieselbe Brennweite besitzen, und
α: Neigungswinkel der optischen Achsen.

Die Suchstartposition x₂ eines jeweiligen Pixels des Basisbilds gewinnt man somit aus dem Neigungswinkel α der optischen Achsen der Kameras, und das Korrespondenzverhältnis wird als Suchstartpositions-Referenztabelle 115 (siehe 1) gespeichert, die in 6 gezeigt ist, so daß eine effiziente Suche ausgeführt werden kann. Dies verbessert auch die Zuverlässigkeit der Übereinstimmungssuche.

Die beiden Kameras 101 und 102 haben gleiche Brennweiten und parallele optische Achsen und die Linie, die die optischen Zentren verbindet, liegt parallel zur horizontalen Achse der Bildebene. Im Fall eines Systems mit parallelen optischen Achsen, bei dem die Bildebenen auf derselben Ebene liegen, gilt α = 0, so daß aus Gleichung (1) folgt x₂ = x₁. Anders ausgedrückt, die Suchstartposition stimmt mit der Position des Suchfensters im Basisbild überein. Dieser Fall bedarf insbesondere nicht der obigen Berechnung.

Wie oben beschrieben, wird der Korrespondenzpunktsuchbereich gegenüber dem zweidimensionalen Raum geändert auf den begrenzten eindimensionalen Raum auf der Epipolarlinie und wird in dem eindimensionalen Raum weiter begrenzt, so daß eine effiziente Korrespondenzpunktsuche erreicht wird.

Auf diese Weise kann der Korrespondenzpunkt im Referenzbild, der dem Objektpunkt im Basisbild entspricht, unter Verwendung der Stereokorrespondenz-Sucheinrichtung 111 ermittelt werden.

Wie oben beschrieben, wird die Verteilung der SAD-Werte längs der Epipolarlinie im Referenzbild gewonnen, die den Objektpunkten im Basisbild entspricht, und die Position des Fensters im Referenzbild, die den minimalen SAD-Wert besitzt, wird als ein Korrespondenzpunkt ermittelt. Im Vergleich mit der Block-Übereinstimmungssuche zeigt ein gleichförmiges Muster mit wenig Graustufenänderung kein klares Muster bei der SAD-Wertverteilung. Wenn, wie in 7 gezeigt, mehrere ähnliche Muster vorhanden sind, zeigt die SAS-Wertverteilung klare Spitzen, wie in 8 gezeigt. Da jedoch die Spitzen ähnliche Werte besitzen, ist es schwierig zu bestimmen, welche Spitze (Parallaxe) ausgewählt werden sollte. 7 zeigt ein Beispiel eines Bildes regelmäßiger Streifen. 8 ist ein Graph eines Beispiels einer SAD-Wertverteilung bei dem Stereobild mit regelmäßigen Streifen.

Bei dieser Ausführungsform wird die Zuverlässigkeit der Information über Korrespondenzpunkte, die mittels der Stereokorrespondenz-Sucheinrichtung 111 gewonnen wurden, mittels einer Zuverlässigkeitsrecheneinrichtung 112 ermittelt. Dabei wird die Zuverlässigkeit der Parallaxe auf der Basis von zwei Zuverlässigkeiten gewonnen. Die erste Zuverlässigkeit basiert auf der Schärfe der SAD-Wertverteilung. Je höher die Schärfe, desto größer die Zuverlässigkeit.

Die erste Zuverlässigkeit R₁ kann beispielsweise durch Gleichung (2) gegeben sein:

hierin bedeuten:
d(min): Absolutwertdifferenz der minimalen SAD-Werte,
T₁: Schwellenwert,
p(min): der minimale SAD-Wert, und
a: Konstante,
wobei, wenn der Wert von R₁ größer als 1 ist, R₁ auf 1 gesetzt wird.

Die zweite Zuverlässigkeit R₂ basiert auf der Form der Spitzen. Wenn lediglich eine Spitze vorhanden ist (eine Spitze des minimalen SAD-Werts), dann ist die Zuverlässigkeit 1 (100 Prozent), und mit zunehmender Anzahl von Spitzen nahe dem minimalen SAD-Wert nimmt der Wert von R₂ ab. Die zweite Zuverlässigkeit R₂ ist beispielsweise durch nachfolgende Gleichung (3) gegeben.

hierin bedeuten:
p(i): der SAD-Wert bei der i-ten Spitze,
p(min): der minimale SAD-Wert, und
n: natürliche Zahl.

Schließlich kann die Zuverlässigkeit R der Korrespondenz des Objektpunkts durch Gleichung (4) angegeben werden: R = R1 × R2(O ≤ R ≤ 1) (4)

Eine Detektoreinrichtung 113 für einen korrespondenz-undurchsuchten Bereich vergibt einen Wert 1 an einen Bereich (Pixel), bei dem die Stereokorrespondenz-Sucheinrichtung 111 die Korrespondenzsuche abgeschlossen hat, und einen Wert 0 an einen undurchsuchten Bereich (Pixel) und speichert sie in einem Rahmenspeicher (114). Der Inhalt des Rahmenspeichers 114 wird bedarfsweise nach Maßgabe des Ablaufs der Korrespondenzsuche erneuert.

In die Stereokorrespondenz-Sucheinrichtung 111 wird Information über einen Bereich, wo sich ein Graubereichstufenwert geändert hat, vom Rahmenspeicher 110 eingegeben, und außerdem wird Information über den Bereich, wo noch nicht nach Stereokorrespondenz gesucht wurde, von dem Rahmenspeicher 114 eingegeben, so daß eine effiziente Suche durchgeführt werden kann mit Priorität für den Änderungsbereich oder den korrespondenz-undurchsuchten Bereich. Die Zuverlässigkeit der Korrespondenzpunkte wird von der Zuverlässigkeitsrecheneinrichtung 112 eingegeben, und abhängig von der Zuverlässigkeit die Korrespondenzsuche unter Änderung der Größe des Fensters während der Korrespondenzsuche wiederholt.

Unter Bezugnahme auf die Flußdiagramme der 9 bis 12 wird die Arbeitsweise der Ausführungsform im einzelnen beschrieben. 9 zeigt ein Beispiel eines Hauptverarbeitungsschritts der Ausführungsform.

Im Schritt S101 von 9 werden die Inhalte der Rahmenspeicher 105, 106, 107, 110 und 114, die in 1 gezeigt sind, initialisiert.

Im Schritt 102 werden das Basisbild und das Referenzbild von den Kameras 101 bzw. 102 ausgenommen und in den Rahmenspeicher 105 bzw. 106 geschrieben. Im Schritt 103 wird dann die Rahmendifferenz ermittelt zwischen dem unmittelbar vorhergehenden Rahmen des Basisbilds im Speicher 107 und dem momentanen Rahmen des Basisbilds im Speicher 105, und zwar von der Rahmendifferenzbildungseinrichtung 108. Das so gewonnene Differenzbild wird von dem Binärumsetzer 109 in ein binäres Bild umgewandelt (Schritt 104) und das binäre Bild im Rahmenspeicher 110 gespeichert.

Im Schritt 105 wird dann der Inhalt des Rahmenspeichers 105, das heißt das momentane Basisbild, in den Rahmenspeicher 107 übertagen. Das binäre Bild im Rahmenspeicher 110 besitzt den Wert 1 nur im Bereich von Änderungen zwischen dem momentanen und dem unmittelbar vorhergehenden Rahmen und den Wert 0 im unveränderten Bereich, so daß der Änderungsbereich des Bildes extrahiert werden kann.

Im Schritt S106 wird die Anzahl CN von Pixeln, die im Änderungsbereich enthalten sind, das heißt der korrespondenz-undurchsuchte Bereich im Basisbild, von der Stereokorrespondenz-Sucheinrichtung 111 mit Referenz auf den Inhalt des Rahmenspeichers 110 und den Inhalt des Rahmenspeichers 114, die später beschrieben werden, gezählt.

Im Schritt S107 wird der Prozeßmodus der Ausführungsform bestimmt. Wenn es sich um einen Modus mit Rahmenratenpriorität handelt, geht der Ablauf vom Schritt 107 zum Schritt 108. Wenn es sich nicht um diesen Rahmenratenprioritätsmodus handelt (sondern vielmehr um den Modus, bei dem der Abschluß der Korrespondenzsuche höhere Priorität hat), geht der Ablauf vom Schritt 107 zum Schritt 109.

Im Schritt 108 wird festgestellt, ob der Zeitpunkt zur Eingabe des nächsten Bildrahmens gekommen ist. Wenn dies der Fall ist, kehrt der Ablauf zum Schritt S102 zurück, bei dem das Basisbild und das Referenzbild aufgenommen werden. Anderenfalls geht der Ablauf zum Schritt S109.

Im Schritt S109 wird dann ermittelt, ob die Stereokorrespondenzsuche des momentanen Rahmens abgeschlossen ist. Falls ja, kehrt der Ablauf zum Schritt S108 zurück, um auf den Zeitpunkt für die Eingabe des nächsten Rahmens zu warten, während anderenfalls der Ablauf zum Schritt S110 weitergeht.

Im Schritt S110 wird im Basisbild ein Objektpunkt P für die Suche nach einem Korrespondenzpunkt gesetzt. Wenn es sich um die Ausführung dieses Schrittes unmittelbar nach Aktivierung der Vorrichtung handelt, wird die Position des Punkts P beispielsweise an der linken oberen Ecke des Basisbildes gesetzt und dieses durch die im folgenden wiederholten Suchen rasterweise abgetastet.

Der Ablauf bewegt sich dann zum Schritt S112, bei dem durch die Stereokorrespondenz-Sucheinrichtung 111 ein Korrespondenzpunkt im Referenzbild gesucht wird, der dem Objektpunkt P im Basisbild entspricht.

Im Schritt S112 wird zugleich die Zuverlässigkeit der Korrespondenz durch die Zuverlässigkeitsrecheneinrichtung 112 berechnet und der Wert ausgegeben. Für einen Bereich mit geringer Zuverlässigkeit wird die Korrespondenzsuche wiederholt, wobei die Größe des Suchfensters geändert wird. Die Einzelheiten des Schrittes S112 werden später beschrieben.

Der Ablauf bewegt sich dann zum Schritt S113, bei dem, wenn ein Prozeßendebefehl gegeben wird der Prozeß abgeschlossen wird, während, wenn ein Prozeßfortsetzbefehl gegeben wird, der Prozeß zum Schritt S107 zurückkehrt und die Schritte S107 bis S113 wiederholt werden.

Diese Stereokorrespondenzsuche und die Zuverlässigkeitsberechnung des Schritts S112 werden unter Bezugnahme auf das Flußdiagramm von 10 im einzelnen beschrieben. Nach Beginn des Schritts S112 wird zunächst im Schritt S201 von 10 geprüft, ob der Objektpunkt P in dem Basisbild im Änderungsbereich liegt oder dem Bereich, wo noch nicht nach einem Korrespondenzpunkt gesucht wurde.

In diesem Schritt kann ermittelt werden, ob es sich um den Änderungsbereich handelt, indem der Wert des Rahmenspeichers 110 (siehe 1) in dem Bereich geprüft wird. Der Rahmenspeicher 114 (1) hat eine Anordnung ähnlich derjenigen des Rahmenspeichers 110, in welchem beispielsweise der Wert 1 für einen Bereich (Pixel) gesetzt ist, wo noch nicht nach dem Korrespondenzpunkt gesucht wurde, und der Wert 0 für einen gesuchten Bereich.

Daher kann ermittelt werden, ob nach dem Korrespondenzpunkt gesucht wurde, indem der Wert des Rahmenspeichers 114 geprüft wird. Wenn im Schritt S201 festgestellt wurde, daß der Objektpunkt P im Änderungsbereich oder dem korrespondenz-undurchsuchten Bereich liegt, geht der Ablauf weiter zum Schritt S202, wo die Größe BLCK(p) für das Korrespondenzsuchfenster für den Objektpunkt P auf einen speziellen Wert gesetzt wird.

Der Ablauf geht weiter zum Schritt S203, in welchem die Stereokorrespondenzsuche für den Objektpunkt P ausgeführt wird. Da das Verfahren für die Stereokorrespondenzsuche bereits beschrieben wurde, erübrigt sich eine weitere Beschreibung hier.

Der Ablauf geht weiter zum Schritt S204, in welchem der Wert im Rahmenspeicher 114 für den Objektpunkt P erneuert wird (auf den Wert 0 gesetzt wird), da P nun bereits der Stereokorrespondenzsuche unterzogen wurde. Der Ablauf geht weiter zum Schritt S205, wo die Anzahl CN der im Änderungsbereich enthaltenen Pixel, das heißt des korrespondenz-undurchsuchten Bereichs, dekrementiert wird.

Der Ablauf geht zum Schritt S206, bei dem die Zuverlässigkeit R(p) für den Korrespondenzpunkt im Referenzbild relativ zum Objektpunkt P, das heißt die Zuverlässigkeit R(p) der Parallaxe, berechnet wird. Da ein spezielles Beispiel der Berechnung der Zuverlässigkeit R beschrieben wurde, braucht hier nicht weiter auf die Berechnung eingegangen zu werden. Der Ablauf geht zum Schritt S207, wo R(p) für Rprev(p) zur Speicherung der Zuverlässigkeit des Ergebnisses der vorhergehenden Korrespondenzsuche für den Objektpunkt P gesetzt wird. Die Stereokorrespondenzsuche und Zuverlässigkeitsberechung (Schritt S112) sind damit beendet.

Wenn andererseits im Schritt S201 die Antwort negativ ist, das heißt festgestellt wird, daß der Objektpunkt P nicht zum Änderungsbereich sondern zum korrespondenz durchsuchten Bereich gehört, geht der Ablauf vom Schritt S201 zum Schnitt S208. Im Schritt S208 wird, wenn der Wert CN von Pixeln im Änderungsbereich, das heißt im korrespondenz-undurchsuchten Bereich, größer als 0 ist, die Stereokorrespondenzsuche und Zuverlässigkeitsberechnung (Schritt S112) für den Objektpunkt P beendet.

Andererseits geht, wenn der Wert CN gleich 0 ist, das heißt kein zu durchsuchender Bereich vorhanden ist, der Ablauf zum Schritt S209. Im Schritt S209 wird der Wert der Zuverlässigkeit R(p) des Korrespondenzpunkts zum Objektpunkt P ermittelt. Wenn die Zuverlässigkeit gering ist, geht der Ablauf zum Schritt S210, während anderenfalls die Stereokorrespondenzsuche und Zuverlässigkeitsberechnung (Schritt S112) beendet werden.

Im Schritt S210 wird der Wert der Größe BLCK(p) des Korrespondenzsuchfensters für den Objektpunkt P weiter vergrößert, und die Korrespondenzsuche erneut ausgeführt (Schritt S211). BLCK wird für jeden Pixel im Basisbild von der Stereokorrespondenz-Sucheinrichtung 111 von 1 gehalten. Alle Werte BLCK entsprechend Pixeln werden unmittelbar nach Anschalten auf einen bestimmten Wert zurückgesetzt. Der Ablauf geht dann zum Schritt S212. Im Schritt S212 wird die Zuverlässigkeit Rtmp des Korrespondenzpunkts zum Objektpunkt P nach Wiederholung der Korrespondenzpunktsuche berechnet.

Der Ablauf geht zum Schritt S213, wo die Zuverlässigkeit Rtmp, die im Schritt 212 gewonnen wurde, bewertet wird. So wird die Zuverlässigkeit R(p) für den Objektpunkt P ermittelt. Dann werden die Stereokorrespondenzsuche und Zuverlässigkeitsberechung abgeschlossen (Schritt S112). Auf diese Weise werden der Änderungsbereich und der korrespondenz-undurchsuchte Bereich zunächst bevorzugt bearbeitet, und der durchsuchte Bereich mit geringer Zuverlässigkeit wird dann erneut durchsucht.

Unter Bezugnahme auf das Flußdiagramm von 11 soll das Verfahren zur Bewertung der Zuverlässigkeit im Schritt S213 von 10 im einzelnen beschrieben werden. Beim Start des Schritts S213 erfolgt im Schritt S301 des Flußdiagramms von 11 ein Vergleich zwischen der Zuverlässigkeit Rprev(p) des Ergebnisses der vorhergehenden Korrespondenzsuche mit der Zuverlässigkeit Rtmp des Ergebnisses der momentanen Korrespondenzsuche für den Objektpunkt P. Rprev wird entsprechend den einzelnen Pixeln des Basisbildes von der Zuverlässigkeitsrecheneinrichtung 112 in 1 gehalten.

Unmittelbar nach dem Anschalten werden alle Werte von Rprev entsprechend den Pixeln auf 0 gesetzt. Wenn die momentane Zuverlässigkeit Rtmp höher ist als die vorhergehende Zuverlässigkeit Rprev(p), geht der Ablauf vom Schritt S301 zum Schritt S302. Wenn dagegen Rtmp kleiner oder gleich Rprev(p) ist, wird der Prozeß beendet.

Im Schritt S302 erfolgt ein Vergleich zwischen der Position des dem Objektpunkt P entsprechenden Punkts pp, der durch die vorhergehenden Korrespondenzsuchen gewonnen wurde, und die Position eines Korrespondenzpunktkandidaten pn, der das Ergebnis der momentanen Korrespondenzsuche darstellt. Wenn beide voneinander verschieden sind, geht der Ablauf weiter zum Schritt S303. Wenn dagegen beide gleich sind, geht der Ablauf zum Schritt S305.

Wenn im Schritt S303 gemäß Darstellung in 12 der SAD-Wert SADp(pn) der vorangegangenen Korrespondenzsuche an der Position des Korrespondenzpunktkandidaten pn ausreichend größer ist als der vorhergehende SAD-Wert SADp(pp) an der Position des Korrespondenzpunkts pp und auch die Differenz zwischen dem momentanen SAD-Wert SADn(pp) des Korrespondenzpunkts pp und des momentanen SAD-Werts SADn(pn) des Korrespondenzpunktkandidaten pn klein ist, wird der Zuverlässigkeitsbewertungsprozeß beendet, da die Position pp des Korrespondenzpunkts unverändert ist. Anderenfalls geht der Ablauf zum Schritt S304, wo die Position des Korrespondenzpunkts von pp auf pn erneuert wird und der Ablauf dann zum Schritt S305 geht.

Im Schritt S305 wird Rtmp in die Korrespondenzzuverlässigkeit R(p) für den Objektpunkt P eingesetzt, so daß die Zuverlässigkeit ermittelt wird. Außerdem wird der Wert der vorhergehenden Zuverlässigkeit Rprev(p) durch die momentane Zuverlässigkeit Rtmp erneuert. Der Zuverlässigkeitsbewertungsprozeß ist damit beendet.

Wie zuvor beschrieben wird gemäß der Ausführungsform die Zuverlässigkeit des Korrespondenzpunkts, oder die Parallaxe, durch die erste Zuverlässigkeit auf der Basis der Schärfe der Spitze der Bewertungswertverteilung der Differenz zwischen den Mustern des Basisfensters und des Referenzfensters und durch die zweite Zuverlässigkeit auf der Basis der Form der Spitzen berechnet. Daher kann ein möglicherweise fehlerhaftes Übereinstimmungssuchergebnis genauer erkannt werden. Da ferner abhängig von der Zuverlässigkeit wiederholte Suchen mit geänderter Suchbedingung (Fenstergröße) durchgeführt werden, kann eine Abnahme der Meßgenauigkeit fehlerhafter Ergebnisse der Übereinstimmungssuche reduziert werden, und man erhält eine detailliertere Messung.

Da die Zuverlässigkeit des Korrespondenzpunkts (Parallaxe) zusammen mit der Information über den Korrespondenzpunkt (Parallaxe) ausgegeben wird, kann der Prozeß auch bei einer höhenwertigen Vorrichtung wie einem Bilderkennungsprozessor unter Verwendung der Ausgabe dieser Ausführungsform in Prioritätsreihenfolge eingegeben werden, was eine effiziente Verarbeitung als ein System erlaubt. Da der Änderungsbereich und der korrespondenz-undurchsuchte Bereich im Bild zuerst mit Priorität verarbeitet werden und dann der durchsuchte Bereich mit geringer Zuverlässigkeit erneut durchsucht wird, kann die Zeit zum Erhalt eines notwendigen Ergebnisses verringert werden, wodurch die Verarbeitungszeit bei Sicherstellung der Zuverlässigkeit reduziert werden kann.

Die Suchstartposition entsprechend einem jeweiligen Pixel des Basisbildes wird im voraus aus dem Neigungswinkel der optischen Achsen der Kameras ermittelt, und das Korrespondenzverhältnis wird als Suchstartpositionsreferenztabelle gespeichert, so daß eine effiziente Suche ausgeführt werden kann. Ferner kann die Zuverlässigkeit der Übereinstimmungssuche verbessert werden.

Die Anordnung und Arbeitsweise der beschriebenen Ausführungsform stellt ein bevorzugtes Ausführungsbeispiel der Erfindung dar, das in vielfältiger Weise modifiziert werden kann, ohne den Rahmen der Endung zu verlassen.

Claims

Verfahren zur Verarbeitung eines Stereobildes zur Messung der Parallaxe durch Ausführen einer Stereokorrespondenzsuche zwischen einem mit einer ersten Bildaufnahmevorrichtung (101) aufgenommenen Basisbild und einem mit einer zweiten Bildaufnahmevorrichtung (102) aufgenommenen Referenzbild, umfassend die Schritte: Einstellen eines speziellen Bereichs eines Basisfensters bezogen auf einen Objektpunkt zum Erhalt eines Korrespondenzpunkts in dem Basisbild; Einstellen eines Referenzfensters mit derselben Größe wie das Basisfenster in dem Referenzbild; Bewertung der Differenz zwischen den Mustern des Basisfensters und des Referenzfensters unter Abtasten des Referenzfensters längs einer Epipolarlinie in dem Referenzbild, die dem Objektpunkt entspricht; Ermitteln der Position des Referenzfensters mit der minimalen Differenz als einen Stereokorrespondenzpunkt; Messen der Parallaxe durch die Differenz zwischen der Position des Basisfensters und der Position des Referenzfensters, wenn der Stereokorrespondenzpunkt ermittelt ist; Berechnen der Zuverlässigkeit der Parallaxe durch eine erste Zuverlässigkeit auf der Basis der Schärfe der Spitze einer Bewertungswertverteilung der Differenz von Mustern zwischen dem Basisfenster und dem Referenzfenster, die durch Abtasten des Referenzfensters gewonnen wurde, und einer zweiten Zuverlässigkeit auf der Basis der Form der Spitzen; und Ausgabe des Werts der Zuverlässigkeit der Parallaxe zusammen mit dem Wert der Parallaxe.
Verfahren nach Anspruch 1, ferner umfassend die Schritte: Berechnen einer Rahmendifferenz zwischen dem unmittelbar zuvor verarbeiteten Rahmen und dem momentanen Rahmen im Basisbild; Durchführen einer Stereokorrespondenzsuche lediglich für einen Änderungsbereich, der als zwischen den Rahmen geändert ermittelt wird, und einen undurchsuchten Bereich; und Ausgabe eines Stereokorrespondenzsuchergebnisses bis unmittelbar vor einem ungeänderten und durchsuchten Bereich.
Verfahren nach Anspruch 1 oder 2, ferner umfassend die Schritte: Vergrößern der Größen des Basisfensters und des Referenzfensters während der Stereokorrespondenzsuche für einen Bereich mit einer Zuverlässigkeit der Parallaxe unterhalb eines bestimmten Werts von dem unveränderten und durchsuchten Bereich; Wiederholen der Stereokorrespondenzsuche kontinuierlich folgend der Stereokorrespondenzsuche des Änderungsbereichs und des undurchsuchten Bereichs; und Erneuern der Information über die Parallaxe des Bereichs und seiner Zuverlässigkeit, wenn die Zuverlässigkeit verbessert ist.
Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend die Schritte: Berechnen der Koordinaten der Suchstartposition in dem Referenzbild, die einem jeweiligen Pixel in dem Basisbild entspricht, im voraus auf der Basis des Neigungswinkels der optischen Achsen der ersten Bildaufnahmevorrichtung (101) und der zweiten Bildaufnahmevorrichtung (102); Halten des Korrespondenzverhältnisses zwischen den Positionskoordinaten des jeweiligen Pixels im Basisbild und der Koordinaten der Suchstartposition im Referenzbild, die diesen Pixel in dem Basisbild entspricht, in Form einer Tabelle; und Durchführen einer Stereokorrespondenzsuche ausgehend von einer Suchstartposition im Referenzbild, die durch Bezugnahme auf die Tabelle gewonnen wird.
Stereobildverarbeitungsvorrichtung zur Messung der Parallaxe durch Durchführen einer Stereokorrespondenzsuche zwischen einem mit einer ersten Bildaufnahmevorrichtung (101) aufgenommenen Basisbild und einem mit einer zweiten Bildaufnahmevorrichtung (102) aufgenommenen Referenzbild, umfassend: eine erste Einstelleinrichtung zum Einstellen eines speziellen Bereichs eines Basisfensters bezogen auf einen Objektpunkt zum Erhalt eines Korrespondenzpunkts in dem Basisbild; eine zweite Einstelleinrichtung zur Einstellung eines Referenzfensters mit derselben Größe wie das Basisfenster in dem Referenzbild; eine Bewertungseinrichtung zur Bewertung der Differenz zwischen den Mustern des Basisfensters und des Referenzfensters durch Abtasten des Referenzfensters längs einer Epipolarlinie in dem Referenzbild, die dem Objektpunkt entspricht; eine Ermittlungseinrichtung zur Ermittlung der Position des Referenzfensters, das die minimale Differenz besitzt, als eines Stereokorrespondenzpunkts; eine Meßeinrichtung zur Messung der Parallaxe durch die Differenz zwischen der Position des Basisfensters und der Position des Referenzfensters, wenn der Stereokorrespondenzpunkt bestimmt ist; eine Recheneinrichtung zur Berechnung der Zuverlässigkeit der Parallaxe durch eine erste Zuverlässigkeit auf der Basis der Schärfe der Spitze einer Bewertungswertverteilung der Differenz der Muster zwischen dem Basisfenster und dem Referenzfenster, die durch Abtasten des Referenzfensters gewonnen wird, und der zweiten Zuverlässigkeit auf der Basis der Form der Spitzen; und eine Ausgabeeinrichtung zur Ausgabe des Werts der Zuverlässigkeit der Parallaxe zusammen mit dem Wert der Parallaxe.
Programm zur Verarbeitung eines Stereobildes zur Steuerung einer Stereobildverarbeitungsvorrichtung zur Messung der Parallaxe mittels Durchführen einer Stereokorrespondenzsuche zwischen einem mit einer ersten Bildaufnahmevorrichtung (101) aufgenommenen Basisbild und einem mit einer zweiten Bildaufnahmeeinrichtung (102) aufgenommenen Referenzbild, welches die Stereobildverarbeitungsvorrichtung in die Lage versetzt, die folgenden Schritte auszuführen: Einstellen eines speziellen Bereichs eines Basisfensters bezogen auf einen Objektpunkt zum Erhalt eines Korrespondenzpunkts in dem Basisbild; Einstellen eines Referenzfensters mit derselben Größe wie das Basisfenster in dem Referenzbild; Bewertung der Differenz zwischen den Mustern des Basisfensters und des Referenzfen sters unter Abtasten des Referenzfensters längs einer Epipolarlinie in dem Referenzbild, die dem Objektpunkt entspricht; Ermitteln der Position des Referenzfensters mit der minimalen Differenz als einen Stereokorrespondenzpunkt; Messen der Parallaxe durch die Differenz zwischen der Position des Basisfensters und der Position des Referenzfensters, wenn der Stereokorrespondenzpunkt ermittelt ist; Berechnen der Zuverlässigkeit der Parallaxe durch eine erste Zuverlässigkeit auf der Basis der Schärfe der Spitze einer Bewertungswertverteilung der Differenz von Mustern zwischen dem Basisfenster und dem Referenzfenster, die durch Abtasten des Referenzfensters gewonnen wurde, und einer zweiten Zuverlässigkeit auf der Basis der Form der Spitzen; und Ausgabe des Werts der Zuverlässigkeit der Parallaxe zusammen mit dem Wert der Parallaxe.