DE4444697A1 - Verfahren und Vorrichtung zur Stereobildauswertung - Google Patents

Description

Technisches Gebiet

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Stereobildauswertung bei welchem aus zwei elektronisch gespeicherten Stereobildern mit in Zeilen und Spalten angeordneten, durch Zeilen- und Spaltenzahlen charakterisierten Bildpunkten zu den einzelnen Bildpunkten die zugehörigen Entfernungen bestimmt werden.

Es werden mittels opto-elektronischer Aufnahmemittel zwei Stereobilder einer Szene erzeugt, also zwei Bilder der Szene, die von seitlich gegeneinander versetzten Punkten aus aufgenommen werden. Visuell kann man aus zwei solchen Bildern ein plastisch wirkendes Bild gewinnen. Es gilt aber hier, aus diesen beiden Stereobildern durch Bildverarbeitung Informationen über den Abstand der den verschiedenen Bildpunkten entsprechenden Objektpunkte zu erhalten. Dieser Abstand kann trigonometrisch aus der Verschiebung berechnet werden, die ein bestimmter Bildpunkt in dem einen Stereobild gegenüber dem entsprechende, d. h. den gleichen Objektpunkt darstellenden, Bildpunkt in dem anderen Stereobild erfährt. Das Hauptproblem besteht aber darin, solche einander zugeordnete Bildpunkte zu erkennen. Das ist das sog. "Korrespondenz-Problem".

Zugrundeliegender Stand der Technik

Es ist bekannt, diese Aufgabe manuell zu lösen. Von einem zu vermessenden räumlichen Objekt werden Aufnahmen von verschiedenen, bekannten Punkten aus gemacht und auf dem Bildschirm eines Rechners dargestellt. Dann werden einander entsprechende, markante Punkte mittels eines Cursors und einer "Maus" auf dem Bildschirm markiert. Ein Programm berechnet daraus die relative räumliche Lage der markierten Punkte (COMPUTER GRAPHICS WORLD, 1994, 58-59).

Dieses Verfahren arbeitet nicht in Echtzeit. Es muß vielmehr ausreichend Zeit vorhanden sein, um nachträglich die manuelle Bearbeitung vorzunehmen. Das Verfahren arbeitet auch nicht automatisch sondern bedarf eines Eingriffs durch den Menschen.

Es ist weiter bekannt, zur Lösung des Korrespondenz-Problems jedes der beiden Stereobilder einzeln durch einen Rechner zu analysieren und eine abstrakte oder vereinfacht-geometrische Beschreibung aller darin vorkommenden Objekte oder Teilobjekte aufzustellen. Anschließend kann dann eine Zuordnung einander entsprechender Bildpunkte des Paares von Stereobildern für diejenigen Objektpunkte vorgenommen werden, für welche die Bildanalyse zu einer eindeutigen und in beiden Bildern qualitativ übereinstimmenden Beschreibung geführt hat (S.B.Marapane und M.M.: "Multi-primitive hierarchical stereo analysis" in "IEEE Transactions on Pattern Analysis and Machine Intelligence" 16 (1994), 227-240). Dieses Verfahren ist sehr aufwendig.

Nach einem anderen Verfahren wird eine mathematische Optimierungsaufgabe gelöst: Das eine der beiden Stereobilder wird in der Weise lokal verzerrt, daß beide Bilder anschließend Punkt für Punkt bestmöglich übereinstimmen. Mathematisch formuliert bedeutet das, daß unter der Randbedingung größtmöglicher Stetigkeit beim Verzerrungsprozeß die Summe der Differenzen der Bildpunkt-Helligkeiten oder der Bildpunkt-Farbwerte summiert über alle Bildpunkte ein Minimum bildet. Die resultierende Verzerrung ist dann identisch mit dem gesuchten Feld der Verschiebungsvektoren (Buhmann, Divko, Ritter, Schulten "Physik und Gehirn", DE-Z "mc" (1987), 108-120).

Auch dieses Verfahren ist sehr aufwendig und langwierig. Es ist nicht geeignet für Echtzeitbetrieb unter industriellen Bedingungen und auf kostenmäßig vertretbaren Rechnern.

Um das Korrespondenz-Problem weniger aufwendig zu lösen, ist es weiterhin bekannt, eine einzige reale Kamera gleichförmig von einer ersten Position in eine zweite Position zu bewegen, die um die Stereobasis gegenüber der ersten Position seitlich versetzt ist (DE-PS 34 12 533). Auch während dieser Bewegung wird eine Folge von Bildern aufgenommen. Die beiden zu verarbeitenden Stereobilder sind das erste und das letzte Bild dieser Folge. Die stetige Bewegung der Kamera ermöglicht es dann, Bilddetails, z. B. ein Mikromuster von 3 × 3 Bildpunkten, während des gesamten Ablaufs der Bewegung in dicht aufeinanderfolgenden Bildern zu verfolgen. Die während dieser differentiellen Verfolgung entstehenden "Spuren" der Mikromuster verbinden dann alle korrespondierenden, d. h. dem gleichen Objektpunkt zugeordneten Bildpunkte. Was die Mikromuster selbst dabei darstellen, ist unerheblich. Die Mikromuster müssen nur einen das Rauschen übersteigenden Kontrast aufweisen.

Ein "Design of a single-lens stereo camera system" ist beschrieben in GB-Z "Pattern Recognition" Bd.26 (1993), 923-937.

Die EP-OS 0 499 890 beschreibt einen Parallelrechner hoher Leistung und eine Datenschnittstelle zur Ein- und Ausgabe von Daten in einen solchen Parallelrechner.

Offenbarung der Erfindung

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Stereobildauswertung zu schaffen, bei welchem mit tragbarem Rechneraufwand eine automatische Stereobildauswertung in Echtzeit ermöglicht wird.

Erfindungsgemäß wird diese Aufgabe mit einem Verfahren gelöst, das die folgenden Verfahrensschritte aufweist:

• (a) Erzeugung eines ersten und eines zweiten Stereobildes derart, daß einander entsprechende Bildpunkte in den beiden Stereobildern in gleichen Zeilen liegen,
• (b) wobei jedem Bildpunkt ein diesen umgebendes Mikromuster zugeordnet ist,
• (c) Veränderung der Spaltenzahlen der Bildpunkte, zu denen die zu korrelierenden Mikromuster gehören, bei dem zweiten Stereobild von einer Ausgangsposition schrittweise relativ zu denen des ersten Stereobildes,
• (d) Erzeugung von Korrelationen der Mikromuster jeder Zeile des zweiten Stereobildes mit den Mikromustern jeder Zeile des ersten Stereobildes nach jedem solchen Schritt,
• (e) Bestimmung der Extremwerte der so für jeden Schritt erhaltenen Korrelationen und
• (f) Bestimmung der Längen der Verschiebevektoren aus den Schrittzahlen von der Ausgangsposition bis zum Erreichen des Extremwertes der Korrelation eines Mikromusters und Zuordnung dieser Längen zu den dem Mikromuster zugeordneten Bildpunkten des ersten Stereobildes und
• (g) Bestimmung der Entfernungen der den Bildpunkten zugeordneten Objektpunkte aus den so zugeordneten Längen der Verschiebevektoren.

Dementsprechend ist eine erfindungsgemäße Vorrichtung zur Durchführung des Verfahrens gekennzeichnet durch:

• (a) elektro-optische Kameramittel mit Zeilenrasterung zur Erzeugung eines ersten und eines zweiten Stereobildes einer Szene aus gegeneinander in Richtung der Zeilen parallel verschobenen Abbildungs-Strahlengängen,
• (b) einen Bildspeicher zur Speicherung des ersten und zweiten Stereobildes, wobei jedem Bildpunkt eine Zeilenzahl und eine Spaltenzahl und außerdem jeweils ein von benachbarten Bildpunkten gebildetes Mikromuster zugeordnet ist,
• (c) Mittel zur schrittweisen Veränderung der Spaltenzahlen des ersten Stereobildes relativ zu den Spaltenzahlen des zweiten Stereobildes ausgehend von einer Ausgangsposition,
• (d) Korrelationsmittel zur Korrelation der Mikromuster des ersten Stereobildes mit Mikromustern des zweiten Stereobildes, die Bildpunkten mit jeweils gleichen Spaltenzahlen zugeordnet sind, zur Bestimmung von Korrelationswerten,
• (e) Mittel zur Bestimmung von Extremwerten der Korrelationswerte,
• (f) Speichermittel durch welche für jeden Bildpunkt und das diesem zugeordnete Mikromuster die aus der Schrittzahl zwischen Ausgangsposition und Position des Extremwertes an einer zugeordneten Speicherstelle bestimmte Länge des Verschiebevektors speicherbar ist, und
• (g) Rechnermittel zur Bestimmung der Entfernungen der den Bildpunkten zugeordneten Objektpunkte aus den so zugeordneten Längen der Verschiebevektoren.

Bei dem erfindungsgemäßen Verfahren werden die Stereobilder in der Weise erzeugt, daß einander entsprechende, den gleichen Objektpunkt darstellenden Bildpunkte in jedem Stereobild in der gleichen Zeile liegen. Das vereinfacht die Signalverarbeitung, da die Stereobilder Zeile für Zeile miteinander verglichen werden können. Das jedem Bildpunkt zugeordnete Mikromuster ist dementsprechend linear, d. h. liegt ebenfalls nur in einer Zeile. Es werden nun die Zeilen des zweiten Stereobildes gegenüber den Zeilen des ersten Stereobildes schrittweise, Pixel für Pixel, "verschoben". In jeder relativen Position wird die Korrelation zwischen den verschiedenen, nun übereinanderliegenden Mikromustern, also etwa die Summe der Differenzen der Helligkeitswerte, gebildet. Diese Korrelationswerte werden verfolgt, und es wird für jeden Bildpunkt und das diesem zugeordnete Mikromuster diejenige Schrittzahl bestimmt, bei welcher der Korrelationswert einen Extremwert, in vorstehendem Beispiel ein Minimum, zeigt. Diese Schrittzahl wird zu dem betreffenden Bildpunkt des ersten Stereobildes gespeichert. Aus dieser Schrittzahl kann die dem jeweiligen Bildpunkt zugeordnete Verschiebevektorlänge bestimmt werden. Und diese Verschiebevektorlänge gestattet wiederum die Berechnung der Entfernung des zugehörigen Objektpunktes.

Auf diese Weise wird mit relativ geringem Rechenaufwand die Zuordnung der Bildpunkte und die Bestimmung der Verschiebevektorlänge ermöglicht. Es werden nur zwei Stereobilder betrachtet, und es ist nicht erforderlich, die Kamera zu bewegen und Mikromuster auf diesem Weg zu verfolgen. Es ist keine manuelle Eingabe erforderlich. Die einzelnen Stereobilder brauchen nicht vorher einzeln verarbeitet zu werden, um markante Punkte in beiden Bildern herauszufinden. Die Stereobildauswertung nach der Erfindung kann mit verfügbaren Rechnern in Echtzeit erfolgen.

Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Ein Ausführungsbeispiel der Erfindung wird nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.

Kurze Beschreibung der Zeichnungen

Fig. 1 veranschaulicht die Bestimmung der Entfernung eines Objektpunktes aus der Verschiebevektorlänge.

Fig. 2 ist eine schematisch-perspektivische Darstellung und zeigt den Gesichtsfeldkegel einer Zeile eines kartesisch gerasterten Bildsensors.

Fig. 3 ist eine schematisch-perspektivische Darstellung und zeigt die sich durchdringenden Gesichtsfeldkegel je einer Zeile zweier im Abstand einer Stereobasis nebeneinander angeordneter Bildsensoren.

Fig. 4 zeigt eine Kameraanordnung zur Erzeugung von Stereobildern, aus denen die räumliche Struktur eines Objekts vermessen werden kann.

Fig. 5 ist eine schematisch-perspektivische Darstellung und zeigt ein Paar von Stereobildern mit Zeilenstruktur sowie zwei herausgegriffenen, korrespondierenden Zeilen.

Fig. 6 ist eine schematisch-perspektivische Darstellung eines Stereobildes mit einem Bildstreifen aus drei Zeilen, das gegenüber dem anderen Bild um vier Pixel nach links in Fig. 6 verschoben ist, sowie Mikromuster von 3 × 3 Pixeln, die miteinander zu korrelieren sind.

Fig. 7 veranschaulicht die Bestimmung der Verschiebevektorlänge aus dem Minimum der Korrelationswerte.

Fig. 8 zeigt die Zuordnung von Prozessorelementen eines Parallelrechners, festem ersten Stereobild und "verschobenem" Bildstreifen des zweiten Stereobildes.

Bevorzugte Ausführung der Erfindung

Fig. 1 zeigt die Bestimmung der Entfernung eines Objektpunktes P aus der Verschiebevektorlänge der zugehörigen Bildpunkte B₁ und B₂. Eine Stereokamera weist zwei Linsen 10 und 12 auf. Die Linsen 10 und 12 sind quer zu den optischen Achsen um eine Strecke "A", die Stereobasis gegeneinander versetzt. Die Linsen 10 und 12 erzeugen je ein Bild eines Objekts mit dem Objektpunkt P in Bildebenen 14 bzw. 16. In den Bildebenen 10 und 12 sind elektro-optische Bildsensoren angeordnet.

Mit Z₁ und Z₂ sind die Zentralpunkte der Linsen 10 bzw. 12 bezeichnet. Der Strahl von dem Objektpunkt P durch den Zentralpunkt Z₁ der Linse 10 ist mit 18 bezeichnet. Der Strahl von dem Objektpunkt P durch den Zentralpunkt Z₂ der Linse 12 ist mit 20 bezeichnet. Der Strahl 18 trifft die Bildebene 14 im Punkt B₁. Der Strahl 20 trifft die Bildebene 16 im Punkt B₂. Zieht man durch den Zentralpunkt Z₂ der Linse 12 eine Parallele 22 zu dem Strahl 18, so trifft diese Parallele 22 die Bildebene 16 im Punkt B₁′. In diesem Punkt B₁′ würde der Objektpunkt P abgebildet, wenn die Linse 12 das Objekt aus der gleichen Richtung "sehen" würde wie die Linse 10. Infolge der Stereobasis A und der endlichen Entfernung des Objektpunktes P tritt eine Verschiebung des Bildpunktes von B₁′ nach B₂ auf. Diese Verschiebung ist durch einen Verschiebevektor dargestellt. Die von der Linse 10 und von der Linse 12 erzeugten Bilder sind unterschiedlich. Jeder Bildpunkt in dem Bild der Linse 12 ist gegenüber dem entsprechenden, also zu dem gleichen Objektpunkt P gehörigen, Bildpunkt in dem von der Linse 10 erzeugten Bild um den Verschiebevektor verschoben. Der Verschiebevektor hängt von der Entfernung des jeweiligen Objektpunktes ab. Die von den Linsen 10 und 12 erzeugten Bilder stellen ein Paar von Stereobildern dar.

Aus dem Verschiebevektor, d. h. der Strecke B₁′-B₂, kann der Abstand des Punktes P berechnet werden: Das Dreieck P-Z₁-Z₂ ist ähnlich dem Dreieck Z₂-B₁′-B₂. Bezeichnet man den Abstand Z₁-P mit "r", so gilt

r = f_*A/V,

wenn f der Bildabstand, näherungsweise die Brennweite, und V die Länge des Verschiebevektors ist. Man kann also aus jedem Paar von korrespondierenden Bildpunkten der beiden Stereobilder die Entfernung r des zugehörigen Objektpunktes bestimmen. Voraussetzung ist das Auffinden der jeweils korrespondierenden Bildpunkte und die Bestimmung der Länge des Verschiebevektors.

Fig. 2 zeigt einen in der Bildebene 14 angeordneten kartesisch gerasterten Bildsensor 24. Der Bildsensor 24 besteht aus einer zweidimensionalen Anordnung von Detektorelementen 26. Die Detektorelemente 26 sind in waagerechten Zeilen und vertikalen Spalten angeordnet. Die Position eines bestimmten Detektorelements 26 ist durch einen Zeilenindex und einen Spaltenindex - ähnlich kartesischen Koordinaten - definiert. Die Linse 10 bildet eine Zeile 28 des Bildsensors als flachen "Gesichtsfeldkegel" 30 ab.

Fig. 3 zeigt die Gesichtsfeldkegel 30 und 32 je einer Zeile des Bildsensors 24 und eines in der Bildebene 16 der Linse 12 angeordneten Bildsensors 34. Die Zeile des Bildsensors 24 ist die Zeile 28 von Fig. 2. Die Zeile des Bildsensors 34 ist mit 36 bezeichnet. Die Bildebenen 14 und 16 liegen in einer Ebene. Die beiden Linsen 10 und 12 sind in einer quer zu den optischen Achsen verlaufenden Richtung gegeneinander um die Stereobasis A versetzt. Diese Richtung ist in Fig. 3 horizontal dargestellt. Parallel zu dieser Richtung, also horizontal in Fig. 3 verlaufen auch die Zeilen, z. B. 28 und 36 der Bildsensoren 24 bzw. 34. Die Zeilen 28 und 36 der Bildsensoren 24 und 34 sind dabei paarweise fluchtend angeordnet, d. h. verlaufen paarweise längs einer gemeinsamen Geraden in den Bildebenen 14 und 16. Dementsprechend liegen die Gesichtsfeldkegel 30 und 32 im wesentlichen in einer gemeinsamen Ebene. Die Zeile 28 des Bildsensors 24 erfaßt einen rechteckigen Streifen 38 des Gesichtsfeldes. Die Zeile 36 des Bildsensors 34 erfaßt ebenfalls einen rechteckigen Streifen 40 des Gesichtsfeldes. Die beiden Streifen 38 und 40 überlappen sich in einem Bereich 42. Dieser Bereich 42 wird von beiden Linsen 10, 12 und Zeilen 28 bzw. 36 "gesehen". In diesem Bereich kann ein Objekt stereoskopisch erfaßt werden.

Die Anordnung mit der Linse 12 und dem Bildsensor 34 geht aus der Anordnung von Fig. 2 mit der Linse 10 und dem Bildsensor 24 dadurch hervor, daß beide Teile in Richtung der Zeilen des Bildsensors 24 parallel verschoben werden. Die Zeilen 28 und 36 haben den gleichen Zeilenindex.

Fig. 4 zeigt eine opto-elektronische Kamera, bei welcher die Funktionen der beiden Linsen 10 und 12, die in Fig. 5 gestrichelt angedeutet sind, durch eine einzige Linse 44 in Verbindung mit Umlenkmitteln 46 in Form einer Spiegelanordnung und eines teildurchlässigen Spiegels erfüllt werden.

Die Linse 44 hat eine Bildebene 48. In dieser Bildebene 48 sitzt ein einziger Bildsensor 50 ähnlich Bildsensor 24 von Fig. 2. Vor der Linse 44 (oder einem Objektiv) sitzt ein teildurchlässiger Spiegel 52. Der teildurchlässige Spiegel ist hier von der Trennfläche eines Prismas 54 gebildet. Der teildurchlässige Spiegel 52 teilt den Strahlengang 56 der Linse 44 in zwei Teilstrahlengänge 58 und 60.

Der Teilstrahlengang 58 wird durch den teildurchlässigen Spiegel 52 um 90° parallel zur Zeilenrichtung des Bildsensors 50 umgelenkt. Der Teilstrahlengang 58 wird dann durch einen geneigten Spiegel 62 nochmals um 90° umgelenkt, so daß er parallel zur optischen Achse der Linse 44 verläuft.

Der Teilstrahlengang 60 tritt durch den teildurchlässigen Spiegel 52 hindurch und fällt auf einen um 45° zur optischen Achse der Linse 44 geneigten Spiegel 64. Der Spiegel 64 lenkt den Teilstrahlengang 60 um 90° entgegengesetzt zur Ablenkung des Teilstrahlenganges 58 parallel zur Zeilenrichtung des Bildsensors 50 umgelenkt. Der Teilstrahlengang 60 wird dann durch einen Spiegel 66 wieder um 90° umgelenkt, so daß er parallel zu der optischen Achse der Linse 44 und zu dem zweimal umgelenkten Teilstrahlengang 58 verläuft.

Es ist zu beachten, daß in dem Strahlengang 56 und den Teilstrahlengängen 58 und 60 die "Strahlen" Achsen von abbildenden Lichtbündeln darstellen. Die Strahlen 68 und 70 bilden je einen Objektpunkt an der gleichen Stelle 72 in der Bildebene 48 ab.

Durch die überlagerten Teilstrahlengänge 58 und 60 werden zwei Stereobilder an der gleichen Stelle auf dem einen Bildsensor 50 erzeugt. In dem Teilstrahlengang 58 sitzt ein Strahlenunterbrecher 74. In dem Teilstrahlengang 60 sitzt ein Strahlenunterbrecher 76. Die Strahlenunterbrecher 74 und 76 arbeiten im Gegentakt. Dadurch wird auf dem Bildsensor 50 abwechselnd das eine oder das andere Stereobild erzeugt. Der Bildsensor 50 wird entsprechend ausgelesen. Die digitalisierten Helligkeitswerte der Bildpunkte werden unter dem Zeilen- und Spaltenindex in den beiden Stereobildern zugeordneten Speicherbereichen abgelegt.

Auf diese Weise werden zwei Stereobilder gespeichert, die "übereinanderliegen": Jedem durch einen Zeilen- und einen Spaltenindex gekennzeichneten Bildpunkt des einen Bildes entspricht ein durch den gleichen Zeilenindex und den gleichen Spaltenindex gekennzeichneter Bildpunkt des anderen Bildes. Einander entsprechende Bildpunkte der beiden Stereobilder sind um Verschiebevektoren gegeneinander verschoben. Da die beiden Strahlengänge der Kamera von Fig. 4 in einer zur Zeilenrichtung des Bildsensors 50 parallelen Richtung gegeneinander parallel verschoben sind, liegen die Verschiebevektoren der Bildpunkte ebenfalls in Zeilenrichtung. Einander entsprechende Punkte unterscheiden sich nur in den Spaltenindizes. Das erleichtert die Stereobildauswertung.

Es ist zu beachten, daß die den Zeilen der beiden Stereobilder entsprechenden Streifen des Gesichtsfeldes nur dann nach Art von Fig. 3 linear angeordnet sind, wenn die Achsen der Strahlengänge 58 und 60 oder die optischen Achsen der Linsen 10 und 12 zueinander parallel sind. Anderenfalls überkreuzt der der einen Zeile des einen Stereobildes zugeordnete Gesichtsfeldstreifen (38 in Fig. 3) die Gesichtsfeldstreifen mehrerer Zeilen des anderen Stereobildes.

Fig. 5 zeigt die beiden Stereobilder 78 und 80 mit je einer herausgegriffenen Zeile 82 bzw. 84. Die Zeilen 82 und 84 haben den gleichen Zeilenindex. Fig. 6 zeigt das erste Stereobild 78 mit einem Streifen 86 von drei Zeilen. Der Streifen 86 enthält in der Mitte die herausgegriffene Zeile 82 und zu beiden Seiten dieser Zeile die Zeilen 86 und 88 mit den gegenüber der Zeile 82 um eins verminderten bzw. erhöhten Zeilenindex. In dem Streifen ist weiterhin ein Mikromuster 90 von 3 × 3 Bildpunkten um einen herausgegriffenen Bildpunkt 92 der Zeile 82 dargestellt.

Ein entsprechender Streifen 94 des zweiten Stereobildes 80 ist gegenüber dem Stereobild 78 in Zeilenrichtung verschoben dargestellt. In der Zeile 94 ist ein Mikromuster 96 dargestellt, das mit dem Mikromuster 92 fluchtet. Das ist eine symbolische Darstellung. Praktisch werden die Spaltenindizes der den Streifen 96 bildenden drei Zeilen des zweiten Stereobildes 80 in dem Speicher schrittweise verändert. Bei den "fluchtenden" Mikromustern 90 und 96 der beiden Stereobilder stimmen einmal die Zeilenindizes überein und zum anderen stimmen die veränderten Spaltenindizes der Bildpunkte des Mikromusters 96 des zweiten Stereobildes 80 mit den Spaltenindizes des Mikromusters 90 überein.

Das Mikromuster 90 ist dem zentral in dem Mikromuster 90 liegenden Bildpunkt 92 zugeordnet. Von den digitalisierten Grauwerten der beiden "fluchtenden" Mikromustern 90 und 96 wird nun ein Korrelationswert gebildet. Dieser Korrelationswert ist

K(ξ) = Σ| P₂(ξ) - P₁ |.

Darin ist ξ die Verschiebung des zweiten Stereobildes 80 gegenüber dem ersten. P₁ bzw. P₂ sind die Grauwerte der Bildpunkte in dem Mikromuster 92 bzw. dem Mikromuster 96. Die Summe wird jeweils über alle Bildpunkte der beiden Mikromuster gebildet. Es ergibt sich für jeden Verschiebeschritt ξ des Stereobildes 80 gegenüber dem Stereobild 78 ein dem Bildpunkt 92 zugeordneter Korrelationswert.

Dieser Kurrelationswert hängt von der Anzahl ξ der Verschiebeschritte ab. Diese Korrelationsfunktion ist in Fig. 7 dargestellt. Die Abszisse in Fig. 7 ist die Anzahl der Verschiebeschritte ξ. Die Ordinate sind die jedem Verschiebeschritt zugeordneten Korrelationswerte. Die Korrelationsfunktion hat ein Minimum. Das Minimum kann durch parabolische Interpolation zwischen benachbarten Meßpunkten 98 und 100 mit "Sub-Pixel" Genauigkeit bestimmt werden, wie durch die Parabel 102 angedeutet ist, welche durch drei Meßpunkte 98, 100 und 104 gelegt ist. Dieses Minimum der Korrelations-Funktion definiert einen Verschiebevektor, bei welchen eine optimale Übereinstimmung zwischen dem den betrachteten Bildpunkt 92 umgebenden Mikromuster 90 und dem nach der Verschiebung "fluchtenden" Mikromuster 96 des schrittweise verschobenen zweiten Stereobildes erhalten wird. Man kann davon ausgehen, daß das Mikromuster 96 mit seinem zentralen Bildpunkt 106 mit dem Mikromuster 90 des unverschobenen ersten Stereobildes 78 korrespondiert. Die Bildpunkte 92 und 106 sind also zwei einander zugeordnete Bildpunkte in den beiden Stereobildern, die von einem gemeinsamen Objektpunkt hervorgerufen sind. Die Verschiebung in Zeilenrichtung, die notwendig war, um diese beiden Bildpunkte 92 und 106 und ihre Mikromuster 90 bzw. 96 zur Deckung zu bringen, stellt die Länge V des Verschiebevektors dar, aus welcher der Abstand des Objektpunktes wie oben angegeben berechnet werden kann.

In der beschriebenen Weise wird jedem der Bildpunkte der betrachteten Zeile 82 eine Länge V des Verschiebevektors zugeordnet. Diese Stereobildverarbeitung erfolgt durch einen Parallelrechner parallel für alle Bildpunkte einer Zeile. Die verschiedenen Zeilen der Stereobilder werden nacheinander abgearbeitet. Auf diese Weise ist dann jedem Bildpunkt des ersten Stereobildes eine Länge V des Verschiebevektors zugeordnet. Diese Längen V werden einem Hostrechner zur Berechnung der Entfernungen der zugehörigen Objektpunkte zugeführt.

Fig. 8 zeigt schematisch eine Reihe von Prozessorelementen 108 des Parallelrechners. Die Prozessorelemente 108 sind je einer Spalte des verschobenen Stereobildes 80 und der damit jeweils "fluchtenden" Spalte des unverschobenen Stereobildes 78 zugeordnet. Jedes Prozessorelement z. B. 108 hat Zugriff zu den jeweils unmittelbar benachbarten Prozessorelementen 110 und 112. Jedes Prozessorelement hat weiterhin Zugriff zu den gespeicherten Grauwerten aller Bildpunkte der dem Prozessorelement zugeordneten Spalten des unverschobenen ersten und des verschobenen zweiten Stereobildes. Bei der Bildverarbeitung einer Zeile der gespeicherten Stereobilder hat somit ein Prozessorelement 108 Zugriff zu gesamten Mikromustern 90 und 96, die dem Bildpunkt 92 mit dem Spaltenindex des Prozessorelements und dem Zeilenindex der bearbeiteten Zeile zugeordnet sind. Es hat direkten Zugriff zu den Grauwerten der Bildpunkte "seiner" Spalte und damit des Bildpunktes 92 und der dem Bildpunkt 92 in dieser Spalte benachbarten Bildpunkte. Und es hat über die benachbarten Prozessoren 110 und 112 über die Verbindungen 114 und 116 Zugriff zu den Grauwerten der in der betrachteten Zeile benachbarten Bildpunkte sowie der diesen benachbarten Bildpunkten wiederum in den zugehörigen Spalten benachbarten Bildpunkte. Aus den 3 × 3 - Mikromustern berechnet das Prozessorelement dann den Korrelationswert der Mikromuster nach der oben angegebenen Beziehung. Das geschieht - soweit die Stereobilder 78 und 80 sich überlappen - für alle Bildpunkte der Zeile. Die Korrelationswerte K(ξ) werden in den Speichern der Prozessorelemente gespeichert.

Dann werden die Spaltenindizes für die gespeicherten Grauwerte der Bildpunkte des zweiten Stereobildes 80 schrittweise, Bildpunkt-für-Bildpunkt verändert. Dies entspricht Verschiebungen der Bildinhalte um die Werte ξ₂, ξ₃, etc. Es werden jedesmal die Korrelationswerte gebildet und in den Speichern der Prozessorelemente 108 etc. abgespeichert. Der Speicher eines Prozessorelements 108 enthält dann die Meßpunkte 98 etc. der Korrelations-Funktion von Fig. 7. Nach Erreichen einer durch die Objekttiefe bestimmten Verschiebung werden von den Prozessorelementen 108 etc. parallel die Lagen der Minima und daraus die Längen der Verschiebevektoren berechnet. Die so berechneten Verschiebevektoren werden zu dem Bildpunkt abgespeichert und dienen zur Berechnung der Entfernung des zugehörigen Objektpunktes.

Dieser Vorgang wiederholt sich für sämtliche Zeilen der Stereobilder 78 und 80.

Es besteht die Gefahr einer Verwechslung bei der Zuordnung der Mikromuster. Eine solche Verwechslung kann durch Rauschen bedingt sein oder die Mikromuster können zufällig ähnlich sein. Um dieser Gefahr entgegenzuwirken, sollte geprüft werden, ob das erhaltene Vektorfeld der Verschiebevektoren hinreichend homogen ist. Wenn eine in der oben beschriebenen Weise aus dem Verlauf der Korrelations-Funktion bestimmte Länge des Verschiebevektors stark von der Länge der benachbarten Verschiebevektoren abweicht, so ist die so bestimmte Länge möglicherweise falsch. Es ist dann zu prüfen, ob die zugehörige Korrelations-Funktion nicht noch ein weiteres, etwa nur unwesentlich flacheres Minimum aufweist und die daraus bestimmte Länge des Verschiebevektors besser zu den Nachbarn der Zeile passen würde.

Auch diese Rechnung kann durch die Prozessorelemente 108 etc. parallel für eine Zeile durchgeführt werden.

Die Länge V des Verschiebevektors eines Bildpunktes kann auch mit dem Verschiebevektor der benachbarten Bildpunkte der gleichen Spalte verglichen werden.

Weitere Vertrauenskriterien zur Beurteilung, ob das richtige Minimum gefunden wurde, können aus dem absoluten Wert des Minimums und aus dem inneren Kontrast des betrachteten Mikromusters gewonnen werden. Kontrastarme Mikromuster liefern erhebliche Unsicherheiten bei der Korrelation.

Das beschriebene Verfahren und die beschriebene Vorrichtung gestatten eine Stereobildauswertung in Echtzeit. Stereobilder können mit einer Bildfrequenz von beispielsweise 30 Hertz aufgenommen und ausgewertet werden. Mit dieser Frequenz arbeiten die Strahlenunterbrecher 74 und 76.

Claims (11)

1. Verfahren zur Stereobildauswertung bei welchem aus zwei elektronisch gespeicherten Stereobildern mit in Zeilen und Spalten angeordneten, durch Zeilen- und Spaltenindizes charakterisierten Bildpunkten zu den einzelnen Bildpunkten die zugehörigen Entfernungen bestimmt werden, mit den Verfahrensschritten:

• (a) Erzeugung eines ersten und eines zweiten Stereobildes derart, daß einander entsprechende Bildpunkte in den beiden Stereobildern in gleichen Zeilen liegen,
• (b) wobei jedem Bildpunkt ein diesen umgebendes Mikromuster zugeordnet ist,
• (c) schrittweise Veränderung der horizontalen Position, d. h. der Spaltenindizes der Bildpunkte des zweiten Stereobildes - samt den sie umgebenden Mikromustern - relativ zu denen des ersten Stereobildes,
• (d) Erzeugung von Korrelationen der Mikromuster jeder Zeile des zweiten Stereobildes mit den Mikromustern jeder Zeile des ersten Stereobildes nach jedem solchen Schritt,
• (e) Bestimmung der Extremwerte der so für jeden Schritt erhaltenen Korrelationen und
• (f) Bestimmung der Längen der Verschiebevektoren aus den Schrittzahlen von der Ausgangsposition bis zum Erreichen des Extremwertes der Korrelation eines Mikromusters und Zuordnung dieser Längen zu den dem Mikromuster zugeordneten Bildpunkten des ersten Stereobildes und
• (g) Bestimmung der Entfernungen der den Bildpunkten zugeordneten Objektpunkte aus den so zugeordneten Längen der Verschiebevektoren.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Extremwerte durch parabolische Interpolation aus den diskreten Meßpunkten bestimmt werden, die sich aus den diskreten Verschiebeschritten und den zugehörigen Korrelationswerten ergeben.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß als Korrelationsfunktion K die Summe der Absolutbeträge der Differenzen der Grauwerte P₂, P₁ K(ξ) = Σ| P₂(ξ) - P₁ |für die Bildpunkte der zu korrelierenden Mikromuster gebildet und als Extremwert das Minimum dieser Korrelationsfunktion bestimmt wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Stereobildpaare zeilenweise nacheinander und jeweils parallel für alle Bildpunkte einer Zeile abgearbeitet werden.

5. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, gekennzeichnet durch

• (a) elektro-optische Kameramittel (10, 12; 46) mit Zeilenrasterung zur Erzeugung eines ersten und eines zweiten Stereobildes (78, 80) einer Szene aus gegeneinander in Richtung der Zeilen parallel verschobenen Abbildungs-Strahlengängen (58, 60),
• (b) einen Bildspeicher zur Speicherung des ersten und zweiten Stereobildes (78, 80), wobei jedem Bildpunkt eine Zeilenzahl und eine Spaltenzahl und außerdem jeweils ein von benachbarten Bildpunkten gebildetes Mikromuster (90, 96) zugeordnet ist,
• (c) Mittel zur schrittweisen Veränderung der Spaltenzahlen des zweiten Stereobildes (80) relativ zu den Spaltenzahlen des ersten Stereobildes (78) ausgehend von einer Ausgangsposition,
• (d) Korrelationsmittel zur Korrelation der Mikromuster (90, 96) des ersten Stereobildes (78) mit Mikromustern des zweiten Stereobildes (80), die Bildpunkten mit jeweils gleichen Spaltenzahlen zugeordnet sind, zur Bestimmung von Korrelationswerten (K),
• (e) Mittel zur Bestimmung von Extremwerten der Korrelationswerte (K),
• (f) Speichermittel durch welche für jeden Bildpunkt (92) und das diesem zugeordnete Mikromuster (90) die aus der Schrittzahl zwischen Ausgangsposition und Position des Extremwertes an einer zugeordneten Speicherstelle bestimmte Länge (V) des Verschiebevektors speicherbar ist, und
• (g) Rechnermittel zur Bestimmung der Entfernungen der den Bildpunkten zugeordneten Objektpunkte aus den so zugeordneten Längen der Verschiebevektoren.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die Korrelationsmittel und die extremwertbestimmenden Mittel von einem Parallelrechner gebildet sind durch welchen die Stereobilder zeilenweise nacheinander und jeweils parallel für alle Bildpunkte einer Zeile abgearbeitet werden.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die entfernungsbestimmenden Rechnermittel von einem Hostrechner gebildet sind.

8. Vorrichtung nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, daß die elektro-optischen Kameramittel enthalten:

• (a) eine einzige Kamera mit einem Objektiv (44) und einem Bildsensor (50),
• (b) , ein Strahlenteiler (52) vor dem Objektiv (44), zur Aufteilung des Strahlenganges (56) in zwei Teilstrahlengänge (58, 60),
• (c) Umlenkmittel (46), durch welche ein Parallelversatz der beiden Teilstrahlengänge (58, 60) in Richtung der Zeilen der Kamera bewirkt wird,
• (d) wodurch in der Bildebene (48) der Kamera zwei überlagerte Stereobilder (78, 80) erzeugt werden,
• (e) gegenphasig wirksame Strahlenunterbrecher (74, 76) in jedem der Strahlengänge, derart, daß die beiden Stereobilder (78, 80) den Bildsensor (50) abwechselnd beaufschlagen,
• (f) Mittel zum abwechselnden Auslesen der Stereobilder aus dem Bildsensor (50) synchron mit dem Bildwechsel und zum Speichern der so ausgelesenen Stereobilder in getrennten Speichern.

9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, daß

• (a) der Strahlenteiler eine unter 45° zur optischen Achse des Objektivs (44) geneigte, teilreflektierende Fläche (52) enthält,
• (b) die Umlenkmittel (46) einen zu der teilreflektierenden Fläche (52) parallelen Spiegel (62) aufweist, welcher den von der teilreflektierenden Fläche (52) reflektierten Teilstrahlengang (58) in eine zur optischen Achse des Objektivs (44) parallele Richtung umlenkt.

10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Umlenkmittel (46) weiterhin ein Paar von zueinander parallelen, zur Ebene der teildurchlässigen Fläche (52) senkrechten Spiegeln (64, 66) aufweist, wobei einer dieser Spiegel (64) den durch die teildurchlässige Fläche (52) hindurchtretenden Teilstrahlengang (60) auf den zweiten dieser Spiegel (66) ablenkt, welcher den von dem ersteren Spiegel (64) umgelenkten Teilstrahlengang (60) ebenfalls in eine zur optischen Achse des Objektivs (44) parallele Richtung umlenkt.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß sich die beiden divergenten Teilstrahlengänge (58, 60) durchdringen.