DE10310849B4

DE10310849B4 - Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung

Info

Publication number: DE10310849B4
Application number: DE10310849A
Authority: DE
Inventors: Bernd Prof. Dr.-Ing. Habil. Michaelis; Michael Dipl.-Ing. Tornow
Original assignee: INB Vision AG
Current assignee: INB Vision AG
Priority date: 2003-03-11
Filing date: 2003-03-11
Publication date: 2009-01-02
Anticipated expiration: 2023-03-12
Also published as: DE10310849A1

Abstract

Verfahren zur photogrammetrischen Bestimmung der Abstände und/oder Positionen von Objekten relativ zu einem Bezugsort durch Auswertung eines Stereobildpaares der Objekte, in der Art, dass das von 2 Kameras aufgenommene Stereobildpaar als ein Referenz-Grauwertbild und ein Such-Grauwertbild mit in Spalten und Zeilen angeordneten Pixeln vorliegt und deren Zeilen Epipolarlinien darstellen, mittels eines Ähnlichkeitskriteriums und aus dem Stereobildpaar erstellten Referenz- und Suchblöcken und unter Verwendung einer Bildpyramide, die aus dem Stereobildpaar generierte Bilder unterschiedlicher Auflösung/Auflösungsstufen enthält, wobei sich ein Suchbereich durch die schrittweise Verschiebung des Referenzblockes über das Suchbild im Sinne einer Disparität ergibt, der alle Suchblöcke für diesen Referenzblock enthält, wobei sich für einen Referenzblock durch den Vergleich mit den im zugeordneten Suchbereich liegenden Suchblöcken durch Berechnung des Ähnlichkeitskriteriums eine Folge von Ähnlichkeitsmaßen/Ergebnisblöcken ergibt, gekennzeichnet dadurch, dass
a) aus dem Referenz- und Such-Grauwertbild des ursprünglichen Stereobildpaares i = 1... p neue Paare von Referenz- und Such-Grauwertbildern mit reduzierter Auflösung erzeugt...

Description

Die Erfindung betrifft Verfahren zur photogrammmetrischen Bestimmung der Abstände oder Positionen von Objekten relativ zu einem Bezugsort durch Auswertung eines Stereobildpaares der Objekte. Das Verfahren ist insbesondere in solchen Fällen vorteilhaft anwendbar, in denen die Abstands- oder Positionsbestimmung durch Auswertung von in sehr kurzen Zeiträumen wechselnden Stereobildpaaren erfolgen muss und/oder die Positionsdifferenzen der im Stereobildpaar abgebildeten Objekte in einem großen Längenbereich variieren. Letzteres ist der Fall, wenn der Abstand der Objekte relativ zum Bezugsort und damit der Abbildungsmaßstab zwischen dem Nah- und Fernbereich der Szene stark variiert. Ein bevorzugtes Anwendungsgebiet des Verfahrens ist die photogrammmetrische Abstands- oder Positionsbestimmung von bewegten Objekten relativ zu einem bewegten Bezugsobjekt. Derartige Objekte oder Bezugsobjekte können insbesondere Fahrzeuge sein, speziell Fahrzeuge, die sich im wesentlichen entlang einer Fläche bewegen, deren Krümmungsradius wesentlich größer als der größte zu bestimmende Abstand ist, wie dies z. B bei Straßen- oder Wasseroberflächen zu sein pflegt.
Die Erfindung ist nach fachgemäßer Anpassung auch zur Bestimmung der Positionsdifferenzen (Bewegungsvektoren) ähnlicher Bildbereiche in zwei Bildern einer Videosequenz anwendbar, insbesondere einer Videosequenz mit Bildern, deren Bildbereiche Bewegungsvektoren mit großen Längenunterschieden aufweisen.
Verfahren zur photogrammmetrischen Abstandsbestimmung bzw. nach derartigen Verfahren arbeitende Vorrichtungen sind seit langem bekannt (z. B. DE 22 59 762 B2 , DE 4444 697 A1 ). Sie gehen von einem Stereobildpaar einer Szene aus, also von zwei Bildern der Szene, die von zwei um die Basisbreite B seitlich gegeneinander versetzten Aufnahmeorten aufgenommen wurden. Der Abstand eines Objektpunktes bzw. Objektbereiches von einem Bezugsort kann aus der Positionsdifferenz (nachfolgend Verschiebung oder Disparität genannt) der Bildpunkte bzw. Bildbereiche (auch Bildblöcke genannt) in den beiden Stereobildern berechnet werden, in die der Objektpunkt bzw. der Objektbereich abgebildet wird. Das Hauptproblem der photogrammmetrischen Abstandsbestimmung besteht darin, zu einem vorgegebenen Bildpunkt bzw. Bildbereich (nachfolgend Referenzblock genannt) des ersten Stereobildes (nachfolgend Referenzbild genannt) denjenigen Bildpunkt bzw. Bildbereich (nachfolgend Suchblock genannt) des zweiten Stereobildes (nachfolgend Suchbild genannt) zu bestimmen, der zum gleichen Objektpunkt bzw. Objektbereich wie der vorgegebene Bildpunkt bzw. Referenzblock des Referenzbildes gehört. Bildpunktpaare mit dieser Eigenschaft werden homologe bzw. konjugierte Bildpunkte genannt.
Nach dem Stand der Technik ist davon auszugehen, dass Referenz- und Suchbild bereits als digital gespeicherte Referenz- und Such-Grauwertbilder mit in Spalten und Zeilen angeordneten Pixeln vorliegen. Zur Verringerung des Berechnungsaufwandes ist es vorteilhaft ( DE 22 59 762 62 , DE 4444 697 A1 ), wenn diese Grauwertbilder derart erzeugt werden, dass ihre Zeilen Epipolarlinien darstellen, so dass homologe Bildpunkte stets in einander entsprechenden Zeilen der beiden Grauwertbilder liegen. Unter diesen Voraussetzungen erfordert die Bestimmung der Disparität die Bestimmung der Ähnlichkeit zwischen dem Grauwertverlauf eines aus einer Anzahl von Pixeln bestehenden Referenzblockes in einer Zeile des Referenz-Grauwertbildes und den Grauwertverläufen der aus jeweils der gleichen Pixelzahl bestehenden Suchblöcke, die an den verschiedenen Positionen (auch Suchpositionen genannt) in der entsprechenden Zeile des Such-Grauwertbildes oder in einem Bereich dieser Zeile (nachfolgend Suchbereich) liegen.
Zur Bestimmung der Ähnlichkeit ist demnach für einen vorgegebenen Referenzblock der Wert eines Ähnlichkeitskriteriums für jede Suchposition des Suchbildblockes innerhalb desjenigen Suchbereiches zu berechnen, der dem Referenzblock zugeordnet ist. Beispiele für häufig verwendete Ähnlichkeitskriterien (Schätzfunktion) sind z. B. die Methode der kleinsten Quadrate (least squares matching, LSM), das Moravec-Kriterium und die Kreuzkorrelationsfunktion (KKF). Die für die Suchpositionen in einem Suchbereich berechnete Folge der Werte des Ähnlichkeitskriteriums (auch Folge von Ähnlichkeitsmaßen genannt), besitzt für den Suchblock mit der größten Ähnlichkeit zum Referenzblock einen Extremwert. Die gesuchte Disparität ist die Differenz zwischen der Position des vorgegebenen Referenzblockes im Referenz-Grauwertbild und derjenigen Suchposition im Such-Grauwertbild, an der die maximale Ähnlichkeit zu dem Grauwertverlauf des vorgegebenen Referenzblockes auftritt.
In technischen Anwendungen muss das Ähnlichkeitsmaß in der Regel mit der notwendigen Genauigkeit, geringem Aufwand sowie schnell bestimmt werden. Daher ist z. B. aus der DE 2720157 A1 eine Einrichtung zur photogrammmetrischen Auswertung von Stereobildpaaren bekannt, die einen Korrelator mit mehreren Signalkanälen mit unterschiedlichem Auflösungs- und Verzögerungsvermögen aufweist. Die Signalkanäle werden nach einem vorgebbaren Zeitprogramm zeitlich nacheinander in der Reihenfolge des steigenden Auflösungsvermögens eingeschaltet. Auf diese Weise tragen jeweils nur die Informationen eines Signalkanals zur Korrelation bei. Geht die Korrelation infolge des kleinen Fangbereiches des höchstauflösenden Signalkanals beispielsweise durch einen plötzlichen Geländeanstieg in dem abgebildeten Objekt verloren, werden zeitlich nacheinander die Signalkanäle mit geringerer Auflösung aber größerem Fangbereich genutzt, bis der Korrelator wieder auf maximale Genauigkeit abgeglichen ist. Die Signalkanäle mit niedrigem Auflösungsvermögen haben kürzere Einschaltzeiten als die hochauflösenden Signalkanäle, so dass die Güte der Korrelation im wesentlichen durch Letztere bestimmt wird. Diese Lösung zeigt zwar die Möglichkeit, für die Korrelation Signale mit einer unterschiedlichen Auflösung zu verwenden, gibt jedoch keinen Hinweis darauf, wie diese Maßnahme zur Reduzierung des Verarbeitungsaufwandes und der Verarbeitungszeit der Stereobildpaare einsetzbar ist.
Zur Bestimmung der Positionsdifferenzen (Bewegungsvektoren) ähnlicher Bildbereiche in zwei Bildern einer Videosequenz ist es aus der DE 4342305 A1 bekannt, den notwendigen Hardwareaufwand durch Verwendung von unterschiedlich großen Abständen (auch Schrittweite genannt) zwischen benachbarten Suchpositionen zu senken. Dazu wird in einem ersten Schritt der gesamte Suchbereich verringerter Auflösung des Bildes untersucht und relativ grob ein bester Bewegungsvektor ermittelt, um dann jeweils um die gefundene Stelle herum mit feinerer Auflösung bzw. geringerer Schrittweite den Bewegungsvektor zu verbessern. Dieses Verfahren ist auf die photogrammmetrische Abstandsbestimmung nur unzureichend übertragbar, weil bei Objekten im Fernbereich die tatsächliche Positionsdifferenz im allgemeinen so klein ist, dass sie bei einer anfänglichen Reduzierung der Auflösung bzw. Vergrößerung der Schrittweite nicht mehr ermittelt werden könnte.
Ein ähnliches Prinzip enthält das Verfahren gemäß DE 69130190 T2 . Zur Bestimmung von Bewegungsvektoren in einer Bildsequenz verwendet es eine hierarchische Zerlegung des Bildes in unterschiedliche Auflösungen, Schätzung einer Bewegung beim gröbsten Auflösungswert und Verfeinerung der Schätzung mit ansteigender Auflösung. Dazu werden drei Pyramiden von Bildern mit zunehmenden Auflösungen gebildet, eine Pyramide mit Bildern mit niedrigen Frequenzen und zwei Pyramiden mit hohen Frequenzen entlang der horizontalen Richtung und der vertikalen Richtung der Bilder. Dieses Verfahren ist ebenfalls auf die photogrammmetrische Abstandsbestimmung nur unzureichend übertragbar, weil bei Objekten im Fernbereich die tatsächliche Positionsdifferenz im allgemeinen so klein ist, dass sie bei einer anfänglichen Reduzierung der Auflösung bzw. Vergrößerung der Schrittweite nicht mehr ermittelt werden könnte.
In US 6 125 198 A wird eine Pyramide von laplacetransformierten Bildern erzeugt. Die einzelnen Pyramidenstufen entsprechen verschiedenen Frenquenzbereichen. In diesen wird nach Korrespondenzen gesucht, wobei eindimensionale Blöcke der Länge N verwendet werden, die mit N/2 Abstand im Bild überlappend angeordnet sind. Somit erfolgt eine Suche nur im Kantenbild. Die Bildpyramide dient im Wesentlichen der Erhöhung der Redundanz um Mehrfachkorrespondenzen und ähnliche Fehler ausschließen zu können.
In DE 199 26 559 A1 wird ein Verfahren vorgestellt, bei dem die Ergebnisse einer ereignisorientierten 3D-Auswertung mit Hilfe der KKFMF zur entfernungsbasierten Bildsegmentierung im Umfeld eines Fahrzeuges verwendet werden. Hierbei werden relevante Objekte über die Zeit verfolgt, wodurch sich z. B. die Differenzgeschwindigkeit ermitteln läßt. Eine Echtzeitfähigkeit kann durch wachsende Rechenleistung erreicht werden.
EP 08 74 331 A2 beschreibt ein Verfahren zur Umgebungserfassung mittels der Stereophotogrammetrie. Diese Verfahren sind für spezielle Anwendungsfelder auch in ein Hardware-Software-Co-Design implementierbar. Dabei werden Bilder mit einem blockbasiertem Algorithmus mit Blöcken von z. B. 4×4 Pixeln ausgewertet. Diese sind nicht überlappend. Das resultierende Tiefenbild hat entsprechend in jede Richtung ¼ der Ausdehnung der verwendeten Bilder. Dabei werden in Geradeaus- und Kreuzungssituationen Fahrzeuge, Passanten und die Fahrbahn erkannt. Die Tiefenkarte wird hierbei mit einem – aus einer großen Anzahl von Arithmetik-Logik-Einheiten zusammengesetzten – Spezialprozessor berechnet.
US 5 179 441 A beschreibt ein weiteres in Hardware implementierbares Verfahren bei dem mit Hilfe von Bildpyramiden laplacetransformierte Disparitätskarten bestimmt werden. So wird ein hochaufgelöstes Stereobildpaar(480 × 512) laplacetransformiert und anschließend mittels einer Bildpyramide eine niedrige Auflösung (60 × 64) erzeugt und ausschließlich in dieser die Disparität durch Korrespondenzanalyse ermittelt. Der Algorithmus wird in einem Hardware-Software-Co-Design implementiert.
Der vorstehende Stand der Technik liefert nur unzureichend Anhaltspunkte für eine verbesserte Verfahrensgestaltung. Der Erfindung liegt somit die Aufgabe zugrunde, ein insbesondere für eine Hardwareimplementierung geeignetes Verfahren zur photogrammmetrischen Bestimmung der Abstände oder Positionen von Objekten durch Auswertung eines Stereobildpaares zu schaffen, das bei hinreichender Genauigkeit nur eine geringe Auswertezeit und einen geringen Auswertungsaufwand auch in solchen Fällen erfordert, in denen die Positionsdifferenzen der im Stereobildpaar abgebildeten Objekte in einem großen Längenbereich variieren bzw. in denen sich der Abbildungsmaßstab zwischen dem Nah- und Fernbereich der Szene stark ändert.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Das erfindungsgemäße Verfahren zur photogrammmetrischen Bestimmung der Abstände und/oder Positionen von Objekten geht demzufolge von einem Stereobildpaar aus, das als ein Referenz-Grauwertbild und ein Such-Grauwertbild mit in Spalten und Zeilen angeordneten Pixeln vorliegt und dessen Zeilen Epipolarlinien darstellen. Aus dem Referenz- und Such-Grauwertbild des ursprünglichen Stereobildpaares (i = 0) werden i = 1. Aus dem Referenz- und Such-Grauwertbild des ursprünglichen Stereobildpaares werden p neue Paare von Referenz- und Such-Grauwertbildern mit reduzierter Auflösung derart erzeugt, dass zusammen mit den Grauwertbildern des ursprünglichen Stereobildpaares insgesamt p + 1 Paare von Referenz- und Such-Grauwertbildern mit den Auflösungsstufen k_i mit i = 0 bis p vorliegen. Die Zeilen-Auflösung R_i von zwei aufeinanderfolgenden Auflösungsstufen soll sich dabei um einen vorgebbaren Reduktionsfaktor q_i = R_i-1/R_i mit i = 1 bis p unterscheiden. Als Ergebnis mehrerer Verfahrensschritte wird für jeden Referenzblock eine der Anzahl der verarbeiteten Auflösungsstufen entsprechende Anzahl von Folgen von Ähnlichkeitsmaßen ermittelt, welche nachfolgend Ergebnisblöcke genannt werden. Daraus wird die Disparität für mindestens einen Referenzblock bestimmt, indem mindestens zwei der dem Referenzblock zugeordneten Ergebnisblöcken nach Extremwerten durchsucht werden, wobei für alle Auflösungsstufen außer der Auflösungsstufe des ursprünglichen Stereobildpaares jeweils ein Bereich zu Beginn des Ergebnisblockes, der bereits in der vorhergehenden Auflösungsstufe erfasst wurde, von der Suche ausgenommen wird. Aus dem Ort des so ermittelten Extremwertes wird die Position des zugehörigen Objektpunktes in an sich bekannter Weise bestimmt.
Die Erfindung weist folgende Vorteile auf:

• die Auflösung und der Bearbeitungsaufwand werden der Entfernung angepasst
• der Zeitaufwand für die Berechnung wird reduziert
• durch die Möglichkeit, einfache optimierte Architekturen zu verwenden, wird Chipfläche eingespart
• es treten keine nichtvorhersagbaren (eingangsdatenabhängigen) Sprünge in der Verarbeitung auf, weshalb das Verfahren optimal für eine Hardwareimplementierung ist

Bei einer sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens erfolgt die Erzeugung der Auflösungsstufen durch Wichtung der Grauwerte benachbarter Pixel mit einer vorgegebenen Verteilungsfunktion, insbesondere durch Mittelwertbildung der Grauwerte von mindestens zwei benachbarten Pixel.
Bei einer anderen vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird die Genauigkeit der berechneten Disparität eines Referenzblockes durch Subpixelinterpolation erhöht, in dem eine Folge von Ähnlichkeitsmaßen durch ein Polynom approximiert und dessen globaler Extremwert bestimmt wird.
Bei einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens ist der Abstand zwischen der Position des Beginns eines Referenzblockes und der Position des Beginns des ihm vorhergehenden Referenzblockes gleich der Länge des vorhergehenden Referenzblockes. Eine beträchtliche Reduzierung der Auswertezeit wird erzielt, wenn mindestens zwei Verfahrensschritte aus Anspruch 1 teilweise oder vollständig gleichzeitig auf mindestens zwei Soft- und/oder Hardware-Instanzen durchgeführt werden.
Eine weitere zweckmäßige Ausführungsform besteht darin, dass je nach Anforderung des konkreten Einsatzfalles nicht jede erzeugte Auflösungsstufe verarbeitet wird, insbesondere die Anzahl der verarbeiteten Auflösungsstufen während des Ablaufs des Verfahrens variiert wird.
Im Allgemeinen ist es vorteilhaft, wenn als Ähnlichkeitskriterium, das für die meisten Ausführungsformen des erfindungsgemäßen Verfahrens geignet ist, die normierte mittelwertfreie Kreuzkorrelationsfunktion verwendet wird.
Schwankungen der für das ursprüngliche Stereobildpaar verwendeten Aufnahmeeinrichtung können das Messergebnis nachteilig beeinflussen. Um diesen Einfluss zu reduzieren, ist es gemäß einer anderen Ausführungsform vorteilhaft, dass vor der Erzeugung der Auflösungsstufen eine Wichtung der Grauwerte von Pixeln, die in den gleichen Spalten mindestens zweier benachbarter Zeilen liegen, mit einer vorgegebenen Verteilungsfunktion erfolgt, insbesondere eine Mittelwertbildung der Grauwerte.
Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich unmittelbar aus den Unteransprüchen.
Im Folgenden wird die Erfindung anhand eines Ausführungsbeispiels zur Ermittelung der Position von Objekten im Rückraum eines Fahrzeugs unter Bezugnahme auf die beigefügten Zeichnungen mit weiteren Einzelheiten naher erläutert. Dabei zeigen:
1 eine schematische Darstellung des Normalfalles der Stereophotogrammmetrie,
2 eine schematische Darstellung der Generierung der hierarchischen Auflösungsstufen,
3 eine schematische Darstellung der Durchführung der Korrelation der Grauwertverläufe innerhalb einer Auflösungsstufe,
4 eine schematische Darstellung für die Auswertung der Korrelationsergebnisse für 3 Auflösungsstufen und einen konstanten Reduktionsfaktor q = 2,
5 eine schematische Darstellung für die Auswertung der Korrelationsergebnisse für 3 Auflösungsstufen und einen konstanten Reduktionsfaktor q = 3,
6 eine schematische Darstellung der Unterschiede zwischen Hard- und Softwareimplementierung bei der Durchführung der Korrelation der Grauwertverläufe über mehrere Auflösungsstufen.
Die Aufnahmeeinrichtung ist in diesem Fall ein stereophotogrammmetrisches Kamerasystem im Normalfall, das zwei Bilder eines im Abstand z befindlichen Fahrzeuges erzeugt. Bei den Bildern, die von diesem erzeugt werden, stellen die Zeilen Epipolarlinien dar. Dies kann sowohl durch Justierung der Kameras als auch durch Umrechnung der Originalbilder erreicht werden. Als Ähnlichkeitsmaß wird die normierte mittelwertfreie Kreuzkorrelationsfunktion verwendet.
Beim Normalfall der Stereophotogrammmetrie werden die Kameraachsen parallel zueinander ausgerichtet, damit auch in großer Entfernung noch eine Überdeckung der Kamerabilder vorhanden ist. Dadurch ergibt sich ein sehr großer Messbereich, der im wesentlichen von der optischen Auflösung der Kameras abhängig ist.
Bei der Bildmessung werden bestimmte Bereiche eines Bildpaares miteinander verglichen, um die Position eines Objektes im dreidimensionalen Raum festzustellen.
Aus 1 ergibt sich unter Verwendung des Strahlensatzes die folgende Gleichung zur Berechnung der Entfernung z eines Objektes im Normalfall der Stereophotogrammmetrie: z = f·bΔu (1)
Anschließend können die x- und y-Koordinate des Punktes mittels der Gleichungen für den Normalfall der Stereophotogrammetrie ermittelt werden. Zur Berechnung der 3D-Koordinaten sind nur die Basisbreite b, die Kamerakonstante f und die Disparität Δu und die Position in einem Bild notwendig. Die Basisbreite ergibt sich aus der Aufnahmeposition der beiden Kameras. Die Kamerakonstante wird während des Kalibriervorganges ermittelt. Die einzige variable Größe hierbei ist somit die Disparität, also die Differenz der Positionen eines Bildblockes im Bild 1 und Bild 2. Sie wird in digitalen Systemen meist mit Hilfe von Fehlerfunktionen oder Gütefunktionen ermittelt. Daraus kann für den entsprechenden Bildblock ein Punkt im 3D-Raum berechnet werden und in eine Tiefenkarte eingetragen werden.
Zur Ermittelung der Disparität wird ein Bildblock, der Referenzblock, von m × n Pixeln aus dem 1. Bild, dem Referenzbild mit einem Suchblock im 2. Bild, dem Suchbild, unter Verwendung eines Ähnlichkeitsmaßes auf größte Übereinstimmung untersucht. Dabei bleibt der Referenzblock für einen Vergleichsvorgang konstant, während der Suchblock über einen abgegrenzten Bereich, dem Suchbereich, im Suchbild geschoben wird. Der Suchbereich muss die größte für das Messsystem relevante Disparität abdecken und kann somit sehr groß werden. Je nach Ähnlichkeitsmaß ergibt sich dann meist ein hoher Rechenaufwand. Ein Beispiel für ein sehr stabiles Ähnlichkeitsmaß ist die mittelwertfreie normierte Kreuzkorrelationsfunktion, im folgenden abgekürzt mit KKFMF.
Bei der einfachen KKF entstehen Probleme beim Auftreten von additiven und multiplikativen Störungen. Additive Störungen sind zum Beispiel gravierende Helligkeitsunterschiede zwischen den Bildern. Multiplikative Störungen sind z. B. Helligkeitsübergänge innerhalb der Bilder.
Bei der normierten mittelwertfreien KKF (Gleichung 2) Aschwanden [Peter Franz Aschwanden, Experimenteller Vergleich von Korrelationskriterien in der Bildanalyse, Diss. an der ETH Zürich, 1993], werden die additiven Störungen, die sich zwischen den beiden Bildern oder auch innerhalb einzelner Bilder ergeben, durch die mittelwertfreie Betrachtung ausgeschlossen. Multiplikative Störungen werden durch die Normierung ausgeglichen. Als Ergebnisse der normierten mittelwertfreien KKF ergeben sich Werte zwischen –1 und +1. Durch ein globales Maximum dieser Funktion wird die größte Ähnlichkeit signalisiert.
Das Grundprinzip der hierarchischen Messbereichsanpassung, das in dem erfindungsgemäßen Verfahren implementiert ist, besteht darin, dass zuerst hierarchisch abgestufte Bilder aus den Originalaufnahmen erzeugt werden. Diese rechnerisch generierten Bilder besitzen eine von Auflösungsstufe zu Auflösungsstufe reduzierte Auflösung, so dass die in dem vorhergehenden Abschnitt beschriebene Korrelations-Methode in allen Auflösungsstufen angewandt werden kann. Hierdurch kann schon mit sehr kleinen Verschiebungen der Bildausschnitte ein großer Messbereich mit ungefähr gleichbleibendem Fehler erreicht werden. Dabei wird die hierarchische Korrelation zur Minimierung des Rechenaufwandes und zur Anpassung der Verarbeitung an die Möglichkeiten einer Hardwareimplementierung verwendet.
Die Erzeugung der einzelne Auflösungsstufen erfolgt durch die Verringerung der Auflösung der Zeilen um einen Faktor q_i = R_i-1/R_i für jede weitere Auflösungsstufe. In 2 ist ein Beispiel für einen konstanten Faktor q_i = 2 (für alle i) dargestellt. Dies geschieht durch Ersetzen mehrerer benachbarter Pixel durch einen, in dem in 2 dargestellten Beispiel im Verhältniss 2:1. Die Auflösungsreduzierung kann durch eine gewichtete Funktion, aber auch mittels Mittelwertbildung erfolgen. Die Zeilen der beiden Bilder in den verschiedenen Auflösungen werden dann miteinander korreliert. Die verschiedenen Auflösungsstufen der Zeile können dazu aneinander gefügt werden, wodurch sich eine neue Zeile ergibt, die nahezu doppelt so lang ist, wie der Original-Grauwertverlauf. In 2 ist die zusammengefügte Zeile z. B. um 1/16 kürzer als das Doppelte des Original-Grauwertverlaufes. Die einzelnen Auflösungsstufen können auch einzeln betrachtet werden.
Für jede Auflösungsstufe wird die Korrelation nun wie folgt durchgeführt. Es werden rechteckige Ausschnitte (m·n) aus dem Referenz-Grauwertverlauf und dem Suchbild-Grauwertverlauf ausgewählt und miteinander verglichen. Im Beispiel in 3 kommen Ausschnitte mit den Maßen 1 × 16 und 3 × 16 zur Anwendung. Der erste Referenzblock wird beginnend von der Startposition des 1. Referenzblockes im Suchbild pixelweise in die Position des 2. Referenzblockes verschoben.
Der dabei überschrittene Bereich inklusive der Blockgrößen ist als Suchbereich bezeichnet. Von den sich hierbei ergebenden paarweisen Muster wird je ein Korrelationswert berechnet. Die Verschiebung erfolgt im Beispiel von 3 in einer Zeile, die eine Epipolarlinie darstellt. Hieraus ergeben sich für n = 16 entsprechend 16 Werte des Ähnlichkeitsmaßes, hier speziell die Korrelationsergebnisse der KKFMF. Der Ergebnisblock ist somit ebenfalls 1×16 Pixel groß. Durch diese Verarbeitung der Daten kann die Anzahl der benötigten Korrelationen pro Zeile im Vergleich zu einer herkömmlichen Flächenkorrelation erheblich reduziert werden. Ein weiterer Vorteil für die Implementierung, der sich aus dieser Verarbeitung ergibt, ist, dass keine unvorhersehbaren Sprünge auftreten. Dies ist besonders für eine Hardwareimplementierung günstig.
Beim hierarchischen Ansatz repräsentiert jede Auflösungsstufe einen bestimmten Messbereich. Die Verteilung der verschiedenen Messbereiche auf die einzelnen Auflösungsstufen hängt vom stereophotogrammmetrischen System ab, insbesondere von der Kamerakonstante und der Basisbreite. Die konkrete Auflösung der Kamera spielt für die Größe der einzelnen Messbereiche keine Rolle. Die Breite des Suchbereiches (im Beispiel 16 Pixel in Originalauflösung) ist hingegen eine wichtige Größe.
Die Aufteilung der Messbereiche für ein Beispielsystem mit zwei Kameras vom Typ JAI CV-M4 und einer Basisbreite von einem Meter ist in Tab. 1 dargestellt.
In der Auflösungsstufe k₀ ergibt sich folgendes Problem für den Messbereich. Er umfasst hier theoretisch 2000–112 m, praktisch sind die relevanten Objekte (z. B. Fahrzeuge) in dieser Entfernung nur noch 1 Pixel groß, so dass die entferntesten vermessbaren relevanten Objekte bei ca. 400 m liegen. Für Objekte bei denen eine Disparität 0 gemessen wird gilt das gleiche Problem.

Da bei stereophotogrammmetrischen Systemen nur dann gemessen werden kann, wenn eine Überdeckung der beiden Abbildungsbereiche der Kameras besteht, ist eine Implementierung der 5. Auflösungsstufe und höherer speziell bei diesem System nicht sinnvoll. Des weiteren ergibt sich bei einer Zeile mit 1024 Pixeln in der 5. Auflösungsstufe die mit dem hierarchischen Verfahren maximal zu ermittelnde Disparität von 512 Pixeln. Bei gleichbleibendem Suchbereich in allen Ebenen wird – übertragen auf die Originalauflösung – die maximale berechenbare Disparität von Auflösungsstufe zu Auflösungsstufe größer.

Auflösungsstufe/ k_i	Auflösung	Suchbereich [Pixel]	benötigte Korrelation s-werte	Messbereich [m]
0	1/1 Originalaufl.	16	16	400(2000)–112
1	½	32	24	112–56
2	¼	64	32	56–28
3	1/8	128	40	28–14
4	1/16	256	48	14–7
5	1/32	512	56	7–3,5

Tab. 1 Messbereichsübersicht an einem Beispielsystem

Zur Auswertung werden die Ergebnisse der einzelnen Auflösungsstufen übergreifend betrachtet. Durch die Verwendung der mittelwertfreien normierten Kreuzkorrelationsfunktion ergeben sich aussagekräftige Maxima, wodurch sich die Auswertung erleichtert. Zur Ermittlung der Disparität werden die Ergebnissblöcke der einzelnen Auflösungsstufen für jeden Referenzblock der Originalauflösung aneinander gereiht. Dabei wird entweder mit der gröbsten Auflösungsstufe k_p oder mit der feinsten Auflösungsstufe k_i(für i = 0 oder 1) begonnen. Die Ergebnisse der feinsten Auflösungstufe werden vollständig verwendet, die der anderen Auflösungsstufen nur in der jeweils 2. Hälfte des Korrelationsbereiches. Für das Beispiel in 4 werden also 16 Werte für die höchste Auflösung und je 8 für die anderen verwendet. In dem resultierenden Ergebnisblock wird nun das Maximum ermittelt. Anschließend muss anhand der Position und der Gleichung (3) D = xi·qi + ν0 (3)die Disparität abgelesen werden. Wobei x_i die Verschiebung des Maximums in der aktuellen Auflösungsstufe und v₀ die Verschiebung durch bereits überprüfte höher aufgelöste Stufen ist. Im Beispiel in 4 befindet sich das Maximum an der 22. Position und liegt somit in der Auflösungsstufe k₁. Die echte Disparität ergibt sich damit zu D = 16·1 + 6·2 = 28. Die ersten 16 Positionen werde durch die höher aufgelöste Auflösungsstufe kp abgedeckt. So kann im Beispiel mit 32 Korrelationswerten eine maximale Disparität von 64 Pixel ermittelt werden. Sollte das Maximum sich gerade am Übergang zweier Auflösungsstufen befinden, so wird der Mittelwert der beiden Disparitäten verwendet (4). ε > |D1 – D2| ⇒ D = ½(D1 + D2) (4)
Bei der Zuordnung der Ergebnisblöcke einer Stufe k_i zu den Blöcken der nächstniederen Auflösungstufe k_i+1 werden für den Fall q = 2 immer zwei aufeinanderfolgende Blöcke von k_i dem Block aus k_i+1 untergeordnet, der ihren Bereich vollständig einnimmt. So werden der 1. und der 2. Block in kp in 4 für die Auswertung dem 1. Block in k₁ zugeordnet.
Bei der Ermittlung der Disparität müssen weitere Daten, wie die x,y-Position des Ausschnittes zur Berechnung der 3D-Koordinaten aus der Disparität, das Korrelationsmaximum sowie die jeweiligen Nachbarn zur Ermittlung der subpixelgenauen Disparität und eine Zeitmarke, um das Bildpaar innerhalb einer Bildfolge zu identifizieren, gespeichert werden. Als Grundlage für die 3D-Berechnung wird der Schwerpunkt des Referenzblockes verwendet. Es werden jedoch nur an den Stellen die Datensätze übernommen, bei denen der Korrelationswert einen sinnvoll gewählten Schwellwert übersteigt. Dieser muss jedoch für jedes Aufgabengebiet neu definiert und ermittelt werden.
Es können zusätzliche noch andere Kriterien hinzugefügt werden, wenn dies erforderlich ist. Aus dieser Suche ergibt sich eine Zeile, in der für jeden Pixel die Disparität aus der höchstaufgelösten Auflösungsstufe verzeichnet ist, so fern diese das Schwellwertkriterium bestanden hat. Im Anschluss werden dann die subpixelgenaue Disparität z. B. mittels quadratischer Interpolation (5) und die 3D-Koordinaten unter Verwendung der entsprechenden Gleichungen berechnet. Daraus ergibt sich die Tiefenkarte einer Flächenkorrelation, die jedoch ein Raster von n Pixeln besitzt.
Bisher wurde nur der Fall q = 2 betrachtet. Für den Fall q = 3 erfolgt die Korrelation in gleicher Weise wie für den Faktor q = 2. Für die Auswertung ergibt sich die Struktur, die in 5 dargestellt ist. Hierbei wurde eine Blockbreite n = 12 verwendet. Dabei ist zu erkennen, das im Gegensatz zu q = 2 hier die Suchbereiche entsprechend eine Ausdehnung von 36 Pixeln der jeweils höheraufgelösten Auflösungsstufe haben. Des weiteren wird ein Teil von 1/q = 1/3 einer gröberen Auflösungsstufe k_i durch die feinere Auflösungsstufe k_i-1 abgedeckt. Somit werden aus der am höchsten aufgelösten Stufe alle 12 Werte verwendet und aus den anderen jeweils nur die zweiten 2/3. Alle weiteren Schritte erfolgen dann wieder analog zum Beispiel q = 2.
Bei der Implementierung des hierarchischen Ansatzes müssen für verschiedene Zielplattformen unterschiedliche Optimierungen durchgeführt werden. Im wesentlichen kommen Implementierungen in Hardware und in Software in Frage. In Software ist es für eine schnelle Verarbeitung unerlässlich, nicht zwingend benötigte Rechnungen, z. B. wenn Teile des Suchbereiches nicht interessieren, zu unterlassen und vorher abzufangen. Für eine Hardwareimplementierung sind andere Faktoren wichtig. Vor allem müssen unvorhergesehene Sprünge vermieden werden. So kann es in Hardware günstiger sein nicht benötigte Werte berechnen zu lassen, weil dadurch z. B. der Ladevorgang eines Shiftregisters unterstützt wird.
Im Speziellen kann dies am Beispiel der Umschaltung zwischen den Auflösungsstufen gut betrachtet werden. Bei Software ist es sinnvoll, so wie in 5 dargestellt die Korrelationswerte für den jeweils letzten Block innerhalb einer Auflösungsstufe gar nicht zu berechnen, da im entsprechenden Suchbereich keine Werte mehr vorhanden sind. Des weiteren muss außer für die höchste Auflösungsstufe jeweils nur die die 2. Hälfte der Werte berechnet werden, da die erste Hälfte immer bereits durch die entsprechend höhere Auflösungsstufe abgedeckt wird. Dadurch kann Rechenzeit gespart werden. Um für die Hardwareimplementierung die Verarbeitung sprungfrei zu halten, werden die Auflösungsstufen so zusammengesetzt, das sie als lange Bildzeilen erscheinen. Die Anzahl der Pixel der einzelnen Auflösungsstufen muss immer ein Vielfaches der Blocklänge sein. Bei dieser Anordnung werden jedoch die Pixel des letzten Referenzblockes einer Auflösungsstufe k_i mit den ersten Werten im Suchbereich der Auflösungsstufe k_i+1 korreliert. Diese Berechnungen ergeben keine sinnvollen Ergebnisse und dürfen somit nicht in die Auswertung einfließen. Doch aufgrund der vollständig parallelen Struktur des Hardwarekorrelators, der Eingangswerte unter anderem durch Shiftregister erhält, ist es günstiger diese Werte zu berechnen und später auszublenden, um den Datenfluss nicht zu unterbrechen. Dies ist ebenfalls in 6 dargestellt.
Daraus ergibt sich folgende Struktur für die Hardwareimplementierung. Zuerst werden die hierarchischen Stufen generiert. Anschließend werden die Pixel der einzelnen Stufen so in einem Dualport-RAM (DPR) gespeichert, das sich eine lange Zeile ergibt. Diese wird dann auf den Korrelator gegeben. Aufgrund dieser Struktur ist es möglich, den Steuerungsaufwand für den Korrelator, als eine komplexe Schaltung mit schwierigen Timingverhältnissen, zu minimieren. Beim Auslesen der DPR wird ein Steuersignal generiert, welches bereits die kritischen Stellen markiert. Direkt vor der Auswertung werden die Daten neu sortiert und für die Auswertung vorbereitet, hierbei werden dann die markierten Bereiche ausgeblendet. Anschließend erfolgt die Auswertung und Berechnung der 3D-Koordinaten, wie bereits beschrieben, mittels der subpixelgenauen Disparität.

Claims

Verfahren zur photogrammetrischen Bestimmung der Abstände und/oder Positionen von Objekten relativ zu einem Bezugsort durch Auswertung eines Stereobildpaares der Objekte, in der Art, dass das von 2 Kameras aufgenommene Stereobildpaar als ein Referenz-Grauwertbild und ein Such-Grauwertbild mit in Spalten und Zeilen angeordneten Pixeln vorliegt und deren Zeilen Epipolarlinien darstellen, mittels eines Ähnlichkeitskriteriums und aus dem Stereobildpaar erstellten Referenz- und Suchblöcken und unter Verwendung einer Bildpyramide, die aus dem Stereobildpaar generierte Bilder unterschiedlicher Auflösung/Auflösungsstufen enthält, wobei sich ein Suchbereich durch die schrittweise Verschiebung des Referenzblockes über das Suchbild im Sinne einer Disparität ergibt, der alle Suchblöcke für diesen Referenzblock enthält, wobei sich für einen Referenzblock durch den Vergleich mit den im zugeordneten Suchbereich liegenden Suchblöcken durch Berechnung des Ähnlichkeitskriteriums eine Folge von Ähnlichkeitsmaßen/Ergebnisblöcken ergibt, gekennzeichnet dadurch, dass a) aus dem Referenz- und Such-Grauwertbild des ursprünglichen Stereobildpaares i = 1... p neue Paare von Referenz- und Such-Grauwertbildern mit reduzierter Auflösung erzeugt werden, so dass insgesamt p + 1 Paare von Referenz- und Suchgrauwertbildern mit den Auflösungsstufen k_i mit i = 0 bis p vorliegen, bei denen sich nur die Zeilen-Auflösung R_i von zwei aufeinanderfolgenden Auflösungsstufen um einen vorgebbaren Reduktionsfaktor q_i = R_i-1/R_i mit i = 1 bis p unterscheidet, wobei das ursprüngliche Stereobildpaar die Auflösungsstufe k₀ besitzt, b) die Referenzblöcke, Suchblöcke, Suchbereiche und Ergebnisblöcke definiert werden, wobei der Suchblock ein zum Referenzblock identisches Format besitzt, der Suchbereich in Richtung der Zeilen verläuft und sich über alle Suchblöcke des zugehörigen Referenzblockes erstreckt, und dem Ergebnisblock für jede sich im Suchbereich ergebende Kombination aus Referenz- und Suchblock ein Ähnlichkeitsmaß zugeordnet wird, c) mehrere Auflösungsstufen übergreifend berechnet und ausgewertet werden und im Ergebnis jedem Referenzblock eine der den verarbeiteten Auflösungsstufen entsprechende Anzahl von Ergebnisblöcken zugeordnet wird, d) mindestens zwei der dem Referenzblock der Auflösungsstufe k₀ zugeordneten Ergebnisblöcken nach Extremwerten durchsucht und deren Positionen ermittelt werden, wobei für alle Auflösungsstufen außer der Auflösungsstufe k₀ jeweils ein Bereich zu Beginn des Ergebnisblockes der bereits in der vorhergehenden Auflösungsstufe erfasst wurde, von der Suche ausgenommen wird, e) die Disparität für mindestens einen Referenzblock der Auflösungsstufe k_i dadurch bestimmt wird, dass aus den Ergebnisblöcken der einzelnen Auflösungsstufen, die überlappen, der Ergebnisblock durch Auflösungsstufen übergreifende Betrachtung mit dem globalen Extremwert bestimmt wird und sich die Disparität aus der Position des Extremwertes unter Beachtung der entsprechenden Auflösungsstufe ergibt und aus der Disparität die Position des zugehörigen Objektpunktes in an sich bekannter Weise bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Genauigkeit der berechneten Disparität eines Referenzblockes durch Subpixelinterpolation erhöht wird, in dem z. B. eine Folge von Ähnlichkeitsmaßen durch ein Polynom approximiert und dessen globaler Extremwert bestimmt wird.
Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass der Abstand zwischen der Position des Beginns eines Referenzblockes und der Position des Beginns des ihm vorhergehenden Referenzblockes gleich der Länge des vorhergehenden Referenzblockes ist.
Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass mindestens zwei Verfahrensschritte aus Anspruch 1 teilweise oder vollständig gleichzeitig auf mindestens zwei Soft- und/oder Hardware-Instanzen durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Spaltenanzahl des Suchbereiches innerhalb einer Auflösungsstufe kleiner als die Spaltenanzahl des Such-Grauwertbildes des ursprünglichen Stereobildpaares ist, insbesondere sehr viel kleiner als diese.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Realisierung einer zweidimensionalen Suche die Anzahl der Pixel eines Referenzblockes in Spaltenrichtung kleiner als die entsprechende Anzahl der Pixel des Suchbereiches ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Erzeugung der Auflösungsstufen eine Wichtung der Grauwerte von Pixeln, die in den gleichen Spalten mindestens zweier benachbarter Zeilen liegen, mit einer vorgegebenen Verteilungsfunktion in Spaltenrichtung erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Zwecke einer optimalen Verfahrensdurchführung die Oberfläche von Objekten mindestens teilweise mit Grauwert- oder Farbverläufen insbesondere mit projizierten Texturen, versehen ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erzeugung der Auflösungsstufen durch Wichtung der Grauwerte benachbarter Pixel mit einer vorgegebenen Verteilungsfunktion erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet dass die Anzahl der Pixel in Zeilenrichtung und/oder die Anzahl der Pixel in Spaltenrichtung in den Referenzblöcken für mindestens zwei Auflösungsstufen verschieden ist.