DE19636028C1 - Verfahren zur Stereobild-Objektdetektion - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren zum Detektieren und gegebenenfalls auch zum Verfolgen von Objekten mittels Aufnahme und Auswertung von Stereobildern. Ein solches Verfahren ist bei­ spielsweise nützlich als Hilfsmittel zum automatisierten Führen von Straßenfahrzeugen oder auch auf dem Gebiet der Robotik, wo es jeweils darauf ankommt, relevante Objekte zu detektieren und deren Position und Größe zu bestimmen. Im Fall der autonomen Fahrzeugführung, z. B. im städtischen Stop, sind neben stehenden Objekten, die sich im Fahrbereich des Fahrzeugs befin­ den, auch alle bewegten Objekte im näheren Umfeld zu detektie­ ren. Hingegen ist für derartige Anwendungen keine vollständige, dichte Tiefenkarte der Szene erforderlich. So kann meist von ei­ ner relativ ebenen Grundfläche und deutlich erhabenen Objekten ausgegangen werden. Es brauchen zudem keine Detailinformationen, wie die genaue Form eines vorausfahrenden Fahrzeugs, abgeleitet werden. Derartige vereinfachende Randbedingungen gelten analog für eine Vielzahl von Problemstellungen auf den Gebieten der Ro­ botik und der Überwachungstechnik.

Die Verfahren zur Stereobild-Objektdetektion lassen sich in flä­ chenbasierte Methoden und merkmalbasierte Methoden unterteilen. Flächenbasierte Methoden sind z. B. in den Konferenzbeiträgen K. Sane Yoshi, 3-D image recognition system by means of stereo­ scopy combined with ordinary image processing, Intelligent Ve­ hicles ′94, 24.10.1994 bis 26.10.1994, Paris, Seiten 13 bis 18 und L. Matthies et al., Obstacle detection for unmanned ground vehicles : a progress report, Intelligent Vehicles ′95, 25./ 26.09.1995, Detroit, Seiten 66 bis 71 beschrieben. Sie erfordern einen höheren Rechenaufwand als merkmalbasierte Methoden. Für einen Überblick über gängige Stereobild-Objektdetektionsver­ fahren sei auf das Buch O. Faugeras, Three-Dimensional Computer Vision, MIT Press, 1993 verwiesen.

Aus der Offenlegungsschrift DE 44 31 479 A1 ist ein Verfahren zur Detektion von Objekten, insbesondere Fahrzeugen, bekannt, bei dem von einem jeweiligen Bereich zwei Bilder aus verschiede­ nen Blickwinkeln aufgenommen werden. Aus einem Vergleich der beiden Bilder, insbesondere deren Grauwerte, wird für mindestens einen Teilbereich jeweils dann ein Objekt erkannt, wenn der Un­ terschied zwischen den beiden Bildern für den betreffenden Teil­ bereich größer als eine vorgegebene Schwelle ist.

Bei einem in der Offenlegungsschrift DE 43 08 776 A1 offenbarten System zur Überwachung eines fahrzeugexternen Zustandes ist eine Stereobild-Objektdetektion vorgesehen, durch die ein jeweiliges Objekt innerhalb einer festen Region außerhalb eines Fahrzeugs abgebildet wird. Die aufgenommenen Bilder werden einer Bildver­ arbeitungsvorrichtung zugeführt, welche eine Distanzverteilung über das gesamte Bild hinweg berechnet. Um ein jeweiliges Objekt im linken und rechten Bild aufzufinden, wird das jeweilige Bild in kleine Regionen unterteilt, und es werden Farb- oder Hellig­ keitsmuster innerhalb dieser Regionen für die beiden Bilder ver­ glichen, um die Regionen mit sich entsprechenden Objektdetails herauszufinden und daraus die Distanzverteilung über das gesamte Stereobild zu bestimmen.

In der Offenlegungsschrift EP 0 626 655 A2 ist eine Einrichtung zur Erkennung vorausfahrender Fahrzeuge und zur Bestimmung von deren Entfernung beschrieben, die von einem Stereobild-Objektde­ tektionsverfahren Gebrauch macht. Für die Bildauswertung werden spezielle, auf das Erkennen von Fahrzeugkonturen zugeschnittene Techniken eingesetzt, welche Fahrzeugkonturmodelle verwenden. Für ein erkanntes Fahrzeug wird die zugehörige Disparität und daraus die Fahrzeugentfernung ermittelt.

Der Erfindung liegt als technisches Problem die Bereitstellung eines Verfahrens zur Stereobild-Objektdetektion zugrunde, das sich besonders für die oben genannten Anwendungsfälle mit ver­ einfachten Randbedingungen eignet und vergleichsweise effizient und robust ist.

Die Erfindung löst dieses Problem durch die Bereitstellung eines Verfahrens mit den Merkmalen des Anspruchs 1. Bei diesem Verfah­ ren wird aus dem aufgenommenen Stereobildpaar zunächst ein Strukturklassenbildpaar erzeugt, indem für jeden Bildpunkt die Helligkeitsdifferenzen zu vorgegebenen Umgebungsbildpunkten in digitaler Form ermittelt und die Digitalwerte in einer vorbe­ stimmten Reihenfolge zu einer Digitalwertgruppe zusammengefaßt werden. Jede der verschiedenen möglichen Gruppen definiert dabei eine eigene Strukturklasse. Anschließend wird eine vergleichs­ weise effektiv durchführbare, zweckmäßig einfach gestaltete Kor­ respondenzanalyse durchgeführt, bei der alle Strukturklassen un­ berücksichtigt bleiben, die in Richtung der Epipolarlinie, d. h. zur Linie sich entsprechender Bildpunktpaare eines jeweiligen gemeinsamen Urbildpunktes, keinen Strukturgradienten zeigen.

Dies sind diejenigen Strukturklassen, deren Bildpunkte sich in ihrer Helligkeit nicht um ein vorgebbares Maß von der Helligkeit der in Richtung der Epipolarlinie liegenden Umgebungsbildpunkte unterscheiden. Dadurch wird bereits ein merklicher Bildverarbei­ tungsaufwand eingespart. In dieser Richtung verlaufende Struktu­ ren eignen sich systembedingt bei der merkmalsbasierten Stereo­ bildauswertung ohnehin nicht zur Entfernungsbestimmung. Zu allen übrigen Strukturklassen werden dann Disparitätswerte korrespon­ dierender Bildpunkte gleicher Strukturklasse ermittelt, die in einem Disparitätshistogramm zu einem jeweiligen Häufigkeitswert akkumuliert werden. Optional kann für jedes korrespondierende Bildpunktpaar der zugehörige Disparitätswert mit einem gewichte­ ten Häufigkeitsinkrement in das Histogramm eingehen. Anschlie­ ßend wird das Histogramm auf Häufungspunktbereiche untersucht. Zu festgestellten, interessierenden Häufungspunktbereichen wird dann umgekehrt die zugehörige Bildpunktgruppe eines zugehörigen Strukturklassenbildes dargestellt und als in einer bestimmten Entfernung befindliches Objekt interpretiert. Es zeigt sich, daß dieses Objektdetektionsverfahren für viele Anwendungsfälle sehr effektiv arbeitet und robuste, d. h. wenig störanfällige Resul­ tate liefert.

Sei einem nach Anspruch 2 weitergebildeten Verfahren wird eine ternäre Logik zur Digitalisierung der Helligkeitsdifferenzen verwendet, was eine für die hier betrachteten Anwendungen sehr vorteilhafte, weil einerseits ausreichend differenzierte und an­ dererseits ausreichend schnell durchführbare Strukturklassifi­ zierung ermöglicht.

Bei einem nach Anspruch 3 weitergebildeten Verfahren werden als Umgebungsbildpunkte die vier Bildpunkte gewählt, die an den je­ weiligen Bezugsbildpunkt zum einen parallel und zum anderen senkrecht zur Epipolarlinie jeweils beidseits direkt angrenzen oder von diesem um eine vorgebbare Abgriffweite beabstandet an­ geordnet sind. Eine Abgriffweite in der Größe eines oder even­ tuell auch mehrerer Bildpunkte ermöglicht die Einbeziehung eines größeren Nachbarschaftsbereiches, was in Fällen zweckmäßig ist, in denen sich die Helligkeitsgradienten typischerweise über ei­ nen Bereich mehrerer Bildpunkte hinweg erstrecken.

Bei einem nach Anspruch 4 weitergebildeten Verfahren ist der er­ forderliche Berechnungsaufwand weiter dadurch verringert, daß kleine Disparitäten favorisiert werden, indem zu jedem Bildpunkt des einen Strukturklassenbildes nur die minimale Disparität, d. h. die Entfernung des nächstgelegenen Bildpunktes gleicher Strukturklasse im anderen Strukturklassenbild, ermittelt und für die Erstellung des Disparitätshistogramms berücksichtigt wird. Die zugrundeliegende Annahme der Favorisierung kleiner Dispari­ täten und damit großer Objektentfernungen ist insbesondere bei der Verwendung in Fahrzeugen für die Betrachtung von Straßensze­ nen mit ihren relativ großen Hindernissen angemessen. Mit dieser Vorgehensweise wird zudem das Auftreten von nahen Phantomobjek­ ten bei der Korrespondenzanalyse unterdrückt, wie sie durch weit entfernte, periodische Strukturen, z. B. Häuserfronten, generiert werden können.

Bei einem nach Anspruch 5 weitergebildeten Verfahren wird jedem Bildpunkt neben der die Helligkeitsdifferenzen repräsentierenden Digitalwertgruppe ein die Größe der aufgetretenen Helligkeits­ differenzen stärker differenzierender Kontrastwert zugeordnet, der als Gewichtsfaktor zur Bildung eines gewichteten Häufig­ keitsinkrementes verwendet wird. Für jedes korrespondierende Bildpunktpaar, für das ein Disparitätswert ermittelt wird, wird dann selbiger mit dem kontrastabhängig gewichteten Häufigkeits­ inkrement zum Disparitätshistogramm akkumuliert. Dadurch werden kontrastreiche Strukturen stärker bei der Bildauswertung berück­ sichtigt, was das Grundrauschen vermindert.

Bei einem nach Anspruch 6 weitergebildeten Verfahren wird die Objektdetektion durch eine Ballungsanalyse der als zu einem je­ weiligen Objekt gehörig interpretierten Bildpunktgruppe erwei­ tert, die einerseits ausreichend einfach gestaltet ist und ande­ rerseits eine verbesserte Lokalisierung und Bewegungsverfolgung des Objektes erlaubt.

Bei einem nach Anspruch 7 weitergebildeten Verfahren wird an­ schließend an die Detektion eines Objektes eine kontinuierliche Bewegungsverfolgung desselben durchgeführt, indem die erfin­ dungsgemäße Objektdetektion beschränkt auf einen minimalen, das detektierte Objekt enthaltenden Kubus zyklisch wiederholt durch­ geführt wird. Die Beschränkung auf den hierfür jeweils relevan­ ten Bildbereich spart nicht nur Rechenaufwand ein, sondern redu­ ziert vor allem auch den Einfluß störender Hintergrundobjekte. Außerdem braucht nur noch ein relativ kleiner Bereich von Dis­ paritätswerten ausgewertet werden, wobei die zugehörige Tiefe des Kubus von der maximal zu erwartenden Entfernungsänderung be­ stimmt ist.

Ein nach Anspruch 8 weitergebildetes Verfahren eignet sich für Straßenfahrzeuge und beinhaltet ein plausibles Straßenmodell, das es gestattet, Strukturen der Straßenoberfläche mit hoher Zu­ verlässigkeit herauszufiltern, was die Detektion von Objekten im Bereich über der Straßenoberfläche erleichtert und/oder das zu­ verlässige Erfassen von Fahrbahnmarkierungen zur autonomen Fahr­ zeugquerführung ermöglicht.

Eine vorteilhafte Ausführungsform der Erfindung ist in den Zeichnungen illustriert und wird nachfolgend beschrieben. Hier­ bei zeigen:

Fig. 1 ein von einer Stereokameraanordnung eines Fahrzeugs auf­ genommenes Stereobildpaar,

Fig. 2 eine schematische Darstellung der zur Auswertung der Ste­ reobilder gemäß Fig. 1 verwendeten Strukturklassifizie­ rung,

Fig. 3 eine Grauwertdarstellung des durch die Strukturklassifi­ zierung gemäß Fig. 2 aus dem linken Stereobild von Fig. 1 erhaltenen Strukturklassenbildes,

Fig. 4 ein durch Korrespondenzanalyse der beiden, zu den Stereo­ bildern von Fig. 1 gehörigen Strukturklassenbildern er­ haltenes Disparitätshistogramm mit mehreren Häufungspunk­ ten,

Fig. 5 eine Darstellung der mit einem ersten Häufungspunkt von Fig. 4 verknüpften Bildpunktgruppe und

Fig. 6 eine Darstellung der mit einem zweiten Häufungspunkt von Fig. 4 verknüpften Bildpunktgruppe.

Fig. 1 zeigt ein Stereobildpaar 1a, 1b, das eine typische Stra­ ßenverkehrsszene wiedergibt. Zur kontinuierlichen Aufnahme des Verkehrsgeschehens vor einem Fahrzeug anhand solcher Stereobild­ paare 1a, 1b ist an dem Fahrzeug in herkömmlicher Weise eine nach vorn gerichtete Stereokameraanordnung angebracht, deren op­ tische Achsen vorzugsweise parallel zueinander ausgerichtet und horizontal gegeneinander versetzt sind. In diesem Fall bilden die zugehörigen Epipolarlinien, d. h. diejenigen Linien, entlang denen der zu einem gemeinsamen Urbildpunkt gehörige Bildpunkt im einen Stereobild gegenüber dem entsprechenden Bildpunkt im ande­ ren Stereobild versetzt sein kann, gleichzeitig jeweilige Bild­ zeilen des Stereo-Bildpaares 1a, 1b, was die spätere Dispari­ tätsauswertung besonders einfach macht. Die Stereobildüberwa­ chung des Verkehrsgeschehens vor dem Fahrzeug läßt sich insbe­ sondere zum automatisierten Führen des Fahrzeugs in Längs- und/ oder Querrichtung bzw. zur Warnung vor auftretenden Hindernis­ sen, wie anderen Fahrzeugen und Fußgängern, verwenden. Interes­ sierende Objekte sind bei dem Stereobildpaar 1a, 1b von Fig. 1 folglich vor allem das auf derselben Fahrspur vorausfahrende Fahrzeug 2 sowie ein auf einer benachbarten Fahrspur befindli­ ches Fahrzeug 3. Ziel des nachfolgend näher beschriebenen Ob­ jektdetektionsverfahrens ist es vor allem, selbsttätig die Lage dieser beiden Objekte 2, 3 bezogen auf das eigene Fahrzeug rasch und zuverlässig zu ermitteln.

Hierfür wird jedes der beiden Stereobilder 1a, 1b in ein ent­ sprechendes Strukturklassenbild mittels einer Strukturklassifi­ zierung transformiert, wie sie in Fig. 2 schematisch angedeutet ist. Für jeden Bildpunkt x der beiden Stereobilder 1a, 1b wird eine Umgebungsbildpunktmenge definiert, die im Fall von Fig. 2 aus den vier in Zeilen- und Spaltenrichtung, d. h. parallel und senkrecht zur horizontalen Epipolarlinie, nächstbenachbarten Um­ gebungsbildpunkten x₀, x₁, x₂, x₃ besteht. Wenn sich diese Wahl der Umgebungsbildpunkte als zu lokal erweist, kann alternativ ein größerer Nachbarschaftsbereich von Umgebungsbildpunkten bzw. ein Satz weiter entfernter Umgebungsbildpunkte gewählt werden. Bei Wahl eines größeren Nachbarschaftsbereiches, die eine kubi­ sche Steigerung der Anzahl von Strukturklassen impliziert und die Empfindlichkeit bezüglich der jeweils gewählten Helligkeits­ schwellwerte anwachsen läßt, ist die Auswertung in einer Gauß­ pyramide von Vorteil. Zufriedenstellende Ergebnisse werden durch eine rechentechnisch weniger aufwendige Erhöhung der Abgriffwei­ te erzielt, d. h. anstelle der in Fig. 2 gewählten, in Zeilen- und Spaltenrichtung direkt benachbarten Umgebungsbildpunkte wer­ den dann solche gewählt, die zum Bezugsbildpunkt x einen Abstand von einem oder einigen wenigen Bildpunkten besitzen.

In jedem Fall wird dann paarweise die Helligkeit des Bezugsbild­ punktes x mit denjenigen des jeweiligen Umgebungsbildpunktes x₀ bis x₃ unter Vorgabe eines positiven Helligkeitsschwellwertes T in digitalisierter Form gemäß eine Ternärlogik verglichen, wobei als Vergleichsergebnis ein Helligkeitsdifferenz-Digitalwert d (x_i) in Form einer jeweiligen Ternärziffer gemäß nachfolgender Bezie­ hung generiert wird:

wobei g(x) die Helligkeit des Bezugsbildpunktes und g(x_i) mit i=0, . . . , 3 die Helligkeit des jeweiligen Umgebungsbildpunktes ist. Die vier zu einem jeweiligen Bildpunkt x in dieser Weise ermittelten Ternärziffern d(x₀) bis d(x₃) werden dann zu einer Gruppe in Form einer Ternärzahl C der Form

zusammengefaßt, wie in der rechten Hälfte von Fig. 2 veranschau­ licht. Für die so gebildete Ternärzahl C sind einundachtzig un­ terschiedliche Werte möglich, von denen jeder eine eigene Struk­ turklasse definiert. Anstelle der vorliegend beschriebenen ter­ nären Digitalisierung der Helligkeitsunterschiede kommen auch andere Mehrwert-Digitalisierungen in Betracht, allerdings werden bei einer nur binären Digitalisierung Gradienteninformationen, die ein wichtiger Bestandteil der nachfolgenden Korrespondenz­ analyse sind, unterdrückt, während höherwertige Digitalisierun­ gen einen erhöhten Rechenaufwand zur Folge haben.

Fig. 3 zeigt das Ergebnis der Strukturklassifikation für das linke Stereobild 1a von Fig. 1, wobei als Gesamthelligkeitsum­ fang das Intervall [0,255] und ein Helligkeitsdifferenzschwell­ wert von T=20 gewählt wurden. Zur besseren Veranschaulichung wurden die ermittelten Ternärzahlen C mit dem Faktor drei multi­ pliziert und invertiert, so daß die zur Strukturklasse mit der Ternärzahl C=0 gehörigen Bildpunkte in Fig. 3 weiß erscheinen. Aus Fig. 3 läßt sich erkennen, daß aufgrund der durch den Hel­ ligkeitsschwellwert T eingebrachten Nichtlinearität eine be­ trächtliche Datenreduktion erzielt wird. Im Bild von Fig. 3 ge­ hören etwa 50% aller Bildpunkte der Strukturklasse mit C=0 an. Weitere 25% der Bildpunkte gehören zu sogenannten horizontalen Strukturklassen, das sind jene mit horizontalen Strukturen, bei denen d(x₃)=d(x₁)=0 ist. Solche horizontalen Strukturklassen sind für die Auswertung von Stereobildern mit der vorliegend horizon­ tal gewählten Epipolarlinie nicht nutzbringend und werden daher bei der weiteren Bildauswertung nicht mehr berücksichtigt. Dem­ gemäß brauchen nur noch 25% der Bildpunkte einer Korrespondenza­ nalyse unterworfen werden. Durch Auswahl eines geeigneten Aus­ wertefensters läßt sich diese Bildpunktanzahl unter Erhöhung der Auswertesicherheit weiter steigern. So kann z. B. im vorliegenden Fall der merklich über dem Horizont und damit der Straßenober­ fläche liegende Bildbereich als nicht interessierend ausgeblen­ det werden. Ein günstiges Auswertefenster ist beispielhaft im linken Stereobild 1a von Fig. 1 mit dem dortigen weißen Rahmen 4 angedeutet. Mit der Wahl dieses Auswertefensters 4 wird bei der vorliegenden Bildszene die Menge an für die anschließende Korre­ spondenzanalyse zu berücksichtigenden Bildpunkten auf 13% aller Bildpunkte reduziert, und zugleich werden Störeinflüsse durch Disparitätsfehlbestimmungen vermieden, die auf ausgeblendete Bildbereiche zurückgehen.

An die Erzeugung des Strukturklassenbildpaares schließt sich ei­ ne vereinfachte Korrespondenzanalyse an, die zwar keine bild­ punktweise eindeutige Lösung des Korrespondenzproblems dar­ stellt, jedoch mit entsprechend geringerem Rechenaufwand ausrei­ chend zuverlässige Ergebnisse für die hier in Betracht kommenden Anwendungen liefert, bei denen die relevanten, zu detektierenden Objekte Strukturen mit zur Epipolarlinie im wesentlichen senk­ rechten Helligkeitsgradienten besitzen, was nicht nur für Fahr­ zeuge, sondern auch für die meisten stehenden Objekte und insbe­ sondere für Fußgänger gilt. Dazu wird im einzelnen wie folgt vorgegangen.

Zu jedem Bildpunkt im einen Strukturklassenbild als Bezugspunkt wird innerhalb eines vorgegebenen Disparitätsintervall nach auf der entsprechenden Epipolarlinie als der maßgeblichen Suchrich­ tung liegenden Bildpunkten derselben Strukturklasse im anderen Strukturklassenbild gesucht. Wegen der parallelen optischen Ach­ sen der Bildaufnahmekameras und der horizontal versetzten Anord­ nung derselben ergibt sich im vorliegenden Beispiel eine in Bildzeilenrichtung verlaufende Suchrichtung. Die Entfernung ei­ nes jeweils aufgefundenen Bildpunktes zur Lage des Bezugsbild­ punktes wird erfaßt und als zugehöriger Disparitätswert in einem Disparitätshistogramm akkumuliert, und zwar in einer ersten Al­ ternative ungewichtet, d. h. die Häufigkeit im Histogramm wird für jeden Disparitätswert pro Auftreten desselben um eins er­ höht. In einer zweiten Alternative wird ein den Bildkontrast be­ rücksichtigendes, gewichtetes Häufigkeitsinkrement verwendet. Dazu wird für jeden Bildpunkt x ein lokales Kontrastmaß aus den ermittelten Helligkeitsdifferenzen generiert, z. B. ein Kontrast­ maß K(x) der Form

wobei N die Anzahl der Umgebungsbildpunkte angibt, deren Hellig­ keit um mehr als der Helligkeitsschwellwert T von der Bezugs­ punkthelligkeit abweicht, und bei der Summation auch nur diese Umgebungsbildpunkte berücksichtigt werden. Damit erhält der ein­ zelne Bildpunkt ein Kontrastgewicht, das es erlaubt, kontrast­ reiche Strukturen bei der Disparitätsanalyse zu betonen. Eine Möglichkeit, dieses Kontrastmaß in der Erstellung des Dispari­ tätshistogramms zu berücksichtigen, besteht darin, den zu einem jeweiligen korrespondierenden Bildpunktpaar ermittelten Dispari­ tätswert nicht mit dem Häufigkeitsinkrement eins, sondern mit einem um das Minimum der zu den beiden korrelierenden Bildpunk­ ten gehörigen Kontrastwerte erhöhten Häufigkeitsinkrement in die Histogrammerzeugung eingehen zu lassen. Dies ergibt eine schär­ fere Trennung der Häufigkeitspunktbereiche, d. h. der Peakberei­ che, im resultierenden Disparitätshistogramm vom Untergrundrau­ schen.

Fig. 4 zeigt das durch den erläuterten Disparitätsanalysevorgang unter Verwendung des ungewichteten Häufigkeitsinkrementes eins aus dem Bereich des Auswertefensters 4 erhaltene Disparitäts­ histogramm mit Disparitätswerten zwischen null und zweihundert. Dabei wurden zu jedem Bezugsbildpunkt im einen Strukturbild alle in Richtung der entsprechenden Epipolarlinie liegenden Bildpunk­ te im anderen Strukturbild berücksichtigt. Alternativ dazu hat sich für den vorliegenden Anwendungsfall der Beobachtung des Straßenverkehrs die Favorisierung kleiner Disparitätswerte als vorteilhaft erwiesen, was mit einer Bevorzugung großer Entfer­ nungen korreliert. Denn in komplexen Straßenszenen bedingen häu­ fig periodische Strukturen, wie z. B. die Häuserfront 5 im Ste­ reobildpaar 1a, 1b von Fig. 1, ein starkes Rauschen im Dispari­ tätshistogramm, indem sie wegen ihrer Periodizität sehr nahe am Kameraort stehende Phantomobjekte vortäuschen. Dem wird durch die Favorisierung großer Entfernungen wirksam begegnet. In einer einfachen und effektiven Form geschieht dies dadurch, daß bei der Disparitätsanalyse zu jedem Bezugsbildpunkt im einen Struk­ turklassenbild nur der diesem auf der Epipolarlinie nächstgele­ gene Bildpunkt derselben Strukturklasse im anderen Strukturklas­ senbild berücksichtigt wird. Diese Vorgehensweise erweist sich für die Beobachtung des Straßenverkehrs bei den praktisch auf­ tretenden Straßenszenen mit ihren relativ großen Hindernissen als zulässig und wegen der dadurch bedingten Einsparung an Re­ chenzeit und der Unterdrückung von Phantomobjekten sehr vorteil­ haft. Alternativ zu dem in Fig. 4 gezeigten zweidimensionalen Histogramm kann bei Bedarf ein dreidimensionales Disparitäts­ histogramm als quantisierte Tiefenkarte angefertigt werden, bei dem als zusätzliche Histogrammachse der laterale Offset des je­ weiligen Bezugsbildpunktes zur Bildmittelachse herangezogen wird.

Nachdem das Disparitätshistogramm in der einen oder anderen Form erstellt wurde, wird dieses auf Häufungspunktbereiche hin unter­ sucht. In Fig. 4 sind von den ausgeprägten Häufigkeitspunktbe­ reichen die zwei d₁, d₂ mit den höchsten Disparitätswerten mar­ kiert, wobei der eine, d₁, einem Disparitäts-Spitzenwert von etwa 28 und der andere, d₂, einem Disparitäts-Spitzenwert von etwa 15 entspricht. Jeder solche Häufigkeitspunktbereich sollte einem Objekt im Beobachtungsbereich entsprechen. Um dies zu verifizie­ ren und dadurch die Objektdetektion zu vervollständigen, werden anschließend in zur Disparitätsanalyse umgekehrter Richtung die­ jenigen Bildpunkte eines Strukturklassenbildes wiedergegeben, die zu einem jeweiligen Disparitätshäufungspunktbereich gehören. So sind in Fig. 5 die zu dem Disparitätshäufungspunktbereich d₁ mit dem Disparitäts-Spitzenwert 28 gehörigen Bildpunkte und in Fig. 6 die zu dem Disparitätshäufungspunktbereich d₂ mit dem Dis­ paritäts-Spitzenwert 15 gehörigen Bildpunkte dargestellt. Wie daraus zu erkennen, gibt Fig. 5 bereits recht gut das auf der gleichen Fahrspur vorausfahrende Fahrzeug 2 wieder, während das auf der anderen Fahrspur befindliche Fahrzeug 3 das Bild von Fig. 6 dominiert. Es kann daraus geschlossen werden, daß diese beiden Fahrzeuge 2, 3 zu diesen beiden Disparitätshäufungspunkt­ bereichen d₁, d₂ gehören.

Aus dieser Zuordnung eines endgültigen Disparitätswertes zu ei­ nem jeweiligen Objekt kann die Entfernung L des letzteren von der Stereokameraanordnung durch die Beziehung L=f_x·B/d ermittelt werden, wobei B den Basisabstand der Stereokameraanordnung, f_x deren skalierte Brennweite und d den jeweiligen Disparitätswert bezeichnen. Anschließend kann das detektierte Objekt bei Bedarf kontinuierlich weiter beobachtet, d. h. verfolgt werden. Dazu wird einleitend eine einfache Ballungsanalyse vorgenommen, bei der ein rechteckförmiges Fenster minimaler Höhe und Breite so im resultierenden Objektbild analog den Fig. 5 und 6 positioniert wird, daß darin ein vorgegebener Mindestprozentsatz von z. B. 90% der gefundenen Bildpunkte enthalten ist. Da die obige trigono­ metrische Beziehung für die Objektentfernung L wegen der Diskre­ tisierung der Disparitätswerte vor allem bei kleinen Disparitä­ ten eine relativ grobe Näherung darstellt und in diesem Fall für die Bestimmung von Bewegungsvorgängen noch nicht optimal ist, kann es zudem zweckmäßig sein, eine verbesserte, einer subbild­ punktgenauen Messung entsprechende Disparitätsschätzung vorzu­ nehmen, bei der zum Spitzenwert eines jeweiligen Disparitätshäu­ fungspunktbereiches ein Korrekturterm der Form

d_d=0,5 · (h₊+h_-) / (2h_m-(h₊+h_-))

hinzuaddiert wird, wobei h_m den Spitzenwert und h₊ bzw. h_- die Disparitätshöhen im jeweiligen Seitenbereich bezeichnen.

Nach der solchermaßen bewerkstelligten Objektdetektion mit Be­ stimmung der Entfernung und der ungefähren Ausdehnung des jewei­ ligen Objektes wird in der nachfolgenden Verfolgungsphase eine auf den relevanten, gerade noch das zu beobachtende Objekt ent­ haltenden Bildbereich beschränkte Bildauswertung nach dem be­ schriebenen Verfahren in zyklisch wiederholter Form durchge­ führt. Die erfindungsgemäßen Verfahrensmaßnahmen ermöglichen ty­ pische Verfahrenszyklen von lediglich größenordnungsmäßig zwi­ schen 100ms und 200ms, verglichen mit typischen Zykluszeiten aufwendigerer Stereobildauswerteverfahren von mehreren Sekunden. Durch die Bildbereichsbeschränkung wird nicht nur Rechenzeit eingespart, sondern vor allem auch der Einfluß störender Hinter­ grundobjekte reduziert. Von zentraler Bedeutung ist, daß nur noch ein relativ kleiner Disparitätsbereich ausgewertet werden muß, indem um das zu verfolgende Objekt gedanklich ein Kubus ge­ legt wird, dessen Tiefe von der maximal zu erwartenden Entfer­ nungsänderung abhängt.

Die laterale Position eines interessierenden Objektes läßt sich für die Spurverfolgung mittels Strahlensatz beispielsweise aus der lateralen Position des Bildmittelpunktes oder alternativ des Bildschwerpunktes ermitteln. Zweckmäßigerweise werden die erhal­ tenen Resultate einer üblichen Kalman-Filterung unterworfen, um durch Berücksichtigung des Wissens über die eingeschränkten Be­ wegungsmöglichkeiten zu optimalen Resultaten zu gelangen.

Um Straßenoberflächenstrukturen von den Strukturen von über der Straßenoberfläche befindlichen Objekten zu isolieren, kann ein einfaches Straßenmodell Verwendung finden, bei dem eine ebene Straßenoberfläche und parallele optische Achsen der Stereoka­ meraanordnung angenommen werden. Für die zu erwartende Dispari­ tät d_E(x,y) eines Bildpunktes mit den Koordinaten (x,y) in der Bildebene ergibt sich dann aus der Kamerahöhe H über der Fahr­ bahn und dem Kameraneigungswinkel α gegenüber dem Horizont die Beziehung

d_E (x, y) = (B/H) f_x ((y/f_y) cosα+sinα),

wobei f_x und f_y die skalierten Brennweiten in den betreffenden Koordinatenrichtungen und B die Basisweite der Stereokameraan­ ordnung bezeichnen. Zur Extraktion der Straßenoberflächenstruk­ turen tragen unter diesen Voraussetzungen nur Punkte unterhalb des Horizontes bei. Dabei liegen alle Bildpunkte mit Dispari­ tätswerten, die innerhalb eines bestimmten Intervalls um den Er­ wartungswert liegen, auf der Straßenoberfläche, während diejeni­ gen mit größeren Disparitätswerten zu Objekten über der Straßen­ oberfläche gehören und diejenigen mit zu kleinen Disparitätswer­ ten von Reflexionen weiter entfernter Objekte herrühren.

Je nach Anwendungsfall können für die Objektdetektion zusätzlich Symmetrieüberlegungen verwendet werden, die den Rechenaufwand verringern und die Detektionssicherheit erhöhen können. In jedem Fall ermöglicht das erfindungsgemäße Verfahren eine bei gegebe­ ner Detektionssicherheit sehr rasche und robuste Objektdetektion und läßt sich zur optischen Echtzeit-Objektbeobachtung im Stra­ ßenverkehr, auf dem Gebiet der Robotik und überall dort einset­ zen, wo Bedarf an einer stereobildbasierten Detektion und gege­ benenfalls Verfolgung von Objekten besteht.

Claims (8)

1. Verfahren zur Stereobild-Objektdetektion, insbesondere für Straßenfahrzeuge, gekennzeichnet durch folgende Schritte:

• a) Erzeugen eines Strukturklassenbildpaares aus dem jeweiligen aufgenommenen Stereobildpaar (1a, 1b), indem für jeden Bild­ punkt (x) die Differenzen zwischen dessen Helligkeitswert (g(x)) und jedem der Helligkeitswerte (g(x_i);i=0, . . . , n-1) einer Anzahl (n) vorgegebener Umgebungsbildpunkte (x₀, . . . , x_n-1) als Digitalwerte (d(x_i)) bestimmt und die erhaltenen Digitalwerte zu einer Digitalwertgruppe (C) zusammengefaßt werden, wobei jeweils identische Digitalwertgruppen eine ei­ gene Strukturklasse definieren,
• b) Durchführen einer Korrespondenzanalyse des Strukturklassen­ bildpaares, bei der
• b. 1) nur diejenigen Strukturklassen berücksichtigt werden, deren Bildpunkte wenigstens einen in Richtung der Epipolarlinie liegenden Umgebungsbildpunkt mit um eine oder mehrere Hel­ ligkeitsdigitalstufen unterschiedlicher Helligkeit besitzen,
• b. 2) für jeden Bildpunkt einer jeweils noch berücksichtigten Strukturklasse des einen Strukturklassenbildes die innerhalb eines vorgebbaren Disparitätsintervalls auf der Epipolarli­ nie liegenden Bildpunkte derselben Strukturklasse des ande­ ren Strukturklassenbildes aufgesucht und der zugehörige Dis­ paritätswert ermittelt wird und
• b. 3) die dadurch insgesamt erhaltenen Disparitätswerte entspre­ chend einem zugeordneten Häufigkeitsinkrement in einem Dis­ paritätshistogramm akkumuliert werden, und
• c) Identifizieren von Häufungspunktbereichen (d₁, d₂) im er­ zeugten Disparitätshistogramm und Extrahieren eines jeweili­ gen Objektes aus der zum jeweiligen Häufungspunktbereich ge­ hörigen Bildpunktgruppe.

2. Verfahren nach Anspruch 1, weiter dadurch gekennzeichnet, daß zur Digitalwertermittlung im Schritt a ein Ternärsystem verwen­ det wird, wobei den Helligkeitsdifferenzen, die betragsmäßig kleiner gleich einem vorgegebenen positiven Helligkeitsschwell­ wert (T) sind, eine erste Ternärziffer, den Helligkeitsdifferen­ zen, die größer als der Schwellwert sind, eine zweite Ternärzif­ fer und den Helligkeitsdifferenzen, die kleiner als das Negative (-T) des Schwellwertes sind, die dritte der drei Ternärziffern zugeordnet wird.

3. Verfahren nach Anspruch 1 oder 2, weiter dadurch gekennzeichnet, daß als Umgebungsbildpunkte (x₀ bis x₃) jeweils zwei auf gegenüber­ liegenden Seiten des jeweiligen Bezugsbildpunktes (x) zum einen parallel und zum anderen senkrecht zur Epipolarlinie liegende Bildpunkte verwendet werden, die dem Bezugsbildpunkt direkt be­ nachbart oder von diesem um eine vorgebbare Abgriffweite beab­ standet angeordnet sind.

4. Verfahren nach einem der Ansprüche 1 bis 3, weiter dadurch gekennzeichnet, daß das vorgebbare Disparitätsintervall für die Korrespondenzanalyse so gewählt wird, daß zum jeweiligen Bildpunkt im einen Struktur­ klassenbild nur der nächstliegende Bildpunkt auf der Epipolarli­ nie im anderen Strukturklassenbild berücksichtigt und der dies­ bezügliche Disparitätswert im Disparitätshistogramm akkumuliert wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, weiter dadurch gekennzeichnet, daß jedem Bildpunkt des Strukturklassenbildpaares zusätzlich zur je­ weiligen Digitalwertgruppe ein in Abhängigkeit von den Hellig­ keitsdifferenzen ermittelter Kontrastwert (K(x)) als Gewichts­ faktor zugeordnet wird und der zu einem jeweiligen Bildpunktpaar ermittelte Disparitätswert mit einem in Abhängigkeit von den zu­ gehörigen Kontrastwerten gewichteten Häufigkeitsinkrement zum Disparitätshistogramm akkumuliert wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, weiter dadurch gekennzeichnet, daß die Extraktion des jeweiligen Objektes aus der zu einem jeweili­ gen Disparitätshäufungspunktbereich gehörigen Bildpunktgruppe eine Ballungsanalyse der Bildpunktgruppe umfaßt, mit der ein Rechteck minimaler Fläche ermittelt wird, das einen vorgebbaren Prozentsatz der Bildpunkte dieser Bildpunktgruppe enthält.

7. Verfahren nach einem der Ansprüche 1 bis 6, weiter dadurch gekennzeichnet, daß nach erstmaliger Extraktion des jeweiligen Objektes aus der zu einem jeweiligen Disparitätshäufungspunktbereich gehörigen Bild­ punktgruppe eine Bewegungsverfolgung desselben mittels wieder­ holtem Ausführen der Schritte a bis c eingeschränkt auf den Be­ reich eines minimalen, das betreffende Objekt enthaltenden Kubus durchgeführt wird.

8. Verfahren nach einem der Ansprüche 1 bis 7 zur Detektion von Objekten im Straßenverkehr, weiter dadurch gekennzeichnet, daß unter der Annahme eines im wesentlichen ebenen Straßenverlaufs und paralleler optischer Stereokameraachsen diejenigen Bildpunk­ te, deren zugeordnete Disparitätswerte innerhalb eines vorgege­ benen Erwartungsbereichs um einen der folgenden Beziehung genü­ genden Disparitätserwartungswert (d_E) d_E (x, y) = (B/H) f_x ((y/f_y) cosα+sinα),liegen, wobei B die Basisweite der Stereokameraanordnung, H de­ ren Höhe über der Straßenoberfläche, α deren Nickwinkel relativ zur Straßenoberfläche, f_x und f_y die laterale- bzw. vertikale Ka­ merabrennweite und y die von der optischen Achse nach unten wei­ sende Bildvertikalkoordinate darstellt, als zu einem Objekt der Straßenoberfläche gehörig interpretiert werden.