DE19630194B4

DE19630194B4 - Verfahren zur Detektion von Objekten

Info

Publication number: DE19630194B4
Application number: DE19630194A
Authority: DE
Inventors: Roland Herrmann; Christoph Rössig; Rudolf Dr. Mester; Michael Dr. Hoetter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1996-07-26
Filing date: 1996-07-26
Publication date: 2006-06-01
Anticipated expiration: 2016-07-27
Also published as: DE19630194A1

Abstract

Verfahren zur Detektion von Objekten auf ebenen Flächen, insbesondere Straßen, mit einer Stereokameranordnung, wobei die beiden Bilder der Stereokamera miteinander über eine Recheneinheit blockweise verglichen werden, um ein Objekt durch eine Disparität zwischen den Bildblöcke zu erkennen, wobei die Abbildung der Ebene zwischen den Bildern der Kameras von Modellparametern a →_i, die aus dem dreidimensionalen Ebenenvektor n → und den geometrischen Verhältnissen der Kameras zueinander abgeleitet werden, beschrieben wird, dadurch gekennzeichnet, daß ein zweidimensionaler Verschiebungsvektor D → geschätzt wird, der die relative Verschiebung eines Bildblocks der Kamera 2 zu demselben Bildblock der Kamera 1 quantitativ beschreibt, und daß aus dem Verschiebungsvektor D → der Ebenenvektor n → berechnet wird.

Description

Die Erfindung geht aus von einem Verfahren zur Detektion von Objekten auf ebenen Flächen, insbesondere Straßen, nach der Gattung des Hauptanspruchs. Es ist aus der Literatur bereits ein solches Verfahren zur Hinderniserkennung mithilfe einer Sterokameraanordnung bekannt (Proceedings of the 5th ICCV, June 1995 „An integrated stereo-based approach to automatic vehicle guidance", Luong, Weber, Koller und Malik). Diese Veröffentlichung beschreibt ein Verfahren zur videogestützten automatischen Fahrzeugführung. Dabei wird die Straße mit einer Stereokameraanordnung beobachtet und Hindernisse, wie z.B. vorausfahrende Fahrzeuge mit der Stereokamera erkannt und verfolgt. Zur Erkennung möglicher Hindernisse wird die Disparität zwischen den vorverarbeiteten Stereobildern bestimmt. Bildpunkte mit der Disparität Null werden als zur Straße zugehörig angenommen und für die Hinderniserkennung nicht weiter betrachtet. Die Straße wird dabei als Ebene angesehen. Objekten oberhalb der Straßenebene sind Bildpunkte mit von Null verschiedenen Disparitäten zugeordnet. Es werden Bildpunkte mit Disparitäten größer einem bestimmten Schwellwert gesucht und in einen Objektmaske eingetragen. Um die beiden Bilder der Straßenebene in Bezug auf die unterscheidlichen Perspektiven der Stereokameras zur Deckung zu bringen, wird nach dem Stand der Technik eine Helmholtz-Scherung durchgeführt.

Dabei wird davon ausgegangen, daß die beiden Blickrichtungen keine Rotation zueinander aufweisen. Ferner wird davon ausgegangen, daß die x-Komponente des Ebenenvektors Null ist, d. h. ein Wanken der Stereokameraanordnung wird nicht berücksichtigt. Durch den vereinfachten Ansatz müssen lediglich zwei geometrische Parameter bestimmt werden. Bei einem Wanken der Anordnung gegenüber der Straße können fälschlicherweise Teile der Straße bereits als Objekte erkannt werden. Zur Bestimmung der Stereodisparität wird ein Korrelationsverfahren verwendet.

Aus Faugeras, Lustman, „Motion and Structure from motion in a piecewise planar environment", Int. J. of Pattern Recognition and Artifical Intelligence, Vol 2, No. 3, 1988, p 485ff ist ein Ebenen-Abbildungs-Modell bekannt. Die deutsche Offenlegungsschrift DE 43 11 972 offenbart ein Verfahren zur Detektion von Änderungen in Bewegtbildern. Ein Verfahren zur Ermittlung von Verschiebungsvektoren ist aus der Veröffentlichung "Zuverlässigkeit und Effizienz von Verfahren zur Verschiebungsvektorschätzung" (DAGM 95, Bielefeld, Mester, Hötter) bekannt.

Die deutsche Offenlegungsschrift DE 40 15 959 A1 offenbart eine Anordnung zur Erkennung von Hindernissen, wobei zwei im Abstand angeordnete Videokameras Videosignale erzeugen.

Der Erfindung liegt die Aufgabe zugrunde, Objekte genauer zu detektieren und Fehldetektionen zu reduzieren.

Vorteile der Erfindung

Das erfindungsgemäße Verfahren mit den kennzeichnenden Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß der vollständige, dreidimensionale Ebenenvektor n → bestimmt wird und damit ein Wanken in der Stereokameraanordnung berücksichtigt wird, wodurch Objekte genauer detektiert und Fehldetektionen reduziert werden. Das erfindungsgemäße Verfahren hat weiterhin den Vorteil, daß die beiden Blickrichtungen der Kameras einen Rotation zueinander aufweisen können. Besonders vorteilhaft ist es, daß die Ebenenparameter der Straße über Verschiebungsvektoren zwischen den Bildbereichen zweier Videoaufnahmen berechnet werden. Vorteilhafterweise kann aus den geschätzten Verschiebungsvektoren, die zweidimensionale Vektoren sind, der dreidimensionale Ebenenvektor abgeleitet werden. Dadurch erhält man eine Schätzung des Ebenenvektors n →. Der Ebenenvektor n → wird zusammen mit geometrischen Größen der Stereokameraanordnung zur Bestimmung der Modellparameter a → benutzt. Die Modellparamater a → beschreiben die Abbildung der Ebene zwischen den Bildern der Stereokameranordnung. Das Verfahren, einer Schätzung des Ebenenvektors ist gegenüber einer Schätzung der gesamten

Modellparameter a →_i robuster, da weniger Parameter berechnet werden und der Einfluß von Störgrößen geringer wird. Der Ebenenvektor erlaubt auch im Gegensatz zu den Modellparametern a → eine direkte physikalische Interpretation und Beurteilung.

Durch die in den Unteransprüchen aufgeführten Maßnahmen ist eine vorteilhafte Weiterbildung und Verbesserung des im Hauptanspruchs angegebenen Verfahrens möglich.

Vorteilhafterweise werden zur Reduzierung des Rechenaufwands nur solche Bildbereiche ausgewertet, die für die Objekterkennung in der Straßenszene relevant sind. Der zu bearbeitende Bildbereich wird dabei auf die Fahrbahn eingegrenzt. Dadurch wird die rechenzeitintensive Messung der Verschiebungsvektoren auf im Vergleich zur gesamten Bildfläche prozentual kleine Bildbereiche beschränkt. Die Berücksichtigung der örtlichen Verteilung verhindert eine Verfälschung des Regressionsergebnisses.

Vorteilhafterweise wird der Verschiebungsvektor in einem zweidimensionalen Suchbereich geschätzt.

Darüberhinaus hat das Verfahren den Vorteil, daß zur Bestimmung der Dispärität ein statistischer Ansatz verwendet wird, der eine Zuverlässigkeit bestimmter Disparitäten berücksichtigt.

Es ist dabei von Vorteil, die Verschiebungsvektoren auf ihre Zuverlässigkeit zu überprüfen und damit der Schätzung eine gewisse Gewichtung zu verleihen. Dabei werden Punktmessungen und Linienmessungen unterschieden.

Der erfindungsgemäße Verfahrensablauf der Objektdetektion weist mehrere Vorteile auf. Zur Stabilisierung der Ebenenvektorbestimmung wird die Zuverlässigkeit der in die Regression eingehenden Verschiebungsvektoren berücksichtigt. Zudem wird die Schätzgenauigkeit bei der Ermittlung des Ebenenvektors ausgewertet. Bei geringer Schätzgenauigkeit werden die im vorhergehenden Zeitpunkt bestimmten Ebenenvektoren zur Berechnung des aktuellen Ebenenvektors stärker berücksichtigt. Es wird eine Vorkompensation der Straßenebene mit den Kompensationsparametern a →, die aus dem vorhergehenden Durchlauf des Verfahrens stammt, vorgenommen. Dadurch ist bereits eine Anpassung an den aktuellen Straßenzustand erreicht. Die vorzunehmende Helligkeitsanpassung der beiden Bilder der Stereokameraanordnung vermeidet systematische Fehler beim Vergleich von Grauwerten zwischen den beiden Bildern aufgrund von unterschiedlichen Helligkeitsparametern der beiden Kameras.

Bei der Umrechnung eines Bildes einer Kamera der Sterokameraanordnung in die Perspektive der anderen Kamera wird vorteilhafterweise ein auf Geradenschnittpunkten basierendes Verfahren verwendet, welches gegenüber der Umrechung jedes einzelnen Pixels unter Anwendung der Modellparameter-Abbildungsgleichungen rechenzeiteffizienter ist.

Vorteilhafterweise sind die Kameras horizontal oder vertikal linear angeordnet, so daß nur ein eindimensionaler Verschiebungsvektor in horizontaler oder vertikaler Richtung geschätzt werden muß, was eine zusätzliche Stabilisierung und eine Reduzierung der Rechenzeit bewirkt.

Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen 1 ein Ablaufdiagramm zum Ausführungsbeispiel, 2 ein Ablaufdiagramm zur Bestimmung der neuen Kompensationsparameter, 3 ein Ablaufdiagramm zur Auswahl relevanter Bildbereiche, 4 ein Ablaufdiagramm zur Bestimmung der Ebenenparameter und 5 eine Vorrichtung zur Durchführung des Verfahrens. 6 zeigt schematisch die geometrische Anordnung der Bildaufnahmeeinheiten.
Beschreibung des Ausführungsbeispiels
5 zeigt eine Vorrichtung zur Objektdetektion aus Stereobildfolgen bewegter Kameras. Die Stereokameraanordnung 1 ist über eine Datenleitung mit der Recheneinheit 2 verbunden und besteht aus einer rechten und einer linken Bildaufnahmeeinheit, die aus unterschiedlichen Blickwinkeln dieselbe Straßenszene beobachten. Die Recheneinheit 2 ist über weitere Datenleitungen 6 mit einer Eingabeeinheit 3, einen Speicher 4 und einem Bildschirm 5 verbunden.
Die geometrische Anordnung der Bildaufnahmeeinheiten ist in 6 schematisch dargestellt. In jeder Bilddaufnahmeeinheit liegt ein Koordinatensystem, wobei die x-Achse parallel zur horizontalen Achse des Bildes, die y-Achse parallel zur vertikalen Achse des Bildes und die z-Achse senkrecht auf beiden in Blickrichtungen der Bildaufnahmeeinheit liegt. Der Ursprung des t → Koordinatensystems der rechten Bildaufnahmeeinheit ist gegenüber dem Ursprung des Koordinatensystems der linken Bildaufnahmeeinheit um den Translationsvektor t → = (t_x t_y t_z)^T verschoben. Weiterhin können beide Bildaufnahmeeinheiten beliebig gegeneinander verdreht sein, was durch die Rotationsmatrix R beschreiben wird. Voraussetzung ist lediglich, daß sie noch dieselbe Straßenszene aufzeichnen.
1 bis 4 zeigen Ablaufdiagramme, die einen Verfahrensablauf beschreiben, welcher im Ausführungsbeispiel realisiert ist. Das Programm für den Verfahrensablauf ist auf dem Speicher 4 abgelegt und wird von der Recheneinheit 2 ausgeführt. Ergebnisse, die aus dem Programmablauf erzielt werden, werden auf dem Bildschirm 5 dargestellt. Über die Eingabeeinheit 3 kann das Programm in seinem Ablauf beeinflußt werden. Die Stereokameraanordnung 1 liefert die Fernsehbildfolgen einer Straßenszene. Eingang in die weiteren Berechnungen nimmt ein Ebenen-Abbildungs-Modell, das aus der Literatur hinlänglich bekannt ist und nicht weiter beschrieben werden muß (Faugeras, Lustman, „Motion and Structure from motion in a piecewise planar environment", Int. J. of Pattern Recognition and Artifical Intelligence, Vol 2, No. 3, 1988, p 485ff).
In 1 wird schematisch der Programmablauf zur Objektdetektion aus Stereobildfolgen bewegter Kameras dargestellt. Eingangssignale zum Zeitpunkt i sind das Bild links S_l,i und das Bild rechts S_r,i. Dies sind zwei Bilder, die eine identische Straßenszene zum selben Zeitpunkt i aus unterschiedlichen Perspektiven abbilden.
Das Bild rechts wird, um Helligkeitsunterschiede zwischen den Bildern auszugleichen, die durch unterschiedliche Eigenschaften der Bildaufnahmeeinheiten (Blende, Verstärkung, etc.) oder die unterschiedlichen Perspektiven verursacht werden, zuerst mit dem Parametersatz h →_i–1 = (h_1,i–1 h_2,i–1)^T an die Helligkeit des linken Bildes angeglichen 7. Bei dieser Helligkeitsadaption ergibt sich für die Helligkeit aller Bildpunkte s_r,i des Bildes rechts S_r,i eine neue Helligkeit s_rh,i im angepaßten Bild S_rh,i durch die Zuweisungsvorschrift:
Der Parametersatz h →_i–1 wird aus dem vorhergehenden Schleifendurchlauf zum Zeitpunkt i – 1 übernommen. Handelt es sich um den ersten Durchlauf zum Zeitpunkt i = 0, so werden initiale werte vorgegeben.
Da die Straße als Ebene approximiert wird, wird im nächsten Schritt das Bild rechts über das Ebenen-Abbildungs-Modell in das Bild links projiziert, d. h. im projizierten rechten Bild S_rv,i erscheint die Straßenebene aus der Perspektive der linken Bildaufnahmeeinheit. Für diese Vorkompensation 8 werden die alten Parameter a →_i–1 des Straßenmodells aus dem vorhergehenden Schleifendurchlauf zum Zeitpunkt i – 1 übernommen. Handelt es sich um den ersten Durchlauf zum Zeitpunkt i = 0, so werden initiale Werte vorgegeben. Diese Vorkompensation wird nicht auf dem gesamten Bild ausgeführt, sondern, um Rechenzeit zu sparen, nur auf relevanten Teilbereichen des Bildes.
Die Abbildungsvorschriften für die Kompensation bestehen aus zwei gebrochen rationalen Funktionen. Ein Punkt P₁ = (x₁ y₁)^T im unkompensierten Bild wird abgebildet in einen Punkt P₂ = (x₂ y₂)^T = f →(P₁) im kompensierten Bild, wobei f → aus den zwei skalaren gebrochen rationalen Funktionen besteht. Zur Reduzierung der Rechenzeit wird ein Verfahren verwendet, welches die Eigenschaft der Kompensation berücksichtigt, daß Geraden wieder in Geraden abgebildet werden. Jeder Punkt P₁ wird aufgefaßt als Schnittpunkt der horizontalen Geraden, die durch y₁ verläuft, und der vertikalen Geraden, die durch x₁ verläuft. Jetzt muß nur für die Geraden eine gebrochen rationale Funktion berechnet werden, und jeder einzelne Punkt P₂ ergibt sich aus einer einfachen Schnittpunktberechnung, die schneller als die direkte Berechnung auszuführen ist.
Aufgrund der Bewegung der Stereokameraanordnung gegenüber dem vorhergehenden Schleifendurchlauf müssen die Vorkompensationsparameter a →_i–1 nachgeführt werden. Dies wird im Schritt Bestimmung der neuen Kompensationsparameter 9 durchgeführt. Die Beschreibung dieses Schrittes erfolgt in 2. Er liefert die neuen Kompensationsparameter a →_i. In diesen neuen Kompensationsparametern ist eine Veränderung, verursacht durch die Bewegung der Stereokameraanordnung, berücksichtigt. Sie beschreiben die aktuelle Abbildung von der rechten zu linken Kamera unter Berücksichtigung der aktuellen Lage der Stereokameraanordnung zur Straße.
Mit den neuen Kompensationsparametern a →_i wird eine endgültige Kompensation des rechten helligkeitsadaptierten Bildes S_rh,i in das rechte kompensierte Bild S_rk,i vorgenommen. Diese Kompensation 10 verläuft nach demselben Prinzip wie die Vorkompensation. Auch hier wird die Kompensation auf Teilbereiche des Bildes beschränkt. Es wird nur dort kompensiert, wo Objekte auftreten können und weiterhin diese Objekte in einem Bildbereich liegen, der für das Gesamtverfahren relevant ist.
Im Schritt der Objektdetektion 11 werden das Bild links S_l,i und das rechte kompensierte Bild S_rk,i verglichen. Da das Bild rechts mit einem Ebenen-Abbildungs-Modell kompensiert wurde, sind beide vorliegenden Bilder in der Straßenebene näherungsweise identisch. Signifikante Unterschiede in den Bildern werden deshalb darauf zurückgeführt, daß Abweichungen zur Straßenebene vorliegen. Diese Abweichungen werden in der Objektmaske S_o,i als Objekte eingetragen. Für die Änderungsdetektion wird ein pixelgenaues Verfahren, die 13-Schwellen-Methode, verwendet, wobei der Detektionsbereich auf denselben Bereich eingeschränkt wird, der auch schon bei der vorhergehenden Kompensation verwendet wurde. Dieses Verfahren wird in der DE 43 11 972 bereits beschrieben. Die entstandene Objektmaske bildet das Ergebnis des Verfahrens und enthält alle Objekte der Straßenszene.
Im letzten Schritt werden die Parameter zur Helligkeitsadaption h →_i 12 bestimmt, die im nächsten Schleifendurchlauf zur Helligkeitsadaption verwendet werden. Hierbei werde Bereiche, die nicht in der Objektmaske markiert wurden, in dem Bild links S_l,i und dem rechten kompensierten Bild S_rk,i verglichen. Aus diesem Vergleich wird dann der Parametersatz h →_i berechnet. Grundlage für diese Berechnung ist wahlweise eine Histogrammauswertung der Helligkeitsverteilung in beiden Bildern, oder der Vergleich von einzelnen einander zugehörigen Pixeln aus beiden Bildern, wobei die Parameter h →_i dann durch eine lineare Regression ermittelt und gespeichert 13 werden.
Hiermit ist ein Schleifendurchlauf beendet, und der nächste Schleifendurchlauf beginnt, wobei ein neues Bildpaar Bild links S_l,i+1 und Bild rechts S_r,i+1 von der Stereokameraanordnung verwendet wird.
In 2 wird die Bestimmung der neuen Kompensationsparameter näher erläutert. Eingänge der Berechnung sind das Bild links S_l,i, das rechte vorkompensierte Bild S_rv,i und die Vorkompensationsparamter a →_i–1 aus dem letzten Schleifendurchlauf zum Zeitpunkt i – 1. Zuerst werden aus dem Bild links S_l,i und dem rechten vorkompensierten Bild S_rv,i relevante Bildbereiche B →_i ausgewählt 14, die nach ihrem Informationsgehalt geordnet sind. Die Auswahl der Bereiche wird in 3 näher erläutert.
In diesen Bildbereichen werden dann blockweise Verschiebungsvektoren D →_M,i ermittelt 15, die eine Verschiebung zwischen dem Bild links S_l,i und dem rechten vorkompensierten Bild S_rv,i angeben. Dazu wird das in der Veröffentlichung „Zuverlässigkeit und Effizienz von Verfahren zur Verschiebungsvektorschätzung" (DAGM 95, Bielefeld, Mester, Hötter) beschriebene Verfahren verwendet. Da die Bildbereiche nach abnehmendem Informationsgehalt geordnet sind, kann eine beliebige Anzahl an Blöcken vorgegeben werden, an denen eine Verschiebungsvektorschätzung erfolgen soll. Diese Anzahl darf natürlich die maximale Anzahl an gefundenen relevanten Blöcken nicht überschreiten. Die Blöcke werden dem Informationsgehalt nach abgearbeitet. In dem verwendeten Displacementschätzverfahren werden dabei über ein stochastisches Modell den Verschiebungsvektoren Zuverlässigkeiten zugeordnet, die für die Beurteilung der Vektoren verwendet werden. Die Schätzung findet in zwei Dimensionen statt, wobei der Suchbereich für mögliche Vektoren in horizontaler und vertikaler Richtung frei vorgegeben werden kann. Allgemein sind drei Fälle zu unterscheiden.

1. Die Schätzung ist eine Punktmessung, d. h. es wird für den betrachteten Block ein Verschiebungsvektor geschätzt, dessen Wahrscheinlichkeit im Vergleich zu den anderen möglichen Vektoren sehr hoch und dessen Zuverlässigkeit damit sehr groß ist.
2. Die Schätzung ist eine Linienmessung. In diesem Fall ist die Wahrscheinlichkeit Für viele verschiedene Vektoren gleich groß, wobei die Abhängigkeit zwischen den x- und y- Komponenten dieser Vektoren durch einen linearen Zusammenhang beschrieben werden kann.
3. Die Schätzung ist unzuverlässig und wird verworfen. In diesem Fall ist die Wahrscheinlichkeit für viele verschiedene Vektoren gleich groß, ohne daß die Abhängigkeit zwischen deren Komponenten durch einen linearen Zusammenhang beschrieben werden kann.

Wird eine unzuverlässige Schätzung ermittelt, so kann aus der Blockliste ein weiterer Block zur Schätzung herangezogen werden, damit die Anzahl an zuverlässig gemessenen Verschiebungsvektoren, seien es Punkt- oder Linienmessungen, erreicht wird.
Als nächstes werden die Verschiebungsvektoren an die beiden unkompensierten Bilder angepaßt. D. h., es werden mit den Vorkompensationsparamtern a →_i–1 und den Verschiebungsvektoren D →_M,i neue Verschiebungsvektoren D →_i derart berechnet 16, daß diese neuen Verschiebungsvektoren D →_i die Verschiebung der Blöcke von Bild links S_l,i nach dem rechten helligkeitsadaptierten Bild S_rh,i angeben.
Aus den Verschiebungsvektoren D →_i, die aus einer Punkt- oder Linienmessung stammen, werden dann drei Ebenenparamter n →_i ermittelt 17, welche die Lage der Straße in Bezug zu der Stereokameraanordnung beschreiben. Näheres hierzu beschreibt 4. Aus diesen Ebenenparametern n →_i und den relativ zueinander bekannten Perspektiven der beiden Bildaufnahmeeinheiten der Stereokameraanordnung können die erforderlichen aktuellen Kompensationsparameter a →_i berechnet werden 18.
In 3 wird dargestellt, wie aus dem Bild links S_l,i und dem rechten vorkompensierten Bild S_rv,i relevante Bildbereiche ausgewählt werden. zuerst werden aus dem Bild links S_l,i und dem rechten vorkompensierten Bild S_rv,i Bildbereiche ermittelt 19, die zu der Straßenebene gehören. Diese Bereiche werden dann in rechteckige Teilbereiche fester Größe (im weiteren kurz Blöcke genannte) G_i eingeteilt, die sich überlappen dürfen. Für jeden dieser Blöcke G_i wird dann im Bild links S_l,i ein Texturmaß T_i bestimmt 20. Dieses Texturmaß wird aus den Gradienten des Bildsignals innerhalb eines Blockes in horizontaler und vertikaler Richtung berechnet.
Um den Aufwand für eine Verschiebungsvektorenschätzung zu minimieren, werden die Blöcke nach ihrem Informationsgehalt geordnet 21. Hierbei wird sowohl die Textur des jeweiligen Blockes, als auch die örtliche Verteilung der ausgewählten Blöcke berücksichtigt. Hierdurch wird sichergestellt, daß die Blöcke, für die jeweils eine Verschiebungsvektorschätzung durchgeführt wird, einerseits genügend Textur besitzen, um eine sinnvolle Schätzung durchführen zu können, und andererseits eine gute örtliche Verteilung über das Bild aufweisen, so daß die Verschiebungsvektoren repräsentativ für das gesamte Bild sind. Hiermit sind die relevanten Bildbereiche B →_i ihrem Informationsgehalt nach geordnet und für die Verschiebungsvektorschätung bekannt.
4 beschreibt, wie aus den ermittelten Verschiebungsvektoren D →_i die Ebenenparameter n →_i bestimmt werden. Zu Beginn werden die Modellparameter n →_m,i und deren Zuverlässigkeit σ →_n,i aus den Verschiebungsvektoren D →_i in einer linearen Regression berechnet 22. Hierbei werden sowohl die Vektoren aus Punktmessungen als auch die Vektoren aus Linienmessungen verwendet. Unzuverlässig geschätzte Vektoren hingegen werden verworfen. Um die lineare Regression durchführen zu können, müssen mindestens entweder zwei Punkt- oder drei Linienmessungen vorliegen.
Unterschreitet die Zuverlässigkeit der linearen Regression einen gewissen Wert, so wird mit den neuen Modellparametern bei jedem Verschiebungsvektor überprüft, wie weit dieser vom neuen Modell abweicht. Danach wird eine erneute lineare Regression durchgeführt, wobei der Verschiebungsvektor, der die größte Abweichung vom Modell zeigte, nicht mehr berücksichtigt wird. Dieser Vorgang wird solange wiederholt, bis die gewünschte Zuverlässigkeit erreicht wird, oder die minimal benötigte Anzahl an Verschiebungsvektoren erreicht wurde, oder aber die Zuverlässigkeit der neuen linearen Regression schlechter wurde. Die endgültigen Ergebnisse dieser Berechnung und der alte Ebenenparamtervektor n →_i–1 aus dem letzten Schleifendurchlauf werden in einem Filter ausgewertet 23. Hierbei handelt es sich um ein rekursives Filter, bei dem eine Gewichtung in Abhängigkeit von der Zuverlässigkeit der Messung vorgenommen wird. Je unzuverlässiger eine Messung ermittelt wird, desto stärker geht der vorhergehende Meßwert in das Ergebnis ein. Am Ausgang dieses Filters liegen dann die neuen Ebenenparameter n →_i, welche die Lage der Straßenebene in Bezug zu der Stereokameraanordnung beschreiben.
Im folgenden werden einige Vereinfachungen des Verfahrens erläutert, die sich durch eine spezielle Anordnung der Bildaufnahmeeinheiten ergeben. Hierbei darf die linke Bildaufnahmeeinheit gegenüber der rechten nur horizontal verschoben sein, d.h. die vertikale und die Verschiebung in Richtung der optischen Achse müssen Null sein. (Ein ähnlicher Sachverhalt ergibt sich für eine rein vertikale Anordnung. Dieser Fall wird aber nicht näher erläutert).
Bei der Kompensation der Kameraverschiebung kann für die Berechnung der y-Koordinate y₂ des kompensierten Punktes P₂ ein look-up-table zur Rechenzeitreduzierung verwendet werden, da dieser Wert nur von der geometrischen Anordnung der Bildaufnahmeeinheiten und dem Punkt P₁ abhängt. Das look-up-table wird einmal zu Beginn des Programms während der Initialisierung erzeugt, und steht dann in jedem Schleifendurchlauf zur Verfügung. Der entsprechende x-Wert x₂ ist entsprechend zu berechnen.
Die Messung der Verschiebungsvektoren kann einfacher und schneller durchgeführt werden, da zu jedem Punkt P₁ im unkompensierten Bild die Verschiebung in y-Richtung bereits bekannt ist (vgl. look-up-table). Eine Schätzung in horizontaler Richtung ist also zur exakten Bestimmung des gesamten Verschiebungsvektors ausreichend. Da die Verschiebungsvektorschätzung nur in einer Dimension stattfindet, entfällt die Möglichkeit einer Linienmessung. Entweder ergibt sich eine Punktmessung, oder die Messung ist unzuverlässig und wird deshalb verworfen.
Das Texturmaß wird bei dieser speziellen Anordnung nur aus dem Gradienten in horizontaler Richtung berechnet, da Gradienten in vertikaler Richtung für eine horizontale Schätzung völlig ohne Bedeutung sind.
Durch die vereinfachte Anordnung der Bildaufnahmeeinheiten wird das Verfahren also zum einen schneller in der Rechenzeit als auch robuster in der Ermittlung der Ebeneparameter. Hierdurch wird die Stabilität des Gesamtverfahrens deutlich erhöht.

Claims

Verfahren zur Detektion von Objekten auf ebenen Flächen, insbesondere Straßen, mit einer Stereokameranordnung, wobei die beiden Bilder der Stereokamera miteinander über eine Recheneinheit blockweise verglichen werden, um ein Objekt durch eine Disparität zwischen den Bildblöcke zu erkennen, wobei die Abbildung der Ebene zwischen den Bildern der Kameras von Modellparametern a →_i, die aus dem dreidimensionalen Ebenenvektor n → und den geometrischen Verhältnissen der Kameras zueinander abgeleitet werden, beschrieben wird, dadurch gekennzeichnet, daß ein zweidimensionaler Verschiebungsvektor D → geschätzt wird, der die relative Verschiebung eines Bildblocks der Kamera 2 zu demselben Bildblock der Kamera 1 quantitativ beschreibt, und daß aus dem Verschiebungsvektor D → der Ebenenvektor n → berechnet wird.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1, dadurch gekennzeichnet, daß die Verschiebungsvektoren D → für Bildblöcke geschätzt werden, die für die Objekterkennung relevant sind und deren Textur einen vorgegebenen Schwellenwert übersteigt und eine örtliche Verteilung aufweist, wobei die Bildblöcke nach ihrem Informationsgehalt geordnet sind.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Verschiebungsvektoren D → über eine Schätzung innerhalb eines Blocks ermittelt werden, wobei der Suchbereich für mögliche Vektoren zweidimensional ist.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die Schätzung des Verschiebungsvektors D → über ein stochastisches Modell auf ihre Zuverlässigkeit beurteilt werden.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die Schätzung eine Punktmessung ist, durch die ein einziger Verschiebungsvektor D → mit hoher Zuverlässigkeit ermittelt wird.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß die Schätzung eine Linienmessung ist, wobei Verschiebungsvektoren D → mit gleicher Zuverlässigkeit vorliegen und die x- und y-Komponenten der Vektoren einen linearen Zusammenhang aufweisen.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß aus den Ebenenparametern n →_i und den bekannten Positionen der Bildebenen der Kameras eine Abbildungsvorschrift mit den Kompensationsparametern a →_i ermittelt werden.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 7, dadurch gekennzeichnet, daß die Schätzgenauigkeit eine Wichtung der Ebenenvektoren n →_i erlaubt und bei geringer Schätzgenauigkeit des aktuell ermittelten Vektors, der vorhergehend bestimmte Vektor stärker gewichtet wird.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 8, dadurch gekennzeichnet, daß im Fall einer horizontalen oder vertikalen Kameraanordnung nur noch eine von zwei Vektorkomponenten des Verschiebungsvektors D → geschätzt werden müssen.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß zur Umrechnung des Bildes einer Kamera in die Perspektive der anderen Kamera ein auf Geradenschnittpunkten basierendes Verfahren eingesetzt wird.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 10, dadurch gekennzeichnet, daß zur Detektion der Objekte ein Änderungsdetektion der Bildblöcke eingesetzt wird.
Verfahren zur Detektion von bewegten Objekten nach Anspruch 1 bis 11, dadurch gekennzeichnet, daß für die Objektdetektion folgender Verfahrensablauf nötig ist: a) Bild links bleibt unberührt, Korrektur der Helligkeit des Bildes rechts mit den Korrekturfaktoren h₁ und h₂ b) Vorkompensation der unterschiedlichen Kameraebenen mit vorläufigen Kompensationsfaktoren a →_i–1 des rechten Bildes aus dem vorhergehenden Durchlauf c) Bestimmung neuer Kompensationsparameter a →_i durch Vergleich mit linkem Bild d) Kompensation des rechten Kamerabildes mit den neuen Kompensationsparametern a →_i e) Objektdetektion durch Vergleich des kompensierten rechten und des urspünglichen linken Bildes f) Bestimmung neuer Parameter für die Helligkeitsadaption für den nächsten Durchlauf