DE10127034A1 - Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn - Google Patents

Abstract

Bei einem Verfahren zur Ermittlung eines Spurverlaufs einer beidseitig helle oder dunkle Spurbegrenzungslinien (6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus einem über die Fahrbahn (1) fahrenden Fahrzeug (2) liefert mindestens eine Kamera (3) in bestimmten Zeitintervallen ein Bild (5) eines vor dem Fahrzeug liegenden Außenraums an eine Bildverarbeitungseinrichtung (4). Die Bildverarbeitungseinrichtung (4) ermittelt bei den Spurbegrenzungslinien (6) in Abhängigkeit von zumindest einem Lenkwinkel sowie einer momentanen Geschwindigkeit des Fahrzeugs (2) und einem vorgegebenen Fahrzeuglage- und Spurverlaufsmodell signifikante Hell-Dunkel-Grenzen (8) modellgestützt sowie einen von zwei signifikanten Hell-Dunkel-Grenzen (8) begrenzten Linienbereich zeilenweise. Messkandidaten (9) der Hell-Dunkel-Grenzen (8) werden von der Bildverarbeitungseinrichtung (4) in jeweils mindestens einem modellgestützten und merkmalsbasierten Zustandsschätzverfahren (10, 15) zu Zustandsvektoren verarbeitet, die die Fahrzeuglage und den Spurverlauf beschreiben. Eine Inferenzmaschine (13) ermittelt aus diesen Zustandsvektoren die Ist-Daten des Spurverlaufs und vergleicht, beurteilt und korrigiert ggf. das modellgestützte sowie das merkmalsbasierte Zustandsschätzverfahren (10, 15) anhand der vorgegebenen Daten.

Description

Die Erfindung bezieht sich auf ein Verfahren zur Ermittlung eines Spurverlaufs einer beidseitig helle oder dunkle Spurbegrenzungslinien aufweisenden dunklen bzw. hellen Fahrbahn aus einem über die Fahrbahn fahren­ den Fahrzeug sowie auf eine Vorrichtung zur Durchführung dieses Verfahrens.

Aus der DE 43 08 776 C2 ist eine Einrichtung zum Überwachen des Außenraums eines Kraftfahrzeugs, das über eine durch ausgedehnte weiße Linien begrenzte Fahr­ spur fährt, bekannt. Die Einrichtung umfasst mehrere Ka­ meras, die Bilder des Fahrzeugaußenraums aufnehmen und Bildsignale erzeugen, die diese Bilder anzeigen, und eine Bildverarbeitungseinrichtung. Die Bildverarbeitungsein­ richtung ermittelt in Abhängigkeit von den Bildsignalen eine Distanzverteilung bezüglich des Fahrzeugs und er­ zeugt ein die Distanzverteilung anzeigendes Distanzbild. Im Weiteren ist eine Straßen- und Objekt-Detektoreinrich­ tung vorgesehen, die auf der Grundlage des Distanzbildes dreidimensionale Koordinaten in einem auf ein Koordina­ tensystem des Kraftfahrzeugs bezogenen realen Raum be­ rechnet. Ferner ist eine Straßenverlaufsform-Detektor­ einrichtung vorgesehen, die eine Straßenverlaufsform auf der Grundlage der dreidimensionalen Koordinaten von Ab­ schnitten der weißen Linie berechnet. Hierbei werden als Ausgangssignale die Fahrzeuggeschwindigkeit und ein Lenk­ winkelsensorsignal sowie ein Erkennungsergebnis einer Straßenform einer letzten Zeitspanne zugrundegelegt, um eine Straßenform nach einer bestimmten Zeitspanne abzu­ schätzen. Bei diesem Verfahren ermittelt die Straßenver­ laufsform-Detektoreinrichtung mehrere dreidimensionale lineare Elemente, die jeweils einen Abschnitt jeder wei­ ßen Linie innerhalb einer von mehreren Regionen der Straße repräsentieren, wobei die Regionen bezogen auf die Distanz vom Fahrzeug aufgeteilt sind und jede weiße Linie durch die Kombination der dreidimensionalen linearen Ele­ mente dargestellt ist. Jedes der dreidimensionalen linea­ ren Elemente wird durch lineare Gleichungen repräsen­ tiert, die die Projektion des dreidimensionalen Elements auf eine horizontale und eine vertikale Ebene repräsen­ tieren.

Weiterhin weist die Straßenverlaufsform-Detek­ toreinrichtung eine Abschätzungseinrichtung auf, die in Abhängigkeit von den Fahrzeugfahrbedingungen die Änderung der dreidimensionalen linearen Elemente aus deren voraus­ gehenden Positionen abschätzt. Eine erste Erzeugungsein­ richtung legt ein erstes dreidimensionales Fenster fest und schätzt einen dreidimensionalen Raum um jedes der ab­ geschätzten dreidimensionalen linearen Elemente. Eine Li­ nearelement-Detektoreinrichtung extrahiert aus den drei­ dimensionalen Koordinaten nur die Koordinaten, die inner­ halb des ersten dreidimensionalen Fensters liegen und be­ rechnet die gegenwärtige Position des dreidimensionalen linearen Elements auf der Grundlage der extrahierten Ko­ ordinatendaten.

Die Straßenverlaufsform wird modellbasiert in lineare Abschnitte von jeweils einer bestimmten Distanz aufgeteilt und die Plausibilität aus der Parallelität dieser Abschnitte in horizontaler und vertikaler Rich­ tung, bezogen auf Messergebnisse für den linken als auch den rechten Abschnitt, beurteilt. Die Messergebnisse und die festgelegten linearen Abschnitte werden nach vorgege­ ben Berechnungsmethoden miteinander verglichen und ge­ wichtet sowie korrigiert. Mit dieser Einrichtung ist es nach der Verarbeitung einer relativ großen Datenmenge möglich, durch Ausnutzen dreidimensionaler Positionsin­ formationen der weißen Linien diese von dreidimensionalen Objekten zuverlässig zu trennen.

Darüber hinaus ist ein Verfahren zur Abschät­ zung eines Spurverlaufs einer Fahrbahn bekannt (Disserta­ tion Dipl.-Ing. B. Mysliwetz, Universität der Bundeswehr München, 10.08.1990), das zur Unterscheidung zwischen ei­ nem optischen Signal einer weißen Spurbegrenzungslinie und Störungen ein dynamisches Modell von Fahrzeugquerbe­ wegungen und einer Spurverlaufsgeometrie verwendet. Die­ ses dynamische Modell ermöglicht eine Formulierung einer Erwartung über die Lage und die Orientierung der Spurbe­ grenzungslinie in einem Videobild. Hierbei wird eine Kante der Spurbegrenzungslinie gezielt in ihrer erwarte­ ten Lage im Videobild mittels signalangepasster Filter­ kerne gesucht. Die erwartete Lage und die Orientierung der Spurbegrenzungslinie werden durch physikalische und logische Größen, die den aktuellen Zustand, in dem sich Fahrzeug und Spurverlauf befinden, beschrieben. Diese re­ levanten Größen werden durch die aktuelle Fahrzeuglage sowie dessen Querdynamik und Geschwindigkeit und bekann­ ten Daten über Spurverläufe und Straßenattribute gewon­ nen. Der Unterschied zwischen der erwarteten Lage und der gemessenen Lage der Spurbegrenzungslinie wird unmittel­ bar, d. h. ohne die perspektivische Abbildung zu inver­ tieren, im Rahmen eines Optimalfilters, eines Kalman Fil­ ters, auf den erwarteten Farzeuglage- und Spurverlaufszu­ stand aufgeschlagen. Die Messung im Videobild korrigiert somit lediglich die modellbasierte Erwartung oder eine zu Beginn der Messungen formulierte Hypothese über den An­ fangsschätzwert. Dieses rekursive Verfahren ist ein Spur­ verfolgungsverfahren, das auf die Ergebnisse einer se­ quentiell vorausgehenden Spurentdeckungsphase angewiesen ist.

Ferner wurde an der Carnegie Mellon University, Pittsburgh, USA, ein Verfahren (RALPH, Rapidly Adapting Lateral Position Handler) entwickelt, das die Modellie­ rung von Fahrzeugquerbewegungen und Spurverlaufsgeometrie vermeidet, um von der speziellen Ausbildung der Spurver­ laufsgeometrie sowie der Spurbegrenzungslinie und damit auch der Art der jeweils angepassten extraktionsfähigen Merkmale unabhängig zu bleiben. Bei diesem Verfahren wird damit aber auch auf die Auswertung der querdynamischen zeitlichen Zusammenhänge zwischen aufeinanderfolgenden Videobildern verzichtet. Es konzentriert sich lediglich auf die Auswertung des jeweiligen Einzelbildes. Wegen der Notwendigkeit den Zustand in jedem Videobild komplett neu berechnen zu müssen, handelt es sich hierbei primär um ein merkmalsbasiertes Spurerkennungsverfahren.

Die Praxis zeigte, dass weder das an der Uni­ versität der Bundeswehr entwickelte Spurverfolgungsver­ fahren noch das von der Carnegie Mellon University ver­ folgte Spurerkennungsverfahren jeweils in isolierter An­ wendung in der Lage ist, die komplexe Szene des Fahrzeug­ umfeldes hinsichtlich des Spurverlaufs einer Fahrbahn zu­ friedenstellend zu ermitteln.

Es ist Aufgabe der Erfindung, ein Verfahren der eingangs genannten Art und eine Vorrichtung zu schaffen, wobei mit einem relativ geringen Rechenaufwand einen Spurverlauf einer Fahrbahn mit hinreichender Genauigkeit ermittelt werden soll.

Erfindungsgemäß wird die Aufgabe durch ein Ver­ fahren zur Ermittlung eines Spurverlaufs einer beidseitig helle oder dunkle Spurbegrenzungslinien aufweisenden dunklen bzw. hellen Fahrbahn aus einem über die Fahrbahn fahrenden Fahrzeug gelöst, bei dem

• - mindestens eine Kamera in bestimmten Zeitintervallen ein Bild eines vor dem Fahrzeug liegenden Außenraums an eine Bildverarbeitungseinrichtung liefert,
• - die Bildverarbeitungseinrichtung bei den Spurbegren­ zungslinien in Abhängigkeit von zumindest einem Lenk­ winkel sowie einer momentanen Geschwindigkeit des Fahrzeugs und einem vorgegebenen Fahrzeuglage- und Spurverlaufsmodell signifikante Hell-Dunkel-Grenzen modellgestützt sowie einen von zwei signifikanten Hell-Dunkel-Grenzen begrenzten Linienbereich zeilen­ weise ermittelt,
• - Messkandidaten der Hell-Dunkel-Grenzen von der Bild­ verarbeitungseinrichtung in jeweils mindestens einem modellgestützten und merkmalsbasierten Zustands­ schätzverfahren zu Zustandsvektoren verarbeitet wer­ den, die die Fahrzeuglage und den Spurverlauf be­ schreiben und
• - eine Inferenzmaschine die Zustandsvektoren und damit Ist-Daten des Spurverlaufs ermittelt sowie das mo­ dellgestützte und das merkmalsbasierte Zustands­ schätzverfahren anhand vorgegebener Daten vergleicht und beurteilt.

Die Merkmale einer erfindungsgemäßen Vorrich­ tung ergeben sich aus Patentanspruch 11.

Aufgrund dieses Verfahrensablaufs wird ein Spurverlauf einer Fahrbahn mit einer relativ hohen Genau­ igkeit ermittelt, da in der Bildverarbeitungseinrichtung jedes von der Kamera gelieferte Bild nach mehreren Zu­ standsschätzverfahren, nämlich sowohl nach mindestens ei­ nem modellgestützten Spurverfolgungsverfahren als auch nach mindestens einem merkmalsbasierten Spurerkennungs­ verfahren, im wesentlichen parallel ausgewertet wird. Diesen Zustandsschätzverfahren liegen Messkandidaten zugrunde, die die Bildverarbeitungseinrichtung zum einen anhand von Kantenmerkmalen, die an den signifikanten Hell-Dunkel-Grenzen, die am Übergang der hellen Spurbe­ grenzungslinie zu dem relativ dunklen Fahrbahnbelag vor­ liegen und anhand von linienförmigen Merkmalen, die durch im wesentlichen gegenüberliegende Hell-Dunkel-Grenzen de­ finiert sind, ermittelt.

Diese Messkandidaten werden in den Zustands­ schätzverfahren zu Fahrzeuglage und Spurverlauf beschrei­ benden Zustandsvektoren verarbeitet, die rechnerinternen Repräsentanten des physikalischen Prozesses der Fahrzeug­ querbewegung auf einer beliebig gekrümmten Straße ent­ sprechen. Hierzu greift das modellgestützte Spurverfol­ gungsverfahren auf Informationen über Spurgeometrien und den Fahrzeugzustand zurück, wobei das Signal eines Lenk­ winkelsensors und die aktuelle Fahrzeuggeschwindigkeit lediglich Minimalinformationen darstellen. Bei der mo­ dellgestützten Ermittlung von Zustandsvektoren können beispielsweise ein Schwimmwinkel des Fahrzeugs, also der Winkel zwischen der Fahrzeuglängsachse und der Bewegungs­ richtung, die Querablage des Fahrzeugs, ein Gierwinkel, also der Winkel zwischen Fahrzeuglängsachse und Fahrbahn­ tangente, der in der Ebene der Fahrbahn gemessen wird, sowie ein Nickwinkel, also der Winkel zwischen Fahrzeug­ längsachse und Fahrbahntangente, gemessenen in der zur Fahrbahn senkrechten Ebene berücksichtigt werden. Hin­ sichtlich der Spurverlaufsgeometrie werden Attribute, wie Spurkrümmungen und ihr Änderungsverhalten sowie unter­ schiedliche Arten von Spurbegrenzungslinien, berücksich­ tigt.

Auf Grundlage dieser Informationen spannt das modellgestützte Spurverfolgungsverfahren Suchfenster in dem Bereich auf, in dem eine Spurbegrenzungslinie vermu­ tet wird und sucht nach den signifikanten Hell-Dunkel- Grenzen, die am Übergang der in der Regel hellen Spurbe­ grenzungslinie zu dem relativ dunklen Fahrbahnbelag vor­ liegen. Dadurch ist es nicht erforderlich, das gesamte Bild auszuwerten, sondern lediglich den Bereich, in dem die Spurbegrenzungslinie aufgrund der dynamischen Model­ lierung vermutet wird. Dieses modellgestützte Spurverfol­ gungsverfahren hat den Vorteil einer relativ zuverlässi­ gen Rauschunterdrückung, jedoch auch den Nachteil, dass bei zu großen gemessenen Abweichungen von Modellvorstel­ lungen der Rechenprozess divergieren kann und instabil wird. Daher läuft als Redundanzverfahren das merkmalsba­ sierte Spurerkennungsverfahren ab, das ein Detektionsver­ fahren ist und im Wesentlichen eine Bildauswertung vor­ nimmt. Das Spurerkennungsverfahren liefert auch in rela­ tiv großer Entfernung zur Kamera des Fahrzeugs zuverläs­ sigere Messkandidaten als das modellgestützte Verfahren.

Die die Ist-Daten des Spurverlaufs ermittelnde Inferenzmaschine vergleicht und beurteilt anhand vorgege­ bener Daten das modellgestützte und das merkmalsbasierte Zustandsschätzverfahren und berücksichtigt hierbei die unterschiedlichen Stärken und Schwächen der Verfahren. Bei einem plötzlichen Spurwechsel oder einer fehlenden Spurbegrenzungslinie greift die Inferenzmaschine auf ihre eigene Daten- und Regelbasis und/oder die Zustandsvekto­ ren aus der modellgestützten Ermittlung der Hell-Dunkel Grenze der Spurbegrenzungslinie zurück und greift unter­ stützend in die Bildverarbeitungseinrichtung ein, wobei die Inferenzmaschine bidirektional arbeitet. Die Infe­ renzmaschine liefert die ermittelten Ist-Daten des Spur­ verlaufs an sogenannte Fahrzeugassistenzsysteme. Ein sol­ ches Fahrzeugassistenzsystem kann beispielsweise die Ge­ schwindigkeitsregelung des Fahrzeugs in Abhängigkeit vom Spurverlauf oder von anderen auf der Fahrbahn detektier­ ten Objekten übernehmen. Im Weiteren können die Ist-Daten zur Absicherung eines Spurwechsels verwendet werden, in dem sie mit weiteren Erkennungssystemen gekoppelt werden. Die von der Inferenzmaschine ermittelten Ist-Daten können auch als Grundlage zur Schätzung der Fahrbahnkrümmung in einem nicht von der Kamera erfassten Bereich dienen.

Um den erforderlichen Rechenaufwand relativ ge­ ring zu halten, liefern zweckmäßigerweise das modellge­ stützte und das merkmalsbasierte Zustandsschätzverfahren Vertrauensmaße, mit denen die Güte der Zustandsvektoren abgeschätzt wird.

Bevorzugt liefert die Abweichung des jeweiligen Messkandidaten zur erwarteten Soll-Lage der Fahrbahn im Bild ein Gütemaß zur Abschätzung der Güte der jeweiligen modellgestützten und merkmalsbasierten Zustandsschätzver­ fahren. Liefern die modellgestützte Ermittlung der Spur­ begrenzungslinien und die modellfreie Ermittlung der Spurbegrenzungslinien jeweils die Fahrzeuglage und den Spurverlauf beschreibende Zustandsvektoren unterschiedli­ cher Güte, greift die Interferenzmaschine auf ihre der Beurteilung der Messkandidaten zugrundeliegenden Daten zurück und entscheidet über die weitere Vorgehensweise bei der Ist-Datenermittlung. Die Interferenzmaschine kann dann auf den einen oder anderen Zustandsvektor zurück­ greifen oder aber auch die vorhandenen Zustandsvektoren korrigieren. Diese Vorgehensweise der szenenabhängigen Interpretation, bei der die Interferenzmaschine ihre Wis­ sensbasis, also ihre Daten- und oder Regelbasis nutzt, ist insbesondere dann vorteilhaft, wenn die szenenabhän­ gigen Schwächen eines Zustandsschätzverfahrens durch das andere Zustandsschätzverfahren ausgeglichen werden kön­ nen.

Vorteilhafterweise dienen Zustandsvektoren ei­ nes Bildes als Grundlage für die Ermittlung von Messkan­ didaten eines darauffolgenden Bildes. Da die einzelnen Bilder der Kamera in sehr kurzen Zeitintervallen der Bildverarbeitungseinrichtung zur Verfügung stehen und eine Änderung des Spurverlaufs in diesen Zeitintervallen in der Regel nur geringfügig ist, dienen die Ist-Daten des Spurerkennungsverfahrens zur Eingrenzung der Suchbe­ reiche der Spurbegrenzungslinien, in denen Messkandidaten im aktuellen Bild ermittelt werden.

Vorzugsweise wird aus einem erwarteten Messvek­ tor und einem ermittelten Messvektor ein Korrekturvektor zur Ermittlung eines Zustandsvektors gebildet. Bei diesem rekursiven Verfahren werden mit einem Relativ geringen Rechenaufwand hinreichend genaue Ergebnisse erzielt.

Zweckmäßigerweise wird die Ermittlung der Hell- Dunkel-Grenze und des Linienbereichs der Spurbegrenzungs­ linien mit einem Optimalfilter vorgenommen. Im weiteren wird zweckmäßigerweise bei dem modellgestützten Zustands­ schätzverfahren ein Kalman Filter, eine Fuzzy-Inferenz­ maschine oder ein neuronales Netz verwendet. Das Kalman Filter liefert eine vollständige statistische Charakteri­ sierung für das Problem einer Schätzung eines dynamischen Systems und schließt neben der Charakterisierung des ak­ tuellen Wissenszustandes den Einfluss aller vergangenen Informationen mit ein. Das Kalman Filter liefert einen linearen, unverzerrten und Minimum-Varianz rekursiven Al­ gorithmus, um den Zustand eines dynamischen Systems aus fehlerbehafteten (verrauschten) Daten, die in der Echt­ zeit gegeben sind, optimal zu schätzen. Die Kalman Filter Theorie liefert daher ein ausgezeichnetes Werkzeug für die Kombination von Beobachtungsgrößen mit Vorhersage­ größen, um die darin enthaltenen zufälligen Fehler zu korrigieren.

Nach einer vorteilhaften Weiterbildung der Er­ findung ermittelt die Bildverarbeitungseinrichtung in ei­ nem bestimmten Zeilenabstand mehrere Messkandidaten für jede der Spurbegrenzungslinien pro Bild in einer konstan­ ten Vorausschauentfernung. Da bei einem vertikal gekrümm­ ten Fahrbahnverlauf nicht vertikale Bildkoordinaten son­ dern korrespondierende diskrete Vorschauentfernungen, an denen bildlokal Kantenelemente extrahiert werden, kon­ stant sind, wird der zur Bildauswertung erforderliche Re­ chenaufwand wesentlich verringert und die Notwendigkeit ungenauer numerischer Differentiationen vermieden. Im Zu­ sammenhang mit den Daten der Zustandsschätzverfahren wer­ den die Messkandidaten im Nahbereich, die in gleicher Entfernung auf der rechten und linken Seite des Bildes extrahiert werden, vorverarbeitet und die Abweichung zwi­ schen erwarteter und gemessener Bildposition berechnet. Die derart gewonnenen Ergebnisse werden zur Aktualisie­ rung des horizontalen und vertikalen Spurverlaufs verwen­ det.

Vorteilhafterweise werden aus der Differenz er­ warteter und gemessener Vektoren gerade und ungerade An­ teile berechnet, die in dem modellgestützten Zustands­ schätzverfahren zu Zustandsvektoren verarbeitet werden. Die geraden Anteile liefern im Zusammenhang mit den rele­ vanten Fahrzeugdaten eine Aussage bezüglich der horizon­ talen Spurverlaufsschätzung und die ungeraden Anteile liefern vertikale Lagedaten des Fahrzeugs auf der Fahr­ bahn. Somit stehen neben den Messdaten auch daraus resul­ tierende Anteile aus der Abweichung von den Messdaten zur Verfügung, die zur Berechnung exakter Ergebnisse des mo­ dellgestützten Zustandsschätzverfahren dienen.

Zweckmäßigerweise liefert eine zweite, nicht unbedingt erforderliche Kamera in bestimmten Zeitinter­ vallen ein Bild eines hinter dem Fahrzeug liegenden Außenraums an eine Bildverarbeitungseinrichtung. Durch diese Bilder lassen sich genauere Angaben bezüglich einer Spurbreitenänderung der Fahrbahn sowie des Nickwinkels des Fahrzeugs errechnen, wobei der Nickwinkel die Dar­ stellung der Breite der Spur im Bild beeinflusst.

Es versteht sich, dass die vorstehend genannten und nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Die Erfindung wird im folgenden anhand eines Ausführungsbeispieles unter Bezugnahme auf die zugehöri­ gen Zeichnungen näher erläutert. Es zeigen:

Fig. 1 ein Ablaufschema eines erfindungsge- mäßen Verfahrens,

Fig. 2 eine schematische Darstellung eines in einer Bildverarbeitungseinrichtung nach Fig. 1 bearbeiteten Bildes und

Fig. 3 eine weitere schematische Darstellung eines in der Bildverarbeitungsein­ richtung nach Fig. 1 bearbeiteten Bildes.

Bei dem erfindungsgemäßen Verfahren zur Ermitt­ lung eines Spurverlaufs einer Fahrbahn 1 kommt eine Kame­ ra 2 zum Einsatz, die in einem Fahrzeug 3 montiert und mit einer Bildverarbeitungseinrichtung 4 gekoppelt ist.

Die Kamera 2 nimmt in bestimmten Zeitintervallen ein Bild 5 vom frontseitigen Außenraum des Fahrzeugs 3 auf. Das Bild 5, das in unterschiedlichen verrauschten Graustufen vorliegt und während der Fahrt des Fahrzeugs 3 über die Fahrbahn 1 aufgenommen wird, wird in der Bildverarbei­ tungseinrichtung 4 ausgewertet. Auf dem Bild 5 sind helle Spurbegrenzungslinien 6, 7 zu erkennen, die an ihren Kan­ ten signifikante Hell-Dunkel-Grenzen 8 zu der dunklen Fahrbahn 1 aufweisen.

Die Bildverarbeitungseinrichtung 4 ermittelt mit signalangepassten Filtern 12, 14 bei den Spurbegren­ zungslinien 6, 7 Messkandidaten 9 an den signifikanten Hell-Dunkel-Grenzen 8 sowie einen Linienbereich der Spur­ begrenzungslinien 6, 7, der durch nebeneinanderliegende Messwerte mit entsprechenden Vorzeichen gekennzeichnet ist. Die Suche nach dem Linienbereich der Spurbegren­ zungslinien 6, 7 mit dem signalangepassten Filter 14 er­ folgt zeilenweise über das digitalisierte Bild 5 der Bildverarbeitungseinrichtung 4. Bei der Ermittlung der Hell-Dunkel-Grenzen 8 wird durch ein modellgestütztes Spurverfolgungsverfahren 10, also dem einen Zustands­ schätzverfahren, im darauffolgenden Bild ein Suchfenster 11 aufgespannt, in dem die Messkandidaten 9 mittels des signalangepassten Filters 12, das als richtungsselektives Kantenfilter ausgebildet ist ermittelt werden.

Diesem modellgestützten Spurverfolgungsverfah­ ren 10 liegen neben relevanten Daten des Fahrzeugs, wie Signale eines Lenkwinkelsensors und die aktuelle Fahr­ zeuggeschwindigkeit, auch Daten über einen üblichen Spur­ verlauf zugrunde, die zur Überprüfung der Plausibilität des gemessenen Zustands dienen. In Abhängigkeit von die­ sen Daten und der Fähigkeit zur modellgestützten Prädik­ tion spannt die Bildverarbeitungseinrichtung 4 im darauf­ folgenden Bild das Suchfenster 11 auf, in dem die Mess­ kandidaten 9 ermittelt werden. Das modellgestützte Spur­ verfolgungsverfahren 10 verarbeitet die Messkandidaten 9 unter Berücksichtigung von Abweichungen zwischen gemesse­ nen Daten im Bild und erwarteten Daten aufgrund des Mo­ dellwissens mittels eines Kalman-Filters zu Zustandsvek­ toren. Dieses modellgestützte Zustandsschätzverfahren 10 vergleicht die Messkandidaten 9 mit den Ergebnissen, die es aufgrund seiner Modellvorstellung erwartet und ermit­ telt so ein Korrekturmaß, das bei der Berechnung der Ist- Daten des Spurverlaufs entsprechend berücksichtigt wird.

Darüber hinaus ist als weiteres Zustandsschätz­ verfahren ein modellfreies Spurerkennungsverfahren 15 vorgesehen, das ebenfalls aus dem Messkandidaten 9 Zu­ standsvektoren bezüglich der Fahrzeuglage und des Spur­ verlaufs errechnet und mit dem modellgestützten Spurver­ folgungsverfahren 10 in Wechselwirkung stehen kann. Beide Zustandsschätzverfahren 10, 15 liefern Zustandsvektoren zur Auswertung an eine Inferenzmaschine 13.

Die Inferenzmaschine 13 greift zur Auswertung und Beurteilung der Zustandsvektoren auf eine Wissensba­ sis 16 mit einer Regelbasis sowie einer Datenbasis zu­ rück. Die Wissensbasis 16 umfasst neben Daten bezüglich des Momentanzustandes des Fahrzeugs auch Daten hinsicht­ lich der Ausgestaltung von unterschiedlichen Spurverläu­ fen. Darüber hinaus koppelt die Inferenzmaschine 13 die beiden in der Bildverarbeitungseinrichtung 4 ablaufenden Zustandsschätzverfahren 10, 15 zur Erkennung der Hell- Dunkel-Grenzen der Spurbegrenzungslinien 6, 7 derart, dass die Stärken des einen Verfahrens die Schwächen des anderen Verfahrens ausgleicht. Hierdurch wird auch das Spurerkennungsverfahren 15 so gesteuert, dass der signal­ angepasste Filter 14 nicht das ganze Bild 5 zeilenweise nach Linienbereichen absucht, sondern nur in dem Bereich sucht, in dem die Wahrscheinlichkeit, die Spurbegren­ zungslinien 6, 7 zu finden, hinreichend hoch ist.

Bei einer vertikalen Krümmung der Fahrbahn und damit auch der Spurbegrenzungslinien 6, 7, deren Darstel­ lung in der Bildverarbeitungsvorrichtung 4 als Kurven er­ folgt, werden die Messkandidaten 9 in variablen Zeilenab­ ständen i₂ ausgewertet, denen jeweils eine konstante Vor­ ausschauentfernung L₂ auf der Fahrbahn 1 zugrunde liegt. Die Konstanz der diskreten Vorausschauentfernungen L₂ auf denen Messkandidaten 9 auf den veränderlichen korrespon­ dierenden Bildzeilen i₂ entnommen werden, vermeidet so­ wohl eine numerische Differentiation der Abbildungs­ gleichungen, die zur Berechnung Kalmanverstärkungskoeffi­ zienten linearisiert vorliegen müssen als auch die auf­ wendige Erstellung korrigierter Abbildungsmatrizen, die in der rekursiven Spurverlaufsschätzung in jedem Zyklus erneut berechnet werden müssten.

Bezugszeichenliste

1

Fahrbahn

2

Kamera

3

Fahrzeug

4

Bildverarbeitungseinrichtung

5

Bild

6

Spurbegrenzungslinie

7

Spurbegrenzungslinie

8

Hell-Dunkel-Grenze

9

Messkandidat

10

modellgestütztes Spurverfolgungsverfahren

11

Suchfenster

12

signalangepasstes Filter

13

Inferenzmaschine

14

signalangepasstes Filter

15

Spurerkennungsverfahren

16

Wissensbasis

Claims (11)

1. Verfahren zur Ermittlung eines Spurverlaufs einer beidseitig helle oder dunkle Spurbegrenzungslinien (6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus einem über die Fahrbahn (1) fahrenden Fahrzeug (2), bei dem

• - mindestens eine Kamera (3) in bestimmten Zeitin­ tervallen ein Bild (5) eines vor dem Fahrzeug liegenden Außenraums an eine Bildverarbeitungs­ einrichtung (4) liefert,
• - die Bildverarbeitungseinrichtung (4) bei den Spurbegrenzungslinien (6) in Abhängigkeit von zumindest einem Lenkwinkel sowie einer momenta­ nen Geschwindigkeit des Fahrzeugs (2) und einem vorgegebenen Fahrzeuglage- und Spurverlaufsmo­ dell signifikante Hell-Dunkel-Grenzen (8) mo­ dellgestützt sowie einen von zwei signifikanten Hell-Dunkel-Grenzen (8) begrenzten Linienbereich zeilenweise ermittelt,
• - Messkandidaten (9) der Hell-Dunkel-Grenzen (8) von der Bildverarbeitungseinrichtung (4) in je­ weils mindestens einem modellgestützten und merkmalsbasierten Zustandsschätzverfahren (10, 15) zu Zustandsvektoren verarbeitet werden, die die Fahrzeuglage und den Spurverlauf beschreiben und
• - eine Inferenzmaschine (13) aus Zustandsvektoren die Ist-Daten des Spurverlaufs ermittelt sowie das modellgestützte und das merkmalsbasierte Zu­ standsschätzverfahren (10, 15) anhand vorgegebe­ ner Daten vergleicht, beurteilt und ggf. korri­ giert.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das modellgestützte und das merkmalsbasierte Zustandsschätzverfahren (10, 15) Vertrauensmaße lie­ fern, mit denen die Güte der Zustandsvektoren abge­ schätzt wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abweichung des jeweiligen Messkandidaten (9) zur erwarteten Soll-Lage der Fahrbahn (1) im Bild,(5) ein Gütemaß zur Abschätzung der Güte der jeweiligen modellgestützten und merkmalsbasierten Zustandsschätzverfahren (10, 15) liefert.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Zustandsvektoren eines Bildes (5) als Grundlage für die Ermittlung von Messkandidaten (9) eines dar­ auffolgenden Bildes dienen.

5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass aus einen erwarteten Messvektor und einem ermittelten Messvektor ein Korrekturvektor zur Ermittlung eines Zustandsvektors gebildet wird.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung der Hell-Dunkel-Grenze (8) und des Linienbereichs der Spurbegrenzungslinien (6, 7) mit einem Optimalfilter (12, 14) vorgenommen wird.

7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei dem modellgestützten Zu­ standsschätzverfahren (10) ein Kalman Filter, eine Fuzzy-Inferenzmaschine oder ein neuronales Netz ver­ wendet wird.

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (4) in einem bestimmten Zeilenabstand mehrere Messkandidaten (9) für jede der Spurbegrenzungslinien (6, 7) pro Bild (5) in einer konstanten Vorausschauentfernung ermit­ telt.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass aus der Differenz erwarteter und gemessener Vektoren gerade und ungerade Anteile berechnet werden, die in dem modellgestützten Zu­ standsschätzverfahren (10) zu Zustandsvektoren ver­ arbeitet werden.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine zweite Kamera in bestimmten Zeitinterval­ len ein Bild (5) eines hinter dem Fahrzeug (3) lie­ genden Außenraums an eine Bildverarbeitungseinrich­ tung (4) liefert.

11. Vorrichtung zur Ermittlung eines Spurverlaufs einer beidseitig helle oder dunkle Spurbegrenzungslinien (6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus einem über die Fahrbahn (1) fahrenden Fahrzeug (2), bestehend aus

• - mindestens einer Kamera (3), die in bestimmten Zeitintervallen ein Bild (5) eines vor dem Fahr­ zeug liegenden Außenraums an eine Bildverarbei­ tungseinrichtung (4) liefert,
• - einer Bildverarbeitungseinrichtung (4), die in Abhängigkeit von zumindest einem Lenkwinkel so­ wie einer momentanen Geschwindigkeit des Fahr­ zeugs (2) und einem vorgegebenen Fahrzeuglage- und Spurverlaufsmodell signifikante Hell-Dunkel- Grenzen (8) modellgestützt sowie einen von zwei signifikanten Hell-Dunkel-Grenzen (8) begrenzten Linienbereich zeilenweise ermittelt und die Messkandidaten (9) der Hell-Dunkel-Grenzen (8) in jeweils mindestens einem modellgestützten und merkmalsbasierten Zustandsschätzverfahren (10, 15) zu Zustandsvektoren verarbeitet, welche die Fahrzeuglage und den Spurverlauf beschreiben und
• - einer Inferenzmaschine (13), die aus Zustands­ vektoren die Ist-Daten des Spurverlaufs ermit­ telt sowie das modellgestützte und das merkmals­ basierte Zustandsschätzverfahren (10, 15) anhand vorgegebener Daten vergleicht, beurteilt und ggf. korrigiert.