EP3298541A1 - Verfahren zur schätzung von fahrstreifen - Google Patents

Verfahren zur schätzung von fahrstreifen

Info

Publication number
EP3298541A1
EP3298541A1 EP16731778.3A EP16731778A EP3298541A1 EP 3298541 A1 EP3298541 A1 EP 3298541A1 EP 16731778 A EP16731778 A EP 16731778A EP 3298541 A1 EP3298541 A1 EP 3298541A1
Authority
EP
European Patent Office
Prior art keywords
lane
input data
vehicle
lanes
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP16731778.3A
Other languages
English (en)
French (fr)
Inventor
Christopher Bayer
Claudia Loy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Publication of EP3298541A1 publication Critical patent/EP3298541A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

Die Erfindung betrifft ein Verfahren zur Schätzung von Fahrstreifen, welches vorzugsweise in einem Fahrerassistenzsystem zum Einsatz kommt. Erfindungsgemäß verwendet das Verfahren zur Schätzung von Fahrstreifen mehrere Eingangsdaten. Eingangsdaten sind die Position und Richtung von Merkmalsvektoren, die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft. Weitere Eingangsdaten sind Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahrscheinlichkeit eines Merkmalsvektors repräsentieren. Das Verfahren weist die folgenden Schritte auf: Die Eingangsdaten werden zeitlich gemeinsam akkumuliert (S10). Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung (Positions- und Richtungsgenauigkeit sowie Existenzwahrscheinlichkeit des Merkmalsvektors) die Geometrie von Fahrstreifen geschätzt (S20). Die geschätzte Geometrie von Fahrstreifen wird ausgegeben (S30), was insbesondere wiederum generisch als Position und Richtung von Merkmalsvektoren geschehen kann, wodurch der geschätzte Verlauf von Fahrstreifen quantitativ beschrieben wird.

Description

Verfahren zur Schätzung von Fahrstreifen
Die Erfindung betrifft ein Verfahren zur Schätzung von Fahrstreifen, welches vorzugsweise in einem Fahrerassistenzsystem zum Einsatz kommt.
Die Entwicklung von Fahrerassistenzsystemen basiert auf der Analyse und Interpretation des fahrzeugnahen Umfelds mittels Sensordaten. Dabei ist die Repräsentation des Fahrstreifen- Verlaufs ein wichtiger Bestandteil und bildet die Grundlage für bekannte Assistenzsysteme wie „Lane Departure Warning"
(Fahrspurverlassenswarnung) .
Ein verbreiteter Ansatz der Fahrstreifenerkennung zur Reprä- sentation des Fahrzeugumfelds ist die Erfassung der vor dem Fahrzeug liegenden Fahrstreifenmarkierungen mit einer Kamera und die Auswertung der erfassten Daten mittels Verfahren aus der Bildverarbeitung (meist basierend auf Kontrastauswertungen) . Kamerabasierte Fahrstreifenerkennungssysteme finden in viel¬ fältigen Fahrerassistenzsystemen Verwendung, wie beispielsweise Spurhalteassistenten. Diese Systeme detektieren im Allgemeinen die den eigenen Fahrstreifen begrenzenden Linien anhand der Fahrstreifenmarkierungen und warnen den Fahrer vor einem un- beabsichtigten Verlassen des Fahrstreifens, beispielsweise im Fall von Unachtsamkeit oder Müdigkeit bzw. Sekundenschlaf.
WO 2014/032664 AI zeigt ein Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug, bei welchem einen befahrbaren Raum begrenzende Strukturen mittels wenigstens einer Bilder¬ fassungseinheit erfasst werden und diese Strukturen in eine Umgebungskarte eingetragen werden. Die Umgebungskarte der Fahrzeugumgebung ist hierbei in eine zweidimensionale Git¬ terstruktur von Zellen unterteilt. WO 2011/131165 AI zeigt ein Verfahren zur Bestimmung des Fahrbahnverlaufes für ein bewegtes Kraftfahrzeug mit wenigstens einem Umgebungssensorsystem. Dabei werden die von dem auf die Fahrbahn gerichteten Umgebungssensorsystem erzeugten Sensordaten einer Auswertung zur Erkennung von fahrspurrelevanten Merkmalen unterzogen. Ein Fahrspurmodell mit wenigstens einem den Spurverlauf bestimmenden Spurmodellparameter für die Fahrbahn wird erzeugt. Als Fahrspurmodell können hierbei stetig differenzierbare Segmente verwendet werden, insbesondere im Rahmen eines klothoidischen Fahrbahnmodells, eines Kreisbo¬ genmodells oder eines Splinemodells .
Nachteilig an derartigen Verfahren ist, dass typischerweise nur Daten eines bildgebenden Umgebungserfassungssensors verwendet werden, so dass bei dessen Ausfall keine Information zum Fahrspurverlauf ermittelt werden kann.
Nachteilig ist ferner, dass geometrische Modellannahmen ge¬ troffen werden müssen, um den Fahrspurverlauf aus den erfassten Bilddaten zu ermitteln.
DE 102013213361 AI stellt ein Verfahren für eine Spurführung für ein Fahrzeug vor mit Mitteln zur Erfassung der Position anderer Fahrzeuge, wobei die Position anderer Fahrzeuge über eine vorgegebene Zeitdauer akkumuliert wird und Zonen mit einen hohen Präsenz von Fahrzeugen als eine Fahrspur erkannt werden. Daten mehrerer Sensoren können hierzu fusioniert werden, z.B. von Umgebungserfassungssensorsysteme wie Radar-, Lidar- und/oder Kamerasysteme, Daten der Fahrzeug-zu-Fahrzeug-Kommunikation (C2C) und Daten basierend auf digitalen Straßenkarten.
DE 102012219475 AI zeigt ein allgemeines Konzept eines Sen¬ sorsystems sowie dessen Verwendung in Kraftfahrzeugen. Das Sensorsystem umfasst mehrere Sensorelemente, die so ausgebildet sind, dass sie zumindest teilweise unterschiedliche primäre Messgrößen erfassen und/oder zumindest teilweise unterschiedliche Messprinzipien nutzen. Das Sensorsystem umfasst eine Signalverarbeitungseinrichtung, wobei die Signalverarbei- tungseinrichtung so ausgebildet ist, dass sie die Sensorsignale der Sensorelemente zumindest teilweise gemeinsam auswertet und die Informationsqualität der Sensorsignale bewertet. Hierbei stellt die Signalverarbeitungseinrichtung eine Information über die Genauigkeit wenigstens eines Datums einer physikalischen Größe bereit. Die Signalverarbeitungseinrichtung ist so ausgebildet, dass die Information über die Genauigkeit in wenigstens einer Kenngröße oder einem Kenngrößensatz beschrieben ist.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Schätzung von Fahrstreifen anzugeben, das gegenüber den bekannten Verfahren eine höhere Verfügbarkeit, einen vergrößerten Erfassungsbereich und eine robustere Schätzung erlaubt.
Ein Ausgangspunkt der Erfindung kann darin gesehen werden, dass neben der Spurhalteunterstützung zunehmend komplexere Aufgaben zur Lokalisierung und Positionierung, sowie zur Planung einer Fahrstrategie und einer entsprechenden Trajektorie für das hochautomatisierte Fahren eine präzise Fahrstreifenschätzung erforderlich machen.
In Hinblick auf die Weiterentwicklung von Fahrerassistenzsystemen in Richtung Autonomes Fahren steigen die Anforderungen an die Erkennung von Fahrstreifeninformationen im Fahrzeugumfeld (insbesondere für eine Repräsentation im Sinne eines „Road Models" bzw. Straßenmodells):
Das zuverlässige, robuste Erkennen des eigenen Fahr¬ streifens, sowie eine hohe Verfügbarkeit der Erkennungsrate ist unabdingbar notwendig, für eine Stabilität und Zuverlässigkeit des Systems. Das gilt insbesondere bei schlechten Witte- rungsbedingungen (Schnee/Nebel) oder partiellen Verdeckungen des Sichtbereichs (durch andere Verkehrsteilnehmer) , wo rein kamerabasierte Systeme an ihre Grenzen stoßen. Ansonsten kann ein System, welches nicht dauerhaft von einem Fahrer überwacht wird, wie es beim hochautomatisierten Fahren ermöglicht werden soll, nicht realisiert werden.
- Es ist notwendig den eigenen Fahrstreifen mit einer erhöhten Reichweite zu erfassen um beispielsweise höhere Geschwindig¬ keiten möglich zu machen.
- Neben dem eigenen Fahrstreifen ist auch die Erkennung von Nachbar-Fahrstreifen notwendig, um z.B. einen Spurwechsel oder ein Überholmanöver planen zu können, um Verkehrsregeln wie das „Rechtsfahrgebot" einhalten zu können oder auch um Verkehrs¬ zeichen im Bedarfsfall einzelnen Fahrstreifen zuordnen zu können.
Durch die Verwendung von redundanten Informationen können Ausfälle bzw. Schwächen eines Sensors kompensiert werden. Schließlich muss eine Fahrstreifenerkennung zu jedem Zeitpunkt gewährleistet werden können.
Ein erster Aspekt der Erfindung besteht darin, sich bei der Ermittlung oder Schätzung des Verlaufs von Fahrstreifen nicht auf die Daten eines Umfelderfassungssensors zu beschränken, sondern Eingangsdaten von mehreren Sensoren zu verarbeiten.
Eine Detektion von Fahrstreifenmarkierungen kann neben einer Monokamera zusätzlich auch auf Messdaten einer zweiten oder weiterer Kamera (s), insbesondere einer Stereokamera, einer Kamera mit einem seitlichen oder rückwärtigen Erfassungsbereich (wie sie beispielsweise bei Rundumsicht- bzw. Sourround-View-Systemen zum Einsatz kommen) oder auch einer seitlich angeordneten Kamera mit großem Öffnungswinkel, bzw. unter Verwendung anderer optischer 3D-Sensoren erfolgen. So kann die räumlich aufgelöste Erkennung von Fahrstreifenmarkierungen auch mittels eines hochauflösenden 3D Flash Lidars oder eines Photonenmischdetektors (PMD, Photonic Mixing Device) oder laserbasiert über die Detektion der Reflexionen an Fahrstreifenmarkierungen mittels Laser erfolgen.
Zusätzlich oder alternativ kann der Fahrstreifenverlauf auf Basis dynamischer Objekte - also anderer Fahrzeuge bzw. Ver¬ kehrsteilnehmer - geschätzt werden. Die dynamischen Objekte sowie deren Bewegungsverhalten (u.a. 3D-Position, Relativgeschwindigkeit) können mittels eines Strahlsensors, vorzugsweise eines Radar- oder Lidarsensors getrackt werden. Zudem können Informationen zu Fahrstreifen auch aus Kartenmaterial wie beispielsweise aus Karten eines Navigationssystems gewonnen werden oder aber auch aus Backend-Datenbanken oder aus einer Kommunikation mit anderen Fahrzeugen, wobei die Position des eigenen Fahrzeugs mittels einer Positionserkennungvorrichtung (z.B: GPS, GNSS, Lokalisierung mittels Landmarken) ermittelt wird. Auch die Kenntnis von Odometriedaten aus der Fahrzeugsensorik ermöglicht eine Schätzung des Verlaufs von Fahrstreifen. Unter Odometriedaten werden hierbei Daten verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahrzeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen können.
Ein zweiter Aspekt der Erfindung besteht darin, die Daten, die ein Sensor bereitstellt, unabhängig von den Messmethoden dieses Sensors zu verarbeiten, wobei jedoch die Qualität der einzelnen Messwerte des Sensors Eingang in die Schätzung findet. Die Messwerte finden somit als generische Merkmale Eingang in die Schätzung .
Erfindungsgemäß verwendet das Verfahren zur Schätzung von Fahrstreifen mehrere Eingangsdaten. Eingangsdaten sind die Position und Richtung von Merkmalsvektoren, die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahr- Streifens an dieser Position verläuft. Der Winkel wird im Folgenden auch als Heading ( -winkel ) bezeichnet und gibt den Winkel zwischen der Fahrzeuglängsachse und der Verlaufsrichtung des Fahrstreifenrands an.
Weitere Eingangsdaten sind Größen, die die Qualität der Messung, also die Positions- und der Richtungsgenauigkeit der Messung und die Existenzwahrscheinlichkeit eines Merkmalsvektors reprä¬ sentieren. Das Verfahren weist die folgenden Schritte auf: Die Eingangsdaten werden zeitlich gemeinsam akkumuliert in Schritt S10.
Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung (Positions- und Richtungsgenauigkeit sowie Existenzwahrscheinlichkeit des Merkmalsvektors) die Geometrie von Fahrstreifen geschätzt in Schritt S20. Die geschätzte Geometrie von Fahrstreifen, also das Ergebnis der Schätzung wird ausgegeben in Schritt S30, was insbesondere wiederum generisch als Position und Richtung von Merkmalsvektoren geschehen kann, wodurch der geschätzte Verlauf von Fahrstreifen quantitativ beschrieben wird. Somit bietet die Erfindung ein intelligentes und allgemeines Verfahren zur Fahrstreifenschätzung basierend auf einer Verwendung der Daten verschiedenster Informationsquellen bzw. Sensoren auf der Ebene von generischen Merkmalen für eine robuste und genaue Fahrstreifenverlaufsschätzung .
Das Verfahren bietet die folgenden Vorteile:
Es ermöglicht die Verwendung heterogener Informationsquellen, also eine beliebige Anzahl an Quellen mit verschiedenen Messprinzipien . Es ermöglicht eine generische Repräsentation der Eingangs- und Ausgangsdaten als x, y-Position, Richtung bzw. Heading, Varianz und Konfidenz.
Unsicherheiten einer Eingangsdatenquelle werden durch die Genauigkeit anderer Eingangsdatenquellen kompensiert. Das Schätzergebnis kombiniert und verbessert die Eingangsdaten einer Informationsquelle .
Die Verfügbarkeit und Robustheit der Fahrstreifenschätzung wird durch die Redundanz erhöht. Ausfälle von Informationsquellen führen nicht zu einem Systemausfall sondern nur zu einer niedrigeren Konfidenz sowie größeren Positions- und Richtungsvarianzen .
Die Schätzung ist a priori frei von geometrischen Modellannahmen. Der Erfassungsbereich bzw. der Bereich in der Umgebung des Fahrzeugs, für den eine Fahrstreifenschätzung erfolgt, wird vergrößert .
Die Merkmale können aus verschiedenen Informationsquellen mit geringer Vorverarbeitung extrahiert werden (z.B. bei Kamera- Systemen werden Merkmalsvektoren auf den Fahrstreifenmarkierungen extrahiert, bei der Schätzung aus dynamischen Objekten werden sie anhand der Trajektorie der dynamischen Objekte beschrieben) . Mittels der Merkmalsvektoren ist eine sehr generische Repräsentation der Ein- und Ausgangsdaten des Fusi- onsmoduls geschaffen.
Die Fusion arbeitet unabhängig von Messprinzipien der Informationsquellen und frei von geometrischen Modellannahmen (wie z.B. Approximation des Fahrstreifenverlaufs durch Klothoiden oder Splines) . Gleichzeitig funktioniert der Algorithmus sowohl für einzelne Input-Sensoren als auch für jede Kombination verschiedener Eingangssignale, damit ist die Fusion unabhängig von der Anzahl der verwendeten Informationsquellen. Die Qualität der Ein- und Ausgangsdaten wird über Positions-Varianzen und Konfidenzwerte repräsentiert. Damit können verschiedene Ein- gangsdaten erfasst und (mittels entsprechender Gewichtung) kombiniert werden und die Positionsgenauigkeit des Ergebnisses festgehalten werden. Zudem wird beispielsweise der Ausfall einer Informationsquelle im Ergebnis nur über den niedrigerer Konfidenzwert (respektive durch eine erhöhte Varianz) der Merkmalsvektoren bemerkbar gemacht, nicht aber durch einen Systemabbruch .
In einer bevorzugten Ausführungsform werden in einem weiteren Schritt S12 akkumulierte Merkmalsvektoren, die zusammenliegen, assoziiert. Akkumulierte Merkmalsvektoren werden also als Gruppe zusammengefasst , wenn der Headingwinkel bis auf eine gering¬ fügigen Betrag übereinstimmt und sie räumlich nicht zu weit voneinander entfernt sind, insbesondere in einer Koordinate der Position.
Gemäß einer vorteilhaften Weiterbildung der Erfindung werden in einem weiteren Schritt S14 assoziierte Merkmalsvektoren fusioniert. Diese Fusionierung kann insbesondere als eine ge- wichtete Mittelung erfolgen, durch die eine Glättung in der Hauptverlaufsrichtung erzielt wird.
In einer bevorzugten Ausführungsvariante können basierend auf den akkumulierten (und gegebenenfalls assoziierten und ge- mittelten) Merkmalsvektoren geometrische Modellannahmen bei der Schätzung der Geometrie von Fahrstreifen zum Einsatz kommen.
Zur Schätzung von Fahrstreifen kann insbesondere ein GraphSLAM Verfahren eingesetzt werden. Der GraphSLAM Algorithmus löst das sogenannte „füll SLAM problem" ( SLAM=Simultaneous Localization And Mapping) mithilfe der Optimierung eines dünn besetzten Graphen. SLAM Algorithmen versuchen gleichzeitig
(„Simultaneous" ) eine Karte der Umgebung zu erstellen („Map¬ ping") sowie die eigene Position in der Karte („Localization") zu bestimmen. Das „füll problem" besteht darin neben der aktuellen Position auch den Verlauf vergangener Positionen zu berechnen. Die Lösung des „füll SLAM problems" mit GraphSLAM können im Gegensatz zu herkömmlichen Fusionsalgorithmen wie dem Kaiman-Filter nachträglich falsche Merkmals-Assoziationen revidiert werden. Dadurch können robustere und genauere Er¬ gebnisse erzeugt und ausgegeben werden.
Bevorzugt können Eingangsdaten ermittelt werden aus einer Fahrstreifenbegrenzungsmarkierungserkennung, einer Erkennung von Objekten, welche einen Fahrstreifen begrenzen und/oder einer Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge bzw. dynamischer Objekte.
Die Fahrstreifenbegrenzungsmarkierungserkennung kann in an sich bekannter Weise mittels einer monokularen monochrome oder farbauflösende Frontkamera, einer Stereokamera oder eines sonstigen optischen 3D-Sensors erfolgen.
Objekte, die einen Fahrstreifen räumlich begrenzen können ein Bordstein, eine Leitplanke, Pfosten, eine Randbebauung oder auch eine vertikale Absenkung am Rand des Fahrbahnbelags gegenüber einer angrenzenden Wiese oder ähnlichem sein. Diese Objekte können insbesondere von 3D-Sensoren detektiert oder aus Ka¬ merabilddaten ermittelt werden.
Eine Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge kann insbesondere mittels Radar, Lidar oder einer Kamera mit einer Fahrzeugobjekterkennung durchgeführt werden. Aus der Traj ektorienmessung kann ein hypothetischer Fahrstreifenverlauf ermittelt werden, indem die Annahme ge¬ troffen wird, dass das vorausfahrende bzw. entgegenkommende Fahrzeug innerhalb eines Fahrstreifens gefahren ist und eine plausible Fahrstreifenbreite zugrundegelegt wird. Ein typischer Spurwechsel eines anderen Fahrzeugs kann hierbei anhand des geänderten Kurvenradius der gemessenen Trajektorie erkannt werden. Die Positionsgenauigkeit dieser Ermittlung ist deutlich schlechter als bei einer Erkennung von Fahrstreifenmarkierung, aber sie ist mittels Radarsensoren auch bei extrem schlechten Sichtverhältnissen oder bei gänzlich fehlenden Fahrstreifenmarkierungen noch möglich.
Vorteilhaft kann die ausgegebene geschätzte Geometrie von Fahrstreifen verwendet wird im Rahmen einer
Fahrspurverlassenswarnung (Lane Departure Warning, LDW) , einer Müdigkeitswarnung, einer Fahrspurwechselunterstützung, einer Aktiven Fahrspurhalteunterstützung (Lane Departure Protection oder Lane Keeping) einer Fahrspurmittenführung, einer Routenführungsunterstützung, einer Verkehrszeichenassistenz (um die Relevanz von fahrstreifenbezogenen Verkehrszeichen für das eigene Fahrzeug zu ermitteln) , einer Überholmanöverunter- Stützung, zur Einhaltung von Verkehrsregeln (z.B. Rechtsfahrgebot, Überholverbot mittels durchgezogener Linie) einer Notbremsassistenz, einer Notlenkassistenz und/oder einer Autonomen Fahrzeugführung. Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Schätzung von Fahrstreifen, die ausgebildet ist, um ein erfindungsgemäßes Verfahren durchzuführen.
Im Folgenden werden vorteilhafte Ausführungsbeispiele der Erfindung anhand von Figuren beschrieben. Es zeigen:
Fig. 1 ein Fahrzeug innerhalb von Fahrstreifen,
Fig. 2 eine Repräsentation von Eingangsdaten von zwei unterschiedlichen Sensoren, die zeitlich gemeinsam akkumuliert worden sind,
Fig. 3 eine Repräsentation, bei der zusammenliegende Ein¬ gangsdaten aus Fig. 2 assoziiert worden sind,
Fig. 4 eine Repräsentation, bei der die nach Fig. 3 assoziierten Vektoren fusioniert worden sind, und Fig. 5 ein schematisches Flussdiagramm zum Ablauf eines Verfahrens zur Schätzung von Fahrstreifen.
Fig. 1 zeigt ein Fahrzeug (1), das sich auf dem mittleren (II) von drei Fahrstreifen (I-III) befindet. Die drei Fahrstreifen (I-III) sind voneinander durch gestrichelte Fahrstreifenmarkierungen (6; 7) getrennt und gegenüber dem außerhalb der dreistreifigen Fahrbahn liegenden angrenzenden Bereich (4; 9) jeweils durch eine durchgängige Fahrstreifenmarkierung (5; 8) bzw. -begrenzungslinie getrennt.
Das Fahrzeug (1) verfügt über mehrere Umfelderfassungssensoren, bevorzugt über eine Frontkamera (2) und einen Radarsensor (3) . Die Frontkamera (2) erfasst Bilder, die den vor dem Fahrzeug (1) liegenden Bereich der Fahrstreifen (I-III) abbilden, soweit die Fahrbahnoberfläche im Sichtfeld der Frontkamera (2) liegt und nicht von Objekten verdeckt ist.
Aus den Bilddaten können in an sich bekannter Weise Fahrstreifenmarkierungen (5-8) als Hell-/Dunkel-Übergänge extra¬ hiert werden. Ein Merkmal kann als Merkmalsvektor m (x,y,heading in Fahrzeugkoordinaten) auf dem Rand eines Fahrstreifens (I-III) bzw. zwischen zwei Fahrstreifen angegeben werden.
Als Eingangsdaten für das Schätzverfahren werden von der Frontkamera (2) x,y-Position und Headingwinkel in Fahrzeug¬ koordinaten von Punkten geliefert, die im Bild auf dem Rand eines Fahrstreifens (I-III) bzw. auf einer Fahrstreifenmarkierung (4-8) liegen.
Im Fahrzeugkoordinatensystem entspricht die x-Achse der Fahrzeuglängsachse und die y-Achse verläuft senkrecht zur x-Achse. Positive y-Entfernungen befinden in Vorwärtsrichtung des Fahrzeugs gesehen also links. Als Heading ( -winkel ) wird der Winkel des Verlaufs der Markierungslinie bzw. der Fahrstrei¬ fenbegrenzung zur Fahrzeuglängsachse bezeichnet. Ein in positive x-Richtung weisendes Heading bedeutet also, dass die Fahr- Streifenmarkierung parallel zur Fahrzeuglängsachse orientiert ist .
Aufgrund der begrenzten Auflösung einer Frontkamera (2) und aufgrund von Unsicherheiten, die die Fahrstreifenmarkie- rungsextraktion mit sich bringt, beispielsweise durch eine Koordinatentransformation, ergibt sich eine Messungenauigkeit bzw. Varianz der Position (σΧ, σΥ) und der Richtung (cHeading) . Aufgrund von Störungen bzw. Einschränkungen bei der Kamerabilderfassung oder fehlenden, verdeckten, ausgeblichenen usw. Fahrstreifenmarkierungen kann es sein, dass die Frontkamera (2) eine Fahrstreifenmarkierung zumindest teilweise nicht oder nicht sicher erkennen kann. Dies wird als Konfidenzwert des be¬ treffenden Vektors mitgeliefert. Ein Konfidenzwert von 1 be¬ deutet hierbei eine 100%ige Erkennung, ein Konfidenzwert von 0.2 bedeutet, dass nur mit 20%iger Wahrscheinlichkeit der be¬ treffende Vektor m überhaupt eine Fahrstreifenmarkierung (5-8) angibt. Optional kann von der Frontkamera (2) bereits eine Information über den Typ der Fahrstreifenmarkierung an dieser Position mitgeliefert werden, z.B. „durchgezogen", „gestri- chelt", „gepunktet" im Falle von Markierungsnägeln (Bott's Dots) .
Somit ist eine mögliche Repräsentation der Ein- und Ausgangsdaten die folgende:
Punkte, welche den Rand von Fahrstreifen beschreiben:
- x, y [m] Position in Fahrzeugkoordinaten
- Heading [rad] Headingwinkel in Fahrzeugkoordinaten
- σΧ, σΥ, cHeading [m,m, rad] Standardabweichungen
- confidence [0.0,1.0] Konfidenzwerte (Existenzwahr- scheinlichkeit )
- Type Attribute z.B. „durchgezogen", „gestrichelt" Dies ermöglicht die Verwendung des GraphSLAM-Algorithmus für die FahrstreifenverlaufsSchätzung :
• Die Idee des Fusionsalgorithmus ist, die Karte („Map") generisch durch Merkmale (x, y, heading) zu beschreiben, welche den Fahrstreifenverlauf repräsentieren. Diese
Merkmale werden im Ego-Fahrzeugkoordinatensystem beschrieben, wofür die eigene Position mit geschätzt werden muss .
• Als Eingangsdaten werden generische Merkmale benutzt, die die wahrscheinlichen Positionen von Vektoren beschreiben.
Die Positionsunsicherheit wird durch die Positionsvarianz beschrieben. Durch die allgemeine Repräsentation ist der Algorithmus unabhängig von spezifischen Sensoren.
• Die Existenzunsicherheit aufgrund von z.B. Fehldetektionen bei Kamerasystemen oder Fehlinterpretationen bei der
Detektion dynamischer Objekte wird durch den Konfidenzwert repräsentiert .
Durch die Lösung des „füll SLAM Problems" mit GraphSLAM (im Gegensatz zu herkömmlichen Fusionsalgorithmen wie Kaiman Filter) können nachträglich falsche Assoziationen von Merkmal ( -svektor- ) en revidiert werden, um somit robustere und genauere Ergebnisse zu erzeugen.
Durch den generischen Ausgang (bzw. die generische Ausgabe) als Merkmais-Punktemenge ist der Algorithmus frei von Annahmen bezüglich der Spurrepräsentation oder geometrischen Einschränkungen .
Fig. 2 bis 4 veranschaulichen eine Ausführungsform des Verfahrens zur Fahrstreifenschätzung.
Fig. 2 zeigt Position und Richtung von Merkmalsvektoren m (Sensor 1) eines ersten Sensors (geschlossene Pfeilspitze) und Merk¬ malsvektoren m(Sensor 2) eines zweiten Sensors (offene Pfeilspitze) . Die Merkmale verschiedener Inputquellen werden gemeinsam zeitlich akkumuliert, also insbesondere zu einem Zeitpunkt gemeinsam ermittelt und in denselben x-y Graphen eingetragen, wie in Fig. 2 exemplarisch dargestellt.
Fig. 3 zeigt, wie zusammenliegende Merkmale assoziiert werden, da sie wahrscheinlich zu demselben Fahrstreifenrand gehören. Zusammenliegend sind Merkmalsvektoren, deren Headingwinkel im Wesentlichen übereinstimmt und deren Position nicht zu weit voneinander entfernt ist. In Fig. 3 lassen sich gut eine obere Gruppe (al) und eine untere Gruppe (a2) von Merkmalsvektoren erkennen, die jeweils fast schon eine Linie bilden.
Bei gestrichelten Linien, die von der Frontkamera detektiert werden und in x-Richtung verlaufen, ergeben sich beim Abtasten mitunter Sprünge in der x-Position zwischen zwei benachbarten Merkmalsvektoren, jedoch sollte die y-Position keine gravierenden Sprünge aufweisen (nicht dargestellt) .
Fig. 4 zeigt, wie die in Fig. 3 assoziierten Merkmale fusioniert werden, wodurch sich bei der oberen Gruppe (fl) und bei der unteren Gruppe (f2) insbesondere die Positionsgenauigkeit verbessert und die Konfidenz erhöht wird. Die Fusion kann in Form einer gewichteten Mittelung der y-Positionen erfolgen, wodurch Ausreißer entfernt werden können. Die Gewichtung kann zum einen der Messunsicherheit der Positionsbestimmung und zum anderen der Existenzwahrscheinlichkeit Rechnung tragen.
Fig. 5 zeigt schematisch einen Ablauf einer Ausführungsform der Verfahrens zur Schätzung von Fahrstreifen.
In Schritt S10 werden Eingangsdaten mehrerer Sensoren (Sensor 1 bis Sensor n) als Merkmalsvektoren zeitlich gemeinsam akku- muliert.
In Schritt S12 werden zusammenliegende Merkmale assoziiert. Die assoziierten Merkmale werden in Schritt S14 fusioniert. In Schritt S20 wird die Geometrie von Fahrstreifen geschätzt. Dies kann geschehen, indem das Ergebnis der Fusion als Schätzergebnis übernommen wird. Wenn keine Fusion durchgeführt wurde, kann auf Basis der Assoziierung von Merkmalsvektoren das Ergebnis geschätzt werden.
Wenn auch keine Assoziierung erfolgt ist, dann kann das Schätzergebnis direkt aus den akkumulierten Eingangsdaten unter Berücksichtigung der Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahrscheinlichkeit des Merkmalsvektors die Geometrie von Fahrstreifen erhalten werden. Optional kann nach der Fusion, Assoziierung oder Akkumulierung ein Abgleich der erhaltenen Merkmalsvektoren mit geometrischen Modellen erfolgen.
In Schritt S30 erfolgt die Ausgabe der geschätzten Geometrie von Fahrstreifen . Im Folgenden wird eine mögliche mathematische Formulierung eines erfindungsgemäßen Verfahrens angegeben.
Ein Spurmerkmal kann als Merkmalsvektor fj angegeben sein
fi = Ej, (!)
wobei j und yi die Position des Merkmals angeben und den Headingwinkel . Die Messunsicherheit für jedes Merkmal wird durch einen Konfidenzwert Cj und eine Kovarianzmatrix in Bezug auf
X , y und Θ angegeben. Diese zweidimensionale Formulierung vernachlässigt die Höheninformation des Fahrbahnverlaufs.
Das Ziel des Algorithmus zur Fusion der Spurmerkmale ist es, eine Beschreibung der Umgebung in Form eines Satzes Ffused von Spurmerkmalen F^, F2, ... , ¥N zu erhalten, der sich aus den un¬ terschiedlichen Spurmerkmal-Eingangsdaten ergibt. Allgemein kann dieses Problem beschrieben werden als Schätzung einer A-posteriori-Wahrscheinlichkeit wobei Xj die aktuelle Fahrzeugpose und m eine Beschreibung der Umgebung durch zahlreiche Messungen Z1 :t ist. Die Kontroll¬ vektoren U1 :t beschreiben die Bewegung des Fahrzeugs zur entsprechenden Zeit. Das ist als SLAM-Problem bekannt, welches z.B. durch Kaiman-Filter oder Partikelfilter gelöst werden kann. Vorliegend wird der GraphSLAM Algorithmus verwendet, der die
Umgebung und nicht nur die aktuelle Fahrzeugposition Xt sondern auch die gesamte Trajektorie Xo:t beschreibt. In GraphSLAM wird Gleichung (2) als dünn besiedelter (englisch: sparse) Graph beschrieben. Die Fahrzeugposen X0 :t und die Um¬ gebung m werden als Vertices (Knoten) Vj 6 V beschrieben. Die Messungen und Kontrollvektoren beschreiben zwingende Bedingungen, die als Kanten die entsprechenden Vertices verbinden. Eine Kante enthält also eine Information über den Rand einer Fahrspur. Der Graph wird formuliert als die Summe der Bedingungen
J(V) = y*] e(^ ,. Yi y Vj }J: ' Oj- Yiy Yf (3) wobei e(Zj , Vj, V ) eine Fehlerfunktion ist. Diese Fehlerfunktion gibt die Diskrepanz zwischen den Messungen Zj und der Vertexposendifferenz Zj (Vj, V ) an. Diese Diskrepanz wird gewichtet mit der Messungskovarianz in Form von Informations- matrizen Ω^- = . Die Minimierung dieser Summe von nicht-linearen quadratischen Gleichungen kann durch den Gauss-Newton Algorithmus gelöst werden. Die resultierende Konfiguration der Vertices ÜI ^ OMil 1 j _s^ gleich den
Posen der geschätzten Umgebungsmerkmale und der Fahrzeugpose.
Der Graph kann folgendermaßen aufgebaut werden. Die Umgebung und die gemessenen Spurmerkmale werden als Knoten im Graph Gt repräsentiert. Da nur die Umgebung vor dem Fahrzeug von Interesse ist, wird der entsprechende Satz an Fahrzeugposen reduziert auf xt-r:t mit T— 1 Posen. Somit enthält der Graph Gt sukzessive
Fahrzeugposen Xj_T, Xf_T+ Xj und Spurmerkmale f^, ■■■ , fn als Vertices Vj = [x, y, ö] . Alle Posen der Graph-Vertices werden im Bezug auf das aktuelle Fahrzeugposen—Koordinatensystem angegeben. Die Messungszwangsbedingungen, die die Kanten des Graphen definieren, ergeben sich aus den Eingangs-Spurmerkmalen und den Kontrollvektoren, die im Folgenden beschrieben werden.
Die Odometrie wird folgendermaßen in den Graphen eingefügt: die aktuellen Kontrollvektoren Ut = [ , v]T werden hinzugefügt zum vorherigen Graphen Gt_1. Der Steuervektor setzt sich aus der Gierrate 1p und der Geschwindigkeit V des Fahrzeugs zusammen und wird verwendet um die Posendifferenz Zx x = Δχ zwischen der vorherigen Pose Xt- und der aktuellen Pose Xj mit den ent¬ sprechenden Informationsmatrizen Ωβχ zu berechnen. Zunächst werden alle Vertices transformiert von Xt-i in die aktuelle
Fahrzeugpose Xj unter Verwendung von Δχ . Nach dieser Trans- formation werden alle Messungen, die mehr als 5 Meter hinter dem Fahrzeug liegen aus dem Graphen Gt entfernt. Zusätzlich werden vergangene Fahrzeugposen, die nicht mehr verwendet werden, verworfen. Die Odometriekante wird in den Graphen zwischen zwei aufeinanderfolgenden Posen eingefügt als die Bedingung
J*0 = β(Δχ? Χέ-ι, (4)
mit der Fehlerfunktion
Klothoiden aus der Fahrstreifenerkennung einer verfügbaren Fahrzeugkamera (smc) werden wie folgt zum Graphen hinzugefügt: Die Klothoiden werden als zwei Meter abgetastet um im Fahrzeugkoordinatensystem die Posen und die Informationsmatrizen der
Merkmale f 10 zu berechnen. Diese Merkmale werden mit allen existierenden Spurmerkmalen des Graphen assoziiert. Wenn kein Merkmal innerhalb einer Assoziierungsdistanz gefunden wird, wird ein neuer Vertex zum Graphen hinzugefügt. Die Bedingung wird beschrieben als
.J? c ef ffe. ,.f*) irmceff c, χ,. Γ). (5) wo die Messungn ί^ die gewünschte Posendifferenz ist zwischen dem Vertex der aktuellen Fahrzeugpose Xj und dem Vertex des neuen oder assoziierten Merkmals f* . Hieraus ergeben sich die smc-Kanten .
Merkmale aus einer hochauflösenden Kamera (hrc) werden fol- gendermaßen in den Graphen eingefügt: Da Merkmale in Bildern der hochauflösenden Kamera direkt bei den Spurmarkierungen ex-
Fahrzeugkoordinaten direkt mit existierenden Merkmalen assoziiert oder als neuer Vertex eingefügt mit den entsprechenden Messungs-Zwangsbedingungen
J ; i = e(if , x, , Γ). (6) woraus sich die Kanten für die hochauflösenden Kameradaten ergeben . Merkmale aus dynamischen Objekten werden wie folgt zum Graph hinzugefügt: Die Idee besteht darin, die Positionen und Be¬ wegungen von anderen Verkehrsteilnehmern zu verwenden, um daraus Informationen über die Fahrspuren abzuleiten. In den meisten Fällen neigen Fahrer anderer Fahrzeuge dazu, in der Nähe der Mitte der Fahrspur zu fahren. Auf Basis dieser Annahme werden Merkmale aus getrackten Objekten generiert. Zwei Merkmale senkrecht zur Fahrtrichtung des Objekts werden auf der linken und rechten Seite jedes dynamischen Objekts erstellt mit einem Abstand von w/2 als potentielle Fahrspurmarkierungen. Der Parameter W ist einer Schätzung der aktuellen Spurbreite, die entweder aus den Klothoiden aus der Fahrstreifenerkennung der verfügbaren Fahrzeugkamera übernommen werden kann oder für die ansonsten 3,5 Meter angenommen werden können. Letzteres entspricht der üblichen Breite einer Fahrspur auf Autobahnen in Deutschland. Die entsprechenden Merkmalskovarianzen sind gleich der Summe der Obj ektkovarianzen und einer Kovarianzmatrix, die die seitliche Standardabweichung von Verkehrsteilnehmern zur Fahrspurmitte angibt. Die resultierenden Merkmale werden mit existierenden Merkmalen assoziiert oder als ein neuer Vertex hinzugefügt mit den Messu gen
obj
wobei ttj^r das linke oder rechte Merkmal des z-ten getrackten Objekts zum Zeitpunkt t ist.
Eine mögliche Unzulänglichkeit des Modells ist, dass die linken und rechten Merkmale entkoppelt sind, was bedeutet, dass eine Verbesserung der Position des linken Merkmals das rechte Merkmal nicht beeinflusst und umgekehrt. Daher wird die Annahme der Spurbreite ausgedrückt als eine Zwangsbedingung zwischen dem linken und rechten Merkmal:
Die gewünschte Posendifferenz zwischen dem linken und dem rechten Merkmal desselben Objekts ist definiert als W = [0, W, 0°] mit der
Spurbreite W als seitlichem Abstand. Die Winkeldifferenz wird gleich Null gesetzt, da die Bewegungsrichtung der beiden Merkmale gleich sein soll. Die Informationsmatrix Qwtdth entspricht der Varianz der aktuellen Spurbreitenschätzung. Desweiteren sollte eine zusätzliche Abhängigkeit betrachtet werden: im aktuellen Modell werden zwei aufeinander folgende Merkmale auf derselben Seite eines Objekts entkoppelt. Das
obj f Obj bedeutet, dass Tt_1 ^ ^ keinen unmittelbaren Einfluss auf hat. Wenn ein Merkmal it_m durch andere Messungen korrigiert wird, kann eine große Diskrepanz zum nachfolgenden Merkmal auftreten. Diese Diskrepanz sollte minimiert werden, indem eine Glättungsbedingung
zwischen den zwei Merkmalen eingeführt wird. Die laterale Verschiebung zwischen zwei aufeinanderfolgenden Merkmalen kann dann reduziert werden, indem und HQQ 10 erhöht werden. Da die Entfernung in Längsrichtung nicht geändert werden soll, gilt Ωχχ 10 = 0. Dies ergibt für jedes Objekt jeweils eine Kante für eine Seite.
Wenn Verkehrsteilnehmer einen Spurwechsel durchführen, wird diese Bedingung gravierend verletzt, da ab einem bestimmten Punkt
obj f Obj das Merkmal tt_1 j zur einen Spur und das Merkmal zur anderen Spur gehört. Hier kann bei GraphSLAM die Gleichung (9) mit einer
Schaltvariable "· — — multipliziert werden. Wenn diese Variable auf Null gesetzt wird, ist diese Kante deaktiviert und wenn sie gleich eins ist, ist die Kante voll aktiviert. Das kann während der Optimierung des GraphSLAM angewandt werden, um falsche Verknüpfungen zu vermeiden, indem
***«*/ * ■■·!*■?' '■■ ais weitere Bedingung eingefügt wird.
Dies zwingt die Kante so lange aktiviert zu sein, bis der Fehler der Kante zu groß wird, und die Deaktivierung der Kante zu besseren Ergebnissen führt. Lösen des Graphen: zusammengenommen umfasst der Graph Gt die Bedingungen
wobei ί über alle T— 1 relevanten Zeitschritte und z über alle Sensormerkmale des entsprechenden Zeitschritts läuft.
Eine Konfiguration von optimalen Vertexposen wird durch Lösen des Graphen erhalten. Das Resultat des Algorithmus entspricht einem
Satz Ffused von fusionierten Spurmerkmalen, die direkt den optimalen Vertexposen entsprechen. Die Konfidenzwerte der resultierenden fusionierten Merkmale werden jedesmal aktualisiert, wenn gemessene Merkmale assoziiert werden.
Eine echtzeitfähige Anwendung des Fusionsalgorithmus wurde zum Nachweis der Durchführbarkeit eines erfindungsgemäßen Ver¬ fahrens auf Basis von kamerabasierten Fahrstreifendetektion und der Schätzung des Fahrstreifenverlaufs basierend auf dynamischen Objekten umgesetzt.
Hierbei waren Eingangsdaten:
Fahrstreifenerkennung einer verfügbaren Fahrzeugkamera (Merkmale aus abgetasteten Klothoiden)
Fahrstreifenerkennung auf einer hochauflösenden Kamera Fahrstreifenschätzung anhand dynamischer Objekte
In diesem Setup wird einerseits die Robustheit und die gute Positionsgenauigkeit der Fahrstreifenerkennung des eigenen Fahrstreifens der verfügbaren Fahrzeugkamera mit der erweiterten Fahrstreifendetektion der hochauflösenden Kamera (erhöhte Reichweite, Detektion der Nachbarfahrspuren) kombiniert. Die Positionsgenauigkeit des Ergebnisses wird mittels der Varianzen der Merkmale repräsentiert. Andererseits wird in der Fusion die kamerabasierte Fahrstreifeninformation zudem mit der Schätzung mittels dynamischer Objekte (basierend auf Kamera, Radar, Lidar) fusioniert (Vorteile der verschiedenen Messprinzipien können so kombiniert werden - beispielsweise wenn durch Verdeckungen die kamerabasierte Fahrstreifendetektion wenig Information bereitstellt.) Basierend auf den Ausgangs-Merkmalen können ge¬ ometrische Modellannahmen aufgesetzt werden (Approximation des Fahrstreifenverlaufs mittels Klothoiden, Splines, etc.)
Im Ergebnis konnte die Zuverlässigkeit der Erkennung der Fahrstreifengeometrie gegenüber herkömmlichen Erkennungsme¬ thoden deutlich gesteigert werden.

Claims

Patentansprüche
1. Verfahren zur Schätzung von Fahrstreifen unter Verwendung von Eingangsdaten, wobei die Eingangsdaten umfassen
- Position und Richtung von Merkmalsvektoren (m) , die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden, wobei die Position einen Punkt auf dem Rand eines Fahrstreifens beschreibt und die Richtung angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft, und
- Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahr¬ scheinlichkeit eines Merkmalsvektors repräsentieren, wobei das Verfahren die folgenden Schritte aufweist:
- Die Eingangsdaten werden zeitlich gemeinsam akkumuliert (S10)
- Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung der Positionsund der Richtungsgenauigkeit und der Existenzwahr¬ scheinlichkeit des Merkmalsvektors die Geometrie von Fahrstreifen geschätzt (S20) und
- Die geschätzte Geometrie von Fahrstreifen wird aus¬ gegeben (S30) .
2. Verfahren nach Anspruch 1, wobei in einem weiteren Schritt (S12) zusammenliegende akkumulierte Merkmalsvektoren assoziiert werden.
3. Verfahren nach Anspruch 2, wobei in einem weiteren Schritt (S14) assoziierte Merkmalsvektoren (al, a2) fusioniert werden .
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei basierend auf den akkumulierten (m) , assoziierten (al, a2) oder fusionierten (fl, f2) Merkmalsvektoren geometrische Modellannahmen bei der Schätzung der Geometrie von Fahrstreifen (S20) zum Einsatz kommen.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Schätzung von Fahrstreifen ein GraphSLAM Verfahren eingesetzt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten von mindestens zwei der folgenden Sensoren gemessen werden:
- Monokulare Frontkamera (2) in Fahrtrichtung eines Fahrzeugs blickend,
- Stereokamera in Fahrtrichtung eines Fahrzeugs bli¬ ckend,
- einer Kamera mit seitlichem und oder rückwärtigem Erfassungsbereich
- einer Kamera eines Rundumsichtsystems,
- sonstige optische 3D-Sensorik,
- Strahlsensor (3) ,
- Fahrzeugsensoren oder
- Positionserfassungsvorrichtung in Verbindung mit einer digitalen Karte, einer Backend-Datenbank und/oder Fahrzeug- zu-Fahrzeug-Kommunikationseinrichtungen .
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten ermittelt werden aus:
- einer Fahrstreifenbegrenzungsmarkierungserkennung,
- einer Erkennung von Objekten, welche einen Fahrstreifen begrenzen,
- einer Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die ausgegebene geschätzte Geometrie von Fahrstreifen verwendet wird im Rahmen einer
- Fahrspurverlassenswarnung,
- Müdigkeitswarnung,
- Fahrspurwechselunterstützung,
- aktiven Fahrspurhalteunterstützung,
- Fahrspurmittenführung,
- Routenführungsunterstützung,
- Verkehrszeichenassistenz,
- Überholmanöverunterstützung,
- Unterstützung zur Einhaltung von Verkehrsregeln,
- Notbremsassistenz,
- Notlenkassistenz, und/oder
- autonomen Fahrzeugführung.
9. Vorrichtung zur Schätzung von Fahrstreifen umfassend:
- Akkumulierungsmittel , die ausgebildet sind, Ein¬ gangsdaten mehrerer unterschiedlicher Sensoren zeitlich gemeinsam zu akkumulieren (S10), wobei die Eingangsdaten umfassen:
Position und Richtung von Merkmalsvektoren (m) , die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden, wobei die Position einen Punkt auf dem Rand eines Fahrstreifens beschreibt und die Richtung angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft, und
Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahr¬ scheinlichkeit eines Merkmalsvektors repräsentieren,
- Schätzmittel, die ausgebildet sind, aus den akkumu¬ lierten Eingangsdaten unter Berücksichtigung der Qualität der Vektoren die Geometrie von Fahrstreifen zu schätzen (S20) und - Ausgabemittel, die ausgebildet sind, die geschätzte Geometrie von Fahrstreifen auszugegeben (S30).
EP16731778.3A 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen Ceased EP3298541A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015209467.7A DE102015209467A1 (de) 2015-05-22 2015-05-22 Verfahren zur Schätzung von Fahrstreifen
PCT/DE2016/200227 WO2016188523A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Publications (1)

Publication Number Publication Date
EP3298541A1 true EP3298541A1 (de) 2018-03-28

Family

ID=56203051

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16731778.3A Ceased EP3298541A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Country Status (7)

Country Link
US (1) US10650253B2 (de)
EP (1) EP3298541A1 (de)
JP (1) JP6800168B2 (de)
KR (1) KR102558055B1 (de)
CN (1) CN107646114B (de)
DE (2) DE102015209467A1 (de)
WO (1) WO2016188523A1 (de)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307383B2 (ja) 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
US11106988B2 (en) * 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10150474B2 (en) * 2017-01-04 2018-12-11 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
DE102017208509A1 (de) * 2017-05-19 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen eines Straßenmodells während einer Fahrt eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
US20190011275A1 (en) * 2017-07-06 2019-01-10 Andrew Whinston System and method for routing autonomous vehicles
DE102018211368A1 (de) 2017-07-19 2019-01-24 Continental Teves Ag & Co. Ohg Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018101388A1 (de) * 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
JP7049188B2 (ja) * 2018-06-04 2022-04-06 本田技研工業株式会社 車両制御装置、車両制御方法およびプログラム
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
CN109215368B (zh) * 2018-08-23 2020-04-28 百度在线网络技术(北京)有限公司 一种辅助驾驶的方法、装置、设备和计算机存储介质
CN110969837B (zh) * 2018-09-30 2022-03-25 毫末智行科技有限公司 自动驾驶车辆的道路信息融合系统及方法
US10793123B2 (en) 2018-10-04 2020-10-06 Waymo Llc Emergency braking for autonomous vehicles
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
KR102633140B1 (ko) 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11195028B2 (en) * 2019-01-04 2021-12-07 Qualcomm Incorporated Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
KR102653342B1 (ko) 2019-05-20 2024-04-02 현대모비스 주식회사 자율 주행 장치 및 방법
US11587434B2 (en) 2019-06-25 2023-02-21 International Business Machines Corporation Intelligent vehicle pass-by information sharing
US10834552B1 (en) 2019-06-25 2020-11-10 International Business Machines Corporation Intelligent vehicle pass-by information sharing
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
EP3786012A1 (de) * 2019-08-29 2021-03-03 Zenuity AB Spurhaltung für autonome fahrzeuge
CN112885074B (zh) * 2019-11-30 2023-01-13 华为技术有限公司 道路信息检测方法以及装置
DE102019008368A1 (de) * 2019-12-02 2021-06-02 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
DE102020105711A1 (de) 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
DE102021202459A1 (de) 2021-03-15 2022-09-15 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Mehrspurigkeit einer Fahrbahn, Computerprogrammprodukt sowie Assistenzsystem
DE102021109425B3 (de) 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
DE102021110101A1 (de) 2021-04-21 2022-10-27 Valeo Schalter Und Sensoren Gmbh Computerimplementiertes Verfahren zum Detektieren von Fahrbahnmarkierungen, Computerprogramm, computerlesbares Speichermedium und Fahrerassistenzsystem
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP4105818A1 (de) * 2021-06-18 2022-12-21 Continental Autonomous Mobility Germany GmbH Verfahren und system zur schätzung der fahrbahngeometrie
DE102021206355A1 (de) 2021-06-21 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zur Zuordnung des von einem Fahrzeug aktuell befahrenen Fahrstreifens
CN113232663B (zh) * 2021-06-29 2022-10-04 西安电子科技大学芜湖研究院 一种应用于高级辅助驾驶的控制系统
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113903014B (zh) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 车道线预测方法、装置及电子设备、计算机可读存储介质
CN114475664B (zh) * 2022-03-17 2023-09-01 西华大学 一种拥堵路段自动驾驶车辆变道协调控制方法
DE102022002498B3 (de) 2022-07-08 2023-10-26 Mercedes-Benz Group AG Verfahren zum Fusionieren von Sensordaten
FR3139092A1 (fr) * 2022-08-26 2024-03-01 Psa Automobiles Sa Méthodes et systèmes pour le contrôle des autorisations de changement de voie de circulation par temps de pluie
DE102022209225A1 (de) 2022-09-06 2024-03-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292250B2 (ja) 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
DE102007044761A1 (de) * 2007-09-19 2008-05-08 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
EP2085279B1 (de) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC System zur Vorhersage eines Kollisionskurses
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
JP5105481B2 (ja) * 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
WO2010099789A1 (de) 2009-03-04 2010-09-10 Continental Teves Ag & Co. Ohg Verfahren zur automatischen erkennung eines fahrmanövers eines kraftfahrzeugs und ein dieses verfahren umfassendes fahrerassistenzsystem
JP4988786B2 (ja) * 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
DE102010020984A1 (de) 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5605187B2 (ja) 2010-11-24 2014-10-15 株式会社デンソー 運転疲労度判定装置
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
CN202152051U (zh) * 2011-07-08 2012-02-29 德州学院 一种车道偏离报警装置
KR20140060349A (ko) 2011-09-12 2014-05-19 콘티넨탈 테베스 아게 운트 코. 오하게 차량용 타이어 파라미터를 추정하는 방법
EP2574958B1 (de) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Straßenterrain-Erkennungsverfahren und System für Fahrerhilfssysteme
CN104011563B (zh) * 2011-10-24 2016-08-17 大陆-特韦斯贸易合伙股份公司及两合公司 用于独立评价其数据精度的传感器系统
DE102013213361B4 (de) * 2012-07-26 2023-07-06 Continental Autonomous Mobility Germany GmbH Verfahren für eine Spurführung basierend auf der Bewegung anderer Fahrzeuge
DE102012107885A1 (de) 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
CN104554259B (zh) * 2013-10-21 2018-03-30 财团法人车辆研究测试中心 主动式自动驾驶辅助系统与方法
US9384394B2 (en) * 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
EP2923911B1 (de) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH Verfahren und System zur Vorhersage des Bewegungsverhaltens eines Zielverkehrsobjekts
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
CN106164930B (zh) * 2014-04-04 2019-11-08 戴尔菲技术公司 车道检测方法和车辆
CN203844749U (zh) * 2014-05-28 2014-09-24 长安大学 一种车辆岔口路段检测装置
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Also Published As

Publication number Publication date
KR102558055B1 (ko) 2023-07-20
CN107646114A (zh) 2018-01-30
DE112016001203A5 (de) 2017-12-14
DE102015209467A1 (de) 2016-11-24
US20180173970A1 (en) 2018-06-21
CN107646114B (zh) 2022-02-18
KR20180009755A (ko) 2018-01-29
JP2018517979A (ja) 2018-07-05
WO2016188523A1 (de) 2016-12-01
JP6800168B2 (ja) 2020-12-16
US10650253B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
WO2016188523A1 (de) Verfahren zur schätzung von fahrstreifen
EP3584663B1 (de) Verfahren zur automatischen querführung eines folgefahrzeugs in einem fahrzeug-platoon
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
EP1684142B1 (de) Verfahren zur Kursprädiktion und Abstandsregelung in Fahrerassistenzsystemen für Kraftfahrzeuge
EP3094530B1 (de) Verfahren und system zum schätzen eines fahrspurverlaufs
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102017100029A1 (de) Vorhersage einer fahrerabsicht an einer kreuzung
DE102016210254A9 (de) Fahrzeugortung an kreuzungen anhand von visuellen anhaltspunkte, stationären objekten und durch gps
EP3160813A2 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
EP2629243A1 (de) Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
DE102019115080A1 (de) Verfahren zum vereindeutigen mehrdeutiger erkennungen in sensorfusionssystemen
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
EP2963631B1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
DE102020203756A1 (de) Autobahnausfahrt-erfassung und linienspiegelung zur fahrzeugtrajektorien-bestimmung
WO2020078727A1 (de) Verfahren und system zum bestimmen eines umfeldmodells für ein fahrzeug
EP3610224B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE112021000146T5 (de) Systeme und verfahren zur erkennung von radschlupf bei fahrzeugen
DE102016211730A1 (de) Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102021113651B3 (de) System zur Sensordatenfusion für die Umgebungswahrnehmung
EP3898368A1 (de) Verfahren und system zum bestimmen einer korrigierten trajektorie eines fahrzeugs
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102014223259B4 (de) Verfahren zum Schätzen des Fahrstreifenverlaufs einer Fahrbahn

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20171222

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL TEVES AG & CO. OHG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200116

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20211109