-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer Anordnungsinformation für ein Fahrzeug, insbesondere die Bestimmung einer Anordnung eines Fahrzeugs unter Berücksichtigung einer fahrstreifengenauen Karteninformation bei gleichzeitiger Verbesserung einer Annahme oder Hypothese zur Anordnung der Fahrstreifen. Die vorliegende Erfindung kann insbesondere in Verbindung mit Fahrerassistenzsystemen verwendet werden, welche eine automatische Führung des Fahrzeugs in einer Längs- und/oder Querrichtung ermöglichen oder unterstützen.
-
Für die Bereitstellung automatischer Fahrfunktionen für Fahrerassistenzsysteme von Fahrzeugen, beispielsweise Personenkraftwagen oder Lastkraftwagen, wird ein umfassendes Wissen über die aktuelle Umgebung des Fahrzeugs benötigt. Ein wichtiger Aspekt dieser Umgebung ist die Fahrbahninfrastruktur im Nahbereich vor dem Fahrzeug, in welchem ein automatisches Fahrverhalten des Fahrzeugs zu planen ist. Zur Ermittlung der wahrscheinlichsten Fahrbahninfrastruktur können verschiedene Arten von Informationsquellen verwendet werden, beispielsweise ein Vorwissen aus fahrstreifengenauen Straßenkarten in Kombination mit einem globalen Ortungssystem (GPS) sowie eine Sensor-basierte Wahrnehmung von Fahrstreifen, beispielsweise mithilfe von Kameras. Ein Problem ist, dass alle Datenquellen, beispielsweise die Karte, die globale Ortung und die Fahrstreifenwahrnehmung, mit topologischen und geometrischen Unsicherheiten und Messfehlern verschiedenster Art behaftet sein können. Für ein einheitliches und in sich kongruentes Bild der Umgebung sind unter Berücksichtigung aller Datenquellen und deren Fehler die wahrscheinlichste Position und Ausrichtung relativ zu der Karte und die wahrscheinlichsten Fahrstreifen zu bestimmen.
-
In diesem Zusammenhang offenbart die
DE 10 2011 120 497 A1 ein System zur präzisen Fahrzeugpositionsbestimmung innerhalb einer Fahrspur. Das Verfahren wird von einem Fahrzeug ausgeführt, welches einen Bordcomputer, Fahrzeugsensoren, eine Satellitenpositionsbestimmungseinheit und eine Datenbank mit einer Karte auf der Ebene von Fahrspuren aufweist, um unter Verwendung eines Kartenabgleichs eine neue Stellung des Fahrzeugs zu bestimmen. Bei dem Verfahren werden neue Daten von wenigstens einem der Fahrzeugsensoren empfangen und Messwerte von den Fahrzeugsensoren erhoben. Der Bordcomputer berechnet die Fortpflanzung der Fahrzeugstellung in Bezug auf aufeinanderfolgende Zeitpunkte. Ferner führt der Bordcomputer einen Kurvenanpassungsprozess aus, bei welchem beispielsweise GPS-Koordinaten des Fahrzeugs erhalten werden und der Ort des Fahrzeugs innerhalb der Karte auf der Ebene von Fahrspuren identifiziert wird. Der Bordcomputer führt ein Nachführungsprogramm aus, welches das Verwenden einer Wahrscheinlichkeitsverteilung zum Aktualisieren der Fahrzeugstellung hinsichtlich Datenpartikeln enthält, und führt auf der Grundlage der Datenpartikel ein Partikelfilterungs-Programm aus, um die neue Fahrzeugstellung zu berechnen. Auf der Grundlage von Ergebnissen des Kurvenanpassungsprozesses wird ein Beobachtungsmodell aktualisiert. Dabei werden Daten von der Karte auf der Ebene von Fahrspuren, die wenigstens eine registrierte Fahrspurlinie in der Nähe des Fahrzeugs identifiziert, ausgelesen und eine Position der Fahrspurlinie in Bezug auf ein Bezugsystem des Trägerfahrzeugs berechnet. Unter Verwendung einer Entfernungsanalyse werden die detektierten und registrierten Fahrspurstreifen und -begrenzungen abgeglichen und unter Verwendung der abgeglichenen Daten wird eine Beobachtungswahrscheinlichkeitsverteilung in Bezug auf Bilderkennungsdaten von einer Kamera der Fahrzeugsensoren berechnet. Beim Berechnen einer Position der Fahrspurlinie in Bezug auf ein Bezugssystem des Trägerfahrzeugs werden die aus einem Koordinatensystem der Karte auf der Ebene von Fahrspuren beschafften Fahrspurstreifen auf das Bezugssystems des Fahrzeugs projiziert und die detektierten und registrierten Fahrspurstreifen und -begrenzungen abgeglichen, wobei eine Analyse vom euklidischen Typ der Entfernung als die Entfernungsanalyse verwendet wird.
-
Die
DE 10 2010 033 729 B4 betrifft ein Verfahren zum Bestimmen der Position eines Fahrzeugs auf einer Fahrbahn. Bei dem Verfahren wird die Position des Fahrzeugs mit einer ersten Genauigkeit anhand von Ausgaben eines Satellitensignalsensors bestimmt. Aus einer digitalen Karte werden Daten zu einem ersten Fahrzeugumfeld für die mit der ersten Genauigkeit bestimmte Position gewonnen. Ferner werden Daten zu Fahrspurmarkierungen in einem zweiten Fahrzeugumfeld mit einem Linienerkennungssensor gewonnen. Daten zur Eigenbewegung des Fahrzeugs werden mit einem Fahrdynamiksensor gewonnen und Daten zu Objekten in einem dritten Fahrzeugumfeld mit einem Umfeldsensor gewonnen. Die Position des Fahrzeugs mit zumindest fahrspurspezifischer Genauigkeit auf der Fahrbahn wird durch Kombination der Daten zu dem ersten Fahrzeugumfeld aus der digitalen Karte und der Daten zu den Fahrspurmarkierungen in dem zweiten Fahrzeugumfeld mit den Daten zur Eigenbewegung des Fahrzeugs oder den Daten zu Objekten in dem dritten Fahrzeugumfeld in Abhängigkeit von der Fahrbahnsituation bestimmt.
-
Beim Zusammenführen von Informationen aus Kartendaten, Ortung (zum Beispiel GPS) und Fahrstreifenwahrnehmung wird üblicherweise davon ausgegangen, dass ein Teil der Daten fehler- und unsicherheitsfrei vorliegt. Dies trifft jedoch im Allgemeinen nicht zu, so dass diese Annahme zu einer ungenauen Bestimmung der Position und/oder Ausrichtung des Fahrzeugs in Bezug auf die tatsächliche Fahrbahn führt. Insbesondere bei Fahrerassistenzsystemen, welche das Fahrzeug automatisch auf der Fahrbahn steuern, sind jedoch insbesondere im Nahbereich derartige Ungenauigkeiten unerwünscht.
-
Aufgabe der vorliegenden Erfindung ist es daher, eine zuverlässigere Bestimmung der Position und Ausrichtung des Fahrzeugs in Bezug zu der tatsächlichen Fahrbahn zu ermöglichen.
-
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren zur Bestimmung einer Anordnungsinformation für ein Fahrzeug nach Anspruch 1, eine Anordnungsbestimmungsvorrichtung nach Anspruch 12 und ein Fahrzeug nach Anspruch 14 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.
-
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Bestimmen einer Anordnungsinformation für ein Fahrzeug bereitgestellt. Der Begriff „Anordnungsinformation” betrifft eine Position des Fahrzeugs und eine Ausrichtung des Fahrzeugs in Bezug auf ein stationäres Koordinatensystem, wie zum Beispiel ein weltumspannendes globales Koordinatensystem wie zum Beispiel das World Geodetic System (abgekürzt WGS). Das stationäre Koordinatensystem kann jedoch auch ein beliebiges anderes Koordinatensystem außerhalb des Fahrzeugs umfassen, wie zum Beispiel ein länderspezifisches Koordinatensystem. Im Zusammenhang mit der vorliegenden Erfindung wird der Begriff „Anordnungsinformation” auch als „Pose” bezeichnet, und umfasst zumindest eine zweidimensionale Position in dem stationären Koordinatensystem sowie eine Ausrichtung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem. Bei dem Verfahren wird eine lokale Fahrstreifenanordnung in einer Umgebung des Fahrzeugs mit Sensoren des Fahrzeugs erfasst. Die Fahrstreifenanordnung kann beispielsweise mithilfe von Kameras des Fahrzeugs erfasst werden. Die lokale Fahrstreifenanordnung gibt eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das Fahrzeug an. In Abhängigkeit von der lokalen Fahrstreifenanordnung und einer zuvor bestimmten Anordnungsinformation für das Fahrzeug wird eine erste Fahrstreifenanordnung bestimmt. Die erste Fahrstreifenanordnung gibt eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Anders ausgedrückt wird aus der lokalen Fahrstreifenanordnung, welche sich aus Sicht oder Wahrnehmung des Fahrzeugs ergibt, eine (erste) Fahrstreifenanordnung in Bezug auf das stationäre Koordinatensystem bestimmt. In Abhängigkeit von vorgegebenem Kartenmaterial wird eine zweite Fahrstreifenanordnung für die aktuelle Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem bestimmt. Auf der Grundlage einer geometrischen Ähnlichkeit der ersten Fahrstreifenanordnung und der zweiten Fahrstreifenanordnung wird eine Ähnlichkeitsinformation bestimmt und die zuvor bestimmte Anordnungsinformation für das Fahrzeug in Abhängigkeit von der Ähnlichkeitsinformation aktualisiert. Beispielsweise können Verschiebungen erforderlich sein, um die erste Fahrstreifenanordnung auf die zweite Fahrstreifenanordnung abzubilden. Anhand dieser Verschiebungen kann die Anordnungsinformation oder Pose für das Fahrzeug aktualisiert werden. Durch die Bestimmung der geometrischen Ähnlichkeit zwischen der in der Umgebung des Fahrzeugs erfassten Fahrstreifenanordnung und der Karten-basierten Fahrstreifenanordnung können Sensor-basierte und Karten-basierte Fahrstreifendaten gleichermaßen zur Aktualisierung der Anordnungsinformation für das Fahrzeug beitragen.
-
Bei einer Ausführungsform wird ferner eine zuvor bestimmte Fahrstreifenanordnungshypothese in Abhängigkeit von der Ähnlichkeitsinformation aktualisiert. Die Fahrstreifenanordnungshypothese gibt eine Hypothese für eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Somit können auf der Grundlage der geometrischen Ähnlichkeit der ersten und zweiten Fahrstreifenanordnung sowohl die Anordnungsinformation, also eine Posenschätzung für das Fahrzeug, als auch eine Fahrstreifenanordnungshypothese gemeinsam aktualisiert und optimiert werden.
-
Bei einer weiteren Ausführungsform umfasst die Anordnungsinformation des Fahrzeugs Parameter einer mehrdimensionalen Normalverteilung für die Position und Ausrichtung des Fahrzeugs. Beispielsweise kann die Position eine zweidimensionale Normalverteilung für die Position des Fahrzeugs in einem kartesischen Koordinatensystem umfassen und die Ausrichtung eine weitere Normalverteilung für einen Drehwinkel des Fahrzeugs bezogen auf eine vorgegebene Ausrichtung des Koordinatensystems umfassen. Koordinaten der Fahrstreifenanordnuingshypothese, beispielsweise Punkte entlang einer Fahrstreifenmitte, können ebenfalls als mehrdimensionale Normalverteilungen dargestellt werden. Die Parameter einer jeden dieser Normalverteilungen können beispielsweise einen Erwartungswert und eine Varianz umfassen. Indem die Anordnungsinformation und/oder die Fahrstreifenanordnungshypothese jeweils auf einem Normalverteilungs-basierten Darstellungsansatz beruhen, können Fehler und Ungenauigkeiten bei der zugeordneten Erfassung von Eingangsdaten modelliert und berücksichtigt werden. Insbesondere können auch Fehler oder Ungenauigkeiten der Karten-basierten Fahrstreifenanordnung berücksichtigt werden. Außerdem können alle Sensor-basierten Eingangsdaten mit kostengünstigen Sensoren erfasst werden, da die jeweiligen Unsicherheiten mit den Normalverteilungen direkt in die Berechnung einbezogen werden können.
-
Vorzugsweise wird ein Fahrstreifen einer Fahrstreifenanordnung durch eine die Fahrstreifenmitte darstellende Punktliste dargestellt. Jeder Punkt der Punktliste weist Parameter einer mehrdimensionalen Normalverteilung für eine Position in Bezug auf das stationäre Koordinatensystem auf. Kartenmaterial, welches Punktlisten umfasst, die die Mitte von Fahrstreifen markieren, ist üblicherweise verfügbar und kann daher in vorteilhafter Weise bei dem Verfahren verwendet werden. Indem jeder Punkt der Punktliste als Normalverteilung dargestellt wird, können Unsicherheiten des Kartenmaterials berücksichtigt werden. Beispielsweise können die durch das Kartenmaterial angegebenen Koordinaten in jeder Dimension als die Erwartungswerte der Normalverteilung in der jeweiligen Dimension verwendet werden. Eine Standardabweichung der Normalverteilung in der jeweiligen Dimension kann beispielsweise anhand der Kartengenauigkeit gewählt werden. Anhand einer Verbindung von zwei oder mehreren aufeinanderfolgenden Punkten der Punktliste kann eine gewünschte Ausrichtung eines Fahrzeugs auf einem Fahrstreifen ermittelt werden. Dadurch kann die in Abhängigkeit von dem vorgegebenen Kartenmaterial bestimmte zweite Fahrstreifenanordnung sowohl zur Aktualisierung der Position als auch zur Aktualisierung der Ausrichtung des Fahrzeugs beitragen.
-
Bei einer weiteren Ausführungsform wird die zuvor bestimmte Anordnungsinformation für das Fahrzeug in Abhängigkeit von Odometriedaten des Fahrzeugs aktualisiert. Die Odometriedaten des Fahrzeugs können beispielsweise Informationen von Radsensoren, Lenkwinkelsensoren oder Beschleunigungssensoren des Fahrzeugs umfassen. Mit den Odometriedaten kann eine relative Anordnungsänderung des Fahrzeugs in Bezug auf eine vorhergehende Position bestimmt werden. Auf der Grundlage der zuvor bestimmten Anordnungsinformation kann beispielsweise eine aktuelle Anordnungsinformation durch Einbeziehen der Odometriedaten bestimmt werden, wobei Ungenauigkeiten der zuvor bestimmten Anordnungsinformation und Messungenauigkeiten der Odometriedaten in Form von Normalverteilungen berücksichtigt werden können. Dadurch können die Odometriedaten des Fahrzeugs einschließlich ihrer möglichen Fehler bei der Aktualisierung der Anordnungsinformation für das Fahrzeug berücksichtigt werden.
-
Bei einer weiteren Ausführungsform wird eine stationäre Position des Fahrzeugs erfasst. Die stationäre Position gibt eine Position des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Das stationäre Koordinatensystem kann beispielsweise ein globales Koordinatensystem sein, wobei die stationäre Position beispielsweise mithilfe eines Satellitenpositionsbestimmungssystems erfasst wird. Die zuvor bestimmte Anordnungsinformation für das Fahrzeug wird in Abhängigkeit von der erfassten stationären Position des Fahrzeugs aktualisiert. Da die erfasste stationäre Position des Fahrzeugs eine Messungenauigkeit aufweisen kann, kann die stationäre Position des Fahrzeugs in Form einer mehrdimensionalen Normalverteilung bei der Aktualisierung der zuvor bestimmten Anordnungsinformation berücksichtigt werden.
-
Mit dem zuvor beschriebenen Normalverteilungs-basierten Darstellungsansatz für die Anordnungsinformation für das Fahrzeug und die zusätzlichen Informationen zur Aktualisierung der Anordnungsinformation für das Fahrzeug, wie zum Beispiel Odometriedaten, Informationen des Kartenmaterials, Kamera-basierte Umgebungsinformationen und Satelliten-basierte Positionsbestimmungsinformationen, können diese mit Messfehlern behafteten Informationen auf einfache Art und Weise einschließlich ihrer möglichen Fehler zur Aktualisierung der Anordnungsinformation für das Fahrzeug verrechnet werden. Insbesondere erlaubt der Normalverteilungs-basierte Darstellungsansatz eine Aktualisierung der Anordnungsinformation innerhalb weniger Millisekunden auf einem üblichen Rechensystem, wie zum Beispiel einer Mikroprozessorsteuerung in einem Fahrzeug, und ist damit echtzeitfähig für die Berechnung im Fahrzeug geeignet. Eine Wiederholungsrate für das wiederholte Durchführen des Verfahrens kann beispielsweise in einem Bereich von 25 bis 400 Wiederholungen pro Sekunde liegen.
-
Bei einer weiteren Ausführungsform können zusätzliche Merkmale in der Umgebung des Fahrzeugs mit entsprechenden Merkmalen des Kartenmaterials verglichen werden, um die Ähnlichkeitsinformation zu bestimmen. Dazu werden Fahrstreifeninformationen für die erste Fahrstreifenanordnung mittels der Sensoren des Fahrzeugs bestimmt. Die Fahrstreifeninformationen umfassen beispielsweise Fahrbahnmarkierungstypen, Stopplinienpositionen oder Verkehrsschildpositionen. Fahrbahnmarkierungstypen können beispielsweise eine durchgezogene Fahrbahnmarkierung, eine unterbrochene Fahrbahnmarkierung, eine doppelte durchgezogene Linie und dergleichen umfassen. Die Fahrstreifeninformationen für die erste Fahrstreifenanordnung werden mit Kartenmaterial-basierten Fahrstreifeninformationen für die zweite Fahrstreifenanordnung verglichen. Dadurch kann die Zuordnung der mittels der Sensoren des Fahrzeugs erfassten Fahrstreifen zu Fahrstreifen aus dem Kartenmaterial verbessert werden.
-
Bei einer weiteren Ausführungsform umfasst die erste Fahrstreifenanordnung eine Anordnung von mindestens zwei Fahrstreifen und alternativ oder zusätzlich umfasst die zweite Fahrstreifenanordnung eine Anordnung von mindestens zwei Fahrstreifen. Zum Bestimmen der Ähnlichkeitsinformation werden mehrere Paarähnlichkeitsinformationen bestimmt. Jede der mehreren Paarähnlichkeitsinformationen wird in Abhängigkeit von einer geometrischen Ähnlichkeit eines jeweiligen Paars von zwei Fahrstreifen bestimmt. Ein jeweiliges Paar von zwei Fahrstreifen umfasst jeweils einen Fahrstreifen aus der ersten Fahrstreifenanordnung und einen Fahrstreifen aus der zweiten Fahrstreifenanordnung. Anders ausgedrückt wird jeweils eine Paarähnlichkeitsinformation für jede Kombination von einem Fahrstreifen aus der ersten Fahrstreifenanordnung und einem Fahrstreifen aus der zweiten Fahrstreifenanordnung bestimmt. Wenn beispielsweise die erste Fahrstreifenanordnung zwei Fahrstreifen umfasst und die zweite Fahrstreifenanordnung ebenfalls zwei Fahrstreifen umfasst, so werden vier Paarähnlichkeitsinformationen bestimmt, nämlich eine erste für eine Ähnlichkeit zwischen einem ersten Fahrstreifen der ersten Fahrstreifenanordnung und einem ersten Fahrstreifen der zweiten Fahrstreifenanordnung, eine zweite Paarähnlichkeitsinformation für eine geometrische Ähnlichkeit des ersten Fahrstreifens der ersten Fahrstreifenanordnung und des zweiten Fahrstreifens der zweiten Fahrstreifenanordnung, eine dritte Paarähnlichkeitsinformation für eine geometrische Ähnlichkeit zwischen einem zweiten Fahrstreifen der ersten Fahrstreifenanordnung und dem ersten Fahrstreifen der zweiten Fahrstreifenanordnung und eine vierte Paarähnlichkeitsinformation für eine geometrische Ähnlichkeit zwischen dem zweiten Fahrstreifen der ersten Fahrstreifenanordnung und dem zweiten Fahrstreifen der zweiten Fahrstreifenanordnung. Indem eine beliebige Anzahl von Fahrstreifen verarbeitet werden, können auch in komplexen Szenarien, wie zum Beispiel Kreuzungen oder Abfahrten, die Anordnungsinformation für das Fahrzeug und die Fahrstreifenanordnungshypothese aktualisiert werden. Beispielsweise kann das Aktualisieren der zuvor bestimmten Anordnungsinformation für das Fahrzeug in Abhängigkeit von der Ähnlichkeitsinformation durchgeführt werden, indem für eine jeweilige Paarähnlichkeitsinformation der mehreren Paarähnlichkeitsinformationen eine jeweilige gewichtete Aktualisierungsinformation in Abhängigkeit von der jeweiligen Paarähnlichkeitsinformation bestimmt wird. Die gewichtete Aktualisierungsinformation umfasst eine Anordnungsinformation für das Fahrzeug unter der Annahme, dass die Fahrstreifen des jeweiligen Paars denselben tatsächlichen Fahrstreifen betreffen. Das Gewicht der gewichteten Aktualisierungsinformation gibt eine Wahrscheinlichkeit an, dass die Fahrstreifen des jeweiligen Paars denselben tatsächlichen Fahrstreifen betreffen. Die Aktualisierung der zuvor bestimmten Anordnungsinformation erfolgt in Abhängigkeit von den gewichteten Aktualisierungsinformationen, indem beispielsweise eine Aktualisierung aufgrund einer Paarähnlichkeitsinformation mit dem Gewicht multipliziert wird. Die Anordnungsinformation des Fahrzeugs und die gewichteten Aktualisierungsinformationen können insbesondere jeweils Parameter einer mehrdimensionalen Normalverteilung für die Position und Ausrichtung des Fahrzeugs umfassen. Zum Aktualisieren der zuvor bestimmten Anordnungsinformationen für das Fahrzeug wird die Normalverteilung der Anordnungsinformation mit den Normalverteilungen der Aktualisierungsinformationen multipliziert. Dadurch kann auch in komplexen Situationen und Szenarien, wie zum Beispiel mehrspurigen Fahrbahnen, Kreuzungen und Abfahrten, die Anordnungsinformation für das Fahrzeug auf einfache Art und Weise aktualisiert werden.
-
Gemäß der vorliegenden Erfindung wird ferner eine Anordnungsbestimmungsvorrichtung zur Bestimmung einer Anordnungsinformation für ein Fahrzeug bereitgestellt. Die Anordnungsinformation umfasst eine Position des Fahrzeugs und eine Ausrichtung des Fahrzeugs in Position auf ein stationäres oder globales Koordinatensystem. Die Anordnungsbestimmungsvorrichtung umfasst Sensoren zum Erfassen einer lokalen Fahrstreifenanordnung in einer Umgebung des Fahrzeugs. Die Sensoren können beispielsweise Kameras des Fahrzeugs umfassen. Die lokale Fahrstreifenanordnung gibt eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das Fahrzeug an und kann beispielsweise aus Bilddaten der Kamera, optischen Eigenschaften der Kamera und einer Anordnung der Kamera durch eine geeignete Bildverarbeitung ermittelt werden. Die Anordnungsbestimmungsvorrichtung umfasst ferner eine Verarbeitungsvorrichtung, welche in der Lage ist, eine erste Fahrstreifenanordnung in Abhängigkeit von der lokalen Fahrstreifenanordnung und einer zuvor bestimmten Anordnungsinformation für das Fahrzeug zu bestimmen. Die erste Fahrstreifenanordnung gibt eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Anders ausgedrückt rechnet die Verarbeitungsvorrichtung die lokale Fahrstreifenanordnung unter Berücksichtigung der zuletzt bestimmten Anordnungsinformation oder Pose für das Fahrzeug in eine entsprechende globale Fahrstreifenanordnung um. Die Verarbeitungsvorrichtung ist ferner in der Lage, eine zweite Fahrstreifenanordnung in Abhängigkeit von vorgegebenem Kartenmaterial zu bestimmen. Die zweite Fahrstreifenanordnung gibt eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Die zweite Fahrstreifenanordnung kann beispielsweise unter Verwendung der zuvor bestimmten Anordnungsinformation für das Fahrzeug aus dem vorgegebenen Kartenmaterial ermittelt werden. Schließlich bestimmt die Verarbeitungsvorrichtung eine Ähnlichkeitsinformation in Abhängigkeit von einer geometrischen Ähnlichkeit der ersten Fahrstreifenanordnung und der zweiten Fahrstreifenanordnung. Diese Ähnlichkeitsinformation wird verwendet, um die zuvor bestimmte Anordnungsinformation für das Fahrzeug zu aktualisieren. Somit ist die Anordnungsbestimmungsvorrichtung zur Durchführung des zuvor beschriebenen Verfahrens oder einer seiner Ausführungsformen geeignet und umfasst daher auch die im Zusammenhang mit dem Verfahren beschriebenen Vorteile.
-
Die vorliegende Erfindung betrifft weiterhin ein Fahrzeug, welches die zuvor beschriebene Anordnungsbestimmungsvorrichtung und ein Fahrerassistenzsystem umfasst. Das Fahrerassistenzsystem stellt eine automatische Fahrfunktion für das Fahrzeug bereit, beispielsweise eine automatische Längs- und Querregelung des Fahrzeugs. Das Fahrerassistenzsystem ist mit der Anordnungsbestimmungsvorrichtung gekoppelt und die automatische Fahrfunktion wird auf der Grundlage der aktualisieren Anordnungsinformation von der Anordnungsbestimmungsvorrichtung ausgeführt. Das Fahrzeug umfasst daher ebenfalls die zuvor im Zusammenhang mit dem Verfahren und seinen Ausführungsformen beschriebenen Vorteile.
-
Wie zuvor beschrieben, kann eine zuvor bestimmte Fahrstreifenanordnungshypothese in Abhängigkeit von der Ähnlichkeitsinformation aktualisiert werden. Die Fahrstreifenanordnungshypothese gibt eine Hypothese für eine Anordnung von Fahrstreifen in der Umgebung des Fahrzeugs in Bezug auf das stationäre Koordinatensystem an. Die aktualisierte Fahrstreifenanordnungshypothese kann von dem Fahrerassistenzsystem bei der Ausführung der automatischen Fahrfunktion berücksichtigt werden, indem beispielsweise die Anordnungsinformation oder Pose des Fahrzeugs zu der aktualisierten Fahrstreifenanordnungshypothese in Bezug gesetzt wird und insbesondere eine Querregelung des Fahrzeugs auf dieser Grundlage gesteuert wird.
-
Obwohl die zuvor beschriebenen Ausführungsformen der vorliegenden Erfindung unabhängig voneinander beschrieben wurden, ist es klar, dass diese Ausführungsformen beliebig miteinander kombiniert werden können.
-
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnungen im Detail beschrieben werden.
-
1 zeigt schematisch ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
-
2 zeigt Schritte eines Verfahrens zur Bestimmung einer Anordnungsinformation für ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
-
3 zeigt ein Beispiel für eine graphische Darstellung eines Faktorgraphen, welcher zur Bestimmung einer Anordnungsinformation für ein Fahrzeug gemäß einer Ausführungsform verwendet werden kann.
-
4 zeigt eine schematische Darstellung eines Aktualisierungszyklus für eine Fahrstreifenhypothese und eine Posenhypothese gemäß einer Ausführungsform der vorliegenden Erfindung.
-
5 zeigt einen Faktorgraph für eine Fahrstreifenzuordnung gemäß einer Ausführungsform der vorliegenden Erfindung.
-
6 zeigt einen mittleren Positionsbestimmungsfehler für verschiedene Quellen und Größen von Störungen.
-
7 zeigt schematisch Karten-basierte Fahrstreifenanordnungen, lokal erfasste Fahrstreifenanordnungen und daraus berechnete Posen für ein Fahrzeug.
-
1 zeigt ein Fahrzeug 10 mit einer Anordnungsbestimmungsvorrichtung 11 und einem Fahrerassistenzsystem 12. Das Fahrerassistenzsystem 12 ist in der Lage, eine automatische Fahrfunktion für das Fahrzeug 10 auszuführen. Dazu benötigt das Fahrerassistenzsystem 12 eine Information, auf welchem Fahrstreifen sich das Fahrzeug 10 aktuell befindet und wie eine aktuelle Position des Fahrzeugs 10 in Bezug auf den Fahrstreifen ist. Diese Informationen stellt die Anordnungsbestimmungsvorrichtung 11 über eine Verbindung 13 zur Verfügung. Die Anordnungsbestimmungsvorrichtung 11 umfasst einen Sensor 14, beispielsweise eine Kamera oder mehrere Kameras, zum Erfassen einer lokalen Fahrstreifenanordnung in einer Umgebung des Fahrzeugs 10. Die lokale Fahrstreifenanordnung kann beispielsweise mithilfe einer geeigneten Bildverarbeitung unter Berücksichtigung der Anordnung der Kamera 14 an dem Fahrzeug 10 von einer Verarbeitungsvorrichtung 15 der Anordnungsbestimmungsvorrichtung 11 berechnet werden. Die Verarbeitungsvorrichtung 15 ist ferner mit einem globalen Positionsbestimmungssystem ausgestattet, welches beispielsweise über eine Antenne 16 Signale von Satelliten empfängt und daraus eine globale Position des Fahrzeugs 10 berechnet. Die Verarbeitungsvorrichtung 15 kann ferner über einen Fahrzeugbus 17 mit weiteren Komponenten des Fahrzeugs 10 verbunden sein, welche Odometriedaten des Fahrzeugs bereitstellen. Beispielsweise kann die Verarbeitungsvorrichtung 15 Informationen von einem Radsensor 18 empfangen, um eine Bewegung des Fahrzeugs 10 zu bestimmen. Alternativ oder zusätzlich können weitere Radsensoren, Beschleunigungssensoren oder ein Lenkwinkelsensor mit der Verarbeitungsvorrichtung 15 zur Berechnung von Odometriedaten des Fahrzeugs 10 gekoppelt sein.
-
Für die Bereitstellung einer automatischen Fahrfunktion von dem Fahrerassistenzsystem 12 benötigt das Fahrerassistenzsystem 12 ein umfassendes Wissen über die aktuelle Umgebung des Fahrzeugs 10 sowie die eigene Position und Ausrichtung des Fahrzeugs 10 in der aktuellen Umgebung. Ein wichtiger Aspekt dieser Umgebung ist die Fahrbahninfrastruktur im Nahbereich vor dem Fahrzeug 10, da in diesem Bereich das automatische Verhalten des Fahrzeugs, beispielsweise eine Längs- und Querregelung des Fahrzeugs, zu planen ist. Zur Ermittlung der wahrscheinlichsten Fahrbahninfrastruktur werden verschiedene Arten von Informationsquellen von der Anordnungsbestimmungsvorrichtung 11 verwendet: Vorwissen aus fahrstreifengenauen Straßenkarten in Kombination mit der globalen Positionsbestimmung über beispielsweise GPS sowie eine Sensor-basierte Wahrnehmung der Fahrstreifen über beispielsweise die Kamera 14. Für ein einheitliches und in sich kongruentes Bild der Umgebung wird unter Berücksichtigung aller Datenquellen und deren Fehler die wahrscheinlichste Pose, also Position und Ausrichtung des Fahrzeugs 10, relativ zu Informationen aus der Karte und der wahrscheinlichste Fahrstreifen bestimmt. Dazu wird in der Anordnungsvorrichtung 11 das in 2 im Detail beschriebene Verfahren durchgeführt.
-
Als Eingangsdaten verwendet die Anordnungsbestimmungsvorrichtung 11 eine globale Positionsmessung, eine fahrstreifengenaue digitale Straßenkarte sowie ein sogenanntes Wahrnehmungsverfahren, welches Fahrstreifenhypothesen aus Sensordaten, insbesondere der Kamera 14, erzeugt.
-
Die globale Positionsmessung kann beispielsweise über ein globales Positionsbestimmungssystem wie zum Beispiel GPS oder Galileo, durchgeführt werden. Das Messverfahren bestimmt eine zweidimensionale Position, beispielsweise in einem globalen Referenzsystem der Geodäsie, beispielsweise dem World Geodetic System, abgekürzt WGS. Alternativ kann die zweidimensionale Position in einem beliebigen anderen stationären, also nicht fahrzeugbezogenen, Bezugssystem bestimmt werden. Dem Messverfahren der globalen Positionsmessung wird oder ist eine Messvarianz zugeordnet. Mithilfe der globalen Positionsmessung wird ferner eine globale Ausrichtung des Fahrzeugs inklusive einer entsprechenden Messvarianz bestimmt, beispielsweise mithilfe eines Kompasses. Die zweidimensionale Position in Verbindung mit der Ausrichtung des Fahrzeugs wird nachfolgend als Anordnungsinformation für das Fahrzeug oder Pose des Fahrzeugs bezeichnet werden.
-
Die fahrstreifengenaue digitale Straßenkarte stellt Informationen für einzelne Fahrstreifen bereit. Die Fahrstreifen sind als Liste von Punkten definiert, die jeweils eine Position inklusive der Modellierungsvarianz besitzen. Die Punkteliste repräsentiert dabei die Fahrstreifenmitte und alle Punkte auf den Verbindungslinien werden jeweils als lineare Interpolation der benachbarten modellierten Punkte interpretiert. Ferner ist eine Erweiterung mit zusätzlichen Merkmalen möglich, wie zum Beispiel den Fahrbahnmarkierungstypen am rechten und linken Fahrstreifenrand oder Positionen von Stopplinien und Verkehrsschildern.
-
Das Wahrnehmungsverfahren erzeugt Fahrstreifenhypothesen aus Sensordaten von Sensoren des Fahrzeugs. Die verwendeten Sensoren und Verfahren zur Bestimmung der Fahrstreifenhypothesen sind dabei unerheblich. Insbesondere können jedoch beispielsweise Kameras an dem Fahrzeug verwendet werden und die Fahrstreifenhypothesen auf der Grundlage einer digitalen Bildverarbeitung ermittelt werden. Als Ergebnis des Verfahrens liegen die Fahrstreifenhypothesen als Punktlisten vor, welche jeweils die Fahrstreifenmitten repräsentieren. Da das Wahrnehmungsverfahren mithilfe von Fahrzeugsensoren durchgeführt wird, befinden sich die Punkte der Punktelisten in einem auf das Fahrzeug ausgerichteten Koordinatensystem, einem sogenannten lokalen Bezugssystem als sogenannte „ego-lokale Koordinaten”. Die Koordinaten der Punkte weisen ebenfalls eine Messvarianz auf. Als Erweiterung können wiederum die gleichen Zusatzmerkmale wie in der Karte aus den Sensordaten extrahiert werden, wie zum Beispiel die Fahrbahnmarkierungstypen, Stopplinien und Verkehrsschilderpositionen.
-
Weiterhin werden als Eingangsdaten für die Bestimmung der Anordnungsinformation Odometriedaten des Fahrzeugs verwendet, welche die Eigenbewegung des Fahrzeugs kontinuierlich oder zwischen bestimmten Zeitpunkten, sogenannten Zeitschritten, beschreiben.
-
Das in 2 gezeigte Verfahren 20 umfasst Verfahrensschritte 21 bis 28. Im Schritt 21 findet eine Initialisierung statt. Dabei werden beispielsweise Posenhypothesen an einer aktuellen GPS-Position bestimmt, Kartenmaterial geladen und eine aktuelle Fahrstreifenhypothese aus dem Kartenmaterial für die aktuelle GPS-Position bestimmt. Die nachfolgenden Schritte 22 bis 28 werden zyklisch durchlaufen, wobei ein Zyklus beispielsweise einige Millisekunden, beispielsweise 3 bis 40 ms, dauert. Die Zyklusdauer kann beispielsweise einer Dauer entsprechen, die für eine Erfassung von Sensordaten von beispielsweise der Kamera 14, den Radsensoren 18 und der globalen Positionsbestimmung benötigt wird.
-
Da bei dem Verfahren 20 Messfehler und Ungenauigkeiten der Karteninformation sowie der wahrgenommenen Umgebung berücksichtigt werden sollen, werden die Posen- und Fahrstreifenhypothesen als mehrdimensionale Normalverteilungen dargestellt (Gaußsche Mischverteilung). Ebenso werden Informationen zum Aktualisieren der Posen- und Fahrstreifenhypothesen, beispielsweise Ergebnisse der globalen Positionsmessung, des Wahrnehmungsverfahrens und der Odometriedaten sowie Informationen der digitalen Straßenkarte, als entsprechende mehrdimensionale Normalverteilungen dargestellt. Aktualisierungen können dann beispielsweise als Multiplikation aller Komponenten dieser Verteilungen realisiert werden. Auf diese Art und Weise wird im Schritt 22 die Posenhypothese aus dem letzten Zeitschritt oder aus der Initialisierung mittels der Odometriedaten aktualisiert und somit in den aktuellen Verarbeitungszeitpunkt überführt. Im Schritt 23 wird die Posenhypothese mithilfe der globalen Positionsmessung aktualisiert. Im Schritt 24 wird mithilfe des oben beschriebenen Wahrnehmungsverfahrens die lokale Fahrstreifenanordnung erfasst und im Schritt 25 werden diese lokal erfassten Fahrstreifen in das globale oder stationäre Koordinatensystem mithilfe der aktuellen Posenhypothese überführt. Somit steht eine erste Fahrstreifenanordnung bereit, welche auf der Grundlage der lokal erfassten Fahrstreifen gebildet wurde. Für die aktuelle Posenhypothese des Fahrzeugs 10 wird aus dem Kartenmaterial eine zweite Fahrstreifenanordnung ermittelt. Die Sensor-basierten Fahrstreifen aus der ersten Fahrstreifenanordnung werden nun mit den Karten-basierten Fahrstreifen aus der zweiten Fahrstreifenanordnung jeweils paarweise verglichen (Schritt 26). Dazu wird eine geometrische Ähnlichkeit eines jeweiligen Fahrstreifenpaars bestimmt, auch für systematische Verschiebungen der Fahrstreifen zueinander. Der Ähnlichkeitswert kann durch den Vergleich der zusätzlichen Informationen, wie zum Beispiel der Fahrstreifenmarkierungstypen oder Stopplinien- und Verkehrsschilderpositionen, angereichert und verbessert werden. Unter der Annahme, dass das jeweilige Fahrstreifenpaar ein- und denselben tatsächlichen Fahrstreifen repräsentiert, wird eine jeweilige gewichtete Posen-Aktualisierung erstellt. Die Pose ergibt sich aus den verschiedenen Verschiebungen zueinander und das Gewicht ergibt sich durch die Ähnlichkeiten der Fahrstreifen zueinander. Im Schritt 27 wird die aktuelle Posenhypothese mithilfe aller so gewonnenen Posen-Aktualisierungen aktualisiert. Das Ergebnis ist eine neue Posenhypothese, welche im nächsten Zyklus des Verfahrens verwendet werden kann. Zusätzlich kann die Posenhypothese an das Fahrerassistenzsystem 12 ausgegeben werden. Im Schritt 28 wird die Fahrstreifenhypothese der Initialisierung oder des letzten Zyklus des Verfahrens mithilfe der in das globale Koordinatensystem überführten Sensor-basierten Fahrstreifen aktualisiert und zusätzlich fließen die Ergebnisse des Vergleichs der Fahrstreifendaten aus dem Schritt 26 in die Aktualisierung der Fahrstreifenhypothese ein. Die aktualisierte Fahrstreifenhypothese kann ebenfalls an das Fahrerassistenzsystem 12 ausgegeben werden, so dass das Fahrerassistenzsystem 12 auf der Grundlage der Posenhypothese und der Fahrstreifenhypothese eine Steuerung des Fahrzeugs 10 insbesondere im Nahbereich durchführen kann. Die Fahrstreifenhypothese kann aus Kartendaten bis zum gewünschten Wahrnehmungshorizont erweitert werden und dem Fahrerassistenzsystem 12 zur Verfügung gestellt werden.
-
Bei dem Verfahren 20 werden die Posenbestimmung und die Aktualisierung von Sensor-basierten Fahrstreifendaten mit Kartendaten parallel durchgeführt und damit gemeinsam optimiert. Das Verfahren arbeitet mit einer beliebigen Anzahl an Fahrstreifen und ist damit in der Lage, auch komplexe Szenarien wie Kreuzungen und Abfahrten abzudecken. Alle Sensor-basierten Eingangsdaten können auf kostengünstigen Sensoren beruhen, da die jeweiligen Unsicherheiten mit den Normalverteilungen in die Berechnung einbezogen werden können. Ebenso können verhältnismäßig einfache Kartendaten verwendet werden, so dass beispielsweise keine georeferenzierten Sensormerkmale direkt in der Karte verfügbar sein müssen. Die Normalverteilungs-basierte Darstellung erlaubt eine Berechnung des gesamten Zyklus innerhalb weniger Millisekunden auf einem üblichen Mikroprozessor oder auf einer üblichen Recheneinheit in einem Fahrzeug und kann daher echtzeitfähig für die Berechnung im Fahrzeug verwendet werden.
-
Eine Ausführungsform des zuvor beschriebenen Verfahrens, welche einen Faktorgraph-basieren Ansatz verwendet, wird nachfolgend im Detail beschrieben werden.
-
Bei dem Verfahren wird eine grobe Lokalisierung des Fahrzeugs unter Verwendung von kostengünstigen Sensoren, beispielsweise GPS-Sensoren und einer Kamera-basierten Fahrspurerkennung, und Karten mit einer Genauigkeit auf Fahrstreifenebene durchgeführt, wobei das wahrgenommene Straßennetz und die Positionsbestimmung gleichzeitig aktualisiert werden. Dabei wird ein an einen Faktorgraph angepasster Summenproduktalgorithmus angewendet, welcher die Abhängigkeiten zwischen beobachteten und verdeckten Variablen modelliert. Der Summenproduktalgorithmus wird auch als „Belief Propagation” oder „Sum-Product Message Passing” bezeichnet. Die „Belief Propagation” kann in Verbindung mit azyklischen Graphen oder allgemeinen Graphen verwendet werden. Wenn die Graphen Zyklen oder Schleifen („loops”) enthalten, wird der Algorithmus auch als „Loopy Belief Propagation” bezeichnet. Die „Belief Propagation” gehört zu den sogenannten „Message Passing”-Algorithmen, welche auf Faktorgraphen angewendet werden können. Das „Message Passing” (zu Deutsch in etwa „Informationsweiterleitung”) innerhalb des Graphen beruht auf multimodalen Normalverteilungen für eine Variablendarstellung und quadratische Rauschmodelle, was zu einer schnellen und genau festgelegten Berechnungsstruktur führt. Simulationen zeigen, dass die Positionsbestimmungsgenauigkeit unempfindlich gegenüber den meisten Arten von Messrauschen ist, außer einem konstanten Versatz von globalen Posenmessungen, welcher jedoch dennoch um einen Faktor 8 reduziert werden kann. Tests in echten Umgebungen mit einem durchschnittlichen Positionsbestimmungsfehler von 1,71 m in einem städtischen Szenario beweisen die Anwendbarkeit des Ansatzes für automatische Fahraufgaben sowie seine Echtzeitfähigkeit mit einer durchschnittlichen Ausführungszeit von 3 ms auf einer typischen Rechenanlage.
-
Der Trend beim Fahrerassistenzsystem (englisch: „Driver Assistance Systems”, DAS) geht in Richtung eines gestützten oder sogar geführten automatischen Fahrens. Derartige Aufgaben benötigen ein zuverlässiges Verständnis einer aktuellen Umgebung, insbesondere die Erkennung von befahrbaren Bereichen sowie die geometrische und topologische Struktur der Straße und des Fahrstreifennetzes darin.
-
Menschen verwenden bei derartigen Fahraufgaben ihre visuelle Wahrnehmung und Vorwissen über typische Situationen in Kombination mit zusätzlichen Informationsquellen, wie zum Beispiel Straßenkarten, um das Verständnis für eine Szene zu verbessern. Automatische Systeme verwenden die gleichen Prinzipien, indem sie Sensoreingaben von zum Beispiel Kameras oder Entfernungssensoren sowie statische Quellen, wie zum Beispiel Landkarten, in Verbindung mit globalen Positionsbestimmungssystemen verwenden. Diese Systeme leiden jedoch unter verrauschten und fehlerhaften Eingabedaten. Eine Fahrstreifenerkennung auf der Grundlage einer Sensoreingabe kann durch geometrisches Rauschen gestört werden, übersieht Fahrspuren insgesamt oder erkennt nicht existente Fahrspuren, d. h. ist von falschen Ergebnissen überzeugt, was zu einer topologischen Unklarheit führt, welche sich zumindest linear mit der Entfernung vergrößert. Straßenkartendaten können eine topologische Struktur mit einer Genauigkeit auf Fahrstreifenebene und unendlicher Reichweite bereitstellen. Ihre Herstellung kann jedoch geometrische Ungenauigkeiten und sogar weitere topologische Fehler aufweisen, beispielsweise durch Änderungen an dem tatsächlichen Straßennetz. Zusätzlich hängt das benötigte globale Positionsbestimmungssystem üblicherweise von externen Eingaben ab, zum Beispiel von Satelliten. Daher ist es nur bis zu einem gewissen Grad genau.
-
Bei der nachfolgend beschriebenen Ausführungsform werden daher verrauschte Fahrstreifenhypothesen von Sensoreingaben, verrauschte Straßenkarten mit einer Genauigkeit auf Fahrstreifenebene und verrauschte globale Positionsbestimmungsinformationen verwendet, um gleichzeitig die Genauigkeit von allen dreien zu verbessern. Dies wird erreicht, indem alle Messwerte und Zuordnungen zwischen Sensordaten und Straßenkartendaten als Randbedingungen in einem speziell ausgestalteten Faktorgraph gesammelt werden, dessen optimale Parameter durch Anwenden einer Loopy Belief Propagation herausgefunden werden.
-
Nachfolgend wird zunächst ein theoretischer Hintergrund von Faktorgraphen und der Loopy Belief Propagation gegeben, soweit er für ein umfassendes Verständnis der danach beschriebenen Ausführungsform erforderlich ist.
-
Faktorgraphen sind graphische Darstellungen, welche für Gruppen von Wahrscheinlichkeitsvariablen und ihre bedingten Abhängigkeiten verwendet werden. Ein Faktorgraph zerlegt eine verbundene Wahrscheinlichkeitsverteilung P(x1, x2, ..., xn) in Faktoren ψi nur in Abhängigkeit von einer Teilgruppe von Zufallsvariablen, wie es in Gleichung (1) dargestellt ist, wobei Z eine normalisierende Konstante ist.
-
-
Faktorgraphen werden üblicherweise als unidirektionale Graphen mit kreisförmigen Knoten als Variablen und rechteckigen Knoten als Faktoren dargestellt, welche durch Kanten für jede in dem Faktor verwendete Variable verbunden sind, wie es in 3 gezeigt ist.
-
Eine übliche Aufgabe ist es, die Randverteilung von verdeckten, sogenannten „hidden” Variablen Xh unter Berücksichtigung der gegebenen Werte von bekannten beobachteten Variablen Xo zu bestimmen. Der Faktorgraph kann dahingehend verringert werden, dass er die bedingte Wahrscheinlichkeit P(Xh|Xo) darstellt, indem alle beobachteten Variablen von dem Graph entfernt werden und alle Vorkommnisse der Variable in den Faktoren auf den beobachteten Wert gesetzt werden. Diese Beobachtungen können mit einem Informationsweiterleitungsalgorithmus, einem sogenannten „Message Passing”-Algorithmus, zum Beispiel dem Summenproduktalgorithmus, unter Verwendung der Abhängigkeiten der Faktoren verteilt werden, indem rekursiv Informationen, sogenannte Nachrichten oder „Messages”, mi→j gemäß Gleichung (2) gesendet werden.
-
-
Eine ausgehende Nachricht von Knoten i nach Knoten j ist das Produkt von allen eingehenden Nachrichten von allen Nachbarn Ni außer von j-mal dem zugeordneten Faktor, welcher auf die Teilmenge der von dem Knoten j verwendeten Variablen Sj marginalisiert ist. Für Variablenknoten kann ψi als 1 angenommen werden. Die endültige Randverteilung einer Variablen ist das Produkt von allen eingehenden Nachrichten.
-
Da eingehende Nachrichten zuvor bekannt sein müssen, muss die Nachrichtenverarbeitung zeitlich abgestimmt sein, um diese Vorbedingung zu erfüllen. Baumähnliche Faktorgraphen garantieren einen derartigen zeitlichen Ablauf, welcher die global richtige Lösung findet. Zyklische Graphen weisen jedoch keine gültige zeitliche Planung auf, da alle Nachrichten in einem Zyklus eine Eingabe von einer andere Nachricht in dem Zyklus benötigen. Nichtsdestotrotz haben empirische Studien gezeigt, dass der Summenproduktalgorithmus lokal optimale Lösungen finden kann, wenn alle Aktualisierungen bis zur Konvergenz wiederholt werden. In diesem Fall können Nachrichten mit einer einheitlichen Verteilung initialisiert werden. Der resultierende Algorithmus wird dann „Loopy Belief Propagation” genannt.
-
Bei der nachfolgend beschriebenen Ausführungsform wird ein Faktorgraph für eine gleichzeitige Lokalisierungs- und Abbildungstechnik („Simultaneous Localisation and Mapping”, SLAM) verwendet, um Fahrspuren eines Straßennetzes ganz allgemein für beliebige Kurven und die Anordnung des Fahrzeugs darin zu bestimmen. Um dies zu erreichen, sind folgende zwei Aufgaben zu berücksichtigen. Erstens, das Problem der Darstellung der derzeitigen Wahrscheinlichkeitsverteilung über die bestehenden Merkmale (d. h. Posen und Fahrstreifen) mit Verfahren, um neue Messungen in diese Wahrscheinlichkeiten einzuarbeiten. Und zweitens, das Zuordnungsproblem zwischen Messungen von identischen Objekten in der realen Welt, d. h. zu unterschiedlichen Zeiten beobachtete Fahrspuren und Fahrspuren aus einer Straßenkarte. Das Zuordnungsproblem und Messwertaktualisierungen von Variablen werden häufig getrennt gelöst. Sie können jedoch gleichzeitig gelöst werden, indem mehrere mögliche Zuordnungen auf einmal berücksichtigt werden. Das allgemeine Prinzip ist in 4 dargestellt, worin eine aktuelle Pose und aktuelle Fahrstreifenhypothesen mit neuen Fahrstreifenbeobachtungen kombiniert werden, indem geeignete Zuordnungen bestimmt werden und sowohl die Fahrspurgeometrie als auch die Pose auf der Grundlage dieser zugeordneten Fahrspuren aktualisiert werden. Zusätzlich werden globale Posenmessungen, welche von globalen Positionsbestimmungssystemen bereitgestellt werden, und Odometriemessungen, welche von fahrzeugeigenen Messeinheiten bereitgestellt werden, berücksichtigt.
-
4 zeigt schematisch den Aktualisierungszyklus. Bestehende multimodale Posenhypothesen und Fahrstreifenhypothesen werden mit neuen Fahrstreifenbeobachtungen kombiniert, indem ähnliche Fahrstreifen gesucht werden und diese Zuordnungen verwendet werden, um die Fahrstreifen und Posen zu aktualisieren.
-
Beide Probleme werden als ein einziger Faktorgraph modelliert, welcher alle zusätzlichen Eingangsquellen unter Verwendung der in Tabelle 1 definierten Variablen einbezieht.
Symbol | Beschreibung | Menge | |
qt | Globale Posenmessung zur Zeit t | P | o |
ot | Odometriemessung von t – 1 bis t | P | o |
yi | i-ter aus Sensordaten beobachteter Fahrstreifen in Ego-Lokalkoordinaten | C | o |
mj | j-ter Fahrstreifen aus dem Kartenmaterial in globalen Koordinaten | C | |
pt | Tatsächliche globale Pose zur Zeit t | P | h |
li | Tatsächlicher Fahrstreifen, welcher dem i-ten aus Sensordaten beobachteten Fahrstreifen oder dem Fahrstreifen aus dem Kartenmaterial in globalen Koordinaten entspricht | C | h |
Sij | Gradmesser, ob li und lj die gleichen sind | {0,1} | h |
-
Alle posenbezogenen Variablen sind in der Menge P = R2 ∩ R[-π,π] einer 2D-Position mit einer Orientierung oder Ausrichtung definiert. Alle kurvenbezogenen Variablen sind als Farbstreifenmittellinien in C definiert, wobei der Umfang aller Funktionen einen Bereichsparameter z ∊ [z1, z2] auf eine Pose in P unter Verwendung einer natürlichen Parametrisierung abbildet, d. h. die Bogenlänge der Kurve γ zwischen γ(zi) und γ(zj) beträgt |zi–zj|. Die Variablen in der Tabelle sind als überwacht (o) oder verdeckt (h) markiert. Es ist zu beachten, dass die Anzahl der Variablen in dem Faktorgraph im Voraus bekannt sein muss. Daher wird eine eigene Variable für die entsprechenden tatsächlichen Fahrstreifen, welche der jeweiligen Fahrstreifenbeobachtung entsprechen, verwendet, da ihre gesamte Anzahl vorab bestimmt oder ausreichend groß gewählt werden kann. Die wirkliche Anzahl von tatsächlichen Fahrstreifen ist unbekannt und kann nur implizit von den Hinweisvariablen für jedes Paar von Fahrstreifen abgeleitet werden.
-
5 zeigt einen entsprechenden Faktorgraph. In dem Faktorgraph werden diese Variablen mit Faktoren verbunden, welche notwendige Vorbedingungen und angenommene bedingte Abhängigkeiten beschreiben. Der linke Teil des Graphen löst die Posenverfolgung und ist in der Faktorgraphdarstellung ein Markov-Prozess. Der mittlere Teil stellt die Aktualisierung der Fahrstreifen, zum Beispiel Kurven, sicher, während der rechte Teil das Zuordnungsproblem umfasst. Der Graph dehnt sich auf die gesamte Anzahl von Zeitschritten und Fahrstreifenbeobachtungen entsprechend aus. Insgesamt gibt es fünf unterschiedliche Arten von Faktoren, welche eine Art von Beobachtungsfehler modellieren:
- 1) Faktor ψ1 (siehe Gleichung (3)) verbindet die aktuelle Pose pt mit der beobachteten Pose qt unter der Annahme eines normalverteilten Messrauschens mit einer Kovarianzwobei N[μ,Σ](x) der Wert einer multidimensionalen Normalverteilungsfunktion am Punkt x mit dem Mittelwert μ und der Kovarianzmatrix Σ ist.
- 2) Der Faktor ψ2 (siehe Gleichung (4)) verbindet die aktuellen Posen von zwei aufeinanderfolgenden Zeitschritten mit einer Odometriemessung ot, wobei wiederum ein normalverteiltes Messrauschen mit einer Kovarianzangenommen wird.
- 3) Der Faktor ψ3 (siehe Gleichung (5)) verbindet eine Fahrspur von dem Kartenmaterial mi mit der tatsächlichen Fahrspur li, welche dieser Kartenfahrspur entspricht, wobei normalverteilte Modellierungsungenauigkeiten mit einer Kovarianz Σm für alle Punkte des Kartenmaterials angenommen werden. Es wird angenommen, dass die Kurven den gleichen Parameter z verwenden, wodurch eine einheitliche Abbildung zwischen Kurvenpunkten erzeugt wird. Der Faktor wird durch die Länge ||Z|| des verbundenen Bereichsnormalisiert, um vergleichbare Werte zu erhalten. Faktoren von Kurven ohne einen Verbindungsbereich werden auf null gesetzt.
- 4) Der Faktor ψ4 (siehe Gleichung (6)) verbindet eine Fahrspurbeobachtung von Sensordaten yi mit der tatsächlichen Fahrspur li, welche dieser Beobachtung und der aktuellen Pose zum Zeitpunkt der Beobachtung entspricht. Wiederum wird die Differenz zwischen der Messung und der tatsächlichen Fahrspur mit einem normalverteilten Beobachtungsrauschenmodelliert, welches individuell für jeden Punkt der beobachteten (mit z parametrisierten) Kurve gegeben ist. Entsprechend wird der Faktor mit der Länge ||Z|| des verbundenen Bereichsnormalisiert.
- 5) Der Faktor ψ5 (siehe Gleichung (7)) verbindet Paare von tatsächlichen Fahrstreifen (li, lj) mit ihren binären Anzeigevariablen sij. Der kleine konstante Wert α regelt den Ähnlichkeitsschwellenwert, mit welchem zwei Fahrstreifen als gleich oder ungleich markiert werden (0 < α < 1). Die Anzeigefunktion I(cond.) nimmt den Wert 1 an, wenn die Bedingung wahr ist, und sonst den Wert 0. Wiederum ist Z die Länge des verbundenen Bereichs
-
Da der vorgeschlagene Faktorgraph Zyklen enthält, ist ein Zeitplan für die Nachrichtenweiterleitung notwendig, um den „Loopy Belief Propagation”-Algorithmus laufen zu lassen. Da der Graph zeitabhängige Variablen enthält, welche im Betrieb bei Echtzeitberechnungen eingefügt werden, können Informationen nur in die Zukunft und nie zurück in die Vergangenheit geleitet werden, um eine konstante Laufzeit des Nachrichtenweiterleitungszyklus sicherzustellen. Die zeitunabhängigen Variablen können jedoch zu jedem Zeitschritt mit neuen Informationen aktualisiert werden. Daher werden ihre Nachrichten zu jeder Zeit einmal neu berechnet. Obwohl mehrere Nachrichtenweiterleitungszyklen pro Zeitschritt zu einer schnelleren Konvergenz führen können, ist es vorzuziehen, dies nur einmal durchzuführen, da eine langsame Konvergenz das Finden einer global optimalen Lösung verbessert. Unter Berücksichtigung der erwähnten Richtlinien wird der zeitliche Ablauf verwendet, welcher durch die Pfeile und ihre Nummerierungen in der 5 gezeigt ist, um den „Loopy Belief Propagation”-Algorithmus auszuführen, welcher letztendlich zu einem lokalen Optimum der gemeinsamen Wahrscheinlichkeit von allen verdeckten Variablen konvergiert.
-
Das Anwenden des Verfahrens auf Probleme in der echten Welt benötigt eine geeignete Darstellung von allen Variablen und Verfahren, um die Nachrichten des Faktorgraphen unter Verwendung dieser Variablen zu berechnen. Drei unterschiedliche Arten von Verteilungen der Variablen müssen dargestellt werden: Posen in der Menge P, Kurven oder Fahrstreifen in der Menge C und die binären Anzeigevariablen.
- a) Posenvariablen und Nachrichten: Posenverteilungen von p werden als eine gewichtete Mischung von Normalverteilungen mit einer mittleren Pose μi und einer Kovarianzmatrix Σi für die Position und den Winkel angenähert, was die Formergibt. Da angenommen werden kann, dass alle Winkelvarianzen verhältnismäßig klein sind, werden die Berechnungen vereinfacht, indem die einhüllenden Winkelverteilungen mit einer einfachen Normalverteilung angenähert werden.
-
Die allgemeine Nachrichtenberechnung (siehe Gleichung (2)) benötigt eine Multiplikation und Marginalisation dieser Verteilungen. Unter Verwendung der Eigenschaft aller Normalverteilungen, dass ∫cN[μ,Σ](x)dx = c gilt, kann die Marginalisierung einfach erreicht werden und das Produkt von zwei Posenverteilungen kann unter Verwendung der Gleichung (8) berechnet werden.
-
-
Um eine ansteigende Anzahl von Mischkomponenten zu vermeiden, können ähnliche Komponenten durch eine einzelne Verteilung unter Verwendung der Gleichung (9) angenähert werden.
- b) Kurvenvariablen und Nachrichten: Kurvenverteilungen werden als eine polygonale Kette mit Einzelposenverteilungen γ(z) ∊ P für jeden Punkt z ∊ Z dargestellt, wobei Z die Gruppe von dargestellten Punkten ist. Die Posenverteilungen dazwischen werden als lineare Interpolation der benachbarten Punkte angenommen. Somit können zusätzliche Kurvenpunkte wie benötigt eingesetzt werden und die gesamte Anzahl von Punkten pro Kurve kann durch Entfernen derjenigen Punkte verringert werden, welche bereits ähnlich zu der linearen Interpolation ihrer benachbarten Punkte sind.
-
Der Kurvenparameter z wird als gleich für alle Nachrichtenberechnungen, welche mehrere Kurven betreffen, betrachtet. Um diesen gemeinsamen Parameter z von zwei Kurven zu finden, wird der Versatz zwischen den ursprünglichen Parametern z1 und z2 dieser Kurven bestimmt, indem alle Punkten von beiden Kurven aufeinander projiziert werden und die durchschnittliche Parameterdifferenz zwischen ursprünglichen Punkten und ihrer Projektion auf die andere Kurve als Parameterversatz genommen wird. Unter Verwendung dieser Annahme können zwei weitere Vereinfachungen angewendet werden:
- 1) Alle Kurven betreffenden Nachrichten können getrennt für jedes in den betroffenen Kurven definierte z berechnet werden.
- 2) Die Integrale in den Faktoren ψ3, ψ4 und ψ5 werden dann auf ihren Integrand reduziert, da der gemeinsame Definitionsbereich nur das einzelne z ist, für welches die Nachricht derzeit berechnet wird.
-
Es ist zu beachten, dass diese Vereinfachungen nicht auf die in 5 mit 10 bezeichnete Nachricht angewendet werden können, da die involvierten Kurven in unterschiedlichen Koordinatensystemem sind. Somit ist das Integral für jedes mögliche Paar von Kurvenparametern auszuwerten, was zu einer gesamten Gruppe von gewichteten Posenverteilungen führt.
- c) Binäre Anzeigen: Diese werden mit einem Wahrscheinlichkeitswert in dem Bereich [0,1] dargestellt, was es ermöglicht, die Anzeigefunktionen in ψ5 durch die kontinuierlichen Wahrscheinlichkeiten sij bzw. 1 – sij zu ersetzen.
-
Zusammenfassend sind die dargestellen Vorgänge ausreichend, um alle Nachrichten unter Verwendung der allgemeinen Formel der Gleichung (2) zu berechen, wobei die gewählte Darstellung der Variablen beibehalten wird. Überdies sind die Berechnungen rechentechnisch effizient. Die zwei Hauptgründe für diese Effizienz sind erstens, das alle Faktoren nur quadratisches Rauschen verwenden, so dass eine kohärente Darstellung, welche weitestgehend auf Normalverteilungen basiert, möglich ist, und zweitens, dass die erwähnten Annäherungen verwendet werden können, um die gesamte Anzahl von Mischkomponenten oder Punkten pro Fahrstreifen auf ein konstantes Minimum zu begrenzen, um eine begrenzte maximale Laufzeit pro Aktualisierungszyklus sicherzustellen.
-
Die zuvor beschriebene Ausführungsform des Verfahrens wurde auf zwei Arten ausgewertet:
Auf simulierten Testdaten und in einem realen Szenario.
-
Ein Simulieren von genauen Eingaben und ein Hinzufügen von künstlichem Rauschen ermöglicht systematische Tests, welche die Empfindlichkeit auf unterschiedliche Arten von Sensorrauschen hervorbringen, was in Realtests nicht möglich wäre. Die angewendete Testumgebung erzeugt durchgängige Straßen mit zufälligen Krümmungen, zufälligen Krümmungsänderungen und zufälligen Fahrstreifenanzahlen, wobei zufällig Fahrspuren aufgeteilt oder zusammengeführt werden, sowie Kreuzungen mit zufälligen Winkeln zu der Hauptfahrtrichtung. Die aktuelle Pose wird durch Fahren entlang dieser Fahrstreifen mit zufälligen Fahrstreifenwechseln dazwischen simuliert. Das simulierte Szenario deckt die meisten Situationen ab, welche in ländlichen oder städtischen Umgebungen angetroffen werden. Unterschiedliche Arten von Rauschen wurden den Eingangsdaten, welche bei dem Verfahren verwendet wurden, hinzugefügt. Die globale Positionsmessung weist einen normalverteilten Versatz
![Figure DE102015214338A1_0018](https://patentimages.storage.googleapis.com/98/e7/2f/62dfcfd9440a4b/DE102015214338A1_0018.png)
auf und die globale Winkelmessung weist einen Versatz
auf. Die Fahrstreifenmessungen sind in ihrem Sichtbereich l
y begrenzt und zufällige geometrische Ungenauigkeiten, zum Beispiel ein seitlicher, ein winkeliger oder ein gekrümmter Versatz, werden mit Standardabweichungen σ
l, σ
a bzw. σ
c hinzugefügt. Die Fahrstreifen werden zufällig mit der Wahrscheinlichkeit y
– ausgeblendet oder mit der Wahrscheinlichkeit y
+ hinzufügt.
-
Jede Rauschquelle wird getrennt durch Simulieren von einer Fahrt von 100 km ausgewertet. 6 zeigt den mittleren Positionsbestimmungsfehler für jede Quelle und Größe des Rauschens. Die 6 zeigt deutlich, dass geometrische Ungenauigkeiten der Fahrstreifen (ly, σl, σa, σc, y–, y+) sowie weißes Rauschen bei Messungen der globalen Position und des Winkels (σq, σα) nur geringfügige Effekte auf die Positionsbestimmungsgenauigkeit mit einem maximalen Anstieg von 0,21 m verglichen mit perfekten Daten aufweisen. Systematische Verschiebungen der Messungen der globalen Position und des Winkels haben einen größeren Effekt auf den Fehler, wobei der Algorithmus dennoch in der Lage ist, den systematischen Positionsbestimmungsfehler μq um einen Faktor von 8 zu verringern.
-
Neben dem gesamten Entfernungsfehler werden andere Auswertungskriterien betrachtet: Der seitliche Anteil des Entfernungsfehlers, der mittlere Winkelfehler und das Verhältnis der Zeit, in welcher die Zuordnung zwischen den Fahrstreifen richtig identifiziert wurde. Unabhängig von der Quelle und Größe des Rauschens (innerhalb der getesteten Bereiche, wie sie in 6 dargestellt werden) bleibt der mittlere seitliche Fehler immer unter 0,40 m, der mittlere Winkelfehler unter 0,011 rad und die Rate korrekter Zuordnung über 0,987. Diese Werte zeigen, dass die Identifikation des richtigen Fahrstreifens, der seitliche Versatz und der Winkel sehr rauschunempfindlich sind. Somit wird der Entfernungsfehler, welcher durch verrauschte Messungen eingeführt wird, hauptsächlich in einem Längsrichtungsversatz wiedergegeben.
-
Ein realer Test wurde mit einer Straßenkarte mit einer Genauigkeit auf Fahrstreifenebene, einem Standard-GPS und einem Fahrstreifenerkennungssystem durchgeführt. 7 zeigt eine typische Szene einer Fahrt zusammen mit der Straßenkarte und der berechneten Pose. Als Referenz wurde ein hochgenaues Positionsbestimmungssystem verwendet, welches eine Abweichung von weniger als als 5 cm hat. Bei einer Fahrt einer gesamten Länge von 13,2 km in Wolfsburg, Deutschland, hatte die berechnete globale Position einen durchschnittlichen gesamten Versatz von 1,71 m, einen durchschnittlichen seitlichen Versatz von 0,39 m und einen durschnittlichen Winkelversatz von 0,009 rad bezogen auf das Referenzsystem. 7 zeigt links Fahrstreifen der Karte in Verbindung mit einem Satellitenbild als Visualisierungshilfe und die globale Posenmessung 71. Die Mitte zeigt ein Kamerabild und daraus erzeugte Fahrstreifenmessungen. Rechts sind berechnete verdeckte Variablen für die Fahrstreifenmitten 72, 73 und 74 und die Fahrzeugposen 75 bis 78 gezeigt, wobei die Pose mit der größten Wahrscheinlichkeit die Pose 76 ist.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 11
- Anordnungsbestimmungsvorrichtung
- 12
- Fahrerassistenzsystem
- 13
- Verbindung
- 14
- Sensor, Kamera
- 15
- Verarbeitungsvorrichtung
- 16
- Antenne
- 17
- Fahrzeugbus
- 18
- Radsensor
- 20
- Verfahren
- 21–28
- Schritt
- 71
- Globale Posenmessung
- 72–74
- Fahrstreifenmitten
- 75–78
- Fahrzeugposen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011120497 A1 [0003]
- DE 102010033729 B4 [0004]