-
Die Erfindung betrifft ein Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs umfassend wenigstens eine Einrichtung zur Aufnahme von fahrzeugexternen Umweltdaten, mindestens eine Positionsermittlungseinrichtung zur Ermittlung einer Position, eine Recheneinrichtung sowie eine Datenquelle für gespeicherte Umweltdaten.
-
In modernen Kraftfahrzeugen ist die genaue Bestimmung der Fahrzeugorientierung und/oder Fahrzeugposition für viele Assistenzsysteme, wie beispielsweise Navigationssysteme oder Schwimmwinkelschätzer von großer Bedeutung. Eine Position des Fahrzeugs kann mit einer gewissen Auflösung aus einer Triangulation aufgrund von Satellitendaten bestimmt werden. Häufig soll die Genauigkeit dieser Triangulation jedoch verbessert werden. Zudem kann aus den Triangulationsdaten eine Orientierung des Fahrzeugs, insbesondere ein Azimutwinkel, nur indirekt durch Differenzbildung von aufeinanderfolgenden Positionen berechnet werden. Daher werden in heutigen Fahrzeugen zur Bestimmung der Orientierung häufig Beschleunigungs- und Gierratensensoren eingesetzt.
-
Insbesondere zur Bestimmung des Azimutwinkels, also der Ausrichtung der Fahrzeuglängsachse, ist eine Bestimmung dieses Winkels mit Beschleunigungs- und Gierratensensoren jedoch nachteilig, da insbesondere beim Fahrzeugstillstand oder bei langsamer Fahrt keine exakte Bestimmung des aktuellen Azimutwinkels möglich ist. Sowohl Beschleunigungs- und Gierratensensoren, als auch die Ermittlung der Bewegungsrichtung aus Positionsdaten können erst ab einer gewissen Mindestgeschwindigkeit sinnvoll genutzt werden. Auch ist der Wert des Azimutwinkels häufig um den Beitrag des Schwimmwinkels verfälscht. Der Schwimmwinkel ist der Winkel zwischen der tatsächlichen Fahrzeugbewegung und der Ausrichtung der Fahrzeuglängsachse. Aufgrund dieser Verfälschung ist auch keine Bestimmung des Schwimmwinkels aus diesen Daten möglich, wobei der Schwimmwinkel vor allem für Fahrassistenzsysteme eine wertvolle Information ist.
-
Für viele Fahrassistenzsysteme ist auch die Auflösung momentaner satellitenbasierter Positionsbestimmungssysteme nicht ausreichend. Üblicherweise liegen die zu erzielenden Auflösungen bei diesen Systemen im Bereich einiger Meter. Eine Verbesserung der Positionsbestimmung ist zwar über eine Mittelung der Positionsdaten über längere Zeiträume, beispielsweise unter Nutzung von bekannten Fahrzeuggeschwindigkeiten, Beschleunigungen oder anderen Trajektorieninformationen, möglich, dennoch sind weitere Ansätze zur Verbesserung der Positionsbestimmung wünschenswert.
-
Der Erfindung liegt also die Aufgabe zugrunde, ein verbessertes Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition des Kraftfahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, das die folgenden Schritte umfasst:
- – Bestimmung einer Position durch die Positionsermittlungseinrichtung,
- – Aufnahme von Umweltdaten durch die Einrichtung zur Aufnahme von Umweltdaten zum gleichen Zeitpunkt,
- – Laden von Umweltdaten, die die Umwelt an der bestimmten Position beschreiben, aus der Datenquelle durch die Recheneinrichtung,
- – Ermittlung mindestens eines Merkmals aus den geladenen Umweltdaten durch die Recheneinrichtung,
- – Analyse der aufgenommenen Umweltdaten auf das Vorhandensein des Merkmals durch die Recheneinrichtung,
- – Registrierung der Merkmale der geladenen und der aufgenommenen Umweltdaten durch Berechnung einer Transformation in der Recheneinrichtung, und
- – Berechnung der Fahrzeugorientierung und/oder der korrigierten Fahrzeugposition aus der Transformation durch die Recheneinrichtung.
-
Das erfindungsgemäße Verfahren beruht auf der Idee, dass in modernen Kraftfahrzeugen häufig ohnehin mindestens eine Einrichtung zur Aufnahme von fahrzeugexternen Umweltdaten vorhanden ist. Zudem sind teilweise in Fahrzeugen auch schon Umweltdaten, wie beispielsweise die Straßenverläufe sowie weitere Eigenschaften der befahrenen Straßen gespeichert. Damit ist es in vielen Fällen ohne zusätzlichen Hardwareaufwand möglich, aus bereits im Kraftfahrzeug vorhandenen Daten weitere Informationen zu gewinnen. Im einfachsten Fall wird aus den aufgenommenen Umweltdaten einer oder mehrerer Einrichtungen zur Aufnahme von fahrzeugexternen Umweltdaten die Orientierung eines Kraftfahrzeugs relativ zu einer befahrenen Straße bestimmt. Ist nun, beispielsweise aus Navigationsdaten, die Orientierung der befahrenen Straße an dieser Stelle in Weltkoordinaten bekannt, so kann aus der relativen Orientierung des Kraftfahrzeugs zur Straße und der Orientierung der Straße in Weltkoordinaten eine Orientierung des Kraftfahrzeugs in Weltkoordinaten bestimmt werden.
-
Das erfindungsgemäße Verfahren kann jedoch auch genutzt werden, um vorgegebene Markierungen auf Straßen oder Schildern zu erkennen und in dem Fall, in dem die Position und Orientierung dieser Symbole in einem fahrzeuginternen Speicher abgelegt ist, hieraus sehr genau eine Position und Orientierung eines Kraftfahrzeugs bestimmen. Eine solche Orientierung an vorgegebenen Symbolen ist insbesondere dann vorteilhaft, wenn das Kraftfahrzeug zum autonomen oder teilautonomen Fahren ausgebildet ist.
-
Selbstverständlich können auch weitere Umgebungsmerkmale zur Bestimmung der Position und/oder Orientierung des Kraftfahrzeugs genutzt werden. Beispielsweise ist es möglich, in der Datenquelle des Kraftfahrzeugs die Positionen von Schildern abzulegen. In diesem Fall können nach der Bestimmung einer Position durch die Positionsermittlungseinrichtung die Positionen und eventuell Orientierungen der Schilder in der Umgebung aus der Datenquelle geladen werden und zumindest dann, wenn zumindest zwei Schilder von einer oder mehreren Einrichtungen zur Aufnahme von Umweltdaten erfasst werden, eine Bestimmung der Fahrzeugorientierung und/oder Fahrzeugposition zumindest in einer Ebene berechnet werden.
-
Auch eine Nutzung von weithin sichtbaren charakteristischen Landmarken wie beispielsweise von Gebirgsgipfeln oder Kirchtürmen als Merkmale ist möglich.
-
Unabhängig von der Art der genutzten Merkmale wird im Verfahren eine relative Orientierung beziehungsweise Position des Kraftfahrzeugs zu einem oder mehreren Merkmalen berechnet. Allgemein wird zunächst eine Position bestimmt. Die grundlegende Positionsbestimmung erfolgt in heutigen Kraftfahrzeugen meist aufgrund einer satellitengestützten Navigation, wie beispielsweise GPS. Insbesondere in Ballungsräumen können ergänzend aber auch die Position von Zellen von Mobilfunknetzen oder das Vorhandensein bestimmter Drahtlosnetzwerke zur Positionsbestimmung genutzt werden. Unabhängig von der Art der Positionsbestimmung liegt aber bisher bei diesen Arten der Positionsbestimmung die Auflösung im Bereich von einigen Metern. Dies führt wie eingangs erläutert dazu, dass eine genaue Positionsbestimmung nur sehr aufwendig möglich ist. Zudem ist eine gewisse Mindestbewegung pro Zeit notwendig, um eine Orientierung des Kraftfahrzeugs zu bestimmen. Auch eine Bestimmung der Fahrzeugausrichtung, die sich von der Bewegungsrichtung unterscheiden kann, ist mit diesen Daten zunächst nicht möglich.
-
Im erfindungsgemäßen Verfahren werden diese Daten daher zunächst als eine grobe Positionsbeschreibung genutzt, um den Bereich zu definieren, in dem eine genauere Positions- beziehungsweise Orientierungsbestimmung des Kraftfahrzeugs stattfinden soll. Im weiteren Verlauf des Verfahrens werden daher Umgebungsdaten, die die unmittelbare Umgebung des Kraftfahrzeugs an dieser groben Position beschreiben, geladen. Wie eingangs beschrieben liegen in heutigen Kraftfahrzeugen häufig bereits Kartendaten vor, die zumindest einen Straßenverlauf und unter Umständen die Positionen bestimmter Landmarken enthalten. Die Menge der Umgebungsinformationen, die bereits heute in Datennetzen vorliegt, ist jedoch wesentlich größer. So sind für viele Bereiche der Welt bereits fotografische Aufnahmen von Straßenzügen abrufbar. Auch solche Informationen können selbstverständlich im erfindungsgemäßen Verfahren genutzt werden. Auch potentiell in Karteninformationen vorhandene Informationen über den Höhenverlauf des Geländes, das Vorhandensein einzelner Schilder oder Gebäude oder Ähnliches können im erfindungsgemäßen Verfahren genutzt werden.
-
Aus dieser potentiellen Vielzahl von vorliegenden Umweltinformationen wird im weiteren Verfahren zumindest ein Merkmal extrahiert, das zur Ermittlung der Position und/oder Orientierung des Kraftfahrzeugs genutzt werden kann. Häufig ist es für das weitere Verfahren vorteilhaft, dieses Merkmal abstrakt darzustellen, also beispielsweise ausschließlich die Richtung einer Straße, die Position eines Mittelpunkts einer oder mehrerer Landmarken beziehungsweise Verbindungsgeraden zwischen erkannten Landmarken oder Ähnliches im weiteren Verfahren zu nutzen.
-
Nach Laden dieser Umweltdaten und Ermittlung eines oder mehrerer geeigneter Merkmale die genutzt werden können um die Position des Fahrzeugs zu korrigieren beziehungsweise dessen Orientierung zu bestimmen, analysiert die Recheneinrichtung die aufgenommenen Umweltdaten auf das Vorhandensein des Merkmals. Die Art der Analyse kann hierbei abhängig von der Art des Merkmals sowie der Einrichtung oder Einrichtungen zur Aufnahme von Umweltdaten sein. Wird beispielsweise eine bildgebende Einrichtung zur Aufnahme von Umweltdaten genutzt und das Merkmal ist die Position und/oder Orientierung eines komplexen Merkmals, wie beispielsweise eines Gebäudes, können übliche Bilderkennungsalgorithmen wie skaleninvariante Merkmalstransformationen oder Ähnliches genutzt werden. Sollen einfachere Merkmale, wie beispielsweise eine Spurmarkierung oder eine Leitplanke erkannt werden, können, falls die Umweltdaten als Bild vorliegen, auch einfache Verfahren zur Kanten- oder Eckendetektion genutzt werden. Auch winkelaufgelöste Einrichtungen zur Aufnahme von Umweltdaten, die nur in einer Dimension winkelaufgelöst Daten aufnehmen, können genutzt werden. So kann beispielsweise die Orientierung eines Fahrzeugs zwischen zwei Leitplanken durch eine Betrachtung der Symmetrie der winkelabhängigen Abstandskurve, beispielsweise eines Ultraschallsensors, ermittelt werden.
-
In dem Fall, dass mindestens eines der Merkmale in den aufgenommenen Bilddaten detektiert werden kann, kann eine Fahrzeugorientierung und/oder eine korrigierte Fahrzeugposition berechnet werden. Die notwendige Art beziehungsweise Anzahl der Merkmale für eine Korrektur in mehreren Freiheitsgraden, hängt von der Art der verwendeten Einrichtungen zur Aufnahme von Umweltdaten ab. Einzelne Einrichtungen, wie beispielsweise Ultraschallsensoren oder Time of flight-Kameras, speichern zu jedem aufgenommenen Raumwinkel einen Abstand. Viele weitere Systeme, wie beispielsweise Kameras ermitteln explizit keine Abstandsinformationen von Objekten. Teilweise können Abstandsinformationen dennoch über die Skalierung von Objekten gewonnen werden. Insgesamt kann mit der Nutzung mehrerer Merkmale, beziehungsweise mehrerer Eigenschaften pro Merkmale, wie beispielsweise die Ausdehnung eines Merkmals und die Position des Merkmals, eine Verbesserung der erhaltenen Orientierungs- und/oder Positionsdaten erreicht werden. Es ist jedoch anzumerken, dass beispielsweise zur Bestimmung des Azimutwinkels bereits eine einzelne bekannte Merkmalsposition ausreicht.
-
Ist eine Transformation zwischen den Merkmalen, die in den aufgenommenen Umweltdaten detektiert wurden und den ermittelten Merkmalen aus den geladenen Umweltdaten bekannt, kann aus dieser Transformation leicht die Position und Ausrichtung der Einrichtung zur Aufnahme der Umweltdaten und da diese fest mit dem Fahrzeug verbunden ist, die Position und Orientierung des Fahrzeugs berechnet werden.
-
Wie eingangs beschreiben wird im Stand der Technik insbesondere zur Berechnung des Azimutwinkels des Kraftfahrzeugs eine Ableitung der Positionsinformation oder eine Integration der Daten von Beschleunigungs- und Gierratensensoren genutzt. Insbesondere bei langsamer Fahrt erlaubt keine dieser Ermittlungsmöglichkeiten eine zuverlässige Bestimmung des Azimutwinkels. Daneben lässt sich ein Einfluss des Schwimmwinkels auf die Bestimmung des Azimutwinkels kaum vermeiden. Es ist daher vorteilhaft, das die ermittelte Orientierung oder eine der ermittelten Orientierungen im erfindungsgemäßen Verfahren der Azimutwinkel, der die Orientierung des Fahrzeugs in der Fahrebene beschreibt, ist. Eine zuverlässige Bestimmung des Azimutwinkels des Kraftfahrzeugs kann die Zuverlässigkeit und Leistungsfähigkeit einer Vielzahl von Fahrassistenzsystemen verbessern. Der Azimutwinkel des Kraftfahrzeugs ist in einer Vielzahl von Situationen, vom Einparken des Kraftfahrzeugs bis hin zur Autobahnfahrt, wesentlich um das zukünftige Verhalten des Kraftfahrzeugs vorauszusagen. Damit verbessert sich mit einer Verbesserung der Voraussage des Azimutwinkels auch die Zuverlässigkeit der Voraussage der zukünftigen Fahrzeugbewegung.
-
Es ist möglich, dass die geladenen Umweltdaten Kartendaten sind, die zumindest einen Straßenverlauf beschreiben, wobei als Merkmal insbesondere der Verlauf der durch das Kraftfahrzeug befahrenen Straße ermittelt wird. Diese Ausführungsform des Verfahrens hat den Vorteil, dass in vielen heutigen Kraftfahrzeugen ohnehin bereits Kartendaten vorhanden sind, die den Straßenverlauf einer befahrenen Straße beschreiben. Auch werden in heutigen Fahrassistenzsystemen bereits Algorithmen genutzt, um einzelne Fahrspuren oder den Straßenverlauf zu erkennen. Daher kann auf robuste im Fahrzeugumfeld erprobte Algorithmen zurückgegriffen werden.
-
So kann die Recheneinheit in den aufgenommenen Umweltdaten Spurmarkierungen und/oder Fahrbahnbegrenzungen erkennen und aus diesen den Straßenverlauf bestimmen. Die Erkennung von Spurmarkierungen und/oder Fahrbahnbegrenzungen kann leicht durch Kantendetektion oder die Detektion von Ecken und ein anschließendes Anfitten von Geraden oder Kurven erfolgen. Gegenüber anderen Merkmalen, die komplexe Formen aufweisen können, ist also zur Erkennung des Verlaufs einer Straße nur ein relativ einfacher und damit robuster Algorithmus notwendig.
-
Die Analyse auf Vorhandensein des Merkmals in den aufgenommenen Bilddaten kann durch Kanten- oder Eckendetektion erfolgen. Diese Arten der Detektion von Merkmalen sind besonders einfach zu implementieren. Zur Kantendetektion kann beispielsweise ein Sobel-Kantendetektor genutzt werden. Eckendetektion ist beispielsweise über den Algorithmus von Shi und Tomasi möglich. Je nach Art der zu verarbeitenden Daten können zur Ecken- und/oder Kantendetektion jedoch auch eine Vielzahl weiterer Algorithmen genutzt werden. Wie eingangs erwähnt können bei komplexeren Merkmalen auch Verfahren zur Merkmalsbeschreibung wie das bereits erwähnte SIFT-Verfahren (scale invarant feature transform) oder das SURF-Verfahren (speeded up robust features) oder ähnliches genutzt werden.
-
Das Forschungsfeld der Merkmalsdetektion und Bilderkennung ist sehr aktiv und es werden regelmäßig Verbesserungen an bestehenden Verfahren vorgestellt. Die beispielhaft aufgezählten Verfahren sind also vor allem zum besseren Verständnis des erfindungsgemäßen Verfahrens genannt. Das erfindungsgemäße Verfahren lässt sich selbstverständlich mit beliebigen weiteren Verfahren zur Merkmalserkennung kombinieren.
-
Es ist auch möglich, dass zur Analyse auf das Vorhandensein des Merkmals in den aufgenommenen Umweltdaten mehrere zeitlich aufeinanderfolgende Aufnahmen genutzt werden. Insbesondere können einmal erkannte Objekte in folgenden Aufnahmen von Umweltinformationen durch Nutzung von Algorithmen zur Bewegungserkennung der Recheneinrichtung verfolgt werden. Durch die Verfolgung von erkannten Objekten kann das Verfahren schneller und zuverlässiger gestaltet werden. So können beispielsweise Merkmale, die nur in einigen wenigen Aufnahmen einer Folge von Aufnahmen vorkommen, verworfen werden. Auch ist es möglich, durch die Bewegungserkennung die Bewegung zwischen Bildern zu kompensieren und damit insgesamt mehr Daten zur zuverlässigen Erkennung eines Merkmals zur Verfügung zu haben.
-
Das erfindungsgemäße Verfahren nutzt insbesondere Landmarken, also Merkmale, die sich an einem festen Ort befinden und eine feste Orientierung aufweisen. Die Position und Orientierung des Kraftfahrzeugs wird bezüglich dieser Objekte berechnet. In einer typischen Verkehrssituation werden durch die Einrichtung zur Aufnahme von Umweltdaten jedoch neben den Daten der unbeweglichen Umwelt in der Regel noch eine Vielzahl bewegter Objekte erfasst. Solche bewegten Objekte können die Erkennung von Merkmalen verfälschen. Daher ist es vorteilhaft, wenn weitere relativ zur Umwelt bewegte Objekte durch Anwendung von Algorithmen zur Bewegungserkennung in der Recheneinrichtung erkannt und bei der Analyse auf das Vorhandensein des Merkmals nicht berücksichtigt werden.
-
In vielen Fällen ist es vorteilhaft, die Anzahl der zu erkennenden Merkmale gering zu halten, um zu einem schnellen und robusten Verfahren zu gelangen. Zudem ist es möglich, dass in einigen Fahrsituationen nur einzelne oder sehr wenige Bezugspunkte zur Berechnung einer Transformation zur Verfügung stehen. Daher ist es vorteilhaft, wenn die Transformation als starre Rotation und/oder Verschiebung berechnet wird. In diesem Fall hat die Transformation maximal sechs Freiheitsgrade, wobei die Bewegung um einige dieser Freiheitsgrade durch die Recheneinrichtung bereits ausgeschlossen werden kann. So kann die Recheneinrichtung beispielsweise eine Rotation um die Längsachse des Fahrzeugs über einen gewissen Winkel hinaus normalen Fahrbetrieb ausschließen. Ähnliches gilt für die Querachse des Kraftfahrzeugs. Damit ist bereits eine Reduktion der möglichen Transformationen auf vier Freiheitsgrade, nämlich eine Rotation und drei Verschiebungen, möglich. Durch eine Prüfung der Konsistenz mit anderen Sensorinformationen beziehungsweise vorhergehenden Positions- und Orientierungsberechnungen kann diese Anzahl der Freiheitsgrade weiter eingeschränkt werden, so dass bereits eine sehr kleine Anzahl von Merkmalsinformationen zur vollständigen Berechnung der Position und Orientierung des Kraftfahrzeugs ausreichend ist.
-
Die Transformation kann durch Lösen eines Optimierungsproblems, insbesondere die Minimierung eines Maßes für die Abweichung zwischen dem transformierten ermittelten Merkmal und dem erkannten Merkmal oder dem transformierten erkannten Merkmal und dem ermittelten Merkmal berechnet werden. Insbesondere kann zur Transformation auch ein quaternionenbasiertes Verfahren genutzt werden. Es ist möglich, dass als Maß für die Abweichung die Standardabweichung genutzt wird. Abhängig davon, ob einzelne, große Fehler stärker oder schwächer bewertet werden sollen, kann der Exponent bei der Fehlerberechnung jedoch auch angepasst werden. So kann beispielsweise ein kleinerer Exponent zwischen eins und zwei genutzt werden, um den Einfluss einzelner, falsch erkannter Merkmale auf die resultierende Transformation zu verringern. Alternativ oder ergänzend zur Nutzung eines kleineren Exponenten zur Berechnung des Maßes für die Abweichung kann auch ein RANSAC-Algorithmus (random sample consensus) genutzt werden. In diesem Fall werden zunächst mehrere Transformationen unter Nutzung einer Teilmenge der Merkmale berechnet. Anschließend wird für jede dieser Transformationen eine Konsensmenge der Merkmale bestimmt, die nach dieser Transformation eine Abweichung aufweisen, die kleiner ist als eine vorgegebenen Maximalabweichung. Die endgültige Transformation wird dann unter ausschließlicher Berücksichtigung der Merkmale in der größten Konsensmenge berechnet.
-
Bei der Berechnung der Transformation kann auch ein zeitlicher Verlauf der Position oder die Ausgabe eines Sensors genutzt werden. Die Zeitableitung der Positionsdaten beschreibt die Richtung der Bewegung des Kraftfahrzeugs. Im normalen Fahrbetrieb ist davon auszugehen, dass der Azimutwinkel nur wenige Grad von der Bewegungsrichtung des Kraftfahrzeugs abweicht. Bei kontrollierten Fahrmanövern liegt diese Abweichung typischerweise unter 5°. Damit kann bereits eine erste Näherung für den Azimutwinkel bestimmt werden, wodurch eine schnellere Konvergenz von iterativen Verfahren zur Bestimmung der Transformation erreicht werden kann. Die Einschränkung der möglichen Azimutwinkel kann zudem die Zahli der möglichen Freiheitsgrade reduzieren und damit eine zuverlässige Positions- und Orientierungsbestimmung bereits mit weniger Merkmalen ermöglichen. Es können jedoch auch Informationen aus Geschwindigkeits-, Beschleunigungs- und Gierratensensoren genutzt werden. Alle diese Sensoren liefern Informationen über die Fahrzeugbewegung in der Zeit seit der letzten Positions- und/oder Orientierungsbestimmung. Somit ist auch durch Nutzung dieser Sensordaten eine Eliminierung von Freiheitsgraden der Transformationsberechnung oder ein schnelleres Konvergieren des Verfahrens beim iterativen Verfahren möglich.
-
Es ist besonders vorteilhaft, wenn die Einrichtung zur Aufnahme der Umgebungsinformation ein bildgebender Sensor oder ein Sensor mit zumindest eindimensionaler Winkelauflösung ist. Bildgebende Sensoren können genutzt werden, um komplexe zweidimensionale Merkmale zu erkennen. Weist der Sensor nur eine eindimensionale Winkelauflösung auf, so ist auch in diesem Fall bereits aus den Daten eines Sensors zumindest eine Bestimmung einer Orientierung des Kraftfahrzeugs möglich, wenn beispielsweise ein Merkmal aus den geladenen Umgebungsdaten bekannt ist, das eine gerade Kante aufweist.
-
Insbesondere kann die Einrichtung zur Aufnahme der Umgebungsinformation eine Kamera, ein winkelaufgelöster Ultraschallsensor oder ein Radardetektor sein. Viele moderne Kraftfahrzeuge weisen diese Art von Sensor ohnehin auf, da sie für weitere Fahrassistenzfunktionen, wie beispielsweise längs- oder quersteuernde Fahrassistenzsysteme, Einparkassistenten oder weitere Warn- und Assistenzsysteme genutzt werden. Auch ist eine Nutzung von Kameras besonders vorteilhaft, da eine Vielzahl bekannter Algorithmen zur Erkennung bestimmter Merkmale bereits bekannt sind und damit eine große Robustheit des Verfahrens erreicht werden kann.
-
Die Position kann aus Daten eines Satellitennavigationssystems ermittelt werden. Heutige Fahrzeuge nutzen häufig eine Positionsbestimmung aufgrund des GPS-Systems. Zukünftig ist jedoch auch eine Nutzung anderer Satellitensysteme, wie beispielsweise des Galileosystems möglich. Die Auflösung des GPS-Signals kann beispielsweise durch den zusätzlichen Empfang von WAAS- beziehungsweise EGMOS-Signalen verbessert werden. In diesem Fall kann bereits eine Auflösung im Meterbereich erreicht werden.
-
Für viele Sicherheits- und Fahrassistenzsysteme des Kraftfahrzeugs ist die Kenntnis des Schwimmwinkels, also des Winkels zwischen der Längsachse des Kraftfahrzeugs und der Bewegungsrichtung vorteilhaft. Kleine Schwimmwinkel, also eine Bewegung des Kraftfahrzeugs in Richtung der Längsachse des Kraftfahrzeugs, deuten auf ein kontrolliertes Fahren hin. Ist die Fahrzeugbewegungsrichtung stark unterschiedlich von der Richtung der Längsachse des Kraftfahrzeugs, ist ein driften des Kraftfahrzeugs anzunehmen. Am Schwimmwinkel ist auch ein Über- beziehungsweise Untersteuern des Kraftfahrzeugs zu erkennen.
-
Im erfindungsgemäßen Verfahren ist eine Erweiterung des Verfahrens um eine Bestimmung des Schwimmwinkels leicht möglich. So ist es möglich, dass in einem Bewegungsrichtungsermittlungsschritt eine Bewegungsrichtung bestimmt wird und in einem Schwimmwinkelberechnungsschritt, nach dem Schritt der Berechnung der Fahrzeugorientierung und/oder der korrigierten Fahrzeugposition, aus der Differenz der Bewegungsrichtung und des Azimutwinkels ein Schwimmwinkel berechnet wird, wobei die Bewegungsrichtung insbesondere durch Differenzbildung von mindestens zwei durch die Positionsermittlungseinrichtung zu unterschiedlichen Zeiten ermittelter Positionen ermittelt wird. Dabei können in einem Geschwindigkeitsermittlungsschritt mehrere durch die Positionsermittlungseinrichtung ermittelte Positionen gespeichert werden und aus diesen Positionen im Bewegungsrichtungsermittlungsschritt eine Bewegungsrichtung bestimmt werden. Selbstverständlich kann auch eine zuvor errechnete korrigierte Fahrzeugpositionen zur Ermittlung einer Gesamtbewegungsrichtung des Fahrzeugs genutzt werden. Auch weitere Sensorsignale können zur Berechnung der Bewegungsrichtung des Fahrzeugs herangezogen werden, beispielsweise ein integriertes Signal eines Beschleunigungssensors. Zudem kann die Bewegungsrichtung durch Nutzung des Dopplereffekts, beispielsweise von Ultraschallabstandssensoren, ermittelt werden. Wesentlich ist, dass im erfindungsgemäßen Verfahren neben der Information über die Gesamtbewegungsrichtung des Kraftfahrzeugs auch eine Information über den Azimutwinkel ermittelt werden kann. Damit ist also sowohl die Ausrichtung der Längsachse des Kraftfahrzeugs als auch die Bewegungsrichtung des Kraftfahrzeugs bekannt und der Schwimmwinkel kann als Differenz zwischen diesen beiden Richtungen berechnet werden.
-
Es kann vorteilhaft sein, das erfindungsgemäße Verfahren nicht statt, sondern neben einem üblichen Verfahren zur Positionskorrektur und/oder Orientierungsbestimmung eines Kraftfahrzeugs zu nutzen. In diesem Fall kann das Kraftfahrzeug mindestens einen Beschleunigungs- oder Gierratensensor umfassen und es kann nach dem Schritt der Berechnung der Fahrzeugorientierung und/oder der korrigierten Fahrzeugposition ein Validierungsschritt durchgeführt werden, in dem eine zweite Fahrzeugorientierung und/oder eine zweite korrigierte Fahrzeugposition aus den Daten des Beschleunigungs- und/oder Gierratensensors ermittelt und mit der ersten ermittelten Fahrzeugorientierung und/oder der korrigierten Fahrzeugposition verglichen wird.
-
Zudem betrifft die Erfindung ein Kraftfahrzeug umfassend mindestens einen Sensor zur Bilderfassung, mindestens eine Positionsbestimmungseinrichtung zur Positionsbestimmung, eine Recheneinrichtung und eine Datenquelle für gespeicherte Umweltdaten, ausgebildet zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche. Ein solches Kraftfahrzeug bietet zahlreiche Vorteile. Beispielsweise ist, bei Durchführen des erfindungsgemäßen Verfahrens, sofort nach Betätigung der Zündung des Kraftfahrzeugs einem Navigationssystem bereits bei Start des Kraftfahrzeugs die Orientierung des Kraftfahrzeugs bekannt. Damit kann bereits bei Fahrtantritt eine Route berechnet werden, die eventuell notwendige Wendemanöver berücksichtigt, oder eben nicht. Auch stehen eventuell vorhandenen Sicherheits- und Fahrassistenzsystemen potentiell genauere Positionsinformationen sowie Informationen über die Orientierung des Kraftfahrzeugs zur Verfügung. Insbesondere für Sicherheitssysteme kann auch die beschriebene Ermittlung eines Schwimmwinkels vorteilhaft sein. Damit kann ein Über- oder Untersteuern des Kraftfahrzeugs leicht erkannt und korrigiert werden.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den Ausführungsbeispielen sowie den folgenden Zeichnungen. Dabei zeigen:
-
1 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
-
2 eine schematische Darstellung des Ablaufs des Verfahrens,
-
3 ein Ablaufdiagramm eines Ausführungsbeispiels zur Nutzung des erfindungsgemäßen Verfahrens bei der Bestimmung eines Schwimmwinkels,
-
4 die Bestimmung der Orientierung eines Kraftfahrzeugs auf einer Straße aus Kameradaten, und
-
5 ein erfindungsgemäßes Kraftfahrzeug.
-
1 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs. Das Verfahren beginnt im Schritt S1 wenn ein Signal vorliegt, das das Verfahren auslöst. Das Verfahren kann beispielsweise in regelmäßigen Intervallen oder jedes Mal beim Ermitteln einer neuen Fahrzeugposition aus Satellitendaten durchgeführt werden.
-
In Schritt S2 des Verfahrens wird eine Fahrzeugsposition ermittelt. Die Ermittlung der Fahrzeugposition erfolgt beispielsweise durch Auswertung von Satellitendaten. Es ist jedoch auch möglich, dass Positionsdaten bereits durch ein weiteres Fahrzeugsystem ermittelt wurden, und in diesem Schritt nur aus einem Speicher ausgelesen werden. Möglichst zeitgleich mit der Ermittlung der Positionsdaten werden in Schritt S3 Umweltdaten durch eine oder mehrere Einrichtungen zur Aufnahme von Umweltdaten aufgenommen. Es liegt zu einem Zeitpunkt also die Position des Kraftfahrzeugs zu diesem Zeitpunkt sowie Umweltdaten, die zu diesem Zeitpunkt durch mindestens eine Einrichtung zur Aufnahme von Umweltdaten aufgenommen wurden, vor.
-
Sobald die Positionsdaten im Schritt S2 ermittelt wurden, lädt die Recheneinrichtung im Schritt S4 Umweltdaten aus einer Datenquelle im Kraftfahrzeug. Dieses Laden der Umweltdaten erfolgt in der Regel nach Abschluss der Aufnahme von Umweltdaten. Da die Aufnahme der Umweltdaten jedoch ein gewisses Zeitintervall beanspruchen kann ist es auch möglich, die Schritte des Ladens der Umweltdaten S4 sowie der Ermittlung des mindestens einen Merkmals im Schritt S5 bereits durchzuführen, während die Aufnahme der Umweltdaten in Schritt S3 noch nicht abgeschlossen ist. Aus den in Schritt S4 geladenen Umweltdaten wird im Schritt S5 zumindest ein Merkmal ermittelt.
-
Die in Schritt S4 geladenen Umgebungsdaten können in vielfältiger Weise vorliegen. So können Kartendaten, die den Verlauf einer Vielzahl von Straßen beschreiben, geladen werden, es können aber auch Bilddaten vorliegen, die einzelne Landmarken darstellen. Das in Schritt S5 bestimmte Merkmal kann also neben einer Position und/oder einer Orientierung eines Merkmals auch Informationen umfassen, wie dieses Merkmal erkannt werden kann. So können beispielsweise im Fall von zu erkennenden Landmarken skaleninvariante Darstellungen des Merkmals genutzt werden, um im Schritt S6 der Analyse diese Merkmale in den aufgenommenen Umweltdaten zu erkennen. Neben dieser sehr detaillierten Art der Merkmalsdarstellung ist es jedoch auch möglich, dass im Schritt S5 nur ermittelt wird, dass sich das Kraftfahrzeug auf einer Straße befindet und diese Straße eine Richtung aufweist.
-
Im Schritt S6 werden die in Schritt S3 aufgenommenen Bilddaten analysiert. Hierbei soll insbesondere das in Schritt S5 ermittelte Merkmal oder die in Schritt S5 ermittelten Merkmale in der Aufnahme aufgefunden werden. Abhängig von der Art des in Schritt S5 ermittelten Merkmals können in Schritt S6 verschiedene Arten der Analyse genutzt werden. Sind die in Schritt S3 aufgenommenen Umgebungsdaten Bilddaten und das in Schritt S5 bestimmte Merkmal liegt beispielsweise in einer skaleninvarianten Darstellung vor, so können in Schritt S6 eine Vielzahl bekannter Bilderkennungsalgorithmen genutzt werden.
-
Häufig ist jedoch auch die Nutzung einfacherer und robusterer Verfahren möglich. Wird beispielsweise in Schritt S5 als Merkmal eine Straße und ihre Richtung bestimmt, kann in Schritt S6 eine Analyse der aufgenommenen Umweltinformationen ausschließlich darauf erfolgen, ob eine Richtung der befahrenen Straße erkannt werden kann. Dies wird später noch genauer erläutert.
-
Werden in Schritt S6 Merkmale erkannt, die in Schritt S5 ermittelt wurden, so kann in Schritt S7 eine Registrierung der Merkmale der geladenen und der aufgenommenen Umweltdaten durch Berechnung einer Transformation erfolgen. Einzelne Merkmale können hier als Punkte, Punktgruppen oder eine Verbindung von Punkten und Richtungen oder Größen vorliegen. Häufig ist es vorteilhaft, hier nur starre Transformationen, also ausschließlich Translationen und Rotationen, zu berechnen. Es ist auch möglich, nur einzelne Translationen ode Rotationen zu berechnen. Beispielsweise kann im Verfahren davon ausgegangen werden, dass eine ausreichend genau Position des Kraftfahrzeugs vorliegt. Soll dann beispielsweise ausschließlich der Azimutwinkel des Kraftfahrzeugs berechnet werden, so ist der einzige Freiheitsgrad ein Rotationsfreiheitsgrad und die Transformation kann leicht berechnet werden. Wird als Merkmal in S5 ausschließlich eine Straße als Merkmal bestimmt und in Schritt S6 die Orientierung des Kraftfahrzeugs relativ zur Straße bestimmt, ergibt sich die Transformation in Schritt S7 trivial als eine Drehung um den bereits in Schritt S6 berechneten Winkel.
-
In Schritt S8 wird anschließend aus der in Schritt S7 berechneten Transformation die Position und Orientierung der Einrichtungen zur Aufnahme der Umgebungsdaten und damit des Kraftfahrzeugs berechnet. Am Ende des Verfahrens in dem Schritt S9 liegen also korrigierte Positionsinformationen und/oder Orientierungsinformationen des Kraftfahrzeugs vor.
-
2. zeigt schematisch ein Verfahren, bei dem aus den Daten einer Kamera 8 und eines GPS-Systems 1 eine Kartendarstellung 10 bestimmt wird, die die Richtung 11 der Längsachse des Kraftfahrzeugs anzeigt. Wie im Ablaufdiagramm in 1 gezeigt, werden zunächst eine Aufnahme von Umgebungsdaten und eine Positionsbestimmung durchgeführt. Die Positionsbestimmung erfolgt durch das GPS 1, die Aufnahme der Umgebungsdaten durch die Kamera 8. Das GPS gibt Umgebungsdaten 2 aus, die in der Recheneinrichtung genutzt werden, um eine Karte 3 aus einem Datenspeicher des Kraftfahrzeugs zu laden. Die Karte 3 besteht aus einer Vielzahl von Straßen. Bereits zu diesem Zeitpunkt ist es möglich den Ort des Kraftfahrzeugs 4 auf der Karte 3 sowie die Bewegungsrichtung 6 des Kraftfahrzeugs, die beispielsweise aus der Differenz aufeinanderfolgender, mit dem GPS-System ermittelter, Orte ermittelt wird, anzuzeigen.
-
Aus den Kartendaten 3 wird hier das Merkmal 7 extrahiert, dass sich das Fahrzeug entlang einer Straße bewegt. In 2 ist das Merkmal, dass sich das Fahrzeug auf einer Straße bewegt als Bild einer gerade vor dem Kraftfahrzeugs verlaufenden Straße dargestellt. Im implementierten Verfahren wird das Merkmal jedoch in der Regel nicht in dieser Form genutzt werden, sondern als Information, das im Bild der Kamera nach dem Bild eines geraden Straßenabschnitts gesucht werden soll. Dies ist vorteilhaft, da sich einzelne Straßen in der Art ihrer Markierung und Begrenzung unterscheiden. Es können also Algorithmen genutzt werden, die alle Merkmale einer Straße erkennen können und daher beispielsweise auch bei einer unregelmäßigen Fahrbahnmarkierung erkennen können, dass es sich dabei um eine Straße handelt und in welche Richtung diese verläuft.
-
Es ist jedoch vorteilhaft, wenn das Merkmal Informationen umfasst, wie viele Spuren eine Straße aufweist, da dies die Erkennung der Straße und ihrer Orientierung erleichtern kann. Das Bild der Kamera 9 zeigt hier ausschließlich die Straße 5. Es ist klar zu erkennen, dass die Straße 5 in einem Winkel zur Längsachse des Kraftfahrzeugs verläuft. Ein Beispiel für die Berechnung des Winkels der Straße ist schematisch in 3 dargestellt und wird später beschrieben. Im erfindungsgemäßen Verfahren kann nun aus dem Merkmal 7, das aus dem Positionsdaten 2 und den Kartendaten 3 bestimmt wurde sowie aus dem Bild 9 ein Azimutwinkel des Fahrzeugs bestimmt werden. Dieser gibt die Richtung 11 der Längsachse des Kraftfahrzeugs an. Damit kann nun beispielsweise die Darstellung 10 errechnet werden die die Kartendaten 3 umfasst und neben der Position 4 auch die Richtung der Längsachse des Kraftfahrzeugs 11 darstellt.
-
3 zeigt eine schematische Darstellung der Ermittlung eines Winkels, den die Längsachse eines Kraftfahrzeugs gegenüber einer Straße einnimmt. Hier werden zwei aufeinanderfolgende Bilder einer Kamera 12 und 13 genutzt. In beiden Bildern ist eine Spurmarkierung 14 sowie ein Kraftfahrzeug 15 zu erkennen. Der Bereich 16 markiert die Bewegung zwischen den beiden Bildern 12, 13. Die Größe dieser Bewegung kann beispielsweise aus der Geschwindigkeitsmessung des Kraftfahrzeugs oder aus einer zuvor berechneten Positionsänderung ermittelt werden. Auch Objekte, die klar in aufeinanderfolgenden Bildern erkennbar sind, können zur Geschwindigkeitsermittlung genutzt werden.
-
Aus den Bildern 12, 13 ist zu erkennen, dass das Kraftfahrzeug 15 sich trotz Vorwärtsbewegung des eigenen Kraftfahrzeugs vom eigenen Kraftfahrzeug entfernt. Dies wird durch die Recheneinrichtung im Verarbeitungsblock 17 zur Erkennung von bewegten Objekten erkannt. Das Kraftfahrzeug 15 kann in aufeinanderfolgenden Bildern beispielsweise durch die Ermittlung von skaleninvarianten Merkmalen oder durch einen good features to track-Algorithmus verfolgt werden. Damit kann die Recheneinrichtung erkennen, dass sich das zweite Kraftfahrzeug 15 unabhängig von der Umgebung bewegt. Da im erfindungsgemäßen Verfahren eine Orientierung beziehungsweise Position des Kraftfahrzeugs im Bezug zur Umgebung ermittelt werden soll ist es vorteilhaft, solche bewegten Objekte zu ignorieren. Daher wird in der weiteren Verarbeitung des zweiten Bilds 13 der Bereich 18, in dem sich das Kraftfahrzeug 15 befindet, ignoriert.
-
Die Ermittlung der Richtung der Straße kann beispielsweise erfolgen, indem im Verarbeitungsblock 19 zunächst eine Eckendetektion, beispielsweise durch Detektion von Schi-Tomasi-Merkmalen, erfolgt. Es ist möglich, dass eine solche Eckendetektion bereits in Schritt 17 durchgeführt wurde. In diesem Fall ist es nicht notwendig diese zu wiederholen, es müssen nur Ecken im ignorierten Bereich 18 verworfen werden. Die Darstellung 24 zeigt schematisch die Anordnung dieser Ecken 20. Die Darstellung 24 ist hier allein zum besseren Verständnis des Verfahrens gezeigt. Meist wird eine Darstellung der Ecken ausschließlich intern in der Recheneinrichtung genutzt. Die Darstellung der Ecken muss nicht als Bild erfolgen, sondern kann beispielsweise auch als eine Liste von Punkten und Koordinaten vorliegen.
-
Nach der Erkennung der Ecken kann im Verarbeitungsblock 21 die Richtung der Spur bestimmt werden. Dies kann im einfachsten Fall durch die Bestimmung einer oder mehrerer Ausgleichsgeraden 22 erfolgen. Sollen mit dem gleichen Algorithmus auch Kurven oder Ähnliches erkannt werden, ist es vorteilhaft im Rahmen der Spurbestimmung eine parametrisierte Ausgleichskurve zu berechnen, beispielsweise eine B-Spline Kurve. In realen Bildern werden in der Regel viele zusätzliche Ecken von weiteren Objekten detektiert. Um eine Verfälschung der Ausgleichskurve und damit der Richtung der Straße zu vermeiden, kann in diesem Fall beispielsweise ein RANSAC-Algorithmus genutzt werden.
-
Aus den Ausgleichsgeraden 22 beziehungsweise den parametrisierten Ausgleichskurven, die aus den Eckpositionen berechnet wurden, kann dann ein Winkel 23 zwischen dem Kraftfahrzeug und dem Straßenverlauf berechnet werden.
-
4 zeigt ein Ablaufdiagramm zur Berechnung eines Schwimmwinkels des Kraftfahrzeugs. Nach dem Start des Verfahrens S11 werden zunächst zeitlich beabstandet in den Schritt S12 und S13 zwei Fahrzeugpositionen aufgenommen. Aus diesen beiden Fahrzeugpositionen wird im Schritt S14 ein Abstand zwischen den Positionen, die in Schritt S12 und Schritt S13 bestimmt wurden, berechnet. Nachdem der Zeitabstand zwischen der Durchführung der Schritte S12 und S13 bekannt ist, kann aus dem in S14 bestimmten Abstand in S15 eine Geschwindigkeit des Kraftfahrzeugs und insbesondere eine Richtung der Bewegung des Kraftfahrzeugs bestimmt werden. Zeitgleich mit der Bestimmung der zweiten Position in Schritt S13 wird in Schritt S19 eine Aufnahme von Umweltdaten durchgeführt. Mit den in Schritt S19 aufgenommenen Umweltdaten und der in S13 bestimmten zweiten Position wird in Schritt S16 die Orientierung des Kraftfahrzeugs, insbesondere der Azimutwinkel zu diesem Zeitpunkt bestimmt. In Schritt S17 kann aus dem Winkel zwischen der in S15 bestimmten Bewegungsrichtung und der in S16 bestimmten Orientierung der Längsachse des Kraftfahrzeugs der Schwimmwinkel als Differenz zwischen diesen beiden Winkeln bestimmt werden. Im Schritt S18 endet das Verfahren und der Schwimmwinkel kann in weiteren Fahrassistenz- oder Sicherheitssystemen genutzt werden.
-
5 zeigt ein Kraftfahrzeug, das zur Durchführung des Verfahrens zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition des Kraftfahrzeugs ausgebildet ist. Das Kraftfahrzeug 24 weist eine Recheneinrichtung 25 auf, die hier zur Ansteuerung mehrerer Fahrzeugkomponenten über den CAN-Bus 31 des Kraftfahrzeugs ausgebildet ist. Über den CAN-Bus 31 empfängt die Recheneinrichtung 25 Signale der GPS-Empfangseinrichtung 26. Gleichzeitig kann die Recheneinrichtung 25 Aufnahmen der Kamera 27 des Vorfeldradars 28 sowie des winkelaufgelösten Ultraschallsensors 29 anfordern. Soll beispielsweise ein Azimutwinkel des Kraftfahrzeugs ermittelt werden, so fordert die Recheneinrichtung 25 die Daten der Kamera 27, des Radars 28 und des winkelaufgelösten Ultraschallsensors 29 an. Zugleich berechnet die Recheneinrichtung aus den über den GPS-Empfänger 26 empfangene Daten eine Position des Kraftfahrzeugs.
-
Die Recheneinrichtung lädt nun Umgebungsinformationen, beispielsweise Kartendaten, die die ermittelte Position umfassen, aus der Speichereinrichtung 30 in einen internen Speicher. Die Speichereinrichtung 30 kann als separate Einheit ausgebildet sein, aber auch fest in die Recheneinrichtung integriert sein. Mit dem zuvor beschriebenen Verfahren kann die Recheneinrichtung nun aus den durch Kamera 27, Radar 28 und Ultraschallsensor 29 aufgenommenen Umweltdaten und der errechneten Position unter Verwendung der dem Speicher 30 entnommenen Umweltdaten eine Richtung der Längsachse des Kraftfahrzeugs, also dem Azimutwinkel, berechnen. Daneben kann die Recheneinrichtung 25 auch wie zuvor beschrieben einen Schwimmwinkel berechnen. Zur Validierung des Azimutwinkels kann die Recheneinrichtung 25 über den CAN-Bus 31 auch Daten eines Beschleunigungssensors 32 und eines Gierratensensors 33 auslesen. Aus diesen Daten kann wie üblich ein Azimutwinkel berechnet und mit dem zuvor ermittelten Azimutwinkel verglichen werden. Stimmen die Ergebnisse relativ gut überein, so ist der berechnete Winkel verifiziert. Bei Abweichungen kann abhängig von der Geschwindigkeit und weiteren Faktoren, beispielsweise eines während der Bildverarbeitung berechneten Qualitätsfaktors, eine Bewertung erfolgen, welcher der Azimutwinkel verlässlicher ist.
-
Selbstverständlich können entsprechend den obigen Ausführungen durch die Recheneinrichtung 25 auch weitere Orientierungswinkel des Kraftfahrzeugs und/oder Positionskorrekturen berechnet werden.
