-
Die vorliegende Erfindung betrifft eine Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten. Die vorliegende Erfindung betrifft weiterhin eine Steuervorrichtung zum Steuern eines autonomen oder teilautonomen Fahrzeugs sowie ein System zum Steuern eines autonomen oder teilautonomen Fahrzeugs. Zudem betrifft die Erfindung ein Verfahren und ein Computerprogrammprodukt.
-
Moderne Fahrzeuge (Autos, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl von Sensoren (Radar, Lidar, Kamera, Ultraschall etc.), die einem Fahrzeugführer oder einem Steuersystem des Fahrzeugs Informationen zur Verfügung stellen. Über derartige Umgebungssensoren werden die Umgebung des Fahrzeugs und Objekte in dieser Umgebung (andere Fahrzeuge, Infrastrukturobjekte, Personen, bewegliche Objekte etc.) erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Insbesondere kann eine Fahrfunktion des Fahrzeugs teil- oder vollautonom ausgeführt werden.
-
Zusätzlich zu Sensordaten basieren die Auswerte- und Steueralgorithmen dabei zunehmend auch auf Kartendaten. Unter Kartendaten verstehen sich dabei insbesondere vorbekannte Informationen zu Fahrbahnen, Spuren auf diesen Fahrbahnen sowie zu Objekten in der Umgebung. Diese Kartendaten werden dann als Grundlage für die kurz- und mittelfristige Routenplanung, mittlerweile aber auch immer mehr als Ausgangspunkt für die Ansteuerung einer Fahr- oder Fahrassistenzfunktion verwendet. Die Sensordaten der Umgebungssensoren werden dabei in Zusammenschau mit den Kartendaten betrachtet und ausgewertet.
-
Eine Herausforderung liegt dabei in der Fusion der über die Umgebungssensorik erlangten Informationen mit den Kartendaten. Kartendaten, insbesondere hochauflösende Kartendaten, umfassen detaillierte Informationen zu der Umgebung des Fahrzeugs und können die Entscheidungsfindung bei autonomen oder teilautonomen Fahrzeugen verbessern. Unter Umständen ist es sogar möglich, Funktionen eines teilautonomen oder autonomen Fahrzeugs zumindest teilweise und/oder vorübergehend ausschließlich basierend auf Kartendaten auszuführen, beispielsweise um Sensorausfälle zu kompensieren. Hierzu ist eine zuverlässige und robuste Fusion von Kartendaten und Sensordaten, insbesondere in Bezug auf eine Positionsermittlung des Fahrzeugs in Bezug auf die Kartendaten erforderlich.
-
In diesem Zusammenhang stellen bisherige Ansätze zur Fusion von Sensordaten und Kartendaten oft hohe Anforderungen an die Rechenleistung sowie die Berechnungszeit. Gerade wenn ein Verhalten eines autonomen oder teilautonomen Fahrzeugs basierend auf Sensordaten und Kartendaten vorgegeben werden soll, ist eine schnelle Datenverarbeitung und in vielen Fällen sogar eine Echtzeit-Auswertung notwendig.
-
Peker et al., „Fusion of Map Matching and Traffic Sign Recognition“, 2014 betrifft einen Ansatz zum hochperformanten Erkennen von Verkehrsschildern und zum Fusionieren der erkannten Verkehrsschilder mit digitalen Karten. Ein Verkehrsschild wird mittels einer Monochromkamera detektiert. Es werden Standardnavigationskarten verwendet.
-
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum effizienten und zuverlässigen Fusionieren von Sensordaten mit Kartendaten bereitzustellen. Insbesondere soll ein Ansatz bereitgestellt werden, der eine effiziente Zuordnung von Kartendaten und Umgebungssensordaten in Echtzeit ermöglicht.
-
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten, mit:
- einer Eingangsschnittstelle zum Empfangen von Sensordaten eines Umgebungssensors mit Informationen zu Objekten in einer Umgebung eines Fahrzeugs und zum Empfangen von Kartendaten mit Informationen zu der Umgebung des Fahrzeugs;
- einer Auswerteeinheit zum Erkennen von sichtbaren Verkehrsschildern in der Umgebung des Fahrzeugs basierend auf den Sensordaten und zum Auslesen von vorbekannten Verkehrsschildern in der Umgebung des Fahrzeugs aus den Kartendaten; und
- einer Zuordnungseinheit zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern und zum Ermitteln eines Sicherheitsparameters, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung angibt.
-
In einem weiteren Aspekt betrifft die vorliegende Erfindung eine Steuervorrichtung zum Steuern eines autonomen oder teilautonomen Fahrzeugs, mit:
- einer Empfangsschnittstelle zum Empfangen eines Sicherheitsparameters, der eine Zuverlässigkeit einer Zuordnung von basierend auf Sensordaten eines Umgebungssensors erkannten sichtbaren Verkehrsschildern zu aus Kartendaten ausgelesenen vorbekannten Verkehrsschildern angibt; und
- einer Vorausplanungseinheit zum Planen eines Verhaltens des Fahrzeugs basierend auf Kartendaten und einer ermittelten Position des Fahrzeugs in Bezug auf diese Kartendaten, wobei
- die Vorausplanungseinheit zum Verlängern eines Zeithorizonts der Planung ausgebildet ist, wenn der empfangene Sicherheitsparameter eine höhere Zuverlässigkeit der Zuordnung als in einem vorausgehenden Zeitschritt angibt.
-
Zudem betrifft ein Aspekt der vorliegenden Erfindung ein System zum Steuern eines autonomen oder teilautonomen Fahrzeugs, mit:
- einer Vorrichtung wie zuvor beschrieben und einer Steuervorrichtung wie zuvor beschrieben; und
- einem Umgebungssensor zum Erfassen von Objekten in der Umgebung des Fahrzeugs.
-
Weitere Aspekte der Erfindung betreffen ein der Vorrichtung entsprechend ausgebildetes Verfahren und ein der Steuervorrichtung entsprechend ausgebildetes Steuerverfahren sowie ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte der Verfahren, wenn der Programmcode auf einem Computer ausgeführt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung der hierin beschriebenen Verfahren bewirkt.
-
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können die Vorrichtung, die Steuervorrichtung, das System, die Verfahren und die Computerprogrammprodukte entsprechend den für die Vorrichtung in den abhängigen Ansprüchen definierten Ausgestaltungen ausgeführt sein.
-
Erfindungsgemäß ist es vorgesehen, dass Daten eines Umgebungssensors sowie Kartendaten empfangen werden. Beide empfangenen Datenarten umfassen dabei Informationen zu Objekten in der Umgebung des Fahrzeugs. Die Sensordaten werden von mindestens einem Umgebungssensor empfangen, beispielsweise einem Radar-, Lidar-, Kamera- oder Ultraschallsensor. Die Kartendaten werden von einer Kartendatenbank empfangen, die entweder lokal angeordnet oder über eine Datenverbindung, insbesondere über eine Mobildatenverbindung, angebunden sein kann. In den Daten der Umgebungssensorik werden Verkehrsschilder identifiziert. Aus den Kartendaten werden Verkehrsschilder ausgelesen. Basierend auf den identifizierten und ausgelesenen Verkehrsschildern wird dann eine Zuordnung vorgenommen und ein Sicherheitsparameter bestimmt, der eine Zuverlässigkeit der Zuordnung, insbesondere eine Wahrscheinlichkeit für eine zutreffende Zuordnung bzw. eine Konfidenz angibt.
-
Im Gegensatz zu bisherigen Ansätzen, bei denen eine Zuordnung anhand einer Vielzahl verschiedener erkannter Objekte erfolgt, werden erfindungsgemäß lediglich Verkehrsschilder betrachtet. Die Zuordnung erfolgt ausgehend von Verkehrsschildern. Dies ermöglicht eine wesentlich vereinfachte und effizienter berechenbare Zuordnung. Zudem können Verkehrsschilder einerseits mit hoher Genauigkeit basierend auf Umgebungssensordaten erkannt werden und andererseits mit hoher Zuverlässigkeit in Kartendaten verfügbar gemacht werden. Daher kann eine zuverlässige Zuordnung bei reduziertem Berechnungsaufwand bereitgestellt werden. Durch die Ermittlung eines Sicherheitsparameters wird in der weiteren Bearbeitung der Daten bzw. in der Planung des Verhaltens eines autonomen oder teilautonomen Fahrzeugs eine Zusatzinformation bereitgestellt, die eine effiziente Weiterverarbeitung ermöglicht. Insbesondere kann durch den Sicherheitsparameter der Zeithorizont der Vorausplanung des Verhaltens des autonomen oder teilautonomen Fahrzeugs angepasst werden. Wenn der Sicherheitsparameter eine hohe Wahrscheinlichkeit für eine zutreffende Zuordnung anzeigt, kann ein längerer Vorausplanungszeitraum verwendet werden. Der Sicherheitsparameter ermöglicht eine Anpassung einer Vorausplanung des Verhaltens eines autonomen oder teilautonomen Fahrzeugs basierend auf der Zuverlässigkeit einer Zuordnung aktueller Sensordaten zu Kartendaten. Die Sicherheit im Betrieb des autonomen oder teilautonomen Fahrzeugs kann verbessert werden.
-
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern basierend auf einem Iterative Closest Point-Algorithmus ausgebildet. Der Iterative Closest Point-Algorithmus (ICP) wird zumeist für die Lokalisierung von autonomen Systemen basierend auf Lidar- oder Radarpunktewolken oder semantischen Punkten in Kameradaten verwendet. Diese Zuordnung ist dabei zumeist aufwendig in der Berechnung. Die erfindungsgemäß vorgeschlagene Zuordnung von sichtbaren Verkehrsschildern zu vorbekannten Verkehrsschildern kann demgegenüber wesentlich effizienter berechnet werden, da lediglich eine vergleichsweise geringe Anzahl an Datenpunkten miteinbezogen werden muss. Es ergibt sich eine schnelle und effiziente Berechenbarkeit der Zuordnung.
-
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Ermitteln eines eindimensionalen Werts auf einer vordefinierten Skala als Zuverlässigkeitswert ausgebildet. Insbesondere kann durch die Verwendung eines einfach zu berechnenden eindimensionalen Werts eine hohe Effizienz in der Weiterverarbeitung bei der Planung des Verhaltens des autonomen oder teilautonomen Fahrzeugs erreicht werden. Beispielsweise kann ein Prozent- oder Dezimalwert verwendet werden. Eine effiziente Berechenbarkeit wird erreicht.
-
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Positionen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der erkannten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den ermittelten Positionen ausgebildet. Vorzugsweise werden Positionen der Verkehrsschilder ausgelesen und ermittelt. Die Zuordnung bezieht sich insoweit insbesondere auf die Positionen der Schilder. Es kann dann eine Position des Fahrzeugs in Bezug auf die Umgebung bzw. in Bezug auf die Kartendaten ermittelt werden. Die Position ist für die meisten Anwendungsfälle eine wichtige Voraussetzung in der Planung des Verhaltens eines autonomen oder teilautonomen Fahrzeugs. Durch eine genaue Positionskenntnis kann der Planungshorizont verlängert werden.
-
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Minimieren eines mittleren quadratischen Abstands zwischen den Positionen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Ein mittlerer quadratischer Abstand ist ein effizient berechenbares Fehlermaß und bietet insoweit eine einfache Möglichkeit des Auffindens einer Zuordnung.
-
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Klassen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der erkannten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den ermittelten Klassen ausgebildet. Unter einer Klasse eines Verkehrsschilds versteht sich dabei die Art des Verkehrsschilds insbesondere im Hinblick auf dessen Aussage über Verkehrsregeln oder andere Vorgaben. Eine Klasse von Verkehrsschildern können beispielsweise Stoppschilder, Halteverbotsschilder etc. darstellen. Diese Art bzw. Klasse der Verkehrsschilder wird bei der Zuordnung berücksichtigt. Insoweit wird die Zuverlässigkeit bei der Zuordnung weiter verbessert. Eine effiziente Zuordnung wird erreicht.
-
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Ausrichtungen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der erkannten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den ermittelten Ausrichtungen ausgebildet. Unter einer Ausrichtung wird eine Orientierung der Verkehrsschilder verstanden, insbesondere wird eine Ausrichtung in Bezug auf eine zweidimensionale Fahrbahnebene verwendet. Berücksichtigt wird, in welche Richtung das Verkehrsschild zeigt. Die Ausrichtung wird als Zusatzinformation betrachtet. Es ergibt sich eine weiter verbesserte Zuverlässigkeit bei der Zuordnung. Die Ausrichtung kann zumeist effizient sowohl aus den Daten des Umgebungssensors als auch aus den Kartendaten abgeleitet werden.
-
Ein Objekt in einer Umgebung eines Fahrzeugs kann insbesondere ein Fahrzeug, ein Fahrradfahrer, ein Fußgänger, ein Tier oder ein statisches Objekt wie ein auf der Fahrbahn liegender Autoreifen oder ein Verkehrsschild etc. sein. Eine Umgebung kann insbesondere ein Umfeld eines Fahrzeugs bzw. ein von dem Fahrzeug aus einsehbarer Bereich sein. Ein Umfeld kann auch durch einen Radius oder eine andere Distanzangabe definiert sein. Kartendaten bezeichnen hierin insbesondere eine Repräsentation einer Umgebung bzw. eines Gebiets im Hinblick auf Straßen, Radwege, Fußwege sowie Verkehrsschilder und andere Objekte etc. Kartendaten können dabei in einem beliebigen Format vorliegen. Ein autonomes oder teilautonomes Fahrzeug ist ein Fahrzeug, bei dem eine Computereinheit zumindest einen Teil einer Fahrfunktion bereitstellt. Ein Verkehrsschild ist ein im Bereich einer Fahrbahn angebrachtes Schild mit Informationen zum Regeln des Verkehrs, zu Objekten und Sehenswürdigkeiten in der Umgebung, zu Zielen und Entfernungen, zu Richtungen etc.
-
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
- 1 eine schematische Darstellung eines erfindungsgemäßen Systems zum Steuern eines autonomen oder teilautonomen Fahrzeugs;
- 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten;
- 3 eine schematische Darstellung einer erfindungsgemäßen Steuervorrichtung;
- 4 eine schematische Darstellung des erfindungsgemäßen Ansatzes zum Fusionieren von Sensordaten mit Kartendaten;
- 5 eine schematische Darstellung einer mit hoher Wahrscheinlichkeit zutreffenden Zuordnung;
- 6 eine schematische Darstellung einer mit reduzierter Wahrscheinlichkeit zutreffenden Zuordnung;
- 7 eine schematische Darstellung einer Situation, in der keine zuverlässige Zuordnung erreicht werden kann; und
- 8 eine schematische Darstellung eines erfindungsgemäßen Verfahrens zum Fusionieren von Sensordaten mit Kartendaten.
-
In der 1 ist schematisch ein erfindungsgemäßes System 10 zum Steuern eines autonomen oder teilautonomen Fahrzeugs 12 dargestellt. Das System 10 umfasst eine Vorrichtung 14 zum Fusionieren von Sensordaten mit Kartendaten, eine Steuervorrichtung 16 zum Steuern des Fahrzeugs 12 sowie einen Umgebungssensor 18 zum Erfassen von Objekten in der Umgebung des Fahrzeugs 12. Im dargestellten Ausführungsbeispiel ist das System 10 in das Fahrzeug 12 integriert. Die Darstellung ist als seitliche Schnittansicht auf das Fahrzeug 12 auf einer Fahrbahn zu verstehen. Die Umgebung des Fahrzeugs 12 umfasst insbesondere Verkehrsschilder 20, die als Objekte durch den Umgebungssensor 18 erfasst werden. Die Vorrichtung 14 sowie die Steuervorrichtung 16 können beispielsweise in ein Steuergerät bzw. in einen Zentralrechner des Fahrzeugs 12 integriert sein. Ebenfalls ist es möglich, dass die Vorrichtung 14 oder die Steuervorrichtung 16 in den Umgebungssensor 18 integriert sind. Der Umgebungssensor 18 kann insbesondere an dem Fahrzeug 12 montiert sein. Es ist aber auch möglich, dass die Vorrichtung 14, die Steuervorrichtung 16 und/oder der Umgebungssensor 18 separat ausgeführt sind, beispielsweise in ein Smartphone integriert.
-
Erfindungsgemäß ist es vorgesehen, dass mittels des Umgebungssensors 18 die Umgebung des Fahrzeugs 12 erfasst wird. Aus den Sensordaten werden Verkehrsschilder 20 erkannt. Zudem ist die Vorrichtung 14 dazu ausgebildet, Kartendaten zu empfangen. Im dargestellten Ausführungsbeispiel werden die Kartendaten über eine Mobildatenverbindung von einem Zentralserver 22 empfangen. Es ist aber auch möglich, dass die Kartendaten von einer innerhalb des Fahrzeugs 12, innerhalb der Vorrichtung 14 selbst oder an anderer Stelle angeordneten Datenbank empfangen werden. In der Vorrichtung werden die Sensordaten des Umgebungssensors 18 mit den Kartendaten fusioniert. Insbesondere wird eine Zuordnung zwischen Sensordaten und Kartendaten basierend auf den Verkehrsschildern 20 vorgenommen. Es wird ein Sicherheitsparameter berechnet, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung ausdrückt.
-
In der 2 ist schematisch eine erfindungsgemäße Vorrichtung 14 zum Fusionieren von Sensordaten mit Kartendaten dargestellt. Die Vorrichtung umfasst eine Eingangsschnittstelle 24, eine Auswerteeinheit 26 sowie eine Zuordnungseinheit 28. Die Einheiten und Schnittstellen können teilweise oder vollständig in Soft- und/oder in Hardware umgesetzt sein. Insbesondere können die Einheiten als Prozessor, Prozessormodule oder auch als Software für einen Prozessor ausgebildet sein. Die Vorrichtung 14 kann insbesondere in Form eines Steuergeräts oder eines Zentralcomputers eines autonomen oder teilautonomen Fahrzeugs bzw. als Software für ein Steuergerät oder einen Zentralcomputer eines autonomen oder teilautonomen Fahrzeugs ausgebildet sein.
-
Über die Eingangsschnittstelle 24 werden einerseits Sensordaten des Umgebungssensors und andererseits Kartendaten empfangen. Die Eingangsschnittstelle 24 steht dazu in Verbindung mit einem Umgebungssensor, wie beispielsweise einem Radar-, Lidar-, Kamera- oder Ultraschallsensor. Es versteht sich, dass die Eingangsschnittstelle auch an mehrere Sensoren angebunden sein kann und bereits in entsprechender Weise vorverarbeitete Sensordaten empfangen kann. Insbesondere können beispielsweise eine Punktewolke oder eine Kameraaufnahme empfangen werden. Die Kartendaten können entweder von einer lokalen oder auch von einer entfernten Datenbank empfangen werden.
-
In der Auswerteeinheit 26 werden mittels einer Analyse der empfangenen Sensordaten sichtbare Verkehrsschilder erkannt. Unter sichtbaren Verkehrsschildern werden dabei insbesondere Verkehrsschilder verstanden, die sich in einem Sichtbereich des Umgebungssensors befinden. Diese Erkennung von sichtbaren Verkehrsschildern kann dabei basierend auf Algorithmen der Sensordatenverarbeitung und insbesondere der Bildauswertung erfolgen. Insbesondere kann eine Mustererkennung aus Bilddaten durchgeführt werden.
-
Weiterhin werden in der Auswerteeinheit 26 aus den Kartendaten vorbekannte Verkehrsschilder ausgelesen. Je nach Datenformat der Kartendaten wird hierzu eine entsprechende Abfrage verwendet oder Auswertung durchgeführt. Entweder wird eine Abfrage aller in den Kartendaten vorhandenen Verkehrsschilder durchgeführt oder es werden lediglich Verkehrsschilder aus einem Bereich einer aktuellen Position bzw. Positionsschätzung des Fahrzeugs ausgelesen. Sowohl das Erkennen der Verkehrsschilder als auch das Auslesen der Verkehrsschilder bezieht sich dabei insbesondere auf die Ermittlung bzw. Auslesung einer Position in einem entsprechenden Koordinatensystem. Beispielsweise kann ein fahrzeugfestes Koordinatensystem verwendet werden, um die Positionen der sichtbaren Verkehrsschilder aus den Sensordaten zu ermitteln. In entsprechender Weise kann ein Koordinatensystem der Kartendaten verwendet werden, um die Positionen der darin enthaltenen Verkehrsschilder auszulesen. Zudem versteht sich unter einem Erkennen der Verkehrsschilder gegebenenfalls auch eine Ermittlung einer Ausrichtung im Sinne einer Orientierung in Bezug auf das entsprechende Koordinatensystem. Ebenfalls ist es möglich, dass eine Klasse, also eine Art des Verkehrsschilds im Sinne eines Bedeutungsgehalts basierend auf den Sensordaten ermittelt sowie aus den Kartendaten ausgelesen wird. Es wird also ermittelt, ob es sich beispielsweise um ein Stopp-Schild, ein Vorfahrt-gewähren-Schild etc. handelt.
-
Ausgehend von den erkannten sichtbaren Verkehrsschildern und den ausgelesenen vorbekannten Verkehrsschildern wird dann in der Zuordnungseinheit 28 eine Zuordnung vorgenommen und eine Wahrscheinlichkeit für eine zutreffende Zuordnung bestimmt. Hierzu wird also durch einen entsprechenden Zuordnungsalgorithmus eine möglichst passende Abbildung der basierend auf den Sensordaten erkannten Verkehrsschilder zu den basierend auf den Kartendaten ausgelesenen Verkehrsschildern vorgenommen. Insbesondere kann für die Zuordnung auf Positionen der Schilder zurückgegriffen werden. Zudem kann auch die Ausrichtung und/oder die ermittelte Klasse der Verkehrsschilder miteinbezogen werden.
-
Für die Zuordnung kann insbesondere ein Iterative Closest Point-Algorithmus verwendet werden. Um die Güte der Zuordnung, also den Sicherheitsparameter, zu bestimmen, kann beispielsweise ein mittlerer quadratischer Fehler in den jeweiligen Positionen bestimmt werden. Der Sicherheitsparameter gibt dann an, wie zuverlässig die Zuordnung ist. Insbesondere wird über den Sicherheitsparameter ein Maß angegeben, ob die Zuordnung zuverlässig ist oder ob keine Zuordnung vorgenommen werden konnte. Der Sicherheitsparameter wird insbesondere auf einer vordefinierten Skala ermittelt. Beispielsweise kann eine Prozentangabe verwendet werden. Die Skala kann dabei auch einseitig offen sein.
-
Die Ausgabe des Iterative Closest Point-Algorithmus umfasst üblicherweise eine Angabe zu einer translationalen und rotationalen Beziehung zwischen den Sensordaten und den Kartendaten bzw. zwischen den Positionen der erkannten Verkehrsschilder in den Sensordaten und den Positionen der aus den Karten ausgelesenen Verkehrsschilder. Hieraus kann insbesondere eine aktuelle Position des Umgebungssensors bzw. des Fahrzeugs in Bezug auf die Kartendaten abgeleitet werden. Für die Berechnung des Sicherheitsparameters können insbesondere zwei Kriterien zugrunde gelegt werden. Zum einen kann ein Zuordnungsfehler des Iterative Closest Point-Algorithmus zugrunde gelegt werden. Zum anderen kann eine Unsicherheit in der Lokalisierung, beispielsweise in Form einer Kovarianz oder eines anderen Maßes, als Sicherheitsparameter bzw. als Grundlage für die Berechnung des Sicherheitsparameters verwendet werden.
-
In der 3 ist schematisch eine erfindungsgemäße Steuervorrichtung 16 zum Steuern eines autonomen oder teilautonomen Fahrzeugs dargestellt. Die Steuervorrichtung 16 umfasst eine Empfangsschnittstelle 30 sowie eine Vorausplanungseinheit 32. Wie bereits zuvor beschrieben, können die Einheiten und Schnittstellen teilweise oder vollständig in Soft- und/oder in Hardware umgesetzt sein. Die Steuervorrichtung 16 kann mit der Vorrichtung 14 zusammen ausgeführt sein.
-
Über die Empfangsschnittstelle 30 wird der Sicherheitsparameter empfangen. Hierzu kann die Empfangsschnittstelle 30 insbesondere an eine Vorrichtung 14 zum Positionieren von Sensordaten und Kartendaten angebunden sein.
-
In der Vorausplanungseinheit 32 wird ein Verhalten eines autonomen oder teilautonomen Fahrzeugs geplant. Unter einem Planen eines Verhaltens eines autonomen oder teilautonomen Fahrzeugs versteht sich dabei beispielsweise das Festlegen einer kurzfristigen Streckenführung oder auch das Treffen einer Entscheidung hinsichtlich eines Brems-, Beschleunigungs- oder Ausweichvorgangs. Die Vorausplanungseinheit 32 ist dabei dazu ausgebildet, einen Zeithorizont dieser Planung zu verlängern, wenn der Sicherheitsparameter eine hohe Zuverlässigkeit der Zuordnung angibt. Insoweit wird der Vorausplanungshorizont von dem zuvor ermittelten Sicherheitsparameter abhängig gemacht. Je zuverlässiger die Zuordnung zwischen Sensordaten und Kartendaten, desto größer der Zeithorizont der Vorausplanung.
-
Es wird insoweit vorgeschlagen, den Sicherheitsparameter als Grundlage für eine Fusion der Sensordaten mit Kartendaten in weiteren Zeitschritten zu verwenden. Je höher der Sicherheitsparameter, desto mehr kann für die Planung des Verhaltens des autonomen oder teilautonomen Fahrzeugs auf die Kartendaten zurückgegriffen werden. Im Vergleich zu bisherigen Ansätzen des Verwendens von Punktewolkendaten oder semantischen Daten, bei denen ebenfalls ein Iterative Closest Point-Algorithmus für die Lokalisierung und für die Ermittlung einer Sicherheit in der Lokalisierung bzw. in der Zuordnung verwendet wird, wird durch das erfindungsgemäße ausschließliche Verwenden von Verkehrsschildern eine deutlich effizientere Berechenbarkeit ermöglicht. Hierdurch kann beispielsweise eine Echtzeitfähigkeit der Entscheidungsfindung des autonomen oder teilautonomen Fahrzeugs verbessert werden.
-
In den 4 bis 7 ist schematisch der erfindungsgemäße Ansatz des Fusionierens von Sensordaten mit Kartendaten dargestellt. Die linke Seite repräsentiert dabei jeweils die Auswertung/Verarbeitung der Kartendaten. Die rechte Seite bezieht sich auf die Auswertung/Verarbeitung der Sensordaten.
-
In der 4 ist auf der linken Seite schematisch dargestellt, dass sich gemäß Kartendaten im Umfeld des Fahrzeugs 12 zwei Verkehrsschilder 20 (Vorfahrt und Fußgängerüberweg) befinden und diese ausgelesene werden. Auf der rechten Seite ist dargestellt, dass durch die Auswertung der Sensordaten des Umgebungssensors in gleicher Weise die beiden Verkehrsschilder 20 im Umfeld des Fahrzeugs 12 erkannt werden. Nach dem Erkennen bzw. Auslesen der Verkehrsschilder wird in der Zuordnungseinheit 28 eine Zuordnung zwischen den sichtbaren Verkehrsschildern und den vorbekannten Verkehrsschildern vorgenommen. Hierzu kann insbesondere ein Iterative Closest Point-Algorithmus eingesetzt werden, der entsprechende Rotations- und Translationsmatrizen erzeugt. Basierend auf der Zuordnung kann dann ein Sicherheitsparameter ermittelt werden.
-
Dieser Sicherheitsparameter gibt in einem Ausführungsbeispiel explizit eine Wahrscheinlichkeit für eine zutreffende Zuordnung an. Bei hoher Wahrscheinlichkeit einer zutreffenden Zuordnung kann ein Steuersystem eines autonomen oder teilautonomen Fahrzeugs die Kartendaten für eine Planung eines Verhaltens des autonomen oder teilautonomen Fahrzeugs verwenden. Beispielsweise kann der Sicherheitsparameter binär eine Information für eine zutreffende/nichtzutreffende Zuordnung angeben.
-
In der 5 ist schematisch eine Verkehrssituation dargestellt. Auf der linken Seite (oben) sind ein Fahrzeug 12 und die aus Kartendaten auslesbaren Verkehrsschilder 20 im Umfeld des Fahrzeugs dargestellt. Rechts (oben) ist die Wahrnehmung der Umgebungssensorik des Fahrzeugs 12 innerhalb des Sichtfelds 34 des Umgebungssensors dargestellt. Unten ist dann dargestellt, dass sich das Fahrzeug 12 eindeutig an Position 1 befindet, da eine vollständige Übereinstimmung zwischen den basierend auf den Sensordaten erkannten Verkehrsschildern 20 und den aus den Kartendaten ausgelesenen Verkehrsschildern 20 vorliegt. Der Sicherheitsparameter zeigt also eine hohe Wahrscheinlichkeit für eine zutreffende Zuordnung an.
-
In der 6 ist schematisch ein Fall dargestellt, bei dem, wie rechts in der 6 angedeutet, vom Umgebungssensor am Fahrzeug 12 innerhalb des Sichtfelds 34 des Umgebungssensors lediglich drei Verkehrsschilder 20 erkannt werden. Auf der linken Seite sind die entsprechenden Kartendaten derselben Umgebung dargestellt, nach denen insgesamt sechs Verkehrsschilder 20 vorhanden sein müssten. Da basierend auf Ausrichtung, Position und Klasse der Verkehrsschilder dennoch eine zutreffende Zuordnung vorgenommen werden kann, wird im Ergebnis erneut die Position 1 als Position des Fahrzeugs festgestellt. Auch hier zeigt der Sicherheitsparameter eine hohe Wahrscheinlichkeit für eine zutreffende Zuordnung an.
-
In der 7 ist eine Situation dargestellt, in der lediglich ein einzelnes Verkehrsschild 20 durch die Umgebungssensorik am Fahrzeug 12 im Sichtfeld 34 des Umgebungssensors erkannt wird. Der Abgleich mit den auf der linken Seite dargestellten Kartendaten, in denen sechs Verkehrsschilder 20 im entsprechenden Bereich enthalten sind, ergibt dann eine Uneindeutigkeit zwischen den Positionen 1, 2 und 3. An allen drei Positionen gibt es jeweils ein rundes Verkehrsschild 20 rechts vor dem Fahrzeug 12. Insoweit kann keine zuverlässige zutreffende Zuordnung vorgenommen werden. Der Sicherheitsparameter gibt eine geringe Wahrscheinlichkeit einer zutreffenden Zuordnung an.
-
In der 8 ist schematisch ein erfindungsgemäßes Verfahren zum Fusionieren von Sensordaten mit Kartendaten dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Sensordaten und von Kartendaten, des Erkennens S12 von sichtbaren Verkehrsschildern, des Auslesens S14 von vorbekannten Verkehrsschildern, des Zuordnens S16 der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern und des Ermittelns S18 eines Sicherheitsparameters. Das Verfahren kann insbesondere in Form einer Software implementiert sein, die auf einem Prozessor eines Fahrzeugs bzw. eines Fahrzeugsteuergeräts ausgeführt wird. Es versteht sich, dass das Fahrzeug auch als Smartphone-App implementiert sein kann.
-
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
-
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
-
Bezugszeichenliste
-
- 10
- System
- 12
- Fahrzeug
- 14
- Vorrichtung
- 16
- Steuervorrichtung
- 18
- Umgebungssensor
- 20
- Verkehrsschild
- 22
- Zentralserver
- 24
- Eingangsschnittstelle
- 26
- Auswerteeinheit
- 28
- Zuordnungseinheit
- 30
- Empfangsschnittstelle
- 32
- Vorausplanungseinheit
- 34
- Sichtfeld
