-
Die Erfindung betrifft ein Verfahren zum Fusionieren von Daten auf hoher Fusionsebene für ein Straßenmodell. Die Erfindung bezieht sich auch auf eine Vorrichtung zur Durchführung des Verfahrens.
-
Ein Straßenmodell repräsentiert einen Teil der Fahrumgebung eines Fahrzeugs und ist für Fahrerassistenzsysteme (ADAS Advanced Driver Assistance Systems) und automatisierte Fahrzeuge vorgesehen. Ein Fahrerassistenzsystem unterstützt den Fahrer und/oder ein autonomes Fahrzeug. Es umfasst unterschiedliche Sensoren und Datenquellen, wie z.B. Kameras, Abstandsensoren, digitale Karten, GPS, u.a. Ein robustes und konsistentes Straßenmodell ist somit von besonderer Bedeutung für Fahrerassistenzsysteme und automatisierte Fahrfunktionen.
-
Bisher zielt die Mehrheit an Arbeiten in dem Bereich von Umgebungsrepräsentationen für intelligente Fahrzeuge auf Fusionsaufgaben niedriger Fusionsebene (Low-level fusion), welche die individuelle Erfassung, Verfolgung und Kartierung von a) statischen Hindernissen, b) Freiräumen, c) Verkehrsteilnehmern, d) Verkehrsregelelementen, wie z.B. Verkehrszeichen, oder e) den Straßenverlauf umfassen.
-
Im Gegensatz dazu steht eine Datenfusion auf hoher Fusionsebene (High-Level Fusion), bei welcher es sich darum handelt, diese individuellen Elemente in Beziehung zueinander zu setzen. In diesem Zusammenhang zielen die meisten Arbeiten auf dynamische Verkehrsteilnehmer, wohingegen die Aufgabe eines automatischen Verstehens der statischen Verkehrssituation, z.B. eine abrufbereite Inferenz von derzeitig gültigen fahrspurspezifischen Verkehrsregeln, eher in der Literatur unterrepräsentiert ist.
-
Einige Dokumente aus der Literatur, welche verschiedene Themen hierzu illustrieren, sind im Folgenden beispielhaft genannt.
-
M. Schreier, V. Willert, and J. Adamy, „Compact Representation of Dynamic Driving Environments for ADAS by Parametric Free Space and Dynamic Object Maps," IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 2, pp. 367-384, Feb. 2016 Hierin werden niedriggradige Fusionsaufgaben beschrieben.
-
A. N. Steinberg and C. L. Bowman, „Revisions to the JDL Data Fusion Model," in Handbook of Multisensor Data Fusion, D. L. Hall and J. Llinas, Eds. Boca Raton, FL. USA: CRC Press, 2001, ch. 2 Dies betrifft Kategorisierung von Datenfusionsmodellen.
-
Dynamische Verkehrsteilnehmer werden behandelt in M. Schreier, V. Willert, and J. Adamy, „An Integrated Approach to Maneuver-Based Trajectory Prediction and Criticality Assessment in Arbitrary Road Environments,“ IEEE Transactions on Intelligent Transportation Systems, vol. PP, no. 99, pp. 1-16, Feb. 2016
-
P. Bender, J. Ziegler, and C. Stiller, „Lanelets: Efficient Map Representation for Autonomous Driving," in Proc. of the IEEE Transactions on Intelligent Vehicles Symposium, Dearborn, MI. USA, Jun. 2014, pp. 420-425 Kartenrepräsentationen werden hierin beschrieben.
-
Straßenlayouts illustrieren
K. Homeier, and L. Wolf, „Road Graph: High Level Sensor Data Fusion between Objects and Street Network," in Proc. of the IEEE International Conference on Intelligent Trasportation Systems, Washington, DC. USA, Oct. 2011, pp. 1380-1385 und
S. Ulbrich, T. Nothdurft, M. Maurer, and P. Hecker, „Graph-Based Context Representation, Environment Modeling and Information Aggregation for Automated Driving," in Proc. of the IEEE Transactions on Intelligent Vehicles Symposium, Dearborn, MI. USA, Jun. 2014, pp. 541-547
-
Es wird als nachteilig angesehen, dass es nur wenige Ausnahmen als Lösungsvorschläge für sehr spezielle Aufgaben wie z.B. Geschwindigkeitsbegrenzungsfusion gibt.
-
Die Aufgabe der Erfindung besteht darin, ein verbessertes Verfahren zum Fusionieren von Daten für ein Straßenmodell zu schaffen.
-
Eine weitere Aufgabe ist es, eine Vorrichtung für ein solches Verfahren bereitzustellen.
-
Die Aufgabe wird durch den Gegenstand des Anspruchs 1 gelöst.
-
Die weitere Aufgabe wird durch den Gegenstand des Anspruchs 18 gelöst.
-
Ein erfindungsgemäßes Verfahren zum Fusionieren von Daten für ein Straßenmodell umfasst die Verfahrensschritte i Bereitstellen von sensorbasierten Daten, welche regelnde Verkehrselemente und Straßendaten umfassen, und kartenbasierten Daten, welche Fahrspurdaten und Daten eines kartenbasierten Straßenmodells umfassen; ii Fusionieren der sensorbasierten Daten mit wissensbasierten Daten, welche Daten über Verkehrsregeln aufweisen, und Erstellen eines sensorbasierten Straßenmodells; iii Fusionieren der kartenbasierten Daten mit dem sensorbasierten Straßenmodell und mit weiteren wissensbasierten Daten, welche aus sensorbasiertem oder/und kartenbasiertem Situationswissen stammen; und iv Erzeugen eines Straßenmodells.
-
Mit dem Verfahren ist es besonders vorteilhaft möglich, Verkehrsregelelemente, die über bordeigenen Sensoren eines Fahrzeugs erfasst werden, z.B. Verkehrszeichen, mit Fahrspurgeometrien und digitale Kartendaten zu kombinieren. Daraus ergibt sich der Vorteil einer robusten Inferenz von fahrspurspezifischen Verkehrsregeln (z.B. Geschwindigkeitsbeschränkungen, Überholverbote...).
-
Ein weiterer Vorteil ist es, dass eine konsistente Repräsentation der Straße zusammen mit Fahrspurattributen gemäß Verkehrsregeln ein so genanntes Straßenmodell erlangt werden kann. Dieses Straßenmodell kann als eine Grundlage für Verhaltensplanung, Fahrabsichtseinschätzung, Situationsvorhersage usw. dienen. Es bildet somit ein vorteilhaftes Rückgrat des Fahrzeugumgebungsmodells für zukünftige ADAS und automatisierte Fahrfunktionen.
-
Das Verfahren berücksichtigt besonders vorteilhaft, wie verschiedene Unsicherheitsquellen, die den Eingabedaten anhaften, (Positions-, Existenz, und Attributunsicherheiten) angemessen in dem Fusionsprozess behandelt werden.
-
In dem Verfahren ist es außerdem vorteilhaft möglich, unvollständige, unsichere und inkonsistente Datenquellen mit a) Raum-, b) Vorhandenseins- und c) Attribut-Unsicherheiten mit besonders angemessen zu berücksichtigen.
-
Eine erfindungsgemäße Vorrichtung zur Durchführung des oben beschriebenen Verfahrens zum Fusionieren von Daten für ein Straßenmodell nach einem der vorhergehenden Ansprüche, aufweisend einen ersten Pfadblock und einen zweiten Pfadblock, wobei der erste Pfadblock zur Erstellung eines sensorbasierten Straßenmodells mit einem Verarbeitungsblock für Attributfusion und Inferenzprozess ausgebildet ist, und wobei der zweiten Pfadblock zur Erstellung eines hochgradigen Straßenmodells mit einem Verarbeitungsblock für Attributfusion und Inferenzprozess ausgebildet ist.
-
In einer Ausführung wird in dem Verfahrensschritt Fusionieren der sensorbasierten Daten und in dem Verfahrensschritt Fusionieren der kartenbasierten Daten jeweils eine Attributfusion und ein Inferenzprozess durchgeführt. Diese Attributfusionen und die Inferenzprozesse können in einer weiteren Ausführung jeweils auf einem Dempster-Shafer-Verfahren oder auf Bayes-Netzen, auf Markov-Feldern oder logischen Markov-Netzwerken basieren. Eine Kombination ist natürlich auch denkbar.
-
Hieraus ergeben sich mehrere Vorteile. Einerseits können Verkehrszeichen und verborgene Zustandsbereiche von nicht beobachteten Fahrspuren unter Berücksichtigung von Verkehrsregeldaten und Attributunsicherheiten fusioniert werden. In einem ersten Attributsfusions- und Inferenzprozess ist es möglich, individuelle falsche Klassifizierungen (z.B. falsche Zeichenerfassungen), die mit der gesamten Fahrumgebungssituation inkompatibel sind, zu eliminieren. Andererseits wird durch die zweite Attributfusion und den zweiten Inferenzprozess eine Fusion ohne jegliche Zwischengrenz-/schwellenwerte erzielt.
-
So wird das Dempster-Shafer-Verfahren (oder adäquate Verfahren) nicht nur zum simultanen Fusionieren von erfassten Verkehrszeichen basierend auf einer Übertragung von Vertrauenswahrscheinlichkeiten auf benachbarte Fahrspuren (benachbart zu einer Ego-Fahrspur) zur Verbesserung bzw. Aufhebung von falschen Zeichenklassifikationen benutzt, sondern auch für verkehrssituationsabhängige fahrspurspezifische Fusionen von digitalen Kartenattributen mit sensorbasierten Attributen.
-
Eine weitere Ausführung sieht vor, dass in dem Verfahrensschritt Fusionieren der basierten Daten probabilistische Aussagen über Positionsbeziehungen zwischen regelnden Verkehrselementen und Fahrspuren festgelegt werden. So können weitere Informationen über die Fahrzeugumgebung vorteilhaft einfach eingebunden werden.
-
Dazu ist es möglich, dass in dem Verfahrensschritt Fusionieren der sensorbasierten Daten als Ausgabe eine Wahrscheinlichkeitsverteilung über die Positionsbeziehungen erfolgt. Dies ist einfache zu realisieren. So kann in einer weiteren Ausbildung die Wahrscheinlichkeitsverteilung über die Positionsbeziehungen anhand von Monte Carlo Simulationen erstellt werden. Dieses Verfahren ist ein bewährtes Instrument für diese Aufgaben.
-
Für eine vorteilhafte Einbeziehung von Unsicherheiten können in einer anderen Ausführung anfänglich Positions- und Existenzunsicherheiten von sowohl Fahrstreifen als auch Verkehrszeichen berücksichtigt werden.
-
Es ist weiterhin vorteilhaft, dass in dem Verfahrensschritt Fusionieren der sensorbasierten Daten die wissensbasierten Daten Verkehrsregelwissen aufweisen, wobei mittels Bayes-Netzen eine Zuordnung von Verkehrsregelelementen zu Fahrspuren erfolgt, da diese Bayes-Netze einfach zu implementieren sind und eine Erweiterungsfähigkeit aufgrund der grafischen Modellstruktur möglich ist. Auf diese Weise können logischen Fahrspurzuordnungen von Verkehrselementen unter Integration von Verkehrsregelwissen und Evidenzen von so genannten „soft“ Positionsbeziehungen einbezogen werden.
-
Ein weiterer besonderer Vorteil besteht in einer weiteren Ausführung darin, dass beobachtbare Knoten, welche zuvor abgeschätzte Positionsbeziehungen aufweisen, und verborgenen logische Fahrspurzuordnungs-(LLA)-Knoten, deren Zustände einbezogen werden, verwendet werden, wobei Verbindungen zwischen diesen Knoten mit Hilfe von Verkehrsregelwissen aufgestellt werden. So können die zugehörigen wissensbasierten Daten auf einfache Weise einbezogen werden.
-
In einer noch weiteren Ausführung erfolgt in dem Verfahrensschritt Fusionieren der kartenbasierten Daten eine Attributzuordnung mit dem sensorbasierten Straßenmodell. Auf diese Weise können vorteilhaft genauere und präzisere Grundlagen für das Straßenmodell erzeugt werden.
-
Es ist weiterhin besonders vorteilhaft, wenn in dem Verfahrensschritt Fusionieren der kartenbasierten Daten eine Attributfusion und ein Inferenzprozess erfolgen, wobei Daten, welche aus sensorbasiertem oder/und kartenbasiertem Situationswissen stammen, miteinbezogen werden, um eine vorteilhafte, situationsabhängige Fusion auszuführen.
-
In einer noch weiteren Ausführung ist es vorgesehen, dass die/der jeweilige Attributfusion und Inferenzprozess folgende Teilschritte aufweist T1 Bilden von sensorbasierten Vertrauens-Zuordnungen aus wissensabhängigen sensorbasierten Daten, und Bilden von kartenbasierten Vertrauens-Zuordnungen aus wissensabhängigen kartenbasierten Daten, T2 Fusionieren dieser Vertrauens-Zuordnungen mit reduzierten Vertrauenswahrscheinlichkeiten (Discounted Belief Masses) aus einem Wissensspeicher in einem fahrspurspezifischen Vertrauensfunktionsschritt, und, T3 Erzeugen einer fahrspurspezifischen Vertrauensfunktion anhand der fusionierten Daten.
-
Auf diese Weise kann vorteilhaft eine Übertragung von Vertrauenswahrscheinlichkeiten auf benachbarte Fahrspuren erfolgen. Das Übertragen der Vertrauenswahrscheinlichkeiten (Belief Massen) ist bereits sensorbasiert möglich, wobei eine digitale Karte hierfür nicht benötigt wird.
-
In einer noch weiteren Ausführung können die reduzierten Vertrauenswahrscheinlichkeiten (Discounted Belief Masses) rekursiv über der Zeit aktualisiert werden. So ist es vorteilhaft möglich, dieses Wissen in dem Wissensspeicher rekursiv über der Zeit zu aktualisieren.
-
Weiterhin ist es vorgesehen, dass die fahrspurspezifische Vertrauensfunktion als Unterstützungs- und Plausibilitätsfunktion oder/und als Wahrscheinlichkeitsfunktionen nach einem pignistischen Transformationsschritt erzeugt wird.
-
Damit können vorteilhaft einfacher nutzbare Aussagen für die weiteren Verarbeitungsschritte getroffen werden.
-
In einer anderen Ausführung kann ein Konfliktindikator, welcher Plausibilitätsprüfungen zwischen digitalen Karteninhalten und Sensordaten gefolgerten Attributen ermöglicht, bereitgestellt werden. Dies ergibt den Vorteil einer einfachen Plausibilitätsprüfung.
-
Eine noch andere Ausführung sieht vor, dass die Fusionsprozesse jeweils mit einer zusätzlichen zeitlichen Fusionserweiterung durchgeführt werden. Die Vorteile hierbei sind a) kurze Zeichenerfassungen können als FP (False Positive) keinen sofortigen negativen Effekt auf das Fusionsergebnis haben, b) bei Verkehrszeichenbrücken mit Geschwindigkeitsbegrenzungszeichen kann der letzte abschließende Verkehrszeichensatz die Fusion und das Schlussfolgerungsergebnis nicht dominieren, und c) Erfassungen von Geschwindigkeitsbegrenzungen, die vollkommen inkompatibel mit der Situation sind (z.B. eine Erfassung eines Zeichens mit einer Geschwindigkeitsbegrenzung von 30 km/h auf einer Autobahn), können fälschlicherweise das korrekte vorherige Resultat einer Geschwindigkeitsbegrenzung mit einer gleichförmigen Verteilung über situationskompatible Geschwindigkeitsbegrenzungen in dem Fusionsprozess nach der pignistischen Transformation nicht überschreiben.
-
Einige Hauptvorteil sind:
- • eine nahtlose Integration von zahlreichen Datenquellen ohne Verwendung von Schwellwerten,
- • Berücksichtigung unterschiedlicher Arten von Unsicherheiten,
- • Erweiterungsfähigkeit aufgrund der grafischen Modellstruktur über Bayes-Netze,
- • Anwendung von Verkehrsregelwissen für auf Bayes-Netzen basierende logische Fahrspurzuordnung von Verkehrselementen,
- • Einbeziehung von unsicherem Situationswissen in eine auf Dempster-Shafer basierende Attributfusion,
- • Überprüfungen zwischen digitalem Karteninhalt und sensorbasierten Attributen.
-
Das Verfahren wird vollständig in der Vorrichtung zur Durchführung des Verfahrens verwendet. Damit deutlich wird, dass das Verfahren allgemeiner ist und nur exemplarisch für Geschwindigkeitsfusionen gezeigt wird, ist es in einem Testfahrzeug für die exemplarische Aufgabe von mehrspuriger Geschwindigkeitsbegrenzungs-Inferenz integriert und unterscheidet sich vorteilhaft vom Stand der Technik durch folgende Punkte, da es
- • fahrspurspezifische Geschwindigkeitsbegrenzungs-Daten in Form von Vertrauenswahrscheinlichkeitsfunktionen oder pignistischen Wahrscheinlichkeiten liefert,
- • eine Korrektur von fehlerhaften Verkehrszeichenklassifikationen dank einer neuen Vertrauenswahrscheinlichkeitsübertragung auf alle benachbarten Fahrstreifen erlaubt,
- • Schlussfolgerung über nicht direkt beobachtbare Geschwindigkeitsbegrenzungen ermöglicht, und
- • unsicheres Situationskontextwissen in Betracht zieht.
-
Es konnte gezeigt werden, dass zahlreiche schwierige Situationen, die von Lösungen des Stands der Technik nicht behandelt werden können, mittels des erfindungsgemäßen Verfahrens bewältigt werden können.
-
Die Erfindung wird im Zusammenhang mit den Figuren weiter anhand von Ausführungsbeispielen beschrieben. Hierbei zeigt:
- 1 ein beispielhaftes Fahrszenario eines Ego-Fahrzeugs auf einer mehrspurigen Straße;
- 2 ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
- 3 eine schematische Blockstruktur eines Ausführungsbeispiels einer Vorrichtung zur Durchführung des Verfahrens nach 2;
- 3a eine schematische Darstellung eines Bayes-Netzes;
- 4-5 schematische Darstellungen von beispielhaften Fahrszenarien mit logischen Fahrstreifenzuordnungen;
- 6 eine schematische Blockansicht eines Ausführungsbeispiels eines Verarbeitungsblocks der Vorrichtung nach 3;
- 6a eine schematische, beispielhafte Darstellung von sensorbasierten BBA für unsichere Zeichenerfassung mit unsicherer Zeichenposition;
- 7-8 schematische Darstellungen weiterer beispielhafter Fahrszenarien; und
- 9 eine schematische Darstellung einer Einbeziehung von auf Situationswissen basierenden Wahrscheinlichkeiten in das erfindungsgemäße Verfahren.
-
In der 1 sind Positions-, Existenz- und Attributunsicherheiten in einem beispielhaften Fahrszenario eines Ego-Fahrzeugs 1 auf einer mehrspurigen Straße 2 dargestellt.
-
Das Ego-Fahrzeug 1 ist mit einem so genannten ADAS (Advanced Driver Assistance Systems) ausgerüstet. Es kann auch ein autonomes Ego-Fahrzeug 1 sein.
-
Die mehrspurige Straße 2 weist hier drei Fahrspuren 2a, 2b und 2c auf, von denen die Fahrspur 2b, auf welcher das Ego-Fahrzeug 1 gerade fährt, auch als Ego-Fahrspur bezeichnet wird. Die äußeren Fahrspuren 2a und 2c sind jeweils durch einen Fahrbahnrand 2e nach außen begrenzt, wobei die Fahrspuren 2a, 2b und 2c untereinander durch Fahrspurmarkierungen 2f festgelegt sind.
-
Räumliche Positionen von sowohl Zeichen als auch Fahrspuren 2a, 2b, 2c können als unsichere Informationen erfasst werden. „False Negative“ (FN) und „False Positive“ (FP) Zeichen und Fahrspuren rufen zusätzlich. Existenzunsicherheiten hervor. Zusätzliche Attributunsicherheiten ergeben sich aus Klassifizierern von Verkehrszeichen 4, 4a, 4b, die Unsicherheiten über die korrekte Geschwindigkeitsbegrenzungszeichen in diesem Beispiel aufkommen lassen.
-
Mit dem Buchstaben „x“ sind Positionen angedeutet, an welchen Zeichen mit Informationen vorhanden sind. An der ersten Position x von links in 1 gesehen, ist ein ortsfestes Verkehrszeichen 4b vorhanden, welches durch einen Gegenstand 3, hier Zweige eines Baumes, zum größten Teil verdeckt ist. Hier wird ein Zeichen nicht erkannt. Es handelt sich daher um ein „False Negative“ (FN) Zeichen.
-
An der nächsten Position x befindet sich an dem rechten Rand der Straße 2 ein ortsfestes Verkehrszeichen 4 mit entsprechender Geschwindigkeitsbeschränkung, wobei eine Attributunsicherheit darüber besteht, ob es sich um ein 60 km/h, 80 km/h, oder 100 km/h Zeichen handelt.
-
Auf der mittleren Fahrspur 2b fährt ein Fahrzeug 5a, das hier ein LKW mit Geschwindigkeitsaufklebern ist. Diese Aufkleber werden als Verkehrszeichenannahme 5 erfasst. Es handelt sich um Geschwindigkeitsbeschränkungen, aber nicht für die Straße 2, sondern als Information für die nachfolgenden Verkehrsteilnehmer, nämlich dass das Fahrzeug 5a in verschiedenen Bereichen unterschiedliche maximale Geschwindigkeiten aufweisen kann. Diese Verkehrszeichenannahme 5 wird als FP eingestuft, da sie nicht zu einer Verkehrsregel beiträgt.
-
An der weiteren Position x ist eine Verkehrszeichenbrücke über der Straße 2 angeordnet und weist Verkehrszeichen 4a auf.
-
Die Verkehrszeichen 4 und 4a sind Verkehrszeichen, die zu berücksichtigen sind, wohingegen die als Verkehrszeichenannahme 5 erfassten Zeichen nicht für die Straße 2 gelten. Und das verdeckte Verkehrszeichen 4b kann nicht interpretiert werden.
-
Die unterschiedlichen Verläufe der Fahrspuren deuten eine Unsicherheit im Fahrstreifenverlauf an. (Gestrichelt sind mögliche Alternativverläufe, z.B. Samples aus einer geschätzten Verteilungsfunktion dargestellt.)
-
Die oben genannten Zeichen einschließlich der Fahrspurmarkierungen 2f (Fahrspurgeometrie) werden durch Kamerasensoren des Ego-Fahrzeugs 1 erfasst. Weitere Informationen werden über unterschiedliche Fahrzeugsensoren, aus digitalen Karten und für die bestimmte Situation und Position anzuwendenden Verkehrsregeln gewonnen.
-
Hieraus wird ein Straßenmodell der realen Straße 2 erzeugt, welches als Grundlage für eine Planung des Verhaltens, Fahrabsichtseinschätzung, Situationsvorhersage usw. dienen kann. Auf diese Weise bildet das Straßenmodell ein unentbehrliches Rückgrat der Umgebung des Ego-Fahrzeugs 1 für zukünftige ADAS und für autonome Fahrfunktionen.
-
2 stellt ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Fusionieren von Daten für ein Straßenmodell zum Anwenden bei mehrspurigen Geschwindigkeitsbegrenzungs-Inferenzen dar.
-
Dabei wird besonders berücksichtigt, wie verschiedene Unsicherheitsquellen, die in den Eingangsdaten enthalten sind, z.B. die oben angegebenen Positions-, Existenz- und Attributunsicherheiten, in einem Fusionsprozess angemessen behandelt werden.
-
Das Verfahren umfasst zwei Hauptpfade. In einem ersten Pfad werden sensorbasierte Daten fusioniert, wobei in einem zweiten Pfad kartenbasierte Daten fusioniert werden. Dazu weist das Verfahren die folgenden Verfahrensschritte auf.
-
In einem ersten Verfahrensschritt S1 werden Sensordaten und Kartendaten bereitgestellt.
-
In einem zweiten Verfahrensschritt S2 erfolgt eine Fusionierung der Sensordaten mit weiteren Daten und es wird ein sensorbasiertes Straßenmodell erstellt.
-
In einem dritten Verfahrensschritt S3 werden die Kartendaten mit dem so erzeugten sensorbasierten Straßenmodell fusioniert.
-
Schließlich wird in einem vierten Verfahrensschritt S4 ein endgültiges Straßenmodell erzeugt.
-
Das Verfahren wird anhand eines Ausführungsbeispiels einer Vorrichtung 6 näher beschrieben.
-
3 zeigt hierzu eine schematische Blockansicht eines Ausführungsbeispiels der Vorrichtung 6 zur Durchführung des Verfahrens nach 2. In 3a ist eine schematische Darstellung eines Bayes-Netzes 10 gezeigt.
-
Der erste Hauptpfad des Verfahrens wird in einem ersten Pfadblock 7 realisiert. Der erste Pfadblock 7 weist zwei Eingangsblöcke 7a und 7b, drei Verarbeitungsblöcke 7c, 7d, 7e, einen Ausgang 7f und einen weiteren Eingang 9 auf.
-
Der erste Eingangsblock 7a dient zur Eingabe von Daten regelnder Verkehrselemente, z.B. Verkehrszeichen. Über den zweiten Eingangsblock 7b werden Straßendaten, wie z.B. Fahrspuren, Straßengeometrie, eingegeben.
-
Die Eingangsblöcke 7a und 7b sind mit dem ersten Verarbeitungsblock 7c verbunden. In dem ersten Verarbeitungsblock 7c werden probabilistische Aussagen über Positionsbeziehungen zwischen regelnden Verkehrselementen und Fahrspuren 2a, 2b, 2c festgelegt. Diese Positionsbeziehungen können z.B. die Position eines Verkehrszeichens über der Fahrspur, neben der Fahrspur oder an anderer Stelle beinhalten. Dabei werden anfänglich Positions- und Existenzunsicherheiten berücksichtigt. Dieser erste Verarbeitungsblock 7c erzeugt als Ausgabe eine Wahrscheinlichkeitsverteilung über diese Positionsbeziehungen anhand von Monte Carlo Simulationen.
-
Diese Ausgabedaten werden in dem zweiten Verarbeitungsblock 7d logisch Fahrspuren 2a, 2b, 2c zugeordnet, wobei Daten über Verkehrsregeln aus dem Eingang 9 in Betracht gezogen werden. Hierbei ist es u.a. wichtig zu ermitteln, welche Daten für welche Fahrspur 2a, 2b, 2c gelten.
-
Dies kann z.B. über exakte Schlussfolgerung (Inferenz) in einem diskreten Bayes-Netz 10 (3a) erfolgen. Eine Positionsbeziehung 10a mit einer Positionsvariablen R von z.B. Geschwindigkeitsbegrenzungszeichen wird in Fahrspurzuordnungen 10b, 10c, 10d LLA1 , LLA2 , LLLAnL (Logic Lane Assignment) Fahrspuren 2a, 2b, 2c in einem logischen Zusammenhang, der in einer entsprechenden Conditional Probability Tabelle (CPT) ermittelt wird, zugeordnet. So kann eine spätere Verteilung über logische Fahrspurzuordnungen (LLA) erzeugt werden.
-
Eine beispielhafte CPT ist nachfolgend für das Bayes-Netz
10 der
3a dargestellt.
Tabelle 1 CPT
R | Rj, ∀j=i | Rj, ∀j∈{1,...,nL}∧j≠i | RnL-1 | RnL+2 |
LLAi | falsch | 0 | 1 | 0,05 | 0,99 |
wahr | 1 | 0 | 0,95 | 0,01 |
-
Bei dem Bayes-Netz 10 nach 3a für die logische Fahrspurzuordnung (LLA) von Geschwindigkeitsbegrenzungszeichen mit der gegebenen Positionsbeziehungsvariable R mit LLAi=wahr stehend für die Gültigkeit des Zeichens für Fahrspur i.
-
Die CPT sagt aus, dass ein Verkehrszeichen zur Geschwindigkeitsbegrenzung mit Sicherheit für Fahrspur i gültig ist, wenn es über der Fahrspur i angeordnet ist. Es ist mit Sicherheit nicht für Fahrspur i gültig, wenn es über einer anderen Fahrspur j angeordnet ist. Steht das Verkehrszeichen an der Straßenseite ist es fast mit Sicherheit für die Straße bzw. für die Fahrspur gültig, neben der es steht. Ist die Position des Verkehrsschildes an irgendeiner Stelle, so ist es für die Fahrspur i meistens ungültig.
-
Es ist zu beachten, dass logische Fahrspurzuordnungen (LLA), die folgende Zustände aufweisen: „Zeichen ist gültig für Fahrspur 1“,...,"Zeichen ist gültig für Fahrspur n1", „Zeichen ist ungültig“, nicht in einen einzigen Zufallsvariablen-Knoten verkettet werden dürfen. In einem solchen Fall würde dann die wechselseitige Exklusivität dieses Variablenzustands die Zuordnung eines Zeichens zu mehreren Fahrspuren verhindern. Dies ist jedoch häufig das richtige Resultat, z.B. wenn ein Geschwindigkeitsbegrenzungszeichen an der Straßenseite steht und somit für alle Fahrspuren gültig ist.
-
Hierbei ist eine grundlegende Idee, dass beobachtbare Knoten, wie die zuvor abgeschätzten Positionsbeziehungen und verborgenen logische Fahrspurzuordnungs-(LLA)-Knoten, deren Zustände einbezogen werden, verwendet werden. Grafische Verbindungen zwischen diesen Knoten werden mit der Hilfe von Verkehrsregelkenntnissen aufgestellt. Diese Kenntnisse können definiert oder unsicher sein, und sind in beiden Fällen in den Conditional Probability Tabellen (CPT) verschlüsselt, welche die verborgenen Knoten mit den evidenten Knoten verknüpfen.
-
In diesem Prozess werden mehrfache Zuordnungshypothesen erzeugt. Hierzu sind in den 4 und 5 schematische Darstellungen von beispielhaften Fahrszenarien mit logischen Fahrstreifenzuordnungen dargestellt.
-
In 4 und 5 ist jeweils eine Straße 2 mit vier Fahrspuren 2a bis 2d in einer schematischen Draufsicht gezeigt. Das Ego-Fahrzeug 1 befindet sich hier auf der Fahrspur 2b. Die Straße 2 ist von links nach rechts in Spalten A bis E eingeteilt, welche rechtwinklig zur Straße 2 verlaufen und diese in fünf Längenabschnitte einteilen. Die Spalten A bis E sind mit dem Ego-Fahrzeug 1 gekoppelt und bewegen sich mit diesem.
-
Eine Verkehrszeichenbrücke mit Verkehrszeichen 4a, z.B. zur Geschwindigkeitsbegrenzung, ist in 4 in einem größeren Abstand (Spalte D) zu dem Ego-Fahrzeug 1 als in 5 (Spalte B) über der Straße 2 angeordnet.
-
4 und 5 zeigen ein Beispiel einer unsicheren Zuordnung der Verkehrszeichen 4a der Verkehrszeichenbrücke zu den Fahrspuren 2a-2d aufgrund von Zeichen- und Fahrspurunsicherheiten. Die Unsicherheiten lösen sich auf, je weiter sich das Ego-Fahrzeug 1 der Verkehrszeichenbrücke nähert.
-
Die Fahrspuren 2a bis 2d sind im Straßenmodell mit Fahrspurgrenzen 11 festgelegt. Die Fahrspurgrenzen 11 weiten sich im Verlauf der Straße 2 aufgrund von Unsicherheiten auf. Auf den Fahrspuren 2a bis 2d sind Verbindungslinien 12 im Straßenmodell erzeugt. Sie verbinden erfasste Verkehrszeichenpositionen mit der jeweiligen Fahrspur 2a bis 2d. An den rechten Enden der Verbindungslinien 12 sind Unsicherheiten 13 in verschieden großen Ellipsen angegeben. Die Größe einer solchen Ellipse entspricht der jeweiligen Unsicherheit 13.
-
Logische Fahrspurzuordnungen (LLA) späterer Wahrscheinlichkeiten aus Schlussfolgerungen (inferred), welche die Gültigkeit der Verkehrszeichen für eine jeweilige Fahrspur 2a bis 2d darstellen, werden durch die Dicke einer jeweiligen Verbindungslinie 12 repräsentiert.
-
In 4 befindet sich die Verkehrsbrücke in größerer Distanz zu dem Ego-Fahrzeug 1 als in 5, daher gibt es Mehrdeutigkeiten 12a, die durch gestrichelte Linien zwischen den Verbindungslinien 12 dargestellt sind. Diese gestrichelten Linien sind auch mit den Verbindungslinien 12 verbunden.
-
In 5 sind die Mehrdeutigkeiten 12a verschwunden, da die Verkehrsbrücke nur noch in einem kurzen Abstand zu dem Ego-Fahrzeug steht. Ebenfalls sind die Ellipsen als Unsicherheiten 13 reduziert, gleichmäßig und auf die Breite einer jeweiligen Fahrspur 2a bis 2d begrenzt.
-
Nun wird wieder Bezug auf 3 genommen.
-
Der dritte Verarbeitungsblock 7e folgt auf den zweiten Verarbeitungsblock 7d und führt eine Attributfusion und einen Inferenzprozess aus. Dabei werden Verkehrszeichen 4 und verborgene Zustandsbereiche von nicht beobachteten Fahrspuren unter Berücksichtigung von Verkehrsregeldaten und Attributunsicherheiten fusioniert.
-
Die Attributfusion und der Inferenzprozess können beispielsweise mittels eines Dempster-Shafer-Verfahrens (Dempster-Shafer-Approach) durchgeführt werden.
-
Die gesamte sensorbasierte Datenfusion resultiert dann in einem sensorbasierten Straßenmodell mit angehängten Fahrspurattributen, welche in Beziehung zu den zugehörigen geltenden Verkehrsregeln der Fahrspuren 2a, 2b, 2c stehen.
-
Dieses so erzeugte sensorbasierte Straßenmodell am Ausgang 7f des ersten Pfadblocks 7 wird in einem zweiten Pfadblock 8 weiter verarbeitet.
-
Der zweite Hauptpfad des Verfahrens wird in dem zweiten Pfadblock 8 realisiert. Der zweite Pfadblock 8 umfasst zwei Eingangsblöcke 8a und 8b, zwei Verarbeitungsblöcke 8c und 8d, einen Ausgang 8e und einen weiteren Eingang 9a.
-
Mittels des ersten Eingangsblocks 8a erfolgt eine Eingabe von präzisen Fahrspurdaten eines Lokalisationssystems. Der zweite Eingangsblock 8b dient zur Eingabe von Daten eines kartenbasierten Straßenmodells.
-
Die Daten der Eingangsblöcke 8a und 8b werden in dem ersten Verarbeitungsblock 8c in einer Attributzuordnung mit den Ausgangsdaten des Ausgangs 7f des ersten Pfadblocks 7, welche das sensorbasierte Straßenmodell repräsentieren, verknüpft.
-
In dem zweiten Verarbeitungsblock 8d erfolgt eine zweite Attributfusion und ein zweiter Inferenzprozess ähnlich wie im dritten Verarbeitungsblock 7e des ersten Pfadblocks 7. Hierbei kann auch ein Dempster-Shafer-Verfahren (Dempster-Shafer-Approach) eingesetzt werden.
-
Zudem werden über den weiteren Eingang 9a Daten aus Situationswissen (z.B. Kenntnisse der aktuellen Fahrsituation), das sensorbasiert oder kartenbasiert ist, mit berücksichtigt, was unten noch weiter erläutert wird.
-
Diese zweite Attributfusion und der zweite Inferenzprozess ermöglichen es, individuelle falsche Klassifizierungen (z.B. falsche Zeichenerfassungen), die mit der gesamten Fahrumgebungssituation inkompatibel sind, zu eliminieren. Das ist bereits im Rahmen der ersten Attributfusion und Inferenz (rein sensorbasiert) möglich. Gleichzeitig wird eine Fusion ohne jegliche Zwischengrenz-/schwellenwerte erzielt.
-
In 6 ist eine schematische Blockstruktur 14 eines Ausführungsbeispiels eines Verarbeitungsblocks 7e, 8d der Vorrichtung 6 nach 3 dargestellt.
-
In der Beschreibung der Funktion der Blockstruktur 14 wird das Dempster-Shafer-Verfahren nur beispielhaft verwendet. Die Funktion ist aber nicht auf das Dempster-Shafer-Verfahren beschränkt. So können natürlich auch andere Verfahren eingesetzt werden.
-
Sowohl in dem dritten Verarbeitungsblock 7e des ersten Pfadblocks 7 der Vorrichtung 6 als auch in dem zweiten Verarbeitungsblock 8d des zweiten Pfadblocks 8 der Vorrichtung 6 wird jeweils eine Attributfusion und Schlussfolgerung vorgenommen. Diese Verarbeitungsblöcke 7e und 8d können die in 6 gezeigte Blockstruktur aufweisen.
-
Die Blockstruktur 14 umfasst zwei Eingangsblöcke 14a und 14b mit Situationseingängen 15, drei Verarbeitungsblöcke 14c, 14d und 14e, einen Plausibilitätsblock 14f mit einem Funktionsausgang 16, und einen Transformationsblock 14g mit einem Funktionsausgang 16a.
-
Die Situationseingänge 15 sind mit dem gemeinsamen wissensbasierten Eingang 9a aus 3 verknüpft, können aber auch einzelne Eingänge sein.
-
Zunächst werden aus verschiedenen Situationen über die Situationseingänge 15 aus wissensabhängigen sensorbasierten und kartenbasierten Daten grundlegende Vertrauens-Zuordnungen, die in der einschlägigen Literatur als „Basic Belief Assignments“ (BBA) bezeichnet werden, erzeugt. Im Weiteren wird für diese grundlegende Vertrauens-Zuordnungen nur noch die Abkürzung BBA verwendet. Dabei werden die sensorbasierten BBA in dem ersten Eingangsblock 14a und die kartenbasierten BBA in dem zweiten Eingangsblock 14b hier als ein kartenbasiertes Straßenmodell generiert.
-
Die derart erzeugten BBA werden aus dem jeweiligen Eingangsblock 14a, 14b dem ersten Verarbeitungsblock 14c zugeführt, in welchem die BBA in einem fahrspurspezifischen Vertrauensfunktionsschritt zusammen mit reduzierten bzw. außer Acht gelassenen Vertrauenswahrscheinlichkeiten (Discounted Belief Masses) fusioniert. Diese Discounted Belief Masses waren zuvor in einem Dempster-Shafer Wissensspeicher enthalten und werden von dem dritten Verarbeitungsblock 14e in den ersten Verarbeitungsblock 14c zurückgeführt. So ist es auch möglich, dieses Wissen in dem Wissensspeicher rekursiv über der Zeit zu aktualisieren.
-
So wird in dem ersten Verarbeitungsblock 14c eine fahrspurspezifischen Vertrauensfunktions erzeugt. Der Dempster-Shafer-Wissensspeicher ist in dem zweiten Verarbeitungsblock 14d enthalten, in welchem auch eine fahrspurweise Vertrauensfunktion generiert wird.
-
Auf diese Weise kann eine Übertragung von Vertrauenswahrscheinlichkeiten auf benachbarte Fahrspuren erfolgen.
-
Als ein Geschwindigkeitsbegrenzungs-Fusionsoperator ist Dempster's Kombinationsgesetzt geeignet, da Evidenzen von Geschwindigkeitsbegrenzungen ziemlich angemessen als stochastische Einschränkungen induziert über den Wahrnehmungsrahmen interpretiert werden können. Zum Beispiel schränkt eine deutsche Autobahnsituation den Geschwindigkeitsraum auf Geschwindigkeiten von größer oder gleich 60 km/h ein, wobei eine Erfassung von Geschwindigkeitsbegrenzungszeichen Einschränkungen basierend auf den Klassifizierungsausgängen auferlegt.
-
Das Resultat des Fusionsprozesses ist ein Straßenmodell mit fahrspurassoziierten fusionierten Attributen, welches entweder als Unterstützungs- und Plausibilitätsfunktionen in dem Funktionsgeneratorblock 14f oder als Wahrscheinlichkeitsfunktionen nach einem pignistischen Transformationsschritt in dem Transformationsblock 14g erzeugt und an den zugehörigen Funktionsausgängen 16 und 16a repräsentiert sind.
-
Eine zusätzlicher Informationsausgang 16b (gemäß Dokument M. Meuter, C. Nunn, S. M. Görner, S. Müller-Schneiders et al., „A Decision Fusion and Reasoning Module for a Traffic Sign Recognition System" IEEE Transactions on Intelligent Transportation Systems, vol. 12, no. 4, pp. 1126-1134, Dec. 2011), der mit dem ersten Verarbeitungsblock 14c verbunden ist, liefert einen Konfliktindikator, welcher Plausibilitätsprüfungen zwischen dem digitalen Karteninhalt und den aus den Sensordaten gefolgerten Attributen ermöglicht.
-
Im Folgenden wird die Erzeugung von sensorbasierten BBA des Eingangsblocks 14a beschrieben. Für die meisten Verkehrsregelelemente können die BBA einfach erstellt werden, indem der Klassifiziererausgang - z.B. gegeben in der Form der höchstwahrscheinlichen Klasse zusammen mit einer zugehörigen Attributunsicherheit oder einer vollständigen Attribut-Wahrscheinlichkeitsfunktion - mit dem Resultat der auf Bayes-Netz 10 basierenden logischen Fahrspurzuordnung.
-
Wenn z.B. ein Klassifizierer eine Wahrscheinlichkeit von 0,8 dafür ausgibt, dass die Erfassung von einem „Überholverbot-Zeichen stammt, und dass dies Zeichen für eine bestimmte Fahrspur nur mit einer Wahrscheinlichkeit von 0,5 gültig ist, dann kann die zeicheninduzierte BBA für diese Fahrspur eine Vertrauensmasse (Belief Mass) von 0,4 für die Verkehrsregel-Hypothese „Es gilt ein Überholverbot“ und die Belief Mass von 0,6 für die „unbekannte“ Hypothese umfassen.
-
In dem Fall der (deutschen) Geschwindigkeitsbegrenzungen in einem Wahrnehmungsrahmen Ω = {5, 10, 20, 30, ..., 130, unbegrenzt} kann jedoch mehr erfolgen, da Daten über eine Fahrspur indirekt Hinweise über die gültige Geschwindigkeitsgrenze auf angrenzenden Fahrspuren geben, denn - aufgrund von deutschen Verkehrsregeln - ist es nicht erlaubt auf der rechten Fahrspur schneller zu fahren als auf der linken Fahrspur. Diese Kenntnisse können in die sensorbasierten BBA integriert werden, um eine endgültige, kombinierte fahrspurspezifische Vertrauensfunktion für jedes Geschwindigkeitsbegrenzungszeichen S über eine gewichtete Summe von durch Verkehrsregeln induzierte, übertragene anfängliche Vertrauensmassen gemäß
zu erzeugen. Dabei bezieht sich m
j,m(S) auf die übertragene anfängliche Geschwindigkeitsbegrenzungsmasse des Zeichens S auf Fahrspur j bei gegebener Positionsbeziehung m.
-
Mit diesem Ansatz können falsche individuelle Zeichenklassifikationen, welche mit der Gesamtsituation inkompatibel sind, in dem Fusionsschritt korrigiert werden.
-
Dies wird in 6a näher erläutert.
-
6a zeigt eine sensorbasierte BBA für eine beispielhafte, unsichere Erfassung eines Zeichens mit einer Geschwindigkeitsbegrenzung auf 80 km/h mit unsicherer Position über drei Fahrspuren Spur 1, Spur 2 und Spur 3 (a). Die anfängliche Vertrauenswahrscheinlichkeit (Belief Mass m(S1)) stammt von einer 90%igen Zeichenattributssicherheit (b).
-
Die relevanten Positionsbeziehungen R1,..., R4 sind wie folgt:
- R1: Zeichen über Spur 1: p(R1) = 0,05
- R2: Zeichen über Spur 2: p(R2) = 0,25
- R3: Zeichen über Spur 3: p(R3) = 0,3
- R4: Zeichen am Straßenrand: p(R1) = 0,4
-
Die darunter gezeigten Reihen unter Punkt (d) veranschaulichen die gemäß Verkehrsregeln induzierten Übertragungen von Vertrauenswahrscheinlichkeiten für jede Positionsbeziehung.
-
Z.B. bei einer gegebenen Beziehung 1, d.h. das Zeichen ist über Spur 1 angeordnet, ist das Zeichen für diese Spur gültig, und die anfängliche Wahrscheinlichkeit (Masse) kann der Spur 1 zugeordnet werden. Für die weiter links liegenden Spuren 2 und 3 wird die der 80 km/h Hypothese zugeordnete Wahrscheinlichkeit der Aufstellung als schneller oder gleich 80 km/h übertragen. Das bedeutet die Aufstellung {80,...,∞} aufgrund von Verkehrsregelwissen. Diese Wahrscheinlichkeitsübertragung wird für alle Positionsrelationen realisiert, welche schließlich durch die Wahrscheinlichkeiten der Positionsrelationen gewichtet und aufsummiert werden, um eine finale, kombinierte Vertrauenswahrscheinlichkeit für jede Fahrspur wie in der letzten Reihe (e) gezeigt ist. Diese kombinierten Vertrauenswahrscheinlichkeiten sind das Ergebnis des sensorbasierten BBA-Schritts, welche anschließend mit anderen fahrspurspezifischen Vertrauenswahrscheinlichkeiten, z.B. von durch andere Geschwindigkeitsbegrenzungszeichen induzierte Wahrscheinlichkeiten, fusioniert werden. Der gleiche Ablauf wird angewendet, falls die anfänglichen Vertrauenswahrscheinlichkeiten mehrfache zentrale Elemente enthalten.
-
Hierzu zeigen 7 und 8 schematische Darstellungen weiterer beispielhafter Fahrszenarien.
-
7 zeigt eine schematische Draufsicht auf eine Straße 2 mit vier Fahrspuren 2a bis 2d, wobei das Ego-Fahrzeug 1 auf der Ego-Fahrspur 2b fährt. Eine Spalteneinteilung der Straße 2 ähnlich zu 4 und 5 in sechs Spalten A bis F ist eingezeichnet. Eine Verkehrszeichenbrücke mit Verkehrszeichen 4a zur Geschwindigkeitsbegrenzung ist in der Spalte F angeordnet. Das Verkehrszeichen 4a über der äußeren rechten Fahrspur 2a ist von dem Klassifizierer des Ego-Fahrzeugs 1 mit 130 km/h als höchstwahrscheinlichste Klasse anstelle der korrekten 100 km/h der anderen Verkehrszeichen 4a über den anderen Fahrspuren 2b bis 2d aufgrund von Schlechtwetterbedingungen falsch ausgegeben worden. Die falsche Erfassung wird in dem sensorbasierten Datenfusionsprozess ohne digitale Kartenkenntnis korrigiert, da die anderen drei BBA der richtig klassifizierten 100 km/h - Verkehrszeichen auf den linken Fahrspuren 2b bis 2d stochastische Einschränkungen des Geschwindigkeitsbegrenzungsraums der äußeren rechten Fahrspur 2a derart auferlegen, dass der über Dempster's Gesetz gefundene Konsens die richtige Geschwindigkeitsbegrenzung ist.
-
Zusätzlich ist es mit diesem Ansatz auch möglich, verborgene Attributzustandsbereiche von Geschwindigkeitsbegrenzungen abzuleiten. Dies illustriert 8 mit eine schematischen Draufsicht auf ein zweispurige Straße 2 mit Fahrspuren 2a und 2b.
-
Unterhalb der Straße 2 sind zwei Funktionsgraphen 17, 17a gezeigt. Der Funktionsgraph 17 stellt eine Vertrauenswahrscheinlichkeitsfunktion für die Ego-Fahrspur 2a für verschiedene Geschwindigkeitsbegrenzungen dar, wohingegen sich der Funktionsgraph 17a auf die andere Fahrspur 2b bezieht.
-
Das Ego-Fahrzeug 1 fährt auf der Ego-Fahrspur 2a. Eine Verkehrszeichenbrücke mit Verkehrszeichen 4a ist in einem Abstand vor dem Ego-Fahrzeug 1 angeordnet. Auf der linken Fahrspur 2b fährt ein weiteres Fahrzeug 5a (hier ein LKW) und verdeckt die Sicht von dem Ego-Fahrzeug 1 auf das Verkehrszeichen 4a über der linken Fahrspur 2b. Der Klassifizierer des Ego-Fahrzeugs 1 hat das Verkehrszeichen 4a über der rechten Fahrspur 2a richtig mit dem Grenzwert 120 km/h erfasst. Dementsprechend ist die Vertrauenswahrscheinlichkeitsfunktion im Funktionsgraphen 17 mit dem Wert 1 für die Geschwindigkeitsbegrenzung 120 km/h für die Ego-Fahrspur 2a aufgetragen.
-
Diese Erfassung des sichtbaren Verkehrszeichens 4a induziert ein „Vertrauen“ in den Satz der Geschwindigkeitsbegrenzungen {120, 130, ∞} für die andere Fahrspur 2b. Daraus resultiert die Vertrauenswahrscheinlichkeitsfunktion im Funktionsgraphen 17a - nach einer pignistischen Transformation - mit einer gleichmäßigen Verteilung eines Wertes von 1/3 über die Geschwindigkeitsbegrenzungen 120, 130, ∞ für die andere Fahrspur 2b.
-
Es hat sich weiterhin als günstig herausgestellt, nicht nur eine unabhängige Fusion in jedem Zeitschritt durchzuführen, sondern auch eine zusätzliche zeitliche Fusionserweiterung vorzunehmen. Ansonsten
- a) könnten kurze Zeichenerfassungen als FP (False Positive) einen sofortigen negativen Effekt auf das Fusionsergebnis haben,
- b) könnte bei Verkehrszeichenbrücken mit Geschwindigkeitsbegrenzungszeichen der letzte abschließende Verkehrszeichensatz die Fusion und das Schlussfolgerungsergebnis dominieren, und
- c) könnten Erfassungen von Geschwindigkeitsbegrenzungen, die vollkommen inkompatibel mit der Situation sind (z.B. eine Erfassung eines Zeichens mit einer Geschwindigkeitsbegrenzung von 30 km/h auf einer Autobahn), fälschlicherweise das korrekte vorherige Resultat einer Geschwindigkeitsbegrenzung mit einer gleichförmigen Verteilung über situationskompatible Geschwindigkeitsbegrenzungen in dem Fusionsprozess nach der pignistischen Transformation überschreiben.
-
Alle diese unerwünschten Aspekte werden durch die zeitliche Erweiterung verhindert.
-
Das zeitliche Attribut-Filtern wird durch ein „Vorhersagen“ der fahrspurspezifischen Vertrauenswahrscheinlichkeit über ein Reduzieren bzw. außer Acht lassen von Wahrscheinlichkeiten (Mass Discounting gemäß Dokument D. Nienhüser, T. Gumpp, J. M. Zöllner, „A Situation Context Aware Dempster-Shafer Fusion on Digital Maps and a Road Sign Recognition System,“ in Proc. of the IEEE Intelligent Vehicles Symposium, 2009, pp. 1401-1406) realisiert (siehe 6). In diesem Dokument „Mass Discounting wird keine zeitliche Filterung angegeben. Das zeitliche Attribut-Filtern ist daher ein wesentlicher Unterschied zu bestehenden Verfahren. Damit wird der Fall modelliert bzw. abgebildet, dass ein Geschwindigkeitsattribut aus einer Schlussfolgerung immer weniger vertrauenswürdig wird, je länger die letzte Aktualisierung vergangen ist und mehr Vertrauenswahrscheinlichkeit auf den unbekannten Datensatz übertragen wird.
-
Es ist zusätzlich bekannt, welches Verkehrszeichen hinter welchem anderen Verkehrszeichen wahrscheinlicher „auftaucht“. Dieses Wissen kann zusätzlich in einem mehr spezifischen und weniger konservativen Wahrscheinlichkeitsvorhersage-Schritt integriert werden. Zum Beispiel folgt einem Geschwindigkeitsbegrenzungschild auf 100 km/h wahrscheinlicher ein Geschwindigkeitsbegrenzungschild auf 80 km/h als direkt ein Geschwindigkeitsbegrenzungschild auf 60 km/h.
-
Die Einschränkungen auf die Geschwindigkeitsbegrenzungen werden auf die oben beschriebene Weise im Laufe der Zeit oder alternativ im Laufe einer zurückgelegten Strecke gelockert. Die vorhergesagten Wahrscheinlichkeiten werden dann über neue Evidenzen von Geschwindigkeitsbegrenzungen aktualisiert, welche den Fusionsprozess auslösen und konsequenterweise die Einschränkungen auf den Geschwindigkeitsbegrenzungsraum wieder verengen. Die Vorhersage- und Aktualisierungsschritte sind in diesem Sinne ähnlich zu allgemeinen Bayes-Filtern, wie beispielsweise Kalman-Filtern.
-
Obwohl vieles allein durch die sensorbasierte Datenfusion wie zuletzt oben beschrieben erlangt werden kann, ist eine digitale Karte (Straßenkarte) notwendig, um implizite Geschwindigkeitsbegrenzungen (Innenstadt, Autobahn, usw.) zu berücksichtigen. Sie kann das System in Bezug auf falsche Klassifikationen oder falsche logische Fahrspurzuordnungen robuster machen. Die Datenfusion des kartenbasierten Straßenmodells umfasst die Attributzuordnung des ersten Verarbeitungsblocks 8c des zweiten Pfadblocks 8 (siehe 3) und eine Attributfusion und einen Inferenzschritt in dem zweiten Verarbeitungsblocks 8d des zweiten Pfadblocks 8. Dies wird nun näher erläutert.
-
In dem ersten Verarbeitungsblock 8c werden in einem Attributzuordnungsschritt Fahrspurattribute, die unverfälscht aus der vorhandenen sensorbasierten Datenfusion abgeleitet wurden, mit Attributen der digitalen Karte verknüpft. Eine solche Zuordnung wird durch Unsicherheiten des Lokalisationssystems und der Geschwindigkeitsbegrenzungspositionen beeinflusst, und es ist sorgfältig darauf zu achten, dass keine „selbsterfüllenden Prophezeiungen“ erzeugt werden, um spätere Plausibilitätsüberprüfungen zuzulassen. Daher dürfen Attributwerte nicht innerhalb des Zuordnungsprozesses verwendet werden, da sonst keine Informationskonflikte ermittelbar sind, wenn nur kompatible Attribute (wie z.B. die gleichen Geschwindigkeitsbegrenzungen) einander zugeordnet sind. Aus diesem Grund basiert die Zuordnung unverfälscht auf einem Schwellwert in der Längendistanz längs des Straßenverlaufs zwischen Geschwindigkeitsbegrenzungszeichen und kartenorientierten Geschwindigkeitsbegrenzungen für jede Fahrspur. Eine fahrspurexakte Lokalisation ist somit unerlässlich für eine korrekte Zuordnung.
-
Wenn der zugrundeliegende Filter eine Mehrfachfahrspur-Hypothese ausgibt, wie beispielsweise bei Partikelfiltern der Fall, dann können diese Daten ebenso in den oben beschriebenen Ansatz zum Behandeln von Zeichenpositionsunsicherheiten durch Bilden einer kombinierten kartenbasierten BBA integriert werden, indem die fahrspurspezifischen Kartenattribute mit den fahrspurspezifischen Lokalisationsunsicherheiten gewichtet werden.
-
In dem zweiten Verarbeitungsblock 8d wird die Karte selbst als eine zusätzliche Evidenzquelle behandelt, von welcher kartenbasierte BBA für die Dempster-Shafer-Fusion erstellt werden (siehe 6). Im Idealfall enthält die Karte schon Daten zur Attributunsicherheit, was jedoch derzeit üblicherweise nicht der Fall ist. Deshalb werden für die Demonstration der Geschwindigkeitsbegrenzungsfusion kartenbasierte BBA mit einer vorher festgelegten festen oder alternativ vom Alter der Karte abhängigen Attributverlässlichkeit erstellt. Zusätzlich werden kartensituationsbezogene BBA mit fokalen Elementen {60, 70,...,∞} für Autobahnszenarien und {5, 10,...,50} für Innenstadtszenarien gebildet, welche als zusätzliche Evidenzen, die aus der Karte extrahiert sind, behandelt werden. Da Karten-Evidenzen weniger verlässlich sind als Sensor-Evidenzen in Baustellen oder im Falle von veränderlichen Mitteilungszeichen, werden kartenbasierte Geschwindigkeitsbegrenzungen zusätzlich in Abhängigkeit von solchem „Situation-Wissen“ angepasst.
-
Diese Anpassung wird über ein Reduzieren bzw. außer Acht lassen von der kartenbasierten Geschwindigkeitsbegrenzungs-BBA vor der Fusion (Mass Discounting gemäß Dokument D. Nienhüser, T. Gumpp, J. M. Zöllner, „A Situation Context Aware Dempster-Shafer Fusion on Digital Maps and a Road Sign Recognition System," in Proc. of the IEEE Intelligent Vehicles Symposium, 2009, pp. 1401-1406) unter Berücksichtigung von Situationsunsicherheiten realisiert.
-
Dieser Ansatz führt zu exakteren Fusionsresultaten und löst ungerechtfertigte Fusionskonflikte, wie im Zusammenhang mit 9 gezeigt ist.
-
9 ist eine schematische Darstellung einer Einbeziehung von auf Situationswissen basierenden Wahrscheinlichkeiten in das erfindungsgemäße Verfahren.
-
Ein Abzugsblock 18a (Mass Discount) für Reduzierung von Wahrscheinlichkeiten weist einen Eingang für eine wissensbasierte Eingangsgröße 18 und einen weiteren Eingang 19 auf. Darauf folgt ein Funktionsausgang 18b mit einer bestimmten Wahrscheinlichkeit m, die in einen Verarbeitungsblock 22 eingespeist wird.
-
Eine kartenbasierte Wahrscheinlichkeit m als erste Eingangsgröße 20 weist eine Verbindung 20a auf, die entweder wie gezeigt mit dem Verarbeitungsblock 22 oder mit dem Eingang 19 (nicht gezeigt, aber leicht vorstellbar) verbunden sein kann. Eine zweite Eingangsgröße 21 wird als sensorbasierte Wahrscheinlichkeit m über eine Verbindung 21a dem Verarbeitungsblock 22 zugeleitet.
-
Der Verarbeitungsblock 22 führt eine Fusion von Vertrauenswahrscheinlichkeiten durch und gibt eine erste Wahrscheinlichkeit in einem ersten Ausgangsblock 23 und eine zweite Wahrscheinlichkeit in einem zweiten Ausgangsblock 24 aus.
-
Die Wahrscheinlichkeiten m sind in den Blöcken 18b, 20, 21, 23, 24 über Geschwindigkeitsbegrenzungen aufgetragen. Dabei symbolisiert das Zeichen Ω totales Unwissen über die erlaubte Höchstgeschwindigkeit.
-
Hierbei ist ein auf einem Bayes-Netz 10 basierender Baustellen-Detektor, welcher eine Baustellenwahrscheinlichkeit als Eingangsgröße 18 ausgibt, in den Ansatz der Geschwindigkeitsbegrenzungsfusion und -Inferenz eingebettet, wobei das korrekte, situationsabhängige Fusionsresultat ohne jegliche Schwellwerte erlangt wird.
-
In einem Fall ist der Eingang 19 über die Verbindung 20a mit der ersten Eingangsgröße 20 verbunden (nicht gezeigt, aber leicht vorstellbar), welche ein kartenbasiertes Geschwindigkeitsbegrenzungsattribut mit 120 km/h mit einer Wahrscheinlichkeit von m=0,9 an den Abzugsblock 18a ausgibt. Aufgrund des wissensbasierten Eingangsgröße 18, der ein Baustellenwissen liefert, wird im Abzugsblock 18a eine Reduzierung der Wahrscheinlichkeit der ersten Eingangsgröße 20 auf eine Wahrscheinlichkeit von m=0,09 als Funktionsausgang 18b vorgenommen und dem Vertrauenswahrscheinlichkeitsfusion im Verarbeitungsblock 22 eingegeben.
-
Gleichzeitig erhält der Verarbeitungsblock 22 die zweite Eingangsgröße 21 als sensorbasierte Wahrscheinlichkeit mit dem Wert m=0,7 für die Geschwindigkeitsbegrenzung auf 60 km/h, z.B. beruhend auf einem sensierten Verkehrszeichen.
-
Der Verarbeitungsblock 22 gibt als Ergebnis seiner Fusion der ersten durch Baustellenwissen 18 auf die Ausgangsfunktion 18b reduzierten ersten Eingangsgröße 20 mit der zweiten Eingangsgröße 21 eine hohe Wahrscheinlichkeit mit dem Wert m=0,7 mit hoher Verlässlichkeit und geringem Konflikt mit der Karte für die Geschwindigkeitsbegrenzung auf 60 km/h in dem ersten Ausgangsblock 23 aus.
-
In einem anderen Fall ist die erste Eingangsgröße 20 mit über die Verbindung 20a mit dem Verarbeitungsblock 22 verbunden und liefert ihm das kartenbasierte Geschwindigkeitsbegrenzungsattribut mit 120 km/h mit einer Wahrscheinlichkeit von m=0,9.
-
Es wird hier kein Situationswissen (Baustelle) benutzt.
-
Gleichzeitig erhält der Verarbeitungsblock 22 die zweite Eingangsgröße 21 wie schon im ersten Fall beschrieben.
-
Der Verarbeitungsblock 22 gibt nun als Ergebnis seiner Fusion der ersten Eingangsgröße 20 mit der zweiten Eingangsgröße 21 eine hohe Wahrscheinlichkeit mit dem Wert m=0,73 für die Geschwindigkeitsbegrenzung auf 120 km/h in dem zweiten Ausgangsblock 24 aus. Aufgrund des fehlenden Situationswissens über die Baustelle wird die Geschwindigkeitsbegrenzung von 120 km/h der Karte als eine ungerechtfertigte, mit hoher Sicherheit in dem Fusionsprozess als ein falsches Fusionsresultat mit hohem Konflikt ausgegeben.
-
Es wird ein Verfahren zum Fusionieren von Daten für ein hochgradiges Straßenmodell geschaffen.
-
Das Verfahren
- • berücksichtigt unterschiedliche Arten von Unsicherheiten,
- • erlaubt die nahtlose Integration von zahlreichen Datenquellen,
- • verwendet Verkehrsregelwissen für auf Bayes-Netzen basierende logische Fahrspurzuordnung von Verkehrselementen,
- • bezieht unsicheres Situationswissen mit in eine auf Dempster-Shafer basierende Attributfusion ein, und
- • ermöglicht Plausibilitätsüberprüfungen zwischen Karteninhalt und sensorbasierten Attributen.
-
Das Verfahren wird vollständig in einer Vorrichtung 6 zur Durchführung des Verfahrens verwendet und ist in einem Testfahrzeug für die Aufgabe von mehrspuriger Geschwindigkeitsbegrenzungs-Inferenz integriert und
- • liefert fahrspurspezifische Geschwindigkeitsbegrenzungs-Daten in Form von Vertrauenswahrscheinlichkeitsfunktionen oder pignistischen Wahrscheinlichkeiten,
- • erlaubt ein Wiederherstellen nach Zeichenklassifikationsirrtümern dank einer neuen Vertrauenswahrscheinlichkeitsübertragung,
- • stellt Schlussfolgerung über nicht direkt beobachtbare Geschwindigkeitsbegrenzungen an, und
- • zieht unsicheres Situationskontextwissen in Betracht.
-
Obwohl das erfindungsgemäße Verfahren auch für die Aufgabe von Geschwindigkeitsbegrenzungsfusion und -Inferenz (wie oben erläutert mit zahlreichen Vorteilen im Gegensatz zum Stand der Technik) eingesetzt werden kann, ist es doch allgemeiner und kann für verschiedene Anwendungen, wie z.B. automatisches Verstehen von statischen Verkehrsregeln an Kreuzungen, Verwendung finden.
-
Die Erfindung ist nicht auf die oben beschriebenen Ausführungsbeispiele eingeschränkt, sondern im Rahmen der Ansprüche modifizierbar.
-
Es ist zum Beispiel denkbar, dass für die Wahrscheinlichkeitsrepräsentationen und Inferenzen andere Verfahren/Prozesse verwendbar sind als Dempster-Shafer und Bayes-Netze, wie z.B. Markov-Felder oder Logische Markov-Netzwerke.
-
Bezugszeichenliste
-
- 1
- Ego-Fahrzeug
- 2
- Straße
- 2a, 2b, 2c, 2d
- Fahrspur
- 2e
- Fahrbandrand
- 2f
- Fahrspurmarkierung
- 3
- Gegenstand
- 4, 4a, 4b,
- Verkehrszeichen
- 4c, 5
- Verkehrszeichenannahme
- 5a
- Fahrzeug
- 6
- Vorrichtung
- 7
- Erster Pfadblock
- 7a, 7b
- Eingangsblock
- 7c, 7d, 7e
- Verarbeitungsblock
- 7f
- Ausgang
- 8
- Zweiter Pfadblock
- 8a, 8b
- Eingangsblock
- 8c, 8d
- Verarbeitungsblock
- 8e
- Ausgang
- 9, 9a
- Eingang
- 10
- Bayes-Netz
- 10a
- Positionsbeziehung
- 10b, 10c, 10d
- Fahrspurzuordnung
- 11
- Fahrspurgrenze
- 12
- Verbindungslinie
- 12a
- Mehrdeutigkeit
- 13
- Unsicherheit
- 14
- Blockstruktur
- 14a, 14b
- Eingangsblock
- 14c, 14d, 14e
- Verarbeitungsblock
- 14f
- Funktionsgeneratorblock
- 14g
- Transformationsblock
- 15
- Situationseingang
- 16, 16a
- Funktionsausgang
- 16b
- Informationsausgang
- 17, 17a
- Funktionsgraph
- 18
- Wissensbasierte Eingangsgröße
- 18a
- Abzugsblock
- 18b
- Funktionsausgang
- 19
- Eingang
- 20
- Erste Eingangsgröße
- 20a
- Verbindung
- 21
- Zweite Eingangsgröße
- 21a
- Verbindung
- 22
- Verarbeitungsblock
- 23, 24
- Ausgangsblock
- A-F
- Zone
- FN
- False Negative
- FP
- False Positive
- S1, S2, S3, S4
- Verfahrensschritte
- R
- Positionsbeziehung
- T1...
- Teilschritte
- x
- Position
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- M. Schreier, V. Willert, and J. Adamy, „Compact Representation of Dynamic Driving Environments for ADAS by Parametric Free Space and Dynamic Object Maps,“ IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 2, pp. 367-384, Feb. 2016 [0006]
- A. N. Steinberg and C. L. Bowman, „Revisions to the JDL Data Fusion Model,“ in Handbook of Multisensor Data Fusion, D. L. Hall and J. Llinas, Eds. Boca Raton, FL. USA: CRC Press, 2001, ch. 2 [0007]
- P. Bender, J. Ziegler, and C. Stiller, „Lanelets: Efficient Map Representation for Autonomous Driving,“ in Proc. of the IEEE Transactions on Intelligent Vehicles Symposium, Dearborn, MI. USA, Jun. 2014, pp. 420-425 [0009]
- K. Homeier, and L. Wolf, „Road Graph: High Level Sensor Data Fusion between Objects and Street Network,“ in Proc. of the IEEE International Conference on Intelligent Trasportation Systems, Washington, DC. USA, Oct. 2011, pp. 1380-1385 [0010]
- S. Ulbrich, T. Nothdurft, M. Maurer, and P. Hecker, „Graph-Based Context Representation, Environment Modeling and Information Aggregation for Automated Driving,“ in Proc. of the IEEE Transactions on Intelligent Vehicles Symposium, Dearborn, MI. USA, Jun. 2014, pp. 541-547 [0010]
- M. Meuter, C. Nunn, S. M. Görner, S. Müller-Schneiders et al., „A Decision Fusion and Reasoning Module for a Traffic Sign Recognition System“ IEEE Transactions on Intelligent Transportation Systems, vol. 12, no. 4, pp. 1126-1134, Dec. 2011 [0104]
- D. Nienhüser, T. Gumpp, J. M. Zöllner, „A Situation Context Aware Dempster-Shafer Fusion on Digital Maps and a Road Sign Recognition System,“ in Proc. of the IEEE Intelligent Vehicles Symposium, 2009, pp. 1401-1406 [0129]