-
Die Erfindung betrifft ein Verfahren zur Klassifikation von Verkehrssituationen mit Fehlfunktion, Auswahl von ähnlichen Daten und Nachtraining des automatischen Systems sowie eine entsprechende Vorrichtung.
-
Sowohl beim Entwickeln als auch bei der Beschreibung von Funktionalitäten im automatischen Fahren, wie beispielsweise beim Trainieren einer Fahrfunktion, Annotation der Trainingsdaten, Beschreibung von Funktionsumfang und Systemverhalten und konzeptionelle Auswahl von Trainingsjobs für maschinell gelernte Modelle, fehlt ein eindeutiges, logisch konsistentes Vokabular, das eine automatische und maschinenverständliche Behandlung einzelner Module oder ganzer Systeme innerhalb der Funktionalitäten des automatischen Fahrens ermöglicht, wie dem Training, Auflösung von Redundanz, Weiterentwicklung bestehender Ansätze und Überwachung komplexer Systeme aus verschiedenen Modulen.
-
Bisherige Ansätze beim Entwickeln als auch bei der Beschreibung von Funktionalitäten beim automatischen Fahren trennen die einzelnen Funktionalitäten, wie Sensorik, Wahrnehmung, Verständnis, Prädiktion, Planung und Aktorik, sowie Aufgaben, das heißt Training, Überwachung, Weiterentwicklung und Optimierung, in einzelne Teildisziplinen. Eine holistische Herangehensweise an das automatische Fahren in einer Gesamtheit gibt es derzeit nicht in Hinsicht auf formale Beschreibungssysteme.
-
Im Bereich der Robotik werden formale Beschreibungssysteme und deren Anwendung lediglich für das Beschreiben von Aufgaben für den ausführenden Roboter verwendet.
-
Die derzeitige klare Trennung von Aufgaben und Anwendungsbereichen in Teildisziplinen erschwert die Zusammenarbeit über Teilbereichsgrenzen hinweg und erlaubt keine Überwachung eines Gesamtsystems auf uniforme Art und Weise. Eine mangelnde Beschreibungssprache in Hinsicht auf die Szenarien- und Kontextbeschreibung sorgt für nicht kompatible Trainingsdatensätze und hohem manuellen Aufwand beim Design von Trainingsjobs für Machine-Learning-Module.
-
Weiterhin ist eine konzeptionelle Beschreibung eines Moduls innerhalb eines automatischen Fahrsystems in Form von gutartigen und schwer zu bewältigenden Situationen mangels einheitlicher Beschreibungssprache nicht oder nur sehr eingeschränkt möglich. Bisherige Ansätze verlassen sich auf manuelles und damit zeitintensives Auswählen, Analysieren und Modellieren sowie das Erstellen von „lokalen Lösungen“ für einzelne Teilaufgaben beim automatischen Fahren.
-
Insbesondere führt dies auch zu einer nicht nachhaltigen Verwendung von Informationen, die in einem Fahrzeug zur Verfügung stehen. So werden Informationen mehrfach generiert und/oder nicht wiederverwendet.
-
Die Druckschrift
DE 10 2016 009 655 A1 betrifft ein Verfahren zum Betrieb eines Fahrzeugs, wobei das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen einer künstlichen neuronalen Netzwerkstruktur gesteuert wird. Dabei werden die Entscheidungen von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen, wobei dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung übereinstimmen, diese gemeinsame Entscheidung zur Steuerung des Fahrzeugs verwendet wird. Dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung voneinander abweichen und eine Ausführung der Entscheidung vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung erfüllt, wird die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet. In allen anderen Fällen wird die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet.
-
Die Druckschrift REP 2 881 829 A2 betrifft ein Verfahren zum Steuern eines Fahrzeugs von einer aktuellen Position in die Nähe einer Zielposition. Dabei umfasst das Verfahren das Bestimmen des Befahrungsrisikos einer Mehrzahl von Positionen in einer Umgebung des Fahrzeugs zu einem aktuellen Zeitpunkt und zu mehreren, dem aktuellen Zeitpunkt folgenden Zeitpunkten und das Bestimmen einer Trajektorie für das Fahrzeug, die die aktuelle Position und die Zielposition verbindet oder näherungsweise verbindet, unter Berücksichtigung von errechneten Befahrungsrisiken, etwa basierend auf Kollisionswahrscheinlichkeiten oder Verkehrsregeln, sowie Fahrdynamik- und Komfortparametern. Das Fahrzeug wird dann entlang der modifizierten Trajektorie gesteuert.
-
Generell gibt es beim Entwickeln eines intelligenten Agenten für eine Manöverklassifikation selbstfahrender Fahrzeuge beim automatischen Fahren eines autonomen Fahrzeugs zwei unterschiedliche Situationen. Zum einen sogenannte prototypische Situationen, in denen sich das Fahrzeug wie erwartet verhält. Zum anderen treten sogenannte kritische Situationen auf, in denen sich das Fahrzeug unerwartet verhält. Leider ist das Universum möglicher Situationen beim Fahren selbstfahrender Fahrzeuge unendlich.
-
Angenommen es tritt beim Fahren eines autonomen Fahrzeugs eine kritische Situation auf. Zum Trainieren des intelligenten Agenten, also des das Fahrzeug automatisch fahrende Fahrerassistenzsystem, benötigt man relevante Trainingsdaten und es stellt sich die Frage, wie man derartige Trainingsdaten erzeugt, um den maschinenlernenden Algorithmus des intelligenten Agenten zu trainieren.
-
Der Erfindung liegt die Aufgabe zugrunde, im Fahrzeug beim autonomen Fahren anfallende Daten automatisch zu annotieren, um eine Auswahl von Trainingsdaten zum Trainieren des automatischen Fahrsystems zu erzeugen, mit denen das automatische Fahrsystem sich in kritischen Situationen angemessen verhält.
-
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 9. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Das erfindungsgemäße Verfahren zur Identifikation kritischer Fahrsituationen beim Betreiben eines autonomen Fahrzeugs, Auswahl von ähnlichen Daten und Nachtraining eines automatischen Fahrsystems des autonomen Fahrzeugs umfasst die Schritte:
- - Identifikation einer kritischen Fahrsituation beim Betreiben des autonomen Fahrzeugs,
- - Anfordern und Beschaffen von Daten von einem Backend-Server, welche ähnlich zur kritischen Fahrsituation sind, seitens eines intelligenten Assistenten, und
- - Verwenden der ähnlichen Daten zum Trainieren des automatischen Fahrsystems des autonomen Fahrzeugs.
-
Auf diese Weise ist es einfach möglich ein automatisches Fahrsystem beim Auftreten einer kritischen Fahrsituation anhand von ähnlichen Daten nachzutrainieren.
-
Vorzugsweise basieren die im Backend-Server gespeicherten ähnlichen Daten auf klassifizierten und mit einer semantischen Struktur versehenen Sensordaten einer Vielzahl von Fahrzeugen, die während des Fahrbetriebs der Fahrzeuge ermittelt und mit einer Tagging-Einrichtung getaggt und mit Metadaten versehen an den Backend-Server zur Speicherung übermittelt werden.
-
Weiter bevorzugt wird die semantische Struktur über eine Ontologie vermittelt.
-
Vorzugseise basiert die Klassifizierung der Sensordaten auf einer Klassifizierung von Anwendungsfällen, insbesondere auf einer hierarchischen Klassifizierung der Anwendungsfälle Manövertyp, Umgebung, Straßentyp, Wetterbedingungen und/oder Fahrzeugtyp.
-
Weiter bevorzugt basiert die Klassifizierung der Anwendungsfälle auf der Auswertung der Sensordaten der Vielzahl der Fahrzeuge. Je mehr Daten im Backend-Server vorliegen, umso höher ist die Wahrscheinlichkeit der kritischen Fahrsituation ähnliche Daten zum Trainieren des autonomen 'Fahrsystems zu finden.
-
Weiter bevorzugt basiert die Ontologie auf einer hierarchischen Klassifizierung der Anwendungsfälle, insbesondere auf die oben bereits genannten Anwendungsfälle wie Manövertyp, Umgebung, Straßentyp, Wetterbedingungen und/oder Fahrzeugtyp.
-
Vorzugsweise basiert im Fall einer kritischen Fahrsituation die Anforderung und Beschaffung von der kritischen Fahrsituation ähnlichen Daten auf der semantischen Struktur der Ontologie, so dass ein Suchen nach ähnlichen Daten in dem Backend-Server möglich ist.
-
Weiter bevorzugt wird das automatische Fahrsystem nach dem Trainieren mit dem vom Backend-Server gelieferten Datenstrom dahingehend überprüft, ob eine Bewältigung der das Nachtraining auslösenden kritischen Fahrsituation erfolgt ist. Mit anderen Worten, es wird überprüft, ob das autonome Fahrsystem nunmehr auf die aufgetretene kritische Fahrsituation angemessen reagiert.
-
Die erfindungsgemäße Vorrichtung zur Identifikation kritischer Fahrsituationen beim Betreiben eines autonomen Fahrzeugs, Auswahl von ähnlichen Daten und Nachtraining eines automatischen Fahrsystems des autonomen Fahrzeugs, wobei die Vorrichtung zur Durchführung des im Vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
- - ein im autonomen Fahrzeug angeordnetes Fahrsystem,
- - eine Vielzahl von im autonomen Fahrzeug angeordneten Sensoren zur Erfassung des Fahrzeugumfelds und von Fahrzeugdaten einschließlich von Positionsdaten,
- - eine Einrichtung zur Identifikation kritischer Fahrsituationen,
- - einen intelligenten Assistenten zum Anfordern und Beschaffen von der kritischen Fahrsituation ähnlichen Daten basierend auf der semantischen Struktur einer Ontologie, und
- - eine Einrichtung zum Nachtrainieren des automatischen Fahrsystems.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgendend anhand der Zeichnungen erläutert. Dabei zeigt
- 1 das autonome Fahrzeug im Universum möglicher Situationen,
- 2 den konventionellen Ansatz,
- 3 ein Überblick über die vorgeschlagene Vorgehensweise,
- 4 die vorgeschlagene Vorgehensweise im größeren Detail,
- 5 die einzelnen Verfahrensschritte zum Implementieren der Ontologie,
- 6 die Identifizierung und Klassifizierung der Manövertypen, und
- 7 die Architektur der Tagging and Search Software.
-
1 zeigt in schematischer Darstellung ein autonomes Fahrzeug AF und seine Wechselwirkung mit deren realen Umgebung RU. Das autonome Fahrzeug AF ist mit einer Vielzahl von Sensoren SE ausgestattet, wobei die Messergebnisse der Sensoren SE einerseits das autonome Fahrzeug AF beeinflussen als auch andererseits das autonome Fahrzeug AF die Sensoren SE beeinflussen kann. Die reale Umgebung RU ist umfasst bezüglich des Verhaltens des autonomen Fahrzeugs AF ein Universum möglicher Fahrsituationen UPS, wobei die Anzahl möglicher Fahrsituationen in dem Universum UPS nicht bekannt ist. Innerhalb des Universums UPS möglicher Fahrsituationen wird in zwei Arten von Fahrsituationen unterschieden, nämlich prototypische Situationen PS und kritische Situationen CS, welche zusammen die Menge möglicher Fahrsituationen S bezüglich des autonomen Fahrzeugs AF bilden. Mit anderen Worten, das autonome Fahrzeug AF bewegt sich innerhalb seiner Menge möglicher Fahrsituationen S, wobei prototypische Situationen solche sind mit denen der maschinenlernende Algorithmus MLA trainiert wurde, also beherrscht. Demgegenüber sind kritische Situationen CS solche Fahrsituationen, die dem maschinenlernenden Algorithmus MLA unbekannt sind und auf die er nicht adäquat reagieren kann. Dies führt unter Umständen zu einem Fehlverhalten des Maschinenlernens in Algorithmus MLA, sodass das autonome Fahrzeug AF, welches vom maschinenlernenden Algorithmus MLA gesteuert wird, fehlerhaft auf die kritische Fahrsituation reagiert. Mit anderen Worten, das autonome Fahrzeug AF verlässt sich auf den maschinenlernenden Algorithmus MLA und wird von ihm gesteuert.
-
Die Sensoren SE messen aufgrund der Anforderungen des autonomen Fahrzeugs AF Daten D, welche in einer Datenbasis DB eines nicht dargestellten Backend-Servers abgelegt werden können. Mit anderen Worten, die Datenbasis DB umfasst eine Menge verschiedener Daten D, wobei diese Daten D einerseits in den maschinenlernenden Algorithmus MLA zum Trainieren eingespeist werden können. Andererseits verlangt der maschinenlernende Algorithmus MLA nach derartigen Daten D. Weiterhin beschreiben die Daten D die reale Umwelt RU, welche von den Sensoren SE wahrgenommen wird. Die Wechselwirkung der realen Umwelt RU mit dem Universum möglicher Situationen UPS besteht darin, dass die Menge der das autonome Fahrzeug AF betreffenden Situationen S einerseits Bestandteil der realen Umwelt RU ist und die reale Umwelt RU eine Vielzahl derartiger das autonome Fahrzeug AF betreffenden Situationen S aufweist.
-
In 2 ist die konventionelle Vorgehensweise beim Auftreten einer kritischen Situation schematisch dargestellt. Im Schritt A1 wird eine kritische Situation anhand ihres Auftretens identifiziert. Als Folge der Identifizierung einer kritischen Situation im Schritt A1, wird im nachfolgenden Schritt A2 versucht Daten bezüglich der identifizierten kritischen Situation zu ermitteln. Diese Daten des Schritts A2 werden im nachfolgenden Schritt A3 in die entsprechenden Netzwerke (nicht dargestellt) eingespeist und der Schritt A4 drückt die Hoffnung aus, dass die Daten des Schritts A2 die kritische Situation erfasst haben. Rechts von dieser Schrittabfolge dargestellt, dass die ermittelten Daten D in den maschinenlernenden Algorithmus MLA zu Trainingszwecken zugeführt werden, so das anhand der neu trainierten kritischen Situation der Betrieb des autonomen Fahrzeugs AF verbessert wird.
-
Die Vorteile der konventionellen Vorgehensweise beim Auftreten einer kritischen Situation sind:
- - ein einfacher Zugang zu dem Problem,
- - keine Notwendigkeit die Daten in einem konzeptionellen Zusammenhang zu sehen,
- - es können viele unvorhersehbare Situationen mit einem geringen Aufwand und vernünftiger Genauigkeit angegangen werden, und
- - je mehr Daten zur Verfügung stehen, umso besser verhält sich das Netzwerk.
-
Die Nachteile können wie folgt aufgelistet werden:
- - extensiver Rechenbedarf,
- - die benötigte Menge an Daten ist groß und nur aufwendig zu klassifizieren,
- - es kann keine Funktionalität für jede mögliche Situation sichergestellt werden, und
- - es liegt ein großer Speicherbedarf vor.
-
3 zeigt die hier gewählte Vorgehensweise. Auf der linken Seite der 3 ist der schematische Verfahrensablauf zu sehen. Im ersten Schritt B1 wird eine kritische Situation identifiziert. Im nachfolgenden Schritt B2 werden semantisch ähnliche Daten bezüglich der kritischen Situation ermittelt, welche im Schritt B3 zum Trainieren des maschinenlernenden Algorithmus verwendet werden.
-
Im Folgenden wird kurz ein Beispiel einer kritischen oder unvorteilhaften Situation gegeben, die wie folgt aussieht:
- Ein Fahrzeug bewegt sich auf einer dreispurigen Fahrbahn auf der mittleren Fahrspur und auf der rechten Fahrspur steht ein Fahrzeug, wobei sich Personen, beispielsweise Fahrzeuginsassen, außerhalb des stehende Fahrzeugs auf der rechten Spur befinden. Da die linke Spur des sich auf der mittleren Spur bewegenden Fahrzeugs leer ist, würde ein vorausschauender Fahrer auf diese linke Spur wechseln, um genügend Abstand zu den auf der rechten Spur befindlichen Personen zu halten.
-
Es hat sich nun herausgestellt, dass ein autonomes Fahrzeug üblicherweise nicht auf die linke Spur wechselt, sondern stur auf seiner mittleren Spur verbleibt, sodass eine Personengefährdung der Personen auf der rechten Spur nicht auszuschließen ist. Dies kann als ein so genannter Corner Case betrachtet werden, da ein vorausschauender Fahrer die Spur wechseln würde, was bei einem autonomen Fahrzeug üblicherweise nicht der Fall ist.
-
Allgemein können Corner Cases für den Fall des autonomen Fahrens als eine Situation definiert werden, in der ein Modul innerhalb des automatischen Fahrsystems eine unbekannte Situation mit einer funktionellen Unzulänglichkeit erfährt.
-
Die rechte Seite der 3 zeigt die oben beschriebene Vorgehensweise im größeren Detail. Ein autonomes Fahrzeug AF identifiziert eine unvorteilhafte Situation USI, wie sie im obigen Beispiel beschrieben ist, wobei eine unvorteilhafte Situation USI nicht zwingend eine kritische Situation sein muss, aber sein kann. Aufgrund der unvorteilhaften Situation USI wird eine Anfrage bezüglich ähnlicher Daten an einen intelligenten Agenten IA gestellt. Mit anderen Worten, aufgrund der aufgetretenen unvorteilhaften Situation USI wird ein intelligenter Agent IA damit beauftragt benötigte Daten aus einem Backend-Server BES zu finden und zu beschaffen, wobei der Backend-Server BES Daten D enthält, die eine semantische Struktur SMS aufweisen. Solche vom intelligenten Assistenten IA abgerufenen Daten D werden dem maschinenlernenden Algorithmus MLA zum Trainieren mit den zur unvorteilhaften Situation ähnlichen Daten zugeführt, welcher wiederum die Fahrweise des autonomen Fahrzeuges AF beeinflusst, sodass die durch das Nachtraining erweiterte Funktionalität des maschinenlernenden Algorithmus MLA gecheckt werden kann.
-
Die Vorteile dieser Vorgehensweise sind wie folgt:
- - die Daten haben eine semantische Struktur, welche Schlussfolgerungen erlaubt,
- - es können relevante Daten aus der Datenbasis aufgrund dieser Grenzfälle bzw. unvorteilhaften Situationen abgeleitet werden,
- - erweitertes Konzept mit der Möglichkeit generische Situation zu verstehen,
- - rechnermäßig unaufwändiges Suchen von Daten, falls das Datentagging effektiv vorgenommen wurde, und
- - Daten stammen von verschiedenen Sensoren, was ein robustes Schlussfolgern und Inferenzen ermöglicht.
-
Die Nachteile des Verfahrens sind:
- - komplizierte Vorgehensweise hinsichtlich des Erweiterns und Verallgemeinerns,
- - die Effizienz des Verfahrens hängt ab von der Tiefe des Wissens in der Ontologie und den spezifizierten Relationen,
- - viele Klassifizierer sind schwer zu klassifizieren als Funktion des Anwendungsfall, und
- - eine fehlerfreie Ontologie, welche in Analogie zu Menschen in allen möglichen Situationen schlussfolgert, ist schwierig zu erstellen.
-
4 zeigt das in 3 vorgeschlagene Vorgehensweise zum Auffinden relevanter Daten um unvorhergesehene bzw. kritische Situationen beherrschbar zu machen. Dargestellt ist ein autonomes Fahrzeug AF, welches sich innerhalb einer realen Fahrzeugumgebung RU, also beispielsweise auf einer Fahrbahn, bewegt, wobei die reale Fahrzeugumgebung RU integraler Bestandteil der Umwelt UW ist. Beim Betrieb des autonomen Fahrzeugs AF tritt ein unvorhergesehenes Verhalten UV auf, was in 4 durch den Pfeil schematisch dargestellt ist. Dieses unvorhergesehene Verhalten UV des autonomen Fahrzeugs AF stellt eine Schwachstelle CC des das autonome Fahrzeug AF betreibenden trainierten Modells TM dar und ist in dem obigen Beispiel durch das Beibehalten der mittleren Fahrspur mit der Gefährdung der auf der rechten Fahrspur stehenden Personen realisiert. Mit anderen Worten die Schwachstelle CC ist ein so genannter Corner Case und im Extremfall eine kritische Situation. Als Folge der aufgetretenen Schwachstelle CC wird im nächsten Schritt NSD das Suchen nach ähnlichen Daten angestoßen, d.h. der intelligente Agent IA wird vom Schritt NSD damit beauftragt dem unvorhergesehenen Verhalten UV entsprechende ähnliche Daten aufzufinden.
-
Dazu sucht der intelligente Assistent IA in einem Backend-Server BES nach Daten ähnlich denjenigen des aufgetretenen Corner Case CC. Die aufzufindenden Daten müssen nicht notwendigerweise die identische Situation beschreiben, sondern sollten ausreichend ähnlich dem aufgetretenen Corner Case CC sein. Der Datenbank des Backend-Servers BES werden dazu Sensordaten autonomer Fahrzeuge AF unter Zuordnung von Metadaten MD übermittelt. Ferner werden den mit Metadaten MD versehenen Rohdaten in der Datenbank des Backend-Servers BES Annotationen und Klassifizierer durch eine Annotationsinstanz AA zugefügt, die einen semantischen Sinn ergeben. Dies bedeutet, dass die Klassifizierer eine Art von Hierarchie und Beziehungen untereinander aufweisen, die das menschliche Wissen in geeigneter Form codieren, so dass Inferenzen möglich sind. Den mit Metadaten versehenen Rohdaten der autonomen Fahrzeuge AF werden also sog. Tags zugefügt, anhand der eine Beurteilung oder Einordnung der Daten möglich ist und die Schlussfolgerungen im Sinne von Inferenzen ermöglichen. Folglich enthält die Datenbank des Backend-Servers BES eine Fülle von spezifischen annotierten Fahrsituationen.
-
Aufgrund der in der Datenbank des Backend-Servers gespeicherten annotierten Daten ist es für den intelligenten Assistenten IA möglich nach Daten zu suchen, welche ähnlich dem aufgetretenen Corner Case CC sind. Diese, als relevant bezeichneten Daten RD werden dem trainierten Modell TM zu Trainingszwecken zugefügt, um das bereits trainierte Modell TM, welches dem maschinenlernenden Algorithmus entspricht, nachzutrainieren und zu verbessern. Anhand des verbesserten trainierten Modells TM kann das Fahrverhalten des autonomen Fahrzeugs AF an den aufgefundenen Corner Case CC angepasst werden.
-
Die Vorteile dieser Vorgehensweise sind wie folgt:
- - die annotierten Daten haben eine semantische Struktur, welche Interferenzen ermöglicht,
- - es können relevante Daten bezüglich einem Corner Case ermittelt werden,
- - das Konzept kann durch das Hinzufügen weiterer Ontologien erweitert werden, um ein Verständnis für eine semantische Szene zu erzielen,
- - die Vorgehensweise benötigt wenig Rechenkapazität, solange das Tagging der Rohdaten effektiv erfolgt ist, und
- - es werden Daten einer Vielzahl von verschiedenen Sensoren verwendet, die über entsprechende Schnittstellen eingepflegt werden, sodass robuste Schlussfolgerungen und Inferenzen innerhalb der vorhandenen Daten möglich sind.
-
Die Nachteile dieser Vorgehensweise sind wie folgt:
- - Komplizierte Ansatz bezüglich Erweiterung und Verallgemeinerung auf weitere Fälle,
- - Effizienz der Vorgehensweise ist eine Funktion der Tiefe der Ontologie,
- - einige Klassifizierer machen Schwierigkeiten beim Klassifizieren als Funktion des Anwendungsfall,
- - eine fehlerfreie Ontologie, welche Anwendungsfälle und Folgerungen vergleichbar einem Menschen bearbeitet, ist schwierig zu erstellen.
-
In der 5 sind die wesentlichen Schritte C1 bis C8 dargestellt, mit denen die im vorangegangenen erläuterte Vorgehensweise zum Trainieren des maschinenlernenden Algorithmus, also des trainierten Modells zum Steuern eines autonomen Fahrzeugs, anhand von zu einem Corner Case ähnlichen Daten möglich ist.
-
Im Schritt C1 wird ein Anwendungsfall identifiziert und im nachfolgenden Schritt C2 eine initiale Ontologie erzeugt. Anschließend wird im Schritt C3 Klassifizierer identifiziert, sodass im nachfolgenden Schritt C4 über ein Konzept/Architekturdesign nachgedacht werden kann. Anschließend können im Schritt C5 initiale Schriftschnittstellen bzw. eine Rahmenstruktur erzeugt werden, sodass im Schritt 6 ein maschinenlernender Algorithmus implementiert werden kann. Dies bedingt die Implementierung der endgültigen Ontologie im Schritt S7, so dass im Schritt C8 der sich ergebende Code auf Realisierbarkeit getestet und evaluiert werden kann.
-
6 zeigt in schematischer Darstellung die im Schritt C1 der 5 angesprochene Identifizierung möglicher Anwendungsfälle in schematischer Darstellung, wobei hier der Anwendungsfall Manövertyp MNT betrachtet wird. Dabei ist die 6 nicht als abschließende Aufführung sämtlicher Anwendungsfälle hinsichtlich Manövertyp MNT zu betrachten, sondern ist nur beispielhaft zu verstehen. Weitere Anwendungsfälle können die Fahrzeugumgebung, die Wetterbedingungen, die Art des Fahrzeugs und den Straßentypus betreffen, welche jeweils klassifiziert werden.
-
Der Anwendungsfall Manövertyp MNT kann unterschieden werden in grundlegende Manöver BAS und taktische Manöver TAC, die jeweils Unterklassifizierungen aufweisen. Bezüglich der grundlegenden Manöver BAS wird unterschieden in das Manöver Beschleunigen AC mit der Unterklassifizierung normales Beschleunigen NAC und plötzliches Beschleunigen SAC. Ferner fällt das Manöver Abbiegen T mit den Unterklassifizierungen linkes Abbiegen LT und rechtes Abbiegen RT unter die Kategorie grundlegende Manöver BAS. Weitere grundlegende Manöver BAS sind der Spurwechsel LC mit den Unterscheidungen Spurwechsel nach links LLC und Spurwechsel nach rechts RLC. Dann gibt es noch die Kategorie entspanntes Fahren CR sowie Beschleunigen SP. Analog dazu existiert die Kategorie Entschleunigen DC mit den Unterklassifizierungen Entschleunigen mit Bremse WB sowie Entschleunigen ohne Bremse WOB, wobei in der Kategorie mit Bremse WB noch unterschieden wird in sanftes Bremsen SB und Notbremsen EB. Schließlich fällt noch die Klassifizierung Umdrehen RV unter den Anwendungsfall grundlegendes Manöver BAS.
-
Hinsichtlich des Bereichs taktischer Manöver TAC wird unterschieden in das Manöver Stoppen ST mit den Spezifizierungen Parken P, Stoppen an einem Lichtsignal STL, Vorfahrt gegenüber Fußgängern YP und Stillstand aus anderen Gründen SOR. Weitere taktische Manöver sind das Fahren über eine Kreuzung DTI, das Überholen OT und das Wenden des Fahrzeugs UT. Wie bereits erwähnt wird kein Anspruch auf Vollständigkeit der in 6 geschilderten Manöver mit den Unterklassifizierungen gestellt.
-
7 zeigt die Softwarearchitektur in schematischer Darstellung, welche einerseits mittels einer Tagging-Software TG ankommende in Echtzeit verfügbare reale Sensordaten klassifiziert und mit Tags versieht und strukturiert, sodass sie in einem Backendserver BES für Abfragen einer datenabfragenden Software DFS zugänglich sind. Wie aus der 7 ersichtlich ist sind die beiden Strukturen Tagging Software TG und der datenabfrageden Software DFS separat übereinander aus Gründen der Übersichtlichkeit angeordnet.
-
Die Tagging Software TG umfasst einen maschinenlernenden Algorithmus MLA, welcher mittels Trainingsdaten TD trainiert wird, wobei die Trainingsdaten TD durch vorab aufgezeichnete gelabelte Sensordaten SDL gebildet werden, welche entweder von Hand oder über einen automatischen Prozess gelabelt wurden. Mit anderen Worten, die aufgezeichneten gelabelten Sensordaten SDL liegen in gespeicherter Form beispielsweise auf einem geeigneten Speichermedium vor. Zum Trainieren des maschinenlernenden Algorithmus MLA werden diesem die hierarchische Struktur der entsprechenden Ontologie ON übermittelt, sodass der maschinenlernende Algorithmus MLA im Sinne der vorliegenden Ontologie O trainiert werden kann. Sich im Umfeld, insbesondere Straßenverkehr, bewegende autonome Fahrzeuge AF liefern Sensordaten D in Echtzeit an die Tagging Software TG, wobei diese Echtzeitdaten D durch vorab aufgezeichnete, ungelabelte Sensordaten SDUL ergänzt werden können, welche aufgezeichnete und nicht direkt verarbeitete Sensordaten von autonomen Fahrzeugen AF darstellen. Diese Daten D bzw. SDUL werden in einer Echtzeitsensordateneinheit SDRT beispielsweise zu einer CSV-Datei zur Weiterverarbeitung zusammengefasst und einem trainierten maschinenlernenden Algorithmus TMLA zugeführt, der die gelernten Parameter des maschinenlernenden Algorithmus MLA übernommen hat und geeignete Tags den Daten appliziert. Die im trainierten maschinenlernenden Algorithmus TMLA getaggten Daten werden anschließend der Instanz Metadaten MD zugeführt, wo die Daten durch Kartendaten und andere Klassifizierer ergänzt werden. Die getagten Daten der Metadateninstanz MD werden in der nächsten Instanz zu einem strukturierten Datenstrom SDS zusammengefasst, dem ebenfalls die Original Echtzeitsensordaten SDRT zugeführt werden, sodass dieses Datenpaket in einem Backendserver BES abgelegt wird.
-
Die im unteren Teil der 7 dargestellte datenabfragende Software DFS umfasst eingangsseitig die Ontologie ON, die von einer Wissensbasis KB benötigt wird. Ferner wird eingangsseitig eine Eingangsfrage IQ gestellt, beispielsweise wenn ein autonomes Fahrzeug nach Daten bezüglich eines Überholmanövers anfragt. Diese Anfrage ist an einen intelligenten Agenten IA gerichtet, welcher einerseits auf die Wissensbasis KB sowie andererseits auf die Daten des Backend-Servers BES zugreift. Der Backend-Server BES sendet entsprechende Anfrage einen strukturierten Datensatz SDS an den intelligenten Agenten IA, der daraus einen Ausgangsdatenstrom OUT kreiert, die die angefragte Semantik, hier die Frage ein Überholmanöver betreffend, erfüllt.
-
Bezugszeichenliste
-
- AF
- autonomes Fahrzeug
- MLA
- maschineller Lernalgorithmus
- SE
- Sensoren
- RU
- Reale Fahrzeugumgebung
- UPS
- Universum möglicher Situationen
- D
- Daten
- DB
- Datenbank
- PS
- prototypische Situation
- CS
- kritische Situation
- S
- Situation
- A1
- Identifizierung kritischer Situation/Situationen
- A2
- Bereitstellen zusätzlicher Daten
- A3
- einspeisen der zusätzlichen Daten in die Netzwerke
- A4
- Hoffnung auf Ermittlung der kritischen Situation
- B1
- Identifizierung kritischer Situation/Situationen
- B2
- Anfordern semantisch spezifischer Daten
- B3
- Verwendung dieser Daten zum Trainieren
- SMS
- semantische Struktur
- IA
- Intelligenter Agent
- USI
- Identifizierung einer ungewöhnlichen Situation
- UW
- Umwelt
- TM
- Trainiertes Modell
- UV
- unerwartetes Verhalten
- CC
- Corner Case / Grenzwert
- MD
- Meta Daten
- BES
- Backend-Server
- NSD
- Notwendigkeit ähnliche Daten zu finden
- AA
- Zugabe Annotationen
- RD
- Senden relevanter Daten
- C1
- Identifikation eines Anwendungsfall
- C2
- Bereitstellen einer initialen Ontologie
- C3
- Identifizierung von Klassifizierern
- C4
- Konzept/Architekturdesign
- C5
- Erzeugung von initialen Schnittstellen/Rahmenstruktur
- C6
- Implementierung des maschinenlernenden Algorithmus
- C7
- Implementierung der Ontologie
- C8
- Testen und Evaluieren des Codes hinsichtlich der Realisierbarkeit.
- MNT
- Manövertyp
- BAS
- Grundlegende (Basic) Manöver
- TAC
- Taktische (Tactical) Manöver
- AC
- Beschleunigen
- NAC
- Normales Beschleunigen
- SAC
- Plötzliches Beschleunigen
- T
- Abbiegen (Turn)
- LT
- Abbiegen nach links
- RT
- Abbiegen nach rechts
- LC
- Spurwechsel (Lane Change)
- LLC
- Spurwechsel nach links
- RLC
- Spurwechsel nach rechts
- CR
- gleichmäßiges Fahren (Cruising)
- SP
- Beschleunigen (Speeding)
- DC
- Entschleunigen (Decelerating)
- WB
- mit Bremse
- SB
- sanftes Bremsen
- EB
- Notfallbremsen
- WOB
- ohne Bremse
- RV
- Wenden (Reversing)
- ST
- Stoppen
- P
- Parken
- STL
- Stoppen an Lichtsignal
- YP
- Vorfahrt gegenüber Fußgänger
- SOR
- Stillstand aus anderen Gründen
- DTI
- Fahren über eine Kreuzung
- OT
- Überholen
- UT
- Kehrtwende (U-Turn)
- TG
- Tagging Software
- SDL
- aufgezeichnete gelabelte Sensordaten
- SDUL
- aufgezeichnete ungelabelte Sensordaten
- ON
- Ontologie
- IQ
- Eingang Abfrage
- TD
- Trainingsdaten
- HS
- Hierarchische Struktur
- SDRT
- Sensordaten in Echtzeit
- MLA
- maschinelernender Algorithmus
- TMLA
- trainierter maschinenlernender Algorithmus
- CL
- Karten und andere Klassifizierer
- MD
- Metadaten
- SDS
- strukturierter Datenstrom
- DFS
- Datenabrufende Software
- KB
- Wissensbasis
- IA
- Intelligenter Agent
- OUT
- Ausgabe der gefundenen Daten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016009655 A1 [0008]
