-
Die Erfindung betrifft ein Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten gemäß dem Oberbegriff des Anspruchs 1.
-
Für die sichere und eigenständige Bewegung von Robotern und autonomen Fahrzeugen wird eine sehr genaue und detaillierte Umfelderfassung benötigt. Die Erfassung der geometrischen Ausprägung von Objekten über Lidare, Radare, Kameras, Ultraschall- und andere Sensoren kann aktuell stabil und genau genug bestimmt werden. Über Fusionsalgorithmen (beispielsweise Kalman-Filter, Partikelfilter, Graphenoptimierung, SLAM-Verfahren) können diese Objekte zugeordnet, getrackt und deren Genauigkeit weiter verbessert werden. Damit wird es dem Roboter ermöglicht, sich kollisionsfrei zu bewegen.
-
Üblicherweise muss der Roboter jedoch weitere Verhaltensrichtlinien einhalten (beispielsweise eine Straßenverkehrsordnung), die sich aus abstrakten Objektbeziehungen (beispielsweise der Vorfahrtsregelung von Spursegmenten im Straßenverkehr, Zuordnung von Verkehrsschild auf Straße) und Attributen (beispielsweise Information auf Schildern, Straßentyp) ergeben. Die robuste Bestimmung dieser Objektbeziehungen und Attributen aus den Sensordaten des Roboters ist größtenteils noch ungelöst.
-
Im Stand der Technik werden meist manuell gelabelte Datensätze verwendet, um Objektattribute direkt aus den Sensordaten zu lernen. Klassische Beispiele sind CNNs (Convolutional Neural Network) die auf Bilddaten, Punktwolken oder Grid Maps arbeiten und pro Bild, pro Pixel oder pro Grid-Zelle eine Klassifikation berechnen.
-
Ferner ist bekannt, über komplizierte, meist manuell entwickelte Entscheidungskriterien (Empiriken und Heuristiken) diese Informationen abzuleiten. Diese Entscheidungskriterien müssen jeweils an die länderspezifischen Gegebenheiten angepasst werden, beispielweise an Links- oder Rechtsverkehr oder daran, ob Ampelanlagen vor oder hinter einer Kreuzung stehen.
-
Die Entwicklung solcher Kriterien ist enorm aufwändig und in komplexen Kreuzungen für einen Menschen kaum zu überblicken. Stark vereinfachte Kriterien, die für einen Menschen noch nachvollziehbar sind (beispielsweise ein Schild in der Nähe einer Straße und Orientierung gegen die Fahrtrichtung), können die Komplexität nur ungenau abbilden und haben folglich einen hohen Einfluss auf die erreichbare Güte des Kriteriums.
-
EP 3 690 708 A1 beschreibt, dass ein Verfahren zur effizienten Ressourcenallokation beim autonomen Fahren durch Reinforcement Learning zur Reduzierung der Rechenleistung über eine heterogene Sensorfusion bereitgestellt wird. Dieses auf Aufmerksamkeit basierende Verfahren umfasst die Schritte: Anweisen eines Aufmerksamkeitsnetzwerks durch eine Computervorrichtung, eine neuronale Netzwerkoperation unter Bezugnahme auf Aufmerksamkeitssensordaten durchzuführen, um Aufmerksamkeitsbewertungen zu berechnen; Anweisen eines Erkennungsnetzwerks, Videodaten durch Bezugnahme auf die Aufmerksamkeitsbewertungen zu erfassen und Entscheidungsdaten für das autonome Fahren zu erzeugen; Anweisen eines Antriebsnetzwerks, das autonome Fahrzeug zu betreiben, indem auf die Entscheidungsdaten Bezug genommen wird, um Umstandsdaten zu erfassen und eine Belohnung zu erzeugen, indem auf die Umstandsdaten Bezug genommen wird; und Anweisen des Aufmerksamkeitsnetzwerks, Parameter einzustellen, die für den neuronalen Netzwerkbetrieb verwendet werden, indem auf die Belohnung Bezug genommen wird. Somit kann durch das Verfahren ein virtueller Raum bereitgestellt werden, in dem das autonome Fahrzeug die Ressourcenzuweisung optimiert.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten gemäß Anspruch 1.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Ein erfindungsgemäßes Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten weist folgende Schritte auf:
- - Erfassen von Umfelddaten mittels einer Erfassungseinrichtung mindestens eines Fahrzeugs,
- - Bereitstellen einer Referenzkarte, enthaltend Objekte mit Attributen und Objektbeziehungen,
- - wobei die ermittelten Umfelddaten in die Referenzkarte projiziert werden oder wobei die Referenzkarte in die ermittelten Umfelddaten projiziert wird,
- - wobei in den Umfelddaten Objekte erkannt und den Objekten in der Referenzkarte zugeordnet werden,
wobei
- - die in den Umfelddaten erkannten Objekte mit den Attributen und Objektbeziehungen der zugeordneten Objekte aus der Referenzkarte angereichert werden,
- - mindestens ein als Machine-Learning-Algorithmus ausgebildeter Klassifikator mit den angereicherten Daten trainiert wird, und
- - der mindestens eine trainierte Klassifikator auf mittels der Erfassungseinrichtung eines Fahrzeugs erfasste Umfelddaten angewandt wird, um Attribute und Objektbeziehungen zu identifizieren.
-
Das erfindungsgemäße Verfahren weist folgende Vorteile auf:
- • Verbessertes Umfeldmodell - Das von der Sensorik erfasste Umfeldmodell kann um die gelernten Attribute und Beziehungen erweitert werden. Dadurch wird es dem Roboter ermöglicht, sich sicher in seiner Umgebung zu bewegen.
- • Skalierbarkeit - Der Ansatz lässt sich problemlos automatisiert auf viele Flottendaten und verschiedene Recheneinheiten anwenden.
- • Iterative Verbesserung - Mit neuen, manuell gelabelten Daten, beispielsweise aus weiteren Erstbefahrungen, können die Kl-Algorithmen weiter trainiert werden. Dadurch wird deren Performance gesteigert und der Fehler konvergiert schlussendlich gegen 0.
- • Transfer Learning - Über transfer learning kann, basierend auf einem bereits trainierten Algorithmus, ein anderer Algorithmus weiter optimiert werden und die Gewichte/Parameter müssen nicht neu gelernt werden. Dies ist insbesondere sinnvoll, wenn neue Länder mit kleinerer Kartenabdeckung bei abweichender Verkehrsregelung validiert werden sollen.
- • Höhere Komplexität der Entscheidungskriterien - Für einen Menschen ist bei der Entwicklung von Entscheidungskriterien über Heuristiken und Empiriken ein hochdimensionaler Raum nur schwer überschaubar. Infolgedessen werden oft nur wenige Parameter berücksichtigt, wodurch die erreichbare Performance sich verschlechtert.
- • Geringere Kosten - Der Ansatz benötigt mit zunehmender Zeit und Menge der Daten immer weniger Entwicklungsaufwand für komplexe Algorithmen.
- • Gewichtung Karte und Umgebungserkennung - Man könnte eine Gewichtung/Zuverlässigkeit der Karte und der Umgebungserkennung lernen.
- • Interpretierbarkeit und Sicherheit des Ergebnisses - Ein Kl-Algorithmus kann auch bezüglich weiterer Kriterien, wie Performance, optimiert werden. Beispielsweise lassen sich die Parameter eines Decision Tree oder Random Forrest besser interpretieren. Eine SVM gibt eine Wahrscheinlichkeit/Sicherheit an, die beschreibt, wie sicher/eindeutig das Ergebnis ist.
- • Trigger für manuelle Validierung - Beziehungen oder Attribute, in denen sich der Klassifikator unsicher ist oder wo sich die Karte und die Umfelderfassung widersprechen, könnten als Event angezeigt und von einem Menschen validiert werden. Diese neuen, gelabelten Daten könnten verwendet werden, um die Karte weiter zu verbessern.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch ein Luftbild mit Verkehrswegen,
- 2 eine schematische Ansicht einer Verkehrssituation, bei der eine Referenzkarte in Sensordaten, beispielsweise ein Kamerabild, projiziert wurde und Attribute und Beziehungen als Label im Kamerabild liefert,
- 3 eine schematische Ansicht eines Klassifikationsvorgangs,
- 4 eine schematische Ansicht einer weiteren Ausführungsform eines Klassifikationsvorgangs,
- 5 schematisch ein Luftbild mit Verkehrswegen umfassend Spursegmente, denen Verkehrsschilder als komplexe Kartenobjektbeziehung zugeordnet sind,
- 6 ein stark vereinfachtes Klassifizierungsproblem in Form eines Diagramms von Orientierungsunterschieden verschiedener Ampelanlagen und Stopplinien in Abhängigkeit von einer euklidischen Distanz, und
- 7 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch ein Luftbild mit Verkehrswegen umfassend Spursegmente S, denen Verkehrsschilder V als komplexe Kartenobjektbeziehung zugeordnet sind.
-
Es ist bekannt, Kartenobjektbeziehung über komplizierte, meist manuell entwickelte Entscheidungskriterien (Empiriken und Heuristiken) abzuleiten und gegebenenfalls manuell zu prüfen. Diese Entscheidungskriterien müssen jeweils an die länderspezifischen Gegebenheiten angepasst werden, beispielweise an Links- oder Rechtsverkehr oder ob Ampelanlagen vor oder hinter einer Kreuzung stehen.
-
Die Entwicklung solcher Kriterien ist enorm aufwändig und in komplexen Kreuzungen für einen Menschen kaum zu überblicken. Stark vereinfachte Kriterien, die für einen Menschen noch nachvollziehbar sind, können die Komplexität nur grob abbilden und haben folglich einen hohen Einfluss auf die erreichbare Güte des Kriteriums. Ein weiterer Nachteil der manuellen Entwicklung solcher Entscheidungskriterien sind die enormen Kosten, die Skalierbarkeit und die Fehlerrate, die auch über die Menge der Kartendaten konstant bleibt.
-
Gemäß der vorliegenden Erfindung soll die manuelle Entwicklung von Entscheidungskriterien, um aus von Sensoren eines Fahrzeugs oder Roboters gewonnenen Sensordaten Objektbeziehungen und Attribute abzuleiten, durch einen lernenden Ansatz, dem nur grobe algorithmische Strukturen vorgegeben werden, ersetzt werden. Ein Beispiel aus dem Themengebiet der Künstlichen Intelligenz (Kl) ist das Klassifizierungsproblem. Hierbei werden Funktionsparameter eines Klassifikators, beispielsweise eine Support Vector Machine (SVM), ein Convolutional Neural Network (CNN) oder ein Random Forrest, über vorher gelabelte Daten trainiert, das heißt die Parameter der groben algorithmischen Struktur werden so optimiert, dass eine Performance, gemessen als Fläche (Area Under the Curve - AUC) unter einer Grenzwertoptimierungskurve (Receiver Operating Characteristic - ROC), erreicht wird. Die algorithmische Struktur wird in der Regel auf einem Trainingsdatensatz trainiert und auf einem separaten Validierungsdatensatz validiert. Eine Klassifizierung kann das Attribut eines Objektes oder die Art der Beziehung zwischen Objekten sein.
-
2 ist eine schematische Ansicht einer Verkehrssituation, bei der eine Referenzkarte in Sensordaten, beispielsweise ein Kamerabild, projiziert wurde und Attribute und Beziehungen als Label im Kamerabild liefert. Beispielhaft sind die Objekte Fahrspur 1.1, 1.2, 1.3 und Verkehrsschild 2 dargestellt. Das Verkehrsschild 2 mit dem Attribut „Vorfahrt gewähren!“ hat die Beziehung „Gilt für“ zur rechten Fahrspur 1.3, die das Attribut „Rechtsabbieger“ aufweist.
-
Für das Labeling der Daten kann eine bestehende Referenzkarte, über die Position des Fahrzeugs oder über einen Abgleich der Position der Objekte mit der Karte (Map Matching), in ein Sensor-Koordinatensystem oder Grid-Koordinatensystem projiziert werden. Nach einer Zuordnung (beispielsweise Nearest Neighbour) der im Kamerabild erkannten Objekte zu den Objekten in der Referenzkarte können die erkannten Objekte mit den Attributen und Beziehungen aus der Karte angereichert werden. Diese Daten können dann verwendet werden, um den Klassifikator zu trainieren.
-
Eine vorherige Zuordnung und Fusionierung von Flottendaten, über ein SLAM (Simultaneous Localization and Mapping) oder gleichartiges Verfahren, kann verwendet werden, um eine höhere Genauigkeit der Position und damit ein genaueres und robusteres Ergebnis für den Kartenabgleich zu bekommen. Die Flottendaten können durch Mehrfachbefahrungen mittels einer Fahrzeugflotte gewonnen werden. Beispielsweise können durch Fusionierung der Flottendaten Spurmarkierungen extrahiert werden.
-
3 ist eine schematische Ansicht eines Klassifikationsvorgangs. Die Sensordaten SD, beispielsweise Kamerabilder, liefern nur einen Teil einer Umfeldinformation A, B, D, E, F, I, der als Eingang in einen trainierten Klassifikator 3 dient, beispielsweise einen Machine-Learning-Algorithmus. Fehlende Teile C, G, H der Umfeldinformation können durch den Klassifikator 3 wiederhergestellt werden.
-
4 ist eine schematische Ansicht eines Klassifikationsvorgangs. Die für verschiedene Zeitpunkte t, t-1, t-n ermittelten Sensordaten SD, beispielsweise Kamerabilder, liefern nur einen Teil einer Umfeldinformation A, B, D, E, F, I, der als Eingang in mehrere trainierte Klassifikatoren 3.1, 3.2, 3.3 dient. Ein fehlender Teil C der Umfeldinformation kann durch den Klassifikator 3.1 wiederhergestellt werden. Ein weiterer fehlender Teil G der Umfeldinformation kann durch den Klassifikator 3.2 wiederhergestellt werden. Ein weiterer fehlender Teil H der Umfeldinformation kann durch den Klassifikator 3.3 wiederhergestellt werden.
-
Fehlende Umfeldinformationen C, G, H werden also über einzelne Klassifikatoren 3.1, 3.2, 3.3 trainiert. Über einen Ensemble Ansatz wird der vollständige Informationsvektor in einem zweiten Schritt mit einem weiteren Klassifikator 3.4 trainiert, unter der Annahme, dass einzelne Beziehungen sich gegenseitig bedingen. Dies hat den Vorteil, dass einzelne Aspekte (beispielsweise eine Spurzuordnung) nachtrainiert werden können, ohne die anderen Klassfikatoren 3.1, 3.2, 3.3 direkt zu beeinflussen.
-
Da Klassifikationen für ein Sample, das heißt eine Momentaufnahme aus dem Daten-Set der Sensordaten SD, eine gewisse Fehlerquote aufweisen können, ist zu erwarten, dass über einen zeitlichen Aspekt die Fehlerquoten verringert werden können. Dazu werden in einem Eingangsvektor der Sensordaten SD auch vergangene Samples für verschiedene Zeitpunkte t, t-1, t-n aus der gleichen Fahrt mit aufgenommen. Alternativ kann ein rekurrenter Machine-Learning-Ansatz gewählt werden (zum Beispiel Long short-term memory - LSTM).
-
5 zeigt schematisch ein Luftbild mit Verkehrswegen sowie eine Beziehung zwischen einer Ampelanlage A und Stopplinie SL. 6 zeigt ein stark vereinfachtes Klassifizierungsproblem in Form eines Diagramms von Orientierungsunterschieden SH verschiedener Ampelanlagen AA und Stopplinien SL in Abhängigkeit von einer euklidischen Distanz DI. In 6 wurden in einer Voruntersuchung die euklidische Distanz DI und der Orientierungsunterschied SH mehrerer Ampelanlagen AA und Stopplinien SL gegeneinander aufgetragen, wobei zwei voneinander, durch eine trainierte Support Vector Machine getrennte Klassen K1 (Beziehung), K2 (keine Beziehung) dargestellt sind.
-
7 ist eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
-
In einem Schritt S1 werden Flottendaten FD mit anderen Daten oder einer Referenzkarte RM in Übereinstimmung gebracht. In einem Schritt S2 werden Attribute und Beziehungen aus der Referenzkarte RM hinzugefügt. In einem Schritt S3 wird ein Machine-Learning-Algorithmus mit den so angereicherten Daten trainiert. In einem Schritt S4 werden Attribute und Beziehungen mittels des trainierten Machine-Learning-Algorithmus vorhergesagt.
-
Die in 7 grob dargestellte algorithmische Struktur soll die Idee der automatisierten Erkennung abstrakter Kartenattribute und Objektbeziehungen beispielhaft skizzieren. Andere Machine-Learning-Algorithmen wie Naive Bayes, Neuronale Netze, CNNs, könnten ebenso verwendet werden, um eine möglichst gute Performance (AUC ROC) zu erhalten. Zu dem in 6 gezeigten zweidimensionalen Raum könnten weitere Informationen berücksichtigt werden. Neben der absoluten Distanz DI könnten beispielsweise auch weitere erkannte Haltelinien, Bewegungsprofile anderer Verkehrsteilnehmer etc. mit in dem Inputvektor des Klassifikators 3, 3.1, 3.2, 3.3 übergeben werden.
-
Um den Rechenaufwand vor der Optimierung moderat zu halten, kann eine vorherige Hauptkomponentenanalyse (Principal Component Analysis - PCA), die den Raum entlang von Vektoren mit höchster Streuung aufbaut, sinnvoll sein, insbesondere, wenn hochdimensionale oder unverarbeitete Eingangsvektoren gewählt werden.
-
Weiterhin kann mit einem solchen Ansatz eine Gewichtung zwischen der Umgebungserkennung und der Referenzkarte RM gelernt werden. So gibt es beispielsweise Situationen, in denen die Referenzkarte RM ungenauer ist, und Situationen, in denen die Erkennung ungenauer ist. Eine Referenzkarte RM kennt beispielsweise verdeckte Objekte, während eine Umgebungserkennung mehr Objekte sieht als in der Referenzkarte RM verfügbar sind. Dies führt teilweise zu Situationen, in denen ein Mitfahrer nicht nachvollziehen kann, warum sich das Fahrzeug auf eine bestimmte Art verhält.
-
Wenn beispielsweise nach einer Kurve ein Stoppschild kommt, fährt das Fahrzeug auf Basis der Karte langsamer, der Fahrer würde aber nicht verstehen warum, bevor er das Stoppschild sieht. Wenn in einem anderen Beispiel eine Kreuzung auf freier Fläche liegt und der Fahrer gleich sieht, dass sich keine anderen Fahrzeuge auf der Kreuzung oder in deren Nähe befinden, dann wird er normalerweise schneller über die Kreuzung fahren als bei einer nicht ohne weiteres einsehbaren Kreuzung im Wald. Dies weiß die Karte jedoch nicht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
