-
Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung. Sie betrifft ferner ein System zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung.
-
Die Entwicklung datengetriebener Funktionen, insbesondere Funktionen des maschinellen Lernens, zur automatischen Steuerung von Fahrzeugen oder zur Individualisierung von Fahrfunktionen geht mit einem Bedarf an umfassenden, gut aufbereiteten Test- und Trainingsdaten einher. Insbesondere müssen große verfügbare Datenmengen effizient genutzt werden, um unnötige und kostenintensive Redundanzen bei der Erhebung der Daten zu vermeiden.
-
In der
DE 10 2016 216 268 A1 wird ein Verfahren zur Erzeugung von Sensordaten in einer virtuellen Fahrumgebung beschrieben. Es wird ein Simulationsprozess ausgeführt, bei dem virtuelle Sensoren über eine virtuelle Straßenoberfläche mit definierten Anomalien bewegt werden. Virtuelle Sensordaten werden aufgezeichnet und können mit Annotationen gekoppelt werden, die anschließend dazu verwendet werden können, die Leistung eines Algorithmus bei der Klassifikation der Anomalien zu bewerten.
-
Das in der
DE 10 2013 007 502 A1 vorgeschlagene Verfahren sieht vor, dass der Sinngehalt einer empfangenen Spracheingabe erfasst und bewertet wird. Dabei erfolgt eine Klassifikation auf Basis eines trainierbaren semantischen Modells, um zu einer semantischen Annotation der Spracheingabe zu gelangen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System der eingangs genannten Art bereitzustellen, die eine besonders gute Aufbereitung von Trainingsdaten und eine besonders effiziente Nutzung der Daten für Verfahren zum maschinellen Lernen erlauben.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
-
Bei dem erfindungsgemäßen Verfahren zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung wird ein Fahrzeug entlang einer Trajektorie gesteuert, wobei durch Sensoren des Fahrzeugs Sensordatensätze erfasst werden. Dabei umfassen die Sensordatensätze Positionsdaten und Zeitdaten sowie Steuerungsdaten des Fahrzeugs. Anhand der Sensordatensätze werden Übertragungsdaten erzeugt und an eine fahrzeugexterne Verarbeitungseinheit übertragen. Durch die fahrzeugexterne Verarbeitungseinheit werden anhand der Übertragungsdaten Zusatzinformationen erfasst. Die Trainingsdaten werden anhand der Übertragungsdaten und der Zusatzinformationen erzeugt, wobei den Trainingsdaten Klassifikationsinformationen zugeordnet sind. Die Trainingsdaten werden mit den ihnen zugeordneten Klassifikationsinformationen gespeichert.
-
Dadurch können vorteilhafterweise mit einer Vielzahl von relevanten zusätzlichen Informationen angereicherte Trainingsdaten erzeugt und zur Verfügung gestellt werden. Durch die Klassifikationsinformationen können geeignete Trainingsdaten für einen bestimmten Zweck des Maschinenlernens leicht identifiziert werden. Diese Anreicherung kann vollautomatisch erfolgen, das heißt, die Zuordnung der Klassifikationsinformationen zu den Trainingsdaten beziehungsweise die Ermittlung von Zusatzinformationen zu von dem Fahrzeug bereitgestellten Daten müssen nicht manuell oder für einzelne Datensätze separat durchgeführt werden.
-
Das Steuerungsmodell ist von einem Modul einer automatischen Fahrzeugsteuerung umfasst. Das Modul dient dabei der Ausführung einer automatischen Fahrfunktion, wobei durch das Steuerungsmodell Entscheidungen für die automatische Fahrt getroffen und/oder Parameter für die Steuerung bestimmt werden. Für das Steuerungsmodell und seine Nutzung durch das Modul im Kontext der automatischen Fahrzeugsteuerung können insbesondere Verfahren aus dem Bereich des Maschinenlernens verwendet werden. Das heißt, das Steuerungsmodell kann datengetrieben mittels Lernverfahren optimiert beziehungsweise für eine bestimmte Aufgabe und bestimmte Situationen einer Fahrt trainiert werden. Die Optimierung kann zum Beispiel auch für eine bestimmte Teilaufgabe erfolgen, etwa eine Verarbeitung von durch die Sensoren erfassten Daten. In bestimmten weiteren Beispielen können auch andere Verfahren oder Kombinationen mit solchen anderen Verfahren vorgesehen sein.
-
Die Erfassung von Sensordatensätzen erfolgt auf an sich bekannte Weise. Dabei können unterschiedliche Sensoren von dem Fahrzeug umfasst sein und zur Erfassung genutzt werden, beispielsweise eine oder mehrere Kameras zur Erfassung von Bilddaten im Bereich des sichtbaren Lichts oder eine Infrarotkamera, ein Ultraschallsensor, ein Radar- oder Laserscanner, ein Sensor zum Empfang von Signalen anderer Einrichtungen und/oder ein Sensor zur Erfassung von Eingaben eines Nutzers.
-
Ferner ist vorgesehen, dass Positionsdaten und Zeitdaten erfasst werden, wobei ebenfalls an sich bekannte Verfahren verwendet werden können. Insbesondere kann ein Gerät zur Positionsbestimmung anhand von Signalen von Navigationssatelliten (zum Beispiel GPS) oder ein anderes Verfahren zur Positionsbestimmung verwendet werden. Auch die Erfassung der Zeitdaten, insbesondere einer aktuellen Zeit, erfolgt auf an sich bekannte Weise. Die Zeitdaten beziehen sich dabei insbesondere auf den Zeitpunkt, zu dem die Erfassung der Sensordatensätze erfolgt. Dabei können Verfahren zur Synchronisierung von erfassten Sensordaten verwendet werden, wenn beispielsweise Daten mit unterschiedlicher Frequenz erfasst und zu einem Sensordatensatz verarbeitet werden. Dabei wird insbesondere berücksichtigt, dass keine zu großen zeitlichen Abweichungen zwischen den von den Sensordatensätzen umfassten Zeitdaten und den tatsächlichen Zeitpunkten der physischen Messung der Daten auftreten.
-
Ein Sensordatensatz im Sinne der Erfindung kann insbesondere als eine Einheit von mittels Sensoren und gegebenenfalls zusätzlicher Einrichtungen bereitgestellter Daten verstanden werden, denen ein bestimmter Zeitpunkt und eine Position des Fahrzeugs zu diesem Zeitpunkt zugeordnet werden können. Bei dem Verfahren können anhand der Zeitdaten zeitlich geordnete Reihen von Sensordatensätzen erfasst und verarbeitet werden.
-
Die Sensordatensätze umfassen ferner Steuerungsdaten des Fahrzeugs, das heißt Daten über die Bewegung und/oder den Betrieb des Fahrzeugs. Die Steuerungsdaten beziehen sich dabei insbesondere auf den Zeitpunkt der Erfassung der Sensordatensätze. Beispiele für Steuerungsdaten sind etwa Informationen über eine Lenkung (zum Beispiel der Lenkwinkel), einen Fahrmodus, einen Motorsteuerung oder eine Beschleunigung beziehungsweise Verzögerung des Fahrzeugs. Die Steuerungsdaten können dabei auch Daten über eine Veränderung der Bewegung und/oder des Betriebs des Fahrzeugs umfassen, etwa eine Rate, mit welcher ein Lenkwinkel verändert wird, oder einen Parameter, anhand dessen eine zukünftige Steuerung des Fahrzeugs geplant wird. Insbesondere umfassen die Steuerungsdaten solche Informationen, die mittels Modulen zur automatischen Steuerung eines Fahrzeugs bereitgestellt werden und/oder die für ein Modul erzeugt und an dieses übertragen werden.
-
Die Erzeugung der Übertragungsdaten kann Verfahrensschritte einer Vorverarbeitung und insbesondere eine Optimierung für die Übertragung über eine datentechnische Verbindung umfassen, beispielsweise eine Kompression oder eine Filterung, um keine unnötigen Daten übertragen zu müssen. Die Übertragungsdaten werden insbesondere so gebildet, dass Informationen der erfassten Sensordatensätze und Steuerungsdaten bestimmten Zeitpunkten und Positionen des Fahrzeugs zugeordnet werden können. Das heißt, die Übertragungsdaten werden insbesondere so gebildet, dass Zeitreihen über die Fahrt des Fahrzeugs entlang der Trajektorie bestimmbar sind und Informationen aus den entlang der Trajektorie erfassten Sensordatensätzen bereitgestellt werden. Die Übertragungsdaten sind also im Sinne einer bei der Fahrt entlang der Trajektorie gelernten Erfahrung zu verwenden und können insbesondere als Basis für ein Maschinenlernverfahren dienen.
-
Die Übertragung von Daten zwischen dem Fahrzeug und der fahrzeugexternen Verarbeitungseinheit kann auf an sich bekannte Weise mittels einer datentechnischen Verbindung erfolgen, insbesondere drahtlos. Beispielsweise kann die Verbindung durch ein lokales Netzwerk oder ein größeres Netzwerk hergestellt werden, beispielsweise das Internet. Ferner kann die Verbindung über ein Telekommunikationsnetz, etwa ein Mobilfunknetz, oder ein drahtloses lokales Netzwerk (WLAN) hergestellt werden. Ferner kann die Datenverbindung durch den Anschluss eines Datenkabels erfolgen. Die Verbindung kann auch über eine andere Einheit hergestellt werden, die selbst eine Verbindung zu der fahrzeugexternen Verarbeitungseinheit herstellen kann. Beispielsweise kann eine datentechnische Verbindung zwischen dem Fahrzeug und einem mit dem Internet verbundenen Mobiltelefon bestehen, etwa durch ein Datenkabel oder eine Funkverbindung, beispielsweise per Bluetooth. Insbesondere kann die Verbindung über das Internet hergestellt werden. Die fahrzeugexterne Verarbeitungseinheit ist insbesondere ein externer Server, der beispielsweise zentral für eine Vielzahl von Fahrzeugen bereitgestellt werden kann.
-
Bei dem Verfahren können unterschiedliche Zeitpunkte für die Übertragung der Übertragungsdaten an die fahrzeugexterne Verarbeitungseinheit vorgesehen sein. Beispielsweise kann eine fortlaufende Verbindung zwischen dem Fahrzeug und der Verarbeitungseinheit bestehen oder diese kann periodisch in bestimmten Abständen aufgebaut werden. Ferner kann eine Übertragung anhand von Nutzereingaben vorgesehen sein. Zudem kann bei dem Verfahren die Übertragung der Übertragungsdaten an die fahrzeugexterne Verarbeitungseinheit nach Abschluss einer Fahrt des Fahrzeugs entlang der Trajektorie erfolgen.
-
Die Erfassung der Zusatzinformationen erfolgt insbesondere vollautomatisch. Sie kann etwa direkt nach dem Empfangen der Übertragungsdaten durch die Verarbeitungseinheit erfolgen oder in einem anschließenden Schritt, etwa nach einer vorhergehenden Vorverarbeitung der Daten.
-
Bei einer Ausbildung des erfindungsgemäßen Verfahrens werden die Zusatzinformationen anhand der Positionsdaten und Zeitdaten erfasst. Dadurch werden vorteilhafterweise besonders grundlegende Informationen im Zusammenhang mit den erfassten Sensordatensätzen ausgewertet und genutzt, um die Trainingsdaten anzureichern.
-
Beispielsweise kann die fahrzeugexterne Verarbeitungseinheit die Zusatzinformationen anhand der Positionsdaten, Zeitdaten und/oder Steuerungsdaten des Fahrzeugs erfassen. Die Zuordnung der Positions- und Zeitdaten zu den Sensordatensätzen erlaubt es, die Zusatzinformationen für eine bestimmte Situation, an einer bestimmten Position und/oder zu einem bestimmten Zeitpunkt der Fahrt des Fahrzeugs entlang der Trajektorie zu erfassen. Die dabei erzeugten Zusatzinformationen können also eine Zuordnung von Klassifikationsinformationen so ermöglichen, dass diese ein Bereitstellen relevanter Zusatzinformationen für das Maschinenlernen ermöglichen.
-
Insbesondere wird zur Erfassung der Zusatzinformationen eine Datenbankabfrage durchgeführt. Hierzu können unterschiedliche Datenbanken verwendet werden, wie zum Beispiel Kartendaten, Wetterdaten, Verkehrsdaten oder Daten über bestimmte Ereignisse bereitstellen. Ferner kann die Datenbankabfrage auf unterschiedliche Weise gebildet werden. Das Verfahren kann also vorsehen, dass die fahrzeugexterne Verarbeitungseinheit Zusatzinformationen von Quellen erfasst, die einer Erfassung durch die Sensorik des Fahrzeugs nicht zugänglich ist. Insbesondere kann ein weiterer Verarbeitungsschritt vorgesehen sein, etwa eine Extraktion von Merkmalen aus Kartendaten oder Bilddaten anhand einer Bilderkennung oder eines neuronalen Netzes, um relevante Zusatzinformationen bereitzustellen oder eine Datenbankanfrage zu erzeugen.
-
In einem weiteren Schritt werden Trainingsdaten erzeugt, denen ferner Klassifikationsinformationen zugeordnet werden. Für die Trainingsdaten erfolgt insbesondere eine Aufbereitung der Übertragungsdaten und Zusatzinformationen so, dass sie für ein Training mittels Maschinenlernen für das Steuerungsmodell verwendet werden können.
-
Die Zuordnung der Klassifikationsinformationen entspricht einem Annotieren der Daten, wobei insbesondere den durch die Sensoren des Fahrzeugs erfassten Sensordatensätzen Annotationen zugeordnet werden können. Das heißt, die Trainingsdaten mit den ihnen zugeordneten Klassifikationsinformationen stellen Informationen bereit über Sensordaten und/oder Steuerungsdaten des Fahrzeugs für spezifische Situationen während der Fahrt des Fahrzeugs entlang der Trajektorie.
-
Die Klassifikationsinformationen können dabei auf unterschiedliche Weise gebildet sein, beispielsweise als Annotationen und/oder Schlagworte. Insbesondere sind sie dabei so gebildet, dass eine Suche nach mittels bestimmter Parameter definierten Situationen innerhalb der gespeicherten Trainingsdaten durchgeführt werden kann.
-
Bei einer weiteren Ausbildung betreffen die Klassifikationsinformationen eine geographische Umgebung des Fahrzeugs, eine Fahrsituation, klimatische Bedingungen und/oder Objekte in der Umgebung des Fahrzeugs. Sie können insbesondere Informationen über Orte in der Umgebung des Fahrzeugs betreffen, beispielsweise Sonderziele (Points of Interest). Die Trainingsinformationen umfassen dadurch vorteilhafterweise Informationen, die für ein gezieltes maschinelles Lernen von besonderer Relevanz sind.
-
Die Klassifikationsinformationen können beispielsweise einen bestimmten Straßenabschnitt betreffen, beispielsweise den Verlauf einer Gerade, einer Kurve oder einer bestimmten Kreuzungsform. Ferner können weitere Typen der Straßenführung identifiziert werden, etwa eine Autobahnauffahrt, ein Kreisverkehr oder ein Parkplatz. Es können Kreuzungen von Verkehrswegen identifiziert werden, wie etwa ein Fußgängerüberweg oder ein Bahnübergang. Zudem können verschiedene Arten von Straßen und Verkehrswegen identifiziert werden, zum Beispiel ein Feldweg, eine Autobahn oder eine Straße im städtischen oder ländlichen Bereich. Ferner kann die Umgebung klassifiziert werden, beispielsweise durch Erkennung von landwirtschaftlich genutzten Flächen, Wald, Wüste oder städtischen Bereichen.
-
Insbesondere können die Klassifikationsinformationen gebildet werden, indem anhand der Positionsdaten Informationen einer Karte in der unmittelbaren Umgebung des Fahrzeugs (etwa in einem Radius von 20 m) ausgewertet werden, wobei zum Beispiel neuronale Bilderkennungsnetze oder klassische Bildverarbeitungsverfahren (z.B. Computer Vision-Verfahren) verwendet werden können. Alternativ oder zusätzlich zu den Karteninformationen können beispielsweise Satellitenbilder oder Luftaufnahmen der Umgebung ausgewertet werden. Bei der Auswertung können insbesondere Eigenschaften von Verkehrswegen, Verkehrsregelungen und/oder Objekten in der Umgebung erkannt werden.
-
Ferner können die Klassifikationsinformationen gebildet werden, indem Informationen von Kartendiensten ausgewertet werden, die Informationen über Einrichtungen oder eine Bebauung in der Umgebung des Fahrzeugs umfassen. Auf diese Weise kann beispielsweise erkannt werden, ob sich in der Umgebung Gewerbe, Gastronomie, Industrie, ein Wohngebiet, ein Veranstaltungsort, Hafen oder Flughafen oder andere Einrichtungen befinden.
-
Weitere Daten, die zur Bestimmung der Klassifikationsinformationen genutzt werden, können beispielsweise anhand der Positionsdaten und der Zeitdaten ermittelte Informationen sein. Zum Beispiel können von einem Wetterdienst klimatische Daten über Feuchtigkeit, Wind, Schnee, Nebel, Niederschlag, Temperatur, Eis oder Gewitter erfasst werden. Verkehrsdatenbanken können zu Beurteilung eines Verkehrsaufkommens genutzt werden, insbesondere zur Erkennung von Staus oder Unfallstellen auf der befahrenen Trajektorie. Zudem können Sonnenauf- und -untergangskalender genutzt werden, um Informationen über die aktuelle Helligkeit im Bereich des Fahrzeugs bei Dämmerung, in der Nacht und am Tage zu erfassen. Zudem können Informationen über Großereignisse in der Umgebung erfasst werden, beispielsweise mittels Schnittstellen zu Nachrichten- und Bloggingdiensten, sozialen Netzwerken, Informationsportalen oder anderen Quellen, durch die insbesondere Datenbanken bereitgestellt werden.
-
Mittels einer Verknüpfung der Positions- und Zeitdaten können ferner Informationen über den Verlauf der befahrenen Trajektorie sowie die Entwicklung der Geschwindigkeit des Fahrzeugs ermittelt werden. Anhand dieser zur Verfügung stehenden Daten kann beispielsweise ein Überholvorgang, ein Spurwechsel, ein Schleudern oder eine starke Geschwindigkeitsänderung erkannt werden.
-
Durch die Verknüpfung von Positionsdaten und Steuerungsdaten des Fahrzeugs können weitere Informationen umfasst und umfassend ausgewertet werden, insbesondere wenn die Steuerungsdaten Informationen von weiteren Fahrerassistenzsystemen des Fahrzeugs umfassen. Auf diese Weise können beispielsweise Informationen über Geschwindigkeits- und Lenkverläufe erfasst werden, wobei ähnlich wie oben beschrieben ein Überholvorgang, ein Spurwechsel, ein Schleudern oder eine starke Geschwindigkeitsänderung erkannt werden können. Ferner können Verkehrszeichen, die insbesondere durch weitere Assistenzsysteme erkannt werden, berücksichtigt werden, ebenso Abstände zu anderen Fahrzeugen (beispielsweise erfasst durch einen Abstandsassistenten). Ferner können Eingriffe von Fahrerassistenzsystemen, etwa eines Spurhalteassistenten, berücksichtigt werden. Zudem können etwa aus Daten über Telefonie oder die Bedienung von Fahrzeugsystemen Rückschlüsse auf eine Ablenkung des Fahrers gezogen werden. Ferner kann eine Anzahl der Fahrgäste berücksichtigt werden.
-
Die Vielzahl der oben beschriebenen Informationen, die zur Bestimmung der Klassifikationsinformationen genutzt werden können, erlaubt beliebige Kombinationen, um möglichst spezifische und genaue Klassifikationen vornehmen zu können. Auch hierbei können Verfahren des Maschinenlernens verwendet werden, insbesondere aus dem Bereich der „Big Data“, das heißt mit Verfahren zur Verarbeitung großer Mengen von Daten aus unterschiedlichen Zusammenhängen.
-
Die Klassifikationsinformationen können ferner anhand einer semantischen Klassifikation erfolgen, bei der konkreten Beobachtungen von Objekten, Orten oder anderen Bedingungen jeweils ein übergeordneter Kategoriebegriff zugeordnet wird.
-
Bei einer Weiterbildung wird durch die fahrzeugexterne Verarbeitungseinheit eine Vielzahl von Übertragungsdaten erfasst und die Trainingsdaten werden anhand der Vielzahl von Übertragungsdaten gebildet. Dadurch kann vorteilhafterweise ein verteiltes Lernen implementiert werden, an dem insbesondere eine Vielzahl von Fahrzeugen zur Erfassung der Trainingsdaten eingesetzt werden können.
-
Die Vielzahl der Übertragungsdaten kann beispielsweise unterschiedliche Trajektorien oder Fahrten betreffen. Ferner können die Übertragungsdaten unterschiedliche Manöver des Fahrzeugs entlang der Trajektorie betreffen, beispielsweise Überholmanöver oder Spurwechsel, wobei auch Informationen über eine Fahrt eines Fahrzeugs mit zusammenhängenden Fahrmanövern in Schritte unterteilt werden können. Die Übertragungsdaten können ferner von unterschiedlichen Fahrzeugen bereitgestellt werden. Die fahrzeugexterne Verarbeitungseinheit kann in einem Konsolidierungsschritt die unterschiedlichen Übertragungsdaten sammeln und auf unterschiedliche Weisen zusammenfassen. Ferner können bei der Erzeugung der Trainingsdaten unterschiedliche Übertragungsdaten berücksichtigt werden.
-
Bei einer Ausbildung wird innerhalb der Trainingsdaten eine Trajektorie des Fahrzeugs erkannt. Insbesondere können sich die Klassifikationsinformationen dabei auf diese Trajektorie oder einen Abschnitt der Trajektorie beziehen. Dadurch umfassen die Trainingsdaten Informationen, die ein Lernen anhand einer konkreten, von einem Fahrzeug tatsächlich befahrenen Trajektorie erlauben.
-
Im Unterschied zur Erfassung von Straßenverläufen, die zu einer Karte zusammengesetzt werden können, können sich die Trainingsdaten auf eine bestimmte erkannte Trajektorie und/oder die Fahrt eines Fahrzeugs entlang der Trajektorie beziehen.
-
Bei einer weiteren Ausbildung wird anhand der Übertragungsdaten ein Fahrmanöver des Fahrzeugs erkannt und die erzeugten Trainingsdaten umfassen Informationen über das Fahrmanöver. Dies erlaubt vorteilhafterweise das maschinellen Lernen anhand von Trainingsdaten eines bestimmten Manövers, insbesondere zur Optimierung der Steuerungsmodells für dieses Manöver oder ähnliche Manöver, für die beispielsweise die gleichen Arten von Entscheidungen durch der Steuerungsmodell zu treffen sind.
-
Zur Erkennung eines Fahrmanövers werden insbesondere die Zeitdaten genutzt, um eine zeitliche Ordnung der umfassten Informationen zu erkennen, etwa um eine Zeitreihe der Erfassung von Sensordatensätzen zu rekonstruieren und den Ablauf eines Fahrmanövers zu bestimmen. Insbesondere wird dabei eine Reihe von zeitlich aufeinanderfolgenden Schritten erkannt, wobei die einzelnen Schritte als einzelne Fahrmanöver betrachtet oder in ihrer Gesamtheit als zusammenhängendes Fahrmanöver ausgewertet werden können. Zum Beispiel können die für ein Überholmanöver durchgeführten Schritte zur Steuerung des Fahrzeugs in Längs- und Querrichtung separat erkannt werden.
-
Die Trainingsdaten können die Informationen so umfassen, dass beispielsweise eine gezielte Suche nach einem bestimmten Fahrmanöver oder nach einer Unterklasse von bestimmten Ausführungen des Fahrmanövers durchgeführt werden kann.
-
Bei einer Weiterbildung wird eine Bewertung des erkannten Fahrmanövers erzeugt und den Trainingsdaten zugeordnet. Dadurch kann vorteilhafterweise bestimmt werden, ob und in welcher Weise ein Optimierungsbedarf für das Fahrmanöver besteht und eine Optimierung kann gezielt mittels Maschinenlernen durchgeführt werden.
-
Beispielsweise kann dabei bestimmt werden, ob das Fahrmanöver erfolgreich durchgeführt wurde oder vorzeitig abgebrochen werden musste. Ferner kann eine Bewertung der Sicherheit, der Geschwindigkeit, des Komforts und/oder anderer Bewertungskriterien erfolgen. Auf diese Weise kann beispielsweise ein gezieltes Training anhand von solchen Trainingsdaten erfolgen, bei denen ein Fahrmanöver nicht optimal ausgeführt wurde, um insbesondere eine automatische Fahrfunktion mittels des Steuerungsmodells in diesen Situationen zu verbessern.
-
Bei einer Ausbildung des Verfahrens wird das Fahrzeug zumindest teilweise automatisch mittels des Steuerungsmodells entlang der Trajektorie gesteuert. Dadurch können vorteilhafterweise die Daten, welche die Grundlage der Trainingsdaten bilden, bereits unter Test- und Nutzungsbedingungen erfasst werden, insbesondere um ein gezieltes Training des Steuerungsmodells durchführen zu können.
-
Dabei können unterschiedliche Grade der Automatisierung vorgesehen sein. Bei einem niedrigsten Automatisierungsgrad beeinflusst der Fahrer direkt die Bewegung des Fahrzeugs. Es werden allenfalls Signale oder Bewegungen von durch den Fahrer betätigten Bedienelementen, wie der Pedalerie, dem Schaltknüppel oder dem Lenkrad, an entsprechende Einrichtungen des Fahrzeugs übertragen, welche die Fortbewegung des Fahrzeugs beeinflussen. Bei einem höheren Grad der Automatisierung wird zum Teil automatisch in Einrichtungen eingegriffen, welche der Fortbewegung des Fahrzeugs dienen. Beispielsweise wird in die Lenkung des Fahrzeugs oder die Beschleunigung in positiver oder negativer Richtung eingegriffen. Bei einem noch höheren Grad der Automatisierung wird soweit in Einrichtungen des Fahrzeugs eingegriffen, dass bestimmte Fortbewegungsarten oder Fahrmanöver des Fahrzeugs, zum Beispiel eine Geradeausfahrt oder ein Spurwechsel, automatisch ausgeführt werden können. Beim höchsten Grad der Automatisierung kann eine Trajektorie im Wesentlichen automatisch gefahren werden.
-
Zur automatischen Steuerung werden Module verwendet, die einzelne Aspekte der automatischen Steuerung betreffen. Durch die Module werden anhand von Steuerungsmodellen Fahrentscheidungen getroffen und/oder Parameter für die Steuerung erzeugt.
-
Bei einer weiteren Ausbildung wird ein Lernauftrag für das Steuerungsmodell empfangen und für den Lehrauftrag werden anhand der Klassifikationsinformationen relevante Trainingsdaten bestimmt. Ein Verfahren zum maschinellen Lernen für das Steuerungsmodell wird mittels der der relevanten Trainingsdaten durchgeführt. Dadurch kann vorteilhafterweise ein Training für das Steuerungsmodell durchgeführt werden, wobei von dem Lernauftrag umfasste Vorgaben berücksichtigt werden können.
-
Der Lernauftrag definiert dabei einen bestimmten Trainingsbedarf für das Steuerungsmodell. Er kann auf unterschiedliche Weise erfasst werden, beispielsweise anhand einer manuellen Eingabe, wobei ein Nutzer zum Beispiel eine Funktion der automatischen Steuerung auswählt, für die ein Training durchgeführt werden soll. Ferner kann der Lernauftrags automatisch erzeugt werden, beispielsweise durch die fahrzeugexterne Verarbeitungseinheit anhand einer Analyse der Übertragungsdaten (insbesondere von mehreren Fahrzeugen und/oder über einen längeren Zeitraum bereitgestellte Übertragungsdaten), wobei insbesondere festgestellt werden kann, ob und in welcher Weise eine nicht-optimale Funktionsweise der automatischen Steuerung beobachtet wird. Ferner kann ein Fahrzeug einen Lernauftrag erzeugen, der ferner optional durch die fahrzeugexterne Verarbeitungseinheit an weitere Fahrzeuge verteilt werden kann.
-
Bei einer Weiterbildung umfasst der Lernauftrag Informationen über eine Fahrsituation des Fahrzeugs. Dadurch kann vorteilhafterweise mittels des Lernauftrags ein gezieltes Training für diese bestimmte Fahrsituation initiiert werden.
-
Durch das Fahrzeug werden dann Sensordatensätze erfasst und/oder Übertragungsdaten erzeugt, wenn die Fahrsituation erkannt wird, und anschließend werden diese Fahrsituation betreffende Übertragungsdaten erzeugt. Die Erkennung der Fahrsituation kann anhand unterschiedlicher Parameter erfolgen, beispielsweise bei einer bestimmten Position entlang der Trajektorie, bei einer bestimmten Art von Einrichtungen (zum Beispiel Ampeln oder Vorfahrtsregelungen), einem bestimmten Verlauf von Verkehrswegen (zum Beispiel Kreuzung oder Einmündung) oder bestimmten Verkehrsbedingungen (zum Beispiel im dichten Stadtverkehr oder beim Überholen auf einer Autobahn).
-
Insbesondere betrifft der Lernauftrag eine Fahrsituation, für die in einem Analyseschritt eine nicht-optimale Funktionsweise des Steuerungsmodells zur automatischen Fahrzeugsteuerung detektiert wurde.
-
Anhand des Lernauftrags können ferner Zusatzinformationen erfasst und/oder die Klassifikationsinformationen gebildet werden. Beispielsweise können Trainingsdaten mit Annotationen versehen sein, die eine Fahrsituation mit Relevanz für einen bestimmten Lernauftrag kennzeichnen, oder Parameter zur Identifikation einer solchen Fahrsituation können bei der Bildung der Zusatzinformationen und/oder Klassifikationsinformationen berücksichtigt werden.
-
Das erfindungsgemäße System zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung umfasst Sensoren eines Fahrzeugs, durch die Sensordatensätze erfassbar sind, während das Fahrzeug entlang einer Trajektorie gesteuert wird. Dabei umfassen die Sensordatensätze Positionsdaten und Zeitdaten sowie Steuerungsdaten des Fahrzeugs. Anhand der Sensordatensätze sind Übertragungsdaten erzeugbar. Das System umfasst ferner eine fahrzeugexterne Verarbeitungseinheit, an die die Übertragungsdaten übertragbar sind, wobei durch die fahrzeugexterne Verarbeitungseinheit anhand der Übertragungsdaten Zusatzinformationen erfassbar sind. Dabei sind die Trainingsdaten anhand der Übertragungsdaten und der Zusatzinformationen erzeugbar. Dabei sind den Trainingsdaten Klassifikationsinformationen zugeordnet und die Trainingsdaten sind mit den ihnen zugeordneten Klassifikationsinformationen speicherbar.
-
Das erfindungsgemäße System ist insbesondere ausgebildet, das vorstehend beschriebene erfindungsgemäße Verfahren zu implementieren. Das System weist somit dieselben Vorteile auf wie das erfindungsgemäße Verfahren.
-
Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.
- 1A zeigt beispielhaft ein Fahrzeug beim Befahren einer Trajektorie,
- 1B zeigt ein Ausführungsbeispiel des erfindungsgemäßen Systems,
- 2A zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens und
- 2B zeigt ein Verfahren zum Maschinenlernen anhand der durch das erfindungsgemäße Verfahren erzeugten Daten.
-
Mit Bezug zu den 1A und 1B wird ein Ausführungsbeispiel des erfindungsgemäßen Systems erläutert.
-
Ein Fahrzeug 1 bewegt sich in Richtung des Pfeils R entlang einer Trajektorie 2. Im Umfeld der Trajektorie 2 sind Gebäude 4 und Bäume 5 angeordnet, ferner führt die Trajektorie zu einer Kreuzung 3.
-
Das Fahrzeug 1 umfasst eine Steuereinheit 10, die mit einer Erfassungseinheit 11 und einer Schnittstelle 12 gekoppelt ist. Die Erfassungseinheit 11 umfasst Sensoren 11a, 11b, 11c. Durch die Schnittstelle 12 kann eine datentechnische Verbindung zu einer fahrzeugexternen Verarbeitungseinheit 20, hier zu einem externen Server 20, hergestellt werden.
-
Die Sensoren 11a, 11b, 11c können auf unterschiedliche, an sich bekannte Weisen gebildet sein und umfassen zum Beispiel eine Kamera, insbesondere zur Erfassung von Bilddaten im Bereich des sichtbaren Lichts und/oder im Infrarotbereich, einen Ultraschallsensor, einen Laserscanner, einen Radardetektor und/oder einen Sensor für Satellitensignale. Alternativ oder zusätzlich können andere Sensortypen vorgesehen sein.
-
Die Sensoren 11a, 11b, 11c dienen insbesondere dazu, Informationen über eine Umgebung des Fahrzeugs 11 zu erfassen. Anhand der von ihnen erfassten Informationen können insbesondere Lage, Position, Art und/oder Abmessungen von Objekten im Bereich der Trajektorie 2 erfasst oder bestimmt werden. Die Erfassungseinheit 11 kann dazu bei weiteren Ausführungsbeispielen eine Vorverarbeitungseinheit umfassen, durch die von den Sensoren 11a, 11b, 11c erfasste Daten in unterschiedlichem Maße vorverarbeitet werden können, wobei zum Beispiel eine Segmentierung und/oder eine relative oder absolute Positionsbestimmung anhand erfasster Daten erfolgen kann.
-
Die datentechnische Verbindung erfolgt insbesondere drahtlos, beispielsweise durch ein lokales Netzwerk oder ein größeres Netzwerk, beispielsweise das Internet. Ferner kann die Verbindung über ein Telekommunikationsnetz, etwa ein Telefonnetz, oder ein drahtloses lokales Netzwerk (WLAN) hergestellt werden. In einem anderen Ausführungsbeispiel kann die Datenverbindung durch den Anschluss eines Datenkabels erfolgen. Die Verbindung kann auch über eine andere Einheit hergestellt werden, die selbst eine Verbindung zu dem externen Server 20 herstellen kann. Beispielsweise kann eine datentechnische Verbindung zwischen dem Fahrzeug 1 und einem mit dem Internet verbundenen Mobiltelefon bestehen, etwa durch ein Datenkabel oder eine Funkverbindung, etwa per Bluetooth. Insbesondere kann die Verbindung zu dem externen Server 20 über das Internet hergestellt werden.
-
In weiteren Ausführungsbeispielen können alternativ oder zusätzlich zu den in 1A gezeigten Objekten weitere Verkehrsteilnehmer vorhanden sein, etwa weitere Fahrzeuge oder Fußgänger. Zudem können im Umfeld des Fahrzeugs 1 beliebige andere Verkehrssituationen vorhanden sein, beispielsweise unterschiedlich zueinander angeordnete Fahrspuren und Verkehrswege, Verkehrsregelungen wie Schilder, Fahrbahnmarkierungen und Lichtsignalanlagen oder äußere Umstände wie verschiedene klimatische Bedingungen, Jahres- und Tageszeiten. Das erfindungsgemäße Verfahren kann daher für unterschiedlichste Verkehrssituationen angewandt werden.
-
Mit Bezug zu 2A wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert, welches von dem erfindungsgemäßen System ausgeführt werden kann.
-
In einem Schritt S10 befährt das Fahrzeug 1 die Trajektorie 2 und erfasst dabei mittels der Sensoren 11a, 11b, 11c der Erfassungseinheit 11 Sensordatensätze. Die Sensordatensätze können beispielsweise Positionen der Gebäude 4 und Bäume 5 im Bereich des Fahrzeugs 1 beziehungsweise in der Umgebung der Trajektorie 2 betreffen. Hierbei können zum Beispiel Größen und Positionen bestimmt werden. Ferner betreffen die Sensordatensätze den Verlauf der Trajektorie 2 sowie die Kreuzung 3, das heißt auch den Verlauf weiterer Verkehrswege und deren Beziehung zu der selbstbefahrenen Trajektorie 2.
-
Das Befahren der Trajektorie 2 erfolgt bei dem Ausführungsbeispiel vollständig automatisch. Die Steuereinheit 10 umfasst hierbei verschiedene Module, durch die bestimmte automatische Fahrfunktionen implementiert werden. Diese Fahrfunktionen werden anhand von Steuerungsmodellen ausgeführt, die in diesem Beispiel durch maschinelles Lernen trainiert sind und zur automatischen Steuerung Entscheidungen treffen und/oder Steuerungsparameter bestimmen.
-
In weiteren Ausführungsbeispielen kann die Steuerung vollständig manuell oder zu unterschiedlichen Graden automatisch erfolgen. Dabei können zum Beispiel Fahrerassistenzsysteme zu einem unterschiedlichen Grad automatisch in die Steuerung des Fahrzeugs 1 eingreifen, etwa ein Spurhalteassistent, ein Überholassistent, ein Spurwechselassistent oder eine adaptive Geschwindigkeitsregelung. Die automatische Steuerung kann dabei zwischen einem besonders geringen Grad, bei dem einem Fahrer lediglich Fahrer Hinweise ausgegeben werden, bis zu einer weitgehenden oder vollständigen Übernahme der Steuerung des Fahrzeugs 1 durch automatische Systeme erreichen. Dabei ist insbesondere vorgesehen, dass der Fahrer jederzeit manuell in die Steuerung eingreifen kann, insbesondere um korrigierend tätig zu werden.
-
Die erfassten Sensordatensätze umfassen Positionsdaten und Zeitdaten. Bei dem Ausführungsbeispiel werden die Zeitdaten anhand einer an sich bekannten Vorrichtung zur Bestimmung der Uhrzeit und des Datums erfasst. Die Positionsdaten werden ebenfalls auf an sich bekannte Weise erfasst, insbesondere mittels eines Moduls zur Satellitennavigation (insbesondere GPS), wobei in weiteren Ausführungsbeispielen alternativ oder zusätzlich andere Arten der Positionsbestimmung verwendet werden können. Die Positionsdaten können relative und/oder absolute Positionen des Fahrzeugs 1 betreffen, insbesondere mit Bezug zu der Trajektorie 2. Die Positionsdaten können ferner Informationen über die Fahrtrichtung R des Fahrzeugs 1 umfassen.
-
Ferner umfassen die Sensordatensätze Steuerungsdaten des Fahrzeugs 1, die sich auf unterschiedliche Betriebszustände des Fahrzeugs 1 und/oder seine Steuerung beziehen. Dies können Informationen über die Funktionsweise einer vollständig oder teilweise automatischen Steuerung sein, etwa ein Betriebsmodus, ein Status eines bestimmten Moduls zur automatischen Steuerung, eine aktivierte oder deaktivierte Fahrfunktion oder eine Einstellung oder Konfiguration der automatischen Steuerung. Die Steuerungsdaten können ferner Informationen über den Status von Steuerungseinrichtungen des Fahrzeugs umfassen, beispielsweise eine Geschwindigkeit, eine Beschleunigung in Längs- oder Querrichtung, eine Bremskraft, ein Lenkwinkel, ein Status einer Beleuchtungsanlage und/oder einen Status von Einrichtungen innerhalb des Fahrzeugs 1, etwa eines durch Insassen des Fahrzeugs 1 bedienbaren Multimediasystems.
-
In einem weiteren Schritt S11 werden anhand der Sensordatensätze Übertragungsdaten erzeugt. Hierzu erfolgt eine Verarbeitung der Sensordatensätze, wobei eine Vorverarbeitung in unterschiedlichem Grade vorgenommen werden kann. Die Übertragungsdaten umfassen insbesondere Informationen betreffend die Positionsdaten und die Zeitdaten, sodass den Informationen, die anhand der weiteren Sensordaten bestimmt werden, jeweils ein bestimmter Zeitpunkt und eine Position des Fahrzeugs 1 entlang der Trajektorie 2 zugeordnet werden können. Insbesondere erfolgt eine Kompression der Daten, wobei insbesondere eine Übertragung redundanter Informationen vermieden werden kann.
-
In einem weiteren Schritt S12 werden die Übertragungsdaten von dem Fahrzeug 1 an den Server 20 übertragen. Hierzu kann die datentechnische Verbindung zwischen der Schnittstelle 12 von dem Server 20 hergestellt werden, soweit sie noch nicht besteht, etwa bei einer dauerhaften datentechnischen Verbindung.
-
Anhand der empfangenen Übertragungsdaten erfasst der externe Server 20 Zusatzinformationen. Hierzu werden Datenbanken verwendet, die entweder lokal auf dem Server 20 sein können oder auf die Zugriff des Servers 20 möglich ist, etwa über das Internet.
-
Zur Erfassung der Zusatzinformationen können beispielsweise unterschiedliche Datenbanken verwendet werden.
-
So können etwa Daten einer Landkarte ausgewertet werden, beispielsweise anhand von trainierten Klassifikatoren, neuronalen Bilderkennungsnetzen oder anhand klassischer Bilderkennungsverfahren. Dabei wird insbesondere ein Bereich um das Fahrzeug 1 beziehungsweise um die Trajektorie 2 herum berücksichtigt, etwa in einem bestimmten Radius um die Position des Fahrzeugs 1. Bei der Erfassung der Zusatzinformationen können Informationen über einen Abschnitt der Trajektorie 2 ermittelt werden, wie etwa eine Gerade, Kurve, T-Kreuzung, 4-Wege-Kreuzung, Autobahnauffahrt, ein Kreisverkehr, Parkplatz Fußgängerüberweg oder Bahnübergang. Ferner kann eine Straßenart berücksichtigt werden, beispielsweise durch eine Unterscheidung zwischen Feldweg, Landstraße und Autobahn sowie Straßen in einer Stadt oder auf dem Land.
-
Insbesondere können dabei hochauflösende Kartendaten verwendet werden, die beispielsweise detaillierte Informationen auch über einzelne Fahrstreifen oder Details in einem Größenbereich von einigen Zentimetern umfassen.
-
Ferner können Daten von Satellitenbildern und/oder von aus der Luft erfassten Bildern ausgewertet werden, insbesondere in Verbindung mit Daten einer Landkarte. Auch hier wird insbesondere ein bestimmter Bereich um die Position des Fahrzeugs 1 oder um die Trajektorie 2 herum berücksichtigt. Anhand dieser Daten können etwa Informationen über eine Umgebung bestimmt werden, etwa eine Unterscheidung zwischen landwirtschaftlich genutzten Flächen, Forstflächen, Wüste oder städtischen Gebieten.
-
Ferner können andere Kartendienste verwendet werden, beispielsweise um eine Art der Bebauung im Umfeld des Fahrzeugs 1 oder Trajektorie 2 zu bestimmen. Insbesondere werden dabei Informationen der Kartendienste über Einrichtungen berücksichtigt, etwa zur Bestimmung von Wohn-, Gewerbe- oder Industriegebieten, bestimmten Einrichtungen des Gewerbes, der Gastronomie oder der Industrie, Veranstaltungsstätten, wie etwa Stadien, und Verkehrsknotenpunkte, wie etwa Häfen oder Flughäfen.
-
Ferner kann beispielsweise eine Datenbank eines Wetterdienstes verwendet werden, um anhand der Positions- und Zeitdaten Informationen über Feuchtigkeit, Regen, Schnee oder anderen Niederschlag, Nebel, Eis, Wind, Gewitter und/oder eine Temperatur zu einem bestimmten Zeitpunkt und an einer bestimmten Position zu ermitteln. Ferner können etwa Verkehrsdatenbanken genutzt werden, um ein Verkehrsaufkommen zu bestimmen und zum Beispiel einen Stau zu erkennen. Ferner können Kalender zum Sonnenaufgang und -untergang verwendet werden, um Rückschlüsse auf die Umgebungshelligkeit zu ziehen. Über weitere Datenbanken sowie soziale Netzwerke und Daten von Informationsdiensten können beispielsweise Informationen über Großereignisse in der Umgebung des Fahrzeugs 1 als Zusatzinformationen erfasst werden.
-
Anhand der Steuerungsdaten des Fahrzeugs 1 können etwa Geschwindigkeits- und Lenkverläufe bestimmt werden und es kann eine Bestimmung von Fahrmanövern erfolgen, etwa Überholvorgänge, Spurwechsel, starke Bremsungen oder Beschleunigungen, Schleudern oder andere Manöver und Fahrsituation.
-
Ferner können durch Fahrerassistenzsysteme oder Module zur automatischen Steuerung des Fahrzeugs erfasste Daten berücksichtigt werden. So können etwa erkannte Verkehrszeichen, Abstände zu anderen Verkehrsteilnehmern, Eingriffe von Fahrerassistenzsystemen, etwa bei Abweichungen von Fahrspur, eine Ablenkung des Fahrers durch Telefonie oder die Bedienung von Fahrzeugsystemen sowie eine Anzahl von Fahrgästen im Fahrzeug 1 berücksichtigt werden.
-
Diese Anreicherung der Übertragungsdaten mit Zusatzinformationen erfolgt insbesondere vollautomatisch durch den Server 20. Dadurch wird eine Aufwertung von Mess- und Testdaten auf Basis der Zeit- und Positionsdaten erreicht.
-
In einem weiteren Ausführungsbeispiel ist der Erfassung der Zusatzinformationen ein Vorverarbeitungsschritt vorgeschaltet, bei dem eine Auswertung der Übertragungsdaten so erfolgt, dass möglichst genaue Kriterien für die Erfassung der Zusatzinformationen gefunden werden können. Beispielsweise können Maschinenlernverfahren verwendet werden, um die Übertragungsdaten auszuwerten und eine geeignete Suchanfrage für die Erfassung der Zusatzinformationen zu erzeugen. Auch hier werden insbesondere die erfassten Sensordaten und die durch den Server 20 erfassten Zusatzinformationen im Zusammenhang mit den Zeitdaten und Positionsdaten berücksichtigt.
-
In einem Schritt S14 werden Trainingsdaten erzeugt, wobei die Übertragungsdaten und die Zusatzinformationen berücksichtigt werden. Insbesondere umfassen die Trainingsdaten Informationen der Übertragungsdaten, aufbereitet durch die Zusatzinformationen. Dabei wird insbesondere eine Filterung der erfassten Zusatzinformationen durchgeführt, wobei eine Verarbeitung der Zusatzinformationen durchgeführt werden kann und/oder nicht relevante Zusatzinformationen verworfen werden können.
-
Die Trainingsdaten werden auf an sich bekannte Weise so erzeugt, dass ein Training eines Steuerungsmodells zur automatischen Fahrzeugsteuerung beziehungsweise eines Steuerungsmodells für ein Modul für eine automatische Fahrfunktion anhand der Trainingsdaten trainiert werden kann. Hierzu werden gegebenenfalls Anforderungen an Dateiformate, die Aufbereitung von Daten sowie die notwendigen Metainformationen innerhalb der Trainingsdaten berücksichtigt.
-
In einem Schritt S15 werden den Trainingsdaten Klassifikationsinformationen zugeordnet, wobei insbesondere die Zusatzinformationen berücksichtigt werden. Dies entspricht insbesondere einer Annotierung der Trainingsdaten. Bei dem Ausführungsbeispiel werden die Klassifikationsinformationen in einer Datenbank vorgegeben, die beispielsweise Bezeichnungen für bestimmte Verkehrssituationen umfassen.
-
In weiteren Ausführungsbeispielen werden die Klassifikationsinformationen anhand weiterer Kriterien gebildet, beispielsweise mittels eines neuronalen Netzes, welches automatisch eine Klassifikation erzeugt und entsprechend die Klassifikationsinformationen den Trainingsdaten zugeordnet.
-
Um den Ablauf des Verfahrens mit hoher Automatisierung durchzuführen, ist bei dem Ausführungsbeispiel vorgesehen, dass nach dem Empfangen der Übertragungsdaten durch den Server 20 Informationen für einzelne Messpunkte automatisch an eine Annotationskomponente zum automatischen Annotieren übergeben werden. Als einzelne Messpunkte werden hierbei Daten bezeichnet, die von der Erfassungseinheit 11 des Fahrzeugs 1 als Sensordatensätze erfasst werden und die Messdaten der Sensoren 11a, 11b, 11c des Fahrzeugs 1 zu einem bestimmten Zeitpunkt (und daher an einer bestimmten Position) entsprechen. Die Annotationskomponente übergibt die Daten der einzelnen Messpunkte an Fachkomponenten, durch die Mutationsklassen ermittelt und wieder an die Annotationskomponente übergeben werden. Insbesondere können dabei Messpunkte für einen bestimmten Zeitraum (etwa die letzten 10 Sekunden) zusammengefasst werden, etwa um Zusatzinformationen und entsprechende Klassifikationsinformationen ermitteln zu können, die sich bei der Fahrt langsamer verändern. Die Annotationskomponente kann die Messdaten zusätzlich mit Informationen versehen, die beispielsweise die konkrete Fahrt betreffen, etwa Informationen über das Messfahrzeug, eine konkrete Messkampagne, den Fahrer, einen manuellen, teilautomatisierten oder autonomen Fahrtmodus, die verwendeten Sensoren 11a, 11b, 11c, grobe geographische Informationen wie Land oder Bundesland und/oder andere Zusatzinformationen.
-
Die Trainingsdaten werden mit den ihnen zugeordneten Klassifikationsformationen gespeichert, beispielsweise in einer Datenbank des Servers 20. Eine solche Datenbank wird insbesondere zum Zwecke von Training, Tests oder Validationsaufgaben angelegt und zur Verfügung gestellt.
-
Um in einem weiteren Schritt S16 ein Maschinenlernen mittels der Trainingsdaten durchzuführen, können die Klassifikationsinformationen genutzt werden, um relevante Trainingsdaten zu identifizieren und zum Training eines Steuerungsmodells zu verwenden.
-
Mit Bezug zu 2B wird ein Verfahren zum Maschinenlernen anhand der durch das erfindungsgemäße Verfahren erzeugten Daten erläutert. Dabei wird von dem oben mit Bezug zu 2A erläuterten Ausführungsbeispiel des erfindungsgemäßen Verfahrens sowie von dem mit Bezug zu den 1A und 1B erläuterten Ausführungsbeispiel des erfindungsgemäßen Systems ausgegangen.
-
In einem Schritt S20 wird eine automatische Steuerung des Fahrzeugs 1 mittels eines Steuerungsmodells durchgeführt. Insbesondere befährt das Fahrzeug 1 die Trajektorie 2 vollautomatisch, wobei einzelne automatische Fahrfunktionen durch Module gesteuert werden, die jeweils anhand eines Steuerungsmodells Fahrentscheidungen treffen und/oder Parameter zur automatischen Steuerung bestimmen. Während der Fahrt entlang der Trajektorie 2 werden Sensordaten erfasst und es wird das oben mit Bezug zu 2A beschriebene Verfahren ausgeführt.
-
In weiteren Ausführungsbeispielen erfolgt die Fahrt manuell oder nur teilweise automatisch gesteuert. Das Steuerungsmodell kann dabei verwendet werden, um eine automatische Fahrfunktion eines Fahrerassistenzsystems zu steuern, oder in einem Beobachtungsmodus, wobei ein Modul zur automatischen Steuerung Fahrfunktion lediglich passiv betrieben wird und dabei keine aktiven Eingriff in die Steuerung vornimmt.
-
In einem weiteren Schritt S21 wird ein Lernauftrag erzeugt, der sich insbesondere auf ein bestimmtes Steuerungsmodell für eine automatische Fahrfunktion bezieht. Hierzu werden die bei der Fahrt erfassten Sensordaten ausgewertet, wobei insbesondere kritische Fahrsituationen detektiert werden, in denen die automatische Steuerung anhand des Steuerungsmodells nicht optimal funktioniert. Insbesondere können sogenannte „Corner Cases“ erkannt werden, das heißt Fälle, in denen Parameter extreme Werte annehmen und eine automatische Fahrfunktion an Grenzen gelangt oder versagt. Als kritisch werden insbesondere solche Fahrsituationen erkannt, bei denen eine automatische Steuerung nicht mit optimaler Sicherheit und/oder optimalem Komfort für Fahrzeuginsassen durchgeführt werden kann.
-
Die Erkennung kritischer Fahrfunktionen kann auf unterschiedliche an sich bekannte Weise erfolgen, beispielsweise anhand einer abrupten Beschleunigung oder Verzögerung des Fahrzeugs 1, mittels einer Beurteilung der Fahrsicherheit oder mittels einer manuellen Eingabe eines Nutzers. Dabei kann der Nutzer beispielsweise angeben, für welche Fahrsituationen die automatische Steuerung verbessert werden soll.
-
Der Lernauftrag umfasst insbesondere Informationen darüber, welches Steuerungsmodell für welche Fahrsituationen trainiert werden soll. Die Fahrsituationen können insbesondere durch eine Parametrisierung vorgegeben sein, beispielsweise durch eine Definition bestimmter klimatischer Parameter, Parameter eines Streckenverlaufs, Parameter eines Manövers und/oder Parameter betreffend andere Verkehrsteilnehmer in der Umgebung des Fahrzeugs 1. Eine Fahrsituation kann beispielsweise als „Linksabbiegen an einer Kreuzung bei Dämmerung“ oder „Überholen auf einer Landstraße bei geringem Verkehr“ definiert sein.
-
In einem Schritt S22 werden verfügbare Trainingsdaten durchsucht und es werden für den Lernauftrag relevante Trainingsdaten identifiziert. Hierbei werden an sich bekannte Verfahren zum Durchsuchen von gespeicherten Daten verwendet. Insbesondere erfolgte die Suche anhand der den Trainingsdaten zugeordneten Klassifikationsinformationen, die beispielsweise Werte von Parametern repräsentieren, durch die ein Lernauftrags definiert sein kann.
-
In einem Schritt S23 wird ein Maschinenlernen mittels der als relevant identifizierten Trainingsdaten durchgeführt. Hierzu werden an sich bekannte Verfahren des Maschinenlernens verwendet, um ein Steuerungsmodell anhand von Daten zu trainieren.
-
In einem optionalen Schritt S24 kann ein aktualisiertes Steuerungsmodell erzeugt und an das Fahrzeug 1 übertragen werden, um diesem die Nutzung dieses zusätzlich trainierten Steuerungsmodells zu erlauben. Dabei ist insbesondere ein Freigabeprozess vorgesehen, bei dem die Sicherheit der Funktionsweise des aktualisierten Steuerungsmodells überprüft und sichergestellt wird. Insbesondere kann ein automatischer Updateprozess vorgesehen sein, bei dem das Fahrzeug 1 aktualisierte und freigegebene Steuerungsmodelle empfängt und für die automatische Steuerung der Fahrt nutzt.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Trajektorie
- 3
- Kreuzung
- 4
- Gebäude
- 5
- Bäume
- 10
- Steuereinheit
- 11
- Erfassungseinheit
- 11a, 11b, 11c
- Sensoren
- 12
- Schnittstelle
- 20
- Fahrzeugexterne Verarbeitungseinheit ; Server
- R
- Pfeil; Fahrtrichtung
- S10
- Erfassung von Sensordatensätzen entlang einer Trajektorie
- S11
- Erzeugung von Übertragungsdaten
- S12
- Übertragung der Übertragungsdaten
- S13
- Erfassung von Zusatzinformationen
- S14
- Erzeugung von Trainingsdaten
- S15
- Zuordnung von Klassifikationsinformationen
- S16
- Maschinenlernen mittels Trainingsdaten
- S20
- Automatisches Fahren mittels eines Steuerungsmodells
- S21
- Erzeugung eines Lernauftrags
- S22
- Bestimmung relevanter Trainingsdaten
- S23
- Maschinenlernen mittels relevanter Trainingsdaten
- S24
- Übertragung eines aktualisierten Steuerungsmodells
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016216268 A1 [0003]
- DE 102013007502 A1 [0004]
