-
Gebiet der Erfindung
-
Die Erfindung betrifft das nicht-überwachte oder teilüberwachte maschinelle Lernen eines Klassifikators für Objekte in der Umgebung eines Fahrzeugs für ein System zum assistierten oder autonomen Fahren. Dabei werden Informationen aus der Nachverfolgung von Objekten in einer Zeitreihe von Trainings-Umgebungsdaten verwendet. Insbesondere betrifft die Erfindung ein Datenverarbeitungssystem zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren, ein System zum assistierten oder autonomen Fahren eines Fahrzeugs sowie ein computerimplementiertes Verfahren zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren.
-
Hintergrund
-
Moderne Kraftfahrzeuge verfügen häufig über eine Vielzahl von Systemen zum assistierten Fahren. Diese können beispielsweise zur Erhöhung der Sicherheit im Straßenverkehr, zur Verbesserung des Fahrkomforts oder zur Vereinfachung der Steuerung des Fahrzeugs beitragen.
-
Systeme zum assistierten oder autonomen Fahren benötigen in der Regel Sensordaten, die physikalische Kenngrößen des Fahrzeugs oder seines Umfelds beschreiben. Beispielsweise können Radar-, Kamera-, Lidar- oder Ultraschallsysteme verwendet werden, um das Umfeld des Fahrzeugs zu erfassen. Beispielsweise kann ein Radarsystem den Abstand und die Richtung eines Objekts relativ zu dem Fahrzeug messen. Darüber hinaus kann ein Radarsystem die äußere Form des Objekts, seine Geschwindigkeit sowie eine auf Reflexionskoeffizienten basierende Signatur des Objekts erfassen.
-
Anschließend können Daten verschiedener Sensorsysteme miteinander fusioniert werden. Dabei können beispielsweise mit verschiedenen Sensorsystemen erfasste Merkmale eines Objekts zusammengefasst werden. Es ist auch möglich, dass ein Merkmal wie die Größe eines Objekts mit mehreren Sensorsystemen gemessen wurde, beispielsweise mit einem Radarsystem sowie mit einem Mehrkamerasystem, sodass eine Aufgabe der Sensordatenfusion auch darin bestehen kann, einen einheitlichen Wert für mehrmals gemessene Merkmale zu bestimmen.
-
Insbesondere können Muster gebildet werden, wobei jedes Muster vorzugsweise Merkmale nur eines Objekts aufweist. Beispielsweise kann ein Muster Merkmale der von einem Radarsystem gemessenen Ausdehnung und/oder Signatur eines Objekts aufweisen. Das Muster kann darüber hinaus auch von anderen Sensorsystemen erfasste Merkmale des Objekts aufweisen, beispielsweise Merkmale basierend auf Kameradaten.
-
Die Muster können dann klassifiziert werden, d.h. es kann detektiert werden, ob ein Muster beispielsweise einen Fußgänger, ein Fahrzeug, eine Brücke oder ein Hindernis wie zum Beispiel ein stehendes Fahrzeug wiedergibt. Diese Klassifikationsergebnisse können in Systemen zum assistierten oder autonomen Fahren zum Beispiel verwendet werden, um Gefahrensituationen zu erkennen oder eine automatische Steuerung des Fahrzeugs zu ermöglichen.
-
Für die Klassifikation der Muster können beispielsweise händisch entworfene Klassifikatoren verwendet werden. Beispielsweise kann ein Ingenieur Wertebereiche für die Höhe und die Breite der Objekte jeder Klasse vorgegeben. Die Klassifikation eines Objekts kann dann beispielsweise erfolgen, indem Radarmesswerte der Höhe und der Breite eines Objekts mit den von dem Ingenieur vorgegebenen Wertebereichen verglichen werden.
-
Alternativ zum händischen Entwurf von Klassifikatoren können diese auch maschinell gelernt werden. Beispielsweise können für die Klassifikation der Muster neuronale Netze, lineare Klassifikatoren, Entscheidungsbäume oder das AdaBoost-Verfahren verwendet werden. Um neuronale Netze oder andere mathematische Funktionen für die Klassifikation von Objekten im Umfeld des Fahrzeugs zu trainieren, werden bisher Muster händisch vorklassifiziert. Der Klassifikator kann dann unter Verwendung der vorklassifizierten Muster trainiert werden. Aufgrund der händischen Vorklassifikation spricht man auch von einem überwachten Lernen des Klassifikators.
-
Allerdings ist das Vorklassifizieren der Muster arbeitsintensiv und mit erheblichen Kosten verbunden. Dies kann dazu führen, dass nur eine relativ geringe Zahl an Mustern vorklassifiziert wird, sodass für das Lernen des Klassifikators auch nur eine geringe Zahl an vorklassifizierten Trainingsmustern bereitsteht, was wiederum die Güte des gelernten Klassifikators begrenzt.
-
Zusammenfassung der Erfindung
-
Mit Ausführungsformen der Erfindung kann ein Klassifikator nicht- oder teilüberwacht gelernt werden, wobei der Klassifikator eine hohe Klassifikationsgüte bereitstellt. Dies wird insbesondere durch die Gegenstände der unabhängigen Patentansprüche ermöglicht. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung.
-
Die beschriebenen Ausführungsbeispiele betreffen gleichermaßen das Datenverarbeitungssystem zum Lernen des Klassifikators für ein System zum assistierten oder autonomen Fahren, das System zum assistierten oder autonomen Fahren sowie das computerimplementierte Verfahren zum Lernen des Klassifikators für ein System zum assistierten oder autonomen Fahren. Mit anderen Worten können Merkmale, die im Folgenden in Bezug auf das Datenverarbeitungssystem beschrieben werden, ebenso in das System zum assistierten oder autonomen Fahren implementiert werden und als Merkmale des computerimplementierten Verfahrens angesehen werden, und umgekehrt.
-
Aus unterschiedlichen Kombinationen der Ausführungsbeispiele können sich Synergieeffekte ergeben, auch wenn sie nicht im Detail beschrieben sind.
-
Ein erster Aspekt der Erfindung betrifft ein Datenverarbeitungssystem zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren für ein Fahrzeug, wobei das Datenverarbeitungssystem dazu eingerichtet ist, eine mit Sensoren aufgenommene Zeitreihe von Umgebungsdaten des Fahrzeugs zu empfangen und aus den Umgebungsdaten Muster für das Lernen des Klassifikators zu bestimmen, wobei vorzugsweise jedes Muster jeweils ein Objekt zu einem Zeitpunkt der Zeitreihe wiedergibt. Das Datenverarbeitungssystem ist ferner dazu eingerichtet, Objekte in den Umgebungsdaten nachzuverfolgen und Muster, die ein Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, zu assoziieren. Das Datenverarbeitungssystem ist auch zum Bestimmen von ersten Klassifikationen für zumindest einen Teil der Muster eingerichtet. Darüber hinaus ist das Datenverarbeitungssystem dazu eingerichtet, zweite Klassifikationen für zumindest einen Teil der Muster unter Verwendung der ersten Klassifikationen oder modifizierten ersten Klassifikationen sowie der Assoziationen zwischen den Mustern zu bestimmen. Zusätzlich ist das Datenverarbeitungssystem dazu eingerichtet, den Klassifikator unter Verwendung der zweiten Klassifikationen zu lernen.
-
Beispielsweise kann die Zeitreihe von Umgebungsdaten des Fahrzeugs mit einem Radarsystem, einem Kamerasystem, einem Ultraschallsystem und/oder einen Lidarsystem aufgenommen werden. Das Datenverarbeitungssystem ist dazu eingerichtet, zu mehreren Zeitpunkten aufgenommene Umgebungsdaten des Fahrzeugs zu empfangen, beispielsweise zu äquidistanten Zeitpunkten aufgenommene Umgebungsdaten.
-
Das Datenverarbeitungssystem kann dazu eingerichtet sein, die von den Sensoren aufgenommenen Umgebungsdaten einer vorzuverarbeiten. Beispielsweise können die von einer Radarantenne empfangenen Signale verstärkt, tiefpassgefiltert, in einen Basisband-Frequenzbereich transformiert, abgetastet, quantifiziert und/oder digitalisiert werden.
-
Ferner ist das Datenverarbeitungssystem dazu eingerichtet, aus den Umgebungsdaten Muster für das Training des Klassifikators zu bestimmen. Dabei stellt ein Muster einen Merkmalsvektor dar, wobei jedes Muster vorzugsweise genau ein Objekt zu einem Zeitpunkt der Zeitreihe repräsentiert. Beispielsweise kann das Datenverarbeitungssystem dazu eingerichtet sein, aus den von einem Radarsystem aufgenommenen Umgebungsdaten zu ermitteln, dass sich ein Objekt in einem bestimmten Abstand und in einer bestimmten Richtung befindet. Für ein solches Objekt können Merkmale extrahiert werden. Beispielsweise können Parameter der äußeren Form wie die Höhe oder die Breite des Objekts gemessen werden. Ferner kann das Datenverarbeitungssystem dazu eingerichtet sein, aus Radarumgebungsdaten die Geschwindigkeit eines Objekts zu bestimmen. Darüber hinaus können Merkmale einer Radarsignatur eines Objekts bestimmt werden, beispielsweise ein betragsmäßiger Mittelwert des Reflexionskoeffizienten. Ein Muster kann also Merkmale wie die Höhe, die Breite, die Geschwindigkeit oder Parameter der Radarsignatur aufweisen. Ein Muster kann auch Merkmale aufweisen, die aus Umgebungsdaten extrahiert wurden, die mit verschiedenen Sensorsystemen aufgenommen wurden. Beispielsweise kann ein Muster sowohl Merkmale aufweisen, die aus Radar-Umgebungsdaten extrahiert wurden als auch Merkmale, die aus Kamera-, Ultraschall- oder Lidar-Umgebungsdaten extrahiert wurden.
-
Ferner ist das Datenverarbeitungssystem dazu eingerichtet, ein Tracking von Objekten in der Zeitreihe der Umgebungsdaten auszuführen. Dabei kann detektiert werden, dass verschiedene Muster dasselbe Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben. Das Datenverarbeitungssystem ist dazu eingerichtet, Muster, die dasselbe Objekt zu unterschiedlichen Zeitpunkten der Zeitreiche wiedergeben, zu assoziieren. Zur Nachverfolgung von Objekten in der Zeitreihe von Umgebungsdaten können beispielsweise Verfahren verwendet werden, wie sie in „Design and Analysis of Modern Tracking Systems“ von S. Blackman und R. Popoli, Artech House, 1999 beschrieben sind.
-
Darüber hinaus ist das Datenverarbeitungssystem zum Bestimmen von ersten Klassifikationen für zumindest einen Teil der Muster eingerichtet. Die ersten Klassifikationen können beispielsweise händisch bestimmt werden. Die ersten Klassifikationen können also ohne Verwendung eines (mathematischen) Klassifikators bestimmt werden. Alternativ oder in Ergänzung zu einer händischen Vorklassifizierung von Mustern können erste Klassifikationen auch mit einem initialen Klassifikator bestimmt werden, insbesondere mit einem händisch entworfenen initialen Klassifikator. Ein solcher initialer Klassifikator ist von dem zu lernenden Klassifikator zu unterscheiden.
-
Außerdem ist das Datenverarbeitungssystem dazu eingerichtet, zweite Klassifikationen für zumindest einen Teil der Muster zu bestimmen. Dabei werden die Assoziationen zwischen den Mustern verwendet, d.h. es werden Informationen aus der zeitlichen Nachverfolgung von Objekten in den Umgebungsdaten verwendet. Weiterhin werden die ersten Klassifikationen oder verarbeitete erste Klassifikationen verwendet.
-
Bei der Bestimmung der zweiten Klassifikationen soll ausgenutzt werden, dass assoziierte Muster, d.h. Muster, die das gleiche Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, zu der gleichen Klasse gehören. Daher kann es vorteilhaft sein, beispielsweise die mit einem initialen Klassifikator bestimmten ersten Klassifikationen von Mustern, die zu dem gleichen Objekt gehören, zu mitteln. Mit anderen Worten können beispielsweise die ersten Klassifikationen von assoziierten Mustern gemittelt werden. Ferner können erste Klassifikationen eines Objekts übertragen werden auf Muster desgleichen Objekts, für die keine erste Klassifikation bestimmt wurde.
-
Beispielsweise kann die mittels eines initialen Klassifikators bestimmte erste Klassifikation eines Objekts ungenau sein, wenn sich das Objekt weit von dem Fahrzeug entfernt befindet. Eine genauere Klassifikation des Objekts kann möglich sein, wenn sich das Objekt näher an dem Fahrzeug befindet. Dies kann bei der Bestimmung der zweiten Klassifikationen ausgenutzt werden, wenn das Datenverarbeitungssystem dazu eingerichtet ist, die Distanz eines von einem Muster wiedergegebenen Objekts von dem Fahrzeug zu bestimmen. Insbesondere können erste Klassifikationen gewichtet gemittelt werden, wobei größere Gewichte verwendet werden, wenn sich das Objekt in der Nähe des Fahrzeugs befindet als wie wenn sich das Objekt weit von dem Fahrzeug entfernt befindet.
-
Bei der Bestimmung der zweiten Klassifikationen kann darüber hinaus berücksichtigt werden, dass händisch bestimmte erste Klassifikationen zuverlässiger sind als erste Klassifikationen, die mit einem initialen Klassifikator bestimmt wurden. Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, händisch bestimmte erste Klassifikationen von Mustern ohne Änderung als zweite Klassifikationen zu übernehmen.
-
Das Datenverarbeitungssystem ist dazu eingerichtet, erste Klassifikationen für einen ersten Teil der Muster und zweite Klassifikationen für einen zweiten Teil der Muster zu bestimmen. Der zweite Teil der Muster kann den ersten Teil der Muster umfassen. Es ist aber auch möglich, dass für Muster des ersten Teils der Muster keine zweite Klassifikation bestimmt wird. Dies kann beispielsweise dann erfolgen, wenn detektiert wurde, dass eine Assoziation von Musters basierend auf der Nachverfolgung von Objekten in der Zeitreihe der Umgebungsdaten fehlerhaft ist.
-
Das Datenverarbeitungssystem ist darüber hinaus dazu eingerichtet, den Klassifikator unter Verwendung der zweiten Klassifikationen zu lernen. Bei dem zu lernenden Klassifikator kann es sich beispielsweise um ein neuronales Netz handeln. Während dieser Lernphase werden die zweiten Klassifikationen und die dazugehörigen Muster als Trainingsdaten verwendet.
-
Die zweiten Klassifikationen können für einen größeren Teil der Muster bestimmt werden als die ersten Klassifikationen, insbesondere wenn die ersten Klassifikationen händisch bestimmt werden. Die zweiten Klassifikationen stellen daher eine größere Trainingsdatenmenge für das Lernen des Klassifikators bereit im Vergleich zu der Verwendung von händisch bestimmten ersten Klassifikationen wie im Stand der Technik. Dies kann dazu beitragen, dass der Klassifikator besser gelernt werden kann, d.h. es kann eine höhere Klassifikationsgüte erreicht werden.
-
Bei Verwendung eines initialen Klassifikators für die Bestimmung der ersten Klassifikationen kann ein händisches Vorklassifizieren von Mustern entfallen. Die Verwendung eines initialen Klassifikators ermöglicht daher ein nicht-überwachtes Lernen des Klassifikators, d.h. ein Lernen des Klassifikators ohne händische Bestimmung von Klassifikationen. Die erfindungsgemäße Bestimmung der zweiten Klassifikationen bietet dabei den Vorteil, dass die zweiten Klassifikationen unter Ausnutzung der Assoziationen zwischen Mustern zuverlässiger bestimmt werden können als die ersten Klassifikationen, die separat und unabhängig für einzelne Muster bestimmt werden. Die zweiten Klassifikationen stellen daher eine verbesserte Trainingsdatenmenge für das Lernen des Klassifikators bereit im Vergleich zu der direkten Verwendung der von einem initialen Klassifikator bestimmten ersten Klassifikationen.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, die folgende Sequenz von Schritten ein- oder mehrmals auszuführen: i) Bestimmen von dritten Klassifikationen für zumindest einen Teil der Muster unter Verwendung des Klassifikators; ii) Bestimmen von zweiten Klassifikationen von zumindest einem Teil der Muster unter Verwendung der dritten Klassifikationen und der Assoziationen zwischen den Mustern; iii) Erneutes Lernen des Klassifikators unter Verwendung der zweiten Klassifikationen.
-
Es können also drei Schritte iterativ wiederholt werden. In dem ersten Schritt können dritte Klassifikationen für einen Teil der Muster unter Verwendung des gelernten Klassifikators bestimmt werden. Dabei kann der gelernte Klassifikator separat und unabhängig auf einzelne Muster angewendet werden.
-
Die dritten Klassifikationen werden dabei für einen dritten Teil der Muster bestimmt. Der dritte Teil der Muster kann sich unterscheiden von dem ersten Teil der Muster, für den die ersten Klassifikationen bestimmt werden, sowie von dem zweiten Teil der Muster, für den die zweiten Klassifikationen bestimmt werden.
-
In dem zweiten Schritt werden zweite Klassifikationen von Mustern unter Verwendung der dritten Klassifikationen und der Assoziationen zwischen den Mustern bestimmt. Dieser Schritt ist insofern konzeptuell ähnlich zu der Bestimmung von zweiten Klassifikationen unter Verwendung der ersten Klassifikationen oder modifizierten ersten Klassifikationen, als dass in beiden Fällen ausgenutzt wird, dass assoziierten Mustern, d.h. Mustern, die das gleiche Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, die gleiche Klassifikation zugewiesen werden kann. Allerdings unterscheidet sich die Bestimmung von zweiten Klassifikationen unter Verwendung der dritten Klassifikationen von der Bestimmung von zweiten Klassifikationen unter Verwendung der ersten oder verarbeiteten ersten Klassifikationen hinsichtlich der Eingangsdaten des Datenverarbeitungsalgorithmus. Darüber hinaus können algorithmische Unterschiede bestehen, beispielsweise kann bei der Bestimmung der zweiten Klassifikationen unter Verwendung der ersten Klassifikationen oder modifizierten ersten Klassifikationen eine Mittelung von ersten Klassifikationen assoziierter Muster erfolgen, während bei der Bestimmung der zweiten Klassifikationen unter Verwendung der dritten Klassifikationen eine gewichtete Mittelung von dritten Klassifikationen assoziierter Muster erfolgen kann.
-
Die zuletzt bestimmten zweiten Klassifikationen können in dem dritten Schritt verwendet werden, um den Klassifikator erneut zu lernen. Dabei muss der Klassifikator nicht von Null neu gelernt werden, sondern der zuvor gelernte Klassifikator kann als Startpunkt eines numerischen Lernverfahrens verwendet werden.
-
Simulationsergebnisse zeigen, dass die unter Verwendung der dritten Klassifikationen bestimmten zweiten Klassifikationen eine höhere Güte haben können als die unter Verwendung der ersten Klassifikationen bestimmten zweiten Klassifikationen. Darüber hinaus zeigen Simulationsergebnisse, dass die Performanz des gelernten Klassifikators durch iteratives Wiederholen der genannten drei Schritte verbessert werden kann.
-
Bei der iterativen Wiederholung der genannten drei Schritte können sich sowohl die zweiten als auch die dritten Klassifikationen von Iteration zu Iteration unterscheiden können. Ferner können sich die Teile der Muster, für die Klassifikationen bestimmt werden, von Iteration zu Iteration unterscheiden, und zwar sowohl für die zweiten Klassifikationen als auch für die dritten Klassifikationen. In einer Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, die zweiten und dritten Klassifikationen für alle Muster zu bestimmen.
-
Die drei Schritte können beispielsweise für eine fest vorgegebene Anzahl an Iterationen wiederholt werden. Alternativ können die drei Schritte so lange iterativ wiederholt werden, bis sich die zweiten oder dritten Klassifikationen von einer Iteration zur nächsten um weniger als einen vorgegebenen Schwellwert unterscheiden. Weitere Kriterien zur Beendigung der iterativen Wiederholung der drei Schritte sind möglich.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, für zumindest einen Teil der Muster die ersten Klassifikationen mittels eines initialen Klassifikators zu bestimmen.
-
Bei dem initialen Klassifikator kann es sich insbesondere um einen händisch entworfenen Klassifikator handeln, bei dem die Regeln zur Extraktion der Merkmale von einem Ingenieur direkt vorgegeben wurden. Ferner können beispielsweise die für eine Klasse zulässigen Merkmalswerte händisch aufgrund von Erfahrungswerten bestimmt worden sein.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, für zumindest einen Teil der Muster die ersten Klassifikationen händisch zu bestimmen. Da die händische Vorklassifikation von Mustern mit einem erheblichen Arbeitsaufwand verbunden ist, können bei dieser Ausführungsform erste Klassifikationen nur für eine begrenzte Zahl von Mustern bestimmt werden.
-
Gemäß einer weiteren Ausführungsform wurden die Umgebungsdaten des Fahrzeugs mit Radarsensoren aufgenommen. Die Umgebungsdaten sind folglich Radardaten und das Datenverarbeitungssystem ist dazu eingerichtet, Radardaten zu empfangen und für das Lernen des Klassifikators zu verwenden.
-
In weiteren Ausführungsformen ist das Datenverarbeitungssystem dazu eingerichtet, Umgebungsdaten, die mit einem Radar-, Kamera-, Ultraschall- und/oder Lidarsystem aufgenommen wurden, zu empfangen und für das Lernen des Klassifikators zu verwenden.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, die ersten, zweiten und/oder dritten Klassifikationen als Wahrscheinlichkeiten von Klassenzugehörigkeiten zu bestimmen.
-
Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der ersten, zweiten und/oder dritten Klassifikationen für jede Klasse Wahrscheinlichkeiten zwischen null und eins zu bestimmen. Die Repräsentation von Klassifikationen als Wahrscheinlichkeiten zwischen null und eins erlaubt es, insbesondere unsichere Klassifikationen adäquat darzustellen. Mit anderen Worten kann die Repräsentation von Klassifikationen als Wahrscheinlichkeiten zwischen null und eins eine zutreffendere Beschreibung von Klassifikationen als eine binäre Repräsentation erlauben. Dies kann dazu führen, dass die Performanz des gelernten Klassifikators besser ist, wenn Klassifikationen als Wahrscheinlichkeiten zwischen null und eins repräsentiert werden.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, die zweiten Klassifikationen von Mustern zu bestimmen, indem Wahrscheinlichkeiten von Klassenzugehörigkeiten von assoziierten Mustern gemittelt werden.
-
Eine Mittelung von Wahrscheinlichkeiten von Klassenzugehörigkeiten von assoziierten Mustern stellt ein effizient ausführbares Verfahren zur Bestimmung der zweiten Klassifikationen dar. Simulationsergebnisse zeigen, dass eine solche Mittelung hinreichend genaue zweite Klassifikationen ergeben kann, sodass bei einem iterativen Lernen des Klassifikators ein Konvergieren zu einer hohen Performanz des gelernten Klassifikators erreicht werden kann.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, die zweiten Klassifikationen von Mustern zu bestimmen, indem eine gewichtete Mittelung von Wahrscheinlichkeiten von Klassenzugehörigkeiten von assoziierten Mustern erfolgt. Das Datenverarbeitungssystem kann dazu eingerichtet sein, die Distanz eines Objekts, das von einem Muster wiedergegeben wird, von dem Fahrzeug zu bestimmen. Die Gewichte der Mittelung können dann von der Distanz des Objekts von dem Fahrzeug abhängen. Insbesondere können größere Gewichte verwendet werden, wenn sich das Objekt näher an dem Fahrzeug befindet.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, für die Bestimmung der zweiten Klassifikationen von Mustern in einer Menge von assoziierten Mustern nach demjenigen Muster zu suchen, bei dem die Distanz des Objekts von dem Fahrzeug am kleinsten ist. Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen erste Klassifikationen von Mustern an die erste Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am kleinsten ist. Genauso kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen verarbeitete erste Klassifikationen von Mustern an die verarbeitete erste Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am kleinsten ist. Genauso kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen dritte Klassifikationen von Mustern an die dritte Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am kleinsten ist.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, für die Bestimmung der zweiten Klassifikationen von Mustern in einer Menge von assoziierten Mustern nach demjenigen Muster zu suchen, bei dem die Distanz des Objekts von dem Fahrzeug am nächsten ist zu einer bevorzugten Distanz. Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen erste Klassifikationen von Mustern an die erste Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am nächsten ist zu der bevorzugten Distanz. Genauso kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen verarbeitete erste Klassifikationen von Mustern an die verarbeitete erste Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am nächsten ist zu der bevorzugten Distanz. Genauso kann das Datenverarbeitungssystem dazu eingerichtet sein, bei der Bestimmung der zweiten Klassifikationen dritte Klassifikationen von Mustern an die dritte Klassifikation desjenigen assoziierten Musters anzunähern, bei dem die Distanz des Objekts von dem Fahrzeug am nächsten ist zu der bevorzugten Distanz. Dabei kann die bevorzugte Distanz eine Distanz sein, bei der die Objekte besonders zuverlässig klassifiziert werden können.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu eingerichtet, für ein Muster die Distanz des Objekts, das von dem Muster wiedergegeben wird, von dem Fahrzeug zu bestimmen. Ferner kann das Datenverarbeitungssystem dazu eingerichtet sein, für die Bestimmung der zweiten Klassifikationen von Mustern in einer Menge von assoziierten Mustern einen Trend einer Klassenzugehörigkeitswahrscheinlichkeit über die Distanz des von den assoziierten Mustern wiedergegebenen Objekts von dem Fahrzeug zu ermitteln. Dies kann beispielsweise durch eine lineare Regression der Klassenzugehörigkeitswahrscheinlichkeit über die Distanz des von den assoziierten Mustern wiedergegebenen Objekts von dem Fahrzeug bestimmt werden. Insbesondere kann für eine Menge von assoziierten Mustern erkannt werden, dass die Wahrscheinlichkeit der Zugehörigkeit zu einer bestimmten Klasse zunimmt, je kleiner die Distanz des von den assoziierten Mustern wiedergegebenen Objekts von dem Fahrzeug ist. Da die Klassifikation häufig zuverlässiger erfolgen kann, je kleiner die Distanz des Objekts von dem Fahrzeug ist, kann die Information über einen solchen Trend für die Bestimmung der zweiten Klassifikationen von Mustern verwendet werden. Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, für die Bestimmung der zweiten Klassifikationen erste, verarbeitete erste oder dritte Klassifikationen von assoziierten Mustern an die Klassenzugehörigkeit anzunähern, für die eine Zunahme der Klassenzugehörigkeitswahrscheinlichkeit bei abnehmender Distanz des Objekts, das von den assoziierten Mustern wiedergegeben wird, von dem Fahrzeug erkennbar ist.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem für ein Korrigieren von ersten Klassifikationen durch den Nutzer ausgelegt. Dies ist insbesondere dann vorteilhaft, wenn erste Klassifikationen mittels eines initialen Klassifikators bestimmt werden, und die so bestimmten ersten Klassifikationen unzuverlässig sind.
-
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem für ein Korrigieren von zweiten Klassifikationen durch den Nutzer ausgelegt. Dies kann insbesondere dann effizient ausgeführt werden, wenn assoziierten Mustern, d.h. Mustern, die das gleiche Objekt wiedergeben, die gleiche zweite Klassifikation zugewiesen wurde.
-
Ein zweiter Aspekt der Erfindung betrifft ein System zum assistierten oder autonomen Fahren eines Fahrzeugs, wobei das System zum assistierten oder autonomen Fahren Sensoren zum Aufnehmen von Umgebungsdaten aufweist, und wobei das System zum assistierten oder autonomen Fahren ein Datenverarbeitungssystem zum Lernen eines Klassifikators gemäß einer der oben beschriebenen Ausführungsformen aufweist.
-
Bei einem System zum assistierten Fahren kann es sich beispielsweise um einen elektronischen Bremsassistenten, eine Einparkhilfe, einen Abstandsregeltempomat, einen Stauassistenten, einen Spurhalteassistenten oder eine Verkehrszeichenerkennung handeln.
-
Die Sensoren zum Aufnehmen von Umgebungsdaten können Sensoren eines Radarsystems, eines Kamerasystems, eines Ultraschallsystems und/oder eines Lidarsystems sein. Die Sensoren des Systems zum assistierten oder autonomen Fahren können dazu eingerichtet sein, eine Zeitreihe von Umgebungsdaten des Fahrzeugs bereitzustellen.
-
Das Datenverarbeitungssystem des Systems zum assistierten oder autonomen Fahren kann dazu eingerichtet sein, eine von den Sensoren aufgenommene Zeitreihe von Umgebungsdaten zu empfangen. Insbesondere kann das Datenverarbeitungssystem dazu eingerichtet sein, die von den Sensoren aufgenommene Zeitreihe von Umgebungsdaten zumindest teilweise über ein Bussystem des Fahrzeugs zu empfangen. Alternativ kann das Datenverarbeitungssystem dazu eingerichtet sein, die von den Sensoren aufgenommenen Zeitreihe von Umgebungsdaten über ein anderes Kommunikationssystem, beispielsweise ein Funkkommunikationssystem, zu empfangen. Das System zum assistierten oder autonomen Fahren kann auch ein dediziertes drahtloses oder leitungsgebundenes Kommunikationssystem für die Kommunikation zwischen den Sensoren und dem Datenverarbeitungssystem aufweisen.
-
Ein dritter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren für ein Fahrzeug. Dabei weist das computerimplementierte Verfahren die folgenden Schritte auf: Eine mit Sensoren aufgenommenen Zeitreihe von Umgebungsdaten des Fahrzeugs wird empfangen. Aus den Umgebungsdaten werden Muster für das Lernen des Klassifikators bestimmt, wobei vorzugsweise jedes Muster jeweils ein Objekt zu einem Zeitpunkt der Zeitreihe wiedergibt. Ferner erfolgt ein Nachverfolgen von Objekten in den Umgebungsdaten und es werden die Muster, die ein Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, assoziiert. Darüber hinaus werden erste Klassifikationen für zumindest einen Teil der Muster bestimmt. Unter Verwendung der ersten Klassifikationen oder modifizierten ersten Klassifikationen sowie der Assoziationen zwischen den Mustern werden zweite Klassifikationen für zumindest einen Teil der Muster bestimmt. Der Klassifikator wird dann unter Verwendung der zweiten Klassifikationen gelernt.
-
Gemäß einer weiteren Ausführungsform weist das computerimplementierte Verfahren die ein- oder mehrmalige Ausführung der folgenden Sequenz von Schritten auf: i) Bestimmen von dritten Klassifikationen für zumindest einen Teil der Muster unter Verwendung des Klassifikators; ii) Bestimmen von zweiten Klassifikationen von zumindest einem Teil der Muster unter Verwendung der dritten Klassifikationen und der Assoziationen zwischen den Mustern; iii) Erneutes Lernen des Klassifikators unter Verwendung der zweiten Klassifikationen.
-
Gemäß einer weiteren Ausführungsform ist das computerimplementierte Verfahren dazu ausgeführt, dass die Umgebungsdaten des Fahrzeugs mit Radarsensoren aufgenommen wurden. Die Umgebungsdaten des Fahrzeugs sind also Radardaten.
-
Gemäß einer weiteren Ausführungsform des computerimplementierten Verfahrens werden für zumindest einen Teil der Muster die ersten Klassifikationen mittels eines initialen Klassifikators bestimmt.
-
Gemäß einer weiteren Ausführungsform des computerimplementierten Verfahrens werden die ersten, zweiten und/oder dritten Klassifikationen als Wahrscheinlichkeiten von Klassenzugehörigkeiten bestimmt.
-
Gemäß einer weiteren Ausführungsform des computerimplementierten Verfahrens werden die zweiten Klassifikationen von Mustern bestimmt, indem Wahrscheinlichkeiten von Klassenzugehörigkeiten von assoziierten Mustern gemittelt werden.
-
Gemäß einer weiteren Ausführungsform ist das computerimplementierte Verfahren für ein Korrigieren von ersten Klassifikationen durch den Nutzer ausgelegt.
-
Das computerimplementierte Verfahren zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren kann als Programmcode implementiert, auf verschiedenen Speichermedien gespeichert und von verschiedenen Prozessoren ausgeführt werden.
-
Ein vierter Aspekt der Erfindung betrifft ein computerlesbares Medium umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, ein Verfahren zum Lernen eines Klassifikators gemäß einer der oben beschriebenen Ausführungsformen auszuführen.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die Figuren beschrieben.
-
Figurenliste
-
- 1 zeigt ein Datenverarbeitungssystem zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt ein System zum assistierten oder autonomen Fahren gemäß einem Ausführungsbeispiel der Erfindung.
- 3 zeigt ein Konzept zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren für ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung.
-
Ähnliche oder gleiche Elemente in den Figuren werden mit ähnlichen oder gleichen Bezugszeichen beschrieben. Die Figuren sind schematische Darstellungen.
-
Detaillierte Beschreibung von Ausführungsbeispielen
-
1 zeigt die Struktur eines Datenverarbeitungssystem 100 zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren. Das Datenverarbeitungssystem 100 kann eine Kommunikationseinheit 101 zum Empfangen einer mit Sensoren aufgenommenen Zeitreihe von Umgebungsdaten eines Fahrzeugs aufweisen. Ferner kann das Datenverarbeitungssystem 100 einen Prozessor 102 zur Ausführung eines Computerprogramms sowie einen Speicher 103 zur Speicherung eines Programms und/oder Daten aufweisen. Eine oder mehrere Komponenten des Datenverarbeitungssystems 100 können integriert sind, beispielsweise als System-on-Chip.
-
Bei dem Prozessor 102 kann es sich beispielsweise um einen Mikrocontroller oder Mikroprozessor handeln. Der Prozessor 102 kann eine CISC (complex instruction set computing) oder RISC (reduced instruction set computing) Architektur aufweisen. Ferner kann der Prozessor 102 einen oder mehrere Prozessorkerne aufweisen. Insbesondere kann der Prozessor 102 zur gleichzeitigen Ausführung mehrerer Programmbefehle eingerichtet sein. Der Prozessor 102 kann dedizierte Hardwarebausteine zur beschleunigten Ausführung von digitalen Signalverarbeitungsverfahren, Bildverarbeitungsverfahren, mathematischen Optimierungsverfahren oder Verfahren des maschinellen Lernens aufweisen.
-
Der Speicher 103 kann zumindest teilweise als flüchtiger Speicher ausgeführt sein, beispielsweise als dynamic random access memory (DRAM) oder als static random access memory (SRAM). Alternativ oder in Ergänzung dazu kann der Speicher 103 nichtflüchtige Speicher aufweisen, beispielsweise read only memory (ROM), programmable read only memory (PROM) , erasable programmable read only memory (EPROM), electrically erasable programmable read only memory (EEPROM), Flash-EEPROM oder eine Festplatte.
-
Der Speicher 103 kann dazu eingerichtet sein, eine von Sensoren aufgenommene Zeitreihe von Umgebungsdaten des Fahrzeugs zu speichern. Ferner kann der Speicher 103 Befehle umfassen, die bei einer Ausführung durch den Prozessor diesen veranlassen, Muster für das Lernen des Klassifikators aus den Umgebungsdaten zu bestimmen, Objekte in den Umgebungsdaten nachzuverfolgen, Muster, die ein Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, zu assoziieren, erste Klassifikationen für zumindest einen Teil der Muster zu bestimmen, zweite Klassifikationen für zumindest einen Teil der Muster unter Verwendung der ersten Klassifikationen oder modifizierten ersten Klassifikationen sowie der Assoziationen zwischen den Mustern zu bestimmen und einen Klassifikator unter Verwendung der zweiten Klassifikationen zu lernen. Ferner kann der Speicher 103 Befehle umfassen, die bei einer Ausführung durch den Prozessor diesen veranlassen, die folgende Sequenz von Schritten ein- oder mehrmalig auszuführen: Bestimmen von dritten Klassifikationen für zumindest einen Teil der Muster unter Verwendung des Klassifikators; Bestimmen von zweiten Klassifikationen für zumindest einen Teil der Muster unter Verwendung der dritten Klassifikationen und der Assoziationen zwischen den Mustern; Erneutes Lernen des Klassifikators unter Verwendung der zweiten Klassifikationen.
-
Das Datenverarbeitungssystem 100 kann als Server ausgeführt sein, der dazu eingerichtet ist, von einem oder mehreren Fahrzeugen mit Sensoren aufgenommene Umgebungsdaten zu empfangen und zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren zu verwenden. Insbesondere muss das Datenverarbeitungssystem 100 nicht Teil eines Fahrzeugs sein. Das Datenverarbeitungssystem 100 kann aber auch eine Komponente eines Fahrzeugs, insbesondere eines Systems zum assistierten oder autonomen Fahren eines Fahrzeugs, sein.
-
2 zeigt die Struktur eines Systems 200 zum assistierten oder autonomen Fahren eines Fahrzeugs. Bei einem System zum assistierten Fahren kann es sich beispielsweise um einen elektronischen Bremsassistenten, eine Einparkhilfe, einen Abstandsregeltempomat, einen Stauassistenten, einen Spurhalteassistenten oder eine Verkehrszeichenerkennung handeln. Das System zum assistierten oder autonomen Fahren 200 weist Sensoren 201 zum Aufnehmen von Umgebungsdaten des Fahrzeugs auf. Die Sensoren 201 können Sensoren eines Radarsystems, eines Kamerasystems, eines Ultraschallsystems und/oder eines Lidarsystems sein. Ferner weist das System zum assistierten oder autonomen Fahren ein Datenverarbeitungssystem 100 zum Lernen eines Klassifikators auf.
-
3 veranschaulicht ein Verfahren 300 zum Lernen eines Klassifikators für ein System zum assistierten oder autonomen Fahren. In Schritt 301 wird eine mit Sensoren aufgenommenen Zeitreihe von Umgebungsdaten des Fahrzeugs empfangen. In Schritt 302 werden Muster für das Lernen des Klassifikators aus den Umgebungsdaten bestimmt, wobei vorzugsweise jedes Muster jeweils ein Objekt zu einem Zeitpunkt der Zeitreihe wiedergibt. In Schritt 303 werden Objekte in den Umgebungsdaten nachverfolgt und Muster, die ein Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, assoziiert. In Schritt 304 werden erste Klassifikationen für zumindest einen Teil der Muster bestimmt. Dabei können Muster beispielsweise händisch klassifiziert werden oder es wird ein initialer Klassifikator zur Bestimmung der ersten Klassifikationen verwendet, beispielsweise ein händisch entworfener Klassifikator. In Schritt 305 werden zweite Klassifikationen für zumindest einen Teil der Muster unter Verwendung der ersten Klassifikationen sowie der Assoziationen zwischen den Mustern bestimmt. In Schritt 306 wird der Klassifikator unter Verwendung der zweiten Klassifikationen gelernt. Ferner kann das Verfahren 300 die ein- oder mehrmalige Ausführung der folgenden Schritte aufweisen. In Schritt 307 können dritte Klassifikationen für zumindest einen Teil der Muster unter Verwendung des gelernten Klassifikators bestimmt werden. In Schritt 308 können zweite Klassifikationen für zumindest einen Teil der Muster unter Verwendung der dritten Klassifikationen und der Assoziationen zwischen den Mustern bestimmt werden. Daraufhin kann Schritt 306 wiederholt werden, d.h., der Klassifikator kann unter Verwendung der in Schritt 308 bestimmten zweiten Klassifikationen adaptiert werden. Insbesondere muss bei einer mehrmaligen Ausführung des Schrittes 306 der Klassifikator nicht jedes Mal ohne Vorwissen neu gelernt werden. Stattdessen kann der zuvor gelernte Klassifikator als Startpunkt für das die zuletzt bestimmten zweiten Klassifikationen verwendende Klassifikator-Lernverfahren genutzt werden.
-
Es sei ferner darauf hingewiesen, dass der Schritt 305 und/oder der Schritt 308 ein händisches Korrigieren der zuvor bestimmten zweiten Klassifikationen durch einen Nutzer aufweisen kann. Dies kann insbesondere dann effizient ausgeführt werden, wenn assoziierten Mustern gleiche zweite Klassifikationen zugewiesen wurden.
-
Die Schritte 302 und 303 können auch insofern modifiziert werden, dass zunächst Objekte in den Umgebungsdaten getrackt werden, danach Muster für das Lernen des Klassifikators aus den Umgebungsdaten bestimmt werden und anschließend, Muster, die ein Objekt zu unterschiedlichen Zeitpunkten der Zeitreihe wiedergeben, assoziiert werden.
-
Ferner sei darauf hingewiesen, dass das erste Lernen des Klassifikators auch unter Verwendung von ersten Klassifikationen erfolgen kann. Dementsprechend könnte der Schritt 305 entfallen, wobei dann die Sequenz der Schritte 307, 308 und 306 zumindest einmal ausgeführt werden sollte, um die Assoziationen zwischen den Mustern auszunutzen und bei einem zweiten Lernen des Klassifikators unter Verwendung der in Schritt 308 bestimmten zweiten Klassifikationen eine hohe Klassifikatorperformanz zu erreichen.
-
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und die unbestimmten Artikel „eine“ oder „ein“ keine Vielzahl ausschließen. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.