-
Die Erfindung betrifft ein Verfahren zum Betreiben eines wenigstens zwei Umgebungssensoren aufweisenden Sensorsystems eines Fahrzeugs.
-
Aus dem Stand der Technik sind Sensorsysteme bekannt, welche Umgebungssensoren aufweisen. Diese Sensorsysteme haben die Aufgabe, Objekte in ihrem jeweiligen Erfassungsbereich zu erkennen. Das Sensorsystem umfasst dabei in der Regel wenigstens den Umgebungssensor und eine Verarbeitungseinheit, welche ein von dem Umgebungssensor bereitgestelltes Signal, insbesondere Messsignal, empfangen und verarbeiten, insbesondere analysieren, kann. Die Summe einzelner Signale kann als Sensordaten bezeichnet werden. Ein Resultat beziehungsweise Analyseergebnis, welches die Verarbeitungseinheit des Sensors aus dem so verarbeiteten Signal erhält, dient als Grundlage für die Erkennung beziehungsweise Klassifikation eines Objekts im Erfassungsbereich des Sensors. Die Klassifikation wird dabei von einem sogenannten Klassifikator durchgeführt, welcher beispielsweise durch einen Algorithmus gesteuert wird, oder der Algorithmus Teil des Klassifikators selbst ist. Beispielsweise wird der Klassifikator auf der dem Sensor zugeordneten Verarbeitungseinheit ausgeführt. Dabei wird der Algorithmus, welcher zumindest teilweise auf lernenden Verfahren aufbauen kann, von dem jeweiligen Sensorsystem beziehungsweise dessen Verarbeitungseinheit ausgeführt.
-
Algorithmen, die auf solch lernenden, insbesondere selbstlernenden, Verfahren aufbauen, müssen trainiert werden, damit sie verlässlich verwendet werden können. Durch das Training ist ein gefordertes Maß an Zuverlässigkeit beziehungsweise eine besonders kleine Fehlerrate des Sensorsystems, beispielsweise bei der Klassifikation von Objekten, erreichbar. Das Training kann beispielsweise mittels sogenannter gelabelter, das heißt markierter, Trainingsdaten geschehen und eine sogenanntes maschinelles Lernen sein. Dabei lernt der Algorithmus eine Funktion, beispielsweise die Objekterkennung aus gegebenen Paaren von Ein- und Ausgaben. Dabei wird dem zu trainierenden Algorithmus beziehungsweise Klassifikator der korrekte Funktionswert, beispielsweise die Art des Objekts, zusätzlich zu einer Eingabe bereitgestellt, dies entspricht den markierten Daten. In jedem Fall ist das Training solcher Algorithmen ein Zeit- und Kostenfaktor.
-
In diesem Zusammenhang beschreibt die
DE 10 2007 013 664 A1 ein Verfahren zur multisensoriellen Objekterkennung, welches Sensorinformationen aus mehreren unterschiedlichen Sensorsignalströmen mit unterschiedlichen Sensorsignaleigenschaften gemeinsam auswertet.
-
Aufgabe der vorliegenden Erfindung ist es daher ein Verfahren für ein Sensorsystem bereitzustellen, mittels welchem ein Training und ein Betrieb des Sensorsystems besonders effizient und damit zeit- und kostensparend durchführbar sind.
-
Diese Aufgabe wird durch ein Verfahren für ein Sensorsystem mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Das erfindungsgemäße Verfahren dient zum Betreiben eines Sensorsystems eines Fahrzeugs, insbesondere Kraftfahrzeugs, wobei das Sensorsystem wenigstens zwei Umgebungssensoren aufweist. Der jeweilige Umgebungssensor, kurz Sensor, erfasst Sensordaten aus einer Umgebung des Fahrzeugs. Dem jeweiligen Sensor ist jeweils wenigstens ein Klassifikator zugeordnet, welcher zumindest die jeweiligen Sensordaten auswertet.
-
In einem ersten Schritt des Verfahrens wird ein erster der Klassifikatoren mit ersten Trainingsdaten des ersten Umgebungssensors trainiert, das heißt ein dem Klassifikator zugrunde liegender lernender beziehungsweise selbstlernender Algorithmus wird trainiert.
-
In einem zweiten Schritt des Verfahrens wird ein den ersten Klassifikator repräsentierendes Klassifikationsmodell bestimmt. Dabei bedeutet die Bestimmung eines Klassifikationsmodells, dass der Klassifikator bereit ist, Objekte aus Sensordaten des ersten Umgebungssensors nach der kontrollierten Trainingsphase zu klassifizieren.
-
In einem weiteren Schritt des Verfahrens klassifiziert der erste Klassifikator anhand des von ihm gelernten Klassifikationsmodells erste Sensordaten des ersten Umgebungssensors und gewinnt somit Umgebungsinformationen über die Umgebung des Fahrzeugs.
-
Um das Sensorsystem nun besonders vorteilhaft betreiben zu können, sieht das erfindungsgemäße Verfahren weitere Schritte vor. Bei einem dieser Schritte empfängt der erste Klassifikator zweite Sensordaten eines von dem ersten Umgebungssensor verschiedenen, zweiten Umgebungssensors. Diese zweiten Sensordaten werden in einem weiteren Schritt anhand des ersten Klassifikationsmodells, insbesondere durch den ersten Klassifikator, klassifiziert.
-
In einem weiteren Schritt werden die nun klassifizierten zweiten Sensordaten an den zweiten Klassifikator, welcher insbesondere dem zweiten Umgebungssensor zugeordnet ist, als zweite Trainingsdaten übertragen.
-
In einem letzten Schritt wird ein den zweiten Klassifikator repräsentierendes zweites Klassifikationsmodell anhand der zweiten Trainingsdaten bestimmt. Kurz zusammengefasst sieht das erfindungsgemäße Verfahren vor, dass der erste trainierte Klassifikator des ersten Umgebungssensors auf den zweiten der Umgebungssensoren zugeordneten zweiten Klassifikator angewendet wird, sodass der zweite Klassifikator mittels des ersten Klassifikators trainiert wird. Es findet ein Vererben beziehungsweise Übergeben von Klassifizierungseigenschaften von Sensordaten von einem Sensor auf den anderen Sensor statt.
-
Mit anderen Worten sollen die den Klassifikatoren zugrunde liegenden trainierbaren Algorithmen durch die Umgebungssensoren beziehungsweise das Sensorsystem gegenseitig genutzt werden. Dies ist insbesondere dann besonders vorteilhaft wenn, wie es in einem Kraftfahrzeug häufig der Fall ist, die Umgebungssensoren beispielsweise ähnliche Eigenschaften beziehungsweise ähnliche Erfassungsgrößen haben. Dies ist beispielsweise bei einem Lidar-Sensor und einer Kamera der Fall.
-
Es werden Trainingsdaten des ersten Umgebungssensors beziehungsweise der mittels dieser Daten vortrainierte Algorithmus beziehungsweise Klassifikator genommen und auf die Daten des zweiten Umgebungssensors angewendet. Dazu kann dem jeweiligen Sensor des Sensorsystems des Fahrzeugs beispielsweise jeweils eine Verarbeitungseinheit zugeordnet sein, welche jeweils selbst Teil des Sensorsystems ist und auf welcher der jeweiligen Algorithmus beziehungsweise Klassifikator ausgeführt wird.
-
Beispielsweise wird der jeweilige Klassifikator, insbesondere der erste Klassifikator, mittels maschinellen Lernens trainiert, welches eine besonders effiziente Art des Trainings darstellt. Das Training mittels maschinellen Lernens kann als überwachtes Lernen und/oder teilüberwachtes Lernen und/oder unüberwachtes Lernen durchgeführt werden.
-
Darüber hinaus können die beiden Umgebungssensoren bei dem erfindungsgemäßen Verfahren vertauscht werden, das heißt der zweite Sensor stellt seine Daten und/oder seinen Klassifikator dem ersten Sensor bereit. Dadurch können beide Sensoren beispielsweise nachtrainiert werden. Darüber hinaus können beispielweise die für den jeweiligen anderen Sensor optimierten Algorithmen parallel zu den jeweiligen sensorspezifischen Algorithmen des jeweiligen Sensors, insbesondere auf dessen jeweiliger Verarbeitungseinheit, laufen. Dadurch können beispielsweise Informationen generiert werden, welche beispielsweise eine elektronische Recheneinrichtung, beispielsweise eines zentralen Steuergeräts des Fahrzeugs, nutzen kann um eine besonders gute Einschätzung einer Umgebung des Fahrzeugs zu gewinnen. Dazu kann es besonders vorteilhaft sein, wenn der zweite Klassifikator parallel zu dem ersten Klassifikator durch die elektronische Recheneinrichtung ausgeführt wird. Durch das parallele Ausführen können darüber hinaus weitere Datensätze für das zentrale Steuergerät generiert werden. Die Algorithmen der Klassifikatoren können beispielsweise mittels sogenannte künstlicher neuronaler Netzte ausgebildet sein.
-
Das erfindungsgemäße Verfahren kann zusätzlich zu einem besonders effizient Betrieb des Sensorsystems des Fahrzeugs beispielsweise für eine Generierung von Labels für einen Datensatz eines Sensors durch die Verwendung von Klassifikatoren eines anderen Sensors verwendet werden. Dies beschleunigt eine Trainingsgenerierung und vermindert die Kosten für eine Generierung einer sogenannten „Ground Truth”. Des Weiteren ist mit dem erfindungsgemäßen Verfahren eine signifikante Beschleunigung einer Algorithmenentwicklung eines Sensors durch die Verwendung von vortrainierten Algorithmen, welche für andere Sensoren entwickelt wurden, möglich.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt:
-
1 eine schematische Draufsicht auf ein Fahrzeug mit einem Sensorsystem, mittels welchem ein Verfahren zum Betreiben eines wenigstens zwei Umgebungssensoren aufweisenden Sensorsystems durchführbar ist; und
-
2 ein schematisches Ablaufdiagramm des Verfahrens zum Betreiben des Sensorsystems.
-
In 1 ist Fahrzeug 11 schematisch in einer Draufsicht gezeigt. Das Fahrzeug 11 ist als Personenkraftwagen ausgebildet. Das Fahrzeug 11 umfasst ein Sensorsystem 10, welches zwei Umgebungssensoren 12 und 16 aufweist. Der erste Umgebungssensor 12 kann ein Radarsensor sein. Mit dem ersten Umgebungssensor 12 können ersten Sensordaten bereitgestellt werden, welche eine Umgebung 20 des Fahrzeugs 11 beschreiben. Der zweite Umgebungssensor 16 kann ein Lidar-Sensor sein. Mit dem zweiten Umgebungssensor 16 können zweite Sensordaten bereitgestellt werden, welche ebenfalls die Umgebung 20 beschreiben.
-
Dem ersten Umgebungssensor 12 ist ein erster Klassifikator 14 zugeordnet, welcher die mittels des ersten Umgebungssensors 12 erfassten Sensordaten klassifiziert, um Umgebungsinformationen aus der Umgebung 20 des Fahrzeugs 11 zu gewinnen. Ferner ist dem zweiten Umgebungssensor 16 ein zweiter Klassifikator 18 zum Klassifizieren der von dem zweiten Umgebungssensor 16 bereitgestellten zweiten Sensordaten zugeordnet.
-
In 2 ist ein Ablaufdiagramm des Verfahrens zum Betreiben des Sensorsystems 10 des Fahrzeugs 11 gezeigt. In einem ersten Schritt S1 des Verfahrens wird der erste Klassifikator 14 mit ersten Trainingsdaten des ersten Umgebungssensors 12 trainiert. Dies erfolgt in einer Trainingsphase mit ersten Trainingsdaten. Der Klassifikator 14 wird beispielsweise im Wesentlichen durch einen selbstlernenden Algorithmus ausgebildet, wodurch der Klassifikator 14 beispielsweise mittels sogenanntem maschinellem Lernen trainierbar ist. Die Trainingsdaten können für das Training beispielsweise so ausgestaltet sein, dass ein sogenanntes überwachtes Lernen möglich ist. In einem zweiten Schritt S2 wird, als ein Resultat des Trainings aus dem Schritt S1 ein erstes Klassifikationsmodell bestimmt, welches den ersten Klassifikator 14 repräsentiert. Anhand des ersten Klassifikationsmodells wird in einem nächsten Schritt S3 eine Klassifikation der ersten Sensordaten des ersten Umgebungssensors 12 durchgeführt. Dies erfolgt in einer sich an die Trainingsphase anschließenden Betriebsphase.
-
Um nun das Sensorsystem besonders vorteilhaft betreiben zu können, kann der zweite Umgebungssensor 16 beziehungsweise der diesem zugeordnete Klassifikator 18 auf das antrainierte „Wissen” welches durch die Schritte S1 und S2 in das erste Klassifikationsmodell geflossen ist, zurückgreifen, um dadurch besonders effizient trainiert werden zu können. Dies erfolgt in den Schritten S4 bis S7 des Verfahrens.
-
Im Schritt S4 empfängt der erste Klassifikator 14 die zweiten Sensordaten von dem zweiten Umgebungssensor 16. Im Schritt S5 werden diese im Schritt S4 empfangenen zweiten Sensordaten anhand des ersten Klassifikationsmodells des ersten Klassifikators 14 klassifiziert und somit zu Trainingsdaten für den zweiten Klassifikator 16. Im Schritt S6 werden die klassifizierten zweiten Sensordaten an den zweiten Klassifikator 16 übertragen, sodass dieser diese als zweite Trainingsdaten empfängt. Anhand dieser zweiten Trainingsdaten wird in einem letzten Schritt S7 ein den zweiten Klassifikator 16 repräsentierendes zweites Klassifikationsmodell bestimmt. Dadurch ist es besonders vorteilhafterweise möglich das Sensorsystem 10 mit den beiden Umgebungssensoren 12 und 16 zu betreiben.
-
Mit anderen Worten, damit der jeweiligen Klassifikator 14 beziehungsweise 18 das Klassifizieren der durch den jeweiligen Umgebungssensor 12 beziehungsweise 16 erfassten Umgebungsinformationen möglichst gut ausführen kann, ist es von Vorteil wenn der jeweilige Klassifikator 14 beziehungsweise 18 trainiert ist. Trainiert heißt, dass der jeweilige Klassifikator 14 beziehungsweise 18, welcher beispielweise als wenigsten ein jeweiliger, insbesondere selbstlernender, Algorithmus ausgebildet sein kann, gelernt hat. Durch das Verfahren ist solch ein Training beziehungsweise Lernen in besonders vorteilhafter Weise möglich, da ein Klassifikator (beispielsweise der zweite Klassifikator 18) auf Gelerntes des anderen Klassifikators (beispielsweise der erste Klassifikator 14) zurückgreifen kann. Dazu befindet sich der dem ersten Umgebungssensor 12 zugeordnete erste Klassifikator 14 bereits in einem trainierten Zustand. Der Klassifikator 14 kann das Training in besonders vorteilhafter Weise mittels maschinellem Lernen absolviert haben. Zusätzlich zu den ersten Sensordaten des ersten Umgebungssensors 12 kann er mittels zusätzlicher anderen Daten, insbesondere markierter Daten trainiert sein.
-
Um nun den zweiten Klassifikator 18, welcher dem zweiten Sensor 16 zugeordnet ist, besonders vorteilhaft trainieren und dadurch das Sensorsystem 10 effizient betreiben zu können, werden die durch den zweiten Umgebungssensor 16 erfassten Sensordaten durch den ersten trainierten Klassifikator 14 klassifiziert. Die so klassifizierten Sensordaten werden an den Klassifikator 18 übergeben und enthalten Klassifikationseigenschaften und somit Resultate des Trainings des ersten Klassifikators 14. Mit anderen Worten hat der Klassifikator die zweiten Sensordaten gelabelt, genauer gesagt markiert, und somit einen Trainingsdatensatz beziehungsweise Trainingsdaten, sozusagen als „Lehrer” erstellt. Des Weiteren können dem zweiten Klassifikator 18 die durch den ersten Umgebungssensor 12 aufgenommen ersten Sensordaten als markierte Trainingsdaten zum Trainieren übersendet werden. Das heißt klassifiziert der trainierte Klassifikator 14 die Daten 16 des ersten Umgebungssensors 12, können die Daten 14 dadurch ebenfalls gelabelt und dem zweiten Klassifikator 18 als Trainingsdaten zur Verfügung gestellt werden.
-
In vorteilhafter Ausgestaltung könne, aus den aufgenommen Sensordaten durch das erste Klassifikationsmodell des ersten Klassifikators 14 markierte Trainingsdaten generiert werden, welche für ein von dem Sensorsystem 10 unterschiedliches Sensorsystem bestimmt sind.
-
Darüber hinaus kann einer der Klassifikatoren 14 und/oder 18 auf einen dritten von den beiden anderen unterschiedlichen Klassifikators welcher einem dritten Umgebungssensor zugeordnet ist angewendet werden.
-
Die Umgebungssensoren 12 und 16 mit ihren jeweils zugeordneten Klassifikatoren 14 beziehungsweise 18 können auch ihre Positionen im Verfahren tauschen beziehungsweise wechselseitig den jeweils anderen trainieren. Ferner ist das Verfahren zum Generieren von Trainingsdaten und/oder zum Nachtrainieren geeignet, und es können damit fremdtrainierte Algorithmen beziehungsweise Klassifikatoren zusätzliche Datensätze generieren.
-
Bezugszeichenliste
-
- 10
- Sensorsystem
- 11
- Fahrzeug
- 12
- Umgebungssensor
- 14
- Klassifikator
- 16
- Umgebungssensor
- 18
- Klassifikator
- 20
- Umgebung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007013664 A1 [0004]
