DE102019215902A1

DE102019215902A1 - Verfahren zur Bestimmung eines Gütegrades von Daten-Sätzen von Sensoren

Info

Publication number: DE102019215902A1
Application number: DE102019215902.8A
Authority: DE
Inventors: Rainer Stal; Christian Haase-Schuetz; Heinz Hertlein
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2021-05-20
Also published as: CN112668602A; US20210117787A1

Abstract

Es wird ein Verfahren zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades von Daten-Sätzen von jedem einer Mehrzahl von Sensoren beschrieben, wobei die Mehrzahl der Sensoren eingerichtet sind Umgebungs-Repräsentationen zu generieren, mit den Schritten:Bereitstellen einer Vielzahl von Daten-Sätzen jedes der Mehrzahl der Sensoren von einer entsprechenden Vielzahl von Umgebungs-Repräsentationen;Bereitstellen von Attributdaten von Ground-Truth Objekten der Vielzahl von Umgebungs-Repräsentationen;Bestimmen eines Gütegrades des jeweiligen Daten-Satzes jedes der Mehrzahl der Sensoren mittels einer Metrik, wobei die Metrik mindestens eine Größe, die mittels des jeweiligen Daten-Satzes bestimmt wird, mit jeweils mindestens einem Attributdatum zumindest eines zugehörigen Ground-Truth Objektes der Umgebungs-Repräsentationen vergleicht; undTrainieren des maschinellen Lernmodells mit der Vielzahl von Daten-Sätzen jedes der Mehrzahl der Sensoren und dem jeweils zugeordneten bestimmten Gütegrad des jeweiligen Daten-Satzes jedes Sensors, wobei in jeweiligen Trainingsschritten die Daten-Sätze der Vielzahl von Daten-Sätzen jedes der Sensoren als Eingangssignal dem maschinellen Lernmodell bereitgestellt werden und das maschinelle Lernmodell eine Ausgangsgröße, zum Ausgeben des Gütegrades jedes einzelnen Daten-Satzes jedes der Mehrzahl der Sensoren, bereitstellt.

Description

Die Erfindung betrifft ein Verfahren zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades von Daten-Sätzen von Sensoren und ein Verfahren zur Bestimmung eines Gütegrades von Daten-Sätzen von Sensoren.
Stand der Technik
Eine hohe Bedeutung für eine Umsetzung eines zumindest teilautomatisierten Fahrens, aber auch zunehmend für Fahrassistenzsysteme, hat die Realisierung der Wahrnehmung bzw. Repräsentation der Umgebung (Perception). Dabei wird die Umgebung mittels Sensoren erfasst und beispielsweise mit Verfahren der Mustererkennung erkannt.
Somit werden die Daten der Sensoren in eine symbolische Beschreibung relevanter Aspekte der Umgebung überführt. Diese symbolische Beschreibung der Umgebung bildet dann eine Grundlage für die Ausführung von Aktionen in der so beschriebenen Umgebung oder für eine Anwendung bzw. einen Einsatzzweck einer beispielsweise zumindest teilautomatisierten mobilen Plattform. Ein typisches Beispiel für eine symbolische Beschreibung der Umgebung ist es, statische und dynamische Objekte mittels Attributen zu beschreiben, die zum Beispiel die Lage, Form, Größe, Geschwindigkeit etc. des jeweiligen Objekts charakterisieren. Bei den Objekten kann es sich zum Beispiel um Hindernisse handeln, mit denen eine Kollision vermieden werden muss.
Häufig basiert diese Umfeldwahrnehmung auf einer Kombination oder Fusion von Daten mehrerer Sensoren unterschiedlicher Modalitäten. So können beispielsweise unterschiedliche Sensortypen, wie optische Kameras, RADAR-Systeme, LIDAR- Systeme und Ultraschallsensoren, zu einem multimodalen Sensorset kombiniert werden.
Sichtfelder (Field of Views) einiger der unterschiedlichen Sensoren verschiedener Modalität können sich dabei überlappen, so dass innerhalb des für die Anwendung relevanten Sichtfelds immer Sensordaten, von mindestens zwei unterschiedlichen Modalitäten, vorliegen können. Dies hat den Vorteil, dass Unzulänglichkeiten einzelner Sensoren einer Modalität prinzipiell durch andere Sensoren einer anderen Modalität ausgeglichen werden können. Zum Beispiel kann, bei einer Kombination von einer optischen Kamera und einem RADARSystem, die eingeschränkte Sicht der optischen Kamera bei Nebel, durch die Wahrnehmung von Objekten durch Radar-Messungen, mitigiert werden.
Offenbarung der Erfindung
Um im Rahmen der Sensordaten-Fusion Sensor-Unzulänglichkeiten zu mitigieren, können unterschiedliche Verfahren angewendet werden. So kann es zum Beispiel bei bestimmten Anwendungen ausreichend sein, nur auf die Falsch-Positiv-Rate oder nur auf die Falsch-Negativ-Rate einer Detektion eines Objektes hin zu optimieren.
Ist zum Beispiel bei einem zumindest teilautomatisiert betriebenen Roboter das wichtigste Kriterium, Kollisionen im zumindest teilautomatisierten Modus zu vermeiden, wohingegen bei einer Erkennung von Falsch-Positiven Objekten („Ghosts“) nach einem Stopp des Roboters eine manuelle Steuerung durchgeführt werden kann, so kann das Modul zur Sensordatenfusion und Umfeldwahrnehmung (MSFU) auf die Vermeidung von Falsch-Negativen Detektionen optimiert werden. Vereinfachend wird ein Objekt bei einer solchen Optimierung als real angenommen, wenn es von mindestens einer der Daten generierenden Sensormodalitäten wahrgenommen wird.
Erkennt in diesem Fall einer der Sensoren ein Objekt nicht (Falsch-Negativ), während eine andere Sensormodalität von dieser Fehldetektion nicht betroffen ist, wird die Unzulänglichkeit des ersten Sensors erfolgreich durch die andere Sensormodalität mitigiert. Zu einem Fehler kommt es bei diesem Verfahren jedoch dann, wenn eine der Sensor-Modalitäten von einer Falsch-Positiven Erkennung („Ghost“) betroffen ist, weil diese von einer anderen Modalität bei dieser Optimierung nicht mitigiert wird. Dies ist ein Nachteil vorhandener Lösungen.
Analog kann es zum Beispiel bei einer automatischen Notbremsfunktion („Automatic Emergency Breaking“, AEB) sinnvoll sein, das System auf die Vermeidung von Falsch-Positiven zu optimieren, indem ein Objekt vom Modul zur Sensordatenfusion und Umfeldwahrnehmung (MSFU) nur dann als real angenommen wird, wenn es von allen Sensormodalitäten wahrgenommen wird, in deren Sichtbereich sich das Objekt befindet. Auch in diesem Fall weisen vorhandene Systeme einen Nachteil auf, weil es, aufgrund der Optimierung auf die Vermeidung von Falsch-Positiven, zu einer, im Vergleich zu den einzelnen Sensormodalitäten, höheren Rate an Falsch-Negativen-Erkennungen kommt.
Die beschriebenen Möglichkeiten vorhandener Systeme, Sensor-Unzulänglichkeiten zu mitigieren, nutzen keine Information, die eine Angabe macht, welche der Sensor-Modalitäten jeweils mehr oder weniger zuverlässig sind. Dies begründet zumindest teilweise die erwähnten Nachteile.
Eine fortlaufende, automatische Bewertung einer Sensorgüte ist aufgrund der Vielzahl unterschiedlicher Bedingungen, die sich pro Modalität auf die Güte auswirken kann, ein mit herkömmlichen Verfahren nur schwer zu lösendes Problem, das in vorhandener Methodik zur Repräsentation einer Umgebung nicht oder nur unzureichend gelöst ist.
Die vorliegende Erfindung offenbart ein Verfahren zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades von Daten-Sätzen von Sensoren, ein Verfahren zur Fusion von Daten-Sätzen von Sensoren, ein Verfahren zur Bestimmung eines Gütegrades eines Daten-Satzes eines Sensors, sowie ein Verfahren, eine Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beruht auf der Erkenntnis, dass ein maschinelles Lernmodell, wie beispielsweise ein neuronales Netz, das mittels einer Vielzahl von Daten-Sätzen einer Mehrzahl von Sensoren unterschiedlicher Modalität, die in unterschiedlichen Umgebungen mit unterschiedlichen Bedingungen generiert wurden, trainiert werden kann, eine Güte von Daten-Sätzen eines Sensors der Mehrzahl der Sensoren in einer spezifischen Umgebung von Sensoren zu bestimmen.
Gemäß einem Aspekt wird ein Verfahren zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades von zumindest einem Datensatz von jedem einer Mehrzahl von Sensoren vorgeschlagen, wobei die Mehrzahl der Sensoren eingerichtet sind, Umgebungs-Repräsentationen zu generieren. Dabei wird in einem Schritt eine Vielzahl von Daten-Sätzen jedes der Mehrzahl der Sensoren von einer entsprechenden Vielzahl von Umgebungs-Repräsentationen bereitgestellt.
In einem weiteren Schritt werden Attributdaten von Ground-Truth Objekten der Vielzahl von Umgebungs-Repräsentationen bereitgestellt.
In einem weiteren Schritt wird ein Gütegrad des jeweiligen Daten-Satzes jedes der Mehrzahl der Sensoren mittels einer Metrik bestimmt, wobei die Metrik mindestens eine Größe, die mittels des jeweiligen Daten-Satzes bestimmt wird, mit jeweils mindestens einem Attributdatum zumindest eines zugehörigen Ground-Truth Objektes der Umgebungs-Repräsentationen vergleicht.
In einem weiteren Schritt wird das maschinelle Lernmodell mit der Vielzahl von, insbesondere neuen, Daten-Sätzen jedes der Mehrzahl der Sensoren und den jeweils zugeordneten bestimmten Gütegraden trainiert, einen Gütegrad von zumindest einem Daten-Satz von jedem einer Mehrzahl von Sensoren zu bestimmen.
Gemäß einem Aspekt wird vorgeschlagen, dass das maschinelle Lernmodell trainiert wird, indem in einer Vielzahl von Trainingsschritten die Daten-Sätze der Vielzahl von Daten-Sätzen jedes der Vielzahl der Sensoren als Eingangssignal und die jeweiligen Gütegrade als Ziel-Ausgabe dem maschinellen Lernmodell bereitgestellt werden, um die Anpassung des maschinellen Lernmodells an diese Trainingstichprobe, die die Daten-Sätze und jeweiligen Gütegrade aufweist, zu erreichen.
Nach Abschluss dieses in mehreren Iterationen durchgeführten Trainings ist das maschinelle Lernmodell eingerichtet, eine Ausgangsgröße, zum Ausgeben einer Prädiktion des Gütegrades jedes einzelnen Daten-Satzes jedes der Mehrzahl der Sensoren, bereitzustellen, wenn ein neuer Daten-Satz jedes der Sensoren dem maschinellen Lernmodell als Eingangssignal bereitgestellt wird.
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden und ist somit auch offenbart.
Dabei werden statische und dynamische Objekte der Umgebungs-Repräsentation mittels Attributen beschrieben, wobei die Attribute beispielsweise eine räumliche Position eines Objektes betreffen, eine Form, eine Größe oder eine Geschwindigkeit des jeweiligen Objektes angeben.
Daten-Sätze können beispielsweise von Sensoren unterschiedlicher Modalitäten stammen, die einzeln oder gemeinsam eingerichtet sind, Umgebungs-Repräsentation zu generieren. Beispiele für Sensoren unterschiedlicher Modalitäten bzw. unterschiedliche Sensortypen können optische Kameras, RADAR-Systeme, LIDAR-Systeme oder Ultraschallsensoren sein, die zu einem multimodalen Sensorset kombiniert sein können.
Eine Mehrzahl von Sensoren kann eine kleine Anzahl von Sensoren beispielsweise zwei oder drei Sensoren umfassen, die Mehrzahl kann auch 100 Sensoren umfassen oder eine noch viel höhere Anzahl von Sensoren kann die Mehrzahl von Sensoren bilden.
Mit der Bezeichnung Ground-Truth Objekt bzw. Ground-Truth Umgebungs-Repräsentation wird hier verstanden, dass diese Angaben eines Objektes bzw. einer Umgebung eine Referenz darstellen, die eine Wirklichkeit der Umgebung für den jeweiligen Zweck ausreichend genau beschreiben. Mit anderen Worten sind Ground-Truth Objekte bzw. Umgebungen beobachtete oder gemessene Objekte oder Umgebungen, die objektiv analysiert wurden.
Das Training des maschinellen Lernmodells erfolgt somit mit einer gelabelten Trainingsstichprobe. Die für das Training des maschinellen Lernmodells herangezogene gelabelte Stichprobe (Gütemaßstichprobe) wird aus einer anderen gelabelten Stichprobe bestimmt, für die für eine Vielzahl von Daten-Sätzen einer Mehrzahl von Sensoren jeweils Attribute der Ground-Truth Objekte der Umgebungs-Repräsentation bestimmt und gespeichert worden sind (Umfeldstichprobe) .
Da mittels der Metrik aus der Umfeldstichprobe ein Gütegrad bestimmt werden kann, kann dieser Gütegrad als Trainingsziel für das maschinelle Lernmodell verwendet werden. Es handelt sich also um ein überwachtes Trainingsverfahren.
Die Vielzahl von Daten-Sätzen jedes der Sensoren der Mehrzahl der Sensoren werden dem maschinellen Lernmodell als Eingangssignal bereitgestellt, wobei es sich bei dem maschinellen Lernmodell beispielsweise um ein tiefes neuronales Netz handeln kann. Diese Daten-Sätze der Sensoren stellen sozusagen Roh-Messdaten aller Sensoren des multimodalen Sensorsets dar, da sie noch nicht in eine Beschreibung von Objekten überführt wurden. Die Ausgangsgröße des maschinellen Lernmodells stellt eine Bewertung der Güte der einzelnen Sensoren hinsichtlich der entsprechenden Umgebungs-Repräsentationen dar.
Der Vorteil dieses Verfahrens zum Trainieren des maschinellen Lernmodells mit den Daten-Sätzen der Mehrzahl der Sensoren, die noch nicht in Objekte der Umgebungs-Repräsentation umgerechnet sind, ist, dass das maschinelle Lernmodell dadurch mit unverdeckten funktionalen Zusammenhängen der generierten Sensordaten trainiert werden kann und die Metrik zur Bestimmung der Güte zum einen als Bezugsgröße die Attribute von Ground-Truth Objekten der Umgebungs-Repräsentation verwendet und zum anderen für die jeweilige Modalität des Sensors angepasst werden kann.
Denn da alle Sensordaten des multimodalen Sets vom gleichen Modell verarbeitet werden, werden zur Bestimmung des Gütemaßes eines bestimmten Sensors durch das Modell nicht nur die Information dieses Sensors, sondern auch aller anderen Sensoren herangezogen. Dies erhöht die Zuverlässigkeit der Gütelabel. Als einfaches Beispiel kann die Bestimmung des Gütemaßes für ein LIDAR- System das Bild der Kamera einbeziehen, aus dem sich die Wettersituation erkennen lässt.
Ein solcher Gütegrad kann beispielsweise für jeden Sensor eines Sensorsets ein Zahlenwert zwischen Null und Eins aufweisen, wobei der Wert Eins einer optimalen Leistung des Sensors entspricht, d.h. es liegt keine Sensor-Unzulänglichkeit vor, während Null ausgegeben wird, wenn keine zuverlässige Information vom Sensor ausgegeben wurde.
Da das Training eines maschinellen Lernmodells stark von dem gewählten maschinellen Lernmodell abhängt, wird hier am Beispiel eines tiefen neuronalen Netzes ein solches Training erklärt.
Ein neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben zur Verfügung. Solche neuronalen Netzwerke lernen, Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
Ein solches neuronale Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Dabei werden dem tiefen neuronalen Netzwerk die Daten-Sätze der Sensoren als Eingangssignal bereitgestellt und der Gütegrad wird als Zielgröße mit der Ausgangsgröße des neuronalen Netzes verglichen. Zu Beginn des Trainings erhält ein solches neuronale Netz für jede Verbindung zwischen zwei Neuronen z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron gewichtet die EingangsSignale mit seinen Gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, und dann die Gewichte jedes Neurons in die Richtung verändern, die den Fehler minimiert. Dann erfolgen iterativ weitere Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte bis der Fehler unter einer vorgegebenen Grenze liegt.
Gemäß einem Aspekt wird vorgeschlagen, dass das maschinelle Lernmodell ein neuronales Netz oder ein rekurrentes neuronales Netz aufweist und die jeweilige Ausgangsgröße ein Vektor ist, der zumindest ein Vektorelement aufweist, das den Gütegrad angibt.
Bei dem Modell des maschinellen Lernverfahrens kann es sich zum Beispiel um ein tiefes neuronales Netzwerk (DNN: engl. Deep Neural Network) handeln, das mehrere verdeckte Schichten aufweist.
Weitere maschinelle Lernmodelle, die für das Verfahren verwendet werden können, sind beispielsweise die Lineare Diskriminanzanalyse (LDA) als trainiertes Verfahren zur Merkmalstransformation, darüber hinaus können als trainierte Klassifikationsverfahren beispielsweise Support Vector Machines (SVMs) oder Gaussian Mixture Models (GMMs) oder Hidden Markov Models (HMMs) verwendet werden.
Bei der Verwendung eines Feed Forward neuronalen Netzes mit den Daten-Sätzen multimodaler Sensoren werden die Daten-Sätze von einem bestimmten Zeitschritt typischerweise unabhängig von vorangegangenen Daten-Sätzen verarbeitet („single frame processing“).
Zum Beispiel durch die Verwendung von rekurrenten neuronalen Netzen (RNN) können auch zeitliche Zusammenhänge zwischen den Daten-Sätzen der Sensoren einbezogen werden. Weiterhin kann die Struktur der rekurrenten neuronalen Netze RNN Long-Short-Term-Memory-Zellen (LSTM-Zellen) aufweisen, um die Einbeziehung von Informationen über einen längeren Zeitraum zu verbessern, so dass diese Informationen in die aktuelle Gütemaßschätzung besser einfließen können.
Die Architektur eines neuronalen Netzes kann auf die unterschiedlichen Formate, wie beispielsweise eine Datenstruktur, Datenmenge und Datendichte, der unterschiedlichen Sensor-Modalitäten angepasst werden. Zum Beispiel können Sensoren, deren Daten pro Zeitschritt als eine oder mehrere zweidimensionale Matrizen dargestellt werden können, wie zum Beispiel Bilddaten einer Kamera, vorteilhaft mit einem klassischen Grid-basierten Convolutional Neural Network (CNN) verarbeitet werden. Andere Sensoren, die Punktewolken pro Zeitschritt liefern wie zum Beispiel Lidar, können vorteilhafterweise mit Architekturen wie zum Beispiel PointNet oder PointNet++ verarbeitet werden, die Punkt-basiert sind und im Gegensatz zu den Grid-basierten Methoden eine rohe Punktwolke als Eingabe direkt verarbeiten können.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das neuronale Netz mehrere Schichten aufweist, und die Daten-Sätze zumindest zweier Sensoren getrennt voneinander in unterschiedliche Teile der Eingabe-Schicht des neuronalen Netzes eingegeben werden und eine Fusion der Daten-Sätze der zumindest zwei unterschiedlichen Sensoren in einer anderen Schicht innerhalb des neuronalen Netzes erfolgt.
Je nach verwendeter Sensortypen, der zumindest zwei Sensoren der Mehrzahl der Sensoren, können die Daten-Sätze der Sensoren auch getrennt voneinander in unterschiedliche Teile der Eingabe-Schicht des neuronalen Netzes eingegeben werden und diese Fusion kann dann innerhalb des neuronalen Netzes erfolgen („middle fusion“). Wenn also das neuronale Netz mehrere Schichten aufweist, kann eine Fusion der jeweiliger Daten-Sätze zumindest zweier Sensoren der Mehrzahl der Sensoren in unterschiedlichen Schichten des neuronalen Netzes erfolgen.
Insbesondere werden die Informationen zumindest zweier Sensoren der Mehrzahl der Sensoren fusioniert, wenn die Daten-Sätze der zumindest zwei unterschiedlichen Sensoren fusioniert werden.
Wobei diese Fusion der Informationen der unterschiedlichen Sensoren, mittels einer Fusion der Daten-Sätze der Sensoren, vor der Eingabe in das neuronale Netz erfolgen („early fusion“) kann.
Gemäß einem weiteren Aspekt kann diese Fusion auch erfolgen, indem die Daten getrennt, von mehreren neuronalen Netzen verarbeitet, und somit getrennt erkannt werden, und dann eine Fusion der Netz-Ausgaben, also der Objekt-Repräsentationen erfolgt („late fusion“).
Mit anderen Worten, kommen unterschiedliche Methoden zur Fusionierung der Daten der Sensoren unterschiedlicher Modalität in Betracht, um die Erkennung multimodaler Daten zu realisieren. Eine Fusion der unterschiedlichen Sensor-Modalitäten kann somit mittels einer Early, Middle oder Late Fusion erfolgen. Bei einer Early Fusion werden die multimodalen Daten der Sensoren, typischerweise nach Ausführung geeigneter Transformationen und/oder Auswahl der Daten (zum Beispiel zur Angleichung des Field of View), fusioniert, bevor die Eingabe in die Eingabeschicht des neuronalen Netzes erfolgt. Bei einer Late Fusion wird jede Modalität unabhängig von den anderen Modalitäten von einem für diese Modalität geeigneten DNN verarbeitet und die gewünschten Ausgaben werden jeweils erzeugt. Alle Ausgaben werden dann fusioniert. Die Fusion findet also sowohl bei Early als auch bei Late Fusion außerhalb der DNN-Architektur statt, bei der Early Fusion vor, bei der Late Fusion nach Verarbeitung durch das oder die DNNs.
Anders bei Middle Fusion, hier erfolgt die Eingabe der multimodalen Daten und die Verarbeitung in einigen, „unteren“ (d.h. in der Nähe der Eingabe liegenden) Schichten zunächst getrennt voneinander. Daraufhin findet die Fusionierung innerhalb des DNN statt, bevor die fusionierten und bereits verarbeiteten Daten in weiteren, „oberen“ (d.h. in der Nähe der Ausgabe liegenden) Schichten weiter verarbeitet werden.
Mögliche Fusionsarchitekturen, die der Literatur entnommen werden können, sind MV3D [1], AVOD [2], Frustum PointNet [3] und Ensemble Proposals [4].

[1] X. Chen et al. „Multi-view 3d object detection network for autonomous driving," in Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on. IEEE, 2017, pp. 6526-6534.
[2] J. Ku, et al., „Joint 3d proposal generation and object detection from view aggregation" arXiv:1712.02294, 2017.
[3] C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, „Frustum pointnets for 3d object detection from rgb-d data," in Computer Vision and Pattern Recognition (CVPR), 2018 IEEE Conference on. IEEE, 2018.
[4] T. Kim and J. Ghosh, „Robust detection of non-motorized road users using deep learning on optical and lidar data," in Intelligent Transportation Systems (ITSC), 2016, pp. 271-276.

Die hier erwähnten Architekturen haben standardmäßig als Ausgabe eine Klassifizierung und Größenschätzung der Objekte im Sichtfeld. Für die hier vorgeschlagene Erfindung können beispielsweise die in [1, 2, 3, 4] vorgeschlagenen Architekturen und Operationen der Fusion mittels DNNs Verwendung finden, dabei wäre die Ausgabeschicht entsprechend anzupassen und mittels einer oder mehrerer, zum Beispiel voll verbundener Schichten eine Regression der Gütemaße zu berechnen.
Gemäß einem Aspekt wird vorgeschlagen, dass eine Operation zur Fusion der jeweiligen Informationen von zumindest zwei Sensoren der Mehrzahl der Sensoren mittels Addition, Mittelwertbildung oder Verkettung der Daten-Sätze der unterschiedlichen Sensoren und/oder von, aus den jeweiligen Daten-Sätzen unterschiedlicher Sensoren bestimmten, Attributen von Objekten der Umfeld-Repräsentation erfolgt.
Dies Form der Fusion der Daten-Sätze der unterschiedlichen Sensoren kann insbesondere mit der oben beschriebene Early Fusion verwendet werden. Die Fusion von Ausgabe-Daten-Sätzen mehrerer, modalitätsspezifischer tiefer neuronaler Netze (DNN) kann ebenfalls mittels Addition, Mittelwertbildung oder Verkettung erfolgen, insbesondere bei einer Late Fusion.
Sowohl durch die unterschiedlichen Architekturen als auch durch die unterschiedlichen Operationen der Fusion kann/können das bzw. die neuronale(n) Netz(e) an die jeweilige Datenstruktur der unterschiedlichen Sensor-Modalität angepasst werden, um eine optimale Verarbeitung der Daten durch das neuronale Netz zu erzielen.
Das neuronale Netz kann für eine Gütemaß-Regression so strukturiert werden, dass jedem skalaren Ausgabe-Gütewert ein einzelnes Neuron der Ausgabeschicht zugeordnet ist.
Alternativ dazu kann die Regression so realisiert werden, dass jedes skalare Gütemaß durch mehrere Neuronen der Ausgabeschicht repräsentiert wird. Dazu wird eine Partitionierung des Wertebereichs der Gütemaße geeignet gewählt.
Zum Beispiel kann bei einem Gütemaß zwischen 0 und 1 die erste von zehn Partitionen dem Bereich von 0 bis 0,1 entsprechen, die zweite Partition dem Bereich von 0,1 bis 0,2 und so weiter. Die regressierte Ausgabegüte für jedes einzelne skalare Gütemaß g wird dann durch je ein Ausgabeneuron pro Partition [a; b] realisiert. Hierbei ist der gewünschte Ausgabewert des jeweiligen Neurons gleich Eins, wenn die zugehörige Partition komplett unterhalb des zu repräsentierenden Gütewerts liegt (b ≤ g). Ist die dem Neuron zugehörige Partition komplett oberhalb des Gütemaßes (g ≤ a), ist die gewünschte Ausgabe gleich Null. Das Neuron, in dessen Partition das Gütemaß liegt (a < g < b), soll den Wert ((g - a) / (b - a)) annehmen.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass zumindest ein Sensor der Mehrzahl der Sensoren Daten-Sätze generiert, die eine zeitliche Sequenz von Daten des zumindest einen Sensors aufweisen.
Da ein typischer Sensor beispielsweise alle 10 ms einen neuen Wert liefern kann, können bei entsprechender Strukturierung des neuronalen Netzes auch Sequenzen von Daten verarbeitet werden und somit zeitliche Zusammenhänge in die Bestimmung der Güte der jeweiligen Sensoren einfließen. Beispielsweise könnten jeweils 100 sequenzielle Datensätze als Eingangssignal für das neuronale Netz bereitgestellt werden.
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest zwei Sensoren der Mehrzahl der Sensoren unterschiedliche Modalitäten aufweisen und die Metrik für die Bestimmung des Gütegrades von der jeweiligen Modalität des Sensors abhängt.
Dadurch, dass die Metrik für die Bestimmung des Gütegrades von der jeweiligen Modalität des Sensors abhängt, kann erreicht werden, dass die jeweilige Bestimmung der Güte spezifisch auf den entsprechenden Sensortyp abgestimmt ist. Daraus resultiert eine höhere Genauigkeit in Bezug auf die Angabe eines Gütegrades.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass der Vergleich der mindestens einen Größe, die mit dem jeweiligen Daten-Satz bestimmt wurde, mit jeweils mindestens einem Attributdatum zumindest eines zugehörigen Ground-Truth Objektes der Umgebungs-Repräsentation mittels einer Metrik erfolgt.
Für eine Berechnung der Güte kann die entsprechende Metrik insbesondere Abstände bestimmen. Dabei sollte ein geringerer Abstand entsprechend der Metrik zu einem besseren Gütemaß führen und umgekehrt. Für die Festlegung einer solchen Metrik sind Sensor-Modalitäts-spezifische Eigenschaften zu beachten.
In einem Schritt des Vergleiches wird die mindestens eine Größe des jeweiligen Daten-Satzes eines Sensors zu zumindest einem Ground-Truth Objekt der zugehörigen Umgebungs-Repräsentation assoziiert.
In einem weiteren Schritt des Vergleiches wird eine quantitative Übereinstimmung der mindestens einen Größe mit zumindest einem Attribut des Ground-Truth Objektes der Umgebungs-Repräsentation mittels einer von der Modalität des Sensors abhängigen Metrik, zur Bestimmung des Gütegrades des jeweiligen Daten-Satzes, bestimmt.
Dabei erfolgt die Assoziation der mindestens einen Größe des jeweiligen Daten-Satzes eines Sensors zu zumindest einem Ground-Truth Objekt der zugehörigen Umgebungs-Repräsentation mittels einer weiteren Metrik, zum Beispiel mittels einer Abstandsmessung der Größe des jeweiligen Daten-Satzes von einem Ground-Truth Objekt. Mit anderen Worten bedeutet das, dass eine bestimmte Größe aus dem gemessenen Daten-Satz zu demjenigen Objekt assoziiert wird, zu dem eine Metrik, zum Beispiel eine Abstandsmetrik am geringsten ist. Zusätzlich wird ein Schwellwert für die Metrik definiert, der je nach Metrik unter- oder überschritten werden muss, damit eine Assoziation gültig ist. Andernfalls wird die Messung als Rausch-Messung („Clutter“) verworfen.
Mit einer geeigneten Normierung, zum Beispiel unter Berücksichtigung der Verteilung des modalitätsspezifisch definierten Abstandsmaßes auf einer Stichprobe (wobei die Verteilung zum Beispiel auch vom Schwellwert der Assoziation abhängt), ergibt sich dann das Gütemaß, das typischerweise im Bereich zwischen 0 und 1 liegt.
Typischerweise befinden sich Messpunkte der Punktewolke eines LIDAR-Sensors auf der Oberfläche eines Objekts. Aus diesem Grund ist es sinnvoll, in diesem Fall als Abstands-Metrik für jeden zu einem Objekt assoziierten LIDAR-Mess-Punkt den kürzesten Euklidischen Abstand des 3D-Messpunkts zur Oberfläche des 3D-Objekt-Modells, wie zum Beispiel der 3D Bounding Box, zu definieren. Das Abstandsmaß für das Objekt insgesamt kann dann als mittlerer Abstand aller assoziierten Punkte berechnet werden.
Bei der Nutzung einer Abstands-Metrik zur Berechnung der Gütemaße aus RADAR-Locations kann prinzipiell ähnlich wie beim LIDAR vorgegangen werden. Allerdings ist in diesem Fall zu beachten, dass RADAR-Locations typischerweise nicht auf der Oberfläche der Objekte gemessen werden. Eine mögliche Abstands-Metrik kann deshalb definiert werden, indem zunächst die Verteilung der Radar-Locations auf dem Objekt geschätzt bzw. modelliert wird, idealerweise in Abhängigkeit von relevanten Parametern wie einer Lage des gemessenen Objekts zum Sensor, einem Abstand zum Sensor und dem Typ des Objekts. Diese Verteilungsschätzung kann anhand einer geeigneten Stichprobe erfolgen. Da bei RADAR-Location-Messungen im Gegensatz zu LIDAR-Punkt-Messungen auch ein Schätzwert für die Geschwindigkeit vorliegt, kann auch dieses Attribut der Messung in die Berechnung der Metriken einbezogen werden, sowohl was die Assoziierung, als auch was die Berechnung des Gütemaßes betrifft.
Vor allem bei LIDAR-Systemen, aber auch bei RADAR-Systemen, ist es sinnvoll zusätzlich die Anzahl der gemessenen Punkte einzubeziehen. Eine niedrigere Anzahl an Messpunkten, als es unter Berücksichtigung des Abstands zum Objekt zu erwarten ist, kann dann zu einer Verschlechterung des Gütemaßes führen. Eine Kombination einer auf der Anzahl der Punkte basierenden Metrik mit der oben beschriebenen Abstands-Metrik ist möglich.
Gemäß einem Aspekt wird vorgeschlagen, dass die Metrik auf einer Objektdetektionsrate zumindest eines Sensors der Mehrzahl der Sensoren, wie einer Falsch-Positiv-Rate und/oder einer Falsch-Negativ-Rate und/oder einer kombinierten Rate wie einer Mean Average Precision und/oder einem F1-Maß, basiert.
Weitere Metriken können eingesetzt werden, wenn von den einzelnen Modalitäten zusätzlich zu den Roh-Messdaten der Sensoren Objektschätzungen vorliegen, die beispielsweise aus den Roh-Messdaten mittels Algorithmen zur Objektdetektion und Tracking ermittelt werden.
In diesem Fall ermöglicht eine Assoziation der Objekte einer bestimmten Modalität mit den Ground-Truth-Objekten die Berechnung der folgenden Metriken:

Die Falsch-Positiv-Rate (auch „fall-out“) gibt den Anteil der vom Sensor detektierten Objekte an, für die kein Ground-Truth-Objekt vorliegt. Der Wert ist 0, wenn keines der detektierten Objekte ein Falsch-Positives Objekt darstellt, und 1, wenn keinem der detektierten Objekte ein tatsächliches Ground-Truth-Objekt entspricht.

Umgekehrt gibt die Falsch-Negativ-Rate (auch „miss rate“) an, wie hoch der Anteil der nicht vom Sensor detektierten Ground-Truth-Objekte an der Gesamtzahl aller tatsächlich vorhandenen Objekte ist. Die Falsch-Negativ-Rate ist 0, wenn es keine solchen Objekte gibt, und 1, wenn keines der tatsächlich vorhandenen Objekte vom Sensor detektiert wird.
Der F1-Score ist das harmonische Mittel von Precision und Recall, berücksichtigt also sowohl Falsch-Positive als auch Falsch-Negative.
Die Precision gibt an, welcher Anteil der vom Sensor detektierten Objekte korrekt ist (Precision = 1 - Falsch-Positiv-Rate), während der Recall (auch Sensitivität) dem Anteil der korrekt detektierten, tatsächlich vorhandenen Objekte angibt (Recall = 1 - Falsch-Negativ-Rate).
Die mean average precision (mAP) kombiniert ebenfalls Precision und Recall zu einem einzigen Wert, allerdings wird zusätzlich berücksichtigt, dass Precision und Recall miteinander in Zusammenhang stehen insofern, dass ein Objekt-Detektor für die Precision optimiert werden kann, wenn eine Verschlechterung des Recall in Kauf genommen wird und umgekehrt. Die mAP kann nur bestimmt werden, wenn für die vom Detektor bestimmten Objekte jeweils ein Konfidenzwert vorliegt. In diesem Fall wird der Mittelwert der Precisions berechnet, die sich für alle Recall-Werte von 0 bis 1 ergeben, wenn der Konfidenzwert variiert wird.
Gemäß einem Aspekt wird vorgeschlagen, dass die Assoziation mittels einer Wahrscheinlichkeit bestimmt wird, dass die Daten-Sätze zu einem gewissen Objekt der Umgebung gehören.
Es wird ein Verfahren zur Bestimmung eines jeweiligen Gütegrades je eines Daten-Satzes zumindest zweier Sensoren einer Mehrzahl von Sensoren mit einem, gemäß einem mit einem oben beschriebenen Verfahren trainierten maschinellen Lernmodell vorgeschlagen, wobei die Mehrzahl der Sensoren eingerichtet sind Umgebungs-Repräsentationen zu generieren; und die Daten-Sätze der zumindest zwei Sensoren als Eingangssignal dem trainierten maschinellen Lernmodell bereitgestellt werden; und das maschinelle Lernmodell eine Ausgangsgröße, zum Ausgeben des Gütegrades bereitstellt.
Dabei umfasst der Begriff Daten-Satz sowohl ein einzelnes Datum eines Sensors, wenn beispielsweise der Sensor nur einen Wert ausgibt, als auch ein beispielsweise zwei- oder mehr-dimensionales Feld von Werten, beispielsweise von Sensoren, die ein digitales Bild der Umgebung aufzeichnen, als auch alle weiteren Mengen von Daten, die für den jeweiligen Sensortyp eine typische Ausgabegröße darstellen.
Eine Ausgangsgröße des maschinellen Lernmodells ist von dem verwendeten maschinellen Lernmodell abhängig. Insbesondere kann die Ausgangsgröße für ein neuronales Netz ein Gütegrad sein.
Mittels eines entsprechend den dargestellten Verfahren trainierten maschinellen Lernmodells ist es auf eine einfache Art möglich, jedem Daten-Satz eines Sensors einer Mehrzahl von Sensoren einen Gütegrad zusammen mit dem Daten-Satz bereitzustellen.
Es wird ein Verfahren zur Fusion von Daten-Sätzen von Sensoren einer Mehrzahl von Sensoren vorgeschlagen, wobei die Mehrzahl von Sensoren eingerichtet sind Umgebungs-Repräsentationen zu generieren, und wobei bei der Fusion der Daten-Sätze der Sensoren die Daten-Sätze gewichtet mit einem jeweiligen bestimmten Gütegrad in das Gesamtergebnis der Umfelderkennung einfließen.
Insbesondere kann die Fusion sowohl der Erkennung als auch der Fusion der Informationen bzw. der Daten-Sätze dienen. In diesem Sinne kann das Verfahren zur Fusion von Daten-Sätzen von Sensoren einer Mehrzahl von Sensoren als ein Verfahren zur Erkennung und Fusion von Daten-Sätzen von Sensoren einer Mehrzahl von Sensoren verstanden werden.
Wie oben beschrieben, ist es vorteilhaft die aktuellen Gütemaße für die einzelnen Sensor-Modalitäten zusätzlich zu den Sensordaten selbst als Eingabe an das Modul zur Sensordatenfusion und Umfeldwahrnehmung (MSFU) vorzusehen. Das MSFU kann ebenfalls mit Machine-Learning-Methoden realisiert sein, es kann jedoch auch mit herkömmlichen Algorithmen (mittels „manuellem Engineering“) realisiert sein, zum Beispiel mittels einer Kalman-Filterung der Sensor-Daten. Im Vergleich zu einem ausschließlich mittels ML-Methoden realisierten System, hat die Kombination einer ML-basierten Zuverlässigkeitsbestimmung der Sensoren mit einem getrennten Modul zur Generierung der Umfeldrepräsentation einige Vorteile.
Zum Beispiel ist ein Vorteil, dass bei nicht ML-basierter Realisierung der Sensordatenfusion und Umfeldwahrnehmung der Bedarf des Gesamtsystems an Rechenleistung und Speicherkapazität von vornherein niedriger ist oder besser reduziert werden kann und es somit leichter möglich ist, das Gesamtsystem auf Computer-Hardware zu realisieren, die für den mobilen Einsatz in einem Roboter oder in einem Fahrzeug geeignet ist.
In diesem Zusammenhang kann die ML-basierte Zuverlässigkeitsbestimmung mit einer niedrigeren Update-Rate und/oder nur mit einem Teil der multimodalen Sensordaten betrieben werden, während das Modul zur Sensordatenfusion und Umfeldwahrnehmung mit einer höheren Update-Rate betrieben wird und/oder die gesamten zur Verfügung stehenden Sensordaten nutzt.
Auf diese Weise kann einerseits eine hohe Genauigkeit und geringe Latenz der Umfeldwahrnehmung erreicht werden, andererseits kann die automatische Beurteilung der Zuverlässigkeit der Sensoren die Vorteile von maschinellen Lernverfahren nutzen, um die komplexen Zusammenhänge zwischen den Daten multimodaler Sensoren bei einer Vielzahl von Bedingungen zu berücksichtigen, was mit nicht ML-basierten Verfahren nicht oder weniger zuverlässig oder nicht für eine ähnlich große Zahl an unterschiedlichen Bedingungen, wie sie über eine Trainingsstichprobe erfasst werden können, möglich ist.
Eine Realisierung des MSFU, die getrennt von der Realisierung des Moduls zur Bestimmung der Sensor-Gütemaße ist, kann darüber hinaus auch den Vorteil haben, dass das Gesamtsystem kleiner und/oder kostengünstiger realisierbar ist. Beispielsweise kann es bei Anwendungen, bei denen aufgrund der Anforderungen an die Zuverlässigkeit eine redundante Auslegung erforderlich ist, ausreichend sein, wenn zwar das MSFU, aber nicht das Modul zur Gütemaßbestimmung redundant ausgelegt ist.
In diesem Fall kann das MSFU so realisiert sein, dass es bei einem Ausfall des Moduls zur Bestimmung der Gütemaße die multimodalen Sensordaten weiterhin verarbeitet, obwohl die Gütemaße der Sensoren nicht mehr vorliegen. In diesem Fall wird zum Beispiel auf eine Gewichtung bei der Fusion verzichtet oder eine Gewichtung mit fest voreingestellten Parametern vorgenommen. Somit ist die Gesamtzuverlässigkeit der MSFU-Ausgabe niedriger und es liegt keine Gesamtgüte vor. Wenn dies in der Funktion angemessen berücksichtigt werden kann, ist die Sicherheit des Systems dennoch gewährleistet, so dass ein nichtredundantes Auslegen des Moduls zur Bestimmung der Sensor-Gütemaße ausreichend ist.
Ein Beispiel für die angemessene Berücksichtigung in der Funktion kann darin bestehen, bei Ausfall des Moduls zur Gütemaßbestimmung der Sensoren eine Übergabe an den menschlichen Fahrer einzuleiten, so dass die dann weniger zuverlässigen Informationen über das Umfeld nur noch für einen begrenzten Zeitraum genutzt werden müssen.
Die Bewertungen der aktuellen Zuverlässigkeit jedes einzelnen Sensors, die von einem Modul zur Gütemaßbestimmung ausgegeben werden, können zum Beispiel von einem Modul zur Sensordatenfusion und Umfeldwahrnehmung herangezogen werden, um die Genauigkeit und Zuverlässigkeit der Umfeldwahrnehmung zu verbessern. Dies erhöht die Sicherheit des Systems des autonomen Fahrens.
Ein konkretes Beispiel, wie die Zuverlässigkeitsbewertungen genutzt werden können, besteht darin, in die Fusion der Sensordaten eine Gewichtung einzubeziehen, wobei die Daten, der zu dem jeweiligen Zeitpunkt zuverlässigeren Sensoren, höher gewichtet werden, und somit stärker in das Gesamtergebnis der Umfelderkennung einfließen, als die Daten der als weniger zuverlässig bewerteten Sensoren.
Die Verbesserung im Vergleich zu den oben beschriebenen herkömmlichen Systemen erzielt die Erfindung dadurch, dass aufgrund der Bewertung der Güte der einzelnen Sensoren zusätzliche Information für die Sensordatenfusion zur Verfügung steht. Aufgrund dessen erfolgt eine an die jeweilige Situation angepasste Mitigierung der Unzulänglichkeiten, und es wird eine bessere Erkennungsgenauigkeit und -zuverlässigkeit bei unterschiedlichen Einsatzbedingungen und Umgebungsbedingungen und demzufolge unterschiedlich bedingten Unzulänglichkeiten der Sensoren erreicht.
Ein Beispiel besteht darin, die autonome Fahrfunktion eines Fahrzeugs an die Gesamtbewertung und somit an die aktuelle, geschätzte Genauigkeit und Zuverlässigkeit der Umfeldwahrnehmung anzupassen. Ein konkretes Beispiel ist in dem Fall, dass die Zuverlässigkeit oder Genauigkeit insgesamt als weniger gut bewertet wird (wenn zum Beispiel die Güte-Bewertungen aller Sensoren unter einem bestimmten Schwellwert liegen), die Geschwindigkeit des autonom fahrenden Fahrzeugs so lange zu reduzieren, bis sich die GesamtZuverlässigkeit oder Genauigkeit wieder erhöht hat. Ein weiteres konkretes Beispiel ist, im Fall einer als nicht mehr ausreichend bewerteten GesamtZuverlässigkeit eine Übergabe an den menschlichen Fahrer anzufordern, also die autonome Funktion zu beenden.
Gemäß einem Aspekt wird vorgeschlagen, dass die Gütemaße der einzelnen Sensoren zu einer Gesamtbewertung zusammengefasst werden.
Eine Berücksichtigung der Gesamtbewertung für eine Steuerung einer zumindest teilautomatisierten mobilen Plattform kann die Sicherheit der Funktion zusätzlich erhöhen.
Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem Wert zumindest eines Gütegrades zumindest eines Sensors einer Mehrzahl von Sensoren, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf einem Wert zumindest eines Gütegrades zumindest eines Sensors einer Mehrzahl von Sensoren, ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einem Wert zumindest eines Gütegrades bereitgestellt wird, breit zu verstehen. Es ist so zu verstehen, dass der Wert zumindest eines Gütegrades für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Sinngemäß gilt das ebenso für das Warnsignal.
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
Es wird eine Vorrichtung angegeben, die eingerichtet ist, ein Verfahren wie es oben beschrieben ist, durchzuführen. Mit einer solchen Vorrichtung kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
Es wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
Ausführungsbeispiele
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 und 2 dargestellt und im Folgenden näher erläutert. Es zeigen:

1 ein Ablaufdiagramm zum Trainieren eines maschinellen Lernmodells;
2 ein Verfahren zur Fusion von Daten-Sätzen einer Mehrzahl von Sensoren und einer Ansteuerung einer Aktuatorik.

1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades von Daten-Sätzen 23 von jedem einer Mehrzahl von Sensoren 21. In einem Schritt S0 werden vorab Daten-Sätze 23 (Sensor-Roh-Messdaten) von jedem einer Mehrzahl von Sensoren 21 generiert, wobei die Mehrzahl der Sensoren 21 eingerichtet sind, Roh-Messdaten zu generieren, aus denen eine Umgebungs-Repräsentation bestimmt werden kann.
Diese Mehrzahl von Sensoren 21 kann beispielsweise ein mit der Mehrzahl der Sensoren 21 ausgestattetes Fahrzeug oder eine Flotte so ausgestatteter Fahrzeuge sein.
In einem Schritt S1 wird eine Vielzahl von Daten-Sätze 23 jedes der Mehrzahl der multimodalen Sensoren 21 von einer entsprechenden Vielzahl von Umgebungs-Repräsentationen bereitgestellt. Das heißt also, dass die Mehrzahl der multimodalen Sensoren 21 entsprechend einer Vielzahl von Umgebungs-Repräsentationen eine Vielzahl von Daten-Sätzen 23 generiert haben, die in diesem Schritt bereitgestellt werden, um eine sogenannte ungelabelte Stichprobe der Daten-Sätze 23 jedes der Mehrzahl der multimodalen Sensoren 21 zu erhalten.
In einem weiteren Schritt S2 werden Attributdaten von Ground-Truth Objekten der Vielzahl von Umgebungs-Repräsentationen bereitgestellt. Dies kann beispielsweise durch manuelles Labeln oder mit Hilfe einer holistischen Verarbeitung der Daten-Sätze 23 jedes der Mehrzahl der multimodalen Sensoren 21 erfolgen, um eine sogenannte gelabelte Stichprobe der Daten-Sätze 23 jedes der Mehrzahl der multimodalen Sensoren 21 zu erhalten. Die Attributdaten stellen jeweils eine symbolische Beschreibung der jeweiligen Umgebungs-Repräsentation dar.
In einem weiteren Schritt S3 wird eine Gütegrad 26a, 26b, 26c, 26d des jeweiligen Daten-Satzes 23 jedes der Mehrzahl der Sensoren 21 mittels einer Metrik entsprechend einem der oben dargestellten Verfahren bestimmt. Dabei können diese Gütegrade 26a, 26b, 26c, 26d abhängig vom jeweiligen Daten-Satz 23, variieren so dass bei einer zeitlichen Abfolge von Daten-Sätzen 23 die resultierenden Gütegrade 26a, 26b, 26c, 26d der einzelnen Sensoren zeitabhängig sind, da sie die Qualität der Sensordaten des jeweiligen Sensors zu einem bestimmten Zeitpunkt charakterisieren.
In einem weiteren Schritt S4 wird das maschinelle Lernmodell mit der Vielzahl von Daten-Sätzen 23 jedes der Mehrzahl der Sensoren 21 und dem jeweils zugeordneten bestimmten Gütegrad 26a, 26b, 26c, 26d des jeweiligen Daten-Satzes 23 jedes Sensors 21 trainiert bzw. optimiert.
Die 2 zeigt einen schematischen Ablauf von einer Generierung von Daten-Sätzen 23 mittels einer Mehrzahl von multimodalen Sensoren 21 bis zur Umsetzung etwaiger Funktionen und Ansteuerung der Aktuatorik 31, für beispielsweise eine zumindest teilautomatisierte mobile Plattform bzw. zur Realisierung einer teilautonomen Fahrfunktion eines Fahrerassistenzsystems in einem Fahrzeug oder zur Realisierung einer vollautonomen Fahrfunktion in einem Fahrzeug.
Dabei ist eine Mehrzahl von Sensoren 21 eingerichtet, Daten-Sätze 23 für eine Umgebungs-Repräsentation zu generieren. Dabei können diese Sensoren 21 unterschiedliche Modalität aufweisen d.h. unterschiedliche Sensortypen 21 darstellen, wie beispielsweise optische Kameras, RADAR-Systeme, LIDAR-Systeme oder Ultraschallsensoren und zu einem multimodalen Sensorset kombiniert sein.
Diese Daten-Sätze 23 stellen die Eingangsdaten für ein Modul 25 dar, dass mit einem entsprechend dem oben beschriebenen Verfahren trainierten maschinellen Lernmodell, wie beispielsweise einem so trainierten tiefen neuronalen Netz (DNN: engl. „Deep Neural Network“), für jeden dieser Daten-Sätze 23 für jeden der Mehrzahl der Sensoren 21 einen aktuellen Gütegrad 26a, 26b, 26c, 26d, aufgrund der aktuell vorliegenden Daten-Sätze 23 der Mehrzahl der multimodalen Sensoren 21, bestimmt.
Diese Gütegrade 26a, 26b, 26c, 26d werden zusätzlich zu den Daten-Sätzen 23 einem Eingang eines Moduls zur Sensordatenfusion und Umfeldwahrnehmung (MSFU) 27 bereitgestellt.
Das MSFU-Modul 27 verwendet diese Gütegrade 26a, 26b, 26c, 26d der Daten-Sätze 23 der Mehrzahl multimodaler Sensoren 21 im Rahmen der Erkennung und Fusion der Daten-Sätze 23 der Mehrzahl multimodaler Sensoren 21, beispielsweise durch eine Gewichtung der aus den Daten-Sätzen 23 bestimmten Umgebungs-Repräsentationen der jeweiligen Datensätze im Rahmen der Fusion, um eine Genauigkeit und/oder Zuverlässigkeit der von dem MSFU-Modul 27 generierten Umgebungs-Repräsentation 28a auch im Fall fehlerhafter Daten-Sätze 23, aufgrund von beispielsweise Sensor-Unzulänglichkeiten, gewährleisten zu können.
Zusätzlich kann eine Gesamtgüte 28b bestimmt werden, welche die Zuverlässigkeit der generierten Umgebungs-Repräsentation unter Berücksichtigung aller Gütegrade 26a, 26b, 26c, 26d der Daten-Sätze 23 der Mehrzahl der multimodalen Sensoren 21 angibt.
Sowohl die Umgebung-Repräsentation 28a als auch die Gesamtgüte 28b werden einem Eingang eines Moduls 29, zur Umsetzung der Funktion und Ansteuerung der Aktuatorik 31, bereitgestellt.
Dieses Modul 29 kann die Funktion mit besserer Leistung und höherer Zuverlässigkeit realisieren, als es mit herkömmlichen Verfahren möglich ist, weil zum einen die Zuverlässigkeit der Umgebungs-Repräsentation 28a mit den hier dargestellten Verfahren verbessert ist und weil zum anderen zusätzlich die Gesamtgüte 28b als zusätzliche Information zur Verfügung steht.
Diese Gesamtgüte 28b kann beispielsweise eingesetzt werden, um die Auslegung einer zumindest teilautomatisierten Fahrfunktion an die aktuellen Gütegrade 26a, 26b, 26c, 26d der Daten-Sätze 23 der Mehrzahl der multimodalen Sensoren 21 anzupassen, also eine defensivere Fahrweise, zum Beispiel mit einer niedrigeren verfügbaren Geschwindigkeit, bei schlechterer Gesamtgüte 28b der Umgebungs-Repräsentation vorzugeben.
Die Gesamtgüte 28b kann auch dazu eingesetzt werden, zu entscheiden, wann eine autonome oder teil-autonome Fahrfunktion nicht mehr zur Verfügung stehen kann, so dass an den menschlichen Fahrer übergeben werden muss, zum Beispiel indem die Gesamtgüte 28b mit einem Schwellwert verglichen wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

X. Chen et al. „Multi-view 3d object detection network for autonomous driving,“ in Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on. IEEE, 2017, pp. 6526-6534 [0049]
J. Ku, et al., „Joint 3d proposal generation and object detection from view aggregation“ arXiv:1712.02294, 2017 [0049]
C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, „Frustum pointnets for 3d object detection from rgb-d data,“ in Computer Vision and Pattern Recognition (CVPR), 2018 IEEE Conference on. IEEE, 2018 [0049]
T. Kim and J. Ghosh, „Robust detection of non-motorized road users using deep learning on optical and lidar data,“ in Intelligent Transportation Systems (ITSC), 2016, pp. 271-276 [0049]

Claims

Verfahren (100) zum Trainieren eines maschinellen Lernmodells zur Bestimmung eines Gütegrades (26a, 26b, 26c, 26d) von zumindest einem Daten-Satz (23) von jedem einer Mehrzahl von Sensoren (21), wobei die Mehrzahl der Sensoren (21) eingerichtet sind Umgebungs-Repräsentationen zu generieren, mit den Schritten: Bereitstellen einer Vielzahl von Daten-Sätzen (23) (S1) jedes der Mehrzahl der Sensoren (21) von einer entsprechenden Vielzahl von Umgebungs-Repräsentationen; Bereitstellen von Attributdaten (S2) von Ground-Truth Objekten der Vielzahl von Umgebungs-Repräsentationen; Bestimmen eines Gütegrades (26a, 26b, 26c, 26d) (S3) des jeweiligen Daten-Satzes (23) jedes der Mehrzahl der Sensoren (21) mittels einer Metrik, wobei die Metrik mindestens eine Größe, die mittels des jeweiligen Daten-Satzes bestimmt wird, mit jeweils mindestens einem Attributdatum zumindest eines zugehörigen Ground-Truth Objektes der Umgebungs-Repräsentationen vergleicht; und Trainieren des maschinellen Lernmodells (S4) mit der Vielzahl von Daten-Sätzen (23) jedes der Mehrzahl der Sensoren (21) und den jeweils zugeordneten bestimmten Gütegraden (26a, 26b, 26c, 26d), zur Bestimmung eines Gütegrades (26a, 26b, 26c, 26d) von Daten-Sätzen (23) von jedem einer Mehrzahl von Sensoren (21).
Verfahren (100) gemäß Anspruch 1, wobei das maschinelle Lernmodell ein neuronales Netz oder ein rekurrentes neuronales Netz aufweist und die jeweilige Ausgangsgröße ein Vektor ist, der zumindest ein Vektorelement aufweist, das den Gütegrad (26a, 26b, 26c, 26d) angibt.
Verfahren (100) gemäß Anspruch 2, wobei das neuronale Netz mehrere Schichten aufweist, und die Daten-Sätze (23) zumindest zweier Sensoren (21) getrennt voneinander in unterschiedliche Teile der Eingabe-Schicht des neuronalen Netzes eingegeben werden und eine Fusion der Daten-Sätze (23) der zumindest zwei unterschiedlichen Sensoren (21) in einer anderen Schicht innerhalb des neuronalen Netzes erfolgt.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei eine Operation zur Fusion der jeweiligen Informationen von zumindest zwei Sensoren (21) der Mehrzahl der Sensoren mittels Addition, Mittelwertbildung oder Verkettung der Daten-Sätze (21) der unterschiedlichen Sensoren (21) und/oder von, aus den jeweiligen Daten-Sätzen (23) unterschiedlicher Sensoren (21) bestimmten, Attributen von Objekten der Umfeld-Repräsentation erfolgt.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei zumindest ein Sensor der Mehrzahl der Sensoren (21) Daten-Sätze (23) generiert, die eine zeitliche Sequenz von Daten des zumindest einen Sensors (21) aufweisen.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei zumindest zwei Sensoren der Mehrzahl der Sensoren (21) unterschiedliche Modalitäten aufweisen und die Metrik für die Bestimmung des Gütegrades (26a, 26b, 26c, 26d) von der jeweiligen Modalität des Sensors (21) abhängt.
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei der Vergleich der mindestens einen Größe, die mit dem jeweiligen Daten-Satz (23) bestimmt wurde, mit jeweils mindestens einem Attributdatum zumindest eines zugehörigen Ground-Truth Objektes der Umgebungs-Repräsentation mittels einer Metrik erfolgt, und der Vergleich folgende Schritte aufweist: Assoziation der mindestens einen Größe des jeweiligen Daten-Satzes (23) eines Sensors (21) zu zumindest einem Objekt der zugehörigen Ground-Truth Umgebungs-Repräsentation; Bestimmen einer quantitativen Übereinstimmung der mindestens einen Größe mit zumindest einem Attribut des Ground-Truth Objektes der Umgebungs-Repräsentation mittels einer von der Modalität des Sensors (21) abhängigen Metrik, zur Bestimmung des Gütegrades (26a, 26b, 26c, 26d) des jeweiligen Daten-Satzes (23).
Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die Metrik auf einer Objektdetektionsrate zumindest eines Sensors der Mehrzahl der Sensoren (21), wie einer Falsch-Positiv-Rate und/oder einer Falsch-Negativ-Rate und/oder einer kombinierten Rate, wie einer Mean Average Precision und/oder einem F1-Maß, basiert.
Verfahren (100) gemäß Anspruch 7, wobei die Assoziation mittels einer Wahrscheinlichkeit bestimmt wird, dass die Daten-Sätze (23) zu einem gewissen Objekt der Umgebung gehören.
Verfahren zur Bestimmung eines jeweiligen Gütegrades (26a, 26b, 26c, 26d) je eines Daten-Satzes (23) zumindest zweier Sensoren einer Mehrzahl von Sensoren (21) mit einem, gemäß einem Verfahren eines der Ansprüche 1 bis 9 trainierten, maschinellen Lernmodell, wobei die Mehrzahl der Sensoren (21) eingerichtet sind Umgebungs-Repräsentationen zu generieren; und die Daten-Sätze (23) der zumindest zwei Sensoren (21) als Eingangssignal dem trainierten maschinellen Lernmodell bereitgestellt werden; und das maschinelle Lernmodell eine Ausgangsgröße, zum Ausgeben des Gütegrades (26a, 26b, 26c, 26d) bereitstellt.
Verfahren zur Fusion von Daten-Sätzen (23) von Sensoren einer Mehrzahl von Sensoren (21), wobei die Mehrzahl von Sensoren (21) eingerichtet sind Umgebungs-Repräsentationen zu generieren, und wobei bei der Fusion der Daten-Sätze (23) der Sensoren (21) die Daten-Sätze (23) gewichtet mit einem jeweilig gemäß Anspruch 10 bestimmten Gütegrad (26a, 26b, 26c, 26d) in das Gesamtergebnis der Umfelderkennung einfließen.
Verfahren nach Anspruch 10, bei dem, basierend auf einem Wert zumindest eines Gütegrades (26a, 26b, 26c, 26d) zumindest eines Sensors (21) einer Mehrzahl von Sensoren (21), ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf einem Wert zumindest eines Gütegrades (26a, 26b, 26c, 26d) zumindest eines Sensors einer Mehrzahl von Sensoren (21), ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.