DE102017116017A1

DE102017116017A1 - Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung

Info

Publication number: DE102017116017A1
Application number: DE102017116017.5A
Authority: DE
Inventors: Ahmad El-Sallab
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2017-07-17
Filing date: 2017-07-17
Publication date: 2019-01-17

Abstract

Die Erfindung betrifft ein Verfahren zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung (2), welche zumindest zwei Sensoreinheiten (3a, 3b, 3x) und zwei neuronale Netze (6a, 6b) aufweist, mit einem a) mehrfachen Erfassen (9a, 9b) einer Umgebung (4) der Kraftfahrzeug-Sensorvorrichtung (2) durch eine erste Sensoreinheit (3a) und durch eine zweite Sensoreinheit (3b); b) Erzeugen (10a, 10b) einer Mehrzahl von ersten Sensorinformationen durch die erste Sensoreinheit (3a) und einer Mehrzahl von zweiten Sensorinformationen durch die zweite Sensoreinheit (3b); c) mehrfachen Definieren (11) von ersten Trainings-Sensordatensätzen (12a) mit jeweils einer der erzeugten ersten Sensorinformationen und zweiten Trainings-Sensordatensätzen (12b) mit jeweils einer der erzeugten zweiten Sensorinformationen; d) Verfälschen von Sensorinformationen einer Teilmenge der ersten und zweiten Trainings-Sensordatensätze (12a, 12b); f) Kennzeichnen der Trainings-Sensordatensätze (12a, 12b) mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze (12a, 12b) mit unverfälschten Sensorinformationen als unverfälscht; e) Bereitstellen (13) der zu den jeweiligen gekennzeichneten ersten Trainings-Sensordatensätzen (12a) gehörigen ersten Sensorinformationen an das erste neuronale Netz (6a) der Kraftfahrzeug-Sensorvorrichtung (2) und der zu den jeweiligen gekennzeichneten zweiten Trainings-Sensordatensätzen (12b) gehörigen zweiten Sensorinformationen an das zweite neuronale Netz (6b) der Kraftfahrzeug-Sensorvorrichtung (2); f) Bereitstellen (14) einer Information über die Kennzeichnung der jeweiligen ersten und zweiten Trainings-Sensordatensätze (12a, 12b) an eine Lehrinstanz (15) für das erste und das zweite neuronale Netz (6a, 6b); g) Trainieren des ersten neuronalen Netzes (6a) mit den bereitgestellten ersten Sensorinformationen der jeweiligen ersten Trainings-Sensordatensätze (12a) und des zweiten neuronalen Netzes (6b) mit den bereitgestellten zweiten Sensorinformationen der jeweiligen zweiten Trainings-Sensordatensätze (12b) mittels eines überwachenden Lernalgorithmus' für ein Erzeugen einer kombinierten Repräsentation (16) der ersten Sensorinformation und der zweiten Sensorinformation.

Description

Die Erfindung betrifft ein Verfahren zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und zwei neuronale Netze aufweist, sowie ein Verfahren zum Betreiben einer derartigen Kraftfahrzeug-Sensorvorrichtung und eine Kraftfahrzeug-Sensorvorrichtung mit einer ersten Sensoreinheit zum Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung und zum Erzeugen einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, und mit einer zweiten Sensoreinheit zum Erfassen der Umgebung und zum Erzeugen einer zweiten Sensorinformation, welche die erfasste Umgebung repräsentiert und mit zwei neuronalen Netzen zum Verarbeiten der von den Sensoreinheiten erzeugten Sensorinformationen.
In modernen Kraftfahrzeugen, gerade im Bereich des autonomen Fahrens, das heißt im Bereich teilautonomer oder autonomer Fahrfunktionen des jeweiligen Kraftfahrzeuges, spielt die Aggregation, also das Zusammenführen, von Informationen mehrerer Sensoreinheiten eine große Rolle. Dabei können die unterschiedlichen Sensoreinheiten, deren Information oder Sensorinformation zusammengeführt oder im Sinne eines Kombinierens vereint werden soll, der gleichen Modalität oder aber unterschiedlichen Modalitäten angehören. So können beispielsweise Sensorinformationen von mehreren Kameras zusammengeführt oder integriert werden, oder aber Sensorinformationen von beispielsweise einer Kamera und einem Radar.
Eine Herausforderung liegt dabei darin, wie die verschiedenen Sensorinformationen der unterschiedlichen Sensoreinheiten in eine gemeinsame, kohärente Repräsentation der Sensordaten überführt werden können, um eine einheitliche oder vereinheitlichte Darstellung der Umgebung des Kraftfahrzeugs, eine kombinierte Repräsentation der Umgebung zu erreichen. Die üblichen Ansätze für eine Fusion der Sensorinformationen sind klassische Signalverarbeitungsansätze wie beispielsweise Kalman-Filter. Problematisch ist hier die Notwendigkeit des manuellen Justierens der Systemparameter dahingehend, dass einerseits die im System genutzten oder diesem zugrundeliegenden Modelle der jeweiligen Sensoreinheiten ausgenutzt werden sollen, und andererseits aber auch neue Möglichkeiten, welche nicht in den hinterlegten Modellen vorgesehen sind, genutzt werden sollen, wenn dies Vorteile, das heißt vorteilhafte Synergien verspricht. Zusätzlich ist hier eine Vielzahl von unterschiedlichen Annahmen zu treffen, um beispielsweise vorhergehende Messungen und Bewegungsmodelle erfasster Objekte einander anzugleichen.
In diesem Zusammenhang offenbart beispielsweise die DE 10 2009 006 113 A1 ein Verfahren zur Fusion von Objekten, die mit mindestens zwei Sensoren detektiert werden, zu einem Fusionsobjekt. In Abhängigkeit der Sensoren, welche das Objekt detektiert haben, wird dem Fusionsobjekt dabei eine Existenzwahrscheinlichkeit zugeordnet.
Der Erfindung liegt die Aufgabe zugrunde, die Verarbeitung von Sensorinformationen unterschiedlicher Sensoreinheiten einer Sensorvorrichtung in einen Kraftfahrzeug zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Die Erfindung betrifft ein Verfahren zum Konfigurieren, welches auch im Sinne eines Herstellens verstanden werden kann, einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und zwei neuronale Netze aufweist. Bei dem Konfigurieren erfolgt zunächst ein mehrfaches Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung durch die erste Sensoreinheit der zwei Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung und durch eine zweite Sensoreinheit der beiden Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung. Es wird somit die Umgebung oder ein Teilbereich der Umgebung durch die beiden Sensoreinheiten mehrfach erfasst. Das mehrfache Erfassen durch die erste und durch die zweite Sensoreinheit erfolgt dabei in einem gleichen Zeitraum oder Zeitfenster. Ein weiterer Verfahrensschritt ist ein Erzeugen einer Mehrzahl von ersten Sensorinformationen durch die erste Sensoreinheit und einer Mehrzahl von zweiten Sensorinformationen durch die zweite Sensoreinheit. Dabei repräsentieren die Sensorinformationen je die jeweils erfasste Umgebung. Die ersten Sensorinformationen können somit beispielsweise aufeinander folgend basierend auf dem Erfassen erzeugt werden. In dem gleichen Zeitraum wie die ersten Sensorinformationen können auch die zweiten Sensorinformationen erzeugt werden. Basierend auf dem mehrfachen Erfassen wird mit dem mehrfachen Erzeugen also ein Reservoir an Sensorinformationen erschaffen, welcher zum Anlernen oder Trainieren des neuronalen Netzes genutzt werden kann, wie im Folgenden erläutert.
Nachdem die Umgebung erfasst und die Mehrzahl von Sensorinformationen erzeugt wurde, werden jeweilige erste und zweite Trainings-Sensordatensätze mit einer jeweiligen ersten beziehungsweise zweiten Sensorinformationen definiert. Es wird somit bei einem mehrfachen Definieren eine Mehrzahl von ersten beziehungsweise zweiten Trainings-Sensordatensätzen erzeugt, welche jeweils eine erste beziehungsweise eine zweite Sensorinformation enthalten.
Es kann auch ein jeweiliger erster und zweiter Trainings-Sensordatensatz zu einem übergeordneten Trainings-Sensordatensatz kombiniert werden. Dann erfolgt im Endeffekt ein mehrfaches Kombinieren, welches im Sinne eines logischen Verbindens und/oder Vereinens zu verstehen ist, jeweils einer der erzeugten ersten Sensorinformationen (dem jeweiligen ersten Trainings-Sensordatensatz) mit einer der erzeugten zweiten Sensorinformationen (dem zweiten Trainings-Sensordatensatz) zu einem oder in einen jeweiligen übergeordneten Trainings-Sensordatensatz. Dabei sind die ersten und zweiten Sensorinformationen in einem jeweiligen Trainings-Datensatz bevorzugt synchronisiert, das heißt parallel zueinander erzeugt beziehungsweise beruhen auf einem parallelen Erfassen der Umgebung. Sie können also in einem gleichen Zeitintervall einer vorgegebenen Länge, beispielsweise von weniger als 10 Sekunden, weniger als einer Sekunde oder weniger als einer Zehntelsekunde oder weniger als einer Hundertstelsekunde erzeugt worden sein oder auf einem Erfassen in dem entsprechenden gleichen Zeitintervall beruhen. Insbesondere können die beiden Sensorinformationen des übergeordneten Trainings-Sensordatensatzes auch gleichzeitig erzeugt werden beziehungsweise auf einem gleichzeitigen Erfassen der Umgebung beruhen. Das Kombinieren und/oder Definieren kann beispielsweise in einer Recheneinheit der Kraftfahrzeug-Sensorvorrichtung erfolgen.
Ein darauffolgender Verfahrensschritt ist ein Verfälschen von Sensorinformationen einer Teilmenge der ersten und einer Teilmenge der zweiten Trainings-Sensordatensätze (falls ein übergeordneter Trainings-Sensordatensätz genutzt wird, werden entsprechend erste und/oder zweite Sensorinformationen einer Teilmenge der übergeordneten Trainings-Sensordatensätze verfälscht. Das Verfälschen kann dabei ein Verfälschen von ersten beziehungsweise zweiten Sensorinformationen der jeweiligen Trainings-Sensordatensätze umfassen. Darauf folgt ein Kennzeichnen der Trainings-Sensordatensätze mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze mit unverfälschten Sensorinformationen als unverfälscht. Beispielsweise kann das Kennzeichnen mit einem Flag, einem zusätzlichen Informationsbit erfolgen. Für eine erste Teilmenge der Trainings-Sensordatensätze wurden also die von dem jeweiligen Trainings-Sensordatensatz enthaltenen Sensorinformationen manipuliert oder verfälscht, und für eine zweite restliche Teilmenge, welche gemeinsam mit der ersten Teilmenge die Gesamtmenge der ersten beziehungsweise zweiten Trainings-Sensordatensätze bildet, ist entsprechend kein Verfälschen durchgeführt worden. Die unverfälschten Trainings-Sensordatensätze repräsentieren somit die Umgebung wie sie durch die beiden Sensoreinheiten erfasst wurde, die verfälschten hingegen eine fehlerhafte Umgebung und/oder ein fehlerhaftes Erfassen.
Es erfolgt sodann ein jeweiliges Bereitstellen der zu den jeweiligen gekennzeichneten ersten Trainings-Sensordatensätzen gehörigen ersten Sensorinformationen an das erste neuronale Netz der Kraftfahrzeug-Sensorvorrichtung und der zu den jeweiligen gekennzeichneten zweiten Trainings-Sensordatensätzen gehörigen zweiten Sensorinformationen an das zweite neuronale Netz der Kraftfahrzeug-Sensorvorrichtung. Falls erste und zweite Trainings-Sensordatensätze zu jeweiligen übergeordneten Trainings-Sensordatensätzen kombiniert sind, erfolgt das Bereitstellen der ersten und der zweiten (dann bevorzugt in obigem Sinne synchronisierten) Sensorinformation des jeweiligen Trainings-Sensordatensatzes an das zugeordnete, also jeweils erste oder zweite neuronale Netz. Ebenso erfolgt ein Bereitstellen einer Information über die Kennzeichnung der jeweiligen ersten und zweiten (beziehungsweise des übergeordneten) Trainings-Sensordatensätze an eine Lehrinstanz der neuronale Netze. Die Lehrinstanz kann hier auch als Lehrer oder Supervisor bezeichnet werden. Die Lehrinstanz hat also eine Kenntnis darüber, ob die jeweils an das erste beziehungsweise zweite neuronale Netz bereitgestellten Sensorinformationen verfälschte Sensorinformationen oder unverfälschte Sensorinformationen sind oder solche umfassen. Die Lehrinstanz kann dabei eine dem ersten neuronalen Netz zugeordnete erste Unter-Lehrinstanz und eine dem zweiten neuronalen Netz zugeordnete, insbesondere von der ersten Unter-Lehrinstanz verschiedene, zweite Unter-Lehrinstanz aufweisen.
Schließlich erfolgt ein Trainieren des ersten neuronalen Netzes mit den bereitgestellten Sensorinformationen der jeweiligen ersten Trainings-Sensordatensätze und des zweiten neuronalen Netzes mit den bereitgestellten zweiten Sensorinformationen der jeweiligen zweiten Trainings-Sensordatensätze durch die Lehrinstanz mittels eines überwachten Lernalgorithmus, das heißt in Form des sogenannten „Supervised Learning“ oder Überwachten Lernens, für ein oder zu einem Erzeugen einer kombinierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation. Die kombinierte Repräsentation kann hier auch als verschmolzene oder vereinheitlichte oder fusionierte Repräsentation bezeichnet werden. Die kombinierte Repräsentation ist dabei bevorzugt im Vergleich zu der Summe der Dimensionalitäten der beiden Sensorinformationen von geringerer Dimensionalität. Die kombinierte Repräsentation kann insbesondere auch als kohärente Darstellung der beiden Sensorinformationen verstanden werden. Die neuronalen Netzwerke oder Netze werden also dahingehend trainiert, anhand der jeweils an das jeweilige neuronale Netz bereitgestellten Sensorinformation ein (Ausgangs-) Signal für die kombinierte Repräsentation zu erzeugen, welche wiederum die von den beiden Sensoreinheiten erfasste Umgebung repräsentiert. Die (Ausgangs-) Signale können dann wie weiter unten beschrieben beispielsweise mit einem weiteren neuronalen Netz oder einer zusätzlichen Schicht, welche den beiden neuronalen Netzen zugeordnet ist und dann beispielsweise das weitere neuronale Netz bildet, zu der kombinierten Repräsentation zusammengeführt werden.
Grundsätzlich wird bei der vorliegend realisierten Sensorfusion, gerade der multimodalen Sensorfusion, eine niederdimensionale Mannigfaltigkeit gefunden, in welcher die unterschiedlichen Sensorinformationen eingebettet und damit repräsentiert werden können. Dabei wird während des Trainierens eine große Menge an (möglichstsynchronisierten) Sensorinformationen gesammelt und als jeweiliger erster oder zweiter Trainingsdatensatz definiert und/oder zu einem übergeordneten Trainings-Sensordatensatz kombiniert. Die Trainings-Sensordatensätze werden dann teilweise verfälscht, beispielsweise indem sie abschnittsweise mit zufälligen Daten überschrieben werden. Die Trainings-Datensätze werden entsprechend mit einem Label oder Flag gekennzeichnet, sodass mit den Trainings-Datensätzen beziehungsweise den in diesen enthaltenen Sensorinformationen und dem entsprechenden Label ein neuronales Netz, das heißt entsprechend das erste oder das zweite neuronale Netz, dahingehend trainiert werden kann, dass es erkennt, ob es sich um unverfälschte (reale) Sensorinformationen oder aber verfälschte (künstliche) Sensorinformationen handelt. Dies kann beispielsweise über ein überwachtes stochastisches Gradientenverfahren realisiert werden.
Die Erfindung schlägt somit ein Verfahren zum automatischen Trainieren der neuronalen Netzwerke vor, mit welchen Sensordaten oder Sensorinformationen einer Vielzahl von Sensoren in eine kohärente Darstellung, die kombinierte Repräsentation, überführt oder zusammengeführt werden können. Dazu kann zunächst eine Vielzahl an (insbesondere synchronisierten) Sensorinformationen aus einer realen Umgebungssituation erzeugt werden. Sensorinformationen, welche derselben Zeitinstanz angehören, also in dem gleichen Zeitintervall erfasst beziehungsweise erzeugt wurden, repräsentieren ein Trainingsereignis und können in einem übergeordneten Trainings-Sensordatensatz zusammengefasst werden . In diese Trainingsereignisse beziehungsweise in die (ersten und/oder zweiten oder übergeordneten) Trainings-Sensordatensätze können sodann automatisch künstliche Fehler eingebaut werden. Ein Trainings-Sensordatensatz ohne Fehler kann beispielsweise mit einer Eins gekennzeichnet werden, ein Trainings-Sensordatensatz mit einem künstlichen Fehler kann mit einer Null gekennzeichnet werden. Diese Trainings-Datensätze werden genutzt, um die neuronalen Netze zu trainieren. Wie weiter unten beschrieben, können die so trainierten neuronalen Netze dann beispielsweise bei einem autonomen Fahren eingesetzt werden, um multimodale Sensordaten zu fusionieren oder zusammenzuführen. Diese fusionierten Daten, die integrierte Repräsentation, kann dann beispielsweise mit einem weiteren neuronalen Netzwerk ausgewertet und insbesondere klassifiziert werden.
Das hat den Vorteil, dass über die integrierte Repräsentation eine einheitliche oder vereinheitlichte, kohärente Darstellung der Umgebung erreicht wird. Zugleich kann hier die Dimensionalität der Repräsentation im Vergleich zu der Summe der einzelnen Sensorinformationen reduziert werden, sodass das Verarbeiten der Sensorinformationen effizienter wird.Dabei sind an die ersten und zweiten Sensordaten zunächst keine Vorraussetzungen bezüglich einer Synchronität gestellt, und die Netze können bereits mit vergleichsweise wenig Trainingsdaten und somit geringem Aufwand trainiert oder konfiguriert werden. Es können somit durch die neuronalen Netze, das heißt durch die Kraftfahrzeug-Sensorvorrichtung, auch unter widrigen Bedingungen kombinierte Repräsentationen erzeugt werden, welche ohne beispielsweise bei schlecht synchronisierten Sensordaten zwangsläufig Fehler zu erzeugen in weiteren Schritten verarbeitet werden können.
Die Lehrinstanz beziehungsweise der überwachende Lernalgorithmus oder das überwachte Lernen kann über ein weiteres neuronales Netz oder eine zusätzliche Schicht in dem oder den trainierten oder zu trainierenden neuronalen Netzen implementiert sein. Das hat den Vorteil eines einheitlichen mathematischen Rahmens, welcher beispielsweise in einer Recheneinheit der Sensorvorrichtung vereinheitlicht implementiert werden kann.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Sensoreinheiten jeweils unterschiedliche Modalitäten aufweisen, das heißt Sensoreinheiten unterschiedlicher Modalität sind. Beispielsweise kann so eine Sensoreinheit eine Kamera umfassen und eine weitere Sensoreinheit einen Lidar. Haben die Sensoreinheiten hingegen die gleiche Modalität, kann es sich beispielsweise um mehrere Sensoreinheiten eines gleichen Sensorsystems, beispielsweise eines Kamera-Sensorsystems mit mehreren Kameras handeln.
Das hat den Vorteil, dass die Sensorinformation der unterschiedlichen Modalitäten, welche üblicherweise nur schwierig in eine einheitliche kohärente Repräsentation der Umgebung integrierbar sind, über die neuronalen Netze gemeinsam vereinheitlicht und integriert in eine kombinierte Repräsentation überführt werden können.
In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass zumindest eine der Sensoreinheiten einen bildgebenden Sensor umfasst oder eine bildgebende Sensoreinheit ist und die andere Sensoreinheit oder eine andere Sensoreinheit oder, bei mehr als zwei verbleibenden Sensoreinheiten, die anderen Sensoreinheiten einen abstandsgebenden Sensor umfasst oder eine abstandsgebende Sensoreinheit ist beziehungsweise abstandsgebende Sensoreinheiten sind. Ein abstandsgebender Sensor liefert dabei zumindest einen Abstand zumindest eines Objektes, möglicherweise auch einen räumlich aufgelösten Abstand eines Objektes von dem Sensor als Sensorinformation, ein bildgebender Sensor eine Bildinformation über die Umgebung des Sensors.
Das hat den Vorteil, dass die Umgebung mit besonders vielen relevanten Informationen unterschiedlicher Qualität in der integrierten Repräsentation repräsentiert werden kann.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass zumindest eine der Sensoreinheiten, bevorzugt die Sensoreinheiten jeweils, eine der folgenden Einrichtungen aufweist: Eine Kameraeinrichtung und/oder eine Ultraschallsensoreinrichtung und/oder eine Lidar (Light-Detection-and-Ranging-Vorrichtung, eine Vorrichtung zur optischen Abstands- und/oder Geschwindigkeitsmessung), insbesondere mit einem Laserabtaster oder Laserscanner, und/oder eine Radareinrichtung. Beispielsweise kann so die erste Sensoreinheit eine Kameraeinrichtung aufweisen und die zweite Sensoreinheit eine Radareinrichtung. In diesem Fall wären die beiden Sensoreinheiten Sensoreinheiten unterschiedlicher Modalitäten. Überdies wäre die erste Sensoreinheit eine bildgebende Sensoreinheit und die zweite Sensoreinheit eine abstandsgebende Sensoreinheit. Es könnte beispielsweise auch die erste Sensoreinheit und die zweite Sensoreinheit eine Kameraeinrichtung aufweisen.
Das hat den Vorteil, dass die in Kraftfahrzeugen besonders häufig verwendeten genannten Einrichtungen nun genutzt werden können, und so die Umgebung des Kraftfahrzeugs besonders nutzbringend in vereinheitlichter Weise dargestellt werden können.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die ersten und zweiten und insbesondere auch weiteren Sensorinformationen, welche je als erster, zweiter oder weiterer Trainings-Sensordatensatz genutzt werden und/oder (gegebenenfalls mittelbar über die ersten und/oder zweiten und/oder weiteren Trainings-Sensordatensätze) zu oder in dem übergeordneten Trainings-Sensordatensatz kombiniert werden, (zumindest teilweise, also teilweise oder ganz) zeitlich parallel erfasst wurden, insbesondere gleichzeitig erfasst worden. Unter einem zeitlich parallel Erfasst werden kann hier verstanden werden, dass die entsprechenden Sensorinformationen in demselben Zeitintervall einer vorgegebenen Länge erfasst werden, beispielsweise in einem Zeitintervall von weniger als 10 Sekunden, weniger als einer Sekunde oder weniger als einer Zehntelsekunde oder weniger als einer Hundertstelsekunde.
Das hat den Vorteil, dass die beiden Sensorinformationen durch den Kontext der Umgebung bedingt voneinander abhängig sind, das heißt nicht im mathematischen Sinne unabhängige Informationen sind oder in diesem Sinne unabhängige Ereignisse repräsentieren. Damit besteht zwischen den Sensorinformationen ein (kausaler) Zusammenhang, also eine (kausale) Korrelation, welche entsprechend bei dem Konfigurieren durch das Netz gelernt werden kann. Damit können fehlerbehaftete oder fehlende Daten durch das neuronale Netz oder Netzwerk besonders gut kompensiert werden.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Kraftfahrzeug-Sensorvorrichtung zumindest eine weitere Sensoreinheit, also eine oder mehrere weitere Sensoreinheiten, aufweist und das mehrfache Erfassen auch durch die weitere Sensoreinheit erfolgt sowie das Erzeugen auch ein Erzeugen einer Mehrzahl von weiteren Sensorinformationen durch die weitere Sensoreinheit umfasst, und ein mehrfaches Definieren eines jeweiligen weiteren Trainings-Sensordatensatz mit einer der erzeugten weiteren (also der den ersten beiden Sensorinformationen entsprechenden) Sensorinformationen umfasst. Alternativ oder ergänzend kann ein mehrfaches Kombinieren eines der ersten Trainings-Sensordatensätze beziehungsweise einer der erzeugten ersten Sensorinformationen mit einem der zweiten Trainings-Sensordatensätze (beziehungsweise einer der -bevorzugt der der ersten Sensorinformation entsprechenden, also mit dieser synchronisierten- erzeugten zweiten Sensorinformationen) sowie mit einem der weiteren Trainings-Sensordatensätze (beziehungsweise mit einer der erzeugten weiteren -bevorzugt der den ersten beiden Sensorinformationen entsprechenden- Sensorinformationen) zu einem oder in einem jeweiligen übergeordneten Trainings-Sensordatensatz erfolgen. Auch die weiteren Sensorinformationen repräsentieren dabei jeweils die erfasste Umgebung oder einen Bereich von dieser.
Das hat den Vorteil, dass nicht nur zwei, sondern mehrere und insbesondere alle Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung oder beispielsweise des Kraftfahrzeugs auf effiziente und effektive Weise über die kombinierte Repräsentation fusioniert oder zusammengefasst werden können.
In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass das erste und/oder das zweite neuronale Netz ein tiefes neuronales Netz mit mehreren verborgenen Schichten („hidden layers“) umfasst oder ist. Das hat den Vorteil, dass die Dimensionsreduktion besonders effektiv und auch für komplexe Sensorinformationen realisiert werden kann.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das erste und/oder das zweite neuronale Netzwerk ein rekurrentes neuronales Netz („recurrent network“) umfasst oder ist, insbesondere ein langes Kurzzeitgedächtnisnetz („long short-term memory network“, LSTM), also ein rekurrentes neuronales Netz mit einem langen Kurzzeitspeicher. Das hat den Vorteil, dass Sensorinformationen, die sich auf ein Verfolgen oder auf eine Bewegung beziehen, insbesondere Sensorinformationen einer abstandsgebenden Sensoreinheit, besonders gut und effizient verarbeitet werden können. Insbesondere kann eine in der Sensorinformation enthaltene zeitliche Information hier gut verarbeitet werden.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das erste und/oder das zweite neuronale Netzwerk ein faltendes neuronales Netz („convolutional neural network“) umfasst oder ist. Das hat den Vorteil, dass eine Bildinformation als Sensorinformation, also insbesondere eine Sensorinformation einer bildgebenden Sensoreinheit, besonders effektiv und effizient verarbeitet werden kann. Insbesondere kann eine Skalierungsinformation von Bildern hier gut verarbeitet werden.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das erste und/oder das zweite neuronale Netz Teile eines übergeordneten neuronalen Netzes sind. Dabei können die beiden Netze voneinander unabhängige oder abhängige Teile des übergeordneten neuronalen Netzes sein. Dies ergibt eine besonders kompakte und effiziente Art, die beschriebenen Verfahren zu implementieren.
Die Erfindung betrifft auch ein Verfahren zum Betreiben einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und zwei neuronale Netze aufweist, und welche nach einem der beschriebenen Verfahren zur Konfiguration konfiguriert wurde. Ein Verfahrensschritt ist hier ein Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung durch die erste Sensoreinheit der zwei Sensoreinheiten und durch die zweite Sensoreinheit der zwei Sensoreinheiten. Ein weiterer Verfahrensschritt ist das Erzeugen einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, durch die erste Sensoreinheit und einer zweiten Sensorinformation, welche die erfasste Umgebung repräsentiert, durch die zweite Sensoreinheit. Es folgt als weiterer Verfahrensschritt ein Bereitstellen oder Einspeisen der erzeugten ersten Sensorinformation an oder in das erste neuronale Netz und der erzeugten zweiten Sensorinformation an oder in das zweite neuronale Netz. Schließlich erfolgt ein Zusammenfügen eines ersten (Ausgangs-) Signals des ersten neuronalen Netzes, welches durch das Einspeisen der ersten Sensorinformation in das erste Netz ausgelöst wurde, und eines zweiten (Ausgangs-) Signals des zweiten neuronalen Netzes, welches durch das Einspeisen der zweiten Sensorinformation in das erste Netz ausgelöst wurde, zu einer kombinierten Repräsentation der ersten und zweiten Sensorinformation. Insbesondere kann das Zusammenfügen durch ein neuronales Netzwerk (oder eine zusätzliche Schicht eines der erwähnten neuronalen Netzwerke), beispielsweise das übergeordnete neuronale Netzwerk, durchgeführt werden.
Vorteile und vorteilhafte Ausführungsformen oder Aspekte des Verfahrens zum Betreiben der Kraftfahrzeug-Sensorvorrichtung entsprechen hier und im Folgenden Vorteilen und vorteilhaften Ausführungsformen beziehungsweise Vorteilen und Aspekten des Verfahrens zum Konfigurieren der Kraftfahrzeug-Sensorvorrichtung.
In einer vorteilhaften Ausführungsform kann das hier beschriebene Verfahren zum Betreiben der Kraftfahrzeug-Sensorvorrichtung auch in mehreren Instanzen seriell aufeinander aufbauend durchgeführt werden, beispielsweise indem zunächst die erste und die zweite Sensoreinheit Sensoreinheiten eines gleichen Sensorsystems sind, deren Sensorinformationen über die kombinierte Repräsentation zusammengeführt werden. In diesem erstinstanzlichen Verfahren können somit beispielsweise mehrere Sensorinformationen einer Modalität, beispielsweise einer Kameraeinrichtung, zusammengeführt werden. Die kombinierte Repräsentation der ersten Verfahrensinstanz kann dann als Sensorinformation gemeinsam mit einer weiteren Sensorinformation in eine zweite Verfahrensinstanz eingespeist werden, sodass sich ein hierarchisches Modell ergibt, in welchem jeweils unterschiedliche Sensorinformationen kombiniert werden können. Dabei wird ein kohärenter Rahmen beziehungsweise eine einheitliche Darstellung der Umgebung der Kraftfahrzeug-Sensorvorrichtung erreicht und zugleich das Trainieren des Netzwerks beziehungsweise Konfigurieren der Kraftfahrzeug-Sensorvorrichtung erleichtert, da die jeweiligen Trainings-Datensätze kleiner und die aufzuwendende Trainingszeit somit insgesamt kürzer wird.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass die kombinierte Repräsentation an ein weiteres neuronales Netzwerk, insbesondere an ein weiteres neuronales Netzwerk der Kraftfahrzeug-Sensorvorrichtung, bereitgestellt wird.
Das hat den Vorteil, dass eine besonders einfache natürliche Verarbeitung der kombinierten Repräsentation erfolgen kann, insbesondere kann das weitere neuronale Netzwerk mit dem einen neuronalen Netz verflochten werden und so die Verarbeitung der Sensorinformationen beziehungsweise der kombinierten Repräsentation weiter in seiner Effizienz gesteigert werden. Insbesondere kann durch das weitere neuronale Netz basierend auf dem ersten oder dem zweiten (Ausgangs-)Signal auf Grund der assoziativen Eigenschaften eine fehlendes oder fehlerhaftes anderes, also entsprechend zweites oder ersten (Ausgangs-)Signal kompensiert werden, beispielsweise indem das fehlende (Ausgangs-)Signal mit einem Standard- oder Zufallssignal angenähert oder ersetzt wird.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die kombinierte Repräsentation für das Ausführen einer zumindest teilautonomen, also teilautonomen oder autonomen, Fahrfunktion des Kraftfahrzeugs genutzt wird. Gerade in diesen teilautonomen oder autonomen Fahrfunktionen ist es besonders entscheidend, zuverlässig viele verschiedene Sensorinformationen zusammenzuführen und eine fehlerresistente, robuste Repräsentation der Umgebung zu erhalten. Dies wird durch das beschriebene Verfahren erreicht, welches in diesem Kontext somit besonders vorteilhaft ist.
Die Erfindung betrifft auch eine Kraftfahrzeug-Sensorvorrichtung, also eine Sensorvorrichtung für ein Kraftfahrzeug, mit einer ersten Sensoreinheit zum Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung, und zum Erzeugen zumindest einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, und mit einer zweiten Sensoreinheit zum Erfassen der Umgebung und zum Erzeugen zumindest einer zweiten Sensorinformation, welche ebenfalls die erfasste Umgebung repräsentiert und mit zwei neuronalen Netzen zum Verarbeiten der von den Sensoreinheiten erzeugten Sensorinformationen. Insbesondere kann das Verarbeiten hier ein Erzeugen einer kombinierten Repräsentation umfassen. Die Sensoreinrichtung ist dabei ausgebildet, diese kombinierte Repräsentation der beiden Sensorinformationen der Sensoreinheiten durch ein Zusammenfügen eines ersten (Ausgangs-)Signals des ersten neuronalen Netzes und eines zweiten (Ausgangs-)Signals des zweiten neuronalen Netzes zu erzeugen.
Insbesondere ist hier die Kraftfahrzeug-Sensorvorrichtung nach einem der beschriebenen Verfahren konfiguriert, also das neuronale Netzwerk mit bereitgestellten Sensorinformationen jeweiliger erster und zweiter, oder aber übergeordneter Trainings-Sensordatensätze durch eine Lehrinstanz mittels eines überwachenden Lernalgorithmus für ein Erzeugen der kombinierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation trainiert. Die ersten und zweiten Trainings-Sensordatensätze sind jeweils mit einer der ersten beziehungsweise zweiten Sensorinformationen definiert. Gegebenenfalls sind die jeweiligen übergeordneten Trainings-Sensordatensätze mit einem Kombinieren jeweils eines ersten Trainings-Sensordatensatzes (und damit einer erzeugten ersten Sensorinformation) und eines zweiten Trainings-Sensordatensatzes (und damit einer erzeugten zweiten Sensorinformation) hergestellt. Für das Trainieren sind hier für eine Teilmenge der Trainings-Sensordatensätze Sensorinformationen verfälscht, sowie die Trainings-Sensordatensätze mit verfälschten Sensorinformationen als verfälscht beziehungsweise die Trainings-Sensordatensätze mit unverfälschten Sensorinformationen als unverfälscht gekennzeichnet. Die zu den jeweiligen gekennzeichneten Trainings-Sensordatensätze gehörigen Sensorinformationen werden dabei für das Trainieren an das neuronale Netz bereitgestellt und entsprechend die Information über die Kennzeichnung der jeweiligen, gerade für das Training genutzten Trainings-Sensordatensätze der bereitgestellten Sensorinformationen an die Lehrinstanz des neuronalen Netzes bereitgestellt.
Auch hier entsprechen Vorteile, vorteilhafte Ausführungsformen sowie weitere Merkmale der Kraftfahrzeug-Sensorvorrichtung den Vorteilen, vorteilhaften Ausführungsformen und weiteren Aspekten der beiden beschriebenen Verfahren.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Kraftfahrzeug-Sensorvorrichtung.
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Kraftfahrzeug-Sensorvorrichtung;
2 eine beispielhafte Ausführungsform eines Verfahrens zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung; sowie
3 eine beispielhafte Ausführungsform eines Verfahrens zum Betreiben einer Kraftfahrzeug-Sensorvorrichtung.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1 mit einer Kraftfahrzeug-Sensorvorrichtung 2, welche eine vorliegend als Kamera ausgebildete erste Sensoreinheit 3a zum Erfassen einer Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 beziehungsweise des Kraftfahrzeugs 1 umfasst. Diese erste Sensoreinheit 3a ist dabei auch zum Erzeugen einer ersten Sensorinformation ausgebildet, welche die erfasste Umgebung 4 repräsentiert. Des Weiteren umfasst die Kraftfahrzeug-Sensorvorrichtung 2 vorliegend eine als Lidar ausgebildete zweite Sensoreinheit 3b, welche ebenfalls zum Erfassen der Umgebung 4 ausgebildet ist. Von der zweiten Sensoreinheit 3b kann eine zweite Sensorinformation erzeugt werden, welche ebenfalls die erfasste Umgebung 4 repräsentiert. Schließlich umfasst die Kraftfahrzeug-Sensorvorrichtung 2 vorliegend auch ein erstes neuronales Netz 6a und ein zweites neuronales Netz 6b. Die beiden neuronalen Netze 6a, 6b sind vorliegend Teil eines übergeordneten neuronalen Netzes 6. Die neuronalen Netze 6a, 6b, 6 können beispielsweise in einer Recheneinheit 5 implementiert sein. Das neuronale Netz 6 ist dabei zum Verarbeiten der von den Sensoreinheiten 3a, 3b erzeugten Sensorinformationen ausgebildet, das erste neuronale Netz 6a zum Verarbeiten der von der ersten Sensoreinheiten 3a erzeugten Sensorinformationen, das zweite neuronale Netz 6b zum Verarbeiten der von der zweiten Sensoreinheit 3b erzeugten Sensorinformationen.
Wichtig ist hier, dass das die Sensorvorrichtung 2, hier die Recheneinheit 5, zum Erzeugen einer kombinierten Repräsentation der beiden Sensorinformationen in Abhängigkeit der ersten und/oder der zweiten an die neuronalen Netze 6a, 6b bereitgestellten Sensorinformationen ausgebildet ist. Die kombinierteRepräsentation kann hier auch als verschmolzene oder vereinheitlichte oder fusionierte Repräsentation bezeichnet werden. Die kombinierteRepräsentation ist dabei bevorzugt im Vergleich zu der Summe der Dimensionalitäten der beiden Sensorinformationen von geringerer Dimensionalität. Die kombinierteRepräsentation kann insbesondere auch als kohärente Darstellung der beiden Sensorinformationen verstanden werden. Diese kombinierteRepräsentation der Umgebung 4 kann dann im gezeigten Beispiel durch das neuronale Netz 6 oder die Recheneinheit 5, in welcher das neuronale Netz 6 mit dem ersten neuronalen Netz 6a und dem zweiten neuronalen Netz 6b implementiert ist, an eine weitere Steuereinrichtung 7 und/oder an eine weitere Assistenzeinrichtung 8 bereitgestellt werden. Die Kraftfahrzeug-Sensorvorrichtung 2 kann beispielsweise durch ein anhand 2 dargestelltes Verfahren konfiguriert werden oder entsprechend mit einem in 3 dargestellten Verfahren betrieben werden.
2 zeigt eine beispielhafte Ausführungsform eines Verfahrens zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung 2. Zunächst erfolgt hier ein Erfassen 9a, 9b der Umgebung 4 beziehungsweise einer Situation in der Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 durch die erste Sensoreinheit 3a und die zweite Sensoreinheit 3b. Vorliegend weist die Kraftfahrzeug-Sensorvorrichtung 2 eine Vielzahl von Sensorvorrichtungen 3a bis 3x auf, sodass auch ein entsprechendes Erfassen 9a bis 9x durch die vielen Sensoreinheiten 3a bis 3x erfolgt. Beispielsweise kann ein Radar und/oder ein Ultraschallsensor eine weitere Sensoreinheit 9x sein oder von dieser umfasst sein. Es folgt ein Erzeugen 10a bis 10x einer ersten, zweiten sowie einer weiteren Sensorinformation durch die jeweiligen Sensoreinheiten 3a bis 3x. Die jeweiligen erzeugten Sensorinformationen repräsentieren dabei die erfasste Umgebung 4. Die Sensorinformationen können dabei beispielsweise an die Recheneinheit 5 bereitgestellt werden. Es folgt ein Definieren 11 von ersten, zweiten sowie vorliegend weiteren Trainings-Sensordatensätzen 12a, 12b sowie 12x mit jeweils ersten, zweiten sowie weiteren Sensorinformationen. Alternativ oder ergänzend können die ersten und zweiten Trainings-Sensordatensätze 12a, 12b sowie vorliegend auch der weitere Trainings-Sensordatensatz 12x beziehungsweise die entsprechenden ersten, zweiten und hier auch weiteren Sensorinformationen zu einem übergeordneten Trainings-Sensordatensatz kombiniert werden.. Das Definieren und/oder Kombinieren kann beispielsweise durch eine Recheneinheit 5 erfolgen.
Das Erfassen 9a bis 9x sowie das Bereitstellen 10a bis 10x erfolgt dabei mehrmals, sodass hier eine Mehrzahl an jeweiligen ersten, zweiten und weiteren Sensorinformationen an die Recheneinheit 5 bereitgestellt wird. Entsprechend wird dann eine Mehrzahl von jeweiligen ersten, zweiten und hier auch weiteren Trainings-Sensordatensätzen 12a, 12b, 12x definiert, gegebenenfalls auch zu entsprechenden übergeordneten Trainings-Sensordatensätzen 12 kombiniert. Die Sensorinformationen einer Teilmenge der Trainings-Sensordatensätze 12a, 12b, 12x oder auch der übergeordneten Trainings-Sensordatensätze 12 werden dabei verfälscht, beispielsweise ebenfalls durch die Recheneinheit 5. Dabei erfolgt auch ein Kennzeichnen der Trainings-Sensordatensätze 12a, 12b, 12x oder 12 mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze 12a, 12b, 12x oder 12 mit unverfälschten Sensorinformationen als unverfälscht.
Es folgt sodann ein Bereitstellen 13 der zu den jeweiligen gekennzeichneten Trainings-Sensordatensätzen 12a, 12b, 12x oder 12 gehörigen Sensorinformationen an das neuronale Netz 6, das heißt an das den jeweiligen Sensorinformationen zugeordnete erste neuronale Netz 6a oder zweite neuronale Netz 6b, sowie ein Bereitstellen 14 einer Information über die Kennzeichnung der jeweiligen Trainings-Sensordatensätze 12a, 12b, 12x oder 12 an eine Lehrinstanz 15 der neuronalen Netze 6a, 6b. Unter einem wiederholten Bereitstellen 13, 14 erfolgt nun ein Trainieren der neuronalen Netze 6a, 6b mit den bereitgestellten Sensorinformationen der jeweiligen Trainings-Sensordatensätze 12a, 12b, 12x oder 12 durch die Lehrinstanz 15 mittels eines überwachenden Lernalgorithmus, des sogenannten Supervised Learning, für ein Erzeugen der kombinierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation sowie der weiteren Sensorinformationen aus jeweiligen Ausgangssignalen der beiden neuronalen Netze 6a, 6b.
Dies lässt sich mathematisch durch eine Zielfunktion J beschreiben, welche den gesamten Klassifizierungsfehler der neuronalen Netze 6a, 6b beziehungsweise des neuronalen Netzes 6 minimiert. Dabei wird in einer Vielzahl von Trainingsschritten i, für welche jeweils die entsprechenden Sensorinformationen erzeugt werden, die Abweichung eines Ergebnisses y_e,i und des gewünschten Klassifizierungsergebnisses t_i für alle Trainings-Sensordatensätze 12a, 12b, 12x oder 12 minimiert: j = min ∑_i(t_i - y_e,i)², für alle i = 1 ...N, wobei N die Anzahl der Beobachtungen oder Erfassungen der Umgebung 4 sind. Dieses Ziel kann auch im Sinne einer Wahrscheinlichkeit dahingehend formuliert werden, dass die bedingte Wahrscheinlichkeit ein gewünschtes Klassifikationsergebnis t_i für einen gegebenen Inputvektor oder Beobachtungsvektor x_i zu erreichen: j = maxp(y_e,i = t_i | x_i) für alle i = 1...N. Im Falle der verfälschten beziehungsweise unverfälschten Trainings-Sensordatensätze 12a, 12b, 12x oder 12 ist somit die Zielklassifizierung für die unverfälschten Trainings-Sensordatensätze beispielsweise 1 sowie für die verfälschten Sensordatensätze beispielsweise 0.
Das Trainingsziel ist dabei die Netzparameter unterschiedlicher Schichten des ersten und zweiten neuronalen Netzes 6a, 6b beispielsweise einer sogenannten Nachschlage-Tabellen-Schicht (Lookup-Table-Layer) und einer Klassifikation-Schichten (Classification-Layer) zu bestimmen. Dies kann beispielsweise über ein Gradientenverfahren in mehreren Schichten oder eine Rückpropagation umgesetzt werden. Das Ergebnis des Trainingsprozesses sind somit die Gewichte der Zwischenschichten oder unsichtbaren Schichten des neuronalen Netzwerks. Die voll ausgelernte Zwischenschicht (Intermediate Layer) übernimmt dabei in dem neuronalen Netzwerk die Funktion einer Nachschlagetabelle (Lookup Table). Eine derartige Nachschlagetabelle L bildet einen Beobachtungsvektor der Dimensionalität 1 × M in einen von |V| Eintragsvektoren der Tabelle L ab, welcher jeweils eine Länge von 1 × N hat. N ist dabei die Einbettungsgröße und bevorzugt kleiner M. Damit wird eine Dimensionalitätsreduktion realisiert und eine integrierte Darstellung erreicht. Die Lookup Table hat also die Größe |V| × N. Die Lookup Table kann somit einen Vektor der Größe 1 × N an eine Klassifikationsschicht übergeben, welche entsprechend der oben genannten Gleichung ein Klassifikationsergebnis y_e liefert.
Die Klassifikationsschicht kann somit durch eine Aktivitätsverteilung in der Schicht entsprechend eine Wahrscheinlichkeit für p(y_i | x̂) für i = 1 bis N repräsentieren. Für eine erste Wahrscheinlichkeit für eine erste Sensoreinheit, beispielsweise mit einer Kamera, muss zumindest die Wahrscheinlichkeit p(y_i | x̂_Kamera) abgeschätzt werden und im Falle einer Sensoreinheit mit einer Lidar-Einrichtung die Wahrscheinlichkeit p(y_i | x̂_Lidar). Die zusammengeführte Wahrscheinlichkeit für beide Modalitäten ergibt sich somit zu p(y_i | x̂_Lidar,x̂_Kamera). Dies ergibt mit Bayes auf Grund der unabhängigen Verarbeitung der ersten und zweiten Sensorinformationen durch die neuronalen Netze 6a, 6b beziehungsweise durch das neuronale Netz 6: $p (y_{i} | {\hat{x}}_{L i d a r}, {\hat{x}}_{K a m e r a}) = 1 / p (y_{i}) * p (y_{i} | {\hat{x}}_{L i d a r} |) * p (y_{i} | {\hat{x}}_{K a m e r a} |) .$
Diese Wahrscheinlichkeiten können über das Bereitstellen oder Einspeisen der jeweiligen Sensordatensätze der jeweiligen zu den gekennzeichneten Trainings-Sensordatensätzen gehörigen Sensorinformationen in das neuronale Netz mit den beschriebenen Lehrinstanzen gelernt werden.
Damit ergibt sich bei bestimmungsgemäßem Gebrauch der Sensorvorrichtung 2 eine Funktionsweise, wie sie in 3 schematisch dargestellt ist. Dabei erfolgt zunächst ein Erfassen 9a bis 9x der Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 durch zumindest die erste Sensoreinheit 3a, bevorzugt mehrere Sensoreinheiten 3a bis 3x. Entsprechend erfolgt zumindest ein Erzeugen 10a einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, bevorzugt ein Erzeugen 10a bis 10x mehrerer Sensorinformationen. Das Erzeugen 10a bis 10x erfolgt hier mit einem Bereitstellen 17a bis 17x der jeweiligen erzeugten Sensorinformation an das erste und zweite neuronale Netz 6a, 6b, und hier auch das weitere neuronale Netz 6x, insgesamt also an das neuronale Netz 6 von welchem die neuronalen Netze 6a, 6b, 6x Teil sind. Durch das neuronale Netz 6 beziehungsweise die neuronalen Netze 6a, 6b, 6x wiederum erfolgt vorliegend in einer zusätzlichen Schicht des neuronalen Netzes 6 ein Zusammenfügen 18 der kombinierten Repräsentation 16 der ersten Sensorinformation und einer zweiten Sensorinformation der zweiten Sensoreinheit 3b, bevorzugt auch der weiteren Sensoreinheit 3x aus den entsprechenden Signalen im neuronalen Netzes 6.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009006113 A1 [0004]

Claims

Verfahren zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung (2), welche zumindest zwei Sensoreinheiten (3a, 3b, 3x) und zwei neuronale Netze (6a, 6b) aufweist, mit den Verfahrensschritten: a) Mehrfaches Erfassen (9a, 9b) einer Umgebung (4) der Kraftfahrzeug-Sensorvorrichtung (2) durch eine erste Sensoreinheit (3a) der Kraftfahrzeug-Sensorvorrichtung (2) und durch eine zweite Sensoreinheit (3b) der Kraftfahrzeug-Sensorvorrichtung (2); b) Erzeugen (10a, 10b) einer Mehrzahl von ersten Sensorinformationen durch die erste Sensoreinheit (3a) und einer Mehrzahl von zweiten Sensorinformationen durch die zweite Sensoreinheit (3b), wobei die Sensorinformationen je die erfasste Umgebung (4) repräsentieren; c) mehrfaches Definieren (11) von ersten Trainings-Sensordatensätzen (12a) mit jeweils einer der erzeugten ersten Sensorinformationen und zweiten Trainings-Sensordatensätzen (12b) mit jeweils einer der erzeugten zweiten Sensorinformationen; d) Verfälschen von Sensorinformationen einer Teilmenge der ersten und zweiten Trainings-Sensordatensätze (12a, 12b); f) Kennzeichnen der Trainings-Sensordatensätze (12a, 12b) mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze (12a, 12b) mit unverfälschten Sensorinformationen als unverfälscht; e) Bereitstellen (13) der zu den jeweiligen gekennzeichneten ersten Trainings-Sensordatensätzen (12a) gehörigen ersten Sensorinformationen an das erste neuronale Netz (6a) der Kraftfahrzeug-Sensorvorrichtung (2) und der zu den jeweiligen gekennzeichneten zweiten Trainings-Sensordatensätzen (12b) gehörigen zweiten Sensorinformationen an das zweite neuronale Netz (6b) der Kraftfahrzeug-Sensorvorrichtung (2); f) Bereitstellen (14) einer Information über die Kennzeichnung der jeweiligen ersten und zweiten Trainings-Sensordatensätze (12a, 12b) an eine Lehrinstanz (15) für das erste und das zweite neuronale Netz (6a, 6b); g) Trainieren des ersten neuronalen Netzes (6a) mit den bereitgestellten ersten Sensorinformationen der jeweiligen ersten Trainings-Sensordatensätze (12a) und des zweiten neuronalen Netzes (6b) mit den bereitgestellten zweiten Sensorinformationen der jeweiligen zweiten Trainings-Sensordatensätze (12b) durch die Lehrinstanz (15) mittels eines überwachenden Lernalgorithmus' für ein Erzeugen einer kombinierten Repräsentation (16) der ersten Sensorinformation und der zweiten Sensorinformation.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Sensoreinheiten (3a, 3b, 3x) jeweils Sensoreinheiten (3a, 3b, 3x) unterschiedlicher Modalität sind.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine der Sensoreinheiten (3a, 3b, 3x) einen bildgebenden Sensor umfasst und die andere Sensoreinheit (3a, 3b, 3x) einen abstandsgebenden Sensor umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine der Sensoreinheiten (3a, 3b, 3x) jeweils eine der folgenden Einrichtungen aufweist: Kameraeinrichtung und/oder Ultraschallsensoreinrichtung und/oder Lidar-Einrichtung, insbesondere mit einem Laserabtaster, und/oder RadarEinrichtung.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ersten und zweiten Sensorinformationen zumindest teilweise zeitlich parallel erfasst wurden, insbesondere zumindest teilweise gleichzeitig erfasst wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kraftfahrzeug-Sensorvorrichtung (2) zumindest eine weitere Sensoreinheit (3x) aufweist und das mehrfache Erfassen (9x) in Verfahrensschritt a) auch durch die weitere Sensoreinheit (3x) erfolgt sowie das Erzeugen gemäß Verfahrensschritt b) auch ein Erzeugen (10x) einer Mehrzahl von weiteren Sensorinformationen durch die weitere Sensoreinheit (3x) umfasst und das mehrfache Definieren gemäß Verfahrensschritt c) ein mehrfaches Definieren eines jeweiligen weiteren Trainings-Sensordatensatz (12x) mit der erzeugten weiteren Sensorinformationen umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und/oder zweite neuronale Netz (6a, 6b) ein tiefes neuronales Netz (6a, 6b) mit mehreren verborgenen Schichten umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und/oder neuronale Netz (6a, 6b) ein rekurrentes neuronales Netz (6a, 6b) umfasst, insbesondere ein langes-Kurzzeit-Gedächtnis-Netz (6a, 6b).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und/oder zweite neuronale Netz (6a, 6b) ein faltendes neuronales Netz (6a, 6b) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das ersten und zweite neuronale Netz (6a, 6b) unabhängige Teile eines übergeordneten neuronalen Netzes (6) sind.
Verfahren zum Betreiben einer Kraftfahrzeug-Sensorvorrichtung (2), welche zumindest zwei Sensoreinheiten (3a, 3b, 3x) und zwei neuronale Netze (6a, 6b) aufweist, welche nach einem der vorhergehenden Ansprüche konfiguriert wurde, mit den Verfahrensschritten: a) Erfassen (9a) einer Umgebung (4) der Kraftfahrzeug-Sensorvorrichtung (2) durch die erste Sensoreinheit (3a) und durch die zweite Sensoreinheit (3b); b) Erzeugen (10a) einer ersten Sensorinformation, welche die erfasste Umgebung (4) repräsentiert, durch die erste Sensoreinheit (3a) und einer zweiten Sensorinformation, welche die erfasste Umgebung (4) repräsentiert, durch die zweite Sensoreinheit (3a); c) Bereitstellen (17a) der erzeugten ersten Sensorinformation an das erste neuronale Netz (6a) und der erzeugten zweiten Sensorinformation an das zweite neuronale Netz (6b); d) Zusammenfügen (18) eines ersten Signals des ersten neuronalen Netzes (6a) und eines zweiten Signals des zweiten neuronalen Netzes (6b) zu einer kombinierten Repräsentation (16) der ersten Sensorinformationen und der zweiten Sensorinformation
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die kombinierte Repräsentation (16) an ein weiteres neuronales Netz bereitgestellt wird.
Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die kombinierte Repräsentation (16) für das Ausführen einer zumindest teilautonomen Fahrfunktion des Kraftfahrzeugs (1) genutzt wird.
Kraftfahrzeug-Sensorvorrichtung (2), mit - einer ersten Sensoreinheit (3a) zum Erfassen (9a) einer Umgebung (4) der Kraftfahrzeug-Sensorvorrichtung (2) und zum Erzeugen (10a) einer ersten Sensorinformation, welche die erfasste Umgebung (4) repräsentiert; - einer zweiten Sensoreinheit (3b) zum Erfassen (9b) der Umgebung (4) und zum Erzeugen (10b) einer zweiten Sensorinformation, welche die erfasste Umgebung (4) repräsentiert; gekennzeichnet durch - ein ersten neuronalen Netz (6a) zum Verarbeiten der von der ersten Sensoreinheit (3a) erzeugten ersten Sensorinformationen; und - ein zweiten neuronalen Netz (6b) zum Verarbeiten der von der zweiten Sensoreinheit (3b) erzeugten zweiten Sensorinformationen wobei die Sensoreinrichtung zum Zusammenfügen (18) eines ersten Signals des ersten neuronalen Netzes (6a) und eines zweiten Signals des zweiten neuronalen Netzes (6b) zu einer kombinierten Repräsentation (16) der beiden Sensorinformationenausgebildet ist.
Kraftfahrzeug (1) mit einer Kraftfahrzeug-Sensorvorrichtung (2) nach Anspruch 14.