-
Die Erfindung betrifft eine Signalverarbeitungsanordnung gemäß dem Oberbegriff des Anspruchs 1.
-
Die Erfindung betrifft weiterhin eine Verwendung einer solchen Signalverarbeitungsanordnung zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs.
-
Aus der
DE 41 00 500 A1 ist eine Signalverarbeitungsanordnung zur Klassifizierung von Objekten aufgrund von Signalen einer Mehrzahl verschiedener Sensoren bekannt. Hierbei sind die Signale der Sensoren auf je ein Paar von ersten neuronalen Netzwerken aufgeschaltet, wobei ein neuronales Netzwerk jedes Paares vorgegebene Eigenschaften des Objekts und das andere neuronale Netzwerk Bewegungsdaten des Objekts verarbeitet, so dass die ersten neuronalen Netzwerke sensorspezifische Detektions-, Identifikations- und Bewegungsinformationen liefern. Aus den sensorspezifischen Detektions-, Identifikations- und Bewegungsinformationen gebildete Merkmalsvektoren sind auf ein zweites neuronales Netzwerk zur Feststellung der Assoziationen der Identifikations- und Bewegungsinformationen aufgeschaltet. Die von dem zweiten neuronalen Netzwerk erhaltene Information ist zusammen mit den Merkmalsvektoren auf ein drittes neuronales Netzwerk zur Identifikation und Klassifizierung des Objekts aufgeschaltet. Die Ausgangssignale der zweiten und dritten Assoziations- bzw. Identifikations-Netzwerke werden zusammen mit den sensorspezifischen Informationen der ersten neuronalen Netzwerke einem Expertensystem zugeführt, welches unter Ausnutzung weiteren Wissens über Daten und Fakten der potentiellen Objekte endgültige Entscheidungen sowie Schlussfolgerungen zur Identifikation zieht.
-
Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Signalverarbeitungsanordnung zur Verarbeitung mittels mehrerer Sensoren erfasster Daten einer Fahrzeugumgebung und eine Verwendung einer Signalverarbeitungsanordnung zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs anzugeben.
-
Hinsichtlich der Signalverarbeitungsanordnung wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 8 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Die Signalverarbeitungsanordnung ist zur Verarbeitung mittels mehrerer Sensoren einer Fahrzeugsensorik erfasster Daten einer Fahrzeugumgebung eingerichtet, wobei ein Datenausgang zumindest eines Sensors mit mehreren künstlichen neuronalen Netzwerken gekoppelt ist.
-
Erfindungsgemäß ist ein Netzwerkausgang jedes neuronalen Netzwerks mit zumindest einem Combinermodul gekoppelt, wobei die Netzwerkausgänge eingerichtet sind, in Abhängigkeit von Sensordaten der Fahrzeugsensorik mittels der künstlichen neuronalen Netzwerke erzeugte und die Fahrzeugumgebung beschreibende vorläufige Umgebungsdaten dem zumindest einen Combinermodul zuzuführen. Das zumindest eine Combinermodul ist eingerichtet, die vorläufigen Umgebungsdaten aller mit diesem gekoppelten neuronalen Netzwerke nach einer vorgegebenen Kombinationsregel zu kombinieren und anhand eines Ergebnisses der Kombination Umgebungsdaten zu ermitteln. Weiterhin ist ein Planungsmodul zumindest mittelbar mit einem Combinerausgang des zumindest einen Combinermoduls gekoppelt und eingerichtet, um in Abhängigkeit von vorgegebenen Soll-Parametern des Fahrzeugs mittels der Umgebungsdaten Aktordaten für eine Fahrzeugaktorik zu ermitteln.
-
Aufgrund der Kombination der Ergebnisse der vorläufigen Umgebungsdaten mehrerer neuronaler Netzwerke mittels des zumindest einen Combinermoduls bei der Erzeugung von Aktordaten ist eine Wahrscheinlichkeit eines Systemversagens minimiert. Hierbei sind aufgrund eines gebildeten parallelen Systems mit unabhängig voneinander trainierten Subsystemen Wahrscheinlichkeiten von Fehlinterpretationen der Sensordaten signifikant verringert. Somit ist eine Einstufung eines Fahrzeugs, welches in einem zumindest teilautomatisiert anhand der Aktordaten durchgeführten Fahrbetrieb steuerbar ist, mit einem höheren ASIL-Level (ASIL = Automotive Safety Integrity Level von gemäß ISO 26262) möglich.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch ein Blockschaltbild eines künstlichen neuronalen Netzwerks nach dem Stand der Technik,
- 2 schematisch ein Blockschaltbild von drei künstlichen neuronalen Netzwerken,
- 3 schematisch ein Blockschaltbild einer Anordnung mit einem künstlichen neuronalen Netzwerk während eines Trainings,
- 4 schematisch ein Blockschaltbild eines ersten Ausführungsbeispiels einer Vorrichtung zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs,
- 5 schematisch ein Blockschaltbild eines zweiten Ausführungsbeispiels einer Vorrichtung zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs und
- 6 ein Blockschaltbild eines dritten Ausführungsbeispiels einer Vorrichtung zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Blockschaltbild eines als so genanntes „Convolutional Neural Network“ ausgebildeten künstlichen neuronalen Netzwerks CNN nach dem Stand der Technik dargestellt, welches beispielsweise zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs verwendet wird.
-
Für diesen Betrieb ist ein Training des neuronalen Netzwerks CNN erforderlich. Dafür benötigte Daten werden während Aufnahmefahrten durch Fahrzeuge gesammelt. Während einer solchen Aufnahmefahrt werden Trainings-Sensordaten TS einer Fahrzeugsensorik 1, beispielsweise eines in Figur 4 näher dargestellten als Kamera ausgebildeten Sensors 1.1, eines als Lidar ausgebildeten weiteren Sensors 1.2 und/oder eines als Radar ausgebildeten weiteren Sensors 1.n, erfasst und einer Speichereinheit 2.1 bis 2.n+x zugeführt.
-
Anschließend werden in den Trainings-Sensordaten TS enthaltene Objekte der Fahrzeugumgebung, beispielsweise Fahrzeuge und andere Verkehrsteilnehmer, Gebäude sowie Objekte einer Verkehrsinfrastruktur, in einem manuell und/oder zumindest teilweise automatisch durchgeführten Labelverfahren L gelabelt.
-
Um eine erhöhte Zuverlässigkeit der Funktion eines solchen neuronalen Netzwerks CNN zu erreichen, ist, wie in Figur 2 näher dargestellt, vorgesehen, dass für die Fahrzeugsensorik 1 mehrere, beispielsweise zumindest drei, künstliche neuronale Netzwerke CNN1 bis CNNn+x mit disjunkten Datensätzen unabhängig voneinander trainiert werden. In einer möglichen Ausgestaltung werden für einzelne Sensoren 1.1, 1.2, 1.3 der Fahrzeugsensorik 1 jeweils mehrere künstliche neuronale Netzwerke CNN1 bis CNNn+x trainiert.
-
Die neuronalen Netzwerke CNN1 bis CNNn+x sind dabei jeweils als so genanntes „Convolutional Neural Network“ ausgebildet und das Training für jedes der einzelnen Netzwerke CNN1 bis CNNn+x erfolgt wie in Figur 1 für das Netzwerk CNN beschrieben. Das heißt, beim Sammeln der erforderlichen Daten während der Aufnahmefahrten werden Trainings-Sensordaten TS1 bis TSn+x der Fahrzeugsensorik 1 erfasst und einer Speichereinheit 2.1 bis 2.n+x zugeführt, wobei in Trainings-Sensordaten TS1 bis TSn+x enthaltene Objekte der Fahrzeugumgebung in manuell und/oder zumindest teilweise automatisch durchgeführten Labelverfahren L gelabelt werden.
-
Dabei sind die während der Aufnahmefahrten gesammelten Daten der einzelnen neuronalen Netzwerke CNN1 bis CNNn+x in ihren Streckenverläufen disjunkt, beinhalten jedoch jeweils alle entsprechend vorkommenden typischen relevanten Objekte, welche im Straßenverkehr in unterschiedlichen Szenarien, wie beispielsweise Stadtfahrten, Überlandfahrten, Autobahnfahrten, Fahrten in ländlichen Gegenden usw., vorkommen.
-
In 3 ist ein Blockschaltbild einer Anordnung mit einem künstlichen neuronalen Netzwerk CNN1 während eines Trainings dargestellt, wobei für jeden Datensatz i ein neuronales Netzwerk CNNi trainiert wird. Dabei werden die neuronalen Netzwerke CNN1 bis CNNn+x derart trainiert, das die Trainings-Sensordaten TS1 bis TSn+x Netzwerkeingänge der neuronalen Netzwerke CNN1 bis CNNn+x bilden und gelabelte Umgebungsdaten D jeweils Netzwerkausgänge der neuronalen
Netzwerke CNN1 bis CNNn+x bilden. Dabei wird für jede Aufzeichnung bzw. jeden Datensatz i ein Netzwerk CNN1 bis CNNn+x trainiert. Beispielsweise kommt hierbei ein Verfahren wie eine Backpropagation BP zum Einsatz.
-
4 zeigt ein Blockschaltbild eines möglichen ersten Ausführungsbeispiels einer Vorrichtung 2 zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs, umfassend eine Signalverarbeitungsanordnung 3 zur Verarbeitung mittels mehrerer Sensoren 1.1 bis 1.z der Fahrzeugsensorik 1 erfasster Sensordaten S1 bis Sz einer Fahrzeugumgebung.
-
Im dargestellten Ausführungsbeispiel ist ein als Kamera ausgebildeter erster Sensor 1.1 bzw. sind mehrere als Kamera ausgebildete Sensoren 1.1 mit mehreren gemäß der Beschreibung zu den 1 bis 3 trainierten neuronalen Netzwerken CNN1 bis CNNn gekoppelt.
-
Während des zumindest teilautomatisiert durchgeführten Betriebs des Fahrzeugs werden mittels des zumindest einen Sensors 1.1 erfasste Sensordaten S1 den disjunkt trainierten neuronalen Netzwerken CNN1 bis CNNn zugeführt, welche anhand der gelernten gelabelten Umgebungsdaten D vorläufige Umgebungsdaten U1 bis Un aus den im realen Fahrbetrieb erfassten Sensordaten S1 erzeugen. Diese vorläufigen
Umgebungsdaten U1 bis Un werden einem Combinermodul 4 zugeführt, welches die vorläufigen Umgebungsdaten U1 bis Un aller mit diesem gekoppelten neuronalen Netzwerke CNN1 bis CNNn nach einer vorgegebenen Kombinationsregel kombiniert und anhand eines Ergebnisses der Kombination Umgebungsdaten UD1 ermittelt. Diese vorläufigen Umgebungsdaten U1 bis Un umfassen Informationen über eine Art und Anordnung der Objekte der Fahrzeugumgebung. Die vorgegebene Kombinationsregel basiert dabei beispielsweise auf einem Mehrheitsentscheid oder einem gewichteten Mittel.
-
Das heißt, mehrere Klassifikatoren (= neuronale Netzwerke CNN1 bis CNNn) werden unabhängig voneinander trainiert, jeder Klassifikator macht eine Vorhersage, beispielsweise eine semantische Interpretation einer Szene, und alle Vorhersagen werden zu einer gemeinsamen Vorhersage unter Verwendung einer Strategie zusammengefasst, wie z. B. die üblichste Vorhersage über alle Klassifikatoren.
-
Weiterhin ist im dargestellten Ausführungsbeispiel ein als Lidar ausgebildeter zweiter Sensor 1.2 bzw. sind mehrere als Lidar ausgebildete Sensoren 1.2 mit mehreren gemäß der Beschreibung zu den 1 bis 3 trainierten neuronalen
Netzwerken CNNn+1 bis CNNn+x gekoppelt.
-
Während des zumindest teilautomatisiert durchgeführten Betriebs des Fahrzeugs werden mittels des zumindest einen Sensors 1.2 erfasste Sensordaten S2 den disjunkt trainierten neuronalen Netzwerken CNNn+1 bis CNNn+x zugeführt, welche anhand der gelernten gelabelten Umgebungsdaten D vorläufige Umgebungsdaten Un+1 bis Un+x aus den im realen Fahrbetrieb erfassten Sensordaten S2 erzeugen. Diese vorläufigen Umgebungsdaten Un+1 bis Un+x werden einem weiteren Combinermodul 5 zugeführt, welches die vorläufigen Umgebungsdaten Un+1 bis Un+x aller mit diesem gekoppelten neuronalen Netzwerke CNNn+1 bis CNNn+x nach einer vorgegebenen Kombinationsregel kombiniert und anhand eines Ergebnisses der Kombination Umgebungsdaten UD2 ermittelt. Diese vorläufigen Umgebungsdaten Un+1 bis Un+x umfassen ebenfalls Informationen über eine Art und Anordnung der Objekte der Fahrzeugumgebung. Die vorgegebene Kombinationsregel basiert dabei beispielsweise auf einem Mehrheitsentscheid oder einem gewichteten Mittel.
-
Das heißt, mehrere Klassifikatoren (= neuronale Netzwerke CNNn+1 bis CNNn+x) werden unabhängig voneinander trainiert, jeder Klassifikator macht eine Vorhersage, und alle Vorhersagen werden zu einer gemeinsamen Vorhersage unter Verwendung einer Strategie zusammengefasst, wie z. B. die üblichste Vorhersage über alle Klassifikatoren.
-
Die mittels der Combinermodule 4, 5 ermittelten Umgebungsdaten UD1, UD2 werden einem Fusionsmodul 6 zugeführt.
-
Weiterhin ist ein als Radar ausgebildeter weiterer Sensor 1.z bzw. sind mehrere als Radar ausgebildete Sensoren 1.z mit dem Fusionsmodul 6 gekoppelt, wobei diesem zusätzlich zu den Umgebungsdaten UD1, UD2 der Combinermodule 4, 5 während des zumindest teilautomatisiert durchgeführten Betriebs des Fahrzeugs mittels des weiteren Sensors 1.z erfasste Sensordaten Sz zugeführt werden.
-
Das Fusionsmodul 6 ist eingerichtet, die Umgebungsdaten UD1, UD2 der Combinermodule 4, 5 und die Sensordaten Sz des weiteren Sensors 1.z nach einer vorgegebenen Fusionsregel zu fusionieren und anhand eines Ergebnisses der Fusion fusionierte Umgebungsdaten UDf zu erzeugen. Diese fusionierten Umgebungsdaten UDf umfassen Informationen über eine Art und Anordnung der Objekte der Fahrzeugumgebung. Die vorgegebene Fusionsregel basiert dabei beispielsweise auf einem Mehrheitsentscheid oder einem gewichteten Mittel und werden einem mit dem Fusionsmodul 6 gekoppelten Planungsmodul 7 zugeführt.
-
Das Planungsmodul 7 ist eingerichtet, in Abhängigkeit von vorgegeben Soll-Parametern P des Fahrzeugs, beispielsweise einer Soll-Trajektorie, einer Soll-Geschwindigkeit und einem Soll-Lenkwinkel, mittels der fusionierten Umgebungsdaten UDf Aktordaten A für eine Fahrzeugaktorik 8 zu ermitteln. Anhand dieser Aktordaten A wird im zumindest teilautomatisiert fahrenden Fahrzeug eine Quer- und/oder Längssteuerung des Fahrzeugs anhand einer Ansteuerung der Fahrzeugaktorik 8 mit den ermittelten Aktordaten A zumindest teilautomatisiert durchgeführt.
-
Hierbei geben die unabhängig voneinander trainierten neuronalen
Netzwerke CNN1 bis CNNn+x mit ihren vorläufigen Umgebungsdaten U1 bis Un+x „Empfehlungen“ zur Interpretation der Fahrzeugumgebung an die Combinermodule 4, 5. Mit deren Kombinationsregel werden wiederum Umgebungsdaten UD1, UD2 erzeugt, welche gemeinsam mit den Sensordaten Sz des weiteren Sensors 1.z als „Empfehlungen“ zur Interpretation der Fahrzeugumgebung an das Fusionsmodul 6 gegeben werden. Mit dessen Fusionsregel oder -strategie wird über das Planungsmodul 7 die Fahrzeugaktorik 8 angesprochen. Somit ist ein Ausfall oder ein „Versagen“ einzelner neuronaler Netzwerke CNN1 bis CNNn+x oder Sensoren 1.1 bis 1.z in speziellen Situationen, in welchen diese Netzwerke CNN1 bis CNNn+x oder Sensoren 1.1 bis 1.z keine korrekte Handlungsanweisung geben können, tolerierbar und aufgrund der Handlungsanweisungen der anderen Netzwerke CNN1 bis CNNn+x oder anderer Sensoren 1.1 bis 1.z ausgleichbar. Somit ist eine höhere ASIL-Einstufung des Fahrzeugs möglich.
-
In 5 ist ein Blockschaltbild eines möglichen zweiten Ausführungsbeispiels der Vorrichtung 2 zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs, umfassend eine Signalverarbeitungsanordnung 3 zur Verarbeitung mittels mehrerer Sensoren 1.1 bis 1.z der Fahrzeugsensorik 1 erfasster Sensordaten S1 bis Sz einer Fahrzeugumgebung, dargestellt.
-
Im Unterschied zu dem in 4 dargestellten ersten Ausführungsbeispiel der Vorrichtung 2 werden die Sensordaten S1, S2 der Sensoren 1.1, 1.2 den gleichen disjunkt trainierten neuronalen Netzwerken CNN1 bis CNNn+x zugeführt und mittels dieser ausgewertet. Hierbei erfolgt eine Fusion der Sensoren 1.1, 1.2 bereits mittels der disjunkt trainierten neuronalen Netzwerke CNN1 bis CNNn+x und ist von diesen erlernt.
-
Das Fusionsmodul 6 führt anschließend die Fusion der erzeugten Umgebungsdaten UD1 und der mittels des weiteren Sensors 1.z erfassten Sensordaten Sz zur Erzeugung der fusionierten Umgebungsdaten UDf durch.
-
6 zeigt ein Blockschaltbild eines möglichen dritten Ausführungsbeispiels der Vorrichtung 2 zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs, umfassend eine Signalverarbeitungsanordnung 3 zur Verarbeitung mittels mehrerer Sensoren 1.1 bis 1.z der Fahrzeugsensorik 1 erfasster Sensordaten S1 bis Sz einer Fahrzeugumgebung.
-
Im Unterschied zu dem im 4 dargestellten ersten Ausführungsbeispiel der Vorrichtung 2 werden die Sensordaten S1 bis Sz aller Sensoren 1.1 bis 1.z den gleichen disjunkt trainierten neuronalen Netzwerken CNN1 bis CNNn+x zugeführt und mittels dieser gemeinsam ausgewertet. Hierbei erfolgt die Fusion der Sensoren 1.1 bis 1.z bereits mittels der disjunkt trainierten neuronalen Netzwerke CNN1 bis CNNn+x und ist von diesen erlernt.
-
Hierbei kann ein separates Fusionsmodul 6 entfallen, wobei ein Combinermodul 4 zur beschriebenen Kombination aller vorläufigen Umgebungsdaten U1 bis Un+x vorgesehen ist und erzeugte Umgebungsdaten UD1 dem Planungsmodul 7 zuführt.
-
Bezugszeichenliste
-
- 1
- Fahrzeugsensorik
- 1.1 bis 1.z
- Sensor
- 2
- Vorrichtung
- 2.1 bis 2.n+x
- Speichereinheit
- 3
- Signalverarbeitungsanordnung
- 4
- Combinermodul
- 5
- Combinermodul
- 6
- Fusionsmodul
- 7
- Planungsmodul
- 8
- Fahrzeugaktorik
- A
- Aktordaten
- BP
- Backpropagation
- CNN, CNN1 bis CNNn+x
- neuronale Netzwerke
- D
- gelabelte Umgebungsdaten
- i
- Datensatz
- L
- Labelverfahren
- P
- Soll-Parameter
- S1 bis Sz
- Sensordaten
- TS, TS1 bis TSn+x
- Trainingssensordaten
- U1 bis Un+x
- vorläufige Umgebungsdaten
- UD1, UD2
- Umgebungsdaten
- UDf
- fusionierte Umgebungsdaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
