-
Die Erfindung betrifft ein System und ein Verfahren zur Erfassung des Umfelds eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein Computerprogramm sowie ein computerlesbares Medium, welche ein solches System bzw. Verfahren unterstützen.
-
Die Erfindung kann insbesondere im Rahmen eines Fahrerassistenzsystems (FAS) eingesetzt werden. Insbesondere kann dies ein FAS betreffen, welches ein wenigstens teilweise automatisiertes Fahren des Fahrzeugs ermöglicht.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen dieses Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“, wie er in diesem Dokument verwendet wird, umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Fahrerassistenzsysteme sind im Allgemeinen darauf angewiesen, das Fahrzeugumfeld wenigstens teilweise zu erfassen, z.B. um zu erkennen, ob sich ein Objekt in dem Fahrzeugumfeld befindet, welches durch das FAS zu berücksichtigen ist. In diesem Fall würde das FAS je nach seiner funktionalen Ausprägung auf das Objekt reagieren und beispielsweise den Fahrer des Fahrzeugs warnen und/oder automatisiert eine von dem Objekt ausgehende Gefahr verringern.
-
Es ist grundsätzlich bekannt, für bestimmte Aufgaben der Umfelderfassung im Rahmen von FAS Verfahren der Künstlichen Intelligenz, wie z.B. das sogenannte „Deep Learning“ mittels künstlicher neuronaler Netze (KNN), einzusetzen. Der Artikel „A Survey of Deep Learning Techniques for Autonomous Driving“ von Grigorescu et al., im Internet abrufbar unter https://arxiv.org/abs/1910.07738, gibt einen Überblick über bekannte Ansätze in diesem Bereich.
-
Die Datenverarbeitung im Rahmen der Umfelderfassung ist häufig sehr rechen- und energieaufwändig, da dabei in der Regel große Datenmengen erfasst, übertragen und verarbeitet werden. Es ist jedoch generell wünschenswert, die für die Datenverarbeitung an Bord eines Fahrzeugs aufzuwendende Rechenleistung bzw. Energie möglichst gering zu halten.
-
Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein insbesondere hinsichtlich seiner Effizienz verbessertes System bzw. Verfahren zur Erfassung des Umfelds eines Fahrzeugs anzugeben.
-
Die Aufgabe wird durch ein System bzw. ein Verfahren gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Patentanspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung erläuterte technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Ein erster Aspekt der Erfindung betrifft ein System zur Erfassung des Umfelds eines Fahrzeugs.
-
Bei dem Fahrzeug kann es sich insbesondere um ein Kraftfahrzeug handeln, d.h. um ein Landfahrzeug, das durch Maschinenkraft bewegt wird, ohne an Bahngleise gebunden zu sein. Ein Kraftfahrzeug in diesem Sinne kann z.B. als Kraftwagen, Kraftrad oder Zugmaschine ausgebildet sein.
-
Mit der Erfassung des Umfelds des Fahrzeugs ist eine wenigstens teilweise Erfassung eines Fahrzeugumfelds gemeint, beispielsweise zum Zweck der Bildung eines Umfeldmodells, welches als Grundlage für den Betrieb eines FAS dienen kann. Das FAS kann z.B. ein automatisiertes Fahren des Fahrzeugs ermöglichen. Dabei ist mit dem Begriff „automatisierten Fahren“, wie eingangs erwähnt, grundsätzlich ein breites Spektrum von möglichen Automatisierungsgraden, einschließlich des lediglich assistierten Fahrens, gemeint.
-
Das System umfasst ein Sensormodul (oder Sensorkopfmodul) zum Erfassen von Umfelddaten, d.h. von Daten bezüglich des Fahrzeugumfelds, welche z.B. auf das Vorhandensein von Objekten im Fahrzeugumfeld hindeuten.
-
Das Sensormodul ist bevorzugt in oder an dem Fahrzeug angeordnet bzw. zur Anordnung in oder an dem Fahrzeug bestimmt. Beispielsweise kann das Sensormodul wenigstens einen Sensor aus der folgenden Auflistung von Sensortypen umfassen: Eine Kamera (z.B. optisch oder Infrarot); einen RADAR-Sensor, einen LIDAR-Sensor; einen Ultraschall-Sensor; einen akustischen Sensor.
-
Darüber hinaus umfasst das System eine Mehrzahl von Rechenvorrichtungen (d.h. wenigstens zwei Rechenvorrichtungen), die räumlich voneinander separiert sind. Jede der Rechenvorrichtungen kann z.B. einen oder mehrere Prozessoren, wie z.B. CPUs und/oder GPUs, umfassen.
-
Mit der Angabe, wonach die wenigstens zwei Rechenvorrichtungen räumlich voneinander separiert sind, ist gemeint, dass die Rechenvorrichtungen voneinander entfernt sind und dass sie beispielsweise nicht etwa auf demselben Chip oder auf derselben Leiterplatte innerhalb eines Gehäuses (z.B. des Sensormoduls) angeordnet sind.
-
Die Rechenvorrichtungen sind eingerichtet, die erfassten Umfelddaten zu verarbeiten. Dabei können die Rechenvorrichtungen z.B. in dem Sinne gemeinsam zur Verarbeitung der Umfelddaten eingerichtet sein, dass sie jeweils bestimmte einander Schritte als Teilaufgaben der Datenverarbeitung ausführen können.
-
Erfindungsgemäß ist vorgesehen, dass die Verarbeitung der erfassten Umfelddaten durch die Rechenvorrichtungen mittels eines künstlichen neuronalen Netzwerks ausgeführt wird, wobei das künstliche neuronale Netzwerk mehrere Schichten aus künstlichen Neuronen umfasst, und wobei jede der Rechenvorrichtungen eine (der jeweiligen Rechenvorrichtung zugeordnete) Teilmenge der Schichten von künstlichen Neuronen implementiert.
-
Es sollte beachtet werden, dass die mehreren künstlichen Neuronen an sich keine Hardware-Struktur sein müssen, sondern typischerweise softwaremäßig im Rahmen eines entsprechenden Deep-Learning-Algorithmus in Form einer geeigneten logischen Datenstruktur (z.B. als Matrizen oder Vektoren) implementiert werden.
-
Vorzugsweise ist wenigstens eine der Rechenvorrichtungen eingerichtet, Ausgabedaten einer hier als Ausgabeschicht bezeichneten Schicht der ihr zugeordneten Teilmenge von Schichten aus Neuronen an eine nachgeschaltete Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen auszugeben, wobei die nachgeschaltete Rechenvorrichtung eingerichtet ist, die Ausgabedaten zu empfangen und die Ausgabedaten mittels der ihr zugeordneten Teilmenge der Schichten aus Neuronen weiterzuverarbeiten.
-
Die Ausgabedaten können als ein Zwischenergebnis der Verarbeitung der erfassten Umfelddaten angesehen werden, welches von einer Rechenvorrichtung an eine andere Rechenvorrichtung übertragbar ist. Konkret können die Ausgabedaten z.B. Informationen über einen jeweiligen Aktivierungszustand der Neuronen der Ausgabeschicht enthalten.
-
Gemäß einer Ausführungsform ist wenigstens eine der Rechenvorrichtungen in oder an dem Fahrzeug angeordnet.
-
Beispielsweise kann wenigstens eine der Rechenvorrichtungen eine sensornahe Rechenvorrichtung sein. Das bedeutet, dass diese Rechenvorrichtung (im Vergleich mit den anderen Rechenvorrichtungen aus der Mehrzahl von Rechenvorrichtungen) relativ nah an dem Sensormodul angeordnet ist.
-
Die sensornahe Rechenvorrichtung kann z.B. in dem Sensormodul integriert sein. Das Sensormodul kann dementsprechend zusätzlich zu wenigstens einem Sensor auch jene sensornahe Rechenvorrichtung umfassen. Die Rechenvorrichtung kann z.B. mit dem Sensor oder mit einer dem Sensor funktonal zugeordneten Rechenvorrichtung (wie z.B. einem Mikrocontroller, welcher Funktionen des Sensors steuert) in einem gemeinsamen Gehäuse - oder sogar auf einer gemeinsamen Leiterplatte oder auf einem gemeinsamen Chip - angeordnet sein und in diesem Sinne in dem Sensormodul integriert sein.
-
Es kann also z.B. vorgesehen sein, dass eine erste Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen als Teil des Sensormoduls in oder an dem Fahrzeug angeordnet ist.
-
Alternativ oder zusätzlich dazu kann eine zweite Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen eine (ggf. zentrale) elektronische Steuereinheit (z.B. in Form einer sogenannten „electronic control unit“ - ECU) des Fahrzeugs oder ein Teil einer solchen elektronischen Steuereinheit sein.
-
Falls sowohl eine derartige erste Rechenvorrichtung als auch eine derartige zweite Rechenvorrichtung vorhanden sind, können diese z.B. drahtgebunden oder drahtlos miteinander verbunden sein, um ein Datenübermittlung zu ermöglichen.
-
Generell liegt es auch im Rahmen der Erfindung, dass das System eine Schnittstelle zur drahtlosen Datenübertragung eines Zwischenergebnisses zwischen einer der Rechenvorrichtungen und einer anderen der Rechenvorrichtungen aufweisen kann.
-
Ferner kann gemäß einigen Ausführungsformen vorgesehen sein, dass wenigstens eine der Rechenvorrichtungen aus der Mehrzahl von Rechenvorrichtungen von dem Fahrzeug entfernt angeordnet sein ist. Beispielsweise kann die Rechenvorrichtung ein Teil eines Backends oder Datenzentrum (Englisch: data center) sein, welches z.B. von einem Fahrzeug- oder Komponentenhersteller oder von einem Dienstleister betrieben werden kann.
-
Gemäß einer Weiterbildung umfasst das System eine Mehrzahl derartiger Sensormodule zum Erfassen von Umfelddaten. Die mehreren Sensormodule können z.B. mehrere verschiedenartige Sensoren, wie z.B. eine optische Kamera, ein RADAR-System und ein LIDAR-System, umfassen. Dabei implementieren die Rechenvorrichtungen gemeinsam eine Mehrzahl von künstlichen neuronalen Netzwerken. Jeweils eines der Netzwerke aus der Mehrzahl von Netzwerken ist einem Sensormodul aus der Mehrzahl von Sensormodulen zugeordnet und eingerichtet, die mittels des zugeordneten Sensormoduls erfassten Umfelddaten zu verarbeiten.
-
Bei einer möglichen Ausprägung dieser Weiterbildung ist jedem der Sensormodule eine jeweilige sensornahe (und bevorzugt in das jeweilige Sensormodul integrierte) Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen zugeordnet ist, wobei jede der sensornahen Rechenvorrichtungen eine Teilmenge der Schichten des dem jeweiligen Sensormodul zugeordneten Netzwerks implementiert. Dabei kann jede der sensornahen Rechenvorrichtungen eingerichtet sein, die mittels des jeweiligen Sensormoduls erfassten Umfelddaten mittels der jeweiligen Teilmenge der Schichten zu verarbeiten und erste Ausgangsdaten einer (insbesondere letzten) Schicht der jeweiligen Teilmenge der Schichten an eine nachgeschaltete Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen auszugeben.
-
Es kann bei dieser Ausprägung ferner vorgesehen sein, dass wenigstens eine von den Sensormodulen separate Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen Teilmengen der Schichten der Mehrzahl von Netzwerken implementiert. Dies kann insbesondere solche Teilmengen von Schichten betreffen, die von den jeweiligen sensornahen Rechenvorrichtungen nicht implementiert werden. Die wenigstens eine von dem Sensormodul separate Rechenvorrichtung kann insbesondere eingerichtet sein, von den mehreren sensornahen Rechenvorrichtungen ausgegebene Ausgabedaten zu empfangen und sie mittels jeweiliger Teilmengen der den Sensormodulen zugeordneten künstlichen neuronalen Netzwerke weiterzuverarbeiten.
-
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zur Erfassung des Umfelds eines Fahrzeugs vorgeschlagen. Das Verfahren umfasst die Schritte:
- - Erfassen von Umfelddaten mittels eines Sensormoduls; und
- - Verarbeiten der erfassten Umfelddaten mittels eines künstlichen neuronalen Netzwerks, wobei das Netzwerk durch eine Mehrzahl von räumlich voneinander separierten Rechenvorrichtungen (gemeinsam) implementiert wird, wobei das Netzwerk mehrere Schichten aus künstlichen Neuronen umfasst, und wobei jede der Rechenvorrichtungen eine Teilmenge der Schichten implementiert.
-
Ein Verfahren nach dem zweiten Aspekt der Erfindung kann insbesondere mittels eines Systems nach dem ersten Aspekt der Erfindung ausgeführt werden. Daher können Ausführungsformen des erfindungsgemäßen Verfahrens in analoger Weise den vorstehend und nachfolgend beschriebenen vorteilhaften Ausführungsformen des erfindungsgemäßen Systems entsprechen und umgekehrt.
-
Beispielsweise umfasst das Verfahren gemäß einer Ausführungsform ferner die Schritte:
- - Ausgeben, mittels (bzw. aus) einer der Rechenvorrichtungen, von Ausgabedaten einer Ausgabeschicht der dieser Rechenvorrichtung zugeordneten Teilmenge von Schichten an eine nachgeschaltete Rechenvorrichtung aus der Mehrzahl von Rechenvorrichtungen;
- - Empfangen der Ausgabedaten mittels (bzw. an) der nachgeschalteten Rechenvorrichtung; und
- - Weiterverarbeiten der Ausgabedaten mittels der der nachgeschalteten Rechenvorrichtung zugeordneten Teilmenge der Schichten des Netzwerks.
-
Es sollte in diesem Zusammenhang beachtet werden, dass gemäß einigen Ausführungsformen das Ausgeben der Ausgabedaten an die nachgeschaltete Rechenvorrichtung auch über eine (oder mehrere) Zwischenstation(en), z.B. in Form eines oder mehrerer Datenspeicher erfolgen kann, auf welchen wiederum die nachgeschaltete Rechenvorrichtung zugreifen kann. Dementsprechend kann ein erfindungsgemäßes System einen oder mehrere Datenspeicher zum Zwischenspeichern der Ausgabedaten aufweisen, wobei der oder die Datenspeicher nicht unbedingt Teil einer nachgeschalteten Rechenvorrichtung sein müssen. Beispielsweise kann ein solcher Datenspeicher Teil eines fahrzeugexternen Backends bzw. eines Datenzentrums sein.
-
Gemäß einer Weiterbildung dieser Ausführungsform umfasst das Verfahren als einen weiteren Schritt, welcher vorzugsweise den vorstehend beschriebenen Schritten vorgelagert ist, das Trainieren des Netzwerks in der Weise, dass bei einer gegebenen Eingangsdatenmenge oder bei einer gegebenen Eingangsdatenrate der erfassten und zu verarbeitenden Umfelddaten eine möglichst geringe Menge bzw. Rate von Ausgabedaten von der Rechenvorrichtung an die nachgeschaltete Rechenvorrichtung übertragen werden muss. Mit anderen Worten kann also das Netzwerk daraufhin trainiert werden, dass an der Ausgabeschicht ein vergleichsweise geringer Datenfluss auftritt.
-
Das Trainieren des Netzwerks kann dabei beispielsweise mittels einer oder mehrerer Kostenfunktionen erfolgen, welche den Datenfluss durch die Ausgabeschicht mit entsprechenden Kosten „bestraft“. Dabei versteht sich, dass die Minimierung des Datenflusses durch die Ausgabeschicht im Allgemeinen nicht das alleinige Kriterium sein wird, auf welches hin das Netzwerk trainiert wird. Vielmehr wird das Training primär auf eine Optimierung der Hauptfunktion des Netzwerks, nämlich z.B. einer Erkennungsleistung bei einer Objekterkennung o.Ä., gerichtet sein. Die Minimierung des Datenflusses dabei kann jedoch unter anderem berücksichtigt werden, etwa als einer von mehreren Termen eines Kostenfunktionals. Daher soll die vorstehende Angabe betreffend eine „möglichst geringe Menge bzw. Rate von Ausgabedaten“ so verstanden werden, dass jenes Kriterium beim Training Berücksichtigung findet, jedoch nicht notwendigerweise als alleiniges Kriterium
-
Im Ergebnis wird es somit ermöglicht, dass die Daten zwischen den separaten Rechenvorrichtungen bei einer möglichst geringen Datenrate übertragen werden können und dass demzufolge möglichst wenig Energie für die Datenübertragung zwischen den Rechenvorrichtungen aufgewendet werden muss.
-
Ein dritter Erfindungsaspekt ist ein Computerprogramm, das Befehle umfasst, die bewirken, dass ein System gemäß dem ersten Erfindungsaspekt die Verfahrensschritte gemäß dem zweiten Erfindungsaspekt ausführt. Dabei kann das Computerprogramm gemäß einigen Ausführungsformen auch mehrere Teile umfassen, die jeweils auf verschiedenen Rechenvorrichtungen ausgeführt werden können.
-
Ein vierter Erfindungsaspekt ist ein computerlesbares Medium, auf dem ein Computerprogramm gemäß dem dritten Erfindungsaspekt gespeichert ist.
-
In Übereinstimmung mit einigen Ausführungsformen liegt der Erfindung die Erkenntnis zu Grunde, dass die Rechenleistung und der damit einhergehenden Energieverbrauch, die für die Verarbeitung von Umfeldsensordaten an Bord eines Fahrzeugs aufzuwenden sind, reduziert werden kann, indem eine dafür vorgesehene Deep-Learning-Signalverarbeitungskette, welche eines tiefes neuronales Netzwerk umfasst, in zwei oder mehr (seriell einander nachgeordnete) Blöcke aufgeteilt wird. Dabei kann wenigstens ein Block „in situ“, d.h. an Bord des Fahrzeugs und insbesondere sensornah, ausgeführt werden, und wenigstens ein anderer Block kann von dem Fahrzeug entfernt, wie z.B. in einem Backend oder Datenzentrum, ablaufen. Beispielsweise können solchermaßen verarbeitete Sensordaten von mehreren Fahrzeugsensoren (z.B. RADAR, LIDAR, Ultraschall und Kamera(s)) in dem Datenzentrum fusioniert werden und ein Ergebnis der Sensorfusion kann sodann an das Fahrzeug übermittelt werden. Hierdurch ist es möglich, für einen Teil der nötigen Rechenoperationen fahrzeugexterne Rechenressourcen zu nutzen und somit teure und „energiehungrige“ Rechenleistung aus dem Fahrzeug heraus zu verlagern.
-
Zugleich berücksichtigt die vorgeschlagene Lösung, dass auch die Datenübertragung zwischen voneinander entfernten Rechenvorrichtungen im Allgemeinen mit Energieaufwand verbunden ist. Daher wird gemäß einigen Ausführungsformen vorgeschlagen, dass ein Teil der Berechnungen eines Deep-Learning-Algorithmus sensornah ausgeführt wird, indem z.B. die ersten n Schichten eines künstlichen neuronalen Netzwerks in einer sensornahen Rechenvorrichtung implementiert werden. Die Ausgangsdaten der n-ten Schicht, deren Umfang im Vergleich zu den von dem entsprechenden Sensor gelieferten Eingangsdaten des neuronalen Netzwerks stark reduziert sein kann, können sodann mit vergleichsweise geringem Energieaufwand z.B. an eine ECU des Fahrzeugs oder an einen Rechenvorrichtung in einem fahrzeugexternen Datenzentrum übermittelt werden, auf welcher weitere Schichten des neuronalen Netzwerks, beginnend mit der Schicht n+1, implementiert sind.
-
Es ist z.B. auch möglich, dass zunächst eine Übertragung eines Zwischenergebnisses (z.B. der Schicht n) an eine ECU des Fahrzeugs erfolgt und dass nach der Verarbeitung der Daten in einigen weiteren Schichten des Netzwerks (z.B. Schichten n+1 bis m) in der ECU ein weiteres Zwischenergebnis (z.B. der Schicht m) „over the air“ an eine Rechenvorrichtung in einem fahrzeugexternen Datenzentrum übertragen wird. In dieser externen Rechenvorrichtung können die Daten sodann in weiteren Schichten (z.B. Schichten m+1 bis k) berechnet werden, insbesondere bis hin zu einer letzten Schicht k des neuronalen Netzwerks, weiter verarbeitet werden. Ausgangsdaten von jeweiligen letzten Schichten solcher auf mehrere Rechenvorrichtungen verteilten Netzwerke, die jeweils die Sensordaten eines zugehörigen Sensors verarbeiten, können in dem externen Datenzentrum z.B. einem künstlichen neuronalen Netzwerk für die Sensordatenfusion übergeben werden, und ein Ergebnis der Sensordatenfusion kann schließlich „over the air“ zurück an das Fahrzeug gesendet werden. Ein FAS es Fahrzeugs kann dann in Abhängigkeit von dem Ergebnis der Sensordatenfunktion betrieben werden.
-
Insgesamt ermöglicht die vorgeschlagene Lösung also eine kosten- und energieeffiziente Verarbeitung von Umfeldsensordaten im Rahmen der Erfassung eines Fahrzeugumfelds.
-
Darüber hinaus ist die vorgeschlagene Lösung unter Gesichtspunkten der Datensicherheit vorteilhaft, da es einem unbefugten Dritten im Allgemeinen nicht möglich ist, aus den zwischen den unterschiedlichen Rechenvorrichtungen (z.B. drahtlos) übertragenen Daten, welche z.B. Aktivierungsinformationen betreffend die künstlichen Neuronen einer Zwischenschicht bzw. Ausgabeschicht des neuronalen Netzwerks enthalten, die entsprechenden Sensorrohdaten oder anderweitig aussagekräftige Daten über das Fahrzeugumfeld zu rekonstruieren.
-
Ein weiterer Vorteil der hier vorgeschlagenen verteilten Deep-Learning-Architektur ist, dass sie ein gezieltes (Nach-)Trainieren bestimmter Schichten eines für die Verarbeitung von Umfeldsensordaten verwendeten neuronalen Netzwerks ermöglicht. So ist es z.B. zu möglich allein die in einem externen Datenzentrum implementierten Schichten und/oder die in einer Fahrzeug-ECU implementierten Schichten zu trainieren, nicht aber die sensornah implementierten Schichten (und umgekehrt).
-
Die Erfindung wird nun anhand von Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei sind die in der Beschreibung genannten und/oder in den Zeichnungen alleine gezeigten Merkmale und Merkmalskombinationen nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
- 1 zeigt beispielhaft ein schematisches Blockdiagramm eines Systems zum Erfassen des Umfelds eines Fahrzeugs.
- 2 zeigt beispielhaft ein schematisches Blockdiagramm eines Systems zum Erfassen des Umfelds eines Fahrzeugs.
- 3 zeigt beispielhaft ein schematisches Blockdiagramm eines Systems zum Erfassen des Umfelds eines Fahrzeugs.
- 4 zeigt beispielhaft ein schematisches Ablaufdiagramm eines Verfahrens zum Erfassen des Umfelds eines Fahrzeugs.
- 5 zeigt beispielhaft ein schematisches Ablaufdiagramm eines Verfahrens zum Erfassen des Umfelds eines Fahrzeugs.
-
Die 1-3 zeigen schematisch und beispielhaft verschiedene Ausführungsformen eines Systems 1 zum Erfassen des Umfelds eines Fahrzeugs, die im Folgenden erläutert werden.
-
Dabei wird sogleich auch auf die in den 4-5 schematisch dargestellten Verfahrensschritte 20-22 Bezug genommen werden, welche mittels der Systeme 1 ausgeführt werden können.
-
Bei der Ausführungsform gemäß 1 umfasst das System 1 ein Sensormodul 11a zum Erfassen von Umfelddaten bezüglich eines Umfelds eines Fahrzeugs. Das Sensormodul 11a kann z.B. in oder an dem Fahrzeug angeordnet sein. Das Sensormodul 11a umfasst einen Sensor 112a. Beispielsweise kann es sich beim dem Sensormodul 11a um ein Kamera, einen RADAR-Sensor oder einen LIDAR-Sensor handeln.
-
Des Weiteren umfasst das System 1 eine erste Rechenvorrichtung 110a, die bei dem vorliegenden Ausführungsbeispiel in das Sensormodul 11a integriert ist, sowie eine zweite Rechenvorrichtung 120, welche von dem Sensormodul 11a und somit von der ersten Rechenvorrichtung 110a räumlich separiert angeordnet ist. Dabei ist die zweite Rechenvorrichtung 120 datentechnisch mit der ersten Rechenvorrichtung 110a verbunden, wobei ein Datenaustausch zwischen den Rechenvorrichtungen 110a, 120 drahtgebunden und/oder drahtlos („over the air“) erfolgen kann.
-
Die zweite Rechenvorrichtung 120 kann beispielsweise eine in dem Fahrzeug angeordnete zentrale elektronische Steuereinheit, wie z.B. eine sogenannte ECU, des Fahrzeugs oder ein Teil einer solchen Steuereinheit sein. Alternativ dazu kann die zweite Rechenvorrichtung 120 auch von dem Fahrzeug entfernt angeordnet sein, beispielsweise als Teil eines Backends oder Datenzentrums, welches z.B. von einem Fahrzeug- oder Komponentenhersteller betrieben wird.
-
Die erste Rechenvorrichtung 110a und die zweite Rechenvorrichtung 120 sind gemeinsam dazu eingerichtet (d.h. insbesondere programmiert), von dem Sensor 112a erfasste Umfelddaten mittels eines Algorithmus, insbesondere mittels eines Deep-Learning-Algorithmus, weiter zu verarbeiten, um beispielsweise Objekte, Hindernisse und/oder Verkehrszeichen im Fahrzeugumfeld zu erkennen und somit eine Umfeldmodellbildung als Voraussetzung für einen wenigstens teilweise autonomen Betrieb des Fahrzeugs zu unterstützen.
-
Die Verarbeitung der erfassten Sensordaten erfolgt auf Basis eines künstlichen (insbesondere tiefen) neuronalen Netzwerks NN1a, NN2a, das mehrere Schichten aus künstlichen Neuronen umfasst. Dabei implementiert die erste Rechenvorrichtung 110a ein erste Teilmenge NN1a der Schichten des neuronalen Netzwerks NN1a, NN2a, und die zweite Rechenvorrichtung 120 implementiert eine von der ersten Teilmenge NN1a verschiedene zweite Teilmenge NN2a der Schichten des neuronalen Netzwerks NN1a, NN2a (wobei die erste Teilmenge NN1a und die zweite Teilmenge NN2a bevorzugt disjunkt sind).
-
Mittels des in 1 dargestellten Systems 1 kann z.B. ein Verfahren 2 gemäß 4 ausgeführt werden: In einem Schritt 21 dieses Verfahrens werden Umfelddaten mittels eines Sensormoduls 11a erfasst. In einem weiteren Schritt 22 werden die erfassten Umfelddaten mittels eines künstlichen neuronalen Netzwerks NN1a, NN2a, welches mehrere Schichten aus künstlichen Neuronen umfasst, verarbeitet. Dabei wird das Netzwerk NN1a, NN2a durch mehrere räumlich voneinander separierte Rechenvorrichtungen 110a, 120 gemeinsam implementiert wird, und zwar in der Weise, dass jede der Rechenvorrichtungen 110a, 120 eine jeweilige Teilmenge NN1a, NN2a der Schichten implementiert.
-
Bei dem System 1 gemäß 1 ist die erste Rechenvorrichtung 110a programmiert, Eingangsdaten, die von dem Sensor 112a bereitgestellt werden, zu empfangen, und diese mittels der ersten Teilmenge NN1a von Schichten, welche z.B. Schichten 1 bis n umfasst, zu verarbeiten. Dabei dient die letzte Schicht n der Teilmenge NN1a als Ausgabeschicht, über welche ein Zwischenergebnis (z.B. in Form von Ausgabedaten, die Aktivierungsinformationen betreffend die Neuronen der Schicht n enthalten) zur Übermittlung an die nachgeschaltete zweite Rechenvorrichtung 120 ausgegeben werden. Dabei kann das System 1 eine Schnittstelle, wie z.B. eine Mobilfunkschnittstelle, zur drahtlosen Datenübertragung des Zwischenergebnisses zwischen der ersten 110a der zweiten Rechenvorrichtung 120 aufweisen, insbesondere wenn die zweite Rechenvorrichtung 120 außerhalb des Fahrzeugs angeordnet ist. Die zweite Rechenvorrichtung 120 ist eingerichtet, die Ausgabedaten der Schicht n zu empfangen und sie mittels der zweiten Teilmenge NN2a von Schichten des neuronalen Netzwerks NN1a, NN2a, welche z.B. Schichten n+1 bis m umfassen kann, weiterzuverarbeiten.
-
Im Einklang mit dem Vorstehenden kann ein erfindungsgemäßes Verfahren 2 ferner umfassen: einen Schritt, in welchem aus einer Rechenvorrichtung 110a Ausgabedaten einer Ausgabeschicht der dieser Rechenvorrichtung 110a zugeordneten Teilmenge NN1a von Schichten an eine nachgeschaltete Rechenvorrichtung 120 ausgegeben wird; einen Schritt, in welchem die Ausgabedaten an der nachgeschalteten Rechenvorrichtung 120 empfangen werden; und einen Schritt, in welchem die empfangenen Ausgabedaten mittels der der nachgeschalteten Rechenvorrichtung 120 zugeordneten Teilmenge NN2a der Schichten weiterverarbeitet werden.
-
Bezugnehmend auf 5 kann das Verfahren 2 optional auch einen weiteren Schritt 20 umfassen, welcher vorzugsweise den oben beschriebenen Schritten vorgelagert ist: Im Schritt 20 wird das Netzwerk in der Weise trainiert, dass bei einer gegebenen Eingangsdatenmenge oder Eingangsdatenrate der erfassten und zu verarbeitenden Umfelddaten eine möglichst geringe Menge bzw. Rate von Ausgabedaten von der Rechenvorrichtung 110a an die nachgeschaltete Rechenvorrichtung 120 übertragen werden muss. Mit anderen Worten kann also das Netzwerk daraufhin trainiert werden, dass an der Ausgabeschicht n ein vergleichsweise geringer Datenfluss auftritt. Das Trainieren des Netzwerks kann beispielsweise mittels einer oder mehrerer Kostenfunktionen erfolgen, welche den Datenfluss durch die Ausgabeschicht mit entsprechenden Kosten „bestraft“.
-
Die in den 2 und 3 dargestellten Ausführungsformen unterscheiden sich von dem System 1 gemäß 1 dadurch, dass sie jeweils mehrere (nämlich vorliegend drei) Sensormodule 11a, 11b, 11c mit jeweiligen Sensoren 112a, 112b, 112c und zugeordneten sensornahen ersten Rechenvorrichtungen 110a, 110b, 110c umfassen. Beispielsweise kann es ich bei den Sensoren 112a, 112b, 112c um verschiedenartige Sensoren, wie z.B. einen RADAR-Sensor 112a, einen LIDAR-Sensor 112b und eine Kamera 112c handeln. Die mehreren Sensoren 112a, 112b, 112c können jedoch auch gleichartige Sensoren umfassen, die z.B. an unterschiedlichen Positionen in oder an dem Fahrzeug angeordnet sind und somit unterschiedliche (ggf. überlappende) Erfassungsbereiche abdecken.
-
Bei dem System 1 gemäß 2 ist jede der ersten Rechenvorrichtungen 110a, 110b, 110c datentechnisch (drahtgebunden oder drahtlos) mit der zweiten Rechenvorrichtung 120 verbunden, welche beispielsweise eine im Fahrzeug angeordnete ECU oder eine fahrzeugexterne Rechenvorrichtung eines Backends oder Datenzentrums sein kann.
-
Jedem Sensormodul 11a, 11b, 11c ist ein neuronales Netzwerk zugeordnet. Dabei implementiert die dem Sensormodul 11a zugeordnete erste Rechenvorrichtung 110a gemeinsam mit der zweiten Rechenvorrichtung 120 ein erstes neuronales Netzwerk NN1a, NN2a zur Verarbeitung der mittels des Sensormoduls 11a erfassten Sensordaten. Die dem Sensormodul 11b zugeordnete erste Rechenvorrichtung 110b implementiert gemeinsam mit der zweiten Rechenvorrichtung 120 ein zweites neuronales Netzwerk NN1b, NN2b zur Verarbeitung der mittels des Sensormoduls 11b erfassten Sensordaten. Die dem Sensormodul 11c zugeordnete erste Rechenvorrichtung 110c implementiert gemeinsam mit der zweiten Rechenvorrichtung 120 ein drittes neuronales Netzwerk NN1c, NN2c zur Verarbeitung der mittels des Sensormoduls 11c erfassten Sensordaten. Die zweite Rechenvorrichtung 120 implementiert also eine jeweilige Teilmenge NN2a, NN2b, NN2c der Schichten des dem jeweiligen Sensormodul 11a, 11b, 11c zugeordneten Netzwerks, wobei die in das jeweilige Sensormodul 11a, 11b, 11c integrierte erste Rechenvorrichtung 110a, 110b, 110c eine andere Teilmenge NN1a, NN1b, NN1c implementiert.
-
Analog zu dem vorstehend mit Bezug auf 1 Erläuterten ist jede der ersten Rechenvorrichtungen 110a, 110b, 110c eingerichtet, die mittels des jeweiligen Sensors 112a, 112b, 112c erfassten Umfelddaten mittels des ersten Teils NN1a, NN1b, NN1c des dem betreffenden Sensormodul 11a, 11b, 11c zugeordneten künstlichen neuronalen Netzwerks zu verarbeiten und erste Ausgangsdaten einer Ausgabeschicht des jeweiligen ersten NN1a, NN1b, NN1c auszugeben. Die zweite Rechenvorrichtung 120 ist eingerichtet, die von den ersten Rechenvorrichtungen 110a, 110b, 110c ausgegebenen ersten Ausgabedaten zu empfangen und sie mittels der jeweiligen zweiten Teile NN2a, NN2b, NN2c der den Sensormodulen 11a, 11b, 11c zugeordneten künstlichen neuronalen Netzwerke weiterzuverarbeiten.
-
Des Weiteren ist die zweite Rechenvorrichtung 120 des Systems gemäß 2 eingerichtet, Ausgabedaten von jeweiligen letzten Schichten der zweiten Teile NN2a, NN2b, NN2c der den Sensormodulen 11a, 11b, 11c zugeordneten künstlichen neuronalen Netzwerke einem künstlichen neuronale Netzwerk zur Sensordatenfunktion NNDF bereitzustellen. Das neuronale Netzwerk zur Sensordatenfunktion NNDF kann z.B. ebenfalls auf der zweiten Rechenvorrichtung 120 oder auf einer weiteren Rechenvorrichtung (z.B. eines Backends, insbesondere wenn die zweite Rechenvorrichtung 120 ebenfalls in dem Backend angeordnet ist) implementiert sein. Das neuronale Netzwerk zur Sensordatenfunktion NNDF kann die vorverarbeiteten Umfelddaten, die auf die verschiedenen Sensormodule 11a, 11b, 11c zurückgehen, zusammenführen und eine Sensordatenfunkton ausführen. Ein Ergebnis der Sensordatenfunktion kann „over the air“ an das Fahrzeug zurückgeführt werden, sofern die Sensordatenfusion außerhalb des Fahrzeugs (wie z.B. in einem Backend oder einem Datenzentrum) stattfindet.
-
Das System 1 in dem Ausführungsbeispiel gemäß 3 unterscheidet sich von jenem gemäß 2 dadurch, dass es zusätzlich eine dritte Rechenvorrichtung 130 umfasst, auf welcher jeweilige dritte Teilmengen NN3a, NN3b, NN3c von Schichten der den Sensormodulen 11a, 11b, 11c zugeordneten neuronalen Netzwerke implementiert sind.
-
Bei diesem Ausführungsbeispiel ist die zweite Rechenvorrichtung 120 z.B. eine an Bord des Fahrzeug befindliche ECU, und die dritte Rechenvorrichtung 130 ist von dem Fahrzeug entfernt angeordnet, wie z.B. in einem Backend oder Datenzentrum.
-
Die zweite Rechenvorrichtung 120 ist eingerichtet, zweite Ausgabedaten von jeweiligen letzten Schichten der zweiten Teilmengen NN2a, NN2b, NN2c von Schichten der den Sensormodulen 11a, 11b, 11c zugeordneten künstlichen neuronalen Netzwerke auszugeben.
-
Die dritte Rechenvorrichtung 130 ist eingerichtet, die zweiten Ausgabedaten „over the air“ zu empfangen und sie mittels der jeweiligen dritten Teilmengen NN3a, NN3b, NN3c von Schichten der den Sensormodulen 11a, 11b, 11c zugeordneten neuronalen Netzwerke weiterzuverarbeiten. Dabei bekommen die dritten Teile NN3a, NN3b, NN3c der neuronalen Netzwerke die zweiten Ausgabedaten als Eingabedaten. Wie in 3 veranschaulicht, werden bei dieser Ausführungsform Ausgabedaten von jeweiligen letzten Schichten der dritten Teile NN3a, NN3b, NN3c einem künstlichen neuronale Netzwerk zur Sensordatenfunktion NNDF zugeführt.
-
Analog zu dem vorstehend mit Bezug auf 2 Erläuterten kann das neuronale Netzwerk zur Sensordatenfunktion NNDF z.B. ebenfalls auf der dritten Rechenvorrichtung 130 oder auf einer weiteren Rechenvorrichtung in dem Backend oder dem Datenzentrum implementiert sein. Das neuronale Netzwerk zur Sensordatenfunktion NNDF kann die vorverarbeiteten Umfelddaten, die auf die verschiedenen Sensormodule 11a, 11b, 11c zurückgehen, zusammenführen und eine Sensordatenfunkton ausführen. Ein Ergebnis der Sensordatenfunktion kann „over the air“ an das Fahrzeug zurückgeführt werden.
-
Bei Systemen 1 der in 1-3 gezeigten Art können selbstverständlich auch andere Anzahlen (d.h. insbesondere auch mehr als drei) derartige Sensormodule mit jeweils zugeordneten neuronalen Netzwerken eingesetzt werden, wobei die neuronalen Netzwerke auf auch anderen Anzahlen (d.h. insbesondere auch auf mehr als drei) von separaten Rechenvorrichtungen verteilt sein können.
