DE102019217803A1

DE102019217803A1 - Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs

Info

Publication number: DE102019217803A1
Application number: DE102019217803.0A
Authority: DE
Inventors: Marlon Ramon Ewert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2021-05-20
Also published as: WO2021099111A1

Abstract

Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (SD) eines Fahrzeugs, aufweisend:- eine erste künstliche Intelligenz (10a... 10n); wobei- die erste künstliche Intelligenz (10a... 10n, 20a...20) eingerichtet ist, um in Abhängigkeit von Umfeldsensordaten (SD) des Fahrzeugs und Ausgangsdaten (AP) einer zweiten künstlichen Intelligenz (20a...20n) einen Steuerparameter für das Fahrzeug zu ermitteln.

Description

Die Erfindung betrifft eine Vorrichtung zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs. Die Erfindung betrifft ferner ein Computerprogramm. Die Erfindung betrifft ferner ein maschinenlesbares Speichermedium.
Stand der Technik
Ein autonomes Fahrzeug ist ein Fahrzeug, das ohne Fahrer auskommt. Das Fahrzeug fährt dabei autonom, indem es beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer, Hindernisse, usw. selbständig erkennt und die entsprechenden Steuerbefehle im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch ein Fahrverlauf des Fahrzeugs in korrekter Weise beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
Gegenwärtig verfügbare Fahrzeuge sind noch nicht in der Lage, vollautonom zu agieren. Zum einen, weil die entsprechende Technik noch nicht voll ausgereift ist. Zum anderen, weil es heutzutage noch gesetzlich vorgeschrieben ist, dass der Fahrzeugführer jederzeit selbst in das Fahrgeschehen eingreifen können muss. Bereits heute ist absehbar, dass in einigen Jahren voll autonome Fahrzeugsysteme auf den Markt kommen werden, sobald die oben genannten Hürden überwunden sind.
Bekannt ist Car-to-Car-Kommunikation (Car2Car oder C2C), bei der ein Austausch von Informationen und Daten zwischen Kraftfahrzeugen durchgeführt wird. Ziel dieses Datenaustausches ist es, einem Fahrer frühzeitig kritische und gefährliche Situationen zu melden.
Bekannt ist ferner Car-to-Infrastructure-Kommunikation (C2I), bei der ein Austausch von Daten zwischen einem Fahrzeug und der umliegenden Infrastruktur (z.B. Lichtzeichenanlage) durchgeführt wird.
Die genannten Technologien basieren auf dem Zusammenwirken von Sensoren der verschiedenen Verkehrspartner und verwenden neueste Verfahren der Kommunikationstechnologie zum Austausch dieser Informationen.
Offenbarung der Erfindung
Eine Aufgabe der Erfindung ist es daher, ein verbessertes Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs bereitzustellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einer Vorrichtung zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs, aufweisend:

- eine erste künstliche Intelligenz; wobei
- die erste künstliche Intelligenz eingerichtet ist, um in Abhängigkeit von Umfeldsensordaten des Fahrzeugs und Ausgangsdaten einer zweiten künstlichen Intelligenz einen Steuerparameter für das Fahrzeug zu ermitteln.

Auf diese Weise wird eine mehrfache Verarbeitung von Umfeldsensordaten bereitgestellt, wodurch die Umfeldsensordaten besser ausgewertet werden können. Beispielsweise kann, basierend auf den Ausgangsdaten der zweiten künstlichen Intelligenz, festgelegt werden, welche Aktion von der ersten künstlichen Intelligenz ausgeführt wird.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs, aufweisend die Schritte:

- Zuführen der Umfeldsensordaten an wenigstens eine erste künstliche Intelligenz und an wenigstens eine zweite künstliche Intelligenz;
- Verarbeiten der Umfeldsensordaten mittels der zweiten künstlichen Intelligenz; und
- Zuführen von Ausgangsdaten der zweiten künstlichen Intelligenz an die wenigstens eine erste künstliche Intelligenz, wobei mittels der ersten künstlichen Intelligenz in Abhängigkeit von Umfeldsensordaten des Fahrzeugs und Ausgangsdaten einer zweiten künstlichen Intelligenz ein Steuerparameter für das Fahrzeug ermittelt wird.

Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerprogramm.
Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem maschinenlesbaren Speichermedium.
Bevorzugte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um die Ausgangsdaten anhand von Umfeldsensordaten des Fahrzeugs zu ermitteln. Dadurch stellt die zweite künstliche Intelligenz ihre Ausgangsdaten im Sinne einer Vorab-Auswertung bzw. Vorab-Objekterkennung für die erste künstliche Intelligenz bereit.
Eine vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um Ausgangsdaten gröber aufgelöst als die erste künstliche Intelligenz zu ermitteln. Dies kann z.B. dadurch erreicht werden, dass die zweite künstliche Intelligenz eine gröbere Datenverarbeitung als die erste künstliche Intelligenz durchführt. Dadurch können der ersten künstlichen Intelligenz bereits vorab ausgewertete Daten der zweiten künstlichen Intelligenz bereitgestellt werden, die dann von der ersten künstlichen Intelligenz definiert weiter verwendet werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Ausgangsdaten der ersten künstlichen Intelligenz und die Ausgangsdaten der zweiten künstlichen Intelligenz einer dritten künstlichen Intelligenz zugeführt werden, und wobei die dritte künstliche Intelligenz in Abhängigkeit von den Ausgangsdaten der ersten und der zweiten künstlichen Intelligenz ein System des Fahrzeugs ansteuert. Auf diese Art und Weise kann von der ersten und zweiten künstlichen Intelligenz eine Art Vorfilterung bzw. -selektion der Umfeldsensordaten durchgeführt werden, wobei die derart vorgefilterten Daten von einer dritten künstlichen Intelligenz definiert verwendet werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass mittels der zweiten künstlichen Intelligenz mehrere Auswertungsprozesse der Umfeldsensordaten durchgeführt werden, wobei die Ausgangsdaten der zweiten künstlichen Intelligenz, die am besten einem definierten Auswertungskriterium entsprechen, zur Weiterverarbeitung an die erste künstliche Intelligenz übermittelt werden. Dadurch findet eine Art Vorselektion von ausgewerteten Umfeldsensordaten statt, wodurch Auswertungsergebnisse in definierter Weise verwendet werden können.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass mittels der Ausgangsdaten der zweiten künstlichen Intelligenz die erste künstliche Intelligenz zeitweise abschaltbar ist, wenn die Ausgangsdaten der zweiten künstlichen Intelligenz ein definiertes Kriterium erfüllen. Beispielsweise kann im Falle, dass ein extern vom Fahrzeug angeordnetes Objekt erkannt wurde und sich dieses nicht wesentlich in seiner Lage verändert, eine Auswertung der ersten künstlichen Intelligenz in Form einer hochgenauen Erkennung nur einmal ausgeführt werden. Auf diese Weise wird eine Art „getriggerte“ erste künstliche Intelligenz realisiert, was vorteilhaft Rechenaufwand, elektrische Energie, usw. für die erste künstliche Intelligenz einsparen kann. Vorteilhaft ist dadurch beispielsweise unterstützt, dass eine hochgenaue Objekterkennung mittels der ersten künstlichen Intelligenz nur einmal durchgeführt werden muss.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung sieht vor, dass die Vorrichtung mehrere erste künstliche Intelligenzen aufweist, wobei jeweils einer ersten künstlichen Intelligenz Ausgangsdaten einer zugeordneten zweiten künstlichen Intelligenz zugeführt werden, wobei die Ausgangsdaten der zweiten künstlichen Intelligenzen von den zugeordneten ersten künstlichen Intelligenzen geprüft und nach einem definierten Kriterium einer dritten künstlichen Intelligenz zugeführt werden. Dadurch ist ein mehrstufiger Aufbau der Vorrichtung realisiert, mit der eine noch bessere Verarbeitung der Umfeldsensordaten unterstützt ist.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz außerhalb des Fahrzeuges, insbesondere in einer Cloud angeordnet ist. Vorteilhaft kann dadurch die zweite künstliche Intelligenz auf eine hochleistungsfähige cloudbasierte Rechnereinrichtung ausgelagert werden, wobei Auswertungen der cloudbasierten zweiten künstlichen Intelligenz funkbasiert an die erste künstliche Intelligenz im Fahrzeug übermittelt werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Ausgangsdaten der zweiten künstlichen Intelligenz und die Ausgangsdaten der wenigstens einen ersten künstlichen Intelligenz zur Ansteuerung von unterschiedlichen Systemen des Fahrzeugs verwendet werden. Beispielsweise können die Ausgangsdaten der unterschiedlichen künstlichen Intelligenzen zur Ansteuerung von unterschiedlichen Fahrerassistenzsystemen des Fahrzeugs genutzt werden. Denkbar ist beispielsweise auch, dass lediglich die Ausgangsdaten einer einzelnen künstlichen Intelligenz zur Ansteuerung eines Fahrerassistenzsystems verwendet werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um abhängig von den Umfeldsensordaten wenigstens eine Trajektorie für das Fahrzeug zu ermitteln und die Trajektorie als Ausgangsdaten der ersten künstlichen Intelligenz bereit zu stellen, und wobei die erste künstliche Intelligenz ausgebildet ist, um aus der ermittelten Trajektorie der zweiten künstlichen Intelligenz wenigstens eine zu fahrenden Trajektorie zu ermitteln. Dadurch kann z.B. in Abhängigkeit von erkannten Objekten im Umfeld des Fahrzeugs eine Fahrbewegung des Fahrzeugs gesteuert werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um eine Trajektorie zu planen, und dass die erste künstliche Intelligenz ausgebildet ist, um unter Berücksichtigung der geplanten Trajektorie der zweiten künstlichen Intelligenz unter Berücksichtigung einer Kollisionsvermeidung des Fahrzeugs eine zu verwendende Trajektorie zu ermitteln. Dadurch ist eine hochgenaue und effiziente Ermittlung von Trajektorien aus den Ausgangsdaten der unterschiedlichen künstlichen Intelligenzen unterstützt.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die dritte künstliche Intelligenz ausgebildet ist, um aus den Ausgangsdaten der ersten und der zweiten künstlichen Intelligenz eine Objekterkennung durchzuführen. Vorteilhaft können dadurch die Umfeldsensordaten für eine effektive Erkennung von Objekten genutzt werden, wobei unterschiedliche Anforderungen von Systemen betreffend Objekterkennung berücksichtigt werden können.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die künstlichen Intelligenzen mit den Umfeldsensordaten und/oder mit mittels einer Simulation künstlich erzeugter Umfeldsensordaten trainiert sind. Vorteilhaft kann dadurch eine Funktionsweise der künstlichen Intelligenzen bereits vorab im Training vordefiniert eingestellt werden, sodass dadurch eine effiziente Betriebsweise der Vorrichtung im Normalbetrieb des Fahrzeugs unterstützt ist. Auf diese Weise ist eine Vielfalt an Trainingsmöglichkeiten für die künstlichen Intelligenzen vorteilhaft erhöht.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren im Detail beschrieben. Gleiche oder funktionsgleiche Elemente haben dabei gleiche Bezugszeichen.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend die Vorrichtung in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend das Verfahren zum Betreiben der Sensorvorrichtung ergeben und umgekehrt.
In den Figuren zeigen:

1-4 prinzipielle Blockschaltbilder von Ausführungsformen der vorgeschlagenen Vorrichtung; und
5 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs.

Beschreibung von Ausführungsformen
Unter einem automatisierten Fahrzeug kann im Zusammenhang mit der vorliegenden Erfindung ein voll- oder teilautomatisiertes oder ein voll- oder teilautonomes Fahrzeug verstanden werden.
Ein Kerngedanke der Erfindung ist es, eine Vorrichtung bereitzustellen, mit der eine verbesserte Verarbeitung von Umfeldsensordaten möglich ist.
Bei der im Folgenden genannten „künstlichen Intelligenz“ kann es sich beispielsweise um ein künstliches neuronales Netz (KNN) handeln, welches über ein maschinelles Lernverfahren trainiert oder gelernt wurde, um Umfeldsensordaten zu verarbeiten. Ein bevorzugter Anwendungsfall ist die Umfeldsensordatenverarbeitung innerhalb der ersten und zweiten künstlichen Intelligenz mit Hilfe von künstlichen neuronalen Netzen, wobei in den Umfeldsensordaten mit Hilfe der künstlichen neuronalen Netze Objekte erkannt werden.
Eine erste künstliche Intelligenz kann im Folgenden auch als eine „Haupt-KI“ bezeichnet werden. Eine zweite künstliche Intelligenz kann im Folgenden auch als eine „Vorschau-KI“ bezeichnet wird. Die künstliche Intelligenz kann dabei als ein neuronales Netzwerk, ein maschinelles Lernsystem oder dergleichen realisiert sein.
Die künstlichen Intelligenzen sind vorzugsweise als neuronale Netze ausgebildet, können aber auch auf andere Weisen ausgebildet sein.
Die Erfindung beschreibt eine Vorrichtung und ein Verfahren für wenigstens eine parallel laufende Vorschau-Kl für die Verarbeitung von Umfeldsensordaten und/oder zur Trajektorienplanung in einem automatisierten/autonomen Fahrzeug.
1 zeigt eine erste Ausführungsform einer vorgeschlagenen Vorrichtung 100 zum Verarbeiten von Umfeldsensordaten. Erkennbar sind eine erste künstliche Intelligenz 10a („Haupt-KI“) und eine parallel laufende zweite künstliche Intelligenz 20a („Vorschau-KI“) für die Verarbeitung von Umfeldsensordaten S_D, die von einer Sensoreinrichtung 1 eines automatisierten/autonomen Fahrzeugs (nicht dargestellt) bereitgestellt werden und an beide künstlichen Intelligenzen 10a, 20a zugeführt werden. Bei den Umfeldsensordaten S_D kann es sich z.B. um Bilddaten, Radardaten, Lidardaten, Ultraschallsensordaten, Positionsdaten usw. und dergleichen handeln, die von passiven und/oder aktiven Umfeldsensoren des Fahrzeugs generiert und bereitgestellt werden.
Dabei kann die zweite künstliche Intelligenz 20a ähnlich ausgebildet sein wie ein neuronales Netz der ersten künstlichen Intelligenz 10a, indem in die parallel geschaltete zweite künstliche Intelligenz 20a beispielsweise die gleichen Eingangsdaten bzw. Umfeldsensordaten S_D eingelesen werden und Ausgangsdaten des gleichen Typs wie von der ersten künstlichen Intelligenz 10a generiert werden.
Ausgangsdaten A_P der zweiten künstlichen Intelligenz 20a können z.B. sein: Objekttyp, Objektlage, Objektgröße, Objektwahrscheinlichkeit, usw. eines Objekts, das aus den Umfeldsensordaten S_D erkannt wurde. Auf diese Weise wird von der zweiten künstlichen Intelligenz 20a eine „schnelle Vorschau“ einer Umfeldsituation bereitgestellt, wobei von der ersten künstlichen Intelligenz 10a ähnliche Ausgangsdaten A_H betreffend die Umfeldsituation bereitstellt werden, allerdings im Unterschied zu den Ausgangsdaten A_P in hochgenauer Form.
Ein wesentlicher Unterschied der parallellaufenden zweiten künstlichen Intelligenz 20a ist jedoch, dass ein trainierter Algorithmus der zweiten künstliche Intelligenz 20a wesentlich schneller ausgeführt werden kann als ein trainierter Algorithmus der ersten künstlichen Intelligenz 10a, weil sie definiert einfacher aufgebaut bzw. strukturiert ist. Beispielsweise weist das neuronale Netz der zweiten künstlichen Intelligenz 20a weniger Schichten auf bzw. besitzt eine geringere Tiefe als die erste künstliche Intelligenz 10a. Je mehr Schichten das neuronale Netzwerk aufweist, desto genauer, aber auch langsamer ist nämlich in der Regel eine Auswertecharakteristik des neuronalen Netzwerks.
Ferner kann bei der zweiten künstlichen Intelligenz 20a...20n auch eine Anzahl von Knoten von Schichten geringer sein als bei der ersten künstlichen Intelligenz 10a... 10n und/oder können zwischen Schichten auch eine geringere Anzahl von Verbindungen ausgebildet sein. Zudem können z.B. für die zweite künstliche Intelligenz 20a...20n auch weniger Eingangsdaten verwendet werden als für die erste künstliche Intelligenz 10a...10n. Weiterhin kann für die zweite künstliche Intelligenz 20a...20n auch weniger Ausgangsknoten vorgesehen sein, wodurch ein Ergebnis ungenauer sein kann. Zudem kann eine Berechnung der zweiten künstlichen Intelligenz 20a...20n schneller ausgeführt werden, wobei die künstlichen Intelligenzen 10a, 20a in ihren Strukturen gleich ausgebildet sind, usw.
Denkbar ist auch, dass die zweite künstliche Intelligenz 20a weniger Eingangsdaten bzw. Parameter verarbeitet bzw. kürzer trainiert wurde als die erste künstliche Intelligenz 10a. Entsprechend umfasst das neuronale Netzwerk der Vorschau-KI eine geringere Schichttiefe und weist dadurch eine schnellere aber „ungenauere“ Auswertecharakteristik als jene der Haupt-KI auf. Auf diese Weise können die Ausgangsdaten A_P der zweiten künstlichen Intelligenz 20a von der ersten künstlichen Intelligenz 10a eingelesen und bewertet werden, wobei in Abhängigkeit davon von der ersten künstlichen Intelligenz 10a z.B. entschieden wird, welche Objekte näher bestimmt, und/oder welche Objektlagen genauer ermittelt, und/oder welche Trajektorien genauer ermittelt werden, usw. Durch die von der parallellaufenden zweiten künstlichen Intelligenz 20a bereitgestellten Ausgangsdaten A_P, die eine „Vorschau“ auf das Ergebnis der ersten künstlichen Intelligenz 10a sein können, können Daten bzw. erkannte Objekte bzw. Trajektoriendaten mittels der ersten künstlichen Intelligenz 10a in weiterer Folge sehr genau berechnet werden, weil dadurch schon eine Vorauswertung der Umfeldsensordaten S_D vorhanden ist, auf der die erste künstliche Intelligenz 10a aufbauen kann.
Im Ergebnis ist die parallele zweite künstliche Intelligenz 20a dadurch in der Lage, die Umfeldsensordaten S_D ähnlich der ersten künstlichen Intelligenz 10a zu verarbeiten, allerdings mit einer geringeren Genauigkeit und/oder geringeren Auflösung des Ergebnisses. Erreicht wird dadurch, dass die Verarbeitung bzw. Auswertung der Umfeldsensordaten S_D innerhalb der parallelen zweiten künstlichen Intelligenz 20a wesentlich schneller durchgeführt wird als innerhalb der ersten künstlichen Intelligenz 10a.
Die parallel laufende zweite künstliche Intelligenz 20a kann beispielsweise für eine Kollisionsvermeidung innerhalb des automatisierten/autonomen Fahrzeugs genutzt werden, während die erste künstliche Intelligenz 10a für eine hochgenaue Trajektorienplanung innerhalb des automatisierten/autonomen Fahrzeugs verwendet werden kann.
2 zeigt ein prinzipielles Blockschaltbild einer weiteren Ausführungsform der vorgeschlagenen Vorrichtung 100. Bei dieser Variante wird eine Steuerung der ersten künstlichen Intelligenz 10a mit Hilfe der parallellaufenden, deutlich schnelleren zweiten künstlichen Intelligenz 20a über die Ausgangsdaten A_P durchgeführt. Beispielsweise erfolgt eine hochfrequente Verarbeitung der Umfeldsensordaten S_D mithilfe der parallellaufenden zweiten künstlichen Intelligenz 20a, wodurch mittels der zweiten künstlichen Intelligenz 20a eine schnellere Verarbeitung der Umfeldsensordaten S_D realisierbar ist als mittels der ersten künstlichen Intelligenz 10a.
Die Ausgangsdaten A_H der ersten künstlichen Intelligenz 10a und die Ausgangsdaten A_P der zweiten künstlichen Intelligenz 20a werden anschließend in einer nachgeschalteten dritten künstlichen Intelligenz 30 („Bewertungs-KI“) ausgewertet. Ist beispielsweise absehbar, dass von der zweiten künstlichen Intelligenz 20a aus den Umfeldsensordaten S_D eines bestimmten Umfeldsensorbildes keinerlei Objekte erkannt werden, so wird dies von der dritten künstlichen Intelligenz 30 erkannt und an die erste künstliche Intelligenz 10a signalisiert. Daraufhin wird die Ausführung der ersten künstlichen Intelligenz 10a durch die parallellaufende zweite künstliche Intelligenz 20a unterbrochen.
In einer nicht in Figuren dargestellten Variante ist auch denkbar, dass im Falle, dass von der zweiten künstlichen Intelligenz 20a aus den Umfeldsensordaten S_D eines bestimmten Umfeldsensorbildes keinerlei Objekt erkannt werden, dies an die erste künstliche Intelligenz 10a signalisiert wird. Daraufhin wird die Ausführung der ersten künstlichen Intelligenz 10a durch die laufende zweite künstliche Intelligenz 20a unterbrochen.
Dies ist möglich, weil die zweite künstliche Intelligenz 20a bereits ein grobes Ergebnis an die erste künstlichen Intelligenz 10a liefert. Bevor die erste künstliche Intelligenz 10a ein unbrauchbares oder eventuell nicht neues Ergebnis im Vergleich zur vorherigen Berechnung liefert, wird die Ausführung der ersten künstlichen Intelligenz 10a durch die mittels der dritten künstlichen Intelligenz 30 durchgeführten Ergebnisauswertung der zweiten künstlichen Intelligenz 20a unterbrochen. Gegebenenfalls kann die Auswertung der Ausgangsdaten A_P der zweiten künstlichen Intelligenz 20a von der dritten künstlichen Intelligenz 30 auch mehrfach durchgeführt werden, bevor eine Unterbrechung der ersten künstlichen Intelligenz 10a erfolgt. Ausgangsdaten A_S der dritten künstlichen Intelligenz 30 können z.B. zur Ansteuerung eines Aktuators (nicht dargestellt) des Fahrzeugs verwendet werden.
Vorteilhaft braucht auf diese Weise eine hochgenaue Objekterkennung mittels der ersten künstlichen Intelligenz 10a nur einmal durchgeführt zu werden, weil die erste künstliche Intelligenz 10a auf einer Vorauswertung aufsetzt und dadurch weniger Rechenzeit erfordert. Dadurch kann eine „getriggerte“ erste künstliche Intelligenz 10a bereitgestellt werden, indem z.B. Rechenzeit und ein Verbrauch von elektrischer Energie der ersten künstlichen Intelligenz 10a reduziert sind.
Bei der Auswertung des nächsten Umfeldsensorbildes oder einer Menge von Umfeldsensordaten S_D wird die erläuterte Vorgangsweise wiederholt. Es wird somit vorteilhaft vermieden, dass die erste künstliche Intelligenz 10a unbrauchbare oder sinnlose Ergebnisse berechnet, die bereits durch die parallellaufende zweite künstliche Intelligenz 20a als Vorschau vorhanden sind und keinen Mehrwert liefern. Auf diese Weise können z.B. wertvolle Ressourcen bzw. Rechenkapazitäten auf einem automatisierten/autonomen Fahrzeug eingespart werden.
Handelt es sich bei dem automatisierten/autonomen Fahrzeug um ein Elektrofahrzeug, so kann dadurch auch wertvolle elektrische Energie eingespart werden, indem die erste künstliche Intelligenz 10a nur dann los rechnet bzw. zu Ende rechnet, wenn die parallel laufende zweite künstliche Intelligenz 20a bereits vielversprechende Ausgangsdaten A_P bereitstellt.
In einer weiteren, in 3 prinzipiell dargestellten Ausführungsform der vorgeschlagenen Vorrichtung 100 erkennt man, dass zwei oder auch mehrere zweite künstliche Intelligenzen 20a...20n für die Auswertung der Umfeldsensordaten S_D oder für eine schnelle Vorabermittlung von Trajektorien, Objekterkennung, usw. des automatisierten/autonomen Fahrzeugs vorgesehen sein können. Jede dieser zweiten künstlichen Intelligenzen 20a...20n liefert ihre Ausgangsdaten A_P1... A_Pn jeweils an eine zugeordnete, hochfrequenter agierende, parallellaufende erste künstliche Intelligenz 10a...10n.
Dabei kann vorgesehen sein, dass die ersten künstlichen Intelligenzen 10a... 10n die Umfeldsensordaten S_D mit einer höheren Frequenz auswerten, als die zweiten künstlichen Intelligenzen 20a...20n. Denkbar ist aber auch der umgekehrte Fall, dass nämlich die zweiten künstlichen Intelligenzen 20a...20n die Umfeldsensordaten S_D mit einer höheren Frequenz als die ersten künstlichen Intelligenzen 10a... 10n auswerten, je nach Anwendungsfall.
Sofern die parallellaufende zweite künstliche Intelligenz 20a...20n ein vielversprechendes Ergebnis liefert (z.B. aus den Umfeldsensordaten S_D ein externes Objekt erkennt), kann die zugeordnete erste künstliche Intelligenz 10a... 10n zu Ende gerechnet und das Ergebnis der ersten künstlichen Intelligenz 10a... 10n (z.B. in Form einer ermittelten Trajektorie) für das automatisierte/autonome Fahren des Fahrzeugs verwendet werden. Auch eine niederfrequente Ausführung der parallellaufenden ersten künstlichen Intelligenz 10a... 10n bei gleichzeitiger hochfrequenter Ausführung der zugeordneten zweiten künstlichen Intelligenz 20a...20n ist denkbar.
Sofern die parallellaufende zweite künstliche Intelligenz 20a...20n jedoch ein Ergebnis liefert, das nicht vielversprechend ist bzw. nicht verwendbar ist, wird die zugeordnete erste künstliche Intelligenz 10a... 10n unterbrochen und es wird auf eine parallel laufende andere erste künstliche Intelligenz 10a...10n umgeschaltet. Auch dort werden Ausgangsdaten einer zugeordneten parallellaufenden zweiten künstlichen Intelligenz 20a...20n ausgewertet und bei einem vielversprechenden Ergebnis die entsprechende erste künstliche Intelligenz 10a... 10n zu Ende gerechnet. Entsprechende Auswertungen und Schaltsignale für die ersten künstlichen Intelligenzen 10a... 10n werden von der dritten künstlichen Intelligenz 30 bereitgestellt.
Sinn und Zweck dieser Variante ist die Umschaltung von Berechnungen auf einen alternativen Pfad, wenn das Ergebnis einer zweiten künstlichen Intelligenz 20a...20n einen Hinweis erhält, dass die zugehörige erste künstliche Intelligenz 10a... 10n Ergebnisse liefert (z.B. erkannte Objekte), die von der dritten künstlichen Intelligenz 30 nicht sinnvoll nutzbar sind. Der alternativ ausgeführte Pfad besteht in diesem Fall aus einer ersten künstlichen Intelligenz 10a, 10b, die sich jedoch von der ersten künstlichen Intelligenz 10a, 10b des eigentlichen Pfads definiert unterscheidet und somit unterschiedliche Ergebnisse liefert.
Bei dieser Variante kann es auch sinnvoll sein, die Ergebnisse zweier zweiter künstlicher Intelligenzen 20a...20n miteinander zu vergleichen und anschließend eine Entscheidung zu treffen, welche erste künstliche Intelligenz 10a... 10n zu Ende gerechnet wird bzw. festzulegen, welches Ergebnis welcher ersten künstlichen Intelligenz 10a...10n basierend auf dem Vergleich der parallelen zweiten künstlichen Intelligenz 20a...20n für das automatisierte/autonome Fahren verwendet wird.
In einer weiteren, nicht in Figuren dargestellten Ausführungsform der vorgeschlagenen Vorrichtung 100 wird das Ergebnis einer parallel laufenden zweiten künstlichen Intelligenz 20a...20n neben dem Ergebnis der ersten künstlichen Intelligenz 10a... 10n, entweder gleichzeitig oder zu unterschiedlichen Zeitpunkten in einer dritten künstlichen Intelligenz 30 für das automatisierte/autonome Fahren weiterverwendet.
Beispielsweise kann das Ergebnis einer parallellaufenden, sehr schnellen zweiten künstlichen Intelligenz 20a...20n für eine Kollisionsvermeidung mit einem Hindernis verwendet werden, da die parallellaufende zweite künstliche Intelligenz 20a...20n sehr schnell ist. Dies ist deshalb sinnvoll, weil eine sehr genaue Objekterkennung des potentiell kollisions-verursachenden Hindernisses gar nicht erforderlich ist.
Darüber hinaus kann das Ergebnis mindestens einer parallellaufenden zweiten künstlichen Intelligenz 20a...20n in einer Simulation verwendet werden, um unterschiedliche Trajektorien und Ausweichmanöver im automatisierten/autonomen Fahrzeug durchzuspielen, bevor diese an Aktuatoren (nicht dargestellt) für die Ausführung der Trajektorien und Ausweichmanöver weitergeleitet werden. In diesem Fall kann es sich bei der dritten künstlichen Intelligenz 30 beispielsweise um ein neuronales Netzwerk für die Simulation von Trajektorien bzw. Aktuatoransteuerungen des automatisierten/autonomen Fahrzeugs oder um ein weiteres neuronales Netzwerk für das autonome Fahren handeln. Anschließend wird aus den Simulationsdaten eine Trajektorie bzw. Aktuatoransteuerung ausgewählt und von der dritten künstlichen Intelligenz 30 zusammen mit den Ausgangsdaten A_H der ersten künstlichen Intelligenz 10a hochgenau berechnet.
In einer weiteren, in 4 prinzipiell dargestellten Ausführungsform der vorgeschlagenen Vorrichtung 100 ist vorgesehen, dass die Ausführung der parallellaufenden zweiten künstlichen Intelligenz 20a nicht auf einem elektronischen Steuergerät und/oder einer Sensorvorrichtung im Fahrzeug, sondern innerhalb einer Cloud durchgeführt wird. Dabei werden die Umfeldsensordaten S_D des Fahrzeugs über eine sehr schnelle Car-to-X-Kommunikationsverbindung in die Cloud übertragen, z.B. an einen Edge Computing Server. Auf der Cloud erfolgt anschließend die sehr schnelle Verarbeitung der Umfeldsensordaten S_D in der vereinfacht ausgebildeten zweiten künstlichen Intelligenz 20a. Die Ausgangsdaten A_P der cloudbasierten zweiten künstlichen Intelligenz 20a werden anschließend drahtlos an die erste künstliche Intelligenz 10a im Fahrzeug übermittelt. Die Ausgangsdaten A_P der cloudbasierten zweiten künstlichen Intelligenz 20a können auch an eine dritte künstliche Intelligenz 30 übermittelt werden, an die auch Ausgangsdaten A_H der ersten künstlichen Intelligenz 10a übermittelt werden.
Diese Variante kann z.B. dann sinnvoll sein, wenn nicht ausreichend Rechenkapazitäten auf dem automatisierten/autonomen Fahrzeug für das Durchführen der parallel laufenden zweiten künstlichen Intelligenz 20a vorhanden sind, jedoch eine sehr schnelle Car-to-X-Kommunikationsverbindung mit geringen Latenzen zur Verfügung steht.
Ferner ist in einer weiteren Variante auch denkbar, dass die Ausführung der parallellaufenden zweiten künstlichen Intelligenz 20a auf einem weiteren Fahrzeug in der näheren Umgebung des eigenen Fahrzeugs durchgeführt wird (nicht dargestellt). Statt der Cloud werden in diesem Fall die Rechenkapazitäten des weiteren Fahrzeugs für die Ausführung bzw. Berechnung der parallelen zweiten künstlichen Intelligenz 20a genutzt. Die Kommunikation zwischen den Fahrzeugen erfolgt in diesem Fall drahtlos über eine Car-to-X Kommunikationsverbindung.
Zusammenfassend wird mit der Erfindung eine Vorrichtung mit mindestens einer parallellaufenden zweiten künstlichen Intelligenz (Vorschau- KI) für die Verarbeitung von Umfeldsensordaten in einem automatisierten/autonomen Fahrzeug vorgeschlagen.
Im Ergebnis kann mittels der Ausgangsdaten der Vorschau-KI ein Fahrerassistenzsystem vorkonditioniert werden, z.B. in einem ESP-Steuergerät Druck für die Fahrzeugbremse aufgebaut werden. Im Falle, dass die Haupt-KI die Ausgangsdaten der Vorschau-KI plausibilisiert, kann dann z.B. sehr schnell ein Notbremsvorgang eingeleitet werden.
Vorteilhaft kann dadurch die wesentlich schneller laufende, aber etwas ungenauere parallele zweite künstliche Intelligenz für die Auswertung von Umfeldsensordaten in einem automatisierten/autonomen Fahrzeug genutzt werden, was z.B. für eine hochdynamische Kollisionsvermeidung auf dem automatisierten/autonomen Fahrzeug verwendet werden kann. Auf diese Weise kann eine Sicherheit im Betrieb von automatisierten/autonomen Fahrzeugen deutlich erhöht sein. Eine genaue Objekterkennung bzw. Trajektorienplanung bzw. hochgenaue Ansteuerung der Aktivatoren außerhalb von schnellen Ausgleichmanövern erfolgt auch weiterhin mithilfe der ersten künstlichen Intelligenz, deren Ergebnisse deutlich genauer sind, jedoch zeitlich etwas später zur Verfügung stehen.
Vorteilhaft können die genannten künstlichen Intelligenzen 10a...10n, 20a...20n, 30 in Software und/oder in Hardware (z.B. neuromorphic processor unit) implementiert sein.
In einem Trainingsszenario können die Vorschau-Kls zusammen mit den Haupt-Kls trainiert werden. Dabei kann es sinnvoll sein, das Training der Vorschau-Kls vorerst vollständig durchzuführen, damit die Haupt-Kls auf sinnvollen Auswertungsergebnissen der Vorschau-Kls aufbauen können. Vorzugsweise wird das Training mit „echten“, d.h. gemessenen Umfeldsensordaten S_D durchgeführt oder auch mit auf einer Simulation basierenden Umfeldsensordaten. Dadurch sind vielfältige Trainingsmethoden der künstlichen Intelligenzen möglich, wobei nach Erreichen eines ausreichenden Objekterkennungsgrads die künstlichen Intelligenzen zur Verwendung in der Vorrichtung vorkonfiguriert sind.
Das vorgeschlagene Verfahren kann im Betrieb eines automatisierten/- automatisierten Fahrzeugs zu wenigstens einem der folgenden Zwecke durchgeführt werden: Objekterkennung, Objektlagenerkennung, Objektbewegungserkennung, Trajektorienplanung, Kollisionsvermeidung mit einem Objekt. Durch die spezifisch diversifizierte Objekterkennung mittels der vorgeschlagenen Vorrichtung kann eine Sicherheit im Straßenverkehr vor allem im Betrieb autonomer Fahrzeuge deutlich erhöht sein.
5 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs. In einem Schritt 200 erfolgt ein Zuführen der Umfeldsensordaten S_D an wenigstens eine erste künstliche Intelligenz 10a... 10n und an wenigstens eine zweite künstliche Intelligenz 20a...20n.
In einem Schritt 210 erfolgt ein Verarbeiten der Umfeldsensordaten S_D mittels der zweiten künstlichen Intelligenz 20a...20.
In einem Schritt 220 erfolgt ein Zuführen von Ausgangsdaten A_P der zweiten künstlichen Intelligenz 20a...20n an die wenigstens eine erste künstliche Intelligenz 10a...10n, wobei mittels der ersten künstlichen Intelligenz 10a...10n in Abhängigkeit von Umfeldsensordaten S_D des Fahrzeugs und Ausgangsdaten A_P einer zweiten künstlichen Intelligenz 20a...20n ein Steuerparameter für das Fahrzeug ermittelt wird.
Die vorgeschlagene Vorrichtung kann z.B. in einem automatisiert/autonomen Fahrzeug, einem Flugzeug, einer Drohne, einem Wasserfahrzeug, usw. eingesetzt werden.
Das Verfahren ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens aufweist.
Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (S_D) eines Fahrzeugs, aufweisend: - eine erste künstliche Intelligenz (10a... 10n); wobei - die erste künstliche Intelligenz (10a... 10n) eingerichtet ist, um in Abhängigkeit von Umfeldsensordaten (S_D) des Fahrzeugs und Ausgangsdaten (A_P) einer zweiten künstlichen Intelligenz (20a...20n) einen Steuerparameter für das Fahrzeug zu ermitteln.
Vorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20) ausgebildet ist, um die Ausgangsdaten (A_P) anhand von Umfeldsensordaten (S_D) des Fahrzeugs zu ermitteln.
Vorrichtung (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um Ausgangsdaten (AP) gröber aufgelöst als die erste künstliche Intelligenz (10a... 10n) zu ermitteln.
Vorrichtung (100) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Ausgangsdaten (A_H) der ersten künstlichen Intelligenz (10a...10n) und die Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a...20n) einer dritten künstlichen Intelligenz (30) zugeführt werden, und wobei die dritte künstliche Intelligenz in Abhängigkeit von den Ausgangsdaten (A_P, A_H) der ersten und der zweiten künstlichen Intelligenz ein System des Fahrzeugs ansteuert.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der zweiten künstlichen Intelligenz (20a...20n) mehrere Auswertungsprozesse der Umfeldsensordaten (S_D) durchgeführt werden, wobei die Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a), die am besten einem definierten Auswertungskriterium entsprechen, zur Weiterverarbeitung an die erste künstliche Intelligenz (10a... 10n) übermittelt werden.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a...20n) die erste künstliche Intelligenz (10a...10n) zeitweise abschaltbar ist, wenn die Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a...20n) ein definiertes Kriterium erfüllen.
Vorrichtung (100) nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die Vorrichtung (100) mehrere erste künstliche Intelligenzen (10a...10n) aufweist, wobei jeweils einer ersten künstlichen Intelligenz (10a..10n) Ausgangsdaten (A_P1... A_Pn) einer zugeordneten zweiten künstlichen Intelligenz (20a...20n) zugeführt werden, wobei die Ausgangsdaten (A_P1... A_Pn) der zweiten künstlichen Intelligenzen (20a...20n) von den zugeordneten ersten künstlichen Intelligenzen (10a...10n) geprüft und nach einem definierten Kriterium einer dritten künstlichen Intelligenz (30) zugeführt werden.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) außerhalb des Fahrzeuges, insbesondere in einer Cloud angeordnet ist.
Vorrichtung (100) nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, dass die Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a...20n) und die Ausgangsdaten (A_H) der wenigstens einen ersten künstlichen Intelligenz (10a...10n) zur Ansteuerung von unterschiedlichen Systemen des Fahrzeugs verwendet werden.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um abhängig von den Umfeldsensordaten wenigstens eine Trajektorie für das Fahrzeug zu ermitteln und die Trajektorie als Ausgangsdaten der ersten künstlichen Intelligenz (10a...10n) bereit zu stellen, und wobei die erste künstliche Intelligenz (10a... 10n) ausgebildet ist, um aus der ermittelten Trajektorie der zweiten künstlichen Intelligenz (20a...20n) wenigstens eine zu fahrenden Trajektorie zu ermitteln.
Vorrichtung (100) nach Anspruch 10, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um eine Trajektorie zu planen, und dass die erste künstliche Intelligenz (10a... 10n) ausgebildet ist, um unter Berücksichtigung der geplanten Trajektorie der zweiten künstlichen Intelligenz (20a...20n) unter Berücksichtigung einer Kollisionsvermeidung des Fahrzeugs eine zu verwendende Trajektorie zu ermitteln.
Vorrichtung (100) nach einem der Ansprüche 4 bis 11, dadurch gekennzeichnet, dass die dritte künstlichen Intelligenz (30) ausgebildet ist, um aus den Ausgangsdaten (A_P, A_H) der ersten und der zweiten künstlichen Intelligenz (10a...10n, 20a...20n) eine Objekterkennung durchzuführen.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die künstlichen Intelligenzen (10a...10n, 20a...20n) mit den Umfeldsensordaten und/oder mit mittels einer Simulation künstlich erzeugter Umfeldsensordaten trainiert sind.
Verfahren (100) zum Verarbeiten von Umfeldsensordaten (S_D) eines Fahrzeugs, aufweisend die Schritte: - Zuführen der Umfeldsensordaten (S_D) an wenigstens eine erste künstliche Intelligenz (10a... 10n) und an wenigstens eine zweite künstliche Intelligenz (20a...20n); - Verarbeiten der Umfeldsensordaten (S_D) mittels der zweiten künstlichen Intelligenz (20a...20); und - Zuführen von Ausgangsdaten (A_P) der zweiten künstlichen Intelligenz (20a...20n) an die wenigstens eine erste künstliche Intelligenz (10a... 10n), wobei mittels der ersten künstlichen Intelligenz (10a... 10n) in Abhängigkeit von Umfeldsensordaten (S_D) des Fahrzeugs und Ausgangsdaten (A_P) einer zweiten künstlichen Intelligenz (20a...20n) ein Steuerparameter für das Fahrzeug ermittelt wird.
Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß Anspruch 14 auszuführen oder das auf einem maschinenlesbaren Speichermedium gespeichert ist.