-
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Umfeldsensordaten. Die Erfindung betrifft ferner eine Analysiereinrichtung zum Verarbeiten von Umfeldsensordaten. Die Erfindung betrifft ferner ein Computerprogrammprodukt.
-
Stand der Technik
-
Bekannt ist eine Vielzahl von verschiedenen Algorithmen, die für Funktionen des automatisierten Fahrens erforderlich sind. Oftmals hängt es von der Qualität, Verteilung oder anderer Eigenschaften der Eingangsparameter ab, welcher Algorithmus am effizientesten ausgeführt wird. Zum Beispiel kann eine Vorhersage eines Bewegungszustands sich bewegender Objekte, beispielsweise eines fahrenden Fahrzeugs, auf Basis eines Kalmanfilters oder unter Verwendung einer geeigneten Dynamic Occupancy Grid Map erreicht werden. Für lineare Bewegungen mit hoher Geschwindigkeit des Objekts, beispielsweise beim Fahren des Fahrzeugs auf der Autobahn, ist hierbei die Verwendung eines Kalmanfilters vorzuziehen, während bei langsamer und nicht-linearer Bewegung, beispielsweise im Stadtverkehr mit ständigem Anfahren und Abbremsen, Kalmanfilter ungeeignet sind und ein Ansatz mit einer Dynamic Occupancy Grid Map vorzuziehen ist. Eine derartige Dynamic Occupancy Grid Map, die im Folgenden auch als ein Belegungsraster bezeichnet wird, ist zum Beispiel aus „A Random Finite Set Approach for Dynamic Occupancy Grid Maps with Real-Time Application“ von Dominik Nuss et. al, arXiv:1605.02406v2, 10 Sep 2016 bekannt.
-
In heutzutage prototypisch eingesetzten autonomen oder teilautonomen Fahrzeugen kommt in der Regel eine Vielzahl von Umfeldsensoren zur Anwendung. Diese Umfeldsensoren werden beispielsweise verwendet, um Objekte und das Fahrzeug herum zu erkennen und darauf basierend eine Trajektorienplanung, sowie eine Ansteuerung der Fahrzeugaktuatoren durchzuführen.
-
Derartige Umfeldsensoren verwenden für die Objekterkennung in der Praxis eine Künstliche Intelligenz oder ein Neuronales Netz. Ein derartiges Neuronales Netz wird mithilfe von Trainingsdaten in Form von Bildaufnahmen darauf trainiert, entsprechende Objekttypen und Objektlagen in den Bildaufnahmen mit einer bestimmten Wahrscheinlichkeit zuverlässig zu erkennen.
-
Offenbarung der Erfindung
-
Eine Aufgabe der Erfindung ist es, eine verbesserte Vorrichtung zum Verarbeiten von Umfeldsensordaten bereitzustellen.
-
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem computerimplementierten Verfahren zum Verarbeiten von Umfeldsensordaten, aufweisend die Schritte:
- - Zuführen der Umfeldsensordaten an eine Analysiereinrichtung mit wenigstens einem neuronalen Netz;
- - Bewerten der Umfeldsensordaten mittels der Analysiereinrichtung im Hinblick auf eine Verarbeitbarkeit der Umfeldsensordaten durch einen Algorithmus;
- - Ermitteln eines ersten Algorithmus oder eines zweiten Algorithmus als für eine Verarbeitung der Umfeldsensordaten geeigneten Algorithmus; und
- - Zuführen der bewerteten Umfeldsensordaten an den ersten Algorithmus oder den zweiten Algorithmus als den zur Verarbeitung der Umfeldsensordaten geeigneten Algorithmus mittels der Analysiereinrichtung.
-
Auf diese Weise kann vorteilhaft ein multidimensionaler Parameterraum der Umfeldsensordaten effizient gehandhabt werden. Für die Steuerung eines autonom fahrenden Fahrzeugs werden in der Regel Sensordaten einer Vielzahl verschiedener Umfeldsensoren berücksichtigt und die Steuerung des Fahrzeugs basiert in der Regel auf sehr vielen Parametern. Aufgrund der hohen Anzahl zu berücksichtigender Parameter kann eine eindeutige Entscheidung, welcher Algorithmus zur weiteren Verarbeitung eines bestimmten Datensatzes am geeigneten ist, somit komplex sein. Mit dem vorgeschlagenen Verfahren kann insbesondere durch die Verwendung eines entsprechend trainierten neuronalen Netzes für die Bewertung der Umfeldsensordaten im Hinblick auf eine Verarbeitbarkeit der Umfeldsensordaten durch einen von wenigstens zwei Algorithmen eine schnelle und sichere Entscheidung getroffen werden, welcher Algorithmus zur weiteren Verarbeitung eines entsprechenden Datensatzes von Umfeldsensordaten geeignet ist.
-
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst durch ein computerimplementiertes Verfahren zum Verarbeiten von Umfeldsensordaten, aufweisend die Schritte:
- - Zuführen der Umfeldsensordaten an einen ersten Algorithmus und einen zweiten Algorithmus, Ausführen des ersten Algorithmus und Erstellen von ersten Ergebnisdaten und Ausführen des zweiten Algorithmus und Erstellen von zweiten Ergebnisdaten eine Analysiereinrichtung mit wenigstens einem neuronalen Netz;
- - Zuführen der ersten Ergebnisdaten und der zweiten Ergebnisdaten an eine Analysiereinrichtung mit wenigstens einem neuronalen Netz;
- - Bewerten der der ersten Ergebnisdaten und der zweiten Ergebnisdaten mittels der Analysiereinrichtung im Hinblick auf eine Verarbeitbarkeit der der ersten Ergebnisdaten und der zweiten Ergebnisdaten durch eine Verarbeitungseinrichtung und Ermitteln von für eine Verarbeitung durch die Verarbeitungseinrichtung geeigneten Ergebnisdaten;
- - Zuführen der ersten Ergebnisdaten und der zweiten Ergebnisdaten an die Verarbeitungseinrichtung;
- - Verarbeiten der durch die Analyseeinrichtung als geeignet bewerteten Ergebnisdaten durch die Verarbeitungseinrichtung.
-
Durch das beanspruchte Verfahren kann eine Entscheidung getroffen werden, welche Ergebnisdaten der ausgeführten Algorithmen für eine Weiterverarbeitung am geeignetsten ist. Hierdurch kann eine verbesserte Steuerung eins autonomen Fahrzeugs erreicht werden.
-
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einer Analysiereinrichtung aufweisend wenigstens ein neuronales Netz, wobei die Analysiereinrichtung eingerichtet ist, zugeführte Umfeldsensordaten zu bewerten und die bewerteten Umfeldsensordaten an wenigstens einen zur Verarbeitung der Umfeldsensordaten geeigneten Algorithmus und/oder von Ergebnisdaten von wenigstens einem Algorithmus an wenigstens eine Verarbeitungseinrichtung zuzuführen.
-
Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlasst, das vorgeschlagene Verfahren auszuführen oder das auf einem maschinenlesbaren Speichermedium gespeichert ist.
-
Bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens und der vorgeschlagenen Analysiereinrichtung sind Gegenstand von jeweils abhängigen Ansprüchen.
-
Eine vorteilhafte Weiterbildung des Verfahrens zeichnet sich dadurch aus, dass die Umfeldsensordaten an einen ersten Algorithmus in Form eines Kalman-Filters und/oder an einen zweiten Algorithmus in Form eines Belegungsrasters zugeführt werden. Dadurch können vorteilhaft verschiedenartige Auswertungen der Umfeldsensordaten in Form einer Vorhersage eines dynamischen Verhaltens eines Fahrzeugs durchgeführt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens zeichnet sich dadurch aus, dass definiert vorprozessierte Umfeldsensordaten verwendet werden. Beispielsweise können Radardaten eine Information beinhalten, die angibt, dass die Radardaten ein Objekt in Form eines Autos mit einer definierten Geschwindigkeit enthält.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens zeichnet sich dadurch aus, dass von der Analysiereinrichtung physikalische Informationen betreffend die Umfeldsensordaten verwendet werden. Auf diese Art und Weise wird eine Art hybride Ausführungsform der Analysiereinrichtung geschaffen, wobei dafür auch physikalische Informationen in die Auswertung der Umfeldsensordaten mittels der Analysiereinrichtung einfließen.
-
Eine vorteilhafte Weiterbildung der Analysiereinrichtung zeichnet sich dadurch aus, dass die Umfeldsensordaten an zwei Algorithmen zuführbar sind, wobei der Verarbeitungseinrichtung Unsicherheitsinformation betreffend die Verarbeitbarkeit der Umfeldsensordaten durch die Algorithmen zuführbar ist. Auf diese Weise wird vorteilhaft nicht ein komplettes Ergebnis verworfen, sondern es werden Ergebnisse der Algorithmen gewichtet, die in einer nachgelagerten Verarbeitungseinrichtung fusioniert werden können.
-
Eine weitere vorteilhafte Weiterbildung der Analysiereinrichtung sieht vor, dass mittels der Unsicherheitsinformation eine gewichtete Nutzung eines Ergebnisses der Algorithmen definiert wird. Auf diese Weise kann die Verarbeitung der Umfeldsensordaten durch die Algorithmen in einem definierten Verhältnis erfolgen, zum Beispiel vier zu eins, wobei dadurch z.B. eine Objekterkennung optimiert durchführbar ist. Über die Unsicherheitsinformation können nicht eindeutig bestimmbare Analyseergebnisse gekennzeichnet sein. Über die Unsicherheitsinformationen, die beispielsweise als Prozentangeben definiert sein können, können prozentuale Eignungen der analysierten Datensätze angegeben werden.
-
Eine weitere vorteilhafte Weiterbildung der Analysiereinrichtung zeichnet sich dadurch aus, dass mittels der Analysiereinrichtung ein Selektionssignal abgebbar ist, mit dem eine Nutzung eines Ergebnisses wenigstens eines der Algorithmen durch die Verarbeitungseinrichtung definiert wird. Auf diese Weise weitere Art „verschränkte“ Lösung geschaffen, die eine Abwandlung des vorgeschlagenen Systems darstellt.
-
Eine weitere vorteilhafte Weiterbildung der Analysiereinrichtung zeichnet sich dadurch aus, dass das neuronale Netz bei Sequenzen der Umfeldsensordaten ein rekurrentes neuronales Netz, Recurrent Neural Network, ist.
-
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass das neuronale Netz bei einzelnen Bildern der Umfeldsensordaten ein faltendes neuronales Netz, Convolutional Neural Network, ist. Auf diese Weise werden Eigenschaften von neuronalen Netzen entsprechend dem jeweils zugeführten Datentyp bestmöglich ausgenutzt.
-
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Algorithmen neuronale Netze sind. Vorteilhaft ergeben sich dadurch vielfältige Realisierungsmöglichkeiten für die Algorithmen.
-
Eine weitere vorteilhafte Weiterbildung der Analysiereinrichtung zeichnet sich dadurch, dass die Analysiereinrichtung die Umfeldsensordaten im Hinblick auf eine Objekterkennung bewertet.
-
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren detailliert beschrieben. Gleiche oder funktionsgleiche Elemente haben dabei gleiche Bezugszeichen.
-
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend die Analysiereinrichtung in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend das Verfahren zum Verarbeiten von Umfeldsensordaten ergeben und umgekehrt.
-
In den Figuren zeigt:
- 1 eine prinzipielle Darstellung einer ersten Variante des vorgeschlagenen Verfahrens;
- 2 eine prinzipielle Darstellung einer zweiten Variante des vorgeschlagenen Verfahrens;
- 3 eine prinzipielle Darstellung einer dritten Variante des vorgeschlagenen Verfahrens;
- 4 eine prinzipielle Darstellung einer vierten Variante des vorgeschlagenen Verfahrens; und
- 5 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten.
-
Beschreibung von Ausführungsformen
-
Unter einem automatisierten Fahrzeug kann im Zusammenhang mit der vorliegenden Erfindung folgendes verstanden werden: voll- oder teilautomatisiertes Fahrzeug, voll- oder teilautonomes Fahrzeug.
-
Ein Kerngedanke der Erfindung ist es insbesondere, ein Verfahren bereitzustellen, mit der eine verbesserte Nutzung von Umfeldsensordaten möglich ist. Bei der im Folgenden genannten künstlichen Intelligenz handelt es sich vorzugsweise um wenigstens ein neuronales Netz, welches über ein maschinelles Lernverfahren trainiert wurden, verschiedene Datensätze von Umfeldsensordaten hinsichtlich ihrer Tauglichkeit zu weiteren Verarbeitung durch vorbestimmte zur Verarbeitung geeignete Algorithmen zu analysieren und zu bewerten.
-
In automatisierten Fahrzeugen kommt immer öfter eine Vielzahl von Umfeldsensoren zur Anwendung, wobei diese Umfeldsensoren beispielsweise verwendet werden, um Objekte und deren Lage relativ zum Fahrzeug zu ermitteln. Anschließend kann darauf basierend z.B. eine Trajektorienplanung, sowie eine Ansteuerung von Fahrzeugaktuatorik basierend auf der Trajektorienplanung durchgeführt werden.
-
Hierzu können verschiedene Algorithmen verwendet werden. Beispielsweise kann eine Vorhersage eines dynamischen Zustands des Autos auf Basis von Umfeldsensordaten durch Anwendung eines Kalmanfilters oder durch Anwendung einer Dynamical Occupancy Grid Map erreicht werden. Beide Algorithmen, Kalmanfilter und Dynamical Occupancy Grid Map, sind hierbei auf bestimmte Bereiche der Bewegung des Fahrzeugs anwendbar, wobei der Kalmanfilter für lineare Bewegungen hoher Geschwindigkeit ausgelegt ist während eine Dynamical Occupancy Grid Map für nicht lineare Bewegung niedriger Geschwindigkeit, für die der Kalmanfilter keine überzeugenden Ergebnisse liefert.
-
Neben den beiden genannten Algorithmen kann zur Steuerung in einem autonomen Fahrzeug eine Mehrzahl verschiedener Algorithmen zur Verarbeitung von Umfeldsensordaten verwendet werden. Algorithmen, die hierbei zum Berechnen identischer Größen dienen, können, wie oben beschrieben, nur für bestimmte Bereiche einsetzbar sein. Alternativ können Algorithmen nur für Daten einer bestimmten Güte optimale Ergebnisse liefern, während andere Algorithmen auf die Verarbeitung von Daten geringerer Qualität optimiert sind. Allgemein werden in der Steuerung des autonomen Fahrzeugs unterschiedliche Algorithmen angewendet werden. Einige dieser Algorithmen benötigen Daten, die eine bestimmte Eigenschaft aufweisen, beispielsweise eine bestimmte Datenqualität oder eine bestimmte Datenstruktur. Darüber hinaus werden einige Algorithmen nur auf Datensätzen mit einer bestimmten Eigenschaft optimale Ergebnisse liefern können, während für Datensätze ohne diese Eigenschaft keine optimalen Ergebnisse erzielbar sind. Darüber hinaus werden allgemein verschiedene Algorithmen für gegebene Datensätze Ergebnisse unterschiedlicher Güte erzielen.
-
Ein Kerngedanke der Erfindung besteht nun darin, mittels der Analyseeinrichtung eine Analyse von Datensätzen von Umfeldsensordaten durchzuführen und eine Klassifizierung der analysierten Datensätze zu treffen, die besagt, welche Algorithmen zur weiteren Verarbeitung der analysierten Datensätze das beste Ergebnis liefern wird.
-
Hierzu wird eine Analyseeinrichtung, die wenigstens ein trainiertes neuronales Netz umfasst, bereitgestellt, das darauf trainiert ist, Datensätze von Umfeldsensordaten zu analysieren und zu klassifizieren, für welchen Algorithmus der jeweilige Datensatz geeignet ist. Hierzu kann das neuronale Netz entsprechend einem supervised learning Prozess auf entsprechenden Trainingsdatensätzen darauf trainiert sein, diese Datensätze gemäß einer bestimmten Eigenschaft dahingehend zu klassifizieren, welche Algorithmen für eine Weiterverarbeitung der Datensätze geeignet sind. Die Eigenschaft der Datensätze kann beispielsweise über eine Mustererkennung erkannt und berücksichtigt werden.
-
Darüber hinaus kann das neuronale Netz trainiert werden, zu entscheiden, welcher Algorithmus für einen bestimmten Datensatz das beste Ergebnis liefert.
-
Für die Ausführungsform, in der ein Algorithmus durch einen Kalmanfilter gegeben ist und ein weiterer Algorithmus eine Dynamic Occupancy Grid Map umfasst, kann das neuronale Netz darauf trainiert werden, Datensätze von Umfeldsensoren zu klassifizieren und Datensätze, die eine lineare Bewegung des autonomen Fahrzeugs mit hoher Geschwindigkeit beschreiben, von Datensätzen zu unterscheiden, die eine nicht-lineare Bewegung mit geringer Geschwindigkeit beschreiben. Darüber hinaus kann das neuronale Netz trainiert sein, die Datensätze, die eine lineare Bewegung mit hoher Geschwindigkeit beschreiben, als geeignet für einen Kalmanfilter zu klassifizieren, und Datensätze, die eine nicht-lineare Bewegung mit niedriger Geschwindigkeit beschreiben, als geeignet für eine Dynamic Occupancy Grid Map zu klassifizieren. Ein neuronales Netz kann für alle verwendeten Algorithmen trainiert sein, sodass das neuronale Netz eingerichtet ist, Datensätze von Umfeldsensoren in Bezug auf die Eignung für eine Weiterverarbeitung für eine Mehrzahl verschiedener Algorithmen zu klassifizieren. Alternativ kann die Analysiereinheit eine Mehrzahl von neuronalen Netzen umfassen, von denen jedes jeweils nur eine Klassifizierung von Umfeldsensordaten bezüglich einer Verarbeitung für wenigstens zwei Algorithmen durchführt. Eine entsprechende Ausführung ist in 1 gezeigt.
-
Das neuronale Netz kann ferner darauf trainiert sein, auf Basis der jeweiligen Eigenschaften der Datensätze zu beurteilen, welche Algorithmen für den jeweiligen Datensatz das beste Ergebnis erzielen werden. Hierzu kann das neuronale Netz entsprechende Wahrscheinlichkeitswerte ausgeben bezüglich der Beurteilung der Güte der zu erwartenden Ergebnisse ausgeben. Eine entsprechende Ausführung ist in 2 gezeigt.
-
Das neuronale Netz kann ferner darauf trainiert sein, die Ergebnisse von mehreren Algorithmen dahingehend zu beurteilen, welche Ergebnisse welches Algorithmus für eine weitere Verarbeitung geeignet sind. Für das Bespiel des Kalmanfilters und der Dynamic Occupancy Grid Map kann das neuronale Netz daruaf trainiert sein, die Qualität der Ergebnisse einer Verarbeitung von Umfeldsensordaten durch den Kalmanfilter und der Ergebnisse einer Verarbeitung derselben Umfeldsensordaten durch die Dynamic Occupancy Grid Map zu bewerten und zu entscheiden, welche der Ergebnisse für eine weitere Verarbeitung geeigneter ist. Hierzu kann das neuronale Netz darauf trainiert sein, eine entsprechende Eigenschaft innerhalb der Sätze von Ergebnisdaten des Kalmanfilters und der Dynamic Occupancy Grid Map zu erkennen und auf dieser Eigenschaft basierend zu entscheiden, welcher der beiden Datensätze von Ergebnisdaten für eine weitere Verarbeitung geeigneter ist. Die Eigenschaften der Ergebnisdatensätze können in Abhängigkeit des angewendeten Algorithmus und in Abhängigkeit einer weiteren Verarbeitung unterschiedlich sein. Ein neuronales Netz kann für alle verwendeten Algorithmen trainiert sein, sodass das neuronale Netz Ergebnisdatensätze einer Mehrzahl verschiedener Algorithmen in Bezug auf die Qualität und die Eignung für eine Weiterverarbeitung zu beurteilen und zu klassifizieren. Alternativ kann die Analysiereinheit eine Mehrzahl von neuronalen Netzen umfassen, von denen jedes jeweils nur eine Klassifizierung von Ergebnisdaten von wenigstens zwei Algorithmen durchführt. Eine entsprechende Ausführung ist in 3 und 4 gezeigt.
-
Gemäß einer Ausführungsform können in den folgenden 1 bis 4 der erste Algorithmus A1 beispielsweise ein Kalmanfilter sein und der zweite Algorithmus A2 eine Dynamic Occupancy Grid Map umfassen.
-
1 zeigt eine prinzipielle Funktionsweise eines vorgeschlagenen Verfahrens. Erkennbar sind Umfeldsensordaten D, die von unterschiedlichen Umfeldsensoren (nicht dargestellt) stammen können, zum Beispiel Kamera, Radar, Ultraschallsensor, usw. Bei den Umfeldsensordaten D kann es sich somit beispielsweise um Kameradaten, Radardaten, Lidardaten, Ultraschallsensordaten, Positionsdaten, usw. und dergleichen handeln, die von wenigstens einem passiven und/oder aktiven Umfeldsensor eines wenigstens teilweise automatisierten Fahrzeugs generiert und bereitgestellt werden.
-
Die genannten Umfeldsensordaten D werden im nächsten Schritt einer Analysiereinrichtung 100 zugeführt, die wenigstens ein neuronales Netz aufweist, das trainiert ist, zu erkennen, welche der nachfolgenden Algorithmen A1, A2 am besten zur Verarbeitung der Umfeldsensordaten D geeignet ist. Entsprechend der durchgeführten Bewertung werden die Umfeldsensordaten D dann einem geeigneten Algorithmus A1, A2 zugeführt, der verarbeitete Umfeldsensordaten D in Form von Ergebnisdaten E1, E2 ausgibt.
-
2 zeigt eine Abwandlung des vorgeschlagenen Verfahrens. In diesem Fall werden die Umfeldsensordaten D von beiden Algorithmen A1, A2 verarbeitet und nachfolgend einer ersten Verarbeitungseinrichtung 200 zugeführt, die Ergebnisdaten E1, E2 der durch die Algorithmen A1, A2 ausgewerteten Umfeldsensordaten D und der von der Analysiereinrichtung 100 zugeführten Umfeldsensordaten D verarbeitet. Erkennbar ist, dass die Umfeldsensordaten D an zwei Algorithmen A1, A2 zugeführt werden, wobei der ersten Verarbeitungseinrichtung 200 auch noch Unsicherheitsinformation Ul betreffend die Verarbeitbarkeit der Umfeldsensordaten D durch die Algorithmen A1, A2 zuführbar ist. Vorteilhaft wird auf diese Weise nicht ein vollständiges Ergebnis der Algorithmen A1, A2 verworfen, sondern es werden Ergebnisse der Algorithmen in gewichteter Form an die erste Verarbeitungseinrichtung 200 übermittelt, die die Ergebnisse z.B. fusionieren kann.
-
3 zeigt eine prinzipielle Funktionsweise einer Abwandlung des vorgeschlagenen Verfahrens. Man erkennt, dass in diesem Fall die Umfeldsensordaten D sowohl an die Analysiereinrichtung 100 als auch an die beiden Algorithmen A1, A2 zugeführt werden. Ergebnisdaten E1, E2 der Algorithmen A1, A2 werden ebenfalls an die Analysiereinrichtung 100 zugeführt, die nunmehr die Auswertung der Umfeldsensordaten D zusammen mit den Ergebnisdaten E1, E2 durchführt und Selektionssignale S1, S2 an die erste Verarbeitungseinrichtung 200 abgeben kann. Im Falle der Abgabe von Selektionssignal S1 werden für die erste Verarbeitungseinrichtung 200 die Ergebnisdaten E1 verwendet, im Falle der Abgabe von Selektionssignal S2 werden für die erste Verarbeitungseinrichtung 200 die Ergebnisdaten E2 verwendet.
-
Im Ergebnis werden dadurch also Resultate von zwei oder mehr Algorithmen A1, A2 betreffend unterschiedliche Eigenschaften (zum Beispiel Vertrauens-Metriken, Algorithmus-Ausgangscharakteristiken (z.B. Geschwindigkeit von Objekten) analysiert, um zu entscheiden, welche (Teil-)Ergebnisse durch die nachgeschaltete Verarbeitungseinrichtung 200 verwendet wird.
-
Bei dieser Variante können die Umfeldsensordaten D der Analysiereinrichtung 100 zugeführt werden, die dann entscheidet, dass die Umfeldsensordaten D z.B. gewichtet an die beiden Algorithmen A1, A2 weitergeleitet werden, z.B. in einem definierten Verhältnis.
-
4 zeigt ein ähnliches Konzept des vorgeschlagenen Verfahrens, wobei auch in diesem Fall die Umfeldsensordaten D an beide Algorithmen A1, A2 und an die Analysiereinrichtung 100 zugeführt werden. Ergebnisdaten E1, E2 der beiden Algorithmen A1, A2 können einer ersten und/oder einer zweiten Verarbeitungseinrichtung 200, 210 zugeführt werden. Entsprechende Signalisierungssignale S1, S2 zum Aktivieren der Verarbeitungseinrichtungen 200, 210 können dabei von der Analyseeinrichtung 100 jeweils an die zugeordnete Verarbeitungseinrichtung 200, 210 abgegeben werden.
-
Man erkennt somit, dass das vorgeschlagene Verfahren sehr vielfältig umsetzbar ist, wobei die Umfeldsensordaten D jeweils zumindest an die Analysiereinrichtung 100 zugeführt werden.
-
Die Entscheidungsfähigkeit darüber, welcher Algorithmus A1, A2 die Umfelddaten am effizientesten bearbeiten kann, wird für die Analyseeinrichtung 100 in einem Trainingsprozess des wenigstens einen neuronalen Netzes gelernt (z.B. durch Mustererkennung). Über die Mustererkennung kann hierbei eine Eigenschaft des jeweils analysierten Datensatzes erkannt werden, die diesen Datensatz für eine Weiterverarbeitung durch beispielsweise den ersten Algorithmus A1 eignet, während eine Weiterverarbeitung durch den zweiten Algorithmus A2 ungeeignet ist.
-
Die Entscheidungsfähigkeit darüber, welche Ergebnisdaten E1, E2 der Algorithmen A1, A2 am besten sind, wird für die Analysiereinrichtung 100 in einem Trainingsprozess gelernt (z.B. durch beaufsichtigtes Lernen).
-
Das wenigstens eine neuronale Netz ferner trainiert sein, für den Fall, dass keine eindeutige Entscheidung bezüglich der Eignung von Datensätzen von Umfeldsensordaten für die Weiterverarbeitung durch den ersten Algorithmus A1 oder den zweiten Algorithmus A2 beziehungsweise bezüglich der Eignung der Ergebnisdaten der ersten und zweiten Algorithmen für eine Weiterverarbeitung getroffen werden kann, sind verschiedene Milderungs- bzw. Entschärfungsmaßnahmen denkbar:
- - Die Umfeldsensordaten D beziehungsweise die Ergebnisdaten können einem leicht bevorzugten Algorithmus A1, A2 oder einem leicht bevorzugten Modul zugeführt werden. Hierzu kann das neuronale Netz ein entsprechendes Ranking der einzelnen Algorithmen beziehungsweise der Module erstellen. Darüber hinaus kann das neuronale Netz Unsicherheitswerte erstellen, die einen Sicherheitsgrad der jeweiligen Klassifizierung beschreiben.
- - Die Umfeldsensordaten D beziehungsweise die Ergebnisdaten können einem standardmäßigen „Master-Algorithmus“ beziehungsweise einem standardmäßigen Mastermodul zugeführt werden
- - Die Umfeldsensordaten D werden zwei oder mehr Algorithmen zugeführt, wobei die Ergebnisdaten dieser Algorithmen kombiniert werden oder wobei die Ergebnisdaten der Algorithmen betreffend bestimmte Qualitätsmaßstäbe verglichen werden, wobei nur das beste Ergebnis verwendet wird
-
In allen genannten Fällen, insbesondere in unklaren Fällen, sollte die Vertrauens- bzw. Unsicherheitsinformation UI der Entscheidung zu denjenigen Modulen kommuniziert werden, die die Resultate benutzen und die diese Information evaluieren und gegebenenfalls weitere Entschärfungsmaßnahmen (z.B. in einem Fahrzeug) entscheiden können.
-
Falls die zu Grunde liegende Funktion, die mit der vorgeschlagenen Architektur realisiert werden soll, sicherheitsrelevant ist, sollte die Analysiereinrichtung 100 gemäß einschlägigen ASIL-Normen dieser Funktion entwickelt werden. Lösungen für die Analysiereinrichtung 100 können in diesem Fall als eine Multikanal-Lösung mit mehreren (parallelen oder seriellen) neuronalen Netzen oder als hybride neuronale Netze ausgebildet sein, d.h. neuronale Netze, die physikalische Zusatzinformation verarbeiten.
-
In einer Variante des vorgeschlagenen Verfahrens kann die Bewertung der Umfeldsensordaten D auf dem Umfeldsensor selbst durchgeführt werden, wobei die eigentliche Nutzung der Umfeldsensordaten D z.B. für Objekterkennung auf einer nachgelagerten Verarbeitungseinheit erfolgt.
-
In einer weiteren Ausführungsform des vorgeschlagenen Verfahrens kann die Bewertung der Umfeldsensordaten D auf einem nachgelagerten Steuergerät durchgeführt werden, wobei in diesem Fall der die Umfeldsensordaten D liefernde Umfeldsensor seine Daten in einem spezifizierten Format ausgibt und auf der nachgelagerten Verarbeitungseinheit die Konvertierung der Daten bzw. die eigentliche Objekterkennung stattfindet.
-
Die Erfindung beschreibt eine Vorrichtung und ein Verfahren für die verbesserte Verarbeitung bzw. Nutzung von Umfeldsensordaten D in einer wenigstens teilweise automatisierten physikalischen Einheit, z.B. einem wenigstens teilweise automatisierten Fahrzeug.
-
Eine technische Realisierung der vorgeschlagenen Vorrichtung 100 und des vorgeschlagenen Verfahrens kann wie folgt erfolgen:
- a) Auf einer CPU. Dabei kann eine Ausführung der neuronalen Netze 10a...10n mittels eines einzelnen Prozessorkerns oder mittels mehrerer Prozessorkerne erfolgen.
- b) Alternativ ist es auch möglich, das neuronale Netz der Analysiereinrichtung 100 auf einer Grafikkarte (engl. graphics processing unit, GPU) auszuführen. Dabei kann auch eine verteilte Ausführung der neuronalen Netze oder Teile davon auf verschiedene Kerne der GPU vorgesehen sein, was eine parallele Ausführung der neuronalen Netze erlaubt.
- c) Auf einer NPU (engl. neuromorphic processing unit), wobei mittels der NPU eine Ausführung des neuronalen Netzes in Software und/oder in Hardware vorgesehen sein kann. Diese elektronischen Hardwarebausteine sind vorteilhaft für eine Ausführung von neuronalen Netzen optimiert.
- d) Auf einem Mikrocontroller. Dadurch ist eine parallele oder sequentielle Ausführung von mehreren neuronalen Netzen unterstützt.
-
Auf die genannten Arten ist eine vielfältige Ausführungsführungsmöglichkeit der neuronalen Netze unterstützt.
-
In vorteilhaften Varianten des vorgeschlagenen Verfahrens kann das Verfahren wenigstens teilweise in einer Cloud ausgeführt werden. Dadurch ist eine sehr gute Ausnutzung von unterschiedlich verfügbarer Rechenleistung unterstützt.
-
Vorteilhaft können die neuronalen Netze innerhalb der Analysiereinrichtung 100 abhängig vom Typ der Umfeldsensordaten D ausgebildet sein. So empfiehlt sich zum Beispiel bei einzelnen Bildern der Umfeldsensordaten D ein sogenanntes faltendes neuronales Netz (engl. convolutional neural network CNN). Bei Bildsequenzen der Umfeldsensordaten D wird vorzugsweise ein rekurrentes bzw. rückgekoppeltes neuronales Netz RNN verwendet. Unter rekurrenten neuronalen Netzen werden neuronale Netze verstanden, die sich im Gegensatz zu Feedformward-Netzen durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen.
-
Das neuronale Netz kann somit ein Multikanal-Neuronales Netz sein oder aber auch ein hybrides neuronales Netz, welches auch noch physikalische Zusatzinformationen verarbeiten kann.
-
In einer weiteren Variante der Analyseeinrichtung 100 kann vorgesehen sein, dass die Algorithmen A1, A2 neuronale Netze sind.
-
In einer bevorzugten Variante der Analysiereinrichtung 100 ist diese ausgebildet, die Umfeldsensordaten D im Hinblick auf eine Objekterkennung zu bewerten.
-
5 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten D.
-
In einem Schritt 300 erfolgt ein Zuführen der Umfeldsensordaten D an eine Analysiereinrichtung 100 mit wenigstens einem neuronalen Netz.
-
In einem Schritt 310 erfolgt ein Bewerten der Umfeldsensordaten D mittels der Analysiereinrichtung 100 im Hinblick auf eine Verarbeitbarkeit der Umfeldsensordaten D durch einen Algorithmus A1, A2.
-
In einem Schritt 320 erfolgt ein Zuführen der bewerteten Umfeldsensordaten D an wenigstens einen zur Verarbeitung der Umfeldsensordaten D geeigneten Algorithmus A1, A2 und/oder von Ergebnisdaten E1, E2 von wenigstens einem Algorithmus A1, A2 an wenigstens eine Verarbeitungseinrichtung 200, 210 mittels der Analysiereinrichtung 100.
-
Zusammenfassend schlägt die vorliegende Erfindung ein Verfahren und eine Analysiereinrichtung zur Verarbeitung von Umfeldsensordaten vor. Die vorgeschlagene Vorrichtung kann z.B. in einem automatisiert/autonomen Fahrzeug, einem Flugzeug, einer Drohne, einem Wasserfahrzeug, usw. eingesetzt werden. Vorteilhaft kann mit der vorgeschlagenen Vorrichtung eine hohe Diversifizierung an verwendbaren Umfeldsensoren genutzt werden.
-
Das vorgeschlagene Verfahren und das vorgeschlagene Analysiereinrichtung ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens aufweist.
-
Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.
