-
Die Erfindung bezieht sich auf ein Verfahren und ein Computerprogrammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges. Ferner bezieht sich die Erfindung auf Steuergerät für ein Multisensorsystem.
-
Folgende Definitionen gelten für den gesamten Gegenstand der Anmeldung.
-
Ein Multisensorsystem umfasst mehrere Sensoren zur Wahrnehmung einer Umgebung. Die Umgebung kann ein Umfeld eines Straßenfahrzeuges oder ein Innenraum eines Straßenfahrzeuges sein. Die Sensoren sind Fahrzeug interne Sensoren und/oder Fahrzeug externe Sensoren. Zum Beispiel umfasst das Multisensorsystem wenigstens einen full-range 77-GHz-Radarsensor, der Geschwindigkeit, Abstand, Seitenwinkel und Höhe von Objekten detektiert. Ferner umfasst das Multisensorsystem beispielsweise wenigstens einen Solid-State Lidar-Sensor mit wählbaren Sichtfeld. Außerdem umfasst das Multisensorsystem beispielsweise eine Außenraumkamera mit einem Megapixel-Bildsensor mit high dynamic range und/oder eine Innenraumkamera mit einem time-of-flight-Sensor zur Tiefenerfassung des Fahrzeuginnenraums. Jeder einzelne Sensor hat ein einstellbares räumliches und zeitliches Auflösungsvermögen. Die Daten der Fahrzeug externen Sensoren, zum Beispiel ein an einer Ampel angeordneter Bildsensor, werden mittels Vernetzung, beispielsweise Car-to-X-Kommunikation oder cloudbasiertem Input, bereitgestellt. Jeder einzelne Sensor erfasst die Umgebung, vorzugsweise in Echtzeit, in Abhängigkeit der verwendeten Sensortechnologie nach einem jeweils spezifischen Detektionsprinzip, zum Beispiel mittels Radarpulsen, Lichtpulsen oder Schallpulsen. Die Verwendung von mehreren Sensortechnologien führt damit zu einer möglichst wirklichkeitsgetreuen Aufnahme, im Englischen als perception bezeichnet, der Umgebung. Außerdem kann eine Erfassung der Umgebung durch eine erste Sensortechnologie mit einer Erfassung der Umgebung durch eine von der ersten verschiedenen zweiten Sensortechnologie plausibilisiert werden. Ein Multisensorsystem mit mehreren Sensoren ist ferner gegenüber einem Ausfall eines Sensors redundant. Das Multisensorsystem ist konfiguriert für Automotive-Anforderungen, beispielsweise für extreme Temperaturen und Vibrationen, und erfüllt aktuelle Sicherheitsanforderungen, zum Beispiel ISO 26262 und/oder NCAP.
-
Die erfassten Daten des Multisensorsystems werden mittels eines Computers, insbesondere einer Computerplattform, verarbeitet. Der Computer ist vorzugsweise Bestandteil eines elektronischen Steuergeräts. Der Computer und/oder das Steuergerät sind konfiguriert für den Automotive-Einsatz. Die Verarbeitung der Daten erfolgt in Echtzeit. Der Computer und/oder das Steuergerät sind konfiguriert, komplexe Verkehrssituationen, zum Beispiel eine Szene an einer urbanen Straßenkreuzung, in Echtzeit zu analysieren. Der Computer berechnet in Abhängigkeit von Fahrzeug internen und/oder externen Datenströmen eine Fahrentscheidung. Das Steuergerät steuert Aktuatoren des Straßenfahrzeuges entsprechend der Fahrentscheidung an.
-
Die Computerplattform ist beispielsweise als ein System-on-a-Chip realisiert, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert. Der Chip umfasst beispielsweise einen Mehrkernprozessor. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Computerplattform umfasst vorzugsweise mehrere zentrale Verarbeitungsprozessoren, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Die Computerplattform umfasst auch mehrere Grafikprozessoren, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbesondere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Die Computerplattform umfasst vorzugsweise auch Hardware Beschleuniger für künstliche Intelligenz, insbesondere sogenannte Deep Learning Accelerators. Damit ist die Computerplattform insgesamt für maschinelles Lernen optimiert und skalierbar, das heißt die Computerplattform kann für verschiedene SAE J3016 Stufe angepasst werden.
-
In einem Multisensorsystem fallen sehr viele Daten an, die alle zu prozessieren sind. Abhängig von der jeweiligen Sensortechnologie existiert ein Spannungsverhältnis zwischen auswertbaren Daten pro Sensor pro Zeiteinheit und angestrebter Latenzzeit des Multisensorsystems und/oder benötigter Rechenressourcen. Stehen mehrere Signale hochauflösender Sensoren zu einer Szene zur Verfügung, ist tendenziell viel Detailinformation aus den Sensoren extrahierbar, jedoch erfordert dies einen hohen Datenprozessieraufwand. Durch die Zunahme an Messpunkten durch bessere Auflösung ist eine Auswertung Daten in Echtzeit erschwert.
-
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, den Datenstrom, den ein Multisensorsystem liefert, an Bereiche der Umgebung zu adaptieren. Von Bereichen, von denen eine Gefahr ausgeht, sollen möglichst viele Daten prozessiert werden. Von Bereichen, von denen keine Gefahr ausgeht, sollen relativ weniger Daten prozessiert werden.
-
Zur Lösung dieser Aufgabe stellt die Erfindung ein Verfahren und ein Computerprogrammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges und ein entsprechendes Steuergerät bereit. Wenigstens ein akustisches Signal wird prozessiert. Durch die Prozessierung des akustischen Signals wird ein zugrundeliegendes Geräusch lokalisiert und klassifiziert.
-
Beispielsweise wird das Geräusch mit einem Akustiksensor, der Bestandteil des Multisensorsystems sein kann, erfasst und von einer wie oben beschriebenen Computerplattform prozessiert. Die Computerplattform ist konfiguriert, in Abhängigkeit des Signals des Akustiksensors die Geräuschquelle und die Geräuschart zu bestimmen.
-
Der Akustiksensor ist beispielsweise ein Mikrofon oder ein Array von mehreren Mikrofonen. Der Akustiksensor ist an dem Straßenfahrzeug anordenbar.
-
In Abhängigkeit dieser Lokalisierung und Klassifizierung wird wenigstens ein Gefahrenbereich, beispielsweise von der Computerplattform, bestimmt. Ein Gefahrenbereich ist ein Bereich, innerhalb dessen ein Objekt, basierend auf dem akustischen Signal, zu erwarten ist. Ein Objekt ist beispielsweise ein Fahrzeug oder ein nicht motorisierter Verkehrsteilnehmer.
-
Wurde zum Beispiel das Geräusch als ein Reifenquietschen oder Motoraufheulen eines anderen Verkehrsteilnehmers, splitterndes Glas oder Schreie klassifiziert, deutet das Geräusch auf eine Gefahr hin, zum Beispiel auf einen stattgefundenen oder bevorstehenden Unfall. Die Geräuschquelle wurde beispielsweise vor dem Straßenfahrzeug in einer Entfernung von 20 Meter und in einem Winkelbereich von 30° zur Fahrzeugrichtung lokalisiert. Die Klassifikation und Lokalisation erfolgen ausgehend von dem akustischen Signal, insbesondere dessen Spektrum, durch Vergleich mit bekannten Geräuschen aus bekannten Positionen, die beispielsweise in einer Datenbank hinterlegt und abrufbar sind, oder durch maschinelles Lernen. In dem Bereich, der sich vor dem Straßenfahrzeug bis zu einem Abstand von 20 Metern in einem Winkelbereich von 30° zur Fahrzeugrichtung erstreckt, besteht eine Gefahr. Dies ist der Gefahrenbereich.
-
Das Multisensorsystem wird in diesem Gefahrenbereich mit hoher Auflösung und außerhalb dieses Gefahrenbereichs mit niedriger Auflösung betrieben.
-
Die Einstellung der Auflösung und das damit verbundene Datenvolumen werden damit in Abhängigkeit der Lokalisierung und Klassifikation von Geräuschen, die auf eine Gefahrenquelle in einem bestimmten Bereich hindeuten, vorgenommen. Damit werden einzelne Regionen selektiv mit adaptierter Auflösung des Multisensorsystems prozessiert. Das Datenvolumen wird damit verkleinert basierend auf Geräuschen.
-
Die räumliche Auflösung eines Bildsensors wird beispielsweise dadurch adaptiert, in dem verschiedene Bildformate mit verschiedener Auflösung auswählbar sind oder bestimme Bereiche der Fläche des Bildsensors, das heißt eine eingeschränkte Anzahl von Pixeln, Daten liefern. Die zeitliche Auflösung des Bildsensors wird beispielsweise adaptiert durch Änderung der Anzahl von Aufnahmen pro Zeiteinheit.
-
Aktuelle Strahlsensoren wie Radar oder Lidar erlauben es, Strahlen gebündelt in Richtungen auszusenden, die von besonderem Interesse sind, und dafür weniger Strahlen in andere Richtungen. Dies bedeutet, dass z.B. in Richtung einer Region mit vielen verschiedenen, möglicherweise auch kleineren Objekten, mehr Strahlen ausgesendet werden können, und z.B. in Richtung einer Hauswand weniger Strahlen. Auf diese Weise kann die Auflösung des Sensors lokal an die Szene angepasst werden, und diese Regionen sind von Aufnahme zu Aufnahme jeweils umparametrierbar. Erfindungsgemäß wird die Information aus den akustischen Sensoren zu verwendet, um zusätzlich diese Richtungen bzw. Regionen der anderen Strahlsensoren zu parametrieren, entlang denen mehr bzw. weniger Strahlen ausgesendet werden sollen.
-
Ein weiterer Vorteil der Erfindung ist, dass akustische Signale relativ kleine Datenmengen darstellen im Vergleich von Signalen von Strahlensensoren wie Radar oder Lidar. Daher sind die akustischen Signale besonders gut geeignet, vorab prozessiert zu werden, um Bereiche zu bestimmen, in denen die hochaufgelösten hohen Datenmengen der anderen Sensoren des Multisensorsystems prozessiert werden.
-
Die erfindungsgemäße Adaption der Auflösung des Multisensorsystems in Abhängigkeit eines Geräuschs entspricht dem menschlichen Aufmerksamkeitsverhalten. Hört ein Mensch ein Geräusch, das auf eine Gefahrenquelle hinweist, zum Beispiel Schreie, wird dieser Bereich mit den Augen erfasst und genauer nach der möglichen Gefahr untersucht. Die Erfindung stellt eine Aufmerksamkeitssteuerung für ein Multisensorsystem für automatisiertes Fahren bereit, mit der Gefahrenbereiche oder Bereiche, in denen Objekte, von denen eine Gefahr ausgeht, genauestens ausgewertet werden. Umgebungen, in denen keine Objekte zu erwarten sind, werden in geringerer Auflösung untersucht.
-
Bevorzugt erfolgt die Lokalisation und/oder Klassifikation mittels maschinellen Lernens. Zum Beispiel wird ein künstliches neuronales Netzwerk, insbesondere ein Faltungsnetzwerk, im Englischen convolutional neural networks genannt, auf einer wie oben beschriebenen Computerplattform ausgeführt, das als Eingabe die akustischen Signale erhält und trainiert ist, die Geräusche zu lokalisieren und zu klassifizieren, insbesondere hinsichtlich einer möglichen Gefahr. Die Ausgabe des künstlichen neuronalen Netzwerks ist ein Gefahrenbereich. Das maschinelle Lernen ermöglicht es, neue Informationen situationsbedingt schnell zu prozessieren und ist damit vorteilhaft, große Datenmengen, die das Multisensorsystem beim automatisierten Fahren generiert, in Echtzeit zu analysieren. Durch maschinelles Lernen wird die Rechenzeit verkürzt, die Genauigkeit erhöht und die bereitgestellte Sicherheit des Verfahrens oder des Multisensorsystems verbessert.
-
Nach einem weiteren Aspekt der Erfindung werden in dem Gefahrenbereich Merkmalsextraktionsalgorithmen mit langer Laufzeit und außerhalb des Gefahrenbereichs Merkmalsextraktionsalgorithmen mit kurzer Laufzeit verwendet. Lange Laufzeit bedeutet insbesondere, dass der Algorithmus hochgenau Daten auswertet. Kurze Laufzeit bedeutet insbesondere, dass der Algorithmus Daten vergleichsweise weniger genau die Daten auswertet. Dadurch wird die Prozesszeit, die benötigt wird, um eine Umgebung wahrzunehmen, nochmals minimiert, ohne auf die nötige Genauigkeit im Gefahrenbereich zu verzichten. Außerhalb des Gefahrenbereichs werden auf Laufzeit optimierte Algorithmen mit geringerer Genauigkeit angewendet. Merkmalsextraktionsalgorithmen sind zum Beispiel Bildverarbeitungsalgorithmen. Ein Bildverarbeitungsalgorithmus ist zum Beispiel Histogram of oriented gradients, der low level features, nämlich Kanten und Ecken, insbesondere deren Orientierung, bestimmt. Merkmalsextraktionsalgorithmen sind vorzugsweise künstliche neuronale Netzwerke, die high level features, das heißt Interpretationen von Merkmalen und deren Zusammenhänge, bestimmen.
-
Vorteilhafterweise werden die Messungen des Multisensorsystems innerhalb und außerhalb von Gefahrenbereichen fusioniert. Damit wird aus allen Ergebnissen der Objekterkennung im gesamten Messbereich ein Umgebungsmodell erhalten. Die Fusion erfolgt mittels Hardware und/oder Software eines Steuergeräts wie oben beschrieben, insbesondere innerhalb der oben beschriebenen Computerplattform. Fusion umfasst Methoden, um unterschiedliche Daten zu verknüpfen, mit dem Ziel, neues und präziseres Wissen über die Daten und damit verbundene Ereignisse zu gewinnen.
-
Nach einem weiteren Aspekt der Erfindung wird das Verfahren auf einem Steuergerät, insbesondere auf einer Computerplattform des Steuergeräts, ausgeführt. Das Verfahren ist damit ein computerimplementiertes Verfahren.
-
Das erfindungsgemäße Steuergerät ist konfiguriert für ein Multisensorsystem eines Straßenfahrzeuges. Das Multisensorsystem umfasst wenigstens einen Akustiksensor. Das Steuergerät ist konfiguriert, zur Adaption der Auflösung des Multisensorsystems ein erfindungsgemäßes Verfahren auszuführen. Vorteilhafterweise umfasst das Multisensorsystem mehrere Akustiksensoren zur Verbesserung der Positionsbestimmung der Geräuschquelle. Das Steuergerät weist vorzugsweise ein Gehäuse auf zum Schutz gegen hohe und/oder tiefe Temperaturen, Feuchtigkeit, Stöße und weitere Umwelteinflüsse, die bei dem Straßenfahrzeug auftreten.
-
Ein Steuergerät bereitet die Daten des Multisensorsystems als Eingangssignale auf, verarbeitet diese mittels eines Mikrocomputers, beispielsweiser einer Computerplattform wie oben beschrieben, und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Mittels den Regel- oder Steuersignalen wird die Auflösung des Multisensorsystems adaptiert. Das Steuergerät ist signaltechnisch mit dem Multisensorsystem verbunden und in ein Bordnetz des Straßenfahrzeuges integriert. Das Steuergerät ist insbesondere ein elektronisches Steuergerät für automatisierte Fahrfunktionen, im Englischen Domain ECU genannt.
-
Die Erfindung sieht eine Verwendung eines erfindungsgemäßen Steuergeräts in einem automatisiert oder autonom betreibbaren Straßenfahrzeug, das ein Multisensorsystem umfasst, vor.
-
Die Erfindung sieht auch ein Computerprogrammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges vor. Das Computerprogrammprodukt umfasst Softwarecodeabschnitte. Die Softwarecodeabschnitte bewirken, dass das erfindungsgemäße Steuergerät das erfindungsgemäße Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft.
-
Das Computerprogrammprodukt umfasst eine Abfolge von Befehlen, durch die das Steuergerät bei geladenem Computerprogramm veranlasst wird, die Auflösung des Multisensorsystems nach dem erfindungsgemäßen Verfahren zu adaptieren. Das Computerprogrammprodukt ruft einen technischen Effekt hervor, nämlich die Adaption der Auflösung des Multisensorsystems.
-
Alternativ sieht die Erfindung vor, im Sinne einer frühen Fusion bei der Verarbeitung der einzelnen Sensordaten die Daten des akustischen Sensors nicht zu prozessieren bis hin zu fertigen Objekten als Input für die spätere Fusion, sondern beispielweise nur eine Belegungskarte der Umgebung zu berechnen, auf der mögliche Objekte vorkommen. Eine solche Heatmap muss noch keine konsolidierten Objekte enthalten, ist aber schon geeignet dafür, Regionen auszuschließen, in denen nur wenig passiert.
-
Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und
- 2 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber sind in den Figuren nur die jeweils relevanten Bezugsteile angegeben.
-
1 zeigt schematisch das erfindungsgemäße Verfahren. Ein Akustiksensor 11 eines Straßenfahrzeuges 1 detektiert ein Geräusch S. Der Akustiksensor 11 ist ein Mikrofon. Das Straßenfahrzeug 1 ist ein PKW, das fahrerlos gefahren wird. Das Geräusch ist ein Quietschen von Reifen. Der Akustiksensor 11 wandelt das Geräusch S in ein akustisches Signal um. Ein elektronisches Steuergerät 20 prozessiert das akustische Signal. Dazu umfasst das Steuergerät 20 einen Mikrocomputer mit einer für künstliche Intelligenz konfigurierten Computerplattform. Durch das Prozessieren wird das Geräusch lokalisiert und klassifiziert. Die Computerplattform führt beispielsweise einen lernenden Algorithmus aus, der anhand des akustischen Signals erkennt, dass es sich bei dem Geräusch S um ein Reifenquietschen handelt aus einer Entfernung von beispielsweise 20 Meter in einem Winkelbereich von 20° relativ zu der Fahrzeugrichtung. Dieser Bereich wird als ein Gefahrenbereich G bestimmt. Das Steuergerät 20 steuert ein Multisensorsystem 10 nun so an, dass Sensoren 11, 12, 13 und 14 des Multisensorsystems 10 innerhalb des Gefahrenbereichs G mit voller Auflösung und außerhalb des Gefahrenbereichs G mit Standard-Auflösung die Umgebung erfassen. Damit wird ein Objekt, von dem das Geräusch S ausgeht, mit hoher Auflösung erfasst. Gleichzeitig wird der Datenstrom reduziert, weil die Sensoren 11, 12, 13 und 14 Regionen außerhalb des Gefahrenbereichs mit weniger Auflösung erfassen und damit dort weniger Daten produzieren.
-
2 zeigt das Multisensorsystem 10. Das Multisensorsystem 10 umfasst vier Akustiksensoren 11, nämlich zwei, die im Frontbereich des Straßenfahrzeuges 1 angeordnet sind, und zwei, die im Heckbereich des Straßenfahrzeuges 1 angeordnet sind. Mit dieser Anordnung werden Gefahrenbereiche G besonders einfach und genau lokalisiert. Ferner umfasst das Multisensorsystem 10 vier Kameras 12, wobei an jeder Seite des Straßenfahrzeuges 1 jeweils eine Kamera 12 angeordnet ist. Des Weiteren umfasst das Multisensorsystem 10 beispielsweise ein Radar 13 und ein Lidar 14, die jeweils im Frontbereich des Straßenfahrzeuges 1 angeordnet sind. Das Steuergerät 20 ist signaltechnisch mit dem Multisensorsystem 10 verbunden. Das Steuergerät 20 ist in einem Bordnetz des Straßenfahrzeuges integriert.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 10
- Multisensorsystem
- 11
- Akustiksensor
- 12
- Kamera
- 13
- Radar
- 14
- Lidar
- 20
- Steuergerät
- S
- Geräusch
- G
- Gefahrenbereich
