DE102019215668A1

DE102019215668A1 - Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug

Info

Publication number: DE102019215668A1
Application number: DE102019215668.1A
Authority: DE
Inventors: Andrea Loi; Florian Ade; Julian Fieres; Anja Petrich; Lucas Hanson; Debora Lovison; Thomas Keutgens; Jens Kotte; Thomas Boettcher
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2021-04-15

Abstract

Im Rahmen des Verfahrens zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug wird mittels akustischer Sensoren, insbesondere mittels Mikrophonen die Umgebung des Fahrzeugs akustisch erfasst, wobei in einem mit den Mikrophonen verbundenen Schallklassifizierungsmodul des Fahrzeugs eine Vielzahl von Schallereignissen erkannt und klassifiziert wird, wobei die klassifizierten Schallereignisse in einem Schallinterpretationsmodul des Fahrzeugs anhand der Daten weiterer Sensoren und Informationsquellen im Rahmen eines situativen Kontextes interpretiert werden.

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 1.
Bei herkömmlichen, d.h. bei nicht autonom fahrenden Fahrzeugen nimmt der Fahrer seine Umgebung visuell und akustisch wahr, wobei sich die aktuelle Entwicklung von autonom fahrenden Fahrzeugen vor allem auf die visuelle Wahrnehmung konzentriert. In vielen Situationen sind jedoch akustische Signale wichtig, um die Umgebung vollständig wahrzunehmen; derartige akustische Signale können beispielsweise Sirenen von Einsatzfahrzeugen, akustische Geräusche von Infrastrukturen, Fußgängergeräusche oder Geräusche von weiteren Fahrzeugen sein, wie z.B. Hupen.
Ferner sind von Fahrzeugen emittierte Geräusche, wie z.B. Huptöne, ein wichtiger Bestandteil der Interaktion zwischen verschiedenen Verkehrsteilnehmern. Um die Kommunikation über akustische Signale richtig zu interpretieren, ist es jedoch notwendig, die akustischen Signale mit Kontextinformationen zu kombinieren.
Eine Situation, bei der Kontextinformationen wichtig sind, ist beispielsweise gegeben, wenn bei einer kurvigen schmalen Bergstraße ein nicht sichtbares Fahrzeug hinter einer Kurve die Verkehrsteilnehmer mit Hilfe der Hupe warnt. Eine weitere mögliche derartige Situation ist die Betätigung der Hupe durch einen zweiten Verkehrsteilnehmer, um das Vorfahrtsrecht eines ersten Verkehrsteilnehmers oder das Vorliegen einer kritischen Situation anzuzeigen. Im Allgemeinen ist die Art und Bedeutung der akustischen Kommunikation abhängig von Land, Region, Kultur und Situation. Da in Zukunft herkömmliche und autonom fahrende Fahrzeuge koexistieren werden, ist es wichtig, dass autonom fahrende Fahrzeuge akustische Signale richtig interpretieren können und dass sie in der Lage sind, angepasst an die regionalen Gegebenheiten u.a. akustisch zu kommunizieren.
Aus der US 2015/0002313 A1 geht ein Verfahren hervor, im Rahmen dessen die Betätigung der Hupe eines Fahrzeugs detektiert wird, wobei das Hupsignal in ein nicht akustisches Signal konvertiert wird und an zumindest einen Empfänger in einem anderen Fahrzeug übermittelt wird. Hierbei kann das empfangene übermittelte Signal einen Hupton oder eine Sprachnachricht im Empfängerfahrzeug erzeugen, wobei die durch im Signal enthaltene Information beispielsweise von der aktuellen Verkehrssituation abhängig sein kann.
Aus der US 2017/0190331 A1 geht ein Verfahren zum Steuern eines autonom fahrenden Fahrzeugs hervor, im Rahmen dessen durch eine elektronische Steuereinheit in einem ersten Fahrzeug ein Hupton, der von einem zweiten Fahrzeug emittiert wird, erfasst wird, wobei von der elektronischen Steuereinheit im ersten Fahrzeug erste, auf das erste Fahrzeug bezogene und auf dem erfassten Hupton basierende Sensordaten, die einem ersten Verkehrsszenario in einer Umgebung des ersten Fahrzeugs entsprechen, erfasst werden. Hierbei werden zweite Sensordaten extrahiert, die mit dem ersten Fahrzeug für ein vorgegebenes, verstrichenes Zeitintervall vor dem Erfassen des Huptons verknüpft sind, wobei anschließend eine Rekalibrierung eines oder mehrerer Steuerungssysteme durch die elektronische Steuereinheit im ersten Fahrzeug durchgeführt wird, um eine oder mehrere Funktionen auszuführen, die dem ersten Fahrzeug zugeordnet sind, basierend auf den ersten Sensordaten und den zweiten Sensordaten.
Vorzugsweise wird zudem die Position und/oder die Bewegungsrichtung des zweiten Fahrzeugs bezogen auf das erste Fahrzeug anhand der ersten Sensordaten bestimmt; die auszuführenden Funktionen können hierbei ein Spurwechsel, eine Geschwindigkeitsänderung, die Aktivierung eines Fahrtrichtungsanzeigers, die Aufrechterhaltung eines Sicherheitsabstandes zu einem oder mehreren anderen Fahrzeugen, die Betätigung der Fahrzeughupe etc. sein.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug anzugeben.
Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelöst. Weitere erfindungsgemäße Ausgestaltungen und Vorteile gehen aus den Unteransprüchen hervor.
Demnach wird ein Verfahren vorgeschlagen, im Rahmen dessen mittels akustischer Sensoren, insbesondere mittels Mikrophonen des Fahrzeugs die Umgebung des Fahrzeugs akustisch erfasst wird, wobei in einem mit den Mikrophonen verbundenen Schallklassifizierungsmodul des Fahrzeugs eine Vielzahl von Schallereignissen, wie z.B. Hupen, Schreien, Quietschen erkannt und klassifiziert wird, wobei die klassifizierten Schallereignisse anschließend in einem Schallinterpretationsmodul des Fahrzeugs interpretiert werden.
Gemäß der Erfindung ist vorgesehen, dass die Schallereignisse im Schallinterpretationsmodul anhand der Daten weiterer Sensoren und Informationsquellen im Rahmen eines situativen Kontextes interpretiert werden. Die weiteren Sensoren können optische Sensoren, wie beispielsweise Kameras oder Lidarsensoren, Radarsensoren oder Ultraschallsensoren sein; ferner können die Informationsquellen GPS- und Kartendaten liefern, welche die aktuellen Koordinaten des Fahrzeugs und die Straßenbeschaffenheit bzw. den Straßenverlauf zur Verfügung stellen. Anhand der Koordinaten des Fahrzeugs kann in vorteilhafter Weise ein Schallereignis in Bezug auf die Verkehrsordnung, die Kultur und die Gepflogenheiten des jeweiligen Landes, in dem sich das Fahrtzeug befindet, bewertet werden. Weitere Informationsquellen können Informationsquellen sein, welche beispielsweise die aktuelle Verkehrslage oder die aktuelle Wetterlage in einem vorgegebenen Radius um das Fahrzeug zur Verfügung stellen.
Gemäß einer Weiterbildung der Erfindung wird nach der Interpretation der Bedeutung eines Schallereignisses im Kontext der Situation im Schallinterpretationsmodul mittels eines Kommunikationsmoduls des Fahrzeugs auf spezifische Situationen in Abhängigkeit der Bedeutung eines Schallereignisses, des situativen Kontextes und der Daten der weiteren Sensoren und der Informationsquellen reagiert, wobei die Reaktion die Ansteuerung der Hupe und/oder der Lichthupe des Fahrzeugs in Abhängigkeit des Landes, der Verkehrsordnung, der Situation, der Straßenverhältnisse und/oder des Wetters sein kann. Im Rahmen weiterer Ausgestaltungen kann beispielsweise als Reaktion das Fahrzeug beschleunigt oder abgebremst werden.
Gemäß der Erfindung können die Klassifizierung der Schallereignisse und die Bestimmung der Reaktion auf die Schallereignisse mittels eines neuronalen Netzwerks durchgeführt werden.
Durch die erfindungsgemäße Konzeption wird ein Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug zur Verfügung gestellt, durch dessen Durchführung ein autonom fahrendes Fahrzeug Schallereignisse im Kontext der jeweiligen Situation interpretieren und darauf reagieren kann.
Die Erfindung wird im Folgenden anhand der beigefügten Figur, welche ein Flussdiagramm einer Ausgestaltung des erfindungsgemäßen Verfahrens darstellt, beispielhaft näher erläutert.
Gemäß der Erfindung und bezugnehmend auf die beigefügte Figur wird mittels Mikrophonen die Umgebung des Fahrzeugs akustisch erfasst, wobei die Signale der Mikrophone an ein Schallklassifizierungsmodul übermittelt werden, in dem Schallereignisse, beispielsweise Hupen erkannt und klassifiziert werden. Diese Information wird an ein Schallinterpretationsmodul übermittelt, in dem die Schallereignisse anhand der Daten weiterer Sensoren, beispielsweise Kameras, Radarsensoren, Lidarsensoren oder Ultraschallsensoren und Informationsquellen im Rahmen eines situativen Kontextes interpretiert werden. Als Informationsquellen werden bei dem gezeigten Beispiel Informationsquellen herangezogen, die GPS- und Kartendaten zur Verfügung stellen, welche die aktuellen Koordinaten des autonom fahrenden Fahrzeugs und die Straßenbeschaffenheit bzw. den Straßenverlauf beinhalten.
Die im Schallinterpretationsmodul ermittelte Bedeutung eines Schallereignisses im Kontext der jeweiligen Situation wird an ein Kommunikationsmodul des Fahrzeugs übermittelt, in dem eine Reaktion in Abhängigkeit der Bedeutung des Schallereignisses, des situativen Kontextes und der Daten der weiteren Sensoren und der Informationsquellen bestimmt wird.
Die Reaktion kann bei dem gezeigten Beispiel die Ansteuerung der Hupe und/oder der Lichthupe des Fahrzeugs sein. Weitere Reaktionen können beispielsweise das Beschleunigen oder Abbremsen des Fahrzeugs oder das Generieren an den Fahrer des Fahrzeugs gerichteter optischer und/oder akustischer Signale sein, die seine Aufmerksamkeit auf Gefahrensituationen richten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2015/0002313 A1 [0005]
US 2017/0190331 A1 [0006]

Claims

Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug, dadurch gekennzeichnet, dass mittels akustischer Sensoren die Umgebung des Fahrzeugs akustisch erfasst wird, wobei in einem mit den akustischen Sensoren verbundenen Schallklassifizierungsmodul des Fahrzeugs eine Vielzahl von Schallereignissen erkannt und klassifiziert wird, wobei die klassifizierten Schallereignisse in einem Schallinterpretationsmodul des Fahrzeugs anhand der Daten weiterer Sensoren und Informationsquellen im Rahmen eines situativen Kontextes interpretiert werden.
Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug, nach Anspruch 1, dadurch gekennzeichnet, dass die weiteren Sensoren Kameras, Lidarsensoren, Radarsensoren oder Ultraschallsensoren sind, wobei die Informationsquellen GPS- und Kartendaten und/oder Informationen über die aktuelle Verkehrslage oder die Wetterlage in einem vorgegebenen Radius um das Fahrzeug zur Verfügung stellen.
Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug, nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass nach der Interpretation der Bedeutung eines Schallereignisses im Kontext der Situation im Schallinterpretationsmodul mittels eines Kommunikationsmoduls des Fahrzeugs auf spezifische Situationen in Abhängigkeit der Bedeutung eines Schallereignisses, des situativen Kontextes und der Daten der weiteren Sensoren und der Informationsquellen reagiert wird, wobei die Reaktion die Ansteuerung der Hupe und/oder der Lichthupe des Fahrzeugs ist.
Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug, nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifizierung der Schallereignisse im Schallklassifizierungsmodul des Fahrzeugs und die Bestimmung der Reaktion auf die Schallereignisse im Kommunikationsmodul des Fahrzeugs mittels eines neuronalen Netzwerks durchgeführt werden.