-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung eines Einfallswinkels eines akustischen Signals an einem Fahrzeug, einen durch das Verfahren erhaltenen Datensatz, eine Steuervorrichtung, die ausgestaltet ist, das Verfahren auszuführen, und ein Fahrzeug mit der Steuervorrichtung.
-
Im urbanen Umfeld, insbesondere der Stadt oder anderen Umgebungen, ist eine große Anzahl an verschiedensten akustischen Signalen vorhanden, die den Fahrer bzw. Verkehrsteilnehmer bei Situationen warnen, die seine Reaktion erfordern und/oder seine Aufmerksamkeit auf sich ziehen.
-
Eine Erkennung und Interpretation derartiger Signale auf eine maschinelle Art ist für Fahrzeuge, insbesondere für autonome Fahrzeuge, von Vorteil, da diese sich mit solchen komplementären Informationen sicherer in ihrer Umgebung bewegen könnten, insbesondere dann, wenn auch erkannt werden kann, aus welcher Richtung ein bestimmtes Geräusch stammt.
-
Herkömmlich werden Mikrofone im Außenraum des Fahrzeugs verwendet, um mittels einer Messung von Laufzeitunterschieden eines akustischen Signals bei einzelnen, nebeneinander angeordneten Mikrofonen zu bestimmen, aus welcher Richtung das akustische Signal bzw. Geräusch stammt. Genauer gesagt kann durch ein Eintreffen des Signals mit einer gewissen zeitlichen Verzögerung auf die unterschiedlichen Mikrofone ein Einfallswinkel des Signals ermittelt werden.
-
Der Nachteil des Standes der Technik liegt darin, dass die Bestimmung des Einfallswinkels nur bei einem offenen und unverbauten Mikrofonarray funktioniert. Kleinste Änderungen im Erfassen des Signals, z.B. durch Abschattung des Mikrofonarrays durch weitere Bauteile, führen zu einer verfälschten Bestimmung des Einfallswinkels und damit zu falschen Messwerten bezüglich der Richtung, aus der die Signale stammen. Des Weiteren müssen die einzelnen Mikrofone des Mikrofonarrays im Abstand einer halben Wellenlänge der empfangenen Signale positioniert sein, da andernfalls eine Mehrfachdeutung bzw. kein eindeutiges Ergebnis vorliegt. Die Richtung kann dann nicht ermittelt werden. Ist der Abstand der einzelnen Mikrofone des Mikrofonarrays festgelegt, so ist folglich der Nachteil, dass nur die Signale zuverlässig geortet werden können, deren Wellenlänge dem doppelten Abstand unter den Mikrofonen entspricht (vorausgesetzt die Mikrofone sind im Freifeld angeordnet, d.h. ungestört durch andere Bauteile).
-
Aufgabe der Erfindung ist es daher unter anderem diese Nachteile aus dem Stand der Technik zu überwinden.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Danach wird die Aufgabe gelöst durch ein Verfahren zur Bestimmung eines Einfallswinkels eines akustischen Signals an einem Fahrzeug mit zumindest einem ersten und einem zweiten Mikrofon. Der Einfallswinkel wird basierend auf einem Leistungsverhältnis des akustischen Signals zwischen dem ersten und dem zweiten Mikrofon bestimmt.
-
Das Verfahren ist dabei nicht auf die Verwendung von zwei Mikrofonen beschränkt. Es ist auch denkbar, mehr als zwei Mikrofone, insbesondere drei Mikrofone, zu verwenden. Im Fall von mehr als zwei Mikrofonen kann der Einfallswinkel basierend auf einem Leistungsverhältnis des akustischen Signals zwischen allen oder einzelnen Mikrofonen bestimmt werden.
-
Bei dem Fahrzeug kann es sich um ein automatisiertes Fahrzeug handeln, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder Bus. Das Fahrzeug kann ein Fahrzeug des Automatisierungslevels bzw. des SAE (Society of Automotive Engineers) Levels 2, 3, 4 oder 5 sein. Das SAE Level 2 umfasst eine fahrmodus-spezifische Ausführung von Lenk- und Beschleunigungs- bzw. Bremsvorgängen durch ein oder mehrere Fahrerassistenzsysteme unter Verwendung von Informationen über die Fahrumgebung und mit der Erwartung, dass der menschliche Fahrer alle verbleibenden Aspekte der dynamischen Fahraufgabe ausführt. Die SAE Level 3, 4 und 5 bauen auf dem SAE Level 2 auf. Das SAE Level 3 umfasst dabei ferner eine fahrmodus-spezifische Ausführung (zumindest zeitweise) aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem mit der Erwartung, dass der menschliche Fahrer auf Anfrage des Systems angemessen reagieren wird. Das SAE Level 4 umfasst zudem eine automatisierte Führung des Fahrzeugs ohne die Erwartung, dass der Fahrer auf eine Anforderung zum Eingreifen reagiert. Ohne menschliche Reaktion steuert das Fahrzeug weiterhin automatisiert. Das SAE Level 5 umfasst ferner eine durchgängige Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem unter allen Fahr- und Umweltbedingungen, die von einem menschlichen Fahrer bewältigt werden können. Beim SAE Level 5 wird auch von voller Automation gesprochen.
-
Der Einfallswinkel kann ferner basierend auf in Abhängigkeit von verschiedenen Verbauorten des ersten und des zweiten Mikrofons oder weiterer Mikrofone am Fahrzeug auftretenden Abschattungseffekten bestimmt werden.
-
Abschattungseffekte können beispielsweise dadurch hervorgerufen werden, dass das entsprechende Mikrofon hinter einem weiteren Bauteil, beispielsweise einer Karosserie oder einem (Außen-) Spiegel, des Fahrzeugs angeordnet ist.
-
Zur Bestimmung des Leistungsverhältnisses kann eine erste Leistung des akustischen Signals für das erste Mikrofon und eine zweite Leistung des akustischen Signals für das zweite Mikrofon bestimmt werden. Das Leistungsverhältnis kann einem Verhältnis der ersten und der zweiten Leistung entsprechen.
-
Die erste und die zweite Leistung kann jeweils über eine Schätzung eines Leistungsdichtespektrums ermittelt werden.
-
Die Schätzung kann ein Aufteilen des jeweils von dem ersten und dem zweiten Mikrofon empfangenen akustischen Signals, welches als ein zeitdiskretes Signal erhalten durch eine Analog-Digital-Wandlung des jeweils von dem ersten und zweiten Mikrofon erfassten akustischen Signals vorliegt, in Frames einer vorbestimmten zeitlichen Länge mit einer vorbestimmten Anzahl an Samples umfassen. Die Schätzung kann ferner ein Umwandeln des akustischen Signals mittels einer Fourier-Transformation pro Frame in ein frequenzdiskretes Signal umfassen. Weiterhin ist es denkbar, dass Konstanten zur Normierung aufgrund der nachfolgenden Verhältnisbildung nicht weiter betrachtet werden.
-
Die Schätzung der Leistungsdichte je Mikrofon kann nach folgender Formel erfolgen:
mit:
- FFT =
- Fast-Fourier-Transformation
- x(t) =
- Wert des vom Analog-Digital-Wandler ausgegebenen Signals zum jeweiligen (diskreten) Zeitpunkt
- w(t) =
- Fensterfunktion, insbesondere ein Hamming-Fenster
- t =
- Zeit
- | ... |^2 =
- Betrag zum Quadrat.
-
Pro Frequenz(-band) kann mit den über die obige Formel berechneten Amplitudenwerten ein Leistungsverhältnis gebildet. Zur weiteren Verarbeitung können Leistungsverhältnisse frequenzselektiv ausgewählt werden, um sich nur auf bestimmte Geräusche konzentrieren zu können.
-
Die (so erhaltenen) Leistungsverhältnisse können zur Bestimmung des Einfallswinkels in einen Algorithmus eingegeben werden, der mittels maschinellem Lernen so trainiert ist, dass er den Einfallswinkel bestimmen kann. Der Algorithmus kann basierend auf mindestens einem eingegebenen Leistungsverhältnis den Einfallswinkel bestimmen und ausgeben.
-
Je nach Verbauposition und Fahrzeuggeometrie ergibt sich ein charakteristischer Verlauf der Leistungsverhältnisse in Abhängigkeit vom Einfallswinkel. Dieser Verlauf der Leistungsverhältnisse kann experimentell bestimmt und der Algorithmus mit diesen experimentell bestimmten Daten trainiert werden.
-
Die Erfindung betrifft ferner einen Datensatz zur Bestimmung eines Einfallswinkels eines akustischen Signals an einem Fahrzeug aufweisend eine Information über mindestens ein Leistungsverhältnis des akustischen Signals erhalten durch das oben beschriebene Verfahren.
-
Ferner betrifft die Erfindung eine Steuervorrichtung, die ausgestaltet ist, das oben beschriebene Verfahren auszuführen sowie ein Fahrzeug mit der Steuervorrichtung.
-
Die oben beschriebene Erfindung ermöglicht eine Einfallswinkelbestimmung bzw. eine Lokalisierung von erkannten, d.h. spezifischen Geräuschquellen in 360° um das Fahrzeug. Damit kann die Richtung aus der sich eine potentielle Gefahr nähert erfasst und bestimmt werden, insbesondere bei Warnsignalen, wie z.B. Sirenen.
-
Bei Verwendung von Mikrofonen in einem unabhängigen, d.h. autonomen Netzwerk beispielsweise im Außenraum des Fahrzeugs lassen sich damit nicht nur Signale erfassen, die für die eigene Fortbewegung des Fahrzeugs nötig sind, sondern auch deren Richtung ermitteln.
-
Dies ist insbesondere bei autonomen Fahrzeugen ohne Sicherheitsfahrer, z.B. des SAE Levels 4 oder höher, vorteilhaft, da diese ihre Route basierend auf der Information, aus welcher Richtung das akustische Signal stammt bzw. dem Einfallswinkel des akustischen Signals, (besser) planen können. So kann beispielsweise während der Fahrt ermittelt werden, ob sich ein Einsatzfahrzeug vor oder hinter dem Fahrzeug befindet und das Fahrzeug entsprechend reagieren.
-
Nachfolgend wird eine Ausführungsform mit Bezug zu 1, 2, 3a, 3b und 3c beschrieben.
- 1 ist eine schematische Darstellung einer Steuervorrichtung, die ausgestaltet ist, das in 2 dargestellte Verfahren auszuführen.
- 2 ist ein Ablaufdiagramm eines Verfahrens zur Bestimmung eines Einfallswinkels eines akustischen Signals an einem Fahrzeug.
- 3a - c sind Diagramme zur Erläuterung einer Schätzung eines Le istungsd ichtespektrums.
-
Die in 1 schematisch dargestellte Steuervorrichtung weist eine Mikrofonanordnung 1 mit zwei Mikrofonen 11, 12, wobei auch mehr als zwei Mikrofone 11, 12 vorgesehen sein können, eine Analysevorrichtung 2, ein Fahrerassistenzsystem 3 und eine Kamera 4 auf.
-
Es ist denkbar, dass jeweils ein Mikrofon 11, 12 in bzw. an einem Außenspiegel eines nicht dargestellten Fahrzeugs angebracht ist und ggf. ein weiteres Mikrofon an einer Rück- bzw. Heckseite des Fahrzeugs angebracht ist. Die Mikrofone 11, 12 sind jeweils zur Analysevorrichtung 2 so verbunden, dass von den Mikrofonen 11, 12 sensierte bzw. erfasste Signale zu der Analysevorrichtung 2 eingeben werden können.
-
Die Analysevorrichtung 2 weist eine Eingangsschnittstelle 21, einen Prozessor 22 und eine Ausgangsschnittstelle 23 auf. Die Analysevorrichtung 2 ist über die Eingangsschnittstelle 21 jeweils zu den Mikrofonen 11, 12 verbunden. Von den Mikrofonen 11, 12 über die Eingangsschnittstelle 21 empfangene Informationen bzw. Daten werden zu dem Prozessor 22 eingegeben.
-
Die Eingangsschnittstelle 21 oder die Mikrofone 11, 12 können einen Analog-Digital-Wandler aufweisen, der ausgestaltet ist, die jeweils von den Mikrofonen 11, 12 erfassten Geräusche bzw. akustischen Informationen, die als analoges Signal vorliegen, in ein digitales Signal umzuwandeln, sodass dieses zum Prozessor 22 eingegeben werden kann. Der Analog-Digital-Wandler kann auch als ein separates Bauteil zwischen der Eingangsschnittstelle 21 und den Mikrofonen 11, 12 vorgesehen sein.
-
Der Analog-Digital-Wandler kann so ausgestaltet sein, dass er mit einer bestimmten Abtastrate abtastet (z.B. 44100Hz) und eine bestimmte Auflösung (z.B. 16bit) hat. Das heißt, der Analog-Digital-Wandler liefert im Abstand von 1/44100s Abtastwerte im Bereich von [0, 2^16[.
-
Der Prozessor 22 ist ausgestaltet, das nachfolgend mit Bezug zu 2 und 3 beschriebene Verfahren teilweise durchzuführen. Der Prozessor 22 ist ferner ausgestaltet, ein Ergebnis des von ihm teilweise durchgeführten Verfahrens über die Ausgangsschnittstelle 23 zu dem Fahrerassistenzsystem 3 auszugeben.
-
Das Fahrerassistenzsystem 3 weist eine Eingangsschnittstelle 35, für die Analysevorrichtung 2, eine weitere Eingangsschnittstelle 33 für weitere Sensoren, wie beispielsweise die Kamera 4, einen Prozessor 32 und eine Ausgangsschnittstelle 34 auf.
-
Über die Eingangsschnittstelle 35 von der Analysevorrichtung 2 empfangene Informationen werden zu dem Prozessor 32 eingegeben. Gleiches gilt für die über die weitere Eingangsschnittstelle 33 empfangenen Informationen, wie beispielsweise visuelle Informationen von der Kamera 4. Der Prozessor 32 ist ausgestaltet, diese Informationen zu fusionieren und in ein sogenanntes Umfeldmodell einzufügen bzw. einzuspeisen, und basierend auf den empfangenen Informationen eine adäquate Fahrzeugführung bzw. Steuerung vorzunehmen. Der Prozessor 32 ist ausgestaltet, ein Steuersignal an das Fahrzeug über die Ausgangsschnittstelle 34 auszugeben.
-
Das Steuern kann ein Ausgeben von Steuersignalen für eine Quer- und/oder Längsführung des Fahrzeugs umfassen. Denkbar ist auch, dass das Steuern ein Anzeigen bzw. Ausgeben von Informationen, beispielsweise akustisch und/oder visuell, umfasst, z.B. im Rahmen einer geführten Nutzerinteraktion, bei der dem Fahrer des Fahrzeugs eine bestimmte Handlungsempfehlung (z.B. Ausweichen nach rechts) gegeben wird.
-
Nachfolgend wird das Verfahren zur akustischen Umfelderfassung, das von der Analysevorrichtung 2 und dem Fahrerassistenzsystem 3 ausgeführt wird, mit Bezug zu 2 und 3a - c beschrieben.
-
In 2 ist ein Ablaufdiagramm des Verfahrens zur Bestimmung des Einfallswinkels des akustischen Signals an dem Fahrzeug gezeigt. In 3a - c sind Diagramme zur Erläuterung einer Schätzung eines Leistungsdichtespektrums, die Teil des in 2 dargestellten Verfahrens ist, gezeigt.
-
Bei dem Verfahren wird zur Bestimmung des Einfallswinkels des akustischen Signals an dem Fahrzeug in einem ersten Schritt S1 ein Leistungsverhältnis des akustischen Signals zwischen den zwei Mikrofonen 11, 12 mittels des Prozessors 22 der Analysevorrichtung 2 bestimmt. Dabei werden die in Abhängigkeit von verschiedenen Verbauorten der Mikrofone 11, 12 am Fahrzeug auftretenden Abschattungseffekte berücksichtigt, welche im Prozessor hinterlegt sind. Das heißt, je nach Verbauposition und Fahrzeuggeometrie ergibt sich ein charakteristischer Verlauf der Leistungsverhältnisse in Abhängigkeit vom Einfallswinkel. Dieser wurde experimentell bestimmt und der Algorithmus mit diesen Daten trainiert.
-
Genauer gesagt wird zur Bestimmung des Leistungsverhältnisses eine erste Leistung des akustischen Signals für das erste Mikrofon 11 und eine zweite Leistung des akustischen Signals für das zweite Mikrofon 12 bestimmt. Das Leistungsverhältnis entspricht einem Verhältnis der ersten und der zweiten Leistung.
-
Die erste und die zweite Leistung werden bei der vorliegenden Ausführungsform nicht gemessen, sondern jeweils über eine Schätzung eines Leistungsdichtespektrums ermittelt.
-
Dazu werden die jeweils von dem ersten und dem zweiten Mikrofon 11, 12 empfangenen akustischen Signale, welche jeweils aufgrund des vorgesehenen Analog-Digital-Wandlers als ein zeitdiskretes Signal vorliegen, in Frames einer vorbestimmten zeitlichen Länge mit einer vorbestimmten Anzahl an Samples, aufgeteilt, wie dies 3a zu entnehmen ist. Ein Frame umfasst dabei beispielsweise 2048 Samples, wie dies vergrößert in 3b dargestellt ist.
-
Anschließend erfolgt ein Umwandeln des akustischen Signals mittels einer Fourier-Transformation pro bzw. für jeden Frame in ein frequenzdiskretes Signal, wie dies in 3c dargestellt ist.
-
Die anschließende Schätzung der Leistungsdichte je Mikrofon erfolgt nach folgender Formel:
mit:
- FFT =
- Fast Fourier-Transformation
- x(t) =
- Wert des vom Analog-Digital-Wandler ausgegebenen Signals zum jeweiligen (diskreten) Zeitpunkt
- w(t) =
- Fensterfunktion, insbesondere ein Hamming-Fenster
- t =
- Zeit
- | ... |^2 =
- Betrag zum Quadrat.
-
Pro Frequenz(-band) kann mit den über die obige Formel berechneten Amplitudenwerten ein Leistungsverhältnis gebildet. Zur weiteren Verarbeitung können Leistungsverhältnisse frequenzselektiv ausgewählt werden, um sich nur auf bestimmte Geräusche konzentrieren zu können.
-
In einem zweiten Schritt S2 wird das bestimmte bzw. geschätzte Leistungsverhältnis zur Bestimmung des Einfallswinkels in einen Algorithmus, der von dem Prozessor 22 ausgeführt wird, eingegeben. Der Algorithmus wurde zuvor mittels maschinellem Lernen so trainiert, dass er den Einfallswinkel bestimmen kann (sog. supervised learning Ansatz). Der Prozessor 22 bestimmt mittels des Algorithmus basierend auf dem eingegeben Leistungsverhältnis den Einfallswinkel und gibt den bestimmten bzw. ermittelten Einfallswinkel über die Ausgangsschnittstelle 23 zu dem Fahrerassistenzsystem 3 aus.
-
In einem dritten Schritt S3 wird der bestimmte Einfallswinkel von der Eingangsschnittstelle 35 des Fahrerassistenzsystems 3 zu dem Prozessor 32 des Fahrerassistenzsystems 3 eingegeben, der ein Umfeldmodell aufweist, in dem eine Datenfusion der klassifizierten, akustischen Informationen mit Informationen anderer Sensoren, wie beispielsweise der Kamera 4, stattfindet, um so eine entsprechende Fahrzeugsteuerung vornehmen zu können. Der Prozessor 32 gibt anschließend ein Steuersignal über die Ausgangsschnittstelle 34 zu dem (automatisierten) Fahrzeug aus.
-
Das Steuern kann ein Ausgeben von Steuersignalen für eine Quer- und/oder Längsführung des Fahrzeugs umfassen. Denkbar ist auch, dass das Steuern ein Anzeigen bzw. Ausgeben von Informationen, beispielsweise akustisch und/oder visuell, umfasst, z.B. im Rahmen einer geführten Nutzerinteraktion, bei der dem Fahrer des Fahrzeugs eine bestimmte Handlungsempfehlung (z.B. Ausweichen nach rechts) gegeben wird.
-
Für den Fall des Erkennens eines Einsatzfahrzeugs kann das autonome Fahrzeug beispielsweise so gesteuert werden, dass das autonome Fahrzeug, wenn es (in der Stadt) an einer roten Ampel steht und sich ein Feuerwehrfahrzeug bzw. Einsatzfahrzeug mit Sirene nähert, eine adäquate Ausweichroute fährt. Insbesondere durch die Fusion der Daten, die von der Kamera 4 erhalten werden, und der Daten, die von der Mikrofonanordnung 1 und der Analysevorrichtung 2 erhalten werden, kann evaluiert werden, ob es möglich ist, trotz der roten Ampel in die vorausliegende Kreuzung einzufahren oder nicht, um so dem sich nähernden Einsatzfahrzeug auszuweichen.
-
Bezugszeichenliste
-
- 1
- Mikrofonanordnung
- 11, 12
- Mikrofon
- 2
- Analysevorrichtung
- 21
- Eingangsschnittstelle
- 22
- Prozessor
- 23
- Ausgangsschnittstelle
- 3
- Fahrerassistenzsystem
- 32
- Prozessor
- 33
- Eingangsschnittstelle
- 34
- Ausgangsschnittstelle
- 35
- Eingangsschnittstelle
- 4
- Kamera
