DE102019205011A1

DE102019205011A1 - Verarbeitungseinheit, Fahrerassistenzsystem und Verfahren zur Geräuscherkennung von Umfeldgeräuschen

Info

Publication number: DE102019205011A1
Application number: DE102019205011.5A
Authority: DE
Inventors: Stefan Elser; Jochen ABHAU
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-04-08
Filing date: 2019-04-08
Publication date: 2020-10-08

Abstract

Die Erfindung betrifft eine Verarbeitungseinheit (2) zur Geräuscherkennung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs (4), umfassendeine Detektionseinheit (3) zur richtungsbezogenen Detektion von den Umfeldgeräuschen zugrundeliegenden akustischen Umfeldgeräuschsignalen und zur richtungsbezogenen Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen,eine Klassifikationseinheit (5) zur Klassifikation zumindest eines richtungsbezogenen Bremsgeräuschsignals aus den richtungsbezogenen Umfeldgeräuschsignalen,eine Zuordnungseinheit (7) für eine Zuordnung des zumindest einen klassifizierten Bremsgeräuschsignals zu dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt.Ferner betrifft die Erfindung ein Fahrerassistenzsystem und Verfahren zur Geräuscherkennung von Umfeldgeräuschen, ein Computerprogramm und ein Datenträgersignal.

Description

Die Erfindung betrifft eine Verarbeitungseinheit zur Geräuscherkennung von Umfeldgeräuschen im Umfeld eines Egofahrzeugs sowie ein Fahrerassistenzsystem mit einer solchen Verarbeitungseinheit. Ferner betrifft die Erfindung ein Verfahren zur Verarbeitung von Umfeldgeräuschen im Umfeld des Egofahrzeugs, ein Computerprogramm sowie ein Datenträgersignal.
Aus dem Stand der Technik sind Fahrerassistenzsysteme bekannt, mit denen ein Fahrer eines Egofahrzeugs vor Gefahrensituationen, wie beispielsweise einer drohenden Kollision des Egofahrzeugs mit einem anderen Fahrzeug in der Umgebung des Egofahrzeugs gewarnt wird. Besonders bei einer unausweichlichen Kollision muss diese selber sowie ein Kollisionszeitpunkt zur Erhöhung der Verkehrssicherheit und des Personenschutzes korrekt bestimmt werden können. Dabei ist der Kollisionszeitpunkt derjenige Zeitpunkt, an dem die Kollision stattfindet. Der Kollisionszeitpunkt wird auch Point-Of-No-Return genannt.
Die DE 100 64 754 A1 offenbart ein Verfahren zur Bestimmung eines Geräuschsignals einer Geräuschquelle das Geräuschsignal erfasst und anhand von Signaleigenschaften analysiert, wobei das Geräuschsignal mit Geräuschmustern verglichen und anhand des Vergleichs einem Geräuschquellentyp zugeordnet wird, so dass eine Identifizierung von Geräusch- oder Schallsignalen erzeugenden Geräuschquellen ermöglicht wird.
Ausgehend vom Stand der Technik ist es eine Aufgabe dieser Erfindung ein Mittel anzugeben, welches die Verkehrssicherheit verbessert.
Diese Aufgabe wird durch die Angabe einer Verarbeitungseinheit zur Geräuscherkennung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs mit den Merkmalen des Anspruchs 1 sowie die Angabe eines Fahrerassistenzsystems mit den Merkmalen des Anspruchs 6 gelöst.
Ferner wird die Aufgabe gelöst durch die Angabe eines Verfahrens mit den Merkmalen des Anspruchs 7. Zudem wird die Aufgabe gelöst durch die Angabe eines Computerprogramms mit den Merkmalen des Anspruchs 14 und die Angabe eines Datenträgersignals mit den Merkmalen des Anspruchs 15.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch die Angabe einer Verarbeitungseinheit zur Geräuscherkennung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs, die Verarbeitungseinheit aufweisend
eine Detektionseinheit zur richtungsbezogenen Detektion von den Umfeldgeräuschen zugrundeliegenden akustischen Umfeldgeräuschsignalen und zur richtungsbezogenen Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen
und eine Klassifikationseinheit zur Klassifikation zumindest eines richtungsbezogenen Bremsgeräuschsignals aus den richtungsbezogenen Umfeldgeräuschsignalen, und eine Zuordnungseinheit für eine Zuordnung des zumindest einen klassifizierten richtungsbezogenen Bremsgeräuschsignals zu dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt.
Dabei wird unter richtungsbezogen die Richtung relativ zum Egofahrzeug oder zur Verarbeitungseinheit verstanden.
Verkehrsobjekte sind vor allem Fahrzeuge, wie Personenkraftwagen, etc.
Umfeldgeräusche sind Geräusche im Umfeld des Egofahrzeugs. Zur Verarbeitung werden die Umfeldgeräusche in akustische Signale umgewandelt, welche einem gefilterten, natürlichen Abbild der im Umfeld des Fahrzeugs aufgenommenen Geräuschen entsprechen.
Die Klassifikationseinheit dient zur Klassifikation des Bremsgeräusches, wobei hier mit Klassifikation des Bremsgeräusches im Wesentlichen das Erkennen der Art des Bremsgeräusches gemeint ist, beispielsweise eine Vollbremsung auf nassem Asphalt, durchdrehende Räder etc.. Die Klassifikationseinheit kann entweder nur aus einem Klassifikator oder auch vorteilhafterweise aus einer Vorverarbeitungseinheit, einem Klassifikator und einer Analyseeinheit bestehen.
Die Detektionseinheit kann beispielsweise als ein Array mit mehreren Mikrofonen mit Richtcharakteristik ausgestaltet sein und/oder ein oder mehrere andere Akustiksensoren umfassen. Es können auch andere akustische Sensoren alternativ oder optional ergänzend zum Einsatz kommen. Je nach Art und Ausführung können diese akustischen Sensoren/ Mikrofone verteilt an verschiedenen Stellen des Egofahrzeuges angeordnet sein. Die Sensoren/Mikrofone erfassen die Umgebung vorzugsweise in Echtzeit.
Ferner kann die Detektionseinheit auch als ein Modul, insbesondere ein Softwaremodul, mit einer oder mehrerer Schnittstellen, ausgebildet sein, welche die Umfeldgeräusche aus einem Datenstrom, welcher beispielsweise von einem an dem Egofahrzeug angeordneten Multisensorsystem zur Wahrnehmung des Umfelds des Egofahrzeuges aufgenommen wurde, detektiert.
Besonders ist ein Erkennen einer unvermeidbaren bevorstehenden Kollision durch das Bestimmen der negativen Beschleunigung, das heißt des Bremsens, wichtig sowie, bei der unvermeidbaren Kollision, das Bestimmen eines kritischen Kollisionszeitpunktes, an dem die Kollision stattfindet.
Erfindungsgemäß wurde erkannt, dass bei Unwirksamkeit einer Bremsung beispielsweise, wenn ein Fahrer eine Vollbremsung auslöst und das Fahrzeug die Bodenhaftung verliert, und infolgedessen nur noch eine Abbremsung mit einer beschränkten negativen Beschleunigung möglich ist, dies mit einem Sensorsystem gemäß dem Stand-der-Technik nicht erkannt werden kann. Das Sensorsystem gemäß dem Stand-der-Technik wird die bevorstehende Kollision und den kritischen Kollisionszeitpunkt erst zu spät erkennen, da davon ausgegangen werden muss, dass noch ein stärkeres Bremsmanöver eingeleitet werden kann und nicht erkannt wurde, dass das Bremsmanöver bereits ohne Erfolg eingeleitet wurde. Auch ein sehr gefährlicher Kontrollverlust bei einem Bremsvorgang unter hoher Geschwindigkeit kann durch ein Sensorsystem gemäß dem Stand-der-Technik nicht erkannt werden.
Mittels der Erfindung lassen sich Bremsgeräuschsignale nun richtungsbezogen klassifizieren und einem Verkehrsobjekt zuordnen. Anhand der klassifizierten Bremsgeräuschsignale kann ein Bremsmanöver eines anderen Verkehrsobjektes erkannt werden, insbesondere auch falls dieses erfolglos durchgeführt wird. Ferner kann anhand der klassifizierten Bremsgeräuschsignale der Kontrollverlust eines anderen Verkehrsobjektes bei einem Bremsmanöver erkannt werden. Dadurch kann beispielsweise eine Vollbremsung erkannt werden, insbesondere auch dann, wenn sie nicht zur gewünschten Abbremsung des Verkehrsobjektes führt. Dadurch kann einerseits eine unvermeidbare Kollision erkannt werden. Andererseits kann die Unwirksamkeit der Bremsung direkt in die Berechnung des Kollisionszeitpunktes einfließen. Durch diese Information ist es möglich, eine Kollision und dessen Kollisionszeitpunkt rechtzeitig zu erkennen und Maßnahmen, beispielsweise zum Schutz der Insassen, vorzunehmen.
Auch kann erkannt werden, wenn eine ordnungsgemäße Bremsung erfolgt ist, aber beispielsweise zu spät erfolgt ist und trotzdem eine unausweichliche Kollision erfolgt. Auch in dieser Verkehrssituation kann der Kollisionszeitpunkt bestimmt werden.
Auch kann eine erfolgreiche Bremsung erkannt werden, welche das Vermeiden einer Kollision zur Folge hat.
Es sei an dieser Stelle explizit darauf hingewiesen, dass es sich bei den Bremsgeräuschen nicht um die Bremsgeräusche des Egofahrzeuges selber handelt, sondern um Bremsgeräusche der im Umfeld des Egofahrzeuges befindlichen anderen Verkehrsobjekte, welche entstehen, wenn diese eine Bremsung durchführen.
Bevorzugt weist die Klassifikationseinheit eine Datenbank auf, wobei die Datenbank als zumindest einen Parameter die Bremsgeräuschsignale mit ihrem jeweiligen Bremswirkungsgrad umfasst. Ferner kann die Datenbank beispielsweise als Parameter noch die Lautstärke des jeweiligen Bremsgeräuschsignals oder auch andere Parameter umfassen. Eine solche Datenbank kann beispielsweise mittels eines Expertensystems erstellt werden.
Vorzugsweise ist die Verarbeitungseinheit derart ausgebildet, dass von ihr eine Kollision des Egofahrzeuges mit dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt und ein Kollisionszeitpunkt in Abhängigkeit von dem klassifizierten Bremsgeräuschsignal und dem, den Bremsgeräuschsignal zugeordneten Bremswirkungsgrad berechenbar ist. Somit ist eine genauere Bestimmung des Kollisionszeitpunktes möglich.
Vorzugsweise ist die Verarbeitungseinheit derart ausgebildet, dass zumindest eine erste Kategorie mit einer ersten Aktion und zumindest eine zweite Kategorie mit einer zweiten Aktion vorgesehen ist, wobei eine Zuordnung des zumindest einen Bremsgeräuschsignales bei einer Verkehrssituation, welche eine unvermeidbare Kollision zur Folge hat, zu der ersten Kategorie und ein Ausführen der ersten Aktion bewerkstelligbar ist oder eine Zuordnung des zumindest einen Bremsgeräuschsignales bei einer Verkehrssituation, welche eine vermeidbare Kollision zu Folge hat, zu der zweiten Kategorie und ein Ausführen der zweiten Aktion bewerkstelligbar ist.
Vorzugsweise wird die Kollisionsbestimmung in Abhängigkeit von spezifischen Parametern der Verkehrsobjekte, wie Abstand zum Egofahrzeug, Geschwindigkeit etc. welche ebenfalls aus den Bremssignalgeräuschen ermittelbar sind als auch in Abhängigkeit von den spezifischen Parametern des Egofahrzeuges wie Geschwindigkeit etc. bestimmt.
Vorzugsweise werden die Bremsgeräuschsignale in Abhängigkeit von dem, den Bremsgeräuschsignal zugeordneten Bremswirkungsgrad in die erste oder zweite Kategorie eingeteilt.
In der ersten Kategorie sind daher Bremsgeräuschsignale eingeordnet, welcher einer Verkehrssituation entsprechen, die zu einem bestimmten Kollisionszeitpunkt eine unausweichliche Kollision (Unfall), mit einem anderen Verkehrsobjekt zur Folge haben.
In der zweiten Kategorie sind vorzugsweise Bremsgeräuschsignale eingeordnet, welcher einer Verkehrssituation entsprechen, in der ein Ausweichen/Unfallvermeidung durch eine Bremsreaktion des Fahrers des Fahrzeugs und/oder des Fahrers des Verkehrsobjektes noch möglich ist.
Abhängig von der ersten Kategorie oder zweiten Kategorie wird eine erste Aktion oder zweite Aktion ausgelöst. Die erste Aktion kann in Abhängigkeit von den fahrzeugspezifischen Parametern wie Eigengeschwindigkeit des Egofahrzeugs etc. bestimmt werden. Wurde das Bremsgeräuschsignal in die erste Kategorie eingeteilt, so kann die erste Aktion ein Vorbereiten einer Airbagauslösung, Festziehen des Sicherheitsgurtes, Ausgeben eines Warnsignals auf beispielsweise einem Head-Up-Display sowie Absetzten eines Notrufes umfassen. Ferner kann ein sofortiges automatisiertes Übernehmen der Steuerung oder ein Eingreifen in die Steuerung als erste Aktion vorgesehen sein.
Wurde das Bremsgeräuschsignal der zweiten Kategorie zugeordnet, wird eine zweite Aktion ausgelöst. Diese zweite Aktion kann ebenfalls in Abhängigkeit von den fahrzeugspezifischen Parametern wie Eigengeschwindigkeit des Egofahrzeugs etc. bestimmt werden. Die zweite Aktion kann auch das Ausbleiben einer Aktion sein oder das Einleiten einer Vollbremsung sein.
Vorzugsweise wird die erste als auch zweite Aktion in Abhängigkeit von den fahrzeugspezifischen Parametern wie Eigengeschwindigkeit des Egofahrzeugs etc. bestimmt.
Die erste Aktion und zweite Aktion können ein gestaffeltes bzw. gestuftes Ausführen von verschiedenen Stufen mit jeweils unterschiedlichen Aktionen beinhalten. So kann beim Erkennen beispielsweise eines zu erwartenden besonders schweren Unfalls sowohl die Ausgabe einer visuellen, akustischen und/oder haptischen Warnung bewerkstelligt werden und gleichzeitig das Vorbereiten des Airbags und/oder des Seitenairbags eingeleitet werden als auch das Anspannen/Festziehen der Sicherheitsgurte bewerkstelligt werden als auch zusätzliche Lenk- und oder Bremsbewegungen automatisiert durchgeführt werden und zusätzlich ein automatischer Notruf abgesetzt werden.
Vorzugsweise ist die Detektionseinheit als ein Array von Richtmikrofonen ausgebildet. Diese können eine richtungsbezogene Detektion besonders gut bewerkstelligen.
Die Aufgabe wird ferner gelöst durch die Angabe eines Fahrerassistenzsystems mit einer wie oben beschriebenen Verarbeitungseinheit, wobei bei dem Fahrerassistenzsystem zumindest ein optischer Sensor und/oder ein Bildsensor zur Aufnahme von Verkehrsobjektdaten vorgesehen ist, wobei eine Bestimmung der Verkehrssituation unter Berücksichtigung des zumindest einen klassifizierten Bremsgeräuschsignales und der aufgenommenen Verkehrsobjektdaten bewerkstelligbar ist.
Dabei beinhaltet eine Bestimmung der Verkehrssituation, insbesondere eine Bestimmung der kommenden Verkehrssituation die Bestimmung, ob eine unvermeidbare Kollision erfolgen wird, als auch, bei einer unvermeidbaren Kollision, die Bestimmung des Kollisionszeitpunktes.
Verkehrsobjektdaten sind fahrzeugspezifische Informationen zu den einzelnen Verkehrsobjekten, wie beispielsweise Geschwindigkeit, Position relativ zum Egofahrzeug oder beispielsweise Länge des Verkehrsobjektes und/oder Abstand zum Verkehrsobjekt etc.
Dadurch kann eine verbesserte Vorhersage in Bezug auf die Verkehrssituation vorgenommen werden.
Ferner wird die Aufgabe gelöst durch die Angabe eines Verfahrens zur Verarbeitung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs mittels einer wie oben beschriebenen Verarbeitungseinheit, mit den Schritten:

- Richtungsbezogene Detektion von, den Umfeldgeräuschen zugrundeliegenden akustischen Umfeldgeräuschsignalen,
- Richtungsbezogene Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen,
- Klassifikation eines zumindest richtungsbezogenen Bremsgeräuschsignales aus den richtungsbezogenen Umfeldgeräuschsignalen,
- Zuordnung des zumindest einen Bremsgeräuschsignales zu dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt.

Die Vorteile der Verarbeitungseinheit können auch auf das Verfahren übertragen werden.
In einer bevorzugten Ausgestaltung erfolgt die Klassifikation mittels Maschinellen Lernens.
Vorteilhafterweise erfolgt die Klassifikation mittels eines künstlichen neuronalen Netzes, welches gewichtete Neuronen aufweist. Künstliche neuronale Netze eignen sich zur Klassifikation von akustischen Geräuschemustern, da sich die akustischen Geräusche aus gleicher Quelle einander in ihrem Frequenzspektrum ähneln. Die aufgenommenen Umfeldgeräusche, welche in bearbeitbare Umfeldgeräuschsignale umgewandelt werden, können beispielsweise einem Mustererkennungsprozess unterzogen werden. Bei dem Mustererkennungsprozess werden aus den Umfeldgeräuschsignalen Muster erkannt, wobei aus dem Muster anschließend Merkmale extrahiert werden, welche anschließend klassifiziert werden. Das künstliche neuronale Netz kann daher Aufschluss über die Art des akustischen Geräusches geben; diese also klassifizieren.
Vorzugsweise ist eine externe Recheneinheit mit einem künstlichen neuronalen Trainingsnetz, welches gewichtete Trainingsneuronen aufweist, vorgesehen, wobei das künstliche neuronale Trainingsnetz aufbaugleich zum künstlichen neuronalen Netz ist, wobei durch gegenseitiges Lernen eine Synchronisation der Gewichte des künstlichen neuronalen Netzes mit den Gewichten des künstlichen neuronalen Trainingsnetzes erfolgt. Somit kann ein externes künstliches neuronales Trainingsnetz durch verschiedene künstliche neuronale Netze in verschiedenen Egofahrzeugen gespeist werden, wodurch sich die Lernphase des einzelnen künstlichen neuronalen Netzes verkürzt und ein verbessertes Lernen möglich ist.
In einer bevorzugten Ausgestaltung wird aus den zumindest einem Bremsgeräuschsignal die Position des zu dem Bremsgeräuschsignal korrespondierenden Verkehrsobjektes relativ zum Egofahrzeug bestimmt.
Hierzu kann die Amplitude eines Bremsgeräuschsignals berechnet werden und eine approximative Entfernung zum Verkehrsobjekt bestimmt werden. Sind mehrere akustische Sensoren vorhanden, kann ein multilaterales Verfahren durchgeführt werden, bei dem die Differenz der Laufzeit des Bremsgeräuschsignals ausgewertet wird. Auch andere Möglichkeiten zur Positionsbestimmung der Verkehrsobjekte sind möglich.
Bei den auszuführenden Aktionen kann somit die Position des Verkehrsobjektes relativ zum Egofahrzeug berücksichtigt werden. So kann beispielsweise in bestimmten Verkehrssituationen auf die Auslösung eines Seitenairbags verzichtet werden.
Weiterhin bevorzugt umfasst das Verfahren den weiteren Schritt:

- Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignals zu einem Bremswirkungsgrad mittels einer Datenbank.

Weiterhin bevorzugt umfasst das Verfahren die Schritte:

- Bereitstellen einer ersten Kategorie mit einer ersten Aktion und zumindest einer zweiten Kategorie mit einer zweiten Aktion,
- Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignales bei einer Verkehrssituation, welche eine unvermeidbare Kollision zur Folge hat, zu der ersten Kategorie und Ausführen der ersten Aktion,
- Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignales bei einer Verkehrssituation, welche eine vermeidbare Kollision zu Folge hat, zu der zweiten Kategorie und Ausführen der zweiten Aktion.

Zudem wird die Aufgabe gelöst durch die Angabe eines Computerprogramms, umfassend Befehle, die bewirken, dass die wie oben beschriebene Verarbeitungseinheit das wie oben beschriebene Verfahren ausführt. Dadurch kann das Verfahren auch noch nachträglich in dafür vorgesehene Egofahrzeuge installiert werden.
Ferner wird die Aufgabe gelöst durch die Angabe eines Datenträgersignals, dass ein wie oben beschriebenes Computerprogramm überträgt.
Das Datenträgersignal kann das Computerprogramm beispielsweise über ein Netzwerk wie das Internet übertragen.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: ein Flussdiagramm gemäß einer ersten Ausführung des erfindungsgemäßen Verfahrens,
2: eine beispielhafte Datenbank,
3: ein Flussdiagramm gemäß einer zweiten Ausführung des erfindungsgemäßen Verfahrens, ,
4: ein Flussdiagramm gemäß einer dritten Ausführung des erfindungsgemäßen Verfahrens,
5: eine erste Kategorie K1 und eine zweite Kategorie K2,
6: ein Egofahrzeug mit einem Fahrerassistenzsystem und einer Verarbeitungseinheit.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.
1 zeigt ein Flussdiagramm gemäß einer ersten Ausführung des erfindungsgemäßen Verfahrens. Hierbei wird in einem ersten Schritt S1 mittels einer Detektionseinheit 3 (6) eine richtungsbezogene Detektion von Umfeldgeräuschen durch ein Egofahrzeug 4 (6) durchgeführt, wobei die Geräusche im Umfeld des Egofahrzeuges 4 (6) entstehen. Die Umfeldgeräusche sind vor allem die Betriebsgeräusche von Verkehrsobjekten, insbesondere Fahrzeugen. Diese Geräusche werden bei Fahrzeugen hauptsächlich durch die Antriebsmaschinen oder Reifen verursacht, welche als Fahrgeräusch detektiert werden und ausgewertet werden können. Aber auch beispielsweise in einem Fahrzeug befindliche Betriebsaggregate, wie Pumpen, Winden oder Kühlaggregate strahlen Schallenergie ab und tragen ebenso zum Betriebsgeräusch des Fahrzeugs bei.
Zur Verarbeitung werden die Umfeldgeräusche in akustische Umfeldgeräuschsignale umgewandelt, welche einem gefilterten, natürlichen Abbild der im Umfeld des Fahrzeugs aufgenommenen Geräuschen entsprechen.
Ferner wird eine richtungsbezogene Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen vorgenommen.
Dabei ist unter richtungsbezogener Detektion die Erfassung von Umfeldgeräuschen/ Verkehrsobjekten mitsamt ihrer Richtung relativ zum Egofahrzeug 4 (6) gemeint. Dazu kann die Detektionseinheit 3 (6) beispielsweise aus einem akustischen, aus drei Richtmikrofonen bestehenden Sensor, bestehen. Je nach Art und Ausführung der Anordnung können verschiedene Richtmikrofone vorgesehen sein. Beispielsweise sind für eine richtungsbezogene Zuordnung der Umfeldgeräuschsignale mehrere Mikrofone oder ein Array von mehreren Mikrofonen mit Richtcharakteristik und beispielsweise ein Mikrofon mit Kugelcharakteristik vorgesehen. Je nach Art und Ausführung können akustische Schallsensoren oder Geräuschsensoren verteilt an verschiedenen Stellen des Egofahrzeuges 4 (6) angeordnet sein. Mit Hilfe der Sensoren kann beispielsweise dann ein Peilwinkel ermittelt werden. Aus diesem Peilwinkel kann beispielsweise die richtungsbezogene Detektion der Umfeldgeräuschsignale und der Verkehrsobjekte erfolgen.
Optional oder alternativ ergänzend können andere Akustiksensoren ebenfalls zum Einsatz kommen. Auch sind andere Möglichkeiten der richtungsbezogenen Detektion von Verkehrsobjekten und deren Geräusche möglich.
In einem zweiten Schritt S2 werden die detektierten Umfeldgeräuschsignale durch eine Klassifikationseinheit 5 (6), welche vorzugsweise ein künstliches neuronales Netz aufweist, auf Bremsgeräuschsignale, klassifiziert.
Insbesondere künstliche neuronale Netze eignen sich zur Klassifikation von akustischen Geräuschemustern, da sich die akustischen Geräusche aus gleicher Quelle einander in ihrem Frequenzspektrum ähneln. Die künstlichen neuronalen Netze können sehr einfach ausgelegt werden. Schon künstliche neuronale Netze mit zwei Layern ohne Hidden-Layer eignen sich. Zum Trainieren des künstlichen neuronalen Netzes stehen eine Reihe bekannter Verfahren zur Verfügung. Die aufgenommenen Umfeldgeräusche, welche in bearbeitbare Umfeldgeräuschsignale umgewandelt werden, können beispielsweise einem Mustererkennungsprozess unterzogen werden. Bei dem Mustererkennungsprozess werden aus den Umfeldgeräuschsignalen Muster erkannt, wobei aus dem erkannten Muster anschließend Merkmale extrahiert werden, welche anschließend klassifiziert werden. Das künstliche neuronale Netz kann daher Aufschluss über die Art des akustischen Geräusches geben; diese also klassifizieren.
Als künstliches neuronales Netz eignet sich vorzugsweise ein Single Cluster Lerning Netz, ein Multi Cluster Netz oder ein künstliches neuronales Netz mit Deep Lerning Verfahren. Auch andere Methoden der künstlichen Intelligenz, insbesondere des Maschinellen Lernens oder andere Klassifikationsverfahren oder eine Kombination aus verschiedenen Methoden sind möglich.
Das Egofahrzeug 4 (6) kann über eine Kommunikationseinheit (nicht gezeigt) mit einer externen Recheneinheit verbunden sein, wobei die externe Recheneinheit ein künstliches neuronales Trainingsnetz mit gewichteten Trainingsneuronen aufweist, welches aufbaugleich zum künstlichen neuronalen Netz der Erfindung ist. Durch gegenseitiges Lernen kann eine Synchronisation der Gewichte des künstlichen neuronalen Trainingsnetzes mit den Gewichten des künstlichen neuronalen Netzes erfolgen. Dadurch kann sich ein schnellerer Lernerfolg einstellen.
In einem dritten Schritt S3 wird den klassifizierten Bremsgeräuschsignalen mittels der Klassifikationseinheit 5 (6) jeweils ein Bremswirkungsgrad zugeordnet.
Die Klassifikationseinheit 5 (6) umfasst hierfür neben dem künstlichen neuronalen Netz vorzugsweise eine Datenbank 6 (6), welche als zumindest einen Parameter die Bremsgeräuschsignale in Verbindung mit einem zu dem Bremsgeräuschsignal passenden Bremswirkungsgrad aufweist. Ferner kann als weiterer Parameter noch der Untergrund, Lautstärke etc. angegeben sein. Eine solche Datenbank 6 (6) ist beispielhaft in 2 dargestellt.
2 zeigt sehr beispielhaft eine solche Datenbank 6. Hier ist das Bremsgeräuschsignal beispielsweise ein Bremsenquietschen, welches in Abhängigkeit von der erfassten Lautstärke, der Information über den Untergrund sowie dem Bremswirkungsgrad aufgetragen ist.
Denkbar sind als Bremsgeräuschsignal beispielsweise ein ABS (Antiblockiersystem)-Geräusch oder das Quietschen auf Asphalt. So ist beispielsweise bei dem Bremsgeräuschsignal „durchdrehende Räder“ oder bei ABS-auftretenden Bremssituationen der Bremswirkungsgrad sehr gering. Dadurch kann eine Vollbremsung erkannt werden, auch wenn sie nicht zur gewünschten Abbremsung des Verkehrsobjektes führt. Der Bremswirkungsgrad ist in der Datenbank 6 für bestimmte Bremsgeräuschsignale hinterlegt. Die Erstellung einer solchen Datenbank 6 kann beispielsweise mittels eines wissensbasierten Systems erstellt werden.
Dem klassifizierten akustischen Bremsgeräuschsignal kann mittels der Datenbank 6 ein Bremswirkungsgrad zugewiesen werden. Insbesondere kann somit auch Aufschluss über die Geräuschequelle, hier das Verkehrsobjekt, gegeben werden.
Anschließend werden in einem vierten Schritt S4 die klassifizierten und nach Bremswirkungsgrad eingeteilten Bremsgeräuschsignale zu den jeweiligem Verkehrsobjekt richtungsbezogen mittels einer Zuordnungseinheit, welche auch als Softwareprogramm/Softwarefunktion ausgestaltet sein kann, zugeordnet. Dies bedeutet, dass das klassifizierte und nach Bremswirkungsgrad eingeteilte Bremsgeräuschsignal nun an ein erfasstes Verkehrsobjekt gekoppelt ist.
Dadurch lässt sich eine unausweichliche Kollision des Egofahrzeuges 4 mit einem anderen Verkehrsobjekt erkennen sowie ein Kollisionszeitpunkt bestimmen.
Es ist bei bereits vorhandenen Standard-Klassifikationstabellen zu beachten, dass diese aber nur bedingt anwendbar sind, da es sich bei diesen Klassifikationsgeräuschen um die eigenen Fahrzeugbremsgeräusche handelt, wie etwa Bremsenklappern auf extrem unebenen Untergrund. Ziel einer solchen Standard-Klassifikationstabelle ist die Reduzierung der Bremsgeräuschsignale des Fahrzeugs. In der Erfindung sind mit Bremsgeräuschsignalen diejenigen Bremsgeräuschsignale gemeint, die nicht vom eigenen Egofahrzeug, sondern von im Umfeld des Egofahrzeugs befindlichen Verkehrsobjekten, wie Kraftfahrzeugen aber auch Fahrrädern, ausgehen.
In einem fünften Schritt S5 wird bestimmt, ob eine Kollision unvermeidlich ist und, bei unvermeidlicher Kollision der Kollisionszeitpunkt zwischen einem jeweils bremsenden Verkehrsobjekt und dem Egofahrzeug 4 (6) und in einer Berechnungseinheit 8 (6) mittels des klassifizierten Bremsgeräuschsignals berechnet.
Vorzugsweise wird die Kollisionsbestimmung in Abhängigkeit von spezifischen Parametern der Verkehrsobjekte, wie Abstand zum Egofahrzeug, Geschwindigkeit etc., welche ebenfalls aus den Bremssignalgeräuschen ermittelbar sind als auch in Abhängigkeit von den spezifischen Parametern des Egofahrzeuges wie Geschwindigkeit etc. bestimmt.
Abhängig von der zu erwartenden oder nicht zu erwartenden Kollision werden die Bremsgeräuschsignale anschließend in zumindest eine erste Kategorie K1 oder eine zwei Kategorie K2 eingeteilt. Dabei umfasst die erste Kategorie K1 Verkehrssituationen, welche eine unausweichliche Kollision zur Folge haben. Dabei umfasst die zweite Kategorie K2 Verkehrssituationen, welche eine ausweichliche, vermeidbare Kollision zur Folge haben.
In der ersten Kategorie K1 sind somit Bremsgeräuschsignale mit vorzugsweise geringem Bremswirkungsgrad eingeordnet, welcher einer Verkehrssituation entsprechen, die zu einem bestimmten Kollisionszeitpunkt eine unausweichliche Kollision (Unfall) mit einem anderen Verkehrsobjekt zur Folge haben.
In der zweiten Kategorie K2 sind Bremsgeräuschsignale mit vorzugsweise hohem Bremswirkungsgrad eingeordnet, welche einer Verkehrssituation entsprechen, in der ein Ausweichen/Unfallvermeidung durch eine Reaktion des Fahrers des Fahrzeugs und/oder des Fahrers des Verkehrsobjektes noch möglich ist.
In einem sechsten Schritt S6 wird abhängig von der Kategorie K1, K2 eine Aktion A1, A2 ausgelöst. Die erste Aktion A1 kann dabei in Abhängigkeit von fahrzeugspezifischen Parametern wie Eigengeschwindigkeit des Egofahrzeugs etc. bestimmt werden. Wurde das Bremsgeräuschsignal in die erste Kategorie eingeteilt, so kann diese erste Aktion A1 ein Vorbereiten einer Airbagauslösung, Festziehen des Sicherheitsgurtes, Ausgeben eines Warnsignals auf beispielsweise einem Head-Up-Display sowie Absetzten eines Notrufes umfassen. Ferner kann ein automatisiertes Übernehmen der Steuerung oder ein Eingreifen in die Steuerung als erste Aktion A1 vorgesehen sein.
Wurde das Bremsgeräuschsignal der zweiten Kategorie K2 zugeordnet, wird eine zweite Aktion A2 ausgelöst. Diese zweite Aktion A2 kann ebenfalls in Abhängigkeit von den fahrzeugspezifischen Parametern wie Eigengeschwindigkeit des Egofahrzeugs etc. bestimmt werden. Die zweite Aktion A2 kann auch das Ausbleiben einer Aktion sein oder das Einleiten einer Vollbremsung sein.
3 zeigt eine zweite Ausgestaltung des erfindungsgemäßen Verfahrens in einem weiteren Flussdiagramm. Hier werden in einem ersten Schritt V1 mittels eines Multisensorsystems Verkehrsobjektdaten als Datenstrom, welche auch richtungsbezogene Umfeldgeräuschsignale enthalten, aufgenommen. Die Verkehrsobjektdaten enthalten fahrzeugspezifische Informationen zu den einzelnen Verkehrsobjekten.
Das Multisensorsystem kann Radar- / Lidarsensoren und akustische Sensoren aufweisen. Die Umfeldgeräuschsignale werden mittels der Detektionseinheit 3 (6) aus dem Datenstrom detektiert.
In diesem Fall kann die Detektionseinheit 3 (6) als Softwaremodul, mit einer oder mehrere Softwareschnittstellen, ausgebildet sein, welche die Umfeldgeräuschsignale aus dem Datenstrom detektiert.
In einem zweiten Schritt V2, welcher identisch mit dem Schritt S2 ist, werden die Umfeldgeräuschsignale hinsichtlich Bremsgeräuschsignale durch die Klassifikationseinheit 5 (6) klassifiziert.
In einem dritten Schritt V3, welcher identisch mit dem Schritt S3 ist, werden die richtungsbezogenen klassifizierten Bremsgeräuschsignale nach Bremswirkungsgrad eingeteilt.
In einem vierten Schritt V4 werden die Bremsgeräuschsignale zu den Verkehrsobjekten richtungsbezogen mittels einer Zuordnungseinheit, welche auch als Softwareprogramm/Softwarefunktion ausgebildet sein kann, zugeordnet. Dies bedeutet, dass das klassifizierte Bremsgeräuschsignal nun an ein erfasstes Verkehrsobjekt sowie an den, dem Verkehrsobjekt zugeordneten Verkehrsobjektdaten, gekoppelt ist.
In einem fünften Schritt V5 wird bestimmt, ob eine Kollision unvermeidlich ist und der Kollisionszeitpunkt zwischen einem jeweils bremsenden Verkehrsobjekt und dem Egofahrzeug 4 (6) in einer Berechnungseinheit 8 (6) mittels des klassifizierten, jeweiligen Bremsgeräuschsignals berechnet.
Abhängig von einer zu erwartenden oder nicht zu erwartenden Kollision werden die klassifizierten Bremsgeräuschsignale anschließend in die erste Kategorie K1 (6) oder die zweite Kategorie K2 (6) eingeteilt. Dabei umfasst die erste Kategorie K1 (6) Verkehrssituationen, welche eine unausweichliche Kollision zur Folge haben. Dabei umfasst die zweite Kategorie K2 (6) Verkehrssituationen, welche eine ausweichliche Kollision zur Folge haben.
In der ersten Kategorie K1 (6) sind somit Bremsgeräuschsignale mit vorzugsweise geringem Bremswirkungsgrad eingeordnet, welcher einer Verkehrssituation entsprechen, die zu einem bestimmten Kollisionszeitpunkt eine unausweichliche Kollision (Unfall) mit einem anderen Verkehrsobjekt zur Folge haben.
In der zweiten Kategorie K2 (6) sind Bremsgeräuschsignale mit vorzugsweise hohem Bremswirkungsgrad eingeordnet, welche einer Verkehrssituation entsprechen, in der ein Ausweichen/Unfallvermeidung durch eine Reaktion des Fahrers des Fahrzeugs und/oder des Fahrers des bremsenden Verkehrsobjektes noch möglich ist.
In anderen Worten heißt das, dass die Berechnungseinheit 8 (6) die Verkehrssituation unter Berücksichtigung der nach Bremswirkungsgrad eingeteilten Bremsgeräuschsignale bestimmt und den Kollisionszeitpunkt bestimmt.
Die Berechnungseinheit 8 (6) bestimmt die Verkehrssituation und einen ggf. vorhandenen Kollisionszeitpunkt dabei unter Berücksichtigung der weiteren Verkehrsobjektdaten. So können hier zusätzliche Informationen beispielsweise der Abstand des Verkehrsobjektes zu dem Egofahrzeug 4 (6) und/oder die Größe des Verkehrsobjektes, beispielsweise ein LKW oder ein Motorrad, berücksichtigt werden.
In einem sechsten Schritt V6 wird abhängig von der Kategorie K1, K2 (6) eine Aktion A1, A2 (6) ausgelöst. Diese wird vorzugsweise ebenfalls in Abhängigkeit von den fahrzeugspezifischen Parametern des Egofahrzeuges 4 (6) bestimmt. Wurde das Bremsgeräuschsignal in die erste Kategorie K1 (6) eingeteilt, so kann diese erste Aktion A1 (6) ein Vorbereiten einer Airbagauslösung, Festziehen des Sicherheitsgurtes, Ausgeben eines Warnsignals auf beispielsweise einem Head-Up-Display sowie Absetzten eines Notrufes bestehen. Ferner kann ein sofortiges automatisiertes Übernehmen der Steuerung oder ein Eingreifen in die Steuerung als Aktion vorgesehen sein.
Wurde das Bremsgeräuschsignal der zweiten Kategorie K2 (6) zugeordnet, wird eine zweite Aktion A2 (6) ausgelöst. Diese wird vorzugsweise in Abhängigkeit von den fahrzeugspezifischen Parametern des Egofahrzeuges 4 (6) bestimmt. Die zweite Aktion kann auch das Ausbleiben einer Aktion sein.
4 zeigt eine dritte Ausgestaltung des erfindungsgemäßen Verfahrens in einem weiteren Flussdiagramm. Hierbei wird in einem ersten Schritt F1 mittels eines Arrays von Richtmikrofonen als Detektionseinheit 3 (6) eine richtungsbezogene Detektion von Umfeldgeräuschen durch das Egofahrzeug 4 (6) durchgeführt, wobei die Geräusche im Umfeld des Egofahrzeuges 4 (6) entstehen.
Zur Verarbeitung werden die Umfeldgeräusche in akustische Umfeldgeräuschsignale umgewandelt, welche einem gefilterten, natürlichen Abbild der im Umfeld des Fahrzeugs aufgenommenen Geräuschen entsprechen. Ferner wird eine richtungsbezogene Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen vorgenommen.
In einem zweiten Schritt F2 werden die Bremsgeräuschsignale durch die Klassifikationseinheit 5 (6) klassifiziert.
In einem dritten Schritt F3 wird aus den Bremsgeräuschsignalen die Position des zu dem Bremsgeräuschsignal korrespondierenden Verkehrsobjektes relativ zum Egofahrzeug 4 (6) bestimmt.
Hierzu kann die Amplitude des Bremsgeräuschsignales berechnet werden und eine approximative Entfernung zum Verkehrsobjekt bestimmt werden. Sind mehrere akustische Sensoren vorhanden, kann ein multilaterales Verfahren durchgeführt werden, bei dem die Differenz der Laufzeit des Bremsgeräuschsignales ausgewertet wird. Auch andere Möglichkeiten zur relativen Positionsbestimmung der Verkehrsobjekte sind möglich.
In einem vierten Schritt F4 werden die richtungsbezogenen Bremsgeräuschsignale mithilfe der Datenbank 6 (6) nach Bremswirkungsgrad eingeteilt.
In einem fünften Schritt F5 werden die klassifizierten Bremsgeräuschsignale zu den jeweiligen, zu den Bremsgeräuschsignalen korrespondierenden Verkehrsobjekten richtungsbezogen mittels der Zuordnungseinheit, welche auch als Softwareprogramm/Softwarefunktion ausgebildet sein kann, zugeordnet. Dies bedeutet, dass das jeweilig klassifizierte Bremsgeräuschsignal nun an ein erfasstes Verkehrsobjekt sowie an den, dem Verkehrsobjekt zugeordneten Verkehrsobjektdaten gekoppelt ist.
In einem sechsten Schritt F6 wird bestimmt, ob eine Kollision unvermeidlich ist und der Kollisionszeitpunkt zwischen einem jeweils bremsenden Verkehrsobjekt und dem Egofahrzeug 4 (6) in einer Berechnungseinheit 8 (6) mittels des klassifizierten, jeweiligen Bremsgeräuschsignals berechnet. Dabei berücksichtigt die Berechnungseinheit 8 (6) auch die Position des/der Verkehrsobjekte relativ zum Egofahrzeug 4 (6), die in Schritt F3 bestimmt wurde.
Abhängig von einer zu erwartenden oder nicht zu erwartenden Kollision werden die Bremsgeräuschsignale anschließend in die erste Kategorie K1 (6) oder die zweite Kategorie K2 (6) eingeteilt. Dabei umfasst die erste Kategorie K1 (6) Verkehrssituationen, welche eine unausweichliche Kollision zur Folge haben. Dabei umfasst die zweite Kategorie K2 (6) Verkehrssituationen, welche eine vermeidbare Kollision zur Folge haben. Vorzugsweise wird die Kollisionsbestimmung in Abhängigkeit von spezifischen Parametern der Verkehrsobjekte, wie Abstand zum Egofahrzeug, Geschwindigkeit etc. welche ebenfalls aus den Bremssignalgeräuschen ermittelbar sind als auch in Abhängigkeit von den spezifischen Parametern des Egofahrzeuges 4 (6) wie Geschwindigkeit etc. bestimmt.
In der ersten Kategorie K1 (6) sind somit Bremsgeräuschsignale mit vorzugsweise geringem Bremswirkungsgrad eingeordnet, welcher einer Verkehrssituation entsprechen, die zu dem bestimmten Kollisionszeitpunkt eine unausweichliche Kollision (Unfall) mit einem anderen Verkehrsobjekt zur Folge haben.
In der zweiten Kategorie K2 (6) sind Bremsgeräuschsignale mit vorzugsweise hohem Bremswirkungsgrad eingeordnet, welche einer Verkehrssituation entsprechen, in der ein Ausweichen/Unfallvermeidung durch eine Reaktion des Fahrers des Fahrzeugs und/oder des Fahrers des Verkehrsobjektes noch möglich ist.
In einem siebten Schritt F7 wird abhängig von der Kategorie K1, K2 eine Aktion A1, A2 ausgelöst. Diese wird vorzugsweise in Abhängigkeit von den fahrzeugspezifischen Parametern des Egofahrzeuges 4 (6) bestimmt. Wurde das Bremsgeräuschsignal in die erste Kategorie K1 eingeteilt, wird eine erste Aktion A1 ausgelöst. Die erste Aktion A1 kann ein Vorbereiten einer Airbagauslösung, Festziehen des Sicherheitsgurtes, Ausgeben eines Warnsignals auf beispielsweise einem Head-Up-Display sowie Absetzten eines Notrufes umfassen. Ferner kann ein sofortiges automatisiertes Übernehmen der Steuerung oder ein Eingreifen in die Steuerung als erste Aktion A1 (6) vorgesehen sein.
Bei der ersten Aktion A1 (6) wird die Position des zu dem Bremsgeräuschsignal korrespondierenden Verkehrsobjektes relativ zum Egofahrzeug 4 (6) berücksichtigt.
So kann beispielsweise bei einem zu erwartenden Seitenaufprall in der ersten Kategorie K1 die Steuerung sofort von einem vorhandenen Fahrerassistenzsystem 1 (6) übernommen werden, um die zu erwartenden Personenschäden zu minimieren. Dazu können auch fahrzeugspezifische Parameter herangezogen werden, wie Informationen über den Bereich der B-Säule (zwischen den Türen) und über Flankenschutzholme etc. Ferner kann zusätzlich ein Kopf-/Schulterairbag ausgelöst werden. Der Auslösezeitpunkt sowie die Auslösung der Airbags können somit sehr präzise gesteuert werden, so dass ein maximaler Schutz erzielt werden kann.
Wurde das Bremsgeräuschsignal der zweiten Kategorie K2 (6) zugeordnet, wird eine zweite Aktion A2 (6) ausgelöst. Diese wird auch in Abhängigkeit von den fahrzeugspezifischen Parametern des Egofahrzeuges 4 (6) bestimmt. Die zweite Aktion A2 (6) kann auch das Ausbleiben einer Aktion sein. Ferner kann das sofortige Einleiten einer Vollbremsung eine weitere Aktion sein.
Die Aktionen A1, A2 (6) können gestuft ausgeführt werden. Dies ist beispielsweise in 5 dargestellt.
5 zeigt beispielhaft eine erste Kategorie K1 und eine zweite Kategorie K2 mit entsprechenden Stufen sowie den dazugehörigen Aktionen. Somit können die Aktionen A1 als auch A2 gestaffelt zumindest in Abhängigkeit von dem klassifizierten Bremsgeräuschsignal und damit in Abhängigkeit von der erkannten Verkehrssituation ausgeführt werden.
Dabei umfasst die erste Kategorie K1 eine erste Stufe SA1 als erste Aktion A1, hier beispielsweise die Ausgabe einer visuellen, akustischen und/oder haptischen Warnung und das Vorbereiten des Airbags und/oder des Seitenairbags als auch das Anspannen/Festziehen der Sicherheitsgurte. In der zweiten Stufe SA2 werden zusätzlich Lenk- und oder Bremsbewegungen durchgeführt. Somit kann die erste Aktion A1 gestaffelt ausgeführt werden. In der dritten Stufe SA3 wird zusätzlich ein automatischer Notruf abgesetzt. Die erste Aktion A1 umfasst zumindest die erste Stufe als auch bedarfsweise die zweite und bedarfsweise die dritte Stufe.
Die Stufen SA1, SA2, SA3 sind nur Beispiele; es können auch andere Stufen vorgesehen sein.
Ebenso können in der zweiten Kategorie K2 mehrere Stufen, hier die vierte Stufe SA4 und die fünfte Stufe SA5 vorgesehen sein. So beinhaltet die vierte Stufe SA4 beispielsweise ein Ausbleiben jeglicher Aktion, und die fünfte Stufe SA 5 die Ausgabe eines akustischen und/oder optischen und/oder haptischen Warnsignals.
Das Verfahren wird bevorzugt in Echtzeit durchgeführt.
6 zeigt ein Fahrerassistenzsystem 1 mit einer Verarbeitungseinheit 2 mit einer Detektionseinheit 3, welche hier beispielsweise als ein Array von Richtmikrofonen ausgestaltet ist. Das Fahrerassistenzsystem 1 ist in einem Egofahrzeug 4 angeordnet. Das Array von Richtmikrofonen weist vorzugsweise zumindest drei, nicht auf einer Geraden angeordnete Richtmikrofone auf. Die Mikrofone können an der oder um eine Windschutzscheibe des Egofahrzeug 4 herum angeordnet sein, insbesondere in Eckbereichen der Windschutzscheibe. Alternativ kann die Detektionseinheit 3 als Softwaremodul/-funktion ausgebildet sein, welche die Umfeldgeräusche aus einem beispielsweise von einem Multisensorsystem generierten Datenstrom detektiert.
Die Detektionseinheit 3 detektiert dabei in der Umgebung des Egofahrzeugs 4 Umfeldgeräusche, und wandelt diese in akustische richtungsbezogene Umfeldgeräuschsignale um. Ferner detektiert die Detektionseinheit 3 richtungsbezogen die im Umfeld des Egofahrzeugs 4 vorhandenen Verkehrsobjekte, wie Fahrräder, Motorräder oder andere Schallquellen. Vorzugsweise wird die Position der Verkehrsobjekte relativ zum Egofahrzeug 4 durch herausfiltern der ähnlichen Anteile aus den empfangenen Geräuschen und durch berechnen anhand der herausgefilterten Anteile mittels Triangulation, bestimmt. Auch andere Methoden sind möglich.
Die Verarbeitungseinheit 2 umfasst ferner eine Klassifikationseinheit 5 zur Klassifikation zumindest eines richtungsbezogenen Bremsgeräuschsignals aus den richtungsbezogenen Umfeldgeräuschsignalen. Die Klassifikationseinheit 5 kann als Softwaremodul/Softwarefunktion in der Verarbeitungseinheit 2 ausgebildet sein. Die Klassifikationseinheit 5 weist hierzu bevorzugt ein künstliches neuronales Netz auf. Ferner weist die Klassifikationseinheit 5 eine Datenbank 6 auf, mittels welcher den klassifizierten Bremsgeräuschsignalen ein Bremswirkungsgrad zugeordnet wird. Anschließend wird mittels einer Zuordnungseinheit 7, welche auch als Softwarefunktion oder Softwaremodul ausgebildet sein kann, das jeweils zu dem Bremsgeräuschsignal korrespondierende Verkehrsobjekt zu dem jeweiligen Bremsgeräuschsignal zugeordnet.
Ferner ist eine Berechnungseinheit 8 vorgesehen, welche einen möglichen Kollisionszeitpunkt berechnet. Abhängig von dem Vorhandensein eines Kollisionszeitpunktes wird das Bremsgeräuschsignal in eine erste Kategorie K1 und eine zweite Kategorie K2 eingeteilt. Diese weisen verschiedene Aktionen A1, A2 auf, welche auch gestaffelt bzw. gestuft ausgeführt werden können.
Bezugszeichenliste

1: Fahrerassistenzsystem
2: Verarbeitungseinheit
3: Detektionseinheit
4: Egofahrzeug
5: Klassifikationseinheit
6: Datenbank
7: Zuordnungseinheit
8: Berechnungseinheit
S,F,V: Verfahrensschritte
K1: Erste Kategorie
K2: Zweite Kategorie
A1: Erste Aktion
A2: Zweite Aktion
SA1: erste Stufe
SA2: zweite Stufe
SA3: dritte Stufe
SA4: vierte Stufe
SA5: fünfte Stufe

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10064754 A1 [0003]

Claims

Verarbeitungseinheit (2) zur Geräuscherkennung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs (4), umfassend eine Detektionseinheit (3) zur richtungsbezogenen Detektion von, den Umfeldgeräuschen zugrundeliegenden akustischen Umfeldgeräuschsignalen und zur richtungsbezogenen Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen, eine Klassifikationseinheit (5) zur Klassifikation zumindest eines richtungsbezogenen Bremsgeräuschsignals aus den richtungsbezogenen Umfeldgeräuschsignalen, eine Zuordnungseinheit (7) für eine Zuordnung des zumindest einen klassifizierten Bremsgeräuschsignals zu dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt.
Verarbeitungseinheit (2) nach Anspruch 1, dadurch gekennzeichnet, dass die Klassifikationseinheit (5) eine Datenbank (6) aufweist, wobei die Datenbank (6) als zumindest einen Parameter die Bremsgeräuschsignale mit ihrem jeweiligen Bremswirkungsgrad umfasst.
Verarbeitungseinheit (2) nach Anspruch 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (2) derart ausgebildet ist, dass von ihr eine Kollision des Egofahrzeuges (4) mit dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt und ein Kollisionszeitpunkt in Abhängigkeit von dem klassifizierten Bremsgeräuschsignal und dem, den Bremsgeräuschsignal zugeordneten Bremswirkungsgrad berechenbar ist.
Verarbeitungseinheit (2) nach einem der vorhergehenden Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Verarbeitungseinheit (2) derart ausgebildet ist, dass zumindest eine erste Kategorie (K1) mit einer ersten Aktion (A1) und zumindest eine zweite Kategorie (K2) mit einer zweiten Aktion (A2) vorgesehen ist, wobei eine Zuordnung des zumindest einen Bremsgeräuschsignales bei einer Verkehrssituation, welche eine unvermeidbare Kollision zur Folge hat, zu der ersten Kategorie (K1) und ein Ausführen der ersten Aktion (A1) bewerkstelligbar ist oder eine Zuordnung des zumindest einen Bremsgeräuschsignales bei einer Verkehrssituation, welche eine vermeidbare Kollision zu Folge hat, zu der zweiten Kategorie (K2) und ein Ausführen der zweiten Aktion (A2) bewerkstelligbar ist.
Verarbeitungseinheit (2) nach einem der vorhergehenden Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Detektionseinheit (3) als ein Array von Richtmikrofonen ausgebildet ist.
Fahrerassistenzsystem (1) mit einer Verarbeitungseinheit (2) nach einem der vorhergehenden Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei dem Fahrerassistenzsystem (1) zumindest ein optischer Sensor und/oder ein Bildsensor zur Aufnahme von Verkehrsobjektdaten vorgesehen ist, wobei eine Bestimmung der Verkehrssituation unter Berücksichtigung des zumindest einen klassifizierten Bremsgeräuschsignales und der aufgenommenen Verkehrsobjektdaten bewerkstelligbar ist.
Verfahren zur Verarbeitung von durch Verkehrsobjekte erzeugten Umfeldgeräuschen im Umfeld eines Egofahrzeugs (4) mittels einer Verarbeitungseinheit (2) nach einem der Ansprüche 1 bis 5, gekennzeichnet durch die Schritte: - Richtungsbezogene Detektion von, den Umfeldgeräuschen zugrundeliegenden akustischen Umfeldgeräuschsignalen, - Richtungsbezogene Detektion von Verkehrsobjekten aus den akustischen Umfeldgeräuschsignalen, - Klassifikation eines zumindest richtungsbezogenen Bremsgeräuschsignales aus den richtungsbezogenen Umfeldgeräuschsignalen, - Zuordnung des zumindest einen Bremsgeräuschsignales zu dem das Bremsgeräuschsignal erzeugenden Verkehrsobjekt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Klassifikation mittels Maschinellen Lernen erfolgt.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Klassifikation mittels eines künstlichen neuronalen Netzes mit gewichteten Neuronen erfolgt.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine externe Recheneinheit mit einem künstlichen neuronalen Trainingsnetz, welches gewichtete Trainingsneuronen aufweist, vorgesehen ist, wobei das künstliche neuronale Trainingsnetz aufbaugleich zum künstlichen neuronalen Netz ist, wobei durch gegenseitiges Lernen eine Synchronisation der Gewichte des künstlichen neuronalen Netzes mit den Gewichten des künstlichen neuronalen Trainingsnetzes erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche 7 bis 10, dadurch gekennzeichnet, dass aus den zumindest einem Bremsgeräuschsignal die Position des zu dem Bremsgeräuschsignal korrespondierenden Verkehrsobjektes relativ zum Egofahrzeug (4) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche 7 bis 11, gekennzeichnet durch den weiteren Schritt: - Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignals zu einem Bremswirkungsgrad mittels einer Datenbank (6).
Verfahren nach einem der vorhergehenden Ansprüche 7 bis 12, gekennzeichnet durch die weiteren Schritte: - Bereitstellen einer ersten Kategorie (K1) mit einer ersten Aktion (A1) und zumindest einer zweiten Kategorie (K2) mit einer zweiten Aktion (A2), - Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignales bei einer Verkehrssituation, welche eine unvermeidbare Kollision zur Folge hat, zu der ersten Kategorie (K1) und Ausführen der ersten Aktion (A1), - Zuordnen des zumindest einen klassifizierten Bremsgeräuschsignales bei einer Verkehrssituation, welche eine vermeidbare Kollision zu Folge hat, zu der zweiten Kategorie (K2) und Ausführen der zweiten Aktion (A2).
Computerprogramm, umfassend Befehle, die bewirken, dass die Verarbeitungseinheit (2) nach einem der vorhergehenden Ansprüche 1 bis 5, das Verfahren nach einem der vorhergehenden Ansprüche 7 bis 13 ausführt.
Datenträgersignal, dass ein Computerprogramm nach Anspruch 14 überträgt.