DE102019219130B3

DE102019219130B3 - Fahrerassistenzsystem zur Geräuscherfassung, Fahrzeug und Verfahren

Info

Publication number: DE102019219130B3
Application number: DE102019219130.4A
Authority: DE
Inventors: Stefan Beller
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2021-03-18
Anticipated expiration: 2039-12-10

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem (1,1a) zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs (2) umfassendeine Detektionseinheit, welche konfiguriert ist, um auf Grundlage von erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende richtungsabhängige Umfeldgeräuschsignale zu erzeugen,wobei eine Verarbeitungseinheit (7) zum Verarbeiten der richtungsabhängigen Umfeldgeräuschsignale vorgesehen ist, wobei die Verarbeitungseinheit (7) ein künstliches neuronales Netz und/oder Machine Learning umfasst, wobei das künstliche neuronale Netz und/oder Machine Learning konfiguriert ist, basierend auf einer Vielzahl von Trainingsdaten einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen richtungsabhängig zu identifizieren.Ferner betrifft die Erfindung ein Fahrzeug und ein Verfahren.

Description

Die Erfindung betrifft ein Fahrerassistenzsystem zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs. Ferner betrifft die Erfindung ein Fahrzeug und ein Verfahren.
Alleine in der Schweiz gibt es jedes Jahr über 25 Tote wegen Schneelawinen. Über 60% davon bei der Gefahrenstufe mittel, also nicht wie erwartet bei vermeidbaren großen oder sehr großen Schneelawinenrisiko. Insbesondere nicht nur für Skifahrer stellen Schneelawinen eine Gefahr dar, sondern auch für Fahrzeuge, die in den Bergen fahren. So wird beispielsweise als Verhaltensempfehlung vom WSL-Institut für Schnee- und Lawinenforschung angegeben, bei einem Schneelawinenabgang im Fahrzeug zu bleiben und wenn möglich das Gefahrengebiet zu verlassen. Statische Lawinenreports sind nicht zuverlässig genug, um Gebiete mit spontanen Lawinenabgängen zu vermeiden.
In den südländischen Gebieten stellen hingegen Murgänge eine hohe Gefahr für Fahrzeuge bei Betrieb in den höhergelegenen Gegenden dar.
Stand der Technik ist beispielsweise offenbart in DE 10 2005 004 786 A1 und US 10 254 763 B2 .
Es ist Aufgabe dieser Erfindung ein Mittel anzugeben, welches die Verkehrssicherheit eines Fahrzeugs, insbesondere bei Betrieb in den Bergen, verbessert.
Diese Aufgabe wird durch ein Fahrerassistenzsystem zur Geräuscherfassung mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit den Merkmalen des Anspruchs 12 gelöst. Ferner wird die Aufgabe gelöst durch ein Verfahren mit den Merkmalen nach Anspruch 15.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Fahrerassistenzsystem zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs, umfassend eine Detektionseinheit, welche konfiguriert ist, um auf Grundlage von erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende richtungsabhängige Umfeldgeräuschsignale zu erzeugen, wobei
eine Verarbeitungseinheit zum Verarbeiten der richtungsabhängigen Umfeldgeräuschsignale vorgesehen ist, wobei die Verarbeitungseinheit ein künstliches neuronales Netz und/oder Machine Learning umfasst, wobei das künstliche neuronale Netz und/oder Machine Learning konfiguriert ist, basierend auf einer Vielzahl von Trainingsdaten einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen richtungsabhängig zu identifizieren.
Bei einem Machine Learning lernt ein künstliches System aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Dazu bauen Algorithmen beim maschinellen Lernen ein Modell auf, das auf Trainingsdaten beruht. Neuronale Netze sind Netze aus künstlichen Neuronen, welche mittels verschiedener Lernverfahren und dazugehöriger Trainingsdaten dazu gebracht werden, zu Eingangsmustern zugehörige Ausgabemuster zu erzeugen.
Dabei können durchaus Mischformen aus einem künstlichen neuronalen Netz und/oder Machine Learning wie beispielsweise ein Deep Neuronal Netz auftreten.
Eine Verarbeitungseinheit kann beispielsweise einen Grafikprozessor umfassen oder auf Quantentechnik basieren und als System-on-a -Chip in der Fahrzeugsteuerung integriert sein.
Lawinen sind vorzugsweise Schneelawinen oder Murgänge (Schlammlawinen), wobei die Murgänge insbesondere in südländischen Gegenden, insbesondere im asiatischen Raum oder tropischen Raum vorkommen, oder bei starken Regenfällen in den Bergregionen.
Die Detektionseinheit kann als Sensoren, vorzugsweise Richtmikrofone, welche am Fahrzeug zur Aufnahme des Umfeldes des Fahrzeugs angeordnet sind, ausgebildet sein. Alternativ kann die Detektionseinheit ferner auch lediglich eine Schnittstelle zur Verarbeitung der von Sensoren erfassten Umfeldgeräusche sein.
Fahrzeuge sind beispielsweise Personenkraftwagen, Schneefahrzeuge, Raupen aber auch Züge, Motorroller, Lufttaxis, Roboter und Drohnen.
Durch das erfindungsgemäße Fahrerassistenzsystem kann ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung in den Umfeldgeräuschsignalen richtungsabhängig rechtzeitig erkannt werden. Ist ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen positiv erkannt, so können beispielsweise verschiedenste Maßnahmen ergriffen werden. Nach einem Aspekt der Erfindung sendet das Fahrerassistenzsystem unmittelbar nach Erkennung einer Lawine einen Hilfe-e-Call ab, um diesen zwischen Erkennung der Lawine und potentiellen Gefahren, beispielsweise Verschüttungen, sicher zu versenden. Nach einem weiteren Aspekt der Erfindung erkannt das Fahrerassistenzsystem im Nachgang eines Lawinenabgangs Signale, die auf den Lawinenabgang hindeuten, beispielsweise Hilferufe von verschütteten Personen oder Signale von Lawinenverschüttetensuchgeräten, abgekürzt LVS-Geräten.
Vorzugsweise ist bei positiver Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung das Fahrerassistenzsystem dazu ausgebildet, ein Informationsdatensignal, welches zumindest eine Information über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die identifizierte Richtung umfasst, zu generieren.
Weiterhin vorzugsweise ist ein Kommunikationssystem vorgesehen, welches dazu ausgebildet ist, das Informationsdatensignal drahtlos auszusenden. Vorzugsweise sind dem Informationsdatensignal die Positionsdaten des Fahrzeuges beigefügt. Das Informationsdatensignal kann dabei vorzugsweise drahtlos mittels Funk über eine V2X (Vehicle-to-everything) Kommunikation an andere Verkehrsteilnehmer und/oder an eine Rettungsstation/Bergwacht übermittelt werden. Vorzugsweise umfasst das Informationsdatensignal zudem die Anzahl der Passagiere des Fahrzeugs. Dadurch können Bergungsdienste schnell und zuverlässig bei ggf. notwendiger Rettung, die Stelle an der das Fahrzeug verschüttet wurde, als auch die Anzahl der darin eingeschlossenen Passagiere erhalten. Insbesondere ist dies bei Murgängen beispielsweise in den Gegenden wie Asien, in denen Schlammlawinen häufig vorkommen, vorteilhaft, da mitreißende Geröllmassen und Schlamm schnell eine hohe Gefahr für die Insassen darstellen.
Vorzugsweise ist das Informationsdatensignal als Funksignal ausgebildet, so dass ein drahtloser Empfang an einer externen Empfangseinheit oder an externe andere Verkehrsteilnehmer ermöglicht ist. Ein solches Funksignal weist eine hohe Reichweite auf.
In weiterer bevorzugter Ausgestaltung ist das Fahrerassistenzsystem dazu ausgebildet, bei einem identifizierten Lawinenabgang oder einem identifizierten drohenden Lawinenabgang oder einer identifizierten gezielten Lawinensprengung aus den richtungsabhängigen Umfeldgeräuschen eine Ortung des Lawinenabgangs oder des drohenden Lawinenabgangs oder der gezielten Lawinensprengung zu bewerkstelligen. Dadurch ist eine genauere Lokalisation des Lawinenabgangs oder des drohenden Lawinenabgangs oder der gezielten Lawinensprengung möglich.
In weiterer bevorzugter Ausgestaltung umfasst die Ortung die Distanz und die Richtung ausgehend von dem Fahrzeug. Ferner ist das Fahrerassistenzsystem vorzugsweise dazu konfiguriert, anhand der Ortung eine Steuerung des Fahrzeugs vorzunehmen.
Durch die Ortung des Lawinenabgangs oder des drohenden Lawinenabgangs oder der gezielten Lawinensprengung kann das Fahrerassistenzsystem das Fahrzeug veranlassen, in ein weniger gefährliches Gebiet zu fahren/steuern. Dies ist insbesondere dann der Fall, wenn es sich bei dem Fahrzeug um ein autonom fahrendes Fahrzeug handelt. Dabei sind dies insbesondere autonome Fahrzeuge der Stufe 4 oder der Stufe 5, also Fahrzeuge, bei denen kein Fahrer mehr vorhanden ist. Auch kann, bei einer manuellen Steuerung durch einen Fahrer, das Fahrerassistenzsystem die kürzeste und/oder sicherste Route aus dem Gefahrengebiet anzeigen. Somit kann das Fahrzeug auch im manuellen Betrieb sicher aus dem Gefahrengebiet herausgeführt werden.
Vorzugsweise sind eine Anzeigeeinheit und ein Lautsprecher vorgesehen, wobei das Fahrerassistenzsystem dazu konfiguriert ist, den identifizierten Lawinenabgang oder den identifizierten drohenden Lawinenabgang oder die identifizierte gezielte Lawinensprengung und die Ortung im Fahrzeug optisch mittels der Anzeigeeinheit und/oder akustisch mittels des Lautsprechers auszugeben. Dadurch kann insbesondere bei einem autonom fahrenden Fahrzeug die Aufmerksamkeit der Passagiere auf das Verkehrsgeschehen gelenkt werden.
Weiterhin vorzugsweise ist das Fahrerassistenzsystem dazu konfiguriert, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung einen ersten Verifikationsparameter mittels Navigationsdaten zu erstellen, und anhand des ersten Verifikationsparameters den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung als verifiziert oder falsifiziert anzusehen.
Dabei gibt der erste Verifikationsparameter quasi eine Art Wahrscheinlichkeit an, mit welchen ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung als verifiziert oder falsifiziert angesehen wird. Die Navigationsdaten sind dabei im Fahrerassistenzsystem vorhanden, bzw. durch ein Navigationssystem. So kann beispielsweise bei stürmischem Wetter/Sturm bei einer Fahrt des Fahrzeugs entlang einer Küste die Verarbeitungseinheit das Getöse fälschlicherweise als Lawinenabgang einstufen. Wird daher ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung identifiziert und befindet sich das Fahrzeug jedoch auf einer Nicht-Gebirgsstrasse, beispielsweise auf einer flachen Ebene, so kann beispielsweise die Identifikation als falsifiziert angesehen werden (falsch positiv). Vorzugsweise enthalten die Navigationsdaten ebenfalls dazu die Höhenkarten/-daten der Umgebung in der sich das Fahrzeug befindet.
Ebenso kann beispielsweise die Temperatur in den Navigationsdaten miteinbezogen werden.
In weiterer bevorzugter Ausgestaltung ist das künstliche neuronale Netz und/oder Machine Learning dazu ausgebildet, basierend auf einer Vielzahl von Trainingsdaten, einen Schneelawinenabgang oder einen drohenden Schneelawinenabgang oder eine gezielte Schneelawinensprengung zu identifizieren, wobei die Trainingsdaten zumindest umfassen:

erste Geräuschsignale, die vor der Sprengung entstehen,
zweite Geräuschsignale, die bei einem kontrollierten oder zufälligen Abgang einer Schneelawine entstehen,
dritte Geräuschsignale, die vor einem Lawinenabgang entstehen,
wobei die zweiten und dritten Geräuschsignale zumindest das Geräuschsignal, wenn die Schneelawine bricht und/oder das Geräuschsignal, wenn die Schneelawine abgeht, umfassen.

Bei einem Schneelawinenabgang oder einem drohenden Schneelawinenabgang entstehen typische Geräusche. Diese äußern sich in einer Rissbildung, welche beispielsweise im Ultraschallbereich hörbar sind oder durch Ächzen in der Schneedecke. Durch einen anschließenden Kollaps/Bruch einer Schneeschicht entstehen tiefe „Wumm- Geräusche“ und/oder Zischen. Dieses Geräusch deutet auf Setzungsgeräusche einer Schneeschicht hin, und weist darauf hin, dass eine Schwachstelle gebrochen ist.
Diese Geräusche werden in der Erfindung sowohl zur Identifikation und als Trainingsdaten herangezogen. Dadurch ist eine einfache Identifikation eines Schneelawinenabgangs oder eines drohenden Schneelawinenabgangs oder einer gezielten Schneelawinensprengung möglich. Ferner sind genügend Trainingsdaten vorhanden, um das künstliche neuronale Netz und/oder Machine Learning anzulernen. Diese Geräusche können beispielsweise als Trainingsdaten von einem akustischen Messsystem, mit denen Lawinenabgänge detektiert werden, erfasst werden. Akustische Messsysteme sind in der Lage, bereits das Brechen von wenigen Schneekristallen zu registrieren.
In einer weiteren bevorzugten Ausgestaltung ist das künstliche neuronale Netz und/oder Machine Learning dazu ausgebildet, basierend auf einer Vielzahl von Trainingsdaten, einen Murgang oder einen drohenden Murgang zu identifizieren, wobei die Trainingsdaten Geräuschsignale, die bei einem zufälligen Murgang entstehen, umfassen. Dabei wird hier unter Murgang auch eine Schlammlawine verstanden. Die Trainingsdaten für einen Murgang umfassen dabei Geräuschsignale, wie Poltern und Rumpeln, die bei einem zufälligen Murgang entstehen bzw. entstanden sind.
Weiterhin vorzugsweise ist ein Vibrationssensor vorgesehen, welcher konfiguriert ist, ein Vibrationssignal auf Grundlage von gemessenen Vibrationen zu erzeugen und wobei das Fahrerassistenzsystem dazu konfiguriert ist, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung einen zweiten Verifikationsparameter mittels des Vibrationssignals zu erstellen, und anhand des zweiten Verifikationsparameters den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung als verifiziert oder falsifiziert anzusehen.
Insbesondere durch Zuhilfenahme des ersten und des zweiten Verifikationsparameters kann die Wahrscheinlichkeit der richtigen Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung erhöht werden. D.h. die Wahrscheinlichkeit einer falsch-positiven Identifikation kann verringert werden. Ist eine falsch-positive Identifikation vorhanden, so kann beispielsweise das Fahrerassistenzsystem dazu ausgebildet sein, die Passagiere zur manuellen Verifikation oder Falsifikation aufzufordern.
Ferner wird die Aufgabe gelöst durch ein Fahrzeug mit einem wie oben beschriebenen Fahrerassistenzsystem, wobei das Fahrzeug als Detektionseinheit Sensoren zur Aufnahme der Umfeldgeräusche aufweist, wobei die Sensoren derart am Fahrzeug angeordnet sind, dass diese zu einem Fahrzeugumfeld nach außen gerichtet sind. Insbesondere sind die Sensoren Richtmikrofone mit denen eine akustische Aufnahme als auch mittels des Fahrerassistenzsystems eine Ortung der Schallquelle möglich ist.
Vorzugsweise ist das Fahrerassistenzsystem dazu ausgebildet, das Fahrzeug in verschiedenen Betriebsweisen zu steuern, wobei zumindest eine Betriebsweise eine autonome Betriebsweise ist.
Die Erfindung hat erkannt, dass besonders bei einem autonomen Fahrzeug die Möglichkeit fehlt, Lawinen wahrzunehmen und zu orten, da ein gewöhnliches Sensorsystem wie Lidar-/Radar, Bildkamerasystem diese nicht erkennen kann. Ferner fehlt der Fahrzeugführer, um den Lawinenabgang/drohenden Lawinenabgang zu hören.
Im Fahrzeug selber ist für Passagiere ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung als auch die Richtung schwierig zu erkennen, da die vorzugsweise autonom fahrenden Fahrzeuge wegen sehr kalten Temperaturen gedämmt sind. Dadurch kann der durch einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung erzeugte Schall nur schwer wahrgenommen werden. Zudem ist gerade bei autonom fahrenden Fahrzeugen die Aufmerksamkeit der Passagiere oftmals nicht auf den Straßenverkehr gerichtet. Wenn die Lawine sichtbar ist, ist es zu spät oder sehr gefährlich.
Vorzugsweise sind die Sensoren dazu ausgebildet, sowohl bei einem Fahrbetrieb als auch einen Fahrzeugstandbetrieb des Fahrzeuges die richtungsabhängigen Umfeldgeräusche zu erfassen und auf Grundlage der erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende richtungsabhängige Umfeldgeräuschsignale zu erzeugen, wobei die Verarbeitungseinheit zum Verarbeiten der richtungsabhängigen Umfeldgeräuschsignale sowohl bei einem Fahrbetrieb als auch bei einem Fahrzeugstandbetrieb des Fahrzeuges ausgebildet ist, so dass eine Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung ermöglicht ist und wobei abhängig von einer positiven Identifikation das Fahrerassistenzsystem dazu ausgebildet ist, sowohl bei einem Fahrbetrieb als auch bei einem Fahrzeugstandbetrieb des Fahrzeuges ein Informationsdatensignal, welches zumindest die Informationen über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die identifizierte Richtung umfasst, zu generieren und auszusenden. Dadurch können auch im Fahrzeugstandbetrieb, beispielsweise wenn die Fahrzeuginsassen Skifahren sind, die Positionsdaten mitsamt dem Lawinenabgang an beispielsweise eine Rettungsstation übermittelt werden. Somit kann beispielsweise sofort eine Rettung eingeleitet werden. Auch können andere Fahrzeuge in der Umgebung informiert bzw. gewarnt werden.
Die Aufgabe wird weiter gelöst durch ein Verfahren zum Betreiben eines wie oben beschriebenen Fahrerassistenzsystems, umfassend der Schritte:

- Erfassen von richtungsabhängigen Umfeldgeräuschen durch eine Detektionseinheit,
- Erzeugen von richtungsabhängigen Umfeldgeräuschsignalen auf Grundlage der zugrundeliegenden erfassten richtungsabhängigen Umfeldgeräusche,
- Richtungsabhängiges identifizieren eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung in den Umfeldgeräuschsignalen durch ein künstliches neuronales Netz und/oder Machine Learning, welches auf einer Vielzahl von Trainingsdaten basiert, in einer Verarbeitungseinheit.

Die Vorteile des Fahrerassistenzsystems können auch auf das Verfahren übertragen werden.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.
Die Figuren zeigen schematisch:

1: ein erfindungsgemäßes Fahrerassistenzsystem gemäß einer ersten Ausführung,
2: eine Tabelle mit Geräuschsignalen,
3: ein erfindungsgemäßes Fahrerassistenzsystem gemäß einer zweiten Ausführung,
4: ein erfindungsgemäßes Fahrzeug.

1 zeigt ein erfindungsgemäßes Fahrerassistenzsystem 1 zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs 2 (4). Das Fahrerassistenzsystem 1 umfasst Sensoren 3 als Detektionseinheit, vorzugsweise Richtmikrofone, welche am Fahrzeug 2 (4) zur Aufnahme des Umfeldes des Fahrzeugs 2 (4) angeordnet sind, um auf Grundlage von erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende akustische richtungsabhängige Umfeldgeräuschsignale zu erzeugen.
Alternativ kann die Detektionseinheit ferner auch lediglich eine Schnittstelle zur Verarbeitung der von Sensoren 3 erfassten Umfeldgeräusche sein.
Die Sensoren 3 sind vorzugsweise dazu ausgebildet, die Umfeldgeräusche zu erfassen und als richtungsabhängige Umfeldgeräuschsignale zur Verarbeitung bereitzustellen sowie mittels des Fahrerassistenzsystems zu orten. Dabei umfasst die Ortung zumindest die Daten und die Richtung zum Fahrzeug 2 (4). Die Sensoren 3 können Richtmikrofone sowie zusätzlich Bildsensoren/, Radar-Lidar und Ultraschallsensoren sein.
Ferner umfasst das Fahrerassistenzsystem 1 eine Verarbeitungseinheit 7 mit einem künstlichen neuronalen Netz und/oder Machine Learning. Die Verarbeitungseinheit 7 kann beispielsweise einen Grafikprozessor umfassen oder einen Quantenprozessor zum Verarbeiten der Umfeldgeräuschsignale. Das künstliche neuronale Netz und/oder Machine Learning kann beispielsweise eine Deep Learning, Convolutional Neuronal Network, sein. Dabei können durchaus Mischformen zwischen einem künstlichen neuronalen Netz und Machine Learning, wie beispielsweise ein Deep Neuronal Netz, auftreten.
Das künstliche neuronale Netz/ Machine Learning ist dazu konfiguriert, basierend auf einer Vielzahl von Trainingsdaten einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen richtungsabhängig zu identifizieren.
Dabei kann es sich bei der Lawine um eine Schneelawine oder einen Murgang handeln. Eine Schneelawine ist beispielsweise als eine Lockerschneelawine, Schneebrettlawine, Fließlawine oder beispielsweise eine Mischform ausgebildet. Bei einem Schneelawinenabgang oder einem drohenden Schneelawinenabgang entstehen typische Geräusche. Diese äußern sich in einer Rissbildung, welche beispielsweise im Ultraschallbereich hörbar sind oder durch Ächzen in der Schneedecke. Durch den Kollaps/Bruch einer Schneeschicht entstehen tiefe „Wumm- Geräusche“ und/oder Zischen. Diese Geräusche deuten auf Setzungsgeräusche einer Schneeschicht hin, und weisen darauf hin, dass eine Schwachstelle gebrochen ist. Der Bruch kann sich von wenigen Metern bis über den ganzen Hang ausbreiten. Einer gezielten Lawinensprengung hingegen geht ein Warnsignal voran. Diese Geräusche werden sowohl zur Identifikation und als Trainingsdaten herangezogen.
Die Trainingsdaten für ein künstliches neuronales Netz / Machine Learning können unterschiedlich generiert werden. 2 zeigt beispielhaft anhand einer Tabelle die Geräuschsignale, welche als Trainingsdaten herangezogen werden, sowie die Generierung der Daten.
Dabei umfassen die Trainingsdaten für eine Schneelawine erste Geräuschsignale, die vor der Sprengung entstehen. Dies ist beispielsweise ein akustisches Warnsignal in Form eines Schneelawinenwarnsignals.
Ferner umfassen die Trainingsdaten für eine Schneelawine zweite Geräuschsignale, die bei einem kontrollierten oder zufälligen Abgang einer Schneelawine entstehen, sowie dritte Geräuschsignale, die vor einem Lawinenabgang entstehen.
Dies können beispielsweise Getöse beim Abgang der Schneelawine, sowie das WUMM-Geräusch (Setzungsgeräusch) oder Rissbildungsgeräusch oder Ächzen sein. Dabei kann das Rissbildungsgeräusch beispielsweise mit einem Ultraschallsensor erfasst werden.
Diese Geräusche können beispielsweise von einem akustischen Messsystem, mit denen Lawinenabgänge detektiert werden, erfasst werden. Akustische Messsysteme sind in der Lage, bereits das Brechen von wenigen Schneekristallen zu registrieren. Handelt es sich um einen Murgang, so werden die Geräusche meist von einem Kombisensor und/oder einem anderen Messgerät, welches die durch den Sedimentfluss verursachten akustischen Signale aufnimmt, erfasst. Diese Messgeräte werden in die Erde eingebracht.
Dabei wird hier unter einem Murgang auch eine Schlammlawine verstanden. Die Trainingsdaten für einen Murgang umfassen dabei Geräuschsignale, wie Poltern und Rumpeln, die bei einem zufälligen Murgang entstehen.
Das Fahrerassistenzsystem 1 in 1 ist ferner dazu ausgebildet, um bei einem identifizierten Lawinenabgang oder einem drohenden identifizierten Lawinenabgang oder einer identifizierten gezielten Lawinensprengung anhand der Ortung eine Steuerung des Fahrzeuges 2 (4) vorzunehmen. Dadurch kann beispielsweise das Fahrzeug 2 aus der Gefahrenzone weggeführt werden. Handelt es sich um ein autonom fahrendes Fahrzeug 2 (4), so kann das Fahrerassistenzsystem 1 mittels einer Steuerung das Fahrzeug 2 (4) selber steuern. Bei manueller Betriebsweise kann das Fahrerassistenzsystem 1 eine Navigationsroute ausgeben, welche am schnellsten und am sichersten aus der Gefahrenzone herausführt.
Bei manueller sowie autonomer Betriebsweise können im Fahrzeug 2 (4) akustische Warnsignale, beispielsweise mittels eines Lautsprechers 6 und/oder optisch beispielsweise mittels einer Anzeigeeinheit 5 und/oder haptisch ausgegeben werden. Ferner kann die Ortung, d.h. die Position des identifizierten Lawinenabgangs oder des identifizierten drohenden Lawinenabgangs oder der identifizierten gezielten Lawinensprengung im Fahrzeug 2 (4) mittels der Anzeigeeinheit 5 angezeigt werden.
Ferner weist das Fahrerassistenzsystem 1 noch ein Kommunikationssystem 4 auf, welches dazu ausgebildet ist, bei einem identifizierten Lawinenabgang oder bei einem identifizierten drohenden Lawinenabgang oder bei einer identifizierten gezielten Lawinensprengung ein Informationsdatensignal, welches zumindest die Informationen über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die Richtung umfasst, zu generieren.
Das Informationsdatensignal kann dabei die Ortung, das heißt die Distanz und die Richtung des Lawinenabgangs oder des drohenden Lawinenabgangs oder der gezielten Lawinensprengung vom Fahrzeug aus gesehen, und die Art, also ob es sich um einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung handelt, umfassen. Eine solche Ortung kann beispielsweise mittels der Sensoren 3 und des Fahrerassistenzsystems 1 vorgenommen werden, beispielsweise wenn die Sensoren 3 als Richtmikrofone ausgebildet sind. Weiterhin kann das Informationsdatensignal die Position des Fahrzeugs 2 (4) selber enthalten. Vorzugsweise kann auch die Anzahl der Passagiere als Information mitgeliefert werden.
Das Informationsdatensignal kann dabei vorzugsweise drahtlos mittels einer V2X (Vehicle-to-everything) Kommunikation an andere Verkehrsteilnehmer und/oder an eine Rettungsstation/Bergwacht übermittelt werden. Dabei ist V2X die elektronische Kommunikation in den Formen Fahrzeug-zu-Fahrzeug (V2V), Fahrzeug-zu-Straße (V2R), Fahrzeug-zu-Infrastruktur (V2I), Fahrzeug-zu-Netzwerk (V2N) und Fahrzeug-zu-Personen (V2P). Die Kommunikation erfolgt vorzugsweise als Funkverbindung.
Bei einem identifizierten Lawinenabgang oder einem identifizierten drohenden Lawinenabgang oder einer identifizierten gezielten Lawinensprengung wird vorzugsweise die Schneebeschaffenheit, insbesondere die Schneedichte/Schneelast ermittelt. Dies kann als Information dem Informationsdatensignal bei einer V2X- Kommunikation beigefügt werden als auch zur Steuerung des Fahrzeugs 2 (4) durch das Fahrerassistenzsystem 1 verwendet werden. Zudem kann bei einem Lawinenabgang in Sichtweite noch die Größe/das Erstreckungsgebiet des Lawinenabgangs dem Informationsdatensignal beigefügt als auch durch das Fahrerassistenzsystem 1 zur Steuerung des Fahrzeugs 2 (4) aus dem Gefahrengebiet verwendet werden.
3 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Fahrerassistenzsystem 1a zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs 2 (4).
Wie in 1 umfasst das Fahrerassistenzsystem 1a Sensoren 3 als Detektionseinheit, vorzugsweise Richtmikrofone, welche am Fahrzeug 2 (4) zur Aufnahme des Umfeldes des Fahrzeugs 2 (4) angeordnet sind.
Ferner umfasst das Fahrerassistenzsystem 1a eine Verarbeitungseinheit 7 mit einem künstlichen neuronalen Netz und/oder Machine Learning. Das künstliche neuronale Netz/ Machine Learning ist dazu konfiguriert, basierend auf einer Vielzahl von Trainingsdaten einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen richtungsabhängig zu identifizieren.
Ferner umfasst das künstliche neuronale Netz und/oder Machine Learning eine Mehrzahl von gewichteten Neuronen, wobei die Gewichte zumindest die historischen Lawinenabgangsdaten sowie deren Position umfassen. Dadurch kann die Identifikation erleichtert werden.
Vorzugsweise ist das Fahrerassistenzsystem 1a dazu konfiguriert, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung einen ersten Verifikationsparameter zu erstellen. Dieser wird mittels der Navigationsdaten, das heißt der Position des Fahrzeugs 2 (4) erstellt. Anhand des ersten Verifikationsparameters kann das Fahrerassistenzsystem 1a den identifizierten Lawinenabgang oder den identifizierten drohenden Lawinenabgang oder die identifizierte gezielte Lawinensprengung als verifiziert oder falsifiziert einstufen. Die Navigationsdaten sind dabei im Fahrerassistenzsystem 1a vorhanden, bspw. durch ein Navigationssystem. So kann beispielsweise bei stürmischem Wetter/Sturm bei einer Fahrt des Fahrzeugs 2 (4) entlang einer Küste die Verarbeitungseinheit 7 das Getöse fälschlicherweise als Lawinenabgang einstufen. Unter Zuhilfenahme der Position des Fahrzeugs 2 (4) kann der erste Verifikationsparameter ermittelt werden und ein Lawinenabgang als unwahrscheinlich, das heißt als falsch identifiziert eingestuft werden.
Ferner ist vorzugsweise ein Vibrationssensor 8 am Fahrzeug 2 (4) vorgesehen, welcher konfiguriert ist, ein Vibrationssignal auf Grundlage von gemessenen Vibrationen zu erzeugen. Weiterhin ist das Fahrerassistenzsystem 1a dazu konfiguriert, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung mittels des einen Vibrationssignals einen zweiten Verifikationsparameter zu erstellen, und anhand des zweiten Verifikationsparameters den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung zu verifizieren oder zu falsifizieren.
Insbesondere durch Zuhilfenahme des ersten und des zweiten Verifikationsparameters kann die Wahrscheinlichkeit der richtigen Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung erhöht werden. D.h. die Wahrscheinlichkeit einer falsch-positiven Identifikation kann verringert werden.
Wie in 1 weist das Fahrerassistenzsystem 1a noch ein Kommunikationssystem 4 auf, welches dazu ausgebildet ist, bei einem identifizierten Lawinenabgang oder einem identifizierten drohenden Lawinenabgang oder einer identifizierten gezielten Lawinensprengung ein Informationsdatensignal, welches zumindest die Information über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung umfasst, zu generieren.
Ferner kann das Fahrerassistenzsystem 1a noch eine Anzeigeeinheit 5 und einen Lautsprecher 6 umfassen.
4 zeigt ein erfindungsgemäßes Fahrzeug 2 mit einem erfindungsgemäßen Fahrerassistenzsystem 1,1a. Das Fahrzeug 2 weist ein oder mehrere Sensoren 3 als Detektionseinheit zur Aufnahme der Umfeldgeräusche auf, wobei die Sensoren 3 derart am Fahrzeug 2 angeordnet sind, dass diese zu einem Fahrzeugumfeld nach außen gerichtet sind.
Dabei kann es sich bei den Sensoren 3 um Richtmikrofone oder andere akustische Sensoren handeln, sowie Lidar-/oder Radarsensoren und/oder Bildsensoren. Ferner ist das Fahrerassistenzsystem 1,1a dazu ausgebildet, das Fahrzeug 2 in verschiedenen Betriebsweisen zu steuern, wobei zumindest eine Betriebsweise eine autonome Betriebsweise ist. Weiterhin ist das Fahrerassistenzsystem 1,1a bevorzugt dazu ausgebildet, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung von einer autonomen Betriebsweise des Fahrzeugs 2 in eine manuelle Betriebsweise zu wechseln oder zumindest einen Wechsel zu ermöglichen.
Ferner sind die Sensoren 3 im Fahrzeug 2 dazu ausgebildet, sowohl bei einem Fahrbetrieb und bei einem Fahrzeugstandbetrieb des Fahrzeuges 2 die richtungsabhängigen Umfeldgeräusche zu erfassen. Die Verarbeitungseinheit 7 zum Verarbeiten der Umfeldgeräuschsignale kann anschließend, sowohl bei einem Fahrbetrieb als auch bei einem Fahrzeugstandbetrieb des Fahrzeuges 2 einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung identifizieren. Abhängig von einer positiven Identifikation ist das Fahrerassistenzsystem 1,1a dazu ausgebildet, bei einem Fahrbetrieb und bei einem Fahrzeugstandbetrieb des Fahrzeuges 2 ein Informationsdatensignal, welches zumindest die Informationen über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die identifizierte Richtung umfasst, zu generieren und auszusenden. Dadurch können auch im Fahrzeugstandbetrieb, beispielsweise wenn die Fahrzeuginsassen Skifahren sind, die Positionsdaten mitsamt dem Lawinenabgang an beispielsweise eine Rettungsstation übermittelt werden. Somit kann beispielsweise sofort eine Rettung eingeleitet werden. Auch können andere Fahrzeuge 2 in der Umgebung informiert bzw. gewarnt werden.
Insbesondere wurde erkannt, dass besonders bei einem autonomen Fahrzeug 2 die Möglichkeit fehlt, Lawinen wahrzunehmen und zu orten, da ein gewöhnliches Sensorsystem wie Lidar-/Radar, Bildkamerasystem diese nicht erkennen kann. Ferner fehlt der Fahrzeugführer, um die Lawine zu hören.
Im Fahrzeug 2 selber ist für Passagiere ein Lawinenabgang oder ein drohender Lawinenabgang oder eine gezielte Lawinensprengung als auch die Richtung schwierig zu erkennen, da die autonom fahrenden Fahrzeuge 2 wegen sehr kalten Temperaturen gedämmt sind. Dadurch kann der durch einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung erzeugte Schall nur schwer wahrgenommen werden. Zudem ist gerade bei autonom fahrenden Fahrzeugen 2 die Aufmerksamkeit der Passagiere oftmals nicht auf den Straßenverkehr gerichtet. Wenn die Lawine sichtbar ist, ist es zu spät oder sehr gefährlich.
Durch das erfindungsgemäße Fahrzeug 2 mit dem erfindungsgemäßen Fahrerassistenzsystem 1,1a ist es nun möglich, insbesondere bei autonom fahrenden Fahrzeugen 2 einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung vorzeitig zu identifizieren und sich somit aus der Gefahrenzone zu begeben.
Bezugszeichenliste

1,1a: Fahrerassistenzsystem
2: Fahrzeug
3: Sensoren
4: Kommunikationssystem
5: Anzeigeeinheit
6: Lautsprecher
7: Verarbeitungseinheit
8: Vibrationssensor

Claims

Fahrerassistenzsystem (1,1a) zur Geräuscherfassung und Geräuscherkennung in einem Umfeld eines Fahrzeugs (2) umfassend eine Detektionseinheit, welche konfiguriert ist, um auf Grundlage von erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende richtungsabhängige Umfeldgeräuschsignale zu erzeugen, dadurch gekennzeichnet, dass eine Verarbeitungseinheit (7) zum Verarbeiten der richtungsabhängigen Umfeldgeräuschsignale vorgesehen ist, wobei die Verarbeitungseinheit (7) ein künstliches neuronales Netz und/oder Machine Learning umfasst, wobei das künstliche neuronale Netz und/oder Machine Learning konfiguriert ist, basierend auf einer Vielzahl von Trainingsdaten einen Lawinenabgang oder einen drohenden Lawinenabgang oder eine gezielte Lawinensprengung in den richtungsabhängigen Umfeldgeräuschsignalen richtungsabhängig zu identifizieren.
Fahrerassistenzsystem (1,1a) nach Anspruch 1, dadurch gekennzeichnet, dass bei positiver Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung das Fahrerassistenzsystem (1,1a) dazu ausgebildet ist, ein Informationsdatensignal, welches zumindest eine Information über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die identifizierte Richtung umfasst, zu generieren.
Fahrerassistenzsystem (1,1a) nach Anspruch 2, dadurch gekennzeichnet, dass ein Kommunikationssystem (4) vorgesehen ist, welches dazu ausgebildet ist, das Informationsdatensignal drahtlos auszusenden.
Fahrerassistenzsystem (1,1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (1,1a) dazu ausgebildet ist, bei einem identifizierten Lawinenabgang oder bei einem identifizierten drohenden Lawinenabgang oder bei einer identifizierten gezielten Lawinensprengung aus den richtungsabhängigen Umfeldgeräuschen eine Ortung des Lawinenabgangs oder des drohenden Lawinenabgangs oder der gezielten Lawinensprengung zu bewerkstelligen.
Fahrerassistenzsystem (1,1a) nach Anspruch 4, dadurch gekennzeichnet, dass die Ortung die Distanz und die Richtung ausgehend von dem Fahrzeug (2) umfasst.
Fahrerassistenzsystem (1,1a) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (1,1a) dazu konfiguriert ist, anhand der Ortung eine Steuerung des Fahrzeugs (2) vorzunehmen.
Fahrerassistenzsystem (1,1a) nach einem der vorhergehenden Ansprüche 4 bis 6, dadurch gekennzeichnet, dass eine Anzeigeeinheit (5) und ein Lautsprecher (6) vorgesehen sind und das Fahrerassistenzsystem (1,1a) dazu konfiguriert ist, den identifizierten Lawinenabgang oder den identifizierten drohenden Lawinenabgang oder die identifizierte gezielte Lawinensprengung und die Ortung im Fahrzeug (2) optisch mittels der Anzeigeeinheit und/oder akustisch (2) mittels des Lautsprechers (6) auszugeben.
Fahrerassistenzsystem (1,1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (1,1a) dazu konfiguriert ist, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung einen ersten Verifikationsparameter mittels Navigationsdaten zu erstellen, und anhand des ersten Verifikationsparameters den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung als verifiziert oder falsifiziert anzusehen.
Fahrerassistenzsystem (1,1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz und/oder Machine Learning dazu ausgebildet ist, basierend auf einer Vielzahl von Trainingsdaten, einen Schneelawinenabgang oder einen drohenden Schneelawinenabgang oder eine gezielte Schneelawinensprengung zu identifizieren, wobei die Trainingsdaten umfassen: erste Geräuschsignale, die vor der Sprengung entstehen, zweite Geräuschsignale, die bei einem kontrollierten oder zufälligen Abgang einer Schneelawine entstehen, dritte Geräuschsignale, die vor einem Lawinenabgang entstehen, wobei die zweiten und dritten Geräuschsignale zumindest das Geräuschsignal, wenn die Schneelawine bricht und/oder das Geräuschsignal, wenn die Schneelawine abgeht, umfassen.
Fahrerassistenzsystem (1,1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz und/oder Machine Learning dazu ausgebildet ist, basierend auf einer Vielzahl von Trainingsdaten, einen Murgang oder einen drohenden Murgang zu identifizieren, wobei die Trainingsdaten Geräuschsignale, die bei einem zufälligen Murgang entstehen, umfassen.
Fahrerassistenzsystem (1a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Vibrationssensor (8) vorgesehen ist, welcher konfiguriert ist, ein Vibrationssignal auf Grundlage von gemessenen Vibrationen zu erzeugen und wobei das Fahrerassistenzsystem (1a) dazu konfiguriert ist, bei Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder der gezielten Lawinensprengung einen zweiten Verifikationsparameter mittels des Vibrationssignals zu erstellen, und anhand des zweiten Verifikationsparameters den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung als verifiziert oder falsifiziert anzusehen.
Fahrzeug (2) mit einem Fahrerassistenzsystem (1,1 a) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug (2) als Detektionseinheit Sensoren (3) zur Aufnahme der Umfeldgeräusche aufweist, wobei die Sensoren (3) derart am Fahrzeug (2) angeordnet sind, dass diese zu einem Fahrzeugumfeld nach außen gerichtet sind.
Fahrzeug (2) nach Anspruch 12, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (1,1a) dazu ausgebildet ist, das Fahrzeug (2) in verschiedenen Betriebsweisen zu steuern, wobei zumindest eine Betriebsweise eine autonome Betriebsweise ist.
Fahrzeug (2) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Sensoren (3) dazu ausgebildet sind, sowohl bei einem Fahrbetrieb als auch einem Fahrzeugstandbetrieb des Fahrzeuges (2) die richtungsabhängigen Umfeldgeräusche zu erfassen und auf Grundlage der erfassten richtungsabhängigen Umfeldgeräuschen zugrundeliegende richtungsabhängige Umfeldgeräuschsignale zu erzeugen, wobei die Verarbeitungseinheit (7) zum Verarbeiten der Umfeldgeräuschsignale sowohl bei einem Fahrbetrieb als auch bei einem Fahrzeugstandbetrieb des Fahrzeuges (2) ausgebildet ist, so dass eine Identifikation eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung ermöglicht ist und wobei abhängig von einer positiven Identifikation das Fahrerassistenzsystem (1,1a) dazu ausgebildet ist, sowohl bei einem Fahrbetrieb als auch bei einem Fahrzeugstandbetrieb des Fahrzeuges (2) ein Informationsdatensignal, welches zumindest die Informationen über den Lawinenabgang oder den drohenden Lawinenabgang oder die gezielte Lawinensprengung und die identifizierte Richtung umfasst, zu generieren und auszusenden.
Verfahren zum Betreiben eines Fahrerassistenzsystems (1,1a) nach einem der vorhergehenden Ansprüche 1 bis 11, gekennzeichnet, durch die Schritte: - Erfassen von richtungsabhängigen Umfeldgeräuschen durch eine Detektionseinheit, - Erzeugen von richtungsabhängigen Umfeldgeräuschsignalen auf Grundlage der zugrundeliegenden erfassten richtungsabhängigen Umfeldgeräusche, - Richtungsabhängiges identifizieren eines Lawinenabgangs oder eines drohenden Lawinenabgangs oder einer gezielten Lawinensprengung in den Umfeldgeräuschsignalen durch ein künstliches neuronales Netz und/oder Machine Learning, welches auf einer Vielzahl von Trainingsdaten basiert, in einer Verarbeitungseinheit (7).