-
Die Erfindung betrifft das Gebiet der Unfallmeldesysteme, insbesondere solche Systeme, die das Auftreten eines Unfalls automatisiert erfassen und darüber berichten.
-
Seit April 2018 müssen EU-weit neu zugelassene PKW-Typen mit einer technischen Einrichtung, dem sogenannten eCall-System, zur automatischen Absetzung eines Notrufs (eCall) im Falle eines Unfalls ausgerüstet sein. Das eCall-System erkennt einen Unfall mithilfe von im Fahrzeug verbauten Sensoren, zum Beispiel beim Auslösen des Airbags. Über Mobilfunk wählt das System automatisch die Notrufnummer 112 und stellt eine Sprachverbindung zur zuständigen Rettungsleitstelle her. Über den Sprachkanal wird ein Datensatz an die Leitstelle übermittelt, der wichtige Informationen zum Unfallgeschehen erhält. Hierzu zählen die mittels Satellitennavigation ermittelten Koordinaten des Unfallorts, der Unfallzeitpunkt, der Fahrzeugtyp, Service Provider-ID und eCall-Qualifier (automatisch oder manuell ausgelöst). Optional ist die Übermittlung von Daten von Bord-Sicherheitssystemen, wie z. B. die Art des Treibstoffes und der Zahl der Insassen, ob die Sicherheitsgurte angelegt waren, ob das Fahrzeug sich überschlagen hat, möglich. Rettungskräfte können so schnell und gezielt zum Einsatzort geschickt werden und über geeignete Rettungsmaßnahmen entscheiden, selbst wenn die verunglückte Person bewusstlos ist und keine Angaben zum Unfall machen kann. Eine manuelle Auslösung des eCalls ist ebenso möglich, etwa wenn der Fahrer des Fahrzeugs oder ein Fahrzeuginsasse einen Unfall beobachtet oder aus gesundheitlichen Gründen Hilfe benötigt.
-
Der Fahrzeugtyp des verunfallten Fahrzeugs spielt bei der Entscheidung über geeignete Rettungsmaßnahmen eine wesentliche Rolle. Beispielsweise ist bei Verunfallung eines Schwerlastfahrzeugs zu berücksichtigen, dass eventuell geladene Gefahrgüter das Leben von an dem Unfall beteiligten und umstehenden Personen sowie Rettungskräften gefährden können und/oder dass Gefahrgüter die Umwelt verschmutzen können. Erhält beispielsweise die Leitstelle Informationen über ein Unfallgeschehen, die auf die Beteiligung eines Gefahrguttransporters hindeuten, so kann sie spezielle Anweisungen an die Einsatzkräfte geben oder auch eine Warnung an andere Verkehrsteilnehmer in der Umgebung auslösen, damit diese den Unfallort umfahren, in jedem Fall jedoch vor dessen Erreichen gewarnt werden. Bei einem verunfallten Motorrad muss beachtet werden, dass Motorradunfälle meist andere Verletzungsmuster mit sich bringen als etwa Unfälle mit Personenkraftwagen. So sind bei einem Motorradunfall die Verletzungen am Kopf beziehungsweise im Rückenbereich meistens besonders gravierend.
-
Die deutsche Offenlegungsschrift
DE 10 2006 004 076 A1 offenbart ein Verfahren zur Benachrichtigung einer lokalen Leitstelle beim Absenden eines eCall-Notrufs durch ein Fahrzeug, wobei das Fahrzeug mit einer Vorrichtung zur Positionsbestimmung ausgestattet ist und bei einem Unfall eine Sprachverbindung zu einer Leitstelle über ein Mobilfunknetz aufbaut und zugleich über dasselbe Mobilfunknetz einen Datensatz an einen eCall-Server sendet. Der eCall-Server benachrichtigt basierend auf den Ortsinformationen in dem Datensatz eine lokale Leitstelle, sodass die Rettungsmaßnahmen von der lokalen Leitstelle koordiniert werden können.
-
Aus der deutschen Offenlegungsschrift
DE 10 2017 107 730 A1 ist ein Verfahren und eine Einrichtung zur Informationsbereitstellung bei einem Verkehrsereignis, insbesondere eines Unfalls bekannt. Hierbei wird ein KFZ und/oder, ein LKW und/oder ein anderes Fahrzeug mit einem Notruf-System ausgestattet welches bei Eintreten des Verkehrsereignisses manuell und/oder automatisch ausgelöst wird, wobei zusätzlich zur Übermittlung eines Datensatzes an eine Leitstelle eine automatisierte Analyse des Datensatzes im Hinblick auf für zumindest einen Empfänger relevante Informationen durchgeführt wird und dem zumindest einen Empfänger die für ihn relevanten Informationen vermittels des Kommunikationsnetzwerks zugesendet werden.
-
Die deutsche Offenlegungsschrift
DE 102010053147 A1 offenbart ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs, wobei mittels einer Bilderfassungsvorrichtung Bilddaten der Umgebung des Fahrzeugs erfasst werden, wobei bei einer mittels zumindest einer Sensoreinheit erfassten Erschütterung, insbesondere im Fall einer Kollision des Fahrzeugs, die Bilder der Umgebung automatisch gespeichert werden. Auf diese Weise sind in der Umgebung des Fahrzeugs befindliche Personen, andere Verkehrsteilnehmer und an der Kollision beteiligte Personen und Fahrzeuge erfassbar und als Bilddaten hinterlegbar.
-
Jedoch kann, beispielsweise in dem aus der
DE102010053147 A1 bekannten Verfahren, die Analyse des Unfallgegners mittels Bildanalyse durch Verdeckung durch andere Fahrzeuge oder durch Verschmutzungen der Sensorik, insbesondere bei schlechten Wetterverhältnissen (Regen, Schnee), fehlerhaft sein, so dass durch die Bildanalyse keine relevanten Informationen über den Unfall ableitbar sind.
-
Vor diesem Hintergrund ist die Aufgabe der Erfindung, eine Vorrichtung und ein Verfahren bereitzustellen, welche die Nachteile des Standes der Technik überwinden. Insbesondere sollten die Vorrichtung und das Verfahren dazu geeignet sein, im Falle eines Unfalls relevante Informationen bezüglich der am Unfallgeschehen beteiligten Verkehrsteilnehmer zu erfassen und an eine Leitstelle oder Einsatzzentrale weiterzuleiten.
-
Die Aufgabe wird durch die erfindungsgemäße Vorrichtung nach Anspruch 1, sowie die Merkmale des erfindungsgemäßen Verfahrens gemäß Anspruch 7 gelöst.
-
Weitere bevorzugte Ausführungsformen sind den abhängigen Ansprüchen sowie der nachfolgenden detaillierten Beschreibung und den Figuren zu entnehmen.
-
Die Ausführungsbeispiele zeigen eine Vorrichtung, die dazu eingerichtet ist, während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen zu überführen, welche eine Klassifizierung eines Unfallgegners ermöglichen.
-
Dies hat den Vorteil, dass die erfindungsgemäße Vorrichtung nicht nur Informationen bezüglich des mit der Vorrichtung ausgestatteten verunfallten Fahrzeugs an eine Leitstelle übertragen kann, sondern auch, im Falle eines Unfalls, Information zu anderen an dem Unfallgeschehen beteiligten Verkehrsteilnehmern zu erfassen und diese an die Leitstelle weiterzuleiten.
-
Es wäre vorteilhaft, wenn aufgrund der Informationen in dem Datensatz, welcher durch den eCall-Notruf abgesendet wurde, auch Rückschlüsse auf andere Unfallbeteiligte gezogen werden könnten. Dies hätte den Vorteil, dass die von der Leitstelle hinzugezogenen Rettungskräfte aufgrund detaillierter Informationen bezüglich der Unfallbeteiligten optimal agieren könnten.
-
Bei den aufgenommenen Geräuschen kann es sich insbesondere um Signale ein oder mehrerer Mikrofone handeln und/oder um Schwingungsinformationen, die mittels ein oder mehrerer Körperschallsensoren detektiert wurden.
-
Eine Möglichkeit besteht darin, die akustischen Signale als Geräusche, welche bei der Kollision eines Fahrzeugs mit einem Hindernis auftreten, zu erfassen und auf einen Hindernis-Typ abzubilden bzw. zu klassifizieren. Durch eine entsprechende Geräuschanalyse lassen sich aus den akustischen Abstrahlungen Rückschlüsse auf die jeweiligen Unfallgegner-Typen erhalten, so dass gegebenenfalls entsprechende Maßnahmen ergriffen werden können. Insbesondere ermöglicht die vorliegende Erfindung, zu unterscheiden, ob ein Hindernis, mit welchem das Fahrzeug kollidiert, ein Fußgänger ist oder ein Objekt (anderes Fahrzeug, Baum) ist.
-
Die Vorrichtung kann ferner dazu ausgelegt sein, die gewonnenen Klassifizierungsinformationen an eine Leitstelle zu übermitteln. Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren dienen auf diese Weise beispielsweise der automatisierten Erfassung und Weiterleitung relevanter Informationen bei Auftreten eines Unfalls eines Kraftfahrzeugs an eine Leitstelle, sowie der Auslösung entsprechender Hilfsmaßnahmen durch die Leitstelle. Die Erfindung kann dabei besonders bevorzugt beispielsweise in Personenkraftwagen, Lastkraftwagen, oder auch an Motorrädern eingesetzt werden.
-
Vorzugsweise umfasst die Vorrichtung ein künstliches neuronales Netz, welches dazu ausgelegt ist, während des Unfalls aufgenommene Geräusche in die Klassifizierungsinformationen zu überführen, welche eine Klassifizierung des Unfallgegners ermöglichen. Das künstliches neuronale Netz ist insbesondere durch Trainingsdaten dazu trainiert, aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen zu überführen. Durch die Verwendung von künstlicher Intelligent ist es insbesondere ist es mit der erfindungsgemäßen Vorrichtung möglich, zu unterscheiden und zu bestimmen, ob ein Hindernis, mit welchem ein Fahrzeug kollidiert, ein Fußgänger ist oder ein Objekt und welcher Art das Objekt ist. Zum Beispiel kann es sich bei dem Objekt um ein anderes Personenkraftfahrzeug, um einen Lastkraftwagen, ein Motorrad oder ein Fahrrad handeln.
-
Die Vorrichtung kann ferner dazu ausgelegt sein, die während eines Unfalls aufgenommenen Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen. Beispielsweise können die Audio- bzw. Schwingungssignale in einer bestimmten Zeitspanne vor und nach dem Unfallereignis zur Auswertung an ein externes Gerät oder einen externen Dienst, wie einen Cloud-Dient versandt werden und die Klassifizierung mittels künstlicher Intelligenz wird in dem externen Gerät bzw. von dem externen Dienst vorgenommen.
-
Die Verwendung eines rekurrenten neuronalen Netzes, insbesondere eines LSTMs, hat den Vorteil, dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen.
-
Die Vorrichtung kann ferner dazu eingerichtet sein, einen Windowing-Prozess auf den aufgenommene Geräuschen auszuführen, um Audiodatenfenster der aufgenommenen Geräusche zu erhalten.
-
Die Vorrichtung kann ferner dazu eingerichtet sein, eine spektrale Darstellung eines Audiodatenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.
-
Die Vorrichtung kann ferner dazu eingerichtet sein, eine Klassifizierungsfunktion, insbesondere einen Softmax-Algorithmus oder einen SVM- Algorithmus auf den Ausgabevektor eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen zu erhalten.
-
Die Vorrichtung kann ferner dazu ausgelegt sein, eine Vorhersage eines anstehenden Unfallereignisses zu erkennen.
-
Die Vorrichtung kann ferner dazu ausgelegt sein, mittels ein oder mehrerer Aufprallsensoren ein Unfallereignis zu erkennen.
-
Die Ausführungsbeispiele zeigen auch ein Fahrzeug mit einer akustischen Sensoreinrichtung und einer Vorrichtung, wie sie hier beschrieben ist, die dazu ausgelegt ist, während eines Unfalls des Fahrzeugs mittels der akustischen Sensoreinrichung aufgenommene Geräusche in die Klassifizierungsinformationen zu überführen.
-
Die Ausführungsbeispiele betreffen ferner auch ein Verfahren, bei dem während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen überführt werden, welche eine Klassifizierung eines Unfallsgegners ermöglichen. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln.
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.
- 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
- 2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung.
- 3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit.
- 4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers durch die Sensorverarbeitungseinheit gemäß einem Ausführungsbeispiel der Erfindung.
- 5 zeigt schematisch einen Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal.
- 6 veranschaulicht detailliert den Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal in 5.
- 7 zeigt schematisch das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung.
- 8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers gemäß einem Ausführungsbeispiel der Erfindung.
- 9 zeigt einen Prozess des Trainings eines neuronalen Netzes.
-
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren beschrieben.
-
1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 34 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 34 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein.
-
In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.
-
Die Steuereinheiten 12, 14 und 16 können ferner von den oben genannten Fahrzeugsubsystemen Fahrzeugbetriebsparameter empfangen, die diese mittels einem oder mehreren Fahrzeugsensoren erfassen. Fahrzeugsensoren sind vorzugsweise solche Sensoren, die einen Zustand des Fahrzeugs oder einen Zustand von Fahrzeugteilen erfassen, insbesondere deren Bewegungszustand. Die Sensoren können einen Fahrgeschwindigkeitssensor, einen Gierraten-Sensor, einen Beschleunigungssensor, einen Lenkradwinkelsensor, einen Fahrzeuglastsensor, Temperatursensoren, Drucksensoren und dergleichen umfassen. Beispielsweise können auch Sensoren entlang der Bremsleitung angeordnet sein, um Signale auszugeben, die den Bremsflüssigkeitsdruck an verschiedenen Stellen entlang der hydraulischen Bremsleitung anzeigen. Andere Sensoren in der Nähe des Rades können vorgesehen sein, welche die Radgeschwindigkeit und den Bremsdruck erfassen, der am Rad aufgebracht wird.
-
Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 18 (ECU 4), die beispielsweise in der Lage ist, auf Grundlage von Sensordaten, die von einer nachfolgend beschriebenen akustischen Sensoreinrichtung (Kollisions-Erfassungseinrichtung) 20 und Aufprallsensoren 24 bereitgestellt werden, eine Klassifizierung vorzunehmen, die es ermöglicht, einen am Unfallgeschehen beteiligten Verkehrsteilnehmer einer bestimmten Klasse zuzuordnen und ggf. einen Notruf auszulösen, um das daraus resultierende Klassifizierungssignal an eine Überwachungseinrichtung, beispielsweise eine zuständige Leitstelle zu übertragen.
-
Das Fahrzeug 10 umfasst ferner eine akustische Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 dient dazu, Geräusche, die bei der Kollision des Fahrzeugs mit dem Unfallgegner erzeugt wurden, zu erfassen. Die akustische Sensoreinrichtung 20 umfasst bevorzugt ein oder mehrere an der Außenseite des Fahrzeugs angebrachte akustische Sensoren, die konfiguriert sind, um die bei einem Aufprall auf ein Hindernis oder einen Unfallgegner auftretenden Geräusche zu erfassen. Die Sensoren können beispielsweise an der vorderen oder hinteren Stoßstange oder im Bereich der vorderen Motorhaubenkante angebracht sein. Bei den akustischen Sensoren kann es sich beispielsweise um Mikrofone handeln, die Luftschall detektieren. Alternativ oder zusätzlich kann es sich bei den akustischen Sensoren auch um am oder im Fahrzeug angebrachte Sensoren handeln, die Körperschall detektieren, der durch einen Aufprall entsteht oder beispielsweise durch Auslösen eines Airbags entsteht. Die von den akustischen Sensoren erfassten Geräusche bzw. Schwingungen werden, wie weiter unten beschrieben, mittels künstlicher Intelligenz analysiert, um ein für einen Aufprall auf ein bestimmtes Aufprallobjekt charakteristisches akustisches Muster zu erkennen. Auf diese Weise kann beispielsweise erkannt werden, ob es sich bei dem Aufprallobjekt um einen Personenkraftwagen, einen Lastkraftwagen, ein Motorrad, ein Fahrrad, einen Fußgänger oder dergleichen handelt.
-
Weiterhin umfasst das Fahrzeug 10 ein oder mehrere Aufprallsensoren 24 zur Erfassung einer Kollision des Fahrzeugs 10 mit einem Hindernis. Diese Aufprallsensoren 24 können beispielsweise einen oder mehrere Erschütterungssensoren umfassen, mittels welchen eine Erschütterung des Fahrzeugs 10 erfasst wird. Der Aufprallsensor 24 kann insbesondere als Beschleunigungssensor zur Erfassung einer durch die Kollision verursachten Beschleunigung und/oder als Drucksensor zur Erfassung einer durch die Kollision verursachten Druckerveränderung ausgebildet sein.
-
Weiterhin umfasst das Fahrzeug 10 eine Funkkommunikationsschnittstelle 31, hier insbesondere eine Mobilfunkkommunikationsschnittstelle, die nach dem LTE/UMTS-Standard ausgebildet ist, und die es der Sensorverarbeitungseinheit 18 ermöglicht, mit externen Diensten wie einem Cloud-Dient, insbesondere einem Navigationsdienst und hier insbesondere mit einer externen Notrufleitstelle zu kommunizieren. Hierfür umfasst die Mobilfunkkommunikationsschnittstelle beispielsweise ein Subscriber Identity Module (SIM), mittels dessen sich das Fahrzeug an einem Mobilfunknetz anmelden kann, so dass eine Kommunikation über das Mobilfunknetz, insbesondere eine Notrufleitstelle, möglich wird (soweit ein Mobilfunknetz die Kommunikation mit der Notrufnummer nicht bereits ohne SIM-Authentifizierung erlaubt).
-
Alternativ oder zusätzlich kann eine mit großer Wahrscheinlichkeit bevorstehende Kollision mittels eines akustischen Sensors, insbesondere mit der oben genannten akustischen Sensoreinrichtung 20, vorausgesehen werden. Dieser akustische Sensor kann beispielsweise Geräusche erfassen, die auf eine unmittelbar bevorstehende Kollision hindeuten, wie zum Beispiel das Quietschen der Reifen eines nahenden Fahrzeugs oder dergleichen.
-
Das Fahrzeug 10 umfasst ferner einen oder mehrere Umfeldsensoren 22, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 22 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, UltraschallSensoren, oder dergleichen. Beispielsweise kann eine Kamera in einem vorderen Bereich des Fahrzeugs 10 zur Aufnahme von Bildern eines vor dem Fahrzeug befindlichen Bereichs vorgesehen sein.
-
Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 30 (GNSS-Einheit) zur Erfassung der Position des verunfallten Fahrzeugs. Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen. Die Positionsbestimmung kann ferner dazu verwendet werden, die Position des Fahrzeugs zu einem anderen sich bewegenden Körper zu bestimmen und eine Kollisionsprognose abzugeben, oder um den aktuellen Standort des Fahrzeugs im Falle eines Unfalls zu ermitteln, um diesen an eine Notrufleitstelle zu berichten.
-
Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Diese Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform, und eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.
-
2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 weist ein analoges Frontend auf, das mit Mikrofonen MIC1-MIC4, einer Verstärkereinrichtung 26 und einem Analog-Digital-Wandler (AD-Wandler) 28 ausgestattet ist. Über die Mikrofone MIC1-MIC4 werden akustische Signale beziehungsweise Geräusche erfasst, die bei einem Aufprall auf ein Hindernis auftreten, und durch geeignete Vorverstärkung oder Entzerrung für eine Analog-Digital-Wandlung im AD-Wandler 28 vorbereitet. Der AD-Wandler 28 gibt entsprechende digitale Audiosignale über eine Schnittstelle zum Fahrzeugdatenbus (hier beispielsweise ein CAN-Interface CAN-IF) aus. Die Audiosignale werden über das Bussystem beispielsweise an die Sensorverarbeitungseinheit (18 in 1) übertragen, die eine Klassifizierung des Unfallgegners auf Grundlage der Audiosignale durchführt, wie dies weiter unten beschrieben. Zusätzlich oder alternativ könnte die akustische Sensoreinrichtung 20 auch Körperschallsensoren umfassen, die dazu ausgelegt sind, Körperschall zu detektieren, der durch einen Aufprall oder beispielsweise durch Auslösen eines Airbags entsteht.
-
Im Ausführungsbeispiel der 2 werden die Audiosignale bzw. Schwingungssignale in digitaler Form über den Fahrzeugbus übertragen. In alternativen Ausführungsformen könnten die Mikrofone auch direkt an die Sensorverarbeitungseinheit angeschlossen sein und die Analog/Digital-Wandlung könnte in einem Audiointerface innerhalb der Sensorverarbeitungseinheit stattfinden.
-
3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 18. Alle Bestandteile der Sensorverarbeitungseinheit 18 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 18 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47. Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln, das ein Deep Neural Network (DNN) hardwaremäßig implementiert. Die Sensorverarbeitungseinheit 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (34 in 2) kommunizieren kann, hier insbesondere um akustische Sensorsignale (Audiodaten von Mikrofonen bzw. Schwingungsdaten von Körperschallsensoren) von der akustischen Sensoreinrichtung (20 in 1) zu empfangen und um Notrufe über eine Funkkommunikationsschnittstelle (31 in 1) abzusetzen.
-
In dem Ausführungsbeispiel der 1 ist die Funkkommunikationsschnittstelle 31 über das Fahrzeugbussystem 34 mit der Sensorverarbeitungseinheit 18 gekoppelt. In alternativen Ausführungsbeispielen könnte die Sensorverarbeitungseinheit 18 jedoch auch eine integrierte Funkkommunikationsschnittstelle aufweisen, so dass keine Kommunikation über das Fahrzeugbussystem 34 erforderlich ist.
-
4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers mittels künstlicher Intelligenz gemäß einem Ausführungsbeispiel. Der Klassifizierungsprozess wird beispielsweise von einer Sensorverarbeitungseinheit (18 in 1) insbesondere von einem Prozessor (41 in 3) oder einem anwendungsspezifischen integrierten Schaltkreis (47 in 3) der Sensorverarbeitungseinheit ausgeführt. In einem Schritt 402 werden akustische Sensorsignale 400, die von einer akustischen Sensoreinrichtung (20 in 1) erfasst wurden, in ein Deep Neuronal Network (DNN) eingespeist, das darauf trainiert wurde, die Klasse eines am Unfallgeschehen beteiligten Verkehrsteilnehmers aus den akustischen Sensorsignalen zu erkennen. Das neuronale Netzwerk (siehe 5 und die zugehörige Beschreibung) gibt dann die mittels künstlicher Intelligenz auf Grundlage des Trainingsprozesses gewonnen Klassifizierungsinformationen 404 bezüglich dem Unfallereignis aus. Die Klassifizierungsinformationen 404 umfassen beispielsweise Klassifizierungssignale, welche Wahrscheinlichkeiten für die Klasse des Unfallgegners (Mensch, Fahrrad, Motorrad, PKW, LKW) anzeigen, wie dies unten unter Bezug auf 7 näher beschrieben ist.
-
Bei der Erkennung eines Zusammenpralls mit einer Person kann die Analyse der von der akustischen Sensoreinrichtung 20 erfassten Geräusche in Schritt 402 auch Aufschluss darüber geben, ob ein zusätzlicher fahrbarer Untersatz in den Aufprall involviert ist, wie zum Beispiel ein Fahrrad, ein Roller, ein Skateboard oder dergleichen. Darüber hinaus ist es auch möglich, anhand der bei einem Aufprall erfassten Geräusche Rückschlüsse auf die Unfallschwere (leichter Blechschaden, Totalschaden) zu ziehen und somit auf die Schadensschwere beim Unfallgegner. Des Weiteren ermöglicht die Analyse der erfassten Geräusche die Erkennung von Glasbruch, was auf Schnittverletzungen bei den Unfallbeteiligten hindeuten kann, so dass Hilfsmaßnahmen zielgerichtet eingeleitet werden können. Die akustische Sensoreinrichtung 20 wird in 2 ausführlicher beschrieben.
-
5 zeigt ein Ausführungsbeispiel des Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers mittels künstlicher Intelligenz der 4 anhand von Audiodaten. Ein Windowing-Prozess 21 wird auf einem Audioeingangssignal x(n) durchgeführt um Audio-Rahmen zu erhalten. Die Audio-Rahmen überlappen sich typischerweise, z.B. mit einer Überlappungsrate von z.B. 20%. Die Audio-Rahmen werden einem Mel-Frequenz-Cepstrum (MFC) -Prozess 22 zugeführt, der für jeden Audio-Rahmen einen Satz von Mel-Frequenz-Cepstrum-Koeffizienten MFCC(n) erzeugt. Die Mel-Frequenz-Cepstrum-Technik ist dem Fachmann der Klangverarbeitung bekannt als eine Darstellung des kurzfristigen Leistungsspektrums eines Klangs, basierend auf einer linearen Cosinustransformation eines Leistungsspektrums auf einer nichtlinearen Mel-Skala. Das Mel-Frequenzcepstrum MFCC(n) wird einem Deep Neural Network (DNN) des Typs Long-Short-Term-Memory (LSTM) zugeführt, das mittels Trainingsdaten dazu trainiert wurde, eine Audioklassifizierung durchzuführen, wie dies unten in Bezug auf 9 näher beschrieben ist. Das LSTM hat den Vorteil, dass es Feedback-Connections und einen internen Speicher aufweist, so dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen. Auf die Ausgabe der Ausgabeschicht des LSTM eine Softmax-Funktion 53 angewandt, um die Aktivierungen der Ausgabeschicht zu normieren. Die Softmax-Funktion 53 erzeugt eine Wahrscheinlichkeitsverteilung der Ausgaben. Der Ausgabe-Vektor liefert eine Wahrscheinlichkeitsverteilung zwischen sich gegenseitig ausschließenden Klassen, indem die Ausgabe der anderen Neuronen im selben Layer berücksichtigt wird. Die Summe aller Ausgänge einer Softmax-Ausgabe ist dadurch auf 1 normiert. Diese Normalisierung mittels der Softmax-Funktion gewichtet die Ausgaben für die jeweilige Objektklasse in Bezug auf die Summe über alle Objektklassen. So wird eine direkte Einteilung in verschiedene Klassen ermöglicht, indem jeder Klasse genau ein Ausgabeneuron zugeteilt wird. Die Klasse mit der höchsten Aktivierung ist die wahrscheinlichste Vorrausage des Netzwerks. Auf diese Weise hat eine starke Vorhersage für eine Klasse (P = 1) automatisch zur Folge, dass die Vorhersagen für die restlichen Klassen nahe 0 sind.
-
Im Ausführungsbeispiel der 5 findet als Realisierung des DNN (402 in 4) ein LSTM als Spezialfall eines rekurrentes neuronalen Netzes (Recurrent Neural Networks = RNN) Anwendung. Alternativ können allerdings auch andere DNN-Architekturen, insbesondere RNN-Architekturen für die Audioklassifizierung verwendet werden, beispielsweise solche, die auf Gated-Recurrent-Units (GRUs) basieren.
-
In 5 wird zur schematischen Darstellung des Prinzips der Erfindung dem neuronalen Netz nur ein Spektrogramm zugeführt. Stehen akustische Signale von mehreren Sensoren zur Verfügung, kann für jedes Signal eines Sensors ein jeweiliges Spektrogramm ermittelt werden und das neuronale Netz so ausgelegt werden, dass es mehrere Spektrogramme parallel als Eingangsgrößen entgegennimmt. Entsprechend wird das neuronale Netz auch in der Trainingsphase mit Spektrogrammen korrespondierender Sensoren trainiert.
-
Ferner wird im Ausführungsbeispiel der 5 das Audiosignal dem neuronalen Netz in Form eines Mel-Frequenz-Cepstrum zugeführt. In alternativen Ausführungsbeispielen können statt dem Mel-Frequenz-Cepstrum auch andere Darstellungen des Audiosignals gewählt werden, wie beispielsweise ein normales Cepstrum, oder ein gebinntes Fourier-Spektrum. Die Vorverarbeitung der Audiosignale durch Ermittlung eines Spektrums hat im Allgemeinen den Vorteil, dass die Klang-Informationen auf wesentliche Informationen reduziert wird und damit die Verarbeitung durch das neuronale Netzwerk vereinfacht wird. Auf solch eine Vorverarbeitung kann in alternativen Ausführungsformen auch ganz verzichtet werden und stattdessen die Audiodaten eines Audiofensters direkt dem neuronalen Netzwerk zugeführt werden.
-
Obgleich der Prozess der 5 anhand von Audiodaten beschrieben ist, kann der Prozess entsprechend auch auf andere Sensordaten angewandt werden, wie beispielsweise auf akustische Informationen, die von Körperschallsensoren geliefert werden.
-
Für die Klassifizierung können statt der Softmax-Funktion 53 auch andere Klassifizierer verwendet werden, beispielsweise ein SVM-Klassifizierer (SVM = Support Vector Machine), wie dies durch B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers," in Proc. COLT, 1992, S. 144-152.
-
6 veranschaulicht detaillierter den Prozess, der von dem künstlichen neuronalen Netz der 5 durchgeführt wird. Die Mel-Frequenz-Cepstrum-Koeffizienten der Audio-Fenster bilden eine Folge von Feature-Vektoren MFCC1(n), MFCC2(n), ... MFCC1(n), die iterativ in das DNN eingegeben werden, wie dies beispielsweise durch Huy Phan et al in „Audio Scene Classification with Deep Recurrent Neural Networks“, arXiv:1703.04770v2 [cs.SD] 5 Jun 2017 näher beschrieben ist. Das DNN besteht aus LSTM-Einheiten LSTM-1 bis LSTM-L (oder alternativ GRU-Einheiten), die in Schichten 1 bis L angeordnet sind. Das DNN iteriert über die Mel-Vektoren MFCC1(n), MFCC2(n), ... MFCCT(n) und berechnet eine Folge von versteckten Zustandsvektoren h1i, h2 i, ...., hT i, i = 1, ..., T. Jede LSTM-Einheit empfängt einen versteckten Zustand von der vorherigen Einheit und gibt ihn sowie seinen eigenen versteckten Zustand aus. Der Ausgabevektor O des DNN wird dann aus den versteckten Zuständen der letzten Schicht L nach der letzten Iteration T bestimmt. Diese Ausgabe wird, wie in 5 beschrieben, einer Klassifizierungsfunktion zugeführt, um normalisierte Aussagen über die Wahrscheinlichkeitsverteilung bezüglich der vordefinierten Audioklassen zu erhalten.
-
Ein neuronales Netz kann auch, wie oben zu 5 bereits beschrieben, dazu ausgelegt sein, die Sensorsignale mehrerer Sensoren auszuwerten. In diesem Fall sind LSTM-Einheiten entsprechend so dimensioniert, dass sie die Fenster mehrerer Sensoren parallel entgegennehmen.
-
7 zeigt schematisch als Ausführungsbeispiel das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung. Der Ausgabevektor O des DNN, wie er durch den Prozess der 6 erhalten wurde, wird einer Softmax-Funktion 53 zugeführt. Die Softmax-Funktion 53 transformiert den Ausgabevektor O in einen Wahrscheinlichkeitswert P1 = 0.7 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp Fahrrad), einen Wahrscheinlichkeitswert P2 = 0.2 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp Motorrad), einen Wahrscheinlichkeitswert P3 = 0.08 für eine dritte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp PKW) und einen Wahrscheinlichkeitswert P4 = 0.7 für eine vierte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem vierten Objekttyp stattgefunden hat (beispielsweise Objekttyp LKW).
-
8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers gemäß einem Ausführungsbeispiel der Erfindung unter Verwendung der oben beschriebenen erfindungsgemäßen Vorrichtung. In einem Schritt S800 wird bestimmt, ob eine Kollision vorhergesagt wird.
-
Dies geschieht beispielsweise durch Erfassen und Auswerten von Bildern oder Geräuschen, die auf eine unmittelbar bevorstehende Kollision hindeuten, mittels akustischer oder visueller Umfeldsensoren (22 in 1). Wird in Schritt S800 keine Kollision vorausgesagt, so wird der Schritt erneut durchgeführt, solange bis eine bevorstehende Kollision vorhergesagt wird. Wird hingegen in Schritt S800 eine Kollision vorausgesagt, so geht das Verfahren zu einem Schritt S802 über. In dem Schritt S802 wird der Klassifizierungsvorgang initiiert. In einem Schritt S804 wird bestimmt, ob eine Kollision tatsächlich erkannt wird. Dies geschieht beispielsweise durch die Aufprallsensoreinrichtung (24 in 1). Wird in Schritt S804 keine tatsächliche Kollision erkannt, so wird der Vorgang abgebrochen. Dies bedeutet, dass in Schritt S800 eine falsche Vorhersage getroffen wurde. Wird hingegen in Schritt S804 eine tatsächliche Kollision erkannt, so werden akustische Signale, die zwischen einem festgelegten Zeitpunkt unmittelbar vor dem Aufprall (z.B. drei Sekunden vor dem Aufprall) und einem festgelegten Zeitpunkt unmittelbar nach dem Aufprall (z.B. drei Sekunden nach dem Aufprall) von der akustischen Sensoreinrichtung (20 in 1) erfasst wurden, von der Sensorverarbeitungseinheit des Fahrzeugs (18 in 1) ausgewertet, oder in Form eines Soundfiles an einen externes Gerät in einer Cloud übertragen und dort (entweder in der Sensorverarbeitungseinheit des Fahrzeugs oder durch den Cloud-Dienst) in einem Schritt S806 ausgewertet, wie dies oben unter Bezugnahme auf die 4 bis 7 beschrieben wurde. In dem Schritt S806 wird die Klasse des Unfallgegners durch die Sensorverarbeitungseinheit (18 in 1) bzw. durch den Cloud-Dienst bestimmt. Das Ergebnis der Klassifizierung aus Schritt S806 wird dann in einem Schritt S808 von der Sensorverarbeitungseinheit des Fahrzeugs bzw. dem Cloud-Dienst per Notruf übertragen, insbesondere an eine zuständige Leitstelle. Die Leitstelle wertet die relevanten Informationen aus und leitet adäquate Hilfsmaßnahmen ein.
-
Der Schritt S802, die Initiierung des Klassifizierungsvorgangs, kann beispielsweise umfassen, dass eine Aufzeichnung der Signale der akustischen Sensoreinrichtung (20 in 1) in einem Zwischenspeicher gestartet wird. Alternativ kann auch eine Aufzeichnung der akustischen Signale der akustischen Sensoreinrichtung auch ständig in einem Zwischenspeicher ständig erfolgen, wobei der Zwischenspeicher dazu ausgelegt ist, eine bestimmte Menge and Daten und damit eine bestimmte zeitliche Länge an Audio- bzw. Schwingungsdaten zu speichern. Beispielsweise könnten auf diese Weise ständig die Daten der letzten sechs Sekunden, zehn Sekunden, oder mehr vorgehalten werden, so dass diese für die Klassifizierung mittels künstlicher Intelligenz zur Verfügung stehen. In solch einem Fall kann auf die Initiierung des Klassifizierungsvorgangs in Schritt S802 bzw. die Prädiktion eines Unfallereignisses in Schritt S800 auch verzichtet werden.
-
9 zeigt einen Prozess des Trainings eines neuronalen Netzes, so dass dieses die Klassifizierung vornehmen kann, wie dies in den 5, 6 und 7 beschrieben ist. Damit eine Sensorverarbeitungseinheit 18 eine automatische Klassifizierung des oder der Unfallgegner durchführen kann, werden in einem Schritt 901 die in reellen Unfällen oder beispielsweise bei Crashtests auftretenden Geräusche zunächst erfasst, gesammelt und in einem manuellen Klassifizierungsschritt 902 manuell klassifiziert, um in einem Schritt 903 auf Grundlage der erfassten Geräusche und der manuell erhaltenen Klassifizierungen einen Satz an Trainingsdaten zu erzeugen. In einem Schritt 904 wird ein künstliches neuronales Netz mit dem Trainingsdatensatz trainiert, um ein auf die Klassifierung trainiertes neuronales Netz zu erzeugen. Hinsichtlich dieses Trainingsprozesses kann der Fachmann auf beliebige bekannte Techniken zurückgreifen, wie beispielhaft den ursprünglichen Trainingsmechanismus für LSTMs, wie er von Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks" im Journal of Machine Learning Research 3 (2002), 115-143 beschrieben wurde und der auf einem Gradientenverfahren beruht, mittels dem die Gewichte der LSTM-Einheiten eingestellt werden. Während dieses Trainingsprozesses wird dem neuronalen Netz vorzugsweise eine große Anzahl von Beispielen (Trainingsdaten) präsentiert. Beispielsweise werden mehrmals die bei einer tatsächlich auftretenden Kollision mit einem Fußgänger, einem Fahrrad, einem Motorrad, einem Personenkraftwagen und einem Lastkraftwagen verursachten Geräusche erfasst und dem jeweiligen Unfallgegner manuell zugeordnet. Alternativ können die für eine Kollision typischen Geräusche auch in Crashtests künstlich erzeugt werden. Auf diese Weise werden Geräusche, die für eine jeweilige Situation, in diesem Fall eine Kollision mit einem bestimmten Verkehrsteilnehmer, charakteristisch sind, der dieser Situation entsprechenden Klasse zugeordnet. Diese Zuordnungen werden vom neuronalen Netz gelernt und können dann bei dem Klassifizierungsprozess durch das neuronale Netzwerk verwendet.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- Steuereinheit Bremssystem
- 14
- Steuereinheit Antriebsstrang
- 16
- Steuereinheit Lenksystem
- 18
- Sensorverarbeitungseinheit
- 20
- akustische Sensoreinrichtung
- 22
- Umfeldsensoren
- 24
- Aufprallsensor
- 26
- Verstärkereinrichtung
- 28
- Analog-Digital-Wandler
- 30
- Satellitennavigationseinheit
- 31
- Funkkommunikationsschnittstelle 31 (LTE/UMTS)
- 32
- Benutzerschnittstelle
- 34
- Fahrzeugkommunikationsnetzwerk
- 41
- Prozessor
- 42
- Direktzugriffsspeicher
- 43
- Nur-Lese-Speicher
- 47
- integrierter Schaltkreis
- 45
- Kommunikationsschnittstelle
- 46
- internes Kommunikationsnetzwerk
- 50
- Windowing
- 51
- Mel-Spektrogramm
- 52
- LSTM
- 53
- Softmax
- LSTM-1
- LSTM-Einheit der ersten Schicht
- LSTM-2
- LSTM-Einheit der zweiten Schicht
- LSTM-L
- LSTM-Einheit der letzten Schicht
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102006004076 A1 [0004]
- DE 102017107730 A1 [0005]
- DE 102010053147 A1 [0006, 0007]
-
Zitierte Nicht-Patentliteratur
-
- B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers,“ in Proc. COLT, 1992, S. 144-152 [0051]
- Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks“ im Journal of Machine Learning Research 3 (2002), 115-143 [0058]