DE102019218069A1 - Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners - Google Patents

Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners Download PDF

Info

Publication number
DE102019218069A1
DE102019218069A1 DE102019218069.8A DE102019218069A DE102019218069A1 DE 102019218069 A1 DE102019218069 A1 DE 102019218069A1 DE 102019218069 A DE102019218069 A DE 102019218069A DE 102019218069 A1 DE102019218069 A1 DE 102019218069A1
Authority
DE
Germany
Prior art keywords
accident
vehicle
neural network
sensors
noises
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019218069.8A
Other languages
English (en)
Inventor
Stefan Beller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019218069.8A priority Critical patent/DE102019218069A1/de
Publication of DE102019218069A1 publication Critical patent/DE102019218069A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016Personal emergency signalling and security systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorrichtung (18), die dazu eingerichtet ist, während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Unfallsgegners ermöglichen.

Description

  • Die Erfindung betrifft das Gebiet der Unfallmeldesysteme, insbesondere solche Systeme, die das Auftreten eines Unfalls automatisiert erfassen und darüber berichten.
  • Seit April 2018 müssen EU-weit neu zugelassene PKW-Typen mit einer technischen Einrichtung, dem sogenannten eCall-System, zur automatischen Absetzung eines Notrufs (eCall) im Falle eines Unfalls ausgerüstet sein. Das eCall-System erkennt einen Unfall mithilfe von im Fahrzeug verbauten Sensoren, zum Beispiel beim Auslösen des Airbags. Über Mobilfunk wählt das System automatisch die Notrufnummer 112 und stellt eine Sprachverbindung zur zuständigen Rettungsleitstelle her. Über den Sprachkanal wird ein Datensatz an die Leitstelle übermittelt, der wichtige Informationen zum Unfallgeschehen erhält. Hierzu zählen die mittels Satellitennavigation ermittelten Koordinaten des Unfallorts, der Unfallzeitpunkt, der Fahrzeugtyp, Service Provider-ID und eCall-Qualifier (automatisch oder manuell ausgelöst). Optional ist die Übermittlung von Daten von Bord-Sicherheitssystemen, wie z. B. die Art des Treibstoffes und der Zahl der Insassen, ob die Sicherheitsgurte angelegt waren, ob das Fahrzeug sich überschlagen hat, möglich. Rettungskräfte können so schnell und gezielt zum Einsatzort geschickt werden und über geeignete Rettungsmaßnahmen entscheiden, selbst wenn die verunglückte Person bewusstlos ist und keine Angaben zum Unfall machen kann. Eine manuelle Auslösung des eCalls ist ebenso möglich, etwa wenn der Fahrer des Fahrzeugs oder ein Fahrzeuginsasse einen Unfall beobachtet oder aus gesundheitlichen Gründen Hilfe benötigt.
  • Der Fahrzeugtyp des verunfallten Fahrzeugs spielt bei der Entscheidung über geeignete Rettungsmaßnahmen eine wesentliche Rolle. Beispielsweise ist bei Verunfallung eines Schwerlastfahrzeugs zu berücksichtigen, dass eventuell geladene Gefahrgüter das Leben von an dem Unfall beteiligten und umstehenden Personen sowie Rettungskräften gefährden können und/oder dass Gefahrgüter die Umwelt verschmutzen können. Erhält beispielsweise die Leitstelle Informationen über ein Unfallgeschehen, die auf die Beteiligung eines Gefahrguttransporters hindeuten, so kann sie spezielle Anweisungen an die Einsatzkräfte geben oder auch eine Warnung an andere Verkehrsteilnehmer in der Umgebung auslösen, damit diese den Unfallort umfahren, in jedem Fall jedoch vor dessen Erreichen gewarnt werden. Bei einem verunfallten Motorrad muss beachtet werden, dass Motorradunfälle meist andere Verletzungsmuster mit sich bringen als etwa Unfälle mit Personenkraftwagen. So sind bei einem Motorradunfall die Verletzungen am Kopf beziehungsweise im Rückenbereich meistens besonders gravierend.
  • Die deutsche Offenlegungsschrift DE 10 2006 004 076 A1 offenbart ein Verfahren zur Benachrichtigung einer lokalen Leitstelle beim Absenden eines eCall-Notrufs durch ein Fahrzeug, wobei das Fahrzeug mit einer Vorrichtung zur Positionsbestimmung ausgestattet ist und bei einem Unfall eine Sprachverbindung zu einer Leitstelle über ein Mobilfunknetz aufbaut und zugleich über dasselbe Mobilfunknetz einen Datensatz an einen eCall-Server sendet. Der eCall-Server benachrichtigt basierend auf den Ortsinformationen in dem Datensatz eine lokale Leitstelle, sodass die Rettungsmaßnahmen von der lokalen Leitstelle koordiniert werden können.
  • Aus der deutschen Offenlegungsschrift DE 10 2017 107 730 A1 ist ein Verfahren und eine Einrichtung zur Informationsbereitstellung bei einem Verkehrsereignis, insbesondere eines Unfalls bekannt. Hierbei wird ein KFZ und/oder, ein LKW und/oder ein anderes Fahrzeug mit einem Notruf-System ausgestattet welches bei Eintreten des Verkehrsereignisses manuell und/oder automatisch ausgelöst wird, wobei zusätzlich zur Übermittlung eines Datensatzes an eine Leitstelle eine automatisierte Analyse des Datensatzes im Hinblick auf für zumindest einen Empfänger relevante Informationen durchgeführt wird und dem zumindest einen Empfänger die für ihn relevanten Informationen vermittels des Kommunikationsnetzwerks zugesendet werden.
  • Die deutsche Offenlegungsschrift DE 102010053147 A1 offenbart ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs, wobei mittels einer Bilderfassungsvorrichtung Bilddaten der Umgebung des Fahrzeugs erfasst werden, wobei bei einer mittels zumindest einer Sensoreinheit erfassten Erschütterung, insbesondere im Fall einer Kollision des Fahrzeugs, die Bilder der Umgebung automatisch gespeichert werden. Auf diese Weise sind in der Umgebung des Fahrzeugs befindliche Personen, andere Verkehrsteilnehmer und an der Kollision beteiligte Personen und Fahrzeuge erfassbar und als Bilddaten hinterlegbar.
  • Jedoch kann, beispielsweise in dem aus der DE102010053147 A1 bekannten Verfahren, die Analyse des Unfallgegners mittels Bildanalyse durch Verdeckung durch andere Fahrzeuge oder durch Verschmutzungen der Sensorik, insbesondere bei schlechten Wetterverhältnissen (Regen, Schnee), fehlerhaft sein, so dass durch die Bildanalyse keine relevanten Informationen über den Unfall ableitbar sind.
  • Vor diesem Hintergrund ist die Aufgabe der Erfindung, eine Vorrichtung und ein Verfahren bereitzustellen, welche die Nachteile des Standes der Technik überwinden. Insbesondere sollten die Vorrichtung und das Verfahren dazu geeignet sein, im Falle eines Unfalls relevante Informationen bezüglich der am Unfallgeschehen beteiligten Verkehrsteilnehmer zu erfassen und an eine Leitstelle oder Einsatzzentrale weiterzuleiten.
  • Die Aufgabe wird durch die erfindungsgemäße Vorrichtung nach Anspruch 1, sowie die Merkmale des erfindungsgemäßen Verfahrens gemäß Anspruch 7 gelöst.
  • Weitere bevorzugte Ausführungsformen sind den abhängigen Ansprüchen sowie der nachfolgenden detaillierten Beschreibung und den Figuren zu entnehmen.
  • Die Ausführungsbeispiele zeigen eine Vorrichtung, die dazu eingerichtet ist, während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen zu überführen, welche eine Klassifizierung eines Unfallgegners ermöglichen.
  • Dies hat den Vorteil, dass die erfindungsgemäße Vorrichtung nicht nur Informationen bezüglich des mit der Vorrichtung ausgestatteten verunfallten Fahrzeugs an eine Leitstelle übertragen kann, sondern auch, im Falle eines Unfalls, Information zu anderen an dem Unfallgeschehen beteiligten Verkehrsteilnehmern zu erfassen und diese an die Leitstelle weiterzuleiten.
  • Es wäre vorteilhaft, wenn aufgrund der Informationen in dem Datensatz, welcher durch den eCall-Notruf abgesendet wurde, auch Rückschlüsse auf andere Unfallbeteiligte gezogen werden könnten. Dies hätte den Vorteil, dass die von der Leitstelle hinzugezogenen Rettungskräfte aufgrund detaillierter Informationen bezüglich der Unfallbeteiligten optimal agieren könnten.
  • Bei den aufgenommenen Geräuschen kann es sich insbesondere um Signale ein oder mehrerer Mikrofone handeln und/oder um Schwingungsinformationen, die mittels ein oder mehrerer Körperschallsensoren detektiert wurden.
  • Eine Möglichkeit besteht darin, die akustischen Signale als Geräusche, welche bei der Kollision eines Fahrzeugs mit einem Hindernis auftreten, zu erfassen und auf einen Hindernis-Typ abzubilden bzw. zu klassifizieren. Durch eine entsprechende Geräuschanalyse lassen sich aus den akustischen Abstrahlungen Rückschlüsse auf die jeweiligen Unfallgegner-Typen erhalten, so dass gegebenenfalls entsprechende Maßnahmen ergriffen werden können. Insbesondere ermöglicht die vorliegende Erfindung, zu unterscheiden, ob ein Hindernis, mit welchem das Fahrzeug kollidiert, ein Fußgänger ist oder ein Objekt (anderes Fahrzeug, Baum) ist.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, die gewonnenen Klassifizierungsinformationen an eine Leitstelle zu übermitteln. Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren dienen auf diese Weise beispielsweise der automatisierten Erfassung und Weiterleitung relevanter Informationen bei Auftreten eines Unfalls eines Kraftfahrzeugs an eine Leitstelle, sowie der Auslösung entsprechender Hilfsmaßnahmen durch die Leitstelle. Die Erfindung kann dabei besonders bevorzugt beispielsweise in Personenkraftwagen, Lastkraftwagen, oder auch an Motorrädern eingesetzt werden.
  • Vorzugsweise umfasst die Vorrichtung ein künstliches neuronales Netz, welches dazu ausgelegt ist, während des Unfalls aufgenommene Geräusche in die Klassifizierungsinformationen zu überführen, welche eine Klassifizierung des Unfallgegners ermöglichen. Das künstliches neuronale Netz ist insbesondere durch Trainingsdaten dazu trainiert, aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen zu überführen. Durch die Verwendung von künstlicher Intelligent ist es insbesondere ist es mit der erfindungsgemäßen Vorrichtung möglich, zu unterscheiden und zu bestimmen, ob ein Hindernis, mit welchem ein Fahrzeug kollidiert, ein Fußgänger ist oder ein Objekt und welcher Art das Objekt ist. Zum Beispiel kann es sich bei dem Objekt um ein anderes Personenkraftfahrzeug, um einen Lastkraftwagen, ein Motorrad oder ein Fahrrad handeln.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, die während eines Unfalls aufgenommenen Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen. Beispielsweise können die Audio- bzw. Schwingungssignale in einer bestimmten Zeitspanne vor und nach dem Unfallereignis zur Auswertung an ein externes Gerät oder einen externen Dienst, wie einen Cloud-Dient versandt werden und die Klassifizierung mittels künstlicher Intelligenz wird in dem externen Gerät bzw. von dem externen Dienst vorgenommen.
  • Die Verwendung eines rekurrenten neuronalen Netzes, insbesondere eines LSTMs, hat den Vorteil, dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen.
  • Die Vorrichtung kann ferner dazu eingerichtet sein, einen Windowing-Prozess auf den aufgenommene Geräuschen auszuführen, um Audiodatenfenster der aufgenommenen Geräusche zu erhalten.
  • Die Vorrichtung kann ferner dazu eingerichtet sein, eine spektrale Darstellung eines Audiodatenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.
  • Die Vorrichtung kann ferner dazu eingerichtet sein, eine Klassifizierungsfunktion, insbesondere einen Softmax-Algorithmus oder einen SVM- Algorithmus auf den Ausgabevektor eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen zu erhalten.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, eine Vorhersage eines anstehenden Unfallereignisses zu erkennen.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, mittels ein oder mehrerer Aufprallsensoren ein Unfallereignis zu erkennen.
  • Die Ausführungsbeispiele zeigen auch ein Fahrzeug mit einer akustischen Sensoreinrichtung und einer Vorrichtung, wie sie hier beschrieben ist, die dazu ausgelegt ist, während eines Unfalls des Fahrzeugs mittels der akustischen Sensoreinrichung aufgenommene Geräusche in die Klassifizierungsinformationen zu überführen.
  • Die Ausführungsbeispiele betreffen ferner auch ein Verfahren, bei dem während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen überführt werden, welche eine Klassifizierung eines Unfallsgegners ermöglichen. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln.
  • Figurenliste
  • Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.
    • 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
    • 2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung.
    • 3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit.
    • 4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers durch die Sensorverarbeitungseinheit gemäß einem Ausführungsbeispiel der Erfindung.
    • 5 zeigt schematisch einen Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal.
    • 6 veranschaulicht detailliert den Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal in 5.
    • 7 zeigt schematisch das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung.
    • 8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers gemäß einem Ausführungsbeispiel der Erfindung.
    • 9 zeigt einen Prozess des Trainings eines neuronalen Netzes.
  • Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren beschrieben.
  • 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 34 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 34 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein.
  • In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.
  • Die Steuereinheiten 12, 14 und 16 können ferner von den oben genannten Fahrzeugsubsystemen Fahrzeugbetriebsparameter empfangen, die diese mittels einem oder mehreren Fahrzeugsensoren erfassen. Fahrzeugsensoren sind vorzugsweise solche Sensoren, die einen Zustand des Fahrzeugs oder einen Zustand von Fahrzeugteilen erfassen, insbesondere deren Bewegungszustand. Die Sensoren können einen Fahrgeschwindigkeitssensor, einen Gierraten-Sensor, einen Beschleunigungssensor, einen Lenkradwinkelsensor, einen Fahrzeuglastsensor, Temperatursensoren, Drucksensoren und dergleichen umfassen. Beispielsweise können auch Sensoren entlang der Bremsleitung angeordnet sein, um Signale auszugeben, die den Bremsflüssigkeitsdruck an verschiedenen Stellen entlang der hydraulischen Bremsleitung anzeigen. Andere Sensoren in der Nähe des Rades können vorgesehen sein, welche die Radgeschwindigkeit und den Bremsdruck erfassen, der am Rad aufgebracht wird.
  • Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 18 (ECU 4), die beispielsweise in der Lage ist, auf Grundlage von Sensordaten, die von einer nachfolgend beschriebenen akustischen Sensoreinrichtung (Kollisions-Erfassungseinrichtung) 20 und Aufprallsensoren 24 bereitgestellt werden, eine Klassifizierung vorzunehmen, die es ermöglicht, einen am Unfallgeschehen beteiligten Verkehrsteilnehmer einer bestimmten Klasse zuzuordnen und ggf. einen Notruf auszulösen, um das daraus resultierende Klassifizierungssignal an eine Überwachungseinrichtung, beispielsweise eine zuständige Leitstelle zu übertragen.
  • Das Fahrzeug 10 umfasst ferner eine akustische Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 dient dazu, Geräusche, die bei der Kollision des Fahrzeugs mit dem Unfallgegner erzeugt wurden, zu erfassen. Die akustische Sensoreinrichtung 20 umfasst bevorzugt ein oder mehrere an der Außenseite des Fahrzeugs angebrachte akustische Sensoren, die konfiguriert sind, um die bei einem Aufprall auf ein Hindernis oder einen Unfallgegner auftretenden Geräusche zu erfassen. Die Sensoren können beispielsweise an der vorderen oder hinteren Stoßstange oder im Bereich der vorderen Motorhaubenkante angebracht sein. Bei den akustischen Sensoren kann es sich beispielsweise um Mikrofone handeln, die Luftschall detektieren. Alternativ oder zusätzlich kann es sich bei den akustischen Sensoren auch um am oder im Fahrzeug angebrachte Sensoren handeln, die Körperschall detektieren, der durch einen Aufprall entsteht oder beispielsweise durch Auslösen eines Airbags entsteht. Die von den akustischen Sensoren erfassten Geräusche bzw. Schwingungen werden, wie weiter unten beschrieben, mittels künstlicher Intelligenz analysiert, um ein für einen Aufprall auf ein bestimmtes Aufprallobjekt charakteristisches akustisches Muster zu erkennen. Auf diese Weise kann beispielsweise erkannt werden, ob es sich bei dem Aufprallobjekt um einen Personenkraftwagen, einen Lastkraftwagen, ein Motorrad, ein Fahrrad, einen Fußgänger oder dergleichen handelt.
  • Weiterhin umfasst das Fahrzeug 10 ein oder mehrere Aufprallsensoren 24 zur Erfassung einer Kollision des Fahrzeugs 10 mit einem Hindernis. Diese Aufprallsensoren 24 können beispielsweise einen oder mehrere Erschütterungssensoren umfassen, mittels welchen eine Erschütterung des Fahrzeugs 10 erfasst wird. Der Aufprallsensor 24 kann insbesondere als Beschleunigungssensor zur Erfassung einer durch die Kollision verursachten Beschleunigung und/oder als Drucksensor zur Erfassung einer durch die Kollision verursachten Druckerveränderung ausgebildet sein.
  • Weiterhin umfasst das Fahrzeug 10 eine Funkkommunikationsschnittstelle 31, hier insbesondere eine Mobilfunkkommunikationsschnittstelle, die nach dem LTE/UMTS-Standard ausgebildet ist, und die es der Sensorverarbeitungseinheit 18 ermöglicht, mit externen Diensten wie einem Cloud-Dient, insbesondere einem Navigationsdienst und hier insbesondere mit einer externen Notrufleitstelle zu kommunizieren. Hierfür umfasst die Mobilfunkkommunikationsschnittstelle beispielsweise ein Subscriber Identity Module (SIM), mittels dessen sich das Fahrzeug an einem Mobilfunknetz anmelden kann, so dass eine Kommunikation über das Mobilfunknetz, insbesondere eine Notrufleitstelle, möglich wird (soweit ein Mobilfunknetz die Kommunikation mit der Notrufnummer nicht bereits ohne SIM-Authentifizierung erlaubt).
  • Alternativ oder zusätzlich kann eine mit großer Wahrscheinlichkeit bevorstehende Kollision mittels eines akustischen Sensors, insbesondere mit der oben genannten akustischen Sensoreinrichtung 20, vorausgesehen werden. Dieser akustische Sensor kann beispielsweise Geräusche erfassen, die auf eine unmittelbar bevorstehende Kollision hindeuten, wie zum Beispiel das Quietschen der Reifen eines nahenden Fahrzeugs oder dergleichen.
  • Das Fahrzeug 10 umfasst ferner einen oder mehrere Umfeldsensoren 22, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 22 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, UltraschallSensoren, oder dergleichen. Beispielsweise kann eine Kamera in einem vorderen Bereich des Fahrzeugs 10 zur Aufnahme von Bildern eines vor dem Fahrzeug befindlichen Bereichs vorgesehen sein.
  • Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 30 (GNSS-Einheit) zur Erfassung der Position des verunfallten Fahrzeugs. Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen. Die Positionsbestimmung kann ferner dazu verwendet werden, die Position des Fahrzeugs zu einem anderen sich bewegenden Körper zu bestimmen und eine Kollisionsprognose abzugeben, oder um den aktuellen Standort des Fahrzeugs im Falle eines Unfalls zu ermitteln, um diesen an eine Notrufleitstelle zu berichten.
  • Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Diese Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform, und eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.
  • 2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 weist ein analoges Frontend auf, das mit Mikrofonen MIC1-MIC4, einer Verstärkereinrichtung 26 und einem Analog-Digital-Wandler (AD-Wandler) 28 ausgestattet ist. Über die Mikrofone MIC1-MIC4 werden akustische Signale beziehungsweise Geräusche erfasst, die bei einem Aufprall auf ein Hindernis auftreten, und durch geeignete Vorverstärkung oder Entzerrung für eine Analog-Digital-Wandlung im AD-Wandler 28 vorbereitet. Der AD-Wandler 28 gibt entsprechende digitale Audiosignale über eine Schnittstelle zum Fahrzeugdatenbus (hier beispielsweise ein CAN-Interface CAN-IF) aus. Die Audiosignale werden über das Bussystem beispielsweise an die Sensorverarbeitungseinheit (18 in 1) übertragen, die eine Klassifizierung des Unfallgegners auf Grundlage der Audiosignale durchführt, wie dies weiter unten beschrieben. Zusätzlich oder alternativ könnte die akustische Sensoreinrichtung 20 auch Körperschallsensoren umfassen, die dazu ausgelegt sind, Körperschall zu detektieren, der durch einen Aufprall oder beispielsweise durch Auslösen eines Airbags entsteht.
  • Im Ausführungsbeispiel der 2 werden die Audiosignale bzw. Schwingungssignale in digitaler Form über den Fahrzeugbus übertragen. In alternativen Ausführungsformen könnten die Mikrofone auch direkt an die Sensorverarbeitungseinheit angeschlossen sein und die Analog/Digital-Wandlung könnte in einem Audiointerface innerhalb der Sensorverarbeitungseinheit stattfinden.
  • 3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 18. Alle Bestandteile der Sensorverarbeitungseinheit 18 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 18 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47. Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln, das ein Deep Neural Network (DNN) hardwaremäßig implementiert. Die Sensorverarbeitungseinheit 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (34 in 2) kommunizieren kann, hier insbesondere um akustische Sensorsignale (Audiodaten von Mikrofonen bzw. Schwingungsdaten von Körperschallsensoren) von der akustischen Sensoreinrichtung (20 in 1) zu empfangen und um Notrufe über eine Funkkommunikationsschnittstelle (31 in 1) abzusetzen.
  • In dem Ausführungsbeispiel der 1 ist die Funkkommunikationsschnittstelle 31 über das Fahrzeugbussystem 34 mit der Sensorverarbeitungseinheit 18 gekoppelt. In alternativen Ausführungsbeispielen könnte die Sensorverarbeitungseinheit 18 jedoch auch eine integrierte Funkkommunikationsschnittstelle aufweisen, so dass keine Kommunikation über das Fahrzeugbussystem 34 erforderlich ist.
  • 4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers mittels künstlicher Intelligenz gemäß einem Ausführungsbeispiel. Der Klassifizierungsprozess wird beispielsweise von einer Sensorverarbeitungseinheit (18 in 1) insbesondere von einem Prozessor (41 in 3) oder einem anwendungsspezifischen integrierten Schaltkreis (47 in 3) der Sensorverarbeitungseinheit ausgeführt. In einem Schritt 402 werden akustische Sensorsignale 400, die von einer akustischen Sensoreinrichtung (20 in 1) erfasst wurden, in ein Deep Neuronal Network (DNN) eingespeist, das darauf trainiert wurde, die Klasse eines am Unfallgeschehen beteiligten Verkehrsteilnehmers aus den akustischen Sensorsignalen zu erkennen. Das neuronale Netzwerk (siehe 5 und die zugehörige Beschreibung) gibt dann die mittels künstlicher Intelligenz auf Grundlage des Trainingsprozesses gewonnen Klassifizierungsinformationen 404 bezüglich dem Unfallereignis aus. Die Klassifizierungsinformationen 404 umfassen beispielsweise Klassifizierungssignale, welche Wahrscheinlichkeiten für die Klasse des Unfallgegners (Mensch, Fahrrad, Motorrad, PKW, LKW) anzeigen, wie dies unten unter Bezug auf 7 näher beschrieben ist.
  • Bei der Erkennung eines Zusammenpralls mit einer Person kann die Analyse der von der akustischen Sensoreinrichtung 20 erfassten Geräusche in Schritt 402 auch Aufschluss darüber geben, ob ein zusätzlicher fahrbarer Untersatz in den Aufprall involviert ist, wie zum Beispiel ein Fahrrad, ein Roller, ein Skateboard oder dergleichen. Darüber hinaus ist es auch möglich, anhand der bei einem Aufprall erfassten Geräusche Rückschlüsse auf die Unfallschwere (leichter Blechschaden, Totalschaden) zu ziehen und somit auf die Schadensschwere beim Unfallgegner. Des Weiteren ermöglicht die Analyse der erfassten Geräusche die Erkennung von Glasbruch, was auf Schnittverletzungen bei den Unfallbeteiligten hindeuten kann, so dass Hilfsmaßnahmen zielgerichtet eingeleitet werden können. Die akustische Sensoreinrichtung 20 wird in 2 ausführlicher beschrieben.
  • 5 zeigt ein Ausführungsbeispiel des Prozesses zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers mittels künstlicher Intelligenz der 4 anhand von Audiodaten. Ein Windowing-Prozess 21 wird auf einem Audioeingangssignal x(n) durchgeführt um Audio-Rahmen zu erhalten. Die Audio-Rahmen überlappen sich typischerweise, z.B. mit einer Überlappungsrate von z.B. 20%. Die Audio-Rahmen werden einem Mel-Frequenz-Cepstrum (MFC) -Prozess 22 zugeführt, der für jeden Audio-Rahmen einen Satz von Mel-Frequenz-Cepstrum-Koeffizienten MFCC(n) erzeugt. Die Mel-Frequenz-Cepstrum-Technik ist dem Fachmann der Klangverarbeitung bekannt als eine Darstellung des kurzfristigen Leistungsspektrums eines Klangs, basierend auf einer linearen Cosinustransformation eines Leistungsspektrums auf einer nichtlinearen Mel-Skala. Das Mel-Frequenzcepstrum MFCC(n) wird einem Deep Neural Network (DNN) des Typs Long-Short-Term-Memory (LSTM) zugeführt, das mittels Trainingsdaten dazu trainiert wurde, eine Audioklassifizierung durchzuführen, wie dies unten in Bezug auf 9 näher beschrieben ist. Das LSTM hat den Vorteil, dass es Feedback-Connections und einen internen Speicher aufweist, so dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen. Auf die Ausgabe der Ausgabeschicht des LSTM eine Softmax-Funktion 53 angewandt, um die Aktivierungen der Ausgabeschicht zu normieren. Die Softmax-Funktion 53 erzeugt eine Wahrscheinlichkeitsverteilung der Ausgaben. Der Ausgabe-Vektor liefert eine Wahrscheinlichkeitsverteilung zwischen sich gegenseitig ausschließenden Klassen, indem die Ausgabe der anderen Neuronen im selben Layer berücksichtigt wird. Die Summe aller Ausgänge einer Softmax-Ausgabe ist dadurch auf 1 normiert. Diese Normalisierung mittels der Softmax-Funktion gewichtet die Ausgaben für die jeweilige Objektklasse in Bezug auf die Summe über alle Objektklassen. So wird eine direkte Einteilung in verschiedene Klassen ermöglicht, indem jeder Klasse genau ein Ausgabeneuron zugeteilt wird. Die Klasse mit der höchsten Aktivierung ist die wahrscheinlichste Vorrausage des Netzwerks. Auf diese Weise hat eine starke Vorhersage für eine Klasse (P = 1) automatisch zur Folge, dass die Vorhersagen für die restlichen Klassen nahe 0 sind.
  • Im Ausführungsbeispiel der 5 findet als Realisierung des DNN (402 in 4) ein LSTM als Spezialfall eines rekurrentes neuronalen Netzes (Recurrent Neural Networks = RNN) Anwendung. Alternativ können allerdings auch andere DNN-Architekturen, insbesondere RNN-Architekturen für die Audioklassifizierung verwendet werden, beispielsweise solche, die auf Gated-Recurrent-Units (GRUs) basieren.
  • In 5 wird zur schematischen Darstellung des Prinzips der Erfindung dem neuronalen Netz nur ein Spektrogramm zugeführt. Stehen akustische Signale von mehreren Sensoren zur Verfügung, kann für jedes Signal eines Sensors ein jeweiliges Spektrogramm ermittelt werden und das neuronale Netz so ausgelegt werden, dass es mehrere Spektrogramme parallel als Eingangsgrößen entgegennimmt. Entsprechend wird das neuronale Netz auch in der Trainingsphase mit Spektrogrammen korrespondierender Sensoren trainiert.
  • Ferner wird im Ausführungsbeispiel der 5 das Audiosignal dem neuronalen Netz in Form eines Mel-Frequenz-Cepstrum zugeführt. In alternativen Ausführungsbeispielen können statt dem Mel-Frequenz-Cepstrum auch andere Darstellungen des Audiosignals gewählt werden, wie beispielsweise ein normales Cepstrum, oder ein gebinntes Fourier-Spektrum. Die Vorverarbeitung der Audiosignale durch Ermittlung eines Spektrums hat im Allgemeinen den Vorteil, dass die Klang-Informationen auf wesentliche Informationen reduziert wird und damit die Verarbeitung durch das neuronale Netzwerk vereinfacht wird. Auf solch eine Vorverarbeitung kann in alternativen Ausführungsformen auch ganz verzichtet werden und stattdessen die Audiodaten eines Audiofensters direkt dem neuronalen Netzwerk zugeführt werden.
  • Obgleich der Prozess der 5 anhand von Audiodaten beschrieben ist, kann der Prozess entsprechend auch auf andere Sensordaten angewandt werden, wie beispielsweise auf akustische Informationen, die von Körperschallsensoren geliefert werden.
  • Für die Klassifizierung können statt der Softmax-Funktion 53 auch andere Klassifizierer verwendet werden, beispielsweise ein SVM-Klassifizierer (SVM = Support Vector Machine), wie dies durch B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers," in Proc. COLT, 1992, S. 144-152.
  • 6 veranschaulicht detaillierter den Prozess, der von dem künstlichen neuronalen Netz der 5 durchgeführt wird. Die Mel-Frequenz-Cepstrum-Koeffizienten der Audio-Fenster bilden eine Folge von Feature-Vektoren MFCC1(n), MFCC2(n), ... MFCC1(n), die iterativ in das DNN eingegeben werden, wie dies beispielsweise durch Huy Phan et al in „Audio Scene Classification with Deep Recurrent Neural Networks“, arXiv:1703.04770v2 [cs.SD] 5 Jun 2017 näher beschrieben ist. Das DNN besteht aus LSTM-Einheiten LSTM-1 bis LSTM-L (oder alternativ GRU-Einheiten), die in Schichten 1 bis L angeordnet sind. Das DNN iteriert über die Mel-Vektoren MFCC1(n), MFCC2(n), ... MFCCT(n) und berechnet eine Folge von versteckten Zustandsvektoren h1i, h2 i, ...., hT i, i = 1, ..., T. Jede LSTM-Einheit empfängt einen versteckten Zustand von der vorherigen Einheit und gibt ihn sowie seinen eigenen versteckten Zustand aus. Der Ausgabevektor O des DNN wird dann aus den versteckten Zuständen der letzten Schicht L nach der letzten Iteration T bestimmt. Diese Ausgabe wird, wie in 5 beschrieben, einer Klassifizierungsfunktion zugeführt, um normalisierte Aussagen über die Wahrscheinlichkeitsverteilung bezüglich der vordefinierten Audioklassen zu erhalten.
  • Ein neuronales Netz kann auch, wie oben zu 5 bereits beschrieben, dazu ausgelegt sein, die Sensorsignale mehrerer Sensoren auszuwerten. In diesem Fall sind LSTM-Einheiten entsprechend so dimensioniert, dass sie die Fenster mehrerer Sensoren parallel entgegennehmen.
  • 7 zeigt schematisch als Ausführungsbeispiel das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung. Der Ausgabevektor O des DNN, wie er durch den Prozess der 6 erhalten wurde, wird einer Softmax-Funktion 53 zugeführt. Die Softmax-Funktion 53 transformiert den Ausgabevektor O in einen Wahrscheinlichkeitswert P1 = 0.7 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp Fahrrad), einen Wahrscheinlichkeitswert P2 = 0.2 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp Motorrad), einen Wahrscheinlichkeitswert P3 = 0.08 für eine dritte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem erstem Objekttyp stattgefunden hat (beispielsweise Objekttyp PKW) und einen Wahrscheinlichkeitswert P4 = 0.7 für eine vierte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass eine Kollision mit einem vierten Objekttyp stattgefunden hat (beispielsweise Objekttyp LKW).
  • 8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines am Unfallgeschehen beteiligten Verkehrsteilnehmers gemäß einem Ausführungsbeispiel der Erfindung unter Verwendung der oben beschriebenen erfindungsgemäßen Vorrichtung. In einem Schritt S800 wird bestimmt, ob eine Kollision vorhergesagt wird.
  • Dies geschieht beispielsweise durch Erfassen und Auswerten von Bildern oder Geräuschen, die auf eine unmittelbar bevorstehende Kollision hindeuten, mittels akustischer oder visueller Umfeldsensoren (22 in 1). Wird in Schritt S800 keine Kollision vorausgesagt, so wird der Schritt erneut durchgeführt, solange bis eine bevorstehende Kollision vorhergesagt wird. Wird hingegen in Schritt S800 eine Kollision vorausgesagt, so geht das Verfahren zu einem Schritt S802 über. In dem Schritt S802 wird der Klassifizierungsvorgang initiiert. In einem Schritt S804 wird bestimmt, ob eine Kollision tatsächlich erkannt wird. Dies geschieht beispielsweise durch die Aufprallsensoreinrichtung (24 in 1). Wird in Schritt S804 keine tatsächliche Kollision erkannt, so wird der Vorgang abgebrochen. Dies bedeutet, dass in Schritt S800 eine falsche Vorhersage getroffen wurde. Wird hingegen in Schritt S804 eine tatsächliche Kollision erkannt, so werden akustische Signale, die zwischen einem festgelegten Zeitpunkt unmittelbar vor dem Aufprall (z.B. drei Sekunden vor dem Aufprall) und einem festgelegten Zeitpunkt unmittelbar nach dem Aufprall (z.B. drei Sekunden nach dem Aufprall) von der akustischen Sensoreinrichtung (20 in 1) erfasst wurden, von der Sensorverarbeitungseinheit des Fahrzeugs (18 in 1) ausgewertet, oder in Form eines Soundfiles an einen externes Gerät in einer Cloud übertragen und dort (entweder in der Sensorverarbeitungseinheit des Fahrzeugs oder durch den Cloud-Dienst) in einem Schritt S806 ausgewertet, wie dies oben unter Bezugnahme auf die 4 bis 7 beschrieben wurde. In dem Schritt S806 wird die Klasse des Unfallgegners durch die Sensorverarbeitungseinheit (18 in 1) bzw. durch den Cloud-Dienst bestimmt. Das Ergebnis der Klassifizierung aus Schritt S806 wird dann in einem Schritt S808 von der Sensorverarbeitungseinheit des Fahrzeugs bzw. dem Cloud-Dienst per Notruf übertragen, insbesondere an eine zuständige Leitstelle. Die Leitstelle wertet die relevanten Informationen aus und leitet adäquate Hilfsmaßnahmen ein.
  • Der Schritt S802, die Initiierung des Klassifizierungsvorgangs, kann beispielsweise umfassen, dass eine Aufzeichnung der Signale der akustischen Sensoreinrichtung (20 in 1) in einem Zwischenspeicher gestartet wird. Alternativ kann auch eine Aufzeichnung der akustischen Signale der akustischen Sensoreinrichtung auch ständig in einem Zwischenspeicher ständig erfolgen, wobei der Zwischenspeicher dazu ausgelegt ist, eine bestimmte Menge and Daten und damit eine bestimmte zeitliche Länge an Audio- bzw. Schwingungsdaten zu speichern. Beispielsweise könnten auf diese Weise ständig die Daten der letzten sechs Sekunden, zehn Sekunden, oder mehr vorgehalten werden, so dass diese für die Klassifizierung mittels künstlicher Intelligenz zur Verfügung stehen. In solch einem Fall kann auf die Initiierung des Klassifizierungsvorgangs in Schritt S802 bzw. die Prädiktion eines Unfallereignisses in Schritt S800 auch verzichtet werden.
  • 9 zeigt einen Prozess des Trainings eines neuronalen Netzes, so dass dieses die Klassifizierung vornehmen kann, wie dies in den 5, 6 und 7 beschrieben ist. Damit eine Sensorverarbeitungseinheit 18 eine automatische Klassifizierung des oder der Unfallgegner durchführen kann, werden in einem Schritt 901 die in reellen Unfällen oder beispielsweise bei Crashtests auftretenden Geräusche zunächst erfasst, gesammelt und in einem manuellen Klassifizierungsschritt 902 manuell klassifiziert, um in einem Schritt 903 auf Grundlage der erfassten Geräusche und der manuell erhaltenen Klassifizierungen einen Satz an Trainingsdaten zu erzeugen. In einem Schritt 904 wird ein künstliches neuronales Netz mit dem Trainingsdatensatz trainiert, um ein auf die Klassifierung trainiertes neuronales Netz zu erzeugen. Hinsichtlich dieses Trainingsprozesses kann der Fachmann auf beliebige bekannte Techniken zurückgreifen, wie beispielhaft den ursprünglichen Trainingsmechanismus für LSTMs, wie er von Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks" im Journal of Machine Learning Research 3 (2002), 115-143 beschrieben wurde und der auf einem Gradientenverfahren beruht, mittels dem die Gewichte der LSTM-Einheiten eingestellt werden. Während dieses Trainingsprozesses wird dem neuronalen Netz vorzugsweise eine große Anzahl von Beispielen (Trainingsdaten) präsentiert. Beispielsweise werden mehrmals die bei einer tatsächlich auftretenden Kollision mit einem Fußgänger, einem Fahrrad, einem Motorrad, einem Personenkraftwagen und einem Lastkraftwagen verursachten Geräusche erfasst und dem jeweiligen Unfallgegner manuell zugeordnet. Alternativ können die für eine Kollision typischen Geräusche auch in Crashtests künstlich erzeugt werden. Auf diese Weise werden Geräusche, die für eine jeweilige Situation, in diesem Fall eine Kollision mit einem bestimmten Verkehrsteilnehmer, charakteristisch sind, der dieser Situation entsprechenden Klasse zugeordnet. Diese Zuordnungen werden vom neuronalen Netz gelernt und können dann bei dem Klassifizierungsprozess durch das neuronale Netzwerk verwendet.
  • Bezugszeichenliste
  • 10
    Fahrzeug
    12
    Steuereinheit Bremssystem
    14
    Steuereinheit Antriebsstrang
    16
    Steuereinheit Lenksystem
    18
    Sensorverarbeitungseinheit
    20
    akustische Sensoreinrichtung
    22
    Umfeldsensoren
    24
    Aufprallsensor
    26
    Verstärkereinrichtung
    28
    Analog-Digital-Wandler
    30
    Satellitennavigationseinheit
    31
    Funkkommunikationsschnittstelle 31 (LTE/UMTS)
    32
    Benutzerschnittstelle
    34
    Fahrzeugkommunikationsnetzwerk
    41
    Prozessor
    42
    Direktzugriffsspeicher
    43
    Nur-Lese-Speicher
    47
    integrierter Schaltkreis
    45
    Kommunikationsschnittstelle
    46
    internes Kommunikationsnetzwerk
    50
    Windowing
    51
    Mel-Spektrogramm
    52
    LSTM
    53
    Softmax
    LSTM-1
    LSTM-Einheit der ersten Schicht
    LSTM-2
    LSTM-Einheit der zweiten Schicht
    LSTM-L
    LSTM-Einheit der letzten Schicht
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102006004076 A1 [0004]
    • DE 102017107730 A1 [0005]
    • DE 102010053147 A1 [0006, 0007]
  • Zitierte Nicht-Patentliteratur
    • B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers,“ in Proc. COLT, 1992, S. 144-152 [0051]
    • Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks“ im Journal of Machine Learning Research 3 (2002), 115-143 [0058]

Claims (10)

  1. Vorrichtung (18), die dazu eingerichtet ist, während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Unfallgegners ermöglichen.
  2. Vorrichtung (18) nach Anspruch 1, wobei es sich bei den aufgenommenen Geräuschen um Signale ein oder mehrerer Mikrofone handelt und/oder um Schwingungsinformationen, die mittels ein oder mehrerer Körperschallsensoren detektiert wurden.
  3. Vorrichtung (18) nach Anspruch 1 oder 2, die ferner dazu ausgelegt ist, die gewonnenen Klassifizierungsinformationen (P1, P2, P3, P4) an eine Leitstelle zu übermitteln.
  4. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, die während eines Unfalls aufgenommenen Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen.
  5. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu eingerichtet eine spektrale Darstellung (51) eines Datenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.
  6. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu eingerichtet eine Klassifizierungsfunktion (53), insbesondere einen Softmax-Algorithmus oder einen SVM- Algorithmus auf den Ausgabevektor (O) eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen (P1, P2, P3, P4) zu erhalten.
  7. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, eine Vorhersage (S800) eines anstehenden Unfallereignisses zu erkennen.
  8. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, mittels ein oder mehrerer Aufprallsensoren (24) ein Unfallereignis zu erkennen (S804).
  9. Fahrzeug mit einer akustischen Sensoreinrichung (20) und einer Vorrichtung (18) nach einem der Ansprüche 1 bis 8, die dazu ausgelegt ist, während eines Unfalls des Fahrzeugs mittels der akustischen Sensoreinrichung (20) aufgenommene Geräusche in die Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen.
  10. Verfahren, bei dem während eines Unfalls aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen (P1, P2, P3, P4) überführt werden, welche eine Klassifizierung eines Unfallsgegners ermöglichen.
DE102019218069.8A 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners Withdrawn DE102019218069A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019218069.8A DE102019218069A1 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019218069.8A DE102019218069A1 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners

Publications (1)

Publication Number Publication Date
DE102019218069A1 true DE102019218069A1 (de) 2021-05-27

Family

ID=75784191

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019218069.8A Withdrawn DE102019218069A1 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners

Country Status (1)

Country Link
DE (1) DE102019218069A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021003787A1 (de) 2021-07-23 2021-11-04 Daimler Ag Vorrichtung und Verfahren zur Auswertung von Körperschallsignalen
FR3125608A1 (fr) * 2021-07-26 2023-01-27 Psa Automobiles Sa Procédé de génération d’une base de données pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile afin de détecter des chocs de faible intensité
DE102022200383A1 (de) 2022-01-14 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren einer digitalen modellbasierten Repräsentation eines Fahrzeugs

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004076A1 (de) * 2006-01-28 2007-12-13 Deutsche Telekom Ag Verfahren und Vorrichtung zur Benachrichtigung von Notrufabfragestellen der Polizei, der Feuerwehr oder der Rettungsdienste über eingegangene Notrufe mit Ortungsinformationen
DE102009020074A1 (de) * 2009-05-06 2010-11-11 Continental Automotive Gmbh Verfahren zur Ansteuerung von Kraftfahrzeuginsassen-Schutzsystemen
DE102010053147A1 (de) * 2010-12-01 2011-07-28 Daimler AG, 70327 Verfahren und Vorrichtung zur Erfassung einer Umgebung eines Fahrzeugs
DE102010028845A1 (de) * 2010-05-11 2011-11-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufpralldetektion in Fahrzeugen
DE102014013472A1 (de) * 2013-09-30 2015-04-02 Hella Kgaa Hueck & Co. Verfahren zur Erkennung und Klassifikation von Schadensereignissen an Kraftfahrzeugen und Vorrichtung hierfür
US20170053461A1 (en) * 2015-08-20 2017-02-23 Zendrive, Inc. Method for smartphone-based accident detection
KR101810539B1 (ko) * 2017-04-18 2017-12-19 주식회사 핸디소프트 교통사고 판단 장치 및 방법
DE102017124291A1 (de) * 2016-10-19 2018-04-19 Ford Global Technologies, Llc Fahrzeugumgebungs-audioklassifizierung über neurales netz-maschinenlernen
DE102017107730A1 (de) * 2017-04-10 2018-10-11 Deutsche Telekom Ag Verfahren und Einrichtung zur Informationsbereitstellung bei einem Verkehrsereignis
DE102018200878B3 (de) * 2018-01-19 2019-02-21 Zf Friedrichshafen Ag Detektion von Gefahrengeräuschen

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004076A1 (de) * 2006-01-28 2007-12-13 Deutsche Telekom Ag Verfahren und Vorrichtung zur Benachrichtigung von Notrufabfragestellen der Polizei, der Feuerwehr oder der Rettungsdienste über eingegangene Notrufe mit Ortungsinformationen
DE102009020074A1 (de) * 2009-05-06 2010-11-11 Continental Automotive Gmbh Verfahren zur Ansteuerung von Kraftfahrzeuginsassen-Schutzsystemen
DE102010028845A1 (de) * 2010-05-11 2011-11-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufpralldetektion in Fahrzeugen
DE102010053147A1 (de) * 2010-12-01 2011-07-28 Daimler AG, 70327 Verfahren und Vorrichtung zur Erfassung einer Umgebung eines Fahrzeugs
DE102014013472A1 (de) * 2013-09-30 2015-04-02 Hella Kgaa Hueck & Co. Verfahren zur Erkennung und Klassifikation von Schadensereignissen an Kraftfahrzeugen und Vorrichtung hierfür
US20170053461A1 (en) * 2015-08-20 2017-02-23 Zendrive, Inc. Method for smartphone-based accident detection
DE102017124291A1 (de) * 2016-10-19 2018-04-19 Ford Global Technologies, Llc Fahrzeugumgebungs-audioklassifizierung über neurales netz-maschinenlernen
DE102017107730A1 (de) * 2017-04-10 2018-10-11 Deutsche Telekom Ag Verfahren und Einrichtung zur Informationsbereitstellung bei einem Verkehrsereignis
KR101810539B1 (ko) * 2017-04-18 2017-12-19 주식회사 핸디소프트 교통사고 판단 장치 및 방법
DE102018200878B3 (de) * 2018-01-19 2019-02-21 Zf Friedrichshafen Ag Detektion von Gefahrengeräuschen

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021003787A1 (de) 2021-07-23 2021-11-04 Daimler Ag Vorrichtung und Verfahren zur Auswertung von Körperschallsignalen
FR3125608A1 (fr) * 2021-07-26 2023-01-27 Psa Automobiles Sa Procédé de génération d’une base de données pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile afin de détecter des chocs de faible intensité
DE102022200383A1 (de) 2022-01-14 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren einer digitalen modellbasierten Repräsentation eines Fahrzeugs

Similar Documents

Publication Publication Date Title
DE102019218069A1 (de) Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners
DE102017113596A1 (de) Erkennen von gefahren in erwartung sich öffnender fahrzeugtüren
DE102011118966A1 (de) Kommunikationsgerät für einen Verkehrsteilnehmer, Kraftfahrzeug, Verfahren zur Vermeidung einer Kollision und Computerprogramm
DE102019215399A1 (de) Verfahren und vorrichtung zum analysieren einer fahrtendenz und system zum steuern eines fahrzeugs
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2019121526A1 (de) Verfahren und vorrichtung zum bereitstellen einer verletzungsinformation über eine verletzung eines ungeschützten verkehrsteilnehmers bei einer kollision mit einem fahrzeug
DE102019102565A1 (de) Mitfahrerbewertungssysteme und -verfahren für gemeinsam genutzte autonome fahrzeuge
EP3430615A1 (de) Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe
DE102009002375A1 (de) Verfahren zur Aktivierung und/oder Ansteuerung von mindestens einem Schutzsystem zur Beeinflussung einer Fahrzeugzeugbewegung
DE112017008236T5 (de) Verfahren und vorrichtung zur unterstützung des fahrens
DE102019218058B4 (de) Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern
DE102014000881A1 (de) Verfahren zum Betrieb eines Fahrzeuges
DE102013205147A1 (de) Verfahren, Steuergerät und Fahrerassistenzsystem zur seitlichen Überwachung von Fahrzeugen
DE102018008436A1 (de) Verfahren zur Erfassung potentieller Fahrgäste für autonome Omnibusse
DE102018008683A1 (de) Verfahren zum Ermöglichen der Identifizierung eines rücksichtslosen Fahrers eines Straßenfahrzeugs, System, Computerprogramm, computerlesbares Medium und Fahrzeug
DE102018007558A1 (de) Verfahren zur Situationserfassung an Haltestellen für autonome Omnibusse
DE102019000060A1 (de) Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
DE102017010513A1 (de) Verfahren zur Ermittlung einer Aufmerksamkeit einer in einer Umgebung eines Fahrzeuges erfassten Person
DE102018000281A1 (de) Vorrichtung zum Erfassen von Objekten
DE102017109009A1 (de) Verfahren zur Erfassung eines Berührungsereignisses an der Außenhülle eines Fahrzeuges und Fahrzeug mit einer Sensoreinrichtung zur Erfassung von Berührungsereignissen an der Außenhülle des Fahrzeuges
DE102020106850A1 (de) Verfahren zum Unterstützen eines Insassen bei einem Aussteigen aus einem Fahrzeug durch Anpassung einer Anzeige, Fahrerassistenzsystem sowie Fahrzeug
DE102020207929A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt
DE102019204849A1 (de) Erkennung eines durch Personen ausgehenden Gefahrenpotentials
EP3734557A1 (de) Verfahren zur bereitstellung von trainingsdaten für adaptierbare situationserkennungsalgorithmen sowie verfahren zur automatisierten situationserkennung von betriebssituationen eines fahrzeugs zur öffentlichen personenbeförderung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee