DE102019218058A1 - Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern - Google Patents

Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern Download PDF

Info

Publication number
DE102019218058A1
DE102019218058A1 DE102019218058.2A DE102019218058A DE102019218058A1 DE 102019218058 A1 DE102019218058 A1 DE 102019218058A1 DE 102019218058 A DE102019218058 A DE 102019218058A DE 102019218058 A1 DE102019218058 A1 DE 102019218058A1
Authority
DE
Germany
Prior art keywords
vehicle
reversing
warning signal
neural network
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019218058.2A
Other languages
English (en)
Other versions
DE102019218058B4 (de
Inventor
Stefan Beller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019218058.2A priority Critical patent/DE102019218058B4/de
Publication of DE102019218058A1 publication Critical patent/DE102019218058A1/de
Application granted granted Critical
Publication of DE102019218058B4 publication Critical patent/DE102019218058B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorrichtung (18), die dazu ausgelegt ist, in einem Fahrzeugumfeld aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.

Description

  • Die Erfindung betrifft das Gebiet der Fahrerassistenzsysteme für Kraftfahrzeuge, insbesondere ein Verfahren und eine Vorrichtung zum Erkennen von Rückwärtsfahrmanövern anderer Verkehrsteilnehmer.
  • Nutzfahrzeuge, wie beispielsweise LKW, Busse, Baufahrzeuge und Sondermaschinen, wie Gabelstapler, Bagger und dergleichen, sind üblicherweise mit Rückfahrwarnern ausgestattet, die der akustischen Warnung im Bereich hinter dem Fahrzeug dienen. Rückfahrwarner erzeugen beim Rückfahrvorgang ein akustisches Warnsignal, insbesondere Pieptöne oder auch ein synthetisches Rauschen. Moderne Rückfahrwarner senden ein als weißes Rauschen (White Sound) bezeichnetes Breitband-Geräusch aus. Es lässt sich vom menschlichen Gehör präzise orten und wird, im Gegensatz zum oft als störend empfundenen Piepton herkömmlicher Rückfahrwarner schon einige Meter außerhalb des Gefahrenbereichs nicht mehr gehört. Sobald das Nutzfahrzeug rückwärtsfährt, wird parallel zum klassischen Rückfahrscheinwerfer ein akustisches Warnsignal erzeugt, das im Umkreis von mehreren Metern hinter dem Fahrzeug hörbar ist. Dieses soll speziell Fußgänger und andere Verkehrsteilnehmer darauf aufmerksam machen, dass sich ein Nutzfahrzeug rückwärts bewegt, da der rückwärtige Bereich für den Fahrer oft nicht einsehbar ist oder am LKW-Anhänger oder an Sonderfahrzeugen häufig keine Umfeldsensoren (Radar, Kamera) verbaut sind.
  • Aus der DE 10 2016 006 802 A1 ist ein Verfahren und eine Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden Sondersignals bekannt. Hierbei sind an einem Fahrzeug im Dachbereich eine 360°-Kamera und wenigstens ein Mikrofon angeordnet, mit welchem eine Fahrzeugumgebung auf Sondersignale überprüft wird. Mittels einer Auswerteeinrichtung wird aus den erfassten Sondersignalen eine Richtung ermittelt, aus der das Sondersignal kommt. Diese ermittelte Richtung wird zusammen mit einem Warnsignal dem Fahrer des Fahrzeuges auf einer Anzeigeeinrichtung angezeigt.
  • Ein weiteres Verfahren zur Erfassung und Anzeige eines von einem Einsatzfahrzeug ausgehenden optischen und/oder akustischen Sondersignals ist aus der DE 10 2018 001 583 A1 bekannt, in der ein Fahrzeugumfeld mittels wenigstens einer Kamera und wenigstens einem Mikrofon erfasst wird, im Fall eines erkannten Sondersignals mittels einer Auswerteeinrichtung eine Richtung ermittelt wird, aus welcher das Sondersignal kommt, und diese Richtung mittels eines optischen Signals dem Fahrer angezeigt wird. Die Richtungszuordnung mittels der Auswerteeinrichtung erfolgt dabei, indem ein Algorithmus die Signalstärke des Sondersignals einer Himmelsrichtung relativ zu einer Fahrzeugbewegungsrichtung zuordnet.
  • Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, die Umfelderkennung eines Fahrzeugs weiter zu verbessern und dadurch die Sicherheit zu erhöhen.
  • Die Aufgabe wird durch die erfindungsgemäße Vorrichtung nach Anspruch 1, sowie die Merkmale des erfindungsgemäßen Verfahrens gemäß Anspruch 10 gelöst. Weitere bevorzugte Ausführungsformen sind den abhängigen Ansprüchen sowie der nachfolgenden detaillierten Beschreibung und den Figuren zu entnehmen.
  • Die Ausführungsbeispiele zeigen eine Vorrichtung, die dazu ausgelegt ist, in einem Fahrzeugumfeld aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen zu überführen, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
  • Insbesondere handelt es sich bei den Geräuschen um Geräusche, die von anderen Verkehrsteilnehmern, beispielsweise LKWs, Bussen, Baufahrzeugen und Sondermaschinen ausgehen.
  • Eine solche Vorrichtung kann quasi „hören“, ob ein Rückfahrwarnsignal vorliegt und, wenn ja, aus welcher Richtung sich das Rückfahrwarnsignal dem Fahrzeug nähert. Dies ist insbesondere dann von Vorteil, wenn der Fahrer an Einschränkungen des Hörvermögens leidet, wie dies häufig bei älteren Personen der Fall ist, oder wenn das Fahrzeug ein selbstfahrendes autonomes Fahrzeug ohne Fahrer ist. Gerade in letzterem Fall können somit gefährliche Situationen vermieden werden.
  • Die erfindungsgemäße Vorrichtung ist insbesondere vorteilhaft, wenn es durch die immer bessere Dämmung im Fahrzeuginneren vorkommt, dass Rückfahrwarnsignale anderer Verkehrsteilnehmer schlecht zu hören sind. Falls beispielsweise ein LKW-Fahrer während einem Rückwärtsfahrmanöver ein Fahrzeug nicht bemerkt, wird eine frühzeitige Reaktion des Fahrzeugs zur Vermeidung einer Kollision möglich.
  • Mit der erfindungsgemäßen Vorrichtung bekommen autonome Fahrzeuge einen „Hörsinn“. Besonders im „Mischverkehr“ oder beispielsweise auf Baustellen, wo normale und autonome Fahrzeuge im Einsatz sind, können durch Rückwärtsfahrmanöver gefährliche Situation entstehen, die durch die vorliegende Erfindung vermieden werden können. Die vorliegende Erfindung ist zudem auch in Bereichen der Robotik oder bei Einsatz von autonomen Fahrzeugen in Fabriken vorteilhaft, um Rückwärtsfahrmanöver zu detektieren und anderen Beteiligten frühzeitig anzuzeigen. Die erfindungsgemäße Vorrichtung ist auch in mobile Endgeräte, Mobiltelefons, beispielsweise smart phones, wearables, beispielsweise smart watches oder smart glasses, integrierbar. Ein derartiges Endgerät warnt den Nutzer vor einem zurückfahrenden Fahrzeug, insbesondere in Fällen, in denen der Nutzer abgelenkt ist, beispielsweise durch Schutzkopfhörer oder durch Musik hören. Das Endgerät warnt den Nutzer, wenn in einem Umkreis des Nutzers ein Fahrzeug rückwärtsfährt. Eine Warnung ist beispielsweise durch Vibration von noise canceling Kopfhörer realisiert bei Erkennung eines Rückfahrsignals.
  • Bei den aufgenommenen Geräuschen handelt es sich insbesondere um Audiosignale, die im Fahrzeugumfeld mittels akustischer Sensoren, beispielsweise ein oder mehrerer Mikrofone, erfasst werden. Das Fahrzeugumfeld kann dabei vor, hinter oder seitlich von dem Fahrzeug liegen. Beispielsweise kann das Fahrzeugumfeld von einer Vielzahl von Richtmikrofonen, die jeweils in eine zu erfassende Himmelsrichtung ausgerichtet sind, erfasst werden. Alternativ kann auch nur ein 360°-Mikrofon eingesetzt werden, über welches alle Himmelsrichtung gleichzeitig erfasst werden.
  • In vorteilhafter Weise sind die akustischen Sensoren dabei in einer erhöhten Position am Fahrzeug angebracht, beispielsweise im Dachbereich. Mittels der akustischen Sensoren ist es möglich, Rückfahrwarnsignale eines rückwärtsfahrenden Fahrzeugs optimal und frühzeitig zu erfassen.
  • Vorzugsweise umfasst die Vorrichtung ein künstliches neuronales Netz, welches durch Trainingsdaten dazu trainiert ist, im Fahrzeugumfeld aufgenommene Geräusche in Klassifizierungsinformationen zu überführen, die eine Klassifizierung des Zustandes hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen. Durch die Verwendung eines neuronalen Netzes ist es möglich, anhand von erfassten Audiosignalen frühzeitig zu erkennen, ob sich das Fahrzeug einem rückwärtsfahrenden Verkehrsteilnehmer und damit einer Gefahrensituation nähert.
  • Die Verwendung eines rekurrenten neuronalen Netzes, insbesondere eines LSTMs, hat den Vorteil, dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, die gewonnenen Klassifizierungsinformationen an einen Benutzer, insbesondere einen Fahrer oder einen Insassen des Fahrzeugs, auszugeben. Beispielsweise kann die Vorrichtung dazu ausgelegt sein, die Ergebnisse der Klassifizierung auf einer Anzeigeeinrichtung im Innenraum des Fahrzeugs anzuzeigen.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, die in dem Fahrzeugumfeld erfassten Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen. Beispielsweise können die Audiosignale zur Auswertung an ein externes Gerät oder einen externen Dienst, wie einen Cloud-Dienst versandt werden und die Klassifizierung mittels künstlicher Intelligenz wird in dem externen Gerät bzw. von dem externen Dienst vorgenommen.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, einen Windowing-Prozess auf den aufgenommenen Geräuschen auszuführen, um Datenfenster der aufgenommenen Geräusche zu erhalten.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, eine spektrale Darstellung eines Datenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, eine Klassifizierungsfunktion, insbesondere einen Softmax-Algorithmus oder einen SVM- Algorithmus auf den Ausgabevektor eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen zu erhalten.
  • Die Vorrichtung kann ferner dazu ausgelegt sein, bei Erkennen eines Warnsignals in eine Fahrzeugsteuerung einzugreifen, indem, basierend auf dem Zustand hinsichtlich des Vorliegens eines Rückfahrwarnsignals, den Fahrer unterstützende Fahrzeugsteuerungsmaßnahmen, wie beispielsweise Manöver von Fahrassistenzsystemen, eingeleitet werden. Diese den Fahrer unterstützenden Fahrzeugsteuerungsmaßnahmen sehen beispielsweise vor, bei Erkennen eines Warnsignals ein Ausweichmanöver zu starten, um eine Kollision mit einem anderen Fahrzeug zu verhindern.
  • Diese Lösung hat den Vorteil, dass hierdurch eine frühzeitige Erkennung von akustisch verfügbaren Informationen im Straßenverkehr ermöglicht ist und dadurch die Verkehrssicherheit erhöht werden kann. Zusätzlich ist es dadurch möglich, die Steuerung von teil- oder vollautonomen Fahrzeugen zu verbessern.
  • Die Ausführungsbeispiele zeigen auch ein Fahrzeug mit einer akustischen Sensoreinrichtung und einer Vorrichtung, wie sie hier beschrieben ist, die dazu ausgelegt ist, in einem Fahrzeugumfeld mittels der akustischen Sensoreinrichtung aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen zu überführen, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
  • Die Ausführungsbeispiele betreffen ferner auch ein Verfahren, bei dem in einem Fahrzeugumfeld aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen überführt werden, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
  • Bei dem erfindungsgemäßen Verfahren werden insbesondere von anderen Verkehrsteilnehmern ausgehende akustische Signale durch eine an einem Fahrzeug montierte akustische Sensoreinrichtung erfasst und durch eine Sensorverarbeitungseinheit mittels eines künstlichen neuronalen Netzes ausgewertet, um zu bestimmen, ob ein Rückfahrwarnsignal vorliegt und, wenn ja, aus welcher Richtung sich das Rückfahrwarnsignal dem Fahrzeug nähert.
  • Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln, das bevorzugt in autonomen oder zumindest teilautonomen Fahrzeugen eingesetzt werden kann. Das Verfahren ist aber auch bei einem von einem menschlichen Fahrer gesteuerten Fahrzeug anwendbar.
  • Figurenliste
  • Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.
    • 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
    • 2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung.
    • 3 zeigt schematisch eine beispielhafte Konfiguration einer Sensorverarbeitungseinheit gemäß der Erfindung.
    • 4 zeigt ein Flussdiagramm eines Prozesses zur Erkennung eines Rückfahrwarnsignals mittels künstlicher Intelligenz gemäß einem Ausführungsbeispiel.
    • 5 zeigt schematisch einen Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal.
    • 6 veranschaulicht detailliert den Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal in 5.
    • 7A und B zeigen schematisch das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels Softmax-Klassifizierungen.
    • 8 zeigt ein Flussdiagramm eines Prozesses zur Erkennung eines Rückfahrwarnsignals mittels künstlicher Intelligenz gemäß einem weiteren Ausführungsbeispiel.
    • 9 zeigt einen Prozess des Trainings eines neuronalen Netzes.
  • Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren beschrieben.
  • 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Bei dem Fahrzeug 10 kann es sich insbesondere um ein fahrerloses autonomes oder um ein teilautonom bewegtes Fahrzeug handeln. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 30 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 30 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein.
  • In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.
  • Das Fahrzeug 10 umfasst ferner eine akustische Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 dient dazu, Audiodaten, die in einem Umfeld eines fahrenden oder stehenden Fahrzeugs erzeugt werden, zu erfassen. Die akustische Sensoreinrichtung 20 umfasst bevorzugt ein oder mehrere an der Außenseite des Fahrzeugs, beispielsweise im Dachbereich, angebrachte akustische Sensoren, die konfiguriert sind, um die im Umfeld des Fahrzeugs von anderen Verkehrsteilnehmern erzeugten Warnsignale, insbesondere Rückfahrwarnsignale, zu erfassen. Bei den akustischen Sensoren kann es sich beispielsweise um ein 360°-Mikrofon handeln, über welches mehrere akustische Signale aus mehreren Himmelsrichtungen gleichzeitig erfasst werden. Alternativ kann beispielsweise eine Vielzahl von Richtmikrofonen vorgesehen sein, die jeweils in eine zu erfassende Himmelsrichtung ausgerichtet sind. Durch die Anordnung aus mehreren Richtmikrofonen ist beispielsweise eine Ortung möglich. Die von den akustischen Sensoren erfassten Audiodaten werden einer nachfolgend beschriebenen Sensorverarbeitungseinheit 18 zugeführt, welche die erfassten Audiodaten fortwährend mittels künstlicher Intelligenz auswertet, um ein für ein Rückfahrwarnsignal charakteristisches akustisches Muster zu erkennen. Die akustische Sensoreinrichtung 20 wird anhand von 2 ausführlicher beschrieben.
  • Das Fahrzeug 10 umfasst ferner einen oder mehrere Umfeldsensoren 22, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 22 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, UltraschallSensoren, oder dergleichen. Beispielsweise kann eine im Dachbereich des Fahrzeugs angeordnete 360°-Kamera zur optischen Erfassung anderer Verkehrsteilnehmer im Umfeld des Fahrzeugs vorgesehen sein.
  • Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 18 (ECU 4), die beispielsweise dazu ausgelegt ist, auf Grundlage von Sensordaten, die von der akustischen Sensoreinrichtung 20 bereitgestellt werden, zu bestimmen, ob ein von einem anderen Verkehrsteilnehmer ausgehendes Rückfahrwarnsignal empfangen worden ist. Ein Prozess zur Erkennung von Rückfahrwarnsignalen wird im Folgenden anhand von 4 ausführlich erläutert. Erkennt die Sensorverarbeitungseinheit 18 ein Rückfahrwarnsignal, dann kann über eine Benutzerschnittstelle eine entsprechende Warnung an den Fahrer des Fahrzeugs 10 oder an den Fahrer des rückwärtsfahrenden Fahrzeugs ausgegeben werden, beispielsweise als akustische, optische oder haptische Warnung. Der Fahrer des Fahrzeugs 10 wird auf diese Weise davor gewarnt, dass sich aus einer bestimmten Richtung ein rückwärtsfahrendes Fahrzeug nähert. Dies ist auch dann möglich, wenn eine Erfassung des Rückfahrwarnsignals durch den Fahrer selbst oder eine Erfassung des rückwärtsfahrenden Fahrzeugs durch die Umfeldsensoren 22 noch nicht möglich ist, beispielsweise wenn das rückwärtsfahrende Fahrzeug durch ein statisches Hindernis verdeckt wird. Ebenso kann der Fahrer des rückwärtsfahrenden Fahrzeugs über eine Signaleinheit (Hupe/Licht) 34 frühzeitig dazu aufgefordert werden, sein Rückfahrmanöver zu korrigieren oder ganz einzustellen.
  • Ferner können bei Erkennen eines Rückfahrwarnsignals auch akustische Geräte in dem Fahrzeug stumm geschaltet werden, beispielsweise ein Radio oder eine Telefonfreisprecheinrichtung, um so die Aufmerksamkeit des Fahrers zu erhöhen und ihm zu ermöglichen, die erfassten akustischen Signale auch selbstständig besser wahrzunehmen. Sobald kein Rückfahrwarnsignal mehr erkannt wird, können die akustischen Geräte automatisch wieder mit ihren vorherigen Einstellungen betrieben werden.
  • Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die es einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Die Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine Ausgabeeinheit, insbesondere eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform umfassen, welche beispielsweise ein von der Sensorverarbeitungseinheit 18 in der Fahrzeugumgebung erkanntes Rückfahrwarnsignal anzeigen kann. Ferner kann die Benutzerschnittstelle 32 einen Lautsprecher, eine taktile Rückmeldevorrichtung oder dergleichen, umfassen. Die Benutzerschnittstelle 32 kann bevorzugt von der Sensorverarbeitungseinheit 18 so angesteuert werden, dass bei Erkennen von einem Rückfahrwarnsignal in der Fahrzeugumgebung ein akustisches, optisches oder haptisches Warnsignal ausgegeben wird. Die Benutzerschnittstelle 32 kann ferner eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.
  • In einer bevorzugten Ausführungsform umfasst das Fahrzeug 10 darüber hinaus eine Signaleinheit (Hupe/Licht) 34, die ein Warnsignal an den Fahrer des rückwärtsfahrenden Fahrzeugs ausgeben kann.
  • Weiterhin umfasst das Fahrzeug 10 eine Funkkommunikationsschnittstelle 31, hier insbesondere eine Mobilfunkkommunikationsschnittstelle, die beispielsweise nach dem LTE/UMTS-Standard ausgebildet ist, und die es dem Fahrzeug ermöglicht, mit einem externen Dienst zu kommunizieren, der als Server, oder als Cloud-Dienst realisiert sein kann. Hierfür umfasst die Mobilfunkkommunikationsschnittstelle beispielsweise ein Subscriber Identity Module (SIM), mittels dessen sich das Fahrzeug an einem Mobilfunknetz anmelden kann, so dass das Fahrzeug über das Mobilfunknetz auf den externen Server zugreifen kann. Über diese Funkkommunikationsschnittstelle 31 kann das Fahrzeug 10 eine V2X (englisch „Vehicle-to-Everything“) -Kommunikation, insbesondere eine V2V („Vehicle-to-Vehicle“) -Kommunikation oder eine V2I („Vehicle-to-Infrastructure“) -Kommunikation realisieren, über die eine Warnung an andere in der Nähe befindliche Verkehrsteilnehmer übermittelt werden kann.
  • Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 24 (GNSS-Einheit) zur Erfassung der Position des Fahrzeugs. Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen. Die Positionsbestimmung kann beispielsweise dazu verwendet werden, im Fall einer sicherheitsrelevanten Situation die nächstgelegene Möglichkeit für das Fahrzeug zu bestimmen, rechts ranzufahren, so dass das Fahrzeug, insbesondere wenn es im autonomen Betriebsmodus unterwegs ist, dort sicher stehen bleiben kann.
  • 2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 weist ein analoges Frontend auf, das mit Mikrofonen MIC1-MIC4, einer Verstärkereinrichtung 26 und einem Analog-Digital-Wandler (AD-Wandler) 28 ausgestattet ist. Über die Mikrofone MIC1-MIC4 werden kontinuierlich akustische Signale beziehungsweise Geräusche erfasst, die im Umfeld eines fahrenden oder stehenden Fahrzeugs auftreten, und durch geeignete Vorverstärkung oder Entzerrung für eine Analog-Digital-Wandlung im AD-Wandler 28 vorbereitet. Der AD-Wandler 28 gibt entsprechende digitale Audiosignale über eine Schnittstelle zum Fahrzeugdatenbus (hier beispielsweise ein CAN-Interface CAN-IF) aus. Die Audiosignale werden über das Bussystem beispielsweise an die Sensorverarbeitungseinheit (18 in 1) übertragen, die, wie weiter unten beschrieben, auf Grundlage der Audiosignale bestimmt, ob ein Rückfahrwarnsignal von einem anderen Verkehrsteilnehmer empfangen wurde und, wenn ja, aus welcher Richtung sich das Rückfahrwarnsignal dem Fahrzeug nähert.
  • Im Ausführungsbeispiel der 2 werden die Audiosignale in digitaler Form von der Sensoreinrichtung 20 über den Fahrzeugdatenbus an die Sensorverarbeitungseinheit übertragen. In alternativen Ausführungsformen könnten die Mikrofone auch direkt an die Sensorverarbeitungseinheit angeschlossen sein und die Analog/Digital-Wandlung könnte in einem Audiointerface innerhalb der Sensorverarbeitungseinheit stattfinden.
  • 3 zeigt schematisch eine beispielhafte Konfiguration einer Sensorverarbeitungseinheit gemäß der Erfindung. Alle Bestandteile der Sensorverarbeitungseinheit 18 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 18 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47. Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln, das ein Deep Neural Network (DNN) hardwaremäßig implementiert. Die Sensorverarbeitungseinheit 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Sensorverarbeitungseinheit mit dem Fahrzeugkommunikationsnetzwerk (30 in 2) kommunizieren kann, hier insbesondere um akustische Sensorsignale (Audiodaten von Mikrofonen) von der akustischen Sensoreinrichtung (20 in 1) zu empfangen und um die Benutzerschnittstelle (32 in 1) so anzusteuern, dass bei Erkennen von einem Rückfahrwarnsignal in der Fahrzeugumgebung ein akustisches, optisches oder haptisches Warnsignal ausgegeben wird.
  • In dem Ausführungsbeispiel der 1 ist die Funkkommunikationsschnittstelle 31 über das Fahrzeugbussystem 30 mit der Sensorverarbeitungseinheit 18 gekoppelt. In alternativen Ausführungsbeispielen könnte die Sensorverarbeitungseinheit 18 jedoch auch eine integrierte Funkkommunikationsschnittstelle aufweisen, so dass keine Kommunikation über das Fahrzeugbussystem 30 erforderlich ist.
  • 4 zeigt ein Flussdiagramm eines Prozesses zur Erkennung eines Rückfahrwarnsignals mittels künstlicher Intelligenz gemäß einem Ausführungsbeispiel. Der Klassifizierungsprozess wird beispielsweise von einer Sensorverarbeitungseinheit (18 in 1), insbesondere von einem Prozessor (41 in 3) oder einem anwendungsspezifischen integrierten Schaltkreis (47 in 3) der Sensorverarbeitungseinheit, ausgeführt. In einem Schritt 402 werden akustische Sensorsignale 400, die von einer akustischen Sensoreinrichtung (20 in 1) erfasst wurden, in ein Deep Neuronal Network (DNN) eingespeist, das darauf trainiert wurde, die Klasse eines Zustandes hinsichtlich des Vorliegens eines Rückfahrwarnsignals aus den akustischen Sensorsignalen zu erkennen. Das neuronale Netzwerk (siehe 5 und die zugehörige Beschreibung) gibt dann die mittels künstlicher Intelligenz auf Grundlage des Trainingsprozesses gewonnen Klassifizierungsinformationen 404 bezüglich des Zustandes aus. Die Klassifizierungsinformationen 404 umfassen beispielsweise Klassifizierungssignale, welche Wahrscheinlichkeiten für die jeweiligen Zustände (beispielsweise „Rückfahrwarnsignal vorhanden“, „Rückfahrwarnsignal nicht vorhanden“, „Rückfahrwarnsignal vorne links vom Fahrzeug“, „Rückfahrwarnsignal geradeaus vor dem Fahrzeug“, etc.) anzeigen, wie dies unten unter Bezug auf 7 näher beschrieben ist.
  • 5 zeigt schematisch einen Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal. Ein Windowing-Prozess 50 wird auf einem Audioeingangssignal x(n) durchgeführt, um Audio-Rahmen, auch Audiodatenfenster genannt, zu erhalten. Die Audio-Rahmen überlappen sich typischerweise, z.B. mit einer Überlappungsrate von z.B. 20%. Die Audio-Rahmen werden einem Mel-Frequenz-Cepstrum (MFC)-Prozess 51 zugeführt, der für jeden Audio-Rahmen einen Satz von Mel-Frequenz-Cepstrum-Koeffizienten MFCC(n) erzeugt. Die Mel-Frequenz-Cepstrum-Technik ist dem Fachmann der Klangverarbeitung bekannt als eine Darstellung des kurzfristigen Leistungsspektrums eines Klangs, basierend auf einer linearen Cosinustransformation eines Leistungsspektrums auf einer nichtlinearen Mel-Skala. Das Mel-Frequenzcepstrum MFCC(n) wird einem Deep Neural Network (DNN) des Typs Long-Short-Term-Memory (LSTM) 52 zugeführt, das mittels Trainingsdaten darauf trainiert wurde, eine Audioklassifizierung durchzuführen, wie dies unten in Bezug auf 9 näher beschrieben ist. Das LSTM hat den Vorteil, dass es Feedback-Connections und einen internen Speicher aufweist, so dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen. Auf die Ausgabe der Ausgabeschicht des LSTM wird eine Softmax-Funktion 53 angewandt, um die Aktivierungen der Ausgabeschicht zu normieren. Die Softmax-Funktion 53 erzeugt eine Wahrscheinlichkeitsverteilung der Ausgaben. Der Ausgabe-Vektor liefert eine Wahrscheinlichkeitsverteilung zwischen sich gegenseitig ausschließenden Klassen, indem die Ausgabe der anderen Neuronen im selben Layer berücksichtigt wird. Die Summe aller Ausgänge einer Softmax-Ausgabe ist dadurch auf 1 normiert. Diese Normalisierung mittels der Softmax-Funktion gewichtet die Ausgaben für die jeweilige Zustandsklasse in Bezug auf die Summe über alle Zustandsklassen. So wird eine direkte Einteilung in verschiedene Zustandsklassen ermöglicht, indem jeder Klasse genau ein Ausgabeneuron zugeteilt wird. Die Klasse mit der höchsten Aktivierung ist die wahrscheinlichste Vorrausage des Netzwerks. Auf diese Weise hat eine starke Vorhersage für eine Klasse (P = 1) automatisch zur Folge, dass die Vorhersagen für die restlichen Klassen nahe 0 sind.
  • Im Ausführungsbeispiel der 5 findet als Realisierung des DNN (402 in 4) ein LSTM als Spezialfall eines rekurrenten neuronalen Netzes (Recurrent Neural Networks = RNN) Anwendung. Alternativ können allerdings auch andere DNN-Architekturen, insbesondere RNN-Architekturen für die Audioklassifizierung verwendet werden, beispielsweise solche, die auf Gated-Recurrent-Units (GRUs) basieren.
  • In 5 wird zur schematischen Darstellung des Prinzips der Erfindung dem neuronalen Netz nur ein Spektrogramm zugeführt. Stehen akustische Signale von mehreren Sensoren zur Verfügung, kann für jedes Signal eines Sensors ein jeweiliges Spektrogramm ermittelt werden und das neuronale Netz so ausgelegt werden, dass es mehrere Spektrogramme parallel als Eingangsgrößen entgegennimmt. Entsprechend wird das neuronale Netz auch in der Trainingsphase mit Spektrogrammen korrespondierender Sensoren trainiert.
  • Ferner wird im Ausführungsbeispiel der 5 das Audiosignal dem neuronalen Netz in Form eines Mel-Frequenz-Cepstrum zugeführt. In alternativen Ausführungsbeispielen können statt dem Mel-Frequenz-Cepstrum auch andere Darstellungen des Audiosignals gewählt werden, wie beispielsweise ein normales Cepstrum, oder ein gebinntes Fourier-Spektrum. Die Vorverarbeitung der Audiosignale durch Ermittlung eines Spektrums hat im Allgemeinen den Vorteil, dass die Klanginformationen auf wesentliche Informationen reduziert werden und damit die Verarbeitung durch das neuronale Netzwerk vereinfacht wird. Auf solch eine Vorverarbeitung kann in alternativen Ausführungsformen auch ganz verzichtet werden und stattdessen die Audiodaten eines Audio-Rahmens direkt dem neuronalen Netzwerk zugeführt werden.
  • Für die Klassifizierung können statt der Softmax-Funktion 53 auch andere Klassifizierer verwendet werden, beispielsweise ein SVM-Klassifizierer (SVM = Support Vector Machine), wie dies durch B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers", in Proc. COLT, 1992, S. 144-152.
  • 6 veranschaulicht detaillierter den Prozess, der von dem künstlichen neuronalen Netz der 5 durchgeführt wird. Die Mel-Frequenz-Cepstrum-Koeffizienten der Audio-Rahmen bilden eine Folge von Feature-Vektoren MFCC1(n), MFCC2(n), ... MFCCT(n), die iterativ in das DNN eingegeben werden, wie dies beispielsweise durch Huy Phan et al in „Audio Scene Classification with Deep Recurrent Neural Networks“, arXiv:1703.04770v2 [cs.SD] 5 Jun 2017 näher beschrieben ist. Das DNN besteht aus LSTM-Einheiten LSTM-1 bis LSTM-L (oder alternativ GRU-Einheiten), die in Schichten 1 bis L angeordnet sind. Das DNN iteriert über die Mel-Vektoren MFCC1(n), MFCC2(n), ... MFCCr(n) und berechnet eine Folge von versteckten Zustandsvektoren h1 i, h2 i, ...., hT i, i = 1, ..., T. Jede LSTM-Einheit empfängt einen versteckten Zustand von der vorherigen Einheit und gibt ihn sowie seinen eigenen versteckten Zustand aus. Der Ausgabevektor O des DNN wird dann aus den versteckten Zuständen der letzten Schicht L nach der letzten Iteration T bestimmt.
  • Diese Ausgabe wird, wie in 5 beschrieben, einer Klassifizierungsfunktion zugeführt, um normalisierte Aussagen über die Wahrscheinlichkeitsverteilung bezüglich der vordefinierten Audioklassen zu erhalten.
  • Ein neuronales Netz kann auch, wie oben zu 5 bereits beschrieben, dazu ausgelegt sein, die Sensorsignale mehrerer Sensoren auszuwerten. In diesem Fall sind LSTM-Einheiten entsprechend so dimensioniert, dass sie die Audio-Rahmen mehrerer Sensoren parallel entgegennehmen.
  • 7 zeigt schematisch Ausführungsbeispiele für das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung. Der Ausgabevektor O des DNN, wie er durch den Prozess der 6 erhalten wurde, wird einer Softmax-Funktion 53 zugeführt. Die Softmax-Funktion 53 transformiert den Ausgabevektor O in Wahrscheinlichkeitswerte für unterschiedliche Klassen, die bestimmten Zuständen entsprechen.
  • In dem in 7A dargestellten Ausführungsbeispiel wird der einfachste Fall beschrieben, in dem nur zwischen zwei Klassen, und somit zwischen zwei Zuständen, unterschieden wird. In diesem Fall transformiert die Softmax-Funktion 53 den Ausgabevektor O in einen Wahrscheinlichkeitswert P1 = 0.9 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem ersten Zustand „Rückfahrwarnsignal vorhanden“ entspricht, und einen Wahrscheinlichkeitswert P2 = 0.1 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem zweiten Zustand „Rückfahrwarnsignal nicht vorhanden“ entspricht.
  • Die Klassifizierung gemäß der Erfindung ist nicht auf eine bestimmte Anzahl von Klassen begrenzt, sondern kann auf beliebig viele Klassen erweitert werden. Insbesondere kann bei der Klassifizierung zwischen unterschiedlichen Richtungen, aus denen das Rückfahrwarnsignal empfangen werden kann, unterschieden werden, wie dies in dem Ausführungsbeispiel in 7B gezeigt ist.
  • In dem in 7B dargestellten Ausführungsbeispiel transformiert die Softmax-Funktion 53 den Ausgabevektor O in einen Wahrscheinlichkeitswert P1 = 0.06 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem ersten Zustand „Rückfahrwarnsignal links vom Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P2 = 0.08 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem zweiten Zustand „Rückfahrwarnsignal vorne links vom Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P3 = 0.06 für eine dritte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem dritten Zustand „Rückfahrwarnsignal geradeaus vor dem Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P4 = 0.02 für eine vierte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem vierten Zustand „Rückfahrwarnsignal vorne rechts vom Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P5 = 0.01 für eine fünfte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem fünften Zustand „Rückfahrwarnsignal rechts vom Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P6 = 0.01 für eine sechste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem sechsten Zustand „Rückfahrwarnsignal hinten rechts vom Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P7= 0.01 für eine siebte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem siebten Zustand „Rückfahrwarnsignal geradeaus hinter dem Fahrzeug“ entspricht, einen Wahrscheinlichkeitswert P8 = 0.02 für eine achte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem achten Zustand „Rückfahrwarnsignal hinten links vom Fahrzeug“ entspricht, und einen Wahrscheinlichkeitswert P9 = 0.01 für eine neunte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Zustand einem neunten Zustand „kein Rückfahrwarnsignal“ entspricht.
  • In dem in 7B dargestellten Ausführungsbeispiel wird bei der Klassifizierung zwischen 8 unterschiedlichen Richtungen, aus denen das Rückfahrwarnsignal empfangen werden kann, unterschieden, was einer Unterteilung des Fahrzeugumfelds in 8 Kreissegmente von je 45° entspricht, In anderen Ausführungsbeispielen können jedoch auch andere Granularitäten verwendet werden. Beispielsweise kann zwischen einer noch höheren Anzahl von Richtungen entsprechend einer Unterteilung in kleinere Kreissegmente unterschieden werden, zum Beispiel zwischen 12 Richtungen entsprechend 12 Kreissegmenten von je 30° („links“, „links links vorne“, „links vorne vorne“, „vorne“, „rechts vorne vorne“, „rechts rechts vorne“, „rechts“, etc.).
  • Auf diese Weise können, basierend auf der Analyse eines erfassten Geräusches mittels eines neuronalen Netzwerks, Wahrscheinlichkeiten ermittelt werden, mit denen ein Rückfahrwarnsignal aus einer bestimmten Richtung empfangen wird. Die Zuordnung, aus welcher Richtung ein erfasstes Rückfahrwarnsignal empfangen wird, kann beispielsweise dadurch realisiert werden, dass der Eingabeschicht des neuronalen Netzes Audio-Rahmen von mehreren Richtmikrofonen zugeführt werden, so dass das neuronale Netz durch Analyse der durch die akustische Sensoreinrichtung (20 in 1) erfassten akustischen Signale Rückschlüsse darauf ziehen kann, aus welcher Richtung die akustischen Signale empfangen werden.
  • Ferner kann sobald das rückwärtsfahrende Fahrzeug bzw. dessen Rückfahrscheinwerfer über die Umfeldsensoren (22 in 1), beispielsweise eine 360°-Kamera, erfasst werden kann, die Position oder Entfernung des rückwärtsfahrenden Fahrzeugs relativ zum Fahrzeug anhand der Umfeldsensordaten bestimmt werden. Die anhand der Umfeldsensoren ermittelten Positionsdaten können dann dazu verwendet werden, die aus den akustischen Signalen mittels neuronalem Netz abgeleiteten Richtungsangaben zu verifizieren.
  • 8 zeigt ein Flussdiagramm eines Prozesses zur Erkennung eines Rückfahrwarnsignals mittels künstlicher Intelligenz gemäß einem weiteren Ausführungsbeispiel. In einem Schritt S800 werden die von der akustischen Sensoreinrichtung (20 in 1) erfassten Audiodaten an die Sensorverarbeitungseinheit des Fahrzeugs (18 in 1) übertragen, wo sie mittels neuronalem Netz wie oben unter Bezugnahme auf die 4 bis 7 beschrieben ausgewertet werden oder in Form eines Soundfiles an einen externen Dienst in einer Cloud übertragen und dort ausgewertet werden. In dem Schritt S800 wird durch die Sensorverarbeitungseinheit bzw. durch den Cloud-Dienst durch Klassifizierung der erfassten Audiodaten mittels des neuronalen Netzes ein Zustand hinsichtlich des Vorliegens eines Rückfahrwarnsignals bestimmt. In einem Schritt 810 wird basierend auf dem Ergebnis der Klassifizierung aus Schritt S800 bestimmt, ob durch das neuronale Netz ein Rückfahrwarnsignal erkannt wurde. Wird in Schritt S810 bestimmt, dass kein Rückfahrwarnsignal erkannt wurde, so werden die Schritte S800 und S810 erneut durchgeführt, solange bis ein Rückfahrwarnsignal erkannt wird. Wird in Schritt S810 bestimmt, dass ein Rückfahrwarnsignal erkannt wird, so geht das Verfahren zu einem Schritt S820 über. In dem Schritt S820 werden die von den Umfeldsensoren (Kamera, Lidar etc.) (22 in 1) gesammelten Daten auf die Detektion eines rückwärtsfahrenden Fahrzeugs ausgewertet. In einem Schritt S830 wird dann bestimmt, ob durch die Auswertung der Umfeldsensordaten in Schritt 820 ein rückwärtsfahrendes Fahrzeug erkannt wurde (beispielsweise durch Bilderkennungsverfahren, etc.). Wird in Schritt S830 bestimmt, dass kein rückwärtsfahrendes Fahrzeug erkannt wurde, so wird zu Schritt S800 zurückgesprungen und der Prozess beginnt von neuem. Wird in Schritt S830 dagegen bestimmt, dass ein rückwärtsfahrendes Fahrzeug erkannt wurde, so geht das Verfahren zu einem Schritt S840 über. In Schritt S840 wird bestimmt, ob die Richtung des in Schritt S810 erkannten Rückfahrwarnsignals mit der aus den Umfeldsensordaten erhaltenen Position übereinstimmt. Wird in Schritt S840 bestimmt, dass die Richtung des erkannten Rückfahrwarnsignals nicht mit der aus den Umfeldsensordaten erhaltenen Position übereinstimmt, so geht das Verfahren zurück zu Schritt S800 und beginnt von neuem. Wird in Schritt S840 bestimmt, dass die Richtung des erkannten Rückfahrwarnsignals mit der aus den Umfeldsensordaten erhaltenen Position übereinstimmt, so geht das Verfahren zu einem Schritt S850 über. In Schritt S850 wird basierend auf der erkannten Richtung ein Warnsignal ausgegeben, um zu signalisieren, dass ein rückwärtsfahrendes Fahrzeug erkannt wurde. In diesem Ausführungsbeispiel wird folglich das Ergebnis der akustischen Klassifizierung durch das neuronale Netzwerk mit den Ergebnissen der Umfelderkennung validiert, um nur dann ein Warnsignal auszugeben, wenn die beiden Erkennungssysteme übereinstimmende Ergebnisse liefern.
  • Auf diese Weise kann, sobald die Sensorverarbeitungseinheit des Fahrzeugs (10 in 1) ein Rückfahrwarnsignal erkennt, über eine Benutzerschnittstelle eine entsprechende Warnung an den Fahrer des Fahrzeugs 10 ausgegeben werden, beispielsweise als akustische, optische oder haptische Warnung. Der Fahrer des Fahrzeugs 10 wird auf diese Weise davor gewarnt, dass sich aus einer bestimmten Richtung ein rückwärtsfahrendes Fahrzeug nähert. Dies ist auch dann möglich, wenn eine Erfassung des Rückfahrwarnsignals durch den Fahrer selbst oder eine Erfassung des rückwärtsfahrenden Fahrzeugs durch die Umfeldsensoren 22 noch nicht möglich ist, beispielsweise wenn das rückwärtsfahrende Fahrzeug durch ein statisches Hindernis verdeckt wird. Ebenso kann der Fahrer des rückwärtsfahrenden Fahrzeugs über eine Signaleinheit (Hupe/Licht) frühzeitig dazu aufgefordert werden, sein Rückfahrmanöver zu korrigieren oder ganz einzustellen. Zusätzlich oder alternativ kann das rückwärtsfahrende Fahrzeug per V2V-Kommunikation gewarnt werden, dass dessen Rückwärtsfahrt einen anderen Verkehrsteilnehmer gefährdet. Per V2V können dem rückwärtsfahrenden Fahrzeug insbesondere Informationen über das im Weg befindliche Fahrzeug übermittelt werden, wie beispielsweise dessen genaue Position, oder dergleichen.
  • Alternativ oder zusätzlich kann bei Erkennen eines Rückfahrwarnsignals und damit eines rückwärtsfahrenden Fahrzeugs über die V2X-Kommunikationseinheit (31 in 1) eine Warnung an umliegende Personen ausgegeben werden, insbesondere wenn mittels der Umfeldsensoren (22 in 1) erkannt wurde, dass diese Personen sich im Gefahrenbereich befinden oder zukünftig befinden könnten. Beispielsweise kann bei Erkennen eines Rückfahrwarnsignals per V2I-Kommunikation eine entsprechende Warnung an eine Infrastruktureinheit übersandt werden, welche wiederum eine Kommunikationsverbindung mit Mobilfunkgeräten von möglicherweise gefährdeten Personen aufnehmen kann, um diese zu warnen.
  • Ferner können durch das frühzeitige Erkennen des Rückfahrwarnsignals eines anderen Fahrzeugs die Fahrweise bzw. der Fahrweg autonom angepasst werden, so dass beispielsweise Einfahrten (erkennbar durch abgesenkten Bordstein oder Mapping zu HD-Karte) oder Straßenkreuzungen freigehalten werden, damit das rückwärtsfahrende Fahrzeug problemlos rückwärtsfahren kann.
  • Ferner können bei Erkennen eines Rückfahrwarnsignals auch akustische Geräte in dem Fahrzeug stumm geschaltet werden, beispielsweise ein Radio oder eine Telefonfreisprecheinrichtung, um so die Aufmerksamkeit des Fahrers zu erhöhen und ihm zu ermöglichen, die erfassten akustischen Signale auch selbstständig besser wahrzunehmen. Sobald kein Rückfahrwarnsignal mehr erkannt wird, können die akustischen Geräte automatisch wieder mit ihren vorherigen Einstellungen betrieben werden.
  • Das Fahrzeug kann ferner dazu ausgelegt sein, bei Erkennen eines Rückfahrwarnsignals in eine Fahrzeugsteuerung einzugreifen, indem in Abhängigkeit des erfassten Warnsignals eine oder mehrere den Fahrer unterstützende Aktionen eingeleitet werden. Diese den Fahrer unterstützende Aktionen können beispielsweise darin bestehen, im Falle eines erfassten Warnsignals ein Ausweichmanöver zu starten, um eine Kollision mit dem rückwärtsfahrenden Fahrzeug zu verhindern. Dabei ist beispielsweise ein Abbremsen, insbesondere eine Notbremsung, ein Ausweichen und dergleichen möglich. Weiterhin ist eine Aktivierung eines Fahrassistenzsystems möglich, insbesondere eine Fahrdynamikregelung, wie das elektronische Stabilitätsprogramm (ESP), das durch gezieltes Abbremsen einzelner Räder dem Ausbrechen des Wagens entgegenwirkt, oder ein Einstellen eines Dämpfungssystems. Das Einbeziehen der fahrzeugeigenen Datenquellen, wie GPS oder Umfeldsensorik, ermöglicht dabei eine individuell angepasste unterstützende Aktionen unter Berücksichtigung einer relativen und/oder absoluten Position des Fahrzeuges, eines Zeitpunkts des Zusammentreffens mit dem rückwärtsfahrenden Fahrzeug und/oder einer quantitativen Aussage über die Relativgeschwindigkeit zwischen Fahrzeug und rückwärtsfahrendem Fahrzeug. Ein teil- oder vollautonomes Fahrzeug kann auf diese Weise selbstständig, in Abhängigkeit des erfassten Rückfahrwarnsignals, die zumindest eine Aktion durchführen, ohne dass erst eine Reaktion des Fahrers des Fahrzeugs erforderlich ist. Dadurch kann eine Reaktionszeit des Fahrzeugs in einer Gefahrensituation verringert werden und die Verkehrssicherheit erhöht werden.
  • Es ist ferner möglich, eine Frequenzerkennung (z.B. mittels FFT - „fast fourier transformation“) an den erfassten akustischen Signalen durchzuführen und die Frequenzinformationen dem neuronalen Netzwerk zuzuführen, damit dieses die Geschwindigkeit und/oder Trajektorie erkennen kann, mit der sich das rückwärtsfahrende Fahrzeug relativ zum Fahrzeug bewegt. Auf diese Weise können auf Grundlage der abgeleiteten Geschwindigkeit und/oder Trajektorie des rückwärtsfahrenden Fahrzeugs angemessene Fahrmanöver veranlasst werden, um eine Kollision zu vermeiden.
  • In den oben beschriebenen Ausführungsbeispielen wir ein Rückfahrwarnsignal durch die Sensorverarbeitungseinheit (18 in 1) erkannt. Alternativ wäre es auch möglich, dass das Rückfahrwarnsignal anstelle von einer fahrzeugeigenen Sensorverarbeitungseinheit von einem Mobiltelefon erkannt wird und dann durch das Mobiltelefon eine Warnung an umliegende Fahrzeuge weitergegeben wird.
  • 9 zeigt einen Prozess des Trainings eines neuronalen Netzes, so dass dieses die Klassifizierung vornehmen kann, wie dies in den 5, 6 und 7 beschrieben ist. Damit eine Sensorverarbeitungseinheit 18 eine automatische Klassifizierung des Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals durchführen kann, werden in einem Schritt 901 die bei Rückwärtsfahrmanövern verursachten Rückfahrwarnsignale unterschiedlicher Fahrzeuge (LKW, Bus, Sonderfahrzeug etc.) aus unterschiedlichen bekannten Richtungen zunächst erfasst, gesammelt und in einem manuellen Klassifizierungsschritt 902 manuell klassifiziert, um in einem Schritt 903 auf Grundlage der erfassten Geräusche und der manuell erhaltenen Klassifizierungen einen Satz an Trainingsdaten zu erzeugen. Soll der Zustand hinsichtlich der Richtung des Rückfahrwarnsignale klassifiziert werden, so werden in der Trainingsphase vorzugsweise die Audiosignale mehrerer Richtmikrofone verwendet, die am Fahrzeug angeordnet und jeweils in eine zu erfassende Himmelsrichtung ausgerichtet sind, und es wird im Trainingsdatensatz entsprechend festgehalten, aus welcher Richtung das Rückfahrwarnsignals kommt. In einem Schritt 904 wird ein künstliches neuronales Netz mit dem Trainingsdatensatz trainiert, um ein auf die Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals trainiertes neuronales Netz zu erzeugen. Hinsichtlich dieses Trainingsprozesses kann der Fachmann auf beliebige bekannte Techniken zurückgreifen, wie beispielsweise den ursprünglichen Trainings-mechanismus für LSTMs, wie er von Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks" im Journal of Machine Learning Research 3 (2002), 115-143 beschrieben wurde und der auf einem Gradientenverfahren beruht, mittels dem die Gewichte der LSTM-Einheiten eingestellt werden. Während dieses Trainingsprozesses wird dem neuronalen Netz vorzugsweise eine große Anzahl von Beispielen (Trainingsdaten) präsentiert. Beispielsweise werden mehrmals die bei einer Serie von Rückwärtsfahrmanövern unterschiedlicher Fahrzeuge verursachten Rückfahrwarnsignale aus unterschiedlichen bekannten Richtungen erfasst und dem jeweils bekannten Zustand („Rückfahrwarnsignal vorhanden“, „Rückfahrwarnsignal nicht vorhanden“, Richtung des Rückfahrwarnsignals) manuell zugeordnet. Auf diese Weise werden Geräusche, die für einen bestimmten Zustand charakteristisch sind, diesem Zustand zugeordnet. Diese Zuordnungen werden vom neuronalen Netz gelernt und können dann bei dem Klassifizierungsprozess durch das neuronale Netzwerk verwendet werden.
  • Bezugszeichenliste
    • 10
    Fahrzeug
    12
    Steuereinheit Bremssystem
    14
    Steuereinheit Antriebsstrang
    16
    Steuereinheit Lenksystem
    18
    Sensorverarbeitungseinheit
    20
    akustische Sensoreinrichtung
    22
    Umfeldsensoren
    24
    Satellitennavigationseinheit
    26
    Verstärkereinrichtung
    28
    Analog-Digital-Wandler
    30
    Fahrzeugkommunikationsnetzwerk
    31
    Funkkommunikationsschnittstelle 31 (LTE/UMTS)
    32
    Benutzerschnittstelle
    34
    Signaleinheit
    41
    Prozessor
    42
    Direktzugriffsspeicher
    43
    Nur-Lese-Speicher
    44
    externes Speicherlaufwerk
    45
    Kommunikationsschnittstelle
    46
    internes Kommunikationsnetzwerk
    47
    integrierter Schaltkreis
    50
    Windowing
    51
    Mel-Spektrogramm
    52
    LSTM
    53
    Softmax
    LSTM-1
    LSTM-Einheit der ersten Schicht
    LSTM-2
    LSTM-Einheit der zweiten Schicht
    LSTM-L
    LSTM-Einheit der letzten Schicht
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102016006802 A1 [0003]
    • DE 102018001583 A1 [0004]
  • Zitierte Nicht-Patentliteratur
    • B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers“, in Proc. COLT, 1992, S. 144-152 [0048]
    • Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks“ im Journal of Machine Learning Research 3 (2002), 115-143 [0067]

Claims (10)

  1. Vorrichtung (18), die dazu ausgelegt ist, in einem Fahrzeugumfeld aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
  2. Vorrichtung (18) nach Anspruch 1, wobei es sich bei den aufgenommenen Geräuschen um Signale ein oder mehrerer Mikrofone handelt.
  3. Vorrichtung (18) nach Anspruch 1 oder 2, die ferner dazu ausgelegt ist, die gewonnenen Klassifizierungsinformationen (P1, P2, P3, P4) an einen Benutzer auszugeben.
  4. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, die in dem Fahrzeugumfeld aufgenommenen Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen.
  5. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, einen Windowing-Prozess (50) auf den aufgenommenen Geräuschen auszuführen, um Audio-Rahmen der aufgenommenen Geräusche zu erhalten.
  6. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, eine spektrale Darstellung (51) eines Datenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.
  7. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, eine Klassifizierungsfunktion (53), insbesondere einen Softmax-Algorithmus oder einen SVM-Algorithmus auf den Ausgabevektor (O) eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen (P1, P2, P3, P4) zu erhalten.
  8. Vorrichtung (18) nach einem der vorhergehenden Ansprüche, die ferner dazu ausgelegt ist, eine Fahrzeugsteuerungsmaßnahme basierend auf dem Zustand hinsichtlich des Vorliegens eines Rückfahrwarnsignals zu ermitteln.
  9. Fahrzeug (10) mit einer akustischen Sensoreinrichtung (20) und einer Vorrichtung (18) nach einem der Ansprüche 1 bis 8, die dazu ausgelegt ist, in einem Fahrzeugumfeld mittels der akustischen Sensoreinrichtung (20) aufgenommene Geräusche mittels einem künstlichen neuronalen Netz in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
  10. Verfahren, bei dem in einem Fahrzeugumfeld aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen (P1, P2, P3, P4) überführt werden, welche eine Klassifizierung eines Zustands hinsichtlich des Vorliegens eines Rückfahrwarnsignals ermöglichen.
DE102019218058.2A 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern Active DE102019218058B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019218058.2A DE102019218058B4 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019218058.2A DE102019218058B4 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern

Publications (2)

Publication Number Publication Date
DE102019218058A1 true DE102019218058A1 (de) 2021-05-27
DE102019218058B4 DE102019218058B4 (de) 2021-06-10

Family

ID=75784261

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019218058.2A Active DE102019218058B4 (de) 2019-11-22 2019-11-22 Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern

Country Status (1)

Country Link
DE (1) DE102019218058B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436647A (zh) * 2021-06-23 2021-09-24 中国第一汽车股份有限公司 一种车窗升降系统声音评价指标确定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008012390B3 (de) * 2008-03-04 2009-10-01 Continental Automotive Gmbh Verfahren zur automatischen Anpassung der Lautstärke einer Audioausgabe in einem Fahrzeug bei sich näherndem Rettungsfahrzeug
WO2012097150A1 (en) * 2011-01-12 2012-07-19 Personics Holdings, Inc. Automotive sound recognition system for enhanced situation awareness
DE102015013043A1 (de) * 2015-10-08 2016-04-28 Daimler Ag Verfahren zur Vermeidung einer Kollision oder zumindest zur Verringerung einer Kollisionsschwere eines Fahrzeuges
DE102016006802A1 (de) * 2016-06-03 2016-12-08 Daimler Ag Verfahren und Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden Sondersignals
DE102018001583A1 (de) * 2018-02-28 2019-02-14 Daimler Ag Verfahren und Vorrichtung zur Erfassung und Anzeige zumindest eines von einem Einsatzfahrzeug ausgehenden Sondersignals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008012390B3 (de) * 2008-03-04 2009-10-01 Continental Automotive Gmbh Verfahren zur automatischen Anpassung der Lautstärke einer Audioausgabe in einem Fahrzeug bei sich näherndem Rettungsfahrzeug
WO2012097150A1 (en) * 2011-01-12 2012-07-19 Personics Holdings, Inc. Automotive sound recognition system for enhanced situation awareness
DE102015013043A1 (de) * 2015-10-08 2016-04-28 Daimler Ag Verfahren zur Vermeidung einer Kollision oder zumindest zur Verringerung einer Kollisionsschwere eines Fahrzeuges
DE102016006802A1 (de) * 2016-06-03 2016-12-08 Daimler Ag Verfahren und Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden Sondersignals
DE102018001583A1 (de) * 2018-02-28 2019-02-14 Daimler Ag Verfahren und Vorrichtung zur Erfassung und Anzeige zumindest eines von einem Einsatzfahrzeug ausgehenden Sondersignals

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOSER, Bernhard E. ; GUYON, Isabelle M. ; VAPNIK, Vladimir: A training algorithm for optimal margin classifiers. In: ACM: 5th Annual Workshop on Computational Learning Theory - 27-29 July 1992 - Pittsburgh, PA, USA, 1992, S. 144-152. - ISBN 0-89791-497-X. DOI: 10.1145/130385.130401. URL: https://dl.acm.org/ft_gateway.cfm?id=130401&ftid=32334&dwn=1&CFID=178769169&CFTOKEN=7df2035f66dfd375-FA682370-DED7-199D-396F021545D066DB [abgerufen am 2019-12-13]. *
GERS, Felix A. ; SCHRAUDOLPH, Nicol N. ; SCHMIDHUBER, Jürgen: Learning precise timing with lstm recurrent networks. In: Journal of Machine Learning Research (JMLR), Bd. 3, 2003, S. 115-143. - ISSN 1533-7928 (E); 1532-4435 (P). DOI: 10.1162/153244303768966139. URL: https://dl.acm.org/ft_gateway.cfm?id=944925&ftid=233517&dwn=1&CFID=178774851&CFTOKEN=95f412cacf7b08de-FB2DF663-C444-B5B8-E7CA93ACE03E8E2D [abgerufen am 2019-12-13]. *
PHAN, Huy [u.a.]: Audio scene classification with deep recurrent neural networks. 05-06-2017. S. 1-5. URL: https://arxiv.org/pdf/1703.04770v2 [abgerufen am 2019-12-13]. - arXiv: 1703.04770v2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436647A (zh) * 2021-06-23 2021-09-24 中国第一汽车股份有限公司 一种车窗升降系统声音评价指标确定方法及装置
CN113436647B (zh) * 2021-06-23 2022-07-01 中国第一汽车股份有限公司 一种车窗升降系统声音评价指标确定方法及装置

Also Published As

Publication number Publication date
DE102019218058B4 (de) 2021-06-10

Similar Documents

Publication Publication Date Title
DE102020104360A1 (de) Fahrzeug mit externem audio-lautsprecher und mikrofon
DE102016114754A1 (de) Fokussiersystem zum Verbessern einer Fahrzeugsichtleistung
DE102019120461A1 (de) Verfahren und system zur bewertung einer fehlerhaften bedrohungserfassung
DE102019215399A1 (de) Verfahren und vorrichtung zum analysieren einer fahrtendenz und system zum steuern eines fahrzeugs
DE102015105876A1 (de) Verfahren zum Bereitstellen einer Betreiberunterstützung unter Verwendung eines Telematikdienstsystems eines Fahrzeugs
DE102015225135B4 (de) System und Verfahren zur Anpassung einer akustischen Ausgabe eines Navigationssystems
DE102013215094A1 (de) Situationsbezogene Konfiguration von künstlichen Fahrzeug- und Motorgeräuschen
DE102014225699A1 (de) Gerät und verfahren für das eliminieren von geräusch bzw. rauschen, klangerkennungsgerät, wobei das gerät und fahrzeug, welches mit dem klangerkennungsgerät ausgestattet ist, benutzt wird
DE112017007793T5 (de) Anomalieerkennung im innenraum eines autonomen fahrzeugs
DE102019118184A1 (de) System und Verfahren zur nutzerindividuellen Anpassung von Fahrzeugparametern
DE102020107775A1 (de) Erkennung und Interpretation akustischer Signale und Ereignisse im Fahrzeugaußen- und/oder Innenraum
DE102019218069A1 (de) Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners
DE102022112348A1 (de) Systeme und verfahren zur kommunikation mit seh- und hörgeschädigten fahrzeuginsassen
DE102019218058B4 (de) Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern
DE102022112349A1 (de) Systeme und verfahren zur kommunikation mit seh- und hörgeschädigten fahrzeuginsassen
DE102015218970A1 (de) Verfahren und System zum Vergleich von Eigenschaften eines Verkehrsteilnehmers
DE102021116309A1 (de) Assistenz für beeinträchtigte fahrer
DE112017008236T5 (de) Verfahren und vorrichtung zur unterstützung des fahrens
EP3729423B1 (de) Verfahren zum betreiben einer schallausgabeeinrichtung eines kraftfahrzeugs, sprachanalyse- und steuereinrichtung, kraftfahrzeug, und kraftfahrzeugexterne servereinrichtung
DE102017213252A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Variieren eines in einem Fahrzeug auszugebenden Audio-Inhalts
WO2020020594A1 (de) Verfahren zur ausgabe eines signals in abhängigkeit von einem beschleunigungssignal sowie steuergerät zur ausgabe eines signals in abhängigkeit von einem beschleunigungssignal
DE102022103057B3 (de) Verfahren zum Bereitstellen einer Geräuschunterdrückungsfunktion in einem Kraftfahrzeug und Kraftfahrzeug
DE102022126163A1 (de) System und verfahren zum integrieren auditiver und nichtauditiver eingaben für anpassbare spracherkennung
DE102019001092A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, sowie elektronische Recheneinrichtung, Computerprogrammprodukt und Datenträger
DE102020213862A1 (de) Verfahren und Umgebungserfassungssystem zum Bereitstellen von Umgebungsdaten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: SCHMIDT, DANIEL, DR., DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final