DE102019130264A1

DE102019130264A1 - SYSTEM FOR THE ENVIRONMENTAL DETECTION OF A VEHICLE WITH THE AID OF PASSIVE ACOUSTIC SENSORS

Info

Publication number: DE102019130264A1
Application number: DE102019130264.1A
Authority: DE
Inventors: Bernhard Beyer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-12

Abstract

Die vorliegende Erfindung betrifft ein System zum Ermitteln von einem Merkmal, das ein außerhalb eines Fahrzeugs befindliches Objekt charakterisiert, auf Basis eines Schallsignals, das von dem Objekt in den das Fahrzeug umgebenden Außenraum ausgesandt wurde, aufweisend: einen oder mehrere passive Akustiksensoren, von denen zumindest einer an dem Fahrzeug angeordnet ist, wobei jeder passive Akustiksensor eingerichtet ist, das von dem Objekt in den Außenraum des Fahrzeugs ausgesandte Schallsignal zumindest abschnittsweise über einen vorgegebenen, schallspezifischen Zeitraum zu erfassen und dem erfassten Schallsignal entsprechende Audiodaten zu erzeugen; eine Speichereinheit, die eine oder mehrere Referenzaudiodatensequenzen speichert, die jeweils ein Schallsignal repräsentieren und mit einem Merkmal eines Objektes assoziiert sind, das zum Aussenden dieses Schallsignals eingerichtet ist; und eine Auswertungseinheit zum Ermitteln des dem Objekt zugehörigen Merkmals auf Basis der von zumindest einem passiven Akustiksensor erzeugten Audiodaten und der Referenzaud iodatensequenzen .The present invention relates to a system for determining a feature that characterizes an object located outside of a vehicle on the basis of a sound signal that was emitted by the object into the outside space surrounding the vehicle, comprising: one or more passive acoustic sensors, of which at least one is arranged on the vehicle, each passive acoustic sensor being set up to detect the sound signal emitted by the object into the exterior of the vehicle at least in sections over a predetermined, sound-specific period of time and to generate audio data corresponding to the detected sound signal; a storage unit which stores one or more reference audio data sequences which each represent a sound signal and are associated with a feature of an object which is set up to emit this sound signal; and an evaluation unit for determining the feature associated with the object on the basis of the audio data generated by at least one passive acoustic sensor and the reference audio data sequences.

Description

Die vorliegende Erfindung betrifft ein System zum Ermitteln von einem Merkmal, das ein außerhalb eines Fahrzeugs befindliches Objekt charakterisiert, auf Basis eines Schallsignals, das von dem Objekt in den das Fahrzeug umgebenden Außenraum ausgesandt wurde.The present invention relates to a system for determining a feature which characterizes an object located outside a vehicle on the basis of a sound signal which was transmitted by the object into the outside space surrounding the vehicle.

Für die Ermittlung des Umfeldes eines Fahrzeuges sind derzeit nur Kameras oder aktive Akustiksensoren im Einsatz, die selber Schallsignale aussenden, Reflexionen dieses Schallsignals an einem Objekt erfassen, und aufgrund der erfassten Reflexionen Merkmale zu dem reflektierenden Objekt ermitteln. Diese Sensoren sind erstens teuer und zweitens kann mit ihnen jeweils nur ein begrenzter Bereich des Umfeldes des Fahrzeuges ermittelt werden, sodass mehrere am Fahrzeug installierte Sensoren erforderlich sind, um das gesamte Umfeld des Fahrzeugs zu ermitteln.To determine the surroundings of a vehicle, only cameras or active acoustic sensors are currently in use, which themselves emit sound signals, detect reflections of this sound signal on an object, and determine features of the reflecting object on the basis of the detected reflections. These sensors are firstly expensive and secondly only a limited area of the surroundings of the vehicle can be determined with them, so that several sensors installed on the vehicle are required in order to determine the entire surroundings of the vehicle.

Es ist daher eine Aufgabe der vorliegenden Erfindung ein System bereitzustellen, das für die Ermittlung des Umfeldes eines Fahrzeugs den Einsatz von preiswerten und möglichst wenigen, am besten nur einen, am Fahrzeug installierten Akustiksensoren zulässt.It is therefore an object of the present invention to provide a system which allows the use of inexpensive and as few as possible, preferably only one, acoustic sensors installed on the vehicle for determining the surroundings of a vehicle.

Die Lösung dieser Aufgabe wird gemäß der Lehre des Anspruchs 1 erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.The solution to this problem is achieved according to the teaching of claim 1. Various embodiments and developments of the invention are the subject of the subclaims.

Die Erfindung betrifft ein System zum Ermitteln von einem Merkmal, das ein außerhalb eines Fahrzeugs befindliches Objekt charakterisiert, auf Basis eines Schallsignals, das von dem Objekt in den das Fahrzeug umgebenden Außenraum ausgesandt wurde, aufweisend:

einen oder mehrere passive Akustiksensoren, von denen zumindest einer an dem Fahrzeug angeordnet ist, wobei jeder passive Akustiksensor eingerichtet ist, das von dem Objekt in den Außenraum des Fahrzeugs ausgesandte Schallsignal zumindest abschnittsweise über einen vorgegebenen, schallspezifischen Zeitraum zu erfassen und dem erfassten Schallsignal entsprechende Audiodaten zu erzeugen;
eine Speichereinheit, die eine oder mehrere Referenzaudiodatensequenzen speichert, die jeweils ein Schallsignal repräsentieren und mit einem Merkmal eines Objektes assoziiert sind, das zum Aussenden dieses Schallsignals eingerichtet ist; und
eine Auswertungseinheit zum Ermitteln des dem Objekt zugehörigen Merkmals auf Basis der von zumindest einem passiven Akustiksensor erzeugten Audiodaten und der Referenzaudiodatensequenzen.

The invention relates to a system for determining a feature that characterizes an object located outside a vehicle, on the basis of a sound signal that was sent from the object into the outside space surrounding the vehicle, comprising:

one or more passive acoustic sensors, of which at least one is arranged on the vehicle, each passive acoustic sensor being set up to record the sound signal emitted by the object into the exterior of the vehicle at least in sections over a predetermined, sound-specific period of time and audio data corresponding to the recorded sound signal to create;
a storage unit which stores one or more reference audio data sequences which each represent a sound signal and are associated with a feature of an object which is set up to emit this sound signal; and
an evaluation unit for determining the feature associated with the object on the basis of the audio data generated by at least one passive acoustic sensor and the reference audio data sequences.

Dadurch können im Umfeld rund um das Fahrzeug für dessen Betrieb wichtige Informationen mit Hilfe eines oder mehreren preiswerten Sensoren ermittelt werden. Bei Benutzung von zwei oder mehreren Sensoren ist die Richtungserkennung eines sich im Umfeld des Fahrzeuges bewegenden Objektes möglich.As a result, information that is important for its operation in the area surrounding the vehicle can be determined with the help of one or more inexpensive sensors. When using two or more sensors, it is possible to detect the direction of an object moving in the vicinity of the vehicle.

Das Fahrzeug, an dem ein oder mehrere passive Akustiksensoren angeordnet sind, kann insbesondere ein hochautomatisiertes Fahrzeug sein. Das Objekt kann sein: das mit einem oder mehreren passiven Akustiksensoren versehene Fahrzeug, ein von diesem verschiedenes Fahrzeug, eine Infrastruktureinrichtung, ein Mensch, ein Tier, eine Straße oder eine auf ihr befindliche Pfütze. Dementsprechend können die von dem Objekt ausgesandten Signale sein: ein Hupen, ein Piepen, Folgetonhornsignale, ein Schrei, ein Bellen, das Abrollgeräusch eines Reifens, das Plätschern von Wasser auf eine Straße, das beim Durchfahren einer Pfütze entstehende Geräusch, etc. Referenzaudiodatensequenzen können beispielsweise folgende Schallsignale repräsentieren: das Hupsignal eines Fahrzeugs, das Piep-Signal eines rückwärtsfahrenden Fahrzeugs, Folgetonhornsignale von Krankenwagen, von Polizei- oder Feuerwehrfahrzeugen, das Signal einer Bahnschranke, fahrbahnoberflächenspezifische Abrollgeräusche eines Reifens, Plätschern von Wasser auf die Fahrbahn, Geräusch beim Durchfahren einer Pfütze, etc. Das Ermitteln eines einem Objekt zugehörigen Merkmals kann unter Nutzung einer Zuordnungstabelle, die Referenzaudiodatensequenzen mit ihren jeweiligen Merkmalen assoziiert, oder einem auf Maschinen beruhendem Klassifikationsverfahren erfolgen.The vehicle on which one or more passive acoustic sensors are arranged can in particular be a highly automated vehicle. The object can be: the vehicle provided with one or more passive acoustic sensors, a different vehicle, an infrastructure facility, a person, an animal, a street or a puddle located on it. Accordingly, the signals emitted by the object can be: a honking, beeping, following tone horn signals, a scream, a barking, the rolling noise of a tire, the splashing of water on a road, the noise that occurs when driving through a puddle, etc. represent the following sound signals: the horn signal of a vehicle, the beep signal of a reversing vehicle, secondary horn signals from ambulances, police or fire engines, the signal from a railway barrier, road surface-specific rolling noises of a tire, splashing of water on the roadway, noise when driving through a puddle, etc. A feature associated with an object can be determined using an assignment table which associates reference audio data sequences with their respective features, or a classification method based on machines.

Ist das Objekt beispielsweise ein Krankenwagen, der bei einem Krankentransport ein Folgetonhornsignal ausstrahlt, so kann dieses von auf einem hochautomatisierten Fahrzeug angeordneten passiven Akustiksensor empfangen und in Audiodaten umgewandelt werden. Die Auswertungseinheit kann auf Basis dieser und der Referenzaudiodatensequenz eines einem Krankenwagen, das mit dem Merkmal Krankentransport assoziiert ist, eindeutig das Merkmal „Krankentransport“ für die erfassten Audiodaten ermitteln.If the object is, for example, an ambulance that emits a secondary horn signal when the patient is being transported, this can be received by a passive acoustic sensor located on a highly automated vehicle and converted into audio data. On the basis of this and the reference audio data sequence of an ambulance, which is associated with the characteristic of patient transport, the evaluation unit can unambiguously determine the characteristic “patient transport” for the recorded audio data.

Unter einem passiven Akustiksensor im Sinne der vorliegenden Erfindung ist ein Akustiksensor zu verstehen, der ein von einem anderen Objekt/Quelle ausgesendetes Schallsignal empfängt und dieses in ein elektrisches Signal/Audiodaten umwandelt. Passive Akustiksensoren im Sinne der vorliegenden Erfindung können Mikrofone sein. Ihre Richtcharakteristik kann isotop oder richtungsabhängig sein. Ist der passive Akustiksensor ein Richtmikrofon, so liefert dieses zusätzlich zu den Audiodaten des empfangenen Schallsignals die Richtung, aus der Schallsignal empfangen wurde. Empfängt hingegen das Richtmikrofon kein Signal, so kann seine Richtung höchster Empfindlichkeit als Ausbreitungsrichtung des Schallsignals ausgeschlossen werden. Die (reine) Empfangseinheit von Akustiksensoren, die ausgebildet sind, ein Schallsignal zu erzeugen, eine Reflexion dieses Schallsignals zu empfangen, und diesem entsprechende Reflexionsdaten zu erzeugen, können auch passive Akustiksensoren im Sinne der vorliegenden Erfindung sein. Jedoch sind die von diesen Akustiksensoren erzeugten Reflexionsdaten oder die aufgrund der Auswertung der Reflexionsdaten erzeugten Daten keine Audiodaten im Sinne der vorliegenden Erfindung.A passive acoustic sensor in the context of the present invention is to be understood as an acoustic sensor which receives a sound signal emitted by another object / source and converts this into an electrical signal / audio data. Passive acoustic sensors in the sense of present invention can be microphones. Their directional characteristics can be isotopic or directional. If the passive acoustic sensor is a directional microphone, this also supplies the direction from which the sound signal was received in addition to the audio data of the received sound signal. If, on the other hand, the directional microphone does not receive a signal, its direction of highest sensitivity can be excluded as the direction of propagation of the sound signal. The (pure) receiving unit of acoustic sensors, which are designed to generate a sound signal, to receive a reflection of this sound signal, and to generate corresponding reflection data, can also be passive acoustic sensors within the meaning of the present invention. However, the reflection data generated by these acoustic sensors or the data generated on the basis of the evaluation of the reflection data are not audio data within the meaning of the present invention.

Das Schallsignal kann im hörbaren Frequenzbereich liegen, beispielsweise zwischen 20 Hz und 20 kHz.The sound signal can be in the audible frequency range, for example between 20 Hz and 20 kHz.

Nachfolgend werden bevorzugte Ausführungsformen der Erfindung und deren Weiterbildungen beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.In the following, preferred embodiments of the invention and their developments are described which, unless this is expressly excluded or technically impossible, can be combined with one another as desired and with the other described aspects of the invention.

In einer bevorzugten Ausführungsform ist die Auswertungseinheit ferner ausgebildet, eine Audiodatensequenz in den Audiodaten zu entdecken, die einer der Referenzaudiodatensequenzen gemäß einem vorgegebenen Ähnlichkeitskriterium entspricht, und das dem Objekt zugehörige Merkmal auf Basis der entdeckten Audiodatensequenz zu ermitteln.In a preferred embodiment, the evaluation unit is also designed to discover an audio data sequence in the audio data that corresponds to one of the reference audio data sequences according to a predetermined similarity criterion, and to determine the feature associated with the object on the basis of the discovered audio data sequence.

Dadurch kann ein Merkmal des das Schallsignal emittierenden Objektes sicher und zutreffend erkannt werden.As a result, a feature of the object emitting the sound signal can be reliably and accurately recognized.

In einer bevorzugten Ausführungsform ist die Auswertungseinheit ferner ausgebildet ist, eine Doppleranalyse der in den erzeugten Audiodaten entdeckten Audiodatensequenz unter Verwendung der gespeicherten Audiodatensequenzen durchzuführen, das dem Objekt zugehörige Merkmal auf Basis der Doppleranalyse zu ermitteln.In a preferred embodiment, the evaluation unit is also designed to carry out a Doppler analysis of the audio data sequence discovered in the generated audio data using the stored audio data sequences, to determine the feature associated with the object on the basis of the Doppler analysis.

Dadurch kann erkannt werden, ob das das Schallsignal emittierende Objekt sich zu oder von dem Fahrzeug wegbewegt, und mit welcher Geschwindigkeit sich das Objekt in Bezug auf das Fahrzeug bewegt.This makes it possible to detect whether the object emitting the sound signal is moving towards or away from the vehicle, and at what speed the object is moving in relation to the vehicle.

In einer bevorzugten Ausführungsform weist das System ferner auf: eine Positionsermittlungseinheit, die ausgebildet ist, die relative Position von zumindest zweien der mehreren passiven Akustiksensoren, zu jedem Zeitpunkt des Erfassens des Schallsignals, zu ermitteln.In a preferred embodiment, the system further comprises: a position determination unit which is designed to determine the relative position of at least two of the plurality of passive acoustic sensors at each point in time of the detection of the sound signal.

Dadurch können bestimmte Merkmale des das Schallsignal aussendenden Objektes, wie z.B. seine Position und seine Geschwindigkeit relativ zum Fahrzeug, auch dann bestimmt werden, wenn sich während dem Erfassen des Audiosignals der Abstand zwischen den passiven Akustiksensoren zeitlich ändert.As a result, certain features of the object emitting the sound signal, such as its position and its speed relative to the vehicle, can also be determined if the distance between the passive acoustic sensors changes over time during the acquisition of the audio signal.

In einer bevorzugten Ausführungsform ist die Auswertungseinheit ferner ausgebildet ist, eine Triangulation mit Audiodatensequenzen durchzuführen, die von passiven Akustiksensoren erzeugt wurden, deren relative Position zueinander von der Positionsermittlungseinheit zu jedem Zeitpunkt des Erfassens des Schallsignals ermittelt wurde, und das dem Objekt zugehörige Merkmal auf Basis der Triangulation zu ermitteln.In a preferred embodiment, the evaluation unit is also designed to perform a triangulation with audio data sequences that were generated by passive acoustic sensors, the relative position of which was determined by the position determination unit at each point in time of the detection of the sound signal, and the feature associated with the object on the basis of the To determine triangulation.

Dadurch kann die Position des das Schallsignal aussendenden Objektes in Bezug auf das Fahrzeug ermittelt werden. Darüber hinaus lassen der Betrag, die Richtung, und der Richtungssinn der Geschwindigkeit des das Schallsignal aussendenden Objektes in Bezug auf das Fahrzeug bestimmen.As a result, the position of the object emitting the sound signal can be determined in relation to the vehicle. In addition, the amount, the direction and the sense of direction can determine the speed of the object emitting the sound signal in relation to the vehicle.

In einer bevorzugten Ausführungsform ist zumindest ein passiver Akustiksensor an einer ortsfesten Infrastruktureinrichtung angebracht, und ist die Positionsermittlungseinheit ausgebildet, die relative Position von zumindest dem an dem Fahrzeug angeordneten passiven Akustiksensor und dem an der Infrastruktureinrichtung angebrachten passiven Akustiksensor, zu jedem Zeitpunkt des Erfassens des Schallsignals, zu ermitteln.In a preferred embodiment, at least one passive acoustic sensor is attached to a stationary infrastructure device, and the position determination unit is designed to measure the relative position of at least the passive acoustic sensor arranged on the vehicle and the passive acoustic sensor attached to the infrastructure device at each point in time of the detection of the sound signal, to determine.

Dadurch kann die Position des das Schallsignal emittierenden Objektes auch relativ zu einem Fahrzeug ermittelt werden, auf dem nur ein passiver Akustiksensor vorgesehen ist. Diese Ermittlung kann aufgrund der relativen Position zwischen dem auf der Infrastruktureinrichtung angebrachten passiven Akustiksensor und dem an dem Fahrzeug angeordneten passiven Akustiksensor sowie der von diesen beiden Sensoren erfassten Audiodaten erfolgen.As a result, the position of the object emitting the sound signal can also be determined relative to a vehicle on which only one passive acoustic sensor is provided. This determination can take place on the basis of the relative position between the passive acoustic sensor mounted on the infrastructure device and the passive acoustic sensor arranged on the vehicle, as well as the audio data recorded by these two sensors.

In einer bevorzugten Ausführungsform weist das System ferner auf: eine Übermittlungseinrichtung, die ausgebildet ist, das ermittelte Merkmal und/oder Informationen zu dem Objekt, die auf Basis des ermittelten Merkmals erhältlich sind, an eines oder eine Kombination der Folgenden zu übermitteln:

- das Fahrzeug, das mit zumindest einem passiven Akustiksensor versehen ist,
- ein von diesem verschiedenen Fahrzeug,
- eine Infrastruktureinrichtung,
- ein Verkehrsleitsystem.

In a preferred embodiment, the system also has: a transmission device which is designed to transmit the determined feature and / or information on the object, which is available on the basis of the determined feature, to one or a combination of the following:

- the vehicle equipped with at least one passive acoustic sensor,
- a vehicle different from this one,
- an infrastructure facility,
- a traffic management system.

Dadurch kann das ermittelte Merkmal oder daraus ableitbare Information dem Fahrzeug, einem anderen Fahrzeug, einer Infrastruktureinrichtung oder einem Verkehrsleitsystem zur weiteren Auswertung/Verarbeitung zur Verfügung gestellt werden.As a result, the determined feature or information derived from it can be made available to the vehicle, another vehicle, an infrastructure facility or a traffic control system for further evaluation / processing.

In einer bevorzugten Ausführungsform weist das System ferner auf: ein Fahrerassistenzsystem des Fahrzeugs, das ausgebildet ist, in Reaktion auf das empfangene Merkmal das Fahrzeug in einen von dem Merkmal abhängigen Zustand zu versetzen.In a preferred embodiment, the system furthermore has: a driver assistance system of the vehicle which is designed to put the vehicle into a state that is dependent on the characteristic in response to the received characteristic.

Dadurch kann sich der Betrieb oder die Lenkung des Fahrzeuges an die in ihrem Umfeld auftreten Ereignisse anpassen. Beispielsweise kann beim Ertönen eines Folgetonhorns, das Fahrzeug einen sicheren Halteplatz aufsuchen und dort so lange stehen bleiben, bis das mit dem Folgetonhorn versehene Objekt sich von dem Fahrzeug entfernt.As a result, the operation or steering of the vehicle can be adapted to the events occurring in its environment. For example, when a subsequent tone horn sounds, the vehicle can seek a safe stopping place and remain there until the object provided with the subsequent tone horn moves away from the vehicle.

In einer bevorzugten Ausführungsform entspricht das ermittelte Merkmal den von zumindest einem passiven Akustiksensor erzeugten Audiodaten, und ist die Auswertungseinheit ausgebildet, die dem ermittelten Merkmal entsprechenden Audiodaten einer aktiven Lärmkompensation (engl. Active Noise Cancellation) zuzuführen.In a preferred embodiment, the determined feature corresponds to the audio data generated by at least one passive acoustic sensor, and the evaluation unit is designed to supply the audio data corresponding to the determined feature to active noise compensation.

Dadurch kann außen in das Fahrzeuginnere eindringender Lärm unterdrückt werden.As a result, noise entering the vehicle interior from the outside can be suppressed.

In einer bevorzugten Ausführungsform enthält das ermittelte Merkmal ferner eine den Audiodaten zugeordnete Priorität, und ist die Auswertungseinheit ausgebildet, die Audiodaten in Abhängigkeit von ihrer Priorität der aktiven Lärmkompensation zuzuführen.In a preferred embodiment, the determined feature also contains a priority assigned to the audio data, and the evaluation unit is designed to supply the audio data to the active noise compensation as a function of its priority.

Dadurch kann beim Unterdrücken/Verstärken von in das Fahrzeuginnere eindringendem Lärm in Abhängigkeit von der Form des Lärms reagiert werden.Thereby, in suppressing / amplifying noise entering the vehicle interior, it is possible to react depending on the shape of the noise.

Die Priorität kann niedrig sein, wenn die Audiodaten beispielsweise dem alltäglichen Straßenlärm entsprechen. Weil dieser stören kann, beispielsweise die Kommunikation zweier Personen in einem Fahrzeug, macht es Sinn, seine Lautstärke durch aktive Lärmkompensation zu reduzieren. Demgegenüber kann die Priorität hoch sein, wenn die Audiodaten beispielsweise dem Folgetonhorn eines Krankenwagens, eines Polizeifahrzeugs, eines Feuerwehrautos oder einer Bahnschranke entsprechen. In diesem Fall kann es sinnvoll sein, eine aktive Lärmkompensation zu unterlassen oder sogar die von dem zumindest einem Akustiksensor erzeugten Audiodaten zu verstärken.The priority can be low if the audio data corresponds to everyday street noise, for example. Because this can interfere, for example the communication between two people in a vehicle, it makes sense to reduce its volume through active noise compensation. In contrast, the priority can be high if the audio data correspond, for example, to the following tone horn of an ambulance, a police vehicle, a fire engine or a railway barrier. In this case, it can make sense to omit active noise compensation or even to amplify the audio data generated by the at least one acoustic sensor.

In einer bevorzugten Ausführungsform ist die Auswertungseinheit zumindest teilweise in dem Fahrzeug enthalten; oder ist die Auswertungseinheit ein Backend, das mit dem oder den mehreren passiven Akustiksensoren und der Speichereinheit kommunikativ verbunden ist.In a preferred embodiment, the evaluation unit is at least partially contained in the vehicle; or the evaluation unit is a backend that is communicatively connected to the one or more passive acoustic sensors and the storage unit.

Dadurch kann die Übertragung der Audiodaten, die von einem auf dem Fahrzeug angeordneten passiven Akustiksensor erzeugt wurden, von diesem an die Auswertungseinheit einfacher und schneller erfolgen; bzw. das Installieren und Hochrüsten der Betriebssoftware der Auswertungseinheit (und eventuell auch das Erweitern der Referenzaudiodaten) zentral und einheitlich für alle mit der Auswertungseinheit kommunizierenden Fahrzeuge erfolgen.As a result, the audio data generated by a passive acoustic sensor arranged on the vehicle can be transmitted more easily and quickly from the latter to the evaluation unit; or the installation and upgrading of the operating software of the evaluation unit (and possibly also the expansion of the reference audio data) take place centrally and uniformly for all vehicles communicating with the evaluation unit.

In einer bevorzugten Ausführungsform sind die von dem oder den passiven Akustiksensoren erzeugten Audiodaten an die Auswertungseinheit übertragbar, und sind der oder die passiven Akustiksensoren und/oder die Auswertungseinheit ausgebildet, innerhalb einer vorgegebenen Zeit:

- die von dem oder den passiven Akustiksensoren erzeugten Audiodaten an die Auswertungseinheit zu übertragen,
- die in der Auswertungseinheit empfangenen Audiodaten jeweils dem passiven Akustiksensor zuzuordnen, der sie erzeugt hat,
- die in der Auswertungseinheit einem passiven Akustiksensor zugeordneten Audiodaten in der Reihenfolge ihrer Erzeugung zuordnen.

In a preferred embodiment, the audio data generated by the passive acoustic sensor (s) can be transmitted to the evaluation unit, and the passive acoustic sensor (s) and / or the evaluation unit are designed within a predetermined time:

- to transmit the audio data generated by the passive acoustic sensor (s) to the evaluation unit,
- assign the audio data received in the evaluation unit to the passive acoustic sensor that generated it,
- Assign the audio data assigned to a passive acoustic sensor in the evaluation unit in the order in which they were generated.

Dadurch kann der Auswertungseinheit wirklichkeitsgetreue Information über das Umfeld des Fahrzeugs, in Echtzeit, zur Verfügung gestellt werden.In this way, realistic information about the surroundings of the vehicle can be made available to the evaluation unit in real time.

In einer bevorzugten Ausführungsform sind die von einem passiven Akustiksensor erzeugten Audiodaten an die Auswertungseinheit über eine Direktverbindung übertragbar; und/oder sind die von einem Akustiksensor erzeugten Audiodaten an die Auswertungseinheit über eine Verbindung mit bekannter Latenz übertragbar; und/oder weisen die von einem passiven Akustiksensor erzeugten Audiodaten jeweils einen Zeitstempel auf, der den Zeitpunkt ihrer jeweiligen Erzeugung angibt, und die Audiodaten sind jeweils mit ihrem Zeitstempel an die Auswertungseinheit übertragbar.In a preferred embodiment, the audio data generated by a passive acoustic sensor can be transmitted to the evaluation unit via a direct connection; and / or the audio data generated by an acoustic sensor can be transmitted to the evaluation unit via a connection with known latency; and / or the audio data generated by a passive acoustic sensor each have a time stamp which indicates the time of their respective generation, and the audio data can each be transmitted to the evaluation unit with their time stamp.

Dadurch kann die Zuordnung der an die Auswertungseinheit gesendeten Audiodaten zu den passiven Akustiksensoren, die sie erzeugt haben, vereinfacht werden.This allows the assignment of the audio data sent to the evaluation unit to the passive acoustic sensors that created them.

In einer bevorzugten Ausführungsform bezieht sich das ermittelte Merkmal auf eines oder eine Kombination der Folgenden:

- die Audiodaten oder die Referenzaudiodatensequenz, die mit dem von dem Objekt ausgesendeten Schallsignal gemäß einem Ähnlichkeitskriterium korrespondiert,
- der Natur/Art des Objektes,
- dem Ort des Objektes,
- der Bewegungsrichtung und/oder der Geschwindigkeit des Objektes, relativ zu einem der passiven Akustiksensoren.

In a preferred embodiment, the determined feature relates to one or a combination of the following:

the audio data or the reference audio data sequence which corresponds to the sound signal emitted by the object according to a similarity criterion,
- the nature / type of the property,
- the location of the property,
- the direction of movement and / or the speed of the object, relative to one of the passive acoustic sensors.

Dadurch kann vielfältige Information über das Geschehen rund um das Fahrzeug erkannt werden und den Betrieb desselben beeinflussen.As a result, a wide range of information about what is happening around the vehicle can be recognized and its operation can be influenced.

In einer bevorzugten Ausführungsform enthält die von dem oder den mehreren passiven Akustiksensoren erfassten Audiodaten und die Referenzaudiodatensequenz eines oder eine Kombination der Folgenden:

- eine Zeitfolge von Frequenzspektren, die zu jedem Zeitpunkt der Zeitfolge eine Frequenzverteilung des Schallsignals angibt; und
- eine Zeitfolge von Amplituden, die zu jedem Zeitpunkt der Zeitfolge die Lautstärke des Schallsignals angibt.

In a preferred embodiment, the audio data recorded by the passive acoustic sensor or sensors and the reference audio data sequence contain one or a combination of the following:

a time sequence of frequency spectra which indicates a frequency distribution of the sound signal at each point in time of the time sequence; and
- A time sequence of amplitudes which indicates the volume of the sound signal at each point in time in the time sequence.

Dadurch kann eine hohe bzw. ausreichende Qualität der in den Audiodaten enthaltenen Information über das Geschehen rund um das Fahrzeug gewährleistet werden.In this way, a high or sufficient quality of the information contained in the audio data about what is happening around the vehicle can be guaranteed.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.Further advantages, features and possible applications of the present invention emerge from the following detailed description in connection with the figures.

FigurenlisteFigure list

1 schematically a system according to a first embodiment;
2 schematically a system according to a second embodiment; and
3rd schematically a system according to a third embodiment.

Die 1 zeigt schematisch ein Fahrzeug 101 und ein außerhalb des Fahrzeugs 101 befindliches Objekt 120, das in den das Fahrzeug 101 umgebenden Außenraum (im Folgenden einfachheitshalber als Umfeld bezeichnet) ein Schallsignal in Form von Schallwellen 122 aussendet. Das Objekt 122 weist zumindest ein Merkmal auf, das mit dem von dem Objekt 120 emittierten Schallsignal 122, beispielsweise dessen Amplitude und/oder Frequenz, zumindest korreliert. Vorzugsweise gibt es oder besteht ein eindeutiger Zusammenhang zwischen dem Merkmal des Objekts und dem von ihm emittierten Schallsignal. Das Schallsignal eines Folgetonhorns ist eindeutig einer Objektart (bspw. Krankenwagen, Polizei-, Feuerwehrfahrzeug) oder einem bestimmten Einsatz des Objektes (bspw. Krankentransport, Polizeieinsatz, Feuerwehreinsatz) zugeordnet. Die an einem Erfassungsort erfasste Amplitude und Frequenz des Schallsignals 122 korreliert mit der Position bzw. der Geschwindigkeit des Objektes 122 relativ zu dem Erfassungsort. Audiodaten, die aufgrund des von der Quelle 120 ausgesendeten Schallsignals 122 erzeugt werden, korrelieren ebenfalls mit dem Schallsignal 122. Objektart, Einsatzart des Objektes 120, Position und Geschwindigkeit des Objektes 120, aufgrund des Schallsignals 122 erzeugte Audiodaten sind Beispiele von Merkmalen, die mit dem Schallsignal korrelieren oder mit diesem in einem Zusammenhang stehen. Das dem Objekt 120 zugehörige Merkmal „Geschwindigkeit“ ist in den Figuren mit dem Pfeil 121 gekennzeichnet.The 1 shows schematically a vehicle 101 and one outside the vehicle 101 located object 120 that is in the the vehicle 101 surrounding outside space (hereinafter referred to as environment for the sake of simplicity) a sound signal in the form of sound waves 122 sends out. The object 122 has at least one feature that is consistent with that of the object 120 emitted sound signal 122 , for example its amplitude and / or frequency, at least correlated. There is preferably or is a clear connection between the feature of the object and the sound signal emitted by it. The sound signal of a secondary horn is clearly assigned to a type of object (e.g. ambulance, police, fire engine) or a specific use of the object (e.g. ambulance, police operation, fire brigade operation). The amplitude and frequency of the sound signal recorded at a detection location 122 correlates with the position or the speed of the object 122 relative to the detection location. Audio that is due to the source 120 emitted sound signal 122 also correlate with the sound signal 122 . Type of property, type of use of the property 120 , Position and speed of the object 120 , due to the sound signal 122 generated audio data are examples of features that correlate with the sound signal or are related to it. That of the object 120 Associated characteristic "speed" is in the figures with the arrow 121 marked.

In dem Fahrzeug 101, welches ein System gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt, ist vorgesehen: ein beispielsweise als Mikrofon ausgeführter erster passiver Akustiksensor 102, eine Speichereinheit 103, eine Auswertungseinheit 104, eine (beispielsweise als Direktverbindung ausgebildete) kommunikative Verbindung 105 zwischen dem ersten passiven Akustiksensor 102 und der Auswertungseinheit 104, und ein Fahrerassistenzsystem 106.In the vehicle 101 , which represents a system according to a first embodiment of the present invention, is provided: a first passive acoustic sensor designed, for example, as a microphone 102 , a storage unit 103 , an evaluation unit 104 , a communicative connection (designed as a direct connection, for example) 105 between the first passive acoustic sensor 102 and the evaluation unit 104 , and a driver assistance system 106 .

Der erste passive Akustiksensor 102 ist an dem Fahrzeug 101 so angeordnet, dass er ein von dem Objekt 120 in den das Fahrzeug umgebenden Außenraum emittiertes Schallsignal 122 erfassen kann; vorzugsweise so, dass er das Schallsignal 122 außerhalb des Fahrzeugs erfassen kann. Der erste passive Akustiksensor 102 kann, wie in 1 gezeigt, auf einer Außenfläche des Fahrzeugs 101 angeordnet und mit seinem schallempfindlichen Teil nach außen gerichtet sein. Des Weiteren ist der erste passive Akustiksensor 102 so eingerichtet, aufgrund des erfassten/detektierten Schallsignals 122 erste Audiodaten zu erzeugen. Diese können beispielsweise eine Folge von Frequenzspektren enthalten, die zu jedem Zeitpunkt der Zeitfolge eine Frequenzverteilung des Schallsignals 122 angibt; oder eine Zeitfolge von Amplituden, die zu jedem Zeitpunkt der Zeitfolge die Lautstärke des Schallsignals 122 angibt. Es ist nicht notwendig ein (bspw. von einem Folgetonhorn ausgesendetes) Schallsignal komplett zu erfassen; es reicht aus, das Schallsignal abschnittsweise zu erfassen, wenn aufgrund des erfassten Abschnittes das von dem Folgetonhorn emittierte Schallsignal identifiziert werden kann.The first passive acoustic sensor 102 is on the vehicle 101 arranged so that he is one of the object 120 Sound signal emitted into the outside space surrounding the vehicle 122 can capture; preferably so that he can hear the sound signal 122 can detect outside the vehicle. The first passive acoustic sensor 102 can, as in 1 shown on an exterior surface of the vehicle 101 arranged and directed with its sound-sensitive part outwards. Furthermore is the first passive acoustic sensor 102 set up based on the recorded / detected sound signal 122 to generate the first audio data. These can, for example, contain a sequence of frequency spectra which at each point in time of the time sequence have a frequency distribution of the sound signal 122 indicates; or a time sequence of amplitudes, which at each point in time of the time sequence the volume of the sound signal 122 indicates. It is not necessary to completely record a sound signal (e.g. emitted by a following tone horn); it is sufficient to record the sound signal in sections, if based on the recorded Section, the sound signal emitted by the following tone horn can be identified.

Über die kommunikative Verbindung 105 können die von dem ersten passiven Akustiksensor 102 erzeugten ersten Audiodaten an die Auswertungseinheit 104 übertragen werden.About the communicative connection 105 can take advantage of the first passive acoustic sensor 102 generated first audio data to the evaluation unit 104 be transmitted.

Die Speichereinheit 103 speichert eine oder mehrere Referenzaudiodatensequenzen, die jeweils ein Schallsignal repräsentieren und mit einem Merkmal des das Schallsignal aussendenden Objektes assoziiert sind. Beispielsweise kann eine Referenzaudiodatensequenz eine von dem Folgetonhorn eines Krankenwagens emittierte Signaltonfolge repräsentieren, und das Merkmal „Rettungstransport durch Krankenwagen“ mit dieser die Signaltonfolge eines Krankenwagens repräsentierenden Referenzaudiodatensequenz assoziiert sein.The storage unit 103 stores one or more reference audio data sequences which each represent a sound signal and are associated with a feature of the object emitting the sound signal. For example, a reference audio data sequence can represent a signal tone sequence emitted by the following tone horn of an ambulance, and the feature “rescue transport by ambulance” can be associated with this reference audio data sequence representing the signal tone sequence of an ambulance.

Die Auswertungseinheit 104 ist eingerichtet, ein dem Objekt 120 zugehöriges Merkmal auf Basis der von dem ersten passiven Akustiksensor 102 erzeugten ersten Audiodaten und der in der Speichereinheit 103 gespeicherten Referenzaudiodatensequenzen zu ermitteln. Beispielsweise indem die Auswertungseinheit eine erste Audiodatensequenz in den ersten Audiodaten entdeckt, die einer der Referenzaudiodatensequenzen gemäß einem vorgegebenen Ähnlichkeitskriterium entspricht, und das dem Objekt 120 zugehörige Merkmal auf Basis der entdeckten ersten Audiodatensequenz ermittelt. Das Entdecken der einer Referenzaudiodatensequenz entsprechenden ersten Audiodatensequenz in den ersten Audiodaten kann unter Verwendung von KI-basierten Verfahren erfolgen. Das ermittelte Merkmal kann dem Merkmal entsprechen, das mit der der entdeckten ersten Audiodatensequenz entsprechenden Referenzaudiodatensequenz assoziiert ist. Beispielsweise kann die Auswertungseinheit 104 in den ersten Audiodaten einen Abschnitt oder die gesamte Tonfolge eines von dem Folgetonhorn eines Krankenwagens ausgesendete Schallsignal entdecken und aufgrund derer das Merkmal „Rettungstransport durch Krankenwagen“ für das das Schallsignal aussendende Objekt (Krankenwagen) ermitteln. Das Merkmal des das Schallsignal 122 aussendenden Objektes 120 kann auch aufgrund der zeitlichen Entwicklung der Lautstärke der entdeckten ersten Audiodatensequenz erfolgen. In diesem Fall kann das ermittelte Merkmal eine Angabe darüber machen, ob sich das Objekt dem Fahrzeug nähert oder sich von diesem entfernt.The evaluation unit 104 is set up on the property 120 associated feature based on that of the first passive acoustic sensor 102 generated first audio data and in the storage unit 103 to determine stored reference audio data sequences. For example, in that the evaluation unit discovers a first audio data sequence in the first audio data, which corresponds to one of the reference audio data sequences according to a predetermined similarity criterion, and that corresponds to the object 120 associated feature determined on the basis of the discovered first audio data sequence. The discovery of the first audio data sequence corresponding to a reference audio data sequence in the first audio data can take place using AI-based methods. The determined feature can correspond to the feature which is associated with the reference audio data sequence corresponding to the discovered first audio data sequence. For example, the evaluation unit 104 In the first audio data, discover a section or the entire tone sequence of a sound signal emitted by the following tone horn of an ambulance and, based on this, determine the feature “rescue transport by ambulance” for the object (ambulance) emitting the sound signal. The characteristic of the sound signal 122 sending object 120 can also take place on the basis of the development of the volume of the discovered first audio data sequence over time. In this case, the determined feature can provide an indication of whether the object is approaching the vehicle or moving away from it.

Die Auswertungseinheit 104 kann ausgebildet sein, eine Doppleranalyse der in den erzeugten ersten Audiodaten entdeckten ersten Audiodatensequenz unter Verwendung der gespeicherten Referenzaudiodatensequenzen durchzuführen, und das dem Objekt 120 zugehörige Merkmal auf Basis der Doppleranalyse zu ermitteln. In diesem Fall kann sich das ermittelte Merkmal auf die Geschwindigkeit 121 des Objektes 120 relativ zum ersten passiven Akustiksensor 102 beziehen. Im Rahmen der Doppleranalyse kann die Auswertungseinheit 104 beispielsweise eine Dopplerverschiebung zwischen den Frequenzspektren der entdeckten ersten Audiodatensequenz und den Frequenzspektren der dieser entsprechenden Referenzaudiodatensequenz ermitteln, und die Geschwindigkeit des Objektes 120 aufgrund der ermittelten Dopplerverschiebung bestimmen.The evaluation unit 104 can be designed to carry out a Doppler analysis of the first audio data sequence discovered in the generated first audio data using the stored reference audio data sequences, and that of the object 120 to determine the associated characteristic on the basis of the Doppler analysis. In this case, the determined characteristic can affect the speed 121 of the property 120 relative to the first passive acoustic sensor 102 Respectively. As part of the Doppler analysis, the evaluation unit 104 For example, determine a Doppler shift between the frequency spectra of the discovered first audio data sequence and the frequency spectra of the reference audio data sequence corresponding to this, and the speed of the object 120 based on the determined Doppler shift.

Die Auswertungseinheit 104 kann eingerichtet sein, die vom ersten passiven Akustiksensor 102 erzeugten ersten Audiodaten als Merkmal des Objektes 120 zu identifizieren und eventuell mit einer vom Informationsgehalt der ersten Audiodaten abhängigen Priorität zu versehen. Ist der Informationsgehalt der ersten Audiodaten hoch (was beispielsweise dann der Fall ist, wenn die ersten Audiodaten eine von einem Folgetonhorn emittierte Signaltonfolge enthalten) kann die Priorität hoch und bei niedrigem Informationsgehalt der ersten Audiodaten (was beispielsweise bei üblichem Straßenlärm der Fall ist) niedrig sein.The evaluation unit 104 can be set up by the first passive acoustic sensor 102 generated first audio data as a feature of the object 120 to be identified and possibly given a priority depending on the information content of the first audio data. If the information content of the first audio data is high (which is the case, for example, if the first audio data contains a signal tone sequence emitted by a subsequent horn), the priority can be high and if the information content of the first audio data is low (which is the case, for example, with normal street noise), the priority can be low .

Die Auswertungseinheit 104 ist ferner eingerichtet, das ermittelte Merkmal an das Fahrerassistenzsystem 106 zu übermitteln. Darüber hinaus kann sie eingerichtet sein, die von dem ersten passiven Akustiksensor 102 erzeugten ersten Audiodaten einer aktiven Lärmkompensation (engl. Active Noise Cancellation), gegebenenfalls in Abhängigkeit von ihrer Priorität, zuzuführen.The evaluation unit 104 is also set up, the determined feature to the driver assistance system 106 to submit. In addition, it can be set up by the first passive acoustic sensor 102 the generated first audio data to an active noise compensation (Eng. Active Noise Cancellation), possibly depending on their priority.

Das Fahrerassistenzsystem 106 ist ausgebildet, ein oder mehrere von der Auswertungseinheit 104 ermittelte und dem Objekt 120 zugehörige Merkmale zu empfangen, und in Reaktion auf das/die empfangenen Merkmale das Fahrzeug in einen von dem empfangenen Merkmal oder der Merkmalskombination abhängigen Zustand zu versetzen. Beispielsweise kann das Fahrerassistenzsystem 106, nach dem Empfang der Merkmalskombination „Rettungstransport mit Krankenwagen“ und „Krankenwagen nähert sich“, das Fahrzeug 101 veranlassen, nach rechts zu fahren und/oder anzuhalten.The driver assistance system 106 is designed, one or more of the evaluation unit 104 determined and the object 120 to receive associated features, and in response to the received feature (s) to put the vehicle into a state that is dependent on the received feature or the combination of features. For example, the driver assistance system 106 , after receiving the combination of characteristics "Rescue transport with ambulance" and "Ambulance is approaching", the vehicle 101 cause them to turn right and / or to stop.

Die 2 zeigt schematisch ein System gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. Dieses unterscheidet sich von dem System gemäß der ersten Ausführungsform dadurch, dass: i) die Speichereinheit 233, die eine oder mehrere Referenzaudiodatensequenzen speichert, in Form eines Backends in einer Rechnerwolke 230 (engl. Cloud) vorgesehen ist; ii) die Auswertungeinheit 234 zum Ermitteln des dem Objekt 120 zugehörigen Merkmals 121 in Form eines Backends in der Rechnerwolke 230 vorgesehen ist; iii) das Fahrzeug 201 eine erste Übermittlungseinrichtung 207 und eine Positionsermittlungseinheit 208 aufweist; iv) die von dem ersten passiven Akustiksensor 202 erzeugten ersten Audiodaten an die Auswertungseinheit 234, vorzugsweise per Funk, übermittelt werden; v) neben dem am Fahrzeug 201 angeordneten ersten passiven Akustiksensor 202 noch ein zweiter, an einer ortsfesten Infrastruktureinrichtung 210 angeordneter, passiver Akustiksensor 212 vorgesehen ist.The 2 shows schematically a system according to a second embodiment of the present invention. This differs from the system according to the first embodiment in that: i) the memory unit 233 , which stores one or more reference audio data sequences, in the form of a backend in a computer cloud 230 (English cloud) is provided; ii) the evaluation unit 234 to determine the the object 120 associated feature 121 in the form of a backend in the computer cloud 230 is provided; iii) the vehicle 201 a first transmission device 207 and a Position determination unit 208 having; iv) that from the first passive acoustic sensor 202 generated first audio data to the evaluation unit 234 be transmitted, preferably by radio; v) next to the one on the vehicle 201 arranged first passive acoustic sensor 202 a second one, at a fixed infrastructure facility 210 arranged, passive acoustic sensor 212 is provided.

Der zweite passive Akustiksensor 212 ist ebenfalls eingerichtet, das vom dem Objekt 120 in den Außenraum des Fahrzeugs 201 ausgesandte Schallsignal 122 zu erfassen und dem von ihm erfassten Schallsignal entsprechende zweite Audiodaten zu erzeugen. Die zweiten Audiodaten werden zur weiteren Verarbeitung vorzugsweise an die Auswertungseinheit 234 übermittelt.The second passive acoustic sensor 212 is also set up by the property 120 into the exterior of the vehicle 201 emitted sound signal 122 to detect and to generate the sound signal detected by it corresponding second audio data. The second audio data are preferably sent to the evaluation unit for further processing 234 transmitted.

Die Positionsermittlungseinheit 208 ist ausgebildet, die relative Position zwischen dem an dem Fahrzeug 201 angeordneten ersten passiven Akustiksensor 202 und dem an der Infrastruktureinrichtung 210 angeordneten zweiten passiven Akustiksensor 212, vorzugsweise dynamisch, zu ermitteln.The position determination unit 208 is designed to be the relative position between that on the vehicle 201 arranged first passive acoustic sensor 202 and that at the infrastructure facility 210 arranged second passive acoustic sensor 212 , preferably dynamically.

Die in dem Fahrzeug 201 vorgesehene erste Übermittlungseinheit 207 ist ausgebildet, eine erste kommunikative Verbindung 209 mit einer in der Rechnerwolke 230 vorgesehenen zweiten Übermittlungseinheit 235 und eine zweite kommunikative Verbindung 211 mit dem zweiten passiven Akustiksensor 212 zu ermöglichen. Die zweite Übermittlungseinheit 235 ist mit der Auswertungseinheit 234 und der Speichereinheit 233 kommunikativ verbunden. Über die erste kommunikative Verbindung 209 werden insbesondere die von dem ersten passiven Akustiksensor 202 erzeugten ersten Audiodaten an die Auswertungseinheit 234 übermittelt; und über die zweite kommunikative Verbindung 211 insbesondere Daten, die für die Bestimmung der relativen Position zwischen dem ersten und zweiten Akustiksensor relevant sind. In vorteilhafter Weise kann die relative Position zwischen dem ersten und zweiten Akustiksensor über die erste kommunikative Verbindung 209 an die Auswertungseinheit 234 übermittelt werden.The one in the vehicle 201 provided first transmission unit 207 is formed a first communicative connection 209 with one in the computer cloud 230 provided second transmission unit 235 and a second communicative connection 211 with the second passive acoustic sensor 212 to enable. The second transmission unit 235 is with the evaluation unit 234 and the storage unit 233 communicatively connected. Via the first communicative connection 209 are in particular those of the first passive acoustic sensor 202 generated first audio data to the evaluation unit 234 transmitted; and via the second communicative connection 211 in particular data that are relevant for determining the relative position between the first and second acoustic sensors. Advantageously, the relative position between the first and second acoustic sensor can be via the first communicative connection 209 to the evaluation unit 234 be transmitted.

Die Auswertungseinheit 234 kann alle oder nur einige der Merkmale aufweisen, die im Zusammenhang mit der in der ersten Ausführungsform enthaltenen Auswertungseinheit 104 beschrieben wurden. Die Übermittlung des ermittelten Merkmals 241 an das Fahrerassistenzsystem 206 kann jedoch nicht direkt, sondern nur über die erste kommunikative Verbindung 209 erfolgen. Auch können die von dem ersten passiven Akustiksensor 202 erzeugten ersten Audiodaten nicht unmittelbar von der Auswertungseinheit 234 an die aktive Lärmkompensation des Fahrzeugs 201 zugeführt werden. Jedoch kann die Auswertungseinheit 234 eingerichtet sein, eine Zuführung der ersten Audiodaten an die aktive Lernkompensation des Fahrzeugs 201 zu veranlassen.The evaluation unit 234 may have all or only some of the features associated with the evaluation unit contained in the first embodiment 104 have been described. The transmission of the identified feature 241 to the driver assistance system 206 However, it cannot be done directly, but only via the first communicative connection 209 respectively. The first passive acoustic sensor 202 generated first audio data not directly from the evaluation unit 234 the active noise compensation of the vehicle 201 are fed. However, the evaluation unit 234 be set up, a supply of the first audio data to the active learning compensation of the vehicle 201 to cause.

Ferner kann die Auswertungseinheit 234 eingerichtet sein: i) die von dem zweiten passiven Akustiksensor 212 erzeugten zweiten Audiodaten und die von der Positionsermittlungseinheit 208 ermittelte relative Position zwischen dem ersten und zweiten passiven Akustiksensor zu empfangen; ii) eine zweite Audiodatensequenz in den zweiten Audiodaten zu entdecken, die derselben Referenzaudiodatensequenz gemäß einem vorgegebenen Ähnlichkeitskriterium entspricht, wie die erste Audiodatensequenz; iii) eine Triangulation mit der ersten Audiodatensequenz und der zweiten Audiodatensequenz unter Berücksichtigung der relativen Position zwischen dem ersten und zweiten passiven Akustiksensor durchzuführen, und das dem Objekt 120 zugehörige Merkmal auf Basis der durchgeführten Triangulation zu ermitteln. Ein auf diese Art ermitteltes Merkmal kann beispielsweise die Position des Objektes 120 in Bezug auf einen der beiden passiven Akustiksensoren sein.Furthermore, the evaluation unit 234 be set up: i) that of the second passive acoustic sensor 212 generated second audio data and that of the position determining unit 208 receive determined relative position between the first and second passive acoustic sensors; ii) to discover a second audio data sequence in the second audio data which corresponds to the same reference audio data sequence according to a predetermined similarity criterion as the first audio data sequence; iii) to perform a triangulation with the first audio data sequence and the second audio data sequence, taking into account the relative position between the first and second passive acoustic sensors, and that of the object 120 to determine the associated feature on the basis of the triangulation carried out. A feature determined in this way can, for example, be the position of the object 120 in relation to one of the two passive acoustic sensors.

Ein von der Auswertungseinheit 234 ermitteltes Merkmal 241 kann zuerst an die Übermittlungseinheit 235 und dann über die erste kommunikative Verbindung 209 an das Fahrzeugassistenzsystem 206 des Fahrzeugs 201 übermittelt werden. Das Fahrzeugassistenzsystem 206 kann, wie das Fahrzeugassistenzsystem 106, in Reaktion auf das empfangene Merkmal das Fahrzeug 201 in einen von dem empfangenen Merkmal abhängigen Zustand versetzen. In vorteilhafter Weise kann ein von der Auswertungseinheit 234 ermitteltes Merkmal 241 (bspw. über die Übermittlungseinheit 235) auch an ein anderes Fahrzeug, an eine andere Infrastruktureinrichtung oder an ein Verkehrsleitsystem zur weiteren Auswertung übermittelt werden.One from the evaluation unit 234 determined feature 241 can first to the transmission unit 235 and then over the first communicative connection 209 to the vehicle assistance system 206 of the vehicle 201 be transmitted. The vehicle assistance system 206 can, like the vehicle assistance system 106 , in response to the received characteristic, the vehicle 201 put into a state dependent on the received feature. Advantageously, a from the evaluation unit 234 determined feature 241 (e.g. via the transmission unit 235 ) can also be transmitted to another vehicle, to another infrastructure facility or to a traffic control system for further evaluation.

Die 3 zeigt schematisch ein System gemäß einer dritten Ausführungsform der vorliegenden Erfindung. Dieses System weist auf: einen oder mehrere passive Akustiksensoren 302₁ - 302₃ , von denen zumindest einer an einem (in der Figur nicht gezeigten) Fahrzeug angeordnet ist; eine Speichereinheit 333, die eine oder mehrere Referenzaudiodatensequenzen speichert; eine Auswertungseinheit 334; eine Positionsermittlungseinheit 308; ein Fahrzeugassistenzsystem 306 sowie eine erste und zweite Übermittlungseinheit 307 bzw. 335.The 3rd shows schematically a system according to a third embodiment of the present invention. This system comprises: one or more passive acoustic sensors 302 ₁ - 302 ₃ , of which at least one is arranged on a vehicle (not shown in the figure); a storage unit 333 that stores one or more reference audio data sequences; an evaluation unit 334 ; a position determining unit 308 ; a vehicle assistance system 306 and a first and second transmission unit 307 or. 335 .

Jeder der passiven Akustiksensoren ist eingerichtet, das von dem Objekt 120 ausgesandte Schallsignal 122 zumindest abschnittsweise zu erfassen und dem erfassten Schallsignal entsprechende Audiodaten zu erzeugen. Die Positionsermitttungseinheit 308 ist ausgebildet, die relative Position von zumindest zweien der drei (oder mehreren) passiven Akustiksensoren zu ermitteln. Die Auswertungseinheit 334 ist ausgebildet, ein dem Objekt 120 zugehöriges Merkmal auf Basis der von zumindest einem passiven Akustiksensor erzeugten Audiodaten und der Referenzaudiodatensequenzen und gegebenenfalls auch auf Basis der ermittelten relativen Position zu ermitteln. Das Fahrerassistenzsystem 306 ist ausgebildet, ein von der Auswertungseinheit 334 ermitteltes Merkmal zu empfangen, und das Fahrzeug, dem es zugeordnet ist, in Reaktion auf das empfangene Merkmal in einen von dem Merkmal abhängigen Zustand zu versetzen. Das Fahrzeugassistenzsystem 306 kann sich auf das Fahrzeugassistenzsystem des Fahrzeugs beziehen, in dem der zumindest eine passive Akustiksensor angeordnet ist, oder auf das Fahrzeugassistenzsystem eines anderen Fahrzeugs.Each of the passive acoustic sensors is set up by the object 120 emitted sound signal 122 to record at least in sections and to generate audio data corresponding to the recorded sound signal. The position determination unit 308 is designed to determine the relative position of at least two of the three (or more) passive acoustic sensors. The evaluation unit 334 is designed to be part of the object 120 to determine the associated feature on the basis of the audio data generated by at least one passive acoustic sensor and the reference audio data sequences and possibly also on the basis of the determined relative position. The driver assistance system 306 is designed to be one of the evaluation unit 334 to receive the identified feature, and to put the vehicle with which it is assigned, in response to the received feature, into a state which is dependent on the feature. The vehicle assistance system 306 can relate to the vehicle assistance system of the vehicle in which the at least one passive acoustic sensor is arranged, or to the vehicle assistance system of another vehicle.

Die Auswertungseinheit 334 und die mit ihr kommunikativ verbundene Speichereinheit 333 können, wie in der 3 gezeigt, in einer Rechnerwolke 330 enthalten sein. In diesem Fall sind die erste Übermittlungseinheit 307 und die zweite Übermittlungseinheit 335 so eingerichtet, jeweils eine kommunikative Verbindung zwischen jedem der passiven Akustiksensoren und der Auswertungseinheit 334, eine kommunikative Verbindung zwischen der Positionsermittlungseinheit 308 und der Auswertungseinheit 334, und eine kommunikative Verbindung zwischen der Auswertungseinheit 334 und dem Fahrerassistenzsystem 306 zu ermöglichen. Eine oder mehrere dieser kommunikativen Verbindungen können zumindest streckenweise eine Funkverbindung 310 sein.The evaluation unit 334 and the storage unit communicatively connected to it 333 can, as in the 3rd shown in a computer cloud 330 be included. In this case are the first transmission unit 307 and the second transmission unit 335 so set up, a communicative connection between each of the passive acoustic sensors and the evaluation unit 334 , a communicative connection between the position determination unit 308 and the evaluation unit 334 , and a communicative connection between the evaluation unit 334 and the driver assistance system 306 to enable. One or more of these communicative connections can be a radio connection 310, at least in some areas.

Es ist vorteilhaft jede der kommunikativen Verbindungen zwischen einem passiven Akustiksensor und der Auswertungseinheit 334 so auszubilden, dass die von dem jeweiligen Akustiksensor erzeugten Audiodaten an die Auswertungseinheit 334 innerhalb einer vorgegebenen Zeit übertragen werden, und/oder die ermittelten relativen Positionen von der Positionsermittlungseinheit 308 an die Auswertungseinheit 334 innerhalb der vorgegebenen Zeit übertragen werden. In vorteilhafter Weise lässt sich eine solche kommunikative Verbindung in Form einer Direktverbindung oder einer Verbindung mit bekannter Latenz realisieren, wobei die Latenz kleiner als die vorgegebene Zeit ist.Each of the communicative connections between a passive acoustic sensor and the evaluation unit is advantageous 334 in such a way that the audio data generated by the respective acoustic sensor is sent to the evaluation unit 334 are transmitted within a predetermined time, and / or the determined relative positions from the position determination unit 308 to the evaluation unit 334 be transmitted within the given time. Such a communicative connection can advantageously be implemented in the form of a direct connection or a connection with known latency, the latency being less than the specified time.

Auch ist jeder der passiven Akustiksensoren und/oder die Auswertungseinheit 334 so ausgebildet, innerhalb der vorgegebenen Zeit: i) die in der Auswertungseinheit 334 empfangenen Audiodaten jeweils dem passiven Akustiksensor zuzuordnen, der sie erzeugt hat; und ii) die in der Auswertungseinheit 334 einem passiven Akustiksensor zugeordneten Audiodaten in der Reihenfolge ihrer Erzeugung zu ordnen. In vorteilhafter Weise lässt sich diese Anforderung dadurch realisieren, dass die von einem passiven Akustiksensor erzeugten Audiodaten jeweils mit einem Zeitstempel versehen werden, der den Zeitpunkt ihrer Erzeugung angibt, und die Audiodaten jeweils mit ihrem Zeitstempel an die Auswertungseinheit 334 übertragen werden.Each of the passive acoustic sensors and / or the evaluation unit is also 334 designed in such a way, within the specified time: i) in the evaluation unit 334 to assign received audio data to the passive acoustic sensor that generated it; and ii) those in the evaluation unit 334 to arrange audio data assigned to a passive acoustic sensor in the order of their generation. This requirement can advantageously be implemented in that the audio data generated by a passive acoustic sensor are each provided with a time stamp, which indicates the time of their generation, and the audio data each with its time stamp is sent to the evaluation unit 334 be transmitted.

In einer anderen Ausführungsform, die in den Figuren nicht dargestellt ist, können die Auswertungseinrichtung und die mit ihr kommunikativ verbundene Speichereinheit in dem Fahrzeug angeordnet sein, an dem der zumindest eine passive Akustiksensor angeordnet ist. In diesem Fall können der/die passiven Akustiksensoren, die Positionsermittlungseinheit und das Fahrerassistenzsystem jeweils über eine Direktverbindung mit der Auswertungseinheit kommunikativ verbunden sein.In another embodiment, which is not shown in the figures, the evaluation device and the memory unit communicatively connected to it can be arranged in the vehicle on which the at least one passive acoustic sensor is arranged. In this case, the passive acoustic sensor (s), the position determination unit and the driver assistance system can each be communicatively connected to the evaluation unit via a direct connection.

Die passiven Akustiksensoren 302₁ , 302₂ , und 303₃ können so angeordnet sein, dass während dem Erfassen des Schallsignals 122: i) alle Akustiksensoren in Ruhe zueinander verharren, ii) zwei der Akustiksensoren in Ruhe zueinander verharren und der dritte Akustiksensor sich relativ zu den zwei in Ruhe zueinander verharrenden Akustiksensoren bewegt, und iii) alle drei Akustiksensoren sich relativ zueinander bewegen. Die Fälle ii) und iii) können insbesondere dann eintreten, wenn einer der passiven Akustiksensoren auf einer ortsfesten Infrastruktureinrichtung fest angeordnet ist und die anderen beiden Akustiksensoren auf einem Fahrzeug fest bzw. beweglich zueinander angeordnet sind.The passive acoustic sensors 302 ₁ , 302 ₂ , and 303 ₃ can be arranged so that during the acquisition of the sound signal 122 : i) all acoustic sensors remain at rest with respect to one another, ii) two of the acoustic sensors remain at rest with one another and the third acoustic sensor moves relative to the two acoustic sensors that remain at rest with one another, and iii) all three acoustic sensors move relative to one another. Cases ii) and iii) can occur in particular when one of the passive acoustic sensors is fixedly arranged on a stationary infrastructure device and the other two acoustic sensors are arranged fixedly or movably with respect to one another on a vehicle.

Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.While at least one exemplary embodiment has been described above, it should be understood that a large number of variations exist therefor. It should also be noted that the exemplary embodiments described represent only non-limiting examples, and it is not intended to limit the scope, applicability or configuration of the devices and methods described here. Rather, the preceding description will provide a person skilled in the art with instructions for implementing at least one exemplary embodiment, it being understood that various changes in the mode of operation and the arrangement of the elements described in an exemplary embodiment can be made without departing from the claims in the appended claims the subject matter specified in each case and its legal equivalents are deviated from.

BezugszeichenlisteList of reference symbols

100, 200, 300100, 200, 300: Erfindungsgemäße SystemeSystems according to the invention
101,201101,201: Fahrzeugvehicle
102, 202102, 202: Erster passiver Akustiksensor (Mikrophon)First passive acoustic sensor (microphone)
103103: SpeichereinheitStorage unit
104104: AuswertungseinheitEvaluation unit
105105: DirektverbindungDirect connection
106, 206, 306106, 206, 306: FahrerassistenzsystemDriver assistance system
111111: Ermitteltes MerkmalIdentified feature
120120: Schallemittierendes ObjektSound emitting object
121121: Fortbewegungs-/Geschwindigkeitsrichtung des ObjektesDirection of movement / speed of the object
122122: SchallsignalSound signal
207207: ÜbermittlungseinrichtungTransmission device
208208: PositionsermittlungseinheitPosition determination unit
209209: KommunikationsverbindungCommunication link
210210: Ortsfeste InfrastruktureinrichtungFixed infrastructure facility
211211: KommunikationsverbindungCommunication link
212212: Zweiter passiver Akustiksensor (Mikrophon)Second passive acoustic sensor (microphone)
230, 330230, 330: Rechnerwolke (Cloud)Computer cloud
233, 333233, 333: SpeichereinheitStorage unit
234, 334234, 334: Auswertungseinheit (Backend)Evaluation unit (backend)
235, 335235, 335: ÜbermittlungseinrichtungTransmission device
241, 341241, 341: Ermittelte Geschwindigkeit des ObjektesDetermined speed of the object
3021 - 30233021-3023: Passive Akustiksensoren (Mikrophone)Passive acoustic sensors (microphones)
307307: ÜbermittlungseinrichtungTransmission device
308308: PositionsermittlungseinheitPosition determination unit

Claims

A system for determining a feature (121) which characterizes an object (120) located outside a vehicle (101, 201) on the basis of a sound signal (122) which was emitted from the object into the outside space surrounding the vehicle, comprising: one or more passive acoustic sensors (102,202,302 ₁ -302 ₃ ), of which at least one is arranged on the vehicle, each passive acoustic sensor being set up to transmit the sound signal (122) emitted by the object (120) into the exterior of the vehicle at least in sections to record a predetermined, sound-specific period of time and to generate audio data corresponding to the recorded sound signal; a storage unit (103, 233, 333) which stores one or more reference audio data sequences which each represent a sound signal and are associated with a feature of an object which is set up to emit this sound signal; and an evaluation unit (104,234,334) for determining the feature (121) associated with the object (120) on the basis of the audio data generated by at least one passive acoustic sensor and the reference audio data sequences.

System according to Claim 1 , wherein the evaluation unit (104,234,334) is further designed to discover an audio data sequence in the audio data that corresponds to one of the reference audio data sequences according to a predetermined similarity criterion, and to determine the feature associated with the object (120) on the basis of the discovered audio data sequence.

System according to Claim 2 , wherein the evaluation unit (104,234,334) is further designed to carry out a Doppler analysis of the audio data sequence discovered in the generated audio data using the stored audio data sequences, and to determine the feature (121) associated with the object (120) on the basis of the Doppler analysis.

System according to Claim 1 or 2 , further comprising: a position-determining unit (208; 308) which is designed to determine the relative position of at least two of the plurality of passive acoustic sensors (202, 212, 302 ₁ -302 ₃ ) at each point in time of the detection of the sound signal (122).

System according to Claim 4 , wherein the evaluation unit (234, 334) is further designed to perform a triangulation with audio data sequences _{generated by passive acoustic sensors (202, 212, 302 1} _{-302 3} ), the relative position of which is determined by the position determination unit (208, 308) at each point in time of the detection of the sound signal (122) has been determined, and to determine the feature (121) associated with the object (120) on the basis of the triangulation.

System according to Claim 4 , wherein at least one passive acoustic sensor (212) is attached to a stationary infrastructure device (210), and the position determination unit (208) is designed, the relative position of at least the passive acoustic sensor (202) arranged on the vehicle (201) and that on the Infrastructure device (210) attached passive acoustic sensor (212) at each point in time of the detection of the sound signal (122).

System according to one of the preceding claims, further comprising: a transmission device (235, 335) which is designed to transmit the determined feature (241, 341) and / or information about the object (120) based on the determined feature are available to be transmitted to one or a combination of the following: - the vehicle (101, 201), which is provided with at least one passive acoustic sensor, - a different vehicle, - an infrastructure facility, - a traffic control system.

System according to Claim 7 , further comprising: a driver assistance system (106, 206, 306) of the vehicle (101, 201), which is designed, in response to the received feature (241, 341), to put the vehicle into a state that is dependent on the feature.

System according to one of the preceding claims, wherein the determined feature (111) corresponds to the audio data generated by at least one passive acoustic sensor, and the evaluation unit (106) is designed to supply the audio data corresponding to the determined feature to active noise cancellation .

System according to Claim 9 , wherein the determined feature furthermore contains a priority assigned to the audio data, and the evaluation unit (106) is designed to supply the audio data to the active noise compensation as a function of its priority.

System according to one of the preceding claims, wherein the evaluation unit (104) is at least partially contained in the vehicle (101); or the evaluation unit (234, 334) is a backend that is communicatively connected to the one or more passive acoustic sensors and the storage unit.

System according to one of the preceding claims, wherein the audio data generated by the passive acoustic sensor (s) can be transmitted to the evaluation unit, and the passive acoustic sensor (s) and / or the evaluation unit are designed within a predetermined time: - to transmit the audio data generated by the passive acoustic sensor (s) to the evaluation unit, - assign the audio data received in the evaluation unit to the passive acoustic sensor that generated it, - Assign the audio data assigned to a passive acoustic sensor in the evaluation unit in the order in which they were generated.

System according to Claim 12 wherein the audio data generated by a passive acoustic sensor (102) can be transmitted to the evaluation unit (104) via a direct connection (105); and / or the audio data generated by an acoustic sensor can be transmitted to the evaluation unit via a connection with a known latency; and / or the audio data generated by a passive acoustic sensor each have a time stamp which indicates the time of their respective generation, and the audio data can be transmitted to the evaluation unit with their time stamp.

System according to one of the preceding claims, wherein the determined feature (111,241,341) relates to one or a combination of the following: - the audio data or the reference audio data sequence which corresponds to the sound signal (122) emitted by the object (120) according to a similarity criterion, - the nature / type of object (120), - the location of the property, - The direction of movement and / or the speed (121) of the object (120), relative to one of the passive acoustic sensors.

The system according to any one of the preceding claims, wherein the audio data detected by the or more passive acoustic sensors and the reference audio data sequence includes one or a combination of the following: - A time sequence of frequency spectra which indicates a frequency distribution of the sound signal (122) at each point in time of the time sequence; and - A time sequence of amplitudes which indicates the volume of the sound signal (122) at each point in time of the time sequence.