DE102019213816A1

DE102019213816A1 - Method for detecting a blockage in an audio sensor of a vehicle

Info

Publication number: DE102019213816A1
Application number: DE102019213816.0A
Authority: DE
Inventors: Michael Hertkorn
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2021-03-11

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Blockade eines Audiosensors (104) eines Fahrzeugs (100). Der Audiosensor (104) umfasst ein Mikrofon (106) und eine Resonanzkammer (108) mit einer Eingangsöffnung (200) und einer Ausgangsöffnung (202) zur Aufnahme des Mikrofons (106). In dem Verfahren werden durch das Mikrofon (106) erzeugte Audiodaten (111) in einer Auswerteeinheit (112) des Fahrzeugs (100) empfangen. Aus den Audiodaten (111) werden eine oder mehrere Resonanzfrequenzen bestimmt und in einem weiteren Schritt mit einer oder mehreren ersten Referenzresonanzfrequenzen, mit denen die Resonanzkammer (108) in einem verschmutzten Zustand resoniert, und einer oder mehreren zweiten Referenzresonanzfrequenzen, mit denen die Resonanzkammer (108) in einem nicht verschmutzten Zustand resoniert, verglichen. Wenn die einen oder mehreren Resonanzfrequenzen mit den einen oder mehreren ersten Referenzresonanzfrequenzen übereinstimmen, wird schließlich die Blockade des Audiosensors (104) erkannt.The invention relates to a method for detecting a blockage in an audio sensor (104) of a vehicle (100). The audio sensor (104) comprises a microphone (106) and a resonance chamber (108) with an inlet opening (200) and an outlet opening (202) for receiving the microphone (106). In the method, audio data (111) generated by the microphone (106) are received in an evaluation unit (112) of the vehicle (100). One or more resonance frequencies are determined from the audio data (111) and in a further step with one or more first reference resonance frequencies with which the resonance chamber (108) resonates in a dirty state, and one or more second reference resonance frequencies with which the resonance chamber (108 ) resonates in a non-polluted state. If the one or more resonance frequencies match the one or more first reference resonance frequencies, the blockage of the audio sensor (104) is finally recognized.

Description

Die Erfindung betrifft ein Verfahren, ein Computerprogramm und ein computerlesbares Medium zum Erkennen einer Blockade eines Audiosensors eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein Fahrzeugsystem.The invention relates to a method, a computer program and a computer-readable medium for detecting a blockage of an audio sensor of a vehicle. The invention also relates to a vehicle system.

Eine Blockade eines Audiosensors eines Fahrzeugs, etwa eines in einen Stoßfänger integrierten Mikrofonsensors, der starker Verschmutzung ausgesetzt ist, kann beispielsweise mittels eines Lautsprechers, einer Kamera, eines Lichtsensors oder einer sonstigen aktiven Komponente erkannt werden.A blockage of an audio sensor of a vehicle, for example a microphone sensor integrated in a bumper, which is exposed to heavy pollution, can be detected, for example, by means of a loudspeaker, a camera, a light sensor or some other active component.

Es ist Aufgabe der Erfindung, die Erkennung einer Blockade eines Audiosensors eines Fahrzeugs zu verbessern.It is the object of the invention to improve the detection of a blockage in an audio sensor of a vehicle.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Weitere Ausführungsformen der Erfindung ergeben sich aus den abhängigen Ansprüchen und aus der folgenden Beschreibung.This problem is solved by the subject matter of the independent claims. Further embodiments of the invention emerge from the dependent claims and from the following description.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Erkennen einer Blockade eines Audiosensors eines Fahrzeugs. Dabei kann der Audiosensor ein Mikrofon und eine Resonanzkammer mit einer Eingangsöffnung und einer Ausgangsöffnung zur Aufnahme des Mikrofons umfassen. Das Verfahren kann automatisch von einer Komponente des Fahrzeugs, etwa einem Bordcomputer, einer Auswerteeinheit und/oder einem Fahrzeugsystem, durchgeführt werden. Das Fahrzeugsystem kann beispielsweise ein Bordcomputer oder ein Fahrassistenzsystem des Fahrzeugs sein. Es ist möglich, dass das Fahrzeugsystem ausgeführt ist, um ein Umfeld des Fahrzeugs zu erkennen und das Fahrzeug entsprechend dem Umfeld zu steuern, etwa zu lenken, zu beschleunigen, zu bremsen oder zu navigieren. Das Fahrzeugsystem kann einen Aktuator zum Steuern des Fahrzeugs umfassen. Unter anderem kann das Fahrzeugsystem beispielsweise ausgeführt sein, um ein herannahendes Einsatzfahrzeug zu erkennen.One aspect of the invention relates to a method for detecting a blockage of an audio sensor of a vehicle. The audio sensor can include a microphone and a resonance chamber with an inlet opening and an outlet opening for receiving the microphone. The method can be carried out automatically by a component of the vehicle, for example an on-board computer, an evaluation unit and / or a vehicle system. The vehicle system can be, for example, an on-board computer or a driver assistance system of the vehicle. It is possible for the vehicle system to be designed to recognize the surroundings of the vehicle and to control the vehicle in accordance with the surroundings, for example to steer, accelerate, brake or navigate. The vehicle system may include an actuator for controlling the vehicle. Among other things, the vehicle system can be designed, for example, to recognize an approaching emergency vehicle.

Unter einer Blockade kann eine Anhäufung von Schmutz oder Flüssigkeit an oder in der Resonanzkammer verstanden werden, etwa an deren Eingangsöffnung. Durch die Blockade kann sich das Resonanzverhalten der Resonanzkammer, genauer deren Resonanzfrequenz(en), entsprechend ändern.A blockage can be understood to mean an accumulation of dirt or liquid on or in the resonance chamber, for example at its inlet opening. As a result of the blockage, the resonance behavior of the resonance chamber, more precisely its resonance frequency (s), can change accordingly.

Unter einem Fahrzeug kann ein Kraftfahrzeug wie etwa ein Pkw, Lkw oder Bus oder ein Motorrad verstanden werden.A vehicle can be understood to mean a motor vehicle such as a car, truck or bus or a motorcycle.

Unter einem Audiosensor kann ein in das Fahrzeug integrierter Sensor zum Erkennen von Geräuschen außerhalb oder innerhalb des Fahrzeugs verstanden werden. Beispielsweise kann der Audiosensor zweckmäßigerweise an einem Stoßfänger des Fahrzeugs oder in einem Innenraum des Fahrzeugs angeordnet sein. Je nach Anordnung kann der Audiosensor einer mehr oder weniger starken, unter Umständen eine Funktion des Audiosensors beeinträchtigenden Verschmutzung aufgrund von Umwelteinflüssen ausgesetzt sein. Das Fahrzeug kann auch mehrere Audiosensoren aufweisen, die an unterschiedlichen Stellen des Fahrzeugs platziert sein können, beispielsweise an einem vorderen und hinteren Stoßfänger, in einem Motorraum oder seitlich am Fahrzeug.An audio sensor can be understood as a sensor integrated into the vehicle for recognizing noises outside or inside the vehicle. For example, the audio sensor can expediently be arranged on a bumper of the vehicle or in an interior of the vehicle. Depending on the arrangement, the audio sensor can be exposed to more or less severe pollution due to environmental influences, which may impair the function of the audio sensor. The vehicle can also have several audio sensors that can be placed at different locations on the vehicle, for example on a front and rear bumper, in an engine compartment or on the side of the vehicle.

Unter einem Mikrofon kann ein Schallwandlerelement verstanden werden, das ausgeführt ist, um Schallwechseldruckschwingungen in ein elektrisches Signal umzuwandeln.A microphone can be understood to be a sound transducer element which is designed to convert sound pressure oscillations into an electrical signal.

Unter einer Resonanzkammer kann ein schwingungsfähiges System in Form eines Hohlraums verstanden werden, der bei Anregung mit einer oder mehreren Anregungsfrequenzen, die in der Nähe einer oder mehrerer Eigenfrequenzen des Hohlraums liegen, verstärkt mitschwingt, d. h. resoniert. Unter einer Eingangsöffnung der Resonanzkammer kann eine Öffnung zum Einkoppeln von Schallwechseldruckschwingungen in die Resonanzkammer verstanden werden. Dementsprechend kann unter einer Ausgangsöffnung der Resonanzkammer eine Öffnung zum Auskoppeln von Schallwechseldruckschwingungen aus der Resonanzkammer bzw. zum Einkoppeln von Schallwechseldruckschwingungen in das Mikrofon verstanden werden. Je nach Randbedingungen bildet sich eine stehende Welle in der Resonanzkammer aus, wobei die Eingangsöffnung und die Ausgangsöffnung als Reflektoren zum gegenläufigen Reflektieren der Schallwechseldruckschwingungen fungieren können. Zum Beispiel kann die (nicht blockierte) Eingangsöffnung ein freies Ende und die Ausgangsöffnung ein festes Ende der Resonanzkammer darstellen oder umgekehrt. Wird die Eingangsöffnung durch Verschmutzung blockiert, kann sie hingegen als festes Ende fungieren, sodass sich das Resonanzverhalten der Resonanzkammer entsprechend ändert. Unter einem verschmutzten Zustand kann ein Zustand der Resonanzkammer verstanden werden, in dem die Resonanzfrequenz(en) der Resonanzkammer aufgrund der Anhäufung von Schmutz oder Flüssigkeit an oder in der Resonanzkammer, insbesondere an der Eingangsöffnung, im Vergleich zum nicht verschmutzten Zustand, in dem kein Schmutz und keine Flüssigkeit, oder nur sehr wenig davon, an oder in der Resonanzkammer angehäuft ist, verschoben ist.A resonance chamber can be understood to mean an oscillatory system in the form of a cavity which, when excited with one or more excitation frequencies that are close to one or more natural frequencies of the cavity, resonates more intensely, i. H. resonates. An inlet opening of the resonance chamber can be understood to mean an opening for coupling alternating sound pressure vibrations into the resonance chamber. Accordingly, an outlet opening of the resonance chamber can be understood to mean an opening for coupling out sound pressure oscillations from the resonance chamber or for coupling sound pressure oscillations into the microphone. Depending on the boundary conditions, a standing wave forms in the resonance chamber, whereby the inlet opening and the outlet opening can function as reflectors for reflecting the alternating sound pressure vibrations in opposite directions. For example, the (unblocked) inlet opening can represent a free end and the outlet opening a fixed end of the resonance chamber or vice versa. If the inlet opening is blocked by dirt, however, it can function as a fixed end, so that the resonance behavior of the resonance chamber changes accordingly. A soiled state can be understood to mean a state of the resonance chamber in which the resonance frequency (s) of the resonance chamber due to the accumulation of dirt or liquid on or in the resonance chamber, in particular at the inlet opening, compared to the non-soiled state in which no dirt and no liquid, or very little of it, is accumulated on or in the resonance chamber.

Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt des Empfangens von durch das Mikrofon erzeugten Audiodaten in einer Auswerteeinheit des Fahrzeugs, einen Schritt des Bestimmens einer oder mehrerer Resonanzfrequenzen aus den Audiodaten und einen Schritt des Vergleichens der einen oder mehreren Resonanzfrequenzen mit einer oder mehreren ersten Referenzresonanzfrequenzen, mit denen die Resonanzkammer in einem verschmutzten Zustand resoniert, und einer oder mehreren zweiten Referenzresonanzfrequenzen, mit denen die Resonanzkammer in einem nicht verschmutzten Zustand resoniert. Schließlich umfasst das Verfahren noch einen Schritt des Erkennens der Blockade des Audiosensors, wenn die einen oder mehreren Resonanzfrequenzen mit den einen oder mehreren ersten Referenzresonanzfrequenzen übereinstimmen.According to one embodiment, the method comprises a step of receiving audio data generated by the microphone in a Evaluation unit of the vehicle, a step of determining one or more resonance frequencies from the audio data and a step of comparing the one or more resonance frequencies with one or more first reference resonance frequencies with which the resonance chamber resonates in a dirty state, and one or more second reference resonance frequencies, with which the resonance chamber resonates in a non-polluted state. Finally, the method also includes a step of recognizing the blockage of the audio sensor when the one or more resonance frequencies match the one or more first reference resonance frequencies.

Anders ausgedrückt werden Audiodaten, die beispielsweise von dem Audiosensor, insbesondere etwa einem Außenmikrofon, aufgenommen wurden, hinsichtlich bestimmter Resonanzfrequenzen analysiert, um zu ermitteln, ob der Audiosensor blockiert ist. Vorteilhaft ist, dass das Erkennen der Blockade ohne Verwendung zusätzlicher aktiver Komponenten wie etwa eines Lautsprechers oder einer Kamera erfolgen kann. Damit können die Herstellungskosten gesenkt werden. Durch den technisch verhältnismäßig einfach umzusetzenden Vergleich der aufgenommenen Audiodaten mit entsprechenden Vergleichsmustern, wie es Gegenstand des hier vorgestellten Ansatzes ist, kann dennoch eine hohe Zuverlässigkeit der Erkennung gewährleistet werden.In other words, audio data that have been recorded, for example, by the audio sensor, in particular, for example, an external microphone, are analyzed with regard to specific resonance frequencies in order to determine whether the audio sensor is blocked. It is advantageous that the blockage can be recognized without the use of additional active components such as a loudspeaker or a camera. The manufacturing costs can thus be reduced. The comparison of the recorded audio data with corresponding comparison patterns, which is technically relatively easy to implement, as is the subject of the approach presented here, nevertheless ensures a high level of reliability of the detection.

Unter Audiodaten können durch das Mikrofon beim Aufnehmen von Schallwechseldruckschwingungen erzeugte elektrische Signale oder durch geeignetes Weiterverarbeiten der elektrischen Signale, etwa durch Filterung oder Transformation, aufbereitete digitale Daten verstanden werden. Die Audiodaten können beispielsweise Umgebungsgeräusche einer Umgebung des Fahrzeugs und/oder Eigengeräusche des Fahrzeugs, etwa Motor- oder Fahrtwindgeräusche, und/oder Innenraumgeräusche im Innenraum des Fahrzeugs kodieren.Audio data can be understood to mean electrical signals generated by the microphone when recording alternating sound pressure vibrations or digital data prepared by suitable further processing of the electrical signals, for example by filtering or transformation. The audio data can encode, for example, ambient noises in the surroundings of the vehicle and / or intrinsic noises of the vehicle, for example engine or airflow noises, and / or interior noises in the interior of the vehicle.

Die Auswerteeinheit kann Teil des Bordcomputers oder eines Steuergeräts des Fahrzeugsystems sein. Beispielsweise kann die Auswerteeinheit ausgeführt sein, um das Fahrzeugsystem zu steuern. Die Auswerteeinheit kann ein Teil des Bordcomputers des Fahrzeugs sein.The evaluation unit can be part of the on-board computer or a control unit of the vehicle system. For example, the evaluation unit can be designed to control the vehicle system. The evaluation unit can be part of the vehicle's on-board computer.

Unter einer Resonanzfrequenz kann eine in den Audiodaten enthaltene Frequenz verstanden werden, deren Amplitude gegenüber anderen darin enthaltenen Frequenzen deutlich größer ist. Die Bestimmung der Resonanzfrequenz(en) kann mit einem oder mehreren Verfahren gemäß verschiedenen Ausführungsformen, wie sie weiter unten näher beschrieben werden, erfolgen, beispielsweise fortlaufend während eines Betriebs des Fahrzeugs.A resonance frequency can be understood to be a frequency contained in the audio data, the amplitude of which is significantly greater than that of other frequencies contained therein. The determination of the resonance frequency (s) can take place with one or more methods according to various embodiments, as described in more detail below, for example continuously during operation of the vehicle.

Unter einer Referenzresonanzfrequenz kann eine vorgegebene, beispielsweise berechnete oder experimentell ermittelte Resonanzfrequenz der Resonanzkammer zum Vergleich mit den aufgenommenen Resonanzfrequenzen in den Audiodaten verstanden werden. Die Referenzresonanzfrequenzen können beispielsweise in der Auswerteeinheit in geeigneter Tabellenform abgespeichert sein.A reference resonance frequency can be understood to mean a predetermined, for example calculated or experimentally determined, resonance frequency of the resonance chamber for comparison with the recorded resonance frequencies in the audio data. The reference resonance frequencies can, for example, be stored in the evaluation unit in a suitable table form.

Die Blockade des Audiosensors kann erkannt werden, wenn die wenigstens eine Resonanzfrequenz mit der wenigstens einen ersten Referenzresonanzfrequenz ganz oder teilweise übereinstimmt. Beispielsweise kann eine Überstimmung zwischen den Resonanzfrequenzen und den ersten Referenzresonanzfrequenzen graduell bestimmt werden und die Blockade dann erkannt werden, wenn ein Grad der Überstimmung einen vorgegebenen Mindestgrad überschreitet.The blockage of the audio sensor can be recognized when the at least one resonance frequency coincides completely or partially with the at least one first reference resonance frequency. For example, a correspondence between the resonance frequencies and the first reference resonance frequencies can be gradually determined and the blockage can be recognized when a degree of agreement exceeds a predetermined minimum degree.

Gemäß einer Ausführungsform kann aus den Audiodaten ein Frequenzspektrum ermittelt werden, aus dem Frequenzspektrum Minima und/oder Maxima ermittelt werden und die Minima und/oder die Maxima des Frequenzspektrums mit Minima und/oder Maxima eines ersten Referenzspektrums, das zumindest die ersten Referenzresonanzfrequenzen enthält, und mit Minima und/oder Maxima eines zweiten Referenzspektrums, das zumindest die zweiten Referenzresonanzfrequenzen enthält, verglichen werden. Das Frequenzspektrum kann mit einer geeigneten (Fourier-)Transformation von in den Audiodaten enthaltenen Zeitsignalen ermittelt werden. Das erste und/oder das zweite Referenzspektrum kann in geeigneter Tabellenform in der Auswerteeinheit hinterlegt sein. Das Finden der Minima und/oder der Maxima in dem Frequenzspektrum und/oder deren Vergleich mit den Minima und/oder den Maxima des ersten und/oder zweiten Referenzspektrums kann beispielsweise mithilfe eines Machine-Learning-Algorithmus und/oder eines neuronalen Netzwerks erfolgen. Diese Ausführungsform hat den Vorteil, dass Übereinstimmungen zwischen Audiodaten und Referenzresonanzfrequenzen bei verhältnismäßig geringem Aufwand mit hoher Genauigkeit und Zuverlässigkeit ermittelt werden können.According to one embodiment, a frequency spectrum can be determined from the audio data, minima and / or maxima can be determined from the frequency spectrum and the minima and / or maxima of the frequency spectrum with minima and / or maxima of a first reference spectrum which contains at least the first reference resonance frequencies, and be compared with minima and / or maxima of a second reference spectrum which contains at least the second reference resonance frequencies. The frequency spectrum can be determined with a suitable (Fourier) transformation of time signals contained in the audio data. The first and / or the second reference spectrum can be stored in the evaluation unit in a suitable table form. The finding of the minima and / or the maxima in the frequency spectrum and / or their comparison with the minima and / or the maxima of the first and / or second reference spectrum can take place, for example, with the aid of a machine learning algorithm and / or a neural network. This embodiment has the advantage that matches between audio data and reference resonance frequencies can be determined with relatively little effort with high accuracy and reliability.

Gemäß einer Ausführungsform können zumindest ein erster Korrelationsparameter einer Korrelation der Resonanzfrequenzen zu den ersten Referenzresonanzfrequenzen und zumindest ein zweiter Korrelationsparameter einer Korrelation der Resonanzfrequenzen zu den zweiten Referenzresonanzfrequenzen bestimmt werden. Dabei kann die Blockade des Audiosensors durch Vergleichen des ersten Korrelationsparameters mit dem zweiten Korrelationsparameter erkannt werden. Unter einem Korrelationsparameter kann ein statistisches Zusammenhangsmaß verstanden werden. Beispielsweise kann der Korrelationsparameter Werte auf einer Skala von 0 (kein Zusammenhang) bis 1 (starker Zusammenhang) annehmen. Dadurch kann eine genaue und zuverlässige Quantifizierung der Übereinstimmung erreicht werden. Der erste Korrelationsparameter und der zweite Korrelationsparameter können Ausgangsgrößen des Machine-Learning-Algorithmus sein.According to one embodiment, at least one first correlation parameter of a correlation of the resonance frequencies to the first reference resonance frequencies and at least one second correlation parameter of a correlation of the resonance frequencies to the second reference resonance frequencies can be determined. The blockage of the audio sensor can be recognized by comparing the first correlation parameter with the second correlation parameter. A correlation parameter can be understood as a statistical measure of relationship. For example, the correlation parameter can have values on a scale of Assume 0 (no connection) to 1 (strong connection). In this way, an accurate and reliable quantification of the agreement can be achieved. The first correlation parameter and the second correlation parameter can be output variables of the machine learning algorithm.

Gemäß einer Ausführungsform kann der erste Korrelationsparameter eine Korrelation der Minima des Frequenzspektrums zu den Minima des ersten Referenzspektrums und/oder eine Korrelation der Maxima des Frequenzspektrums zu den Maxima des ersten Referenzspektrums anzeigen. Dazu analog kann zusätzlich oder alternativ der zweite Korrelationsparameter eine Korrelation der Minima des Frequenzspektrums zu den Minima des zweiten Referenzspektrums und/oder eine Korrelation der Maxima des Frequenzspektrums zu den Maxima des zweiten Referenzspektrums anzeigen. Dadurch kann eine genaue und zuverlässige Quantifizierung der Übereinstimmung zwischen verschiedenen Minima bzw. Maxima des Frequenzspektrums und der Referenzspektren erreicht werden.According to one embodiment, the first correlation parameter can indicate a correlation of the minima of the frequency spectrum to the minima of the first reference spectrum and / or a correlation of the maxima of the frequency spectrum to the maxima of the first reference spectrum. Analogously to this, the second correlation parameter can additionally or alternatively indicate a correlation of the minima of the frequency spectrum to the minima of the second reference spectrum and / or a correlation of the maxima of the frequency spectrum to the maxima of the second reference spectrum. As a result, an exact and reliable quantification of the correspondence between different minima or maxima of the frequency spectrum and the reference spectra can be achieved.

Des Weiteren kann die Blockade des Audiosensors erkannt werden, wenn der erste Korrelationsparameter verglichen mit dem zweiten Korrelationsparameter einen größeren Grad der Korrelation anzeigt. Dies kann beispielsweise der Fall sein, wenn der erste Korrelationsparameter einen größeren Zahlenwert als der zweite Korrelationsparameter darstellt. Somit kann die Erkennung mit geringem Rechenaufwand erfolgen.Furthermore, the blockage of the audio sensor can be recognized if the first correlation parameter indicates a greater degree of correlation compared to the second correlation parameter. This can be the case, for example, when the first correlation parameter represents a larger numerical value than the second correlation parameter. The detection can thus take place with little computational effort.

Gemäß einer Ausführungsform können die Audiodaten unter Betriebsbedingungen des Fahrzeugs durch das Mikrofon erzeugt bzw. aufgenommen worden sein. Hierbei können die Resonanzfrequenzen basierend auf einer Eingangsgröße, die eine Rauschanregung der Resonanzkammer unter den Betriebsbedingungen des Fahrzeugs repräsentiert, bestimmt werden. Die Eingangsgröße kann eine Motordrehzahl und/oder eine Geschwindigkeit des Fahrzeugs sein. Im Allgemeinen kann die Eingangsgröße eine Betriebsgröße des Fahrzeugs sein, die auf Frequenzspektren und/oder Frequenzmaxima von durch das Mikrofon aufgenommenen Geräuschen, wie etwa Motorgeräuschen und/oder Windgeräuschen, schließen lässt.According to one embodiment, the audio data can have been generated or recorded by the microphone under operating conditions of the vehicle. In this case, the resonance frequencies can be determined based on an input variable which represents a noise excitation of the resonance chamber under the operating conditions of the vehicle. The input variable can be an engine speed and / or a speed of the vehicle. In general, the input variable can be an operating variable of the vehicle, which allows conclusions to be drawn about frequency spectra and / or frequency maxima of noises picked up by the microphone, such as engine noises and / or wind noises.

Das Fahrzeug kann sich beispielsweise unter Betriebsbedingungen befinden, wenn eine Zündung des Fahrzeugs aktiviert ist und/oder ein Motor des Fahrzeugs läuft und/oder sich das Fahrzeug fortbewegt. Die Rauschanregung kann beispielsweise weißes Rauschen sein. Die Bestimmung der Resonanzfrequenzen kann damit in einer sogenannten Betriebsmodalanalyse, englisch operational modal analysis, erfolgen. Dies hat den Vorteil, dass die Resonanzfrequenzen ohne Messung der die Resonanzkammer anregenden Kräfte bestimmt werden können.The vehicle can be under operating conditions, for example, when an ignition of the vehicle is activated and / or an engine of the vehicle is running and / or the vehicle is moving. The noise excitation can be white noise, for example. The determination of the resonance frequencies can thus take place in a so-called operational modal analysis. This has the advantage that the resonance frequencies can be determined without measuring the forces that excite the resonance chamber.

Gemäß einer Ausführungsform können die Resonanzfrequenzen mithilfe eines Machine-Learning-Algorithmus bestimmt werden, der mit auf die Resonanzkammer abgestimmten Trainingsdaten trainiert wurde. Unter einem Machine-Learning-Algorithmus kann im Allgemeinen ein Algorithmus verstanden, der es ermöglicht, auf Basis vorhandener Trainingsdaten eigenständig Muster, hier die Resonanzfrequenzen, zu erkennen und Lösungen zu entwickeln. Damit kann die Effizienz der Erkennung gesteigert werden. Ein Machine-Learning-Algorithmus kann ein neuronales Netzwerk wie etwa ein CNN (convolutional neural network) und/oder ein Random-Forest-Algorithmus sein.According to one embodiment, the resonance frequencies can be determined with the aid of a machine learning algorithm that has been trained with training data tailored to the resonance chamber. A machine learning algorithm can generally be understood as an algorithm that makes it possible, on the basis of existing training data, to independently recognize patterns, in this case the resonance frequencies, and to develop solutions. The efficiency of the detection can thus be increased. A machine learning algorithm can be a neural network such as a CNN (convolutional neural network) and / or a random forest algorithm.

Gemäß einer Ausführungsform können die Resonanzfrequenzen basierend auf einer oder mehreren Eigengeräuschfrequenzen des Fahrzeugs bestimmt werden. Eine Eigengeräuschfrequenz kann eine Frequenz eines Eigengeräuschs des Fahrzeugs sein, etwa eines Motorengeräuschs oder eines Fahrtwindgeräuschs. Die eine oder mehreren Eigengeräuschfrequenzen können je nach Zustand der Resonanzkammer unterschiedlich verstärkt werden. Dies kann vorteilhaft für die Erkennung der Blockade genutzt werden.According to one embodiment, the resonance frequencies can be determined based on one or more natural noise frequencies of the vehicle. An inherent noise frequency can be a frequency of an inherent noise of the vehicle, for example an engine noise or a headwind noise. The one or more natural noise frequencies can be amplified differently depending on the state of the resonance chamber. This can be used to advantage for the detection of the blockage.

Gemäß einer Ausführungsform kann im Fall einer erkannten Blockade ein mit dem Audiosensor gekoppeltes Funktionsmodul des Fahrzeugs deaktiviert werden. Zusätzlich oder alternativ kann in diesem Fall ein Wiedergabesignal zur akustischen und/oder optischen Wiedergabe eines Hinweises an einen Nutzer generiert werden. Das Funktionsmodul kann Teil des Fahrzeugsystems sein und beispielsweise eine Erkennungsfunktion zur Erkennung der Umgebung des Fahrzeugs, etwa eines herannahenden Einsatzfahrzeugs, oder eine sonstige Fahrassistenzfunktion umsetzen. Ein Nutzer kann ein Fahrer oder Beifahrer sein. Dadurch können Funktionsfehler bei blockiertem Audiosensor vermieden werden.According to one embodiment, a functional module of the vehicle coupled to the audio sensor can be deactivated in the event of a detected blockage. Additionally or alternatively, a playback signal for acoustic and / or optical playback of a message to a user can be generated in this case. The functional module can be part of the vehicle system and, for example, implement a recognition function for recognizing the surroundings of the vehicle, for example an approaching emergency vehicle, or some other driver assistance function. A user can be a driver or a passenger. This can prevent malfunctions when the audio sensor is blocked.

Der Audiosensor kann zudem ausgeführt sein, um Audiodaten in einem nicht hörbaren Frequenzbereich aufzunehmen. Der nicht hörbare Frequenzbereich kann Frequenzen von mindestens 20 kHz, unter anderem beispielsweise im Ultraschallbereich, umfassen. Die Resonanzfrequenzen können dementsprechend in dem nicht hörbaren Frequenzbereich bestimmt werden. Dadurch kann die Störanfälligkeit des Verfahrens gegenüber Umgebungsgeräuschen reduziert werden.The audio sensor can also be designed to record audio data in an inaudible frequency range. The inaudible frequency range can include frequencies of at least 20 kHz, including, for example, in the ultrasonic range. The resonance frequencies can accordingly be determined in the inaudible frequency range. As a result, the method's susceptibility to interference with respect to ambient noise can be reduced.

Gemäß einer Ausführungsform kann der Audiosensor eine luftdurchlässige Schutzmembran zum Abhalten von Schmutzpartikeln aufweisen. Dabei kann die Schutzmembran die Eingangsöffnung der Resonanzkammer abdecken. Damit kann die Eingangsöffnung als freies Ende der Resonanzkammer realisiert werden. Es sind also keine weiteren aktiven Komponenten erforderlich. Das Verfahren kann somit vorteilhaft auf Basis eines angepassten Gehäuses des Audiosensors umgesetzt werden.According to one embodiment, the audio sensor can have an air-permeable protective membrane to keep dirt particles away. The protective membrane can be the inlet opening of the Cover the resonance chamber. The inlet opening can thus be implemented as a free end of the resonance chamber. No further active components are therefore required. The method can thus advantageously be implemented on the basis of an adapted housing of the audio sensor.

Weitere Aspekte der Erfindung betreffen ein Computerprogramm, das, wenn es auf einem Prozessor ausgeführt wird, das Verfahren, wie es hier beschrieben wird, durchführt, sowie ein computerlesbares Medium, auf dem ein derartiges Computerprogramm gespeichert ist. Ein computerlesbares Medium kann eine Harddisk, ein USB-Speichergerät, ein RAM, ROM, EPROM oder FLASH-Speicher sein. Ein computerlesbares Medium kann auch ein Datenkommunikationsnetzwerk sein, beispielsweise das Internet, das den Download eines Programmcodes ermöglicht. Das computerlesbare Medium kann ein transitorisches oder nicht transitorisches Medium sein. Merkmale des Verfahrens, so wie oben und unten stehend beschrieben, können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein.Further aspects of the invention relate to a computer program which, when it is executed on a processor, carries out the method as described here, and to a computer-readable medium on which such a computer program is stored. A computer-readable medium can be a hard disk, a USB storage device, RAM, ROM, EPROM or FLASH memory. A computer-readable medium can also be a data communication network, for example the Internet, which enables program code to be downloaded. The computer readable medium can be transitory or non-transitory. Features of the method, as described above and below, can also be features of the computer program and / or the computer-readable medium.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeugsystem. Das Fahrzeugsystem umfasst einen Audiosensor mit einem Mikrofon und einer Resonanzkammer mit einer Eingangsöffnung und einer Ausgangsöffnung zur Aufnahme des Mikrofons. Zudem weist das Fahrzeugsystem eine Auswerteeinheit auf, die ausgeführt ist, um das Verfahren, so wie oben und unten stehend beschrieben, durchzuführen. Das Fahrzeugsystem kann insbesondere Fahrassistenzfunktionen umsetzen. Dabei sollte eine zuverlässige Funktion des Audiosensors sichergestellt sein, um die Sicherheit der Fahrzeuginsassen oder sonstiger Verkehrsteilnehmer nicht durch Fehlfunktionen zu gefährden. Merkmale des Verfahrens, so wie oben und unten stehend beschrieben, können auch Merkmale des Fahrzeugsystems sein und umgekehrt.Another aspect of the invention relates to a vehicle system. The vehicle system comprises an audio sensor with a microphone and a resonance chamber with an input opening and an output opening for receiving the microphone. In addition, the vehicle system has an evaluation unit which is designed to carry out the method as described above and below. The vehicle system can in particular implement driver assistance functions. A reliable function of the audio sensor should be ensured in order not to endanger the safety of the vehicle occupants or other road users through malfunctions. Features of the method, as described above and below, can also be features of the vehicle system and vice versa.

Im Folgenden werden Ausführungsbeispiele der Erfindung mit Bezug auf die beiliegenden Figuren detailliert beschrieben.

1 zeigt schematisch ein Fahrzeug mit einem Fahrzeugsystem gemäß einem Ausführungsbeispiel der Erfindung.
2 zeigt schematisch einen nicht blockierten Audiosensor gemäß einem Ausführungsbeispiel der Erfindung.
3 zeigt schematisch einen blockierten Audiosensor gemäß einem Ausführungsbeispiel der Erfindung.
4 zeigt ein Diagramm eines ersten Frequenzspektrums mit Resonanzfrequenzen im nicht blockierten Zustand und eines zweiten Frequenzspektrums mit Resonanzfrequenzen im blockierten Zustand eines Audiosensors gemäß einem Ausführungsbeispiel der Erfindung.
5 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Blockade eines Audiosensors gemäß einem Ausführungsbeispiel der Erfindung.

In the following, exemplary embodiments of the invention are described in detail with reference to the accompanying figures.

1 shows schematically a vehicle with a vehicle system according to an embodiment of the invention.
2 shows schematically an unblocked audio sensor according to an embodiment of the invention.
3 shows schematically a blocked audio sensor according to an embodiment of the invention.
4th shows a diagram of a first frequency spectrum with resonance frequencies in the unblocked state and a second frequency spectrum with resonance frequencies in the blocked state of an audio sensor according to an embodiment of the invention.
5 shows a flowchart of a method for detecting a blockage of an audio sensor according to an embodiment of the invention.

Die in den Figuren verwendeten Bezugszeichen und ihre Bedeutung sind in zusammenfassender Form in der Liste der Bezugszeichen aufgeführt. Grundsätzlich sind identische oder ähnliche Teile mit den gleichen Bezugszeichen versehen.The reference symbols used in the figures and their meaning are summarized in the list of reference symbols. In principle, identical or similar parts are provided with the same reference symbols.

1 zeigt schematisch ein Fahrzeug 100 mit einem Fahrzeugsystem 102 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrzeugsystem 102 umfasst einen Audiosensor 104 mit einem Mikrofon 106 und einer dem Mikrofon 106 vorgeschalteten Resonanzkammer 108, die beispielsweise als Teil eines Gehäuses des Audiosensors 104 ausgeformt ist. Beispielhaft ist der Audiosensor 104 hier in einen vorderen Stoßfänger 110 des Fahrzeugs 100 eingebaut, um Außengeräusche aus der Umgebung des Fahrzeugs zu erfassen. Damit ist der Audiosensor 104, genauer dessen Resonanzkammer 108, einer gewissen Verschmutzung ausgesetzt. Optional umfasst das Fahrzeugsystem 102 mindestens einen weiteren Audiosensor 104. Bei mehreren Audiosensoren 104 können diese beispielsweise an einem vorderen und hinteren Ende des Fahrzeugs 100 oder auch rund um das Fahrzeug 100 herum angeordnet sein. Das Mikrofon 106 ist ausgeführt, um die Außengeräusche in digitale Audiodaten 111 umzuwandeln und diese an eine Auswerteeinheit 112, die hier beispielhaft als Komponente eines Bordcomputers 114 des Fahrzeugs 100 realisiert ist, zu senden. Die Auswerteeinheit 112 ist Teil des Fahrzeugsystems 102 und ausgeführt, um aus den Audiodaten 111 mindestens eine Resonanzfrequenz zu extrahieren, diese mit mindestens einer ersten Referenzresonanzfrequenz, mit der die Resonanzkammer 108 resoniert, sofern diese verschmutzt ist, und mindestens einer zweiten Referenzresonanzfrequenz, mit der die Resonanzkammer 108 resoniert, sofern diese nicht verschmutzt ist, zu vergleichen und je nach Ergebnis des Vergleichs zwischen der aufgenommenen Resonanzfrequenz und den hinterlegten Referenzresonanzfrequenzen zu erkennen, ob die Resonanzkammer 108 verschmutzt oder nicht verschmutzt ist, d. h. der Audiosensor 104 blockiert oder nicht blockiert ist. Ergibt sich bei dem Vergleich, dass die Resonanzfrequenz eher mit der ersten Referenzresonanzfrequenz als mit der zweiten Referenzresonanzfrequenz übereinstimmt, so wird, wie hier, durch die Auswerteeinheit 112 die Blockade des Audiosensors 104 erkannt. Somit wird beispielsweise auch eine Unterscheidung zwischen einer temporären Blockade und einem elektrischem Defekt des Audiosensors 104 ermöglicht. 1 shows schematically a vehicle 100 with a vehicle system 102 according to an embodiment of the invention. The vehicle system 102 includes an audio sensor 104 with a microphone 106 and one to the microphone 106 upstream resonance chamber 108 , for example as part of a housing of the audio sensor 104 is formed. The audio sensor is an example 104 here in a front bumper 110 of the vehicle 100 built-in to pick up outside noises from around the vehicle. That’s the audio sensor 104 , more precisely its resonance chamber 108 exposed to some pollution. The vehicle system optionally includes 102 at least one additional audio sensor 104 . With multiple audio sensors 104 can, for example, at a front and rear end of the vehicle 100 or around the vehicle 100 be arranged around. The microphone 106 is designed to convert outside noise into digital audio 111 to convert and this to an evaluation unit 112 , which are exemplified here as a component of an on-board computer 114 of the vehicle 100 is realized to send. The evaluation unit 112 is part of the vehicle system 102 and executed to from the audio data 111 to extract at least one resonance frequency, this with at least one first reference resonance frequency with which the resonance chamber 108 resonates if it is dirty, and at least one second reference resonance frequency with which the resonance chamber 108 resonates, provided this is not soiled, to compare and, depending on the result of the comparison between the recorded resonance frequency and the stored reference resonance frequencies, to recognize whether the resonance chamber 108 dirty or not dirty, i.e. the audio sensor 104 blocked or not blocked. If the comparison shows that the resonance frequency corresponds more to the first reference resonance frequency than to the second reference resonance frequency, then, as in this case, it is determined by the evaluation unit 112 the blockage of the audio sensor 104 recognized. Thus, for example, a distinction is also made between a temporary blockage and an electrical defect in the audio sensor 104 enables.

Gemäß einem Ausführungsbeispiel umfasst das Fahrzeugsystem 102 zusätzlich ein vom Bordcomputer 114 getrenntes Funktionsmodul 116, das mit dem Audiosensor 104 gekoppelt ist. Das Funktionsmodul 116 kann aber auch Teil des Bordcomputers 114 sein. Beispielsweise dient das Funktionsmodul 116 dazu, basierend auf den Audiodaten 111 Sirenentöne eines herannahenden Einsatzfahrzeugs aus den Außengeräuschen herauszufiltern und ein Herannahen des Einsatzfahrzeugs entsprechend zu erkennen. Im Fall einer erkannten Blockade des Audiosensors 104 erzeugt der Bordcomputer 114 ein Deaktivierungssignal 118 zum Deaktivieren des Funktionsmoduls 116, sodass Funktionsfehler aufgrund verfälschter Audiodaten infolge der Blockade vermieden werden können.According to an exemplary embodiment, the vehicle system comprises 102 an additional one from the on-board computer 114 separate function module 116 that with the audio sensor 104 is coupled. The functional module 116 but can also be part of the on-board computer 114 be. For example, the function module is used 116 to do this, based on the audio data 111 To filter out siren sounds of an approaching emergency vehicle from the outside noises and to recognize an approach of the emergency vehicle accordingly. In the event of a detected blockage in the audio sensor 104 generated by the on-board computer 114 a deactivation signal 118 to deactivate the function module 116 so that functional errors due to corrupted audio data due to the blockage can be avoided.

Zusätzlich oder alternativ erzeugt der Bordcomputer 114 in diesem Fall ein Wiedergabesignal 120, das dazu dient, einen Nutzer 122 des Fahrzeugsystems 102, hier eines Fahrers, in geeigneter Weise über die Blockade des Audiosensors 104 und/oder die Deaktivierung des Funktionsmoduls 116 in Kenntnis zu setzen. In diesem Beispiel wird das Wiedergabesignal 120 über einen Innenlautsprecher 124 des Fahrzeugs 100 als Tonsignal wiedergegeben. Möglich ist auch, dass das Wiedergabesignal 120 zusätzlich oder alternativ über eine Anzeigeeinrichtung des Fahrzeugs 100 als optisches (Bild-)Signal wiedergegeben wird.Additionally or alternatively, the on-board computer generates 114 in this case a playback signal 120 that serves a user 122 of the vehicle system 102 , here a driver, in a suitable manner by blocking the audio sensor 104 and / or the deactivation of the functional module 116 to inform. In this example, the playback signal 120 through an indoor speaker 124 of the vehicle 100 reproduced as a sound signal. It is also possible that the playback signal 120 additionally or alternatively via a display device of the vehicle 100 is reproduced as an optical (image) signal.

Gemäß einem Ausführungsbeispiel ist das Mikrofon 106 ausgeführt, um die Audiodaten 111 zu erzeugen, wenn sich das Fahrzeug 100 in einem Betriebszustand befindet, beispielsweise während der Fahrt. Die Erkennung der Blockade durch die Auswerteeinheit 112 erfolgt dabei basierend auf einer Betriebsmodalanalyse, in der als Eingangsgröße für die Bestimmung der Resonanzfrequenzen aus den Audiodaten 111 ein Rauschsignal wie etwa weißes Rauschen verwendet wird.According to one embodiment, the microphone is 106 executed to the audio data 111 to generate when the vehicle moves 100 is in an operating state, for example while driving. The detection of the blockage by the evaluation unit 112 takes place based on an operating mode analysis in which the input variable is used to determine the resonance frequencies from the audio data 111 a noise signal such as white noise is used.

Es ist denkbar, dass das Mikrofon 106 auch unhörbar hohe Frequenzen aufzeichnet, wobei die Resonanzfrequenzen aus den unhörbar hohen Frequenzen bestimmt werden. Damit kann der Audiosensor 104 kompakt gehalten werden. Sehr hohe Frequenzen werden aufgrund der hohen Dämpfung auch weniger stark von der Außenwelt beeinflusst.It is conceivable that the microphone 106 also records inaudibly high frequencies, the resonance frequencies being determined from the inaudible high frequencies. This allows the audio sensor 104 be kept compact. Very high frequencies are also less influenced by the outside world due to the high attenuation.

2 zeigt schematisch einen nicht blockierten Audiosensor 104 gemäß einem Ausführungsbeispiel der Erfindung. Die Resonanzkammer 108 ist hier beispielhaft rohrförmig mit einer Eingangsöffnung 200 an einem ersten Ende und einer Ausgangsöffnung 202 an einem gegenüberliegenden zweiten Ende ausgestaltet. An der Ausgangsöffnung 202 ist das Mikrofon 106 angeordnet. Die Eingangsöffnung 200 ist zudem durch eine luftdurchlässige, aber schmutzundurchlässige Schutzmembran 204 abgedeckt. Die Schutzmembran 204 befindet sich nicht direkt vor dem Mikrofon 106, sondern ist in einem gewissen Abstand zum Mikrofon 106 angeordnet. Durch diesen Abstand wird die Resonanzkammer 108 gebildet. Je nach Ausführung kann die Resonanzkammer 108 auch als Teil eines geeignet gestalteten Gehäuses des Audiosensors 104 realisiert sein. 2 shows schematically an unblocked audio sensor 104 according to an embodiment of the invention. The resonance chamber 108 is here for example tubular with an inlet opening 200 at a first end and an exit port 202 configured at an opposite second end. At the exit opening 202 is the microphone 106 arranged. The entrance opening 200 is also through an air-permeable, but dirt-impermeable protective membrane 204 covered. The protective membrane 204 is not directly in front of the microphone 106 , but is at a certain distance from the microphone 106 arranged. This distance creates the resonance chamber 108 educated. Depending on the design, the resonance chamber 108 also as part of a suitably designed housing of the audio sensor 104 be realized.

Die Resonanzfrequenzen der Resonanzkammer 108 können auf Basis der Randbedingungen bestimmt werden. Dabei wird das Mikrofon 106 als festes oder geschlossenes Ende angenommen. Je nach Bauart des Mikrofons 106 ist es jedoch auch möglich, das Mikrofon 106 als offenes Ende anzunehmen. Die Schmutzmembran 204 an der Außenseite des Audiosensors 104 verhält sich akustisch wie ein offenes Ende. Hier stellt sich im Resonanzfall ein Schwingungsbauch ein, während sich am festen Ende ein Schwingungsknoten einstellt, wie es in 2 rechts neben der Zeichnung des Audiosensors 104 schematisch angedeutet ist. Die Resonanzfrequenzen ergeben sich abhängig von einer Länge I der Resonanzkammer 108 mit $λ = 4 \cdot l zu : f = \frac{c}{λ} = \frac{c}{4 l}, 3 \cdot \frac{c}{4 l}, 5 \cdot \frac{c}{4 l}, \dots$

The resonance frequencies of the resonance chamber 108 can be determined based on the boundary conditions. This is the microphone 106 accepted as fixed or closed end. Depending on the type of microphone 106 however, it is also possible to use the microphone 106 to be accepted as an open end. The dirt membrane 204 on the outside of the audio sensor 104 behaves acoustically like an open end. In the case of resonance, an antinode occurs here, while a vibration node appears at the fixed end, as shown in 2 to the right of the drawing of the audio sensor 104 is indicated schematically. The resonance frequencies result depending on a length I of the resonance chamber 108 With

λ = 4th \cdot l to : f = \frac{c}{λ} = \frac{c}{4th l}, 3 \cdot \frac{c}{4th l}, 5 \cdot \frac{c}{4th l}, \dots

3 zeigt schematisch einen blockierten Audiosensor 104 gemäß einem Ausführungsbeispiel der Erfindung. Im Fall einer Blockade des Audiosensors 104, also bei starker Verschmutzung der Schutzmembran 204, die dadurch luftundurchlässig wird, verhält sich die Schutzmembran 204 akustisch wie ein geschlossenes Ende. Dieser Fall ist in 3 gezeigt. Die Resonanzfrequenzen im Innern des Audiosensors 104 verschieben sich. An den beiden festen Enden stellt sich ein Schwingungsknoten ein. Die Resonanzfrequenzen ergeben sich abhängig von der Länge I der Resonanzkammer 108 mit $λ = 2 \cdot l zu : f = \frac{c}{λ} = \frac{c}{2 l} = 2 \cdot \frac{c}{4 l}, 4 \cdot \frac{c}{4 l}, 6 \cdot \frac{c}{4 l}, \dots$

3 shows schematically a blocked audio sensor 104 according to an embodiment of the invention. In the event of a blockage in the audio sensor 104 , i.e. when the protective membrane is heavily soiled 204 , which thereby becomes impermeable to air, the protective membrane behaves 204 acoustically like a closed end. This case is in 3 shown. The resonance frequencies inside the audio sensor 104 are shifting. A vibration node appears at the two fixed ends. The resonance frequencies depend on the length I of the resonance chamber 108 With

λ = 2 \cdot l to : f = \frac{c}{λ} = \frac{c}{2 l} = 2 \cdot \frac{c}{4th l}, 4th \cdot \frac{c}{4th l}, 6th \cdot \frac{c}{4th l}, \dots

Die Länge I ist also so gewählt, dass die Resonanzfrequenzen in einem mit dem Mikrofon 106 messbaren Bereich liegen. Für die Bestimmung der Resonanzfrequenzen des Systems eignen sich beispielsweise folgende Methoden:

1. Bestimmung durch Betriebsmodalanalyse (operational modal analysis).
2. Bestimmung basierend auf Eigengeräuschfrequenzen des Fahrzeugs. Ist beispielsweise die Drehzahl des Motors des Fahrzeugs bekannt und ist das Motorgeräusch laut genug, dass es vom Mikrofon 106 erfasst wird, so kann mit einer geeigneten Methode die Anregungs- von der Übertragungsfunktion getrennt werden. Aus der Übertragungsfunktion können dann weitere, jedoch bekannte Resonanzfrequenzen herausgefiltert werden. Anschließend wird nach den ersten Referenzresonanzfrequenzen, die den verschmutzten Zustand der Resonanzkammer 108 repräsentieren, gesucht.
3. Bestimmung basierend auf künstlicher Intelligenz, beispielsweise mithilfe eines geeignet trainierten Machine-Learning-Algorithmus.

The length I is chosen so that the resonance frequencies in one with the microphone 106 measurable range. The following methods, for example, are suitable for determining the resonance frequencies of the system:

1. Determination by operational modal analysis.
2. Determination based on the vehicle's inherent noise frequencies. For example, if the engine speed of the vehicle is known and is the engine noise loud enough to hear from the microphone 106 is detected, the excitation function can be separated from the transfer function using a suitable method. Further, but known, resonance frequencies can then be filtered out of the transfer function. Then after the first reference resonance frequencies that indicate the contaminated state of the resonance chamber 108 represent, wanted.
3. Determination based on artificial intelligence, for example with the aid of a suitably trained machine learning algorithm.

4 zeigt ein Diagramm eines ersten Frequenzspektrums 400 mit Resonanzfrequenzen im nicht blockierten Zustand und eines zweiten, gestrichelt dargestellten Frequenzspektrums 402 mit Resonanzfrequenzen im blockierten Zustand eines Audiosensors gemäß einem Ausführungsbeispiel der Erfindung. Die Erkennung der Blockade erfolgt je nach Grad der Übereinstimmung der Frequenzspektren mit den jeweiligen hinterlegten Referenzspektren, die die Referenzresonanzfrequenzen für den verschmutzten bzw. nicht verschmutzten Zustand der Resonanzkammer enthalten. 4th shows a diagram of a first frequency spectrum 400 with resonance frequencies in the unblocked state and a second frequency spectrum shown in dashed lines 402 with resonance frequencies in the blocked state of an audio sensor according to an embodiment of the invention. The detection of the blockage takes place depending on the degree of correspondence between the frequency spectra and the respective stored reference spectra, which contain the reference resonance frequencies for the soiled or not soiled state of the resonance chamber.

5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Erkennen einer Blockade eines Audiosensors gemäß einem Ausführungsbeispiel der Erfindung. Das Verfahren 500 kann beispielsweise durch die anhand von 1 beschriebene Auswerteeinheit durchgeführt werden. Die Auswerteeinheit weist hierzu entsprechende Module auf, die beispielsweise Softwarekomponenten sein können. Die Softwarekomponenten werden etwa in dem Bordcomputer des Fahrzeugs ausgeführt. 5 shows a flow chart of a method 500 for detecting a blockage of an audio sensor according to an embodiment of the invention. The procedure 500 can, for example, by using 1 described evaluation unit can be carried out. The evaluation unit has corresponding modules for this purpose, which can be software components, for example. The software components are executed, for example, in the vehicle's on-board computer.

In einem Schritt 510 werden die von dem Mikrofon aufgenommenen Audiodaten in der Auswerteeinheit empfangen. In einem Schritt 520 wird aus den Audiodaten mindestens eine Resonanzfrequenz bestimmt. Diese Resonanzfrequenz wird in einem weiteren Schritt 530 zum einen mit mindestens einer ersten Referenzresonanzfrequenz, mit der die Resonanzkammer im verschmutzten Zustand resoniert, zum anderen mit mindestens einer von der ersten Referenzresonanzfrequenz verschiedenen zweiten Referenzresonanzfrequenz, mit der die Resonanzkammer im nicht verschmutzten Zustand resoniert, verglichen.In one step 510 the audio data recorded by the microphone are received in the evaluation unit. In one step 520 at least one resonance frequency is determined from the audio data. This resonance frequency is used in a further step 530 on the one hand with at least one first reference resonance frequency with which the resonance chamber resonates in the polluted state, on the other hand with at least one second reference resonance frequency different from the first reference resonance frequency with which the resonance chamber resonates in the non-polluted state.

Stimmt die Resonanzfrequenz zumindest größtenteils mit der ersten Referenzresonanzfrequenz überein, so wird in einem Schritt 540 die Blockade des Audiosensors erkannt.If the resonance frequency agrees at least for the most part with the first reference resonance frequency, then in one step 540 the blockage of the audio sensor detected.

Gemäß einem Ausführungsbeispiel wird im Schritt 520 aus den Audiodaten durch Fourier-Transformation ein Frequenzspektrum ermittelt, wie es beispielhaft in 4 gezeigt ist. Daraus werden Minima und/oder Maxima ermittelt und diese im Schritt 530 zum einen mit Minima und/oder Maxima eines ersten Referenzspektrums, das den verschmutzten Zustand der Resonanzkammer repräsentiert, zum anderen mit Minima und/oder Maxima eines zweiten Referenzspektrums, das den verschmutzten Zustand der Resonanzkammer repräsentiert, verglichen. Der Vergleich erfolgt beispielsweise, indem anhand geeigneter Korrelationsparameter eine jeweilige Korrelation zwischen dem Frequenzspektrum und den einzelnen Referenzspektren bestimmt wird. Als Merkmale für die Bestimmung der Korrelation eignen sich die jeweiligen Minima bzw. Maxima der Spektren. Die Ergebnisse dieser Korrelationsanalyse werden beispielsweise in Korrelationstabellen hinterlegt. Anschließend erfolgt basierend auf den Korrelationstabellen ein Korrelationsvergleich, um zu ermitteln, welches der beiden Referenzspektren stärker mit dem Frequenzspektrum aus den Audiodaten korreliert. Das jeweils stärker korrelierende Referenzspektrum wird dann als übereinstimmend mit dem Frequenzspektrum bestimmt. Wird also eine stärkere Korrelation zwischen dem ersten Referenzspektrum und dem Frequenzspektrum ermittelt, so wird der Audiosensor im Schritt 540 als blockiert erkannt.According to one embodiment, step 520 a frequency spectrum is determined from the audio data by Fourier transformation, as exemplified in 4th is shown. From this, minima and / or maxima are determined and these in step 530 on the one hand with minima and / or maxima of a first reference spectrum, which represents the soiled state of the resonance chamber, on the other hand with minima and / or maxima of a second reference spectrum, which represents the soiled state of the resonance chamber, compared. The comparison is made, for example, by using suitable correlation parameters to determine a respective correlation between the frequency spectrum and the individual reference spectra. The respective minima or maxima of the spectra are suitable as features for determining the correlation. The results of this correlation analysis are stored in correlation tables, for example. A correlation comparison then takes place based on the correlation tables in order to determine which of the two reference spectra correlates more strongly with the frequency spectrum from the audio data. The more strongly correlating reference spectrum is then determined to match the frequency spectrum. If a stronger correlation is determined between the first reference spectrum and the frequency spectrum, then the audio sensor is in step 540 recognized as blocked.

Es ist auch möglich, dass die Korrelationen mit einem Machine-Learning-Algorithmus bestimmt werden, in den die Audiodaten als Eingangsdaten eingegeben werden. Die Eingangsdaten können auch die bereits ermittelten Minima und/oder Maxima eines Frequenzspektrums der Audiodaten sein. Die Eingangsdaten des Machine-Learning-Algorithmus können auch die oben beschriebene Eingangsgröße umfassen, die eine Rauschanregung der Resonanzkammer unter den Betriebsbedingungen des Fahrzeugs repräsentiert. Beispiele für Maschine-Learning-Algorithmen sind Deep-Learning-CNN-Netze (CNN = convolutional neuronal network) oder Random-Forest-Algorithmen.It is also possible for the correlations to be determined using a machine learning algorithm into which the audio data is entered as input data. The input data can also be the already determined minima and / or maxima of a frequency spectrum of the audio data. The input data of the machine learning algorithm can also include the input variable described above, which represents a noise excitation of the resonance chamber under the operating conditions of the vehicle. Examples of machine learning algorithms are deep learning CNN networks (CNN = convolutional neural network) or random forest algorithms.

Ergänzend ist darauf hinzuweisen, dass „umfassend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.In addition, it should be pointed out that “comprehensive” does not exclude any other elements or steps and “one” or “one” does not exclude a large number. Furthermore, it should be pointed out that features or steps that have been described with reference to one of the above exemplary embodiments can also be used in combination with other features or steps of other exemplary embodiments described above. Reference signs in the claims are not to be regarded as a restriction.

BezugszeichenlisteList of reference symbols

100100: Fahrzeugvehicle
102102: FahrzeugsystemVehicle system
104104: AudiosensorAudio sensor
106106: Mikrofonmicrophone
108108: ResonanzkammerResonance chamber
110110: StoßfängerBumper
112112: AuswerteeinheitEvaluation unit
114114: BordcomputerBoard computer
116116: FunktionsmodulFunction module
118118: DeaktivierungssignalDeactivation signal
120120: WiedergabesignalPlayback signal
122122: NutzerUsers
124124: InnenlautsprecherIndoor speakers
200200: EingangsöffnungEntrance opening
202202: AusgangsöffnungExit opening
204204: SchutzmembranProtective membrane
400400: erstes Frequenzspektrumfirst frequency spectrum
402402: zweites Frequenzspektrumsecond frequency spectrum
500500: Verfahren zum Erkennen einer Blockade eines Audiosensors eines FahrzeugsMethod for detecting a blockage in an audio sensor of a vehicle
510510: Schritt des EmpfangensStep of receiving
520520: Schritt des BestimmensStep of determining
530530: Schritt des VergleichensStep of comparing
540540: Schritt des ErkennensStep of recognition

Claims

Method (500) for detecting a blockage of an audio sensor (104) of a vehicle (100), wherein the audio sensor (104) has a microphone (106) and a resonance chamber (108) with an inlet opening (200) and an outlet opening (202) for receiving of the microphone (106), the method (500) comprising: Receiving (510) audio data (111) generated by the microphone (106) in an evaluation unit (112) of the vehicle (100); Determining (520) one or more resonance frequencies from the audio data (111); Comparing (530) the one or more resonance frequencies with one or more first reference resonance frequencies with which the resonance chamber (108) resonates in a polluted state and one or more second reference resonance frequencies with which the resonance chamber (108) resonates in a non-polluted state; Recognizing (540) the blockage of the audio sensor (104) when the one or more resonance frequencies match the one or more first reference resonance frequencies.

Method (500) according to Claim 1 wherein a frequency spectrum (400, 402) is determined from the audio data (111), minima and / or maxima are determined from the frequency spectrum (400, 402) and the minima and / or maxima of the frequency spectrum (400, 402) with minima and / or maxima of a first reference spectrum which contains at least the first reference resonance frequencies and are compared with minima and / or maxima of a second reference spectrum which contains at least the second reference resonance frequencies.

Method (500) according to one of the preceding claims, wherein at least one first correlation parameter of a correlation of the resonance frequencies to the first reference resonance frequencies and at least one second correlation parameter of a correlation of the resonance frequencies to the second reference resonance frequencies are determined, wherein the blockage of the audio sensor (104) is detected by comparing the first correlation parameter with the second correlation parameter.

Method (500) according to Claim 2 and 3 , wherein the first correlation parameter indicates a correlation of the minima of the frequency spectrum (400, 402) to the minima of the first reference spectrum and / or a correlation of the maxima of the frequency spectrum to the maxima of the first reference spectrum and / or the second correlation parameter a correlation of the minima of the Frequency spectrum (400, 402) to the minima of the second reference spectrum and / or a correlation of the maxima of the frequency spectrum to the maxima of the second reference spectrum.

Method (500) according to Claim 3 or 4th wherein the blockage of the audio sensor (104) is detected when the first correlation parameter indicates a greater degree of correlation compared to the second correlation parameter.

Method (500) according to one of the preceding claims, wherein the audio data (111) was generated by the microphone (106) under operating conditions of the vehicle (100); wherein the resonance frequencies are determined based on an input variable which represents a noise excitation of the resonance chamber (108) under the operating conditions of the vehicle (100).

The method (500) according to any one of the preceding claims, wherein the resonance frequencies are determined with the aid of a machine learning algorithm that was trained with training data matched to the resonance chamber (108).

The method (500) according to any one of the preceding claims, wherein the resonance frequencies are determined based on one or more natural noise frequencies of the vehicle (100).

The method (500) according to any one of the preceding claims, wherein a functional module (116) of the vehicle (100) coupled to the audio sensor (104) is deactivated and / or a playback signal (120) is generated for acoustic and / or optical reproduction of a message to a user (122) when the blockage of the audio sensor (104) has been recognized.

Method (500) according to one of the preceding claims, wherein the audio sensor (104) is designed to record audio data (111) in an inaudible frequency range; wherein the resonance frequencies are determined in the inaudible frequency range.

Method (500) according to one of the preceding claims, wherein the audio sensor (104) has an air-permeable protective membrane (204) for keeping out dirt particles; wherein the protective membrane (204) covers the inlet opening (200) of the resonance chamber (108).

Computer program which, when executed on a processor, carries out the method (500) according to one of the preceding claims.

Computer-readable medium on which a computer program is based Claim 12 is stored.

A vehicle system (102) comprising: an audio sensor (104) having a microphone (106) and a resonance chamber (108) having an input opening (200) and an output opening (202) for receiving the microphone (106); an evaluation unit (112) which is designed to carry out the method (500) according to one of the Claims 1 to 11 perform.