DE102019204209A1

DE102019204209A1 - Method and system for determining a functional status of a microphone

Info

Publication number: DE102019204209A1
Application number: DE102019204209.0A
Authority: DE
Inventors: Olaf Schoenrock; Christoph Bayer; Wilhelm Christopher von Rosenberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2020-10-01

Abstract

Die Erfindung betrifft eine verbesserte Möglichkeit zum akustischen Erfassen eines Fahrzeugumfelds bzw. einer Fahrzeugaußenumgebung eines Fahrzeugs (100). Hierzu ist gemäß einem Fahrzeugsystem (110) an dem Fahrzeug (100) wenigstens ein Mikrofon (141) angeordnet, das dazu eingerichtet ist, in einem Audiosignal (142) eine Fahrzeugaußenumgebung akustisch zu erfassen. Ferner verfügt das Fahrzeug (100) über eine Datenverarbeitungseinrichtung (120), die dazu eingerichtet ist, einen Funktionsstatus des Mikrofons (141) durch einen Vergleich des Audiosignals (142) mit wenigstens einem Referenzaudiosignal (143) zu bestimmen. Ferner betrifft die Erfindung ein Verfahren und eine Vorrichtung zum Betrieb des Fahrzeugs (100), sowie ein Programmelement und ein computerlesbares Medium.

The invention relates to an improved possibility for acoustically detecting a vehicle environment or an external vehicle environment of a vehicle (100). For this purpose, according to a vehicle system (110), at least one microphone (141) is arranged on the vehicle (100), which microphone is set up to acoustically detect an external vehicle environment in an audio signal (142). The vehicle (100) also has a data processing device (120) which is set up to determine a functional status of the microphone (141) by comparing the audio signal (142) with at least one reference audio signal (143). The invention also relates to a method and a device for operating the vehicle (100), as well as a program element and a computer-readable medium.

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein System zum Bestimmen eines Funktionsstatus eines Mikrofons. Ferner betrifft die Erfindung ein Programmelement und ein computerlesbares Medium mit einem solchen Programmelement.The present invention relates to a method, a device and a system for determining a functional status of a microphone. The invention also relates to a program element and a computer-readable medium with such a program element.

Stand der TechnikState of the art

Während des Betriebs eines Fahrzeugs können durch einen Fahrzeugführer unterschiedliche Umgebungsgeräusche aus dem Fahrzeugumfeld wahrgenommen werden. Für die Fahrsicherheit sind dabei insbesondere Fahrgeräusche anderer Verkehrsteilnehmer, deren Hupsignale, Warnsignale bzw. Schallzeichen, wie z.B. Sondersignale von Einsatzfahrzeugen, und ähnliches von Bedeutung. Der Fahrzeugführer kann diese ohne Weiteres über sein Gehör wahrnehmen und häufig auch nach Wichtigkeit klassifizieren, sowie möglicherweise die Geräusch- oder Schallquelle ungefähr lokalisieren. Infolgedessen kann der Fahrzeugführer beispielsweise ein geeignetes Fahrmanöver durchführen.During the operation of a vehicle, a vehicle driver can perceive different ambient noises from the vehicle's surroundings. For driving safety, driving noises from other road users, their horn signals, warning signals or sound signals, such as e.g. Special signals from emergency vehicles and the like are important. The vehicle driver can easily perceive these with his hearing and often also classify them according to importance, and possibly localize the noise or sound source approximately. As a result, the vehicle driver can, for example, carry out a suitable driving maneuver.

Fahrassistenzsysteme bzw. Systeme, die ein zumindest teilweise automatisiertes Fahren ermöglichen, sind dagegen nicht ohne Weiteres in der Lage, Umgebungsgeräusche aus dem Fahrzeugumfeld überhaupt wahrzunehmen oder daraus geeignete Fahrmanöver abzuleiten. Daher kann insbesondere für den Betrieb eines solchen Fahrzeugs ein Wunsch nach einer verbesserten akustischen Erfassung einer Fahrzeugumgebung bzw. einer Fahrzeugaußenumgebung bestehen.Driver assistance systems or systems that enable at least partially automated driving, on the other hand, are not easily able to perceive ambient noises from the vehicle's surroundings or to derive suitable driving maneuvers from them. Therefore, in particular for the operation of such a vehicle, there may be a desire for improved acoustic detection of a vehicle environment or a vehicle external environment.

Offenbarung der ErfindungDisclosure of the invention

Ausführungsformen der Erfindung stellen ein verbessertes Verfahren und System zum Bestimmen eines Funktionsstatus eines Mikrofons gemäß den unabhängigen Ansprüchen zur Verfügung. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen, der Beschreibung sowie den begleitenden Figuren.Embodiments of the invention provide an improved method and system for determining a functional status of a microphone according to the independent claims. Advantageous further developments of the invention emerge from the dependent claims, the description and the accompanying figures.

Ein gemäß einem ersten Aspekt vorgeschlagenes Verfahren zum Bestimmen eines Funktionsstatus eines Mikrofons eignet sich insbesondere für den Betrieb eines zumindest teilweise automatisiert fahrenden Fahrzeugs. Dabei kann das Verfahren zumindest einen Teil einer Fahrfunktion des Fahrzeugs unterstützen, also z.B. Teil eines Fahrassistenzsystems sein. Das Verfahren kann computergestützt durch z.B. ein elektronisches Steuergerät oder einen Steuergeräteverbund des Fahrzeugs durchgeführt werden, wobei das Steuergerät beispielsweise wenigstens einen Prozessor, einen Speicher für Programmanweisungen und/oder Daten, eine Datenschnittstelle usw. aufweisen kann.A method proposed according to a first aspect for determining a functional status of a microphone is particularly suitable for operating an at least partially automated vehicle. The method can support at least part of a driving function of the vehicle, e.g. Be part of a driver assistance system. The method can be computer-assisted by e.g. an electronic control device or a control device network of the vehicle can be carried out, wherein the control device can have at least one processor, a memory for program instructions and / or data, a data interface, etc., for example.

Das Verfahren sieht die folgenden Schritte vor:

- Zumindest zeitweise wird eine Fahrzeugaußenumgebung in einem Audiosignal durch wenigstens ein Mikrofon akustisch erfasst. Das Mikrofon kann in einem Nassbereich des Fahrzeugs angeordnet sein und in Richtung der Fahrzeugaußenumgebung ausgerichtet sein.
- Das Audiosignal wird durch eine Datenverarbeitungseinrichtung erfasst bzw. dieser zugeführt. Hierzu kann das Audiosignal in Audiodaten enthalten sein. Das Audiosignal kann kontinuierlich, bei Vorliegen bestimmter Diagnosebedingungen usw. erfasst bzw. zugeführt werden.
- Ein Funktionsstatus des Mikrofons wird durch einen Vergleich des Audiosignals mit wenigstens einem Referenzaudiosignal durch die Datenverarbeitungseinrichtung bestimmt. Das Referenzaudiosignal kann ein bekanntes, also vorbestimmtes akustisches Signal sein, und beispielsweise ein oder mehrere Geräusche, ein oder mehrere Töne usw. umfassen.

The procedure involves the following steps:

At least at times, the outside of the vehicle is acoustically recorded in an audio signal by at least one microphone. The microphone can be arranged in a wet area of the vehicle and oriented in the direction of the outside of the vehicle.
The audio signal is recorded by a data processing device or fed to it. For this purpose, the audio signal can be contained in audio data. The audio signal can be recorded or supplied continuously if certain diagnostic conditions etc. are present.
A functional status of the microphone is determined by the data processing device by comparing the audio signal with at least one reference audio signal. The reference audio signal can be a known, that is, a predetermined acoustic signal, and for example include one or more noises, one or more tones, etc.

Das Verfahren kann gleich mehrere Vorteile realisieren. Beispielsweise kann die akustische Erfassung der Fahrzeugaußenumgebung zur Plausibilisierung weiterer Erfassungseinrichtungen, wie etwa einer Bilderfassungseinrichtung, LIDAR-Daten usw. herangezogen werden. Dies kann besonders zuverlässig erfolgen, da der Funktionsstatus des Mikrofons, der beispielsweise eine fehlerfreie Funktion, eine teilweise gestörte Funktion oder eine Funktionsunfähigkeit des Mikrofons anzeigen kann, vor und/oder während des Betriebs des Fahrzeugs überwacht werden kann. So können beispielsweise die Funktion störende Verunreinigungen, wie etwa Wasser, Schnee, Eis, Matsch usw., erkannt werden. Bei einer festgestellten gestörten Funktion des Mikrofons kann eine Warnung oder ähnliches an einen Betreiber des Fahrzeugs ergehen. Es ist auch möglich, dass bei einer festgestellten gestörten Funktion des Mikrofons für bestimmte oder sämtliche Fahrfunktionen des Fahrzeugs eine Ersatzmaßnahme veranlasst wird, die das Fahrzeug beispielsweise in einen sicheren Zustand bringt.The process can realize several advantages at the same time. For example, the acoustic detection of the outside of the vehicle can be used to check the plausibility of further detection devices, such as an image detection device, LIDAR data, etc. This can take place particularly reliably, since the functional status of the microphone, which can indicate, for example, an error-free function, a partially disturbed function or an inoperability of the microphone, can be monitored before and / or during operation of the vehicle. In this way, for example, impurities such as water, snow, ice, mud, etc., which interfere with the function can be detected. If a malfunction of the microphone is detected, a warning or the like can be sent to an operator of the vehicle. It is also possible that if a malfunction of the microphone is detected for certain or all driving functions of the vehicle, a substitute measure is initiated that brings the vehicle into a safe state, for example.

In einer vorteilhaften Weiterbildung des Verfahrens kann der Funktionsstatus des Mikrofons als negativ bestimmt werden, wenn eine Abweichung von wenigstens einem Charakteristikum des Audiosignals gegenüber dem Referenzaudiosignal einen Schwellwert erreicht und/oder übersteigt. Unter einem Charakteristikum kann in diesem Zusammenhang z.B. eine Signalstärke, Amplitude, ein Frequenzgang, eine Phase oder ähnliches des Audiosignals bzw. Referenzaudiosignals verstanden werden. Im Frequenzbereich des Audio- bzw. Referenzaudiosignals kann das Charakteristikum eine Spektralkomponenten sein. Unter einem negativen Funktionsstatus des Mikrofons kann insbesondere eine zumindest teilweise gestörte Funktion, die keine zuverlässige akustische Erfassung der Fahrzeugaußenumgebung bzw. Audioerkennung (mehr) erlaubt, oder ein Komplettausfall des Mikrofons verstanden werden.In an advantageous development of the method, the functional status of the microphone can be determined to be negative if a deviation of at least one characteristic of the audio signal compared to the reference audio signal reaches and / or exceeds a threshold value. In this context, a characteristic can be understood to mean, for example, a signal strength, amplitude, frequency response, phase or the like of the audio signal or reference audio signal will. In the frequency range of the audio or reference audio signal, the characteristic can be a spectral component. A negative functional status of the microphone can be understood to mean, in particular, an at least partially disturbed function that (no longer) allows reliable acoustic detection of the vehicle exterior environment or audio detection, or a complete failure of the microphone.

In einer vorteilhaften Weiterbildung des Verfahrens kann ein Hinweis auf eine Funktionsstörung durch beispielsweise eine Dämpfung des Referenzaudiosignals, eine Änderung in der Signalcharakteristik, eine Änderung der Mikrofonkennlinie, eine Änderung der Wellenlänge mit z.B. einer Frequenzverschiebung angedeutet sein.In an advantageous further development of the method, an indication of a malfunction can be provided by, for example, attenuation of the reference audio signal, a change in the signal characteristic, a change in the microphone characteristic, a change in the wavelength with e.g. a frequency shift be indicated.

Gemäß einer anderen Weiterbildung des Verfahrens kann bei dem Vergleich ein Vorhandensein eines Charakteristikums des Referenzaudiosignals in dem Audiosignal geprüft werden. In anderen Worten kann in dem Audiosignal nach dem Referenzaudiosignal gesucht und auf eine Abweichung in dessen Charakteristik geprüft werden. Dabei ist eine Soll-Charakteristik des Referenzaudiosignals bekannt und wird mit dem einer Ist-Charakteristik des in dem Audiosignal erfassten bzw. enthaltenen Referenzaudiosignals verglichen. Dies kann mit vergleichsweise geringem Rechenaufwand erfolgen. Beispielsweise kann ein geeignetes Filter verwendet werden, das für diesen Einsatzzweck eine niedrige Ordnung haben kann und mit vergleichsweise geringem Rechenaufwand verarbeitet werden kann.According to another development of the method, the presence of a characteristic of the reference audio signal in the audio signal can be checked during the comparison. In other words, the audio signal can be searched for the reference audio signal and checked for a deviation in its characteristics. A nominal characteristic of the reference audio signal is known and is compared with that of an actual characteristic of the reference audio signal detected or contained in the audio signal. This can be done with comparatively little computing effort. For example, a suitable filter can be used which can have a low order for this purpose and which can be processed with comparatively little computing effort.

In einer vorteilhaften Weiterbildung des Verfahrens können das Audiosignal und das Referenzaudiosignal im Zeitbereich miteinander verglichen werden. Hierdurch muss das Audiosignal vorteilhaft nicht in den Frequenzbereich transformiert werden und kann direkt verarbeitet werden.In an advantageous development of the method, the audio signal and the reference audio signal can be compared with one another in the time domain. As a result, the audio signal does not advantageously have to be transformed into the frequency range and can be processed directly.

In einer alternativen Weiterbildung des Verfahrens können das Audiosignal und das Referenzaudiosignal im Frequenzbereich miteinander verglichen werden. Hierzu kann das Referenzaudiosignal vorab aufgenommen bzw. aufgezeichnet werden und z.B. mittels einer Fourier-Transformation, insbesondere Fast-Fourier-Transformation (FFT), Wavelets oder ähnlichem in den Frequenzbereich überführt werden. Das Referenzaudiosignal kann in spektraler Form als Referenz in z.B. der Datenverarbeitungseinrichtung bzw. dem oben erwähnten Speicher hinterlegt werden. Die FFT kann sehr zügig durchgeführt werden, wobei die Signale im Frequenzbereich besonders gut miteinander verglichen werden können.In an alternative development of the method, the audio signal and the reference audio signal can be compared with one another in the frequency domain. For this purpose, the reference audio signal can be recorded or recorded in advance and e.g. be transferred into the frequency domain by means of a Fourier transformation, in particular Fast Fourier Transformation (FFT), wavelets or the like. The reference audio signal can be used in spectral form as a reference in e.g. the data processing device or the above-mentioned memory. The FFT can be carried out very quickly, and the signals in the frequency range can be compared particularly well with one another.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens kann der Vergleich des Audiosignals und des Referenzaudiosignals durch ein Klassifikationsverfahren bzw. einen Klassifikator durchgeführt werden. Die Klassifikation kann eine Merkmalsextraktion, eine Bestimmung eines Merkmalsvektors oder ähnliches umfassen. Das Klassifikationsverfahren kann auch durch ein entsprechend trainiertes künstliches neuronales Netz (KNN) durchgeführt werden, das auch mehrschichtig und/oder faltend ausgeführt sein kann.According to a further advantageous development of the method, the comparison of the audio signal and the reference audio signal can be carried out using a classification method or a classifier. The classification can include a feature extraction, a determination of a feature vector or the like. The classification method can also be carried out by a suitably trained artificial neural network (ANN), which can also be implemented in multiple layers and / or in a folding manner.

Eine andere Weiterbildung des Verfahrens sieht vor, dass der Vergleich des Audiosignals und des Referenzaudiosignals durch einen kombinierten Ansatz aus geeignetem Filter und Klassifikationsverfahren und/oder KNN durchgeführt wird.Another development of the method provides that the comparison of the audio signal and the reference audio signal is carried out using a combined approach of a suitable filter and classification method and / or ANN.

Gemäß einer Weiterbildung des Verfahrens kann das Referenzaudiosignal aus einer definierten Akustikquelle der Fahrzeugaußenumgebung erhalten werden. Dies kann beispielsweise ein Hupsignal, ein Sondersignal eines Einsatzfahrzeugs oder ähnliches sein. Dies ermöglicht eine weitgehend passive Wahrnehmung des Referenzaudiosignals, ohne dass dies aktiv erzeugt werden muss.According to a further development of the method, the reference audio signal can be obtained from a defined acoustic source of the vehicle exterior. This can be, for example, a horn signal, a special signal from an emergency vehicle or the like. This enables a largely passive perception of the reference audio signal without this having to be actively generated.

In einer anderen vorteilhaften Weiterbildung des Verfahrens kann das Referenzaudiosignal zumindest teilweise durch eine fahrzeugeigene Akustikquelle erzeugt werden. Die Akustikquelle kann dabei passiv ausgestaltet sein und z.B. Fahrgeräusche des Fahrzeugs, wie etwa Abrollgeräusche, Fahrtwindgeräusche, oder Betriebsgeräusche einer Fahrzeugkomponente, Geräusche beim Öffnen oder Schließen einer Fahrzeugtür, Geräusche beim Verriegeln oder Entriegeln einer Fahrzeugtür oder Ähnliches, umfassen.In another advantageous development of the method, the reference audio signal can be generated at least partially by a vehicle's own acoustic source. The acoustic source can be passive and e.g. Driving noises of the vehicle, such as rolling noises, wind noises, or operating noises of a vehicle component, noises when opening or closing a vehicle door, noises when locking or unlocking a vehicle door or the like.

Vorteilhaft werden dadurch als Referenzaudiosignal gut definierte, breitbandige Geräusche bereitgestellt. Die fahrzeugeigene Akustikquelle kann aber auch zur Erzeugung eines Referenztons oder einer Referenztonfolge aktiv ansteuerbar sein. Beispielsweise kann ein Lautsprecher des Fahrzeugs, der z.B. der Kommunikation mit der Fahrzeugaußenumgebung, insbesondere mit Passanten, dienen kann, zum Erzeugen eines Referenztons angesteuert werden. Oder das Fahrzeug kann zwei oder mehr Mikrofone aufweisen, von denen wenigstens eines zum Erzeugen eines Referenztons angesteuert werden kann.Well-defined, broadband noises are advantageously provided as reference audio signals. The vehicle's own acoustic source can, however, also be actively controllable to generate a reference tone or a reference tone sequence. For example, a loudspeaker of the vehicle, e.g. the communication with the outside of the vehicle, in particular with passers-by, can be controlled to generate a reference tone. Or the vehicle can have two or more microphones, at least one of which can be controlled to generate a reference tone.

Gemäß einer Weiterbildung können zwei oder mehr unterschiedliche Referenzaudiosignale zum Überprüfen des Funktionsstatus des Mikrofons verwendet werden. Beispielsweise kann das Audiosignal auf das Vorhandensein und/oder die Qualität der zwei oder mehr Referenzaudiosignale geprüft werden. Dies kann auch zu unterschiedlichen Zeitpunkten erfolgen, so dass der Funktionsstatus zuverlässiger und ggf. auch häufiger überprüft werden kann.According to one development, two or more different reference audio signals can be used to check the functional status of the microphone. For example, the audio signal can be checked for the presence and / or the quality of the two or more reference audio signals. This can also take place at different times so that the functional status can be checked more reliably and, if necessary, more frequently.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Fahrzeug eine Mehrzahl von Mikrofonen aufweisen kann, deren Funktionsstatus einzeln bestimmt werden kann, und ein einzelnes Mikrofon mit negativ bestimmtem Funktionsstatus für den Betrieb des Fahrzeugs zumindest geringer gewichtet wird. So kann bei einer festgestellten akustischen Veränderung eines ersten Mikrofons eine Mindergewichtung der damit erfassten Audiosignale oder eine Deaktivierung des Mikrofons erfolgen. Ein zweites, drittes usw. Mikrofon kann dagegen dann weiter berücksichtigt oder entsprechend stärker gewichtet werden. Wenn der Funktionsstatus von wenigstens einem Mikrofon gestört ist, kann für wenigstens eine Fahrfunktion des Fahrzeugs eine Ersatzmaßnahme angesteuert werden. Beispielsweise kann das Fahrzeug in einen sicheren Zustand versetzt werden.Another advantageous development of the method provides that the vehicle can have a plurality of microphones, the functional status of which can be determined individually, and a single microphone with a negatively determined functional status for the operation of the vehicle is weighted at least less. Thus, if an acoustic change in a first microphone is detected, the audio signals detected with it can be weighted less or the microphone can be deactivated. A second, third etc. microphone, on the other hand, can then be further taken into account or correspondingly more heavily weighted. If the functional status of at least one microphone is disturbed, a substitute measure can be triggered for at least one driving function of the vehicle. For example, the vehicle can be put into a safe state.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass der negativ ermittelte Funktionsstatus des Mikrofons an wenigstens eine höherrangige Einrichtung des Fahrzeugs signalisiert wird. Dadurch können auch nachgelagerte Funktionen des Fahrzeugs von der Kenntnis des negativen Funktionszustands des Mikrofons profitieren und dadurch geeignete Schritte durchführen.Another advantageous development of the method provides that the negative determined functional status of the microphone is signaled to at least one higher-ranking device of the vehicle. As a result, downstream functions of the vehicle can also benefit from the knowledge of the negative functional state of the microphone and thus carry out suitable steps.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass ein verminderter Funktionsstatus des Mikrofons mittels einer Kompensationseinrichtung algorithmisch kompensiert wird. Vorteilhaft kann dadurch ein ursprünglicher Funktionszustand des Mikrofons weitgehend erhalten werden.Another advantageous development of the method provides that a reduced functional status of the microphone is compensated algorithmically by means of a compensation device. In this way, an original functional state of the microphone can advantageously be largely retained.

Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass bei einem verminderten Funktionsstatus des Mikrofons das Mikrofon gereinigt wird. Vorteilhaft kann auch mit dieser Maßnahme ein ursprünglicher Funktionszustand des Mikrofons weitgehend erhalten bzw. wiederhergestellt werden.Another advantageous development of the method provides that the microphone is cleaned when the functional status of the microphone is reduced. With this measure, too, an original functional state of the microphone can advantageously be largely retained or restored.

Die Erfindung bezieht sich gemäß einem zweiten Aspekt auch auf eine Vorrichtung zum Bestimmen eines Funktionsstatus eines Mikrofons. Die Vorrichtung weist eine Datenverarbeitungseinrichtung auf und kann sich insbesondere für den Betrieb eines zumindest teilweise automatisiert fahrenden Fahrzeugs eignen. Bei der Datenverarbeitungseinrichtung kann es sich z.B. um ein elektronisches Steuergerät oder einen Steuergeräteverbund des Fahrzeugs handeln, wobei die Datenverarbeitungseinrichtung beispielsweise wenigstens einen Prozessor, einen Speicher für Programmanweisungen und/oder Daten, eine Datenschnittstelle usw. aufweisen kann. Die Datenverarbeitungseinrichtung ist dazu eingerichtet, ein Audiosignal, in dem eine Fahrzeugaußenumgebung durch wenigstens ein Mikrofon erfasst ist, zu erhalten und einen Funktionsstatus des Mikrofons durch einen Vergleich des Audiosignals mit wenigstens einem Referenzaudiosignal zu bestimmen.According to a second aspect, the invention also relates to a device for determining a functional status of a microphone. The device has a data processing device and can in particular be suitable for operating an at least partially automated vehicle. The data processing device can e.g. be an electronic control device or a control device network of the vehicle, wherein the data processing device can for example have at least one processor, a memory for program instructions and / or data, a data interface, etc. The data processing device is set up to receive an audio signal, in which an external vehicle environment is detected by at least one microphone, and to determine a functional status of the microphone by comparing the audio signal with at least one reference audio signal.

Die Erfindung bezieht sich gemäß einem dritten Aspekt auch auf ein Fahrzeugsystem, das insbesondere mit dem vorstehend beschriebenen Verfahren in einer oder mehreren Ausführungsvarianten betrieben werden kann. Das Fahrzeugsystem kann in einem zumindest teilweise automatisiert fahrenden Fahrzeug vorgesehen sein. Dabei kann das Verfahren zumindest einen Teil einer Fahrfunktion des Fahrzeugs unterstützen, also z.B. Teil eines Fahrassistenzsystems sein. Das Fahrzeugsystem kann computergestützt durch z.B. ein elektronisches Steuergerät oder einen Steuergeräteverbund des Fahrzeugs implementiert sein, wobei das Steuergerät beispielsweise wenigstens einen Prozessor, einen Speicher für Programmanweisungen und/oder Daten, eine Datenschnittstelle usw. aufweisen kann.According to a third aspect, the invention also relates to a vehicle system which can be operated in one or more design variants in particular with the method described above. The vehicle system can be provided in an at least partially automated driving vehicle. The method can support at least part of a driving function of the vehicle, e.g. Be part of a driver assistance system. The vehicle system can be computerized by e.g. an electronic control device or a control device network of the vehicle can be implemented, wherein the control device can have at least one processor, a memory for program instructions and / or data, a data interface, etc., for example.

Das Fahrzeugsystem weist wenigstens ein Mikrofon auf, das dazu eingerichtet ist, in einem Audiosignal eine Fahrzeugaußenumgebung akustisch zu erfassen, und einer Datenverarbeitungseinrichtung, die dazu eingerichtet ist, einen Funktionsstatus des Mikrofons durch einen Vergleich des Audiosignals mit wenigstens einem Referenzaudiosignal zu bestimmen.The vehicle system has at least one microphone which is set up to acoustically detect an outside vehicle environment in an audio signal, and a data processing device which is set up to determine a functional status of the microphone by comparing the audio signal with at least one reference audio signal.

Gemäß einem vierten Aspekt bezieht sich die Erfindung auf ein Programmelement bzw. ein Computerprogramm zum Betrieb eines Fahrzeugs, das, wenn es von einem Prozessor einer Datenverarbeitungseinrichtung ausgeführt wird, dazu eingerichtet ist, ein Verfahren gemäß dem ersten Aspekt durchzuführen.According to a fourth aspect, the invention relates to a program element or a computer program for operating a vehicle which, when it is executed by a processor of a data processing device, is set up to carry out a method according to the first aspect.

Ein fünfter Aspekt der Erfindung bezieht sich auf ein computerlesbares Speichermedium, mit einem Computerprogramm gemäß dem vierten Aspekt.A fifth aspect of the invention relates to a computer-readable storage medium with a computer program according to the fourth aspect.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are shown in more detail below together with the description of the preferred exemplary embodiments of the invention with reference to figures.

Kurze Beschreibung der FigurenBrief description of the figures

Im Folgenden werden vorteilhafte Ausführungsbeispiele der Erfindung mit Bezug auf die begleitenden Figuren detailliert beschrieben. Es zeigen:

1 ein Fahrzeug mit einem Fahrzeugsystem, das eine Prüfung eines Funktionsstatus eines Mikrofons des Fahrzeugs ermöglicht,
2 ein Blockdiagramm eines Fahrzeugsystems, das eine Prüfung eines Funktionsstatus eines Mikrofons des Fahrzeugs ermöglicht, gemäß einer Ausführungsform,
3 ein Blockdiagramm eines Fahrzeugsystems, das eine Prüfung eines Funktionsstatus eines Mikrofons des Fahrzeugs ermöglicht, gemäß einer anderen Ausführungsform,
4 ein Blockdiagramm eines Fahrzeugsystems, das eine Prüfung eines Funktionsstatus eines Mikrofons des Fahrzeugs ermöglicht, gemäß einer anderen Ausführungsform, und
5 ein Flussdiagramm eines Verfahrens zum Betrieb eines Fahrzeugs, das eine Prüfung eines Funktionsstatus eines Mikrofons des Fahrzeugs ermöglicht.

Advantageous exemplary embodiments of the invention are described in detail below with reference to the accompanying figures. Show it:

1 a vehicle with a vehicle system that enables a functional status of a microphone of the vehicle to be checked,
2 a block diagram of a vehicle system that enables a functional status of a microphone of the vehicle to be checked, according to an embodiment,
3 a block diagram of a vehicle system that enables a functional status of a microphone of the vehicle to be checked, according to another embodiment,
4th a block diagram of a vehicle system that enables a functional status of a microphone of the vehicle to be checked, according to another embodiment;
5 a flowchart of a method for operating a vehicle that enables a functional status of a microphone of the vehicle to be checked.

Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. In den Figuren sind gleiche, gleichwirkende oder ähnliche Elemente durchgängig mit gleichen Bezugszeichen versehen.The figures are only schematic and not true to scale. In the figures, elements that are the same, have the same effect or similar are provided with the same reference symbols throughout.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine Draufsicht auf ein Fahrzeug 100, bei dem es sich hier exemplarisch um ein zumindest teilweise automatisiert fahrendes Kraftfahrzeug handelt. Dementsprechend verfügt das Fahrzeug 100 über (nicht näher bezeichnete) Aktoren und einen Fahrzeugantrieb, die zur automatisierten Fahrsteuerung, beispielsweise zum Beschleunigen, Bremsen, Lenken usw., des Fahrzeugs 100 elektronisch angesteuert werden können. 1 shows a plan view of a vehicle 100 , which is an example of an at least partially automated motor vehicle. The vehicle has accordingly 100 Via (unspecified) actuators and a vehicle drive that are used for automated driving control, for example for accelerating, braking, steering, etc., of the vehicle 100 can be controlled electronically.

Das Fahrzeug 100 verfügt ferner über ein Fahrzeugsystem 110, beispielsweise in Form eines Fahrassistenzsystems, das eine Datenverarbeitungsvorrichtung 120, beispielsweise in Form eines elektronischen Steuergeräts, zur Ansteuerung der Aktoren und des Fahrzeugantriebs, mehrere damit zusammenwirkende, weitere Sensoren 130, wie etwa optische Sensoren, Ultraschall-Sensoren, LIDAR usw., und eine ebenfalls damit zusammenwirkende Akustikerfassungseinrichtung 140 zur Erfassung von Geräuschen, Tönen oder ähnlichem einer im Fahrzeugumfeld, d.h. in einer Fahrzeugaußenumgebung, angeordneten Akustikquelle 150 aufweist. Bei der Akustikquelle 150 kann es sich beispielsweise um einen anderen Verkehrsteilnehmer oder ähnliches handeln.The vehicle 100 also has a vehicle system 110 , for example in the form of a driver assistance system that has a data processing device 120 , for example in the form of an electronic control unit, to control the actuators and the vehicle drive, several additional sensors that interact with them 130 , such as optical sensors, ultrasonic sensors, LIDAR, etc., and an acoustic detection device that also interacts therewith 140 for the detection of noises, tones or the like of an acoustic source arranged in the vehicle environment, ie in the external environment of the vehicle 150 having. At the acoustic source 150 it can be, for example, another road user or the like.

Die Datenverarbeitungseinrichtung 120 verfügt über einen Prozessor 121 und einen Speicher 122 zum Speichern von Programmanweisungen zum Betrieb des Fahrzeugs 100. Bei den optischen Sensoren 130 handelt es sich hier exemplarisch um Kameras, die z.B. den Bereich vor sowie hinter dem Fahrzeug 100 optisch erfassen und diese Erfassungsdaten der Datenverarbeitungseinrichtung 120 zuführen, die so das Fahrzeug 100 durch das Fahrzeugumfeld, also beispielsweise den Straßenverkehr steuern kann.The data processing device 120 has a processor 121 and a memory 122 for storing program instructions for operating the vehicle 100 . With the optical sensors 130 This is exemplified by cameras, for example, the area in front of and behind the vehicle 100 record optically and this acquisition data of the data processing device 120 feed that so the vehicle 100 through the vehicle environment, for example, can control road traffic.

Die Akustikerfassungseinrichtung 140 weist wenigstens ein Mikrofon 141, vorzugsweise eine Mehrzahl von Mikrofonen 141 auf. In einigen Ausführungsbeispielen sind die Mikrofone 141 gegebenenfalls nach außen, insbesondere in eine vom Fahrzeug 100 wegweisende Richtung ausgerichtet. Hier sind, lediglich exemplarisch, mehrere unterschiedliche Typen von Mikrofonen 141 zur Erfassung verschiedener Frequenzbereiche vorgesehen. In diesem Ausführungsbeispiel sind die Mikrofone 141 dazu eingerichtet, akustische Signale in einem exemplarischen Frequenzbereich von etwa 20 Hz bis etwa 20.000 Hz zu erfassen, was in etwa dem durchschnittlichen menschlichen Hörbereich entspricht. Der Frequenzbereich lässt sich aber auch erweitern, um z.B. akustische Marker an Straßenkreuzungen oder ähnliches außerhalb des menschlichen Hörbereichs erkennen zu können.The acoustic detection device 140 has at least one microphone 141 , preferably a plurality of microphones 141 on. In some embodiments the are microphones 141 possibly to the outside, especially in one of the vehicle 100 Oriented towards a pioneering direction. There are several different types of microphones here, purely by way of example 141 intended for recording different frequency ranges. In this embodiment the microphones are 141 set up to detect acoustic signals in an exemplary frequency range of approximately 20 Hz to approximately 20,000 Hz, which corresponds approximately to the average human hearing range. The frequency range can also be expanded, for example, to be able to recognize acoustic markers at crossroads or the like outside the human hearing range.

Die Akustikerfassungseinrichtung 140 ist über eine Datenschnittstelle (nicht dargestellt) mit der Datenverarbeitungseinrichtung 120 gekoppelt, so dass ein jeweiliges von den Mikrofonen 141 erfasstes Audiosignal 142 der Datenverarbeitungseinrichtung 120 zuführbar oder dort verarbeitbar ist. Das Verarbeiten des Audiosignals 142 kann eine Klassifikation, Erkennung oder ähnliches von den von der Akustikquelle 150 generierten bzw. abgegebenen Geräuschen, Tönen usw. sowie eine Berücksichtigung eines Verarbeitungsergebnisses bei der Fahrsteuerung des Fahrzeugs 100 umfassen.The acoustic detection device 140 is via a data interface (not shown) with the data processing device 120 coupled so that a respective one of the microphones 141 captured audio signal 142 the data processing device 120 can be fed or processed there. Processing the audio signal 142 can be a classification, recognition or the like of the from the acoustic source 150 generated or emitted noises, tones, etc. as well as a processing result in the driving control of the vehicle 100 include.

Anhand der 2 bis 4, die drei Ausführungsformen des Fahrzeugsystems 110 in jeweils einem Blockdiagramm zeigen, soll im Folgenden ein beispielhafter Betrieb des Fahrzeugsystems 110 bzw. des Fahrzeugs 100 erläutert werden.Based on 2 to 4th , the three embodiments of the vehicle system 110 each show a block diagram, the following is an exemplary operation of the vehicle system 110 or the vehicle 100 explained.

Die Mikrofone 141 sind außen am Fahrzeug 100, insbesondere in dessen Nassbereich, angeordnet und können deshalb durch ungünstige Umweltbedingungen negativ beeinträchtigt, in ihrer Wirkung degradiert oder gar beschädigt werden. Deshalb sieht das Fahrzeugsystem 110 eine zumindest zeitweise, z.B. aber auch kontinuierliche oder getaktete, Überwachung eines Funktionsstatus der Mikrofone 141 vor. Hiermit können z.B. Verunreinigungen, Beschädigungen oder anderweitige Beeinträchtigungen bzw. Degradationen der Mikrofone 141 erkannt werden.The microphones 141 are on the outside of the vehicle 100 , especially in its wet area, and can therefore be negatively affected by unfavorable environmental conditions, degraded in their effect or even damaged. That is why the vehicle system sees 110 an at least intermittent, but for example also continuous or clocked, monitoring of a functional status of the microphones 141 in front. This can, for example, prevent contamination, damage or other impairments or degradation of the microphones 141 be recognized.

Wie zunächst im Blockdiagramm von 2 erkennbar, erfasst zumindest eines der Mikrofone 141 die Fahrzeugumgebung akustisch, was hier z.B. einer Erfassung der Geräusche, Töne oder ähnlichem der Akustikquelle 150 entspricht. Diese werden als das Audiosignal 142 der Datenverarbeitungseinrichtung 120 zugeführt. Entweder kontinuierlich oder getriggert durch eine oder mehrere definierbare Diagnosestartbedingungen, z.B. bei Herstellen der Fahrbereitschaft des Fahrzeugs 100, also noch im Stillstand vor Fahrantritt, durch Betätigung eines Türkontaktschalters, oder ähnliches, überprüft die Datenverarbeitungseinrichtung 120 den Funktionsstatus des Mikrofons 141, indem ein definiertes Referenzaudiosignal 143 mit dem Audiosignal 142 verglichen wird.As in the block diagram of 2 recognizable, detected at least one of the microphones 141 the vehicle environment acoustically, which here is for example a detection of the noises, tones or the like of the acoustic source 150 corresponds. These are called the audio signal 142 the data processing device 120 fed. Either continuously or triggered by one or more definable diagnostic start conditions, for example when the vehicle is ready to drive 100 , so still in The data processing device checks the standstill before the start of the journey, by actuating a door contact switch or the like 120 the functional status of the microphone 141 by adding a defined reference audio signal 143 with the audio signal 142 is compared.

Hierzu werden vorab ein oder mehrere Referenztöne oder Referenzgeräusche definiert, unter geeigneten Bedingungen von einer entsprechenden, weiteren Akustikquelle 160 generiert, simuliert und/oder aufgezeichnet und als Referenz in der Datenverarbeitungseinrichtung 120, beispielsweise im Speicher 122, hinterlegt oder der Datenverarbeitungseinrichtung 120 situativ bereitgestellt. Je nach Rechenleistung des Prozessors 121, Anwendungsfall usw., kann das so erzeugte Referenzaudiosignal 143 im Zeitbereich, also als Zeitsignal, oder im Frequenzbereich, also als Spektralsignal, vorliegen. Werden das Audiosignal 142 und das Referenzaudiosignal 143 im Frequenzbereich betrachtet, werden beide in den Frequenzbereich überführt, beispielsweise durch eine Fourier Transformation, insbesondere eine Fast-Fourier Transformation (FFT). Innerhalb des aufgenommenen Frequenzspektrums des Audiosignals 142 wird dann nach den Frequenzspektren des Referenzaudiosignals 143 gesucht.For this purpose, one or more reference tones or reference noises are defined in advance, under suitable conditions from a corresponding, further acoustic source 160 generated, simulated and / or recorded and as a reference in the data processing device 120 , for example in memory 122 , stored or the data processing device 120 provided according to the situation. Depending on the processing power of the processor 121 , Application, etc., the reference audio signal generated in this way 143 in the time domain, i.e. as a time signal, or in the frequency domain, i.e. as a spectral signal. Will the audio signal 142 and the reference audio signal 143 Considered in the frequency domain, both are converted into the frequency domain, for example by a Fourier transformation, in particular a Fast Fourier Transformation (FFT). Within the recorded frequency spectrum of the audio signal 142 is then according to the frequency spectra of the reference audio signal 143 searched.

Für den Vergleich zwischen dem Audiosignal 142 und dem Referenzaudiosignal 143 werden zumindest Anteile des Referenzaudiosignals 143 im Audiosignal 142 gesucht und auf eine Abweichung in zumindest einem Charakteristikum des Signals geprüft. Hierzu verfügt die Datenverarbeitungseinrichtung 120 beispielsweise über ein oder mehrere zur Audioverarbeitung geeignete Filter, einen Audio-Klassifikator und/oder ein künstliches neuronales Netz (KNN), das hierauf trainiert ist. Wenn eine Abweichung zwischen dem in der Datenverarbeitungseinrichtung 120 als Referenz hinterlegten und dem über das Mikrofon 141 erfassten Referenzaudiosignal 143 erkannt wird, kann das damit überprüfte Mikrofon 141 entsprechend gekennzeichnet werden. Der Vergleich des Audiosignals 142 mit dem Referenzaudiosignal 143 kann zum Beispiel mit Hilfe eines Klassifikationsverfahrens durchgeführt werden.For comparison between the audio signal 142 and the reference audio signal 143 are at least parts of the reference audio signal 143 in the audio signal 142 searched and checked for a deviation in at least one characteristic of the signal. The data processing device has this 120 for example via one or more filters suitable for audio processing, an audio classifier and / or an artificial neural network (ANN) that is trained on this. If there is a discrepancy between that in the data processing device 120 stored as a reference and via the microphone 141 recorded reference audio signal 143 is detected, the microphone checked can 141 marked accordingly. The comparison of the audio signal 142 with the reference audio signal 143 can for example be carried out with the help of a classification method.

Je nach Ausprägung der Abweichung kann der Funktionsstatus des Mikrofons 141 bzw. der Mikrofone 141 als gestört, Komplettausfall usw. angenommen werden. Hierfür ist beispielsweise ein Schwellwert definiert, der adaptiv sein oder parametriert werden kann, bis zu dem die Abweichung noch zulässig ist, wobei bei Erreichen und/oder Überschreiten des Schwellwerts der Funktionsstatus des Mikrofons 141 als negativ bestimmt wird. Dies kann bewirken, dass das betroffene Mikrofon 141 in der akustischen Umfeldbewertung geringer gewichtet oder ggf. komplett unberücksichtigt bleibt. Gemäß einiger Ausführungsformen könnte die Fahrzeugaußenumgebung dann noch durch weitere Mikrofone 141 erfasst werden. Es ist auch denkbar, dass das Fahrzeug 100 als Ersatzmaßnahme in einen sicheren Zustand versetzt wird.Depending on the extent of the deviation, the functional status of the microphone 141 or the microphones 141 be accepted as disturbed, complete failure, etc. For this purpose, a threshold value is defined, for example, which can be adaptive or can be parameterized, up to which the deviation is still permissible, the functional status of the microphone when the threshold value is reached and / or exceeded 141 is determined to be negative. This can cause the affected microphone 141 weighted less in the acoustic environment assessment or possibly completely disregarded. According to some embodiments, the outside of the vehicle could then be further microphones 141 are recorded. It is also conceivable that the vehicle 100 as a substitute measure is placed in a safe state.

Zum Beispiel kann auch vorgesehen kann sein, dass die Tatsache des ermittelten verringerten Funktionsstatus des Mikrofons 141 an eine höherrangige Funktion bzw. Einrichtung (z.B. ein Fahrassistenzsystem) des Fahrzeugs 100 gemeldet wird, wodurch beispielsweise die höherrangige Funktion in ihrem Funktionsumfang degradiert bzw. an die verminderte Fusionsfähigkeit des Mikrofons 141 angepasst wird.For example, it can also be provided that the fact of the determined reduced functional status of the microphone 141 to a higher-ranking function or device (e.g. a driver assistance system) of the vehicle 100 is reported, as a result of which, for example, the higher-ranking function is degraded in its functional scope or to the reduced ability of the microphone to fuse 141 is adjusted.

Unter der höherrangigen Funktion bzw. Einrichtung kann in diesem Zusammenhang z.B. ein Steuergerät (nicht dargestellt) zum Bereitstellen einer spezifischen Funktionalität eines Fahrerassistenzsystems verstanden werden, zu dessen Ansteuerung ein Signal, basierend auf dem negativ ermittelten Funktionsstatus des Mikrofons 141, an das Steuergerät übermittelt wird. Im Ergebnis wird auf diese Weise, basierend auf dem negativ ermittelten Funktionsstatus des Mikrofons 141, mit Hilfe des Steuergeräts eine geeignete Ansteuerung des Fahrzeugs 100 vorgenommen.In this context, the higher-ranking function or device can be understood to mean, for example, a control device (not shown) for providing a specific functionality of a driver assistance system, for its activation a signal based on the negatively determined functional status of the microphone 141 , is transmitted to the control unit. As a result, based on the negative functional status of the microphone determined in this way 141 suitable control of the vehicle with the help of the control unit 100 performed.

Basierend auf dem Funktionsstatus des Mikrofons 141 kann z.B. eine Trajektorie des Fahrzeugs 100 berechnet, ein Fahrverhalten des Fahrzeugs 100 verändert, eine Fahrassistenzfunktion ausgeführt und/oder eine Aussendung des Funktionsstatus an eine externe Servereinheit und/oder einen Fahrzeuginsassen erfolgen.Based on the functional status of the microphone 141 can for example be a trajectory of the vehicle 100 calculates a driving behavior of the vehicle 100 changed, carried out a driver assistance function and / or a transmission of the functional status to an external server unit and / or a vehicle occupant.

Es sei angemerkt, dass es sich bei der weiteren Akustikquelle 160 gemäß 2 um eine passive Akustikquelle des Fahrzeugs 100 handeln kann. Dementsprechend kann das Referenzaudiosignal 143 ein erwartetes Fahrzeuggeräusch, insbesondere des Fahrzeugs 100, sein, wie etwa Abrollgeräusche, Fahrtwindgeräusche, Fahrzeugkomponentengeräusche, wie z.B. Geräusche einer Pumpe, eines Lüfters, eines Turboladers, usw. deren betriebspunktabhängige Geräusche bekannt und reproduzierbar sind. Es kann sich aber auch um akustische Geräusche beim Entriegeln oder Verriegeln des Fahrzeugs 100, aktiv ausgegebene Fahrgeräusche von Elektrofahrzeugen (die zur Wahrnehmbarkeit im Straßenverkehr emittiert werden), oder Ähnliches handeln. Mehrere dieser Referenzgeräusche und/oder Referenztöne können zu dem Referenzaudiosignal 143 kombiniert werden, um die Robustheit der Funktionsstatus-Prüfung zu verbessern.It should be noted that this is the case with the further acoustic source 160 according to 2 a passive acoustic source of the vehicle 100 can act. Accordingly, the reference audio signal 143 an expected vehicle noise, particularly that of the vehicle 100 , such as rolling noises, wind noises, vehicle component noises, such as noises from a pump, a fan, a turbocharger, etc. whose operating point-dependent noises are known and reproducible. However, it can also be acoustic noises when unlocking or locking the vehicle 100 , actively emitted driving noises from electric vehicles (which are emitted to be perceptible in road traffic), or the like. Several of these reference noises and / or reference tones can be used to form the reference audio signal 143 can be combined to improve the robustness of the functional status check.

Die in 3 in einem Blockdiagramm gezeigte Ausführungsform des Fahrzeugsystems 110 unterscheidet sich von der vorstehenden gemäß 2 insbesondere dadurch, dass die weitere Akustikquelle 160 in diesem Fall aktiv ist, d.h. für die Funktionsprüfung des Mikrofons 141 gezielt ansteuerbar ist. Dementsprechend kann das Referenzaudiosignal 143 ein oder mehrere Referenztöne, die beispielsweise von einem zur Kommunikation mit Fahrzeugumfeld eingerichteten Lautsprecher oder von einem angeregten weiteren der Mikrofone 141 erzeugt werden, oder sonstige über Lautsprecher vom Fahrzeug 100 aus abgespielte Audiosequenzen, umfassen.In the 3 Embodiment of the vehicle system shown in a block diagram 110 differs from the above according to 2 especially in that the further acoustic source 160 in this case is active, ie for the Function test of the microphone 141 is specifically controllable. Accordingly, the reference audio signal 143 one or more reference tones, for example from a loudspeaker set up for communication with the vehicle environment or from another stimulated microphone 141 or other loudspeakers from the vehicle 100 from played audio sequences.

Die für die Monitoringfunktion des Mikrofons 141 geeigneten Geräusche zeichnen sich insbesondere dadurch aus, dass sie für die Primärfunktion des Mikrofons 141 wichtige Frequenzanteile mit bekannter (direkt bekannt oder herleitbar) deutlich wahrnehmbarer Lautstärke enthalten. Denkbar sind dafür zum Beispiel:

- Frequenz-Sweeps
- Tonfolgen oder mehrere Töne parallel
- Breitbandgeräusch (z.B. durch Impulsanregung erzeugt)
- Melodien

The one for the monitoring function of the microphone 141 Suitable noises are characterized in particular by the fact that they are responsible for the primary function of the microphone 141 contain important frequency components with a known (directly known or deducible) clearly perceptible volume. For example, the following are conceivable:

- frequency sweeps
- Tone sequences or several tones in parallel
- Broadband noise (e.g. generated by impulse excitation)
- melodies

Diese Geräusche werden mittels der Akustikerfassungseinrichtung 140 mit den Mikrofonen 141 aufgezeichnet und z.B. in ein gemessenes Spektrum bzw. Spektrogramm überführt, aus dem der gemessene Pegel (bei einem festen Wert z.B. 1 kHz oder als Funktion über die emittierten Frequenzen) ermittelt wird. Da jedes Mikrofon 141 aufgrund unterschiedlicher Abstände zur Geräuschquelle und unterschiedliche Einbau-/Abschattungssituation in der Regel etwas anderes messen wird, ist diese Information Mikrofon-individuell mit einer Referenz zu vergleichen, die im Neuzustand (zum Beispiel bei den ersten paar Startvorgängen des Fahrzeugs 100) für die gleiche Geräuschquelle ermittelt wurde.These noises are detected by means of the acoustic detection device 140 with the microphones 141 recorded and, for example, transferred to a measured spectrum or spectrogram, from which the measured level (for a fixed value, for example 1 kHz or as a function of the emitted frequencies) is determined. Because every microphone 141 will usually measure something different due to different distances to the noise source and different installation / shadowing situations, this information must be compared microphone-individually with a reference that is available when the vehicle is new (for example during the first few starts of the vehicle 100 ) was determined for the same noise source.

Bei einfachen Geräuschen, zu Beispiel einem Frequenz-Sweep oder einem Breitbandgeräusch, kann der Vergleich auf die einfache Differenz von gemessenen und Sollspektrum zurückgehen. Bei komplexeren Melodien bietet es sich an, ein Spektrogramm (akustischer Pegel über Frequenz und Zeit) zu erzeugen und dann Ist- und Soll-Bild voneinander zu subtrahieren oder zu dividieren. Allgemein kann darüber hinaus das Ergebnis gewichtet werden, sodass besonders gut definierte oder relevante Frequenzbereiche hervorgehoben werden.In the case of simple noises, for example a frequency sweep or broadband noise, the comparison can be based on the simple difference between the measured and nominal spectrum. For more complex melodies it is advisable to generate a spectrogram (acoustic level over frequency and time) and then subtract or divide the actual and target image from one another. In general, the result can also be weighted so that particularly well-defined or relevant frequency ranges are highlighted.

Ist das „Ist“ global oder in bestimmten Frequenzbereichen leiser als das „Soll“, liegt eine geringere Sensitivität des Mikrofons 141, z.B. aufgrund von Verschmutzung, vor. Prinzipiell könnten die gemessenen Pegel auch auf dem Ausbreitungsweg stärker gedämpft worden sein, z.B. durch einen im Vergleich zur Referenzmessung weicheren Boden. Um dies zu vermeiden, ist es ratsam, möglichst kurze Transferwege zu verwenden und bei weit auseinanderliegenden, verteilten Mikrofonen 141 gegebenenfalls unterschiedliche, nähergelegene Geräuschquellen zu verwenden.If the “actual” is global or quieter than the “target” in certain frequency ranges, the microphone is less sensitive 141 , for example due to pollution. In principle, the measured levels could also have been attenuated to a greater extent on the propagation path, for example by a soil that is softer than the reference measurement. To avoid this, it is advisable to use the shortest possible transfer paths and with widely spaced, distributed microphones 141 to use different, closer sources of noise if necessary.

Bei einer festgestellten Reduktion der Mikrofonsensitivität wird ein Korrekturfaktor bzw. eine Korrekturfunktion ermittelt, die die Messung in das „Soll“ überführt. Diese wird entweder sofort angewandt, oder nachgeordneten Softwaremodulen des Fahrzeugs 100 zur Verfügung gestellt. Zusätzlich oder alternativ kann eine Sensorreinigung, d.h. eine Reinigung des Mikrofons 141 oder der Mikrofone 141 angestoßen oder ein Blockage-Fall weiter gemeldet werden.If a reduction in microphone sensitivity is determined, a correction factor or a correction function is determined that converts the measurement into the “target”. This is either applied immediately or downstream software modules of the vehicle 100 made available. Additionally or alternatively, sensor cleaning, ie cleaning of the microphone 141 or the microphones 141 triggered or a blockage case can be reported.

Ist das „Ist“ größer als das „Soll“, liegt wahrscheinlich eine Reflexion oder Resonanz aus der Umgebung vor, z.B. im Falle einer Messung in einer Tiefgarage. In diesem Fall liegt keine Abschwächung der Mikrofonsensitivität vor, weshalb das Messergebnis verworfen wird.If the "is" is greater than the "should", there is probably a reflection or resonance from the environment, e.g. in the case of a measurement in an underground car park. In this case there is no weakening of the microphone sensitivity, which is why the measurement result is rejected.

Ferner kann bei festgestellter reduzierter Mikrofonsensitivität bzw. bei festgestelltem vermindertem Funktionsstatus des Mikrofons 141 das Mikrofon 141 mit einem Reinigungsmittel (z.B. Waschwasser) gereinigt werden, z.B. durch eine Waschanlage (nicht dargestellt) des Fahrzeugs, die ausschließlich für das Reinigen des Mikrofons 141 und/oder zur Reinigung weiterer Sensoren des Fahrzeugs 100 vorgesehen sein kann.Furthermore, if a reduced microphone sensitivity is determined or if a reduced functional status of the microphone is determined 141 the microphone 141 can be cleaned with a cleaning agent (e.g. washing water), e.g. by a washing system (not shown) in the vehicle, exclusively for cleaning the microphone 141 and / or for cleaning other sensors in the vehicle 100 can be provided.

Die in 4 in einem Blockdiagramm gezeigte Ausführungsform unterscheidet sich von den vorstehenden gemäß 2 und 3 insbesondere dadurch, dass nunmehr eine Kompensationseinrichtung 170 vorgesehen ist, die die verminderte Effektivität des Mikrofons 141 kompensiert. Dies kann sowohl in Software und/oder auch in Hardware realisiert sein. Auf diese Weise wird eine Art Online-Kalibrierung des Mikrofons 141 mittels bekannter, vom Fahrzeug 100 ausgehender Geräuschen während des Betriebs des Fahrzeugs 100 durchgeführt, mittels derer die Sensitivität und die Transferfunktion des Mikrofons 141 überwacht und per Software und/oder per Hardware nachgeführt wird.In the 4th The embodiment shown in a block diagram differs from the above according to FIG 2 and 3 in particular in that now a compensation device 170 provided that the reduced effectiveness of the microphone 141 compensated. This can be implemented both in software and / or in hardware. This creates a kind of online calibration of the microphone 141 by means of known, from the vehicle 100 outgoing noises while the vehicle is in operation 100 performed, by means of which the sensitivity and the transfer function of the microphone 141 monitored and tracked by software and / or hardware.

Diese Information verbessert nachfolgende Softwarefunktionen, z.B. zur Klassifikation oder Quellenortung, wodurch Unterschiede zwischen mehreren eingesetzten Mikrofonen 141 ausgeglichen werden können. Außerdem können festgestellte Abweichungen zur Diagnose der Mikrofone 141, sowie zur Erkennung von Blockage und Verschmutzung der Mikrofone 141 verwendet werden.This information improves subsequent software functions, for example for classification or source location, which results in differences between several microphones used 141 can be balanced. In addition, any discrepancies found can help diagnose the microphones 141 , as well as for the detection of blockage and contamination of the microphones 141 be used.

5 fasst ein Verfahren zum Betrieb des vorstehend beschriebenen Fahrzeugs 100 in einem Flussdiagramm zusammen. Zunächst erfolgt in einem Schritt S1 ein Zuführen des Audiosignals 142 an die Datenverarbeitungseinrichtung 120. Dann erfolgt in einem Schritt S2 ein Bestimmen des Funktionsstatus des betrachteten Mikrofons 141 durch einen Vergleich des Audiosignals 142 mit dem Referenzaudiosignal 143, das auch unterschiedliche Referenzgeräusche und/oder Referenztöne enthalten kann, durch die Datenverarbeitungseinrichtung 120. 5 summarizes a method for operating the vehicle described above 100 together in a flow chart. It is initially done in one step S1 supplying the audio signal 142 to the data processing device 120 . Then takes place in one step S2 determining the functional status of the microphone under consideration 141 by comparing the audio signal 142 with the reference audio signal 143 , which can also contain different reference noises and / or reference tones, by the data processing device 120 .

Claims

Method for determining a functional status of a microphone (141), with the steps: - Detecting an audio signal (142), in which an outside vehicle environment is detected by at least one microphone (141), by means of a data processing device (120) and - Determining a functional status of the microphone (141) by comparing the audio signal (142) with at least one stored reference audio signal (143) by means of the data processing device (120).

Procedure according to Claim 1 , characterized in that the functional status of the microphone (141) is determined as negative if a deviation of at least one characteristic of the audio signal (142) compared to the reference audio signal (143) reaches and / or exceeds an adaptive threshold value.

Procedure according to Claim 1 or 2 , characterized in that the comparison checks whether a characteristic of the reference audio signal (143) is present in the audio signal (142).

Method according to one of the preceding claims, characterized in that the audio signal (142) and the reference audio signal (143) are compared with one another in the time domain.

Method according to one of the Claims 1 to 3 , characterized in that the audio signal (142) and the reference audio signal (143) are compared with one another in the frequency domain.

Method according to one of the preceding claims, characterized in that the audio signal (142) and / or the reference audio signal (143) are fed to an artificial neural network of the data processing device (120) which is used to recognize at least components of the reference audio signal (143) within the audio signal (142) is trained.

Method according to one of the preceding claims, characterized in that the reference audio signal (143) is at least partially generated by a vehicle's own acoustic source (150).

Method according to one of the preceding claims, characterized in that the vehicle (100) has a plurality of microphones (141), the functional status of which is determined individually, and a single microphone (141) with a negatively determined functional status for the operation of the vehicle (100) is at least less weighted.

Method according to one of the preceding claims, characterized in that the negative determined functional status of the microphone (141) is signaled to at least one higher-ranking device of the vehicle (100).

Method according to one of the preceding claims, characterized in that a reduced functional status of the microphone (141) is compensated algorithmically by means of a compensation device (170).

Method according to one of the preceding claims, characterized in that when the functional status of the microphone (141) is reduced, the microphone (141) is cleaned.

Device for determining a functional status of a microphone (141), having a data processing device (120) which is configured to receive an audio signal (142) in which an outside vehicle environment is detected by at least one microphone (141) and a functional status of the microphone (141) by comparing the audio signal (142) with at least one reference audio signal (143).

Vehicle system (110), with at least one microphone (140), which is set up to acoustically capture an audio signal (142) outside the vehicle, and a data processing device (120), which is set up to carry out a functional status of the microphone (141) to determine a comparison of the audio signal (142) with at least one reference audio signal (143).

A computer program for operating a vehicle (100) which, when it is executed by a processor of a data processing device (120), is set up to include a method according to one of the Claims 1 to 11 perform.

Computer-readable storage medium on which a computer program is based Claim 14 is stored.