DE102022001241A1

DE102022001241A1 - Method of operating a vehicle

Info

Publication number: DE102022001241A1
Application number: DE102022001241.3A
Authority: DE
Inventors: Friedrich Emanuel Hust
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-04-12
Filing date: 2022-04-12
Publication date: 2023-10-12
Also published as: WO2023198393A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs.Erfindungsgemäß ist vorgesehen, dass- das Fahrzeug mindestens eine Kamera (1) mit einer Bildstabilisierung (6) aufweist, die mittels mindestens eines Beschleunigungssensors (2) Schwankungen (SA) der Kamera (1) erkennt und basierend hierauf bildstabilisierende Maßnahmen einleitet,- akustische Signale (S) detektiert werden, die zu dem mindestens einen Beschleunigungssensor (2) eingekoppelt werden,- ein detektiertes akustisches Signal (S) als akustisches Störsignal (SS) identifiziert wird, wenn es einen Spektralanteil aufweist, dessen Frequenz einer Eigenfrequenz des mindestens einen Beschleunigungssensors (2) oder einer harmonischen dieser Eigenfrequenz entspricht oder in einem vorgegebenen Bereich um diese Eigenfrequenz bzw. um die harmonitsch der Eigenfrequenz liegt, und- bei Detektion eines akustischen Störsignals (SS) auf eine Fehlfunktion der Bildstabilisierung (6) geschlossen wird.The invention relates to a method for operating a vehicle. According to the invention, the vehicle has at least one camera (1) with image stabilization (6), which detects fluctuations (SA) of the camera (1) by means of at least one acceleration sensor (2). and based on this, image stabilizing measures are initiated, - acoustic signals (S) are detected, which are coupled to the at least one acceleration sensor (2), - a detected acoustic signal (S) is identified as an acoustic interference signal (SS) if it has a spectral component , the frequency of which corresponds to a natural frequency of the at least one acceleration sensor (2) or a harmonic of this natural frequency or is in a predetermined range around this natural frequency or around the harmonic of the natural frequency, and - if an acoustic interference signal (SS) is detected, this indicates a malfunction of the image stabilization (6) is closed.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs.The invention relates to a method for operating a vehicle.

Aus dem Stand der Technik ist es allgemein bekannt, in einem Fahrzeug mindestens eine Kamera einzusetzen und zum Betrieb des Fahrzeugs zu verwenden.It is generally known from the prior art to use at least one camera in a vehicle and to use it to operate the vehicle.

Zudem ist aus dem Stand der Technik, wie in https:/Ide.wikipedia.org/wiki/Bildstabilisierung (abgerufen am 28.03.2022) beschrieben, eine Bildstabilisierung bekannt. Als Bildstabilisierung bezeichnet man in der Fototechnik Verfahren zur Vermeidung von Verwacklungsunschärfe.In addition, image stabilization is known from the prior art, as described in https:/Ide.wikipedia.org/wiki/Bildstabilisierung (accessed on March 28, 2022). In photography, image stabilization is a process used to avoid camera shake.

Aus der Druckschrift Z. Shi, F. Shi, W. -S. Lai, C. -K. Liang and Y. Liang, „Deep Online Fused Video Stabilization,“ 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 865-873, ist eine Bildstabilisierung bekannt, die auf einer durch KI (Künstliche Intelligenz) unterstützten Bildverarbeitung beruht.From the publication Z. Shi, F. Shi, W. -S. Lai, C.-K. Liang and Y. Liang, "Deep Online Fused Video Stabilization," 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 865-873, is an image stabilization based on AI (Artificial Intelligence). ) supported image processing.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben.The invention is based on the object of specifying a method for operating a vehicle that is improved compared to the prior art.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines Fahrzeugs mit den Merkmalen des Anspruchs 1.The object is achieved according to the invention by a method for operating a vehicle with the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.

Für ein Verfahren zum Betrieb eines Fahrzeugs ist erfindungsgemäß vorgesehen, dass das Fahrzeug mindestens eine Kamera mit einer, insbesondere optischen, insbesondere optomechanischen, Bildstabilisierung aufweist. Die Kamera ist beispielsweise eine Monokamera oder Stereokamera. Die Bildstabilisierung erkennt mittels mindestens eines Beschleunigungssensors Schwankungen der Kamera und leitet basierend hierauf bildstabilisierende Maßnahmen ein. Insbesondere kompensiert die Bildstabilisierung Bewegungsunschärfen, die durch die erkannten Schwankungen bedingt sind, durch Verschieben eines Sensorchips und/oder einer Linse der Kamera. Der Sensorchip der Kamera ist ein Bildsensor, d. h. er dient der Bilderfassung. Es ist somit insbesondere vorgesehen, dass die Kamera einen, insbesondere optischen, insbesondere optomechanischen, Bildstabilisator mit mindestens einem solchen Beschleunigungssensor und mindestens einer Einrichtung zum Verschieben des Sensorchips und/oder der Linse aufweist. Beispielsweise können auch mehrere Beschleunigungssensoren vorgesehen sein, zum Beispiel drei Beschleunigungssensoren, wobei jeder dieser drei Beschleunigungssensoren Schwankungen oder Anteile der Schwankungen der Kamera in Richtung jeweils einer der Achsen eines dreidimensionalen Koordinatensystems erkennt. Denkbar ist auch eine 4D-Transformation von Signalen der Beschleunigungssensoren als sogenanntes Quanternion.For a method for operating a vehicle, it is provided according to the invention that the vehicle has at least one camera with, in particular optical, in particular optomechanical, image stabilization. The camera is, for example, a mono camera or stereo camera. The image stabilization uses at least one acceleration sensor to detect camera fluctuations and initiates image stabilization measures based on this. In particular, the image stabilization compensates for motion blurring caused by the detected fluctuations by moving a sensor chip and/or a lens of the camera. The camera's sensor chip is an image sensor, i.e. H. it is used to capture images. It is therefore in particular provided that the camera has an, in particular optical, in particular optomechanical, image stabilizer with at least one such acceleration sensor and at least one device for displacing the sensor chip and/or the lens. For example, several acceleration sensors can also be provided, for example three acceleration sensors, with each of these three acceleration sensors detecting fluctuations or portions of the fluctuations of the camera in the direction of one of the axes of a three-dimensional coordinate system. A 4D transformation of signals from the acceleration sensors as a so-called quantum ion is also conceivable.

Es ist insbesondere vorgesehen, dass diese Kamera zum Betrieb des Fahrzeugs verwendet wird, insbesondere zur Durchführung eines Fahrbetriebs des Fahrzeugs, insbesondere zur Durchführung eines automatisierten, insbesondere teilautomatisierten, hochautomatisierten oder autonomen, Fahrbetriebs des Fahrzeugs. Die Kamera wird dabei insbesondere zu einer Umgebungserfassung einer äußeren Umgebung des Fahrzeugs verwendet, insbesondere um Objekte in der Umgebung zu detektieren.It is in particular provided that this camera is used to operate the vehicle, in particular to carry out a driving operation of the vehicle, in particular to carry out an automated, in particular partially automated, highly automated or autonomous, driving operation of the vehicle. The camera is used in particular to detect the external surroundings of the vehicle, in particular to detect objects in the surroundings.

Erfindungsgemäß werden akustische Signale detektiert, die zu dem mindestens einen Beschleunigungssensor eingekoppelt werden. Ein detektiertes akustisches Signal wird als akustisches Störsignal identifiziert, wenn es einen Spektralanteil aufweist, dessen Frequenz einer Eigenfrequenz des mindestens einen Beschleunigungssensors oder einer harmonischen dieser Eigenfrequenz entspricht oder in einem vorgegebenen Bereich um diese Eigenfrequenz oder der harmonischen dieser Eigenfrequenz des mindestens einen Beschleunigungssensors liegt und wenn dieser Spektralanteil vorzugsweise eine Amplitude aufweist, die einen vorgegebenen Amplitudengrenzwert übersteigt. Als harmonische der Eigenfrequenz wird dabei eine Frequenz bezeichnet, die ein ganzzahliges Vielfache der Eigenfrequenz ist. Im vorgegebenen Bereich um die Eigenfrequenz bzw. um die harmonische der Eigenfrequenz bedeutet insbesondere, dass eine Abweichung der Frequenz des akustischen Störsignals von der Eigenfrequenz bzw. von der harmonischen der Eigenfrequenz innerhalb eines vorgegebenen Abweichungsgrenzwertes liegt. Der vorgegebene Bereich bzw. der vorgegebene Abweichungsgrenzwert und der Amplitudengrenzwert werden vorteilhafterweise im Rahmen von Testmessungen ermittelt, bei denen ermittelt wird, bis zu welchen Frequenzen und Amplituden des detektierten akustischen Signals es zu einer merkbaren Störung der Bildstabilisierung kommt. Der vorgegebene Abweichungsgrenzwert der Abweichung von der Eigenfrequenz kann beispielsweise in der Größenordnung von etwa 10 kHz liegen. Insbesondere beträgt er 4 kHz. Bei Detektion eines akustischen Störsignals, d. h. eines als Störsignal identifizierten akustischen Signals, wird auf eine Fehlfunktion der Bildstabilisierung geschlossen.According to the invention, acoustic signals are detected which are coupled to the at least one acceleration sensor. A detected acoustic signal is identified as an acoustic interference signal if it has a spectral component whose frequency corresponds to a natural frequency of the at least one acceleration sensor or a harmonic of this natural frequency or is in a predetermined range around this natural frequency or the harmonic of this natural frequency of the at least one acceleration sensor and if this spectral component preferably has an amplitude that exceeds a predetermined amplitude limit value. The harmonic of the natural frequency is a frequency that is an integer multiple of the natural frequency. In the predetermined range around the natural frequency or around the harmonic of the natural frequency, this means in particular that a deviation of the frequency of the acoustic interference signal from the natural frequency or from the harmonic of the natural frequency lies within a predetermined deviation limit value. The predetermined range or the predetermined deviation limit value and the amplitude limit value are advantageously determined as part of test measurements in which it is determined up to which frequencies and amplitudes of the detected acoustic signal there is a noticeable disturbance in the image stabilization. The predetermined deviation limit value of the deviation from the natural frequency can, for example, be on the order of approximately 10 kHz. In particular it is 4 kHz. When an acoustic interference signal is detected, i.e. H. an acoustic signal identified as a disturbing signal, it is concluded that the image stabilization is malfunctioning.

Das erfindungsgemäße Verfahren ermöglicht somit eine Erkennung von Fehlfunktionen der mit der Bildstabilisierung ausgestatteten Kamera des Fahrzeugs. Die Fehlfunktion kann beispielweise auf einem aktiven akustischen Angriff auf das Fahrzeug beruhen, wodurch der Betrieb des Fahrzeugs gestört werden kann. Daraus können beispielsweise Gefahren für das Fahrzeug, insbesondere für dessen Insassen, und für andere Verkehrsteilnehmer resultieren. Die erfindungsgemäße Lösung ermöglicht eine aktive Erkennung und beispielsweise auch eine Unterbindung eines solchen akustischen Angriffs. Beispielsweise kann zumindest ein Teil eines Angriffsvektors des Störsignals mitigiert werden. Dadurch kann beispielsweise ein sicherer automatisierter, insbesondere autonomer, Fahrbetrieb des Fahrzeugs sichergestellt werden.The method according to the invention thus enables malfunctions of the vehicle's camera equipped with image stabilization to be detected. The malfunction can occur, for example based on an active acoustic attack on the vehicle, which can disrupt the operation of the vehicle. This can result, for example, in danger for the vehicle, especially for its occupants, and for other road users. The solution according to the invention enables active detection and, for example, prevention of such an acoustic attack. For example, at least part of an attack vector of the interference signal can be mitigated. This can, for example, ensure safe automated, in particular autonomous, driving operation of the vehicle.

In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, eine Warnung an einen Nutzer des Fahrzeugs ausgegeben. Dadurch ist der Nutzer gewarnt und kann beispielsweise eigenständig entsprechende Schutzmaßnahmen einleiten, wenn erforderlich, beispielsweise den automatisierten Fahrbetrieb des Fahrzeugs überwachen und, wenn erforderlich, eingreifen und die Fahrzeugführung selbst übernehmen.In a possible embodiment, after a malfunction of the image stabilization has been concluded, i.e. H. When an acoustic interference signal is detected, a warning is issued to a user of the vehicle. This means that the user is warned and can, for example, independently initiate appropriate protective measures if necessary, for example monitoring the automated driving operation of the vehicle and, if necessary, intervene and take over the driving of the vehicle themselves.

In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, ein Einfluss des identifizierten akustischen Störsignals auf den mindestens einen Beschleunigungssensor ermittelt und dieser Einfluss in einem Sensorsignal des mindestens einen Beschleunigungssensors kompensiert. Dadurch können negative Auswirkungen des akustischen Störsignals auf die Bildstabilisierung vermieden oder zumindest reduziert werden.In a possible embodiment, after a malfunction of the image stabilization has been concluded, i.e. H. upon detection of an acoustic interference signal, an influence of the identified acoustic interference signal on the at least one acceleration sensor is determined and this influence is compensated for in a sensor signal of the at least one acceleration sensor. This means that negative effects of the acoustic interference signal on image stabilization can be avoided or at least reduced.

In einer möglichen Ausführungsform wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde, d. h. bei Detektion eines akustischen Störsignals, wenn der Einfluss des akustischen Störsignals auf den mindestens einen Beschleunigungssensor außerhalb eines vorgegebenen Toleranzbereichs liegt, das Fahrzeug in einen sicheren Zustand überführt und/oder die Bildstabilisierung deaktiviert. Dadurch kann, insbesondere im automatisierten Fahrbetrieb, eine Gefahr für das Fahrzeug und dessen Insassen sowie für andere Verkehrsteilnehmer ausgeschlossen oder zumindest minimiert werden. Der Toleranzbereich gibt somit insbesondere an, welcher Störeinfluss des Störsignals beim automatisierten Fahrbetrieb noch toleriert wird.In a possible embodiment, after a malfunction of the image stabilization has been concluded, i.e. H. upon detection of an acoustic interference signal, if the influence of the acoustic interference signal on the at least one acceleration sensor is outside a predetermined tolerance range, the vehicle is transferred to a safe state and / or the image stabilization is deactivated. As a result, particularly in automated driving mode, a danger to the vehicle and its occupants as well as to other road users can be excluded or at least minimized. The tolerance range therefore indicates in particular which disruptive influence of the interference signal is still tolerated during automated driving.

In einer möglichen Ausführungsform des Verfahrens ist beispielsweise vorgesehen, dass zur Überführung des Fahrzeugs in den sicheren Zustand die Fahrzeugführung des Fahrzeugs an den Nutzer des Fahrzeugs übergeben wird und/oder eine Geschwindigkeit des Fahrzeugs reduziert wird und/oder das Fahrzeug an einen Fahrbahnrand gesteuert wird und/oder das Fahrzeug angehalten wird und/oder eine Warnblinkanlage des Fahrzeugs aktiviert wird. Durch diese Maßnahmen wird die Gefahr für das Fahrzeug und dessen Insassen sowie für andere Verkehrsteilnehmer minimiert.In a possible embodiment of the method, it is provided, for example, that in order to transfer the vehicle to the safe state, the vehicle control of the vehicle is handed over to the user of the vehicle and/or a speed of the vehicle is reduced and/or the vehicle is steered to the edge of the road and /or the vehicle is stopped and/or one of the vehicle's hazard lights is activated. These measures minimize the danger to the vehicle and its occupants as well as to other road users.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass die akustischen Signale mittels eines Mikrofons einer Freisprechanlage und/oder einer Sprachsteuerung des Fahrzeugs und/oder mittels eines für einen anderen Verwendungszweck bereits im Fahrzeug eingebauten Mikrofons detektiert werden. Bei dieser Ausführungsform ist zur Durchführung des Verfahrens kein Verbau eines zusätzlichen Mikrofons im Fahrzeug erforderlich, wodurch entsprechende Kosten und ein entsprechender Montageaufwand eingespart werden. Alternativ kann vorgesehen sein, dass die akustischen Signale mittels eines Mikrofons detektiert werden, welches ausschließlich für diesen Zweck im Fahrzeug eingebaut ist. Eine Position des für das Verfahren verwendeten Mikrofons ist insbesondere möglichst nah an einem Einprägungsort des akustischen Störsignals, d. h. möglichst nah an einer Einbauposition der Kamera, beispielsweise in einem oberen Bereich einer Windschutzscheibe des Fahrzeugs. Wenn bereits verbaute Mikrofone zu weit von dieser Position entfernt sind, wird vorteilhafterweise das nur für dieses Verfahren vorgesehene Mikrofon dort verbaut. Das für das Verfahren verwendete Mikrofon ist insbesondere in einem Innenraum, insbesondere in einem Fahrgastinnenraum, des Fahrzeugs angeordnet.In a possible embodiment of the method it is provided that the acoustic signals are detected by means of a microphone of a hands-free system and/or a voice control of the vehicle and/or by means of a microphone already installed in the vehicle for another purpose. In this embodiment, it is not necessary to install an additional microphone in the vehicle to carry out the method, which saves corresponding costs and corresponding assembly effort. Alternatively, it can be provided that the acoustic signals are detected using a microphone that is installed in the vehicle exclusively for this purpose. A position of the microphone used for the method is in particular as close as possible to a location where the acoustic interference signal is impressed, i.e. H. as close as possible to an installation position of the camera, for example in an upper area of a windshield of the vehicle. If microphones that have already been installed are too far away from this position, the microphone intended only for this procedure is advantageously installed there. The microphone used for the method is arranged in particular in an interior, in particular in a passenger compartment, of the vehicle.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass eine Kommunikationsverbindung zu einer fahrzeugexternen Einrichtung aufgebaut wird, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde oder wenn das Fahrzeug in einen sicheren Zustand überführt wird. Dies kann beispielsweise durch die so genannte eCall-Funktion oder auf andere Weise erfolgen und beispielsweise eine Sprach- und/oder Datenübertragungsverbindung sein. Die fahrzeugexterne Einrichtung kann beispielsweise mit menschlichem Personal besetz sein und/oder ein Sicherheitsereignismanagementsystem sein. Auf diese Weise kann zum Beispiel eine Klärung der jeweils vorliegenden Situation erfolgen und/oder es können dem Nutzer des Fahrzeugs beispielsweise Hinweise zur vorliegenden Situation und/oder zur weiteren Vorgehensweise gegeben werden.In a possible embodiment of the method it is provided that a communication connection to a device external to the vehicle is established after a malfunction of the image stabilization has been concluded or when the vehicle is transferred to a safe state. This can be done, for example, by the so-called eCall function or in another way and can be, for example, a voice and/or data transmission connection. The vehicle-external device can, for example, be staffed by human personnel and/or be a security event management system. In this way, for example, the current situation can be clarified and/or the user of the vehicle can be given information about the current situation and/or how to proceed.

In einer möglichen Ausführungsform des Verfahrens ist vorgesehen, dass aktuelle Umgebungsdaten einer äußeren Umgebung des Fahrzeugs und insbesondere auch eine Position des Fahrzeugs während des Auftretens des akustischen Störsignals protokolliert und, insbesondere persistent, gespeichert werden, nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde. Für die Speicherung werden dabei vorteilhafterweise sogenannte Security-ICs verwendet, die die gespeicherten Daten gegen unberechtigte Manipulationen schützen.In a possible embodiment of the method it is provided that current environmental data of an external environment of the vehicle and in particular also a position of the vehicle during the occurrence of the acoustic interference signal logged and, in particular persistently, saved after a malfunction of the image stabilization has been concluded. So-called security ICs are advantageously used for storage, which protect the stored data against unauthorized manipulation.

Die Umgebungsdaten werden insbesondere mittels mindestens eines Umgebungserfassungssensors oder mehrerer Umgebungserfassungssensoren des Fahrzeugs erfasst, insbesondere bevor und/oder während und/oder nachdem auf eine Fehlfunktion der Bildstabilisierung geschlossen wurde. Dadurch wird eine spätere Auswertung ermöglicht, insbesondere um die aufgetretene Situation nachvollziehen zu können. Beispielsweise besteht dadurch die Möglichkeit, festzustellen, ob es sich um einen gezielten aktiven Angriff oder um ein zufällig auftretendes Störsignal gehandelt hat. Falls das Störsignal dauerhaft an der Position, in der das Fahrzeug davon betroffen war, auftritt, können beispielsweise bereits vorbeugend Vorsichtsmaßnahmen bei der Durchführung des automatisierten Fahrbetriebs für das Fahrzeug und beispielsweise auch für andere Fahrzeuge getroffen werden und/oder es kann die Quelle des Störsignals ermittelt werden, so dass versucht werden kann, das Störsignal abzuschalten oder abzuschirmen.The environmental data is recorded in particular by means of at least one environmental detection sensor or several environmental detection sensors of the vehicle, in particular before and/or during and/or after a malfunction of the image stabilization has been concluded. This makes a later evaluation possible, in particular in order to be able to understand the situation that has occurred. For example, this makes it possible to determine whether it was a targeted active attack or a randomly occurring interference signal. If the interference signal occurs permanently at the position in which the vehicle was affected, precautionary measures can, for example, be taken when carrying out the automated driving operation for the vehicle and, for example, also for other vehicles and/or the source of the interference signal can be determined so that an attempt can be made to switch off or shield the interference signal.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

1 schematisch eine Einwirkung eines akustischen Störsignals auf eine Kamera eines Fahrzeugs,
2 schematisch einen Ansatz zum Erkennen und Kompensieren eines auf mindestens einen Beschleunigungssensor einer Kamera einwirkenden akustischen Störsignals,
3 schematisch eine Detection eines akustischen Signals mittels eines Mikrofons einer Freisprechanlage,
4 schematisch eine Detection eines akustischen Signals mittels eines weiteren Mikrofons,
5 schematisch ein Beispiel einer Ermittlung eines akustischen Modells,
6 schematisch ein weiteres Beispiel der Ermittlung des akustischen Modells, und
7 schematisch eine Ausgabe einer Warnung bei einer Fehlfunktion einer Bildstabilisierung der Kamera.

Show:

1 schematically an effect of an acoustic interference signal on a camera of a vehicle,
2 schematically an approach for detecting and compensating for an acoustic interference signal acting on at least one acceleration sensor of a camera,
3 schematically a detection of an acoustic signal using a microphone of a hands-free system,
4 schematically a detection of an acoustic signal using another microphone,
5 schematically an example of determining an acoustic model,
6 schematically another example of determining the acoustic model, and
7 schematically an output of a warning in the event of a malfunction of the camera's image stabilization.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference numbers in all figures.

Im Folgenden wird anhand der 1 bis 7 ein Verfahren zum Betrieb eines Fahrzeugs beschrieben, für welches das Fahrzeug mindestens eine Kamera 1 mit einer, insbesondere optischen, insbesondere optomechanischen, Bildstabilisierung 6 aufweist. In einer denkbaren Weiterbildung des Verfahrens wird diese Bildstabilisierung 6 mit einer Bildstabilisierung kombiniert, die, wie eingangs erwähnt, auf einer durch KI unterstützten Bildverarbeitung beruht.The following is based on the 1 until 7 a method for operating a vehicle is described, for which the vehicle has at least one camera 1 with, in particular optical, in particular optomechanical, image stabilization 6. In a conceivable further development of the method, this image stabilization 6 is combined with an image stabilization which, as mentioned at the beginning, is based on image processing supported by AI.

Die Kamera 1 ist beispielsweise eine Monokamera oder Stereokamera. Die Bildstabilisierung 6 erkennt mittels mindestens eines Beschleunigungssensors 2 oder mehrerer Beschleunigungssensoren 2 Schwankungen SA der Kamera 1 und kompensiert die erkannten Schwankungen SA durch Verschieben eines Sensorchips 3 und/oder einer Linse der Kamera 1. Beispielsweise sind drei Beschleunigungssensoren 2 vorgesehen, wobei jeder dieser drei Beschleunigungssensoren 2 Schwankungen SA oder Anteile der Schwankungen SA der Kamera 1 in Richtung jeweils einer der Achsen eines dreidimensionalen Koordinatensystems erkennt.The camera 1 is, for example, a mono camera or stereo camera. The image stabilization 6 detects fluctuations SA of the camera 1 by means of at least one acceleration sensor 2 or several acceleration sensors 2 and compensates for the detected fluctuations SA by moving a sensor chip 3 and/or a lens of the camera 1. For example, three acceleration sensors 2 are provided, each of these three acceleration sensors 2 fluctuations SA or components of the fluctuations SA of the camera 1 in the direction of one of the axes of a three-dimensional coordinate system.

Es ist insbesondere vorgesehen, dass diese Kamera 1 zum Betrieb des Fahrzeugs verwendet wird, insbesondere zur Durchführung eines Fahrbetriebs des Fahrzeugs, insbesondere zur Durchführung eines automatisierten, insbesondere teilautomatisierten, hochautomatisierten oder autonomen, Fahrbetriebs des Fahrzeugs. Die Kamera 1 wird dabei insbesondere zu einer Umgebungserfassung einer äußeren Umgebung des Fahrzeugs verwendet, insbesondere um Objekte O in der Umgebung zu detektieren.It is in particular provided that this camera 1 is used to operate the vehicle, in particular to carry out a driving operation of the vehicle, in particular to carry out an automated, in particular partially automated, highly automated or autonomous, driving operation of the vehicle. The camera 1 is used in particular to detect the external surroundings of the vehicle, in particular to detect objects O in the surroundings.

Problematisch bei derartigen Bildstabilisierungen 6 ist, dass es aufgrund eines auf den jeweiligen Beschleunigungssensor 2 einwirkenden akustischen Störsignals SS zu einer Fehlfunktion des jeweiligen Beschleunigungssensors 2 und somit zu einer Fehlfunktion der Bildstabilisierung 6 kommen kann, insbesondere dann, wenn eine Frequenz des akustischen Störsignals SS im Bereich einer Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt. 1 zeigt schematisch eine Einwirkung eines solchen akustischen Störsignals SS auf den Beschleunigungssensor 2 der Kamera 1. Der Beschleunigungssensor 2 ist im dargestellten Beispiel zusammen mit dem Sensorchip 3 für die Bilderfassung der Kamera 1, auf einer Leiterplatte 4 in einem Gehäuse der Kamera 1 angeordnet. Licht L fällt beispielsweise über ein Objektiv der Kamera 1 auf den Sensorchip 3 ein. Des Weiteren wirkt das akustische Störsignal SS auf die Kamera 1 ein, wodurch Vibrationen V erzeugt werden, die vom Beschleunigungssensor 2 erfasst werden.The problem with such image stabilizations 6 is that due to an acoustic interference signal SS acting on the respective acceleration sensor 2, the respective acceleration sensor 2 can malfunction and thus the image stabilization 6 can malfunction, in particular if a frequency of the acoustic interference signal SS is in the range a natural frequency of the respective acceleration sensor 2 lies. 1 shows schematically an effect of such an acoustic interference signal SS on the acceleration sensor 2 of the camera 1. In the example shown, the acceleration sensor 2 is arranged together with the sensor chip 3 for the image capture of the camera 1 on a circuit board 4 in a housing of the camera 1. Light L, for example, is incident on the sensor chip 3 via a lens of the camera 1. Furthermore, the acoustic interference signal SS acts on the camera 1, whereby vibrations V are generated, which are detected by the acceleration sensor 2.

Das akustische Störsignal SS kann beispielsweise ein zufällig auftretendes akustisches Signal S oder ein akustisches Störsignal SS eines gezielten Angriffs sein. Ein solcher Angriff wird auch als Poltergeistangriff bezeichnet. Aus einer Anregung des jeweiligen Beschleunigungssensors 2 mittels des akustischen Störsignals SS kann beispielsweise eine Nichtdetektion, eine Fehldetektion oder eine Fehlklassifizierung von Objekten O in der Umgebung des Fahrzeugs resultieren.The acoustic interference signal SS can be, for example, a randomly occurring acoustic signal S or an acoustic interference signal SS of a targeted attack. Such an attack is also known as a poltergeist attack. Excitation of the respective acceleration sensor 2 by means of the acoustic interference signal SS can result, for example, in non-detection, incorrect detection or incorrect classification of objects O in the area surrounding the vehicle.

Die im Folgenden beschriebene Lösung ermöglicht insbesondere eine aktive Erkennung und Unterbindung der Folgen solcher akustischen Störsignale SS. Beispielsweise wird es dadurch ermöglicht, zumindest einen Teil eines Vektors des akustischen Störsignals SS zu mitigieren und damit ein sichereres Betreiben des Fahrzeuges im automatisierten Fahrbetrieb sicherzustellen. Dies kann insbesondere durch ein Fusionieren der Beschleunigungssensoren 2 und des mittels eines Mikrofons 5 erfassten akustischen Störsignals SS erreicht werden, um etwaige Störungseinprägungen in den jeweiligen Beschleunigungssensor 2 zu kompensieren.The solution described below enables, in particular, active detection and prevention of the consequences of such acoustic interference signals SS. For example, this makes it possible to mitigate at least part of a vector of the acoustic interference signal SS and thus ensure safer operation of the vehicle in automated driving mode. This can be achieved in particular by fusing the acceleration sensors 2 and the acoustic interference signal SS detected by a microphone 5 in order to compensate for any interference impressions in the respective acceleration sensor 2.

Die Grundlage des durch das akustische Störsignal SS verursachten Problems stellt das Anregen der Beschleunigungssensoren 2 dar, durch welche eigentlich die Stabilisierung einer Bilderfassung mittels der Kamera 1 erreicht werden soll und dadurch eine Objekterkennung OE und insbesondere auch eine Objektklassifizierung ermöglicht werden soll. Um die Störung der Beschleunigungssensoren 2 durch ein akustisches Störsignal SS zumindest zu erkennen und vorteilhafterweise auch zu mitigieren, ist erforderlich, dass das akustische Störsignal SS erkannt wird. Wenn ein akustisches Störsignal SS erkannt wird, ist insbesondere vorgesehen, dass Störfrequenzen in einem Sensorsignal des jeweiligen Beschleunigungssensors 2 entfernt oder zumindest reduziert werden.The basis of the problem caused by the acoustic interference signal SS is the excitation of the acceleration sensors 2, through which the stabilization of an image capture by means of the camera 1 is actually to be achieved and thereby object recognition OE and in particular object classification are to be made possible. In order to at least detect and advantageously also mitigate the disruption of the acceleration sensors 2 caused by an acoustic interference signal SS, it is necessary that the acoustic interference signal SS is recognized. If an acoustic interference signal SS is detected, it is in particular provided that interference frequencies in a sensor signal of the respective acceleration sensor 2 are removed or at least reduced.

In dem hier beschriebenen Verfahren ist vorgesehen, dass akustische Signale S detektiert werden, die zu dem mindestens einen oder jeweiligen Beschleunigungssensor 2 eingekoppelt werden. Ein detektiertes akustisches Signal S wird als akustisches Störsignal SS identifiziert, wenn seine Frequenz einer Eigenfrequenz des mindestens einen oder jeweiligen Beschleunigungssensors 2 entspricht oder im Bereich der Eigenfrequenz des mindestens einen oder jeweiligen Beschleunigungssensors 2 liegt. Bei Detektion des akustischen Störsignals SS, d. h. eines als Störsignal SS identifizierten akustischen Signals S, wird auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen.In the method described here it is provided that acoustic signals S are detected, which are coupled to the at least one or respective acceleration sensor 2. A detected acoustic signal S is identified as an acoustic interference signal SS if its frequency corresponds to a natural frequency of the at least one or respective acceleration sensor 2 or is in the range of the natural frequency of the at least one or respective acceleration sensor 2. When the acoustic interference signal SS is detected, i.e. H. an acoustic signal S identified as interference signal SS, it is concluded that the image stabilization 6 is malfunctioning.

2 zeigt die beschriebene Vorgehensweise schematisch anhand eines Ausführungsbeispiels. Dargestellt ist die Kamera 1 mit dem Sensorchip 3, den Beschleunigungssensoren 2 und der Bildstabilisierung 6. Im dargestellten Beispiel wird mittels des Sensorchips 3 der Kamera 1 eine Ampel als Objekt O in der Umgebung des Fahrzeugs erfasst. Aufgrund von Schwankungen SA der Kamera 1 wirken auf den Sensorchip 3 Bewegungen ein, die zu einer Verschlechterung einer Bildqualität mittels des Sensorchips 3 erfasster Bilder führen, d. h. die Bilder sind insbesondere verwackelt, wie anhand eines verwackelten Bildes VB der erfassten Ampel dargestellt. Mittels der Beschleunigungssensoren 2 werden die Schwankungen SA der Kamera 1 erkannt und die erkannten Schwankungen SA werden durch Verschieben des Sensorchips 3 und/oder einer Linse der Kamera 1 kompensiert, so dass die Erfassung qualitativ hochwertiger, insbesondere unverwackelter, Bilder UB mittels des Sensorchips 3 ermöglicht wird. Diese qualitativ hochwertigen, insbesondere unverwackelten, Bilder UB werden im dargestellten Beispiel der Objekterkennung OE und Objektklassifizierung zugeführt, so dass als Ergebnis E das Objekt O in der Umgebung des Fahrzeugs als Ampel erkannt wird. 2 shows the procedure described schematically using an exemplary embodiment. The camera 1 is shown with the sensor chip 3, the acceleration sensors 2 and the image stabilization 6. In the example shown, a traffic light is detected as object O in the area surrounding the vehicle using the sensor chip 3 of the camera 1. Due to fluctuations SA of the camera 1, movements act on the sensor chip 3, which lead to a deterioration in image quality of images captured by means of the sensor chip 3, ie the images are in particular blurred, as shown using a blurred image VB of the captured traffic light. By means of the acceleration sensors 2, the fluctuations SA of the camera 1 are detected and the detected fluctuations SA are compensated for by moving the sensor chip 3 and/or a lens of the camera 1, so that the capture of high-quality, in particular unshakable, images UB is made possible by means of the sensor chip 3 becomes. In the example shown, these high-quality, in particular unblurred, images UB are fed to the object recognition OE and object classification, so that as a result E, the object O in the area surrounding the vehicle is recognized as a traffic light.

Im dargestellten Beispiel wirkt zudem ein akustisches Signal S auf die Kamera 1 ein, welches in die Beschleunigungssensoren 2 eingekoppelt wird. Dieses akustische Signal S wird detektiert und im dargestellten Beispiel in ein akustisches Modell M, auch als Acoustic Model bezeichnet, und in eine Schwellwerterkennung SE, auch als Threshold Detection bezeichnet, geleitet. Das akustische Modell M berechnet eine durch das akustische Signal S verursachte Beschleunigung, welche vom jeweiligen Beschleunigungssensor 2 erfasst wird und diesen somit stört. Diese Beschleunigung wird dann in der Bildstabilisierung 6, auch als Image Stabilization bezeichnet, kompensiert. Es wird somit ein Einfluss des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 ermittelt und dieser Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 kompensiert. Dadurch können negative Auswirkungen des akustischen Signals S auf die Bildstabilisierung 6 vermieden oder zumindest reduziert werden, insbesondere wenn das akustische Signal S ein die Bildstabilisierung 6 tatschlich beeinträchtigendes akustischen Störsignal SS ist. Auf diese Weise kann der Effekt des akustischen Signals S, insbesondere Störsignals SS, zumindest verringert werden.In the example shown, an acoustic signal S also acts on the camera 1, which is coupled into the acceleration sensors 2. This acoustic signal S is detected and, in the example shown, passed into an acoustic model M, also referred to as an acoustic model, and into a threshold value detection SE, also referred to as threshold detection. The acoustic model M calculates an acceleration caused by the acoustic signal S, which is detected by the respective acceleration sensor 2 and thus disturbs it. This acceleration is then compensated for in image stabilization 6, also known as image stabilization. An influence of the detected acoustic signal S on the respective acceleration sensor 2 is thus determined and this influence is compensated for in the sensor signal of the respective acceleration sensor 2. As a result, negative effects of the acoustic signal S on the image stabilization 6 can be avoided or at least reduced, especially if the acoustic signal S is an acoustic interference signal SS that actually impairs the image stabilization 6. In this way, the effect of the acoustic signal S, in particular the interference signal SS, can at least be reduced.

Wie im dargestellten Beispiel gezeigt, wird dadurch trotz der Einwirkung des akustischen Signals S, insbesondere Störsignals SS, die Erfassung qualitativ hochwertiger, insbesondere unverwackelter, Bilder UB des hier als Ampel ausgebildeten erfassten Objekts O mittels des Sensorchips 3 der Kamera 1 ermöglicht. Dadurch kann weiterhin die Objekterkennung OE und Objektklassifikation durchgeführt und das Objekt O korrekt, im dargestellten Beispiel als Ampel, identifiziert werden. Im dargestellten Beispiel erfolgt diese Ermittlung des Einflusses des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 und die Kompensation dieses Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 unabhängig davon, ob das detektierte akustische Signal S als akustisches Störsignal SS identifiziert wird oder nicht. Dadurch können auch geringere Einwirkungen auf die Beschleunigungssensoren 2, welche durch akustische Signale S verursacht werden, die nicht als akustisches Störsignal SS identifiziert werden, kompensiert werden.As shown in the example shown, despite the influence of the acoustic signal S, in particular interference signal SS, the capture of high-quality, in particular unshakable, images UB of the detected object O, which is designed here as a traffic light, is made possible by means of the sensor chip 3 of the camera 1. This means that object detection OE and object classification can continue to be carried out guided and the object O can be identified correctly, in the example shown as a traffic light. In the example shown, this determination of the influence of the detected acoustic signal S on the respective acceleration sensor 2 and the compensation of this influence in the sensor signal of the respective acceleration sensor 2 takes place regardless of whether the detected acoustic signal S is identified as an acoustic interference signal SS or not. This also makes it possible to compensate for smaller impacts on the acceleration sensors 2, which are caused by acoustic signals S that are not identified as acoustic interference signals SS.

Mittels der Schwellwerterkennung SE wird geprüft, ob das detektierte akustische Signal S einen Spektralanteil aufweist, dessen Frequenz in der Nähe der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 oder in der Nähe einer harmonischen dieser Eigenfrequenz liegt und dessen Amplitude einen vorgegebenen Amplitudengrenzwert übersteigt. Eine Frequenz liegt dabei dann in der Nähe der Eigenfrequenz bzw. in der Nähe einer harmonischen der Eigenfrequenz, wenn sie in einem vorgegebenen Bereich um die Eigenfrequenz bzw. um die harmonische der Eigenfrequenz liegt. Die Frequenz liegt dabei insbesondere dann in der Nähe der Eigenfrequenz bzw. in der Nähe einer harmonischen der Eigenfrequenz, wenn ihre Abweichung von der Eigenfrequenz bzw. der harmonischen der Eigenfrequenz geringer ist als ein vorgegebener Abweichungsgrenzwert. Mit anderen Worten: Es wird mittels der Schwellwerterkennung SE geprüft, ob die Frequenz des detektierten akustischen Signals S in der Nähe der Eigenfrequenz oder einer harmonischen der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt und ob die zu dieser Frequenz zugehörige Amplitude des detektierten akustischen Signals S den Amplitudengrenzwert übersteigt. Ist dies der Fall, wird das detektierte akustische Signal S als akustisches Störsignal SS identifiziert und es wird auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen. In diesem Fall wird eine Warnung W an einen Nutzer des Fahrzeugs ausgegeben.The threshold value detection SE is used to check whether the detected acoustic signal S has a spectral component whose frequency is close to the natural frequency of the respective acceleration sensor 2 or close to a harmonic of this natural frequency and whose amplitude exceeds a predetermined amplitude limit value. A frequency is close to the natural frequency or close to a harmonic of the natural frequency if it is in a predetermined range around the natural frequency or around the harmonic of the natural frequency. The frequency is in particular close to the natural frequency or close to a harmonic of the natural frequency if its deviation from the natural frequency or the harmonic of the natural frequency is less than a predetermined deviation limit value. In other words: The threshold value detection SE is used to check whether the frequency of the detected acoustic signal S is close to the natural frequency or a harmonic of the natural frequency of the respective acceleration sensor 2 and whether the amplitude of the detected acoustic signal S associated with this frequency exceeds the amplitude limit value exceeds. If this is the case, the detected acoustic signal S is identified as an acoustic interference signal SS and a malfunction of the image stabilization 6 is concluded. In this case, a warning W is issued to a user of the vehicle.

Wie beschrieben, wird im dargestellten Beispiel der Einfluss des detektierten akustischen Signals S auf den jeweiligen Beschleunigungssensor 2 ermittelt und dieser Einfluss im Sensorsignal des jeweiligen Beschleunigungssensors 2 kompensiert. In anderen Ausführungsformen kann vorgesehen sein, dass dies erst dann erfolgt, nachdem auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wurde, d. h. bei Detektion des akustischen Störsignals SS, also erst nachdem das detektierte akustische Signal S als Störsignal SS identifiziert wurde.As described, in the example shown, the influence of the detected acoustic signal S on the respective acceleration sensor 2 is determined and this influence is compensated for in the sensor signal of the respective acceleration sensor 2. In other embodiments it can be provided that this only takes place after a malfunction of the image stabilization 6 has been concluded, i.e. H. upon detection of the acoustic interference signal SS, i.e. only after the detected acoustic signal S has been identified as an interference signal SS.

Für das Detektieren des akustischen Signals S kann beispielsweise, wie oben bereits erwähnt, ein Mikrofon 5 verwendet werden, wie in den 3 und 4 gezeigt. Im Beispiel gemäß 3 ist vorgesehen, dass das Mikrofon 5, welches hierfür verwendet wird, ein Mikrofon MF einer Freisprechanlage 7 des Fahrzeugs ist. Hierbei wird das Mikrofon 5, MF über einen Tiefpass TP für die Freisprechanlage 7 und über einen Hochpass HP für das hier beschriebene Verfahren verwendet, d. h. für das Detektieren des akustischen Signals S für das akustische Modell M und die Schwellwerterkennung SE. Das Mikrofon 5, MF ist hier somit ein Dual-Use-Mikrofon, wobei akustische Signale S in tieffrequente Anteile und hochfrequente Anteile aufgeteilt werden. Die akustischen Signale S werden somit mittels des Tiefpasses TP in einen für das menschliche Gehör geeigneten Bereich aufgeteilt, welcher dann beispielsweise für die Freisprechanlage 7 verwendet werden kann, und mittels des Hochpasses HP in den für die Störung der Beschleunigungssensoren 2 relevanten Bereich aufgeteilt und für das hier beschriebene Verfahren verwendet, insbesondere für die Bildstabilisierung 6 mittels des akustischen Modells M während der Einwirkung des akustischen Störsignals SS auf die Beschleunigungssensoren 2 und als Detektionsmechanismus zur Identifizierung des akustischen Störsignals SS und Auslösen der Warnung W mittels der Schwellwerterkennung SE.For example, as already mentioned above, a microphone 5 can be used to detect the acoustic signal S, as shown in FIGS 3 and 4 shown. According to the example 3 It is provided that the microphone 5, which is used for this, is a microphone MF of a hands-free system 7 of the vehicle. Here, the microphone 5, MF is used via a low pass TP for the hands-free system 7 and via a high pass HP for the method described here, ie for detecting the acoustic signal S for the acoustic model M and the threshold value detection SE. The microphone 5, MF here is therefore a dual-use microphone, with acoustic signals S being divided into low-frequency components and high-frequency components. The acoustic signals S are thus divided by means of the low pass TP into a range suitable for human hearing, which can then be used, for example, for the hands-free system 7, and by means of the high pass HP into the range relevant for the interference with the acceleration sensors 2 and for that The method described here is used, in particular for image stabilization 6 by means of the acoustic model M during the action of the acoustic interference signal SS on the acceleration sensors 2 and as a detection mechanism for identifying the acoustic interference signal SS and triggering the warning W by means of the threshold value detection SE.

4 zeigt eine alternative Ausführungsform, bei der zwei Mikrofone 5, MF, insbesondere mit örtlicher Trennung, für diese beiden Zwecke, d. h. für die Freisprechanlage 7 und für das hier beschriebene Verfahren, vorgesehen sind. Hier ist somit ein Mikrofon MF für die Freisprechanlage 7 vorgesehen und ein zusätzliches Mikrofon 5 ist für das hier beschriebene Verfahren, d. h. für das Detektieren des akustischen Signals S für das akustische Modell M und die Schwellwerterkennung SE, vorgesehen. 4 shows an alternative embodiment in which two microphones 5, MF, in particular with local separation, are provided for these two purposes, ie for the hands-free system 7 and for the method described here. Here, a microphone MF is provided for the hands-free system 7 and an additional microphone 5 is provided for the method described here, ie for detecting the acoustic signal S for the acoustic model M and the threshold value detection SE.

Die Position des Mikrofons 5 für das hier beschriebene Verfahren, d. h. zur Detektion des akustischen Signals S, insbesondere des Störsignals SS, ist vorteilhafterweise möglichst nah an einem Einprägungsort angeordnet, d. h. möglichst nah an der Kamera 1, insbesondere an deren jeweiligem Beschleunigungssensor 2, somit beispielsweise in einem oberen Bereich einer Windschutzscheibe in einem Innenraum, insbesondere Fahrgastinnenraum, des Fahrzeugs, falls die beispielsweise als Monokamera oder Stereokamera ausgebildete Kamera 1 dort angeordnet ist. Falls dies mittels des für die Freisprechanlage 7 bereits im Fahrzeug verbauten Mikrofons MF nicht möglich ist, ist die Ausführungsform gemäß 4 mit dem zusätzlichen Mikrofon 5 besonders vorteilhaft.The position of the microphone 5 for the method described here, ie for detecting the acoustic signal S, in particular the interference signal SS, is advantageously arranged as close as possible to an impression location, ie as close as possible to the camera 1, in particular to its respective acceleration sensor 2, for example in an upper area of a windshield in an interior, in particular passenger interior, of the vehicle, if the camera 1, designed for example as a mono camera or stereo camera, is arranged there. If this is not possible using the microphone MF already installed in the vehicle for the hands-free system 7, the embodiment according to 4 particularly advantageous with the additional microphone 5.

Wie oben bereits erwähnt, wird das detektierte akustische Signal S insbesondere dann als akustisches Störsignal SS identifiziert, wenn seine Frequenz in der Nähe der Eigenfrequenz oder einer harmonischen der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 liegt und wenn die zu dieser Frequenz zugehörige Amplitude oberhalb des Amplitudengrenzwerts liegt, denn dann ist die störende Auswirkung auf den jeweiligen Beschleunigungssensor 2 besonders groß.As already mentioned above, the detected acoustic signal S is identified as an acoustic interference signal SS in particular if its frequency is close to the natural frequency or a harmonic of the natural frequency of the respective acceleration sensor 2 and if the amplitude associated with this frequency is above the amplitude limit value, because then the disruptive effect on the respective acceleration sensor 2 is particularly large.

Es entstehen dann charakteristische Schwingungen um die X-Achse, Y -Achse und/oder Z-Achse des dreidimensionalen Koordinatensystems in der Nähe der Eigenfrequenz. Die mittels der Beschleunigungssensoren 2 gemessene Beschleunigung X_GB(t), Y_GB(t), Z_GB(t) lässt sich dekomponieren in eine real vorliegende Beschleunigung X_RB(t), Y_RB(t), Z_RB(t) und eine durch das akustische Störsignal SS akustisch verursachte Beschleunigung X_AB(t), Y_AB(t), Z_AB(t), jeweils über die Zeit t: $\begin{matrix} X_{GB} (t) = X_{RB} (t) + X_{AB} (t) \\ Y_{GB} (t) = Y_{RB} (t) + Y_{AB} (t) \\ Z_{GB} (t) = Z_{RB} (t) + Z_{AB} (t) \end{matrix}$

Characteristic oscillations then arise around the X-axis, Y-axis and/or Z-axis of the three-dimensional coordinate system in the vicinity of the natural frequency. The acceleration X _GB (t), Y _GB (t), Z _GB (t) measured by the acceleration sensors 2 can be decomposed into a real acceleration X _RB (t), Y _RB (t), Z _RB (t) and an acceleration X _AB (t), Y _AB (t), Z _AB (t), each over time t, caused acoustically by the acoustic interference signal SS:

\begin{matrix} X_{GB} (t) = X_{RB} (t) + X_{AWAY} (t) \\ Y_{GB} (t) = Y_{RB} (t) + Y_{AWAY} (t) \\ Z_{GB} (t) = Z_{RB} (t) + Z_{AWAY} (t) \end{matrix}

Die akustisch verursachte Beschleunigung und die gemessene Beschleunigung sind dabei immer durch die durch das akustische Störsignal SS eingeprägte Frequenz gekoppelt.The acoustically caused acceleration and the measured acceleration are always coupled by the frequency impressed by the acoustic interference signal SS.

Durch Beschreibung der akustischen Beeinflussung der Beschleunigung mittels des akustischen Modells M mit einem jeweiligen Frequenzanteil f_x, f_y, f_z für die jeweilige Achse ist dann eine Kompensation oder Korrektur der Beschleunigung möglich, so dass der Anteil der akustischen Beschleunigung an der gemessenen Beschleunigung zumindest reduziert oder aufgehoben wird: $\begin{matrix} X_{GB} (t) = X_{RB} (t) + X_{AB} (t) - f_{x} (t) \\ Y_{GB} (t) = Y_{RB} (t) + Y_{AB} (t) - f_{y} (t) \\ Z_{GB} (t) = Z_{RB} (t) + Z_{AB} (t) - f_{z} (t) \end{matrix}$

By describing the acoustic influence on the acceleration using the acoustic model M with a respective frequency component f _x , f _y , f _z for the respective axis, compensation or correction of the acceleration is then possible, so that the proportion of the acoustic acceleration to the measured acceleration is at least is reduced or canceled:

\begin{matrix} X_{GB} (t) = X_{RB} (t) + X_{AWAY} (t) - f_{x} (t) \\ Y_{GB} (t) = Y_{RB} (t) + Y_{AWAY} (t) - f_{y} (t) \\ Z_{GB} (t) = Z_{RB} (t) + Z_{AWAY} (t) - f_{e.g} (t) \end{matrix}

Dabei gilt im Idealfall, d. h. um den Anteil der akustischen Beschleunigung an der gemessenen Beschleunigung aufzuheben: $\begin{matrix} X_{AB} (t) - f_{x} (t) = 0 \\ Y_{AB} (t) - f_{y} (t) = 0 \\ Z_{AB} (t) - f_{z} (t) = 0 \end{matrix}$

In the ideal case, i.e. in order to cancel out the proportion of the acoustic acceleration in the measured acceleration:

\begin{matrix} X_{AWAY} (t) - f_{x} (t) = 0 \\ Y_{AWAY} (t) - f_{y} (t) = 0 \\ Z_{AWAY} (t) - f_{e.g} (t) = 0 \end{matrix}

Das akustische Modell M kann im einfachsten Fall als Kennlinie hinterlegt werden. Zur Ermittlung dieser Kennlinie werden, wie in 5 gezeigt, akustische Anregungen, d. h. Signale S, mit unterschiedlichen Frequenzen auf die Kamera 1, insbesondere auf deren Beschleunigungssensoren 2, gegeben und die Auswirkungen auf die Beschleunigungssensoren 2 aufgezeichnet. Als akustisches Signal S kann beispielsweise ein akustischer Sweep, d. h. ein periodisches Signal mit steigender Frequenz, oder eine Einzelfrequenzanregung oder ein akustischer Impuls genutzt werden. Andere Anregungsformen, beispielsweise Mehrfrequenzanregung, Rechteck, Dreieck, Sägezahn oder andere, sind auch möglich.In the simplest case, the acoustic model M can be stored as a characteristic curve. To determine this characteristic curve, as in 5 shown, acoustic suggestions, ie signals S, with different frequencies are given to the camera 1, in particular to its acceleration sensors 2, and the effects on the acceleration sensors 2 are recorded. For example, an acoustic sweep, ie a periodic signal with increasing frequency, or a single frequency excitation or an acoustic pulse can be used as the acoustic signal S. Other forms of excitation, for example multi-frequency excitation, square, triangle, sawtooth or others, are also possible.

Durch einfache Subtraktion von Initialwerten IW, d. h. von Beschleunigungen, welche die Beschleunigungssensoren 2 ohne Schwankungen SA der Kamera 1 messen, von den gemessenen Beschleunigungen, die hier ausschließlich von dem akustischen Signal S verursacht werden, lässt sich dann die ausgelöste Störung der Beschleunigungssensoren 2 für jede einzelne Frequenz, verzeichnet in einer auch als Umsetzungstabelle bezeichneten Lookup-Tabelle 8, beschreiben und das akustische Modell M lässt sich als Übertragungsfunktion f_x(t), f_y(t), f_z(t) darstellen.By simply subtracting initial values IW, ie accelerations that the acceleration sensors 2 measure without fluctuations SA of the camera 1, from the measured accelerations, which here are caused exclusively by the acoustic signal S, the triggered disturbance of the acceleration sensors 2 can then be determined for each describe a single frequency, recorded in a lookup table 8, also known as a conversion table, and the acoustic model M can be represented as a transfer function f _x (t), f _y (t), f _z (t).

Alternativ ist es auch möglich, während der akustischen Anregung durch das akustische Signal S mittels der Kamera 1 eine Kameramessung KM mit Verwendung eines Referenzbildes RB, beispielsweise aus der ISO-16505, durchzuführen und eine Abweichung vom Referenzbild RB zu nutzen, um die Beziehung zwischen Referenzbild RB, aktuell gemessenem Bild und der Beschleunigung darzustellen, wie in 6 gezeigt.Alternatively, it is also possible to carry out a camera measurement KM using a reference image RB, for example from ISO-16505, during the acoustic excitation by the acoustic signal S using the camera 1 and to use a deviation from the reference image RB to determine the relationship between the reference image RB, currently measured image and the acceleration, as in 6 shown.

Auch hier erfolgt die akustische Anregung der Kamera 1 mittels des akustischen Signals S, wobei hier nicht Beschleunigungen mittels der Beschleunigungssensoren 2 gemessen werden, sondern die Auswirkung der akustischen Anregung durch das akustische Signal S auf das mittels der Kamera 1 erfasste Bild, d. h. dessen Abweichung vom Referenzbild RB aufgrund der akustischen Anregung durch das akustische Signal S und der dadurch gestörten Bildstabilisierung 6. Auch dies erfolgt wieder mittels der Lookup-Tabelle 8 für jede einzelne Frequenz. Auch hier lässt sich dann das akustische Modell M als Übertragungsfunktion f_x(t), f_y(t), f_z(t) darstellen.Here, too, the acoustic excitation of the camera 1 takes place by means of the acoustic signal S, whereby it is not accelerations that are measured using the acceleration sensors 2, but rather the effect of the acoustic excitation by the acoustic signal S on the image captured by the camera 1, that is, its deviation from the image Reference image RB due to the acoustic excitation by the acoustic signal S and the resulting disturbed image stabilization 6. This is again done using the lookup table 8 for each individual frequency. Here too, the acoustic model M can be represented as a transfer function f _x (t), f _y (t), f _z (t).

Sollten bei einem akustischen Störsignal SS die Werte des akustischen Modells M, d. h. die Frequenzanteile f_x, f_y, f_z für die Achsen, die zur Kompensation des akustischen Störsignals SS erforderlich sind, eine vorgegebene Grenze überschreiten, so kann von einer Fehlfunktion der Bildstabilisierung 6, beispielsweise durch einen akustischen Angriff, ausgegangen werden. Wenn dies durch die Schwellwerterkennung SE festgestellt wird, ist es sinnvoll, eine Warnung W auszugeben, wie in 7 gezeigt. Die Warnung W kann beispielsweise akustisch und/oder optisch erfolgen und kann beispielsweise auch protokolliert werden. Die vorgegebene Grenze ist insbesondere der Bereich der Eigenfrequenz des jeweiligen Beschleunigungssensors 2. Wie oben bereits beschrieben, wird somit ein detektiertes akustisches Signal S als akustisches Störsignal SS identifiziert, wenn seine Frequenz der Eigenfrequenz des jeweiligen Beschleunigungssensors 2 entspricht oder in deren Bereich liegt, wobei bei Detektion eines akustischen Störsignals SS auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wird und dann die Warnung W an den Nutzer des Fahrzeugs ausgegeben wird.If, in the case of an acoustic interference signal SS, _the values of the acoustic model M, _ie the frequency components _f 6, for example through an acoustic attack. If this is detected by the threshold detection SE, it makes sense to issue a warning W, as in 7 shown. The warning W can be acoustic and/or visual, for example also be logged. The predetermined limit is in particular the range of the natural frequency of the respective acceleration sensor 2. As already described above, a detected acoustic signal S is thus identified as an acoustic interference signal SS if its frequency corresponds to the natural frequency of the respective acceleration sensor 2 or is in its range, whereby Detection of an acoustic interference signal SS indicates a malfunction of the image stabilization 6 and then the warning W is issued to the user of the vehicle.

Sollten bei einem akustischen Störsignal SS die Werte des akustischen Modells M, die zur Kompensation des akustischen Störsignals SS erforderlich sind, außerhalb eines tolerierbaren Bereichs sein, ist es sinnvoll, das Fahrzeug in einen sicheren Zustand zu überführen und vorteilhafterweise auch die Bildstabilisierung 6 zu deaktivieren. D. h. nachdem auf eine Fehlfunktion der Bildstabilisierung 6 geschlossen wurde und wenn der Einfluss des akustischen Störsignals SS auf den jeweiligen Beschleunigungssensor 2 außerhalb eines vorgegebenen Toleranzbereichs liegt, wird das Fahrzeug in einen sicheren Zustand überführt und/oder die Bildstabilisierung 6 deaktiviert.If, in the case of an acoustic interference signal SS, the values of the acoustic model M, which are required to compensate for the acoustic interference signal SS, are outside a tolerable range, it makes sense to transfer the vehicle to a safe state and advantageously also to deactivate the image stabilization 6. I.e. after a malfunction of the image stabilization 6 has been concluded and if the influence of the acoustic interference signal SS on the respective acceleration sensor 2 lies outside a predetermined tolerance range, the vehicle is transferred to a safe state and/or the image stabilization 6 is deactivated.

Zur Beurteilung, was jeweils zum Erreichen dieses sicheren Zustands erforderlich ist, kann beispielsweise eine situationsbedingte Abwägung erfolgen. Beispielsweise kann vorgesehen sein, dass die Fahrzeugführung des Fahrzeugs an den Nutzer des Fahrzeugs übergeben wird und/oder eine Geschwindigkeit des Fahrzeugs reduziert wird und/oder das Fahrzeug an einen Fahrbahnrand gesteuert wird und/oder das Fahrzeug angehalten wird und/oder eine Warnblinkanlage des Fahrzeugs aktiviert wird.In order to assess what is required to achieve this safe state, for example, a situation-related assessment can be carried out. For example, it can be provided that the vehicle control of the vehicle is handed over to the user of the vehicle and/or a speed of the vehicle is reduced and/or the vehicle is steered to the edge of the road and/or the vehicle is stopped and/or a hazard warning light system of the vehicle is activated.

Um eine schnelle Klärung der Situation zu erhalten, kann beispielsweise vorgesehen sein, einen eCall abzusetzen und/oder ein Security-Incident Management System zu benachrichtigen. Es wird dann eine Kommunikationsverbindung zu einer fahrzeugexternen Einrichtung aufgebaut, beispielsweise die erwähnte eCall-Funktion oder auf andere Weise. Die fahrzeugexterne Einrichtung kann beispielsweise mit menschlichem Personal besetz sein und/oder ein Sicherheitsereignismanagementsystem sein, d. h. das erwähnte Security-Incident Management System.In order to obtain a quick clarification of the situation, it may be possible, for example, to send an eCall and/or notify a security incident management system. A communication connection is then established to a device external to the vehicle, for example the mentioned eCall function or in another way. The vehicle-external device can, for example, be staffed by human personnel and/or be a security event management system, i.e. H. the aforementioned security incident management system.

Zusätzlich können auch aktuelle Umgebungsdaten, d. h. insbesondere Daten von Umgebungserfassungssensoren und Positionsdaten, protokolliert und persistent gespeichert werden, um eine spätere Auswertung zu ermöglichen.In addition, current environmental data, i.e. H. in particular data from environmental detection sensors and position data, are logged and stored persistently to enable later evaluation.

Claims

Method for operating a vehicle, characterized in that - the vehicle has at least one camera (1) with image stabilization (6), which detects fluctuations (SA) of the camera (1) by means of at least one acceleration sensor (2) and image stabilizing measures based on this initiates, - acoustic signals (S) are detected, which are coupled to the at least one acceleration sensor (2), - a detected acoustic signal (S) is identified as an acoustic interference signal (SS) if it has a spectral component whose frequency is a natural frequency of the at least one acceleration sensor (2) or a harmonic of this natural frequency or is in a predetermined range around this natural frequency or around the harmonic of this natural frequency, and - if an acoustic interference signal (SS) is detected, a malfunction of the image stabilization (6) is concluded.

Procedure according to Claim 1 , characterized in that the detected acoustic signal (S) is identified as an acoustic interference signal (SS) if it has a spectral component - the frequency of which corresponds to the natural frequency of the at least one acceleration sensor (2) or the harmonic of this natural frequency or in the predetermined Area around this natural frequency or around the harmonics of this natural frequency and - whose amplitude exceeds a predetermined amplitude limit.

Method according to one of the preceding claims, characterized in that after a malfunction of the image stabilization (6) has been concluded, a warning (W) is issued to a user of the vehicle.

Method according to one of the preceding claims, characterized in that, after a malfunction of the image stabilization (6) has been concluded, an influence of the identified acoustic interference signal (SS) on the at least one acceleration sensor (2) is determined and this influence is reflected in a sensor signal of the at least one acceleration sensor (2) is compensated.

Method according to one of the preceding claims, characterized in that after a malfunction of the image stabilization (6) has been concluded and if the influence of the battery table interference signal (SS) on the at least one acceleration sensor (2) is outside a predetermined tolerance range, the vehicle is transferred to a safe state.

Procedure according to Claim 5 , characterized in that in order to transfer the vehicle to the safe state - vehicle control of the vehicle is handed over to a user of the vehicle, - a speed of the vehicle is reduced, - the vehicle is controlled to the edge of the road, - the vehicle is stopped, and /or - the vehicle's hazard warning lights are activated.

Method according to one of the preceding claims, characterized in that after a malfunction of the image stabilization (6) has been concluded and if the influence of the acoustic interference signal (SS) on the at least one acceleration sensor (2) is outside a predetermined tolerance range, the image stabilization ( 6) is deactivated.

Method according to one of the preceding claims, characterized in that the at least one camera (1) is used to carry out automated driving operation of the vehicle.

Method according to one of the preceding claims, characterized in that a communication connection to a device external to the vehicle is established after a malfunction of the image stabilization (6) has been concluded or when the vehicle is transferred to a safe state.

Method according to one of the preceding claims, characterized in that current environmental data is logged and saved after a malfunction of the image stabilization (6) has been concluded.