DE102019216628A1

DE102019216628A1 - Device and method for recognizing and classifying a closed state of a vehicle door

Info

Publication number: DE102019216628A1
Application number: DE102019216628.8A
Authority: DE
Inventors: Stefan Beller
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-04-29

Abstract

Vorrichtung (18), die dazu eingerichtet ist, während eines Schließvorgangs einer Fahrzeugtür aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen (P1, P2, P3, P4) zu überführen, welche eine Klassifizierung eines Schließzustands der Fahrzeugtür ermöglichen.Device (18) which is set up to convert noises recorded during a closing process of a vehicle door into classification information (P1, P2, P3, P4) by means of an artificial neural network, which enables a classification of a closed state of the vehicle door.

Description

Die Erfindung betrifft das Gebiet der Fahrerassistenzsysteme für Kraftfahrzeuge, insbesondere die Überwachung des Schließzustands der Türen eines Fahrzeugs.The invention relates to the field of driver assistance systems for motor vehicles, in particular the monitoring of the closed state of the doors of a vehicle.

Häufig werden Fahrzeugtüren ungewollt offengelassen oder nicht korrekt geschlossen. Insbesondere bei Kraftfahrzeugen, bei denen Türen im Fond des Kraftfahrzeugs, folglich an der C-Säule angeordnet sind, ist es erforderlich, dass die Fondtüren bei einem in Bewegung befindlichen Kraftfahrzeug korrekt verschlossen sind. Ansonsten würde eine lediglich spaltbreit geöffnete Tür vom Fahrtwind erfasst und in ihre maximale Öffnungsstellung aufgeschleudert werden. An die Sicherheit des Schließ- und Verriegelungssystems eines Fahrzeugs sind daher hohe Anforderungen zu stellen.Vehicle doors are often left open unintentionally or not closed correctly. In particular in motor vehicles in which doors are arranged in the rear of the motor vehicle, consequently on the C-pillar, it is necessary that the rear doors are correctly closed when a motor vehicle is in motion. Otherwise, a door that is only open with a gap would be caught by the airstream and thrown into its maximum open position. High demands are therefore made on the security of the locking and locking system of a vehicle.

Fahrzeuge sind üblicherweise mit einer Sensorik ausgestattet, die erkennen kann, ob eine Fahrzeugtür oder eine Kofferraumtür geschlossen oder offen ist. Eine geöffnete beziehungsweise nicht korrekt geschlossene Fahrzeugtür wird über die Bordelektronik dem Fahrer des Fahrzeugs typischerweise in der Instrumententafel angezeigt. Derartige Anzeigen geben zumeist auch einen Hinweis darauf, welche der Fahrzeugtüren nicht korrekt geschlossen ist.Vehicles are usually equipped with sensors that can detect whether a vehicle door or a trunk door is closed or open. An open or incorrectly closed vehicle door is typically displayed to the driver of the vehicle in the instrument panel via the on-board electronics. Such displays usually also provide an indication of which of the vehicle doors is not properly closed.

Aus der deutschen Offenlegungsschrift DE 10 2016 202 975 A1 ist ein Verfahren zur optischen Warnmeldung bei Vorliegen einer nicht geschlossenen Fahrzeugtür bekannt welches das Erfassen eines Türschließzustandes der Fahrzeugtür durch mindestens einen Sensor und das Ausgeben mindestens einer optischen Warnmeldung an einer lokal der Fahrzeugtür zugeordneten optischen Warneinrichtung in Abhängigkeit des erfassten Türschließzustandes umfasst. Der Sensor kann beispielsweise als Taster ausgebildet sein, welcher im Bereich der Scharniere der Fahrzeugtür oder an der B-Säule des Kraftfahrzeugs angeordnet ist.From the German Offenlegungsschrift DE 10 2016 202 975 A1 a method for optical warning when the vehicle door is not closed is known which includes detecting a door closed state of the vehicle door by at least one sensor and outputting at least one optical warning message to an optical warning device assigned locally to the vehicle door as a function of the detected door closed state. The sensor can be designed, for example, as a button which is arranged in the area of the hinges of the vehicle door or on the B-pillar of the motor vehicle.

Die deutsche Offenlegungsschrift DE 10 2017 124 731 A1 offenbart ein Verfahren und eine Vorrichtung zum Erkennen eines Zustands einer Fahrzeugtür. Das Verfahren enthält die Erfassung eines Zustandes einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs, das Ermitteln einer auszuführenden Funktion aus einer Vielzahl von Funktionen basierend auf dem erfassten Zustand der Tür, und das Ausführen der bestimmten Funktion. Verfahren und Vorrichtung können in einem Fahrzeug zur Anzeige grafischer Indikatoren implementiert werden, die über eine angelehnte Tür warnen, oder als zusätzliches Erfassungssystem zu einem festverdrahteten Türstatus-Sensor.The German Offenlegungsschrift DE 10 2017 124 731 A1 discloses a method and apparatus for recognizing a condition of a vehicle door. The method includes the detection of a state of a door based on at least one received image from a camera of a vehicle, the determination of a function to be executed from a plurality of functions based on the detected state of the door, and the execution of the specific function. The method and device can be implemented in a vehicle for displaying graphic indicators that warn of a door that is ajar, or as an additional detection system to a hard-wired door status sensor.

Allerdings können diese aus dem Stand der Technik bekannten Sensoren ausfallen oder fehlerhafte Werte liefern. Beispielsweise kann die Genauigkeit der Sensoren je nach Qualität auch unter 100 % liegen.However, these sensors known from the prior art can fail or deliver incorrect values. For example, the accuracy of the sensors can be less than 100% depending on the quality.

Ferner kann in dem aus der DE 10 2017 124 731 A1 bekannten Verfahren die Erkennung des Zustands einer Fahrzeugtür mittels Bildanalyse durch Verdeckung durch andere Objekte oder durch Verschmutzungen der Sensorik fehlerhaft sein, so dass durch die Bildanalyse keine relevanten Informationen über den Türzustand ableitbar sind.Furthermore, in the from the DE 10 2017 124 731 A1 known methods, the detection of the state of a vehicle door by means of image analysis due to obscuration by other objects or due to soiling of the sensors, so that no relevant information about the door state can be derived from the image analysis.

Auch sehen die aus dem Stand der Technik bekannten Türverriegelungssysteme keinen Sensor vor, der den erfassten Türschließzustand validieren kann.The door locking systems known from the prior art also do not provide a sensor that can validate the detected door closing state.

Obwohl bekannte Türverriegelungssysteme äußerst sicher und zuverlässig funktionieren, ist für den seltenen Fall einer Fehlfunktion oder eines Ausfalls des Verriegelungssystems oder der Fahrzeugelektronik für eine ausreichende Sicherheit der Fahrgäste zu sorgen.Although known door locking systems function extremely safely and reliably, sufficient safety of the passengers must be ensured in the rare event of a malfunction or failure of the locking system or the vehicle electronics.

Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Türverriegelungssystem mit einer hohen Ausfallsicherheit bereitzustellen. Insbesondere sollten die Vorrichtung und das Verfahren dazu geeignet sein, relevante Informationen bezüglich der Zustände der Fahrzeugtüren oder anderer Fahrzeugöffnungen zu erfassen und gegebenenfalls den Fahrer des Fahrzeuges über einen sicherheitsrelevanten oder kritischen Zustand zu informieren.Against this background, the present invention is based on the object of providing a door locking system with a high level of failure safety. In particular, the device and the method should be suitable for capturing relevant information regarding the states of the vehicle doors or other vehicle openings and, if necessary, informing the driver of the vehicle about a safety-relevant or critical state.

Die Aufgabe wird durch die erfindungsgemäße Vorrichtung nach Anspruch 1, sowie die Merkmale des erfindungsgemäßen Verfahrens gemäß Anspruch 10 gelöst. Weitere bevorzugte Ausführungsformen sind den abhängigen Ansprüchen sowie der nachfolgenden detaillierten Beschreibung und den Figuren zu entnehmen.The object is achieved by the device according to the invention according to claim 1 and the features of the method according to the invention according to claim 10. Further preferred embodiments can be found in the dependent claims and in the following detailed description and the figures.

Die Ausführungsbeispiele zeigen eine Vorrichtung, die dazu eingerichtet ist, während eines Schließvorgangs einer Fahrzeugtür oder anderer Fahrzeugöffnungen (Kofferraumtür, Laderaumtür und dergleichen) aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Informationen zu überführen, welche eine Klassifizierung des Schließzustands der Fahrzeugtür ermöglichen.The exemplary embodiments show a device which is set up to convert sounds recorded during a closing process of a vehicle door or other vehicle openings (trunk door, load compartment door and the like) into information by means of an artificial neural network, which enables the closed state of the vehicle door to be classified.

Eine solche Vorrichtung kann quasi „hören“, wenn die Fahrzeugtür nicht richtig geschlossen ist, bzw. ob diese während der Fahrt geschlossen bleibt. Dies ist insbesondere dann von Vorteil, wenn der Fahrer an Einschränkungen des Hörvermögens leidet, wie dies häufig bei älteren Personen der Fall ist, oder wenn das Fahrzeug ein selbstfahrendes autonomes Fahrzeug ohne Fahrer ist. Gerade in letzterem Fall können somit gefährliche Situationen vermieden werden.Such a device can quasi “hear” when the vehicle door is not properly closed or whether it remains closed while driving. This is particularly advantageous if the driver suffers from hearing impairments, as is often the case with older people, or if the vehicle is a self-driving autonomous vehicle without a driver. In the latter case in particular, dangerous situations can thus be avoided.

Die Klassifizierung des Schließzustands einer Tür kann die Klassifizierung des Schließzustands einer Vordertür, einer Hintertür, einer Heckklappe, eines Kofferraums oder jeglicher Öffnung eines Fahrzeugs basierend auf der Analyse eines erfassten Schließgeräusches mittels eines neuronalen Netzwerks umfassen.The classification of the closed state of a door can include the classification of the closed state of a front door, a rear door, a tailgate, a trunk or any opening of a vehicle based on the analysis of a detected closing sound by means of a neural network.

Das Schließgeräusch wird von akustischen Sensoren im Fahrzeug und außerhalb des Fahrzeugs erfasst. Bei den aufgenommenen Geräuschen kann es sich insbesondere um Signale ein oder mehrerer Mikrofone handeln und/oder um Schwingungsinformationen, die mittels ein oder mehrerer Körperschallsensoren detektiert wurden.The closing noise is recorded by acoustic sensors in and outside the vehicle. The recorded noises can in particular be signals from one or more microphones and / or vibration information that was detected by means of one or more structure-borne sound sensors.

Eine Möglichkeit besteht darin, die akustischen Signale als Geräusche, welche beim Schließvorgang von Fahrzeugtüren auftreten, zu erfassen und auf einen Türschließzustand abzubilden bzw. zu klassifizieren. Durch eine entsprechende Geräuschanalyse lassen sich aus den akustischen Abstrahlungen Rückschlüsse auf den Schließzustand einer Fahrzeugtür ziehen und somit die Sicherheit des Schließ- und Verriegelungssystems eines Fahrzeugs erhöhen.One possibility is to detect the acoustic signals as noises which occur during the closing process of vehicle doors and to map or classify them to a door closed state. A corresponding noise analysis can be used to draw conclusions about the closed state of a vehicle door from the acoustic emissions and thus increase the security of the vehicle's locking and locking system.

Die Vorrichtung kann ferner dazu ausgelegt sein, die gewonnenen Klassifizierungsinformationen an einen Benutzer, insbesondere einen Fahrer oder einen Insassen des Fahrzeugs, auszugeben. Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren dienen auf diese Weise beispielsweise der automatisierten Erfassung und Ausgabe relevanter Informationen bezüglich des Schließzustands der Fahrzeugtüren.The device can also be designed to output the classification information obtained to a user, in particular a driver or an occupant of the vehicle. The device according to the invention and the method according to the invention are used in this way, for example, for the automated detection and output of relevant information regarding the closed state of the vehicle doors.

Das Verfahren gemäß der Erfindung kann dabei besonders bevorzugt in autonomen Fahrzeugen eingesetzt werden, ist aber auch bei einem von einem menschlichen Fahrer gesteuerten Fahrzeug anwendbar.The method according to the invention can particularly preferably be used in autonomous vehicles, but can also be used in a vehicle controlled by a human driver.

Vorzugsweise umfasst die Vorrichtung ein künstliches neuronales Netz, welches dazu ausgelegt ist, während des Türschließvorgangs aufgenommene Geräusche in die Klassifizierungsinformationen zu überführen, welche eine Klassifizierung des Türschließzustandes ermöglichen. Das künstliche neuronale Netz ist insbesondere durch Trainingsdaten dazu trainiert, aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen zu überführen. Durch die Verwendung von künstlicher Intelligenz ist es insbesondere mit der erfindungsgemäßen Vorrichtung möglich, anhand von erfassten Geräuschen zu erkennen, ob Fahrzeugtüren, Kofferraumtüren, Ladetüren und dergleichen korrekt geschlossen sind und bei Erkennen eines Vorliegens einer nicht oder nicht korrekt geschlossenen Tür zu unterscheiden, welche der Türen nicht vollständig geschlossen ist. Auch das Erkennen von eingeklemmten Kleidungsstücken und Gegenständen (z.B. Tasche, Gurt) ist auf diese Weise möglich.The device preferably comprises an artificial neural network which is designed to convert noises recorded during the door closing process into the classification information, which enables the door closed state to be classified. The artificial neural network is trained, in particular by means of training data, to convert recorded noises into classification information by means of an artificial neural network. Through the use of artificial intelligence, it is possible in particular with the device according to the invention to use detected noises to recognize whether vehicle doors, trunk doors, loading doors and the like are correctly closed and to distinguish which of the doors is detected when a door that is not or incorrectly closed is detected Doors is not completely closed. Detection of trapped items of clothing and objects (e.g. bags, belts) is also possible in this way.

Die Vorrichtung kann ferner dazu ausgelegt sein, die während eines Türschließvorgangs aufgenommenen Geräusche zur Auswertung an ein externes Gerät oder einen externen Dienst zu übertragen. Beispielsweise können die Audio- bzw. Schwingungssignale in einer bestimmten Zeitspanne vor und nach dem Türschließvorgang zur Auswertung an ein externes Gerät oder einen externen Dienst, wie einen Cloud-Dienst versandt werden und die Klassifizierung mittels künstlicher Intelligenz wird in dem externen Gerät bzw. von dem externen Dienst vorgenommen.The device can also be designed to transmit the noises recorded during a door closing process to an external device or an external service for evaluation. For example, the audio or vibration signals can be sent to an external device or an external service, such as a cloud service, for evaluation in a certain period of time before and after the door closing process and the classification using artificial intelligence is carried out in the external device or by the external service made.

Die Verwendung eines rekurrenten neuronalen Netzes, insbesondere eines LSTMs, hat den Vorteil, dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen.The use of a recurrent neural network, in particular an LSTM, has the advantage that it can not only process individual data points, but also data sequences, such as audio or video sequences.

Die Vorrichtung kann ferner dazu eingerichtet sein, einen Windowing-Prozess auf den aufgenommenen Geräuschen auszuführen, um Datenfenster der aufgenommenen Geräusche zu erhalten.The device can furthermore be configured to carry out a windowing process on the recorded noises in order to obtain data windows of the recorded noises.

Die Vorrichtung kann ferner dazu eingerichtet sein, eine spektrale Darstellung eines Dantenfensters, insbesondere ein Cepstrum oder ein Mel-Cepstrum zu ermitteln.The device can also be set up to determine a spectral representation of a Danten window, in particular a cepstrum or a mel-cepstrum.

Die Vorrichtung kann ferner dazu eingerichtet sein, eine Klassifizierungsfunktion, insbesondere einen Softmax-Algorithmus oder einen SVM- Algorithmus auf den Ausgabevektor eines neuronalen Netzes anzuwenden, um die Klassifizierungsinformationen zu erhalten.The device can also be set up to apply a classification function, in particular a Softmax algorithm or an SVM algorithm, to the output vector of a neural network in order to obtain the classification information.

Die Vorrichtung kann ferner dazu eingerichtet sein, eine Fahrzeugsteuerungsmaßnahme basierend auf dem erfassten Schließzustand der Tür zu ermitteln.The device can also be configured to determine a vehicle control measure based on the detected closing state of the door.

Die Ausführungsbeispiele zeigen auch ein Fahrzeug mit einer akustischen Sensoreinrichtung und einer Vorrichtung, wie sie hier beschrieben ist, die dazu ausgelegt ist, während eines Schließvorgangs einer Fahrzeugtür mittels der akustischen Sensoreinrichtung aufgenommene Geräusche in Klassifizierungsinformationen zu überführen, welche eine Klassifizierung eines Schließzustandes der Fahrzeugtür ermöglichen.The exemplary embodiments also show a vehicle with an acoustic sensor device and a device, as described here, which is designed to convert sounds recorded by means of the acoustic sensor device during a closing process of a vehicle door into classification information that enables a classification of a closed state of the vehicle door.

Die Ausführungsbeispiele betreffen ferner auch ein Verfahren, bei dem während eines Schließvorgangs einer Fahrzeugtür aufgenommene Geräusche mittels eines künstlichen neuronalen Netzes in Klassifizierungsinformationen überführt werden, welche eine Klassifizierung eines Schließzustands der Fahrzeugtür ermöglichen. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln.The exemplary embodiments also relate to a method in which noises recorded during a closing process of a vehicle door are converted into classification information by means of an artificial neural network, which makes it possible to classify a closed state of the vehicle door. The method can in particular be a computer-implemented method.

FigurenlisteFigure list

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.

1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung.
3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit.
4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines Türschließzustandes durch die Sensorverarbeitungseinheit gemäß einem Ausführungsbeispiel der Erfindung.
5 zeigt schematisch einen Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal.
6 veranschaulicht detailliert den Prozess zum Bestimmen von MFC-Koeffizienten (MFCCs) aus einem Audioeingangssignal in 5.
7A, B und C zeigen schematisch das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels Softmax-Klassifizierungen.
8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines Türschließzustandes gemäß einem Ausführungsbeispiel der Erfindung.
9 zeigt einen Prozess des Trainings eines neuronalen Netzes.
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren beschrieben.

In the following, the invention is explained by way of example on the basis of the embodiments shown in the figures.

1 FIG. 13 is a block diagram schematically showing the configuration of a vehicle according to an embodiment of the present invention.
2 shows schematically an exemplary configuration of an acoustic sensor device.
3 shows schematically a sensor processing unit according to the invention.
4th FIG. 10 shows a flowchart of a process for classifying a door closed state by the sensor processing unit according to an embodiment of the invention.
5 FIG. 12 schematically shows a process for determining MFC coefficients (MFCCs) from an audio input signal.
6th FIG. 10 illustrates in detail the process for determining MFC coefficients (MFCCs) from an input audio signal in FIG 5 .
7A, B and C. show schematically the determination of normalized probabilities from the output of the last network layer by means of Softmax classifications.
8th FIG. 3 shows a flow diagram of a method for classifying a door closed state according to an exemplary embodiment of the invention.
9 shows a process of training a neural network.
In the following, exemplary embodiments of the present invention are described with reference to the figures.

1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Bei dem Fahrzeug 10 kann es sich insbesondere um ein fahrerloses autonomes oder um ein teilautonom bewegtes Fahrzeug handeln. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 30 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 30 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein. 1 Fig. 13 is a block diagram schematically showing the configuration of a vehicle 10 according to an embodiment of the present invention. With the vehicle 10 In particular, it can be a driverless autonomous or a partially autonomously moving vehicle. The vehicle 10 includes several electronic components that operate via a vehicle communication network 30th are connected to each other. The vehicle communication network 30th For example, a standard vehicle communication network built into the vehicle such as a CAN bus (controller area network), a LIN bus (local interconnect network), a LAN bus (local area network), a MOST bus and / or a FlexRay Be a bus (registered trademark) or the like.

In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.In the in 1 The example shown includes the vehicle 10 a control unit 12th (ECU 1) for a braking system. The braking system refers to the components that enable the vehicle to brake. The vehicle 10 further comprises a control unit 14th (ECU 2) that controls a powertrain. The drive train refers to the drive components of the vehicle. The powertrain may include an engine, a transmission, a drive / propeller shaft, a differential, and a final drive. The vehicle 10 further comprises a control unit 16 (ECU 3) that controls a steering system. The steering system refers to the components that enable directional control of the vehicle.

Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 18 (ECU 4), die beispielsweise in der Lage ist, auf Grundlage von Sensordaten, die von einer nachfolgend beschriebenen akustischen Sensoreinrichtung 20 bereitgestellt werden, eine Klassifizierung vorzunehmen, die es ermöglicht, einen Schließzustand einer Fahrzeugtür einer bestimmten Klasse zuzuordnen und ggf. ein Signal an eine Benutzerschnittstelle auszugeben, um das daraus resultierende Klassifizierungssignal einem Benutzer (Fahrer, Fahrzeuginsassen) anzuzeigen.The vehicle 10 further comprises a sensor processing unit 18th (ECU 4), which is able, for example, on the basis of sensor data from an acoustic sensor device described below 20th are provided to perform a classification that makes it possible to assign a closed state of a vehicle door to a certain class and, if necessary, to output a signal to a user interface in order to display the resulting classification signal to a user (driver, vehicle occupant).

Das Fahrzeug 10 umfasst ferner eine akustische Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 dient dazu, Geräusche, die bei dem Schließvorgang einer Fahrzeugtür erzeugt werden, zu erfassen. Die akustische Sensoreinrichtung 20 umfasst bevorzugt ein oder mehrere im Fahrzeug oder an der Außenseite des Fahrzeugs angebrachte akustische Sensoren, die konfiguriert sind, um die bei dem Schließvorgang einer Fahrzeugtür auftretenden Geräusche zu erfassen. Bei den akustischen Sensoren kann es sich beispielsweise um Mikrofone handeln, die Luftschall detektieren. Alternativ oder zusätzlich kann es sich bei den akustischen Sensoren auch um am oder im Fahrzeug angebrachte Sensoren handeln, die Körperschall detektieren, der durch einen Türschließvorgang entsteht. Die Sensoren können beispielsweise im Innenraum am Türrahmen jeder Fahrzeugtür oder Fahrzeugöffnung, oder an der Außenseite des Fahrzeugs unmittelbar oberhalb oder unterhalb jeder Fahrzeugtür oder Fahrzeugöffnung angebracht sein. Die von den akustischen Sensoren erfassten Geräusche bzw. Schwingungen werden, wie weiter unten beschrieben, mittels künstlicher Intelligenz analysiert, um ein für einen Türschließvorgang charakteristisches akustisches Muster zu erkennen. Die akustische Sensoreinrichtung 20 wird in 2 ausführlicher beschrieben.The vehicle 10 furthermore comprises an acoustic sensor device 20th . The acoustic sensor device 20th is used to detect noises that are generated when a vehicle door is closed. The acoustic sensor device 20th preferably comprises one or more acoustic sensors mounted in the vehicle or on the outside of the vehicle, which acoustic sensors are configured to detect the noises occurring during the closing process of a vehicle door. The acoustic sensors can, for example, be microphones that detect airborne sound. As an alternative or in addition, the acoustic sensors can also be sensors mounted on or in the vehicle that detect structure-borne noise that is generated by a door closing process. The sensors can for example be attached in the interior on the door frame of each vehicle door or vehicle opening, or on the outside of the vehicle directly above or below each vehicle door or vehicle opening. The noises or noises detected by the acoustic sensors As described below, vibrations are analyzed using artificial intelligence in order to identify an acoustic pattern that is characteristic of a door closing process. The acoustic sensor device 20th is in 2 described in more detail.

Das Fahrzeug 10 umfasst ferner Türsensoren 22 zum Erfassen des Schließzustandes („geschlossen“/„geöffnet“) der Fahrzeugtüren. Dabei kann auf dem Fachmann bereits bekannte Komponenten bzw. auf Sensoren zurückgegriffen werden, wie sie üblicherweise in Fahrzeugen installiert sind. Ein Türsensor 22 kann beispielsweise ein in der Nähe der Scharniere der Fahrzeugtür oder an der B-Säule des Fahrzeugs angeordneter Taster sein, der bei vollständig geschlossener Fahrzeugtür gedrückt ist und bei nicht vollständig geschlossener Fahrzeugtür nicht gedrückt ist und ein entsprechendes Signal erzeugt.The vehicle 10 also includes door sensors 22nd for recording the closed status ("closed" / "open") of the vehicle doors. In this case, it is possible to fall back on components already known to the person skilled in the art or on sensors such as are usually installed in vehicles. A door sensor 22nd can be, for example, a button located near the hinges of the vehicle door or on the B-pillar of the vehicle, which is pressed when the vehicle door is completely closed and is not pressed when the vehicle door is not completely closed and generates a corresponding signal.

Weiterhin umfasst das Fahrzeug 10 eine Funkkommunikationsschnittstelle 31, hier insbesondere eine Mobilfunkkommunikationsschnittstelle, die nach dem LTE/UMTS-Standard ausgebildet ist, und die es dem Fahrzeug ermöglicht, mit einem externen Dienst zu kommunizieren, der als Server, oder als Cloud-Dienst realisiert sein kann. Hierfür umfasst die Mobilfunkkommunikationsschnittstelle beispielsweise ein Subscriber Identity Module (SIM), mittels dessen sich das Fahrzeug an einem Mobilfunknetz anmelden kann, so dass das Fahrzeug über das Mobilfunknetz auf den externen Server zugreifen kann.The vehicle also includes 10 a radio communication interface 31 , here in particular a cellular communication interface that is designed according to the LTE / UMTS standard and that enables the vehicle to communicate with an external service that can be implemented as a server or as a cloud service. For this purpose, the cellular communication interface includes, for example, a Subscriber Identity Module (SIM), by means of which the vehicle can log on to a cellular network so that the vehicle can access the external server via the cellular network.

Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 24 (GNSS-Einheit) zur Erfassung der Position des Fahrzeugs. Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen. Die Positionsbestimmung kann dazu verwendet werden, im Fall einer sicherheitsrelevanten Situation die nächstgelegene Möglichkeit für das Fahrzeug zu bestimmen, rechts ranzufahren (beispielsweise die nächste Notfallparkbucht/Parkplatz), so dass das Fahrzeug, insbesondere wenn es im autonomen Betriebsmodus unterwegs ist, dort sicher stehen bleiben kann.The vehicle sensors of the vehicle 10 also includes a satellite navigation unit 24 (GNSS unit) for detecting the position of the vehicle. It should be pointed out that in the context of the present invention, GNSS stands for all global navigation satellite systems (GNSS), such as GPS, AGPS, Galileo, GLONASS (Russia), Compass (China), IRNSS (India) and the like. The position determination can be used to determine the closest possibility for the vehicle to drive to the right in the event of a safety-relevant situation (for example the next emergency parking bay / parking lot) so that the vehicle, especially when it is traveling in autonomous operating mode, can safely stop there can.

Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Die Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine Ausgabeeinheit, insbesondere eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform umfassen, welche beispielsweise den Schließzustand der Fahrzeugtüren anzeigen kann. Ferner kann die Benutzerschnittstelle 32 einen Lautsprecher, eine taktile Rückmeldevorrichtung oder dergleichen, umfassen. Die Benutzerschnittstelle 32 kann ferner über die Sensorverarbeitungseinheit 18 gesteuert werden, um Ausgaben für den Fahrer zum Erkennen eines Schließzustands der Fahrzeugtüren bereitzustellen. Die Ausgabeeinheit kann beispielsweise eine Beleuchtungsvorrichtung umfassen, die von der Sensorverarbeitungseinheit 18 (ECU 4) so angesteuert werden kann, dass bei Erkennen eines sicherheitsrelevanten oder kritischen Schließzustands einer Fahrzeugtür ein der Tür zugeordnetes Warnsignal ausgegeben wird. Die Benutzerschnittstelle 32 kann ferner eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.The vehicle 10 further comprises a user interface 32 (HMI = Human-Machine-Interface), which enables a vehicle occupant to interact with one or more vehicle systems. The user interface 32 (for example a GUI = Graphical User Interface) can comprise an output unit, in particular an electronic display for outputting graphics, symbols and / or content in text form, which can display the closed state of the vehicle doors, for example. Furthermore, the user interface 32 a loudspeaker, tactile feedback device or the like. The user interface 32 can also be via the sensor processing unit 18th can be controlled to provide outputs for the driver to recognize a closed state of the vehicle doors. The output unit can comprise, for example, a lighting device that is provided by the sensor processing unit 18th (ECU 4) can be controlled in such a way that when a safety-relevant or critical closed state of a vehicle door is recognized, a warning signal assigned to the door is output. The user interface 32 may further comprise an input interface for receiving an input (for example manual input, voice input and input by means of gestures, head or eye movements). The input interface can include, for example, keyboards, switches, touch-sensitive screens, eye trackers and the like.

2 zeigt schematisch eine beispielhafte Konfiguration einer akustischen Sensoreinrichtung 20. Die akustische Sensoreinrichtung 20 weist ein analoges Frontend auf, das mit Mikrofonen MIC1-MIC4, einer Verstärkereinrichtung 26 und einem Analog-Digital-Wandler (AD-Wandler) 28 ausgestattet ist. Über die Mikrofone MIC1-MIC4 werden akustische Signale beziehungsweise Geräusche erfasst, die bei einem Schließvorgang von Fahrzeugtüren auftreten, und durch geeignete Vorverstärkung oder Entzerrung für eine Analog-Digital-Wandlung im AD-Wandler 28 vorbereitet. Der AD-Wandler 28 gibt entsprechende digitale Audiosignale über eine Schnittstelle zum Fahrzeugdatenbus (hier beispielsweise ein CAN-Interface CAN-IF) aus. Die Audiosignale werden über das Bussystem beispielsweise an die Sensorverarbeitungseinheit (18 in 1) übertragen, die eine Klassifizierung des Schließzustands einer Fahrzeugtür auf Grundlage der Audiosignale durchführt, wie weiter unten beschrieben. Zusätzlich oder alternativ könnte die akustische Sensoreinrichtung 20 auch Körperschallsensoren umfassen, die dazu ausgelegt sind, Körperschall zu detektieren, der durch einen Türschließvorgang. 2 shows schematically an exemplary configuration of an acoustic sensor device 20th . The acoustic sensor device 20th has an analog front end with microphones MIC1-MIC4, an amplifier device 26th and an analog-to-digital converter (AD converter) 28 Is provided. Acoustic signals or noises that occur when vehicle doors are closed are recorded via the microphones MIC1-MIC4, and through suitable pre-amplification or equalization for analog-digital conversion in the AD converter 28 prepared. The AD converter 28 outputs corresponding digital audio signals via an interface to the vehicle data bus (here for example a CAN interface CAN-IF). The audio signals are sent via the bus system, for example, to the sensor processing unit ( 18th in 1 ) which carries out a classification of the closed state of a vehicle door on the basis of the audio signals, as described below. Additionally or alternatively, the acoustic sensor device could 20th also include structure-borne noise sensors that are designed to detect structure-borne noise caused by a door closing process.

Im Ausführungsbeispiel der 2 werden die Audiosignale bzw. Schwingungssignale in digitaler Form über den Fahrzeugbus übertragen. In alternativen Ausführungsformen könnten die Mikrofone auch direkt an die Sensorverarbeitungseinheit angeschlossen sein und die Analog/Digital-Wandlung könnte in einem Audiointerface innerhalb der Sensorverarbeitungseinheit stattfinden.In the embodiment of 2 the audio signals or vibration signals are transmitted in digital form via the vehicle bus. In alternative embodiments, the microphones could also be connected directly to the sensor processing unit and the analog / digital conversion could take place in an audio interface within the sensor processing unit.

3 zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 18. Alle Bestandteile der Sensorverarbeitungseinheit 18 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 18 umfasst einen anwendungsspezifischen integrierten Schaltkreis 47. Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln, das ein Deep Neural Network (DNN) hardwaremäßig implementiert. Die Sensorverarbeitungseinheit 18 umfasst einen Prozessor 41. Bei dem Prozessor 41 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (30 in 2) kommunizieren kann, hier insbesondere um akustische Sensorsignale (Audiodaten von Mikrofonen bzw. Schwingungsdaten von Körperschallsensoren) von der akustischen Sensoreinrichtung (20 in 1) zu empfangen und um die Benutzerschnittstelle (32 in 1) anzusteuern, um Ausgaben für den Fahrer zum Erkennen eines Schließzustands der Fahrzeugtüren bereitzustellen. 3 shows schematically a sensor processing unit according to the invention 18th . All components of the sensor processing unit 18th are via an internal communication network 46 connected. The sensor processing unit 18th includes an application specific integrated circuit 47 . With the integrated circuit 47 For example, it can be a GPU or a GPU cluster that implements a Deep Neural Network (DNN) in terms of hardware. The sensor processing unit 18th includes a processor 41 . At the processor 41 For example, it can be a computing unit such as a central processing unit (CPU = Central Processing Unit) that executes program instructions, for example information for processing by the integrated circuit 47 to prepare. The sensor processing unit 18th further comprises a memory and an input / output interface. The memory can consist of one or more non-transitory computer-readable media and comprises at least a program storage area and a data storage area. The program memory area and the data memory area can comprise combinations of different types of memory, for example read-only memory 43 (ROM = Read-Only Memory) and a random access memory 42 (RAM = Random Access Memory) (e.g. dynamic RAM ("DRAM"), synchronous DRAM ("SDRAM"), etc.). Furthermore, the sensor processing unit 18th an external storage drive 44 such as an external hard disk drive (HDD), a flash memory drive, or a non-volatile solid state drive (SSD). The sensor processing unit 18th further comprises a communication interface 45 via which the control unit connects to the vehicle communication network ( 30th in 2 ) can communicate, in particular to receive acoustic sensor signals (audio data from microphones or vibration data from structure-borne noise sensors) from the acoustic sensor device ( 20th in 1 ) and to use the user interface ( 32 in 1 ) to control in order to provide outputs for the driver to recognize a closed state of the vehicle doors.

In dem Ausführungsbeispiel der 1 ist die Funkkommunikationsschnittstelle 31 über das Fahrzeugbussystem 30 mit der Sensorverarbeitungseinheit 18 gekoppelt. In alternativen Ausführungsbeispielen könnte die Sensorverarbeitungseinheit 18 jedoch auch eine integrierte Funkkommunikationsschnittstelle aufweisen, so dass keine Kommunikation über das Fahrzeugbussystem 30 erforderlich ist.In the embodiment of 1 is the radio communication interface 31 via the vehicle bus system 30th with the sensor processing unit 18th coupled. In alternative embodiments, the sensor processing unit could 18th however also have an integrated radio communication interface, so that no communication via the vehicle bus system 30th is required.

4 zeigt ein Flussdiagramm eines Prozesses zur Klassifizierung eines Schließzustands einer Fahrzeugtür mittels künstlicher Intelligenz gemäß einem Ausführungsbeispiel. Der Klassifizierungsprozess wird beispielsweise von einer Sensorverarbeitungseinheit (18 in 1) insbesondere von einem Prozessor (41 in 3) oder einem anwendungsspezifischen integrierten Schaltkreis (47 in 3) der Sensorverarbeitungseinheit ausgeführt. In einem Schritt 402 werden akustische Sensorsignale 400, die von einer akustischen Sensoreinrichtung (20 in 1) erfasst wurden, in ein Deep Neuronal Network (DNN) eingespeist, das darauf trainiert wurde, die Klasse eines Schließzustands einer Fahrzeugtür aus den akustischen Sensorsignalen zu erkennen. Das neuronale Netzwerk (siehe 5 und die zugehörige Beschreibung) gibt dann die mittels künstlicher Intelligenz auf Grundlage des Trainingsprozesses gewonnen Klassifizierungsinformationen 404 bezüglich dem Schließzustand aus. Die Klassifizierungsinformationen 404 umfassen beispielsweise Klassifizierungssignale, welche Wahrscheinlichkeiten für die jeweiligen Schließzustände („richtig geschlossen“, „nicht richtig geschlossen“, „eingeklemmtes Kleidungsstück“ und dergleichen) anzeigen, wie dies unten unter Bezug auf 7 näher beschrieben ist. 4th FIG. 3 shows a flow chart of a process for classifying a closed state of a vehicle door by means of artificial intelligence according to an exemplary embodiment. The classification process is carried out, for example, by a sensor processing unit ( 18th in 1 ) in particular from a processor ( 41 in 3 ) or an application-specific integrated circuit ( 47 in 3 ) of the sensor processing unit. In a step 402, acoustic sensor signals 400, which are generated by an acoustic sensor device ( 20th in 1 ) were fed into a Deep Neural Network (DNN), which was trained to recognize the class of a closed state of a vehicle door from the acoustic sensor signals. The neural network (see 5 and the associated description) then outputs the classification information 404 relating to the closed state, obtained by means of artificial intelligence on the basis of the training process. The classification information 404 includes, for example, classification signals which indicate probabilities for the respective closing states (“correctly closed”, “not properly closed”, “jammed garment” and the like), as described below with reference to FIG 7th is described in more detail.

5 zeigt ein Ausführungsbeispiel des Prozesses zur Klassifizierung eines Schließzustands einer Fahrzeugtür mittels künstlicher Intelligenz der 4 anhand von Audiodaten. Ein Windowing-Prozess 50 wird auf einem Audioeingangssignal x(n) durchgeführt, um Audio-Rahmen, auch Audiodatenfenster genannt, zu erhalten. Die Audio-Rahmen überlappen sich typischerweise, z.B. mit einer Überlappungsrate von z.B. 20%. Die Audio-Rahmen werden einem Mel-Frequenz-Cepstrum (MFC)-Prozess 51 zugeführt, der für jeden Audio-Rahmen einen Satz von Mel-Frequenz-Cepstrum-Koeffizienten MFCC(n) erzeugt. Die Mel-Frequenz-Cepstrum-Technik ist dem Fachmann der Klangverarbeitung bekannt als eine Darstellung des kurzfristigen Leistungsspektrums eines Klangs, basierend auf einer linearen Cosinustransformation eines Leistungsspektrums auf einer nichtlinearen Mel-Skala. Das Mel-Frequenzcepstrum MFCC(n) wird einem Deep Neural Network (DNN) des Typs Long-Short-Term-Memory (LSTM) 52 zugeführt, das mittels Trainingsdaten dazu trainiert wurde, eine Audioklassifizierung durchzuführen, wie dies unten in Bezug auf 9 näher beschrieben ist. Das LSTM hat den Vorteil, dass es Feedback-Connections und einen internen Speicher aufweist, so dass es nicht nur einzelne Datenpunkte verarbeiten kann, sondern auch Datensequenzen, wie beispielsweise Audio- oder Videosequenzen. Auf die Ausgabe der Ausgabeschicht des LSTM eine Softmax-Funktion 53 angewandt, um die Aktivierungen der Ausgabeschicht zu normieren. Die Softmax-Funktion 53 erzeugt eine Wahrscheinlichkeitsverteilung der Ausgaben. Der Ausgabe-Vektor liefert eine Wahrscheinlichkeitsverteilung zwischen sich gegenseitig ausschließenden Klassen, indem die Ausgabe der anderen Neuronen im selben Layer berücksichtigt wird. Die Summe aller Ausgänge einer Softmax-Ausgabe ist dadurch auf 1 normiert. Diese Normalisierung mittels der Softmax-Funktion gewichtet die Ausgaben für die jeweilige Zustandsklasse in Bezug auf die Summe über alle Zustandsklassen. So wird eine direkte Einteilung in verschiedene Zustandsklassen ermöglicht, indem jeder Klasse genau ein Ausgabeneuron zugeteilt wird. Die Klasse mit der höchsten Aktivierung ist die wahrscheinlichste Vorrausage des Netzwerks. Auf diese Weise hat eine starke Vorhersage für eine Klasse (P = 1) automatisch zur Folge, dass die Vorhersagen für die restlichen Klassen nahe 0 sind. 5 shows an embodiment of the process for classifying a closed state of a vehicle door by means of artificial intelligence 4th based on audio data. A windowing process 50 is performed on an audio input signal x (n) to obtain audio frames, also called audio data windows. The audio frames typically overlap, for example with an overlap rate of, for example, 20%. The audio frames are made using a Mel Frequency Cepstrum (MFC) process 51 which generates a set of mel-frequency cepstrum coefficients MFCC (n) for each audio frame. The Mel Frequency Cepstrum technique is known to those skilled in the art of sound processing as a representation of the short term power spectrum of a sound based on a linear cosine transform of a power spectrum on a nonlinear Mel scale. The Mel-Frequency cepstrum MFCC (n) is part of a Deep Neural Network (DNN) of the Long-Short-Term-Memory (LSTM) type 52 which has been trained by means of training data to perform an audio classification, as described below in relation to FIG 9 is described in more detail. The LSTM has the advantage that it has feedback connections and an internal memory so that it can not only process individual data points, but also data sequences such as audio or video sequences. A Softmax function on the output of the output layer of the LSTM 53 applied to normalize the activations of the output layer. The Softmax function 53 generates a probability distribution of the expenses. The output vector provides a probability distribution between mutually exclusive classes by taking into account the output of the other neurons in the same layer. The sum of all outputs of a Softmax output is thereby normalized to 1. This normalization using the Softmax function weights the outputs for the respective health class in relation to each other on the sum of all condition classes. This enables a direct division into different status classes by assigning exactly one output neuron to each class. The class with the highest activation is the most likely prediction of the network. In this way, a strong prediction for one class (P = 1) automatically results in the predictions for the remaining classes being close to 0.

Im Ausführungsbeispiel der 5 findet als Realisierung des DNN (402 in 4) ein LSTM als Spezialfall eines rekurrentes neuronalen Netzes (Recurrent Neural Networks = RNN) Anwendung. Alternativ können allerdings auch andere DNN-Architekturen, insbesondere RNN-Architekturen für die Audioklassifizierung verwendet werden, beispielsweise solche, die auf Gated-Recurrent-Units (GRUs) basieren.In the embodiment of 5 takes place as a realization of the DNN (402 in 4th ) an LSTM as a special case of a recurrent neural network (Recurrent Neural Networks = RNN) application. Alternatively, however, other DNN architectures, in particular RNN architectures, can also be used for the audio classification, for example those based on gated recurrent units (GRUs).

In 5 wird zur schematischen Darstellung des Prinzips der Erfindung dem neuronalen Netz nur ein Spektrogramm zugeführt. Stehen akustische Signale von mehreren Sensoren zur Verfügung, kann für jedes Signal eines Sensors ein jeweiliges Spektrogramm ermittelt werden und das neuronale Netz so ausgelegt werden, dass es mehrere Spektrogramme parallel als Eingangsgrößen entgegennimmt. Entsprechend wird das neuronale Netz auch in der Trainingsphase mit Spektrogrammen korrespondierender Sensoren trainiert.In 5 For a schematic representation of the principle of the invention, only one spectrogram is fed to the neural network. If acoustic signals from several sensors are available, a respective spectrogram can be determined for each signal from a sensor and the neural network can be designed in such a way that it receives several spectrograms in parallel as input variables. Correspondingly, the neural network is also trained in the training phase with spectrograms from corresponding sensors.

Ferner wird im Ausführungsbeispiel der 5 das Audiosignal dem neuronalen Netz in Form eines Mel-Frequenz-Cepstrum zugeführt. In alternativen Ausführungsbeispielen können statt dem Mel-Frequenz-Cepstrum auch andere Darstellungen des Audiosignals gewählt werden, wie beispielsweise ein normales Cepstrum, oder ein gebinntes Fourier-Spektrum. Die Vorverarbeitung der Audiosignale durch Ermittlung eines Spektrums hat im Allgemeinen den Vorteil, dass die Klang-Informationen auf wesentliche Informationen reduziert werden und damit die Verarbeitung durch das neuronale Netzwerk vereinfacht wird. Auf solch eine Vorverarbeitung kann in alternativen Ausführungsformen auch ganz verzichtet werden und stattdessen die Audiodaten eines Audio-Rahmens direkt dem neuronalen Netzwerk zugeführt werden.Furthermore, in the exemplary embodiment 5 the audio signal is fed to the neural network in the form of a mel-frequency cepstrum. In alternative exemplary embodiments, instead of the mel-frequency cepstrum, other representations of the audio signal can also be selected, such as, for example, a normal cepstrum or a finned Fourier spectrum. The preprocessing of the audio signals by determining a spectrum generally has the advantage that the sound information is reduced to essential information and thus processing by the neural network is simplified. Such preprocessing can also be dispensed with entirely in alternative embodiments and instead the audio data of an audio frame can be fed directly to the neural network.

Obgleich der Prozess der 5 anhand von Audiodaten beschrieben ist, kann der Prozess entsprechend auch auf andere Sensordaten angewandt werden, wie beispielsweise auf akustische Informationen, die von Körperschallsensoren geliefert werden.Although the process of 5 is described on the basis of audio data, the process can correspondingly also be applied to other sensor data, such as, for example, to acoustic information that is supplied by structure-borne sound sensors.

Für die Klassifizierung können statt der Softmax-Funktion 53 auch andere Klassifizierer verwendet werden, beispielsweise ein SVM-Klassifizierer (SVM = Support Vector Machine), wie dies durch B. E. Boser, et al beschrieben ist in „A training algorithm for optimal margin classifiers“, in Proc. COLT, 1992, S. 144-152 .For the classification you can use the Softmax function instead of 53 other classifiers can also be used, for example an SVM (SVM = Support Vector Machine) classifier, as indicated by BE Boser, et al is described in "A training algorithm for optimal margin classifiers", in Proc. COLT, 1992, pp. 144-152 .

6 veranschaulicht detaillierter den Prozess, der von dem künstlichen neuronalen Netz der 5 durchgeführt wird. Die Mel-Frequenz-Cepstrum-Koeffizienten der Audio-Rahmen bilden eine Folge von Feature-Vektoren MFCC₁(n), MFCC₂(n), ... MFCC_T(n), die iterativ in das DNN eingegeben werden, wie dies beispielsweise durch Huy Phan et al in „Audio Scene Classification with Deep Recurrent Neural Networks“, arXiv:1703.04770v2 [cs.SD] 5 Jun 2017 näher beschrieben ist. Das DNN besteht aus LSTM-Einheiten LSTM-1 bis LSTM-L (oder alternativ GRU-Einheiten), die in Schichten 1 bis L angeordnet sind. Das DNN iteriert über die Mel-Vektoren MFCC₁(n), MFCC₂(n), ... MFCC_T(n) und berechnet eine Folge von versteckten Zustandsvektoren h1ⁱ, h₂ ⁱ, ...., h_T ⁱ, i = 1, ..., T. Jede LSTM-Einheit empfängt einen versteckten Zustand von der vorherigen Einheit und gibt ihn sowie seinen eigenen versteckten Zustand aus. Der Ausgabevektor O des DNN wird dann aus den versteckten Zuständen der letzten Schicht L nach der letzten Iteration T bestimmt. Diese Ausgabe wird, wie in 5 beschrieben, einer Klassifizierungsfunktion zugeführt, um normalisierte Aussagen über die Wahrscheinlichkeitsverteilung bezüglich der vordefinierten Audioklassen zu erhalten. 6th illustrates in more detail the process carried out by the artificial neural network of the 5 is carried out. The mel frequency cepstrum coefficients of the audio frames form a sequence of feature vectors MFCC ₁ (n), MFCC ₂ (n), ... MFCC _T (n), which are iteratively entered into the DNN, like this for example by Huy Phan et al in "Audio Scene Classification with Deep Recurrent Neural Networks", arXiv: 1703.04770v2 [cs.SD] 5 Jun 2017 is described in more detail. The DNN consists of LSTM units LSTM-1 to LSTM-L (or alternatively GRU units) arranged in layers 1 to L. The DNN iterates over the Mel vectors MFCC ₁ (n), MFCC ₂ (n), ... MFCC _T (n) and calculates a sequence of hidden state vectors h1 ⁱ , h ₂ ⁱ , ...., h _T ⁱ , i = 1, ..., T. Each LSTM unit receives a hidden state from the previous unit and outputs it as well as its own hidden state. The output vector O of the DNN is then determined from the hidden states of the last layer L after the last iteration T. This output, as in 5 described, fed to a classification function in order to obtain normalized statements about the probability distribution with regard to the predefined audio classes.

Ein neuronales Netz kann auch, wie oben zu 5 bereits beschrieben, dazu ausgelegt sein, die Sensorsignale mehrerer Sensoren auszuwerten. In diesem Fall sind LSTM-Einheiten entsprechend so dimensioniert, dass sie die Audio-Rahmen mehrerer Sensoren parallel entgegennehmen.A neural network can also, as above, too 5 already described, be designed to evaluate the sensor signals of several sensors. In this case, LSTM units are dimensioned so that they receive the audio frames from several sensors in parallel.

7 zeigt schematisch Ausführungsbeispiele für das Ermitteln von normierten Wahrscheinlichkeiten aus der Ausgabe der letzten Netzwerkschicht mittels einer Softmax-Klassifizierung. Der Ausgabevektor O des DNN, wie er durch den Prozess der 6 erhalten wurde, wird einer Softmax-Funktion 53 zugeführt. Die Softmax-Funktion 53 transformiert den Ausgabevektor O in Wahrscheinlichkeitswerte für unterschiedliche Klassen, die bestimmten Schließzuständen einer Fahrzeugtür entsprechen. 7th shows schematically exemplary embodiments for determining normalized probabilities from the output of the last network layer by means of a Softmax classification. The output vector O of the DNN as determined by the process of 6th obtained is a softmax function 53 fed. The Softmax function 53 transforms the output vector O into probability values for different classes, which correspond to certain closed states of a vehicle door.

In dem in 7A dargestellten Ausführungsbeispiel wird der einfachste Fall beschrieben, in dem nur zwischen zwei Klassen, und somit zwischen zwei Schließzuständen, unterschieden wird. In diesem Fall transformiert die Softmax-Funktion 53 den Ausgabevektor O in einen Wahrscheinlichkeitswert P₁ = 0.9 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand der Fahrzeugtür einem ersten Zustand (beispielsweise „richtig geschlossen“) entspricht, und einen Wahrscheinlichkeitswert P₂ = 0.1 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand der Fahrzeugtür einem zweiten Zustand (beispielsweise „nicht richtig geschlossen“) entspricht.In the in 7A The illustrated embodiment describes the simplest case in which a distinction is made only between two classes, and thus between two closed states. In this case the Softmax function transforms 53 convert the output vector O into a probability value P ₁ = 0.9 for a first Class, which indicates the probability that the closed state of the vehicle door corresponds to a first state (for example “correctly closed”), and a probability value P ₂ = 0.1 for a second class, which indicates the probability that the closed state of the vehicle door corresponds to a second State (for example, "not properly closed").

In dem in 7B dargestellten Ausführungsbeispiel wird ein Fall beschrieben, in dem zwischen drei Klassen, und somit zwischen drei Schließzuständen, unterschieden wird. In diesem Fall transformiert die Softmax-Funktion 53 den Ausgabevektor O in einen Wahrscheinlichkeitswert P₁ = 0.7 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand der Fahrzeugtür einem ersten Zustand (beispielsweise „richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₂ = 0.2 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand der Fahrzeugtür einem zweiten Zustand (beispielsweise „eingeklemmtes Kleidungsstück“) entspricht, und einen Wahrscheinlichkeitswert P₃ = 0.1 für eine dritte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand der Fahrzeugtür einem dritten Zustand (beispielsweise „eingeklemmter Gurt“) entspricht.In the in 7B The illustrated embodiment describes a case in which a distinction is made between three classes, and thus between three closed states. In this case the Softmax function transforms 53 converts the output vector O into a probability value P ₁ = 0.7 for a first class, which indicates the probability that the closed state of the vehicle door corresponds to a first state (for example “properly closed”), a probability value P ₂ = 0.2 for a second class, which indicates the probability that the closed state of the vehicle door corresponds to a second state (for example “jammed item of clothing”), and a probability value P ₃ = 0.1 for a third class, which indicates the probability that the closed state of the vehicle door corresponds to a third state (for example "Jammed belt").

Die Klassifizierung gemäß der Erfindung ist nicht auf eine bestimmte Anzahl von Klassen begrenzt, sondern kann auf beliebig viele Klassen erweitert werden. Insbesondere kann bei der Klassifizierung zwischen unterschiedlichen Fahrzeugtüren (beispielsweise Vordertür, Hintertür, Heckklappe, Kofferraumtür und dergleichen) unterschieden werden, wie dies in dem Ausführungsbeispiel in 7C gezeigt ist. In dem in 7C dargestellten Ausführungsbeispiel transformiert die Softmax-Funktion 53 den Ausgabevektor O in einen Wahrscheinlichkeitswert P₁ = 0.8 für eine erste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem ersten Zustand (beispielsweise „Tür vorne links richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₂ = 0.05 für eine zweite Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem zweiten Zustand (beispielsweise „Tür vorne rechts richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₃ = 0.03 für eine dritte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem dritten Zustand (beispielsweise „Tür hinten links richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₄ = 0.02 für eine vierte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem vierten Zustand (beispielsweise „Tür hinten rechts richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₅ = 0.02 für eine fünfte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem fünften Zustand (beispielsweise „Kofferraumtür richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₆ = 0.02 für eine sechste Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem sechsten Zustand (beispielsweise „Tür vorne links nicht richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₇ = 0.02 für eine siebte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem siebten Zustand (beispielsweise „Tür vorne rechts nicht richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₈ = 0.02 für eine achte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem achten Zustand (beispielsweise „Tür hinten links nicht richtig geschlossen“) entspricht, einen Wahrscheinlichkeitswert P₉= 0.01 für eine neunte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem neunten Zustand (beispielsweise „Tür hinten rechts nicht richtig geschlossen“) entspricht, und einen Wahrscheinlichkeitswert P₁₀ = 0.01 für eine zehnte Klasse, welcher die Wahrscheinlichkeit dafür angibt, dass der Schließzustand einem zehnten Zustand (beispielsweise „Kofferraumtür nicht richtig geschlossen“) entspricht.The classification according to the invention is not limited to a specific number of classes, but can be extended to any number of classes. In particular, a distinction can be made in the classification between different vehicle doors (for example front door, rear door, tailgate, trunk door and the like), as shown in the exemplary embodiment in FIG 7C is shown. In the in 7C The illustrated embodiment transforms the Softmax function 53 converts the output vector O into a probability value P ₁ = 0.8 for a first class, which indicates the probability that the closed state corresponds to a first state (for example "door front left correctly closed"), a probability value P ₂ = 0.05 for a second class, which indicates the probability that the locking state corresponds to a second state (for example "door front right properly closed"), a probability value P ₃ = 0.03 for a third class, which indicates the probability that the locking state corresponds to a third state (for example " Door rear left correctly closed ”) corresponds to a probability value P ₄ = 0.02 for a fourth class, which indicates the probability that the closed state corresponds to a fourth state (for example“ door rear right correctly closed ”), a probability value P ₅ = 0.02 for a fifth grade, which the prob consistency indicates that the closed state corresponds to a fifth state (for example "trunk door properly closed"), a probability value P ₆ = 0.02 for a sixth class, which indicates the probability that the closed state corresponds to a sixth state (for example "front left door not correctly closed ”), a probability value P ₇ = 0.02 for a seventh class, which indicates the probability that the locked state corresponds to a seventh state (for example“ front right door not properly closed ”), a probability value P ₈ = 0.02 for a eighth class, which indicates the probability that the locked state corresponds to an eighth state (for example, “rear left door not properly closed”), a probability value P ₉ = 0.01 for a ninth class, which indicates the probability that the closed state corresponds to a ninth State (for example, "T For rear right not properly closed ”), and a probability value P ₁₀ = 0.01 for a tenth class, which indicates the probability that the closed state corresponds to a tenth state (for example“ trunk door not properly closed ”).

Auf diese Weise können für jede der Fahrzeugtüren basierend auf der Analyse eines erfassten Schließgeräusches mittels eines neuronalen Netzwerks Wahrscheinlichkeiten für die jeweiligen Schließzustände („richtig geschlossen“, „nicht richtig geschlossen“, „eingeklemmtes Kleidungsstück“, „eingeklemmter Gurt“ und dergleichen) ermittelt werden. Die Zuordnung, zu welcher Tür ein erfasstes Schließgeräusch zugehörig ist, kann beispielsweise dadurch realisiert werden, dass der Eingabeschicht des neuronalen Netzes Audio-Rahmen von mehreren Mikrofonen zugeführt werden, so dass das neuronale Netz durch Analyse der durch die akustische Sensoreinrichtung (20 in 1) erfassten akustischen Signale Rückschlüsse darauf ziehen kann, aus welcher Richtung die akustischen Signale empfangen werden.In this way, for each of the vehicle doors, based on the analysis of a recorded closing noise, using a neural network, probabilities for the respective closing states (“correctly closed”, “not properly closed”, “jammed item of clothing”, “jammed belt” and the like) can be determined . The assignment of the door to which a detected closing noise belongs can be implemented, for example, by feeding audio frames from several microphones to the input layer of the neural network, so that the neural network can be analyzed by the acoustic sensor device ( 20th in 1 ) recorded acoustic signals can draw conclusions about the direction from which the acoustic signals are received.

8 zeigt ein Flussdiagramm eines Verfahrens zur Klassifizierung eines Schließzustands einer Fahrzeugtür gemäß einem Ausführungsbeispiel der Erfindung unter Verwendung der oben beschriebenen erfindungsgemäßen Vorrichtung. In einem Schritt S800 wird bestimmt, ob eine Fahrzeugtür geöffnet wurde, um das Fahrzeug zu besteigen. Dies geschieht beispielsweise über die im Fahrzeug vorhandene Türsensorik (22 in 1). Wird in Schritt S800 bestimmt, dass keine Fahrzeugtür geöffnet wurde, so wird der Schritt erneut durchgeführt, solange bis erkannt wird, dass eine Fahrzeugtür geöffnet wurde. Wird hingegen in Schritt S800 erkannt, dass eine Fahrzeugtür geöffnet wurde, so geht das Verfahren zu einem Schritt S810 über. In dem Schritt S810 wird das akustische Sensorsystem des Fahrzeugs initiiert und beginnt mit dem Sammeln von Audiodaten. In einem Schritt S820 wird dann über die Türsensorik bestimmt, ob eine Fahrzeugtür geschlossen wurde. Wird in Schritt S820 bestimmt, dass keine Fahrzeugtür geschlossen wurde, so wird der Schritt S820 wiederholt, solange bis erkannt wird, dass eine Fahrzeugtür geschlossen wurde. Wird in Schritt S820 erkannt, dass eine Fahrzeugtür geschlossen wurde, so geht das Verfahren zu einem Schritt S830 über, in welchem der Zeitpunkt des Schließens erfasst wird. In einem Schritt 840 werden die akustischen Signale zwischen einem festgelegten Zeitpunkt unmittelbar vor dem Zeitpunkt des Schließens (z.B. eine Sekunde vor dem Zeitpunkt des Schließens) und einem festgelegten Zeitpunkt unmittelbar nach dem Zeitpunkt des Schließens (z.B. eine Sekunde nach dem Zeitpunkt des Schließens) von der akustischen Sensoreinrichtung (20 in 1) erfasst und an die Sensorverarbeitungseinheit des Fahrzeugs (18 in 1) übertragen, wo sie in einem Schritt S850 mittels eines neuronalen Netzes wie oben unter Bezugnahme auf die 4 bis 7 beschrieben ausgewertet werden oder in Form eines Soundfiles an einen externen Dienst in einer Cloud übertragen und dort ausgewertet werden. In dem Schritt S850 wird durch die Sensorverarbeitungseinheit bzw. durch den Cloud-Dienst durch Klassifizierung der erfassten Audiodaten mittels des neuronalen Netzes ein Türschließzustand bestimmt und eine Zuordnung getroffen, zu welcher Tür das erfasste Schließgeräusch zugehörig ist. In einem Schritt 860 wird schließlich basierend auf dem Ergebnis der Klassifizierung aus Schritt S850 bestimmt, ob die Fahrzeugtür richtig geschlossen ist. Wird in Schritt S860 bestimmt, dass die Fahrzeugtür richtig geschlossen ist, so kehrt das Verfahren zu Schritt S800 zurück und beginnt von Neuem. Wird in Schritt S860 bestimmt, dass die Fahrzeugtür nicht richtig geschlossen ist, so geht das Verfahren zu einem Schritt S870 über. In Schritt S870 wird ein Warnsignal ausgegeben, um zu signalisieren, dass die Fahrzeugtür nicht richtig geschlossen ist. 8th shows a flow chart of a method for classifying a closed state of a vehicle door according to an embodiment of the invention using the above-described device according to the invention. In a step S800, it is determined whether a vehicle door has been opened to get on the vehicle. This is done, for example, via the door sensors in the vehicle ( 22nd in 1 ). If it is determined in step S800 that no vehicle door has been opened, the step is carried out again until it is recognized that a vehicle door has been opened. If, on the other hand, it is recognized in step S800 that a vehicle door has been opened, the method goes to a step S810. In step S810, the acoustic sensor system of the vehicle is initiated and begins collecting audio data. In a step S820, it is then determined via the door sensor system whether a Vehicle door has been closed. If it is determined in step S820 that no vehicle door has been closed, then step S820 is repeated until it is recognized that a vehicle door has been closed. If it is recognized in step S820 that a vehicle door has been closed, the method proceeds to a step S830 in which the time of closing is recorded. In a step 840, the acoustic signals between a specified time immediately before the time of closing (for example one second before the time of closing) and a specified time immediately after the time of closing (for example one second after the time of closing) by the acoustic sensor device ( 20th in 1 ) and sent to the vehicle's sensor processing unit ( 18th in 1 ), where they are transmitted in a step S850 by means of a neural network as above with reference to the 4th to 7th described or transmitted in the form of a sound file to an external service in a cloud and evaluated there. In step S850, a door closing state is determined by the sensor processing unit or by the cloud service by classifying the recorded audio data by means of the neural network, and an assignment is made as to which door the detected closing sound belongs to. In a step 860 it is finally determined, based on the result of the classification from step S850, whether the vehicle door is properly closed. If it is determined in step S860 that the vehicle door is properly closed, the method returns to step S800 and begins anew. If it is determined in step S860 that the vehicle door is not properly closed, the method proceeds to a step S870. In step S870, a warning signal is output to signal that the vehicle door is not properly closed.

Anstelle der Ausgabe eines Warnsignals in Schritt S870 können auch, basierend auf dem erfassten Schließzustand, eine oder mehrere Fahrzeugsteuerungsmaßnahmen ermittelt werden. Die Fahrzeugsteuerungsmaßnahmen können das Ausführen einer Fahrzeugfunktion, Blockierung einer Start-Stopp-Funktion des Fahrzeugs, die Steuerung der Fahrzeuggeschwindigkeit und dergleichen umfassen. Insbesondere kann, wenn der Türschließzustand anzeigt, dass mindestens eine Tür oder Öffnung des Fahrzeugs nicht korrekt geschlossen ist, im Fall eines von einem Fahrer gesteuerten Fahrzeugs, der Fahrer dazu aufgefordert werden, die Türe zu überprüfen und zu bestätigen, dass er dieser Aufforderung nachgegangen ist. Andererseits kann im Fall eines autonom gesteuerten Fahrzeugs ein Losfahren des Fahrzeugs verhindert werden beziehungsweise die Steuereinheiten des Fahrzeugs so angesteuert werden, dass das Fahrzeug, wenn es im autonomen Betriebsmodus unterwegs ist, rechts ranfährt (beispielsweise in die nächste Notfallparkbucht oder den nächsten Parkplatz), so dass das Fahrzeug dort sicher stehen bleiben kann. Ferner kann die Geschwindigkeit des Fahrzeugs reduziert werden nachdem durch die Auswertung eines erfassten Schließgeräuschs eine nicht korrekt geschlossene Tür erkannt wurde. Diese Situation kann zum Beispiel bei Bussen eintreten, wenn der Bus bereits anrollt und der Fahrer des Busses erst dann den Knopf zur Schließung der Türen betätigt.Instead of outputting a warning signal in step S870, one or more vehicle control measures can also be determined based on the detected closing state. The vehicle control measures can include executing a vehicle function, blocking a start-stop function of the vehicle, controlling the vehicle speed and the like. In particular, if the door closed state indicates that at least one door or opening of the vehicle is not correctly closed, in the case of a vehicle controlled by a driver, the driver can be requested to check the door and confirm that he has followed this request . On the other hand, in the case of an autonomously controlled vehicle, the vehicle can be prevented from starting or the vehicle's control units can be activated so that the vehicle pulls over to the right when it is traveling in autonomous operating mode (for example into the next emergency parking bay or the next parking space), see above that the vehicle can safely stop there. Furthermore, the speed of the vehicle can be reduced after an incorrectly closed door has been recognized through the evaluation of a detected closing noise. This situation can occur in buses, for example, when the bus is already rolling in and the driver of the bus only then presses the button to close the doors.

In dem beschriebenen Verfahren erfolgt dabei die Erfassung von akustischen Signalen mittels akustischer Sensoren am und im Fahrzeug sowohl beim Fahren als auch im stehenden Betrieb.In the method described, acoustic signals are recorded by means of acoustic sensors on and in the vehicle, both when driving and when the vehicle is stationary.

9 zeigt einen Prozess des Trainings eines neuronalen Netzes, so dass dieses die Klassifizierung vornehmen kann, wie dies in den 5, 6 und 7 beschrieben ist. Damit eine Sensorverarbeitungseinheit 18 eine automatische Klassifizierung des Schließzustands einer Fahrzeugtür durchführen kann, werden in einem Schritt 901 die bei Schließvorgängen einer Fahrzeugtür auftretenden Geräusche zunächst erfasst, gesammelt und in einem manuellen Klassifizierungsschritt 902 manuell klassifiziert, um in einem Schritt 903 auf Grundlage der erfassten Geräusche und der manuell erhaltenen Klassifizierungen einen Satz an Trainingsdaten zu erzeugen. Soll der Schließzustand mehrerer Türen des Fahrzeugs überwacht werden, so werden in der Trainingsphase vorzugsweise die Audiosignale mehrerer Mikrofone gleichzeitig verwendet, die an verschiedenen Positionen des Fahrzeugs angeordnet sind, und es wird im Trainingsdatensatz entsprechend festgehalten, welche der Türen nicht richtig geschlossen ist. In einem Schritt 904 wird ein künstliches neuronales Netz mit dem Trainingsdatensatz trainiert, um ein auf die Klassifizierung trainiertes neuronales Netz zu erzeugen. Hinsichtlich dieses Trainingsprozesses kann der Fachmann auf beliebige bekannte Techniken zurückgreifen, wie beispielsweise den ursprünglichen Trainings-mechanismus für LSTMs, wie er von Gers et al., 2002 in „Learning Precise Timing with LSTM Recurrent Networks“ im Journal of Machine Learning Research 3 (2002), 115-143 beschrieben wurde und der auf einem Gradientenverfahren beruht, mittels dem die Gewichte der LSTM-Einheiten eingestellt werden. Während dieses Trainingsprozesses wird dem neuronalen Netz vorzugsweise eine große Anzahl von Beispielen (Trainingsdaten) präsentiert. Beispielsweise werden mehrmals die bei einem Schließvorgang einer Fahrzeugtür verursachten Geräusche erfasst und dem jeweiligen durch den Schließvorgang erzielten Schließzustand manuell zugeordnet. Auf diese Weise werden Geräusche, die für einen bestimmten Schließzustand einer Fahrzeugtür charakteristisch sind, diesem Schließzustand zugeordnet. Diese Zuordnungen werden vom neuronalen Netz gelernt und können dann bei dem Klassifizierungsprozess durch das neuronale Netzwerk verwendet werden. 9 shows a process of training a neural network so that it can perform the classification, as shown in FIG 5 , 6th and 7th is described. Thus a sensor processing unit 18th can perform an automatic classification of the closed state of a vehicle door, in a step 901 the noises occurring during the closing processes of a vehicle door are first recorded, collected and classified manually in a manual classification step 902, in a step 903 on the basis of the detected noises and the classifications obtained manually generate a set of training data. If the closed state of several doors of the vehicle is to be monitored, the audio signals of several microphones are preferably used simultaneously in the training phase, which are arranged in different positions of the vehicle, and it is recorded in the training data record which of the doors is not properly closed. In a step 904, an artificial neural network is trained with the training data set in order to generate a neural network trained on the classification. With regard to this training process, those skilled in the art can fall back on any known techniques, such as for example the original training mechanism for LSTMs as described by Gers et al., 2002 in “Learning Precise Timing with LSTM Recurrent Networks” in the Journal of Machine Learning Research 3 (2002), 115-143 and which is based on a gradient method by means of which the weights of the LSTM units are set. During this training process, the neural network is preferably presented with a large number of examples (training data). For example, the noises caused during a closing process of a vehicle door are recorded several times and manually assigned to the respective closed state achieved by the closing process. In this way, noises which are characteristic of a specific closed state of a vehicle door are assigned to this closed state. These assignments are learned from the neural network and can then be used in the classification process by the neural network.

BezugszeichenlisteList of reference symbols

1010: Fahrzeugvehicle
1212th: Steuereinheit BremssystemBrake system control unit
1414th: Steuereinheit AntriebsstrangDrive train control unit
1616: Steuereinheit LenksystemSteering system control unit
1818th: SensorverarbeitungseinheitSensor processing unit
2020th: akustische Sensoreinrichtungacoustic sensor device
2222nd: TürsensorenDoor sensors
2424: SatellitennavigationseinheitSatellite navigation unit
2626th: VerstärkereinrichtungAmplifier device
2828: Analog-Digital-WandlerAnalog-to-digital converter
3030th: FahrzeugkommunikationsnetzwerkVehicle communication network
3131: Funkkommunikationsschnittstelle 31 (LTE/UMTS)Radio communication interface 31 (LTE / UMTS)
3232: BenutzerschnittstelleUser interface
4141: Prozessorprocessor
4242: DirektzugriffsspeicherRandom access storage
4343: Nur-Lese-SpeicherRead-only memory
4747: integrierter Schaltkreisintegrated circuit
4545: KommunikationsschnittstelleCommunication interface
4646: internes Kommunikationsnetzwerkinternal communication network
5050: WindowingWindowing
5151: Mel-SpektrogrammMel spectrogram
5252: LSTMLSTM
5353: SoftmaxSoftmax
LSTM-1LSTM-1: LSTM-Einheit der ersten SchichtFirst-tier LSTM unit
LSTM-2LSTM-2: LSTM-Einheit der zweiten SchichtSecond tier LSTM unit
LSTM-LLSTM-L: LSTM-Einheit der letzten SchichtLast shift LSTM unit

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102016202975 A1 [0004]
DE 102017124731 A1 [0005, 0007]

Zitierte Nicht-PatentliteraturNon-patent literature cited

B. E. Boser, et al is described in "A training algorithm for optimal margin classifiers", in Proc. COLT, 1992, pp. 144-152 [0047]
Gers et al., 2002 in "Learning Precise Timing with LSTM Recurrent Networks" in the Journal of Machine Learning Research 3 (2002), 115-143 [0058]

Claims

Device (18) which is set up to convert noises recorded during a closing process of a vehicle door into classification information (P ₁ , P ₂ , P ₃ , P ₄ ) by means of an artificial neural network, which enables a classification of a closed state of the vehicle door.

Device (18) after Claim 1 , the recorded noises being signals from one or more microphones and / or vibration information that was detected by means of one or more structure-borne sound sensors.

Device (18) after Claim 1 or 2 which is also designed to output the classification information obtained (P ₁ , P ₂ , P ₃ , P ₄ ) to a user.

Device (18) according to one of the preceding claims, which is also designed to transmit the noises recorded during the closing process of a vehicle door to an external device or an external service for evaluation.

Device (18) according to one of the preceding claims, further configured to carry out a windowing process (50) on the recorded noises in order to obtain audio frames of the recorded noises.

Device (18) according to one of the preceding claims, which is also set up to determine a spectral representation (51) of a data window, in particular a cepstrum or a mel-cepstrum.

Device (18) according to one of the preceding claims, which is also set up to apply a classification function (53), in particular a Softmax algorithm or an SVM algorithm, to the output vector (O) of a neural network in order to convert the classification information (P ₁ , P ₂ , P ₃ , P ₄ ).

Device (18) according to one of the preceding claims, which is further designed to determine a vehicle control measure based on the closed state of the door.

Vehicle with an acoustic sensor device (20) and a device (18) according to one of the Claims 1 to 8th which is designed to convert noises recorded by the acoustic sensor device (20) into the classification information (P ₁ , P ₂ , P ₃ , P _{4) during a closing process of a vehicle door.}

Method in which noises recorded during a closing process of a vehicle door are converted into classification information (P ₁ , P ₂ , P ₃ , P ₄ ) by means of an artificial neural network, which enables a closed state of the vehicle door to be classified.