EP4670147A1 - Verfahren zur detektion von lebewesen in einem fahrzeuginnenraum und fahrzeug - Google Patents

Verfahren zur detektion von lebewesen in einem fahrzeuginnenraum und fahrzeug

Info

Publication number
EP4670147A1
EP4670147A1 EP24701866.6A EP24701866A EP4670147A1 EP 4670147 A1 EP4670147 A1 EP 4670147A1 EP 24701866 A EP24701866 A EP 24701866A EP 4670147 A1 EP4670147 A1 EP 4670147A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
naf
neural
computing unit
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24701866.6A
Other languages
English (en)
French (fr)
Inventor
Rene Wirtz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4670147A1 publication Critical patent/EP4670147A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems, e.g. audible personal calling systems
    • G08B3/10—Audible signalling systems, e.g. audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the invention relates to a method for detecting living beings in a vehicle interior according to the type defined in more detail in the preamble of claim 1 and to a vehicle according to the type defined in more detail in the preamble of claim 10.
  • DE 102019212 412 A1 discloses a monitoring device and a method for monitoring a living being in the interior of a vehicle.
  • the document describes the monitoring of the vehicle interior using visual detection devices such as cameras, acoustic detection devices such as microphones and temperature sensors. Data generated by said cameras, microphones and temperature sensors are evaluated by a computing unit using artificial intelligence. The computing unit carries out a classification to determine the respective presence situation. To determine whether living beings are present in the vehicle interior, the data from other sensors such as seat occupancy sensors, motion sensors and/or belt sensors can also be taken into account.
  • a baby monitor function can be provided by using cameras and microphones as well as by having display devices and speakers in the vehicle.
  • Video and audio content recorded in the vehicle interior can be transmitted to the vehicle user's smartphone, and audio and video content recorded on the smartphone can be transmitted back to the vehicle. This allows the vehicle user to calm children present in the vehicle interior.
  • the need to provide various types of sensors means that the corresponding monitoring device is comparatively complex and expensive.
  • the detection of distance information using sound is well known.
  • a wide variety of devices exist for this purpose such as depth sounders, sonar or ultrasonic sensor systems such as those used to create a parking aid, colloquially known as a “parking beeper”.
  • neural acoustic fields contains geometric information that describes the structure of the environment being measured.
  • sound measurements are carried out in an environment to be mapped, for example a room or an apartment. These sound measurements involve carrying out a large number of individual measurements.
  • a sound source and a sound receiver are placed arbitrarily in the environment to be examined and a sound pulse is emitted via the sound source, which is recorded by the sound receiver.
  • the measured impulse response is converted into a spectrogram by applying a short-time Fourier transformation.
  • the spectrograms thus generated are then processed by an artificial neural network, which uses the desired neural network as an output variable.
  • Acoustic field For details see: Learning Neural Acoustic Fields, Andrew Luo, Yilun Du, Michael J. Tarr, Joshua B. Tenenbaum, Antonio Torralba, Chuang Gan, https://doi.org/10.48550/arXiv.2204.00628.
  • the present invention is based on the object of providing an improved method for detecting living beings in a vehicle interior, which also functions reliably with simple hardware.
  • this object is achieved by a method for detecting living beings in a vehicle interior with the features of claim 1.
  • Advantageous embodiments and further developments as well as a vehicle for carrying out the method emerge from the dependent claims.
  • a generic method for detecting living beings in a vehicle interior wherein the vehicle interior is acoustically monitored by at least two microphones and a computing unit evaluates signals generated by the microphones using artificial intelligence, is further developed according to the invention by the following method steps: a) implementing a NAF database in the computing unit, wherein the NAF database comprises a plurality of neural acoustic fields of the vehicle interior for different presence scenarios, and wherein the NAF database is generated by an initial measurement campaign in a representative vehicle interior by recording at least one neural acoustic field while varying at least the dummy type, number of dummies and dummy seating position; b) recording the background noise in the vehicle interior using the microphones at least when the vehicle doors are closed; c) comparing the recorded background noise with the neural acoustic fields stored in the NAF database by the computing unit; d) determining at least one neural acoustic field which has the highest correspondence with the recorded background noise, by the computing unit; and e) determining the presence of
  • Dummies such as crash dummies, dolls, canisters filled with water or the like are used to simulate the presence of living beings.
  • Adults, children and animals can be represented by different types of dummies, for example larger or smaller dummies.
  • a dummy can also be covered with a carpet, feathers or hair to simulate fur or plumage.
  • the number of dummies is varied between zero and the maximum number of seats in the vehicle interior.
  • the dummies are arranged in all possible seating positions. This ensures that all possible presence scenarios are covered by the neural acoustic fields.
  • the initial measurement campaign can be designed to be as comprehensive as desired.
  • Other influencing factors such as the seat setting, in particular the seat backrest inclination, the position or movement of an entire vehicle seat, the presence of child seats and/or other objects carried in the vehicle can be examined.
  • the dummy type, number of dummies and dummy seat position corresponding neural acoustic fields can be recorded for the various seat settings, as well as for a handbag placed in the back of the vehicle, a laptop bag on the passenger seat and the like.
  • the closing of the vehicle doors is used as a sound source in later use to record the background noise in the vehicle interior.
  • the closing of the vehicle doors is particularly suitable as a sound source because it generates a short and concise sound pulse. In addition, it is not necessary to emit an artificial excitation signal in the vehicle interior.
  • "When closing" in this context means that the sound signals relevant for processing are analyzed within a period of time from the closing of the vehicle doors until shortly afterwards. This period of time can be in the order of a few seconds or even milliseconds.
  • the microphones must be activated at least during the recording period.
  • the microphones can also be activated and deactivated before the actual recording period. deactivated some time after the end of the recording period.
  • the microphones can be activated when the vehicle doors are detected by sensors.
  • the vehicle doors When the vehicle doors open and close, the vehicle is usually stationary. This is therefore particularly the moment when vehicle occupants enter or leave the vehicle. This is a relevant moment for determining the presence of living beings in the vehicle interior.
  • the microphones are activated again while driving and audio signals are recorded. This will be discussed in more detail below.
  • the computing unit determines at least one neural acoustic field that best matches the recorded background noise.
  • the comparison of the background noise described in step c) can in particular provide for a neural acoustic field to be generated from the recorded background noise and this to be compared with the NAF database. If such a field stands out from the totality of neural acoustic fields stored in the NAF database, it is clear which presence scenario is present, i.e. how many living beings are in the vehicle interior, in which seating positions they are and what type of living being it is, for example an adult, a child or an animal.
  • the computing unit can also determine which animal it is, for example by recognizing a bark, meow, chirp or the like. However, cases can also occur in which several neural acoustic fields from the NAF database are similar to the recorded background noise. The computing unit then compares the information linked to the respective presence scenarios. For example, the neural acoustic fields in which two living beings are present in the vehicle interior can show a high level of agreement. However, the respective seating position varies, for example. In such a case, the number of living beings present in the vehicle interior can be determined using the method according to the invention, but not the exact seating position.
  • the neural acoustic fields generated in the initial measurement campaign are therefore based on the same sound source that is also used later when the method is carried out in the vehicle. This makes it possible to increase the degree of correspondence between the background noise recorded in the vehicle interior (in particular a neural acoustic field derived from the background noise) and the neural acoustic fields stored in the NAF database.
  • the computing unit determines which vehicle door was closed when the vehicle door is closed, taking into account a door closing sensor. Depending on which vehicle door is closed and thus serves as a sound source, this has an influence on the corresponding neural acoustic field due to the changed position of the sound source. In this way, neural acoustic fields are recorded individually for each possible combination of slammed vehicle doors. A single vehicle door can be slammed, or several vehicle doors can be slammed at the same time or in quick succession. This is taken into account in the initial measurement campaign. Taking into account the data transmitted by a door closing sensor, the computing unit can record exactly which vehicle door is slammed.
  • the computing unit can then take this information into account when determining the match between the background noise recorded in the vehicle interior and the neural acoustic fields stored in the NAF database.
  • the computing unit therefore only selects the neural acoustic fields from the NAF database that are possible for an agreement, for which the corresponding vehicle door served as the sound source.
  • a further advantageous embodiment of the method according to the invention also provides that, depending on the vehicle equipment, different initial measurement campaigns are carried out to generate the NAF database.
  • the vehicle equipment also affects the respective neural acoustic fields. For example, if a certain type of vehicle seat is installed, such as a sports seat, it has a certain material composition, such as leather, or other special components are arranged in the vehicle interior, such as trim strips made of burl wood, this can influence the soundscape in the vehicle interior. For example, sound is reflected differently by a smooth surface than by a rough surface such as velvet or structured plastic.
  • the vehicle manufacturer can therefore carry out corresponding measurement campaigns not only for different series, but also for different vehicle equipment for each series. All neural acoustic fields generated in this way can then be implemented in the vehicle's computing unit, or only those that were recorded in the representative vehicle interior with the corresponding vehicle equipment. This saves storage space in the computing unit. If the vehicle equipment changes over the vehicle's lifetime, however, a missing NAF database or missing To subsequently incorporate neural acoustic fields into the computing unit. This can be done, for example, by means of an update, preferably a wireless “over-the-air” update.
  • the computing unit carries out a measurement campaign to expand the NAF database during the vehicle's operational phase, whereby information describing a current presence scenario is proactively requested from a user.
  • the computing unit is thus capable of learning.
  • the user of the vehicle can record new neural acoustic fields during the operational phase, i.e. related to the vehicle's life phase, the period in which the vehicle is used by a user. Dummies are no longer used for this, but rather the living beings that actually typically travel with the vehicle, such as family members or pets. This allows the degree of correspondence between the background noise that can be recorded in the vehicle and the neural acoustic fields stored in the NAF database to be increased even further.
  • this information must be manually entered into the computing unit.
  • the user can use a suitable human-machine interface for this, for example a touch-sensitive display device.
  • a further advantageous embodiment of the method according to the invention further provides that method steps b) to e) are carried out again at a later point in time after the vehicle door has been closed, whereby an acoustic excitation signal is emitted via at least one loudspeaker arranged in the vehicle.
  • the presence of living beings in the vehicle interior can be determined using the method according to the invention not only when the doors are slammed, but also at a later point in time, for example while driving. This makes it possible to verify the previously determined presence of living beings, in particular the number, type of living being and seat positioning. Since vehicle doors should not be opened and closed while driving, a different sound source is preferably used.
  • the vehicle's loudspeakers can be used for this purpose, in particular audio signals are emitted via loudspeakers arranged at various points in the vehicle interior.
  • the Excitation signals correspond to the excitation signals used in the initial measurement campaign.
  • the acoustic excitation signal emitted via the at least one loudspeaker exclusively comprises frequencies in the ultrasonic frequency band and/or in the infrasonic frequency band.
  • This has the advantage that corresponding excitation signals are not perceptible by the vehicle occupants. This enables the method according to the invention to be carried out without the vehicle occupants noticing. This improves user comfort in particular.
  • Fig. 1 is a schematic representation of a neural acoustic field of an apartment
  • Fig. 2 is a schematic representation of the sequence of a method according to the invention for determining the presence of living beings in a vehicle interior based on the generation of neural acoustic fields.
  • Figure 1 shows such a neural acoustic field NAF of an apartment 6. It shows a sound source 7 that has been placed anywhere within the environment to be examined, in this case the apartment 6 in question.
  • acoustic detection devices for example a (possibly stereo) microphone
  • Sound waves 8 propagating in the environment to be measured are also shown.
  • Solid lines represent sound emanating from the sound source 7 and dashed lines represent echoes reflected back from the environment.
  • the environment to be examined is mapped by varying the location of the sound source 7 and the detection devices (not shown in detail).
  • the background noise when the vehicle doors are closed is recorded using several microphones 3, for example four microphones 3 distributed throughout the vehicle interior 2, to determine the presence of living beings in the vehicle interior 2.
  • the living beings 1 in the vehicle interior 2 are an adult person driving the vehicle in the driver's seat of the vehicle and a child in a right rear seat.
  • the presence of said living beings 1 influences the propagation of the sound waves 8 in the vehicle interior 2 when the vehicle door is closed.
  • the vehicle door therefore serves as the sound source 7.
  • the computing unit 4 can derive an individual neural acoustic field NAF or an averaged neural acoustic field NAF for each microphone 3 from the background noise recorded in this way.
  • This is shown in Figure 2 at the top right and shows corresponding gaps 9 at the locations where structures are located in the vehicle interior 2.
  • a section of the neural acoustic field NAF is shown at a certain geodetic height. This geodetic height corresponds in particular to the height at which the respective microphones 3 are mounted in the vehicle interior 2. It is particularly advantageous to arrange several microphones 3 at different geodetic heights in the vehicle interior 2 so that sections can be generated at different height positions.
  • gaps 9 are shown for the corresponding backrests of the vehicle seats.
  • This process shown in Figure 2 can be implemented explicitly or implicitly.
  • An explicit process provides that the neural acoustic field NAF derived from the background noise is geometrically compared with the neural acoustic fields NAF stored in the NAF database 5. For example, a correlation of overlapping lines is mathematically determined.
  • An implicit process provides that the respective neural acoustic fields NAF are only examined for "similarity". For this purpose, artificial intelligence in particular can compare the respective data structure of the neural acoustic fields NAF with each other. Such a comparison using a corresponding machine learning model then runs as a black box.
  • the computing unit 4 checks which neural acoustic field NAF stored in the NAF database 5 has the highest match. To do this, the computing unit 4 reads the corresponding NAF database 5. Different match probabilities are shown as examples. At least the neural acoustic field NAF with the highest match is selected as the match in a result 10.
  • the computing unit 4 deduces that the presence scenario of the respective neural acoustic field NAF that was present when recording in the initial measurement campaign also currently applies to the vehicle. This makes it possible to at least determine whether a living being 1 is present in the vehicle interior 2 or not.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von Lebewesen (1) in einem Fahrzeuginnenraum (2). Das erfindungsgemäß Verfahren ist gekennzeichnet durch die folgenden Verfahrensschritte: a) Implementieren einer NAF-Datenbank (5) in einer Recheneinheit (4), wobei die NAF-Datenbank (5) eine Vielzahl von Neuronalen-Akustischen-Feldern (NAF) des Fahrzeuginnenraums (2) für verschiedene Anwesenheitsszenarios umfasst; b) Aufzeichnen der Geräuschkulisse im Fahrzeuginnenraum (2) mittels Mikrofonen (3) zumindest beim Schließen der Fahrzeugtüren; c) Abgleichen der aufgezeichneten Geräuschkulisse mit den in der NAF-Datenbank (5) hinterlegten Neuronalen-Akustischen-Feldern (NAF) durch die Recheneinheit (4); d) Ermitteln zumindest eines Neuronalen-Akustischen-Felds (NAF) welches die höchste Übereinstimmung mit der aufgezeichneten Geräuschkulisse aufweist durch die Recheneinheit (4); und e) Festlegen der Anwesenheit von Lebewesen (1) im Fahrzeuginnenraum (2), durch die Recheneinheit (4), korrespondierend zum jeweiligen dem im Schritt d) ermittelten Neuronalen-Akustischen-Feld (NAF) zugrunde liegenden Anwesenheitsszenario.

Description

Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum und Fahrzeug
Die Erfindung betrifft ein Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug nach der im Oberbegriff von Anspruch 10 näher definierten Art.
Im Alltag kann es vorkommen, dass Kinder oder Tiere im Fahrzeuginnenraum vergessen oder dort vorsätzlich zurückgelassen werden. Beispielsweise möchte ein Hundehalter einen kurzen Einkauf tätigen, seinen Hund jedoch nicht mitnehmen. Insbesondere bei starker Sonneneinstrahlung im Sommer sowie kalten Temperaturen im Winter können hierdurch lebensbedrohliche Situationen entstehen, da sich der Fahrzeuginnenraum stark aufheizen bzw. abkühlen kann, wodurch ein entsprechendes Kind oder Haustier droht zu überhitzen oder zu unterkühlen. Somit entsteht der Bedarf nach Mitteln und Verfahren zum Warnen von Fahrzeugnutzern vor im Fahrzeug zurückgelassenen Kindern oder Tieren.
So offenbart beispielsweise die DE 102019212 412 A1 eine Überwachungsvorrichtung und ein Verfahren zur Überwachung eines Lebewesens im Innenraum eines Fahrzeugs. Die Druckschrift beschreibt die Überwachung des Fahrzeuginnenraums mittels visueller Erfassungsmittel wie Kameras, akustischer Erfassungsmittel wie Mikrofonen und mittels Temperatursensoren. Von besagten Kameras, Mikrofonen und Temperatursensoren generierte Daten werden von einer Recheneinheit unter Anwendung künstlicher Intelligenz ausgewertet. Die Recheneinheit führt eine Klassifizierung zur Bestimmung der jeweiligen Anwesenheitssituation durch. Zur Bestimmung, ob Lebewesen im Fahrzeuginnenraum anwesend sind, können zudem die Daten weiterer Sensoren wie Sitzbelegungssensoren, Bewegungssensoren und/oder Gurtsensoren berücksichtigt werden. Durch die Verwendung von Kameras und Mikrofonen sowie durch das Vorhandensein von Anzeigevorrichtungen und Lautsprechern im Fahrzeug kann eine Babyphone-Funktion bereitgestellt werden. So können im Fahrzeuginnenraum aufgezeichnete Videoinhalte und Audioinhalte an das Smartphone des Fahrzeugnutzers übermittelt werden und vom Smartphone auf gezeichnete Audio- und Videoinhalte zurück ins Fahrzeug übertragen werden. Dies ermöglicht es dem Fahrzeugnutzer im Fahrzeuginnenraum anwesende Kinder zu beruhigen. Durch das Erfordernis verschiedene Sensortypen vorzusehen ist die entsprechende Überwachungsvorrichtung jedoch vergleichsweise aufwändig und teuer.
Somit wäre es wünschenswert eine Funktion zur Erfassung der Anwesenheit von Lebewesen in Fahrzeuginnenräumen unter Verwendung konstruktiv einfach ausgestalteter und damit kostengünstiger Mittel bereitzustellen.
Das Erfassen von Abstandsinformationen per Schall ist hinreichend bekannt. Hierzu existieren unterschiedlichste Vorrichtungen wie das Echolot, das Sonar oder Ultraschallsensorsysteme wie sie zur Ausbildung einer Einparkhilfe, umgangssprachlich auch als „Parkpiepser“ bezeichnet, verwendet werden.
Das räumliche Modellieren der akustischen Charakteristik einer Umgebung ist zudem Gegenstand aktueller Forschungsarbeiten. So beschreiben Andrew Luo et al. Verfahren und Mittel mit denen es möglich ist rein per Akustik strukturelle Informationen über eine Szenerie zu erhalten. Hierzu stellen die Forscher das Konzept von Neuronalen- Akustischen-Feldern (NAF), in der Arbeit als Neural Acoustic Field bezeichnet, vor. Ein solches Neuronales-Akustisches-Feld enthält geometrische Informationen, welche die Struktur der vermessenen Umgebung beschreiben. Zur Generierung eines solchen Neuronalen-Akustischen-Felds werden in einer zu kartographierenden Umgebung, beispielsweise ein Zimmer oder eine Wohnung, Schallmessungen durchgeführt. Diese Schallmessungen sehen es vor eine Vielzahl an Einzelmessungen durchzuführen. Bei jeder Einzelmessung wird eine Schallquelle und ein Schallempfänger beliebig in der zu untersuchenden Umgebung platziert und über die Schallquelle ein Schallimpuls ausgegeben, welcher vom Schallempfänger erfasst wird. Die gemessene Impulsantwort wird durch Anwendung einer Kurzzeitfourier-Transformation in ein Spektogramm gewandelt. Die so erzeugten Spektogramme werden dann von einem künstlichen neuronalen Netz verarbeitet, welches als Ausgangsgröße das gesuchte Neuronale- Akustische-Feld bestimmt. Für Details siehe: Learning Neural Acoustic Fields, Andrew Luo, Yilun Du, Michael J. Tarr, Joshua B. Tenenbaum, Antonio Torralba, Chuang Gan, https://doi.org/10.48550/arXiv.2204.00628.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum anzugeben, welches auch mit einfacher Hardware zuverlässig funktioniert.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
Ein gattungsgemäßes Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum, wobei der Fahrzeuginnenraum akustisch durch wenigstens zwei Mikrofone überwacht wird und eine Recheneinheit von den Mikrofonen erzeugte Signale unter Verwendung von künstlicher Intelligenz auswertet, wird erfindungsgemäß durch die folgenden Verfahrensschritte weitergebildet: a) Implementieren einer NAF-Datenbank in der Recheneinheit, wobei die NAF-Datenbank eine Vielzahl von Neuronalen-Akustischen-Feldern des Fahrzeuginnenraums für verschiedene Anwesenheitsszenarios umfasst, und wobei die NAF-Datenbank durch eine initiale Messkampagne in einem repräsentativem Fahrzeuginnenraum erzeugt wird, indem unter Variation von zumindest Dummy-Typ, Dummy-Anzahl und Dummy- Sitzposition jeweils wenigstens ein Neuronales-Akustisches-Feld aufgezeichnet wird; b) Aufzeichnen der Geräuschkulisse im Fahrzeuginnenraum mittels der Mikrofone zumindest beim Schließen der Fahrzeugtüren; c) Abgleichen der aufgezeichneten Geräuschkulisse mit den in der NAF-Datenbank hinterlegten Neuronalen-Akustischen-Feldern durch die Recheneinheit; d) Ermitteln zumindest eines Neuronalen-Akustischen-Felds, welches die höchste Übereinstimmung mit der aufgezeichneten Geräuschkulisse aufweist, durch die Recheneinheit; und e) Festlegen der Anwesenheit von Lebewesen im Fahrzeuginnenraum, durch die Recheneinheit, korrespondierend zum jeweiligen dem im Schritt d) ermittelten Neuronalen-Akustischen-Feld zugrunde liegenden Anwesenheitsszenario. Mittels des erfindungsgemäßen Verfahrens wird auf völlig neuartiger Art und Weise eine akustische Überwachung des Fahrzeuginnenraums ermöglicht, was es zuverlässig erlaubt mit einfachen Mitteln die Anwesenheit von Lebewesen im Fahrzeuginnenraum festzustellen. Die Neuronalen-Akustischen-Felder stellen eine akustische Kartographierung des Fahrzeuginnenraums dar. Um Lebewesen im Fahrzeuginnenraum zu detektieren werden entsprechende Karten für alle möglichen in Betracht kommenden Anwesenheitsszenarios erzeugt. Diese Messkampagnen werden beispielsweise vom Fahrzeughersteller durchgeführt.
Zum Simulieren der Anwesenheit von Lebewesen dienen Dummies wie Crash-Dummies, Puppen, mit Wasser gefüllte Kanister oder dergleichen. Erwachsene Personen, Kinder sowie Tiere können durch unterschiedliche Dummy-Typen, also beispielsweise größere oder kleinere Dummies, abstrahiert werden. Ein Dummy kann auch mit einem Teppich, Federn oder Haaren bedeckt sein, um ein Fell oder Gefieder zu simulieren. Die Dummy- Anzahl wird zwischen Null und der maximalen Sitzplatzanzahl im Fahrzeuginnenraum variiert. Dabei werden die Dummies auf allen möglichen Sitzpositionen angeordnet. Somit wird sichergestellt, dass alle möglichen Anwesenheitsszenarios durch die Neuronalen- Akustischen-Felder abgedeckt sind.
Ist das Fahrzeug später im Einsatz und befinden sich beispielsweise ein erwachsener Fahrer auf dem Fahrersitz und ein Kind sowie ein Hund im Fond des Fahrzeugs, so stellt sich hieraus eine entsprechende Akustik im Fahrzeuginnenraum ein. Diese Akustik wird durch ein entsprechendes Neuronales-Akustisches-Feld abgebildet. Es besteht in diesem Fall eine Korrelation zu einem Neuronalen-Akustischen-Feld aus der initialen Messkampagne mit folgendem Anwesenheitsszenario: ein großer Dummy auf dem Fahrersitz und ein kleiner und ein besonders kleiner Dummy jeweils im Fond des Fahrzeugs auf dem linken und rechten Sitz. In der NAF-Datenbank ist mit dem jeweiligen Neuronalen-Akustischen-Feld entsprechend eine Information verknüpft, welche Art von Dummy, welche Dummy-Anzahl und welche Dummy-Sitzposition dem jeweiligen Anwesenheitsszenario zugrunde liegt.
Um eine möglichst hohe Übereinstimmung zwischen der gemessenen Geräuschkulisse und einem in der NAF-Datenbank hinterlegten Neuronalen-Akustischen-Feld zu ermöglichen, werden die entsprechenden Messkampagnen individuell für verschiedene repräsentative Fahrzeuge durchgeführt. Mit „repräsentativ“ ist in diesem Falle also gemeint, dass das Fahrzeug das zur Durchführung der initialen Messkampagne verwendet wurde zumindest der gleichen Baureihe entspricht wie das Fahrzeug, in dem das Verfahren letztendlich angewendet wird. Dies gewährleistet, dass die Geometrie des Fahrzeuginnenraums im Wesentlichen gleich ist, was für die akustischen Eigenschaften des Fahrzeuginnenraums bedeutend ist.
Die initiale Messkampagne kann beliebig umfassend gestaltet werden. So können weitere Einflussfaktoren wie die Sitzeinstellung, also insbesondere eine Sitzlehnen-Neigung, eine Stellung bzw. Verfahrposition eines gesamten Fahrzeugsitzes, das Vorhandensein von Kindersitzen und/oder weiteren im Fahrzeug mitgeführten Gegenständen untersucht werden. So können neben Dummy-Typ, Dummy-Anzahl und Dummy-Sitzposition jeweils entsprechende Neuronale-Akustische-Felder für die verschiedenen Sitzeinstellungen aufgezeichnet werden sowie beispielsweise für ein im Fond des Fahrzeugs platzierte Handtasche, eine auf dem Beifahrersitz liegende Laptoptasche und dergleichen.
Für jede Parameterkombination wird dabei zumindest ein Neuronales-Akustisches-Feld in der initialen Messkampagne aufgezeichnet. Bevorzugt können jedoch auch mehrere Neuronale-Akustische-Felder ausgezeichnet werden, wodurch durch statistische Ereignisse resultierende Messungenauigkeiten bzw. Fehler reduziert werden können. Insbesondere werden bei gleichem Anwesenheitsszenario mehrere Neuronale- Akustische-Felder für unterschiedliche Schalquellenkonfigurationen aufgezeichnet. Hierzu werden insbesondere die Art der Schallquelle und/oder die Schallquellenposition relativ gegenüber dem Fahrzeuginnenraum variiert.
Besonders praktisch ist es dabei, wenn im späteren Einsatz zum Erfassen der Geräuschkulisse im Fahrzeuginnenraum das Schließen der Fahrzeugtüren als Schallquelle verwendet wird. Das Schließen der Fahrzeugtüren eignet sich insbesondere als Schallquelle, da hierdurch ein kurzer und prägnanter Schallimpuls generiert wird. Zudem ist es nicht erforderlich ein künstliches Anregersignal im Fahrzeuginnenraum auszugeben. „Beim Schließen“ meint in diesem Zusammenhang, dass die zur Verarbeitung relevanten Schallsignale innerhalb einer Zeitspanne ab dem Schließen der Fahrzeugtüren bis kurz danach analysiert werden. Diese Zeitspanne kann in der Größenordnung von einigen wenigen Sekunden oder auch Millisekunden liegen. Die Mikrofone müssen dabei zumindest während der Aufzeichnungsdauer aktiviert sein. Die Mikrofone können dabei auch vor der eigentlichen Aufzeichnungspanne aktiviert und einige Zeit nach Beenden der Aufzeichnungspanne deaktiviert werden. Beispielsweise können die Mikrofone aktiviert werden, wenn ein Öffnen der Fahrzeugtüren sensorisch festgestellt wird. Öffnen und schließen sich die Fahrzeugtüren, so steht in der Regel das Fahrzeug. Es handelt sich hierbei also insbesondere um den Moment, wo Fahrzeuginsassen das Fahrzeug betreten oder verlassen. Dies ist ein relevanter Moment zur Bestimmung der Anwesenheit von Lebewesen im Fahrzeuginnenraum. Generell ist es jedoch auch möglich, dass die Mikrofone auch während der Fahrt erneut aktiviert werden und Audiosignale aufgezeichnet werden. Darauf wird im Folgenden noch eingegangen werden.
Durch das Vorsehen mehrerer Mikrofone im Fahrzeuginnenraum können bei einer einzigen akustischen Signalquelle gleichzeitig mehrere Neuronale-Akustische-Felder aufgezeichnet werden. Die Einbaulage der entsprechenden Mikrofone zwischen repräsentativem Fahrzeug und dem Fahrzeug, in dem das Verfahren durchgeführt wird, stimmt entsprechend überein. Typischerweise verfügen Fahrzeuge über mehrerer solcher Fahrzeuginnenraummikrofone, beispielsweise zur Bereitstellung einer Freisprecheinrichtung für Telefonie oder zum Erfassen von Sprachbefehlen für einen Sprachassistenten. Um die Stimme von unterschiedlichen Fahrzeuginsassen bestmöglich erfassen zu können werden dabei typischerweise an verschiedenen Einbaulagen Mikrofone vorgesehen.
Die Recheneinheit ermittelt im Schritt d) zumindest ein Neuronales-Akustisches-Feld, welches am besten mit der aufgezeichneten Geräuschkulisse übereinstimmt. Der in Schritt c) beschriebene Abgleich der Geräuschkulisse kann dabei insbesondere vorsehen, dass selbst ein Neuronales-Akustisches-Feld aus der aufgezeichneten Geräuschkulisse generiert wird und dieses mit der NAF-Datenbank abgeglichen wird. Sticht dabei aus der Gesamtheit der NAF-Datenbank hinterlegten Neuronalen-Akustischen-Feldern ein solches Feld besonders heraus, so ist klar, welches Anwesenheitsszenario vorliegt, also wie viele Lebewesen sich im Fahrzeuginnenraum aufhalten, an welchen Sitzpositionen sie sich aufhalten und um welche Art von Lebewesen es sich handelt, also beispielsweise ein Erwachsener, ein Kind oder ein Tier.
Die Recheneinheit kann dabei unter Verarbeitung der akustischen Signale ggf. auch bestimmen, um welches Tier es sich handelt, beispielsweise durch das Erkennen eines Bellens, Miauens, Zwitschern oder dergleichen. Es können jedoch auch Fälle auftreten, in denen mehrere Neuronale-Akustische-Felder aus der NAF-Datenbank Ähnlichkeit zur aufgezeichneten Geräuschkulisse aufweisen. Die Recheneinheit vergleicht dann die mit den jeweiligen Anwesenheitsszenarien verknüpften Informationen. So können beispielsweise genau die Neuronalen-Akustischen-Felder eine hohe Übereinstimmung aufweisen, bei denen zwei Lebewesen im Fahrzeuginnenraum anwesend sind. Dabei variiert jedoch beispielsweise die jeweilige Sitzposition. In einem solchen Fall kann mittels des erfindungsgemäßen Verfahrens die Anzahl der im Fahrzeuginnenraum anwesenden Lebewesen bestimmt werden, nicht jedoch die genaue Sitzplatzpositionierung.
Mit Hilfe des erfindungsgemäßen Verfahrens ist es zumindest jedoch möglich zu unterscheiden, ob wenigstens ein Lebewesen im Fahrzeuginnenraum anwesend ist oder nicht.
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht vor, dass als akustische Signalquelle in der initialen Messkampagne zur Erzeugung der NAF- Datenbank das Zuschlägen einer Fahrzeugtür dient, wobei insbesondere ferner Neuronale-Akustische-Felder unter Variation der zugeschlagenen Fahrzeugtür aufgezeichnet werden. Da zumindest im Stillstand des Fahrzeugs, wenn die Fahrzeugtüren geöffnet und geschlossen werden, das erfindungsgemäße Verfahren zum Bestimmen der Anwesenheit von Lebewesen im Fahrzeuginnenraum durchgeführt wird und dabei das Zuschlägen der Fahrzeugtüre(n) als Schallquelle(n) dient, dient in besonders vorteilhafter Art und Weise das Zuschlägen der Fahrzeugtüren auch in der initialen Messkampagne als Schallquelle zur Erzeugung der NAF-Datenbank. Somit basieren die in der initialen Messkampagne erzeugten Neuronalen-Akustischen-Felder auf derselben Schallquelle, die auch später bei der Durchführung des Verfahrens im Fahrzeug verwendet wird. Hierdurch lässt sich der Grad an Übereinstimmung zwischen der im Fahrzeuginnenraum aufgenommenen Geräuschkulisse (also insbesondere ein aus der Geräuschkulisse abgeleitetes Neuronales-Akustisches-Feld) und den in der NAF- Datenbank hinterlegten Neuronalen-Akustischen-Felder erhöhen.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens ermittelt die Recheneinheit unter Berücksichtigung eines Türschließsensors beim Schließen der Fahrzeugtür, welche Fahrzeugtür geschlossen wurde. Je nachdem, welche Fahrzeugtür geschlossen wird und somit als Schallquelle dient, hat dies aufgrund der geänderten Position der Schallquelle, einen Einfluss auf das entsprechende Neuronale-Akustische- Feld. Somit werden für jede mögliche Kombination zugeschlagener Fahrzeugtüren individuell Neuronale-Akustische-Felder aufgenommen. Dabei kann eine einzige Fahrzeugtür zugeschlagen werden oder auch mehrere Fahrzeugtüren zeitgleich oder zeitlich kurz hintereinander. Dies wird entsprechend in der initialen Messkampagne berücksichtigt. Unter Berücksichtigung der von einem Türschließsensor übermittelten Daten kann die Recheneinheit dabei genau erfassen, welche Fahrzeugtür zugeschlagen wird. Diese Information kann dann die Recheneinheit bei der Ermittlung der Übereinstimmung zwischen im Fahrzeuginnenraum aufgezeichneter Geräuschkulisse und in der NAF-Datenbank hinterlegten Neuronalen-Akustischen-Feldern berücksichtigen. So wählt die Recheneinheit lediglich die Neuronalen-Akustischen-Felder aus der NAF- Datenbank die für eine Übereinkunft in Frage kommen aus, bei denen die entsprechende Fahrzeugtür als Schallquelle diente.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass in Abhängigkeit der Fahrzeugausstattung unterschiedliche initiale Messkampagnen zur Erzeugung der NAF-Datenbank durchgeführt werden. Neben den bereits erwähnten Einflussgrößen wirkt sich auch die Fahrzeugausstattung auf die jeweiligen Neuronalen-Akustischen-Felder aus. Ist also beispielsweise ein bestimmter Fahrzeugsitztyp verbaut wie ein Sportsitz, weist dieser eine bestimmte Materialienzusammensetzung auf wie beispielsweise Leder oder werden sonstige Sonderbauelemente im Fahrzeuginnenraum angeordnet wie beispielsweise Zierleisten aus Wurzelholz, so kann dies die Klangkulisse im Fahrzeuginnenraum beeinflussen. So wird beispielsweise Schall durch eine glatte Oberfläche anders zurückgeworfen als durch eine raue Oberfläche wie Samt oder strukturierten Kunststoff.
Der Fahrzeughersteller kann also nicht nur für unterschiedliche Baureihen, sondern je Baureihe auch für unterschiedliche Fahrzeugausstattungen entsprechende Messkampagnen durchführen. Es können dann alle so generierten Neuronalen- Akustischen-Felder in der Recheneinheit des Fahrzeugs implementiert werden oder nur diejenigen, die im repräsentativen Fahrzeuginnenraum mit der korrespondierenden Fahrzeugausstattung aufgezeichnet wurden. Hierdurch lässt sich Speicherplatz in der Recheneinheit einsparen. Ändert sich die Fahrzeugausstattung über die Fahrzeuglebensdauer, so sind dann jedoch eine fehlende NAF-Datenbank bzw. fehlende Neuronale-Akustische-Felder nachträglich in die Recheneinheit einzubringen. Dies kann beispielsweise mittels Update erfolgen, bevorzugt durch ein drahtloses „Over-the-Air“ Update.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens führt die Recheneinheit eine Messkampagne zum Erweitern der NAF- Datenbank in der Einsatzphase des Fahrzeugs durch, wobei ein aktuelles Anwesenheitsszenario beschreibende Informationen proaktiv von einem Nutzer abgefragt werden. Mit anderen Worten ist die Recheneinheit hierdurch lernfähig. Der Nutzer des Fahrzeugs kann in der Einsatzphase, also bezogen auf die Lebensphase des Fahrzeugs, der Zeitraum, in dem das Fahrzeug durch einen Nutzer verwendet wird, neue Neuronale- Akustische-Felder aufzeichnen. Hierzu werden dann keine Dummies mehr verwendet, sondern die tatsächlich typischerweise mit dem Fahrzeug reisenden Lebewesen wie Familienmitglieder oder Haustiere. Hierdurch lässt sich der Grad an Übereinstimmung zwischen der im Fahrzeug aufzeichenbaren Geräuschkulissen und den in der NAF- Datenbank hinterlegten Neuronalen-Akustischen-Feldern noch weiter erhöhen. Damit die Recheneinheit das entsprechende Anwesenheitsszenario mitgeteilt werden kann, müssen diese Informationen der Recheneinheit manuell vorgegeben werden. Hierzu kann der Nutzer eine geeignete Mensch-Maschine-Schnittstelle nutzen, beispielsweise eine berührempfindliche Anzeigevorrichtung.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Verfahrensschritte b) bis e) zu einem späteren Zeitpunkt nach dem Schließen der Fahrzeugtür erneut durchgeführt werden, wobei dabei ein akustisches Erregersignal über wenigstens einen im Fahrzeug angeordneten Lautsprecher ausgegeben wird. Wie bereits erwähnt kann mittels des erfindungsgemäßen Verfahrens die Anwesenheit von Lebewesen im Fahrzeuginnenraum nicht nur beim Zuschlägen der Türen erfolgen, sondern auch zu einem späteren Zeitpunkt, beispielsweise während der Fahrt. Hierdurch kann die vormals ermittelte Anwesenheit von Lebewesen, insbesondere Anzahl, Lebewesentyp und Sitzplatzpositionierung, verifiziert werden. Da während der Fahrt Fahrzeugtüren nicht geöffnet und geschlossen werden sollten, wird bevorzugt eine andere Schallquelle benutzt. Hierzu kommen die Lautsprecher des Fahrzeugs in Frage, insbesondere werden Audiosignale über an verschiedenen Stellen im Fahrzeuginnenraum angeordnete Lautsprecher ausgegeben. Besonders bevorzugt stimmen auch hier die Erregersignale mit den in der initialen Messkampagne verwendeten Erregersignalen überein.
Beispielsweise kann im Fahrzeugstillstand durch ein geöffnetes Türfenster ein Haustier in den Fahrzeuginnenraum gereicht werden. Entsprechend lässt sich auch während der Fahrt eine korrekte Lebewesenanzahl ermittelt.
Bevorzugt umfasst dabei das über den wenigstens einen Lautsprecher ausgegebene akustische Erregersignal ausschließlich Frequenzen im Ultraschallfrequenzband und/oder im Infraschallfrequenzband. Dies hat den Vorteil, dass entsprechende Erregersignale durch die Fahrzeuginsassen nicht wahrnehmbar sind. Somit wird das Durchführen des erfindungsgemäßen Verfahrens ermöglicht, ohne das die Fahrzeuginsassen dies bemerken. Hierdurch wird im Besonderen der Nutzerkomfort verbessert.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Recheneinheit im Verfahrensschritt d) ebenfalls künstliche Intelligenz zur Bestimmung des mit der Geräuschkulisse übereinstimmenden Neuronalen-Akustischen- Felds einsetzt. Hierzu kommen bewährte Methoden und Verfahren aus der künstlichen Intelligenz in Frage wie künstliche neuronale Netze, insbesondere tiefe künstliche neuronale Netze. Dies erlaubt es noch zuverlässiger Übereinstimmungen zwischen aufgezeichneter Geräuschkulisse und in der NAF-Datenbank hinterlegten Neuronalen- Akustischen-Feldern zu ermitteln. Insbesondere vergleicht ein entsprechendes Maschinenlernmodell ein aus der aufgezeichneten Geräuschkulisse abgeleitetes Neuronales-Akustisches-Feld mit der NAF-Datenbank.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens bewirkt die Recheneinheit das Durchführen einer Notfallmaßnahme erst dann, wenn ein Lebewesen im Fahrzeuginnenraum detektiert wurde und danach das Fahrzeug ein Türverriegelungssignal empfängt. Als Notfallmaßnahme können verschiedene Aktionen durchgeführt werden, wie das Aktivieren von Beleuchtungsvorrichtungen, beispielsweise der Frontscheinwerfer, Rückleuchten, eines Richtungsanzeigers und dergleichen sowie das Ausgeben akustischer Warnsignale beispielsweise über die Hupe des Fahrzeugs. Somit lassen sich Passanten in der Umgebung des Fahrzeugs warnen. Ebenfalls können Warnnachrichten per drahtloser Kommunikationsverbindung übermittelt werden, beispielsweise an ein mobiles Endgerät des Fahrzeughalters, oder auch an einen Rettungsdienst. Ferner kann die Recheneinheit eine Fahrzeugfunktion ansteuern und so beispielsweise durch das Betätigen elektrischer Fensterheber ein Fenster öffnen oder die Klimatisierungseinrichtung des Fahrzeugs aktivieren. Hierdurch lässt sich beispielsweise eine Überhitzung im Sommer verhindern.
Indem das Durchführen der Notfallmaßnahme erst dann bewirkt wird, wenn das Fahrzeug verriegelt wird, wird verhindert, dass unnötigerweise entsprechende Notfallmaßnahmen eingeleitet werden. Sind die Fahrzeugtüren unverriegelt, so bedeutet dies typischerweise, dass eine fahrzeugführende Person anwesend oder in der Nähe ist. Somit droht für Kinder und Tiere im Fahrzeuginnenraum in der Regel keine Gefahr. Wird das Fahrzeug hingegen verriegelt, so entfernt sich auch die fahrzeugführende Person und entsprechend steigt die Gefahr für die im Fahrzeug zurückgelassenen Kinder und/oder Tiere. Dem wird so Rechnung getragen.
Bei einem Fahrzeug, umfassend wenigstens zwei Mikrofone und eine Recheneinheit, sind erfindungsgemäß die Mikrofone und die Recheneinheit zur Durchführung eines im vorigen beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Die Mikrofone sind an verschiedenen Positionen im Fahrzeuginnenraum angeordnet. Dies erlaubt es besonders umfassend und differenziert verschiedene Neuronale-Akustische-Felder aufzuzeichnen. Bei der Recheneinheit kann es sich um einen zentralen Bordcomputer, ein Steuergerät eines Fahrzeuguntersystems, eine Telematikeinheit oder dergleichen handeln. Verschiedene von der Recheneinheit durchzuführende Schritte können auch auf mehrere physisch voneinander getrennte Recheneinheiten verteilt sein. Die eine oder mehreren Recheneinheiten umfassen computerlesebare Speichermedien, auf denen jeweils ein Computerprogrammprodukt vorgehalten wird, dessen Ausführung durch einen Prozessor bewirkt, dass die im Zusammenhang mit dem erfindungsgemäßen Verfahren erläuterten Verfahrensschritte im Fahrzeug umgesetzt werden.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Detektion von Lebewesen in einem Fahrzeuginnenraum sowie des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezug auf die Figuren näher beschrieben werden.
Dabei zeigen: Fig. 1 eine schematisierte Darstellung eines Neuronalen-Akustischen-Felds einer Wohnung; und
Fig. 2 eine schematisierte Darstellung des Ablaufs eines erfindungsgemäßen Verfahrens zur Bestimmung der Anwesenheit von Lebewesen in einem Fahrzeuginnenraum basierend auf der Erzeugung von Neuronalen- Akustischen-Feldern.
Ein Neuronales-Akustisches-Feld NAF entspricht einer Repräsentation der akustischen Eigenschaften einer vermessenen Umgebung. Andrew Luo et al. beschreiben in ihrem Paper Learning Neural Acoustic Fields, https://doi.org/10.48550/arXiv.2204.00628, wie sich solche Neuronale-Akustische-Felder NAF erzeugen lassen. Mittels eines solchen Neuronalen-Akustischen-Felds NAF lassen sich die Strukturen, das heißt die Geometrie des untersuchten Raumes, abschätzen. Somit lassen sich rein basierend auf akustischen Untersuchungen geometrische Informationen ableiten.
Figur 1 zeigt ein solches Neuronales-Akustisches-Feld NAF einer Wohnung 6. Dargestellt ist eine Schallquelle 7, die an einem beliebigen Ort innerhalb der zu untersuchenden Umgebung, hier besagte Wohnung 6, platziert wurde. Mit Hilfe von akustischen Erfassungsmitteln, beispielsweise ein (ggf. Stereo-)Mikrofon wird ein von der Schallquelle 7 ausgegebenes akustisches Signal erfasst. Sich in der zu vermessenden Umgebung ausbreitende Schallwellen 8 sind ebenfalls dargestellt. Durchgezogene Linien repräsentieren dabei von der Schallquelle 7 ausgehenden Schall und gestrichelte Linien aus der Umgebung zurückreflektierte Echos. Unter Variation des Aufstellorts von Schallquelle 7 und nicht näher dargestellten Erfassungsmitteln wird die zu untersuchende Umgebung kartographiert. Von den akustischen Erfassungsmitteln aufgezeichnete Impulsantworten werden einer Kurzzeitfourier-Transformation unterzogen und daraus ein Spektogramm generiert. Die Spektogramme einer Vielzahl an Einzelmessungen werden dann als Eingangsgröße für ein Maschinenlernmodell in Form eines künstlichen neuronalen Netzwerks bereitgestellt. Das künstliche neuronale Netzwerk ermittelt dann das in Figur 1 dargestellte Neuronale-Akustische-Feld NAF. Ein solches Neuronales- Akustisches-Feld NAF zeigt die Lautheit bzw. den Schalldruckpegel in Abhängigkeit der Position der verwendeten Schallquelle 7 als örtliche Verteilung der untersuchten Umgebung. In Figur 1 ist die Lautheit als Graustufenskala dargestellt, wobei Hellgrau lauten Tönen und Dunkelgrau bzw. Schwarz leisen Tönen entspricht. Deutlich zu erkennen sind Lücken 9, welche Wänden oder Gegenständen wie Möbeln entsprechen. Diese in dem von Andrew Lou et al. veröffentlichten Paper beschriebenen Technik lässt sich zur Detektion von Lebewesen in Fahrzeuginnenräumen anwenden. Dies ist mittels eines erfindungsgemäßen Verfahrens möglich, dessen Verfahrensablauf in Figur 2 schematisiert dargestellt ist.
Zuerst gilt es in einer Messkampagne einen Fahrzeuginnenraum 2 eines Fahrzeugs entsprechend zu vermessen. Hierzu werden Dummies in unterschiedlichen Ausführungen an verschiedenen Sitzpositionen in unterschiedlicher Anzahl im Fahrzeuginnenraum 2 platziert und verschiedene Schallerregersignale zum Messen der Geräuschkulisse im Fahrzeuginnenraum 2 ausgegeben. Für unterschiedliche Anwesenheitsszenarios werden dann eine Vielzahl an Neuronalen-Akustischen-Felder NAF generiert und in einer NAF- Datenbank 5 aggregiert. Diese NAF-Datenbank 5 wird dann in eine Recheneinheit 4 des Fahrzeugs, welches das erfindungsgemäße Verfahren durchführen soll, eingebracht.
Im späteren Einsatz des Fahrzeugs wird zur Bestimmung der Anwesenheit von Lebewesen im Fahrzeuginnenraum 2 mittels mehrerer Mikrofone 3, hier beispielsweise vier verteilt im Fahrzeuginnenraum 2 angeordnete Mikrofone 3, die Geräuschkulisse beim Schließen der Fahrzeugtüren aufgenommen. In dem in Figur 2 gezeigten Ausführungsbeispiel befinden sich als Lebewesen 1 im Fahrzeuginnenraum 2 eine erwachsene fahrzeugführende Person auf dem Fahrersitz des Fahrzeugs sowie ein Kind auf einem rechten hinteren Fondsitz. Durch die Anwesenheit besagter Lebewesen 1 wird die Ausbreitung der Schallwellen 8 im Fahrzeuginnenraum 2 beim Schließen der Fahrzeugtür beeinflusst. Die Fahrzeugtür dient also als Schallquelle 7.
Die Recheneinheit 4 kann aus der so aufgenommenen Geräuschkulisse für jedes Mikrofon 3 ein individuelles Neuronales-Akustisches-Feld NAF bzw. ein gemitteltes Neuronales-Akustisches-Feld NAF ableiten. Dieses ist in Figur 2 rechts oben dargestellt und zeigt entsprechende Lücken 9 an den Stellen, an denen sich Strukturen im Fahrzeuginnenraum 2 befinden. Dargestellt ist ein Ausschnitt aus dem Neuronalen- Akustischen-Feld NAF auf einer bestimmten geodätischen Höhe. Diese geodätische Höhe entspricht insbesondere der Höhe, an der die jeweiligen Mikrofone 3 im Fahrzeuginnenraum 2 angebracht sind. Besonders vorteilhaft sind mehrere Mikrofone 3 an unterschiedlichen geodätischen Höhen im Fahrzeuginnenraum 2 angeordnet, sodass Schnitte auf verschiedenen Höhenpositionen generiert werden können. Neben den Lebewesen 1 sind Lücken 9 dargestellt für die entsprechenden Rückenlehnen der Fahrzeugsitze.
Dieser in Figur 2 dargestellte Ablauf kann explizit oder implizit umgesetzt werden. Ein expliziter Ablauf sieht vor, dass das aus der Geräuschkulisse abgeleitete Neuronale- Akustische-Feld NAF geometrisch mit den in der NAF-Datenbank 5 hinterlegten Neuronalen-Akustischen-Feldern NAF abgeglichen wird. Es wird also beispielsweise mathematisch eine Korrelation von sich überlappenden Linienverläufen ermittelt. Ein impliziter Ablauf hingegen sieht vor, dass die jeweiligen Neuronalen-Akustischen-Felder NAF lediglich auf „Ähnlichkeit“ hin untersucht werden. Hierzu kann insbesondere künstliche Intelligenz die jeweilige Datenstruktur der Neuronalen-Akustischen-Felder NAF miteinander vergleichen. Ein solcher Vergleich mittels eines entsprechenden Maschinenlernmodells läuft dann als Blackbox ab.
Zum Abgleichen der Geräuschkulisse bzw. der aus der Geräuschkulisse abgeleiteten Neuronalen-Akustischen-Felder NAF mit der NAF-Datenbank 5 prüft die Recheneinheit 4 welches in der NAF-Datenbank 5 hinterlegte Neuronale-Akustische-Feld NAF die höchste Übereinstimmung aufweist. Hierzu liest die Recheneinheit 4 die entsprechende NAF- Datenbank 5 aus. Beispielhaft dargestellt sind unterschiedliche Übereinstimmungswahrscheinlichkeiten. Zumindest dasjenige Neuronale-Akustische-Feld NAF mit der höchsten Übereinstimmung wird in einem Ergebnis 10 als übereinstimmend ausgewählt.
Entsprechend leitet die Recheneinheit 4 ab, dass das beim Aufnehmen in der initialen Messkampagne vorliegende Anwesenheitsszenario des respektiven Neuronalen- Akustischen-Felds NAF auch aktuell auf das Fahrzeug zutrifft. So lässt sich zumindest ermitteln, ob ein Lebewesen 1 im Fahrzeuginnenraum 2 anwesend ist oder nicht. Je deutlicher ein bestimmtes Neuronales-Akustisches-Feld NAF aus der NAF-Datenbank 5 mit dem zur Geräuschkulisse abgeleiteten Neuronalen-Akustischen-Feld NAF übereinstimmt, desto mehr Informationen lassen sich ableiten, insbesondere die Anzahl der Lebewesen 1, die Art des Lebewesens 1, also Erwachsener, Kind, Tier oder dergleichen, sowie auf welchem Sitzplatz sich das Lebewesen 1 befindet.

Claims

Patentansprüche
1. Verfahren zur Detektion von Lebewesen (1) in einem Fahrzeuginnenraum (2), wobei der Fahrzeuginnenraum (2) akustisch durch wenigstens zwei Mikrofone (3) überwacht wird und eine Recheneinheit (4) von den Mikrofonen (3) erzeugte Signale unter Verwendung von künstlicher Intelligenz auswertet, gekennzeichnet durch die folgenden Verfahrensschritte: a) Implementieren einer NAF-Datenbank (5) in der Recheneinheit (4), wobei die NAF-Datenbank (5) eine Vielzahl von Neuronalen-Akustischen-Feldern (NAF) des Fahrzeuginnenraums (2) für verschiedene Anwesenheitsszenarios umfasst, und wobei die NAF-Datenbank (5) durch eine initiale Messkampagne in einem repräsentativem Fahrzeuginnenraum erzeugt wird, indem unter Variation von zumindest Dummy-Typ, Dummy-Anzahl und Dummy-Sitzposition jeweils wenigstens ein Neuronales-Akustisches-Feld (NAF) aufgezeichnet wird; b) Aufzeichnen der Geräuschkulisse im Fahrzeuginnenraum (2) mittels der Mikrofone (3) zumindest beim Schließen der Fahrzeugtüren; c) Abgleichen der aufgezeichneten Geräuschkulisse mit den in der NAF-Datenbank (5) hinterlegten Neuronalen-Akustischen-Feldern (NAF) durch die Recheneinheit (4); d) Ermitteln zumindest eines Neuronalen-Akustischen-Felds (NAF) welches die höchste Übereinstimmung mit der aufgezeichneten Geräuschkulisse aufweist durch die Recheneinheit (4); und e) Festlegen der Anwesenheit von Lebewesen (1) im Fahrzeuginnenraum (2), durch die Recheneinheit (4), korrespondierend zum jeweiligen dem im Schritt d) ermittelten Neuronalen-Akustischen-Feld (NAF) zugrunde liegenden Anwesenheitsszenario.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als akustische Signalquelle in der initialen Messkampagne zur Erzeugung der NAF- Datenbank (5) das Zuschlägen einer Fahrzeugtür dient, wobei insbesondere ferner Neuronale-Akustische-Felder (NAF) unter Variation der zugeschlagenen Fahrzeugtür aufgezeichnet werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Recheneinheit (4) unter Berücksichtigung eines Türschließsensors beim Schließen der Fahrzeugtür ermittelt, welche Fahrzeugtür geschlossen wurde.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in Abhängigkeit der Fahrzeugausstattung unterschiedliche initiale Messkampagnen zur Erzeugung der NAF-Datenbank (5) durchgeführt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Recheneinheit (4) eine Messkampagne zum Erweitern der NAF-Datenbank (5) in der Einsatzphase des Fahrzeugs durchführt, wobei ein aktuelles Anwesenheitsszenario beschreibende Informationen proaktiv von einem Nutzer abgefragt werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Verfahrensschritte b) bis e) zu einem späteren Zeitpunkt nach dem Schließen der Fahrzeugtür erneut durchgeführt werden, wobei dabei ein akustisches Erregersignal über wenigstens einen im Fahrzeug angeordneten Lautsprecher ausgegeben wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das über den wenigstens einen Lautsprecher ausgegebene akustische Erregersignal ausschließlich Frequenzen im Ultraschallfrequenzband und/oder Infraschallfrequenzband umfasst.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Recheneinheit (4) im Verfahrensschritt d) ebenfalls künstliche Intelligenz zur Bestimmung des mit der Geräuschkulisse übereinstimmenden Neuronalen- Akustischen-Felds (NAF) einsetzt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Recheneinheit (4) das Durchführen einer Notfallmaßnahme erst dann bewirkt, wenn ein Lebewesen (1) im Fahrzeuginnenraum (2) detektiert wurde und danach das Fahrzeug ein Türverriegelungssignal empfängt.
10. Fahrzeug, umfassend wenigstens zwei Mikrofone (3) und eine Recheneinheit (4), dadurch gekennzeichnet, dass die Mikrofone (3) und die Recheneinheit (4) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet sind.
EP24701866.6A 2023-02-20 2024-01-23 Verfahren zur detektion von lebewesen in einem fahrzeuginnenraum und fahrzeug Pending EP4670147A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023000575.4A DE102023000575B4 (de) 2023-02-20 2023-02-20 Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum und Fahrzeug
PCT/EP2024/051523 WO2024175288A1 (de) 2023-02-20 2024-01-23 Verfahren zur detektion von lebewesen in einem fahrzeuginnenraum und fahrzeug

Publications (1)

Publication Number Publication Date
EP4670147A1 true EP4670147A1 (de) 2025-12-31

Family

ID=89715799

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24701866.6A Pending EP4670147A1 (de) 2023-02-20 2024-01-23 Verfahren zur detektion von lebewesen in einem fahrzeuginnenraum und fahrzeug

Country Status (6)

Country Link
EP (1) EP4670147A1 (de)
JP (1) JP7819425B2 (de)
KR (1) KR20250126141A (de)
CN (1) CN120641961A (de)
DE (1) DE102023000575B4 (de)
WO (1) WO2024175288A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10246048A1 (de) 2002-10-02 2004-04-15 Robert Bosch Gmbh Vorrichtung zur Sitzbelegungserkennung in einem Fahrzeug
JP7249573B2 (ja) * 2018-12-20 2023-03-31 パナソニックＩｐマネジメント株式会社 乗員状態検知システム
DE102019212412A1 (de) 2019-08-20 2021-02-25 Zf Friedrichshafen Ag Überwachungsvorrichtung und Verfahren zur Überwachung eines Lebewesens im Innenraum eines Fahrzeugs und Computerprogramm
KR102397104B1 (ko) * 2020-09-09 2022-05-12 서울대학교 산학협력단 임펄스 무선 초광대역 레이더를 이용한 차량 내 사람 감지 및 위치 확인 방법
CN113093165B (zh) * 2021-04-14 2024-04-12 苏州矽典微智能科技有限公司 基于毫米波雷达的车内活体检测方法及系统
DE112021007866A5 (de) * 2021-06-23 2024-04-04 Pierburg Gmbh Innenraumüberwachungssystem für ein fahrzeug und verfahren zur erkennung von lebenszeichen im innenraum eines fahrzeugs

Also Published As

Publication number Publication date
WO2024175288A1 (de) 2024-08-29
JP2026504598A (ja) 2026-02-05
DE102023000575A1 (de) 2024-08-22
JP7819425B2 (ja) 2026-02-24
CN120641961A (zh) 2025-09-12
DE102023000575B4 (de) 2025-01-30
KR20250126141A (ko) 2025-08-22

Similar Documents

Publication Publication Date Title
DE102014201228B4 (de) System und Verfahren zur aktiven Lärmkontrolle
DE102015121955A1 (de) Verfahren und Vorrichtung zum Überwachen eines hinteren Fahrgastsitzbereichs eines Fahrzeugs
DE102017126792A1 (de) Fahrzeuggeräuschaktivierung
DE102007051261A1 (de) Verfahren und Vorrichtung zur akustischen Beurteilung eines Kraftfahrzeuges
WO2021165004A1 (de) Verfahren und steuereinheit zum betrieb einer geräuschunterdrückungseinheit eines fahrzeugs
DE102016104689A1 (de) Steuerungssystem für von funktionellen Hardwarekomponenten erzeugten Lärm
DE102014017293A1 (de) Verfahren zur Verzerrungskompensation im Hörfrequenzbereich und damit zu verwendendes Verfahren zur Schätzung akustischer Kanäle
DE102013009516A1 (de) Klimatisierungsvorrichtung für ein Fahrzeug, insbesondere Kraftfahrzeug und Verfahren zu deren Betrieb
WO2023156318A1 (de) Verfahren und vorrichtungen zum radargestützten erkennen eines sitzbelegungszustands einer sitzplatzanordnung
DE102021125744A1 (de) Computer-implementiertes Verfahren, Vorrichtung und Computerprogramm zum Steuern von ein oder mehreren Einstellungen eines Fahrzeugs
EP4289661B1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
WO2018172231A1 (de) Verfahren und vorrichtung zum unterhalten eines nutzers eines fahrzeugs
DE102021116553A1 (de) Verfahren zum Betrieb eines Verstellsystems für einen Innenraum eines Kraftfahrzeugs
DE102012022321A1 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
DE102016212681A1 (de) Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs
DE102023131089A1 (de) Mückenabwehrsystem und betriebsverfahren dafür
DE102023000575B4 (de) Verfahren zur Detektion von Lebewesen in einem Fahrzeuginnenraum und Fahrzeug
DE102017210650B4 (de) Verfahren und Steuergerät zum Steuern eines Akustiksystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102022213029A1 (de) Fahrzeug und steuerungsverfahren dafür
DE102017103391A1 (de) Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
DE102008060194B4 (de) Verfahren und Kraftfahrzeug für ein Fahrzeugflotten-Qualifikationsmanagement
WO2022258302A1 (de) Verfahren zur diagnostizierung einer krankheit, vorzugsweise einer atemwegserkrankung
DE102021126088B4 (de) Insassenanwesenheits-Detektionssystem für ein Fahrzeug und Verfahren zur Detektion der Anwesenheit von Insassen in einem Fahrzeug
DE102019135463A1 (de) Verfahren zum bewerten von glasscheibenführungsgeräuschen
DE102017208382B4 (de) Verfahren zur Verbesserung von vorübergehend beeinträchtigter Spracherkennung in einem Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR