EP4548605A1 - Verfahren zum kalibrieren eines fahrzeugintegrierten binauralen 3d-audiosystems und fahrzeug - Google Patents

Verfahren zum kalibrieren eines fahrzeugintegrierten binauralen 3d-audiosystems und fahrzeug

Info

Publication number
EP4548605A1
EP4548605A1 EP24727750.2A EP24727750A EP4548605A1 EP 4548605 A1 EP4548605 A1 EP 4548605A1 EP 24727750 A EP24727750 A EP 24727750A EP 4548605 A1 EP4548605 A1 EP 4548605A1
Authority
EP
European Patent Office
Prior art keywords
location
sound source
vehicle
virtual sound
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24727750.2A
Other languages
English (en)
French (fr)
Inventor
Jan Bendick
Alexander Hanuschkin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4548605A1 publication Critical patent/EP4548605A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Definitions

  • the invention relates to a method for calibrating a vehicle-integrated binaural 3D audio system according to the type defined in more detail in the preamble of claim 1 and to a vehicle with such a binaural 3D audio system.
  • DE 102020 108449 A1 describes a method for providing at least one user-specific binaural sound signal for vehicle occupants, in which the user-specific HRTF is calculated based on the anatomy of the respective person.
  • the anatomy of the respective person is recorded by interior cameras arranged in the vehicle in order to easily and conveniently enable an optimized audio experience using a larger number of loudspeakers.
  • US 2013/0194107 A1 also describes the capture and storage of an HRTF to generate virtual 3D audio via a signal processor.
  • cameras are used to capture the anatomy underlying the calculations.
  • US 2018/0249271 A1 discloses a binaural audio calibration method.
  • the method disclosed in the document is used to calibrate a virtual reality device to experience a virtual three-dimensional sound environment.
  • the virtual reality device also takes into account a user-specific head transmission function in order to place a virtual sound source in a virtual reality environment in such a way that it is located in the virtual reality environment at exactly the same place where the user of the virtual reality device hears it.
  • a virtual sound source is placed in the virtual reality environment and a sound is emitted via the virtual sound source.
  • the user of the virtual reality device indicates at which location in the virtual reality environment he perceives the virtual sound source.
  • vehicle interior sensors By using vehicle-integrated loudspeakers, the use of other devices such as headphones, virtual reality glasses or the like can be dispensed with.
  • vehicle interior sensors can be can be used, by means of which depth information can be obtained, such as radar sensors, LiDAR sensors, ultrasonic sensors and the like.
  • the location indication can also be recorded using machine vision. Camera images generated by the camera(s) can be evaluated using suitable image recognition algorithms. Depth information can also be generated using a stereo camera.
  • Motion sensors can also be used as vehicle interior sensors. These include radio-based sensors in which movements are detected by changing the radio signal strength. A Wi-Fi signal, for example, can be used as a radio technology.
  • the sound emitted by the virtual sound source can be varied.
  • the sound can be birdsong, the whistling of a whistle, bubbling boiling water, the whistling of a kettle, the ringing of a bell or the like. It is possible for the user to specify which type of sound should be used via a human-machine interface such as a touch-sensitive display device for the control unit.
  • the virtual sound source can be placed anywhere inside the vehicle.
  • the virtual sound source can be located on a vehicle seat, in the trunk, on the dashboard, under the roof lining or similar. It is also possible to place the virtual sound source outside the vehicle. This allows ambient noise to be simulated depending on the direction.
  • the 3D audio system or the control unit can take the influence of the vehicle structure into account so that the user perceives the corresponding noise as acoustically muffled, as if it were actually coming from outside the vehicle.
  • the control unit takes into account an individual room transmission function for each loudspeaker to adapt the audio signal emitted via the respective loudspeaker to the location of the virtual sound source.
  • the geometric structure of the vehicle, the materials used in the vehicle and the location of the loudspeakers in the vehicle also affect the location of the virtual sound source.
  • the previously listed variables are included in a corresponding room transmission function.
  • the room transmission function can, for example, be determined experimentally by the vehicle manufacturer by carrying out acoustic measurements.
  • the room transmission function can also be approximated using calculation or simulation methods. Due to the different mounting positions of the individual loudspeakers on the vehicle, the room transmission function is individual for each loudspeaker. If the By using a respective room transfer function for the individual loudspeakers in the control unit, it is possible to further reduce the location difference between the presumed location of the virtual sound source and the actual location of the virtual sound source.
  • Head transmission functions can be assigned to users through personal identification. For example, people can log into the vehicle using a user name or be recognized by biometric features such as a face scan, an iris scan or voice analysis. Users can also be recognized by a device they are carrying, for example by the individual MAC address or Bluetooth address of a smartphone they are carrying. Two user-specific audio signals can be output via the same pair of loudspeakers. However, it is preferable to use an individual pair of loudspeakers for each user to output the user-specific audio signal. This reduces or even eliminates the negative influence of acoustic interference on the location of the virtual sound sources.
  • the control unit maintains a database in which a large number of HRTF profiles are stored, each HRTF profile being assigned a differently configured head transfer function, and the control unit selects a different HRTF profile in method step e) to change the head transfer function and/or adjusts parameters of the head transfer function used.
  • the HRTF profiles included in the database or the head transfer functions underlying these profiles can be so-called standard or default functions. These standard head transfer functions can, for example, have been defined by the vehicle manufacturer for the most common application scenarios. Changing the HRTF profile thus makes it possible to adapt the head transfer function particularly quickly and easily. However, the corresponding head transfer function may not match the user's actual head transfer function sufficiently.
  • Proven methods can be used to determine how the parameters of the head transfer function should be changed when carrying out the calibration steps a) to e). For example, proven optimization algorithms or algorithms based on artificial intelligence or machine learning can be used. With the help of appropriate algorithms, it is possible to recognize patterns and thus change the parameters of the head transfer function used in such a way that the location difference is reduced in the next iteration.
  • a further advantageous embodiment of the method according to the invention further provides that the location difference includes the Euclidean difference between the actual location of the virtual sound source and the location assumed by the location indication.
  • the location difference includes the Euclidean difference between the actual location of the virtual sound source and the location assumed by the location indication.
  • the user uses a human-machine interface to tell the control unit for method step a) where the virtual sound source should be placed.
  • the user can thus influence the calibration process. For example, in certain regions of the vehicle interior there may be a greater discrepancy between the assumed position of the virtual sound source and the actual position of the virtual sound source than in other regions.
  • the user can then preferentially place the virtual sound source in this region of the room, so that the errors present in this region of the room can be reduced even more quickly by calibrating. This increases the efficiency of the calibration process.
  • This procedure can also be carried out in an analogous manner by the control unit.
  • the control unit can divide the vehicle interior into different zones and gradually place virtual sound sources in the individual zones. The control unit then determines in which zones the location difference is particularly large and then carries out an increased number of measurements in the corresponding zones.
  • a further advantageous embodiment of the method according to the invention further provides that the control device outputs an acoustic, visual and/or haptic indication to the user via output means if the location of the virtual sound source presumed by the user coincides with the actual location within a tolerated deviation or, in the case of a larger deviation, the control device outputs the indication and supplements it with a location tip, wherein the location tip describes where the actual location of the virtual sound source is compared to the presumed location of the virtual sound source.
  • Acoustic signals can be issued using the vehicle's loudspeakers. If the user touches the virtual sound source, the audio signal can be stopped, for example. Additionally or alternatively, an appropriate signal tone, such as a beep or a jingle, can be heard.
  • an appropriate signal tone such as a beep or a jingle
  • control unit adapts the location tip depending on the magnitude of the location difference.
  • a different location tip is given if the user reaches far past the virtual sound source than if he hits the virtual sound source or only reaches slightly past it.
  • the light pulses emitted by lighting devices can appear brighter or last longer. Acoustic notification messages can be emitted louder in this case. Other output modalities can also be used. If, for example, the user hits the virtual sound source, only a simple notification tone can be heard. However, if the user reaches past the virtual sound source, points past it or looks past it, the actual location of the virtual sound source can be illuminated and a notification message can be read out about where the virtual sound source actually is.
  • the 3D audio system and the vehicle interior sensors are set up according to the invention to carry out a method described above.
  • the vehicle can be any vehicle such as a car, truck, van, bus or the like. It can also be a rail vehicle, watercraft or aircraft.
  • the 3D audio system comprises at least two loudspeakers for outputting the corresponding audio signal and a control unit for controlling the loudspeakers.
  • Fig. 1 is a schematic plan view of a vehicle according to the invention comprising a binaural 3D audio system
  • Fig. 2 is a flow chart of a method according to the invention for calibrating the 3D audio system of the vehicle shown in Fig. 1.
  • FIG. 1 shows a vehicle 6 according to the invention, which has a binaural 3D audio system.
  • the 3D audio system comprises at least two loudspeakers 1, which are arranged offset from one another in the vehicle 6.
  • An audio signal is emitted via the loudspeakers 1, which simulates the presence of a virtual sound source 2 in the vehicle 6.
  • the virtual sound source 2 is symbolized by a bell.
  • the virtual sound source 2 sounds for the user 3 at a different location to the loudspeakers 1. This simulation of sound sources can be used, for example, for entertainment purposes or to inform or warn the user 3.
  • the 3D audio system is controlled by a control unit 5.
  • the control unit 5 can be distributed across multiple computing units or integrated into a single computing unit (not shown).
  • a computing unit 5.1 is used to evaluate vehicle interior sensors 9.1, 9.2 and 9.3.
  • a computing unit 5.2 is used to calculate the audio signal.
  • a computing unit 5.3 forms an optional communication interface to a central computing device 14 outside the vehicle. Additional information can be obtained from the central computing device 14, in particular wirelessly.
  • the control unit 5 takes into account a so-called head transmission function HRTF.
  • the head transmission function HRTF depends on the body measurements of the respective user 3 and influences the directionality from which a user 3 hears a corresponding sound. If the head transmission function HRTF matches the actual head transmission function HRTF of the user 3, the virtual sound source 2 also sounds for the user 3 at the position (8) at which the 3D audio system simulates the virtual sound source 2 (4). However, if the head transmission function HRTF deviates from the user-specific head transmission function, the virtual sound source 2 also sounds at a location other than the intended one.
  • the 3D audio system can be calibrated quickly, easily and reliably in order to find a head transmission function HRTF that is suitable for the user and thus improve the sound experience.
  • the control unit 5 controls the loudspeakers 1 in order to place the virtual sound source 2 at a location 4.
  • the location 4 can be inside or outside the vehicle 6 and can also be referred to as the actual location or the desired location.
  • the control unit 5 uses a standard head transmission function HRTF, which very likely differs from the actual head transmission function of the user 3. Accordingly, the user 3 assumes that the virtual sound source 2 is at a suspected location 8.
  • the user 3 then issues a location indication 7 in order to inform the vehicle 6 or the control unit 5 where he perceives the virtual sound source 2.
  • a location indication 7 the user 3 can, for example, point to the suspected location 8, look in this direction or align his body in this direction.
  • the vehicle interior is monitored using vehicle interior sensors 9.1, 9.2, 9.3.
  • the interior camera 9.1 can be embedded in the dashboard of the vehicle 6 and aimed at the user 3.
  • Other cameras not shown in detail can also be installed.
  • Depth information or distance values can be determined with the help of the radar sensor 9.2 and the radio sensor system 9.3. This makes it possible to detect movements.
  • the radio sensor system 9.3 can, for example, be an arrangement of several radio antennas, such as Wi-Fi antennas, which allows movements to be detected by analyzing the radio signal strength.
  • the control unit 5 can determine an angle as the location difference between the location 4 and the presumed location 8.
  • the virtual sound source could be at any distance on a directional line 13. This therefore only allows a comparatively rough location determination.
  • the user 3 accesses the exact location where he suspects the virtual sound source 2.
  • the control unit 5 can thus determine the Euclidean distance between the location 4 and the presumed location 8 as the location difference Ax. This means that there is an even more precise location difference, so that the head transfer function HRTF can be adjusted more precisely in the next calibration step.
  • the location difference Ax is compared by the control unit 5 with a specified threshold value, whereupon the head transfer function HRTF used by the control unit 5 is changed until the location difference Ax is less than the specified threshold value.
  • the head transfer function HRTF can be changed in various ways.
  • the control unit 5 comprises a database 11 in which a large number of HRTF profiles 12 are stored. Each HRTF profile 12 is assigned an individual head transfer function HRTF. If the location difference Ax is greater than the specified threshold value, then, for example, another HRTF profile 12 can simply be loaded, i.e. activated. In addition or as an alternative, it is possible to change the parameters of the respective head transfer functions HRTF stored in the individual HRTF profiles 12.
  • An HRTF profile 12 found or adapted for the respective user 3 can be linked to the user 3 and reloaded whenever the user 3 is present in the vehicle 6.
  • the calibration method according to the invention therefore only needs to be carried out once for each user 3.
  • New standard HRTF profiles can be obtained, for example, from the central computing device 14.
  • An HRTF profile 12 configured in the vehicle 6 can also be sent to the central computing device 14 and made available there for retrieval by other vehicles.
  • the vehicle 6 can have acoustic detection means 10, which can be designed as an external microphone or an internal microphone. With the help of the acoustic detection means 10, external noises and/or background noises inside the vehicle can be detected. The audio signal emitted via the loudspeakers 1 can then be adapted to said noises and/or background noises. To do this, the amplitude of the frequency components included in the corresponding noises or background noises can be specifically increased or reduced.
  • the user 3 can be trained to locate the virtual sound source 2 even better. If there is a remaining location difference Ax, information messages can be issued to the user 3, which describe where the location 4 at which the control unit 5 has actually placed the virtual sound source 2 is located relative to the assumed location 8. The user 3 thus gradually learns this deviation, whereby the remaining location difference can be reduced even further or even disappears completely.
  • the sequence of the method according to the invention is shown again in Figure 2 using a flow chart. The method begins in method step 201.
  • method step 202 the control unit 5 checks whether an HRTF profile 12 adapted to the respective user 3 already exists. If this is the case, the method ends in method step 210 or runs in a loop. If this is not the case, method steps 203, 204, 205 and 206 are carried out. In a distributed implementation of the control unit 5, method steps 203 to 206 can be carried out on the computing unit 5.1, for example.
  • the computing unit 5.1 evaluates sensor data generated by external and internal sensors of the vehicle 6. In this way, the computing unit 5.1 determines a vehicle usage context, an environmental context and a perception context.
  • vehicle usage context describes, for example, whether the vehicle 6 is being used to make a journey from a starting point to a destination or is currently being cleaned or loaded. For example, during cleaning or loading, the issuing of direction-dependent warning messages is not necessary, but during a journey with the vehicle 6 it is.
  • the environmental context describes, for example, whether and where there are static and/or dynamic traffic objects opposite the vehicle 6. The environmental context can also describe what type of environmental object it is, such as an emergency vehicle. Direction-dependent information messages tailored to the respective environmental objects can then be issued.
  • the perception context describes, for example, how the 3D audio system is used. For example, only a reduced number of loudspeakers 1 may be available to output the audio signal because some loudspeakers 1 are already playing music.
  • the computing unit 5.1 evaluates sensor data that was generated using external microphones. Accordingly, noises external to the vehicle can be determined.
  • method step 206 the location indication 7 issued by the user 3 is then additionally recorded and the location difference Ax is determined from this. If the location difference Ax is too large, the head transfer function HRTF is adjusted in method step 208.
  • process step 209 it is then checked whether the location difference Ax is now greater or smaller than the specified threshold value. If necessary, process steps 206 and 208 are carried out again until the location difference Ax is sufficiently small.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems, wobei das 3D-Audiosystem Schall über wenigstens zwei Lautsprecher (1) abgibt, um eine virtuelle Schallquelle (2) für einen Nutzer (3) an einem zu den Lautsprechern (1) abweichenden Ort (4) vorzutäuschen, und wobei die folgenden Kalibrierschritte durch ein Steuergerät (5) durchgeführt werden: a) Platzieren der virtuellen Schallquelle (2) innerhalb oder außerhalb eines das 3D- Audiosystems umfassenden Fahrzeugs (6); b) Abgeben von Schall über die virtuelle Schallquelle (2); c) Erfassen einer vom Nutzer (3) ausgegebenen Ortsindikation (7), wobei die Ortsindikation (7) den vom Nutzer (3) vermuteten Aufenthaltsort (8) der virtuellen Schallquelle (2) beschreibt; d) Bestimmen einer Ortsdifferenz (∆x) zwischen dem tatsächlichen (4) und dem durch die Ortsindikation (7) beschriebenen Aufenthaltsort (8) der virtuellen Schallquelle (2); e) Ändern, in Abhängigkeit der Ortsdifferenz (∆x), einer vom Steuergerät (5) zum Anpassen des über die wenigstens zwei Lautsprecher (1) abgegebenen Audiosignals an den Aufenthaltsort (4) der virtuellen Schallquelle (2) verwendeten Kopfübertragungsfunktion (HRTF); und f) Erneutes Durchführen der Schritte a) bis d), so lange bis die Ortsdifferenz (∆x) einen festgelegten Schwellwert unterschreitet. Das erfindungsgemäß Verfahren ist dadurch gekennzeichnet, dass fahrzeugintegrierte Lautsprecher (1) verwendet werden und die Ortsindikation (7) mit Hilfe von Fahrzeuginnenraumsensoren (9.1, 9.2, 9.3) erfasst wird.

Description

Mercedes-Benz Group AG
Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und Fahrzeug
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einem solchen binauralen 3D-Audiosystem.
Die sogenannte Kopfübertragungsfunktion, auch als kopfbezogene oder außenohrbezogene Übertragungsfunktion bezeichnet, wird abgekürzt durch die Buchstaben HRTF, welche sich an den englischsprachigen Begriff Head-Related- Transfer-Function anlehnen. Die HRTF beschreibt die Übertragungsfunktion des Außenohrs und ist neben Laufzeitdifferenzen zwischen den beiden Ohren eines Menschen maßgeblich für die Lokalisierung von Schallquellen. Aufgrund der unterschiedlichen Anatomie eines jeden Menschen ist die HRTF für jeden Menschen individuell. Relevant sind dabei vor allem die Kopfform, welche Einfluss auf die Schallbeugung am Kopf und den Abstand der Ohren hat, sowie die individuelle Form der Ohrmuscheln und des Gehöreingangs. Ist die HRTF einer Person bekannt, dann wird eine virtuelle Positionierung von Schallquellen möglich, um so eine Lokalisierung der Schallquelle an einer virtuell vorgegebenen Position in einem Raum zu erschaffen. Diese Funktionalität wird häufig auch mit dem Begriff des 3D-Audio assoziiert.
In vielen Anwendungsfällen sind dafür jedoch eine Vielzahl von Lautsprechern notwendig. Ist die HRTF einer Person bekannt, kann mithilfe von lediglich zwei Lautsprechern, welche in einem rechten und einem linken Bereich bezogen auf die Person ausgerichtet sind, ein solches 3D-Audio virtuell erzeugt werden. Zum Erfassen der HRTF sind im Bereich der allgemeinen Audiotechnik aufwändige Messungen von Testsignalen mithilfe von Miniaturmikrofonen in den individuellen Gehörgängen einer Person grundlegend bekannt. Einfacher und effizienter kann es nun werden, wenn eine optische Erfassung der Anatomie bzw. Geometrie des Kopfes, der Ohrmuscheln und ihrer räumlichen Relation zueinander ermöglicht wird. Die DE 102020 108449 A1 beschreibt in diesem Zusammenhang ein Verfahren zum Bereitstellen mindestens eines benutzerspezifischen binauralen Schallsignals für Fahrzeuginsassen, bei welchen die benutzerspezifische HRTF auf Basis der Anatomie der jeweiligen Person berechnet wird. Die Anatomie der jeweiligen Person wird dabei durch in dem Fahrzeug angeordnete Innenraumkameras erfasst, um so einfach und bequem ein optimiertes Audioerlebnis mittels einer größeren Zahl von Lautsprechern zu ermöglichen.
Die US 2013/0194107 A1 beschreibt ebenfalls das Erfassen und Speichern einer HRTF, um ein virtuelles 3D-Audio über einen Signalprozessor zu erzeugen. Auch hier kommen Kameras zur Erfassung der den Berechnungen zugrunde liegenden Anatomie zum Einsatz.
Die Erfassung der gesamten relevanten Anatomie über in einem Fahrzeug verbaute Kameras, beispielsweise im Frontbereich vor einer das Fahrzeug nutzenden Person verbauten Kameras, ist in der Praxis außerordentlich schwierig, da über diese Kameras sehr häufig nicht alle relevanten Bereiche des Kopfes der entsprechenden Person zuverlässig und mit ausreichender Genauigkeit erfasst werden können. Zwar kann nun die Person aufgefordert werden, ihren Kopf entsprechend vor den Kameras zu bewegen und zu drehen, dies ist in der Praxis jedoch vergleichsweise aufwändig und wird als Komforteinbuße wahrgenommen, wenn dies bei jedem Start des 3D-Audiosystems notwendig wird.
Ferner offenbart die US 2018/0249271 A1 ein binaurales Audiokalibrierverfahren. Das in der Druckschrift offenbarte Verfahren wird dazu genutzt ein Virtual-Reality-Gerät zum Erleben einer virtuellen dreidimensionalen Klangumgebung zu kalibrieren. Das Virtual- Reality-Gerät berücksichtigt dabei ebenfalls eine nutzerspezifische Kopfübertragungsfunktion, um eine virtuelle Schallquelle in einer Virtual-Reality- Umgebung möglichst derart zu platzieren, dass sie sich in der Virtual-Reality-Umgebung an genau der Stelle befindet, an der der Nutzer des Virtual-Reality-Geräts sie auch hört. Zum Kalibrieren wird eine virtuelle Schallquelle in der Virtual-Reality-Umgebung platziert und über die virtuelle Schallquelle ein Ton ausgegeben. Der Nutzer des Virtual-Reality- Geräts gibt an, an welchem Ort in der Virtual-Reality-Umgebung er die virtuelle Schallquelle wahrnimmt. Daraufhin wird eine Differenz zwischen dem Ort, an dem das Virtual-Reality-Gerät die virtuelle Schallquelle platziert hat, und der vom Nutzer vermuteten Position bestimmt. Die Kopfübertragungsfunktion wird daraufhin verändert und eine erneute Messung durchgeführt. Ziel ist es dabei, dass die Differenz zwischen der Position, an der der Nutzer die virtuelle Schallquelle vermutet, zur Position, an der das Virtual-Reality-Gerät die virtuelle Schallquelle in der Virtual-Reality-Umgebung platziert hat, minimiert wird. Die Verfahrensschritte werden solange wiederholt, bis diese Differenz einen festgelegten Schwellwert unterschritten hat. Die so auf den Nutzer angepasste Kopfübertragungsfunktion kann einem Nutzerprofil zugeordnet werden und somit für spätere Virtual-Reality-Erlebnisse erneut genutzt werden. Zum Erleben des dreidimensionalen Klangerlebnisses ist die Nutzung eines Virtual-Reality-Geräts erforderlich.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems anzugeben, mit dessen Hilfe der Aufwand zum Kalibrieren des binauralen 3D-Audiosystems reduziert werden kann, gleichzeitig jedoch ein höherer Übereinstimmungsgrad zwischen dem Ort, an dem das 3D-Audiosystem die virtuelle Schallquelle platziert, und dem Ort, an dem ein Nutzer die virtuelle Schallquelle verortet, erzielt wird.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
Ein gattungsgemäßes Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems, wobei das 3D-Audiosystem Schall über wenigstens zwei Lautsprecher abgibt, um eine virtuelle Schallquelle für einen Nutzer an einem zu den Lautsprechern abweichenden Ort vorzutäuschen, und wobei die folgenden Kalibrierschritte durch ein Steuergerät durchgeführt werden: a) Platzieren der virtuellen Schallquelle innerhalb oder außerhalb eines das 3D- Audiossystems umfassenden Fahrzeugs; b) Abgeben von Schall über die virtuelle Schallquelle; c) Erfassen einer vom Nutzer ausgegebenen Ortsindikation, wobei die Ortsindikation den vom Nutzer vermuteten Aufenthaltsort der virtuellen Schallquelle beschreibt; d) Bestimmen einer Ortsdifferenz zwischen dem tatsächlichen und dem durch die Ortsindikation beschriebenen Aufenthaltsort der virtuellen Schallquelle; e) Ändern, in Abhängigkeit der Ortsdifferenz, einer vom Steuergerät zum Anpassen des über die wenigstens zwei Lautsprecher abgegebenen Audiosignals an den Aufenthaltsort der virtuellen Schallquelle verwendeten Kopfübertragungsfunktion; und f) erneutes Durchführen der Schritte a) bis d), solange, bis die Ortsdifferenz einen festgelegten Schwellwert unterschreitet; wird erfindungsgemäß dadurch weitergebildet, dass fahrzeugintegrierte Lautsprecher verwendet werden und die Ortsindikation mit Hilfe von Fahrzeuginnenraumsensoren erfasst wird.
Das erfindungsgemäße Verfahren erlaubt eine schnelle und einfache Kalibrierung eines im Fahrzeugkontext genutzten und fahrzeugintegrierten binauralen 3D-Audiosystems. Das Verfahren sieht vor, die Differenz zwischen dem vermuteten Aufenthaltsort und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle zu minimieren, sodass nach Unterschreiten der Ortsdifferenz des festgelegten Schwellwerts eine hohe Übereinstimmungsgüte erzielt wird. Das aufwändige Vermessen des Körpers des Nutzers ist somit nicht mehr erforderlich. Zudem können bei einem rein auf einer Messung von Körpermerkmalen eines Nutzers basierende Anpassungsverfahren von Kopfübertragungsfunktionen dennoch zu Abweichungen führen, da eine so ermittelte Kopfübertragungsfunktion gegebenenfalls nicht mit der Realität übereinstimmt. Eine verbleibende Ortsdifferenz kann somit nicht ausgeglichen werden. Das erfindungsgemäße Verfahren erlaubt jedoch eine Evaluierung der vom Steuergerät genutzten Kopfübertragungsfunktion und erlaubt es entsprechend die Kopfübertragungsfunktion solange zu verändern, bis eine gewünschte Güte bezüglich der örtlichen Übereinstimmung zwischen der vermuteten Schallquellenposition und der tatsächlichen Schallquellenposition aufgefunden wurde.
Zum Minimieren der Ortsdifferenz können geeignete Optimierungsalgorithmen eingesetzt werden, insbesondere basierend auf maschinellem Lernen. Ein solcher Optimierungsalgorithmus bestimmt dann welche alternative Kopfübertragungsfunktion genutzt werden soll bzw. welcher Parameter der verwendeten Kopfübertragungsfunktion in welchem Ausmaß variiert werden soll.
Durch die Verwendung fahrzeugintegrierter Lautsprecher kann auf die Nutzung sonstiger Geräte, wie beispielsweise Kopfhörer, Virtual-Reality-Brillen oder dergleichen verzichtet werden. Die Verwendung von Fahrzeuginnenraumsensoren ermöglicht eine im Vergleich besonders genaue Erfassung der Ortsindikation. Es können Fahrzeuginnenraumsensoren verwendet werden, mittels derer sich Tiefeninformationen gewinnen lassen, wie beispielsweise Radarsensoren, LiDAR-Sensoren, Ultraschallsensoren und dergleichen. Unter Verwendung einer oder mehrerer Kameras lässt sich die Ortsindikation auch mit Hilfe von maschinellem Sehen erfassen. So können von der oder den Kameras erzeugte Kamerabilder mit Hilfe geeigneter Bilderkennungsalgorithmen ausgewertet werden. Unter Verwendung einer Stereokamera lassen sich dabei ebenfalls Tiefeninformationen generieren. Als Fahrzeuginnenraumsensor können auch Bewegungssensoren verwendet werden. Hierzu zählen auch funkbasierte Sensoren, bei denen Bewegungen durch das Ändern einer Funksignalstärke erkannt werden. Als Funktechnologie kann beispielsweise ein Wi-Fi-Signal verwendet werden. Das Wi-Fi-Signal wird von mehreren Antennen erzeugt und die Änderung der Signalstärke von mehreren Antennen detektiert. Mit Hilfe solcher Fahrzeuginnenraumsensoren lässt sich dann beispielsweise das Ausführen von Gesten durch den Nutzer, die Körperhaltung des Nutzers, die Blickrichtung des Nutzers sowie das Positionieren von Körperteilen an einem bestimmten Ort erkennen.
Dementsprechend kann als Ortsindikation im einfachsten Fall die Blickrichtung des Nutzers oder auch die Bewegungs- oder Zeigerichtung einer Geste verwendet werden. Die Richtung kann in einer zweidimensionalen Ebene, beispielsweise als ein um die Hochachse des Fahrzeugs gemessener Winkel oder auch als ein frei im dreidimensionalen Raum gemessener Winkel, definiert sein. In diesem Falle wird die Ortsdifferenz durch den Raumwinkel definiert, mit dem der Nutzer quasi an der virtuellen Schallquelle vorbeischaut oder zeigt. Dies stellt jedoch nur eine erste Näherung dar, da hierbei die Entfernung der virtuellen Schallquelle zum Nutzer unberücksichtigt bleibt, also wie weit die virtuelle Schallquelle, die vom Nutzer wahrgenommen wird, vor oder hinter dem tatsächlichen Aufenthaltsort liegt. Die erste Näherung kann jedoch bereits ausreichen, insbesondere da bei einer leicht abweichenden Verortung (Position und Richtung) die Richtung als Indikator für eine HRTF Anpassung bevorzugt werden sollte.
Das binaurale 3D-Audiosystem kann eine Vielzahl an Lautsprechern aufweisen, beispielsweise fünf, sieben, zehn oder auch noch mehr Lautsprecher, zumindest jedoch zwei Lautsprecher. Die Lautsprecher können beliebig im Fahrzeug verteilt angeordnet sein, wobei wenigstens ein Lautsprecher in der linken Hemisphäre des Nutzers und ein Lautsprecher in der rechten Hemisphäre des Nutzers im Fahrzeug angeordnet ist.
Das von der virtuellen Schallquelle abgegebene Geräusch kann vielfältig sein. Beispielsweise kann als Geräusch Vogelgezwitscher, das Pfeifen einer Trillerpfeife, blubberndes kochendes Wasser, das Pfeifen eines Wasserkochers, das Läuten einer Glocke oder dergleichen verwendet werden. Dabei ist es möglich, dass der Nutzer über eine Mensch-Maschine-Schnittstelle wie eine berührungsempfindliche Anzeigevorrichtung für das Steuergerät festlegt, welche Art von Geräusch verwendet werden soll.
Die virtuelle Schallquelle kann an einem beliebigen Ort innerhalb des Fahrzeuginnenraums platziert werden. Beispielsweise kann die virtuelle Schallquelle auf einem Fahrzeugsitz, im Kofferraum, auf dem Armaturenbrett, unter dem Dachhimmel oder dergleichen verortet werden. Auch ist es möglich die virtuelle Schallquelle außerhalb des Fahrzeugs zu platzieren. Hierdurch lassen sich Umgebungsgeräusche richtungsabhängig simulieren. Das 3D-Audiosysstem bzw. das Steuergerät kann dabei den Einfluss der Fahrzeugstruktur berücksichtigen, sodass das entsprechende Geräusch vom Nutzer akustisch gedämpft wahrgenommen wird, so als würde es tatsächlich außerhalb des Fahrzeugs ertönen.
Der für die Ortsdifferenz vorgesehene festgelegte Schwellwert kann in Abhängigkeit eines Anwendungsszenarios frei gewählt werden. Wird das binaurale 3D-Audiosystem beispielsweise für Unterhaltungszwecke genutzt, kann ein höherer Schwellwert und damit eine größere zugelassene Ortsdifferenz verwendet werden. Werden hingegen beispielsweise ortsspezifische Warntöne über das 3D-Audiosystem ausgegeben, kann ein geringerer festgelegter Schwellwert und damit eine geringere zugelassene Ortsdifferenz verwendet werden.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Steuergerät zusätzlich zur Kopfübertragungsfunktion für jeden Lautsprecher eine individuelle Raumübertragungsfunktion zum Anpassen des über den respektiven Lautsprecher abgegebenen Audiosignals an den Aufenthaltsort der virtuellen Schallquelle berücksichtigt. Der geometrische Aufbau des Fahrzeugs, die im Fahrzeug verbauten Materialien und der Anbringungsort der Lautsprecher im Fahrzeug wirken sich ebenfalls auf die Verortung der virtuellen Schallquelle aus. Die vorigen aufgezählten Größen gehen in eine entsprechende Raumübertragungsfunktion ein. Die Raumübertragungsfunktion kann beispielsweise vom Fahrzeughersteller durch das Durchführen von akustischen Messungen experimentell bestimmt werden. Die Raumübertragungsfunktion kann auch mit Hilfe von Berechnungs- bzw. Simulationsverfahren angenähert werden. Aufgrund der unterschiedlichen Montagepositionen der einzelnen Lautsprecher am Fahrzeug ist die Raumübertragungsfunktion für jeden Lautsprecher individuell. Berücksichtigt das Steuergerät eine jeweilige Raumübertragungsfunktion für die einzelnen Lautsprecher ist es möglich, die Ortsdifferenz zwischen dem vermuteten Aufenthaltsort der virtuellen Schallquelle und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle noch weiter zu reduzieren.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfasst das Fahrzeug mit Hilfe von akustischen Erfassungsmitteln fahrzeugexterne Störgeräusche und/oder fahrzeuginterne Nebengeräusche und variiert die Amplitude von einzelnen Frequenzen des über die Lautsprecher abgegebenen Audiosignals in Abhängigkeit der Störgeräusche und/oder Nebengeräusche. Bei den akustischen Erfassungsmitteln kann es sich beispielsweise um ein oder mehrere Mikrofone handeln. Die Mikrofone können fahrzeugextern angebracht sein oder fahrzeugintern, also im Fahrzeuginnenraum. Bei den Störgeräuschen kann es sich beispielsweise um Fahrtwind, Baulärm, Verkehrsgeräusche oder dergleichen handeln. Bei den Nebengeräuschen kann es sich beispielsweise um ein zwischen mehreren Fahrzeuginsassen geführtes Gespräch, über das Infotainmentsystem des Fahrzeugs ausgegebene Musik, ein im Fahrzeuginnenraum geführtes Telefonat oder dergleichen handeln. Die Frequenzen des über die Lautsprecher abzugebenden Audiosignals, die in ihrer Amplitude kompensiert werden sollen, sind dann entsprechend von der Art des Störgeräuschs bzw. Nebengeräuschs abhängig. Beispielsweise kann die Amplitude von solchen Frequenzen die auch im entsprechenden Störgeräusch und/oder Nebengeräusch enthalten sind, erhöht werden. Hierdurch lässt sich verhindern, dass sich entsprechende Störgeräusche bzw. Nebengeräusche nachteilig auf die Verortung der virtuellen Schallquelle für den Nutzer auswirken. Die Anpassung des Audiosignals erfolgt dabei für jeden Lautsprecher individuell. Hierdurch wird auch der Richtungsabhängigkeit der Lautsprecher zum Aufenthaltsort des Nutzers Rechnung getragen.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass wenn sich mehrere Nutzer im Fahrzeug aufhalten, für wenigstens zwei Nutzer unter Verwendung von nutzerspezifischen Kopfübertragungsfunktionen nutzerspezifische virtuelle Schallquellen vorgetäuscht werden. Mit anderen Worten ist es möglich unterschiedlichen Fahrzeuginsassen jeweils eine eigene individuelle virtuelle Schallquelle vorzutäuschen. Für jeden Nutzer wird dabei eine speziell auf den jeweiligen Nutzer zugeschnittene Kopfübertragungsfunktion bestimmt. Zum Auffinden dieser Kopfübertragungsfunktionen kann wie im vorigen bereits ausgeführt vorgegangen werden. Insbesondere spielt dabei die Position des Nutzers im Fahrzeuginnenraum, also beispielsweise der vom Nutzer verwendete Fahrzeugsitz, eine Rolle.
Eine Zuordnung von Kopfübertragungsfunktionen zu Nutzern ist durch eine Personenidentifikation möglich. Hierzu können sich entsprechende Personen beispielsweise mit einem Nutzernamen am Fahrzeug anmelden oder auch durch biometrische Merkmale erkannt werden, wie beispielsweise einen Gesichtsscan, einen Irisscan oder eine Stimmanalyse. Nutzer können auch durch ein mitgeführtes Gerät erkannt werden, beispielsweise durch die individuelle MAC-Adresse oder Bluetooth- Adresse eines mitgeführten Smartphones. Zwei nutzerspezifische Audiosignale können dabei über das gleiche Paar von Lautsprechern ausgegeben werden. Bevorzugt wird jedoch für jeden Nutzer ein individuelles Lautsprecherpaar zur Ausgabe des nutzerspezifischen Audiosignals verwendet. Hierdurch wird der negative Einfluss von akustischen Interferenzen auf die Verortung der virtuellen Schallquellen verringert oder sogar aufgehoben.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens hält das Steuergerät eine Datenbank vor, in welcher eine Vielzahl an HRTF- Profilen gespeichert sind, wobei jedem HRTF-Profil eine unterschiedlich konfigurierte Kopfübertragungsfunktion zugeordnet ist, und das Steuergerät wählt zum Ändern der Kopfübertragungsfunktion im Verfahrensschritt e) ein anderes HRTF-Profil aus und/oder passt Parameter der verwendeten Kopfübertragungsfunktion an. Zum Ändern der Kopfübertragungsfunktion gibt es somit mehrere Möglichkeiten. Bei den von der Datenbank umfassten HRTF-Profilen bzw. den diesen Profilen zugrunde liegenden Kopfübertragungsfunktionen kann es sich um sogenannte Standard- oder Default- Funktionen handeln. Diese Standard-Kopfübertragungsfunktionen können beispielsweise vom Fahrzeughersteller für die üblichsten Anwendungsszenarios festgelegt worden sein. Durch den Wechsel des HRTF-Profils ist somit eine besonders schnelle und einfache Anpassung der Kopfübertragungsfunktion möglich. Gegebenenfalls stimmt die entsprechende Kopfübertragungsfunktion jedoch nur unzureichend mit der tatsächlichen Kopfübertragungsfunktion des Nutzers überein. Somit ist es ferner möglich die verwendete Kopfübertragungsfunktion weiter anzupassen. Dabei können bewährte Methoden eingesetzt werden, die festlegen, wie beim jeweiligen Durchführen der Kalibrierschritte a) bis e) dabei die Parameter der Kopfübertragungsfunktion geändert werden sollen. Beispielsweise können bewährte Optimierungsalgorithmen oder auch auf künstlicher Intelligenz bzw. maschinellem Lernen basierende Algorithmen verwendet werden. Mit Hilfe entsprechender Algorithmen ist es möglich Muster zu erkennen und somit die Parameter der verwendeten Kopfübertragungsfunktion derart zu ändern, dass bei der nächsten Iteration die Ortsdifferenz reduziert wird.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Ortsdifferenz die euklidische Differenz zwischen dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle und dem durch die Ortsindikation vermuteten Aufenthaltsort umfasst. Hierdurch ist im Vergleich zur alleinigen Berücksichtigung beispielsweise einer Winkeldifferenz eine noch umfangreichere und damit genauere Bestimmung der Genauigkeit des 3D-Audiosystems bei der Platzierung von virtuellen Schallquellen möglich. Beispielsweise kann das 3D-Audiosystem Schall über die virtuelle Schallquelle abgeben und der Nutzer muss im Folgenden mit seiner Hand nach der virtuellen Schallquelle greifen. Der Ort und die Richtung im Fahrzeuginnenraum, an den und in welche der Nutzer greift, wird dann als vermutete Aufenthaltsposition angenommen. Das Steuergerät kann daraufhin die euklidische Distanz zwischen dieser vermuteten Aufenthaltsposition und der tatsächlichen Aufenthaltsposition, an der das Steuergerät die virtuelle Schallquelle platziert hat, bestimmen. Da somit mehr Freiheitsgrade bezüglich der Ortsinformationen berücksichtigt werden, ist auch eine schnellere und effizientere Anpassung von Parametern der verwendeten Kopfübertragungsfunktion möglich, sodass noch schneller, also unter Verwendung bzw. Durchführung einer geringeren Iterationsanzahl der Kalibrierschritte a) bis e), eine entsprechend passende Kopfübertragungsfunktion aufgefunden werden kann.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens gibt der Nutzer über eine Mensch-Maschine-Schnittstelle dem Steuergerät für den Verfahrensschritt a) vor, wo die virtuelle Schallquelle platziert werden soll. Der Nutzer kann somit einen Einfluss auf den Kalibriervorgang ausüben. Beispielsweise kann in bestimmten Raumregionen des Fahrzeuginnenraums eine größere Diskrepanz zwischen der vermuteten Position der virtuellen Schallquelle und der tatsächlichen Aufenthaltsposition der virtuellen Schallquelle vorliegen als in anderen Raumregionen. Der Nutzer kann dann bevorzugt in dieser Raumregion die virtuelle Schallquelle platzieren, sodass durch das Kalibrieren der in dieser Raumregion vorliegende Fehler noch schneller reduziert werden kann. Hierdurch wird die Effizienz des Kalibrierverfahrens gesteigert. Dieses Vorgehen kann auch vom Steuergerät analog ausgeführt werden. So kann das Steuergerät den Fahrzeuginnenraum in verschiedene Zonen unterteilen und nach und nach virtuelle Schallquellen in den einzelnen Zonen platzieren. Das Steuergerät bestimmt dann, in welchen Zonen die Ortsdifferenz besonders groß ist und führt anschließend eine erhöhte Anzahl an Messungen in den entsprechenden Zonen durch.
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass das Steuergerät über Ausgabemittel einen akustischen, visuellen und/oder haptischen Hinweis an den Nutzer ausgibt, wenn der vom Nutzer vermutete Aufenthaltsort der virtuellen Schallquelle innerhalb einer tolerierten Abweichung mit dem tatsächlichen Aufenthaltsort zusammenfällt oder bei einer größeren Abweichung das Steuergerät den Hinweis ausgibt und durch einen Ortstipp ergänzt, wobei der Ortstipp beschreibt, wo sich der tatsächliche Aufenthaltsort der virtuellen Schallquelle gegenüber dem vermuteten Aufenthaltsort der virtuellen Schallquelle befindet.
Mit Hilfe der Lautsprecher des Fahrzeugs können akustische Hinweise ausgegeben werden. Berührt der Nutzer die virtuelle Schallquelle, so kann beispielsweise das Ausgeben des Audiosignals gestoppt werden. Zusätzlich oder alternativ kann ein entsprechender Hinweiston, beispielsweise ein Piepsen oder ein Jingle, erklingen.
Mit Hilfe von Lampen oder Anzeigevorrichtungen wie Displays können visuelle Hinweise ausgegeben werden. So kann eine entsprechende Lampe beispielsweise kurz aufleuchten, wenn die virtuelle Schallquelle korrekt verortet wurde. Auch kann mittels einer Lampe ein Spot auf den Ort im Fahrzeuginnenraum geworfen werden, an dem die virtuelle Schallquelle platziert wurde. Auf einem Display können umfassendere Informationen dargestellt werden. So kann beispielsweise der Ortstipp in Form einer Schnittansicht des Fahrzeuginnenraums aus der Vogelperspektive erfolgen, in welchen eingezeichnet ist, an welcher Position die virtuelle Schallquelle vom Steuergerät platziert wurde. Der Ortstipp kann auch akustisch ausgegeben werden. So kann beispielsweise folgende Nachricht ausgesprochen werden: „Das Glöckchen läutet auf dem Beifahrersitz“, oder „Das Glöckchen läutet zehn Zentimeter weiter links“.
Ferner können haptische Hinweise ausgegeben werden, beispielsweise über im vom Nutzer berührte Strukturelemente integrierte Aktoren. So kann beispielsweise das Lenkrad des Fahrzeugs zu Vibrationen angeregt werden, wenn der Nutzer die virtuelle Schallquelle korrekt verortet. Durch das Ausgeben des Ortstipps kann der Nutzer dazu trainiert werden, verbleibende Diskrepanzen zwischen dem vermuteten Aufenthaltsort der virtuellen Schalquelle und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle auszugleichen. So kann der Nutzer nach und nach erlernen, dass beispielsweise die virtuelle Schallquelle immer leicht rechts unterhalb zu der Position liegt, an der der Nutzer die virtuelle Schallquelle ansonsten vermuten würde. Hierdurch wird entsprechend die Zuverlässigkeit erhöht, mit welcher der Nutzer die virtuelle Schallquelle richtig verortet.
Bevorzugt passt das Steuergerät dabei den Ortstipp in Abhängigkeit der Höhe der Ortsdifferenz an. Mit anderen Worten wird ein anderer Ortstipp ausgegeben, wenn der Nutzer weit an der virtuellen Schallquelle vorbeigreift, als wenn er die virtuelle Schallquelle trifft oder nur leicht an ihr vorbei greift.
Greift beispielsweise der Nutzer weiter an der virtuellen Schallquelle vorbei, so können über Leuchtvorrichtungen ausgegebene Lichtimpulse heller erscheinen oder zeitlich länger ausgegeben werden. Akustische Hinweisnachrichten können beispielsweise in diesem Falle lauter ausgegeben werden. Auch können andere Ausgabemodalitäten genutzt werden. Trifft der Nutzer beispielsweise die virtuelle Schallquelle, so kann lediglich ein einfacher Hinweiston erklingen. Greift er jedoch an der virtuellen Schallquelle vorbei, zeigt an ihr vorbei oder blickt an ihr vorbei, so kann beispielsweise der tatsächliche Aufenthaltsort der virtuellen Schallquelle beleuchtet werden und eine Hinweisnachricht vorgelesen werden, wo sich die virtuelle Schallquelle tatsächlich befindet.
Bei einem Fahrzeug, umfassend ein binaurales 3D-Audiosystem und Fahrzeuginnenraumsensoren, sind erfindungsgemäß das 3D-Audiosystem und die Fahrzeuginnenraumsensoren zur Durchführung eines zuvor beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Es kann sich auch um ein Schienenfahrzeug, Wasserfahrzeug oder Luftfahrzeug handeln. Das 3D-Audiosystem umfasst zumindest zwei Lautsprecher zur Ausgabe des entsprechenden Audiosignals sowie ein Steuergerät zum Ansteuern der Lautsprecher.
Das Steuergerät kann von weiteren Recheneinheiten des Fahrzeugs, beispielsweise von einem ABS-Steuergerät, Informationen beziehen und diese zum Ansteuern der Lautsprecher verwenden. Hierdurch lassen sich Fahrerassistenzfunktionen bereitstellen. Werden beispielsweise im Fahrzeugumfeld Gefahrenstellen erkannt, beispielsweise statische oder dynamische Verkehrsteilnehmer mit denen eine Kollision droht, so können entsprechende Hinweistöne ausgegeben werden. Die Hinweistöne werden dabei so relativ gegenüber dem Fahrzeug platziert, dass die fahrzeugführende Person beim Blicken in Richtung eines jeweiligen Hinweistons auch die Gefahrenstelle wahrnimmt.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und eines entsprechenden Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf Figuren näher beschrieben werden.
Dabei zeigen:
Fig. 1 eine schematische Draufsicht auf ein erfindungsgemäßes Fahrzeug, umfassend ein binaurales 3D-Audiosystem; und
Fig. 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Kalibrieren des 3D-Audiosystems des in Fig. 1 gezeigten Fahrzeugs.
Figur 1 zeigt ein erfindungsgemäßes Fahrzeug 6, welches ein binaurales 3D-Audioystem aufweist. Mit Hilfe des 3D-Audisystems ist es möglich eine dreidimensionale virtuelle Schallkulisse für einen im Fahrzeug 6 anwesenden Nutzer 3 zu erzeugen. Das 3D- Audiosystem umfasst wenigstes zwei Lautsprecher 1 , die versetzt zueinander im Fahrzeug 6 angeordnet sind. Über die Lautsprecher 1 wird ein Audiosignal abgegeben, welches die Anwesenheit einer virtuellen Schallquelle 2 im Fahrzeug 6 vortäuscht. In den gezeigten Ausführungsbeispielen wird die virtuelle Schallquelle 2 durch eine Glocke symbolisiert. Die virtuelle Schallquelle 2 erklingt dabei für den Nutzer 3 an einer zu den Lautsprechern 1 abweichenden Stelle. Dieses Vortäuschen von Schallquellen lässt sich beispielsweise für Unterhaltungszwecke oder auch zum Informieren oder Warnen des Nutzers 3 verwenden.
Das 3D-Audiosystem wird durch ein Steuergerät 5 angesteuert. Das Steuergerät 5 kann auf mehrere Recheneinheiten verteilt sein oder in eine einzelne Recheneinheit integriert sein (nicht dargestellt). In den gezeigten Ausführungsbeispielen wird eine Recheneinheit 5.1 zur Auswertung von Fahrzeuginnenraumsensoren 9.1 , 9.2 und 9.3 verwendet. Eine Recheneinheit 5.2 dient zur Berechnung des Audiosignals. Eine Recheneinheit 5.3 bildet eine optionale Kommunikationsschnittstelle zu einer fahrzeugexternen, zentralen Recheneinrichtung 14 aus. Von der zentralen Recheneinrichtung 14 können weitere Informationen bezogen werden, insbesondere drahtlos. Zum Anpassen des über die Lautsprecher 1 abgegebenen Audiosignals, sodass die virtuelle Schallquelle 2 an einem beliebigen zu den Lautsprechern 1 abweichenden Ort erklingt, berücksichtigt das Steuergerät 5 eine sogenannte Kopfübertragungsfunktion HRTF. Die Kopfübertragungsfunktion HRTF ist von den Körpermaßen des jeweiligen Nutzers 3 abhängig und beeinflusst die Richtungsabhängigkeit, aus der ein Nutzer 3 ein entsprechendes Geräusch hört. Stimmt die Kopfübertragungsfunktion HRTF mit der tatsächlichen Kopfübertragungsfunktion HRTF des Nutzers 3 überein, so erklingt die virtuelle Schallquelle 2 für den Nutzer 3 auch an der Position (8), an der das 3D- Audiosystem die virtuelle Schallquelle 2 vortäuscht (4). Weicht die Kopfübertragungsfunktion HRTF jedoch von der nutzerspezifischen Kopfübertragungsfunktion ab, so erklingt die virtuelle Schallquelle 2 auch an einem abweichendem als dem vorgesehen Ort.
Mit Hilfe eines erfindungsgemäßen Verfahrens lässt sich das 3D-Audiosystem schnell, einfach und zuverlässig kalibrieren, um eine jeweils für den Nutzer s geeignete Kopfübertragungsfunktion HRTF aufzufinden und damit das Klangerlebnis zu verbessern.
Das Steuergerät 5 steuert hierzu die Lautsprecher 1 an, um die virtuelle Schallquelle 2 an einem Ort 4 zu platzieren. Der Ort 4 kann sich innerhalb oder außerhalb des Fahrzeugs 6 befinden und auch als tatsächlicher Aufenthaltsort oder Soll-Aufenthaltsort bezeichnet werden. Zu Beginn verwendet das Steuergerät 5 eine Standard- Kopfübertragungsfunktion HRTF, die sehr wahrscheinlich von der tatsächlichen Kopfübertragungsfunktion des Nutzers 3 abweicht. Entsprechend nimmt der Nutzer 3 die virtuelle Schallquelle 2 an einem vermuteten Aufenthaltsort 8 an. Anschließend gibt der Nutzer 3 eine Ortsindikation 7 aus, um dem Fahrzeug 6 bzw. dem Steuergerät 5 mitzueilen, wo er die virtuelle Schallquelle 2 wahrnimmt. Als Ortsindikation 7 kann der Nutzer 3 beispielsweise auf den vermuteten Aufenthaltsort 8 zeigen, in diese Richtung blicken oder seinen Körper in diese Richtung ausrichten. Der Fahrzeuginnenraum wird mit Hilfe von Fahrzeuginnenraumsensoren 9.1 , 9.2, 9.3 überwacht. Hierzu zählen beispielsweise eine Innenraumkamera 9.1 , ein Radarsensor 9.2 sowie ein Funksensorsystem 9.3. Beispielsweise kann die Innenraumkamera 9.1, wie in Figur 1 dargestellt, in das Armaturenbrett des Fahrzeugs 6 eingelassen sein und auf den Nutzer 3 ausgerichtet sein. Es können noch weitere nicht näher dargestellte Kameras verbaut sein. Mit Hilfe von Bilderkennungsalgorithmen ist dann eine differenzierte und umfassende Auswertung des Nutzerverhaltens möglich. Tiefeninformationen bzw. Abstandswerte lassen sich mit Hilfe des Radarsensors 9.2 und des Funksensorsystems 9.3 ermitteln. Dies ermöglicht es Bewegungen wahrzunehmen. Bei dem Funksensorsystem 9.3 kann es sich beispielsweise um eine Anordnung aus mehreren Funkantennen, wie beispielsweise Wi-Fi-Antennen handeln, wodurch sich Bewegungen durch die Analyse der Funksignalstärke erkennen lassen.
Zeigt oder blickt der Nutzer 3 in Richtung des vermuteten Aufenthaltsorts 8, so kann das Steuergerät 5 als Ortsdifferenz zwischen dem Ort 4 und dem vermuteten Aufenthaltsort 8 einen Winkel bestimmen. In diesem Falle könnte die virtuelle Schallquelle an einer beliebigen Entfernung auf einer Richtungslinie 13 liegen. Dies ermöglicht also lediglich eine vergleichsweise grobe Ortsbestimmung. In einer bevorzugten Ausführungsform greift der Nutzer 3 jedoch an genau die Stelle, an der er die virtuelle Schallquelle 2 vermutet. Dies ermöglicht es dem Steuergerät 5 den vermuteten Aufenthaltsort 8 exakter zu bestimmen. Somit kann das Steuergerät 5 als Ortsdifferenz Ax die euklidische Distanz zwischen dem Ort 4 und dem vermuteten Aufenthaltsort 8 bestimmen. Somit liegt eine noch genauere Ortsdifferenz vor, sodass auch zielgerichteter im nächsten Kalibrierschritt das Anpassen der Kopfübertragungsfunktion HRTF erfolgen kann.
Die Ortsdifferenz Ax wird von dem Steuergerät 5 mit einem festgelegten Schwellwert verglichen, worauf so lange die vom Steuergerät 5 verwendete Kopfübertragungsfunktion HRTF geändert wird, bis die Ortsdifferenz Ax geringer ist als der festgelegte Schwellwert. Das Ändern der Kopfübertragungsfunktion HRTF ist auf verschiedene Art und Weise möglich. Gemäß einer Ausführungsform umfasst das Steuergerät 5 eine Datenbank 11 , in weicher eine Vielzahl an HRTF-Profilen 12 gespeichert sind. Jedem HRTF-Profil 12 ist dabei eine individuelle Kopfübertragungsfunktion HRTF zugeordnet. Ist die Ortsdifferenz Ax größer als der festgelegte Schwellwert, kann dann beispielsweise einfach ein anderes HRTF-Profil 12 geladen, sprich aktiviert werden. Ergänzend oder alternativ ist es möglich, die in den einzelnen HRTF-Profilen 12 hinterlegten Parameter der jeweiligen Kopfübertragungsfunktionen HRTF zu ändern. Dies ermöglicht eine zielgerichtete Anpassung der Kopfübertragungsfunktionen HRTF an den jeweiligen Nutzer s. Ein für den jeweiligen Nutzer 3 aufgefundenes bzw. angepasstes HRTF-Profil 12 kann mit dem Nutzer 3 verknüpft werden und bei jeweiliger Anwesenheit des Nutzers 3 im Fahrzeug 6 neu geladen werden. Somit muss das erfindungsgemäße Kalibrierverfahren für jeden Nutzer 3 nur einmalig durchgeführt werden.
Neue Standard-HRTF-Profile können beispielsweise von der zentralen Recheneinrichtung 14 bezogen werden. Ein im Fahrzeug 6 konfiguriertes HRTF-Profil 12 kann auch an die zentrale Recheneinrichtung 14 übermittelt werden und dort zum Abrufen für weitere Fahrzeuge bereitgestellt werden.
Ferner kann das Fahrzeug 6 akustische Erfassungsmittel 10 aufweisen, welche als Außenmikrofon oder Innenmikrofon ausgeführt sein können. Mit Hilfe der akustischen Erfassungsmittel 10 lassen sich fahrzeugexterne Störgeräusche und/oder fahrzeuginterne Nebengeräusche erfassen. Das über die Lautsprecher 1 ausgegebene Audiosignal lässt sich dann an besagte Störgeräusche und/oder Nebengeräusche anpassen. Hierzu kann die Amplitude von den entsprechenden Stör- bzw. Nebengeräuschen umfassten Frequenzanteilen gezielt erhöht oder abgesenkt werden.
Das Fahrzeug 6 kann auch dazu eingerichtet sein, ein Einsatzfahrzeug wie einen Krankenwagen relativ gegenüber dem Fahrzeug 6 zu verorten. Das Einsatzfahrzeug kann beispielsweise ein Warnsignal über eine Sirene abgeben. In einer solchen Situation muss der Nutzer 3 das Einsatzfahrzeug im Straßenverkehr auffinden und gegebenenfalls sein Fahrverhalten angemessen anpassen. Um es dem Nutzer 3 zu erleichtern, das Einsatzfahrzeug aufzufinden, kann beispielsweise als virtuelle Schallquelle 2 ein Folgetonhornsignal ausgegeben werden und dieses im Fahrzeuginnenraum an der zur Aufenthaltsposition des Einsatzfahrzeugs gegenüber dem Fahrzeug 6 passender Stelle um den Kopf des Nutzers 3 herumgeführt werden. Somit ist der Nutzer 3 leichter dazu in der Lage zu erkennen, wo sich das Einsatzfahrzeug befindet.
Mit Hilfe des erfindungsgemäßen Verfahrens ist es ferner möglich für mehrere im Fahrzeug 6 anwesende Nutzer 3 individuelle Kopfübertragungsfunktionen HRTF festzulegen und entsprechend für jeden Nutzer 3 eine virtuelle Schallquelle an einem unterschiedlichen Ort vorzutäuschen. Es kann also das erfindungsgemäße Verfahren für jeden Nutzer 3 individuell durchgeführt werden. Die Anwesenheit der Nutzer 3 kann ebenfalls mittels der Fahrzeuginnenraumsensoren 9.1, 9.2 und 9.3 erkannt werden.
Ferner kann der Nutzer 3 dazu trainiert werden die virtuelle Schallquelle 2 noch besser zu verorten. Bei einer verbleibenden Ortsdifferenz Ax können Hinweisnachrichten an den Nutzer 3 ausgegeben werden, welche beschreiben wo sich relativ gegenüber dem vermuteten Aufenthaltsort 8, der Ort 4, an dem das Steuergerät 5 die virtuelle Schallquelle 2 tatsächlich platziert hat, befindet. Diese Abweichung erlernt der Nutzer 3 somit nach und nach, wodurch die verbleibende Ortsdifferenz noch weiter reduziert werden kann oder sogar gänzlich verschwindet. Der Ablauf des erfindungsgemäßen Verfahrens ist noch einmal in Figur 2 anhand eines Ablaufdiagramms dargestellt. Im Verfahrensschritt 201 beginnt das Verfahren.
Im Verfahrensschritt 202 prüft das Steuergerät 5, ob bereits ein an den jeweiligen Nutzer 3 angepasstes HRTF-Profil 12 vorhanden ist. Ist dies der Fall, so endet das Verfahren im Verfahrensschritt 210 bzw. läuft in einer Schleife. Ist dies hingegen nicht der Fall, so werden die Verfahrensschritte 203, 204, 205 und 206 durchgeführt. Bei einer verteilten Ausführung des Steuergeräts 5 können die Verfahrensschritte 203 bis 206 beispielsweise auf der Recheneinheit 5.1 ausgeführt werden.
Im Verfahrensschritt 203 wertet die Recheneinheit 5.1 von Außen- und Innensensoren des Fahrzeugs 6 erzeugte Sensordaten aus. Hierdurch stellt die Recheneinheit 5.1 einen Fahrzeugnutzungskontext, einen Umgebungskontext und einen Wahrnehmungskontext fest. Der Fahrzeugnutzungskontext beschreibt beispielsweise, ob das Fahrzeug 6 für das Durchführen einer Fahrt von einem Startort zu einem Zielort genutzt wird oder gerade gereinigt oder beladen wird. So ist beispielsweise während einer Reinigung oder während einer Beladung das Ausgeben von richtungsabhängigen Warnnachrichten nicht erforderlich, bei einer Fahrt mit dem Fahrzeug 6 jedoch schon. Der Umgebungskontext beschreibt beispielsweise, ob und wo gegenüber dem Fahrzeug 6 sich statische und/oder dynamische Verkehrsobjekte befinden. Der Umgebungskontext kann zudem beschreiben, um welche Art von Umgebungsobjekt es sich handelt, wie beispielsweise ein Einsatzfahrzeug. Es können dann auf die jeweiligen Umgebungsobjekte maßgeschneiderte richtungsabhängige Hinweisnachrichten ausgegeben werden. Der Wahrnehmungskontext beschreibt beispielsweise wie das 3D-Audiosystem genutzt wird. Beispielsweise können nur eine reduzierte Anzahl an Lautsprechern 1 zum Ausgeben des Audiosignals zur Verfügung stehen, da über einige Lautsprechern 1 beispielsweise bereits Musik wiedergegeben wird.
Im Verfahrensschritt 204 wertet die Recheneinheit 5.1 Sensordaten aus, die mit Hilfe von Außenmikrofonen erzeugt wurden. Entsprechend lassen sich fahrzeugexterne Störgeräusche ermitteln.
Im Verfahrensschritt 205 wertet die Recheneinheit 5.1 von der Innenraumkamera 9.1, dem Radarsensor 9.2 und/oder dem Funksensorsystem 9.3 erzeugte Sensordaten aus und ist hierdurch dazu in der Lage das Nutzerverhalten zu analysieren sowie Nutzer zu identifizieren. Im Schritt 206 überprüft die Recheneinheit 5.1 das aktive HRTF-Profil 12, also welche Kopfübertragungsfunktion HRTF gerade verwendet wird.
Die zum Ansteuern des 3D-Audiosystems, also zur Generierung des über die Lautsprecher 1 auszugebenden Audiosignals verwendete Recheneinheit 5.2, gibt das entsprechende Audiosignal im Verfahrensschritt 207 über die Lautsprecher 1 aus, um die virtuelle Schallquelle 2 im Fahrzeuginnenraum vorzutäuschen. Wie durch einen gestrichelten Pfeil angedeutet, werden im Folgenden die Verfahrensschritte 208, 209 und 206 ausgeführt.
Im Verfahrensschritt 206 wird dann zusätzlich die vom Nutzer 3 ausgegebene Ortsindikation 7 erfasst und daraus die Ortsdifferenz Ax ermittelt. Ist die Ortsdifferenz Ax zu groß, so wird im Verfahrensschritt 208 die Kopfübertragungsfunktion HRTF angepasst.
Im Verfahrensschritt 209 wird dann geprüft, ob die Ortsdifferenz Ax nun größer oder kleiner ist als der festgelegte Schwellwert. Gegebenenfalls werden die Verfahrensschritte 206 und 208 so lange erneut durchgeführt, bis die Ortsdifferenz Ax ausreichend klein ist.

Claims

Mercedes-Benz Group AG Patentansprüche
1. Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems, wobei das 3D-Audiosystem Schall über wenigstens zwei Lautsprecher (1) abgibt, um eine virtuelle Schallquelle (2) für einen Nutzer (3) an einem zu den Lautsprechern (1) abweichenden Ort (4) vorzutäuschen, und wobei die folgenden Kalibrierschritte durch ein Steuergerät (5) durchgeführt werden: a) Platzieren der virtuellen Schallquelle (2) innerhalb oder außerhalb eines das 3D- Audiosystems umfassenden Fahrzeugs (6); b) Abgeben von Schall über die virtuelle Schallquelle (2); c) Erfassen einer vom Nutzer (3) ausgegebenen Ortsindikation (7), wobei die Ortsindikation (7) den vom Nutzer (3) vermuteten Aufenthaltsort (8) der virtuellen Schallquelle (2) beschreibt; d) Bestimmen einer Ortsdifferenz (Ax) zwischen dem tatsächlichen (4) und dem durch die Ortsindikation (7) beschriebenen Aufenthaltsort (8) der virtuellen Schallquelle (2); e) Ändern, in Abhängigkeit der Ortsdifferenz (Ax), einer vom Steuergerät (5) zum Anpassen des über die wenigstens zwei Lautsprecher (1) abgegebenen Audiosignals an den Aufenthaltsort (4) der virtuellen Schallquelle (2) verwendeten Kopfübertragungsfunktion (HRTF); und f) Erneutes Durchführen der Schritte a) bis d), so lange bis die Ortsdifferenz (Ax) einen festgelegten Schwellwert unterschreitet; dadurch gekennzeichnet, dass fahrzeugintegrierte Lautsprecher (1) verwendet werden und die Ortsindikation (7) mit Hilfe von Fahrzeuginnenraumsensoren (9.1, 9.2, 9.3) erfasst wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Steuergerät (5) zusätzlich zur Kopfübertragungsfunktion (HRTF) für jeden Lautsprecher (1) eine individuelle Raumübertragungsfunktion zum Anpassen des über den respektiven Lautsprecher (1) abgegebenen Audiosignals an den Aufenthaltsort (4) der virtuellen Schallquelle (2) berücksichtigt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Fahrzeug (6) mit Hilfe von akustischen Erfassungsmitteln (10) fahrzeugexterne Störgeräusche und/oder fahrzeuginterne Nebengeräusche erfasst und die Amplitude von einzelnen Frequenzen des über die Lautsprecher (1) abgegebenen Audiosignals in Abhängigkeit der Störgeräusche und/oder Nebengeräusche variiert.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass wenn sich mehrere Nutzer (3) im Fahrzeug (6) aufhalten für wenigstens zwei Nutzer (3) unter Verwendung von nutzerspezifischen Kopfübertragungsfunktionen (HRTF) nutzerspezifische virtuelle Schallquellen (2) vorgetäuscht werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Steuergerät (5) eine Datenbank (11) vorhält in welcher eine Vielzahl an HRTF- Profilen (12) gespeichert sind, wobei jedem HRTF-Profil (12) eine unterschiedlich konfigurierte Kopfübertragungsfunktion (HRTF) zugeordnet ist, und das Steuergerät (5) zum Ändern der Kopfübertragungsfunktion (HRTF) in Verfahrensschritt e) ein anderes HRTF-Profil (12) auswählt und/oder Parameter der verwendeten Kopfübertragungsfunktion (HRTF) anpasst.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Ortsdifferenz (Ax) die euklidische Distanz zwischen dem tatsächlichen Aufenthaltsort (4) der virtuellen Schallquelle (2) und dem durch die Ortsindikation (7) vermuteten Aufenthaltsort (8) umfasst.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Nutzer (3) über eine Mensch-Maschine-Schnittstelle dem Steuergerät (5) für den Verfahrensschritt a) vorgibt, wo die virtuelle Schallquelle (2) platziert werden soll.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Steuergerät (5) über Ausgabemittel einen akustischen, visuellen und/oder haptischen Hinweis an den Nutzer (3) ausgibt, wenn der vom Nutzer (3) vermutete Aufenthaltsort (8) der virtuellen Schallquelle (2) innerhalb einer tolerierbaren Abweichung mit dem tatsächlichen Aufenthaltsort (4) zusammenfällt oder bei einer größeren Abweichung das Steuergerät (5) den Hinweis ausgibt und durch einen Ortstipp ergänzt, wobei der Ortstipp beschreibt wo sich der tatsächliche Aufenthaltsort (4) der virtuellen Schallquelle (2) gegenüber dem vermuteten Aufenthaltsorts (8) der virtuellen Schallquelle (2) befindet.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Steuergerät (5) den Ortstipp in Abhängigkeit der Höhe der Ortsdifferenz (Ax) anpasst.
10. Fahrzeug (6), umfassend ein binaurales 3D-Audiosystem und Fahrzeuginnenraumsensoren (9.1, 9.2, 9.3), dadurch gekennzeichnet, dass das 3D-Audiosystem und die Fahrzeuginnenraumsensoren (9.1, 9.2, 9.3) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet sind.
EP24727750.2A 2023-05-30 2024-05-21 Verfahren zum kalibrieren eines fahrzeugintegrierten binauralen 3d-audiosystems und fahrzeug Pending EP4548605A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023002174.1A DE102023002174B3 (de) 2023-05-30 2023-05-30 Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und Fahrzeug
PCT/EP2024/063979 WO2024245831A1 (de) 2023-05-30 2024-05-21 Verfahren zum kalibrieren eines fahrzeugintegrierten binauralen 3d-audiosystems und fahrzeug

Publications (1)

Publication Number Publication Date
EP4548605A1 true EP4548605A1 (de) 2025-05-07

Family

ID=90732418

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24727750.2A Pending EP4548605A1 (de) 2023-05-30 2024-05-21 Verfahren zum kalibrieren eines fahrzeugintegrierten binauralen 3d-audiosystems und fahrzeug

Country Status (4)

Country Link
EP (1) EP4548605A1 (de)
CN (1) CN121195523A (de)
DE (1) DE102023002174B3 (de)
WO (1) WO2024245831A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100641788B1 (ko) * 2004-11-26 2006-11-02 주식회사 현대오토넷 차량용 에이브이 시스템의 볼륨 자동 조절 장치 및 방법
JP2013157747A (ja) 2012-01-27 2013-08-15 Denso Corp 音場制御装置及びプログラム
JP6553052B2 (ja) * 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
DE102014210215A1 (de) * 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10492019B2 (en) 2017-02-27 2019-11-26 International Business Machines Corporation Binaural audio calibration
DE112019003962T5 (de) 2018-08-08 2021-05-06 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und informationsverarbeitungssystem
DE102020108449A1 (de) 2020-03-26 2021-09-30 Faurecia Innenraum Systeme Gmbh Verfahren zum Bereitstellen eines benutzerspezifischen binauralen Schallsignals für einen Fahrzeuginsassen sowie Fahrzeug

Also Published As

Publication number Publication date
DE102023002174B3 (de) 2024-05-08
WO2024245831A1 (de) 2024-12-05
CN121195523A (zh) 2025-12-23

Similar Documents

Publication Publication Date Title
DE102017115621B4 (de) Fahrzeuginformationsdarbietungsvorrichtung
DE102014221301A1 (de) Modifizieren eines Audiopanoramas zur Anzeige des Vorliegens von Gefahr oder anderer interessierender Ereignisse
DE102020113422A1 (de) Vorrichtung und verfahren zum autonomen fahren
DE102018107756A1 (de) Systeme zum ausgeben eines warnsignals von einem fahrzeug, um in der nähe befindliche entitäten zu warnen
DE112015006772T5 (de) System und Verfahren für Geräuschrichtungsdetektion in einem Fahrzeug
DE102016209501A1 (de) System zur Ausgabe von Warnungen an Fahrzeuginsassen
DE102009057981B4 (de) Verfahren zur Steuerung der akustischen Wahrnehmbarkeit eines Fahrzeugs
DE102020113404A1 (de) Vorrichtung und verfahren zum autonomen fahren
DE102012215350A1 (de) Multisensuelle Aufmerksamkeitslenkung
EP3117632B1 (de) Mobile vorrichtung für immersive sounderlebnisse
DE102014009298A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102014226026A1 (de) Fahrassistenzsystem zur Erfassung eines Ereignisses im Umfeld außerhalb eines Fahrzeugs
WO2018172231A1 (de) Verfahren und vorrichtung zum unterhalten eines nutzers eines fahrzeugs
DE102017213252A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Variieren eines in einem Fahrzeug auszugebenden Audio-Inhalts
DE102020213185A1 (de) Unterstützung eines Fahrers bei der Wahrnehmung von Außengeräuschen
DE102017100628A1 (de) System und Verfahren zum Bereitstellen einer personenbezogenen Audiowiedergabe
EP2226217B1 (de) Akustisches, taktil unterstützbares Fahrzeuginsasseninformationssystem
DE102014217732B4 (de) Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs, Vorrichtung und System
DE102023002174B3 (de) Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und Fahrzeug
DE102018203661A1 (de) Verfahren und Vorrichtung zum Testen von direktionalem Hören in einem Fahrzeug
DE102017220394A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug und Kraftfahrzeug
CH709806A1 (de) Vorrichtung zur Führung von Sehbehinderten und Blinden.
DE102017203515A1 (de) Fahrzeug und verfahren
DE102017213249A1 (de) Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs
DE102019003624A1 (de) Verfahren zum Übermitteln eines akustischen Signals an eine Person

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250623