-
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einem solchen binauralen 3D-Audiosystem.
-
Die sogenannte Kopfübertragungsfunktion, auch als kopfbezogene oder außenohrbezogene Übertragungsfunktion bezeichnet, wird abgekürzt durch die Buchstaben HRTF, welche sich an den englischsprachigen Begriff Head-Related-Transfer-Function anlehnen. Die HRTF beschreibt die Übertragungsfunktion des Außenohrs und ist neben Laufzeitdifferenzen zwischen den beiden Ohren eines Menschen maßgeblich für die Lokalisierung von Schallquellen. Aufgrund der unterschiedlichen Anatomie eines jeden Menschen ist die HRTF für jeden Menschen individuell. Relevant sind dabei vor allem die Kopfform, welche Einfluss auf die Schallbeugung am Kopf und den Abstand der Ohren hat, sowie die individuelle Form der Ohrmuscheln und des Gehöreingangs. Ist die HRTF einer Person bekannt, dann wird eine virtuelle Positionierung von Schallquellen möglich, um so eine Lokalisierung der Schallquelle an einer virtuell vorgegebenen Position in einem Raum zu erschaffen. Diese Funktionalität wird häufig auch mit dem Begriff des 3D-Audio assoziiert.
-
In vielen Anwendungsfällen sind dafür jedoch eine Vielzahl von Lautsprechern notwendig. Ist die HRTF einer Person bekannt, kann mithilfe von lediglich zwei Lautsprechern, welche in einem rechten und einem linken Bereich bezogen auf die Person ausgerichtet sind, ein solches 3D-Audio virtuell erzeugt werden. Zum Erfassen der HRTF sind im Bereich der allgemeinen Audiotechnik aufwändige Messungen von Testsignalen mithilfe von Miniaturmikrofonen in den individuellen Gehörgängen einer Person grundlegend bekannt.
-
Einfacher und effizienter kann es nun werden, wenn eine optische Erfassung der Anatomie bzw. Geometrie des Kopfes, der Ohrmuscheln und ihrer räumlichen Relation zueinander ermöglicht wird. Die
DE 10 2020 108 449 A1 beschreibt in diesem Zusammenhang ein Verfahren zum Bereitstellen mindestens eines benutzerspezifischen binauralen Schallsignals für Fahrzeuginsassen, bei welchen die benutzerspezifische HRTF auf Basis der Anatomie der jeweiligen Person berechnet wird. Die Anatomie der jeweiligen Person wird dabei durch in dem Fahrzeug angeordnete Innenraumkameras erfasst, um so einfach und bequem ein optimiertes Audioerlebnis mittels einer größeren Zahl von Lautsprechern zu ermöglichen.
-
Die
US 2013/0194107 A1 beschreibt ebenfalls das Erfassen und Speichern einer HRTF, um ein virtuelles 3D-Audio über einen Signalprozessor zu erzeugen. Auch hier kommen Kameras zur Erfassung der den Berechnungen zugrunde liegenden Anatomie zum Einsatz.
-
Die Erfassung der gesamten relevanten Anatomie über in einem Fahrzeug verbaute Kameras, beispielsweise im Frontbereich vor einer das Fahrzeug nutzenden Person verbauten Kameras, ist in der Praxis außerordentlich schwierig, da über diese Kameras sehr häufig nicht alle relevanten Bereiche des Kopfes der entsprechenden Person zuverlässig und mit ausreichender Genauigkeit erfasst werden können. Zwar kann nun die Person aufgefordert werden, ihren Kopf entsprechend vor den Kameras zu bewegen und zu drehen, dies ist in der Praxis jedoch vergleichsweise aufwändig und wird als Komforteinbuße wahrgenommen, wenn dies bei jedem Start des 3D-Audiosystems notwendig wird.
-
Ferner offenbart die
US 2018/0249271 A1 ein binaurales Audiokalibrierverfahren. Das in der Druckschrift offenbarte Verfahren wird dazu genutzt ein Virtual-Reality-Gerät zum Erleben einer virtuellen dreidimensionalen Klangumgebung zu kalibrieren. Das Virtual-Reality-Gerät berücksichtigt dabei ebenfalls eine nutzerspezifische Kopfübertragungsfunktion, um eine virtuelle Schallquelle in einer Virtual-Reality-Umgebung möglichst derart zu platzieren, dass sie sich in der Virtual-Reality-Umgebung an genau der Stelle befindet, an der der Nutzer des Virtual-Reality-Geräts sie auch hört. Zum Kalibrieren wird eine virtuelle Schallquelle in der Virtual-Reality-Umgebung platziert und über die virtuelle Schallquelle ein Ton ausgegeben. Der Nutzer des Virtual-Reality-Geräts gibt an, an welchem Ort in der Virtual-Reality-Umgebung er die virtuelle Schallquelle wahrnimmt. Daraufhin wird eine Differenz zwischen dem Ort, an dem das Virtual-Reality-Gerät die virtuelle Schallquelle platziert hat, und der vom Nutzer vermuteten Position bestimmt. Die Kopfübertragungsfunktion wird daraufhin verändert und eine erneute Messung durchgeführt. Ziel ist es dabei, dass die Differenz zwischen der Position, an der der Nutzer die virtuelle Schallquelle vermutet, zur Position, an der das Virtual-Reality-Gerät die virtuelle Schallquelle in der Virtual-Reality-Umgebung platziert hat, minimiert wird. Die Verfahrensschritte werden solange wiederholt, bis diese Differenz einen festgelegten Schwellwert unterschritten hat. Die so auf den Nutzer angepasste Kopfübertragungsfunktion kann einem Nutzerprofil zugeordnet werden und somit für spätere Virtual-Reality-Erlebnisse erneut genutzt werden. Zum Erleben des dreidimensionalen Klangerlebnisses ist die Nutzung eines Virtual-Reality-Geräts erforderlich.
-
Die
DE 11 2019 003 962 T5 beschreibt ein Verfahren zum Erzeugen von Ton in einem Raum, das auf der im Voraus gemessenen kopfbezogenen Übertragungsfunktion eines Benutzers basiert. Das Verfahren umfasst die Ausgabe des Tons von einer virtuellen Schallquelle, die sich an einer bestimmten Position im Raum befindet. Wenn der Benutzer den Ton hört, wird die Position der virtuellen Schallquelle erkannt und mit der tatsächlichen Position verglichen. Basierend auf dem Ergebnis des Vergleichs wird die Position der virtuellen Schallquelle gesteuert, um den Ton in Richtung des Benutzers auszugeben.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems anzugeben, mit dessen Hilfe der Aufwand zum Kalibrieren des binauralen 3D-Audiosystems reduziert werden kann, gleichzeitig jedoch ein höherer Übereinstimmungsgrad zwischen dem Ort, an dem das 3D-Audiosystem die virtuelle Schallquelle platziert, und dem Ort, an dem ein Nutzer die virtuelle Schallquelle verortet, erzielt wird.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Ein gattungsgemäßes Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems, wobei das 3D-Audiosystem Schall über wenigstens zwei Lautsprecher abgibt, um eine virtuelle Schallquelle für einen Nutzer an einem zu den Lautsprechern abweichenden Ort vorzutäuschen, und wobei die folgenden Kalibrierschritte durch ein Steuergerät durchgeführt werden:
- a) Platzieren der virtuellen Schallquelle innerhalb oder außerhalb eines das 3D-Audiossystems umfassenden Fahrzeugs;
- b) Abgeben von Schall über die virtuelle Schallquelle;
- c) Erfassen einer vom Nutzer ausgegebenen Ortsindikation, wobei die Ortsindikation den vom Nutzer vermuteten Aufenthaltsort der virtuellen Schallquelle beschreibt;
- d) Bestimmen einer Ortsdifferenz zwischen dem tatsächlichen und dem durch die Ortsindikation beschriebenen Aufenthaltsort der virtuellen Schallquelle;
- e) Ändern, in Abhängigkeit der Ortsdifferenz, einer vom Steuergerät zum Anpassen des über die wenigstens zwei Lautsprecher abgegebenen Audiosignals an den Aufenthaltsort der virtuellen Schallquelle verwendeten Kopfübertragungsfunktion; und
- f) erneutes Durchführen der Schritte a) bis d), solange, bis die Ortsdifferenz einen festgelegten Schwellwert unterschreitet;
wird erfindungsgemäß dadurch weitergebildet, dass fahrzeugintegrierte Lautsprecher verwendet werden und die Ortsindikation mit Hilfe von Fahrzeuginnenraumsensoren erfasst wird.
-
Das erfindungsgemäße Verfahren erlaubt eine schnelle und einfache Kalibrierung eines im Fahrzeugkontext genutzten und fahrzeugintegrierten binauralen 3D-Audiosystems. Das Verfahren sieht vor, die Differenz zwischen dem vermuteten Aufenthaltsort und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle zu minimieren, sodass nach Unterschreiten der Ortsdifferenz des festgelegten Schwellwerts eine hohe Übereinstimmungsgüte erzielt wird. Das aufwändige Vermessen des Körpers des Nutzers ist somit nicht mehr erforderlich. Zudem können bei einem rein auf einer Messung von Körpermerkmalen eines Nutzers basierende Anpassungsverfahren von Kopfübertragungsfunktionen dennoch zu Abweichungen führen, da eine so ermittelte Kopfübertragungsfunktion gegebenenfalls nicht mit der Realität übereinstimmt. Eine verbleibende Ortsdifferenz kann somit nicht ausgeglichen werden. Das erfindungsgemäße Verfahren erlaubt jedoch eine Evaluierung der vom Steuergerät genutzten Kopfübertragungsfunktion und erlaubt es entsprechend die Kopfübertragungsfunktion solange zu verändern, bis eine gewünschte Güte bezüglich der örtlichen Übereinstimmung zwischen der vermuteten Schallquellenposition und der tatsächlichen Schallquellenposition aufgefunden wurde.
-
Zum Minimieren der Ortsdifferenz können geeignete Optimierungsalgorithmen eingesetzt werden, insbesondere basierend auf maschinellem Lernen. Ein solcher Optimierungsalgorithmus bestimmt dann welche alternative Kopfübertragungsfunktion genutzt werden soll bzw. welcher Parameter der verwendeten Kopfübertragungsfunktion in welchem Ausmaß variiert werden soll.
-
Durch die Verwendung fahrzeugintegrierter Lautsprecher kann auf die Nutzung sonstiger Geräte, wie beispielsweise Kopfhörer, Virtual-Reality-Brillen oder dergleichen verzichtet werden. Die Verwendung von Fahrzeuginnenraumsensoren ermöglicht eine im Vergleich besonders genaue Erfassung der Ortsindikation. Es können Fahrzeuginnenraumsensoren verwendet werden, mittels derer sich Tiefeninformationen gewinnen lassen, wie beispielsweise Radarsensoren, LiDAR-Sensoren, Ultraschallsensoren und dergleichen. Unter Verwendung einer oder mehrerer Kameras lässt sich die Ortsindikation auch mit Hilfe von maschinellem Sehen erfassen. So können von der oder den Kameras erzeugte Kamerabilder mit Hilfe geeigneter Bilderkennungsalgorithmen ausgewertet werden. Unter Verwendung einer Stereokamera lassen sich dabei ebenfalls Tiefeninformationen generieren. Als Fahrzeuginnenraumsensor können auch Bewegungssensoren verwendet werden. Hierzu zählen auch funkbasierte Sensoren, bei denen Bewegungen durch das Ändern einer Funksignalstärke erkannt werden. Als Funktechnologie kann beispielsweise ein Wi-Fi-Signal verwendet werden. Das Wi-Fi-Signal wird von mehreren Antennen erzeugt und die Änderung der Signalstärke von mehreren Antennen detektiert. Mit Hilfe solcher Fahrzeuginnenraumsensoren lässt sich dann beispielsweise das Ausführen von Gesten durch den Nutzer, die Körperhaltung des Nutzers, die Blickrichtung des Nutzers sowie das Positionieren von Körperteilen an einem bestimmten Ort erkennen.
-
Dementsprechend kann als Ortsindikation im einfachsten Fall die Blickrichtung des Nutzers oder auch die Bewegungs- oder Zeigerichtung einer Geste verwendet werden. Die Richtung kann in einer zweidimensionalen Ebene, beispielsweise als ein um die Hochachse des Fahrzeugs gemessener Winkel oder auch als ein frei im dreidimensionalen Raum gemessener Winkel, definiert sein. In diesem Falle wird die Ortsdifferenz durch den Raumwinkel definiert, mit dem der Nutzer quasi an der virtuellen Schallquelle vorbeischaut oder zeigt. Dies stellt jedoch nur eine erste Näherung dar, da hierbei die Entfernung der virtuellen Schallquelle zum Nutzer unberücksichtigt bleibt, also wie weit die virtuelle Schallquelle, die vom Nutzer wahrgenommen wird, vor oder hinter dem tatsächlichen Aufenthaltsort liegt. Die erste Näherung kann jedoch bereits ausreichen, insbesondere da bei einer leicht abweichenden Verortung (Position und Richtung) die Richtung als Indikator für eine HRTF Anpassung bevorzugt werden sollte.
-
Das binaurale 3D-Audiosystem kann eine Vielzahl an Lautsprechern aufweisen, beispielsweise fünf, sieben, zehn oder auch noch mehr Lautsprecher, zumindest jedoch zwei Lautsprecher. Die Lautsprecher können beliebig im Fahrzeug verteilt angeordnet sein, wobei wenigstens ein Lautsprecher in der linken Hemisphäre des Nutzers und ein Lautsprecher in der rechten Hemisphäre des Nutzers im Fahrzeug angeordnet ist.
-
Das von der virtuellen Schallquelle abgegebene Geräusch kann vielfältig sein. Beispielsweise kann als Geräusch Vogelgezwitscher, das Pfeifen einer Trillerpfeife, blubberndes kochendes Wasser, das Pfeifen eines Wasserkochers, das Läuten einer Glocke oder dergleichen verwendet werden. Dabei ist es möglich, dass der Nutzer über eine Mensch-Maschine-Schnittstelle wie eine berührungsempfindliche Anzeigevorrichtung für das Steuergerät festlegt, welche Art von Geräusch verwendet werden soll.
-
Die virtuelle Schallquelle kann an einem beliebigen Ort innerhalb des Fahrzeuginnenraums platziert werden. Beispielsweise kann die virtuelle Schallquelle auf einem Fahrzeugsitz, im Kofferraum, auf dem Armaturenbrett, unter dem Dachhimmel oder dergleichen verortet werden. Auch ist es möglich die virtuelle Schallquelle außerhalb des Fahrzeugs zu platzieren. Hierdurch lassen sich Umgebungsgeräusche richtungsabhängig simulieren. Das 3D-Audiosysstem bzw. das Steuergerät kann dabei den Einfluss der Fahrzeugstruktur berücksichtigen, sodass das entsprechende Geräusch vom Nutzer akustisch gedämpft wahrgenommen wird, so als würde es tatsächlich außerhalb des Fahrzeugs ertönen.
-
Der für die Ortsdifferenz vorgesehene festgelegte Schwellwert kann in Abhängigkeit eines Anwendungsszenarios frei gewählt werden. Wird das binaurale 3D-Audiosystem beispielsweise für Unterhaltungszwecke genutzt, kann ein höherer Schwellwert und damit eine größere zugelassene Ortsdifferenz verwendet werden. Werden hingegen beispielsweise ortsspezifische Warntöne über das 3D-Audiosystem ausgegeben, kann ein geringerer festgelegter Schwellwert und damit eine geringere zugelassene Ortsdifferenz verwendet werden.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Steuergerät zusätzlich zur Kopfübertragungsfunktion für jeden Lautsprecher eine individuelle Raumübertragungsfunktion zum Anpassen des über den respektiven Lautsprecher abgegebenen Audiosignals an den Aufenthaltsort der virtuellen Schallquelle berücksichtigt. Der geometrische Aufbau des Fahrzeugs, die im Fahrzeug verbauten Materialien und der Anbringungsort der Lautsprecher im Fahrzeug wirken sich ebenfalls auf die Verortung der virtuellen Schallquelle aus. Die vorigen aufgezählten Größen gehen in eine entsprechende Raumübertragungsfunktion ein. Die Raumübertragungsfunktion kann beispielsweise vom Fahrzeughersteller durch das Durchführen von akustischen Messungen experimentell bestimmt werden. Die Raumübertragungsfunktion kann auch mit Hilfe von Berechnungs- bzw. Simulationsverfahren angenähert werden. Aufgrund der unterschiedlichen Montagepositionen der einzelnen Lautsprecher am Fahrzeug ist die Raumübertragungsfunktion für jeden Lautsprecher individuell. Berücksichtigt das Steuergerät eine jeweilige Raumübertragungsfunktion für die einzelnen Lautsprecher ist es möglich, die Ortsdifferenz zwischen dem vermuteten Aufenthaltsort der virtuellen Schallquelle und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle noch weiter zu reduzieren.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfasst das Fahrzeug mit Hilfe von akustischen Erfassungsmitteln fahrzeugexterne Störgeräusche und/oder fahrzeuginterne Nebengeräusche und variiert die Amplitude von einzelnen Frequenzen des über die Lautsprecher abgegebenen Audiosignals in Abhängigkeit der Störgeräusche und/oder Nebengeräusche. Bei den akustischen Erfassungsmitteln kann es sich beispielsweise um ein oder mehrere Mikrofone handeln. Die Mikrofone können fahrzeugextern angebracht sein oder fahrzeugintern, also im Fahrzeuginnenraum. Bei den Störgeräuschen kann es sich beispielsweise um Fahrtwind, Baulärm, Verkehrsgeräusche oder dergleichen handeln. Bei den Nebengeräuschen kann es sich beispielsweise um ein zwischen mehreren Fahrzeuginsassen geführtes Gespräch, über das Infotainmentsystem des Fahrzeugs ausgegebene Musik, ein im Fahrzeuginnenraum geführtes Telefonat oder dergleichen handeln. Die Frequenzen des über die Lautsprecher abzugebenden Audiosignals, die in ihrer Amplitude kompensiert werden sollen, sind dann entsprechend von der Art des Störgeräuschs bzw. Nebengeräuschs abhängig. Beispielsweise kann die Amplitude von solchen Frequenzen die auch im entsprechenden Störgeräusch und/oder Nebengeräusch enthalten sind, erhöht werden. Hierdurch lässt sich verhindern, dass sich entsprechende Störgeräusche bzw. Nebengeräusche nachteilig auf die Verortung der virtuellen Schallquelle für den Nutzer auswirken. Die Anpassung des Audiosignals erfolgt dabei für jeden Lautsprecher individuell. Hierdurch wird auch der Richtungsabhängigkeit der Lautsprecher zum Aufenthaltsort des Nutzers Rechnung getragen.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass wenn sich mehrere Nutzer im Fahrzeug aufhalten, für wenigstens zwei Nutzer unter Verwendung von nutzerspezifischen Kopfübertragungsfunktionen nutzerspezifische virtuelle Schallquellen vorgetäuscht werden. Mit anderen Worten ist es möglich unterschiedlichen Fahrzeuginsassen jeweils eine eigene individuelle virtuelle Schallquelle vorzutäuschen. Für jeden Nutzer wird dabei eine speziell auf den jeweiligen Nutzer zugeschnittene Kopfübertragungsfunktion bestimmt. Zum Auffinden dieser Kopfübertragungsfunktionen kann wie im vorigen bereits ausgeführt vorgegangen werden. Insbesondere spielt dabei die Position des Nutzers im Fahrzeuginnenraum, also beispielsweise der vom Nutzer verwendete Fahrzeugsitz, eine Rolle.
-
Eine Zuordnung von Kopfübertragungsfunktionen zu Nutzern ist durch eine Personenidentifikation möglich. Hierzu können sich entsprechende Personen beispielsweise mit einem Nutzernamen am Fahrzeug anmelden oder auch durch biometrische Merkmale erkannt werden, wie beispielsweise einen Gesichtsscan, einen Irisscan oder eine Stimmanalyse. Nutzer können auch durch ein mitgeführtes Gerät erkannt werden, beispielsweise durch die individuelle MAC-Adresse oder Bluetooth-Adresse eines mitgeführten Smartphones. Zwei nutzerspezifische Audiosignale können dabei über das gleiche Paar von Lautsprechern ausgegeben werden. Bevorzugt wird jedoch für jeden Nutzer ein individuelles Lautsprecherpaar zur Ausgabe des nutzerspezifischen Audiosignals verwendet. Hierdurch wird der negative Einfluss von akustischen Interferenzen auf die Verortung der virtuellen Schallquellen verringert oder sogar aufgehoben.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens hält das Steuergerät eine Datenbank vor, in welcher eine Vielzahl an HRTF-Profilen gespeichert sind, wobei jedem HRTF-Profil eine unterschiedlich konfigurierte Kopfübertragungsfunktion zugeordnet ist, und das Steuergerät wählt zum Ändern der Kopfübertragungsfunktion im Verfahrensschritt e) ein anderes HRTF-Profil aus und/oder passt Parameter der verwendeten Kopfübertragungsfunktion an. Zum Ändern der Kopfübertragungsfunktion gibt es somit mehrere Möglichkeiten. Bei den von der Datenbank umfassten HRTF-Profilen bzw. den diesen Profilen zugrunde liegenden Kopfübertragungsfunktionen kann es sich um sogenannte Standard- oder Default-Funktionen handeln. Diese Standard-Kopfübertragungsfunktionen können beispielsweise vom Fahrzeughersteller für die üblichsten Anwendungsszenarios festgelegt worden sein. Durch den Wechsel des HRTF-Profils ist somit eine besonders schnelle und einfache Anpassung der Kopfübertragungsfunktion möglich. Gegebenenfalls stimmt die entsprechende Kopfübertragungsfunktion jedoch nur unzureichend mit der tatsächlichen Kopfübertragungsfunktion des Nutzers überein. Somit ist es ferner möglich die verwendete Kopfübertragungsfunktion weiter anzupassen. Dabei können bewährte Methoden eingesetzt werden, die festlegen, wie beim jeweiligen Durchführen der Kalibrierschritte a) bis e) dabei die Parameter der Kopfübertragungsfunktion geändert werden sollen. Beispielsweise können bewährte Optimierungsalgorithmen oder auch auf künstlicher Intelligenz bzw. maschinellem Lernen basierende Algorithmen verwendet werden. Mit Hilfe entsprechender Algorithmen ist es möglich Muster zu erkennen und somit die Parameter der verwendeten Kopfübertragungsfunktion derart zu ändern, dass bei der nächsten Iteration die Ortsdifferenz reduziert wird.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Ortsdifferenz die euklidische Differenz zwischen dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle und dem durch die Ortsindikation vermuteten Aufenthaltsort umfasst. Hierdurch ist im Vergleich zur alleinigen Berücksichtigung beispielsweise einer Winkeldifferenz eine noch umfangreichere und damit genauere Bestimmung der Genauigkeit des 3D-Audiosystems bei der Platzierung von virtuellen Schallquellen möglich. Beispielsweise kann das 3D-Audiosystem Schall über die virtuelle Schallquelle abgeben und der Nutzer muss im Folgenden mit seiner Hand nach der virtuellen Schallquelle greifen. Der Ort und die Richtung im Fahrzeuginnenraum, an den und in welche der Nutzer greift, wird dann als vermutete Aufenthaltsposition angenommen. Das Steuergerät kann daraufhin die euklidische Distanz zwischen dieser vermuteten Aufenthaltsposition und der tatsächlichen Aufenthaltsposition, an der das Steuergerät die virtuelle Schallquelle platziert hat, bestimmen. Da somit mehr Freiheitsgrade bezüglich der Ortsinformationen berücksichtigt werden, ist auch eine schnellere und effizientere Anpassung von Parametern der verwendeten Kopfübertragungsfunktion möglich, sodass noch schneller, also unter Verwendung bzw. Durchführung einer geringeren Iterationsanzahl der Kalibrierschritte a) bis e), eine entsprechend passende Kopfübertragungsfunktion aufgefunden werden kann.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens gibt der Nutzer über eine Mensch-Maschine-Schnittstelle dem Steuergerät für den Verfahrensschritt a) vor, wo die virtuelle Schallquelle platziert werden soll. Der Nutzer kann somit einen Einfluss auf den Kalibriervorgang ausüben. Beispielsweise kann in bestimmten Raumregionen des Fahrzeuginnenraums eine größere Diskrepanz zwischen der vermuteten Position der virtuellen Schallquelle und der tatsächlichen Aufenthaltsposition der virtuellen Schallquelle vorliegen als in anderen Raumregionen. Der Nutzer kann dann bevorzugt in dieser Raumregion die virtuelle Schallquelle platzieren, sodass durch das Kalibrieren der in dieser Raumregion vorliegende Fehler noch schneller reduziert werden kann. Hierdurch wird die Effizienz des Kalibrierverfahrens gesteigert.
-
Dieses Vorgehen kann auch vom Steuergerät analog ausgeführt werden. So kann das Steuergerät den Fahrzeuginnenraum in verschiedene Zonen unterteilen und nach und nach virtuelle Schallquellen in den einzelnen Zonen platzieren. Das Steuergerät bestimmt dann, in welchen Zonen die Ortsdifferenz besonders groß ist und führt anschließend eine erhöhte Anzahl an Messungen in den entsprechenden Zonen durch.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass das Steuergerät über Ausgabemittel einen akustischen, visuellen und/oder haptischen Hinweis an den Nutzer ausgibt, wenn der vom Nutzer vermutete Aufenthaltsort der virtuellen Schallquelle innerhalb einer tolerierten Abweichung mit dem tatsächlichen Aufenthaltsort zusammenfällt oder bei einer größeren Abweichung das Steuergerät den Hinweis ausgibt und durch einen Ortstipp ergänzt, wobei der Ortstipp beschreibt, wo sich der tatsächliche Aufenthaltsort der virtuellen Schallquelle gegenüber dem vermuteten Aufenthaltsort der virtuellen Schallquelle befindet.
-
Mit Hilfe der Lautsprecher des Fahrzeugs können akustische Hinweise ausgegeben werden. Berührt der Nutzer die virtuelle Schallquelle, so kann beispielsweise das Ausgeben des Audiosignals gestoppt werden. Zusätzlich oder alternativ kann ein entsprechender Hinweiston, beispielsweise ein Piepsen oder ein Jingle, erklingen.
-
Mit Hilfe von Lampen oder Anzeigevorrichtungen wie Displays können visuelle Hinweise ausgegeben werden. So kann eine entsprechende Lampe beispielsweise kurz aufleuchten, wenn die virtuelle Schallquelle korrekt verortet wurde. Auch kann mittels einer Lampe ein Spot auf den Ort im Fahrzeuginnenraum geworfen werden, an dem die virtuelle Schallquelle platziert wurde. Auf einem Display können umfassendere Informationen dargestellt werden. So kann beispielsweise der Ortstipp in Form einer Schnittansicht des Fahrzeuginnenraums aus der Vogelperspektive erfolgen, in welchen eingezeichnet ist, an welcher Position die virtuelle Schallquelle vom Steuergerät platziert wurde. Der Ortstipp kann auch akustisch ausgegeben werden. So kann beispielsweise folgende Nachricht ausgesprochen werden: „Das Glöckchen läutet auf dem Beifahrersitz“, oder „Das Glöckchen läutet zehn Zentimeter weiter links“.
-
Ferner können haptische Hinweise ausgegeben werden, beispielsweise über im vom Nutzer berührte Strukturelemente integrierte Aktoren. So kann beispielsweise das Lenkrad des Fahrzeugs zu Vibrationen angeregt werden, wenn der Nutzer die virtuelle Schallquelle korrekt verortet.
Durch das Ausgeben des Ortstipps kann der Nutzer dazu trainiert werden, verbleibende Diskrepanzen zwischen dem vermuteten Aufenthaltsort der virtuellen Schalquelle und dem tatsächlichen Aufenthaltsort der virtuellen Schallquelle auszugleichen. So kann der Nutzer nach und nach erlernen, dass beispielsweise die virtuelle Schallquelle immer leicht rechts unterhalb zu der Position liegt, an der der Nutzer die virtuelle Schallquelle ansonsten vermuten würde. Hierdurch wird entsprechend die Zuverlässigkeit erhöht, mit welcher der Nutzer die virtuelle Schallquelle richtig verortet.
-
Bevorzugt passt das Steuergerät dabei den Ortstipp in Abhängigkeit der Höhe der Ortsdifferenz an. Mit anderen Worten wird ein anderer Ortstipp ausgegeben, wenn der Nutzer weit an der virtuellen Schallquelle vorbeigreift, als wenn er die virtuelle Schallquelle trifft oder nur leicht an ihr vorbei greift.
-
Greift beispielsweise der Nutzer weiter an der virtuellen Schallquelle vorbei, so können über Leuchtvorrichtungen ausgegebene Lichtimpulse heller erscheinen oder zeitlich länger ausgegeben werden. Akustische Hinweisnachrichten können beispielsweise in diesem Falle lauter ausgegeben werden. Auch können andere Ausgabemodalitäten genutzt werden. Trifft der Nutzer beispielsweise die virtuelle Schallquelle, so kann lediglich ein einfacher Hinweiston erklingen. Greift er jedoch an der virtuellen Schallquelle vorbei, zeigt an ihr vorbei oder blickt an ihr vorbei, so kann beispielsweise der tatsächliche Aufenthaltsort der virtuellen Schallquelle beleuchtet werden und eine Hinweisnachricht vorgelesen werden, wo sich die virtuelle Schallquelle tatsächlich befindet.
-
Bei einem Fahrzeug, umfassend ein binaurales 3D-Audiosystem und Fahrzeuginnenraumsensoren, sind erfindungsgemäß das 3D-Audiosystem und die Fahrzeuginnenraumsensoren zur Durchführung eines zuvor beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Es kann sich auch um ein Schienenfahrzeug, Wasserfahrzeug oder Luftfahrzeug handeln. Das 3D-Audiosystem umfasst zumindest zwei Lautsprecher zur Ausgabe des entsprechenden Audiosignals sowie ein Steuergerät zum Ansteuern der Lautsprecher.
-
Das Steuergerät kann von weiteren Recheneinheiten des Fahrzeugs, beispielsweise von einem ABS-Steuergerät, Informationen beziehen und diese zum Ansteuern der Lautsprecher verwenden. Hierdurch lassen sich Fahrerassistenzfunktionen bereitstellen. Werden beispielsweise im Fahrzeugumfeld Gefahrenstellen erkannt, beispielsweise statische oder dynamische Verkehrsteilnehmer mit denen eine Kollision droht, so können entsprechende Hinweistöne ausgegeben werden. Die Hinweistöne werden dabei so relativ gegenüber dem Fahrzeug platziert, dass die fahrzeugführende Person beim Blicken in Richtung eines jeweiligen Hinweistons auch die Gefahrenstelle wahrnimmt.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und eines entsprechenden Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine schematische Draufsicht auf ein erfindungsgemäßes Fahrzeug, umfassend ein binaurales 3D-Audiosystem; und
- 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Kalibrieren des 3D-Audiosystems des in 1 gezeigten Fahrzeugs.
-
1 zeigt ein erfindungsgemäßes Fahrzeug 6, welches ein binaurales 3D-Audioystem aufweist. Mit Hilfe des 3D-Audisystems ist es möglich eine dreidimensionale virtuelle Schallkulisse für einen im Fahrzeug 6 anwesenden Nutzer 3 zu erzeugen. Das 3D-Audiosystem umfasst wenigstes zwei Lautsprecher 1, die versetzt zueinander im Fahrzeug 6 angeordnet sind. Über die Lautsprecher 1 wird ein Audiosignal abgegeben, welches die Anwesenheit einer virtuellen Schallquelle 2 im Fahrzeug 6 vortäuscht. In den gezeigten Ausführungsbeispielen wird die virtuelle Schallquelle 2 durch eine Glocke symbolisiert. Die virtuelle Schallquelle 2 erklingt dabei für den Nutzer 3 an einer zu den Lautsprechern 1 abweichenden Stelle. Dieses Vortäuschen von Schallquellen lässt sich beispielsweise für Unterhaltungszwecke oder auch zum Informieren oder Warnen des Nutzers 3 verwenden.
-
Das 3D-Audiosystem wird durch ein Steuergerät 5 angesteuert. Das Steuergerät 5 kann auf mehrere Recheneinheiten verteilt sein oder in eine einzelne Recheneinheit integriert sein (nicht dargestellt). In den gezeigten Ausführungsbeispielen wird eine Recheneinheit 5.1 zur Auswertung von Fahrzeuginnenraumsensoren 9.1, 9.2 und 9.3 verwendet. Eine Recheneinheit 5.2 dient zur Berechnung des Audiosignals. Eine Recheneinheit 5.3 bildet eine optionale Kommunikationsschnittstelle zu einer fahrzeugexternen, zentralen Recheneinrichtung 14 aus. Von der zentralen Recheneinrichtung 14 können weitere Informationen bezogen werden, insbesondere drahtlos.
Zum Anpassen des über die Lautsprecher 1 abgegebenen Audiosignals, sodass die virtuelle Schallquelle 2 an einem beliebigen zu den Lautsprechern 1 abweichenden Ort erklingt, berücksichtigt das Steuergerät 5 eine sogenannte Kopfübertragungsfunktion HRTF. Die Kopfübertragungsfunktion HRTF ist von den Körpermaßen des jeweiligen Nutzers 3 abhängig und beeinflusst die Richtungsabhängigkeit, aus der ein Nutzer 3 ein entsprechendes Geräusch hört. Stimmt die Kopfübertragungsfunktion HRTF mit der tatsächlichen Kopfübertragungsfunktion HRTF des Nutzers 3 überein, so erklingt die virtuelle Schallquelle 2 für den Nutzer 3 auch an der Position (8), an der das 3D-Audiosystem die virtuelle Schallquelle 2 vortäuscht (4). Weicht die Kopfübertragungsfunktion HRTF jedoch von der nutzerspezifischen Kopfübertragungsfunktion ab, so erklingt die virtuelle Schallquelle 2 auch an einem abweichendem als dem vorgesehen Ort.
-
Mit Hilfe eines erfindungsgemäßen Verfahrens lässt sich das 3D-Audiosystem schnell, einfach und zuverlässig kalibrieren, um eine jeweils für den Nutzer 3 geeignete Kopfübertragungsfunktion HRTF aufzufinden und damit das Klangerlebnis zu verbessern.
-
Das Steuergerät 5 steuert hierzu die Lautsprecher 1 an, um die virtuelle Schallquelle 2 an einem Ort 4 zu platzieren. Der Ort 4 kann sich innerhalb oder außerhalb des Fahrzeugs 6 befinden und auch als tatsächlicher Aufenthaltsort oder Soll-Aufenthaltsort bezeichnet werden. Zu Beginn verwendet das Steuergerät 5 eine Standard-Kopfübertragungsfunktion HRTF, die sehr wahrscheinlich von der tatsächlichen Kopfübertragungsfunktion des Nutzers 3 abweicht. Entsprechend nimmt der Nutzer 3 die virtuelle Schallquelle 2 an einem vermuteten Aufenthaltsort 8 an. Anschließend gibt der Nutzer 3 eine Ortsindikation 7 aus, um dem Fahrzeug 6 bzw. dem Steuergerät 5 mitzueilen, wo er die virtuelle Schallquelle 2 wahrnimmt. Als Ortsindikation 7 kann der Nutzer 3 beispielsweise auf den vermuteten Aufenthaltsort 8 zeigen, in diese Richtung blicken oder seinen Körper in diese Richtung ausrichten. Der Fahrzeuginnenraum wird mit Hilfe von Fahrzeuginnenraumsensoren 9.1, 9.2, 9.3 überwacht. Hierzu zählen beispielsweise eine Innenraumkamera 9.1, ein Radarsensor 9.2 sowie ein Funksensorsystem 9.3. Beispielsweise kann die Innenraumkamera 9.1, wie in 1 dargestellt, in das Armaturenbrett des Fahrzeugs 6 eingelassen sein und auf den Nutzer 3 ausgerichtet sein. Es können noch weitere nicht näher dargestellte Kameras verbaut sein. Mit Hilfe von Bilderkennungsalgorithmen ist dann eine differenzierte und umfassende Auswertung des Nutzerverhaltens möglich. Tiefeninformationen bzw. Abstandswerte lassen sich mit Hilfe des Radarsensors 9.2 und des Funksensorsystems 9.3 ermitteln. Dies ermöglicht es Bewegungen wahrzunehmen. Bei dem Funksensorsystem 9.3 kann es sich beispielsweise um eine Anordnung aus mehreren Funkantennen, wie beispielsweise Wi-Fi-Antennen handeln, wodurch sich Bewegungen durch die Analyse der Funksignalstärke erkennen lassen.
-
Zeigt oder blickt der Nutzer 3 in Richtung des vermuteten Aufenthaltsorts 8, so kann das Steuergerät 5 als Ortsdifferenz zwischen dem Ort 4 und dem vermuteten Aufenthaltsort 8 einen Winkel bestimmen. In diesem Falle könnte die virtuelle Schallquelle an einer beliebigen Entfernung auf einer Richtungslinie 13 liegen. Dies ermöglicht also lediglich eine vergleichsweise grobe Ortsbestimmung. In einer bevorzugten Ausführungsform greift der Nutzer 3 jedoch an genau die Stelle, an der er die virtuelle Schallquelle 2 vermutet. Dies ermöglicht es dem Steuergerät 5 den vermuteten Aufenthaltsort 8 exakter zu bestimmen. Somit kann das Steuergerät 5 als Ortsdifferenz Δx die euklidische Distanz zwischen dem Ort 4 und dem vermuteten Aufenthaltsort 8 bestimmen. Somit liegt eine noch genauere Ortsdifferenz vor, sodass auch zielgerichteter im nächsten Kalibrierschritt das Anpassen der Kopfübertragungsfunktion HRTF erfolgen kann.
-
Die Ortsdifferenz Δx wird von dem Steuergerät 5 mit einem festgelegten Schwellwert verglichen, worauf so lange die vom Steuergerät 5 verwendete Kopfübertragungsfunktion HRTF geändert wird, bis die Ortsdifferenz Δx geringer ist als der festgelegte Schwellwert. Das Ändern der Kopfübertragungsfunktion HRTF ist auf verschiedene Art und Weise möglich. Gemäß einer Ausführungsform umfasst das Steuergerät 5 eine Datenbank 11, in welcher eine Vielzahl an HRTF-Profilen 12 gespeichert sind. Jedem HRTF-Profil 12 ist dabei eine individuelle Kopfübertragungsfunktion HRTF zugeordnet. Ist die Ortsdifferenz Δx größer als der festgelegte Schwellwert, kann dann beispielsweise einfach ein anderes HRTF-Profil 12 geladen, sprich aktiviert werden. Ergänzend oder alternativ ist es möglich, die in den einzelnen HRTF-Profilen 12 hinterlegten Parameter der jeweiligen Kopfübertragungsfunktionen HRTF zu ändern. Dies ermöglicht eine zielgerichtete Anpassung der Kopfübertragungsfunktionen HRTF an den jeweiligen Nutzer 3. Ein für den jeweiligen Nutzer 3 aufgefundenes bzw. angepasstes HRTF-Profil 12 kann mit dem Nutzer 3 verknüpft werden und bei jeweiliger Anwesenheit des Nutzers 3 im Fahrzeug 6 neu geladen werden. Somit muss das erfindungsgemäße Kalibrierverfahren für jeden Nutzer 3 nur einmalig durchgeführt werden.
-
Neue Standard-HRTF-Profile können beispielsweise von der zentralen Recheneinrichtung 14 bezogen werden. Ein im Fahrzeug 6 konfiguriertes HRTF-Profil 12 kann auch an die zentrale Recheneinrichtung 14 übermittelt werden und dort zum Abrufen für weitere Fahrzeuge bereitgestellt werden.
-
Ferner kann das Fahrzeug 6 akustische Erfassungsmittel 10 aufweisen, welche als Außenmikrofon oder Innenmikrofon ausgeführt sein können. Mit Hilfe der akustischen Erfassungsmittel 10 lassen sich fahrzeugexterne Störgeräusche und/oder fahrzeuginterne Nebengeräusche erfassen. Das über die Lautsprecher 1 ausgegebene Audiosignal lässt sich dann an besagte Störgeräusche und/oder Nebengeräusche anpassen. Hierzu kann die Amplitude von den entsprechenden Stör- bzw. Nebengeräuschen umfassten Frequenzanteilen gezielt erhöht oder abgesenkt werden.
-
Das Fahrzeug 6 kann auch dazu eingerichtet sein, ein Einsatzfahrzeug wie einen Krankenwagen relativ gegenüber dem Fahrzeug 6 zu verorten. Das Einsatzfahrzeug kann beispielsweise ein Warnsignal über eine Sirene abgeben. In einer solchen Situation muss der Nutzer 3 das Einsatzfahrzeug im Straßenverkehr auffinden und gegebenenfalls sein Fahrverhalten angemessen anpassen. Um es dem Nutzer 3 zu erleichtern, das Einsatzfahrzeug aufzufinden, kann beispielsweise als virtuelle Schallquelle 2 ein Folgetonhornsignal ausgegeben werden und dieses im Fahrzeuginnenraum an der zur Aufenthaltsposition des Einsatzfahrzeugs gegenüber dem Fahrzeug 6 passender Stelle um den Kopf des Nutzers 3 herumgeführt werden. Somit ist der Nutzer 3 leichter dazu in der Lage zu erkennen, wo sich das Einsatzfahrzeug befindet.
-
Mit Hilfe des erfindungsgemäßen Verfahrens ist es ferner möglich für mehrere im Fahrzeug 6 anwesende Nutzer 3 individuelle Kopfübertragungsfunktionen HRTF festzulegen und entsprechend für jeden Nutzer 3 eine virtuelle Schallquelle an einem unterschiedlichen Ort vorzutäuschen. Es kann also das erfindungsgemäße Verfahren für jeden Nutzer 3 individuell durchgeführt werden. Die Anwesenheit der Nutzer 3 kann ebenfalls mittels der Fahrzeuginnenraumsensoren 9.1, 9.2 und 9.3 erkannt werden.
-
Ferner kann der Nutzer 3 dazu trainiert werden die virtuelle Schallquelle 2 noch besser zu verorten. Bei einer verbleibenden Ortsdifferenz Δx können Hinweisnachrichten an den Nutzer 3 ausgegeben werden, welche beschreiben wo sich relativ gegenüber dem vermuteten Aufenthaltsort 8, der Ort 4, an dem das Steuergerät 5 die virtuelle Schallquelle 2 tatsächlich platziert hat, befindet. Diese Abweichung erlernt der Nutzer 3 somit nach und nach, wodurch die verbleibende Ortsdifferenz noch weiter reduziert werden kann oder sogar gänzlich verschwindet.
Der Ablauf des erfindungsgemäßen Verfahrens ist noch einmal in 2 anhand eines Ablaufdiagramms dargestellt. Im Verfahrensschritt 201 beginnt das Verfahren.
-
Im Verfahrensschritt 202 prüft das Steuergerät 5, ob bereits ein an den jeweiligen Nutzer 3 angepasstes HRTF-Profil 12 vorhanden ist. Ist dies der Fall, so endet das Verfahren im Verfahrensschritt 210 bzw. läuft in einer Schleife. Ist dies hingegen nicht der Fall, so werden die Verfahrensschritte 203, 204, 205 und 206 durchgeführt. Bei einer verteilten Ausführung des Steuergeräts 5 können die Verfahrensschritte 203 bis 206 beispielsweise auf der Recheneinheit 5.1 ausgeführt werden.
-
Im Verfahrensschritt 203 wertet die Recheneinheit 5.1 von Außen- und Innensensoren des Fahrzeugs 6 erzeugte Sensordaten aus. Hierdurch stellt die Recheneinheit 5.1 einen Fahrzeugnutzungskontext, einen Umgebungskontext und einen Wahrnehmungskontext fest. Der Fahrzeugnutzungskontext beschreibt beispielsweise, ob das Fahrzeug 6 für das Durchführen einer Fahrt von einem Startort zu einem Zielort genutzt wird oder gerade gereinigt oder beladen wird. So ist beispielsweise während einer Reinigung oder während einer Beladung das Ausgeben von richtungsabhängigen Warnnachrichten nicht erforderlich, bei einer Fahrt mit dem Fahrzeug 6 jedoch schon. Der Umgebungskontext beschreibt beispielsweise, ob und wo gegenüber dem Fahrzeug 6 sich statische und/oder dynamische Verkehrsobjekte befinden. Der Umgebungskontext kann zudem beschreiben, um welche Art von Umgebungsobjekt es sich handelt, wie beispielsweise ein Einsatzfahrzeug. Es können dann auf die jeweiligen Umgebungsobjekte maßgeschneiderte richtungsabhängige Hinweisnachrichten ausgegeben werden. Der Wahrnehmungskontext beschreibt beispielsweise wie das 3D-Audiosystem genutzt wird. Beispielsweise können nur eine reduzierte Anzahl an Lautsprechern 1 zum Ausgeben des Audiosignals zur Verfügung stehen, da über einige Lautsprechern 1 beispielsweise bereits Musik wiedergegeben wird.
-
Im Verfahrensschritt 204 wertet die Recheneinheit 5.1 Sensordaten aus, die mit Hilfe von Außenmikrofonen erzeugt wurden. Entsprechend lassen sich fahrzeugexterne Störgeräusche ermitteln.
-
Im Verfahrensschritt 205 wertet die Recheneinheit 5.1 von der Innenraumkamera 9.1, dem Radarsensor 9.2 und/oder dem Funksensorsystem 9.3 erzeugte Sensordaten aus und ist hierdurch dazu in der Lage das Nutzerverhalten zu analysieren sowie Nutzer zu identifizieren.
Im Schritt 206 überprüft die Recheneinheit 5.1 das aktive HRTF-Profil 12, also welche Kopfübertragungsfunktion HRTF gerade verwendet wird.
-
Die zum Ansteuern des 3D-Audiosystems, also zur Generierung des über die Lautsprecher 1 auszugebenden Audiosignals verwendete Recheneinheit 5.2, gibt das entsprechende Audiosignal im Verfahrensschritt 207 über die Lautsprecher 1 aus, um die virtuelle Schallquelle 2 im Fahrzeuginnenraum vorzutäuschen. Wie durch einen gestrichelten Pfeil angedeutet, werden im Folgenden die Verfahrensschritte 208, 209 und 206 ausgeführt.
-
Im Verfahrensschritt 206 wird dann zusätzlich die vom Nutzer 3 ausgegebene Ortsindikation 7 erfasst und daraus die Ortsdifferenz Δx ermittelt. Ist die Ortsdifferenz Δx zu groß, so wird im Verfahrensschritt 208 die Kopfübertragungsfunktion HRTF angepasst.
-
Im Verfahrensschritt 209 wird dann geprüft, ob die Ortsdifferenz Δx nun größer oder kleiner ist als der festgelegte Schwellwert. Gegebenenfalls werden die Verfahrensschritte 206 und 208 so lange erneut durchgeführt, bis die Ortsdifferenz Δx ausreichend klein ist.
