-
Die Erfindung betrifft ein Verfahren zum akustischen Nachbilden einer Innenraumsituation eines Kraftfahrzeugs. Hierzu wird ein Audiosignal über ein akustisches Modell einer Fahrkabine des Kraftfahrzeugs, also des Passagierraums oder des Insassenraums, mittels eines Schallausgabesystems an einen Benutzer ausgegeben. Mittels des akustischen Modells wird das Audiosignal derart verarbeitet, dass dem Benutzer eine Veränderung des Audiosignals vermittelt wird, wie sie sich auch ergeben würde, falls das Audiosignal über eine Schallquelle in oder vor der Fahrkabine wiedergegeben und der Benutzer sich an einem bestimmten Sitzplatz in der Fahrkabine befinden würde. Dank des akustischen Modells muss sich der Benutzer hierzu nicht tatsächlich in der Fahrkabine befinden, um die akustische Innenraumsituation zu erfahren. Die Erfindung betrifft auch eine Prozessorschaltung zum Durchführen des Verfahrens sowie ein computerlesbares Speichermedium, um das Verfahren in einer Prozessorschaltung implementieren zu können.
-
Beim Entwickeln und/oder beim Bewerten eines Kraftfahrzeugs ist der akustische Eindruck oder die akustische Innenraumsituation in der Fahrkabine eines Kraftfahrzeugs für Entwickler und/oder potentielle Käufer ein mögliches Bewertungskriterium. Daher ist es im Rahmen des sogenannten Sound-Design eines Kraftfahrzeugs üblich, an den unterschiedlichen Sitzplätzen in der Fahrkabine, insbesondere an den möglichen Kopfpositionen auf den Sitzplätzen, mittels eines jeweiligen Mikrofons eine Audioaufnahme zu machen, während in der Fahrkabine oder auch außerhalb des Kraftfahrzeugs ein Audiosignal wiedergeben wird. Somit ist der sich an den Sitzplätzen ergebende Höreindruck durch das Mikrofonsignal beschrieben und kann zu einem späteren Zeitpunkt von einem Benutzer mittels Kopfhörer noch einmal angehört werden. Diese Form der akustischen Nachstellung einer Innenraumsituation in der Fahrkabine ist aber unflexibel. Möchte man die akustische Innenraumsituation mittels eines anderen Audiosignals nachstellen, so ist der beschriebene Versuchsaufbau erneut notwendig.
-
Das Vermitteln der akustischen Innenraumsituation mittels eines solchen akustischen Modells ist auch für die Wiedergabe einer virtuellen Realität von Interesse, wenn einem Benutzer eine virtuelle Fahrt in einem virtuellen Kraftfahrzeug präsentiert werden soll. Auch hier ist es zur Steigerung der sogenannten Immersivität oder Realitätsnähe angestrebt, auch bei der Wiedergabe der virtuellen Realität ein Audiosignal zu präsentieren, das der akustischen Innenraumsituation in der simulierten Fahrkabine entspricht. Hierzu kann beispielsweise während einer Fahrt eines realen Kraftfahrzeugs mittels eines Mikrofons eine Audioaufnahme erzeugt werden, die dann als Hintergrundgeräusch oder akustische Kulisse in der virtuellen Realität wiedergegeben werden kann. Auch hier ist man dann auf die einmal aufgenommenen Audioaufnahmen begrenzt.
-
Solche Formate für virtuelle Welten stellen auch eine neue Klasse von verkaufbaren und erlebbaren Inhalten dar. Das Design der Innenraumakustik eines Fahrzeugs kann auch als IP (Intellectual Property) eines Herstellers bezeichnet werden. Der Besitzer eines solchen IP kann sie über virtuelle akustische Modelle reproduzierbar machen. Dazu muss allerdings eine effiziente Sicherung der Rechte an der IP zur Verfügung stehen.
-
Aus der
US 2012 / 0113224 A1 ist bekannt, für einen Raum die Übertragungsfunktionen, die sich zwischen mehreren Lautsprechern des Raums einerseits und einer vordefinierten Hörposition andererseits ergeben, zu vermessen und diese dazu zu nutzen, das Lautsprechersignal derart zu manipulieren, dass der Einfluss des Raumes, beispielsweise Hall, kompensiert ist und Lautsprechersignale ohne den Einfluss der Innenraumsituation wahrgenommen werden.
-
Aus der
WO 2013 / 101073 A1 ist bekannt, mittels Mikrofonen die Übertragungsfunktion zu ermitteln, die sich zwischen einer Sprecherposition einerseits und dem jeweiligen Mikrofon andererseits ergibt. Das Mikrofonsignal soll für einen Spracherkenner aufbereitet werden. Um hierzu den Einfluss der akustischen Übertragungsstrecke zwischen Sprecher und Mikrofon zu kompensieren, wird das Mikrofonsignal mittels einer inversen Übertragungsfunktion verarbeitet, durch welche Hall und andere Einflüsse des Raumes beseitigt werden, damit das derart aufbereitete Mikrofonsignal vom Spracherkenner robuster erkannt werden kann.
-
Der Erfindung liegt die Aufgabe zugrunde, eine akustische Innenraumsituation einer Fahrkabine eines Kraftfahrzeugs flexibel ausgestalten zu können.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen der Erfindung ergeben sich durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figur.
-
Als eine Lösung umfasst die Erfindung ein Verfahren zum Nachbilden einer akustischen Innenraumsituation eines Kraftfahrzeugs. Mit „Innenraumsituation“ ist hier gemeint, dass die Simulation oder das Nachbilden der Ausbreitung des Schalls keine Freifeld-Verhältnisse annimmt, sondern Reflexionen und/oder Beugung und/oder Dämpfung berücksichtigt, um Hall (Reverb) und/oder Echo oder allgemein einen Wechselwirkung mit Objekten der Fahrkabine oder den akustischen Ausbreitungspfad in der Fahrkabine zu berücksichtigen, wie sie in der Fahrkabine des Kraftfahrzeugs vorhanden sind. Hierzu wird durch eine Prozessorschaltung ein Audiosignal über ein jeweiliges Schallausgabesystem an zumindest einen Benutzer wiedergegeben, aber dies erfolgt nicht unmittelbar, sondern die Wiedergabe des Audiosignals erfolgt über ein akustisches Modell der Fahrkabine des Kraftfahrzeugs oder wird über dieses geführt. Das Audiosignal wird also mittels des akustischen Modells verarbeitet und erst das verarbeitete Audiosignal wird den jeweiligen Benutzer mittels des jeweiligen Schallausgabesystems ausgegeben. Als jeweiliges Schallausgabesystem kann ein Kopfhörer (Stereokopfhörer) oder ein Lautsprecherarray mit mehreren Lautsprecherboxen in Kombination mit einer Schallfeldsynthese-Steuerung für das Lautsprecherarray vorgesehen sein. Im Folgenden wird repräsentativ für das Schallausgabesystem der Anschaulichkeit halber die Erfindung anhand der Ausführung mit Kopfhörer beschrieben, ohne dass darin eine Einschränkung auf dieses Beispiel für ein Schallausgabesystem verstanden werden soll.
-
Anhand des verarbeiteten Audiosignals kann die eingangs beschriebene akustische Beurteilung oder Bewertung der Fahrkabine durch den jeweiligen Benutzer vorgenommen werden. Um dies flexibel zu gestalten und nicht auf eine fest vorgegebene Audioaufnahme festgelegt zu sein, ist erfindungsgemäß durch das Verfahren ein Datensatz bereitgestellt, welcher für zumindest einen fahrzeuginternen Schallquellenort und/oder für zumindest einen fahrzeugexternen Schallquellenort (vor der Fahrkabine) jeweils zumindest eine Übertragungsfunktion für eine Schallübertragung von dem jeweilige Schallquellenort zu mehreren unterschiedlichen möglichen Kopfpositionen auf Sitzplätzen des Kraftfahrzeugs enthält. Mit anderen Worten umfasst das akustische Modell einen Datensatz mit den Übertragungsfunktionen. Die besagten Kopfpositionen können insbesondere vor einer jeweiligen Kopfstütze des Sitzplatzes definiert sein. Ein fahrzeuginterner Schallquellenort kann beispielsweise eine Einbauposition eines Lautsprechers der Fahrkabine sein. Weitere vorteilhafte Beispiele werden im Weiteren noch genannt. Ein fahrzeugexterner Schallquellenort kann beispielsweise neben oder vor oder hinter dem Kraftfahrzeug sein, wobei dann durch die Übertragungsfunktion auch nachgebildet ist, wie sich das Durchdringen von Fensterscheiben und/oder eines Fahrzeugblechs des Kraftfahrzeugs auf das Audiosignal des Schall der fahrzeugexternen Schallquelle auswirkt.
-
Bei dem Verfahren wird der jeweilige Benutzer, dem das verarbeitete Audiosignal über einen jeweiligen Kopfhörer wiedergegeben werden soll, einem der Sitzplätze zugeordnet und zum Ausgeben des Audiosignals an den jeweiligen Benutzer wird von einem in dem Datensatz berücksichtigten Schallquellenort (beispielsweise von der besagten Lautsprecherposition) die zumindest eine Übertragungsfunktion ausgewählt, die diesen Schallquellenort mit dem Sitzplatz, dem der Benutzer zugeordnet ist, verknüpft. Obwohl sich der Benutzer also nicht in dem Kraftfahrzeug befindet, wird durch die Zuordnung ermittelt oder festgelegt, auf welchem Sitzplatz in der Fahrkabine der Benutzer für das Nachbilden der akustischen Innenraumsituation „sitzen“ soll, wo er sich also virtuell befindet. Das Audiosignal wird mittels der Übertragungsfunktion verarbeitet, so dass also das Audiosignal so behandelt wird oder verändert wird, wie es sich bei der Übertragung von dem Schallquellenort zu dem Sitzplatz hin, insbesondere zu der besagten Kopfposition, ergeben würde. Das jeweilige verarbeitete Audiosignal wird an jeweiligen Benutzer akustisch ausgegeben, wozu die besagten Kopfhörer verwendet werden.
-
Durch den Datensatz ist somit ein System oder eine Beschreibung gegeben, wie ein Schall oder das Audiosignal eines Schalls auf dem Weg oder bei der Ausbreitung von einem vorgegebenen Schallquellenort (jeweils fahrzeugintern oder fahrzeugextern) hin zu dem jeweiligen Sitzplatz in der Fahrkabine verändert oder beeinflusst wird. Durch die Übertragungsfunktion kann der sich zwischen dem Schallquellenort und der Kopfposition des Benutzer ergebende akustische Ausbreitungspfad, wie er in der Fahrkabine vorhanden wäre, nachgebildet oder modelliert sein, wie dies an sich für eine Übertragungsfunktion bekannt ist. Eine andere Bezeichnung für Übertragungsfunktion ist auch Impulsantwort, wenn eine Zeitbereichsrepräsenation vorliegt. Das akustische Modell des Fahrzeugs kann im Zeitbereich und im Frequenzbereich funktionieren. Im Zeitbereich werden die Rauminformationen in Form von Implusantworten bereitgestellt, mit denen die Signale gefaltet werden. Im Frequenzbereich liegt die Rauminformation in Form von frequenzabhängigen Übertragungsfunktionen vor, mit denen Abschnittsweise fouriertransformierte Teile des Signals multipliziert und dann rücktransformiert werden. Beide Varianten sind realtimefähig (echtzeitfähig), unterscheiden sich in den genannten Punkten. Beide Varianten können für die Erfindung genutzt werden.
-
Indem der Datensatz für die mehreren Sitzplätze der Fahrkabine jeweils die Übertragungsfunktion enthält, ist es für den jeweiligen Benutzer möglich, sich einen Sitzplatz in der Fahrkabine auszuwählen. Indem keine vorbereiten akustischen Aufnahmen verwendet werden, sondern ein Datensatz mit Übertragungsfunktionen, kann die akustische Innenraumsituation für ein frei wählbares oder ein vorgebbares Audiosignal nachgestellt werden. Somit kann ein Benutzer zur Beurteilung der akustischen Innenraumsituation ein Audiosignal vorgeben oder aus mehreren vorgegebenen Audiosignalen auswählen und dann dynamisch oder in Echtzeit die akustische Innenraumsituation für den ausgewählten Sitzplatz nachstellen oder nachbilden lassen.
-
Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
-
Gemäß einer Weiterentwicklung wird dem verarbeiteten Audiosignal für jeden der Sitzplätze eine jeweilige, dem Sitzplatz zugeordnete Audioaufnahme eines Fahrgeräuschs überlagert. Eine solche Überlagerung kann beispielsweise durch Addieren der Signalwerte der Audioaufnahme zu dem verarbeiteten Audiosignal erfolgen. Die Audioaufnahme kann beispielsweise während einer realen Fahrt des realen Kraftfahrzeugs erzeugt werden, indem ein Mikrofon an der jeweiligen Kopfposition oder an dem jeweilige Sitzplatz während der Fahrt betrieben wird, um eine jeweilige Audioaufnahme für den Sitzplatz zu erhalten. Durch Verwenden einer Audioaufnahme ergibt sich der Vorteil, dass auch eine diffuse Schallquelle, die keinen punktförmigen Schallquellenort aufweist, für das Nachbilden der akustischen Innenraumsituation verwendet werden kann. Dies hat sich insbesondere beim Nachbilden von Fahrgeräuschen als besonders realitätsnah erwiesen.
-
Um die Immersion in die nachgebildete akustische Innenraumsituation zu verstärken, kann berücksichtigt werden, dass durch den Benutzer bei einer Kopfbewegung oder Kopfdrehung dann der jeweilige Schallquellenort relativ zu der geänderten Kopfposition aus einer anderen Richtung wahrgenommen wird. Insbesondere bei einer Stereowiedergabe über Kopfhörer kann dies nachgebildet werden. Eine Weiterentwicklung sieht hierzu vor, in dem Datensatz pro Sitzplatz für mehrere unterschiedliche Einfallsrichtungen des Audiosignals beziehungsweise Einfallsrichtungen auf die dort vorgesehene Kopfposition, eine jeweilige richtungsbezogene Übertragungsfunktion pro Schallquellenort und/oder Sitzplatz bereitzustellen. Es wird also nicht nur die Übertragung vom Schallquellenort hin zur Kopfposition des Sitzplatzes durch die Übertragungsfunktion beschrieben, sondern auch festgelegt, für welche Kopfpose (Kopfposition am Sitzplatz und/oder Kopfausrichtung, beispielsweise Richtungsvektor der Ausrichtung des Gesichtes) die Übertragungsfunktion gilt. Beim Wiedergeben des Audiosignals wird mittels eines Head-Tracking eine aktuelle Kopfpose des Benutzers erfasst und zu der erfassten Kopfpose die entsprechende, richtungsbezogene Übertragungsfunktion ausgewählt und zum Verarbeiten des Audiosignals verwendet. Wenn also der Benutzer während der Wiedergabe des Audiosignals seinen Kopf beispielsweise dreht und/oder neigt, so wird dies durch das Head-Tracking erkannt und zwischen den richtungsbezogenen Übertragungsfunktionen umgeschaltet oder gewechselt, je nach aktuell erkannter Kopfpose. Somit wird dem Benutzer eine Veränderung des Höreindrucks und/oder eine Relativbewegung des Schallquellenorts bezüglich des bewegten Kopfes vermittelt. Das Head-Tracking kann mit Mitteln aus dem Stand der Technik erfolgen, wie sie beispielsweise für Datenbrillen (VR-Brillen und/oder AR-Brillen) bekannt sind. Aber auch für jede einzelne Kopfpose können zwei Übertragungsfunktionen vorgesehen werden, nämlich pro Ohr eine. Pro Kopfposition gibt es also de facto zwei Übertragungsfunktionen bzw. Impulsantworten, für jedes Ohr eine. Verwendet man bei der Modellerstellung ein sogenanntes Ambisonicsmikrofon (TM), so sind es N Übertragungsfunktionen bzw. Impulsantworten pro Schallwandler im Ambisonicsmikrofon. Aus diesen N können dann die zwei für die Ohren (Kopfhörer) oder die M für das Lautsprecherarray berechnet werden.
-
Eine Weiterbildung vermittelt dem Benutzer eine so genannte Eigenwahrnehmung, das heißt, der Benutzer kann sich virtuell von einem Sitzplatz der Fahrkabine anhören, wie seine Stimme klingt, wenn sie von einem anderen der Sitzplätze oder allgemein von einem Schallquellenort aus dem Datensatz wiedergegeben wird. Hierzu sieht eine Weiterentwicklung vor, dass eine jeweilige Stimme des jeweiligen Benutzers mittels des Mikrofons erfasst wird und die Stimme als das Audiosignal in dem akustischen Modell von dem jeweiligen Schallquellenort aus wiedergegeben wird. Die kann mit einer Zeitverzögerung erfolgen (z.B. per Timeout oder nach Auslösen durch den Benutzer), damit der Benutzer das verarbeitete Audiosignal erst nach Beenden der Spracheingabe hört. So kann beispielsweise ein Benutzer einen Sitzplatz auf einer Rückbank der Fahrkabine wählen und sich seine Stimme von einem Schallquellenort am Fahrersitz oder Beifahrersitz im Kraftfahrzeug wiedergeben lassen. So kann der Benutzer beispielsweise abschätzen, wie ein Passagier auf dem Rücksitz, beispielsweise ein Kind, die Stimme wahrnimmt und/oder verstehen kann, wenn vorne vom Fahrersitz bzw. Beifahrersitz aus gesprochen wird. Dies erfolgt ohne die tatsächliche Benutzung des Kraftfahrzeugs allein mittels des akustischen Modells.
-
Eine Weiterentwicklung umfasst, dass für den jeweiligen Benutzer mittels einer Datenbrille eine virtuelle Umgebung der Fahrkabine aus der jeweiligen Perspektive des dem Benutzer zugeordneten Sitzplatzes visuell angezeigt wird. Wird also dem Benutzer ein Sitzplatz zugeordnet oder wählt ein Benutzer einen Sitzplatz aus, so wird ihm Fahrkabine als virtuelle Umgebung von diesem Sitzplatz aus oder aus dieser Perspektive simuliert oder angezeigt. Da zusätzlich das Audiosignal mittels des akustischen Modells passend zu dem Sitzplatz, also mit der entsprechenden akustischen Beeinflussung, wiedergegeben wird, ergibt sich eine gesteigerte immersive Erfahrung betreffend die Fahrkabine.
-
Diese Weiterentwicklung kann zusätzlich dazu genutzt werden, mehreren Benutzern, die sich z.B. in unterschiedlichen realen Räumen befinden können, über die virtuelle Umgebung und das akustische Modell eine gemeinsame virtuelle Fahrt auszugeben. Mit anderen Worten können sich die Benutzer für diese virtuelle Fahrt treffen oder zusammenschließen, indem jeder Benutzer eine Datenbrille und Kopfhörer aufsetzt und dieser Gruppe von Benutzern derselbe virtuelle Raum oder dieselbe virtuelle Umgebung der Fahrkabine präsentiert wird. Jeder Benutzer kann hierbei beispielsweise durch einen so genannten Avatar in der virtuellen Umgebung repräsentiert oder den übrigen Benutzern dargestellt werden. Für diese virtuelle Fahrt enthält der Datensatz Übertragungsfunktionen für Schallquellenorte, von denen jeder einem der Sitzplätze entspricht. Ein Sprachsignal des jeweiligen Benutzers wird mittels eines jeweiligen Mikrofons erfasst. Das Mikrofon kann beispielsweise in der jeweiligen Datenbrille angeordnet sein. Zwischen den Benutzern wird mittels der jeweiligen Übertragungsfunktion, welche den virtuellen Sitzplatz des sprechenden Benutzers mit dem virtuellen Sitzplatz eines jeweiligen anderen der Benutzer koppelt, verarbeitet und dem jeweiligen anderen Benutzer ausgegeben. Der andere Benutzer hört also den sprechenden Benutzer, das heißt dessen Sprachsignal, mit einer Veränderung oder Beeinträchtigung (beispielsweise Hall und/oder Dämpfung), wie es sich auch in der realen Fahrkabine des Kraftfahrzeugs ergeben würde. Somit wird das jeweilige Sprachsignal bei einer Unterhaltung der Benutzer genutzt oder verwendet, um die akustische Innenraumsituation zu vermitteln.
-
Um den Datensatz mit den Übertragungsfunktionen zu erzeugen, sieht eine Weiterentwicklung vor, einen Schall eines Testsignals, das von dem jeweiligen Schallquellenort, für den eine Übertragungsfunktion hin zu dem Sitzplatz benötigt wird, abzustrahlen und an dem jeweiligen realen Sitzplatz in der Fahrkabine des Kraftfahrzeugs mittels mehrerer Mikrofone zu erfassen. Pro Sitzplatz sind also mehrere Mikrofone vorgesehen, die beispielsweise in einer Ebene oder auf einer gedachten Oberfläche eines 3D-Körpers, insbesondere einer Kugeloberfläche, angeordnet sein können. Hierdurch wird mittels des jeweiligen Mikrofons der Schall in ein jeweiliges Mikrofonsignal umgewandelt und pro Sitzplatz wird aus den mehreren Mikrofonsignalen ein 3D-Schallfeld für diesen Sitzplatz ermittelt. Das 3D-Schallfeld beschreibt, mit welchem Zeitversatz und/oder mit welchem Phasenversatz das Testsignal über den Schall an den jeweiligen Mikrofonen eintrifft. Da die räumliche Position oder die relative geometrische Anordnung der Mikrofone bekannt oder beschrieben ist, kann hieraus beispielsweise auf die Einfallsrichtung des Schalls am Sitzplatz ermittelt werden. Mittels des 3D-Schallfelds und mittels des Testsignals werden dann pro Sitzplatz mehrere Übertragungsfunktionen berechnet, die auch die Einfallsrichtung berücksichtigen, das heißt, es können die beschriebenen richtungsbezogenen Übertragungsfunktionen berechnet werden. Beispielsweise können die Mikrofonsignale hierzu mittels eines Beamforming kombiniert werden und hierbei die benötigte räumliche Ausrichtung für die richtungsbezogene Übertragungsfunktion mittels des Beamforming festgelegt werden.
-
Zusätzlich oder alternativ zu einer Messung in der Fahrkabine kann eine oder es können einige der Übertragungsfunktionen oder alle Übertragungsfunktionen des Datensatzes auf der Grundlage eines digitalen geometrischen Raummodells der Fahrkabine mittels einer Simulation berechnet werden. Das geometrische Raummodell kann eine Geometrie von Objekten der Fahrkabine (z.B. Wände und/oder Decke und/oder Fensterscheiben und/oder Rückenlehen) sowie deren akustische Eigenschafen (z.B. Dämpfung und/oder Reflexion) beschreiben. Es kann eine Eingabegeste des jeweiligen Benutzers erfasst werden, beispielsweise eine Bewegung einer Hand oder eine Eingabe an einer Bedieneinheit, beispielsweise einer Tastatur. Diese Eingabegeste kann dann in eine zugeordnete geometrische Veränderung der Fahrkabine im Raummodell umgerechnet werden. Beispielsweise kann der Benutzer angeben, dass ein Fahrzeugsitz der Fahrkabine verstellt werden soll, beispielsweise nach vorn oder nach hinten verlagert werden soll. Hierdurch verändert sich die Modellierung der Fahrkabine in dem Raummodell. Gemäß dieser geometrischen Veränderung werden dann auch die Übertragungsfunktionen des Datensatzes mittels der Simulation angepasst. Somit kann der Benutzer eine Anpassung der die Übertragungsfunktionen beeinflussenden oder festlegenden Geometrie der Fahrkabine vornehmen. Dies kann beispielsweise für das eingangs beschriebene Sound-Design genutzt werden. Es kann auf eine Simulation mittels eines akustischen Simulationsprogramms aus dem Stand der Technik zurückgegriffen werden.
-
Mittels des akustischen Raummodells kann auch überprüft werden, ob oder mit welchen akustischen Kennwerten (z.B. Lautstärke und/oder Spektrum) ein Hinweissignal, beispielsweise ein Warnton betreffend beispielsweise einen Motorschaden und/oder ein künstliches Aktivitätsgeräusch eines Fahrtrichtungsanzeigers, während einer Fahrsituation von einem Benutzer wahrgenommen werden kann und/oder ob es eine vorgeschriebene akustische Eigenschaft aufweist. Hierzu wird gemäß einer Weiterentwicklung in dem Datensatz als ein Schallquellenort eine Lautsprecherposition eines Lautsprechers des Kraftfahrzeugs vorgesehen. Dem Benutzer wird eine Fahrsituation akustisch wiedergegeben (beispielsweise durch das bereits beschriebene Abspielen oder Wiedergeben von Fahrgeräuschen) und dem Benutzer wird währenddessen als verarbeitetes Audiosignal (mit der Lautsprecherposition als Schallquellenort) die Wiedergabe zumindest eines Hinweissignals, beispielsweise des beschriebenen Warntons, von der Lautsprecherposition ausgehend simuliert. Als alternatives oder zusätzliches Hinweissignal kann beispielsweise mittels einer text-to-speachengine eine Ansage, wie sie beispielsweise durch eine Navigationsassistenz erzeugt worden sein kann, wiedergegeben werden. Als weiteres mögliches Hinweissignal kann beispielsweise eine Freisprechanlage eines Telefons simuliert werden. Indem während dessen auch die Fahrsituation akustisch wiedergegeben wird, also beispielsweise Fahrgeräusche und/oder Geräusche anderer Verkehrsteilnehmer, oder die jeweilige Sitzposition oder den jeweiligen Sitzplatz vermittelt werden, wie das Hinweissignal in der Fahrsituation wahrnehmbar ist und/oder wie es sich mit den Geräuschen überlagert.
-
Eine Weiterentwicklung umfasst, dass der Datensatz mittels eines Non-Fungable-Token, NFT, gesichert ist. Hierdurch kann die eingangs beschriebene Absicherung in Bezug auf das geistige Eigentum / Intellectual Property, erfolgen.
-
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
-
Um das erfindungsgemäße Verfahren durchzuführen, umfasst die Erfindung als weitere Lösung eine Prozessorschaltung, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung weist hierzu eine Anschlusseinrichtung für zumindest einen Kopfhörer auf, so dass ein Benutzer mit einem Kopfhörer über die Anschlusseinrichtung ein von der Prozessorschaltung berechnetes verarbeitetes Audiosignal anhören kann. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein. Die Prozessorschaltung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.
-
Das zugrundeliegende Kraftfahrzeug ist bevorzugt ein Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder ein Personenbus. Es kann aber auch eine Fahrkabine in einem Flugzeug oder einen Reisezug nachgebildet werden. Der Begriff ‚Kraftfahrzeug‘ ist hierbei nicht auf Kraftwagen beschränkt, sondern kann alle möglichen Fahrzeuge umfassen (Busse, Bahnen, Flugzeuge etc.). Entsprechend ist auch die Anzahl der im Modell enthaltenen Übertragungsfunktionen bzw. Impulsantworten nicht beschränkt.
-
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur:
- Fig. eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Prozessorschaltung, die eine Ausführungsform des erfindungsgemäßen Verfahrens durchführen kann.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
Die Fig. zeigt eine Prozessorschaltung 10, die beispielsweise durch einen Computer oder einen Verbund aus mehreren Computern realisiert sein kann. Durch die Prozessorschaltung 10 kann ein akustisches Modell 11 betrieben werden, mittels welchem zumindest ein Audiosignal 12 mit jeweils zumindest einer Übertragungsfunktion 13 beispielsweise mittels einer mathematischen Faltung 14, insbesondere einer schnellen Faltung, verarbeitet oder prozessiert werden kann, um hierdurch ein jeweiliges verarbeitetes Audiosignal 15 zu erhalten.
-
Es kann zusätzlich vorgesehen sein, mittels einer Signalüberlagerung 16, beispielsweise einer Signaladdition, ein Audiosignal einer weiteren Audioaufnahme 17 zu überlagern.
-
Die Prozessorschaltung 10 kann eine Anschlusseinrichtung 18 aufweisen, über welche Kopfhörer 19 unterschiedlicher Benutzer 20 mit der Prozessorschaltung 10 gekoppelt sein können, um das insgesamt verarbeitete Audiosignal 15, wie es für jeden Benutzer 20 individuell bereitgestellt oder erzeugt werden kann, anzuhören. Die Anschlusseinrichtung kann z.B. auf der Grundlage einer Soundkarte und/oder eines Digital-Analog-Wandlers für eine direkten Kopfhöreranschluss und/oder einer Netzwerkkarte (NIC - Network interface controller) für eine Netzwerkübertragung von Audiodaten und/oder einem Funkmodul z.B. für eine Bluetooth-Audioübertragung gebildet sein.
-
Jeder Benutzer 20 kann sich in einem anderen Raum 21 befinden oder eine eigene selbstgewählte Position aufweisen. Dennoch kann vorgesehen sein, dass die Benutzer 20 gemeinsam akustisch eine virtuelle Fahrt 22 in einer virtuellen Umgebung 23 gemeinsam erleben, in welcher beispielsweise virtuelle Abbilder (Avatare 20') der Benutzer 20 in einer virtuellen oder digitalen oder graphischen Nachbildung 24 eines Kraftfahrzeugs 25 in einer anderen Positionierung als der den tatsächlichen Positionen der Benutzer 20 zusammen sitzen. Zur Visualisierung der virtuellen Fahrt 22 können die Benutzer 20 Datenbrillen 26 zum Darstellen der virtuellen Umgebung 23 tragen. Jedem Benutzer 20 kann hierbei in der virtuellen Umgebung 23 ein Sitzplatz 28 in einer Fahrkabine 29 des Kraftfahrzeugs 25 zugewiesen sein. Entsprechend dem jeweiligen Sitzplatz 28 kann dann auch dem jeweiligen Benutzer 20 die sich ergebende akustische Innenraumsituation 31 in der Fahrkabine 29 während der virtuellen Fahrt 22 präsentiert oder dargestellt werden.
-
Damit sich die Benutzer 20 untereinander unterhalten können, kann jeweils mittels eines Mikrofons 32 ein jeweiliges Sprachsignal 33 des jeweiligen Benutzers erfasst werden.
-
Dargestellt ist des Weiteren, wie mittels eines Head-Trackers 34 eine jeweilige Kopfpose 35 als Posensignal erfasst und der Prozessorschaltung 10 bereitgestellt werden kann. Auch die Mikrofonsignale der Mikrofone 32, also die Sprachsignale 33, können der Prozessorschaltung 10 bereitgestellt sein. Eine Kopplung der Kopfhörer 19, Mikrofone 32 und eines jeweiligen Head-Trackers 34 einerseits mit der Prozessorschaltung 10 kann über eine entsprechende Datenverbindung 40 bereitgestellt sein, die beispielsweise eine Internetverbindung und/oder eine Funkverbindung und/oder eine Kabelverbindung umfassen kann.
-
Um die akustische Innenraumsituation 31 für jeden Benutzer 20 entsprechend seinem Sitzplatz 28 zu simulieren oder über die Kopfhörer 19 darzubieten, kann z.B. in einem Datencontainer (z.B. einer Datei oder einem sogenannten Daten-BLOB; BLOB - Binary Large Object) ein Datensatz 50 bereitgestellt sein, in welchem die Übertragungsfunktionen 13 für das akustische Modell 11 bereitgestellt sein können.
-
In der Fig. ist am Beispiel oder durch die Visualisierung des Kraftfahrzeugs 25 dargestellt, wie beispielhaft für einen Sitzplatz 51 die Übertragungsfunktionen 13 ausgehend von unterschiedlichen Schallquellenorten 52 beziehungsweise von dem jeweiligen Schallquellenort 52 als Ursprung eines jeweiligen Schalls hin zu dem Sitzplatz 28 (dargestellt nur am Sitzplatz 51) gespeichert sein kann. Die kann für alle der Sitzplätze 28 vorgesehen sein. Ein Format der jeweiligen Übertragungsfunktion kann gemäß dem Stand der Technik gewählt sein.
-
Dargestellt ist, wie eine Übertragungsfunktion 13 zu einem Schallquellenort 52 eines Lautsprechers 53 der Fahrkabine 29 bereitgestellt sein kann. Weitere Übertragungsfunktionen 13 können die Übertragung der Sprachsignale 33 zwischen den Fahrzeugsitzen oder den Sitzplätzen 28 beschreiben, so dass die Sprachsignale 33 durch Verarbeiten mittels der jeweiligen Übertragungsfunktion 13 den Benutzern 20 untereinander, also dem jeweils anderen Benutzer 20, der das Sprachsignal 33 hören soll, mit der Raumakustik oder der akustischen Innenraumsituation 31 in der Fahrkabine 29 präsentiert werden kann. Es kann als eine weitere Audioaufnahme 17 ein Fahrgeräusch 56 beispielsweise mittels der beschriebenen akustischen Signalüberlagerung 16 eingespielt oder präsentiert werden, wodurch auch die simulierte Fahrt 22 akustisch wahrnehmbar ist.
-
Die Benutzer 20 erhalten somit den akustischen und visuellen Eindruck, dass sie an der jeweiligen Sitzposition an dem jeweiligen Sitzplatz 28 ihrer Avatare 20' sitzen. Mittels des jeweiligen Head-Trackers 34 kann dem jeweiligen Benutzer 20 zudem eine Veränderung der akustischen Innenraumsituation 31 in Abhängigkeit von einer aktuellen Kopfpose 35 vermittelt werden, indem in Abhängigkeit oder anhand der jeweiligen Kopfpose 35 eine geeignete richtungsbezogene Übertragungsfunktion 13 aus dem Datensatz 50 ausgewählt und für die Verarbeitung der Audiosignale 12 verwendet wird. Der Übersichtlichkeit halber ist dies in der Fig. nur für einen Benutzer dargestellt.
-
Die Idee ist somit die Erschaffung eines virtuellen akustischen Fahrzeuginnenraummodels auf der Basis von räumlichen Übertragungsfunktionen bzw. Impulsantworten von Audioquellen (Radio, Musikstreaming etc. aber auch Sprecher im Fahrzeug) zu allen Sitzplätzen eines Fahrzeugs.
-
Die Datenbrillen 26 können beispielsweise mit einem VR-Softwaremodul aus dem Stand der Technik betrieben werden.
-
Die Gesamtheit aller Übertragungsfunktionen bzw. Impulsantworten wird dem virtuellen System in Form eines Datencontainers zur Verfügung gestellt, der den Datensatz aller Übertragungsfunktionen enthält. Dieser Enthält in spezifischer Zuweisung die räumlichen Impulsantworten des Infotainment System, z.B. im Ambisonics Format beliebiger Ordnung, mit Angabe der Sample Rate, Bittiefe, Positionsbezeichnung und Länge der Impulsantwort. Mit diesen Informationen kann der Position des Rezipienten dann der entsprechende Datensatz für seinen Sitzplatz zugeordnet werden.
-
Das akustische Fahrzeugmodell kann in virtuellen Welten jeglicher Art verwendet werden, ist also ein digitales Objekt. Mithilfe der NFT-Technologie ist es möglich, dieses Objekt digital zu schützen. Damit wird die exklusive Verwertung des Objektes in den virtuellen Welten möglich, was für den Fahrzeughersteller eine Vielzahl kommerzieller Verwertungsmöglichkeiten eröffnet, etwa die Stärkung der Markenidentifikation durch Productplacement oder auch der Verkauf oder die Lizensierung der Rechte. In Kombination mit der NFT-Technik (Non Fungible Token) kann ein Hersteller somit seine Rechte verwerten (insbesondere Lizensierung, Verkauf, Verleih).
-
Die Kombination eines virtuellen akustischen Models und der NFT-Technologie stellt ein System dar, welches es so noch nicht gibt. Auf der einen Seite erlaubt es dem Anwender eine sehr realistische akustische Abbildung der Modelle oder virtuellen Umgebung, auf der anderen Seite dem Fahrzeughersteller neue Einnahmequellen und Marketingmethoden, die über die aktuell bestehenden Technologien nicht geschützt und kontrolliert werden können.
-
Aktuelle Systeme beschreiben ein Modell für einen Sitzplatz. Eine Kombination zu einem Datensatz der mehrere Sitzplätze beschreibt ist nicht bekannt.
-
Dieser Container an Sitzplatzinformationen kann eine beliebige Anzahl an Sitzplätzen enthalten, so dass auch Busse, Bahnen, Flugzeuge etc. mit einem solchen System abgebildet werden könnten. Die Nummerierung des Sitzplätze in diesem Modell läuft im Uhrzeigersinn und wird nach Sitzreihen und Sitzplätzen durchgeführt. Der Frontsitz links bekommt die Bezeichnung 1.1, Frontsitz rechts 1.2, zweite Sitzreihe links 2.1, zweite Sitzreihe rechts 2.2 und so weiter.
-
Durch die Nutzung von Übertragungsfunktionen bzw. Impulsantworten kann mit etwas erhöhtem Aufwand auch die Selbstwahrnehmung einer im Auto sprechenden Person abgebildet werden, wie auch die Wahrnehmung dieser Person auf allen anderen Sitzplätzen, was den Immersionsgrad der virtuellen akustischen Welt deutlich erhöht.
-
Ebenfalls kann eine Ausgabe von Text-to-Speech-Engines sehr realistisch dargestellt werden. Diese Impulsantworten können mit Vorrichtungen zur Messung von Kommunikationsgeräten ermittelt werden. Dieses sind etablierte Kunstkopfmikrofone mit einer zusätzlichen künstlichen Mundhöhle und einer Sprachausgabe. Somit ist es möglich, eine virtuelle Person als Schallquelle in einem Fahrzeug zu positionieren.
-
Im ersten Schritt wird ein für jeden Sitzplatz bezogenes 3-dimensionales akustisches Modell des Innenraumes und des Infotainment-Wiedergabesystems erstellt. Dieses Erfolgt durch Aufnahmen von Fahrgeräuschen, Impulsantworten des Infotainmentsystems und ggf. Kunstköpfen (Sprecher) mittels an sich bekannter räumlicher Audioverfahren. Die benötigten Impulsantworten können aber ebenfalls aus einer Akustik-simulation heraus berechnet werden. Dies erfolgt für alle Quellen und alle Sitzplätze, so dass im späteren Gebrauch unterschiedliche Sitzplätze in einem Fahrzeug sich für den Nutzer auch in der Akustik unterscheiden. Die Gesamtheit dieser Messungen bildet das virtuelle Modell, einen Container, der mit NFT verifiziert wird.
-
Dieses Modell wird in der virtuellen Welt mit den abzuspielenden Inhalten, z.B. Musik, Ansagen des Navis, Assistenzsystemen und Fahrgeräuschen oder auch den Stimmen der Nutzer der virtuellen Welt bespielt.
-
Der Rezipient kann über eine binaurale Auralisierung der Inhalte in der Ausspielung des virtuellen Modells den nachgebildeten Innenraum immersiv erleben. Die Technologie der Faltung von Audio Material mit Impulsantworten ist Stand der Technik. Alternativ zu einem Kopfhörer ist die Wiedergabe mittels einer Schallfeldsynthese über ein Lautsprecherarray möglich.
-
Ein Lautsprecherarray ist ein Lautsprechersystem (2 Kanal Stereo bis N Kanal, angeordnet als 2- oder 3-dimensionales Array). Hierzu kann anstelle z.B. eines Binauralisierungs-Tools inklusive Head-Tracking für eine Stereo-Kopfhörerwiedergabe ein entsprechender Decoder genutzt werden. In diesem kann die Anzahl der Lautsprecher und die Positionierung zu einem Bezugspunkt (Kopfposition des Rezipienten/Benutzers) angegeben werden, und aus einem mehrkanaligen Audio-Datenstrom die einzelnen Signale der Lautsprecher berechnet werden. Diese Decoder sind Stand der Technik (z.B. IEM Plug in Suite ™, AIIRA Decoder™ https://plugins.iem.at/#tab-AIIRADecoder). Bei der Wiedergabe über Lautsprecher-Arrays ist in vorteilhafter Weise kein Head Tracking mehr notwendig. Ein Lautsprecher-Array lässt sich damit in der Anwendung in Fahrsimulatoren sehr vorteilhaft verwenden.
-
Der Container kann nur Schallquellen enthalten, die durch eine Impulsantwort beschrieben werden, durch Fahrgeräusche ergänzt werden oder auch räumlich realistisch die Stimme der Nutzer des virtuellen Raumes enthalten.
-
Nur der Fahrzeughersteller kennt die Details der Signalverarbeitung des Infotainmentsystems. Entsprechend wäre er in der Lage, das virtuelle Modell sehr weit zu detaillieren. Ein Ausführungsbeispiel könnte also das vollständige Audio-UI oder auch nur bestimmte Teile des Uls des Infotainments umfassen (Balance, Equalizer etc.).
-
Eine Umgehungslösung kann sein, dass anstelle der Originalakustik eines Fahrzeugs die Akustik irgendeines anderen Fahrzeugs verwendet wird.
-
Eine Umgehungslösung kann ebenfalls sein, dass die Fahrzeugakustik stärker vereinfacht wird. Die Vereinfachung kann z.B. das Weglassen der Raumakustik sein, die Nutzung irgendeines Raumes, der gar kein Fahrzeug ist (z.B. Rechteckraum), oder einfacher Effekte (Hall, Kammfilter etc.) sowie die Vernachlässigung des Sitzplatzbezuges bzw. der Differenzierung zwischen den Sitzplätzen.
-
Eine weitere Ausführung kann sein, dass die Übertragungsfunktionen oder Impulsantworten des akustischen Modells nicht gemessen, sondern rechnerisch über Simulationen (z.B. Finite-Elemente-Methode, Finite-Differenzen-Methode, Raytracing etc.) berechnet werden.
-
Je umfassender das virtuelle Modell, desto natürlicher wird das immersive Erlebnis.
-
Eine Abbildung des UIs (User Interface) könnte ggf. einen zu hohen Grad an Komplexität bedingen. Allerdings kann der Fahrzeughersteller so den Anspruch auf seine IP deutlicher hervorheben.
-
Die Kombination eines solchen Modells mit einem NFT ermöglicht einen wirksamen Schutz vor Datendiebstal und Produktpiraterie. Auch lassen sich mit dieser Technik neue Einkommensquellen für den Rechteinhaber erschließen.
-
Die zukünftigen Technologien zur Erzeugung und dem Erleben von virtuellen Inhalten profitieren von einer möglichst immersiven Wahrnehmung des erlebten Ortes, also dem Zusammenspielen von optischen und akustischen Sinneseindrücken. Die Ausweitung auf alle Sitzplätze und die Einbeziehung aller möglichen Audio- und Schallquellen erhöht die Immersion deutlich. Ebenfalls wird die Neigung zur Simulatorkrankheit (analog zur Seekrankheit, Kinetose) reduziert, je mehr Sinne des Rezipienten in der Wahrnehmung der erlebten Realität übereinstimmen.
-
Insgesamt zeigen die Beispiele, wie Virtuelles Kabinenmodell mit NFT bereitgestellt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 20120113224 A1 [0005]
- WO 2013101073 A1 [0006]
