-
Die vorliegende Erfindung betrifft eine Vorrichtung zur effizienten Berechnung einer Auralisation sowie ein entsprechendes Verfahren hierzu.
-
Auralisation ist ein Verfahren zur künstlichen Hörbarmachung einer akustischen Situation. Es handelt sich um eine physikalische Simulation der akustischen Wellenausbreitung und berücksichtigt unter anderem die Reflektionen, Refraktionen und andere akustische Phänomene einer realen oder virtuellen Umgebung. Ähnlich wie ein Architekt ein visuelles Modell einer Umgebung kreiert, um einen bildlichen Eindruck zu bekommen, ist Auralisation das akustische Gegenstück, um einen akustischen Eindruck einer Umgebung zu vermitteln. Wie auch der Architekt verwendet der Akustiker keine plastischen Modelle mehr zur Modellierung, sondern computerbasierte Modelle. Diese haben den Vorteil, dass sie schnell an veränderte Bedingungen angepasst werden können.
-
Für eine Auralisation müssen im Wesentlichen drei Komponenten modelliert werden. Dies sind die Schallquellen, die Schallwellen mit einer definierten Richtwirkung aussenden, das Medium, in welchem sich die Schallwellen ausbreiten, sowie die Empfänger, bei denen die Schallwellen eintreffen. Das Ergebnis ist eine binaurale Raumimpulsantwort, die mit einem Audiosignal gefaltet werden kann, um einen akustisch, räumlichen Eindruck entstehen zu lassen.
-
Im Fokus der Forschung steht dabei die Echtzeitauralisation, also das Hörbarmachen einer dynamischen, akustischen Situation in Echtzeit. Verwendung findet dies beispielsweise in Virtual-Reality-(VR)-Anwendungen, um virtuelle Räume akustisch abzubilden, in Telekonferenzsystemen, um einen Vorteil durch den Cocktailparty-Effekt zu erzielen, oder in Kopfhörersystemen, um mehrkanalige Audioaufnahmen binaural wiederzugeben.
-
Der entscheidende Faktor bei einem Echtzeitauralisationssystem ist die Gesamtlatenzzeit, also die zeitliche Verzögerung in der Berechnung der Auralisation. Diese hängt maßgeblich von der Dynamik der zu modellierenden Umgebung ab und der Geschwindigkeit, mit welcher Änderungen von dem System modelliert und berechnet werden können. Für die meisten Anwendungen ist eine Gesamtverzögerung von 50 ms akzeptabel, was jedoch in hochdynamischen Umgebungen mit einer Vielzahl von Sendern und/oder Empfängern selbst bei der Verwendung von moderner und speziell für diese Aufgabe ausgelegter Hardware nicht immer möglich ist, da selbst diese nicht ausreichend Rechenleistung zur Verfügung stellen können.
-
Es ist somit eine Aufgabe der vorliegenden Erfindung eine Vorrichtung und ein Verfahren anzugeben, die eine möglichst effiziente, dynamische und latenzarme Berechnung einer Auralisation ermöglichen. Darüber hinaus ist es eine Aufgabe, eine Auralisation anzugeben, die kostengünstig auf Servern berechnet werden kann, auf mobilen Geräten energiesparend ist und bei dynamischen Änderungen schneller und realitätsnäher klingt.
-
Gelöst wird diese Aufgabe durch eine Vorrichtung zur effizienten Berechnung einer Auralisation umfassend einen Eingang zum Aufnehmen eines Eingangssignals, eine Signalverarbeitungseinrichtung zur Auralisation des Eingangssignals sowie einen Ausgang zum Bereitstellen eines auralisierten Ausgangssignals, wobei die Signalverarbeitungseinrichtung eine erste Einheit zur Auralisation in der Zeitdomäne und eine zweite Einheit zur Auralisation in der Frequenzdomäne aufweist, die je auf das Eingangssignal anwendbar sind, und wobei die Signalverarbeitungseinrichtung dazu eingerichtet ist, in Abhängigkeit eines Prüfkriteriums zwischen der Anwendung der ersten und der zweiten Einheit zu wechseln.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Aufgabe gelöst durch ein Verfahren zur effizienten Berechnung einer Auralisation mit den Schritten:
- - Bereitstellen eines Eingangssignals an einem Eingang,
- - Auralisieren des Eingangssignals durch eine Signalverarbeitungseinrichtung, und
- - Ausgeben eines auralisierten Ausgangssignals,
wobei die Signalverarbeitungseinrichtung eine erste Einheit zur Auralisation in der Zeitdomäne und eine zweite Einheit zur Auralisation in der Frequenzdomäne aufweist, die je auf das Eingangssignal anwendbar sind, und wobei die Signalverarbeitungseinrichtung dazu eingerichtet ist, in Abhängigkeit eines Prüfkriteriums zwischen der Anwendung der ersten und der zweiten Einheit zu wechseln.
-
Es ist somit eine Idee der vorliegenden Erfindung für die Berechnung der Auralisation zwei Einheiten vorzusehen, die unabhängig voneinander, also im Sinne von wahlweise, auf ein Eingangssignal angewendet werden können. Bei der Vorrichtung handelt es sich im Prinzip um ein übliches Eingabe-Verarbeitung-Ausgabesystem. Am Eingang liegen beispielsweise echofreie Audiosignale an und das resultierende Ausgangssignal kann ein binaurales Signal sein, welches für die Wiedergabe mit einem Kopfhörer geeignet ist. Die Verarbeitung des Eingangssignals erfolgt durch eine Signalverarbeitungseinrichtung, beispielsweise einen digitalen Signalprozessor (DSP), der dazu eingerichtet ist, verschiedene digitale Filter auf das Eingangssignal anzuwenden, um ein Ausgangssignal zu erzeugen, welches eine akustische Situation hörbar macht, also auralisiert ist.
-
Bei den Filtern, die die erste und die zweite Einheit umfassen, handelt es sich bevorzugt um FIR-Filter, die beispielsweise so genannte Head Related Transfer Functions (HRTF) abbilden. HRTFs, die alternativ auch als kopfbezogene Übertragungsfunktionen oder Außenohrübertragungsfunktionen bezeichnet werden, beschreiben die komplexe Filterwirkung von Kopf, Außenohr (Pinna) und Rumpf. Diese werden bei einer Auralisation zur Modellierung der Empfänger herangezogen und unterliegen somit einer besonderen Dynamik. Jeder Filter ist durch eine definierte Übertragungsfunktion gekennzeichnet, die sich sowohl in der Frequenzdomäne als auch in der Zeitdomäne darstellen lässt.
-
FIR-Filter im Besonderen haben den Vorteil, dass sie eine geringe Komplexität aufweisen, vor allem, wenn man sie dynamisch anpassen muss. FIR-Filter sind daher mittel der Wahl, wenn HRTFs berechnet werden müssen, die sich kontinuierlich mit der Bewegung einer Person verändern.
-
FIR-Filter können direkt auf ein Eingangssignal angewendet werden. Dies entspricht einem Filter in der Zeitdomäne. Darüber hinaus können FIR-Filter auch in der Frequenzdomäne berechnet werden. Hierzu wird das zeitkontinuierliche Signal in Blöcke aufgeteilt und in die Frequenzdomäne umgewandelt, um dort mit der Übertragungsfunktion des Filters multipliziert zu werden. Anschließend wird das Signal zurück in die Zeitdomäne konvertiert. Durch die Verwendung von effizienten Algorithmen zur Umwandlung von Signalen von der Zeit- in die Frequenzdomäne, wie zum Beispiel die diskrete FourierTransformation (DFT), lassen sich lange FIR-Filter sehr recheneffizient realisieren. Ebenso lässt sich die zeitliche Verzögerung eines in Blöcken aufgeteilten Eingangssignals reduzieren, indem der Abstand zwischen zwei Blöcken kleiner als die eigentliche Blockgröße ist. Allerdings muss hierbei das gefilterte Signal mit Verfahren wie Overlap-Safe oder Overlap-Add rekonstruiert werden.
-
Normalerweise sind Filter in der Frequenzdomäne etwa gleich schnell wie zeitliche FIR-Filter, da HRTFs regelmäßig nicht sehr lang sind. Die Verwendung von Filtern in der Frequenzdomäne ist somit nicht unbedingt effizienter in einer solchen Situation.
-
In komplexen Umgebung hingegen, wenn bspw. mehrere Eingangssignale vorliegen bzw. für mehrere Empfänger Ausgangssignale bereitgestellt werden, kann eine Filterung in der Frequenzdomäne durchaus vorteilhaft und effizienter gegenüber einer Filterung in der Zeitdomäne sein.
-
Um diesen Effekt Rechnung zu tragen, weist die erfindungsgemäße Vorrichtung zwei unabhängige Einheiten auf, die wahlweise auf das Eingangssignal angewendet werden können. Die erste Einheit verarbeitet das Eingangssignal in der Zeitdomäne, dass heißt eine Bearbeitung erfolgt unmittelbar auf dem zeitkontinuierlichen bzw. zeitdiskreten Eingangssignal. Die zweite Einheit verarbeitet das Eingangssignal in der Frequenzdomäne, dass heißt das zeitkontinuierliche bzw. zeitdiskrete Eingangssignal wird zunächst in die Frequenzdomäne umgewandelt, um dort transformiert zu werden.
-
Die Signalverarbeitungseinrichtung ist nun so eingerichtet, dass sie wahlweise die erste Einheit oder die zweite Einheit auf das Eingangssignal anwenden kann, um eine möglichst effiziente Berechnung der Auralisation zu ermöglichen. So kann die Signalverarbeitungseinrichtung beispielsweise in einer statischen Situation zunächst die erste Einheit mit Filtern in der Zeitdomäne anwenden und in einer dynamischen Situation die zweite Einheit mit Filtern in der Frequenzdomäne. Ein Prüfkriterium, anhand welches das Umschalten zwischen den Einheiten erfolgt, kann dabei von einer Vielzahl von Parametern abhängig sein.
-
Während das Vorhalten von zwei separaten Berechnungseinheiten zunächst aufwendig und ineffizient gegenüber Systemen mit einer Auralisation in nur einer Domäne erscheint, hat sich in der Praxis herausgestellt, dass durch die Möglichkeit die Berechnung individuell anzupassen und je nach äußerer Bedingung eine Berechnung in der entsprechenden Domäne durchzuführen eine viel effizientere Berechnung einer Auralisation möglich wird. Insbesondere wenn man davon ausgeht, dass die Einheiten als Softwaremodule realisiert sind, die auf speziellen Hardwarekomponenten ausgeführt werden, die auf eine parallele Berechnung optimiert sind, ist der Aufwand dafür, dass man zwei unabhängige Einheiten für die Frequenz- und die Zeitdomäne vorhalten muss, relativ gering. Insgesamt lässt sich durch das Umschalten zwischen der Berechnung in der Frequenzdomäne und der Berechnung in der Zeitdomäne eine besonders effiziente, dynamische, latenzarme und zugleich realitätsnahe Auralisation erreichen. Die oben genannte Aufgabe ist damit vollständig gelöst.
-
In einer bevorzugten Ausgestaltung ist die Signalverarbeitungseinrichtung dazu eingerichtet, beim Wechseln für eine definierte Zeitspanne die erste und zweite Einheit zeitgleich anzuwenden und nach Ablauf der definierten Zeitspanne die erste oder die zweite Einheit abzuschalten. In dieser Ausgestaltung kann somit die Signalverarbeitungseinrichtung die erste und die zweite Einheit zumindest für eine definierte Zeitspanne parallel betreiben, um beispielsweise die Effizienz der ersten Einheit und der zweiten Einheit hinsichtlich der Berechnung der Auralisation zu bewerten. Darüber hinaus kann in dieser Ausgestaltung eine Einheit vollständig abgeschaltet werden, sodass nur eine der beiden Einheit Rechenleistung benötigt.
-
In einer weiteren Ausgestaltung ist die Signalverarbeitungseinrichtung dazu eingerichtet, ein erstes Zwischensignal, welches aus der Anwendung der ersten Einheit resultiert, und ein zweites Zwischensignal, welches aus der Anwendung der zweiten Einheit resultiert, bereitzustellen und das erste und das zweite Zwischensignal zum auralisierten Ausgangssignal zu mischen. In dieser Ausgestaltung kann ebenfalls für eine gewisse Zeit die Auralisation parallel durchgeführt werden, wobei die dabei resultierenden Signale zu einem Signal zusammengemischt werden. Diese Ausgestaltung ermöglicht einen besonders einfachen und nahtlosen Übergang beim Wechseln zwischen der Anwendung der ersten Einheit und der zweiten Einheit.
-
In einer weiteren Ausgestaltung ist das Prüfkriterium so eingerichtet, dass es sich dynamisch während der Auralisation verändern kann, und insbesondere von einer momentanen Systemauslastung, einer Realitätsnähe und/oder einer Latenzanforderung abhängig ist. In dieser Ausgestaltung ist das Prüfkriterium somit dynamisch und kann sich im Laufe einer Auralisation verändern. Das heißt abhängig von dynamischen Parametern, wie beispielsweise die momentane Systemauslastung und/oder eine Latenzanforderung, kann das Prüfkriterium sich verändern und demenentsprechend zu einem dynamischen Umschalten zwischen der ersten Einheit und der zweiten Einheit führen. Auf diese Weise kann die neue Vorrichtung besonders gut auf äußere Bedingungen eingestellt werden, um eine effiziente und latenzarme Auralisation zu ermöglichen.
-
In einer weiteren Ausgestaltung weist die Vorrichtung eine Prüfeinrichtung auf, die dazu ausgebildet ist, eine Effizienz der Auralisation mit der ersten Einheit und eine Effizienz der Auralisation mit der zweiten Einheit zu bewerten und das Prüfkriterium zu beeinflussen. In dieser Ausgestaltung kann das Prüfkriterium somit ebenfalls dynamisch verändert werden, wobei das Prüfkriterium hier von einer Bewertung der Auralisation mit der ersten Einheit und einer Bewertung der Auralisation mit der zweiten Einheit abhängig ist. In dieser Ausgestaltung kann im Sinne einer Überwachung der Effizienz der einzelnen Einheiten und einer entsprechenden Ansteuerung der Umschaltung die Effizienz der Auralisation insgesamt weiter erhöht werden.
-
In einer weiteren Ausgestaltung weist die Vorrichtung einen weiteren Eingang zum Aufnehmen einer, vorzugsweise dynamischen, akustischen Szenenbeschreibung auf und die erste und die zweite Einheit sind in Abhängigkeit der akustischen Szenenbeschreibung einstellbar. In dieser Ausgestaltung kann die Auralisation mit der erfindungsgemäßen Vorrichtung durch die Eingabe weiterer Parameter, die eine akustische Szenenbeschreibung bilden, weiter optimiert werden, wodurch eine Auralisation noch realitätsnäher klingt. Besonders bevorzugt ist das Prüfkriterium dabei abhängig von der akustischen Szenenbeschreibung, die insbesondere eine Modellierung der Quellen, Empfänger und der Raumakustik umfasst. In dieser Ausgestaltung kann das Umschalten somit ebenfalls von der akustischen Szenenbeschreibung, die vorzugsweise ebenfalls dynamisch ist, abhängig sein. Somit kann gleichzeitig neben der erhöhten Realitätsnähe auch die Effizienz der Berechnung gesteigert werden.
-
In einer weiteren Ausgestaltung ist die Vorrichtung dazu ausgebildet, mehrere Eingangssignale zu bearbeiten und/oder mehrere auralisierte Ausgangssignale bereitzustellen. Durch die gleichzeitige Bearbeitung mehrerer Eingangssignale beziehungsweise durch das Bereitstellen unterschiedlicher Ausgangssignale kann die erfindungsgemäße Vorrichtung vorteilhaft auch für komplexe Szenarien eingesetzt werden. In einer bevorzugten Ausgestaltung ist darüber hinaus das Prüfkriterium abhängig von der Anzahl der Eingangssignale und/oder der Anzahl der auralisierten Ausgangssignale. Diese Ausgestaltung ermöglicht es, dass die Berechnung der Auralisation der Komplexität eines Szenarios angepasst werden kann und so besonders effizient durchgeführt werden kann.
-
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel der neuen Vorrichtung in einer schematischen Darstellung,
- 2 ein bevorzugtes Ausführungsbeispiel der neuen Vorrichtung in einer schematischen Darstellung,
- 3 ein Diagramm eines Ausführungsbeispiels des neuen Verfahrens, und
- 4 ein Zustandsübergangsdiagramm eines Ausführungsbeispiels der neuen Vorrichtung bzw. des neuen Verfahrens.
-
In der 1 ist ein Ausführungsbeispiel der neuen Vorrichtung in seiner Gesamtheit mit der Bezugsziffer 10 bezeichnet. Die Vorrichtung 10 weist in diesem Ausführungsbeispiel einen ersten Eingang 12 zum Aufnehmen eines Eingangssignals 14 sowie einen Ausgang 16 zum Bereitstellen eines Ausgangssignals 18 auf.
-
Das Eingangssignal kann ein beliebiges Audiosignal sein. Insbesondere handelt es sich bei dem Eingangssignal um ein zeitdiskretes Signal, welches durch Abtastung und Quantisierung aus einem zeitkontinuierlichen Signal bestimmt worden ist und sich somit digital verarbeiten lässt. Bevorzugt ist das Eingangssignal ein echofreies Audiosignal, welches durch die Vorrichtung 10 so transformiert wird, dass ein Audiosignal 18 entsteht, welches eine definierte akustische Situation in Bezug zum Eingangssignal 14 hörbar macht. Es versteht sich jedoch, dass die Erfindung nicht auf die Verwendung von echofreien Eingangssignalen beschränkt ist und im Prinzip jedes Audiosignal unabhängig von der Art durch die neue Vorrichtung auralisiert werden kann.
-
Das Ausgangssignal 18 ist entspricht dem auralisierten Eingangssignal 14 und entsteht aus dem Eingangssignal, indem entsprechende Filter auf das Eingangssignal 14 angewandt werden.
-
Die Transformation erfolgt durch eine Signalverarbeitungseinrichtung 20, welche den Kern der neuen Vorrichtung 10 bildet. Die Signalverarbeitungseinrichtung 20 kann beispielsweise ein digitaler Signalprozessor (DSP) sein, der dazu ausgebildet ist, Eingangssignale digital zu verarbeiten. In anderen Ausführungsbeispielen kann die Signalverarbeitungseinrichtung 20 aber auch ein General Purpose Prozessor (GPP), ein speziell hergerichteter ASIC, eine GPU oder eine sonstige Recheneinheit sein. Darüber hinaus ist es denkbar, dass die Signalverarbeitungseinrichtung 20 aus einer Vielzahl von den vorstehend genannten Einheiten gebildet ist. Ebenso ist es möglich, dass die Signalverarbeitungseinrichtung 20 eine virtuelle Einheit ist, die ihre Rechenleistung aus einem Netzwerk von Recheneinheiten oder der „Cloud“ bezieht.
-
Erfindungsgemäß umfasst die Signalverarbeitungseinrichtung 20 zwei getrennte Einheiten 22, 24, die dazu ausgebildet sind, das Eingangssignal 14 unabhängig voneinander zu verarbeiten. Das heißt sowohl die erste Einheit 22 als auch die zweite Einheit 24 sind dazu ausgebildet, dass Eingangssignal 14 zum Ausgangssignal 18 zu auralisieren. Vorzugsweise sind die erste und die zweite Einheit 22, 24 so eingerichtet, dass sie unabhängig voneinander das Eingangssignal 14 zu demselben auralisierten Ausgangssignal 18 verarbeiten können. Mit anderen Worten können die erste Einheit 22 und die zweite Einheit 24 wahlweise das Eingangssignal 14 transformieren.
-
Die erste Einheit 22 ist dazu ausgebildet, das Eingangssignal 14 in der Zeitdomäne zu bearbeiten. Das heißt die erste Einheit 22 weist Verarbeitungselemente auf, insbesondere Filter wie FIR- und IIR-Filter, mit denen das Eingangssignal 14 in seiner zeitkontinuierlichen beziehungsweise zeitdiskreten Form direkt transformiert werden kann. FIR-Filter haben den Vorteil, dass sie eine geringe Komplexität aufweisen und sich einfach dynamisch anpassen lassen. FIR-Filter sind daher besonders gut geeignet um beispielsweise kurze HRTFs in der Zeitdomäne berechnen zu können. Eine Auralisation in der Zeitdomäne, wie es die erste Einheit 22 ermöglicht, hat den Vorteil, dass Filterkoeffizienten schnell angepasst werden können, da die Verzögerung minimal ist, und bestimmte Effekte, wie beispielsweise der Dopplereffekt, quasi „frei Haus“ implementiert werden können.
-
Die zweite Einheit 24 ist dazu ausgebildet das Eingangssignal 14 in der Frequenzdomäne zu bearbeiten. Das heißt, das zeitkontinuierliche beziehungsweise zeitdiskrete Eingangssignal wird zunächst in Blöcke aufgeteilt, die in die Frequenzdomäne transformiert werden. In der Frequenzdomäne werden die transformierten Eingangssignale mit der Übertragungsfunktion des oder der Filter multipliziert und anschließend wieder in die Zeitdomäne konvertiert. Durch die Verwendung von effizienten Algorithmen zur Umwandlung von Signalen von der Zeit- in die Frequenzdomäne lassen sich lange FIR-Filter sehr recheneffizient realisieren. Auch die zeitliche Verzögerung eines in Blöcken aufgeteilten Eingangssignals lässt sich dadurch reduzieren, dass ein Abstand zwischen zwei Blöcken kleiner als die eigentliche Blockgröße gewählt wird. Hierbei muss das gefilterte Signal allerdings mit Verfahren wie Overlap-Save oder Overlap-Add rekonstruiert werden.
-
In der Frequenzdomäne kann insbesondere die Berechnung von mehreren HRTF-Filtern bzw. langen HRTFs beschleunigt werden. Hierzu wird bei jedem Filter die gleiche Blockgröße verwendet und die Blöcke sind zeitsynchron. Man spricht hierbei von einer so genannten uniform-partionierten Faltung. Dies hat den Vorteil, dass für jedes Eingangssignal und jedes Ausgangssignal nur jeweils eine DFT bzw. IDFT durchgeführt werden muss. Die Anwendung der Filter erfolgt in der Frequenzdomäne durch einfache, komplexe Multiplikation (Faltung) der unterschiedlichen Übertragungsfunktionen mit denselben Eingangsdaten. Des Weiteren können die Ergebnisse dieser Faltung einfach addiert werden, bevor sie wieder in die Zeitdomäne transferiert werden.
-
In einem anderen Ausführungsbeispiel, wenn man Filter anwenden möchte, die sehr viel größer als die Blocklänge des Eingangssignals sind, bietet sich an, die langen Filter in mehrere kurze Subfilter aufzuteilen, die zeitversetzt auf das Eingangssignal angewandt werden können. Auf diese Weise lassen sich besonders effizient auch Filter anwenden, die sehr viel größer als die Blocklänge des Eingangssignals sind.
-
Die Filterung in der Frequenzdomäne hat grundsätzlich den Vorteil, dass sie effizient von spezifischer Hardware berechnet werden kann, insbesondere von Hardware, die eine besonders effiziente parallele Berechnung ermöglicht. Grafikkarten bieten sich daher für eine derartige Berechnung an, da sie beispielsweise DFT und IDFT um ein Vielfaches schneller berechnen können als übliche Recheneinheiten.
-
Die erste und die zweite Einheit 22, 24 sind somit beide dazu ausgebildet, das Eingangssignal so zu filtern, dass ein entsprechendes auralisiertes Ausgangssignal 18 ausgegeben werden kann. Vorzugsweise sind beide Einheiten 22, 24 so eingerichtet, dass bei ausreichend zur Verfügung stehender Rechenleistung beide Einheiten unabhängig voneinander zu demselben Ergebnis kommen können.
-
Da die erste Einheit und die zweite Einheit 22, 24 unterschiedliche Vor- und Nachteile haben, die sich unterschiedlich auf die benötigte Rechenleistung auswirken, weist die erfindungsgemäße Vorrichtung 10 Mittel auf, die es ermöglichen, zwischen der Verwendung der ersten Einheit 22 und der zweiten Einheit 24 zu wechseln. Dies ist in der 1 durch den doppelseitigen Pfeil 26 angedeutet. Dieser Wechsel kann einmalig für eine Auralisation erfolgen, aber auch in bevorzugten Ausführungsbeispielen dynamisch geschehen. Das heißt die Signalverarbeitungseinrichtung 20 ist dazu ausgebildet, anhand eines Prüfkriteriums zwischen der Verwendung der ersten Einheit 22 und der zweiten Einheit 24 zu wechseln.
-
Das Prüfkriterium kann von einer Vielzahl von Parametern abhängig sein, insbesondere der Effizienz der Auralisation mit der ersten bzw. der zweiten Einheit 22, 24. Die Möglichkeit zwischen der Anwendung der ersten Einheit 22 und der Anwendung der zweiten Einheit 22 zu wechseln, hat den Vorteil, dass in dynamischen Umgebungen die jeweils effizientere Berechnung der Auralisation in entweder der Frequenz- oder der Zeitdomäne durchgeführt wird, sodass insgesamt die Berechnung der Auralisation effizienter wird.
-
2 zeigt ein bevorzugtes Ausführungsbeispiel der neuen Vorrichtung 10 ebenfalls in einer schematischen Darstellung. Gleiche Bezugszeichen bezeichnen dabei gleiche Teile wie im Ausführungsbeispiel gemäß 1.
-
Wie im Ausführungsbeispiel gemäß 1 weist auch hier die neue Vorrichtung 10 einen Eingang 12 und einen Ausgang 16 auf. Der Eingang 12 ist in diesem Ausführungsbeispiel jedoch dazu ausgebildet, mehrere Eingangssignale 14a, 14b, 14c gleichzeitig aufzunehmen und einer Signalverarbeitungseinrichtung 20 zuzuführen. Ebenso ist der Ausgang 16 dazu ausgebildet, mehrere Ausgangssignale 18a, 18b, 18c bereitzustellen.
-
Es versteht sich, dass während hier drei Eingangssignale 14a, 14b, 14c und drei Ausgangssignale 18a, 18b, 18c gezeigt sind, in anderen Ausführungsbeispielen die Anzahl von Eingangssignalen und die Anzahl von Ausgangssignalen variieren können. Beispielsweise ist es denkbar, dass anhand eines Eingangssignals mehrere Auralisationen durchgeführt werden, um mehrere Ausgangssignale 18a, 18b, 18c bereitzustellen. Beispielsweise könnte bei einer Telefonkonferenz mit mehreren Teilnehmern für jeden Teilnehmer eine eigene Auralisation berechnet werden.
-
Die Auralisation selbst erfolgt auch in diesem Ausführungsbeispiel durch eine Signalverarbeitungseinrichtung 20. Die Signalverarbeitungseinrichtung 20 kann eine Einrichtung sein, wie sie im Zusammenhang mit dem Ausführungsbeispiel gemäß 1 beschrieben worden ist und umfasst mindestens eine erste Einheit 22 und eine zweite Einheit 24. Die erste Einheit 22 ist dazu ausgebildet die Eingangssignale 14a, 14b, 14c in der Zeitdomäne zu bearbeiten und die zweite Einheit 24 ist dazu ausgebildet, die Eingangssignale 14a, 14b, 14c in der Frequenzdomäne zu bearbeiten. Die zweite Einheit 24 weist dafür zumindest eine Komponente 28 auf, die ein oder mehrere Eingangssignale 14a, 14b, 14c in den Frequenzbereich transformiert, sowie eine zweite Komponente 30, die den umgekehrten Prozess durchführen kann.
-
Über einen „Umschalter“ 26 ist die Signalverarbeitungseinrichtung 20 dazu eingerichtet, zwischen der Verwendung der ersten Einheit 22 und der zweiten Einheit 24 zu wechseln. Insbesondere ist die Signalverarbeitungseinrichtung 20 dazu ausgebildet, die Auralisation eines Eingangssignals 14a, 14b, 14c ausschließlich mit der ersten Einheit 22 oder der zweiten Einheit 24 durchzuführen. Es versteht sich, dass in einem anderen Ausführungsbeispiel die Signalverarbeitungseinrichtung 20 auch so eingerichtet sein kann, dass auf ein erstes Eingangssignal 14a die erste Einheit 22 angewandt wird und auf ein zweites Eingangssignal 14b die zweite Einheit 24 angewandt wird. Dies erfolgt insbesondere, wenn in Abhängigkeit der Eingangssignale 14a, 14b die Auralisation durch die Signalverarbeitungseinrichtung 20 insgesamt effizienter ist, als wenn die Auralisation der jeweiligen Signale mit der ersten oder alternativ mit der zweiten Einheit durchgeführt wird.
-
In den hier dargestellten Ausführungsbeispielen können die erste Einheit 22 und die zweite Einheit 24 zumindest für eine definierte Zeitspanne gleichzeitig angewandt werden. Insbesondere kann auch ein einzelnes Eingangssignal 14a in dieser definierten Zeitspanne gleichzeitig durch die erste Einheit 22 und die zweite Einheit 24 transformiert werden. Dies hat den Vorteil, dass auf diese Weise bestimmt werden kann, ob eine Auralisation mit der ersten Einheit 22 oder mit der zweiten Einheit 24 effizienter ist. Hierzu weist die Vorrichtung in diesem Ausführungsbeispiel eine Prüfeinrichtung 32 auf, die anhand verschiedener Kriterien die Auralisation der einzelnen Einheiten 22, 24 bewertet und in Abhängigkeit dieser Bewertung den „Umschalter“ 26 bedient. Mit anderen Worten ist die Signalverarbeitungseinrichtung 20 dazu ausgebildet, in Abhängigkeit der Effizienz der Auralisation der ersten Einheit 22 und der zweiten Einheit 24 zwischen den beiden Einheiten 22, 24 auszuwählen.
-
Vorzugsweise stellen somit die erste Einheit 22 und die zweite Einheit 24 für eine definierte Zeitspanne je ein Zwischensignal bereit, anhand dessen die Prüfeinrichtung 32 die Bewertung vornehmen kann. Über einen Mischer 34 kann zwischen beiden Berechnungen übergeblendet werden. Das heißt der Mischer 34 ermöglicht es, dass ohne Unterbrechung zwischen der Verwendung der ersten oder zweiten Einheit 22, 24 umgeschaltet werden kann und somit ein kontinuierliches Ausgangssignal entsteht. Ist das Überblenden beendet, wird die Berechnung vorzugsweise in der ursprünglichen Domäne beendet und nur noch in der Domäne, in welche die Berechnung umgeschaltet worden ist, weiter betrieben. Es versteht sich, dass diese Umschaltung für die gesamte Auralisation geschehen kann oder nur für bestimmte Teile.
-
Das bevorzugte Ausführungsbeispiel gemäß 2 weist darüber hinaus einen weiteren Eingang 36 auf, über den eine akustische Szenenbeschreibung 38 aufgenommen werden kann. Die akustische Szenenbeschreibung 38 umfasst die Parameter, um die erste Einheit 22 und die zweite Einheit 24 auf eine vorgegebene akustische Situation einzustellen. Die akustische Szenenbeschreibung 38 ist dabei ebenfalls dynamisch und kann das Prüfkriterium, welches ein Umschalten zwischen der ersten Einheit 22 und der zweiten Einheit 24 bewirkt, kontinuierlich beeinflussen. Die akustische Szenenbeschreibung 38 umfasst dabei insbesondere die Modellierungsparameter für die Schallquellen, beispielsweise deren Position und Ausrichtung, Informationen zu den Empfängern sowie die bekannten Parameter der Raumakustik. Über den weiteren Eingang 36 und die akustische Szenenbeschreibung 38 kann das System somit dynamisch auf Veränderungen reagieren und die Berechnung der Auralisation entsprechend optimieren.
-
Es versteht sich, dass die vorstehend genannten Komponenten der neuen Vorrichtung nicht ausschließlich in Hardware realisiert sein müssen, sondern auch überwiegend in Software realisiert sein können. Das heißt, dass insbesondere die erste Einheit 22 und die zweite Einheit 24 jeweils ein Satz von Softwarekomponenten sein können, die auf einer gemeinsamen Hardware oder aber auch auf getrennter Hardware ausgeführt werden. Ebenso ist das Umschalten durch den „Umschalter“ 26 nicht zwangsläufig als physikalisches Umschalten zu verstehen, sondern kann vielmehr auch das Laden und Entladen von Softwaremodulen beinhalten. Alternativ ist es grundsätzlich jedoch möglich, dass eine erfindungsgemäße Realisierung auch mit analogen Komponenten erfolgt, zwischen denen hardwaremäßig umgeschaltet wird. Eine Realisierung in Software hat grundsätzlich den Vorteil, dass diese flexibler angepasst werden kann.
-
Ebenso ist es denkbar, dass die erste und zweite Einheit aus einer Kombination aus Software- und Hardwarekomponenten zusammengesetzt ist, die für sich genommen einzelne Einheiten bilden. Hierbei kann es sich auch um bereits bekannte Einrichtungen zur Auralisation handeln, die über das erfindungsgemäße Verfahren miteinander verknüpft werden.
-
Das erfindungsgemäß Verfahren wird im folgenden Anhang der Fig. 3 näher erläutert. Wie in der 3 angedeutet, ist das erfindungsgemäße Verfahren ein dreistufiges Verfahren. In einem ersten Schritt 100 wird ein Eingangssignal zur weiteren Verarbeitung aufgenommen. Im Schritt 102 erfolgt die Auralisation dieses Eingangssignals mit mindestens einem Filter in der Zeit- oder Frequenzdomäne. Abschließend wird im Schritt 104 das auralisierte Ausgangssignal ausgegeben.
-
Der erfindungswesentliche Schritt 102 der Auralisation umfasst dabei die Auswahl, ob ein Eingangssignal in der Zeitdomäne beziehungsweise in der Frequenzdomäne bearbeitet werden soll. Vorzugsweise findet diese Auswahl dynamisch statt, sodass innerhalb des Schrittes 102 zwischen einer Auralisation in der Frequenz- bzw. Zeitdomäne gewechselt werden kann. Die Dynamik umfasst das Überwachen einer Reihe von Parametern, wie zum Beispiel die Latenzanforderungen, die Geschwindigkeit der Audioquellen und Audiosenken, die Geschwindigkeit von Rotationen von Quellen oder Senken, die Anzahl der Filter, wie viele Eingangssignale von den Filtern verwendet werden, wie viele Ausgangssignale berechnet werden sowie die Auslastung des Systems und weitere Parameter.
-
Erfolgt ein Wechsel von der Frequenzdomäne in die Zeitdomäne oder umgekehrt startet die Berechnung der Auralisation in der jeweiligen anderen Domäne, vorzugsweise parallel, sodass während einer gewissen Zeit die Auralisation in beiden Domänen durchgeführt wird. Zwischen beiden Berechnungen wird dann vorzugsweise durch einen Mischer übergeblendet, wobei nach Abschluss des Überblendens die Berechnung in der bisherigen Domäne beendet wird. Es versteht sich, dass das Verfahren weitere Zwischenschritte aufweisen kann, die sich aus der Ausgestaltung der ausführenden Vorrichtung ergeben.
-
Die Zustände, in welchen sich ein bevorzugtes Ausführungsbeispiel der neuen Erfindung befinden kann, werden im Folgenden mit Bezug auf Fig. 4 näher erläutert.
-
4 zeigt ein Zustandsübergangsdiagramm eines bevorzugten Ausführungsbeispiels der neuen Vorrichtung. In der vereinfachten Darstellung kann die neue Vorrichtung einen ersten Zustand 200 und einen zweiten Zustand 202 einnehmen. Der erste Zustand 202 beschreibt dabei den Normalzustand des Systems. In diesem Zustand führt die neue Vorrichtung die Auralisation eines Eingangssignals in entweder der Zeit- oder der Frequenzdomäne durch. Mit anderen Worten im Zustand 200 erfolgt die Auralisation durch die erste Einheit oder die zweite Einheit.
-
Der zweite Zustand 202 beschreibt den Zustand der Vorrichtung während eines Wechsels zwischen der ersten und der zweiten Einheit. Im Zustand 202 erfolgt die Auralisation sowohl in der Zeit- als auch in der Frequenzdomäne. Das heißt im Zustand 202 sind sowohl die erste Einheit als auch die zweite Einheit aktiv und berechnen jeweils ein auralisiertes Zwischensignal, welches zum Ausgangssignal zusammengemischt wird.
-
Zwischen den beiden Zuständen 200, 202 sind in diesen Ausführungsbeispielen drei Zustandsübergänge definiert.
-
Neben der Auralisation in einer einzelnen Domäne wird im Zustand 200 auch kontinuierlich überprüft, ob sich ein Parameter verändert hat, der die Effizienz der Berechnung der Auralisation in der jeweiligen Domäne beeinflussen könnte. Ist eine solche Änderung erfolgt, wird ferner überprüft, ob dabei ein definiertes Prüfkriterium eingetreten ist, beispielsweise in Form eines Überschreitens eines Schwellwertes. Wird festgestellt, dass dies nicht der Fall ist, erfolgt der Zustandsübergang 204, wonach das System im Zustand 200 verbleibt.
-
Ist das Prüfkriterium hingegen erfüllt, also hier der Schwellwert überschritten, erfolgt der Zustandsübergang 206 zum zweiten Zustand 202, in dem beide Auralisationen gleichzeitig vorgenommen werden.
-
Im Zustand 202 wird überprüft, welche der beiden Auralisationen effektiver ist. Nach Ablauf einer definierten Zeitspanne erfolgt dann Zustandsübergang 208, wonach eine Auralisation in einer Domäne ausgewählt wird und das System mit nur dieser ausgewählten Auralisation fortsetzt. Es versteht sich, dass die vorstehend gezeigten Zustände und Zustandsübergänge nur ein bevorzugtes Ausführungsbeispiel der neuen Vorrichtung und des neuen Verfahrens repräsentieren und dass andere Zustandsautomaten mit komplexeren Zuständen und Zustandsübergängen ebenfalls denkbar sind.
-
Insgesamt ermöglichen das neue Verfahren und die entsprechende Vorrichtung eine effiziente Berechnung einer Auralisation, wobei vorteilhaft auf bestehende Ansätze, Verfahren und Vorrichtungen zur Auralisation zurückgegriffen werden kann.
