EP3275212B1

EP3275212B1 - Verfahren zur analyse und dekomposition von stereoaudiosignalen

Info

Publication number: EP3275212B1
Application number: EP16713352.9A
Authority: EP
Inventors: Sebastian Kraft; Marco Fink; Martin MIETH; Udo Zölzer
Original assignee: Hamburg Innovation GmbH; Helmut Schmidt Universitaet
Current assignee: Hamburg Innovation GmbH; Helmut Schmidt Universitaet
Priority date: 2015-03-27
Filing date: 2016-03-21
Publication date: 2019-06-26
Anticipated expiration: 2036-03-21
Also published as: DE102015104699A1; EP3275212A1; WO2016156091A1; US20180084360A1; US10284988B2

Description

Die Erfindung betrifft ein Verfahren zur Analyse und Dekomposition eines Stereo-Audiosignals sowie ein Verfahren zum Erzeugen eines Mehrkanalaudiosignals.

Stand der Technik

Mit der Aufzeichnung eines Stereoaudiosignals, wobei in der Regel ein erstes Audiosignal für eine linke Wiedergabeeinrichtung und ein zweites Audiosignal für eine rechte Wiedergabeeinrichtung verwendet wird, lässt sich der Eindruck erzeugen, dass Phantomschallquellen auf einen Hörbereich zwischen dem Hörer und den beiden Wiedergabeeinrichtungen verteilt sind.
Dabei liefert der Pegelunterschied zwischen dem ersten und dem zweiten Audiosignal primär die Information, aus welcher azimutalen Richtung relativ zum Hörer der Schall zu kommen scheint. Diese Information ist lediglich eindimensional und kann daher naturgemäß keine realistische Reproduktion von Räumlichkeit herstellen. Zudem ist der Azimutwinkel der möglichen Positionierung von Phantomschallquellen auf den Bereich beschränkt, der durch eine erste Verbindungsstrecke zwischen dem Hörer und der linken Wiedergabeeinrichtung und durch eine zweite Verbindungsstrecke zwischen dem Hörer und der rechten Wiedergabeeinrichtung aufgespannt wird. Des Weiteren ist es nur mit zwei Wiedergabeeinrichtungen nicht möglich Räumlichkeit zu simulieren, da hierfür der Schall aus allen Raumrichtungen abgestrahlt und auf den Hörer treffen müsste.
Mehrkanalaudiosysteme mit beispielsweise fünf oder sieben Wiedergabeeinrichtungen vermitteln dem Hörer daher einen deutlich detaillierteren räumlichen Eindruck. Dieser Zusatznutzen liegt jedoch im Wesentlichen brach, wenn die Aufnahme nur als Stereoaudiosignal zur Verfügung steht.
Aus der DE 10 2012 017 296 B4 ist ein Verfahren zum Erzeugen eines Mehrkanalaudiosignals aus einem Stereoaudiosignal bekannt. Damit lassen sich gerichtete Direktschallanteile und diffuse Umgebungsschallanteile in einem Stereoaudiosignal trennen sowie die Richtungsinformation der Direktschallanteile bestimmen, um anschließend alle Signalbestandteile auf einer Mehrkanalwiedergabeeinrichtung abzuspielen. Allerdings ist dieses Verfahren sehr rechenaufwändig.
Die WO 2010/028 784 A1 offenbart ein weiteres Verfahren zur Zerlegung eines Stereoaudiosignals in einen diffusen Umgebungsschallanteil einerseits und in gerichtete Direktschallanteile andererseits, wobei auch die Richtungen geschätzt werden, aus denen die Direktschallanteile zu kommen scheinen.

Aufgabe und Lösung

Aufgabe der vorliegenden Erfindung ist daher, bei gleichbleibender oder besserer Klangqualität die in einem Stereoaudiosignal enthaltene räumliche Information über die Anordnung der Schallquellen mit einem geringeren Rechenaufwand zu rekonstruieren.
Diese Aufgabe wird erfindungsgemäß gelöst durch Verfahren zur Analyse gemäß Haupt- und Nebenanspruch sowie durch ein Verfahren zum Erzeugen eines Mehrkanalaudiosignals gemäß weiterem Nebenanspruch. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den daraus rückbezogenen Unteransprüchen.

Gegenstand der Erfindung

Im Rahmen der Erfindung wurde ein Verfahren zur Analyse und Dekomposition eines Stereoaudiosignals entwickelt. Dieses Stereoaudiosignal weist ein erstes Audiosignal für eine linke Wiedergabeeinrichtung und ein zweites Audiosignal für eine rechte Wiedergabeeinrichtung auf.
Erfindungsgemäß sieht das Verfahren folgende Schritte vor:
Zunächst wird das erste Audiosignal in eine erste Zeit-Frequenz-Darstellung überführt. Das zweite Audiosignal wird in eine zweite Zeit-Frequenz-Darstellung überführt. Die Überführung der Audiosignale in die Zeit-Frequenz-Darstellung kann mit beliebigen Verfahren erfolgen. Bevorzugt wird die Kurzzeit-Fourier-Transformation (STFT) verwendet.
Nun wird eine erste Gleichung aufgestellt, die die erste Zeit-Frequenz-Darstellung in Beziehung setzt zum Produkt eines ersten zeit- und frequenzabhängigen Panning-Koeffizienten mit dem zeit- und frequenzabhängigen Signal einer in einem Hörbereich zwischen der linken Wiedergabeeinrichtung und der rechten Wiedergabeeinrichtung angeordneten Direktschallquelle. Es wird eine zweite Gleichung aufgestellt, die die zweite Zeit-Frequenz-Darstellung in Beziehung setzt zum Produkt eines zweiten zeit- und frequenzabhängigen Panning-Koeffizienten mit dem gleichen Signal der gleichen Direktschallquelle. Dabei sind die Panning-Koeffizienten dazu ausgebildet, die Direktschallquelle in dem Hörbereich zu positionieren.
Es werden nun die Panning-Koeffizienten und/oder ein Positionskoeffizient, der der Differenz der Quadrate der Panning-Koeffizienten entspricht, als Lösungen des aus beiden Gleichungen gebildeten Gleichungssystems ermittelt. Zu dem Stereoaudiosignal hat in der Regel eine Vielzahl unabhängiger Schallquellen beigetragen. Derjenige Anteil des ersten und des zweiten Audiosignals, der dem Richtungshören zugänglich ist, setzt sich also aus Beiträgen dieser einzelnen Schallquellen zusammen. Jeder dieser einzelnen Beiträge ist das Produkt einer zeit- und frequenzabhängigen komplexen Amplitude und eines Panning-Koeffizienten, der von der Positionierung der Schallquelle relativ zum Hörer abhängt. Das linke und das rechte Audiosignal sind, wenn man jeweils von Umgebungssignalen absieht, jeweils Summen über solche Einzelbeiträge. Da die Umgebungssignale diffus, über alle Raumrichtungen gleichverteilt und außerdem klein gegenüber dem Direktsignal sind, können sie in dem Gleichungssystem für die Ermittlung der Panning-Koeffizienten unberücksichtigt bleiben. Das Gleichungssystem wird dadurch deutlich einfacher lösbar.
Bei der Aufstellung des Gleichungssystems wird die vereinfachende Annahme gemacht, dass alle gleichzeitig aktiven Schallquellen zu einer einzigen Schallquelle mit zeit- und frequenzabhängiger komplexer Amplitude zusammengefasst werden können. Dies ist möglich, da bei einer ausreichend großen Zeit-Frequenz-Auflösung der Zeit-Frequenz-Darstellung davon auszugehen ist, dass zu einem bestimmten Zeitpunkt und in einem bestimmten Frequenzband nur eine einzige dominante Schallquelle existiert.
Dabei ist die komplexe Amplitude dieser zusammengefassten Schallquelle richtungsunabhängig. Die Richtungsabhängigkeit steckt allein in den Panning-Koeffizienten. Durch die Zusammenfassung der einzelnen Schallquellen lassen sich nun der erste und der zweite Panning-Koeffizient jeder Schallquelle zu einem Paar zeit- und frequenzabhängiger Panning-Koeffizienten für die zusammengefasste Schallquelle vereinen.
Unter der Annahme, dass der erste und der zweite Panning-Koeffizient miteinander verknüpft sind, lässt sich das Gleichungssystem mathematisch umformen, und die Panning-Koeffizienten lassen sich aus dem ersten und zweiten Kanal des Stereosignals ermitteln. Die Verknüpfung zwischen den beiden Panning-Koeffizienten ermöglicht es, das Gleichungssystem durch einfaches mathematisches Umformen zu lösen und für die Panning-Koeffizienten eine geschlossene Formel in den Zeit-Frequenz-Darstellungen des linken und des rechten Audiosignals anzugeben. Im laufenden Betrieb des Verfahrens sind Lösungen des Gleichungssystems also besonders schnell durch Einsetzen der Zeit-Frequenz-Darstellungen in die geschlossene Formel erhältlich.
Das Gleichungssystem wird unter der zusätzlichen Bedingung gelöst, dass die Summe der Quadrate der Panning-Koeffizienten konstant ist. Die Summe dieser Quadrate ist bei dem in der Musikproduktion üblicherweise verwendeten Constant-Power-Panning gleich 1. Diese führt dazu, dass die Schallquelle unabhängig von ihrer Position im Hörbereich gleich laut wahrgenommen wird.
Die Panning-Koeffizienten enthalten die vollständige Information, auf welcher Frequenz das Signal zu welcher Zeit von welchem Ort im Hörbereich zu kommen scheint.
Da sich die einzelnen Schallquellen inkohärent überlagern und die Aufnahme des Stereoaudiosignals ebenfalls inkohärent erfolgt, ändert eine unterschiedliche Positionierung der Schallquellen im Hörbereich nur die Amplitude des aufgenommenen Stereoaudiosignals, nicht jedoch dessen Phase. Daher sind auch die Zeit-Frequenz-Darstellungen des ersten und zweiten Audiosignals in Phase mit der zeit- und frequenzabhängigen komplexen Amplitude der Direktschallquelle. Damit kürzen sich die Phasenterme aus dem beschriebenen Gleichungssystem und nach umstellen ergibt sich der erste Panning-Koeffizient als Wurzel aus dem Verhältnis des Betragsquadrats der Zeit-Frequenz-Darstellung des ersten Audiosignals (Zähler) und der Summe der Betragsquadrate der Zeit-Frequenz-Darstellung des ersten und zweiten Audiosignals (Nenner). Analog ergibt sich der zweite Panning-Koeffizient als Wurzel aus dem Verhältnis des Betragsquadrats der Zeit-Frequenz-Darstellung des zweiten Audiosignals (Zähler) und der Summe der Betragsquadrate der Zeit-Frequenz-Darstellung des ersten und zweiten Audiosignals (Nenner).
Der Positionskoeffizient wird aus dem Verhältnis der Differenz der Betragsquadrate beider Zeit-Frequenz-Darstellungen zur Summe der Betragsquadrate beider Zeit-Frequenz-Darstellungen ermittelt.
Eine alternative Ausgestaltung der Erfindung startet ebenfalls von einem ersten Audiosignal für eine linke Wiedergabeeinrichtung und einem zweiten Audiosignal für eine rechte Wiedergabeeinrichtung. Das erste Audiosignal wird in eine erste Zeit-Frequenz-Darstellung überführt, und das zweite Audiosignal wird in eine zweite Zeit-frequenz-Darstellung überführt.
In dieser Ausgestaltung wird aus der ersten Zeit-Frequenz-Darstellung die zeit- und frequenzabhängige Leistung des ersten Audiosignals ermittelt, und aus der zweiten Zeit-Frequenz-Darstellung wird die zeit- und frequenzabhängige Leistung des zweiten Audiosignals ermittelt. Dementsprechend werden auch die Gleichungen für die Panning-Koeffizienten abgeändert.
Es wird eine erste Gleichung aufgestellt, die die zeit- und frequenzabhängige Leistung des ersten Audiosignals in Beziehung setzt zum Produkt des Quadrats eines ersten zeit- und frequenzabhängigen Panning-Koeffizienten mit der zeit- und frequenzabhängigen Leistung einer in einem Hörbereich zwischen der linken Wiedergabeeinrichtung und der rechten Wiedergabeeinrichtung angeordneten Direktschallquelle.
Es wird eine zweite Gleichung aufgestellt, die die zeit- und frequenzabhängige Leistung des zweiten Audiosignals in Beziehung setzt zum Produkt des Quadrats eines zweiten zeit- und frequenzabhängigen Panning-Koeffizienten mit der gleichen zeit- und frequenzabhängigen Leistung der gleichen Direktschallquelle.
Analog zu dem oben beschriebenen ersten Ansatz für das Gleichungssystem, in dem die Gleichungen die Zeit-Frequenz-Darstellungen mit dem Signal der Direktschallquelle verknüpfen, sind die Panning-Koeffizienten dazu ausgebildet, die Direktschallquelle in dem Hörbereich zu positionieren. Die Panning-Koeffizienten, und/oder ein Positionskoeffizient, der dem Verhältnis einer Differenz der Panning-Koeffizienten zur Summe der Panning-Koeffizienten entspricht, werden als Lösungen des aus beiden Gleichungen gebildeten Gleichungssystems ermittelt.
Die Aufstellung des Gleichungssystems in Leistungen, statt direkt in Zeit-Frequenz-Darstellungen und Signal der Direktschallquelle, ist dadurch motiviert, dass das Panning ein reines Amplitudenpanning ist. Folglich sind beide Audiosignale in Phase mit dem Signal der Direktschallquelle. Wenn die Zeit-Frequenz-Darstellungen beispielsweise mit einer Kurzzeit-Fourier-Transformation (STFT) gewonnen wurden, lässt sich eine Leistung unmittelbar als Betragsquadrat des zugehörigen Leistungsdichtespektrums ausdrücken. Der Ansatz über die Leistungen ist dann äquivalent zum Ansatz über die Zeit-Frequenz-Darstellungen und das Signal der Direktschallquelle.
Der Ansatz über die Leistungen bietet jedoch den zusätzlichen Vorteil, dass er allgemeiner ist. Er ist auch dann anwendbar, wenn keine 1:1-Transformation der zeitabhängigen Audiosignale in einen Frequenzbereich vorliegt, sondern lediglich eine Aufspaltung dieser Audiosignale in mehrere zeitabhängige Signale, die zu den Beiträgen bestimmter Frequenzbänder korrespondieren. Eine solche Aufspaltung kann beispielsweise mit einer Filterbank hergestellt werden. Eine Filterbank enthält typischerweise mehrere parallel geschaltete Bandpassfilter, die jeweils den Anteil des Signals, der in einen bestimmtes Frequenzband fällt, passieren lassen. Das Signal am Ausgang eines jeden dieser Bandpassfilter ist ein zeitabhängiges Signal. Die Gesamtheit aller dieser Signale bildet zusammen mit der Information, zu welchem Frequenzband ein jedes Signal korrespondiert, eine Zeit-Frequenz-Darstellung.
Eine derartige Zeit-Frequenz-Darstellung kann auf diese Weise zum Einen schneller und einfacher erhalten werden als mit der Kurzzeit-Fourier-Transformation (STFT). Beispielsweise können Bandpassfilter niedriger Ordnung und mit geringer Gruppenlaufzeit verwendet werden. Zum Anderen erleichtert eine derartige Zeit-Frequenz-Darstellung auch die frequenzabhängige Bearbeitung des Signals. Beispielsweise lässt sich die Frequenzauflösung variieren, indem ein weniger interessierender Frequenzbereich mit einem breiten Bandpassfilter abgedeckt wird, während ein besonders interessierender Frequenzbereich mit vielen schmalen Bandpassfiltern abgedeckt wird. Demgegenüber ist bei der Kurzzeit-Fourier-Transformation die Frequenzauflösung immer ein äquidistantes Raster.
Es ist nicht erforderlich, dass eine geschlossene Formel für die Berechnung der jeweiligen zeit- und frequenzabhängigen Leistung aus den Zeit-Frequenz-Darstellungen der beiden Audiosignale existiert. Es ist beispielsweise auch möglich, diese Leistung auf numerischem Wege näherungsweise zu ermitteln. Beispielsweise kann die zeit- und frequenzabhängige Leistung mindestens eines Audiosignals zu einem interessierenden Zeitpunkt als gewichtete Summe aus der zeit- und frequenzabhängigen Leistung des Audiosignals zu einem früheren Zeitpunkt und dem Quadrat der Zeit-Frequenz-Darstellung dieses Audiosignals zu dem interessierenden Zeitpunkt ermittelt werden. Ist die Zeit in der Zeit-Frequenz-Darstellung beispielsweise diskretisiert, so kann der frühere Zeitpunkt insbesondere eine diskrete Zeiteinheit vor dem interessierenden Zeitpunkt liegen. Die momentane Leistung eines Audiosignals kann also beispielsweise über eine rekursive Mittelung aus der Zeit-Frequenz-Darstellung ermittelt werden.
Das Gleichungssystem wird unter der zusätzlichen Bedingung gelöst, dass die Summe der Quadrate der Panning-Koeffizienten konstant ist, wobei der Positionskoeffizient aus dem Verhältnis der Differenz der Wurzeln der zeit- und frequenzabhängigen Leistungen beider Audiosignale zur Summe der Wurzeln der zeit- und frequenzabhängigen Leistungen beider Audiosignale ermittelt wird.
Das Auflösen des Gleichungssystems zu den Panning-Koeffizienten erfolgt in völlig analoger Weise zum Ansatz über die Zeit-Frequenz-Darstellungen und das Signal der Direktschallquelle. Die Panning-Koeffizienten und ggfs. der Positions-Koeffizient sind lediglich durch andere Größen ausgedrückt.
Vorteilhaft wird daher der erste Panning-Koeffizient als Wurzel aus dem Verhältnis der zeit- und frequenzabhängigen Leistung des ersten Audiosignals zur Summe der zeit- und frequenzabhängigen Leistungen beider Audiosignale ermittelt. Der zweite Panning-Koeffizient wird dementsprechend als Wurzel aus dem Verhältnis der zeit- und frequenzabhängigen Leistung des zweiten Audiosignals zur Summe der zeit- und frequenzabhängigen Leistungen beider Audiosignale ermittelt.
Vorteilhaft wird die zeit- und frequenzabhängige Leistung mindestens eines Audiosignals zu einem interessierenden Zeitpunkt als gewichtete Summe aus der zeit- und frequenzabhängigen Leistung des Audiosignals zu einem früheren Zeitpunkt und dem Quadrat der Zeit-Frequenz-Darstellung dieses Audiosignals zu dem interessierenden Zeitpunkt ermittelt.
Im Allgemeinen wird das Stereoaudiosignal nicht nur einen richtungsabhängigen Direktsignalanteil enthalten. Stattdessen werden das erste und das zweite Audiosignal jeweils mit einem diffusen Umgebungssignal überlagert sein. Daher werden in einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung aus den Panning-Koeffizienten das Signal der Direktschallquelle (Direktsignal) und/oder zwei nicht richtungsabhängige, d.h. nicht mit der Direktschallquelle korrelierte, Umgebungssignale ermittelt. Dabei ist das erste Umgebungssignal nur in der Zeit-Frequenz-Darstellung des ersten Audiosignals enthalten, und das zweite Umgebungssignal ist nur in der Zeit-Frequenz-Darstellung des zweiten Audiosignals enthalten. Das Hörerlebnis wird genauer reproduziert, wenn nur das Direktsignal mit Hilfe der Panning-Koeffizienten in gerichteter Form wiedergegeben wird. Das diffuse Umgebungssignal sollte auch diffus wiedergegeben werden.
Vorteilhaft werden das Direktsignal und die Umgebungssignale mit einem iterativen Verfahren bestimmt ausgehend von einer Iterationsvorschrift, die das Direktsignal einer jeder Iteration, und/oder einen Beitrag zu diesem Signal, in Beziehung setzt zu den Umgebungssignalen der vorherigen Iteration. Beispielsweise kann in jeder Iteration die Lautstärke eines Beitrags zum Direktsignal als arithmetisches Mittel der Lautstärken beider Umgebungssignale der vorherigen Iteration festgelegt werden. Dies geht von der Annahme aus, dass das Direktsignal im ersten und zweiten Audiosignal mit gleicher Phase vorliegt und die Umgebungssignale dazu Phasenverschoben sind.
Die Näherung kann verfeinert werden, indem bei jeder Iteration die Panning-Koeffizienten aus den Umgebungssignalen der vorherigen Iterationen neu berechnet werden. Hierfür können beispielsweise die Umgebungssignale der vorherigen Iteration als Zeit-Frequenz-Darstellungen eines linken und eines rechten Audiosignals gewertet werden, so dass die Panning-Koeffizienten wie zuvor beschrieben durch Lösen eines Gleichungssystems berechnet werden können.
Vorteilhaft wird dann das erste Umgebungssignal bei jeder Iteration um einen Betrag korrigiert, der das Produkt aus dem neu berechneten ersten Panning-Koeffizienten mit dem Direktsignal, oder mit dem Signalbeitrag, gemäß der aktuellen Iteration ist. Analog wird das zweite Umgebungssignal bei jeder Iteration um einen Betrag korrigiert, der das Produkt aus dem neu berechneten zweiten Panning-Koeffizienten mit dem Direktsignal, oder mit dem Signalbeitrag, gemäß der aktuellen Iteration ist. Der Hintergedanke ist hierbei, dass die Lösung selbstkonsistent sein soll: Ein Signal, das sich im Nachhinein als mit dem Signal der Direktschallquelle korreliert und somit als Teil des Direktsignals erweist, kann offensichtlich nicht zum diffusen Umgebungssignal zählen.
Nach Durchlauf aller Iterationen ergibt sich das gesamte Direktsignal als Summe der in allen einzelnen Iterationen ermittelten Signalbeiträge. Da sowohl die iterativ berechneten Panning-Koeffizienten als auch das iterativ bestimmte Direktsignal nur jeweils Schätzungen sind, ist nicht garantiert, dass die Summe aus dem mit dem ersten Panning-Koeffizienten gewichteten Direktsignal und dem ersten Umgebungssignal genau den Wert der Zeit-Frequenz-Darstellung des ersten Audiosignals entspricht. Analog kann nicht garantiert werden, dass die Summe aus dem mit dem zweiten Panning-Koeffizienten gewichteten Direktsignal und dem zweiten Umgebungssignal genau den Wert der Zeit-Frequenz-Darstellung des zweiten Audiosignals reproduziert. Das Direktsignal und die Umgebungssignale gehorchen zusammen also nicht notwendigerweise dem Signalmodell, das der Aufteilung der Zeit-Frequenz-Darstellungen des ersten und des zweiten Audiosignals in jeweils einen gerichteten und einen diffusen Anteil zu Grunde lag. Daher ist es vorteilhaft, nicht unmittelbar die in der letzten Iteration ermittelten Umgebungssignale weiterzuverwenden, sondern das erste Umgebungssignal als Differenz aus der ersten Zeit-Frequenz-Darstellung und dem mit dem ersten Panning-Koeffizienten gemäß der ersten Iteration gewichteten Direktsignal zu ermitteln. Analog sollte das zweite Umgebungssignal als Differenz zwischen der zweiten Zeit-Frequenz-Darstellung und dem mit dem zweiten Panning-Koeffizienten gemäß der ersten Iteration gewichteten Direktsignal ermittelt werden.
Ein weiterer vorteilhafter Ansatz für die Ermittlung der nicht mit der Direktschallquelle korrelierten Umgebungssignale geht von der Annahme aus, dass beide Umgebungssignale zwar ähnlich klingen, aber durch unterschiedliche Ausbreitungswege und Reflexionen dekorreliert sind.
Es wird eine erste Gleichung aufgestellt, die die erste Zeit-Frequenz-Darstellung in Beziehung setzt zur Summe aus dem Produkt des ersten Panning-Koeffizienten mit dem zeit- und frequenzabhängigen Signal der Direktschallquelle sowie aus der Filterung eines einzigen gemeinsamen Umgebungssignals mit einer ersten Dekorrelationsfunktion.
Es wird eine zweite Gleichung aufgestellt, die die zweite Zeit-Frequenz-Darstellung in Beziehung setzt zur Summe aus dem Produkt des zweiten Panning-Koeffizienten mit dem zeit- und frequenzabhängigen Signal der Direktschallquelle sowie aus der Filterung des gemeinsamen Umgebungssignals mit einer zweiten Dekorrelationsfunktion.
Dabei kann die Filterung eines Signals mit einer Dekorrelationsfunktion beispielsweise durch eine Faltung des Signals mit der Dekorrelationsfunktion realisiert sein.
Das zeit- und frequenzabhängige Signal der Direktschallquelle, und/oder das gemeinsame Umgebungssignal, werden als Lösungen des aus den beiden Gleichungen gebildeten Gleichungssystems ermittelt.
Die Dekorrelationsfunktionen können mit verschiedenen nach Stand der Technik bekannten Verfahren initialisiert werden, um realistisch klingende dekorrelierte Signale zu erhalten. Typischerweise werden dazu die Funktionen so erzeugt, dass sich zufällige Frequenzgänge ergeben.
In einer Zeit-Frequenz-Darstellung lässt sich eine Filterung, und hier insbesondere eine Faltung, näherungsweise als frequenzbandweise Multiplikation mit der Dekorrelationsfunktion ausdrücken. Hierin kann die Dekorrelationsfunktion beispielsweise pro Frequenzband durch einen Verstärkungsfaktor und eine Phasendrehung repräsentiert werden.
Vorteilhaft wird somit das zeit- und frequenzabhängige Signal der Direktschallquelle als Differenz zwischen dem frequenzbandweisen Produkt der ersten Zeit-Frequenz-Darstellung mit der zweiten Dekorrelationsfunktion und dem frequenzbandweisen Produkt der zweiten Zeit-Frequenz-Darstellung mit der ersten Dekorrelationsfunktion, dividiert durch die Differenz zwischen dem frequenzbandweisen Produkt des ersten Panning-Koeffizienten mit der zweiten Dekorrelationsfunktion und dem frequenzbandweisen Produkt des zweiten Panning-Koeffizienten mit der ersten Dekorrelationsfunktion, ermittelt.
Vorteilhaft wird somit das gemeinsame Umgebungssignal als Differenz zwischen dem Produkt der zweiten Zeit-Frequenz-Darstellung mit dem ersten Panning-Koeffizienten und dem Produkt der ersten Zeit-Frequenz-Darstellung mit dem zweiten Panning-Koeffizienten, dividiert durch die Differenz zwischen dem frequenzbandweisen Produkt des ersten Panning-Koeffizienten mit der zweiten Dekorrelationsfunktion und dem frequenzbandweisen Produkt des zweiten Panning-Koeffizienten mit der ersten Dekorrelationsfunktion, ermittelt.
Im Rahmen der Erfindung wurde auch ein Verfahren zum Erzeugen eines Mehrkanalaudiosignals aus einem Stereoaudiosignal entwickelt. Dabei weist das Stereoaudiosignal ein erstes Audiosignal für eine linke Wiedergabeeinrichtung und ein zweites Audiosignal für eine rechte Wiedergabeeinrichtung auf.
Erfindungsgemäß wird das Stereoaudiosignal zunächst mit einem Verfahren gemäß der Erfindung analysiert. Anschließend wird aus den Panning-Koeffizienten eine Mehrzahl von Repanning-Koeffizienten ermittelt, wobei jeder dieser Repanning-Koeffizienten einen Tonkanal einer Mehrzahl von Tonkanälen des Mehrkanalaudiosignals zugeordnet wird. Dabei sind die Repanning-Koeffizienten für die Mehrzahl von Tonkanälen ausgeführt, eine Direktschallquelle in einem Hörbereich zwischen einer Mehrzahl von Wiedergabeeinrichtungen für das Mehrkanalaudiosignal zu positionieren. Das Signal der Direktschallquelle (Direktsignal) wird nun mit einem ersten Repanning-Koeffizienten verrechnet und einem ersten Tonkanal zugeordnet. Es wird mit einem zweiten Repanning-Koeffizienten verrechnet und einem zweiten Tonkanal zugeordnet. Es wird schließlich auch mit einem dritten Repanning-Koeffizienten verrechnet und einem dritten Tonkanal zugeordnet. Diese Signale dieser drei Tonkanäle können entweder direkt wiedergegeben oder für eine spätere Wiedergabe bzw. Weiterverarbeitung gespeichert werden.
Vorteilhaft wird das erste Umgebungssignal dem ersten Tonkanal additiv hinzugefügt, und das zweite Umgebungssignal wird dem dritten Tonkanal additiv hinzugefügt.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird jeder Tonkanal in jeweils ein Wiedergabesignal des Mehrkanalaudiosignals überführt, wobei jedes Wiedergabesignal für jeweils eine Wiedergabeeinrichtung vorgesehen ist.
Die Ermittlung der Repanning-Koeffizienten stellt eine Umverteilung des richtungsabhängigen Direktsignals auf eine beliebige Lautsprecheranordnung dar. Das Umgebungssignal wird anschließend auf eine Auswahl von Lautsprechern additiv überlagert. Für das Repanning kann ein beliebiges Verfahren gemäß Stand der Technik verwendet werden, beispielsweise das Verfahren gemäß DE 10 2012 017 296 B4 oder auch das "vector base amplitude panning" gemäß (Ville Pulkki, "Virtual sound source positioning using vector based amplitude panning", Journal of the Audio Engineering Society, Vol. 45, Issue 6, pp. 456-466, June 1997).
In einer weiteren vorteilhaften Ausgestaltung der Erfindung lassen sich die extrahierten Direkt- und Umgebungsschallsignale nicht nur für die unmittelbare Wiedergabe des Stereo-Audiosignals als aufgewertetes Mehrkanalaudiosignal nutzen. Sie können beispielsweise für eine spätere Wiedergabe abgespeichert und/oder vor der Wiedergabe manipuliert werden, um das Hörerlebnis mit weiteren Effekten aufzuwerten.
Es wurde erkannt, dass bei der oben beschriebenen iterativen Berechnung des Direktsignals und der Umgebungssignale für eine gegen Unendlich strebende Iterationszahl beide Umgebungssignale gegen betragsmäßig gleiche Werte mit unterschiedlichen Vorzeichen streben. Sie sind also bis auf einen Phasenfaktor identisch. Mit dieser zusätzlichen Vereinfachung können das Direktsignal und die Umgebungssignale im laufenden Betrieb mit besonders wenig Rechenaufwand unmittelbar erhalten werden.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung wird somit das Signal der Direktschallquelle (Direktsignal) aus dem Verhältnis der Summe beider Zeit-Frequenz-Darstellungen der Audiosignale (Zähler) zur Summe beider Panning-Koeffizienten (Nenner) ermittelt wird. Weiterhin können auch die Umgebungssignale aus dem Verhältnis einer Differenz zwischen der Zeit-Frequenz-Darstellung des ersten Audiosignals, gewichtet mit dem zweiten Panning-Koeffizienten, und der Zeit-Frequenz-Darstellung des zweiten Audiosignals, gewichtet mit dem ersten Panning-Koeffizienten (Zähler), zur Summe beider Panning-Koeffizienten (Nenner) ermittelt werden.

Spezieller Beschreibungsteil

Nachfolgend wird der Gegenstand der Erfindung anhand von Figuren erläutert, ohne dass der Gegenstand der Erfindung hierdurch beschränkt wird. Es ist gezeigt:

Figur 1: Skizzenhafte Darstellung der vereinfachenden Annahme für die Ermittlung der Panning-Koeffizienten
Figur 2: Linearisierung der Azimut-Position durch Einführung des Positions-Koeffizienten Ψ
Figur 3: Repanning zwecks Wiedergabe als Mehrkanalaudiosignal
Figur 4: Zugang zu den Panning-Koeffizienten über Gleichungen in Leistungen
Figur 5: Bestimmung der Umgebungssignale und des Direktsignals aus den Panning-Koeffizienten über ein weiteres Gleichungssystem

Figur 1 verdeutlicht skizzenhaft die Annahme, deren Einführung die Bestimmung der Panning-Koeffizienten 310 (a_L(b,k)) und 320 (a_R(b,k)) deutlich vereinfacht. In Zeit-Frequenz-Darstellung wird die Zeit im Folgenden grundsätzlich als Blocknummer b des bei der Kurzzeit-Fourier-Transformation (STFT) erhaltenen Blocks angegeben. Das Frequenzband bzw. der Frequenzindex wird mit k indiziert.
Das Stereoaudiosignal umfasst ein erstes Audiosignal 110 für eine linke Wiedergabeeinrichtung 810 und ein zweites Audiosignal 120 für eine rechte Wiedergabeeinrichtung 820. Durch Kurzzeit-Fourier-Transformation (STFT) wird das erste Audiosignal 110 in seine Zeit-Frequenz-Darstellung 115 (X_L(b,k)) überführt. Ebenso wird das zweite Audiosignal 120 in seine Zeit-Frequenz-Darstellung 125 (X_R(b,k)) überführt.
Der Hörer ist an der Position 1 am Rand des Hörbereichs 890 angeordnet. Das durch den Hörer 1, die linke Wiedergabeeinrichtung 810 und die rechte Wiedergabeeinrichtung 820 definierte gleichseitige Dreieck trägt das Bezugszeichen 891 und ist in den kreisförmigen Hörbereich 890 einbeschrieben. Für die Ermittlung der Panning-Koeffizienten 310 und 320 wird nun gemäß der Erfindung angenommen, dass sich eine einzige Direktschallquelle 813, deren Lautstärke 330 in Abhängigkeit der Zeit b und der Frequenz k variiert, entlang des durchgezogenen Kreisbogens 892 am Rand des Hörbereichs 890 im Bereich zwischen der linken Wiedergabeeinrichtung 810 und der rechten Wiedergabeeinrichtung 820 bewegt. Diese Bewegung ist ebenfalls von der Zeit b und von der Frequenz k abhängig. Die aktuelle azimutale Position ϕ(b,k) der Direktschallquelle 813 auf dem Kreisbogen bestimmt die Panning-Koeffizienten 310 und 320. Die komplexe Amplitude 330 der Direktschallquelle 813 ergibt, wenn man sie multiplikativ mit den ersten Panning-Koeffizienten 310 gewichtet, die Zeit-Frequenz-Darstellung 115 des ersten Audiosignals 110. Wird die Signalstärke 330 dagegen mit dem zweiten Panning-Koeffizienten 320 multiplikativ gewichtet, erhält man die Zeit-Frequenz-Darstellung 125 des zweiten Audiosignals 120.
Figur 2 verdeutlicht den Zusammenhang zwischen dem ersten und zweiten Panning-Koeffizienten 310 und 320 einerseits und dem Positionskoeffizienten 390 (Ψ) andererseits. Aufgetragen ist jeweils der Wert dieser Koeffizienten über der Azimutposition ϕ von links L über Mitte M nach rechts R. Die Panning-Koeffizienten 310 und 320 verlaufen in Abhängigkeit der Azimut-Position ϕ nicht linear. Der Positionskoeffizient 390 hat demgegenüber den Vorteil, dass er von links L über Mitte M nach rechts R durchgehend linear verläuft.
Figur 3 verdeutlicht das Repanning zwecks Wiedergabe des Stereoaudiosignals als Mehrkanalaudiosignal. Das Signal 330 der Direktschallquelle wird mit Repanning-Koeffizienten 410 (g₁), 420 (g₂) und 430 (g₃) gewichtet auf Tonkanäle 580, 585 und 590 übertragen, die auf den drei Lautsprechern L, C und R wiedergegeben werden. In die Ermittlung der Repanning-Koeffizienten 410, 420 und 430 gehen die bei der Analyse des Stereosignals ermittelten Panning-Koeffizienten 310 und 320 ein. Die bei der Analyse weiterhin ermittelten Umgebungssignale 510 und 520 werden zum Einen den Tonkanälen 580 und 590 additiv überlagert. Zum Anderen werden sie auf zusätzlichen Lautsprechern RL und RR wiedergegeben. Alle Lautsprecher L, C, R, RL und RR sind auf einem Kreis K angeordnet, der gleichzeitig den Hörbereich 890 um den Hörer 1 definiert. Die Winkelpositionen der Lautsprecher L, C und R liegen jeweils um 30 Grad auseinander. Die Winkelpositionen der Lautsprecher RL und C bzw. RR und C liegen jeweils um 115 Grad auseinander.
Figur 4 verdeutlicht skizzenhaft den alternativen Zugang zu den Panning-Koeffizienten 310 und 320 über Gleichungen in Leistungen. Die beiden Audiosignale 110 und 120 werden in diesem Beispiel jeweils mit einer Filterbank 150 im Zeitbereich zerlegt. Die in Figur 4 beispielhaft gezeichnete Filterbank 150 enthält vier Bandpassfilter, die mit Bandindizes k=1, k=2, k=3 und k=4 gekennzeichnet sind. Der Filter mit Bandindex k=1 lässt nur Frequenzen ω mit 0<ω≤ω₁ passieren. Der Filter mit Bandindex k=2 lässt nur Frequenzen ω mit ω₁<ω≤ω₂ passieren. Der Filter mit Bandindex k=3 lässt nur Frequenzen ω mit ω₂<ω≤ω₃ passieren. Schließlich lässt der Filter mit Bandindex k=4 nur Frequenzen ω mit ω₃<ω≤ω₄ passieren.
Das Ausgangssignal eines jeden Filters ist nach wie vor ein zeitabhängiges Signal. In der Information, aus welchem Filter das Signal kommt, also zu welchem Bandindex k es gehört, steckt die Frequenzinformation. Alle Ausgangssignale x_L,R(b,k=1-4) bilden somit zusammen eine Zeit-Frequenz-Darstellung 115 bzw. 125 der Audiosignale 110 bzw. 120. Aus den Ausgangssignalen x_L,R(b,k=1-4) wird im Schritt 145 jeweils über eine rekursive Mittelung die zugehörige momentane Leistung P_L,R(b,k=1-4) ermittelt. Diese Funktionen bilden gemeinsam die mit dem Bezugszeichen 115a bzw. 125a bezeichnete zeit- und frequenzabhängige Leistung P_L,R(b,k) des linken Audiosignals 110 bzw. des rechten Audiosignals 120. Diese Leistung steht auf der linken Seite der Gleichung.
Auf der rechten Seite der Gleichung steht das Produkt aus dem Quadrat des mit dem Bezugszeichen 310 bzw. 320 bezeichneten Panning-Koeffizienten a_L,R(b,k) mit der Leistung P_s(b,k) (Bezugszeichen 330a) des gesuchten Direktsignals s(b,k) (Bezugszeichen 330).
Figur 5 ist an Figur 1 angelehnt und verdeutlicht skizzenhaft, wie aus den Panning-Koeffizienten 310 (a_L(b,k)) und 320 (a_R(b,k)) im nächsten Schritt das Direktsignal 330 (S(b,k)) sowie die beiden Umgebungssignale 510 (N_L(b,k)) und 520 (N_R(b,k)) ermittelt werden können. Die Zeit-Frequenz-Darstellung 115 (X_L(b,k)) des ersten Audiosignals 110 geht über eine erste Gleichung eindeutig aus dem gesuchten ersten Umgebungssignal 510, dem ebenfalls gesuchten Direktsignal 330 und dem bekannten ersten Panning-Koeffizienten 310 hervor. Ebenso geht die Zeit-Frequenz-Darstellung 125 (X_R(b,k)) des zweiten Audiosignals 120 über eine zweite Gleichung eindeutig aus dem gesuchten zweiten Umgebungssignal 520, dem gesuchten Direktsignal 330 und dem bekannten zweiten Panning-Koeffizienten 320 hervor. Diese beiden Gleichungen enthalten drei unbekannte Größen. Um eine eindeutige Lösung zu erhalten, wird eine der Unbekannten eliminiert.
Zu diesem Zweck wird ausgenutzt, dass beide Umgebungssignale 510 und 520 ähnlich klingen. Es wird daher angenommen, dass sie auf das gleiche gemeinsame Umgebungssignal 530 (N(b,k)) zurückgehen, welches lediglich mit zwei unterschiedlichen Dekorrelationsfunktionen 540 (H_L(k)) und 550 (H_R(k)) gefiltert wurde. Die Dekorrelationsfunktionen 540 und 550 sind zwar nicht bekannt, lassen sich aber nach Stand der Technik beispielsweise als Filterfunktionen mit zufälligem Frequenzgang darstellen. Diese Näherung ist ausreichend, um die beiden Gleichungen nach dem Direktsignal 330 und dem gemeinsamen Umgebungssignal 530 auflösen zu können.
Im Folgenden wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens mathematisch erläutert:
Der Verarbeitung liegt ein Signalmodell zu Grunde, welches das in einem Stereoaudiosignal enthaltene, an diskreten Zeitpunkten n aufgenommene erste Audiosignal 110 (x_L(n)) für die linke Wiedergabeeinrichtung 810 bzw. das zweite Audiosignal 120 (x_R(n)) für die rechte Wiedergabeeinrichtung 820 $x_{L} (n) = [\sum_{j = 1}^{J} a_{L, j} \cdot s_{j} (n)] + n_{L} (n) = a_{L, 1} \cdot s_{1} (n) + a_{L, 2} \cdot s_{2} (n) + \dots + n_{L} (n)$
$x_{R} (n) = [\sum_{j = 1}^{J} a_{R, j} \cdot s_{j} (n)] + n_{R} (n) = a_{R, 1} \cdot s_{1} (n) + a_{R, 2} \cdot s_{2} (n) + \dots + n_{R} (n)$
als die gewichtete Summe einzelner Quellsignale s_j(n) beschreibt, wobei j=1,...,J die einzelnen Schallquellen indiziert. Der linke Kanal x_L und der rechte Kanal x_R enthalten außerdem die jeweils nicht richtungsabhängigen, diffusen Umgebungssignale n_L(n) bzw. n_R(n). Die Panning-Koeffizienten a_L,j bzw. a_R,j geben jeweils eine richtungsabhängige Gewichtung an, mit der die nur von der Zeit abhängigen Quellsignale s_j(n) in das erste Audiosignal x_L bzw. in das zweite Audiosignal x_R eingehen.
Die Panning-Koeffizienten a_L,j und a_R,j können über die Beziehung $a_{L, j}^{2} + a_{R, j}^{2} = 1$
miteinander verknüpft werden, was dazu führt, dass unabhängig von der Position der einzelnen Quellen eine konstante Lautheit erzielt wird. Dies entspricht dem üblicherweise in der Musikproduktion verwendeten Constant-Power-Panning.
Die Signale können nun auf verschiedene Weise in eine Zeit-Frequenz-Darstellung überführt werden. Beispielsweise kann eine Kurzzeit-Fouriertransformation (STFT) durchgeführt werden. Eine Zeit-Frequenz-Darstellung kann aber auch unmittelbar aus den zeitabhängigen Signalen erhalten werden. Beispielsweise können die Signale mit einer Filterbank, die aus mehreren parallel geschalteten Bandpassfiltern besteht, in Anteile zerlegt werden, die ein jeder dieser Bandpassfilter durchlässt. Jeder dieser Anteile ist dann nach wie vor ein zeitabhängiges Signal. Unabhängig davon, auf welchem Wege die Zeit-Frequenz-Darstellung erhalten wurde, lässt sie sich als $X_{L} (b, k) = \sum_{j = 1}^{J} a_{L, j} \cdot S_{j} (b, k) + N_{L} (b, k)$
$X_{R} (b, k) = \sum_{j = 1}^{J} a_{R, j} \cdot S_{j} (b, k) + N_{R} (b, k)$
schreiben. Wurde die Zeit-Frequenz-Darstellung durch Kurzzeit-Fouriertransformation (STFT) erhalten, bezeichnet man b üblicherweise als Blockindex und k als Frequenzindex. Wurde die Zeit-Frequenz-Darstellung hingegen unmittelbar aus den zeitabhängigen Signalen erhalten, beispielsweise mit einer Filterbank, bezeichnet man b üblicherweise als Zeitindex und k als Bandindex, da die Diskretisierung der Frequenzen durch die jeweils von den Bandpassfiltern durchgelassenen Frequenzbänder bestimmt wird.
Die Koeffizienten a_R,j und a_L,j können weiterhin zu einem Positions-Koeffizienten $Ψ_{j} = a_{R, j}^{2} - a_{L, j}^{2}$
zusammengefasst werden. Dieser steht in einem linearen Zusammenhang zur Azimut-Position, wobei der Wertebereich von [-1,...,1] sich auf maximal links bzw. maximal rechts gepannte Signale abbildet (Figur 2). Dies erlaubt eine intuitive Zuordnung zwischen dem Wert des Koeffizienten und der tatsächlichen Position im Stereopanorama.
Wenn statt der Amplituden X_L(b,k) und X_R(b,k) die Leistungen P_L(b,k) und P_R(b,k) miteinander verglichen werden, ist es zweckmäßiger, den Positions-Koeffizienten als $Ψ_{j} = \frac{a_{R_{j}} - a_{L_{j}}}{a_{R_{j}} + a_{L_{j}}}$
zu schreiben. Er steht dann nach wie vor in dem in Figur 2 gezeigten linearen Zusammenhang zur Azimut-Position.
Unter der Annahme, dass in den Gleichungen (3) und (4) in einem Frequenzband k jeweils nur eine dominante Quelle auftritt, können die einzelnen Quellen S_j(b,k) zu einer einzigen ungepannten Mischquelle (Direktschallquelle) mit einer zeit- und frequenzabhängigen komplexen Amplitude S(b,k) = ∑S_j(b,k) zusammengeführt werden. Die Auswirkung dieser Mischquelle auf die Signale X_L(b,k) bzw. X_R(b,k) ist dann ebenfalls zeit- und frequenzabhängig und wird durch die Panning-Koeffizienten a_L(b,k) bzw. a_R(b,k) beschrieben: $X_{L} (b, k) = a_{L} (b, k) \cdot S (b, k) + N_{L} (b, k)$
$X_{R} (b, k) = a_{R} (b, k) \cdot S (b, k) + N_{R} (b, k)$
Unter Vernachlässigung der, im Vergleich zu S üblicherweise relativ kleinen, diffusen Umgebungssignale N_L bzw. N_R ergibt sich insgesamt folgendes Gleichungssystem für die Panning-Koeffizienten a_L(b,k) und a_R(b,k): $a_{L}^{2} (b, k) + a_{R}^{2} (b, k) = 1$
$X_{L} (b, k) = a_{L} (b, k) \cdot S (b, k)$
$X_{R} (b, k) = a_{R} (b, k) \cdot S (b, k)$
Durch Auflösen erhält man die Panning-Koeffizienten $a_{L} (b, k) = \sqrt{\frac{X_{L} {(b, k)}^{2}}{X_{L} {(b, k)}^{2} + X_{R} {(b, k)}^{2}}}$
$a_{R} (b, k) = \sqrt{\frac{X_{R} {(b, k)}^{2}}{X_{L} {(b, k)}^{2} + X_{R} {(b, k)}^{2}}}$
Die Signale x_L , x_R und S sind im Allgemeinen komplexwertig, während die Panning-Koeffizienten a_L und a_R reellwertig sind, da in dem Signalmodell gemäß den Gleichungen (7) und (8) ein reines Amplitudenpanning durchgeführt wird, d.h. nur die Amplitude richtungsabhängig ist. Daraus folgt, dass sowohl X_L(b,k) als auch X_R(b,k) in Phase mit S(b,k) sind. In den Polardarstellungen $a_{L} (b, k) = \sqrt{\frac{{| X_{L} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{L})}{{| X_{R} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{R}) + {| X_{L} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{L})}}$
$a_{R} (b, k) = \sqrt{\frac{{| X_{R} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{R})}{{| X_{R} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{R}) + {| X_{L} (b, k) |}^{2} \cdot \exp (- 2 {iϕ}_{L})}}$
sind also die Phasen φ_L von X_L, φ_R von X_R und φ_S von S identisch, so dass sich die Phasenterme kürzen lassen: $a_{L} (b, k) = \sqrt{\frac{X_{L} {(b, k)}^{2}}{X_{R} {(b, k)}^{2} + X_{L} {(b, k)}^{2}}}$
$a_{R} (b, k) = \sqrt{\frac{X_{R} {(b, k)}^{2}}{X_{R} {(b, k)}^{2} + X_{L} {(b, k)}^{2}}}$
Die Panning-Koeffizienten a_L und a_R sind in dieser Näherung also unmittelbar mit den Leistungsdichtespektren (Zeit-Frequenz-Darstellungen) X_L und X_R des ersten und zweiten Audiosignals, die zusammen das Stereoaudiosignal ergeben, verknüpft.
Alternativ kann je nach Bedarf und Anwendung auch der Positionskoeffizient $Ψ (b, k) = \frac{{| X_{R} (b, k) |}^{2} - {| X_{L} (b, k) |}^{2}}{{| X_{R} (b, k) |}^{2} + {| X_{L} (b, k) |}^{2}}$
berechnet werden. Dieser Positionskoeffizient Ψ(b,k) erlaubt eine sehr effektive Berechnung der Position durch einfache Betrachtung des Differenzleistungsspektrums und der Gesamtleistung des Signals.
Da mit dem Kanalmodell (7-8) ein reines Amplitudenpanning durchgeführt wird, folgt, dass der linke und rechte Kanal (X_L und X_R) in Phase mit dem Direktsignal S sind. Somit lässt sich das Kanalmodell auch über die Leistungen ausdrücken: $P_{L} (b, k) = a_{L}^{2} (b, k) \cdot P_{S} (b, k)$
$P_{R} (b, k) = a_{R}^{2} (b, k) \cdot P_{S} (b, k) .$
Hierin ist P_L(b,k) die Leistung des linken Kanals X_L, P_R(b,k) ist die Leistung des rechten Kanals X_R, und P_S ist die Leistung des Direktsignals S.
Wurde die Zeit-Frequenz-Darstellung durch Kurzzeit-Fourier-Transformation (STFT) erhalten, entspricht eine Leistung P_X(b,k) dem Leistungsdichtespektrum |X(b,k)|².
Wurde die Zeit-Frequenz-Darstellung hingegen beispielsweise durch Filterbankzerlegung im Zeitbereich erhalten, existiert nicht notwendigerweise eine geschlossene Formel für die momentane Leistung P_x(b,k) pro Band k. Diese momentane Leistung lässt sich jedoch beispielsweise über rekursive Mittelung $P_{x} (b, k) = α \cdot P_{x} (b - 1, k) + (1 - α) \cdot {[x (b, k)]}^{2}, 0 < α < 1$
gewinnen. Der Kleinbuchstabe x symbolisiert, dass die Zeit-Frequenz-Darstellung x(b,k) durch Zerlegung im Zeitbereich erhalten wurde.
Das Quadrat des momentanen Signals wird also als Maß dafür gewertet, wie stark sich die momentane Leistung P_x(b,k) zum Zeitpunkt b gegenüber dem vorherigen Zeitpunkt b-1 ändert, α ist ein Gewichtungsfaktor, mit dem das Festhalten am bisherigen Trend für die momentane Leistung P_x(b,k) gegen die Berücksichtigung neuer Informationen abgewogen wird. Dieser ist vorzugsweise so klein zu wählen, dass eine stabile Schätzung der mittleren Leistung erfolgt, ohne dass es durch Transienten oder kurzzeitige Signaländerungen zu starken Schwankungen kommt.
Durch Auflösen von (7a) und (8a) erhält man die Panning-Koeffizienten $a_{L} (b, k) = \sqrt{\frac{P_{L} (b, k)}{P_{L} (b, k) + P_{R} (b, k)}}$
$a_{R} (b, k) = \sqrt{\frac{P_{R} (b, k)}{P_{L} (b, k) + P_{R} (b, k)}} .$
Alternativ kann je nach Bedarf und Anwendung auch der Positions-Koeffizient $Ψ (b, k) = \frac{P_{R} (b, k) - P_{L} (b, k)}{P_{R} (b, k) + P_{L} (b, k)}$
berechnet werden. Optional kann hierbei eine weitere Anpassung an das Gehör erfolgen, indem in Gleichung (15a) die Leistungen P_L(b,k) und P_R(b,k) jeweils durch ihre Wurzeln ersetzt werden. Der Positions-Koeffizient Ψ(b,k) vermittelt dann einen noch realistischeren Eindruck von der Position der Direktschallquelle.
Auf Grund der vereinfachenden Annahmen, unter denen die Panning-Koeffizienten a_L und a_R sowie die Position Ψ gewonnen wurden, sind diese Größen Näherungswerte. Sie werden im Folgenden zur Unterscheidung von den exakten Werten gemäß dem Signalmodell mit â_L , â_R bzw. Ψ̂ bezeichnet.
Zur Extraktion des Direktsignals S und der Umgebungssignale N_L und N_R aus den Summensignalen X_L und X_R (Gleichungen (3) und (4)) kommt ein iteratives Verfahren zum Einsatz. Aus dem linken Eingangskanal X_L und dem rechten Eingangskanal X_R werden schrittweise Direktsignalbeiträge Ŝ_i extrahiert, die am Ende zum Direktsignal Ŝ der Direktschallquelle zusammengefasst werden. Die Differenz zwischen dem mit den Panning-Koeffizienten a_L und a_R gewichteten Direktsignal Ŝ und den Eingangssignalen X_L bzw. X_R ist eine Näherung für die Umgebungssignale N_L bzw. N_R. Die Indices (b,k) werden im Folgenden auf Grund der besseren Übersichtlichkeit nicht mehr explizit angegeben.
Zum Start der Iteration werden die geschätzen Umgebungssignale N̂_L und N̂_R zunächst mit den Eingangssignalen X_L und X_R initialisiert: ${\hat{N}}_{L,0} = X_{L}, {\hat{N}}_{R,0} = X_{R}$
Ausgehend hiervon werden gemäß den Iterationsvorschriften ${\hat{a}}_{L, i} = \sqrt{\frac{{| {\hat{N}}_{L, i - 1} |}^{2}}{{| {\hat{N}}_{R, i - 1} |}^{2} + {| {\hat{N}}_{L, i - 1} |}^{2}}}$
${\hat{a}}_{R, i} = \sqrt{\frac{{| {\hat{N}}_{R, i - 1} |}^{2}}{{| {\hat{N}}_{R, i - 1} |}^{2} + {| {\hat{N}}_{L, i - 1} |}^{2}}}$
${\hat{S}}_{i} = \frac{({\hat{N}}_{L, i - 1} + {\hat{N}}_{R, i - 1})}{2}$
die Panning-Koeffizienten verfeinert und ein Direktsignalbeitrag berechnet. Bei der ersten Iteration haben die Panning-Koeffizienten genau die Werte gemäß den Gleichungen (13) und (14) als Startwerte. Die Berechnung des Direktsignalbeitrags Ŝ_i gemäß Gleichung (19) geht davon aus, dass das Direktsignal im ersten und zweiten Audiosignal mit gleicher Phase vorliegt und die Umgebungssignale dazu phasenverschoben sind.
Vor der nächsten Iteration werden die Umgebungssignale über ${\hat{N}}_{L, i} = {\hat{N}}_{L, i - 1} - {\hat{a}}_{L, i} \cdot {\hat{S}}_{i}$
${\hat{N}}_{R, i} = {\hat{N}}_{R, i - 1} - {\hat{a}}_{R, i} \cdot {\hat{S}}_{i}$
in dem Sinne selbstkonsistent nachgeführt, dass ein Signalanteil, der sich als ein mit der Direktschallquelle 813 korrelierter Direktsignalanteil erwiesen hat, nicht gleichzeitig zum diffusen Umgebungssignal gehören kann. Diese selbstkonsistente Lösung zeichnet sich insbesondere dadurch aus, dass sie eine gute Extraktion stark gepannter, d.h. stark richtungsabhängiger, Direktsignale ermöglicht.
Nach Durchlauf aller I Iterationen ergibt sich das gesamte, mit der Direktschallquelle 813 korrelierte Direktsignal als Summe der einzelnen Signalanteile Ŝ_i : $\hat{S} = \sum_{i = 1}^{I} {\hat{S}}_{i}$
Bei der Ermittlung der Panning-Koeffizienten a_L,i und a_R,i sowie der Signalanteile Ŝ_i wurde ausschließlich Selbstkonsistenz mit den Umgebungssignalen N̂_L,i und N̂_R,i gefordert, ohne dass das Signalmodell gemäß den Gleichungen (3) und (4) herangezogen wurde. Daher ist nicht sichergestellt, dass die letztendlich erhaltenen Werte für N̂_L , N̂_R und Ŝ diesem Signalmodell gehorchen. Da sich eine Verletzung des Signalmodells stärker auf den Höreindruck auswirkt als eine Abweichung im diffusen Umgebungssignal, wird der Erfüllung des Signalmodells Priorität gegenüber einer möglichst exakten Näherung für N̂_L und N̂_R eingeräumt. Daher werden nicht die bei der letzten Iteration I erhaltenen Werte N̂_L,I und N̂_R,I als Umgebungssignale N̂_L und N̂_R verwendet, sondern diese werden am Ende aus dem Gesamtergebnis Ŝ für das Direktsignal und den ersten Näherungswerten â _L,1 und â _R,1 für die Panning-Koeffizienten berechnet: ${\hat{N}}_{L} = X_{L} - {\hat{a}}_{L, I} \cdot \hat{S}$
${\hat{N}}_{R} = X_{R} - {\hat{a}}_{R, I} \cdot \hat{S}$
Die während des iterativen Verfahrens gemäß den Gleichungen (17) und (18) verfeinerten Panning-Koeffizienten werden ausschließlich für die Aufteilung der Signale X_L und X_R in Direktsignal Ŝ und Umgebungssignale N̂_L und N̂_R verwendet. Für das Repanning auf eine Konfiguration von mehr als zwei Lautsprechern werden weiterhin die aus der Lösung des Gleichungssystems (13-14) erhaltenen Panning-Koeffizienten verwendet.
Für i → ∞ gilt für die Umgebungssignale N̂_L,i und N̂_R,i gemäß den Gleichungen (20) und (21) ${\hat{N}}_{L, i} = - {\hat{N}}_{R, i}$
Es sind also beide Umgebungssignale bis auf eine Phasendrehung identisch. Das ursprüngliche Signalmodell gemäß den Gleichungen (3a) und (4a) vereinfacht sich damit zu $X_{L} = a_{L} \cdot S + N$
$X_{R} = a_{R} \cdot S - N$
Einsetzen der Panning-Koeffizienten gemäß den Gleichungen (13) und (14) sowie Auflösen ergibt $\begin{array}{l} \hat{S} = \frac{X_{L} + X_{R}}{{\hat{a}}_{L} + {\hat{a}}_{R}} \\ \hat{N} = \frac{{\hat{a}}_{R} \cdot X_{L} - {\hat{a}}_{L} \cdot X_{R}}{{\hat{a}}_{L} + {\hat{a}}_{R}} \end{array}$
als Näherungswerte für das Direktsignal Ŝ und das Umgebungssignal ${\hat{N}}_{L} \equiv - {\hat{N}}_{R} \equiv \hat{N} .$
Im Folgenden wird ein allgemeinerer Ansatz zur Bestimmung des Direktsignals und der Umgebungssignale aus den Panning-Koeffizienten gegeben. Dieser Ansatz geht von der Annahme aus, dass beide Umgebungssignale ähnlich klingen, jedoch durch unterschiedliche Ausbreitungswege und Reflexionen dekorreliert sind.
Somit lassen sich beide Umgebungssignale N̂_L und N̂_R als Filterungen eines gemeinsamen Umgebungssignals N mit unterschiedlichen Dekorrelationsfunktionen H_L und H_R darstellen: ${\overset{⌢}{N}}_{L} (b, k) = H_{L} \{N (b, k)\},$
${\hat{N}}_{R} (b, k) = H_{R} \{N (b, k)\} .$
Eine Filterung lässt sich in einer Zeit-Frequenz-Darstellung als bandweise Multiplikation mit einem Verstärkungsfaktor und einer Phasendrehung ausdrücken. X_L(b,k) und X_R(b,k) sind dann über die beiden Gleichungen $X_{L} (b, k) = a_{L} (b, k) \cdot S (b, k) + H_{L} (b, k) \cdot N (b, k),$
$X_{R} (b, k) = a_{R} (b, k) \cdot S (b, k) + H_{R} (b, k) \cdot N (b, k)$
mit dem Direktsignal S und dem Umgebungssignal N verknüpft.
Die allgemeine Form der Dekorrelationsfunktionen H_L,R(b,k) kann, sofern die Zeit-Frequenz-Darstellungen X_L(b,k) und X_R(b,k) aus einer vollständigen Transformation in den Frequenzbereich gewonnen wurden, etwa mittels Kurzzeit-Fourier-Transformation (STFT), als komplexes Spektrum $H_{L, R} (k) = γ (k) \cdot \exp (iφ (k)), 0 < γ (k) < 1, 0 < φ (k) < π$
mit einer frequenzabhängigen Amplitude γ(k) und Phase φ(k), beschrieben werden.
Einsetzen der Panning-Koeffizienten aus den Gleichungen (9) und (10) in die Gleichungen (31) und (32) und Auflösen ergibt $\hat{S} (b, k) = \frac{X_{L} (b, k) \cdot H_{R} (k) - X_{R} (b, k) \cdot H_{L} (k)}{{\hat{a}}_{L} (b, k) \cdot H_{R} (k) - {\hat{a}}_{R} (b, k) \cdot H_{L} (k)},$
$\hat{N} (b, k) = \frac{{\hat{a}}_{L} (b, k) \cdot X_{R} (b, k) - {\hat{a}}_{R} (b, k) \cdot X_{L} (b, k)}{{\hat{a}}_{L} (b, k) \cdot H_{R} (k) - {\hat{a}}_{R} (b, k) \cdot H_{L} (k)}$
für das geschätzte Direktsignal S und für das gemeinsame Umgebungssignal N̂.
Werden Zeit-Frequenz-Darstellungen x_L(b,k) und x_R(b,k) mit einer Filterbank gewonnen, werden die Gleichungen (31) und (32) zu $x_{L} (b, k) = a_{L} (b, k) \cdot s (b, k) + h_{L} \{n (b, k)\},$
$x_{R} (b, k) = a_{R} (b, k) \cdot s (b, k) + h_{R} \{n (b, k)\},$
worin die Benennung von h, x, a, s und n in Kleinbuchstaben wiederum verdeutlicht, dass es sich um Größen im Zeitbereich handelt. Die Dekorrelationsfunktionen H_L und H_R lassen sich jetzt nicht mehr so einfach anwenden wie im Frequenzbereich. Mit der Einschränkung $h_{L, R} (k) = γ (k) \cdot (\pm 1),$
wonach die Dekorrelationsfunktion pro Band nur Phasenverschiebungen von 0 (+1) und π (-1) erzeugen kann, vereinfachen sich die Gleichungen (36) und (37) zu $x_{L} (b, k) = a_{L} (b, k) \cdot s (b, k) + h_{L} (k) \cdot n (b, k),$
$x_{R} (b, k) = a_{R} (b, k) \cdot s (b, k) + h_{R} (k) \cdot n (b, k) .$
Nach mathematischem Umformen ergeben sich $\hat{s} (b, k) = \frac{h_{R} (k) \cdot x_{L} (b, k) - h_{L} (k) \cdot x_{R} (b, k)}{h_{R} (k) \cdot {\hat{a}}_{L} (b, k) - h_{L} (k) \cdot {\hat{a}}_{R} (b, k)},$
$\hat{n} (b, k) = \frac{{\hat{a}}_{L} (b, k) \cdot x_{R} (b, k) - {\hat{a}}_{R} (b, k) \cdot x_{L} (b, k)}{{\hat{a}}_{L} (b, k) \cdot h_{R} (k) - {\hat{a}}_{R} (b, k) \cdot h_{L} (k)}$
als die Lösungen für die Direkt- und Umgebungssignale.

Bezugszeichenliste

1: Position des Hörers
110: erstes (linkes) Audiosignal x_L des Stereoaudiosignals
115: Zeit-Frequenz-Darstellung X_L des ersten Audiosignals 110
115a: zeit- und frequenzabhängige Leistung P_L des Signals 110
120: zweites (rechtes) Audiosignal x_R des Stereoaudiosignals
125: Zeit-Frequenz-Darstellung X_R des zweiten Audiosignals 120
125a: zeit- und frequenzabhängige Leistung P_R des Signals 120
145: Ermittlung der zeit- und frequenzabhängigen Leistung 115a, 125a
150: Filterbank
310: Panning-Koeffizienten a_L(b,k) des ersten Audiosignals 110
320: Panning-Koeffizienten a_R(b,k) des zweiten Audiosignals 120
330: komplexe Amplitude S(b,k) der Direktschallquelle 813
330a: zeit- und frequenzabhängige Leistung P_S des Signals 330
ϕ: azimutale Position der Direktschallquelle 813
390: Positionskoeffizient Ψ
410: erster Repanning-Koeffizient g₁ für ersten Tonkanal 580
420: zweiter Repanning-Koeffizient g₂ für zweiten Tonkanal 585
430: dritter Repanning-Koeffizient g₃ für dritten Tonkanal 590
510: erstes (linkes) Umgebungssignal N_L
520: zweites (rechtes) Umgebungssignal N_R
530: gemeinsames Umgebungssignal N(b,k)
540: erste Dekorrelationsfunktion H_L(k)
550: zweite Dekorrelationsfunktion H_R(k)
580: erster Tonkanal für Lautsprecher auf Position L (links)
585: zweiter Tonkanal für Lautsprecher auf Position C (Mitte)
590: dritter Tonkanal für Lautsprecher auf Position R (rechts)
810: linke Wiedergabeeinrichtung für das erste Audiosignal 110
813: Direktschallquelle
820: rechte Wiedergabeeinrichtung für das zweite Audiosignal 120
890: Hörbereich vor dem Hörer 1 bzw. um den Hörer 1
891: gleichseitiges Dreieck im Hörbereich 890
892: Kreisbogen am Rand des Hörbereichs 890
L, C, R: Lautsprecherpositionen Links, Mitte, Rechts für das Repanning
RL, RR: zusätzliche Lautsprecherpositionen für Umgebungssignale 510, 520

Claims

Verfahren zur Analyse eines Stereoaudiosignals, wobei das Stereoaudiosignal ein erstes Audiosignal (110) für eine linke Wiedergabeeinrichtung (810) und ein zweites Audiosignal (120) für eine rechte Wiedergabeeinrichtung (820) aufweist, mit folgende Schritten:
das erste Audiosignal (110) wird in eine erste Zeit-Frequenz-Darstellung (115) überführt, und das zweite Audiosignal (120) wird in eine zweite Zeit-Frequenz-Darstellung (125) überführt;

aus der ersten Zeit-Frequenz-Darstellung (115) wird die zeit- und frequenzabhängige Leistung (115a) des ersten Audiosignals (110) ermittelt (145), und aus der zweiten Zeit-Frequenz-Darstellung (125) wird die zeit- und frequenzabhängige Leistung (125a) des zweiten Audiosignals (120) ermittelt (145);

es wird eine erste Gleichung aufgestellt, die die zeit- und frequenzabhängige Leistung (115a) des ersten Audiosignals (110) in Beziehung setzt zum Produkt des Quadrats eines ersten zeit- und frequenzabhängigen Panning-Koeffizienten (310) mit der zeit- und frequenzabhängigen Leistung (330a) einer in einem Hörbereich (890) zwischen der linken Wiedergabeeinrichtung (810) und der rechten Wiedergabeeinrichtung (820) angeordneten Direktschallquelle (813);

es wird eine zweite Gleichung aufgestellt, die die zeit- und frequenzabhängige Leistung (125a) des zweiten Audiosignals (120) in Beziehung setzt zum Produkt des Quadrats eines zweiten zeit- und frequenzabhängigen Panning-Koeffizienten (320) mit der gleichen zeit- und frequenzabhängigen Leistung (330a) der gleichen Direktschallquelle (813);

wobei die Panning-Koeffizienten (310) und (320) dazu ausgebildet sind, die Direktschallquelle (813) in dem Hörbereich (890) zu positionieren;

ein Positionskoeffizient (390), der dem Verhältnis einer Differenz der Panning-Koeffizienten (310) und (320) zur Summe der Panning-Koeffizienten (310) und (320) entspricht, wird als Lösung des aus beiden Gleichungen gebildeten Gleichungssystems ermittelt,

dadurch gekennzeichnet, dass das Gleichungssystem unter der zusätzlichen Bedingung gelöst wird, dass die Summe der Quadrate der Panning-Koeffizienten (310) und (320) konstant ist, wobei der Positionskoeffizient (390) aus dem Verhältnis der Differenz der Wurzeln der zeit- und frequenzabhängigen Leistungen (125a, 115a) beider Audiosignale (110, 120) zur Summe der Wurzeln der zeit- und

frequenzabhängigen Leistungen (125a, 115a) beider Audiosignale (110, 120) ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der erste Panning-Koeffizient (310) als Wurzel aus dem Verhältnis der zeit- und frequenzabhängigen Leistung (115a) des ersten Audiosignals (110) zur Summe der zeit- und frequenzabhängigen Leistungen (115a, 125a) beider Audiosignale (110, 120) ermittelt wird und dass der zweite Panning-Koeffizient (320) als Wurzel aus dem Verhältnis der zeit- und frequenzabhängigen Leistung (125a) des zweiten Audiosignals (120) zur Summe der zeit- und frequenzabhängigen Leistungen (115a, 125a) beider Audiosignale (110, 120) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die zeit- und frequenzabhängige Leistung (115a, 125a) mindestens eines Audiosignals (110, 120) zu einem interessierenden Zeitpunkt als gewichtete Summe aus der zeit- und frequenzabhängigen Leistung (115a, 125a) des Audiosignals zu einem früheren Zeitpunkt und dem Quadrat der Zeit-Frequenz-Darstellung (115, 125) dieses Audiosignals (110, 120) zu dem interessierenden Zeitpunkt ermittelt wird (145).
Verfahren zur Analyse eines Stereoaudiosignals, wobei das Stereoaudiosignal ein erstes Audiosignal (110) für eine linke Wiedergabeeinrichtung (810) und ein zweites Audiosignal (120) für eine rechte Wiedergabeeinrichtung (820) aufweist, mit folgenden Schritten:
das erste Audiosignal (110) wird in eine erste Zeit-Frequenz-Darstellung (115) überführt, und das zweite Audiosignal (120) wird in eine zweite Zeit-Frequenz-Darstellung (125) überführt;

es wird eine erste Gleichung aufgestellt, die die erste Zeit-Frequenz-Darstellung (115) in Beziehung setzt zum Produkt eines ersten zeit- und frequenzabhängigen Panning-Koeffizienten (310) mit dem zeit- und frequenzabhängigen Signal (330) einer in einem Hörbereich (890) zwischen der linken Wiedergabeeinrichtung (810) und der rechten Wiedergabeeinrichtung (820) angeordneten Direktschallquelle (813);

es wird eine zweite Gleichung aufgestellt, die die zweite Zeit-Frequenz-Darstellung (125) in Beziehung setzt zum Produkt eines zweiten zeit- und frequenzabhängigen Panning-Koeffizienten (320) mit dem gleichen Signal (330) der gleichen Direktschallquelle (813);

wobei die Panning-Koeffizienten (310) und (320) dazu ausgebildet sind, die Direktschallquelle (813) in dem Hörbereich (890) zu positionieren;

ein Positionskoeffizient (390), der der Differenz der Quadrate der Panning-Koeffizienten (310) und (320) entspricht, wird als Lösung des aus beiden Gleichungen gebildeten Gleichungssystems ermittelt,

wobei das Gleichungssystem unter der zusätzlichen Bedingung gelöst wird, dass die Summe der Quadrate der Panning-Koeffizienten (310) und (320) konstant ist,

dadurch gekennzeichnet, dass der Positionskoeffizient (390) aus dem Verhältnis der Differenz der Betragsquadrate beider Zeit-Frequenz-Darstellungen (115) und (125) zur Summe der Betragsquadrate beider Zeit-Frequenz-Darstellungen (115) und (125) ermittelt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der erste Panning-Koeffizient (310) als Wurzel aus dem Verhältnis des Quadrats der Zeit-Frequenz-Darstellung (115) des ersten Audiosignals (110) zur Summe der Quadrate der Zeit-Frequenz-Darstellungen (115) und (125) beider Audiosignale (110) und (120) ermittelt wird und dass der zweite Panning-Koeffizient (320) als Wurzel aus dem Verhältnis der Zeit-Frequenz-Darstellung (125) des zweiten Audiosignals (120) zur Summe der Quadrate der Zeit-Frequenz-Darstellungen (115) und (125) beider Audiosignale (110) und (120) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass aus den Panning-Koeffizienten (310) und (320) das Signal (330) der Direktschallquelle (813)
und/oder
zwei nicht mit dieser Direktschallquelle (813) korrelierte Umgebungssignale (510) und (520), wobei das erste Umgebungssignal (510) nur in der Zeit-Frequenz-Darstellung (115) des ersten Audiosignals (110) und das zweite Umgebungssignal (520) nur in der Zeit-Frequenz-Darstellung (125) des zweiten Audiosignals (120) enthalten ist, ermittelt werden.
Verfahren nach Anspruch 6, gekennzeichnet durch folgende Schritte:
es wird eine erste Gleichung aufgestellt, die die erste Zeit-Frequenz-Darstellung (115) in Beziehung setzt zur Summe aus dem Produkt des ersten Panning-Koeffizienten (310) mit dem zeit- und frequenzabhängigen Signal (330) der Direktschallquelle (813) sowie aus der Filterung eines einzigen gemeinsamen Umgebungssignals (530) mit einer ersten Dekorrelationsfunktion (540);

es wird eine zweite Gleichung aufgestellt, die die zweite Zeit-Frequenz-Darstellung (125) in Beziehung setzt zur Summe aus dem Produkt des zweiten Panning-Koeffizienten (320) mit dem zeit- und frequenzabhängigen Signal (330) der Direktschallquelle (813) sowie aus der Filterung des gemeinsamen Umgebungssignals (530) mit einer zweiten Dekorrelationsfunktion (550);

das zeit- und frequenzabhängige Signal (330) der Direktschallquelle (813), und/oder das gemeinsame Umgebungssignal (530), werden als Lösungen des aus den beiden Gleichungen gebildeten Gleichungssystems ermittelt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das zeit- und frequenzabhängige Signal (330) der Direktschallquelle (813) als Differenz zwischen dem frequenzbandweisen Produkt der ersten Zeit-Frequenz-Darstellung (115) mit der zweiten Dekorrelationsfunktion (550) und dem frequenzbandweisen Produkt der zweiten Zeit-Frequenz-Darstellung (125) mit der ersten Dekorrelationsfunktion (540), dividiert durch die Differenz zwischen der Faltung des ersten Panning-Koeffizienten (310) mit der zweiten Dekorrelationsfunktion (550) und dem frequenzbandweisen Produkt des zweiten Panning-Koeffizienten (320) mit der ersten Dekorrelationsfunktion (540), ermittelt wird.
Verfahren nach einem der Ansprüche 7 bis 8, dadurch gekennzeichnet, dass das gemeinsame Umgebungssignal (530) als Differenz zwischen dem Produkt der zweiten Zeit-Frequenz-Darstellung (125) mit dem ersten Panning-Koeffizienten (310) und dem Produkt der ersten Zeit-Frequenz-Darstellung (115) mit dem zweiten Panning-Koeffizienten (320), dividiert durch die Differenz zwischen dem frequenzbandweisen Produkt des ersten Panning-Koeffizienten (310) mit der zweiten Dekorrelationsfunktion (550) und dem frequenzbandweisen Produkt des zweiten Panning-Koeffizienten (320) mit der ersten Dekorrelationsfunktion (540), ermittelt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Signal (330) der Direktschallquelle (813) und die Umgebungssignale (510, 520) mit einem iterativen Verfahren bestimmt werden ausgehend von einer Iterationsvorschrift, die das Signal (330) der Direktschallquelle einer jeden Iteration, und/oder einen Beitrag zu diesem Signal, in Beziehung setzt zu den Umgebungssignalen (510, 520) der vorherigen Iteration.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass bei jeder Iteration die Panning-Koeffizienten (310) und (320) aus den Umgebungssignalen (510, 520) der vorherigen Iteration neu berechnet werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das erste Umgebungssignal (510) bei jeder Iteration um einen Betrag korrigiert wird, der das Produkt aus dem neu berechneten ersten Panning-Koeffizienten (310) mit dem Signal (330) der Direktschallquelle (813) gemäß der aktuellen Iteration ist, und dass das zweite Umgebungssignal (520) bei jeder Iteration um einen Betrag korrigiert wird, der das Produkt aus dem neu berechneten zweiten Panning-Koeffizienten (320) mit dem Signal (330) der Direktschallquelle (813) gemäß der aktuellen Iteration ist.
Verfahren nach einem der Ansprüche 6 oder 10 bis 12, dadurch gekennzeichnet, dass das Signal (330) der Direktschallquelle (813) aus dem Verhältnis der Summe beider Zeit-Frequenz-Darstellungen (115) und (125) zur Summe beider Panning-Koeffizienten (310) und (320) ermittelt wird.
Verfahren nach einem der Ansprüche 6 oder 10 bis 12, dadurch gekennzeichnet, dass die Umgebungssignale aus dem Verhältnis einer Differenz zwischen der Zeit-Frequenz-Darstellung (115) des ersten Audiosignals (110), gewichtet mit dem zweiten Panning-Koeffizienten (320), und der Zeit-Frequenz-Darstellung (125) des zweiten Audiosignals (120), gewichtet mit dem ersten Panning-Koeffizienten (310), zur Summe beider Panning-Koeffizienten (310) und (320) ermittelt wird.