DE602005002833T2

DE602005002833T2 - Kompensation von multikanal-audio energieverlusten

Info

Publication number: DE602005002833T2
Application number: DE602005002833T
Authority: DE
Inventors: Lars Villemoes; Kristofer KJÖRLING; Heiko Purnhagen; Jonas Röden; Jeroen Breebaart; Gerard Hotho
Original assignee: Koninklijke Philips Electronics NV; Coding Technologies Sweden AB
Current assignee: Koninklijke Philips NV; Coding Technologies Sweden AB
Priority date: 2004-11-02
Filing date: 2005-10-28
Publication date: 2008-03-13
Anticipated expiration: 2025-10-29
Also published as: RU2006146947A; KR20070049627A; ATE371925T1; RU2369917C2; US20060140412A1; EP1730726B1; US7668722B2; WO2006048203A1; RU2369918C2; JP4527782B2; HK1097082A1; JP4527781B2; US20060165237A1; CN1998046B; KR100905067B1; ES2292147T3; TWI338281B; ES2294738T3; TWI328405B; DE602005002256T2

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Mehrkanalrekonstruktion von Audiosignalen basierend auf einem verfügbaren Stereosignal und zusätzlichen Steuerdaten.
Hintergrund der Erfindung
Die jüngste Entwicklung bei einer Audiocodierung hat die Fähigkeit verfügbar gemacht, eine Mehrkanaldarstellung eines Audiosignals basierend auf einem Stereo- (oder Mono-) Signal und entsprechenden Steuerdaten wieder zu erzeugen. Diese Verfahren unterscheiden sich wesentlich von einer älteren matrixbasierten Lösung, wie beispielsweise Dolby Prologic, da zusätzliche Steuerdaten übertragen werden, um die Wiedererzeugung, auch als eine Heraufumsetzung bezeichnet, der Surroundkanäle basierend auf den übertragenen Mono- oder Stereokanälen zu steuern.
Daher rekonstruieren die Parametermehrkanalaudiodecodierer N Kanäle basierend auf M übertragenen Kanälen, wobei N > M, und den zusätzlichen Steuerdaten. Die zusätzlichen Steuerdaten stellen eine erheblich niedrigere Datenrate als ein Übertragen der zusätzlichen N – M Kanäle dar, was die Codierung sehr effizient macht, während gleichzeitig eine Kompatibilität sowohl mit M-Kanal-Vorrichtungen als auch N-Kanal-Vorrichtungen sichergestellt ist.
Diese Parameter-Surround-Codierverfahren weisen für gewöhnlich eine Parametrisierung des Surroundsignals basierend auf IID (Inter channel Intensity Difference, dt. etwa: Zwischenkanalintensitätsunterschied) und ICC (Inter Channel Coherence, dt. etwa: Zwischenkanalkohärenz) auf. Diese Parameter beschreiben Leistungsverhältnisse und eine Korre lation zwischen Kanalpaaren bei dem Heraufumsetzprozess. Weitere Parameter, die ebenfalls im Stand der Technik verwendet werden, weisen Prädiktionsparameter auf, die verwendet werden, um Zwischen- oder Ausgangskanäle während der Heraufumsetzprozedur vorherzusagen.
Eine der ansprechendsten Nutzungen eines prädiktionsbasierten Verfahrens, wie es im Stand der Technik beschrieben ist, besteht für ein System, das einen 5.1-Kanal aus zwei übertragenen Kanälen wiedererzeugt. Bei dieser Konfiguration ist eine Stereoübertragung auf der Decodiererseite verfügbar, die eine Herunterumsetzung des ursprünglichen 5.1-Mehrkanalsignals ist. In diesem Zusammenhang ist es besonders interessant, in der Lage zu sein, den Mitte-Kanal so genau wie möglich aus dem Stereosignal zu extrahieren, da der Mitte-Kanal für gewöhnlich zu sowohl dem Links- als auch dem Rechts-Herunterumsetzkanal herunterumgesetzt ist. Dies wird mittels eines Schätzens zweier Prädiktionskoeffizienten vorgenommen, die die Größe von jedem der zwei übertragenen Kanäle beschreiben, die verwendet werden, um den Mitte-Kanal aufzubauen. Diese Parameter werden für unterschiedliche Frequenzbereiche ähnlich den IID- und ICC-Parametern oben geschätzt.
Da jedoch die Prädiktionsparameter kein Leistungsverhältnis von zwei Signalen beschreiben, sondern auf einer Signalverlaufsanpassung in dem Sinn eines geringsten Fehlerquadrats basieren, wird das Verfahren inhärent empfindlich für eine jegliche Modifizierung des Stereosignalverlaufs nach der Berechnung der Prädiktionsparameter.
Weitere Entwicklungen bei einer Audiocodierung über die letzten Jahre hinweg haben Hochfrequenzrekonstruktionsverfahren als ein sehr nützliches Werkzeug bei Audiocodecs mit niedrigen Bitraten eingebracht. Ein Beispiel ist SBR (Spectral Band Replication = Spektralbandreplikation) [ WO 98/ 57436 ], die bei MPEG-standardisierten Codecs verwendet werden, wie beispielsweise MPEG-4 High Efficiency AAC.
Diesen Verfahren ist gemeinsam, dass dieselben die hohen Frequenzen auf der Decodiererseite aus einem schmalbandigen Signal wiedererzeugen, das durch den zu Grunde liegenden Kern-Codec und eine geringe Menge an zusätzlichen Führungsinformationen codiert ist. Ähnlich dem Fall der parametrischen Rekonstruktion von Mehrkanalsignalen basierend auf einem oder zwei Kanälen, ist die Menge an Steuerdaten, die erforderlich ist, um die fehlenden Signalkomponenten (in dem Fall von SBR die hohen Frequenzen) wiederzuerzeugen, erheblich geringer als die Menge an Daten, die erforderlich wäre, um das gesamte Signal mit einem Signalverlaufscodec zu codieren.
Es sollte jedoch klar sein, dass das wiedererzeugte Hochbandsignal wahrnehmungsmäßig dem ursprünglichen Hochbandsignal gleich ist, während sich der tatsächliche Signalverlauf erheblich unterscheidet. Ferner wird bei Signalverlaufscodierern, die Stereosignale mit niedriger Bitrate codieren, üblicherweise eine Stereovorverarbeitung verwendet, was bedeutet, dass eine Begrenzung an dem Seite-Signal der Mitte/Seite-Darstellung des Stereosignals durchgeführt wird.
Wenn eine Mehrkanaldarstellung basierend auf einem Stereocodecsignal unter Verwendung von MPEG-4 High Efficiency AAC oder irgendeinem anderen Codec erwünscht ist, der Hochfrequenzrekonstruktionstechniken verwendet, müssen diese und andere Aspekte des Codecs, der verwendet wird, um das herunterumgesetzte Stereosignal zu codieren, betrachtet werden.
Ferner ist es üblich, dass es für eine Aufzeichnung, die als ein Mehrkanalaudiosignal verfügbar ist, eine zweckgebundene Stereomischung gibt, die keine automatische Herunterumsetzversion des Mehrkanalsignals ist. Dies wird für gewöhnlich als eine „künstlerische Herunterumsetzung" (artistic down-mix) bezeichnet. Diese Heruntermischung kann nicht als eine lineare Kombination der Mehrkanalsignale ausgedrückt werden.
Die Doktorarbeit (PhD-Thesis) Nr. 3062 „Parametric coding of spatial audio" C. Faller, 24. September 2004, offenbart ein BCC-Schema mit mehreren Audioübertragungskanälen. In dem Codierer werden C Eingangskanäle auf E übertragene Audiokanäle herunterumgesetzt. Zwischenkanalzeitdifferenzen, Zwischenkanalpegeldifferenzen und Zwischenkanalkohärenzmaße zwischen bestimmten Paaren von Eingangskanälen werden in Abhängigkeit von Zeit und Frequenz geschätzt. Die geschätzten Hinweise werden als Seiteninformationen an den Decodierer übertragen. Auf der Decodiererseite werden die übertragenen Audiokanäle und die Parameter, die in den Seiteninformationen enthalten sind, verwendet, um eine Synthese eines Mehrkanalausgangssignals durchzuführen.
Die WO 2005/086139 A1 , die nach dem Prioritätsdatum dieser Anmeldung veröffentlicht wurde, offenbart ein Mehrkanalaudiocodierschema, bei dem mehrere Audiokanäle entweder zu einem monophonen zusammengesetzten Signal oder zu mehreren Audiokanälen kombiniert werden, zusammen mit verwandten Hilfsinformationen, aus denen mehrere Audiokanäle rekonstruiert werden. Kopplungsartefakte bei dem Codierprozess werden durch ein Einstellen relativer Zwischenkanalphasen vor einem Herunterumsetzen reduziert. Die räumliche Dimensionalität des wiedergegebenen Signals wird durch ein Wiederherstellen der Phasenwinkel und Dekorrelationsgrade in dem Decodierer verbessert.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Mehrkanalherunterumsetz-/Codierer- oder Heraufumsetz-/Decodierer-Konzept zu schaffen, das zu einer besseren Qualität der rekonstruierten Mehrkanalausgabe führt.
Zusammenfassung der Erfindung
Gemäß der Erfindung wird diese Aufgabe durch einen Mehrkanalsynthetisierer gemäß Anspruch 1, einen Codierer zum Verarbeiten eines Mehrkanaleingangssignals gemäß Anspruch 28, ein Verfahren zum Erzeugen von zumindest drei Ausgangskanälen gemäß Anspruch 40, ein Verfahren zum Codieren gemäß Anspruch 41, ein codiertes Mehrkanalsignal gemäß Anspruch 42 oder ein maschinenlesbares Medium gemäß Anspruch 43 gelöst.
Bevorzugte Ausführungsbeispiele sind in den abhängigen Ansprüchen dargelegt.
Die vorliegende Erfindung, die in den Ansprüchen definiert ist, bezieht sich auf das Problem einer Signalverlaufsmodifizierung des herunterumgesetzten Mehrkanalsignals, wenn prädiktionsbasierte Heraufumsetzverfahren verwendet werden. Dies umfasst, wenn das herunterumgesetzte Signal durch einen Codec codiert ist, der eine Stereovorverarbeitung, eine Hochfrequenzrekonstruktion und andere Codierschemata durchführt, die den Signalverlauf wesentlich modifizieren. Ferner spricht die Erfindung das Problem an, das sich ergibt, wenn prädiktive Heraufumsetztechniken für eine künstlerische Herunterumsetzung verwendet werden, d. h. ein Herunterumsetzsignal, das nicht aus dem Mehrkanalsignal automatisiert ist.
Die vorliegende Erfindung weist die folgenden Merkmale auf:

– Schätzung der Prädiktionsparameter basierend auf dem modifizierten Signalverlauf anstelle des herunterumgesetzten Signalverlaufs;
– Verwendung von prädiktionsbasierten Verfahren lediglich in den Frequenzbereichen, wo es vorteilhaft ist;
– Korrektur des Energieverlusts und einer ungenauen Korrelation zwischen Kanälen, die bei der prädiktionsbasierten Heraufumsetzprozedur eingebracht werden.

Kurze Beschreibung der Zeichnungen
Die vorliegende Erfindung wird nun durch darstellende Beispiele, die den Schutzbereich der Erfindung nicht einschränken, mit Bezug auf die zugehörigen Zeichnungen beschrieben, in denen:
1 eine prädiktionsbasierte Rekonstruktion von drei Kanälen aus zwei Kanälen darstellt;
2 eine prädiktive Heraufumsetzung mit einer Energiekompensation darstellt;
3 eine Energiekompensation bei der prädiktiven Heraufumsetzung darstellt;
4 einen Prädiktionsparameterestimator auf der Codiererseite mit einer Energiekompensation des Herunterumsetzsignals darstellt;
5 eine prädiktive Heraufumsetzung mit einer Korrelationsrekonstruktion darstellt;
6 ein Mischmodul zum Mischen des dekorrelierten Signals mit dem heraufumgesetzten Signal bei der Heraufumsetzung mit Korrelationsrekonstruktion darstellt;
7 ein alternatives Mischmodul zum Mischen des dekorrelierten mit dem heraufumgesetzten Signal bei der Heraufumsetzung mit Korrelationsrekonstruktion darstellt;
8 eine Prädiktionsparameterschätzung auf der Codiererseite darstellt;
9 eine Prädiktionsparameterschätzung auf der Codiererseite darstellt;
10 ein erfindungsgemäßes Mehrparameterszenario darstellt;
11 eine Heraufumsetzervorrichtung darstellt;
12 ein Energieschaubild darstellt, das das Ergebnis einer einen Energieverlust einbringenden Heraufumsetzung und der bevorzugten Kompensation zeigt;
13 eine Tabelle von Energiekompensationsverfahren;
14a ein schematisches Diagramm eines bevorzugten Mehrkanalcodierers;
14b ein Flussdiagramm des Verfahrens, das durch die Vorrichtung von 14a durchgeführt wird;
15a einen Mehrkanalcodierer mit einer Spektralbandreplikationsfunktionalität zum Erzeugen einer unterschiedlichen Parametrisierung verglichen mit der Vorrichtung in 14a;
15b eine tabellarische Darstellung einer frequenzselektiven Erzeugung und Übertragung von Parameterdaten;
16a einen Decodierer, der die Berechnung von Heraufumsetzmatrixkoeffizienten darstellt;
16b eine detaillierte Beschreibung einer Parameterberechnung für die prädiktive Heraufumsetzung;
17 einen Sender und einen Empfänger eines Übertragungssystems; und
18 ein Audioaufzeichnungsgerät, das einen Codierer aufweist, und ein Audioabspielgerät, das einen Decodierer aufweist.
Beschreibung bevorzugter Ausführungsbeispiele
Die unten beschriebenen Ausführungsbeispiele sind lediglich darstellend für die Grundlagen der vorliegenden Erfindung. Es ist klar, dass Modifikationen und Variationen der Anordnungen und der Einzelheiten, die hierin beschrieben sind, Fachleuten auf dem Gebiet ersichtlich sind. Es ist deshalb die Absicht, lediglich durch den Schutzbereich der bevorstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten begrenzt zu sein, die durch eine Beschreibung und Erläuterung der Ausführungsbeispiele hierin vorgelegt sind.
Es wird betont, dass eine nachfolgende Parameterberechnung, Anwendung, Heraufumsetzung, Herunterumsetzung und irgendwelche anderen Handlungen auf einer frequenzbandselektiven Basis durchgeführt werden, d. h. für Subbänder in einer Filterbank.
Um die Vorteile der vorliegenden Erfindung zu umreißen, wird zuerst eine detailliertere Beschreibung einer prädiktiven Heraufumsetzung abgegeben, wie dieselbe durch den Stand der Technik bekannt ist. Es sei eine Dreikanalheraufumsetzung basierend auf zwei Herunterumsetzkanälen angenommen, wie es in 1 umrissen ist, wobei 101 den ursprünglichen Links-Kanal darstellt, 102 den ursprünglichen Mitte-Kanal darstellt, 103 den ursprünglichen Rechts-Kanal darstellt, 104 das Herunterumsetz- und Parameterextraktionsmodul auf der Codiererseite darstellt, 105 und 106 Prädiktionsparameter darstellen, 107 den herunterumgesetz ten Links-Kanal darstellt, 108 den herunterumgesetzten Rechts-Kanal darstellt, 109 das prädiktive Heraufumsetzmodul darstellt und 110, 111 und 112 den rekonstruierten Links-, Mitte- bzw. Rechts-Kanal darstellen.
Es seien die folgenden Definitionen angenommen, wobei X eine 3×L-Matrix ist, die die drei Signalsegmente l(k), r(k), c(k), k = 0, ..., L – 1 als Zeilen umfasst.
Gleichermaßen sollen die zwei herunterumgesetzten Signale l₀(k), r₀(k) die Zeilen von X₀ bilden. Der Herunterumsetzprozess ist beschrieben durch X0 = DX, (1) wobei die Herunterumsetzmatrix definiert ist durch
Eine bevorzugte Wahl einer Herunterumsetzmatrix lautet
was bedeutet, dass das Links-Herunterumsetzsignal l₀(k) lediglich l(k) und αc(k) umfasst und r₀(k) lediglich r(k) und αc(k) umfasst. Diese Herunterumsetzmatrix ist bevorzugt, da dieselbe der Links- und der Rechts-Herunterumsetzung eine gleiche Größe des Mitte-Kanals zuweist und da dieselbe der Links-Herunterumsetzung keinen ursprünglichen Rechts-Kanal zuweist oder umgekehrt.
Die Heraufumsetzung ist definiert durch X ^ = CX0, (4) wobei C eine 3×2-Heraufumsetzmatrix ist.
Die prädiktive Heraufumsetzung, die aus dem Stand der Technik bekannt ist, stützt sich auf den Gedanken eines Lösens des überbestimmten Systems CX0 = X (5)nach C in dem Sinn kleinster Quadrate. Dies führt zu den normalen Gleichungen CX0X*0 = XX*0 . (6)
Ein Multiplizieren von (6) auf der linken mit D ergibt DCX₀X * / 0 = X₀X * / 0, was in dem allgemeinen Fall, in dem X₀X₀* = DXX*D* nichtsingulär ist, DC = I2 (7)impliziert, wobei I_n die n-Identitätsmatrix bezeichnet. Diese Beziehung reduziert den Parameterraum C auf die zweite Dimension.
Angesichts des Obigen kann die Heraufumsetzmatrix
auf der Decodiererseite vollständig definiert werden, falls die Herunterumsetzmatrix D bekannt ist und zwei Elemente der C-Matrix übertragen werden, z. B. c₁₁ und c₂₂.
Die restlichen (Prädiktionsfehler-) Signale sind gegeben durch Xr = X – X ^ =(I3 – CD)X. (8)
Ein Multiplizieren auf der linken mit D ergibt DXr = (D – DCD)X = 0 (9)aufgrund von (7). Es folgt, dass es ein 1×L-Zeilenvektorsignal x_r ergibt, derart, dass Xr = vxr (10)wobei v ein 3×1-Einheitsvektor ist, der den Kernel (Nullraum) von D überspannt. In dem Fall der Herunterumsetzung (3) kann man beispielsweise
verwenden.
Wenn v = [ν_l, ν_r, ν_c]^T und X ^ = [l ^(k), rr ^((k), c ^(k)]T gilt, bedeutet dies im Allgemeinen nur, dass bis zu einem Gewichtungsfaktor das Restsignal für alle drei Kanäle gemeinsam ist, l(k) = l ^(k) + νlxr(k) r(k) = r ^(k) + νrxr(k) c(k) = c ^(k) + νcxr(k). (12)
Aufgrund des Orthogonalitätsprinzips ist der Rest x_r(k) orthogonal zu allen drei vorausgesagten Signalen l ^(k), r ^(k), c ^(k).
Gelöste Probleme und erhaltene Verbesserungen durch bevorzugte Ausführungsbeispiele der vorliegenden Erfindung
Es ergeben sich offensichtlich die folgenden Probleme bei einem Verwenden einer prädiktionsbasierten Heraufumsetzung gemäß dem Stand der Technik, wie es oben umrissen ist:

• Das Verfahren stützt sich auf ein Anpassen eines Signalverlaufs in einem Sinn kleinster mittlerer Fehlerquadrate, was nicht bei Systemen funktioniert, bei denen der Signalverlauf der herunterumgesetzten Signale nicht beibehalten ist.
• Das Verfahren liefert nicht die korrekte Korrelationsstruktur zwischen den rekonstruierten Kanälen (wie es unten umrissen wird).
• Das Verfahren rekonstruiert nicht die richtige Menge an Energie in den rekonstruierten Kanälen.

Energiekompensation
Wie es oben erwähnt wurde, besteht eines der Probleme bei einer prädiktionsbasierten Mehrkanalrekonstruktion darin, dass der Prädiktionsfehler einem Energieverlust der drei rekonstruierten Kanäle entspricht. Unten ist die Theorie für diesen Energieverlust und eine Lösung umrissen, die durch bevorzugte Ausführungsbeispiele gelehrt wird. Ersten wird die theoretische Analyse durchgeführt und nachfolgend wird ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung gemäß der unten umrissenen Theorie gegeben.
E, E ^ und E_r seien die Summe der Energien der ursprünglichen Signale in X, der vorausgesagten Signale in X ^ bzw. der Prädiktionsfehlersignale in X_r. Aus der Orthogonalität folgt E = E ^ + Er (13)
Der Gesamtprädiktionsgewinn kann definiert sein als
aber im Folgenden wird es zweckmäßiger sein, den Parameter
zu betrachten.
Somit misst ρ² ∊[0,1] die gesamte relative Energie der prädiktiven Heraufumsetzung.
Angesichts dieses ρ ist es möglich, jeden Kanal durch ein Anwenden eines Kompensationsgewinns, z ^g(k) = gzz ^(k), neu einzustellen, derart, dass ||z ^g||2 = ||z||2 für z = l, r, c gilt. Genau gesagt ist die Zielenergie gegeben durch (12), ||z||2 = ||z ^||2 + ν2z ||xr||2, (15)so dass man g2z ||z ^||2 = ||z ^||2 + ν2z ||xr||2 (16)lösen muss.
Da v ein Einheitsvektor ist, gilt hier Er = ||xr||2, (17)und es folgt aus der Definition (14) von ρ und (13), dass
Wenn man all dies zusammensetzt, gelangt man zu dem Gewinn
Es ist offensichtlich, das bei diesem Verfahren, zusätzlich zu einem Übertragen von ρ, die Energieverteilung der decodierten Kanäle an dem Decodierer berechnet werden muss. Zudem werden lediglich die Energien korrekt rekonstruiert, während die außerdiagonale Korrelationsstruktur ignoriert wird.
Es ist möglich, einen Gewinnwert abzuleiten, der sicherstellt, dass die Gesamtenergie bewahrt wird, während nicht sichergestellt ist, dass die Energie der einzelnen Kanäle korrekt ist. Ein gemeinsamer Gewinn für alle Kanäle g_z = g, der sicherstellt, dass die Gesamtenergie bewahrt wird, wird über die definierende Gleichung g2E ^ = E erhalten. Das heißt
Durch eine Linearität kann dieser Gewinn in dem Codierer auf die herunterumgesetzten Signale angewandt werden, so dass kein zusätzlicher Parameter übertragen werden muss.
2 umreißt ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung, das die drei Kanäle wieder erzeugt, während die korrekte Energie der Ausgangskanäle beibehalten wird. Die herunterumgesetzten Signale l₀ und r₀ werden zusammen mit den Prädiktionsparametern c₁ und c₂ in das Heraufumsetzmodul 201 eingegeben. Das Heraufumsetzmodul erzeugt die Heraufumsetzmatrix C wieder basierend auf einer Kenntnis über die Herunterumsetzmatrix D und die empfangenen Prädiktionsparameter. Die drei Ausgangskanäle von 201 werden zusammen mit dem Einstellungsparameter ρ in 202 eingegeben. Die drei Kanäle werden in Abhängigkeit des übertragenen Parameters ρ gewinnmäßig eingestellt und die energiemäßig korrigierten Kanäle werden ausgegeben.
In 3 ist ein detaillierteres Ausführungsbeispiel des Einstellungsmoduls 202 angezeigt. Die drei heraufumgesetzten Kanäle werden in ein Einstellungsmodul 304, sowie in ein Modul 301, 302 bzw. 303 eingegeben. Die Energieschätzungsmodule 301 – 303 schätzen die Energie der drei heraufumgesetzten Signale und geben die gemessene Energie an das Einstellungsmodul 304 aus. Das Steuersignal ρ (das den Prädiktionsgewinn darstellt), das von dem Codierer empfangen wird, wird auch in 304 eingegeben. Das Einstellungsmodul implementiert Gleichung (19), wie es oben umrissen ist.
Bei einer alternativen Implementierung der vorliegenden Erfindung kann die Energiekorrektur auf der Codiererseite vorgenommen werden. 4 stellt eine Implementierung des Codierers dar, bei der die herunterumgesetzten Signale l₀ 107 und r₀ 108 durch 401 und 402 gemäß einem Gewinnwert, der durch 403 berechnet wird, gewinnmäßig eingestellt werden. Der Gewinnwert ist gemäß Gleichung (20) oben abgeleitet. Wie es oben umrissen ist, ist es ein Vorteil dieses Ausführungsbeispiels der vorliegenden Erfindung, da es nicht notwendig ist, die Energie der drei wiedererzeugten Kanäle aus der prädiktiven Heraufumsetzung zu berechnen. Dies stellt jedoch lediglich sicher, dass die Gesamtenergie der drei wiedererzeugten Kanäle korrekt ist. Dasselbe stellt nicht sicher, dass die Energie der einzelnen Kanäle korrekt ist.
Ein bevorzugtes Beispiel für eine Herunterumsetzmatrix, die Gleichung (3) entspricht, ist unten bei dem Herunterumsetzer in 4 angegeben. Der Herunterumsetzer kann jedoch irgendeine allgemeine Herunterumsetzmatrix anwenden, wie es in Gleichung (2) umrissen ist.
Wie es später umrissen wird, sind für den vorliegenden Fall eines Herunterumsetzers, der als einen Eingang drei Kanäle aufweist und als einen Ausgang zwei Kanäle aufweist, zwei zusätzliche Heraufumsetzparameter c₁, c₂ erforderlich. Wenn eine Herunterumsetzmatrix D variabel ist oder einem Decodierer nicht vollständig bekannt ist, müssen zusätzlich zu den Parametern 105 und 106 auch zusätzliche Informationen über die verwendete Herunterumsetzung von der Codiererseite an eine Decodiererseite übertragen werden.
Korrelationsstruktur
Eines der Probleme bei der Heraufumsetzprozedur, die durch den Stand der Technik beschrieben ist, besteht darin, dass dieselbe nicht die korrekte Korrelation zwischen den wiedererzeugten Kanälen rekonstruiert. Wie es oben umrissen wurde, da der Mitte-Kanal als eine lineare Kombination des Links-Herunterumsetzkanals und des Rechts-Herunterumsetzkanals vorausgesagt wird und der Links- und der Rechts-Kanal durch ein Subtrahieren des vorausgesagten Mitte-Kanals von dem Links- und dem Rechts-Herunterumsetzkanal rekonstruiert werden. Es ist offensichtlich, dass der Prädiktionsfehler zu Resten des ursprünglichen Mitte-Kanals in dem vorausgesagten Links- und dem Rechts-Kanal führen wird. Dies impliziert, dass die Korrelationen zwischen den drei Kanälen für die rekonstruierten Kanäle nicht die gleichen wie für die ursprünglichen drei Kanäle sind.
Ein bevorzugtes Ausführungsbeispiel lehrt, dass die vorausgesagten drei Kanäle mit dekorrelierten Signalen gemäß dem gemessenen Prädiktionsfehler kombiniert werden sollten.
Die grundlegende Theorie zum Erreichen der korrekten Korrelationsstruktur wird nun umrissen. Die spezielle Struktur des Rests kann verwendet werden, um die vollständige 3×3-Korrelationsstruktur XX* durch ein Substituieren eines dekorrelierten Signals x_d mit dem Rest in dem Decodierer zu rekonstruieren.
Erstens ist zu beachten, dass die normalen Gleichungen (6) zu XrX*0 = 0 führen, also X,X ^* = 0, X ^X*r = 0. (21)
Wenn X = X ^ + X_r, gilt somit XX* = X ^X ^* + XrX*r = X ^X ^* + vv*Er (22)wobei (10) und (17) für die letzte Gleichheit angewandt wurden.
Es sei x_d ein Signal, dass von allen decodierten Signalen l ^, r ^, c ^ dekorreliert ist, derart, dass X ^x*r = 0 gilt. Das verbesserte Signal Y + vxd (23)weist dann die Korrelationsmatrix YY* X ^X ^* + vv*||xd||2 (24)auf. Um die ursprüngliche Korrelationsmatrix (22) vollständig zu reproduzieren, genügt es, dass ||xd||2 = Er. (25)
Falls x_d durch ein Dekorrelieren des herunterumgesetzten Signals erhalten wird, beispielsweise 1/2(l₀ + r₀), gefolgt von einem Gewinn γ, dann sollte gelten, dass γ2||1/2(l0 + r0)|| = Er. (26)
Dieser Gewinn kann in dem Codierer berechnet werden. Falls jedoch der besser definierte Parameter ρ² ∊[0,1] aus (14) verwendet werden soll, muss eine Schätzung von E ^ und ||1/2(l₀ + r₀)|| in dem Decodierer durchgeführt werden. Angesichts dessen besteht eine ansprechendere Alternative darin, x_d unter Verwendung von drei Dekorrelatoren xd = γ·(d1{l ^} + d2{r ^} + d3{c ^}) (26a)zu erzeugen, da dann ||xd||2 = γ2E ^ gilt, so dass (25) erfüllt ist durch die Wahl von
5 stellt ein Ausführungsbeispiel der vorliegenden Erfindung für eine prädiktive Heraufumsetzung von drei Kanälen aus zwei Herunterumsetzkanälen dar, während die korrekte Korrelationsstruktur zwischen den Kanälen beibehalten wird. In 5 sind die Module 109, 110, 111 und 112 die gleichen wie in 1 und werden hier nicht weiter ausführlich behandelt. Die drei heraufumgesetzten Signale, die von 109 ausgegeben werden, werden in Dekorrelationsmodule 501, 502 und 503 eingegeben. Diese erzeugen gegenseitig dekorrelierte Signale. Die dekorrelierten Signale werden summiert und in die Mischmodule 504, 505 und 506 eingegeben, wo dieselben mit der Ausgabe von 109 gemischt werden. Das Mischen der prädiktiven heraufumgesetzten Signale mit dekorrelierten Versionen derselben ist ein wesentliches Merkmal der vorliegenden Erfindung. In 6 ist ein Ausführungsbeispiel der Mischmodule 504, 505 und 506 angezeigt. Bei diesem Ausführungsbeispiel der Erfindung wird der Pegel des dekorrelierten Signals durch 601 basierend auf dem Steuersignal γ eingestellt. Das dekorrelierte Signal wird nachfolgend zu dem prädiktiven heraufumgesetzten Signal in 602 addiert.
Ein drittes bevorzugtes Ausführungsbeispiel verwendet Dekorrelatoren 501, 502, 503 für die heraufumgesetzten Kanäle. Ein dekorreliertes Signal kann auch durch einen Dekorrelator 501' erzeugt werden, der als ein Eingangssignal den Herunterumsetzkanal oder sogar alle Herunterumsetzkanäle empfängt. In dem Fall von mehr als einem Herunterumsetzkanal, wie es in 5 gezeigt ist, kann das Dekorrelationssignal ferner auch durch getrennte Dekorrelatoren für den Links-Basiskanal l₀ und den Rechts-Basiskanal r₀ und durch ein Kombinieren der Ausgabe dieser getrennten Dekorrelatoren erzeugt werden. Diese Möglichkeit ist im Wesentlichen die gleiche wie die in 5 gezeigte Möglichkeit, aber weist einen Unterschied bezüglich der in 5 gezeigten Möglichkeit dahingehend auf, dass die Basiskanäle vor einem Heraufumsetzen verwendet werden.
Ferner ist in Verbindung mit 5 umrissen, dass die Mischmodule 504, 505 und 506 nicht nur den Faktor γ empfangen, der für alle drei Kanäle gleich ist, da dieser Faktor lediglich von dem Energiemaß ρ abhängt, sondern auch den kanalspezifischen Faktor νl, νc und νr empfangen, der bestimmt wird, wie es in Verbindung mit Gleichung (10) und (11) umrissen ist. Dieser Parameter muss jedoch nicht von einem Codierer zu einem Decodierer übertragen werden, wenn der Decodierer die Herunterumsetzung kennt, die bei dem Codierer verwendet wird. Anstelle dessen sind diese Parameter in der Matrix v, wie es in Gleichung (10) und (11) gezeigt ist, vorzugsweise in die Mischmodule 504, 505 und 506 vorprogrammiert, so dass diese kanalspezifischen Gewichtungsfaktoren nicht übertragen werden müssen (aber natürlich übertragen werden können, wenn es erforderlich ist).
In 6 ist gezeigt, dass die Gewichtungsvorrichtung 601 die Energie des dekorrelierten Signals unter Verwendung des Produktes von γ und dem kanalspezifischen herunterumsetzabhängigen Parameter νz einstellt, wobei z für l, r oder c steht. In diesem Zusammenhang ist zu beachten, dass Gleichung (26a) sicherstellt, dass die Energie von x_d gleich der Summenenergie der prädiktiv heraufumgesetzten Links-, Rechts- und Mitte-Kanäle ist. Deshalb kann die Vorrichtung 601 einfach als ein Skalierer implementiert sein, der den Skalierungsfaktor GI verwendet. Wenn jedoch das dekorrelierte Signal alternativ erzeugt wird, muss das Mischmodul 504, 505, 506 eine Absolutenergieeinstellung des dekorrelierten Signals durchführen, das durch eine Addiervorrichtung 602 addiert wird, so dass die Energie des Signals, das an dem Addierer 602 addiert wird, gleich der Energie des Restsignals ist, z. B. der Energie, die durch die nicht energiebewahrende prädiktive Heraufumsetzung verloren geht.
Hinsichtlich des kanalspezifischen herunterumsetzabhängigen Parameters νz gelten die gleichen Bemerkungen, die oben mit Bezug auf 6 umrissen sind, auch für das Ausführungsbeispiel von 7.
Ferner ist hier zu beachten, dass die Ausführungsbeispiele von 6 und 7 auf der Erkenntnis beruhen, dass zumindest ein Teil der Energie, die bei dem prädiktiven Heraufumsetzen verloren geht, unter Verwendung eines Dekorrelationssignals addiert wird. Um korrekte Signalenergien und korrekte Abschnitte der Trockensignalkomponente (unkorreliert) und der „Nass"-Signalkomponente (dekorreliert) zu haben, ist sicherzustellen, dass das „Trocken"-Signal, das in das Mischmodul 504 eingegeben wird, nicht vorskaliert ist. Wenn beispielsweise die Basiskanäle auf der Codiererseite vorkorrigiert wurden (wie es in 4 gezeigt ist), dann muss diese Vorkorrektur von 4 durch ein Multiplizieren des Kanals mit dem (relativen) Energiemaß ρ kompensiert werden, bevor der Kanal in den Mischerkasten 504, 505 oder 506 eingegeben wird. Zusätzlich muss die gleiche Prozedur vorgenommen werden, wenn eine derartige Energiekorrektur auf einer Decodiererseite durchgeführt wurde, bevor die Herunterumsetzkanäle in den Heraufumsetzer 109 eingegeben werden, wie es in 5 gezeigt ist.
Wenn lediglich ein Teil der Restenergie durch ein dekorreliertes Signal abgedeckt werden soll, muss eine Vorkorrektur nur partiell durch ein Vorskalieren des Signals, das in den Mischkasten 504, 505, 506 eingegeben wird, um einen ρ-abhängigen Faktor entfernt werden, der jedoch näher an Eins liegt als der Faktor ρ selbst. Natürlich hängt dieser teilweise kompensierende Vorskalierungsfaktor von dem codierererzeugten Signal κ ab, das bei 605 in 7 eingegeben wird. Wenn eine derartige partielle Vorskalierung durchgeführt werden muss, dann ist der Gewichtungsfaktor, der bei G₂ angewandet wird, nicht notwendig. Anstelle dessen ist dann die Verzweigung von dem Eingang 604 zu dem Summierer 602 der gleiche wie in 6.
Steuern des Grades an Dekorrelation
Ein bevorzugtes Ausführungsbeispiel der Erfindung lehrt, dass die Größe einer Dekorrelation, die zu den vorausgesagten heraufabgetasteten Signalen addiert wird, von dem Codierer aus gesteuert werden kann, während immer noch die korrekte Ausgabeenergie beibehalten wird. Dies ist so, weil bei einem typischen „Interview"-Beispiel von trockener Sprache in dem Mitte-Kanal und einer Umgebung in dem Links- und dem Rechts-Kanal die Substitution eines dekorrelierten Signals mit einem Prädiktionsfehler in dem Mitte-Kanal eventuell unerwünscht ist.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann eine alternative Mischprozedur zu derselben, die in 5 umrissen ist, verwendet werden. Unten wird gezeigt, wie gemäß der vorliegenden Erfindung die Probleme einer Gesamtenergiebewahrung und einer echten Korrelationswiedergabe getrennt werden können und die Größe einer Dekorrelation durch den Parameter κ gesteuert werden kann.
Es sei angenommen, dass eine Gesamtenergie bewahrende Gewinnkompensation (20) an dem herunterumgesetzten Signal durchgeführt wurde, so dass man zuerst das decodierte Signal X ^/ρ erhält. Aus diesem wird ein dekorreliertes Signal d mit der gleichen Gesamtenergie ||d||2 = E^/ρ2 erzeugt, beispielsweise durch eine Verwendung von drei Dekorrelatoren, wie bei dem vorhergehenden Abschnitt. Die gesamte Heraufumsetzung ist dann definiert gemäß
wobei κ ∊ [ρ,1] ein übertragender Parameter ist. Die Wahl κ = 1 entspricht einer Gesamtenergiebewahrung ohne Hinzufügung eines dekorrelierten Signals, und κ = ρ entspricht einer vollständigen 3×3-Korrelationsstrukturwiedergabe. Man erhält
so dass die Gesamtenergie für alle κ ∊ [ρ,1] bewahrt wird, wie es durch ein Berechnen der Spuren (Summe von Diagonalwerten) der Matrizen in (30) zu sehen ist. Eine korrekte einzelne Energie wird jedoch lediglich für κ = ρ erhalten.
7 stellt ein Ausführungsbeispiel der Mischmodule 504, 505 und 506 von 5 gemäß der oben umrissenen Theorie dar. Bei dieser Alternative der Mischmodule wird der Steuerparameter γ in 702 und 701 eingegeben. Der Gewinnfaktor, der für 702 verwendet wird, entspricht κ gemäß der obigen Gleichung (29) und der Gewinnfaktor, der für 701 verwendet wird, entspricht
gemäß der obigen Gleichung (29).
Das oben beschriebene Ausführungsbeispiel der vorliegenden Erfindung ermöglicht, dass das System einen Erfassungsmechanismus auf der Codiererseite einsetzt, der die Größe einer Dekorrelation schätzt, die bei der prädiktionsbasierten Heraufumsetzung addiert werden soll. Die in 7 beschriebene Implementierung addiert die angegebene Größe eines dekorrelierten Signals und wendet eine Energiekorrektur an, so dass die Gesamtenergie der drei Kanäle korrekt ist, während dieselbe immer noch in der Lage ist, eine beliebige Größe des Prädiktionsfehlers durch ein dekorreliertes Signal zu ersetzen.
Dies bedeutet, dass bei einem Beispiel mit drei Umgebungssignalen, z. B. ein klassisches Musikstück mit viel Umgebung, der Codierer das Fehlen eines „trockenen" Mitte-Kanals erfassen kann und den Decodierer den gesamten Prädiktionsfehler mit einem dekorrelierten Signal ersetzen lassen kann, wobei so die Umgebung des Klangs von den drei Kanälen auf eine Weise wiedererzeugt wird, die mit prädiktionsbasierten Verfahren des Stands der Technik allein nicht möglich wäre. Bei einem Signal mit einem trockenen Mitte-Kanal, z. B. Sprache in dem Mitte-Kanal und Umgebungsklängen in dem Links- und dem Rechts-Kanal, erfasst der Codierer, dass ein Ersetzen des Prädiktionsfehlers durch ein dekorreliertes Signal psychoakustisch nicht korrekt ist, und lässt anstelle dessen den Decodierer die Pegel der drei rekonstruierten Kanäle einstellen, so dass die Energie der drei Kanäle korrekt ist. Offensichtlich stellen die extremen Beispiele oben zwei mögliche Resultate der Erfindung dar. Dieselbe ist nicht begrenzt, lediglich die Extremfälle abzudecken, die in den obigen Beispielen umrissen sind.
Anpassen der Prädiktionskoeffizienten an modifizierte Signalverläufe.
Wie es oben umrissen ist, werden die Prädiktionsparameter durch ein Minimieren des mittleren Fehlerquadrats geschätzt, das in den ursprünglichen drei Kanälen X und einer Herunterumsetzmatrix D gegeben ist. In vielen Situationen jedoch kann man sich nicht darauf verlassen, dass das herunterumgesetzte Signal als eine Herunterumsetzmatrix D multipliziert mit einer Matrix X beschrieben werden kann, die das ursprüngliche Mehrkanalsignal beschreibt.
Ein offensichtliches Beispiel für dies ist, wenn eine so genannte „künstlerische Herunterumsetzung" verwendet wird, d. h. die Zweikanalherunterumsetzung kann nicht als eine lineare Kombination des Mehrkanalsignals beschrieben werden. Ein anderes Beispiel ist, wenn das herunterumgesetzte Signal durch einen Wahrnehmungsaudiocodec codiert ist, der eine Stereovorverarbeitung oder andere Werkzeuge für eine verbesserte Codiereffizienz verwendet. Es ist im Stand der Technik allgemein bekannt, dass sich viele Wahrnehmungsaudiocodecs auf eine Mitte/Seite-Stereocodierung stützen, bei der das Seite-Signal unter einer Bedingung mit eingeschränkter Bitrate gedämpft wird, was eine Ausgabe ergibt, die ein schmaleres Stereobild als dieses des Signals aufweist, das zum Codieren verwendet wird.
8 zeigt ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung, bei dem die Parameterextraktion auf der Codiererseite neben dem Mehrkanalsignal auch einen Zugriff auf das modifizierte Herunterumsetzsignal hat. Die modifizierte Herunterumsetzung wird hier durch 801 erzeugt. Falls lediglich zwei Parameter der C-Matrix übertragen werden, wird eine Kenntnis der D-Matrix auf der Decodierer-Seite benötigt, um in der Lage zu sein, die Heraufumsetzung vorzunehmen und das geringste mittlere Fehlerquadrat für alle heraufumgesetzten Kanäle zu erhalten. Das vorliegende Ausführungsbeispiel lehrt jedoch, dass man die herunterumgesetzten Signale l₀ und r₀ auf der Codiererseite durch die herunterumgesetzten Signale l'₀ und r'₀ ersetzen kann, die durch ein Verwenden einer Herunterumsetzmatrix D erhalten werden, die nicht zwangsläufig die gleiche wie diese ist, die an dem Decodierer angenommen wird. Ein Verwenden der alternativen Herunterumsetzung für eine Parameterschätzung auf der Codiererseite garantiert lediglich eine korrekte Mitte-Kanal-Wiedergabe auf der Decodiererseite. Durch ein Übertragen zusätzlicher Informationen von dem Codierer an den Decodierer kann eine genauere Heraufumsetzung der drei Kanäle erhalten werden. In einem Extremfall können alle sechs Elemente der C-Matrix übertragen werden. Das vorliegende Ausführungsbeispiel lehrt jedoch, dass ein Teilsatz der C-Matrix übertragen werden kann, falls derselbe von Informationen über die Herunterumsetzmatrix D begleitet ist, die 802 verwendete.
Wie zuvor erwähnt, setzen Wahrnehmungsaudiocodecs eine Mitte/Seite-Codierung für eine Stereocodierung bei niedrigen Bitraten ein. Ferner wird eine Stereovorverarbeitung häufig eingesetzt, um die Energie des Zeit-Signals unter Bedingungen mit eingeschränkter Bitrate zu reduzieren. Dies wird basierend auf dem psychoakustischen Gedanken vorgenommen, dass für ein Stereosignal gegenüber einer hörbaren Quantisierungsverzerrung und einer Bandbreitenbegrenzung eine Reduzierung der Breite des Stereosignals ein bevorzugtes Codierartefakt ist.
Falls eine Stereovorverarbeitung verwendet wird, kann somit die Herunterumsetzgleichung (3) ausgedrückt werden als
wobei γ die Dämpfung des Seite-Signals ist. Wie es früher umrissen wurde, muss die D-Matrix auf der Decodiererseite bekannt sein, um korrekt in der Lage zu sein, die drei Kanäle zu rekonstruieren. Daher lehrt das vorliegende Ausführungsbeispiel, dass der Dämpfungsfaktor an den Decodierer gesendet werden sollte.
9 zeigt ein anderes Ausführungsbeispiel der vorliegenden Erfindung, bei dem das Herunterumsetzsignal l₀ und r₀, das von 104 ausgegeben wird, in eine Stereovorverarbeitungsvorrichtung 901 eingegeben wird, die das Seite-Signal (l₀ – r₀) der Mitte/Seite-Darstellung des Herunterumsetzsignals um einen Faktor γ begrenzt. Dieser Parameter wird an den Decodierer übertragen.
Parametrisierung für HFR-Codec-Signale
Falls die prädiktionsbasierte Heraufumsetzung bei Hochfrequenzrekonstruktionsverfahren wie SBR [ WO 98/57436 ] verwendet wird, stimmen die Prädiktionsparameter, die auf der Codiererseite geschätzt werden, nicht mit dem wiedererzeugten Hochbandsignal auf der Decodiererseite überein. Das vorliegende Ausführungsbeispiel lehrt die Verwendung einer alternativen nicht signalverlaufsbasierten Heraufumsetzstruktur für eine Wiedererzeugung von drei Kanälen aus zweien. Die vorgeschlagene Heraufumsetzprozedur ist entworfen, um die korrekte Energie aller heraufumgesetzten Kanäle in einem Fall von unkorrelierten Rauschsignalen wieder zu erzeugen.
Es sei angenommen, dass die Herunterumsetzmatrix D_α verwendet wird, wie es (3) definiert ist. Und dass man nun die Heraufumsetzmatrix C definiert. Dann ist die Heraufumsetzung definiert durch X ^ = CX0. (32)
Wenn man lediglich nach einem Wiedererzeugen der korrekten Energie des heraufumgesetzten Signals l(k), r(k) und c(k) strebt, wobei die Energien L, R und C betragen, ist die Heraufumsetzmatrix gewählt, so dass die Diagonalelemente von X ^X ^* und XX* die gleichen sind, gemäß:
Der entsprechende Ausdruck für die Herunterumsetzmatrix lautet
Ein Gleichsetzen des Diagonalelements von X ^X ^* mit dem Diagonalelement von XX* führt zu drei Gleichungen, die die Beziehung zwischen den Elementen C und L, R und C definieren.
Basierend auf dem obigen kann eine Heraufumsetzmatrix definiert werden. Es ist bevorzugt, eine Heraufumsetzmatrix zu definieren, die den herunterumgesetzten Rechts-Kanal nicht zu dem heraufumgesetzten Links-Kanal addiert und umgekehrt. Somit kann eine geeignete Heraufumsetzmatrix
lauten. Dies ergibt eine C-Matrix gemäß:
Es lässt sich zeigen, dass die Elemente der C-Matrix auf der Decodiererseite aus den zwei übertragenen Parametern
wiedererzeugt werden können.
10 umreißt ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung. Hier sind 101 – 112 die gleichen wie in 1 und werden hier nicht weiter detailliert behandelt. Die drei ursprünglichen Signale 101 – 103 werden in das Schätzungsmodul 1001 eingegeben. Dieses Modul schätzt zwei Parameter, z. B.
aus denen die C-Matrix auf der Decodiererseite abgeleitet werden kann. Diese Parameter, zusammen mit den Parametern, die von 104 ausgegeben werden, werden in ein Auswahlmodul 1002 eingegeben. Bei einem bevorzugten Ausführungsbeispiel gibt das Auswahlmodul 1002 die Parameter von 104 aus, falls die Parameter einem Frequenzbereich entsprechen, der durch einen Signalverlaufscodec codiert ist, und gibt die Parameter von 1001 aus, falls die Parameter einem Frequenzbereich entsprechen, der durch eine HFR rekonstruiert ist. Das Auswahlmodul 1002 gibt auch Informationen 1005 darüber aus, welche Parametrisierung für die unterschiedlichen Frequenzbereiche des Signals verwendet wird.
Auf der Decodiererseite nimmt das Modul 1004 die übertragenen Parameter und leitet dieselben an die prädiktive Heraufumsetzung 109 oder die energiebasierte Heraufumsetzung 1003 gemäß dem Obigen abhängig von der Angabe, die durch den Parameter 1005 gegeben ist. Die energiebasierte Heraufumsetzung 1003 implementiert die Heraufumsetzmatrix C gemäß der Gleichung (40).
Die Heraufumsetzmatrix C, die in Gleichung (40) umrissen ist, weist gleiche Gewichtungen (6) auf, um das geschätzte (Decodierer-) Signal c(k) aus den zwei herunterumgesetzten Signalen l₀(k), r₀(k) zu erhalten. Basierend auf der Beobachtung, dass die relative Größe des Signals c(k) sich bei den zwei herunterumgesetzten Signalen l₀(k), r₀(k) unterscheiden kann (d. h. C/L nicht gleich C/R), könnte man auch die folgende generische Heraufumsetzmatrix betrachten:
Um c(k) zu schätzen, erfordert dieses Ausführungsbeispiel auch eine Übertragung von zwei Steuerparametern c₁ und c₂, die beispielsweise gleich c₁ = α²C/(L + α²X) und c₂ = α²X/(R + α²C) sind. Eine mögliche Implementierung der Heraufumsetzmatrixfunktionen f_i ist dann gegeben durch
Die Signalisierung der unterschiedlichen Parametrisierung für den SBR-Bereich gemäß der vorliegenden Erfindung ist nicht auf SBR begrenzt. Die oben umrissene Parametrisierung kann bei irgendeinem Frequenzbereich verwendet werden, bei dem der Prädiktionsfehler der prädiktionsbasierten Heraufumsetzung als zu groß erachtet wird. Somit kann das Modul 1002 die Parameter von 1001 oder 104 abhängig von einer Vielzahl von Kriterien ausgeben, wie beispielsweise einem Codierverfahren der übertragenen Signale, einem Prädiktionsfehler, etc.
Ein bevorzugtes Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion umfasst auf der Codiererseite ein Extrahieren unterschiedlicher Mehrkanalparametrisierungen für unterschiedliche Frequenzbereiche und auf der Decodiererseite ein Anwenden dieser Parametrisierungen auf die Frequenzbereiche, um die mehreren Kanäle zu rekonstruieren.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, die auf der Codiererseite ein Extrahieren von Informationen über den verwendeten Herunterumsetzprozess und ein nachfolgendes Senden dieser Informationen an einen Decodierer und auf der Decodiererseite ein Anwenden einer Heraufumsetzung basierend auf extrahierten Prädiktionsparametern und den Informationen über die Herunterumsetzung umfasst, um die mehreren Kanäle zu rekonstruieren.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, bei dem auf der Codiererseite die Energie des Herunterumsetzsignals gemäß einem Prädiktionsfehler eingestellt wird, der für die extrahierten prädiktiven Heraufumsetzparameter erhalten wird.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung bezieht sich auf ein Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, bei dem auf der Decodiererseite eine Energie, die aufgrund des Prädiktionsfehlers verloren geht, durch ein Anwenden eines Gewinns auf die heraufumgesetzten Kanäle kompensiert wird.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung bezieht sich auf ein Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, bei dem auf der Decodiererseite die Energie, die aufgrund eines Prädiktionsfehlers verloren geht, durch ein dekorreliertes Signal ersetzt wird.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung bezieht sich auf ein Verfahren für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, bei dem auf der Decodiererseite ein Teil der Energie, die aufgrund eines Prädiktionsfehlers verloren geht, durch ein dekorreliertes Signal ersetzt wird und ein Teil der verlorenen Energie durch ein Anwenden eines Gewinns auf die heraufumgesetzten Kanäle ersetzt wird. Dieser Teil der verlorenen Energie wird vorzugsweise von einem Codierer signalisiert.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, die eine Einrichtung zum Einstellen der Energie des Herunterumsetzsignals gemäß dem Prädiktionsfehler aufweist, der für die extrahierten prädiktiven Heraufumsetzparameter erhalten wird.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, die eine Einrichtung zum Kompensieren des Energieverlusts aufgrund des Prädiktionsfehlers durch ein Anwenden eines Gewinns auf die heraufumgesetzten Kanäle aufweist.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, die eine Einrichtung zum Ersetzen der Energie, die aufgrund des Prädiktionsfehlers verloren geht, durch ein dekorreliertes Signal aufweist.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, die eine Einrichtung zum Ersetzen eines Teils der Energie, die aufgrund des Prädiktionsfehlers verloren geht, durch ein dekorreliertes Signal und eines Teils der verlorenen Energie durch ein Anwenden eines Gewinns auf die heraufumgesetzten Kanäle aufweist.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist ein Codierer für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, der ein Einstellen der Energie des Herunterumsetzsignals gemäß dem Prädiktionsfehler umfasst, der für die extrahierten prädiktiven Heraufumsetzparameter erhalten wird.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist ein Decodierer für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, der ein Kompensieren eines Energieverlusts aufgrund des Prädiktionsfehlers durch ein Anwenden eines Gewinns auf die heraufumgesetzten Kanäle umfasst.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung bezieht sich auf einen Decodierer für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, der ein Ersetzen der Energie, die aufgrund des Prädiktionsfehlers verloren wird, durch ein dekorreliertes Signal umfasst.
Ein weiteres bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist ein Decodierer für eine verbesserte prädiktionsbasierte Mehrkanalrekonstruktion, der ein Ersetzen eines Teils der Energie, die aufgrund des Prädiktionsfehlers verloren wird, durch ein dekorreliertes Signal und eines Teils der verlorenen Energie durch ein Anwenden eines Gewinns auf die herunterumgesetzten Kanäle umfasst.
11 zeigt einen Mehrkanalsynthetisierer zum Erzeugen zumindest dreier Ausgangskanäle 1100 unter Verwendung eines Eingangssignals, das zumindest einen Basiskanal 1102 aufweist, wobei der zumindest eine Basiskanal von einem ursprünglichen Mehrkanalsignal abgeleitet ist. Der in 11 gezeigte Mehrkanalsynthetisierer umfasst eine Heraufumsetzervorrichtung 1104, die implementiert sein kann, wie es in irgendeiner der 2 bis 10 gezeigt ist. Im Allgemeinen ist die Heraufumsetzervorrichtung 1104 wirksam, um den zumindest einen Basiskanal unter Verwendung einer Heraufumsetzregel heraufumzusetzen, so dass die zumindest drei Ausgangskanäle erhalten werden. Der Heraufumsetzer 1104 ist wirksam, um die zumindest drei Ausgangskanäle ansprechend auf ein Energiemaß 1106 und zumindest zwei unterschiedliche Heraufumsetzparameter 1108 unter Verwendung einer einen Energieverlust einbringenden Heraufumsetzregel zu erzeugen, so dass die zumindest drei Ausgangskanäle eine Energie aufweisen, die höher als eine Energie von Signalen ist, die sich aus der einen energieverlusteinbringenden Heraufumsetzregel allein ergibt. Ungeachtet eines Energiefehlers, der von der einen Energieverlust einbringenden Heraufumsetzregel abhängt, führt die Erfindung somit zu einem energiekompensierten Ergebnis, wobei die Energiekompensation durch ein Skalieren und/oder eine Addition eines dekorrelierten Signals erfolgen kann. Die zumindest zwei unterschiedlichen Heraufumsetzparameter 1108 und das Energiemaß 1106 sind in dem Eingangssignal enthalten.
Vorzugsweise ist das Energiemaß irgendein Maß, das auf einen Energieverlust bezogen ist, der durch die Heraufumsetzregel eingebracht wird. Dasselbe kann ein absolutes Maß des durch die Heraufumsetzung eingebrachten Energiefehlers oder der Energie des Heraufumsetzsignals (das normalerweise energiemäßig geringer als das ursprüngliche Signal ist) sein oder dasselbe kann ein relatives Maß sein, wie bei spielsweise eine Beziehung zwischen der Energie des ursprünglichen Signals und der Energie des Heraufumsetzsignals oder eine Beziehung zwischen dem Energiefehler und der Energie des ursprünglichen Signals oder sogar eine Beziehung zwischen dem Energiefehler und der Energie des Heraufumsetzsignals. Ein relatives Energiemaß kann als ein Korrekturfaktor verwendet werden, aber ist dennoch ein Energiemaß, da dasselbe von dem Energiefehler abhängt, der in das Heraufumsetzsignal eingebracht und durch eine einen Energieverlust einbringende Heraufumsetzregel oder – in anderen Worten ausgedrückt – eine nicht energiebewahrende Heraufumsetzregel erzeugt wird.
Eine exemplarische, einen Energieverlust einbringende Heraufumsetzregel (nicht energiebewahrende Heraufumsetzregel) ist eine Heraufumsetzung unter Verwendung übertragener Prädiktionskoeffizienten. Im Fall einer nichtvollkommenen Voraussage eines Rahmens oder eines Subbands eines Rahmens ist das Heraufumsetzausgangssignal durch einen Prädiktionsfehler betroffen, entsprechend einem Energieverlust. Natürlich variiert der Prädiktionsfehler von Rahmen zu Rahmen, da im Fall einer beinahe vollkommenen Voraussage (ein geringer Prädiktionsfehler) lediglich eine kleine Kompensation (durch ein Skalieren oder Addieren eines dekorrelierten Signals) vorgenommen werden muss, während im Fall eines größeren Prädiktionsfehlers (einer nichtvollkommenen Voraussage) mehr Kompensation vorgenommen werden muss. Deshalb variiert das erfindungsgemäße Energiemaß auch zwischen einem Wert, der keine oder lediglich eine geringe Kompensation angibt, und einem Wert, der eine große Kompensation angibt.
Wenn das Energiemaß als ein Zwischenkanalkohärenzwert (ICC-Wert; ICC = InterChannel Coherence) betrachtet wird, wobei diese Betrachtung natürlich ist, wenn die Kompensation durch ein Addieren eines dekorrelierten Signals vorgenommen wird, das abhängig von dem Energiemaß skaliert ist, variiert das vorzugsweise verwendete relative Energiemaß (ρ) typischerweise zwischen 0,8 und 1,0, wobei 1,0 angibt, dass die heraufumgesetzten Signale dekorreliert sind, wie es erforderlich ist, oder dass kein dekorreliertes Signal addiert werden soll, oder dass die Energie des prädiktiven Heraufumsetzergebnisses gleich der Energie des ursprünglichen Signals ist, oder dass der Prädiktionsfehler Null beträgt.
Die vorliegende Erfindung ist jedoch auch in Verbindung mit anderen einen Energieverlust einbringenden Heraufumsetzregeln nützlich, d. h. Regeln, die nicht auf einer Signalverlaufsanpassung basieren, sondern die auf anderen Techniken basieren, wie beispielsweise der Verwendung von Codebüchern, einer Spektralanpassung oder irgendwelchen anderen Heraufumsetzregeln, die sich nicht um eine energiebewahrung kümmern.
Im Allgemeinen kann die Energiekompensation vor oder nach einem Anwenden der einen Energieverlust einbringenden Heraufumsetzregel durchgeführt werden. Alternativ kann die Energieverlustkompensation sogar in die Heraufumsetzregel eingeschlossen werden, wie beispielsweise durch ein Ändern der ursprünglichen Matrixkoeffizienten unter Verwendung des Energiemaßes, so dass eine neue Heraufumsetzregel erzeugt und durch den Heraufumsetzer verwendet wird. Diese neue Heraufumsetzregel basiert auf der einen Energieverlust einbringenden Heraufumsetzregel und dem Energiemaß. In anderen Worten ausgedrückt bezieht sich dieses Ausführungsbeispiel auf eine Situation, in der die Energiekompensation in die „verbesserte" Heraufumsetzregel „gemischt" wird, so dass die Energiekompensation und/oder die Addition eines dekorrelierten Signals durch ein Anwenden einer oder mehrerer Heraufumsetzmatrizen auf einen Eingangsvektor (den einen Basiskanal oder die mehreren Basiskanäle) durchgeführt werden, um (nach der einen oder den mehreren Matrixoperationen) den Ausgangsvektor (das rekonstruierte Mehrkanalsignal mit zumindest drei Kanälen) zu erhalten.
Vorzugsweise empfängt die Heraufumsetzervorrichtung zwei Basiskanäle l₀, r₀ und gibt drei rekonstruierte Kanäle l, r und c aus.
Nachfolgend wird auf 12 Bezug genommen, um ein Beispiel einer Energiesituation an unterschiedlichen Positionen an einem Codierer-Decodierer-Weg zu zeigen. Ein Block 1200 zeigt eine Energie eines Mehrkanalaudiosignals, wie beispielsweise eines Signals, das zumindest einen Links-Kanal, einen Rechts-Kanal und einen Mitte-Kanal aufweist, wie es in 1 gezeigt ist. Bei dem Ausführungsbeispiel in 12 wird angenommen, dass die Eingangskanäle 101, 102, 103 in 1 vollständig unkorreliert sind und dass der Herunterumsetzer energiebewahrend ist. In diesem Fall ist die Energie des einen oder der mehreren Basiskanäle, die durch einen Block 1202 angegeben sind, identisch mit der Energie 1200 des ursprünglichen Mehrkanalsignals. Wenn die ursprünglichen Mehrkanalsignale miteinander korreliert sind, kann die Basiskanalenergie 1202 niedriger als die Energie des ursprünglichen Mehrkanalsignals sein, wenn beispielsweise der linke und der rechte einander (teilweise) aufheben.
Für die nachfolgende Erörterung jedoch wird angenommen, dass die Energie 1202 der Basiskanäle die gleiche wie die Energie 1200 des ursprünglichen Mehrkanalsignals ist.
1204 stellt die Energie der Heraufumsetzsignale dar, wenn die Heraufumsetzsignale (z. B. 110, 111, 112 von 1) unter Verwendung einer nicht energiebewahrenden Heraufumsetzung oder einer prädiktiven Heraufumsetzung erzeugt werden, wie es in Verbindung mit 1 erörtert ist. Wie es später im Hinblick auf 14a und 14b umrissen wird, wird die Energie 1204 des Heraufumsetzergebnisses niedriger als die Energie der Basiskanäle 1202 sein, da eine derartige prädiktive Heraufumsetzung einen Energiefehler Er einbringt.
Der Heraufumsetzer 1104 ist wirksam, um Ausgangskanäle auszugeben, die eine Energie aufweisen, die höher als die Energie 1204 ist. Vorzugsweise führt die Heraufumsetzervorrichtung 1104 eine vollständige Kompensation durch, so dass das Heraufumsetzergebnis 1100 in 11 eine Energie aufweist, die bei 1206 gezeigt ist.
Vorzugsweise ist das Heraufumsetzergebnis, dessen Energie bei 1204 gezeigt ist, nicht einfach heraufskaliert, wie es in 2 gezeigt ist, oder einzeln heraufskaliert, wie es in 3 gezeigt ist, oder codiererseitig heraufskaliert, wie es in 4 gezeigt ist. Anstelle dessen ist die verbleibende Energie E_r, die dem Fehler aufgrund der prädiktiven Heraufumsetzung entspricht, unter Verwendung eines dekorrelierten Signals „aufgefüllt". Bei einem anderen bevorzugten Ausführungsbeispiel ist dieser Energiefehler Er teilweise durch ein dekorreliertes Signal abgedeckt, während der Rest des Energiefehlers durch ein Heraufskalieren des Heraufumsetzergebnisses ausgeglichen wird. Die vollständige Abdeckung des Energiefehlers durch ein dekorreliertes Signals ist in 5 und 6 gezeigt, während die „Teil"-Lösung durch 7 dargestellt ist.
13 zeigt eine Mehrzahl von Energiekompensationsverfahren, z. B. Verfahren, denen das Merkmal gemeinsam ist, dass basierend auf einem Energiemaß, das von dem Energiefehler abhängt, die Energie der Ausgangskanäle höher als das reine Ergebnis der prädiktiven Heraufumsetzung ist, d. h. das Ergebnis der (nicht korrigierten) einen Energieverlust einbringenden Heraufumsetzregel.
Nummer 1 der Tabelle in 13 bezieht sich auf die decodiererseitige Energiekompensation, die nachfolgend zu der Heraufumsetzung durchgeführt wird. Diese Option ist in 2 gezeigt und ist zusätzlich ferner in Verbindung mit 3 ausführlich dargelegt, die die kanalspezifischen Heraufskalierfaktoren g_z zeigt, die nicht nur von dem Energiemaß ρ abhängen, sondern die zusätzlich von den kanalabhängigen Herunterumsetzfaktoren ν_z abhängen, wobei z für l, r oder c steht.
Nummer 2 von 13 umfasst das codiererseitige Kompensationsverfahren, das nachfolgend zu der Herunterumsetzung durchgeführt wird, die in 4 dargestellt ist. Dieses Ausführungsbeispiel ist dahingehend bevorzugt, dass das Energiemaß ρ oder γ nicht von dem Codierer an den Decodierer übertragen werden muss.
Nummer 3 der Tabelle in 13 bezieht sich auf die decodiererseitige Energiekompensation, die vor der Heraufumsetzung durchgeführt wird. Wenn 2 betrachtet wird, würde die Energiekorrektur 202, die nach der Heraufumsetzung in 2 durchgeführt wird, vor dem Heraufumsetzblock 201 in 2 durchgeführt. Dieses Ausführungsbeispiel führt verglichen mit 2 zu einer einfacheren Implementierung, da keine kanalspezifischen Korrekturfaktoren erforderlich sind, wie es in 3 gezeigt ist, obwohl Qualitätsverluste auftreten könnten.
Nummer 4 von 13 bezieht sich auf ein weiteres Ausführungsbeispiel, bei dem eine codiererseitige Korrektur vor einer Herunterumsetzung durchgeführt wird. Wenn 1 betrachtet wird, würden die Kanäle 101, 102, 103 um einen entsprechenden Kompensationsfaktor heraufskaliert, so dass die Herunterumsetzerausgabe nach einem Herunterumsetzen erhöht ist, wie es bei 1208 in 12 gezeigt ist. Somit weist das Ausführungsbeispiel Nummer Vier in 13 die gleiche Folge für die Ausgabe der Basiskanäle durch einen Codierer wie das Ausführungsbeispiel Nummer Zwei der vorliegenden Erfindung auf.
Nummer 5 der Tabelle von 13 bezieht sich auf das Ausführungsbeispiel in 5, wenn das dekorrelierte Signal von den Kanälen abgeleitet ist, die durch die nicht energiebewahrende Heraufumsetzregel 109 in 5 erzeugt sind.
Das Ausführungsbeispiel Nummer 6 in der Tabelle in 13 bezieht sich auf das Ausführungsbeispiel, bei dem lediglich ein Teil der restlichen Energie durch das dekorrelierte Signal abgedeckt ist. Dieses Ausführungsbeispiel ist in 7 dargestellt.
Das Ausführungsbeispiel Nummer 8 von 13 ist dem Ausführungsbeispiel Nummer 5 oder 6 ähnlich, aber das dekorrelierte Signal wird von den Basiskanälen vor einem Heraufumsetzen abgeleitet, wie es durch einen Kasten 501' in 5 umrissen ist.
Nachfolgend wird ein bevorzugtes Ausführungsbeispiel des Codierers detailliert beschrieben. 14a stellt einen Codierer zum Verarbeiten eines Mehrkanaleingangssignals 1400 mit zumindest zwei Kanälen und vorzugsweise mit zumindest drei Kanälen l, c, r dar.
Der Codierer umfasst eine Energiemaßberechnungseinrichtung 1402 zum Berechnen eines Energiemaßes abhängig von einer Energiedifferenz zwischen einer Energie des Mehrkanaleingangssignals 1400 oder zumindest einem Basiskanal 1404 und einem heraufumgesetzten Signal 1406, das durch eine nicht energiebewahrende Heraufumsetzungsoperation 1407 erzeugt wird.
Ferner umfasst der Codierer eine Ausgabeschnittstelle 1408 zum Ausgeben des zumindest einen Basiskanals, nachdem derselbe durch einen Skalierungsfaktor 403 abhängig von dem Energiemaß skaliert wurde (401, 402), und zum Ausgeben des Energiemaßes selbst.
Bei einem bevorzugten Ausführungsbeispiel umfasst der Codierer einen Herunterumsetzer 1410 zum Erzeugen des zumindest einen Basiskanals 1404 aus den ursprünglichen mehreren Kanälen 1400. Zum Erzeugen der Heraufumsetzparameter sind ferner eine Differenzberechnungseinrichtung 1414 und ein Parameteroptimierer 1416 vorhanden. Diese Elemente sind wirksam, um die am besten passenden Heraufumsetzparameter 1412 zu finden. Zumindest zwei aus diesem Satz von am besten passenden Heraufumsetzparametern werden über die Ausgabeschnittstelle bei einem bevorzugten Ausführungsbeispiel als die Parameterausgabe ausgegeben. Die Differenzberechnungseinrichtung ist vorzugsweise wirksam, um eine Minimal-Mittleres-Fehlerquadrat-Berechnung zwischen dem ursprünglichen Mehrkanalsignal 1400 und dem von dem Heraufumsetzer erzeugten Heraufumsetzsignal für eine Parametereingabe an einer Parameterleitung 1412 durchzuführen. Diese Parameteroptimierungsprozedur kann durch mehrere unterschiedliche Optimierungsprozeduren durchgeführt werden, die alle durch das Ziel getrieben sind, ein am besten passendes Heraufumsetzergebnis 1406 durch eine bestimmte Heraufumsetzmatrix zu erhalten, die in dem Heraufumsetzer 1407 enthalten ist.
Die Funktionalität des Codierers von 14a ist in 14b gezeigt. Nach einem Herunterumsetzschritt 1440, der durch den Herunterumsetzer 1410 durchgeführt wird, kann der Basiskanal oder die Mehrzahl von Basiskanälen ausgegeben werden, wie es durch 1442 dargestellt ist. Dann wird ein Heraufumsetzparameteroptimierungsschritt 1444 durchgeführt, der abhängig von einer bestimmten Optimierungsstrategie eine iterative oder nichtiterative Prozedur sein kann. Iterative Prozeduren sind jedoch bevorzugt. Im Allgemeinen kann die Heraufumsetzparameteroptimierungsprozedur implementiert sein, derart, dass die Differenz zwischen dem Heraufumsetzergebnis und dem ursprünglichen Signal möglichst gering ist. Abhängig von der Implementierung kann diese Differenz eine einzelne kanalbezogene Differenz oder eine kombinierte Differenz sein. Im Allgemeinen ist der Heraufumsetzparameteroptimierungsschritt 1444 wirksam bei einem Minimieren irgendeiner Kostenfunktion, die von einzelnen Kanälen oder von kombinierten Kanälen abgeleitet sein kann, so dass für einen Kanal eine größere Differenz (Fehler) angenommen wird, wenn beispielsweise für die anderen zwei Kanäle eine viel bessere Anpassung erreicht wird.
Wenn dann der am besten passende Parametersatz, z. B. die am besten passende Heraufumsetzmatrix gefunden wurde, werden zumindest zwei Heraufumsetzparameter des Parametersatzes, der durch den Schritt 1444 erzeugt wird, an die Ausgabeschnittstelle ausgegeben, wie es durch einen Schritt 1446 angegeben ist.
Nachdem der Heraufumsetzparameteroptimierungsschritt 1444 abgeschlossen ist, kann ferner das Energiemaß berechnet und ausgegeben werden, wie es durch einen Schritt 1448 angegeben ist. Im Allgemeinen wird das Energiemaß von dem Energiefehler 1210 abhängen. Bei einem bevorzugten Ausführungsbeispiel ist das Energiemaß der Faktor ρ, der von der Beziehung der Energie des Heraufumsetzergebnisses 1406 und der Energie des ursprünglichen Signals 1400 abhängt, wie es in 2 gezeigt ist. Alternativ kann das Energiemaß, das berechnet und ausgegeben wird, ein absoluter Wert für den Energiefehler 1210 sein oder kann die absolute Energie des Heraufumsetzergebnisses 1406 sein, die natürlich von dem Energiefehler abhängt. In diesem Zusammenhang ist zu beachten, dass das Energiemaß, das durch die Ausgabeschnittstelle 1408 ausgegeben wird, vorzugsweise quantisiert und wiederum vorzugsweise unter Verwendung irgendeines gut bekannten Entropiecodierers entropiecodiert wird, wie beispielsweise eines arithmetischen Codierers, eines Huffman-Codierers oder eines Lauflängencodierers, was besonders nützlich ist, wenn es viele nachfolgende identische Energiemaße gibt. Alternativ oder zusätzlich können die Energiemaße für nachfolgende Zeitabschnitte oder Rahmen differenzcodiert sein, wobei diese Differenzcodierung vorzugsweise vor einer Entropiecodierung durchgeführt wird.
Nachfolgend wird Bezug auf 15a genommen, die ein alternatives Herunterumsetzerausführungsbeispiel zeigt, das gemäß einem bevorzugten Ausführungsbeispiel der vorliegen den Erfindung mit dem Codierer von 14a kombiniert ist. Das Ausführungsbeispiel von 15a deckt eine SBR-Implementierung ab, obwohl dieses Ausführungsbeispiel auch in Fällen verwendet werden kann, in denen keine Spektralbandreplikation durchgeführt wird, sondern in denen die vollständige Bandbreite der Basiskanäle übertragen wird. Der Codierer von 15a umfasst einen Herunterumsetzer 1500 zum Herunterumsetzen des ursprünglichen Signals 1500, um zumindest einen Basiskanal 1504 zu erhalten. Bei einem Nicht-SBR-Ausführungsbeispiel wird der zumindest eine Basiskanal 1504 in einen Kerncodierer 1506 eingegeben, der in dem Fall eines einzigen Basiskanals ein AAC-Codierer für Monosignale sein kann oder der im Fall von beispielsweise zwei Stereobasiskanälen irgendein Stereocodierer sein kann. An dem Ausgang des Kerncodierers 1506 wird ein Bitstrom ausgegeben (1508), der einen codierten Basiskanal umfasst oder eine Mehrzahl von codierten Basiskanälen umfasst.
Wenn das Ausführungsbeispiel von 15a eine SBR-Funktionalität aufweist, wird der zumindest eine Basiskanal 1504 tiefpassgefiltert 1510, bevor derselbe in den Kerncodierer eingegeben wird. Natürlich können die Funktionalitäten der Blöcke 1510 und 1506 durch eine einzige Codierervorrichtung implementiert sein, die ein Tiefpassfiltern und ein Kerncodieren innerhalb eines einzigen Codieralgorithmus durchführt.
Die codierten Basiskanäle an dem Ausgang 1508 umfassen lediglich ein Tiefband der Basiskanäle 1504 in codierter Form. Informationen über das Hochband werden über eine SBR-Spektralhüllkurvenberechnungseinrichtung 1512 berechnet, die mit einem SBR-Informationscodierer 1514 zum Erzeugen und Ausgeben codierter SBR-Seiteninformationen an einem Ausgang 1516 verbunden ist.
Das ursprüngliche Signal 1502 wird in eine Energieberechnungseinrichtung 1520 eingegeben, die Kanalenergien erzeugt (für eine bestimmte Zeitperiode der ursprünglichen Kanäle l, c, r, wobei die Kanalenergien durch L, C, R angegeben sind, die durch einen Block 1520 ausgegeben werden). Die Kanalenergien L, C, R werden in einen Parameterberechnungseinrichtungsblock 1522 eingegeben. Die Parameterberechnungseinrichtung 1522 gibt zwei Heraufumsetzparameter c1, c2 aus, die beispielsweise die Parameter c₁, c₂ sein können, die in 15a angegeben sind. Natürlich können andere (z. B. lineare) Energiekombinationen, die die Energien aller Eingangskanäle betreffen, durch die Parameterberechnungseinrichtung 1522 für eine Übertragung an einen Decodierer erzeugt werden. Natürlich führen unterschiedliche übertragene Heraufumsetzparameter zu einer unterschiedlichen Art eines Berechnens der verbleibenden Heraufumsetzmatrixelemente. Wie es in Verbindung mit Gleichung (40) oder Gleichungen (41 – 44) angegeben ist, weist die Heraufumsetzmatrix für das energiegerichtete Ausführungsbeispiel von 15 zumindest vier Elemente ungleich Null auf, wobei die Elemente in der dritten Zeile einander gleich sind. Somit kann die Parameterberechnungseinrichtung 1522 beispielsweise irgendeine Kombination der Energien L, C, R verwenden, aus der die vier Elemente in der Heraufumsetzmatrix abgeleitet werden können, wie beispielsweise eine Heraufumsetzmatrixangabe (40) oder (41).
Das Ausführungsbeispiel von 15a stellt einen Codierer dar, der wirksam ist, um eine energiebewahrende, oder allgemein ausgedrückt die energieabgeleitete, Heraufumsetzung für die gesamte Bandbreite eines Signals durchzuführen. Dies bedeutet, dass auf der Codiererseite, die in 15a dargestellt ist, die Parameterdarstellung, die durch die Parameterberechnungseinrichtung 1522 ausgegeben wird, für das gesamte Signal erzeugt wird. Dies bedeutet, dass für jedes Subband des codierten Basiskanals ein entsprechender Satz von Parametern berechnet und ausgegeben wird. Wenn beispielsweise der codierte Basiskanal, der beispielsweise ein Signal voller Bandbreite mit den Subbändern ist, betrachtet wird, könnte die Parameterberechnungseinrichtung zehn Parameter c₁ und c₂ für jedes Subband des codierten Basiskanals ausgeben. Wenn jedoch der codierte Basiskanal ein Tiefbandsignal bei einem SBR-Ausführungsbeispiel wäre, das lediglich die fünf unteren Subbänder abdeckt, dann würde die Parameterberechnungseinrichtung 1522 einen Satz von Parametern für jedes der fünf unteren Subbänder und zusätzlich für jedes der fünf oberen Subbänder ausgeben, obwohl das Signal an dem Ausgang 1508 kein entsprechendes Subband umfasst. Dies rührt von der Tatsache her, dass ein derartiges Subband auf der Decodiererseite wiedererzeugt werden würde, wie es nachfolgend in Verbindung mit 16a beschrieben wird.
Vorzugsweise jedoch, und wie es in Verbindung mit 10 beschrieben ist, sind die Energieberechnungseinrichtung 1520 und die Parameterberechnungseinrichtung 1522 lediglich für den Hochbandteil des ursprünglichen Signals wirksam, während Parameter für den Tiefbandteil des ursprünglichen Signals durch die prädiktive Parameterberechnungseinrichtung 104 in 10 berechnet werden, die dem prädiktiven Heraufumsetzer 109 in 10 entsprechen würde.
15b zeigt eine schematische Darstellung einer Parameterdarstellung, die durch das Auswahlmodul 1002 in 10 ausgegeben wird. Somit umfasst eine Parameterdarstellung gemäß der vorliegenden Erfindung (mit oder ohne dem codierten Basiskanal (den codierten Basiskanälen) und optional sogar ohne dem Energiemaß) einen Satz von prädiktiven Parametern für das Tiefband, z. B. für die Subbänder 1 bis i, und subbandweise Parameter für das Hochband, z. B. für die Subbänder i + 1 bis N. Alternativ können die prädiktiven Parameter und die Energiestilparameter gemischt sein, z. B. so dass ein Subband mit Energiestilparametern zwischen Subbändern mit prädiktiven Parametern positioniert sein kann. Ferner kann ein Rahmen, der lediglich prädiktive Parameter aufweist, auf einen Rahmen folgen, der lediglich Energiestilparameter aufweist. Deshalb bezieht sich allgemein gesagt die vorliegende Erfindung, wie es in Verbindung mit 10 erörtert ist, auf unterschiedliche Parametri sierungen, die in der Frequenzrichtung unterschiedlich sein können, wie es in 15b gezeigt ist, oder die in der Zeitrichtung unterschiedlich sein können, wenn ein Rahmen mit lediglich prädiktiven Parametern von einem Rahmen mit lediglich Energiestilparametern gefolgt ist. Natürlich kann sich die Verteilung oder Parametrisierung von Subbändern von Rahmen zu Rahmen verändern, so dass beispielsweise das Subband i in einem ersten Rahmen einen ersten (z. B. prädiktiven) Parametersatz aufweist, wie es in 15b gezeigt ist, und in einem anderen Rahmen einen zweiten (z. B. Energiestil-) Parametersatz aufweist.
Ferner ist die vorliegende Erfindung auch nützlich, wenn Parametrisierungen verwendet werden, die sich von der prädiktiven Parametrisierung, die in 14a gezeigt ist, oder der Energiestilparametrisierung, die in 15a gezeigt ist, unterscheiden. Es können auch weitere Beispiele für eine Parametrisierung, neben prädiktiv oder Energiestil, verwendet werden, sobald irgendein Zielparameter oder ein Zielereignis angibt, dass die Heraufumsetzqualität, die Herunterumsetzbitrate, die Recheneffizienz auf der Codiererseite oder auf der Decodiererseite oder beispielsweise der Energieverbrauch von z. B. batteriebetriebenen Vorrichtungen etc. sagt, dass für ein bestimmtes Subband oder einen bestimmten Rahmen die erste Parametrisierung besser als die zweite Parametrisierung ist. Natürlich kann auch die Zielfunktion eine Kombination von unterschiedlichen einzelnen Zielen/Ereignissen sein, wie es oben umrissen ist. Ein exemplarisches Ereignis wäre ein SBR-rekonstruiertes Hochband etc.
Ferner ist zu beachten, dass die frequenz- oder zeitselektive Berechnung und Übertragung von Parametern explizit signalisiert werden kann, wie es bei 1005 in 10 gezeigt ist. Alternativ kann die Signalisierung auch implizit durchgeführt werden, wie es beispielsweise in Verbindung mit 16a erörtert ist. In diesem Fall werden vordefinierte Regeln für den Decodierer verwendet, beispielsweise dass der Decodierer automatisch annimmt, dass die übertragenen Parameter Energiestilparameter für Subbänder sind, die zu dem Hochband in 15b gehören, z. B. für Subbänder, die durch eine Spektralbandreplikations- oder Hochfrequenzregenerationstechnik rekonstruiert wurden.
Ferner ist zu beachten, dass die erfindungsgemäße codiererseitige Berechnung von einer, zwei oder sogar mehr unterschiedlichen Parametrisierungen und die codiererseitige Auswahl, welche Parametrisierung übertragen wird, die auf einer Entscheidung beruht, die irgendwelche codiererseitig verfügbaren Informationen verwendet (die Informationen können eine tatsächlich verwendete Zielfunktion oder Signalisierungsinformationen sein, die aus anderen Gründen verwendet werden, wie beispielsweise einer SBR-Verarbeitung und Signalisierung) mit oder ohne einem Übertragen des Energiemaßes durchgeführt werden können. Selbst wenn die bevorzugte Energiekorrektur überhaupt nicht durchgeführt wird, z. B. wenn das Ergebnis der nicht energiebewahrenden Heraufumsetzung (prädiktiven Heraufumsetzung) nicht energiemäßig korrigiert wird oder wenn keine entsprechende Vorkompensation auf der Codiererseite durchgeführt wird, ist das erfindungsgemäße Umschalten zwischen unterschiedlichen Parametrisierungen zum Erhalten einer besseren Mehrkanalausgabequalität und/oder einer niedrigeren Bitrate nützlich.
Insbesondere kann das erfindungsgemäße Umschalten zwischen unterschiedlichen Parametrisierungen abhängig von verfügbaren codiererseitigen Informationen mit oder eine Addition eines dekorrelierten Signals verwendet werden, das den Energiefehler vollständig oder zumindest teilweise abdeckt, der durch die prädiktive Heraufumsetzung durchgeführt wird, wie es in Verbindung mit 5 bis 7 gezeigt ist. In diesem Zusammenhang wird die Addition eines dekorrelierten Signals, wie es in Verbindung mit 5 beschrieben ist, lediglich für die Subbänder/Rahmen durchgeführt, für die prädiktive Heraufumsetzparameter übertragen werden, während unterschiedliche Maße für eine Dekorrelation für diese Subbänder oder Rahmen verwendet werden, in denen Energiestilparameter übertragen wurden. Derartige Maße sind beispielsweise ein Herunterskalieren des Nass-Signals und ein Erzeugen eines dekorrelierten Signals und ein Skalieren des dekorrelierten Signals, so dass eine erforderliche Größe einer Dekorrelation erhalten wird, wie es beispielsweise durch ein übertragenes Zwischenkanalkorrelationsmaß, wie beispielsweise ICC, erforderlich ist, wenn die ordnungsgemäß skalierten dekorrelierten Signale zu dem Trocken-Signal addiert werden.
Nachfolgend wird 16a erörtert zum Darstellen einer decodiererseitigen Implementierung des erfindungsgemäßen Heraufumsetzblocks 201 und der entsprechenden Energiekorrektur bei 202. Wie es in Verbindung mit 11 erörtert ist, werden die übertragenen Heraufumsetzparameter 1108 aus einem empfangenen Eingangssignal extrahiert. Diese übertragenen Heraufumsetzparameter werden vorzugsweise in eine Berechnungseinrichtung 1600 zum Berechnen der verbleibenden Heraufumsetzparameter eingegeben, wenn die Heraufumsetzmatrix 1602, die eine Energiekompensation umfasst, eine prädiktive Heraufumsetzung und eine vorhergehende oder nachfolgende Energiekorrektur durchführen soll. Die Prozedur zum Berechnen der verbleibenden Heraufumsetzparameter wird nachfolgend in Verbindung mit 16b erörtert.
Die Berechnung der Heraufumsetzparameter basiert auf der Gleichung in 16b, die auch als Gleichung (7) wiederholt ist. Bei dem Ausführungsbeispiel mit drei Eingangssignalen/zwei Ausgangssignalen weist die Herunterumsetzmatrix D sechs Variablen auf. Zusätzlich weist die Heraufumsetzmatrix C ebenfalls sechs Variablen auf. Auf der rechten Seite von Gleichung (7) gibt es jedoch lediglich vier Werte. Deshalb hätte man im Fall einer unbekannten Herunterumsetzung und einer unbekannten Heraufumsetzung zwölf unbekannte Variablen aus den Matrizen D und C und lediglich vier Gleichungen zum Bestimmen dieser zwölf Variablen. Die Herunterumsetzung ist jedoch bekannt, so dass die Anzahl von Variablen, die unbekannt sind, sich auf die Koeffizienten der Heraufumsetzmatrix C reduziert, die sechs Variablen aufweist, obwohl es immer noch vier Gleichungen zum Bestimmen dieser sechs Variablen gibt. Deshalb wird das Optimierungsverfahren, das in Verbindung mit dem Schritt 1444 in 14b erörtert und in 14a dargestellt ist, zum Bestimmen von zumindest zwei Variablen der Heraufumsetzmatrix verwendet, die vorzugsweise c₁₁ und c₂₂ sind. Da es nun vier Unbekannte gibt, z. B. c₁₂, c₂₁, c₃₁ und c₃₂, und da es vier Gleichungen gibt, z. B. eine Gleichung für jedes Element in der Identitätsmatrix I auf der rechten Seite der Gleichung in 16b, können die verbleibenden unbekannten Variablen der Heraufumsetzmatrix auf einfache Weise berechnet werden. Diese Berechnung wird in der Berechnungseinrichtung 1600 zum Berechnen der verbleibenden Heraufumsetzparameter durchgeführt.
Die Heraufumsetzmatrix in der Vorrichtung 1602 ist gemäß den zwei übertragenen Heraufumsetzparametern, die weitergeleitet werden, durch eine gestrichelte Linie 1604 und durch die verbleibenden vier Heraufumsetzparameter, die durch den Block 1600 berechnet werden, festgelegt. Diese Heraufumsetzmatrix wird dann auf die Basiskanäle angewandt, die über die Leitung 1102 eingegeben werden. Abhängig von der Implementierung wird ein Energiemaß für eine Tiefbandkorrektur über die Leitung 1106 weitergeleitet, so dass eine korrigierte Heraufumsetzung erzeugt und ausgegeben werden kann. Wenn die prädiktive Heraufumsetzung lediglich für das Tiefband durchgeführt wird, wie es beispielsweise implizit über die Leitung 1606 signalisiert wird, und wenn Energiestilheraufumsetzparameter an der Leitung 1108 für das Hochband existieren, wird diese Tatsache für ein entsprechendes Subband an die Berechnungseinrichtung 1600 und an die Heraufumsetzmatrixvorrichtung 1602 signalisiert. In dem Energiestilfall ist bevorzugt, die Heraufumsetzmatrixelemente der Heraufumsetzmatrix (40) oder (41) zu berechnen. Zu diesem Zweck werden die übertragenen Parameter, wie es unter Gleichung (40) angegeben ist, oder die entsprechenden Parameter, wie es unter Gleichung (41) angegeben ist, verwendet. Bei diesem Ausführungsbeispiel können die übertragenen Heraufumsetzparameter c₁, c₂ nicht direkt für einen Heraufumsetzkoeffizienten verwendet werden, sondern die Heraufumsetzkoeffizienten der Heraufumsetzmatrix, wie es in Gleichung (40) oder (41) gezeigt ist, müssen unter Verwendung der übertragenen Heraufumsetzparameter c₁ und c₂ berechnet werden.
Für das Hochband wird eine Heraufumsetzmatrix, die für die energiebasierten Heraufumsetzparameter bestimmt ist, zum Heraufumsetzen des Hochbandteils der Mehrkanalausgangssignale verwendet. Nachfolgend werden der Tiefbandteil und der Hochbandteil in einem Tief/Hoch-Kombinierer 1608 zum Ausgeben der vollständig bandbreitenrekonstruierten Ausgangskanäle l, r, c kombiniert. Wie es in 16a dargestellt ist, wird das Hochband der Basiskanäle unter Verwendung eines Decodierers zum Decodieren der übertragenen Tiefbandbasiskanäle erzeugt, wobei dieser Decodierer für ein Monobasissignal ein Monodecodierer ist und für zwei Stereobasiskanäle ein Stereodecodierer ist. Dieser decodierte Tiefbandbasiskanal (diese decodierten Tiefbandbasiskanäle) wird (werden) in eine SBR-Vorrichtung 1614 eingegeben, die zusätzlich Hüllkurveninformationen empfängt, die durch die Vorrichtung 1512 in 15a berechnet werden. Basierend auf dem Tiefbandteil und den Hochbandhüllkurveninformationen wird das Hochband der Basiskanäle erzeugt, um Basiskanäle mit voller Bandbreite an der Leitung 1102 zu erhalten, die in die Heraufumsetzmatrixvorrichtung 1602 weitergeleitet werden.
Die erfindungsgemäßen Verfahren oder Vorrichtungen oder Computerprogramme können in mehreren Vorrichtungen implementiert oder enthalten sein. 17 zeigt ein Übertragungssystem, das einen Sender aufweist, der einen erfindungsgemäßen Codierer umfasst, und einen Empfänger aufweist, der einen erfindungsgemäßen Decodierer umfasst. Der Übertragungskanal kann ein drahtloser oder verdrahteter Kanal sein. Wie es in 18 gezeigt ist, kann der Codierer ferner in einem Audioaufzeichnungsgerät enthalten sein oder kann der Decodierer in einem Audioabspielgerät enthalten sein. Audioaufzeichnungen von dem Audioaufzeichnungsgerät können an das Audioabspielgerät über das Internet oder über ein Speichermedium verteilt werden, das unter Verwendung von Post oder Kurierressourcen oder anderen Möglichkeiten zum Verteilen von Speichermedien verteilt wird, wie beispielsweise Speicherkarten, CDs oder DVDs.
Abhängig von bestimmten Implementierungsanforderungen der erfindungsgemäßen Verfahren können die erfindungsgemäßen Verfahren in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums durchgeführt werden, insbesondere einer Platte oder einer CD, auf der elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem zusammenwirken können, derart, dass die erfindungsgemäßen Verfahren durchgeführt werden. Mit anderen Worten bestehen deshalb die erfindungsgemäßen Verfahren in einem Computerprogramm, das einen Programmcode zum Durchführen der erfindungsgemäßen Verfahren aufweist, wenn das Computerprogramm auf einem Computer ausgeführt wird.

Claims

Mehrkanalaudiosynthetisierer zum Erzeugen von zumindest drei Ausgangskanälen (1100) unter Verwendung eines Eingangssignals, das zumindest einen Basiskanal (1102) aufweist, wobei der Basiskanal von dem ursprünglichen Mehrkanalsignal (101, 102, 103) abgeleitet ist, der folgende Merkmale aufweist: einen Heraufumsetzer (1104) zum Heraufumsetzen des zumindest einen Basiskanals basierend auf einer einen Energieverlust einbringenden Heraufumsetzregel (201, 1407), so dass die zumindest drei Ausgangskanäle erhalten werden, wobei der Heraufumsetzer (1104) wirksam ist, um die zumindest drei Ausgangskanäle ansprechend auf ein Energiemaß (1106) und zumindest zwei unterschiedliche Heraufumsetzparameter (1108) zu erzeugen, so dass die zumindest drei Ausgangskanäle (1100) eine Energie aufweisen, die höher als eine Energie eines Signals ist, das durch ein Verwenden von lediglich der einen Energieverlust einbringenden Heraufumsetzregel erhalten wird, wobei so ein Energiefehler kompensiert wird, wobei der Energiefehler von der einen Energieverlust einbringenden Heraufumsetzregel abhängt, und wobei die zumindest zwei unterschiedlichen Heraufumsetzparameter (1108) und das Energiemaß zum Steuern des Heraufumsetzers in dem Eingangssignal enthalten sind, wobei die einen Energieverlust einbringende Heraufumsetzregel eine prädiktive Heraufumsetzregel ist, die eine Heraufumsetzmatrix verwendet, die Matrixkoeffi zienten aufweist, die auf Prädiktionskoeffizienten basieren, und wobei die zumindest zwei unterschiedlichen Heraufumsetzparameter zwei unterschiedliche Elemente (c₁₁, c₂₂) der Heraufumsetzmatrix sind oder Parameter sind, von denen die zwei unterschiedlichen Elemente der Heraufumsetzmatrix ableitbar sind.
Mehrkanalsynthetisierer gemäß Anspruch 1, bei dem das Energiemaß direkt oder indirekt eine Beziehung einer Energie eines Aufwärtsumsetzergebnisses unter Verwendung der einen Energieverlust einbringenden Heraufumsetzregel zu einer Energie des ursprünglichen Mehrkanalsignals oder eine Beziehung des Energiefehlers zu einer Energie oder dem ursprünglichen Mehrkanalsignal oder dem Energiefehler in absoluten Ausdrücken angibt.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem der Heraufumsetzer eine Berechnungseinrichtung (1600) zum Ableiten einer Heraufumsetzmatrix basierend auf den zumindest zwei Heraufumsetzparametern und Informationen über eine Herabumsetzregel aufweist, die zum Erzeugen des zumindest einen Basiskanals aus dem ursprünglichen Mehrkanalsignal verwendet wird.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem der Heraufumsetzer wirksam ist, um einen Links-Basiskanal und einen Rechts-Basiskanal zu verarbeiten und ein Links-Ausgangssignal, ein Rechts-Ausgangssignal und ein Mitten-Signal auszugeben, wobei der Links-Basiskanal und der Rechts-Basiskanal eine stereokompatible Darstellung des Mehrkanalsignals sind.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem der Heraufumsetzer (1104) wirksam ist, um die zumindest drei Ausgangskanäle unter Verwendung von Skalierungsfaktoren einzeln zu skalieren (304), wobei ein Skalierungsfaktor (g_z) für einen Ausgangskanal von einer Energie eines Heraufumsetzergebnisses der einen Energieverlust einbringenden Heraufumsetzregel und einer Energie des Ausgangskanals nach einem Heraufumsetzen unter Verwendung der einen Energieverlust einbringenden Heraufumsetzregel und Informationen über eine Herabumsetzung (v) zum Erzeugen des zumindest einen Basiskanals abhängt.
Mehrkanalsynthetisierer gemäß Anspruch 5, bei dem der Skalierungsfaktor wie folgt bestimmt ist:
wobei v_Z ein erster herabumsetzabhängiger Faktor für einen Ausgangskanal z ist, wobei ρ das Energiemaß ist, wobei E ^ die Energie des Mehrkanalsignals ist, das durch die einen Energieverlust einbringende Heraufumsetzregel erzeugt ist, und wobei ||z ^|| eine Energie des zu skalierenden Ausgangskanals der einen Energieverlust einbringenden Heraufumsetzregel darstellt.
Mehrkanalsynthetisierer gemäß einem der Ansprüche 1 bis 5, bei dem der Heraufumsetzer (1104) ferner einen Dekorrelator (501, 502, 503, 501',503') zum Erzeugen eines dekorrelierten Signals aus dem zumindest einen Basiskanal oder aus dem zumindest einen Ausgangssignale der einen Energieverlust einbringenden Heraufumsetzregel aufweist, und wobei der Heraufumsetzer wirksam ist, um das dekorrelierte Signal zu verwenden, derart, dass eine Energiegröße des dekorrelierten Signals in einem Ausgangska nal kleiner oder gleich einer Größe des Energiefehlers ist, der durch das Energiemaß ableitbar ist.
Mehrkanalsynthetisierer gemäß Anspruch 7, bei dem der Heraufumsetzer wirksam ist, um ein Dekorrelationssignal zu erzeugen, das eine Energie aufweist, die gleich einer Energie des Ausgangskanals ist, der um einen Herunterskalierungsfaktor herunterskaliert ist, wobei der Herunterskalierungsfaktor von dem Energiemaß abhängt, und wobei der Heraufumsetzer wirksam ist, um das dekorrelierte Signal und ein Ausgangssignal der einen Energieverlust einbringenden Heraufumsetzregel (109) zu addieren.
Mehrkanalsynthetisierer gemäß Anspruch 7 oder 8, bei dem der Dekorrelator wirksam ist, um die zumindest drei Ausgangssignale durch ein Addieren eines dekorrelierten Signals, das durch einen kanalspezifischen Faktor (ν) gewichtet ist und unter Verwendung des Energiemaßes (ρ) gewichtet ist, einzeln zu dekorrelieren und das gewichtete dekorrelierte Signal zu einem Ausgangssignal eines Heraufumsetzers (109), der die einen Energieverlust einbringende Heraufumsetzregel durchführt, zu addieren (602).
Mehrkanalsynthetisierer gemäß Anspruch 8 oder 9, bei dem der Dekorrelator wirksam ist, um ein Eingangssignal unter Verwendung eines digitalen Filters zu filtern.
Mehrkanalsynthetisierer gemäß Anspruch 8, bei dem der Herunterskalierungsfaktor wie folgt abgeleitet ist:
wobei γ der Herunterskalierungsfaktor ist und wobei ρ das Energiemaß ist.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem der Heraufumsetzer (1104) wirksam ist, um zum teilweisen oder vollständigen Kompensieren des Energieverlusts aufgrund der einen Energieverlust einbringenden Heraufumsetzregel ein dekorreliertes Signal, das eine Energie aufweist, die geringer als der Energiefehler und größer Null ist, zu zumindest einem Kanal zu addieren, der durch die einen Energieverlust einbringende Heraufumsetzregel erzeugt ist.
Mehrkanalsynthetisierer gemäß Anspruch 12, bei dem, wenn die Energie des dekorrelierten Signals geringer als der Energiefehler ist, der Heraufumsetzer wirksam ist, um den zumindest einen Basiskanal oder ein Signal, das durch die Heraufumsetzregel erzeugt ist, heraufzuskalieren, derart, dass die kombinierte Energie des heraufskalierten Signals oder eines Heraufumsetzsignals, das unter Verwendung des heraufskalierten zumindest einen Basiskanals erzeugt ist, und des addierten dekorrelierten Signals kleiner oder gleich einer Energie des ursprünglichen Signals ist.
Mehrkanalsynthetisierer gemäß Anspruch 13, bei dem die Energie des addierten dekorrelierten Signals durch einen Dekorrelationsfaktor bestimmt ist, wobei ein hoher Dekorrelationsfaktor nahe 1 angibt, dass ein dekorreliertes Signal mit kleinerem Pegel addiert werden soll, während ein kleinerer Dekorrelationsfaktor nahe 0 angibt, dass ein Dekorrelationssignal mit höherem Pegel addiert werden soll, und wobei das Dekorrelationsmaß aus dem Eingangssignal extrahiert ist.
Mehrkanalsynthetisierer gemäß Anspruch 12 oder 13, bei dem der zumindest eine Basiskanal eine skalierte Version eines Basiskanals ist, der durch eine Herabumsetzmatrix erzeugt ist, wobei der Skalierungsfaktor von dem Energiemaß abhängt, so dass die Dekorrelationsinformationen (605) das einzige übertragene Energiemaß sind, das ebenfalls von der Fehlerenergie abhängt.
Mehrkanalsynthetisierer gemäß Anspruch 13, bei dem das Energiemaß, das in dem Eingangssignal enthalten ist, einen ersten Energiewert umfasst, der von dem Energiefehler (ρ) abhängt, und einen zweiten Energiewert umfasst, der von einem Grad an Korrelation (κ) abhängt.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem das Eingangssignal zusätzlich zu den zwei unterschiedlichen Heraufumsetzparametern Informationen über eine Herabumsetzung umfasst, die dem zumindest einen Basiskanal zugrunde liegt, wobei der Heraufumsetzer wirksam ist, um die zusätzlichen Herabumsetzinformationen zum Erzeugen einer Heraufumsetzmatrix (802) zu verwenden.
Mehrkanalsynthetisierer gemäß Anspruch 17, bei dem Informationen (γ) einer Berechnung einer Stereovorverarbeitung (901) in dem Eingangssignal als die Herabumsetzinformationen enthalten sind.
Mehrkanalsynthetisierer gemäß einem der vorhergehenden Ansprüche, bei dem das Eingangssignal ferner eine Heraufumsetzermodusangabe (1005) umfasst, die in einem ersten Zustand angibt, dass eine erste Heraufumsetzregel durchgeführt werden soll, und in einem zweiten Zustand angibt, dass eine unterschiedliche Heraufumsetzregel durchgeführt werden soll, und wobei der Heraufumsetzer (1104) wirksam ist, um Parameter für die Heraufumsetzregel unter Verwendung der zumindest zwei unterschiedlichen Heraufumsetzparameter (1108) in Abhängigkeit von der Heraufumsetzermodusangabe (1005) zu berechnen.
Mehrkanalsynthetisierer gemäß Anspruch 19, bei dem die Heraufumsetzermodusangabe wirksam ist, um einen Heraufumsetzermodus subbandweise oder rahmenweise zu signalisieren.
Mehrkanalsynthetisierer gemäß Anspruch 19 oder 20, bei dem die erste Heraufumsetzregel eine prädiktive Heraufumsetzregel ist und bei dem eine zweite Heraufumsetzregel eine Heraufumsetzregel ist, die energieabhängige Heraufumsetzparameter aufweist.
Mehrkanalsynthetisierer gemäß Anspruch 20,, bei dem die zweite Heraufumsetzregel wie folgt definiert ist:
wobei L ein Energiewert eines Links-Eingangskanals ist, wobei C ein Energiewert eines Mitten-Eingangskanals ist, wobei R ein Energiewert eines Rechts-Eingangskanals ist und wobei α ein bestimmter Herunterumsetzparameter ist.
Mehrkanalsynthetisierer gemäß einem der Ansprüche 19 bis 22, bei dem die zweite Heraufumsetzregel so ist, dass ein Rechts-Herunterumsetzkanal nicht zu einem Links-Heraufumsetzkanal addiert wird, und umgekehrt.
Mehrkanalsynthetisierer gemäß einem der Ansprüche 19 bis 23, bei dem die erste Heraufumsetzregel durch eine Wellenformanpassung zwischen Wellenformen des ursprünglichen Mehrkanalsignals und Wellenformen von Signalen, die durch die erste Heraufumsetzregel erzeugt sind, bestimmt ist.
Mehrkanalsynthetisierer gemäß einem der Ansprüche 19 bis 24, bei dem die erste oder die zweite Heraufumsetzregel wie folgt bestimmt ist:
wobei Funktionen f₁, f₂, f₃ Funktionen der übertragenen zwei unterschiedlichen Heraufumsetzparameter c₁, c₂ angeben, und wobei die Funktionen wie folgt bestimmt sind:
wobei α ein reellwertiger Parameter ist.
Mehrkanalsynthetisierer gemäß einem der Ansprüche 19 bis 25, der ferner eine SBR-Einheit (1614) aufweist zum Regenerieren eines Bands des zumindest einen Basiskanals, der nicht in dem übertragenen Basiskanal eingeschlossen ist, unter Verwendung eines Teils des zumindest einen Basiskanals, der in dem Eingangssignal eingeschlossen ist, und wobei der Mehrkanalsynthetisierer wirksam ist, um die zweite Heraufumsetzregel bei einem regenerierten Band des zumindest eines Basiskanals anzuwenden und die erste Heraufumsetzregel bei einem Band des Basiskanals anzuwenden, das in dem Eingangssignal eingeschlossen ist.
Mehrkanalsynthetisierer gemäß Anspruch 26, bei dem die Heraufumsetzermodusangabe eine SBR-Signalisierung (1606) ist, die in dem Eingangssignal eingeschlossen ist.
Codierer zum Verarbeiten eines Mehrkanalaudioeingangssignals, der eine Energiemaßberechnungseinrichtung (1402) zum Berechnen eines Energiemaßes (ρ) abhängig von einer Energiedifferenz zwischen einem Mehrkanaleingangssignal oder zumindest einem Basiskanal, der von dem Mehrkanaleingangssignal abgeleitet ist, und einem heraufumgesetzten Signal, das durch eine einen Energieverlust einbringende Heraufumsetzoperation erzeugt ist; und eine Ausgabeschnittstelle (1408) zum Ausgeben des zumindest einen Basiskanals, nachdem derselbe durch einen Skalierungsfaktor (403) abhängig von dem Energiemaß skaliert wurde (401, 402), oder zum Ausgeben des Energiemaßes aufweist.
Codierer gemäß Anspruch 28, bei dem das Energiemaß (ρ) basierend auf einer Beziehung einer Energie des heraufumgesetzten Signals, das durch ein Heraufumsetzen des zumindest einen Basiskanals unter Verwendung einer eine Energie einbringenden Heraufumsetzregel erzeugt ist, und einer Energie des ursprünglichen Mehrkanalsignals bestimmt ist und der Skalierungsfaktor durch ein Invertieren des Energiemaßes bestimmt ist.
Codierer gemäß Anspruch 28 oder 29, der ferner eine Korrelationsgradberechnungseinrichtung zum Bestimmen eines Grads an Korrelation (κ) aufweist, und bei dem die Ausgabeschnittstelle wirksam ist, um ein Korrelationsmaß (κ) basierend auf dem Grad an Korrelation auszugeben.
Codierer gemäß einem der Ansprüche 28 bis 30, der ferner eine Heraufumsetzerparameterberechnungseinrichtung (1407, 1414, 1416) zum Berechnen von zumindest zwei unterschiedlichen Heraufumsetzparametern (1412) umfasst, und wobei die Ausgabeschnittstelle wirksam ist, um die zumindest zwei unterschiedlichen Heraufumsetzparameter auszugeben.
Codierer gemäß einem der Ansprüche 28 bis 31, der ferner eine Herunterumsetzvorrichtung (1410) zum Berechnen des zumindest einen Basiskanals aufweist, und wobei die Ausgabeschnittstelle (1408) wirksam ist, um Informationen über eine Herabumsetzoperation auszugeben.
Codierer gemäß Anspruch 32, bei dem die Herabumsetzvorrichtung einen Stereovorprozessor umfasst und bei dem die Ausgabeschnittstelle wirksam ist, um Informationen über den Stereovorprozessor auszugeben.
Codierer gemäß Anspruch 31, bei dem die Heraufumset^zerparameterberechnungseinrichtung wirksam ist, um durch ein Verwenden von Signalverläufen von heraufumgesetzten Kanälen eine Parameteroptimierung (1444) durchzuführen, um zumindest zwei Heraufumsetzparameter zu erzeugen, die basierend auf optimalen Heraufumsetzparametern zu einem Decodierer übertragen werden sollen, und um das Energiemaß basierend auf Signalen, die durch ein Heraufumsetzen des zumindest einen Basiskanals unter Verwendung der optimalen Heraufumsetzparameter erzeugt sind, zu berechnen und auszugeben.
Codierer gemäß einem der Ansprüche 28 bis 34, der ferner einen Parametergenerator (104, 1001, 1520, 1522, 1414, 1416) zum Erzeugen einer spezifischen parametrischen Darstellung unter einer Mehrzahl unterschiedlicher parametrischer Darstellungen basierend auf Informationen aufweist, die bei dem Codierer verfügbar sind; wobei die Ausgabeschnittstelle (1408) wirksam ist, um die erzeugte parametrische Darstellung und Informationen auszugeben, die implizit oder explizit die spezifische Parameterdarstellung unter der Mehrzahl unterschiedlicher Parameterdarstellungen angeben.
Codierer gemäß Anspruch 35, bei dem die Mehrzahl unterschiedlicher Parameterdarstellungen eine erste parametrische Darstellung für ein wellenformbasiertes prädiktives Heraufumsetzschema und eine zweite parametrische Darstellung für eine nicht wellenformbasierte Heraufumsetzregel aufweist.
Codierer gemäß Anspruch 36, bei dem die nicht wellenformbasierte Heraufumsetzregel eine energiebewahrende Heraufumsetzregel ist.
Codierer gemäß einem der Ansprüche 35 bis 37, bei dem eine erste parametrische Darstellung eine Parameterdarstellung ist, deren Parameter unter Verwendung einer Optimierungsprozedur bestimmt sind, und wobei eine zweite parametrische Darstellung durch ein Berechnen (1520) der Energien der ursprünglichen Kanäle und durch ein Berechnen von Parametern (1522) basierend auf Kombinationen von Energien bestimmt ist.
Codierer gemäß einem der Ansprüche 28 bis 38, der ferner ein Spektralbandreplikationsmodul (1512, 1514) zum Erzeugen von Spektralbandreplikationsseiteninformationen für zumindest ein Band des ursprünglichen Eingangssignals aufweist, das nicht in einem Basiskanal enthalten ist, der durch den Codierer ausgegeben wird.
Verfahren zum Erzeugen von zumindest drei Audioausgangskanälen (1100) unter Verwendung eines Eingangssignals, das zumindest einen Basiskanal (1102) aufweist, wobei der Basiskanal von dem ursprünglichen Mehrkanalsignal (101, 102, 103) abgeleitet ist, das folgende Schritte aufweist: Heraufumsetzen (1104) des zumindest einen Basiskanals basierend auf einer einen Energieverlust einbringenden Heraufumsetzregel (201, 1408), so dass die zumindest drei Ausgangskanäle erhalten werden, wobei bei dem Schritt des Heraufumsetzens die zumindest drei Ausgangskanäle ansprechend auf ein Energiemaß (1106) und zumindest zwei unterschiedliche Heraufumsetzparameter (1108) erzeugt werden, so dass die zumindest drei Ausgangskanäle eine Energie aufweisen, die höher als eine Energie eines Signals ist, das durch ein Verwenden von lediglich der einen Energieverlust einbringenden Heraufumsetzregel erhalten wird, wobei so ein Energiefehler kompensiert wird, wobei der Energiefehler von der einen Energieverlust einbringenden Heraufumsetzregel abhängt, und wobei die zumindest zwei unterschiedlichen Heraufumsetzparameter (1108) und das Energiemaß zum Steuern des Heraufumsetzers in dem Eingangssignal enthalten sind, wobei die einen Energieverlust einbringende Heraufumsetzregel eine prädiktive Heraufumsetzregel ist, die eine Heraufumsetzmatrix verwendet, die Matrixkoeffizienten aufweist, die auf Prädiktionskoeffizienten basieren, und wobei die zumindest zwei unterschiedlichen Heraufumsetzparameter zwei unterschiedliche Elemente (c₁₁, c₂₂) der Heraufumsetzmatrix sind oder Parameter sind, von denen die zwei unterschiedlichen Elemente der Heraufumsetzmatrix ableitbar sind.
Verfahren zum Verarbeiten eines Mehrkanalaudioeingangssignals, das folgende Schritte aufweist: Berechnen (1402) eines Energiemaßes (ρ) abhängig von einer Energiedifferenz zwischen einem Mehrkanaleingangssignal oder zumindest einem Basiskanal, der von dem Mehrkanaleingangssignal abgeleitet ist, und einem heraufumgesetzten Signal, das durch eine einen Energieverlust einbringende Heraufumsetzoperation erzeugt ist; und Ausgeben (1408) des zumindest einen Basiskanals, nachdem derselbe durch einen Skalierungsfaktor (403) abhängig von dem Energiemaß skaliert wurde (401, 402), oder Ausgeben des Energiemaßes.
Codiertes Mehrkanalaudioinformationssignal, das zumindest einen Basiskanal, ein Energiemaß und zumindest zwei unterschiedliche Heraufumsetzparameter aufweist, wobei das Energiemaß von einer Energiedifferenz zwischen einem Mehrkanaleingangssignal oder zumindest einem Basiskanal, der von dem Mehrkanaleingangssignal abgeleitet ist, und einem heraufumgesetzten Signal abhängt, das durch eine einen Energieverlust einbringende Heraufumsetzoperation erzeugt ist, wobei die einen Energieverlust einbringende Heraufumsetzregel eine prädiktive Heraufumsetzregel ist, die eine Heraufumsetzmatrix mit Matrixkoeffizienten verwendet, die auf Prädiktionskoeffizienten basieren, und wobei die zumindest zwei unterschiedlichen Heraufumsetzparameter zwei unterschiedliche Elemente (c₁₁, c₁₂) der Heraufumsetzmatrix sind oder Parameter sind, von denen die zwei unterschiedlichen Elemente der Heraufumsetzmatrix ableitbar sind.
Maschinenlesbares Medium, auf dem ein codiertes Mehrkanalinformationssignal gemäß Anspruch 42 gespeichert ist.
Sender oder Audioaufzeichnungsgerät mit einem Codierer gemäß einem der Ansprüche 28 bis 39.
Empfänger oder Audioabspielgerät mit einem Synthetisierer gemäß einem der Ansprüche 1 bis 27.
Übertragungssystem mit einem Sender gemäß Anspruch 44 und einem Empfänger gemäß Anspruch 45.
Verfahren zum Senden oder Aufzeichnen von Audio, wobei das Verfahren ein Verfahren zum Verarbeiten gemäß Anspruch 41 aufweist.
Verfahren zum Empfangen oder Abspielen von Audio, wobei das Verfahren ein Verfahren zum Erzeugen gemäß Anspruch 40 umfasst.
Verfahren zum Empfangen gemäß Anspruch 48 und Senden gemäß Anspruch 49.
Computerprogramm, das eine Computerprogrammcodeeinrichtung aufweist, die, wenn dieselbe auf einem Computer läuft, alle Schritte eines Verfahrens gemäß einem der Verfahren gemäß Anspruch 40, 41, 47, 48 oder 49 durchführt.