DE112019003358T5 - Verfahren und vorrichtung zum codieren und/oder decodieren immersiver audiosignale - Google Patents

Verfahren und vorrichtung zum codieren und/oder decodieren immersiver audiosignale Download PDF

Info

Publication number
DE112019003358T5
DE112019003358T5 DE112019003358.1T DE112019003358T DE112019003358T5 DE 112019003358 T5 DE112019003358 T5 DE 112019003358T5 DE 112019003358 T DE112019003358 T DE 112019003358T DE 112019003358 T5 DE112019003358 T5 DE 112019003358T5
Authority
DE
Germany
Prior art keywords
channel
signal
metadata
reconstructed
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019003358.1T
Other languages
English (en)
Inventor
David S. McGrath
Michael Eckert
Heiko Purnhagen
Stefan Bruhn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of DE112019003358T5 publication Critical patent/DE112019003358T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Das vorliegende Dokument beschreibt ein Verfahren (700) zum Codieren eines Mehrkanaleingangssignals (201). Das Verfahren (700) umfasst ein Bestimmen (701) einer Mehrzahl von Abwärtsmischkanalsignalen (203) aus dem Mehrkanaleingangssignal (201) und ein Durchführen (702) einer Energieverdichtung der Mehrzahl von Abwärtsmischkanalsignalen (203), um eine Mehrzahl von verdichteten Kanalsignalen (404) bereitzustellen. Des Weiteren umfasst das Verfahren (700) ein Bestimmen (703) gemeinsamer Codierungsmetadaten (205) basierend auf der Mehrzahl von verdichteten Kanalsignalen (404) und basierend auf dem Mehrkanaleingangssignal (201), wobei die gemeinsamen Codierungsmetadaten (205) derart sind, dass sie ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen (404) zu einer Annäherung des Mehrkanaleingangssignals (201) ermöglichen. Zusätzlich umfasst das Verfahren (700) ein Codieren (704) der Mehrzahl von verdichteten Kanalsignalen (404) und der gemeinsamen Codierungsmetadaten (205).

Description

  • QUERVERWEIS ZU VERWANDTEN ANMELDUNGEN
  • Diese Anmeldung beansprucht den Vorteil der Priorität gegenüber der am 2. Juli 2018 eingereichten vorläufigen US-Patentanmeldung Nr. 62/693,246 , auf die hiermit durch Verweis aufgenommen wird.
  • TECHNISCHES GEBIET
  • Das vorliegende Dokument betrifft immersive Audiosignale, die Schallfelddarstellungssignale umfassen können, insbesondere Ambisonics-Signale. Insbesondere betrifft das vorliegende Dokument ein Bereitstellen eines Codierers und eines entsprechenden Decodierers, die ermöglichen, dass immersive Audiosignale auf bitrateneffiziente Weise und/oder mit hoher Wahrnehmungsqualität übertragen und/oder gespeichert werden.
  • HINTERGRUND
  • Der Schall oder das Schallfeld in der Hörumgebung eines Hörers, der an einer Hörposition platziert ist, kann unter Verwendung eines Ambisonics-Signals beschrieben werden. Das Ambisonics-Signal kann als ein Mehrkanalaudiosignal angesehen werden, wobei jeder Kanal einem bestimmten Richtungsmuster des Schallfelds an der Hörposition des Hörers entspricht. Ein Ambisonics-Signal kann unter Verwendung eines dreidimensionalen (3D) kartesischen Koordinatensystems beschrieben werden, wobei der Ursprung des Koordinatensystems der Hörposition entspricht, wobei die x-Achse nach vorne zeigt, die y-Achse nach links zeigt und die Z-Achse nach oben zeigt.
  • Durch Erhöhen der Anzahl von Audiosignalen oder -kanälen und durch Erhöhen der Anzahl entsprechender Richtungsmuster (und entsprechender Schwenkfunktionen) kann die Genauigkeit, mit der ein Schallfeld beschrieben wird, erhöht werden. Um ein Beispiel zu nennen, ein Ambisonics-Signal erster Ordnung umfasst 4 Kanäle oder Wellenformen, nämlich einen W-Kanal, der eine ungerichtete Komponente des Schallfelds anzeigt, einen X-Kanal, der das Schallfeld mit einem Dipolrichtungsmuster beschreibt, das der x-Achse entspricht, einen Y-Kanal, der das Schallfeld mit einem Dipolrichtungsmuster beschreibt, das der y-Achse entspricht, und einen Z-Kanal, der das Schallfeld mit einem Dipolrichtungsmuster beschreibt, das der z-Achse entspricht. Ein Ambisonics-Signal zweiter Ordnung umfasst 9 Kanäle, einschließlich der 4 Kanäle des Ambisonics-Signals erster Ordnung (auch als das B-Format bezeichnet) plus 5 zusätzliche Kanäle für verschiedene Richtungsmuster. Im Allgemeinen umfasst ein Ambisonics-Signal L-ter Ordnung (L+1)2 Kanäle, einschließlich der L2-Kanäle der Ambisonics-Signale (L-1)-ter Ordnung plus [(L +1)2-L2] zusätzliche Kanäle für zusätzliche Richtungsmuster (wenn ein 3D-Ambisonics-Format verwendet wird). Ambisonics-Signale L-ter Ordnung für L>1 können als Ambisonics-Signale höherer Ordnung (HOA-Signale) bezeichnet werden.
  • Ein HOA-Signal kann verwendet werden, um ein 3D-Schallfeld unabhängig von einer Anordnung von Lautsprechern zu beschreiben, die zur Wiedergabe des HOA-Signals verwendet wird. Beispielanordnungen von Lautsprechern umfassen Kopfhörer oder eine oder mehrere Anordnungen von Lautsprechern oder eine Wiedergabeumgebung virtueller Realität. Daher kann es vorteilhaft sein, einer Audiowiedergabe ein HOA-Signal bereitzustellen, damit sich die Audiowiedergabe flexibel an verschiedene Anordnungen von Lautsprechern anpassen kann.
  • Schallfelddarstellungssignale (SR-Signale), wie beispielsweise Ambisonics-Signale, können mit Audioobjekten und/oder Mehrkanalsignalen (Bettsignalen) ergänzt werden, um ein immersives Audiosignal (lA-Signal) bereitzustellen. Das vorliegende Dokument befasst sich mit dem technischen Problem des Übertragens und/oder Speicherns von IA-Signalen mit hoher Wahrnehmungsqualität auf bandbreiteneffiziente Weise. Das technische Problem wird durch die unabhängigen Ansprüche gelöst. Bevorzugte Beispiele sind in den abhängigen Ansprüchen beschrieben.
  • KURZDARSTELLUNG
  • Gemäß einem Aspekt wird ein Verfahren zum Codieren eines Mehrkanaleingangssignals beschrieben. Das Mehrkanaleingangssignal kann Teil eines immersiven Audiosignals (lA-Signals) sein. Das Mehrkanaleingangssignal kann ein Schallfelddarstellungssignal (SR-Signal) umfassen, insbesondere ein Ambisonics-Signal erster oder höherer Ordnung. Das Verfahren umfasst ein Bestimmen einer Mehrzahl von Abwärtsmischkanalsignalen aus dem Mehrkanaleingangssignal. Des Weiteren umfasst das Verfahren ein Durchführen einer Energieverdichtung der der Mehrzahl von Abwärtsmischkanalsignalen, um eine Mehrzahl von verdichteten Kanalsignalen bereitzustellen. Außerdem umfasst das Verfahren ein Bestimmen gemeinsamer Codierungsmetadaten (insbesondere Metadaten zur Rekonstruktion räumlicher Audioauflösung, SPAR-Metadaten) basierend auf der Mehrzahl von verdichteten Kanalsignalen und basierend auf dem Mehrkanaleingangssignal, wobei die gemeinsamen Codierungsmetadaten derart sind, dass sie ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen zu einer Annäherung des Mehrkanaleingangssignals ermöglichen. Das Verfahren umfasst weiter ein Codieren der Mehrzahl von verdichteten Kanalsignalen und der gemeinsamen Codierungsmetadaten.
  • Gemäß einem weiteren Aspekt wird ein Verfahren zum Bestimmen eines rekonstruierten Mehrkanalsignals aus codierten Audiodaten, die eine Mehrzahl von rekonstruierten Kanalsignalen anzeigen, und aus codierten Metadaten, die gemeinsame Codierungsmetadaten anzeigen, beschrieben. Das Verfahren umfasst ein Decodieren der codierten Audiodaten, um die Mehrzahl von rekonstruierten Kanalsignalen bereitzustellen, und ein Decodieren der codierten Metadaten, um die gemeinsamen Codierungsmetadaten bereitzustellen. Des Weiteren umfasst das Verfahren ein Bestimmen des rekonstruierten Mehrkanalsignals aus der Mehrzahl von rekonstruierten Kanalsignalen unter Verwendung der gemeinsamen Codierungsmetadaten.
  • Gemäß einem weiteren Aspekt wird ein Softwareprogramm beschrieben. Das Softwareprogramm kann zur Ausführung auf einem Prozessor und zum Durchführen der in diesem Dokument beschriebenen Verfahrensschritte, wenn es auf dem Prozessor ausgeführt wird, angepasst sein.
  • Gemäß einem anderen Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein Softwareprogramm umfassen, das zur Ausführung auf einem Prozessor und zum Durchführen der in diesem Dokument beschriebenen Verfahrensschritte, wenn es auf dem Prozessor ausgeführt wird, angepasst ist.
  • Gemäß einem weiteren Aspekt wird ein Computerprogrammprodukt beschrieben. Das Computerprogramm kann ausführbare Anweisungen zum Durchführen der in diesem Dokument beschriebenen Verfahrensschritte, wenn es auf einem Computer ausgeführt wird, umfassen.
  • Gemäß einem anderen Aspekt wird eine Codiereinheit oder Codiervorrichtung zum Codieren eines Mehrkanaleingangssignals und/oder eines immersiven Audiosignals (IA-Signals) beschrieben. Die Codiereinheit ist konfiguriert, um eine Mehrzahl von Abwärtsmischkanalsignalen aus dem Mehrkanaleingangssignal zu bestimmen. Des Weiteren ist die Codiereinheit konfiguriert, um eine Energieverdichtung der Mehrzahl von Abwärtsmischkanalsignalen durchzuführen, um eine Mehrzahl von verdichteten Kanalsignalen bereitzustellen. Außerdem ist die Codiereinheit konfiguriert, um gemeinsame Codierungsmetadaten basierend auf der Mehrzahl von verdichteten Kanalsignalen und basierend auf dem Mehrkanaleingangssignal zu bestimmen, wobei die gemeinsamen Codierungsmetadaten derart sind, dass sie ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen zu einer Annäherung des Mehrkanaleingangssignals ermöglichen. Die Codiereinheit ist weiter konfiguriert, um die Mehrzahl von verdichteten Kanalsignalen und die gemeinsamen Codierungsmetadaten zu codieren.
  • Gemäß einem anderen Aspekt wird eine Decodiereinheit oder Decodiervorrichtung zum Bestimmen eines rekonstruierten Mehrkanalsignals aus codierten Audiodaten, die eine Mehrzahl von rekonstruierten Kanalsignalen anzeigen, und aus codierten Metadaten, die gemeinsame Codierungsmetadaten anzeigen, beschrieben. Die Decodiereinheit ist konfiguriert, um die codierten Audiodaten zu decodieren, um die Mehrzahl von rekonstruierten Kanalsignalen bereitzustellen, und um die codierten Metadaten zu decodieren, um die gemeinsamen Codierungsmetadaten bereitzustellen. Des Weiteren ist die Decodiereinheit konfiguriert, um das rekonstruierte Mehrkanalsignal aus der Mehrzahl von rekonstruierten Kanalsignalen unter Verwendung der gemeinsamen Codierungsmetadaten zu bestimmen.
  • Es ist zu beachten, dass die in der vorliegenden Patentanmeldung beschriebenen Verfahren, Vorrichtungen und Systeme einschließlich ihrer bevorzugten Ausführungsformen allein oder in Kombination mit den anderen in diesem Dokument offenbarten Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können alle Aspekte der in der vorliegenden Patentanmeldung beschriebenen Verfahren, Vorrichtungen und Systeme beliebig kombiniert werden. insbesondere können die Merkmale der Ansprüche auf beliebige Weise miteinander kombiniert werden.
  • Figurenliste
  • Die Erfindung wird nachstehend auf beispielhafte Weise unter Bezugnahme auf die beigefügten Zeichnungen erläutert, wobei
    • 1 ein beispielhaftes Codierungssystem zeigt;
    • 2 eine beispielhafte Codiereinheit zum Codieren eines immersiven Audiosignals zeigt;
    • 3 eine andere beispielhafte Decodiereinheit zum Decodieren eines immersiven Audiosignals zeigt;
    • 4 eine beispielhafte Codiereinheit und eine beispielhafte Decodiereinheit zum Codieren und Decodieren eines immersiven Audiosignals zeigt;
    • 5 eine beispielhafte Codiereinheit und eine beispielhafte Decodiereinheit mit Modusumschaltung zeigt;
    • 6 ein beispielhaftes Rekonstruktionsmodul zeigt;
    • 7 ein Flussdiagramm eines beispielhaften Verfahrens zum Codieren eines immersiven Audiosignals zeigt; und
    • 8 ein Flussdiagramm eines beispielhaften Verfahrens zum Decodieren von Daten, die ein immersives Audiosignal anzeigen, zeigt.
  • DETAILLIERTE BESCHREIBUNG
  • Wie vorstehend beschrieben, betrifft das vorliegende Dokument eine effiziente Codierung von immersiven Audiosignalen (lA-Signalen), wie beispielsweise Ambisonics-Signalen erster Ordnung (FOA-Signale) oder HOA-Signalen, Mehrkanal- und/oder Objektaudiosignalen, wobei insbesondere auf FOA- oder HOA-Signale hierin allgemeiner als Schallfelddarstellungssignale (SR-Signale) Bezug genommen wird.
  • Wie in dem einleitenden Abschnitt beschrieben, kann ein SR-Signal eine relativ hohe Anzahl von Kanälen oder Wellenformen umfassen, wobei sich die verschiedenen Kanäle auf verschiedene Schwenkfunktionen und/oder auf verschiedene Richtungsmuster beziehen. Um ein Beispiel zu nennen, ein 3D-FOA-Signal L-ter Ordnung oder ein HOA-Signal umfasst (L+1)2 Kanäle. Ein SR-Signal kann in verschiedenen Formaten dargestellt werden.
  • Ein Schallfeld kann als aus einem oder mehreren akustischen Ereignissen zusammengesetzt angesehen werden, die von beliebigen Richtungen um die Hörposition herum ausgehen. Infolgedessen können die Orte des einen oder der mehreren akustischen Ereignisse auf der Oberfläche einer Kugel definiert werden (wobei sich die Hör- oder Bezugsposition in dem Zentrum der Kugel befindet).
  • Ein Schallfeldformat, wie beispielsweise FOA oder Ambisonics höherer Ordnung (HOA), ist derart definiert, dass das Schallfeld über beliebige Lautsprecheranordnungen (d.h. beliebige Wiedergabesysteme) wiedergegeben werden kann. Wiedergabesysteme (wie beispielsweise das Dolby-Atmos-System) sind jedoch typischerweise in dem Sinne eingeschränkt, dass die möglichen Höhen der Lautsprecher auf eine definierte Anzahl von Ebenen festgelegt sind (z.B. eine Ebene auf Ohrhöhe (horizontal), eine Decke oder eine obere Ebene und/oder ein Boden oder eine untere Ebene). Daher kann der Begriff eines idealen sphärischen Schallfelds zu einem Schallfeld geändert werden, das aus akustischen Objekten zusammengesetzt ist, die sich in verschiedenen Ringen auf verschiedenen Höhen auf der Oberfläche einer Kugel befinden (ähnlich den gestapelten Ringen, die einen Bienenstock bilden).
  • Wie in 1 gezeigt, umfasst ein Audiocodierungssystem 100 eine Codiereinheit 110 und eine Decodiereinheit 120. Die Codiereinheit 110 kann konfiguriert sein, um einen Bitstrom 101 zur Übertragung an die Decodiereinheit 120 basierend auf einem Eingangssignal 111 zu erzeugen, wobei das Eingangssignal 111 ein immersives Audiosignal umfassen kann (das z.B. für Anwendungen der virtuellen Realität (VR-Anwendungen) verwendet wird). Das immersive Audiosignal kann ein SR-Signal, ein Mehrkanalsignal (Bettsignal) und/oder eine Mehrzahl von Objekten (jedes Objekt umfasst ein Objektsignal und Objektmetadaten) umfassen. Die Decodiereinheit 120 kann konfiguriert sein, um ein Ausgangssignal 121 basierend auf dem Bitstrom 101 bereitzustellen, wobei das Ausgangssignal 121 ein rekonstruiertes immersives Audiosignal umfassen kann.
  • 2 veranschaulicht eine beispielhafte Codiereinheit 110, 200. Die Codiereinheit 200 kann konfiguriert sein, um ein Eingangssignal 111 zu codieren, wobei das Eingangssignal 111 ein immersives Audioeingangssignal (lA-Eingangssignal) 111 sein kann. Das IA-Eingangssignal 111 kann ein Mehrkanaleingangssignal 201 umfassen. Das Mehrkanaleingangssignal 201 kann ein SR-Signal und ein oder mehrere Objektsignale umfassen. Des Weiteren können Objektmetadaten 202 für die Mehrzahl von Objektsignalen als Teil des IA-Eingangssignals 111 bereitgestellt werden. Das IA-Eingangssignal 111 kann von einer Inhaltsaufnahmemaschine bereitgestellt werden, wobei eine Inhaltsaufnahmemaschine konfiguriert sein kann, um Objekte und/oder oder SR-Signale von (komplexen) VR-Inhalten abzuleiten.
  • Die Codiereinheit 200 umfasst ein Abwärtsmischmodul 210, das konfiguriert ist, um das Mehrkanaleingangssignal 201 auf eine Mehrzahl von Abwärtsmischkanalsignalen 203 abwärtszumischen. Die Mehrzahl von Abwärtsmischkanalsignalen 203 kann einem SR-Signal entsprechen, insbesondere einem Ambisonics-Signal erster Ordnung (FOA-Signal). Das Abwärtsmischen kann in der Teilbanddomäne oder der QMF-Domäne (z.B. unter Verwendung von 10 oder mehr Teilbändern) durchgeführt werden.
  • Die Codiereinheit 200 umfasst weiter ein gemeinsames Codierungsmodul 230 (insbesondere ein SPAR-Modul), das konfiguriert ist, um gemeinsame Codierungsmetadaten 205 (insbesondere SPAR-Metadaten, Metadaten zur Rekonstruktion räumlicher Audioauflösung) zu bestimmen, die konfiguriert sind, um das Mehrkanaleingangssignal 201 aus der Mehrzahl von Abwärtsmischkanalsignalen 203 zu rekonstruieren. Das gemeinsame Codierungsmodul 230 kann konfiguriert sein, um die gemeinsamen Codierungsmetadaten 205 in der Teilbanddomäne zu bestimmen.
  • Zum Bestimmen der gemeinsamen Codierungsmetadaten 205 kann die Mehrzahl von Abwärtsmischkanalsignalen 203 in die Teilbanddomäne transformiert und/oder innerhalb der Teilbanddomäne verarbeitet werden. Des Weiteren kann das Mehrkanaleingangssignal 201 in die Teilbanddomäne transformiert werden. Anschließend können gemeinsame Codierungsmetadaten 205 auf einer Basis pro Teilband bestimmt werden, insbesondere derart, dass durch Aufwärtsmischen eines Teilbandsignals der Mehrzahl von Abwärtsmischkanalsignalen 203 unter Verwendung der gemeinsamen Codierungsmetadaten 205 eine Annäherung eines Teilbandsignals des Mehrkanaleingangssignals 201 wird erhalten. Die gemeinsamen Codierungsmetadaten 205 für die verschiedenen Teilbänder können zur Übertragung an die entsprechende Decodiereinheit 120 in den Bitstrom 101 eingefügt werden.
  • Zusätzlich kann die Codiereinheit 200 ein Codierungsmodul 240 umfassen, das konfiguriert ist, um ein Wellenformcodieren der Mehrzahl von Abwärtsmischkanalsignalen 203 durchzuführen, wodurch codierte Audiodaten 206 bereitgestellt werden. Jedes der Abwärtsmischkanalsignale 203 kann unter Verwendung eines Monowellenformcodierers codiert werden (z.B. 3 GPP EVS-Codieren), wodurch ein effizientes Codieren ermöglicht wird. Weitere Beispiele zum Codieren der Mehrzahl von Abwärtsmischkanalsignalen 203 sind MPEG AAC, MPEG HE-AAC und andere MPEG Audio-Codecs, 3GPP-Codecs, Dolby Digital/Dolby Digital Plus (AC-3, eAC-3), Opus, LC-3 und ähnliche Codecs. Als ein weiteres Beispiel können Codierungswerkzeuge, die in dem AC-4-Codec enthalten sind, auch konfiguriert sein, um die Operationen der Codiereinheit 200 auszuführen.
  • Des Weiteren kann das Codierungsmodul 240 konfiguriert sein, um ein Entropiecodieren der gemeinsamen Codierungsmetadaten (d.h. der SPAR-Metadaten) 205 und der Objektmetadaten 202 durchzuführen, wodurch codierte Metadaten 207 bereitgestellt werden. Die codierten Audiodaten 206 und die codierten Metadaten 207 können in den Bitstrom 101 eingefügt werden.
  • 3 zeigt eine beispielhafte Decodiereinheit 120, 350. Die Decodiereinheit 120, 350 kann einen Empfänger beinhalten, der den Bitstrom 101 empfängt, der die codierten Audiodaten 206 und die codierten Metadaten 207 beinhalten kann. Die Decodiereinheit 120, 350 kann einen Prozessor und/oder einen Demultiplexer beinhalten, der die codierten Audiodaten 206 und die codierten Metadaten 207 aus dem Bitstrom 101 demultiplext. Die Decodiereinheit 350 umfasst ein Decodiermodul 360, das konfiguriert ist, um eine Mehrzahl von rekonstruierten Kanalsignalen 314 aus den codierten Audiodaten 206 abzuleiten. Das Decodiermodul 360 kann weiter konfiguriert sein, um die gemeinsamen Codierungsmetadaten 205 und die Objektmetadaten 202 aus den codierten Metadaten 207 abzuleiten.
  • Zusätzlich umfasst die Decodiereinheit 350 ein Rekonstruktionsmodul 370, das konfiguriert ist, um ein rekonstruiertes Mehrkanalsignal 311 aus den gemeinsamen Codierungsmetadaten 205 und aus der Mehrzahl von rekonstruierten Kanalsignalen 314 abzuleiten. Die gemeinsamen Codierungsmetadaten 205 können die zeit- und/oder frequenzvariierenden Elemente einer Aufwärtsmischmatrix übermitteln, was ein Rekonstruieren des Mehrkanalsignals 311 aus der Mehrzahl von rekonstruierten Kanalsignalen 314 ermöglicht. Der Aufwärtsmischprozess kann in der QMF-Teilbanddomäne (Quadraturspiegelfilter-Teilbanddomäne) ausgeführt werden. Alternativ kann eine andere Zeit-/Frequenztransformation, insbesondere eine Transformation auf Basis von FFT (schneller Fourier Transformation), verwendet werden, um den Aufwärtsmischprozess durchzuführen. Im Allgemeinen kann eine Transformation angewendet werden, die eine frequenzselektive Analyse und (Aufwärtsmisch-) Verarbeitung ermöglicht. Der Aufwärtsmischprozess kann auch Dekorrelatoren beinhalten, die eine verbesserte Rekonstruktion der Kovarianz des rekonstruierten Mehrkanalsignals 311 ermöglichen, wobei die Dekorrelatoren durch zusätzliche gemeinsame Codierungsmetadaten 205 gesteuert werden können.
  • Das rekonstruierte Mehrkanalsignal 311 kann ein als rekonstruiertes SR-Signal bekanntes Signal und ein oder mehrere rekonstruierte Objektsignale umfassen. Das rekonstruierte Mehrkanalsignal 311 und die Objektmetadaten können ein rekonstruiertes IA-Signal 121 bilden. Das rekonstruierte lA-Signal 121 kann zur Lautsprecherwiedergabe 330, zur Kopfhörerwiedergabe 331 und/oder zur SR-Wiedergabe 332 verwendet werden.
  • 4 veranschaulicht eine Codiereinheit 200 und eine Decodiereinheit 350. Die Codiereinheit 200 umfasst die im Zusammenhang mit 2 beschriebenen Komponenten. Des Weiteren umfasst die Codiereinheit 200 ein Energieverdichtungsmodul 420, das konfiguriert ist, um die Energie der Mehrzahl von Abwärtsmischkanalsignalen 203 auf einen oder mehrere Abwärtsmischkanalsignale 203 zu konzentrieren. Das Energieverdichtungsmodul 420 kann die Abwärtsmischkanalsignale 203 transformieren, um eine Mehrzahl von verdichteten Kanalsignalen 404 bereitzustellen. Die Transformation kann derart durchgeführt werden, dass eines oder mehrere der verdichteten Kanalsignale 404 weniger Energie aufweisen als die entsprechenden ein oder mehrere Abwärtsmischkanalsignale 203.
  • Um ein Beispiel zu nennen, die Mehrzahl von Abwärtsmischkanalsignalen 203 kann ein W-Kanalsignal, ein X-Kanalsignal, ein Y-Kanalsignal und ein Z-Kanalsignal umfassen. Die Mehrzahl von verdichteten Kanalsignalen 404 kann das W-Kanalsignal, ein X'-Kanalsignal, ein Y'-Kanalsignal und ein Z'-Kanalsignal umfassen. Das X'-Kanalsignal, das Y'-Kanalsignal und das Z'-Kanalsignal können bestimmt werden, sodass das X'-Kanalsignal weniger Energie als das X-Kanalsignal aufweist, sodass das Y'-Kanalsignal weniger Energie als das Y-Kanalsignal aufweist und/oder sodass das Z'-Kanalsignal weniger Energie als das Z-Kanalsignal aufweist.
  • Das Energieverdichtungsmodul 420 kann konfiguriert sein, um eine Energieverdichtung unter Verwendung einer Vorhersageoperation durchzuführen. insbesondere kann eine erste Teilmenge der Mehrzahl von Abwärtsmischkanalsignalen 203 (z.B. des X-Kanalsignals, des Y-Kanalsignals und des Z-Kanalsignals) aus einer zweiten Teilmenge der Mehrzahl von Abwärtsmischkanalsignalen 203 (z.B. des W-Kanalsignals) vorhergesagt werden. Die Energieverdichtung kann das Subtrahieren einer skalierten Version von einem der Abwärtsmischkanalsignale 203 (z.B. dem W-Kanalsignal) von den anderen Abwärtsmischkanalsignalen 203 (z.B. dem X-Kanalsignal, dem Y-Kanalsignal und/oder dem Z-Kanalsignal) umfassen. Der Skalierungsfaktor kann bestimmt werden, sodass die Energie der anderen Abwärtsmischkanalsignale 203 reduziert wird, insbesondere minimiert.
  • Durch Durchführen einer Energieverdichtung kann die Effizienz zum Codieren der Mehrzahl von verdichteten Kanalsignalen 404 im Vergleich zum Codieren der Mehrzahl von Abwärtsmischkanalsignalen 203 erhöht werden. Die Codiereinheit 200 ist konfiguriert, um zum Durchführen der Inversen der Energieverdichtungsoperation die Metadaten implizit in die gemeinsamen Codierungsmetadaten 205 einzufügen. Infolgedessen wird ein effizientes Codieren als lA-Eingangssignal 111 erreicht.
  • Wie vorstehend beschrieben, umfasst die Decodiereinheit ein Rekonstruktionsmodul 370. 6 veranschaulicht ein beispielhaftes Rekonstruktionsmodul 370. Das Rekonstruktionsmodul 370 nimmt als Eingang die Mehrzahl von rekonstruierten Kanalsignalen 314 (die z.B. ein Ambisonics-Signal erster Ordnung bilden können). Ein erster Mischer 611 kann konfiguriert sein, um die Mehrzahl von rekonstruierten Kanalsignalen 314 (z.B. die vier Kanalsignale) auf eine erhöhte Anzahl von Signalen (z.B. elf Signale, die ein Ambisonics-Signal 2-ter Ordnung und zwei Objektsignale darstellen) aufwärts zu mischen. Der erste Mischer 611 ist von den gemeinsamen Codierungsmetadaten 205 abhängig.
  • Das Rekonstruktionsmodul 370 kann Dekorrelatoren 601, 602 umfassen, die konfiguriert sind, um zwei Signale aus dem W-Kanalsignal zu erzeugen, die in einem zweiten Mischer 612 verarbeitet werden, um eine erhöhte Anzahl von Signalen (z.B. elf Signale) zu erzeugen. Der zweite Mischer 612 ist von den gemeinsamen Codierungsmetadaten 205 abhängig. Der Ausgang des ersten Mischers 611 und der Ausgang des zweiten Mischers 612 werden summiert, um das rekonstruierte Mehrkanalsignal 311 bereitzustellen.
  • Wie vorstehend angegeben, können die gemeinsamen Codierungs- oder SPAR-Metadaten 205 aus Daten zusammengesetzt sein, die die Koeffizienten von Aufwärtsmischmatrizen darstellen, die von dem ersten Mischer 611 und von dem zweiten Mischer 612 verwendet werden. Die Mischer 611, 612 können in der Teilbanddomäne (insbesondere in die QMF-Domäne) arbeiten. In diesem Fall umfassen die gemeinsamen Codierungs- oder SPAR-Metadaten 205 Daten, die die Koeffizienten von Aufwärtsmischmatrizen darstellen, die von dem ersten Mischer 611 und von dem zweiten Mischer 612 für eine Mehrzahl von verschiedenen Teilbändern (z.B. 10 oder mehr Teilbänder) verwendet werden.
  • 5 zeigt eine Codiereinheit 200, die zwei Zweige zum Codieren eines Mehrkanaleingangssignals 201 und zum Codieren von Objektmetadaten 202 (die ein IA-Eingangssignal 111 bilden) umfasst. Der obere Zweig entspricht dem Codierschema, das im Zusammenhang mit 4 beschrieben wurde. In dem unteren Zweig ist die gemeinsame Codiereinheit 230 modifiziert, um Metadaten 205 zu bestimmen, was ermöglicht, dass die Mehrzahl von Abwärtsmischkanalsignalen 203 aus der Mehrzahl von Kanalsignalen 404 rekonstruiert werden kann. Daher zeigen die Metadaten 205 den Vorhersager (insbesondere den einen oder die mehreren Skalierungsfaktoren) an, der verwendet wurde, um die Mehrzahl von verdichteten Kanalsignalen 404 aus der Mehrzahl von Abwärtsmischkanalsignalen 203 zu erzeugen. In einer Variante können Metadaten 205 direkt von dem Energieverdichtungsmodul 220 bereitgestellt werden (ohne dass das gemeinsame Codierungsmodul 230 verwendet werden muss).
  • Die Codiereinheit 200 von 5 umfasst ein Modusumschaltmodul 500, das konfiguriert ist, um zwischen einem ersten Modus (entsprechend dem oberen Zweig) und einem zweiten Modus (entsprechend dem unteren Zweig) umzuschalten. Der erste Modus kann verwendet werden, um eine hohe Wahrnehmungsqualität bei einer erhöhten Bitrate bereitzustellen, und der zweite Modus kann verwendet werden, um eine reduzierte Wahrnehmungsqualität bei einer reduzierten Bitrate bereitzustellen. Das Modusumschaltmodul 500 kann konfiguriert sein, um in Abhängigkeit von dem Status eines Übertragungsnetzwerks zwischen dem ersten Modus und dem zweiten Modus umzuschalten.
  • Des Weiteren zeigt 5 eine entsprechende Decodiereinheit 350, die konfiguriert ist, um ein Decodieren gemäß einem ersten Modus (oberer Zweig) und gemäß einem zweiten Modus (unterer Zweig) durchzuführen. Ein Modusumschaltmodul 550 kann konfiguriert sein, um zu bestimmen, welcher Modus von der Codiereinheit 200 verwendet wurde (z.B. auf einer Rahmen-für-Rahmen-Basis). Wenn der erste Modus verwendet wurde, dann können das rekonstruierte Mehrkanalsignal 311 und die Objektmetadaten 202 bestimmt werden (wie im Zusammenhang von 4 beschrieben). Wenn andererseits der zweite Modus verwendet wurde, dann kann eine Mehrzahl von rekonstruierten Abwärtsmischkanalsignalen 513 (entsprechend der Mehrzahl von Abwärtsmischkanalsignalen 203) von der Decodiereinheit 350 bestimmt werden.
  • Daher wird eine Codiereinheit 200 beschrieben, die ein Abwärtsmischmodul 210 umfasst, das konfiguriert ist, um die Objekte und ein HOA-Eingangssignal 111 zu verarbeiten, um ein Ausgangssignal 203 zu erzeugen, das eine reduzierte Anzahl von Kanälen aufweist, zum Beispiel ein Ambisonics-Signal erster Ordnung (FOA-Signal). Das SPAR-Codiermodul 230 erzeugt Metadaten (d.h. SPAR-Metadaten) 205, die anzeigen, wie die ursprünglichen Eingänge 111, 201 (z.B. Objektsignale plus HOA) aus dem FOA-Signal 203 regeneriert werden können. Ein Satz von EVS-Codierern 240 kann das 4-Kanal-FOA-Signal 203. nehmen und kann codierte Audiodaten 206 erzeugen, die in einen Bitstrom 101 eingefügt werden sollen, der dann von einem Satz von EVS-Decodierern 360 decodiert wird, um ein vierkanaliges FOA-Signal 314 zu erzeugen. Die SPAR-Metadaten 205 können als (Entropie) codierte Metadaten 207 innerhalb des Bitstroms 101 zu dem Decodierer 360 bereitgestellt werden. Das Rekonstruktionsmodul 370 regeneriert anschließend einen Ausgang 121, der aus Audioobjekten und einem HOA-Signal besteht.
  • Das von dem Abwärtsmischmodul 210 erzeugte Signal 203 mit niedriger Auflösung kann durch eine WXYZ-Energieverdichtungstransformation (in Modul 420) modifiziert werden, die ein Ausgangssignal 404 erzeugt, das im Vergleich zu dem Ausgang des Abwärtsmischmoduls 210 eine geringere Zwischenkanalkorrelation aufweist. Der Zweck des Energieverdichtungsfilters 420 besteht darin, die Energie in den XYZ-Kanälen zu reduzieren, sodass der W-Kanal mit einer höheren Bitrate codiert werden kann und die X'Y'Z'-Kanäle mit niedriger Energie mit niedrigeren Bitraten codiert werden können. Auf diese Weise werden die Codierungsartefakte effektiver maskiert, sodass die Audioqualität verbessert wird.
  • Zusätzlich oder alternativ zur Durchführung einer Vorhersage kann die Energieverdichtung eine Karhonen-Loeve-Transformation (KLT), eine Hauptkomponentenanalysetransformation (PCA-Transformation) und/oder eine Singulärwertzerlegungstransformation (SVD-Transformation) verwenden. Insbesondere kann ein Energieverdichtungsfilter 420 verwendet werden, der einen Aufhellungsfilter, eine KLT, eine PCA-Transformation und/oder eine SVD-Transformation umfasst. Der Aufhellungsfilter kann unter Verwendung des vorstehend erwähnten Vorhersageschemas implementiert werden. Insbesondere kann der Energieverdichtungsfilter 420 eine Kombination eines Aufhellungsfilters und einer KLT, PCA- und/oder SVD-Transformation umfassen, wobei die letztere in Reihe mit dem Aufhellungsfilter angeordnet ist. Die KLT, PCA- und/oder SVD-Transformation kann auf die X-, Y-, Z-Kanäle angewendet werden, insbesondere auf die Vorhersage-Residuen.
  • 7 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 700 zum Codieren eines Mehrkanaleingangssignals 201. Insbesondere betrifft das Verfahren 700 ein Codieren eines lA-Signals, das ein Mehrkanaleingangssignal 201 umfasst. Das Mehrkanaleingangssignal 201 kann ein Schallfelddarstellungssignal (SR-Signal) umfassen. Insbesondere kann das Mehrkanaleingangssignal 201 eine Kombination aus einem SR-Signal (z.B. einem HOA-Signal, insbesondere einem Ambisonics-Signal zweiter Ordnung) und einem oder mehreren (insbesondere zwei) Objektsignalen von einem oder mehreren Audioobjekten 303 umfassen.
  • Das Verfahren 700 umfasst das Bestimmen 701 einer Mehrzahl von Abwärtsmischkanalsignalen 203 aus dem Mehrkanaleingangssignal 201. Die Mehrzahl von Abwärtsmischkanalsignalen 203 kann eine reduzierte Anzahl von Kanälen im Vergleich zu dem Mehrkanaleingangssignal 201 umfassen. Wie vorstehend angegeben kann das Mehrkanaleingangssignal 201 ein SR-Signal, insbesondere ein Ambisonics-Signal L-ter Ordnung, mit L≥1, und ein oder mehrere Objektsignale von einem oder mehreren Audioobjekten 303 umfassen. Die Mehrzahl von Abwärtsmischkanalsignalen 203 kann durch Abwärtsmischen des Mehrkanaleingangssignals 201 auf ein SR-Signal, insbesondere ein Ambisonics-Signal K-ter Ordnung, mit L≥K, bestimmt werden. Daher kann die Mehrzahl von Abwärtsmischkanalsignalen 203 ein SR-Signal sein, insbesondere ein Ambisonics-Signal der K-ter Ordnung.
  • Insbesondere kann das Bestimmen 701 der Mehrzahl von Abwärtsmischkanalsignalen 203 das Mischen des einen oder der mehreren Objektsignale von einem oder mehreren Audioobjekten 303 (des Mehrkanaleingangssignals 201) mit dem SR-Signal des Mehrkanaleingangssignals 201 (oder mit einer abwärtsgemischten Version des SR-Signals) umfassen. Das Mischen (insbesondere das Schwenken) kann in Abhängigkeit von den Objektmetadaten 202 von dem einen oder den mehreren Audioobjekten 303 durchgeführt werden, wobei die Objektmetadaten 202 von einem Audioobjekt 303 eine räumliche Position des Audioobjekts 303 anzeigen. Ein Abwärtsmischen des SR-Signals kann das Entfernen der [(L + 1)2-L2] zusätzlichen Kanäle aus einem SR-Signal L-ter Ordnung umfassen, wodurch ein SR-Signal (L-1)-ter Ordnung bereitgestellt wird.
  • In einem bevorzugten Beispiel bildet die Mehrzahl von Abwärtsmischkanalsignalen 203 ein Ambisonics-Signal erster Ordnung, insbesondere in einem B-Format oder in einem A-Format. Das SR-Signal des Mehrkanaleingangssignals 201 kann ein Ambisonics-Signal zweiter Ordnung (oder höher) sein.
  • Des Weiteren umfasst das Verfahren 700 ein Durchführen 702 einer Energieverdichtung der Mehrzahl von Abwärtsmischkanalsignalen 203, um eine Mehrzahl von verdichteten Kanalsignalen 404 bereitzustellen. Die Anzahl der Kanäle der Mehrzahl von Abwärtsmischkanalsignalen 203 und die Mehrzahl von verdichteten Kanalsignalen 404 können gleich sein. Insbesondere kann die Mehrzahl von verdichteten Kanalsignalen 404 ein Ambisonics-Signal erster Ordnung bilden oder in einem Format eines Ambisonics-Signals erster Ordnung vorliegen, insbesondere in einem B-Format oder in einem A-Format.
  • Eine Energieverdichtung kann derart durchgeführt werden, dass die Zwischenkanalkorrelation zwischen den verschiedenen Kanalsignalen 203 reduziert wird. Insbesondere kann die Mehrzahl von verdichteten Kanalsignalen 404 eine geringere Zwischenkanalkorrelation aufweisen als die Mehrzahl von Abwärtsmischkanalsignalen 203. Alternativ oder zusätzlich kann eine Energieverdichtung derart durchgeführt werden, dass die Energie eines verdichteten Kanalsignals geringer als oder gleich der Energie eines entsprechenden Abwärtsmischkanalsignals ist. Diese Bedingung kann für jeden Kanal erfüllt werden.
  • Das Durchführen 702 einer Energieverdichtung kann ein Vorhersagen eines ersten Abwärtsmischkanalsignals 203 (z.B. eines X-, Y- oder Z-Kanals) aus einem zweiten Abwärtsmischkanalsignal (z.B. eines W-Kanals) umfassen, um ein erstes vorhergesagtes Kanalsignal bereitzustellen. Das erste vorhergesagte Kanalsignal kann von dem ersten Abwärtsmischkanalsignal 203 subtrahiert werden (oder umgekehrt), um ein erstes verdichtetes Kanalsignal 404 bereitzustellen.
  • Das Vorhersagen eines ersten Abwärtsmischkanalsignals 203 aus einem zweiten Abwärtsmischkanalsignal 203 kann das Bestimmen eines Skalierungsfaktors zum Skalieren des zweiten Abwärtsmischkanalsignals 203 umfassen. Der Skalierungsfaktor kann bestimmt werden, so dass die Energie des ersten verdichteten Kanalsignals 404 im Vergleich zu der Energie des ersten Abwärtsmischkanalsignals 203 reduziert wird und/oder sodass die Energie des ersten verdichteten Kanalsignals 404 minimiert wird. Das erste vorhergesagte Kanalsignal kann dann dem zweiten Abwärtsmischkanalsignal 203 entsprechen, das gemäß dem Skalierungsfaktor skaliert wurde. Für verschiedene Kanäle können verschiedene Skalierungsfaktoren bestimmt werden.
  • Insbesondere (im Fall eines Ambisonics-Signals erster Ordnung) kann das Durchführen 702 einer Energieverdichtung ein Vorhersagen eines X-Kanalsignals, eines Y-Kanalsignals und eines Z-Kanalsignals aus einem W-Kanalsignal der Mehrzahl von Abwärtsmischkanalsignalen 203 umfassen, um ein vorhergesagtes X-Kanalsignal, ein vorhergesagtes Y-Kanalsignal bzw. ein vorhergesagtes Z-Kanalsignal bereitzustellen. Das vorhergesagte X-Kanalsignal kann von dem X-Kanalsignal..subtrahiert werden (oder umgekehrt), um ein X'-Kanalsignal der Mehrzahl von verdichteten Kanalsignalen 404 zu bestimmen. Das vorhergesagte Y-Kanalsignal kann von dem Y-Kanalsignal subtrahiert werden (oder umgekehrt), um ein Y'-Kanalsignal der Mehrzahl von verdichteten Kanalsignalen 404 zu bestimmen. Das vorhergesagte Z-Kanalsignal kann von dem Z-Kanalsignal subtrahiert werden (oder umgekehrt), um ein Z'-Kanalsignal der Mehrzahl von verdichteten Kanalsignalen 404 zu bestimmen. Des Weiteren kann das W-Kanalsignal der Mehrzahl von Abwärtsmischkanalsignalen 203 als das W-Kanalsignal der Mehrzahl von verdichteten Kanalsignalen 404 verwendet werden.
  • Infolgedessen kann die Energie aller Kanäle (außer einem, d.h. dem W-Kanal) reduziert werden, wodurch eine effizientes Codieren der Mehrzahl von verdichteten Kanalsignalen 404 ermöglicht wird. Das Verfahren 700 kann weiter ein Bestimmen 703 gemeinsamer Codierungsmetadaten (hier auch als SPAR-Metadaten bezeichnet) 205 basierend auf der Mehrzahl von verdichteten Kanalsignalen 404 und basierend auf dem Mehrkanaleingangssignal 201 umfassen. Die gemeinsamen Codierungsmetadaten 205 können derart bestimmt werden, dass die gemeinsamen Codierungsmetadaten 205 ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen 404 zu einer Annäherung des Mehrkanaleingangssignals 201 ermöglichen. Durch Verwendung der Mehrzahl von verdichteten Kanalsignalen 404 zum Bestimmen der gemeinsamen Codierungsmetadaten wird der Prozess des Invertierens der Energieverdichtung automatisch in die gemeinsamen Codierungsmetadaten 205 eingeschlossen (ohne dass zusätzliche Metadaten speziell zum Invertieren des Energieverdichtungsvorgangs bereitgestellt werden müssen).
  • Die gemeinsamen Codierungsmetadaten 205 können Aufwärtsmischdaten umfassen, insbesondere eine oder mehrere Aufwärtsmischmatrizen, die das Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen 404 zu einer Annäherung des Mehrkanaleingangssignals 201 ermöglichen. Die Annäherung des Mehrkanaleingangssignals 201 umfasst die gleiche Anzahl von Kanälen wie das Mehrkanaleingangssignal 201. Des Weiteren können die gemeinsamen Codierungsmetadaten 205 Dekorrelationsdaten umfassen, die die Rekonstruktion einer Kovarianz des Mehrkanaleingangssignals 201 ermöglichen.
  • Die gemeinsamen Codierungsmetadaten 205 können für eine Mehrzahl von verschiedenen Teilbändern des Mehrkanaleingangssignals 201 bestimmt werden (z.B. für 10 oder mehr Teilbänder, insbesondere innerhalb der QMF-Domäne). Durch Bereitstellen gemeinsamer Codierungsmetadaten 205 für verschiedene Teilbänder (d.h. innerhalb verschiedener Frequenzbänder) kann eine präzise Aufwärtsmischoperation durchgeführt werden.
  • Zusätzlich umfasst das Verfahren 700 ein Codieren 704 der Mehrzahl von verdichteten Kanalsignalen 404 und der gemeinsamen Codierungsmetadaten 205 (auch als SPAR-Metadaten bekannt). Das Codieren 704 der Mehrzahl von verdichteten Kanalsignalen 404 kann ein Durchführen eines Wellenformcodierens (insbesondere EVS-Codieren) von jedem einzelnen der Mehrzahl von verdichteten Kanalsignalen 404 umfassen, insbesondere unter Verwendung eines Monocodierers für jedes verdichtete Kanalsignal 404. Alternativ oder zusätzlich können die gemeinsame Codierungsmetadaten 205 unter Verwendung eines Entropiecodierers codiert werden. Wie vorstehend angegeben, kann das Mehrkanaleingangssignal 201 ein oder mehrere Objektsignale von einem oder mehreren Audioobjekten 303 umfassen. In solchen Fällen kann das Verfahren 700 ein Codieren, insbesondere unter Verwendung eines Entropiecodierers, der Objektmetadaten 202 für das eine oder die mehreren Audioobjekte 303 umfassen.
  • Das Verfahren 700 ermöglicht, dass ein Mehrkanaleingangssignal 201, das ein SR-Signal und/oder ein oder mehrere Audioobjektsignale anzeigen kann, auf eine bitrateneffiziente Weise codiert wird, während es einem Decodierer ermöglicht, das Mehrkanaleingangssignal 201 mit hoher Wahrnehmungsqualität zu rekonstruieren.
  • Das Bestimmen der gemeinsamen Codierungsmetadaten 205 basierend auf der Mehrzahl von verdichteten Kanalsignalen 404 und basierend auf dem Mehrkanaleingangssignal 201 kann einem ersten Modus zum Codieren des Mehrkanaleingangssignals 201 entsprechen.
  • Alternativ oder zusätzlich zur Verwendung einer Vorhersage kann das Durchführen 702 einer Energieverdichtung ein Anwenden einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation auf zumindest einen Teil der Mehrzahl von Abwärtsmischkanalsignalen 203 umfassen. Dadurch kann die Codierungseffizienz der Mehrzahl von verdichteten Kanalsignalen 404 weiter erhöht werden.
  • Insbesondere können eine Karhonen-Loeve-Transformation, eine Hauptkomponentenanalysetransformation und/oder eine Singulärwertzerlegungstransformation auf verdichtete Kanalsignale 404 angewendet werden, die Vorhersage-Residuen entsprechen, die basierend auf einem zweiten Abwärtsmischkanalsignal 203 (insbesondere basierend auf dem W-Kanalsignal) abgeleitet wurden. Mit anderen Worten, eine Karhonen-Loeve-Transformation, eine Hauptkomponentenanalysetransformation und/oder eine Singulärwertzerlegungstransformation können auf die Vorhersage-Residuen angewendet werden.
  • Wie vorstehend angegeben, können im Zusammenhang mit der Vorhersage ein X'-Kanalsignal, ein Y'-Kanalsignal und ein Z'-Kanalsignal basierend auf dem W-Kanalsignal einer Mehrzahl von Abwärtsmischkanalsignalen 203, die ein Ambisonics-Signal bilden, abgeleitet werden. Insbesondere kann das X'-Kanalsignal dem X-Kanalsignal minus einer Vorhersage des X-Kanalsignals, die auf dem W-Kanalsignal basiert, entsprechen. Auf die gleiche Weise kann das Y'-Kanalsignal dem Y-Kanalsignal minus einer Vorhersage des Y-Kanalsignals, die auf dem W-Kanalsignal basiert, entsprechen. Auf die gleiche Weise kann das Z'-Kanalsignal dem Z-Kanalsignal minus einer Vorhersage des Z-Kanalsignals, die auf dem W-Kanalsignal basiert, entsprechen. Die Mehrzahl der verdichteten Kanalsignale 404 kann basierend auf dem W-Kanalsignal, dem X'-Kanalsignal, dem Y'-Kanalsignal und dem Z'-Kanalsignal bestimmt werden oder diesen entsprechen.
  • Um die Codierungseffizienz der Mehrzahl von verdichteten Kanalsignalen 404 weiter zu erhöhen, können eine Karhonen-Loeve-Transformation, eine Hauptkomponentenanalysetransformation und/oder eine Singulärwertzerlegungstransformation auf das X'-Kanalsignal, das Y'-Kanalsignal und das Z'-Kanalsignal verwendet werden, um ein X''-Kanalsignal, ein Y''-Kanalsignal und ein Z''-Kanalsignal bereitzustellen. Die Mehrzahl von verdichteten Kanalsignalen 404 kann dann basierend auf dem W-Kanalsignal, dem X''-Kanalsignal, dem Y''-Kanalsignal und dem Z''-Kanalsignal bestimmt werden.
  • In einem zweiten Modus können die gemeinsamen Codierungsmetadaten 205 basierend auf der Mehrzahl von verdichteten Kanalsignalen 404 und basierend auf der Mehrzahl von Abwärtsmischkanalsignalen 203 bestimmt werden. Die gemeinsamen Codierungsmetadaten 205 können bestimmt werden, sodass die gemeinsamen Codierungsmetadaten 205 ein Rekonstruieren der Mehrzahl von Abwärtsmischkanalsignalen 203 aus der Mehrzahl von verdichteten Kanalsignalen 404 ermöglichen. Insbesondere können die gemeinsamen Codierungsmetadaten 205 bestimmt werden, sodass die gemeinsamen Codierungsmetadaten 205 (nur) die Energieverdichtungsoperation umkehren oder invertieren (ohne eine Aufwärtsmischoperation durchzuführen). Der zweite Modus kann zum Reduzieren der Bitrate (bei reduzierter Wahrnehmungsqualität) verwendet werden.
  • Wie vorstehend angegeben, kann das Mehrkanaleingangssignal 201 ein SR-Signal und ein oder mehrere Objektsignale umfassen. Der erste Modus und der zweite Modus können die Rekonstruktion eines SR-Signals (basierend auf der Mehrzahl von verdichteten Kanalsignalen 404) ermöglichen. Daher kann das gesamte Hörerlebnis eines Zuhörers beibehalten werden (selbst wenn der zweite Modus verwendet wird).
  • Das Mehrkanaleingangssignal 201 kann eine Sequenz von Rahmen umfassen. Die in diesem Dokument beschriebene Verarbeitung kann für jeden Rahmen der Sequenz von Rahmen rahmenweise durchgeführt werden. Insbesondere kann das Verfahren 700 für jeden Rahmen der Sequenz von Rahmen ein Bestimmen umfassen, ob der erste Modus oder der zweite Modus verwendet werden soll. Auf diese Weise kann das Codieren schnell an sich ändernde Bedingungen eines Übertragungsnetzes angepasst werden.
  • Das Verfahren 700 kann das Erzeugen eines Bitstroms 101 basierend auf codierten Audiodaten 206, die durch Codieren 704 der Mehrzahl von verdichteten Kanalsignalen 404 abgeleitet wurden, und basierend auf codierten Metadaten 207, die durch Codieren 704 der gemeinsamen Codierungsmetadaten 205 abgeleitet wurden, umfassen. Des Weiteren kann das Verfahren 700 ein Einfügen einer Anzeige in den Bitstrom 101 umfassen, die anzeigt, ob der zweite Modus oder der erste Modus verwendet wurde. Die Anzeige kann auf einer Rahmen-für-Rahmen-Basis eingefügt werden. Infolgedessen wird es einer entsprechende Decodiereinheit 350 ermöglicht, die ein Decodieren zuverlässig anzupassen.
  • 8 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 800 zum Bestimmen eines rekonstruierten Mehrkanalsignals 311 aus codierten Audiodaten 206, die eine Mehrzahl von rekonstruierten Kanalsignalen 314 anzeigen, und aus codierten Metadaten 207, die gemeinsame Codierungsmetadaten 205 anzeigen. Das Verfahren 800 kann ein Extrahieren der codierten Audiodaten 206 und der codierten Metadaten 207 aus einem Bitstrom 101 umfassen.
  • Des Weiteren kann das Verfahren 800 ein Decodieren 801 der codierten Audiodaten 206, um die Mehrzahl von rekonstruierten Kanalsignalen 314 bereitzustellen, und ein Decodieren der codierten Metadaten 207, um die gemeinsamen Codierungsmetadaten 205 bereitzustellen, umfassen. In einem bevorzugten Beispiel bildet die Mehrzahl von rekonstruierten Kanalsignalen 203 ein Ambisonics-Signal erster Ordnung, insbesondere in einem B-Format oder in einem A-Format.
  • Das Decodieren 801 der codierten Audiodaten 206 kann ein Wellenformdecodieren von jedem einzelnen der Mehrzahl von rekonstruierten Kanalsignalen 314 umfassen, insbesondere unter Verwendung eines Monodecodierers (z.B. eines EVS-Decodierers) für jedes rekonstruierte Kanalsignal 314. Die codierten Metadaten 207 können unter Verwendung eines Entropiedecodierers decodiert werden.
  • Des Weiteren umfasst das Verfahren 800 ein Bestimmen 802 des rekonstruierten Mehrkanalsignals 311 aus der Mehrzahl von rekonstruierten Kanalsignalen 314 unter Verwendung der gemeinsamen Codierungsmetadaten 205, wobei das rekonstruierte Mehrkanalsignal 311 ein rekonstruiertes Schallfelddarstellungssignal (SR-Signal) umfassen kann. Insbesondere entspricht das rekonstruierte Mehrkanalsignal 311 einer Annäherung oder einer Rekonstruktion des Mehrkanaleingangssignals 201. Das rekonstruierte Mehrkanalsignal 311 und die Objektmetadaten 202 können zusammen ein rekonstruiertes immersives Audiosignal (lA-Signal) 121 bilden.
  • Zusätzlich kann das Verfahren 800 eine Wiedergabe des rekonstruierten Mehrkanalsignals 311 (typischerweise in Verbindung mit den Objektmetadaten 202) umfassen. Die Wiedergabe kann unter Verwendung von Kopfhörerwiedergabe, Lautsprecherwiedergabe und/oder Schallfeldwiedergabe durchgeführt werden. Infolgedessen wird eine flexibles Wiedergabe von räumlichen Audioinhalten ermöglicht (insbesondere für VR-Anwendungen).
  • Wie vorstehend angegeben, können die gemeinsamen Codierungsmetadaten 205 Aufwärtsmischdaten umfassen, insbesondere eine oder mehrere Aufwärtsmischmatrizen, die das Aufwärtsmischen der Mehrzahl von rekonstruierten Kanalsignalen 404 zu dem rekonstruierten Mehrkanalsignal 311 ermöglichen. Des Weiteren können die gemeinsamen Codierungsmetadaten 205 Dekorrelationsdaten umfassen, die die Erzeugung eines rekonstruierten Mehrkanalsignals 311, das eine vorbestimmte Kovarianz aufweist, ermöglichen. Die gemeinsamen Codierungsmetadaten 205 können verschiedene Metadaten für verschiedene Teilbänder des rekonstruierten Mehrkanalsignals 311 umfassen.. Infolgedessen kann eine genaue Rekonstruktion des Mehrkanaleingangssignals 201 erreicht werden.
  • Bei dem entsprechenden Codierer 200 kann eine Energieverdichtung auf die Mehrzahl von Abwärtsmischkanalsignalen 304 angewendet worden sein. Die Energieverdichtung kann unter Verwendung einer Vorhersage und/oder unter Verwendung einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation durchgeführt worden sein. Die gemeinsamen Codierungsmetadaten 205 können so sein, dass sie zusätzlich zu dem Aufwärtsmischen implizit eine Inverse der Energieverdichtungsoperation durchführen. insbesondere können die gemeinsamen Codierungsmetadaten 205 so sein, dass sie zusätzlich implizit eine Inverse der Vorhersageoperation und/oder eine Inverse der Karhonen-Loeve-Transformation, der Hauptkomponentenanalysetransformation und/oder der Singulärwertzerlegungstransformation durchführen.
  • Mit anderen Worten, die gemeinsamen Codierungsmetadaten 205 können konfiguriert sein, um das Aufwärtsmischen der Mehrzahl von rekonstruierten Kanalsignalen 404 zu dem rekonstruierten Mehrkanalsignal 311 zu ermöglichen und um (implizit) eine inverse Energieverdichtungsoperation an der Mehrzahl von rekonstruierten Kanalsignalen 314 durchzuführen. Insbesondere können die gemeinsamen Codierungsmetadaten 205 konfiguriert sein, um (implizit) eine inverse Vorhersageoperation (invers zu der von dem Codierer 200 durchgeführten Vorhersageoperation) an zumindest einigen der Mehrzahl von rekonstruierten Kanalsignalen 314 durchzuführen. Alternativ oder zusätzlich können die gemeinsamen Codierungsmetadaten 205 konfiguriert sein, um zumindest eine Inverse einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation (invers zu der von dem Codierer 200 durchgeführten Transformation) an zumindest einigen der Mehrzahl von rekonstruierten Kanalsignalen 314 durchzuführen. Infolgedessen kann ein besonders effizientes Codierungsschema bereitgestellt werden.
  • Das rekonstruierte Mehrkanalsignal 311 kann ein oder mehrere rekonstruierte Objektsignale von einem oder mehreren Audioobjekten 303 (zusätzlich zu dem SR-Signal, z.B. einem FOA- oder einem HOA-Signal) umfassen. Das Verfahren 800 kann ein Decodieren, insbesondere unter Verwendung eines Entropiedecodierers, von Objektmetadaten 202 für das eine oder die mehreren Audioobjekte 303 aus den codierten Metadaten 207 umfassen. Infolgedessen können das eine oder die mehreren Objekte 303 auf präzise Weise wiedergegeben werden.
  • Wie vorstehend angegeben, kann die Mehrzahl von rekonstruierten Kanalsignalen 314 ein SR-Signal, insbesondere ein Ambisonics-Signal K-ter Ordnung, mit K≥1 (insbesondere K=1) bilden. Andererseits kann das rekonstruierte Mehrkanalsignal 311 das rekonstruierte SR-Signal, insbesondere ein Ambisonics-Signal L-ter Ordnung, mit L≥K (insbesondere L=K oder L=K+1), und ein oder mehrere (z.B. n=2) rekonstruierte Objektsignale von einem oder mehreren Audioobjekten 303 umfassen. Das rekonstruierte Mehrkanalsignal 311 kann durch Aufwärtsmischen der Mehrzahl von rekonstruierten Kanalsignalen 314 unter Verwendung der gemeinsamen Codierungsmetadaten 205 bestimmt werden, wodurch ein rekonstruiertes Mehrkanalsignal 311 mit im Wesentlichen räumlichen akustischen Ereignissen bereitgestellt wird.
  • Wie vorstehend angegeben, kann die Verwendung von Aufwärtsmischen einem ersten Modus entsprechen (für eine hohe Wahrnehmungsqualität). In dem ersten Modus umfassen die gemeinsamen Objektmetadaten 205 Aufwärtsmischdaten zum Ermöglichen der Aufwärtsmischoperation. In dem zweiten Modus kann das rekonstruierte Mehrkanalsignal 311 die gleiche Anzahl von Kanälen umfassen wie die Mehrzahl von rekonstruierten Kanalsignalen 314 (sodass keine Aufwärtsmischoperation erforderlich ist).
  • In dem zweiten Modus können die gemeinsamen Codierungsmetadaten 205 Vorhersagedaten (z.B. einen oder mehrere Skalierungsfaktoren) umfassen, die konfiguriert sind, um Energie unter den verschiedenen rekonstruierten Kanalsignalen 314 umzuverteilen. Des Weiterern kann in dem zweiten Modus 802 das Bestimmen des rekonstruierten Mehrkanalsignals 311 ein Umverteilen von Energie unter den verschiedenen rekonstruierten Kanalsignalen 314 unter Verwendung der Vorhersagedaten umfassen. Insbesondere kann die Inverse der vorstehend erwähnten Energieverdichtungsoperation unter Verwendung der gemeinsamen Codierungsmetadaten 205 durchgeführt werden. Infolgedessen kann die Mehrzahl von Abwärtsmischkanalsignalen 203 auf eine effiziente und präzise Weise rekonstruiert werden.
  • Wie vorstehend beschrieben, kann die Energieverdichtungsoperation, die während dem Codieren durchgeführt wird, ein Anwenden einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation auf zumindest einige der Mehrzahl von Abwärtsmischkanalsignalen 203 umfassen. Die gemeinsamen Codierungsmetadaten 205 können Transformationsdaten umfassen, die es einem Decodierer 350 ermöglichen, die Inverse der Karhonen-Loeve-Transformation, der Hauptkomponentenanalysetransformation und/oder der Singulärwertzerlegungstransformation durchzuführen. Mit anderen Worten, die Transformationsdaten zeigen eine Inverse einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation an, die auf zumindest einige der Mehrzahl von rekonstruierten Kanalsignalen 314 zum Bestimmen des rekonstruierten Mehrkanalsignals 311 angewendet werden soll. Infolgedessen kann die Mehrzahl von Abwärtsmischkanalsignalen 203 auf eine effiziente und präzise Weise rekonstruiert werden.
  • Wie vorstehend angegeben, kann das rekonstruierte Mehrkanaleingangssignal 311 eine Sequenz von Rahmen umfassen. Das Verfahren 800 kann für jeden Rahmen der Sequenz von Rahmen ein Bestimmen umfassen, ob der zweite Modus verwendet werden soll oder nicht. Zu diesem Zweck kann eine Anzeige aus dem Bitstrom 101 extrahiert werden, die anzeigt, ob der zweite Modus verwendet werden soll.
  • Verschiedene beispielhafte Ausführungsformen der vorliegenden Erfindung können in Hardware oder Spezialschaltungen, Software, Logik oder einer beliebigen Kombination davon implementiert sein. Einige Aspekte können in Hardware implementiert sein, während andere Aspekte in Firmware oder Software implementiert sein können, die von einer Steuerung, einem Mikroprozessor oder einem anderen Computergerät ausgeführt werden kann. Im Allgemeinen wird die vorliegende Offenbarung so verstanden, dass sie auch eine Vorrichtung umfasst, die zum Durchführen der vorstehend beschriebenen Verfahren geeignet ist, zum Beispiel eine Vorrichtung (räumliche Wiedergabevorrichtung), die einen Speicher und einem an den Speicher gekoppelten Prozessor aufweist, wobei der Prozessor konfiguriert ist, um Anweisungen auszuführen und Verfahren gemäß Ausführungsformen der Offenbarung durchführen.
  • Während verschiedene Aspekte der beispielhaften Ausführungsformen der vorliegenden Erfindung als Blockdiagramme, Flussdiagramme oder unter Verwendung einer anderen bildlichen Darstellung veranschaulicht und beschrieben werden, versteht es sich, dass die hierin beschriebenen Blöcke, Vorrichtungen, Systeme, Techniken oder Verfahren implementiert werden können in Hardware, Software, Firmware, Spezialschaltungen oder Logik, Allzweckhardware oder Steuerung oder anderen Computergeräten oder einer Kombination davon, als nicht einschränkende Beispiele.
  • Zusätzlich können verschiedene in den Flussdiagrammen gezeigte Blöcke als Verfahrensschritte und/oder als Operationen angesehen werden, die aus der Operation von Computerprogrammcode resultieren, und/oder als eine Mehrzahl von gekoppelten Logikschaltungselementen, die zur Ausführung der zugehörigen Funktion(en) konstruiert sind. Zum Beispiel beinhalten Ausführungsformen der vorliegenden Erfindung ein Computerprogrammprodukt, das ein Computerprogramm umfasst, das greifbar auf einem maschinenlesbaren Medium verkörpert ist, wobei das Computerprogramm Programmcodes enthält, die konfiguriert sind, um die vorstehend beschriebenen Verfahren auszuführen.
  • Im Zusammenhang mit der Offenbarung kann ein maschinenlesbares Medium ein beliebiges greifbares Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem Anweisungsausführungssystem, -vorrichtung oder -gerät enthalten oder speichern kann. Das maschinenlesbare Medium kann ein maschinenlesbares Signalmedium oder ein maschinenlesbares Speichermedium sein. Ein maschinenlesbares Medium kann ein elektronisches, magnetisches, optisches, elektromagnetisches, infrarotes oder Halbleitersystem, -vorrichtung oder-gerät oder eine beliebige geeignete Kombination der vorgenannten beinhalten, ist aber nicht darauf beschränkt. Spezifischere Beispiele des maschinenlesbaren Speichermediums würden eine elektrische Verbindung, die einen oder mehrere Drähte aufweist, eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), eine optische Faser, einen tragbaren Compact-Disc-Nur-Lese-Speicher (CD-ROM), eine optische Speichervorrichtung, eine magnetische Speichervorrichtung oder eine beliebige geeignete Kombination der vorgenannten beinhalten.
  • Computerprogrammcode zum Ausführen von Verfahren der vorliegenden Erfindung kann in einer beliebigen Kombination von einer oder mehreren Programmiersprachen geschrieben sein. Diese Computerprogrammcodes können einem Prozessor eines Allzweckcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, sodass die Programmcodes, wenn sie von dem Prozessor des Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, bewirken, dass Funktionen/Operationen, die in den Flussdiagrammen und/oder Blockdiagrammen spezifiziert sind, implementiert werden. Der Programmcode kann vollständig auf einem Computer, teilweise auf dem Computer, als ein eigenständiges Softwarepaket, teilweise auf dem Computer und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden.
  • Weiter, während Operationen in einer bestimmten Reihenfolge dargestellt sind, sollte dies nicht so verstanden werden, dass dies erfordert, dass solche Operationen in der bestimmten gezeigten Reihenfolge oder in sequentieller Reihenfolge ausgeführt werden oder dass alle veranschaulichten Operationen ausgeführt werden, um wünschenswerte Ergebnisse zu erzielen. Unter bestimmten Umständen können Multitasking und Parallelverarbeitung vorteilhaft sein. Ebenso, während in den obigen Erörterungen mehrere spezifische Implementierungsdetails enthalten sind, sollten diese nicht als Einschränkungen des Umfangs einer Erfindung oder dessen, was beansprucht werden kann, ausgelegt werden, sondern als Beschreibungen von Merkmalen, die für bestimmte Ausführungsformen bestimmter Erfindungen spezifisch sein können. Bestimmte Merkmale, die in dieser Beschreibung im Zusammenhang mit getrennten Ausführungsformen beschrieben sind, können auch in Kombination in einer einzelnen Ausführungsform implementiert werden. Umgekehrt können verschiedene Merkmale, die im Zusammenhang mit einer einzelnen Ausführungsform beschrieben werden, auch in mehreren Ausführungsformen separat oder in einer geeigneten Unterkombination implementiert werden.
  • Es ist anzumerken, dass die Beschreibung und die Zeichnungen lediglich die Prinzipien der vorgeschlagenen Verfahren und Vorrichtungen veranschaulichen. Es versteht sich daher, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu entwickeln, die, obwohl hier nicht explizit beschrieben oder gezeigt, die Prinzipien der Erfindung verkörpern und in deren Geist und Umfang enthalten sind. Des Weiteren sind alle hierin aufgeführten Beispiele hauptsächlich ausdrücklich nur für pädagogische Zwecke gedacht, um dem Leser das Verständnis der Prinzipien der vorgeschlagenen Verfahren und Vorrichtungen und der Konzepte zu erleichtern, die von den Erfindern zur Förderung des Standes der Technik beigetragen wurden, und sind als ohne Beschränkung auf solche speziell genannten Beispiele und Bedingungen zu verstehen. Darüber hinaus sollen alle hierin enthaltenen Aussagen, in denen Prinzipien, Aspekte und Ausführungsformen der Erfindung sowie spezifische Beispiele dafür aufgeführt sind, Äquivalente davon umfassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62/693246 [0001]

Claims (36)

  1. Verfahren (700) zum Codieren eines Mehrkanaleingangssignals (201), wobei das Verfahren (700) umfasst - Bestimmen (701) einer Mehrzahl von Abwärtsmischkanalsignalen (203) aus dem Mehrkanaleingangssignal (201); - Durchführen (702) einer Energieverdichtung der Mehrzahl von Abwärtsmischkanalsignalen (203), um eine Mehrzahl von verdichteten Kanalsignalen (404) bereitzustellen; - Bestimmen (703) gemeinsamer Codierungsmetadaten (205) basierend auf der Mehrzahl von verdichteten Kanalsignalen (404) und basierend auf dem Mehrkanaleingangssignal (201); wobei die gemeinsamen Codierungsmetadaten (205) derart sind, dass sie ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen (404) zu einer Annäherung des Mehrkanaleingangssignals (201) ermöglichen; und - Codieren (704) der Mehrzahl von verdichteten Kanalsignalen (404) und der gemeinsamen Codierungsmetadaten (205).
  2. Verfahren (700) nach Anspruch 1, wobei die Energieverdichtung derart durchgeführt wird, dass eine Energie eines verdichteten Kanalsignals (404) niedriger ist als eine Energie eines entsprechenden Abwärtsmischkanalsignals (203).
  3. Verfahren (700) nach einem vorstehenden Anspruch, wobei das Durchführen (702) einer Energieverdichtung umfasst - Vorhersagen eines ersten Abwärtsmischkanalsignals (203) aus einem zweiten Abwärtsmischkanalsignal (203), um ein erstes vorhergesagtes Kanalsignal bereitzustellen; und - Subtrahieren des ersten vorhergesagten Kanalsignals aus dem ersten Abwärtsmischkanalsignal (203), um ein erstes verdichtetes Kanalsignal (404) bereitzustellen.
  4. Verfahren (700) nach Anspruch 3, wobei - das Vorhersagen eines ersten Abwärtsmischkanalsignals (203) aus einem zweiten Abwärtsmischkanalsignal (203) ein Bestimmen eines Skalierungsfaktors zum Skalieren des zweiten Abwärtsmischkanalsignals (203) umfasst; und - das erste vorhergesagte Kanalsignal dem zweiten Abwärtsmischkanalsignal (203), das gemäß dem Skalierungsfaktor skaliert wurde, entspricht.
  5. Verfahren (700) nach Anspruch 4, wobei der Skalierungsfaktor bestimmt wird, sodass - eine Energie des ersten verdichteten Kanalsignals (404) im Vergleich zu einer Energie des ersten Abwärtsmischkanalsignals (203) reduziert wird; und/oder - eine Energie des ersten verdichteten Kanalsignals (404) minimiert wird.
  6. Verfahren (700) nach einem der Ansprüche 3 bis 5, wobei das Durchführen (702) einer Energieverdichtung umfasst - Bestimmen mehrerer verdichteter Kanalsignale (404) basierend auf einer Vorhersage aus dem zweiten Abwärtsmischkanalsignal (203); und - Anwenden einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysentransformation und/oder einer Singulärwertzerlegungstransformation auf die mehreren verdichteten Kanalsignale (404).
  7. Verfahren (700) nach einem vorstehenden Anspruch, wobei - die Mehrzahl von Abwärtsmischkanalsignalen (203) ein Ambisonics-Signal erster Ordnung ist, insbesondere in einem B-Format oder in einem A-Format; und/oder - die Mehrzahl von verdichteten Kanalsignalen (404) in einem Format eines Ambisonics-Signals erster Ordnung dargestellt wird, insbesondere in einem B-Format oder in einem A-Format.
  8. Verfahren (700) nach Anspruch 7, wobei das Durchführen (702) einer Energieverdichtung umfasst - Vorhersagen eines X-Kanalsignals, eines Y-Kanalsignals und eines Z-Kanalsignals aus einem W-Kanalsignal der Mehrzahl von Abwärtsmischkanalsignalen (203), um ein vorhergesagtes X-Kanalsignal, ein vorhergesagtes Y-Kanalsignal und ein vorhergesagtes Z-Kanalsignal bereitzustellen; - Subtrahieren des vorhergesagten X-Kanalsignals von dem X-Kanalsignal, um ein X'-Kanalsignal zu bestimmen; - Subtrahieren des vorhergesagten Y-Kanalsignals von dem Y-Kanalsignal, um ein Y'-Kanalsignal zu bestimmen; - Subtrahieren des vorhergesagten Z-Kanalsignals von dem Z-Kanalsignal, um ein Z'-Kanalsignal zu bestimmen; und - Bestimmen der Mehrzahl von verdichteten Kanalsignalen (404) basierend auf dem W-Kanalsignal, dem X'-Kanalsignal, dem Y'-Kanalsignal und dem Z'-Kanalsignal.
  9. Verfahren (700) nach Anspruch 8, wobei das Durchführen (702) einer Energieverdichtung umfasst - Anwenden einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysentransformation und/oder einer Singulärwertzerlegungstransformation auf das X'-Kanalsignal, das Y'-Kanalsignal und das Z'-Kanalsignal, um ein X''-Kanalsignal, ein Y''-Kanalsignal und ein Z''-Kanalsignal bereitzustellen; und - Bestimmen der Mehrzahl von verdichteten Kanalsignalen (404) basierend auf dem W-Kanalsignal, dem X''-Kanalsignal, dem Y''-Kanalsignal und dem Z''-Kanalsignal.
  10. Verfahren (700) nach einem vorstehenden Anspruch, wobei das Durchführen (702) einer Energieverdichtung ein Anwenden einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysentransformation und/oder einer Singulärwertzerlegungstransformation auf zumindest einige der Mehrzahl von Abwärtsmischkanalsignalen (203) umfasst.
  11. Verfahren (700) nach einem vorstehenden Anspruch, wobei die gemeinsamen Codierungsmetadaten (205) umfassen - Aufwärtsmischdaten, insbesondere eine Aufwärtsmischmatrix, die das Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen (404) zu einer Annäherung des Mehrkanaleingangssignals (201) ermöglicht, die eine gleiche Anzahl von Kanälen umfasst wie das Mehrkanaleingangssignal (201); und/oder - Dekorrelationsdaten, die die Rekonstruktion einer Kovarianz des Mehrkanaleingangssignals (201) ermöglichen.
  12. Verfahren (700) nach einem vorstehenden Anspruch, wobei die gemeinsamen Codierungsmetadaten (205) für eine Mehrzahl von verschiedenen Teilbändern des Mehrkanaleingangssignals (201) bestimmt werden.
  13. Verfahren (700) nach einem vorstehenden Anspruch, wobei das Codieren (704) der Mehrzahl von verdichteten Kanalsignalen (404) ein Durchführen eines Wellenformcodierens von jedem einzelnen der Mehrzahl von verdichteten Kanalsignalen (404) umfasst, insbesondere unter Verwendung eines Monocodierers für jedes verdichtete Kanalsignal (404).
  14. Verfahren (700) nach einem vorstehenden Anspruch, wobei die gemeinsamen Codierungsmetadaten (205) unter Verwendung eines Entropiecodierers codiert werden.
  15. Verfahren (700) nach einem vorstehenden Anspruch, wobei - das Mehrkanaleingangssignal (201) ein oder mehrere Objektsignale von einem oder mehreren Audioobjekten (303) umfasst; und - das Verfahren (700) ein Codieren, insbesondere unter Verwendung eines Entropiecodierers, von Objektmetadaten (202) für das eine oder die mehreren Audioobjekte (303) umfasst.
  16. Verfahren (700) nach einem vorstehenden Anspruch, wobei - das Mehrkanaleingangssignal (201) eine Schallfelddarstellungssignal, das als SR-Signal bezeichnet wird, insbesondere ein Ambisonics-Signal L-ter Ordnung, mit L≥1, und ein oder mehrere Objektsignale von einem oder mehreren Audioobjekten (303) umfasst; und - die Mehrzahl von Abwärtsmischkanalsignalen (203) durch Abwärtsmischen des Mehrkanaleingangssignals (201) zu einem SR-Signal, insbesondere einem Ambisonics-Signal K-ter Ordnung, mit L≥K, bestimmt wird.
  17. Verfahren (700) nach Anspruch 16, wobei - das Bestimmen (701) der Mehrzahl von Abwärtsmischkanalsignalen (203) ein Mischen des einen oder der mehreren Objektsignale von einem oder mehreren Audioobjekten (303) mit dem SR-Signal des Mehrkanaleingangssignals (201) in Abhängigkeit von Objektmetadaten (202) des einen oder der mehreren Audioobjekte (303) umfasst; und - die Objektmetadaten (202) eines Audioobjekts (303) eine räumliche Position des Audioobjekts (303) anzeigen.
  18. Verfahren (700) nach einem vorstehenden Anspruch, wobei - das Verfahren (700) ein Bestimmen, dass das Mehrkanaleingangssignal (201) unter Verwendung eines zweiten Modus codiert werden soll, umfasst; und - in dem zweiten Modus, die gemeinsamen Codierungsmetadaten (205) basierend auf der Mehrzahl von verdichteten Kanalsignalen (404) und basierend auf der Mehrzahl von Abwärtsmischkanalsignalen (203) bestimmt werden, sodass die gemeinsamen Codierungsmetadaten (205) ein Rekonstruieren der Mehrzahl von Abwärtsmischkanalsignalen (203) aus der Mehrzahl von verdichteten Kanalsignalen (404) ermöglichen.
  19. Verfahren (700) nach Anspruch 18, wobei - das Bestimmen der gemeinsamen Codierungsmetadaten (205) basierend auf der Mehrzahl von verdichteten Kanalsignalen (404) und basierend auf dem Mehrkanaleingangssignal (201) einem ersten Modus entspricht; - das Mehrkanaleingangssignal (201) eine Sequenz von Rahmen umfasst; und - das Verfahren (700) für jeden Rahmen der Sequenz von Rahmen ein Bestimmen, ob der erste Modus oder der zweite Modus verwendet werden soll, umfasst.
  20. Verfahren (700) nach einem der Ansprüche 17 bis 19, wobei das Verfahren (700) umfasst - Erzeugen eines Bitstroms (101) basierend auf codierten Audiodaten (206), die durch Codieren (704) der Mehrzahl von verdichteten Kanalsignalen (404) abgeleitet wurden, und basierend auf codierten Metadaten (207), die durch Codieren (704) der gemeinsamen Codierungsmetadaten (205) abgeleitet wurden; und - Einfügen einer Anzeige in den Bitstrom (101), die anzeigt, ob der zweite Modus verwendet wurde.
  21. Verfahren (800) zum Bestimmen eines rekonstruierten Mehrkanalsignals (311) aus codierten Audiodaten (206), die eine Mehrzahl von rekonstruierten Kanalsignalen (314) anzeigen, und aus codierten Metadaten (207), die gemeinsame Codierungsmetadaten (205) anzeigen; wobei das Verfahren (800) umfasst - Decodieren (801) der codierten Audiodaten (206), um die Mehrzahl von rekonstruierten Kanalsignalen (314) bereitzustellen, und Decodieren der codierten Metadaten (207), um die gemeinsamen Codierungsmetadaten (205) bereitzustellen; und - Bestimmen (802) des rekonstruierten Mehrkanalsignals (311) aus der Mehrzahl von rekonstruierten Kanalsignalen (314) unter Verwendung der gemeinsamen Codierungsmetadaten (205).
  22. Verfahren (800) nach Anspruch 21, wobei die Mehrzahl von rekonstruierten Kanalsignalen (314) ein Ambisonics-Signal erster Ordnung ist, insbesondere in einem B-Format oder in einem A-Format.
  23. Verfahren (800) nach einem der Ansprüche 21 bis 22, wobei die gemeinsamen Codierungsmetadaten (205) umfassen - Aufwärtsmischdaten, insbesondere eine Aufwärtsmischmatrix, die das Aufwärtsmischen der Mehrzahl von rekonstruierten Kanalsignalen (404) zu dem rekonstruierten Mehrkanalsignal (311) ermöglicht; und/oder - Dekorrelationsdaten, die ein Erzeugen eines rekonstruierten Mehrkanalsignals (311), das eine vorbestimmte Kovarianz aufweist, ermöglichen.
  24. Verfahren (800) nach einem der Ansprüche 21 bis 23, wobei die gemeinsamen Codierungsmetadaten (205) verschiedene Metadaten für verschiedene Teilbänder des rekonstruierten Mehrkanalsignals (311) umfassen.
  25. Verfahren (800) nach einem der Ansprüche 21 bis 24, wobei das Decodieren (801) der codierten Audiodaten (206) ein Wellenformdecodieren von jedem einzelnen der Mehrzahl von rekonstruierten Kanalsignalen (314) umfasst, insbesondere unter Verwendung eines Monodecodierers für jedes rekonstruierte Kanalsignal (314).
  26. Verfahren (800) nach einem der Ansprüche 21 bis 25, wobei die codierten Metadaten (207) unter Verwendung eines Entropiedecodierers decodiert werden.
  27. Verfahren (800) nach einem der Ansprüche 21 bis 26, wobei - das rekonstruierte Mehrkanalsignal (311) ein oder mehrere rekonstruierte Objektsignale von einem oder mehreren Audioobjekten (303) umfasst; und - das Verfahren (800) ein Decodieren, insbesondere unter Verwendung eines Entropiedecodierers, von Objektmetadaten (202) für das eine oder die mehreren Audioobjekte (303) aus den codierten Metadaten (207) umfasst.
  28. Verfahren (800) nach einem der Ansprüche 21 bis 27, wobei - die Mehrzahl von rekonstruierten Kanalsignalen (314) ein Schallfelddarstellungssignal, das als SR-Signal bezeichnet wird, insbesondere ein Ambisonics-Signal K-ter Ordnung, mit K≥1, bildet; - das rekonstruierte Mehrkanalsignal (311) durch Aufwärtsmischen der Mehrzahl von rekonstruierten Kanalsignalen (314) unter Verwendung der gemeinsamen Codierungsmetadaten (205) bestimmt wird; und - das rekonstruierte Mehrkanalsignal (311) das rekonstruierte SR-Signal, insbesondere ein Ambisonics-Signal L-ter Ordnung, mit L≥K, und ein oder mehrere rekonstruierte Objektsignale von einem oder mehreren Audioobjekten (303) umfasst.
  29. Verfahren (800) nach einem der Ansprüche 21 bis 28, wobei - die gemeinsamen Codierungsmetadaten (205) konfiguriert sind, um eine inverse Energieverdichtungsoperation an der Mehrzahl von rekonstruierten Kanalsignalen (314) durchzuführen; und/oder - die gemeinsamen Codierungsmetadaten (205) konfiguriert sind, um eine inverse Vorhersageoperation an zumindest einigen der Mehrzahl von rekonstruierten Kanalsignalen (314) durchzuführen; und/oder - die gemeinsamen Codierungsmetadaten (205) konfiguriert sind, um eine Inverse einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation an zumindest einigen der Mehrzahl von rekonstruierten Kanalsignalen (314) durchzuführen.
  30. Verfahren (800) nach einem der Ansprüche 21 bis 29, wobei - das Verfahren (800) ein Bestimmen, dass das rekonstruierte Mehrkanalsignal (311) unter Verwendung eines zweiten Modus bestimmt werden soll, umfasst; - in dem zweiten Modus, die gemeinsamen Codierungsmetadaten (205) Vorhersagedaten und/oder Transformationsdaten umfassen, die konfiguriert sind, um Energie unter den verschiedenen rekonstruierten Kanalsignalen (314) umzuverteilen; - in dem zweiten Modus, das Bestimmen (802) des rekonstruierten Mehrkanalsignals (311) ein Umverteilen von Energie unter den verschiedenen rekonstruierten Kanalsignalen (314) unter Verwendung der Vorhersagedaten und/oder der Transformationsdaten umfasst; und - in dem zweiten Modus, das rekonstruierte Mehrkanalsignal (311) die gleiche Anzahl von Kanälen wie die Mehrzahl von rekonstruierten Kanalsignalen (314) umfasst.
  31. Verfahren (800) nach Anspruch 30, wobei die Transformationsdaten eine Inverse einer Karhonen-Loeve-Transformation, einer Hauptkomponentenanalysetransformation und/oder einer Singulärwertzerlegungstransformation anzeigen, die auf zumindest einige der Mehrzahl von rekonstruierten Kanalsignalen (314) zum Bestimmen des rekonstruierten Mehrkanalsignals (311) angewendet werden soll.
  32. Verfahren (800) nach einem der Ansprüche 30 bis 31, wobei - das rekonstruierte Mehrkanalsignal (311) eine Sequenz von Rahmen umfasst; und - das Verfahren (800) für jeden Rahmen der Sequenz von Rahmen ein Bestimmen, ob der zweite Modus verwendet werden soll oder nicht, umfasst.
  33. Verfahren (800) nach einem der Ansprüche 30 bis 32, wobei das Verfahren (800) umfasst - Extrahieren der codierten Audiodaten (206) und der codierten Metadaten (207) aus einem Bitstrom (101); und - Extrahieren einer Anzeige aus dem Bitstrom (101), die anzeigt, ob der zweite Modus verwendet werden soll.
  34. Verfahren (800) nach einem der Ansprüche 30 bis 33, wobei das Verfahren (800) eine Wiedergabe des rekonstruierten Mehrkanalsignals (311) umfasst.
  35. Codiereinheit (200) zum Codieren eines Mehrkanaleingangssignals (201), wobei die Codiereinheit (200) konfiguriert ist, um - eine Mehrzahl von Abwärtsmischkanalsignalen (203) aus dem Mehrkanaleingangssignal (201) zu bestimmen; - eine Energieverdichtung der Mehrzahl von Abwärtsmischkanalsignalen (203) durchzuführen, um eine Mehrzahl von verdichteten Kanalsignalen (404) bereitzustellen; - gemeinsame Codierungsmetadaten (205) basierend auf der Mehrzahl von verdichteten Kanalsignalen (404) und basierend auf dem Mehrkanaleingangssignal (201) zu bestimmen; wobei die gemeinsamen Codierungsmetadaten (205) derart sind, dass sie ein Aufwärtsmischen der Mehrzahl von verdichteten Kanalsignalen (404) zu einer Annäherung des Mehrkanaleingangssignals (201) ermöglichen; und - die Mehrzahl von verdichteten Kanalsignalen (404) und die gemeinsamen Codierungsmetadaten (205) zu codieren.
  36. Decodiereinheit (350) zum Bestimmen eines rekonstruierten Mehrkanalsignals (311) aus codierten Audiodaten (206), die eine Mehrzahl von rekonstruierten Kanalsignalen (314) anzeigen, und aus codierten Metadaten (207), die gemeinsame Codierungsmetadaten (205) anzeigen; wobei die Decodiereinheit (350) konfiguriert ist, um - die codierten Audiodaten (206) zu decodieren, um die Mehrzahl von rekonstruierten Kanalsignalen (314) bereitzustellen; - die codierten Metadaten (207) zu decodieren, um die gemeinsamen Codierungsmetadaten (205) bereitzustellen; und - das rekonstruierte Mehrkanalsignal (311) aus der Mehrzahl von rekonstruierten Kanalsignalen (314) unter Verwendung der gemeinsamen Codierungsmetadaten (205) zu bestimmen.
DE112019003358.1T 2018-07-02 2019-07-02 Verfahren und vorrichtung zum codieren und/oder decodieren immersiver audiosignale Pending DE112019003358T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862693246P 2018-07-02 2018-07-02
US62/693,246 2018-07-02
PCT/US2019/040282 WO2020010072A1 (en) 2018-07-02 2019-07-02 Methods and devices for encoding and/or decoding immersive audio signals

Publications (1)

Publication Number Publication Date
DE112019003358T5 true DE112019003358T5 (de) 2021-03-25

Family

ID=67439427

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019003358.1T Pending DE112019003358T5 (de) 2018-07-02 2019-07-02 Verfahren und vorrichtung zum codieren und/oder decodieren immersiver audiosignale

Country Status (14)

Country Link
US (2) US11699451B2 (de)
EP (3) EP4312212A3 (de)
JP (2) JP2021530724A (de)
KR (2) KR20210027238A (de)
CN (2) CN111837182A (de)
AU (2) AU2019298232B2 (de)
BR (2) BR112020017338A2 (de)
CA (2) CA3091150A1 (de)
DE (1) DE112019003358T5 (de)
ES (1) ES2968801T3 (de)
IL (4) IL276618B1 (de)
MX (2) MX2020009578A (de)
SG (2) SG11202007629UA (de)
WO (2) WO2020010072A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116324979A (zh) * 2020-09-28 2023-06-23 三星电子株式会社 音频编码装置和方法，以及音频解码装置和方法
US11930348B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for realizing customized being-there in association with audio and method thereof
KR102505249B1 (ko) 2020-11-24 2023-03-03 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법
JP2022083445A (ja) 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
CN114582356A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种音频编解码方法和装置
WO2023141034A1 (en) * 2022-01-20 2023-07-27 Dolby Laboratories Licensing Corporation Spatial coding of higher order ambisonics for a low latency immersive audio codec
GB2615607A (en) * 2022-02-15 2023-08-16 Nokia Technologies Oy Parametric spatial audio rendering

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003094369A2 (en) 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device
JPWO2005081229A1 (ja) * 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
CN101010724B (zh) * 2004-08-27 2011-05-25 松下电器产业株式会社 音频编码器
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
AU2009267518B2 (en) 2008-07-11 2012-08-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
ES2425814T3 (es) * 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
EP2154910A1 (de) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Mischen von Raumtonströmen
EP2154911A1 (de) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Bestimmung eines räumlichen Mehrkanalausgangsaudiosignals
EP2249334A1 (de) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audioformat-Transkodierer
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
TWI478149B (zh) * 2009-10-16 2015-03-21 Fraunhofer Ges Forschung 用以利用平均值而基於下混信號表示型態和與下混信號表示型態相關聯之參數側邊資訊來提供用於提供上混信號表示型態之一或多個經調整參數的裝置、方法與電腦程式
CN102687199B (zh) * 2010-01-08 2015-11-25 日本电信电话株式会社 编码方法、解码方法、编码装置、解码装置
EP2375409A1 (de) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierer, Audiodecodierer und zugehörige Verfahren zur Verarbeitung von Mehrkanal-Audiosignalen mithilfe einer komplexen Vorhersage
DE102010030534A1 (de) * 2010-06-25 2011-12-29 Iosono Gmbh Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
US20150348558A1 (en) * 2010-12-03 2015-12-03 Dolby Laboratories Licensing Corporation Audio Bitstreams with Supplementary Data and Encoding and Decoding of Such Bitstreams
TWI480860B (zh) * 2011-03-18 2015-04-11 Fraunhofer Ges Forschung 音訊編碼中之訊框元件長度傳輸技術
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
TWI505262B (zh) * 2012-05-15 2015-10-21 Dolby Int Ab 具多重子流之多通道音頻信號的有效編碼與解碼
US9460729B2 (en) * 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US10178489B2 (en) 2013-02-08 2019-01-08 Qualcomm Incorporated Signaling audio rendering information in a bitstream
US9609452B2 (en) 2013-02-08 2017-03-28 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
KR101829822B1 (ko) * 2013-07-22 2018-03-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다채널 오디오 디코더, 다채널 오디오 인코더, 방법, 컴퓨터 프로그램 및 렌더링된 오디오 신호들의 역상관을 사용하는 인코딩된 오디오 표현
EP2830045A1 (de) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zur Audiocodierung und Audiodecodierung für Audiokanäle und Audioobjekte
CN117037811A (zh) * 2013-09-12 2023-11-10 杜比国际公司 多声道音频内容的编码
WO2015038522A1 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
EP3444815B1 (de) * 2013-11-27 2020-01-08 DTS, Inc. Multiplet-basierte matrixmischung für mehrkanalaudio mit hoher kanalzahl
EP3149972B1 (de) 2014-05-30 2018-08-15 Qualcomm Incorporated Gewinnung von symmetrieinformationen für ambisonic-audiorenderer höherer ordnung
US9847088B2 (en) * 2014-08-29 2017-12-19 Qualcomm Incorporated Intermediate compression for higher order ambisonic audio data
ES2922373T3 (es) * 2015-03-03 2022-09-14 Dolby Laboratories Licensing Corp Realce de señales de audio espacial por decorrelación modulada
EP3067886A1 (de) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierer zur codierung eines mehrkanalsignals und audiodecodierer zur decodierung eines codierten audiosignals
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
EP3208800A1 (de) 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur stereoablage bei mehrkanaliger codierung
CA3134343A1 (en) 2017-10-04 2019-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding
WO2019143867A1 (en) 2018-01-18 2019-07-25 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals

Also Published As

Publication number Publication date
US20240005933A1 (en) 2024-01-04
EP4312212A2 (de) 2024-01-31
JP2021530724A (ja) 2021-11-11
IL276619A (en) 2020-09-30
MX2020009578A (es) 2020-10-05
AU2019298240A1 (en) 2020-09-17
CA3091150A1 (en) 2020-01-09
SG11202007628PA (en) 2020-09-29
BR112020016948A2 (pt) 2020-12-15
IL276619B1 (en) 2023-11-01
MX2020009581A (es) 2020-10-05
KR20210027236A (ko) 2021-03-10
EP3818524A1 (de) 2021-05-12
EP4312212A3 (de) 2024-04-17
KR20210027238A (ko) 2021-03-10
IL276618B1 (en) 2024-06-01
EP3818521A1 (de) 2021-05-12
RU2020130051A (ru) 2022-03-14
CN111819627A (zh) 2020-10-23
ES2968801T3 (es) 2024-05-14
IL312390A (en) 2024-06-01
WO2020010064A1 (en) 2020-01-09
JP2021530723A (ja) 2021-11-11
SG11202007629UA (en) 2020-09-29
US20210166708A1 (en) 2021-06-03
AU2019298232B2 (en) 2024-03-14
IL307898A (en) 2023-12-01
CN111837182A (zh) 2020-10-27
CA3091241A1 (en) 2020-01-09
WO2020010072A1 (en) 2020-01-09
IL276619B2 (en) 2024-03-01
RU2020130053A (ru) 2022-03-14
BR112020017338A2 (pt) 2021-03-02
IL276618A (en) 2020-09-30
EP3818524B1 (de) 2023-12-13
AU2019298232A1 (en) 2020-09-17
US20210375297A1 (en) 2021-12-02
US11699451B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
DE112019003358T5 (de) Verfahren und vorrichtung zum codieren und/oder decodieren immersiver audiosignale
DE602005006424T2 (de) Stereokompatible mehrkanal-audiokodierung
EP1763870B1 (de) Erzeugung eines codierten multikanalsignals und decodierung eines codierten multikanalsignals
DE602004004168T2 (de) Kompatible mehrkanal-codierung/-decodierung
DE69731677T2 (de) Verbessertes Kombinationsstereokodierverfahren mit zeitlicher Hüllkurvenformgebung
DE602005005083T2 (de) Interpolation und signalisierung von parametern zur räumlichen rekonstruktion für mehrkanalige kodierung und dekodierung von audioquellen
DE602006000239T2 (de) Energieabhängige quantisierung für effiziente kodierung räumlicher audioparameter
DE602005002833T2 (de) Kompensation von multikanal-audio energieverlusten
DE602005002451T2 (de) Vorrichtung und verfahren zur erzeugung eines pegelparameters und vorrichtung und verfahren zur erzeugung einer mehrkanal-repräsentation
DE602005006385T2 (de) Vorrichtung und verfahren zum konstruieren eines mehrkanaligen ausgangssignals oder zum erzeugen eines downmix-signals
EP1687809B1 (de) Vorrichtung und verfahren zur wiederherstellung eines multikanal-audiosignals und zum erzeugen eines parameterdatensatzes hierfür
DE60311794T2 (de) Signalsynthese
DE60318835T2 (de) Parametrische darstellung von raumklang
EP0931386B1 (de) Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals
EP1854334B1 (de) Vorrichtung und verfahren zum erzeugen eines codierten stereo-signals eines audiostücks oder audiodatenstroms
EP1697930B1 (de) Vorrichtung und verfahren zum verarbeiten eines multikanalsignals
EP0750811B1 (de) Verfahren zum codieren mehrerer audiosignale
EP1495464B1 (de) Vorrichtung und verfahren zum codieren eines zeitdiskreten audiosignals und vorrichtung und verfahren zum decodieren von codierten audiodaten
DE102013223201B3 (de) Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes
DE69932861T2 (de) Verfahren zur kodierung eines audiosignals mit einem qualitätswert für bit-zuordnung
DE102020210917B4 (de) Verbesserter M/S-Stereo-Codierer und -Decodierer
DE4229372C2 (de) Verfahren zum Übertragen oder Speichern der Quantisierungsinformation bei einer bitratenreduzierenden Quellcodierung
RU2802803C2 (ru) Способы и устройства для кодирования и/или декодирования аудиосигналов погружения
DE112021004444T5 (de) Stereobasierte immersive codierung (stic)
DE112021005027T5 (de) Nahtloses skalierbares decodieren von kanälen, objekten und hoa-audioinhalt