JP2016529544A - ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム - Google Patents

ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP2016529544A
JP2016529544A JP2016528404A JP2016528404A JP2016529544A JP 2016529544 A JP2016529544 A JP 2016529544A JP 2016528404 A JP2016528404 A JP 2016528404A JP 2016528404 A JP2016528404 A JP 2016528404A JP 2016529544 A JP2016529544 A JP 2016529544A
Authority
JP
Japan
Prior art keywords
signal
audio
channel
residual signal
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016528404A
Other languages
English (en)
Other versions
JP6346278B2 (ja
Inventor
サシャ ディック、
サシャ ディック、
クリスティアン エルテル、
クリスティアン エルテル、
クリスティアン ヘルムリヒ、
クリスティアン ヘルムリヒ、
ヒルペルト、ジョハネス
ホエルツアー、アンドレアス
クンツ、アチム
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー., フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2016529544A publication Critical patent/JP2016529544A/ja
Application granted granted Critical
Publication of JP6346278B2 publication Critical patent/JP6346278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダは、マルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するよう構成される。オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するよう構成される。オーディオエンコーダは、対応する考察に基づく。【選択図】図2

Description

本発明の実施形態は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するオーディオデコーダに関する。
本発明のさらなる実施形態は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するオーディオエンコーダに関する。
本発明のさらなる実施形態は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供する方法、および、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供する方法に関する。
本発明のさらなる実施形態は、前記方法のうちの1つを行うためのコンピュータプログラムに関する。
概して、本発明の実施形態は、n個のチャネルのジョイント符号化に関する。
近年、オーディオコンテンツの記憶および送信に対する需要が着実に増えている。また、オーディオコンテンツの記憶および送信に対する品質要求も着実に増えている。このことから、オーディオコンテンツの符号化および復号の概念が高まっている。例えば、国際規格ISO/IEC13818−7:2003等に記載のある「AAC(advanced audio coding)」が開発されている。また、国際規格ISO/IEC23003−1:2007等に記載のある「MPEGサラウンド」の概念といった空間的拡張機能もいくつか開発されている。オーディオ信号の空間的情報を符号化および復号するための付加的改良が、SAOC(spatial audio object coding)に関する国際規格ISO/IEC23003−2:2010に記載されている。
また、一般的なオーディオ信号とスピーチ信号とを両方とも良好な符号化効率で符号化するとともにマルチチャネルオーディオ信号を処理する可能性を提供するフレキシブルなオーディオ符号化/復号概念が、「USAC(unified speech and audio coding)」に関する記載のある国際規格ISO/IEC23003−3:2012において定義されている。
MPEG USAC[1]において、2つのチャネルのジョイントステレオ符号化は、帯域制限または全帯域残留信号と共に、複合予測、MPS2−1−1、またはユニファイドステレオを用いて行われる。
MPEGサラウンド[2]は、残留信号の送信を伴いまたは伴わずに、マルチチャネルオーディオのジョイント符号化のためのOTTおよびTTTボックスを階層結合する。
ISO/IEC23003−3:2012−Information Technology − MPEG Audio Technologies,Part 3:Unified Speech and Audio Coding. ISO/IEC23003−1:2007−Information Technology − MPEG Audio Technologies,Part 1:MPEG Surround.
しかし、3次元オーディオシーンの効率的な符号化および復号のためのより高度な概念の提供への要望がある。
本発明の実施形態は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するオーディオデコーダを提供する。オーディオデコーダは、マルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。オーディオデコーダは、また、残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するよう構成される。オーディオデコーダは、また、残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するよう構成される。
本発明によるこの実施形態は、それぞれが残留信号支援マルチチャネル復号を用いて2つ以上のオーディオチャネル信号を提供するのに使用される2つの残留信号を、当該残留信号のジョイント符号化表現から導出することによって、4つまたはそれ以上のオーディオチャネル信号間の依存関係を利用することができるという知見に基づく。言い換えれば、前記残留信号には典型的にいくつかの類似点があり、残留信号間の類似点および/または依存関係を利用したマルチチャネル復号を用いてジョイント符号化表現から2つの残留信号を導出することによって、少なくとも4つのオーディオチャネル信号を復号する際のオーディオ品質向上の助けとなる前記残留信号を符号化するためのビットレートを低減できることが分かっている。
好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現に基づいて、第1のダウンミックス信号と第2のダウンミックス信号とを提供するよう構成される。こうして、オーディオデコーダの階層構造が構築され、少なくとも4つのオーディオチャネル信号を提供するための残留信号支援マルチチャネル復号で使用されるダウンミックス信号と残留信号とが、別々のマルチチャネル復号を用いて導出される。このような概念は、2つのダウンミックス信号が典型的にマルチチャネル符号化/復号で利用可能な類似点を含み、かつ、2つの残留信号も典型的にマルチチャネル符号化/復号で利用可能な類似点を含むことから、特に効率的である。よって、当該概念を用いて、良好な符号化効率を典型的に得ることが可能である。
好適な実施形態において、オーディオデコーダは、予測ベースマルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。予測ベースマルチチャネル復号を用いることにより、典型的に、残留信号の比較的良好な再構成品質をもたらすことができる。このことは、例えば、第1の残留信号がオーディオシーンの左側を表し、第2の残留信号がオーディオシーンの右側を表す場合に、有利である。なぜなら、人間の聴覚は、典型的に、オーディオシーンの左側と右側との間の違いに比較的敏感であるからである。
好適な実施形態において、オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。残留信号(および、典型的に、ダウンミックス信号、これは、第1の残留信号と第2の残留信号とを結合したもの)を順に受信するマルチチャネル復号を用いて第1の残留信号および第2の残留信号を提供する場合、特に良好な品質の第1および第2の残留信号が達成されることが分かっている。このように、復号ステージは、カスケード化されており、2つの残留信号(第1のオーディオチャネル信号および第2のオーディオチャネル信号を提供するのに使用される第1の残留信号、および、第3のオーディオチャネル信号および第4のオーディオチャネル信号を提供するのに使用される第2の残留信号)は、入力ダウンミックス信号および入力残留信号に基づいて提供され、ここで、後者は、第1の残留信号および第2の残留信号の共通の残留信号として表されてもよい。よって、第1の残留信号および第2の残留信号は、実際には「中間」残留信号であり、対応するダウンミックス信号および対応する「共通の」残留信号からマルチチャネル復号を用いて導出される。
好適な実施形態において、予測ベースマルチチャネル復号は、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームの残留信号(すなわち、第1の残留信号および第2の残留信号)の提供への寄与を記述する予測パラメータを評価するよう構成される。このような予測ベースマルチチャネル復号を用いることにより、特に良好な品質の残留信号(第1の残留信号および第2の残留信号)がもたらされる。
好適な実施形態において、予測ベースマルチチャネル復号は、(対応する)ダウンミックス信号と(対応する)「共通」残留信号とに基づいて、第1の残留信号と第2の残留信号とを得るよう構成され、予測ベースマルチチャネル復号は、第1符号を伴う共通残留信号を適用して第の1残留信号を得ると共に、第1符号と逆の第2符号を伴う共通残留信号を適用して第2の残留信号を得るよう構成される。このような予測ベースマルチチャネル復号により、第1の残留信号および第2の残留信号を再構成するための良好な効率がもたらされることが分かっている。
好適な実施形態において、オーディオデコーダは、修正離散コサイン変換(MDCTドメイン)で動作するマルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。第1の残留信号および第2の残留信号のジョイント符号化表現を提供するのに使用され得るオーディオ復号は、MDCTドメインで好適に動作するので、上記の概念を効率的に実施可能であることが分かっている。従って、MDCTドメインで第1の残留信号および第2の残留信号を提供するためのマルチチャネル復号を適用することによって、中間的な変換を回避できる。
好適な実施形態において、オーディオデコーダは、USAC複合ステレオ予測(例えば、前述のUSAC規格に記載される)を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、第1の残留信号と第2の残留信号とを提供するよう構成される。このようなUSAC複合ステレオ予測により第1の残留信号および第2の残留信号の良好な復号結果がもたらされることが分かっている。また、第1の残留信号および第2の残留信号の復号にUSAC複合ステレオ予測を使用することで、USAC(unified speech and audio coding)で既に利用可能な復号ブロックを用いて当該概念を簡単に実施することが可能である。よって、ここに記載する復号概念を実行するためにUSACデコーダを容易に再構成し得る。
好適な実施形態において、オーディオデコーダは、パラメータベース残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するよう構成される。同様に、オーディオデコーダは、パラメータベース残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するよう構成される。このようなマルチチャネル復号は、第1のダウンミックス信号と、第1の残留信号と、第2のダウンミックス信号と、第2の残留信号とに基づくオーディオチャネル信号の導出に適していることが分かっている。また、このようなパラメータベース残留信号支援マルチチャネル復号は、典型的なマルチチャネルオーディオデコーダに既存の処理ブロックを用いて簡単に実施できることが分かっている。
好適な実施形態において、パラメータベース残留信号支援マルチチャネル復号は、それぞれのダウンミックス信号および対応する残留信号に基づいて2つ以上のオーディオチャネル信号を提供するために、2つのチャネル間の所望の相関関係および/または2つのチャネル間のレベル差を記述する1つ以上のパラメータを評価するよう構成される。このようなパラメータベース残留信号支援マルチチャネル復号は、カスケードマルチチャネル復号(ここで、好ましくは、第1および第2のダウンミックス信号および第1および第2の残留信号は、予測ベースマルチチャネル復号を用いて提供される)の第2ステージによく適応することが分かっている。
好適な実施形態において、オーディオデコーダは、QMFドメインで動作する残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するよう構成される。同様に、オーディオデコーダは、好ましくは、QMFドメインで動作する残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するよう構成される。よって、階層型マルチチャネル復号の第2ステージは、QMFドメインにおいて機能し、QMFドメインは、同様にQMFドメインにおいて度々行われる典型的な後処理によく適応するものであり、中間的な変換を回避し得る。
好適な実施形態において、オーディオデコーダは、MPEGサラウンド2−1−2復号またはユニファイドステレオ復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するよう構成される。同様に、オーディオデコーダは、好ましくは、MPEGサラウンド2−1−2復号またはユニファイドステレオ復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するよう構成される。このような復号概念は、階層型復号の第2のステージに特に適していることが分かっている。
好適な実施形態において、第1の残留信号および第2の残留信号は、オーディオシーンの異なる水平位置(または、等価的に方位位置)と関連付けられる。階層型マルチチャネル処理の第1のステージにおいて、異なる水平位置(または方位位置)に関連付けられる残留信号を分けることが特に有利であることが分かっている。なぜなら、階層型マルチチャネル復号の第1のステージにおいて知覚的に重要な左右分離が行われる場合、特に良好な聴覚印象が得られるからである。
好適な実施形態において、第1のオーディオチャネル信号および第2noチャネル信号は、オーディオシーンの垂直近傍位置(または、等価的にオーディオシーンの近傍高度位置)と関連付けられる。また、第3のオーディオチャネル信号および第4のオーディオチャネル信号は、好ましくは、オーディオシーンの垂直近傍位置(または、等価適にオーディオシーンの近傍高度位置)と関連付けられる。階層型オーディオ復号の第2のステージ(典型的に、第1のステージよりも分離精度が多少低い)において上下信号間の分離が行われる場合、良好な復号結果が得られることが分かっている。なぜなら、人間の聴覚系は、音源の水平位置に比べて、音源の垂直位置に対して感受性が低いからである。
好適な実施形態において、第1のオーディオチャネル信号および第2のオーディオチャネル信号は、オーディオシーンの第1の水平位置(または、等価的に方位位置)と関連付けられ、第3のオーディオチャネル信号および第4のオーディオチャネル信号は、第1の水平位置(または、等価的に方位位置)と異なる、オーディオシーンの第2の水平位置(または、等価的に方位位置)と関連付けられる。
好ましくは、第1の残留信号は、オーディオシーンの左側と関連付けられ、第2の残留信号は、オーディオシーンの右側と関連付けられる。こうして、左右分離は、階層型オーディオ復号の第1のステージにおいて行われる。
好適な実施形態において、第1のオーディオチャネル信号および第2のオーディオチャネル信号は、オーディオシーンの左側と関連付けられ、第3のオーディオチャネル信号および第4のオーディオチャネル信号は、オーディオシーンの右側と関連付けられる。
他の好適な実施形態において、第1のオーディオチャネル信号は、オーディオシーンのより左下側と関連付けられ、第2のオーディオチャネル信号は、オーディオシーンのより左上側と関連付けられ、第3のオーディオチャネル信号は、オーディオシーンのより右下側と関連付けられ、第4のオーディオチャネル信号は、オーディオシーンのより右上側と関連付けられる。このようなオーディオチャネル信号の関連付けにより、特に良好な符号化結果が得られる。
好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現に基づいて、第1のダウンミックス信号と第2のダウンミックス信号とを提供するよう構成され、第1のダウンミックス信号は、オーディオシーンの左側と関連付けられ、第2のダウンミックス信号は、オーディオシーンの右側と関連付けられる。ダウンミックス信号がオーディオシーンの異なる側と関連付けられている場合でも、ダウンミックス信号は、マルチチャネル符号化を用いて良好な符号化効率で符号化できることが分かっている。
好適な実施形態において、オーディオデコーダは、予測ベースマルチチャネル復号または残留信号支援予測ベースマルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現に基づいて、第1のダウンミックス信号と第2のダウンミックス信号とを提供するよう構成される。このようなマルチチャネル復号の概念を用いることで、特に良好な復号結果が得られることが分かっている。また、既存の復号機能をいくつかのオーディオデコーダにおいて再利用可能である。
好適な実施形態において、オーディオデコーダは、第1のオーディオチャネル信号と第3のオーディオチャネル信号とに基づいて、第1のマルチチャネル帯域幅拡張を行うよう構成される。また、オーディオデコーダは、第2のオーディオチャネル信号と第4のオーディオチャネル信号とに基づいて、第2の(典型的に、別の)マルチチャネル帯域幅拡張を行うよう構成されてもよい。オーディオシーンの異なる側と関連付けられた(ここで、異なる残留信号は、典型的に、オーディオシーンの異なる側と関連付けられる)2つのオーディオチャネル信号に基づいて可能な帯域幅拡張を行うことが有利であることが分かっている。
好適な実施形態において、オーディオデコーダは、第1のオーディオチャネル信号と、第3のオーディオチャネル信号と、1つ以上の帯域幅拡張パラメータとに基づいて、オーディオシーンの第1の共通水平面(または、等価的に第1の共通高度)と関連付けられる2つ以上の帯域幅拡張オーディオチャネル信号を得るために、第1のマルチチャネル帯域幅拡張を行うよう構成される。また、オーディオデコーダは、好ましくは、第2のオーディオチャネル信号と、第4のオーディオチャネル信号と、1つ以上の帯域幅拡張パラメータとに基づいて、オーディオシーンの第2の共通水平面(または、等価的に第2の共通高度)と関連付けられる2つ以上の帯域幅拡張オーディオチャネル信号を得るために、第2のマルチチャネル帯域幅拡張を行うよう構成される。このような復号方式の結果、良好なオーディオ品質が達成されることが分かっている。なぜなら、マルチチャネル帯域幅拡張は、こういった配置において、聴覚印象にとって重要なステレオ特性を考慮することができるからである。
好適な実施形態において、第1の残留信号と第2の残留信号とのジョイント符号化表現は、第1および第2の残留信号のダウンミックス信号と、第1および第2の残留信号の共通残留信号とを含むチャネル対要素を含む。第1および第2の残留信号のダウンミックス信号および第1および第2の残留信号の共通残留信号をチャネル対要素を用いて符号化することは、第1および第2の残留信号のダウンミックス信号および第1および第2の残留信号の共通残留信号が典型的に多くの特性を共有することから、有利であることが分かっている。このように、チャネル対要素を用いることによって、典型的に、信号オーバーヘッドが減り、結果として効率的な符号化が可能になる。
他の好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現に基づいて、第1のダウンミックス信号と第2のダウンミックス信号とを提供するよう構成され、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現は、第1および第2のダウンミックス信号のダウンミックス信号と、第1および第2のダウンミックス信号の共通残留信号とを含むチャネル対要素を含む。この実施形態は、上記の実施形態と同様の考察に基づく。
本発明による他の実施形態は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するオーディオエンコーダを提供する。オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とをジョイント符号化して第1のダウンミックス信号と第1の残留信号とを得るよう構成される。オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とをジョイント符号化して第2のダウンミックス信号と第2の残留信号とを得るよう構成される。また、オーディオエンコーダは、マルチチャネル符号化を用いて、第1の残留信号と第2の残留信号とをジョイント符号化して残留信号のジョイント符号化表現を得るよう構成される。このオーディオエンコーダは、上記のオーディオデコーダと同様の考察に基づく。
また、オーディオエンコーダの任意の改良およびオーディオエンコーダの好適な構成は、上記のオーディオデコーダの改良および好適な構成と実質的に並列である。よって、上記の記載が参照される。
本発明による他の実施形態は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法を提供する。当該方法は、上記のオーディオエンコーダの機能を実質的に実行するものであり、上記の特徴および機能のいずれかが補われ得る。
本発明による他の実施形態は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法を提供する。当該方法は、上述したオーディオデコーダの機能を実質的に実現する。
本発明による他の実施形態は、上述した方法を実行するためのコンピュータプログラムを提供する。
本発明による実施形態を、添付図面を参照しながら以下に説明する。
本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態による少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法のフローチャートである。 本発明の実施形態による符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法のフローチャートである。 本発明の実施形態による少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法のフローチャートである。 本発明の実施形態による符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法のフローチャートである。 本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 図13によるオーディオエンコーダで使用可能なビットストリームの構文表現である。 パラメータqceIndexの異なる値の表表現である。 本発明による概念を用いることができる3Dオーディオエンコーダの概略ブロック図である。 本発明による概念を用いることができる3Dオーディオデコーダの概略ブロック図である。 フォーマットコンバータの概略ブロック図である。 本発明の実施形態によるクワッドチャネル要素(QCE)のトポロジー構造のグラフ表現である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態によるQCEデコーダの詳細な概略ブロック図である。 本発明の実施形態によるクワッドチャネルエンコーダの詳細な概略ブロック図である。
(1.図1のオーディオエンコーダ)
図1は、全体において100で表されるオーディオエンコーダの概略ブロック図を示す。オーディオエンコーダ100は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するよう構成される。オーディオエンコーダ100は、第1のオーディオチャネル信号110と、第2のオーディオチャネル信号112と、第3のオーディオチャネル信号114と、第4のオーディオチャネル信号116とを受信するよう構成される。また、オーディオエンコーダ100は、残留信号のジョイント符号化表現130と共に、第1のダウンミックス信号120および第2のダウンミックス信号122の符号化表現を提供するよう構成される。オーディオエンコーダ100は、残留信号支援マルチチャネルエンコーダ140を含む。残留信号支援マルチチャネルエンコーダ140は、残留信号支援マルチチャネル符号化を用いて第1のオーディオチャネル信号110と第2のオーディオチャネル信号112とをジョイント符号化して、第1のダウンミックス信号120と第1の残留信号142とを得るよう構成される。オーディオ信号エンコーダ100は、また、残留信号支援マルチチャネルエンコーダ150を含む。残留信号支援マルチチャネルエンコーダ150は、残留信号支援マルチチャネル符号化を用いて少なくとも第3のオーディオチャネル信号114と第4のオーディオチャネル信号116とをジョイント符号化して、第2のダウンミックス信号122と第2の残留信号152とを得るよう構成される。オーディオデコーダ100は、また、マルチチャネルエンコーダ160を含む。マルチチャネルエンコーダ160は、マルチチャネル符号化を用いて第1の残留信号142と第2の残留信号152とをジョイント符号化して、残留信号142,152のジョイント符号化表現130を得るよう構成される。
オーディオエンコーダ100の機能に関して、オーディオエンコーダ100は、階層型符号化を行う。ここで、第1のオーディオチャネル信号110と第2のオーディオチャネル信号112とは、残留信号支援マルチチャネル符号化140を用いてジョイント符号化され、第1のダウンミックス信号120と第1の残留信号142との両方が提供される。第1の残留信号142は、例えば、第1のオーディオチャネル信号110と第2のオーディオチャネル信号112との間の違いを記述してもよく、および/または、第1のダウンミックス信号120および残留信号支援マルチチャネルエンコーダ140により提供され得る任意のパラメータによって表すことができない何らかの信号特徴を記述してもよい。言い換えれば、第1の残留信号142は、第1のダウンミックス信号120および残留信号支援マルチチャネルエンコーダ140により提供され得る任意の可能なパラメータに基づいて得られる復号結果の改良を可能にする残留信号であってもよい。例えば、第1の残留信号142は、高レベル信号特性(例:相関特性、共分散特性、レベル差特性等)の単なる再構成と比べて、少なくとも、オーディオデコーダ側での第1のオーディオチャネル信号110および第2オのーディオチャネル信号112の部分波形再構成を可能にしてもよい。同様に、残留信号支援マルチチャネルエンコーダ150は、第3のオーディオチャネル信号114と第4のオーディオチャネル信号116とに基づいて、第2のダウンミックス信号122と第2の残留信号152との両方を提供し、それによって、第2の残留信号は、オーディオデコーダ側での第3のオーディオチャネル信号114および第4のオーディオチャネル信号116の信号再構成の改良を可能にする。第2の残留信号152は、結果として、第1の残留信号142と同じ機能を果たし得る。しかし、オーディオチャネル信号110,112,114および116が何らかの相関性を含む場合、第1の残留信号142および第2の残留信号152は、典型的に、ある程度相関関係にある。したがって、相関信号のマルチチャネル符号化が依存関係を利用することによってビットレートを典型的木に低減するので、マルチチャネルエンコーダ160を用いた第1の残留信号142と第2の残留信号152とのジョイント符号化は、典型的に、高い効率性を有する。よって、残留信号のジョイント符号化表現130のビットレートを適度に低く抑えながら、第1の残留信号142と第2の残留信号152とを高精度で符号化することができる。
要約すると、図1による実施形態は、階層型マルチチャネル符号化を提供する。当該階層型マルチチャネル符号化において、残留信号支援マルチチャネルエンコーダ140,150を用いることによって良好な再生品質が得られ、第1の残留信号142と第2の残留信号152とをジョイント符号化することによってビットレート要求を適度に保つことができる。
オーディオエンコーダ100のさらなる任意の改良も可能である。これらの改良の一部を、図4,11および12を参照して説明する。但し、オーディオエンコーダ100は、本明細書に記載のオーディオデコーダと並列に適応可能であり、オーディオエンコーダの機能は、典型的にオーディオデコーダの機能を逆にしたものである。
(2.図2によるオーディオデコーダ)
図2は、全体において200で表されるオーディオデコーダの概略ブロック図を示す。
オーディオデコーダ200は、第1の残留信号と第2の残留信号とのジョイント符号化表現210を含む符号化表現を受信するよう構成される。オーディオデコーダ200は、また、第1のダウンミックス信号212と第2のダウンミックス信号214との表現を受信する。オーディオデコーダ200は、第1のオーディオチャネル信号220と、第2のオーディオチャネル信号222と、第3のオーディオチャネル信号224と、第4のオーディオチャネル信号226とを提供するよう構成される。
オーディオデコーダ200は、マルチチャネルデコーダ230を含む。マルチチャネルデコーダ230は、第1の残留信号232と第2の残留信号234とのジョイント符号化表現210に基づいて、第1の残留信号232と第2の残留信号234とを提供するよう構成される。オーディオデコーダ200は、また、(第1の)残留信号支援マルチチャネルデコーダ240を含む。(第1の)残留信号支援マルチチャネルデコーダ240は、マルチチャネル復号を用いて、第1のダウンミックス信号212と第1の残留信号232とに基づいて、第1のオーディオチャネル信号220と第2のオーディオチャネル信号222とを提供するよう構成される。オーディオデコーダ200は、また、(第2の)残留信号支援マルチチャネルデコーダ250を含む。(第2の)残留信号支援マルチチャネルデコーダ250は、第2のダウンミックス信号214と第2の残留信号234とに基づいて、第3のオーディオチャネル信号224と第4のオーディオチャネル信号226とを提供するよう構成される。
オーディオデコーダ200の機能に関して、オーディオ信号デコーダ200は、(第1の)共通残留信号支援マルチチャネル復号240に基づいて第1のオーディオチャネル信号220と第2のオーディオチャネル信号222とを提供し、マルチチャネル復号の復号品質は、第1の残留信号232によって高くなる(非残留信号支援復号と比較した場合)。言い換えれば、第1のダウンミックス信号212は、第1のオーディオチャネル信号220と第2のオーディオチャネル信号222とに関する「粗い」情報を提供し、例えば、第1のオーディオチャネル信号220と第2のオーディオチャネル信号222との間の違いを、残留信号支援マルチチャネルデコーダ240により受信し得る(任意の)パラメータおよび第1の残留信号232によって記述してもよい。よって、第1の残留信号232は、例えば、第1のオーディオチャネル信号220および第2のオーディオチャネル信号222の部分波形再構成を可能にしてもよい。
同様に、(第2の)残留信号支援マルチチャネルデコーダ250は、第2のダウンミックス信号214に基づいて第3のオーディオチャネル信号224と第4のオーディオチャネル信号226とを提供し、第2のダウンミックス信号214は、例えば、第3のオーディオチャネル信号224と第4のオーディオチャネル信号226とを「粗く」記述してもよい。また、例えば、第3のオーディオチャネル信号224と第4のオーディオチャネル信号226との間の違いを、(第2の)残留信号支援マルチチャネルデコーダ250により受信し得る(任意の)パラメータおよび第2の残留信号234によって記述してもよい。よって、第2の残留信号234の評価により、例えば、第3のオーディオチャネル信号224および第4のオーディオチャネル信号226の部分波形再構成を可能にしてもよい。したがって、第2の残留信号234は、第3のオーディオチャネル信号224および第4のオーディオチャネル信号226の再構成品質の向上を可能にしてもよい。
しかし、第1の残留信号232および第2の残留信号234は、第1の残留信号と第2の残留信号とのジョイント符号化表現210から導出される。マルチチャネルデコーダ230によって行われるこのようなマルチチャネル復号は、第1のオーディオチャネル信号220と、第2のオーディオチャネル信号222と、第3のオーディオチャネル信号224と、第4のオーディオチャネル信号226とが典型的に類似または「相関」しているので、高い復号効率を可能にする。したがって、第1の残留信号232および第2の残留信号234も、また、典型的に類似または「相関」しており、このことを利用して、マルチチャネル復号を用いて、ジョイント符号化表現210から第1の残留信号232と第2の残留信号234とを導出することができる。
結果的に、残留信号232、234をこれらのジョイント符号化表現210に基づいて復号することによって、および、各残留信号を用いて2つ以上のオーディオチャネル信号を復号することによって、高い復号品質が得られる。
結論として、オーディオデコーダ200は、高品質オーディオチャネル信号220,222,224,226を提供することで、高い復号効率を実現する。
尚、オーディオデコーダ200において任意に実施可能な付加的特徴および機能について、図3,5,6および13を参照して後述するが、オーディオデコーダ200は、何ら付加的な変更なしに上記の利点を有し得る。
(3.図3によるオーディオデコーダ)
図3は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図3のオーディオデコーダは、全体において300で表される。オーディオデコーダ300は、図2によるオーディオデコーダ200と類似するため、上述の説明が適用される。しかし、以下に述べるように、オーディオデコーダ300は、オーディオデコーダ200と比べて、付加的特徴および機能が補われている。
オーディオデコーダ300は、第1の残留信号と第2の残留信号とのジョイント符号化表現310を受信するよう構成される。オーディオデコーダ300は、また、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現360を受信するよう構成される。オーディオデコーダ300は、また、第1のオーディオチャネル信号320と、第2のオーディオチャネル信号322と、第3のオーディオチャネル信号324と、第4のオーディオチャネル信号326とを提供するよう構成される。オーディオデコーダ300は、マルチチャネルデコーダ330を含む。マルチチャネルデコーダ330は、第1の残留信号と第2の残留信号とのジョイント符号化表現310を受信して、これらに基づいて、第1の残留信号332と第2の残留信号334とを提供するよう構成される。オーディオデコーダ300は、また、(第1の)残留信号支援マルチチャネル復号340を含む。(第1の)残留信号支援マルチチャネル復号340は、第1の残留信号332と第1のダウンミックス信号312とを受信し、第1のオーディオチャネル信号320と第2のオーディオチャネル信号322とを提供する。オーディオデコーダ300は、また、(第2の)残留信号支援マルチチャネル復号350を含む。(第2の)残留信号支援マルチチャネル復号350は、第2の残留信号334と第2のダウンミックス信号314とを受信し、第3のオーディオチャネル信号324と第4のオーディオチャネル信号326とを提供するよう構成される。
オーディオデコーダ300は、また、他のマルチチャネルデコーダ370を含む。他のマルチチャネルデコーダ370は、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現360を受信して、これらに基づいて、第1のダウンミックス信号312と第2のダウンミックス信号314とを提供するよう構成される。
以下に、オーディオデコーダ300のさらなる具体的な詳細について説明する。但し、実際のオーディオデコーダは、これら全ての付加的特徴および機能の組み合わせを実現する必要はない。むしろ、以下に記載の特徴および機能を、オーディオデコーダ200(または他の任意のオーディオデコーダ)に個々に追加して、オーディオデコーダ200(または他の任意のオーディオデコーダ)を徐々に改良してもよい。
好適な実施形態において、オーディオデコーダ300は、第1の残留信号と第2の残留信号とのジョイント符号化表現310を受信する。このジョイント符号化表現310は、第1の残留信号332と第2の残留信号334とのダウンミックス信号、および、第1の残留信号332と第2の残留信号334との共通残留信号を含んでもよい。加えて、ジョイント符号化表現310は、例えば、1つ以上の予測パラメータを含んでもよい。従って、マルチチャネルデコーダ330は、予測ベース残留信号支援マルチチャネルデコーダであってもよい。例えば、マルチチャネルデコーダ330は、国際規格ISO/IEC23003−3:2012の「Complex Stereo Prediction」の節に記載されるようなUSAC複合ステレオ予測であってもよい。例えば、マルチチャネルデコーダ330は、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームのための第1の残留信号332および第2の残留信号334の提供への寄与を記述する予測パラメータを評価するよう構成されてもよい。また、マルチチャネルデコーダ330は、第1の符号を伴う(ジョイント符号化表現310に含まれる)共通残留信号を適用して第1の残留信号332を得ると共に、第1の符号と逆の第2の符号を伴う(ジョイント符号化表現310に含まれる)共通残留信号を適用して第2の残留信号334を得るよう構成されてもよい。このように、共通残留信号は、少なくとも部分的に、第1の残留信号332と第2の残留信号334との間の違いを記述するものであってもよい。但し、マルチチャネルデコーダ330は、上述の国際規格ISO/IEC23003−3:2012に記載されているように、ジョイント符号化表現310に含まれるダウンミックス信号と、共通残留信号と、1つ以上の予測パラメータとを評価して第1の残留信号332と第の2残留信号334とを得てもよい。また、第1の残留信号332を、オーディオシーンの第1の水平位置(または方位位置)、例えば、左水平位置、と関連付けてもよく、第2の残留信号334を、オーディオシーンの第2の水平位置(または方位位置)、例えば、右水平位置、と関連付けてもよい。
第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現360は、好ましくは、第1のダウンミックス信号と第2のダウンミックス信号とのダウンミックス信号と、第1のダウンミックス信号と第2のダウンミックス信号との共通残留信号と、1つ以上の予測パラメータとを含む。言い換えれば、「共通」ダウンミックス信号の中に、第1のダウンミックス信号312と第2のダウンミックス信号314とがダウンミックスされ、「共通」残留信号は、少なくとも部分的に、第1のダウンミックス信号312と第2のダウンミックス信号314との違いを記述してもよい。マルチチャネルデコーダ370は、好ましくは、USAC複合ステレオ予測デコーダ等の予測ベース残留信号支援マルチチャネルデコーダである。言い換えれば、第1のダウンミックス信号312と第2のダウンミックス信号314とを提供するマルチチャネルデコーダ370は、第1の残留信号332と第2の残留信号334とを提供するマルチチャネルデコーダ330と実質的に同一であってもよく、上述の説明および参照が当てはまる。また、第1のダウンミックス信号312は、好ましくは、オーディオシーンの第1の水平位置または方位位置(例えば、左水平位置または方位位置)と関連付けられ、第2のダウンミックス信号314は、好ましくは、オーディオシーンの第2の水平位置または方位位置(例えば、右水平位置または方位位置)と関連付けられる。よって、第1のダウンミックス信号312および第1の残留信号332は、同じ第1の水平位置または方位位置(例えば、左水平位置)と関連付けられてもよく、第2のダウンミックス信号314および第2の残留信号334は、同じ第2の水平位置または方位位置(例えば、右水平位置)と関連付けられてもよい。したがって、マルチチャネルデコーダ370およびマルチチャネルデコーダ330は、両方とも、水平分割(または、水平分離、または水平分布)を行ってもよい。
残留信号支援マルチチャネルデコーダ340は、好ましくは、パラメータベースであってもよく、したがって、2つのチャネル(例えば、第1のオーディオチャネル信号320および第2のオーディオチャネル信号322)間の所望の相関関係および/または前記2つのチャネル間のレベル差を記述する1つ以上のパラメータ342を受信してもよい。例えば、残留信号支援マルチチャネル復号340は、残留信号拡張または「ユニファイドステレオ復号」デコーダ(ISO/IEC 23003−3,chapter 7.11 (Decoder) & Annex B.21 (Description of the Encoder & Definition of the Term ”Unified Stereo”に記載される)を伴うMPEGサラウンド符号化(例えば、ISO/IEC23003−1:2007に記載される)に基づいてもよい。従って、残留信号支援マルチチャネルデコーダ340は、第1のオーディオチャネル信号320と第2のオーディオチャネル信号322とを提供してもよく、ここで、第1のオーディオチャネル信号320および第2のオーディオチャネル信号322は、オーディオシーンの垂直近傍位置と関連付けられる。例えば、第1のオーディオチャネル信号は、オーディオシーンの左下位置と関連付けられてもよく、第2のオーディオチャネル信号は、オーディオシーンの左上位置と関連付けられてもよい(第1のオーディオチャネル信号320および第2のオーディオチャネル信号322は、例えば、オーディオシーンの同一の水平位置または方位位置、または、30度以内で分かれた方位位置、と関連付けられる)。言い換えれば、残留信号支援マルチチャネルデコーダ340は、垂直分割(または分布、または分離)を行ってもよい。
残留信号支援マルチチャネルデコーダ350の機能は、残留信号支援マルチチャネルデコーダ340の機能と同一であってもよい。ここで、第3のオーディオチャネル信号は、例えば、オーディオシーンの右下位置と関連付けられてもよく、第4のオーディオチャネル信号は、例えば、オーディオシーンの右上位置と関連付けられてもよい。言い換えれば、第3のオーディオチャネル信号および第4のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられてもよく、オーディオシーンの同一水平位置または方位位置と関連付けられてもよく、残留信号支援マルチチャネルデコーダ350は、垂直分割(または分離、または分布)を行う。
要約すると、図3によるオーディオデコーダ300は、階層型オーディオ復号を行い、第1のステージ(マルチチャネルデコーダ330、マルチチャネルデコーダ370)では左右分割が行われ、第2のステージ(残留信号支援マルチチャネルデコーダ340,350)では上下分割が行われる。また、残留信号332,334は、ダウンミックス信号312,314(ジョイント符号化表現360)と同様、ジョイント符号化表現310を用いて符号化される。このように、異なるチャネル間の相関関係を、ダウンミックス信号312,314の符号化(および復号)、および残留信号332,334の符号化(および復号)のために利用する。こうして、高い符号化効率が達成され、信号間の相関関係が良好に利用される。
(4.図4によるオーディオエンコーダ)
図4は、本発明の他の実施形態によるオーディオエンコーダの概略ブロック図を示す。図4によるオーディオエンコーダは、全体において400で表される。オーディオエンコーダ400は、4つのオーディオチャネル信号、すなわち、第1のオーディオチャネル信号410と、第2のオーディオチャネル信号412と、第3のオーディオチャネル信号414と、第4のオーディオチャネル信号416とを受信するよう構成される。また、オーディオエンコーダ400は、オーディオチャネル信号410,412,414および416に基づいて符号化表現を提供するよう構成され、前記符号化表現は、共通帯域幅拡張パラメータの第1の組422と共通帯域幅拡張パラメータの第2の組424との符号化表現と共に、2つのダウンミックス信号のジョイント符号化表現420を含む。オーディオエンコーダ400は、第1の帯域幅拡張パラメータエクストラクタ430を含む。第1の帯域幅拡張パラメータエクストラクタ430は、第1のオーディオチャネル信号410と第3のオーディオチャネル信号414とに基づいて、共通帯域幅拡張パラメータの第1の組422を得るよう構成される。オーディオエンコーダ400は、また、第2の帯域幅拡張パラメータエクストラクタ440を含む。第2の帯域幅拡張パラメータエクストラクタ440は、第2のオーディオチャネル信号412と第4のオーディオチャネル信号416とに基づいて、共通帯域幅拡張パラメータの第2の組424を得るよう構成される。
オーディオエンコーダ400は、また、(第1の)マルチチャネルエンコーダ450を含む。(第1の)マルチチャネルエンコーダ450は、マルチチャネル符号化を用いて、少なくとも第1のオーディオチャネル信号410と第2のオーディオチャネル信号412とをジョイント符号化して、第1のダウンミックス信号452を得るよう構成される。更に、オーディオエンコーダ400は、(第2の)マルチチャネルエンコーダ460を含む。(第2の)マルチチャネルエンコーダ460は、マルチチャネル符号化を用いて、少なくとも第3のオーディオチャネル信号414と第4のオーディオチャネル信号416とをジョイント符号化して、第2のダウンミックス信号462を得るよう構成される。更に、オーディオエンコーダ400は、(第3の)マルチチャネルエンコーダ470を含む。(第3の)マルチチャネルエンコーダ470は、マルチチャネル符号化を用いて、第1のダウンミックス信号452と第2のダウンミックス信号462とをジョイント符号化して、ダウンミックス信号のジョイント符号化表現420を得るよう構成される。
オーディオエンコーダ400の機能に関して、オーディオエンコーダ400は、階層型マルチチャネル符号化を行い、第1のステージにおいて第1のオーディオチャネル信号410と第2のオーディオチャネル信号412とが結合され、また第1のステージにおいて第3のオーディオチャネル信号414と第4のオーディオチャネル信号416とが結合されて、それによって、第1のダウンミックス信号452と第2のダウンミックス信号462とが得られる。第1のダウンミックス信号452と第2のダウンミックス信号462とは、それから、第2のステージにおいて、ジョイント符号化される。但し、第1の帯域幅拡張パラメータエクストラクタ430は、階層型マルチチャネル符号化の第1のステージにおいて異なるマルチチャネルエンコーダ450,460によって処理されるオーディオチャネル信号410,414に基づいて、共通帯域幅拡張パラメータの第1の組422を提供する。同様に、第2の帯域幅拡張パラメータエクストラクタ440は、第1の処理ステージにおいて異なるマルチチャネルエンコーダ450,460によって処理される異なるオーディオチャネル信号412,416に基づいて、共通帯域幅拡張パラメータの第2の組424を提供する。この特定の処理順によって、帯域幅拡張パラメータの組422,424が、階層型符号化の第2のステージにおいて(すなわち、マルチチャネルエンコーダ470において)のみ結合されるチャネルに基づくという利点が得られる。このことは、音源位置知覚について関連性が低い関係のオーディオチャネルを階層型符号化の第1のステージにおいて結合することが望ましいことから、有利である。むしろ、第1のダウンミックス信号と第2のダウンミックス信号との間の関係が音源位置知覚を主に決定することが好ましい。なぜなら、第1のダウンミックス信号452と第2のダウンミックス信号462との間の関係は、個々のオーディオチャネル信号410,412,414,416間の関係よりもよく維持できるからである。言い換えれば、共通帯域幅拡張パラメータの第1の組422は、ダウンミックス信号452,462の違いに寄与する2つのオーディオチャネル(オーディオチャネル信号)に基づき、共通帯域幅拡張パラメータの第2の組424は、階層型マルチチャネル符号化においてオーディオチャネル信号の上記処理によって到達される、ダウンミックス信号452,462の違いに寄与するオーディオチャネル信号412,416に基づいて提供されることが望ましいことが分かっている。したがって、共通帯域幅拡張パラメータの第1の組422は、第1のダウンミックス信号452と第2のダウンミックス信号462との間のチャネル関係と比べる際、類似のチャネル関係に基づく。ここで、後者は、典型的に、オーディオデコーダ側で生成される空間的印象を支配する。したがって、帯域幅拡張パラメータの第1の組422の提供、および帯域幅拡張パラメータの第2の組424の提供が、オーディオデコーダ側で生成される空間的聴覚印象によく適応している。
(5.図5によるオーディオデコーダ)
図5は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図5のオーディオデコーダは、全体において500で表される。
オーディオデコーダ500は、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現510を受信するよう構成される。また、オーディオデコーダ500は、第1の帯域幅拡張チャネル信号520と、第2の帯域幅拡張チャネル信号522と、第3の帯域幅拡張チャネル信号524と、第4の帯域幅拡張チャネル信号526とを提供するよう構成される。
オーディオデコーダ500は、(第1の)マルチチャネルデコーダ530を含む。(第1の)マルチチャネルデコーダ530は、マルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現510に基づいて、第1のダウンミックス信号532と第2のダウンミックス信号534とを提供するよう構成される。オーディオデコーダ500は、また、(第2の)マルチチャネルデコーダ540を含む。(第2の)マルチチャネルデコーダ540は、マルチチャネル復号を用いて、第1のダウンミックス信号532に基づいて、少なくとも第1のオーディオチャネル信号542と第2のオーディオチャネル信号544とを提供するよう構成される。オーディオデコーダ500は、また、(第3の)マルチチャネルデコーダ550を含む。(第3の)マルチチャネルデコーダ550は、マルチチャネル復号を用いて、第2のダウンミックス信号544に基づいて、少なくとも第3のオーディオチャネル信号556と第4のオーディオチャネル信号558とを提供するよう構成される。更に、オーディオデコーダ500は、(第1の)マルチチャネル帯域幅拡張560を含む。(第1の)マルチチャネル帯域幅拡張560は、第1のオーディオチャネル信号542と第3のオーディオチャネル信号556とに基づいてマルチチャネル帯域幅拡張を行って、第1の帯域幅拡張チャネル信号520と第3の帯域幅拡張チャネル信号524とを得るよう構成される。更に、オーディオデコーダは、(第2の)マルチチャネル帯域幅拡張570を含む。(第2の)マルチチャネル帯域幅拡張570は、第2のオーディオチャネル信号544と第4のオーディオチャネル信号558とに基づいてマルチチャネル帯域幅拡張を行って、第2の帯域幅拡張チャネル信号522と第4の帯域幅拡張チャネル信号526とを得るよう構成される。
オーディオデコーダ500の機能に関して、オーディオデコーダ500は、階層型マルチチャネル復号を行い、階層型復号の第1のステージにおいて第1のダウンミックス信号532と第2のダウンミックス信号534との分割が行われ、階層型復号の第2のステージにおいて第1のダウンミックス信号532から第1のオーディオチャネル信号542と第2のオーディオチャネル信号544とが導出され、階層型復号の第2のステージにおいて第2のダウンミックス信号550から第3のオーディオチャネル信号556と第4のオーディオチャネル信号558とが導出される。但し、第1のマルチチャネル帯域幅拡張560および第2のマルチチャネル帯域幅拡張570は、両方ともそれぞれ、第1のダウンミックス信号532から導出される1つのオーディオチャネル信号と、第2のダウンミックス信号534から導出される1つのオーディオチャネル信号とを受信する。階層型復号の第2のステージと比べる際、階層型マルチチャネル復号の第1のステージとして行われる(第1の)マルチチャネル復号530によってより良好なチャネル分離が典型的に実現されるため、各マルチチャネル帯域幅拡張560,570は、良好に分離された入力信号(なぜなら、これらは、良好にチャネル分離された第1のダウンミックス信号532および第2のダウンミックス信号534に由来するため)を受信することが分かる。こうして、マルチチャネル帯域幅拡張560,570は、聴覚印象にとって重要であり、第1のダウンミックス信号532と第2のダウンミックス信号534との間の関係によって良く表されるステレオ特性を考慮することができ、したがって、良好な聴覚印象を与えることができる。
言い換えれば、各マルチチャネル帯域幅拡張ステージ560,570が両(第2のステージ)マルチチャネルデコーダ540,550から入力信号を受信するというオーディオデコーダの「交差」構造によって、チャネル間のステレオ関係を考慮した良好なマルチチャネル帯域幅拡張が可能になる。
しかし、オーディオデコーダ500に、図2,3,6および13によるオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。個々の特徴をオーディオデコーダ500に導入して、オーディオデコーダの性能を次第に向上させることも可能である。
(6.図6によるオーディオデコーダ)
図6は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図6によるオーディオデコーダは、全体において600で表される。図6によるオーディオデコーダ600は、図5によるオーディオデコーダ500と類似しており、上述の説明が当てはまる。しかし、オーディオデコーダ600にはいくつかの特徴および機能が補われている。これらの特徴および機能は、個々にまたは組み合わせて、改良のためにオーディオデコーダ500に導入することも可能である。
オーディオデコーダ600は、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現610を受信して、第1の帯域幅拡張信号620と、第2の帯域幅拡張信号622と、第3の帯域幅拡張信号624と、第4の帯域幅拡張信号626とを提供するよう構成される。オーディオデコーダ600は、マルチチャネルデコーダ630を含む。マルチチャネルデコーダ630は、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現610を受信して、これらに基づいて、第1のダウンミックス信号632と第2のダウンミックス信号634とを提供するよう構成される。オーディオデコーダ600は、さらに、マルチチャネルデコーダ640を含む。マルチチャネルデコーダ640は、第1のダウンミックス信号632を受信して、これに基づいて、第1のオーディオチャネル信号542と第2のオーディオチャネル信号544とを提供するよう構成される。オーディオデコーダ600は、また、マルチチャネルデコーダ650を含む。マルチチャネルデコーダ650は、第2のダウンミックス信号634を受信して、第3のオーディオチャネル信号656と第4のオーディオチャネル信号658とを提供するよう構成される。オーディオデコーダ600は、また、(第1の)マルチチャネル帯域幅拡張660を含む。(第1の)マルチチャネル帯域幅拡張660は、第1のオーディオチャネル信号642と第3のオーディオチャネル信号656とを受信して、これらに基づいて、第1の帯域幅拡張チャネル信号620と第3の帯域幅拡張チャネル信号624とを提供するよう構成される。また、(第2の)マルチチャネル帯域幅拡張670は、第2のオーディオチャネル信号644と第4のオーディオチャネル信号658とを受信して、これらに基づいて、第2の帯域幅拡張チャネル信号622と第4の帯域幅拡張チャネル信号626とを提供する。
オーディオデコーダ600は、また、さらなるマルチチャネルデコーダ680を含む。さらなるマルチチャネルデコーダ680は、第1の残留信号と第2の残留信号とのジョイント符号化表現682を受信するよう構成され、これらに基づいて、マルチチャネルデコーダ640による使用に供する第1の残留信号684と、マルチチャネルデコーダ650による使用に供する第2の残留信号686とを提供する。
マルチチャネルデコーダ630は、好ましくは、予測ベース残留信号支援マルチチャネルデコーダである。例えば、マルチチャネルデコーダ630は、上述したマルチチャネルデコーダ370と実質的に同一であってもよい。例えば、マルチチャネルデコーダ630は、前述の通り、また、上述したUSAC規格に記載されるように、USAC複合ステレオ予測デコーダであってもよい。従って、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現610は、例えば、マルチチャネルデコーダ630により評価される、第1のダウンミックス信号と第2のダウンミックス信号との(共通)ダウンミックス信号と、第1のダウンミックス信号と第2のダウンミックス信号との(共通)残留信号と、1つ以上の予測パラメータとを含んでもよい。
また、第1のダウンミックス信号632は、例えば、オーディオシーンの第1の水平位置または方位位置(例えば、左水平位置)と関連付けられてもよく、第2のダウンミックス信号634は、例えば、オーディオシーンの第2の水平位置または方位位置(例えば、右水平位置)と関連付けられてもよい。
更に、マルチチャネルデコーダ680は、例えば、予測ベース残留信号関連マルチチャネルデコーダであってもよい。マルチチャネルデコーダ680は、上述したマルチチャネルデコーダ330と実質的に同一であってもよい。例えば、マルチチャネルデコーダ680は、前述の通り、USAC複合ステレオ予測デコーダであってもよい。結果として、第1の残留信号と第2の残留信号とのジョイント符号化表現682は、マルチチャネルデコーダ680により評価される、第1の残留信号と第2の残留信号との(共通)ダウンミックス信号と、第1の残留信号と第2の残留信号との(共通)残留信号と、1つ以上の予測パラメータとを含んでもよい。更に、第1の残留信号684は、オーディオシーンの第1の水平位置または方位位置(例えば、左水平位置)と関連付けられてもよく、第2の残留信号686は、オーディオシーンの第2の水平位置または方位位置(例えば、右水平位置)と関連付けられてもよい。
マルチチャネルデコーダ640は、例えば、前述の通り、また、参照規格に記載されるように、MPEGサラウンドマルチチャネル復号等の、パラメータベースマルチチャネル復号であってもよい。但し、(任意の)マルチチャネルデコーダ680および(任意の)第1の残留信号684の存在下で、マルチチャネルデコーダ640は、ユニファイドステレオデコーダ等の、パラメータベース残留信号支援マルチチャネルデコーダであってもよい。このように、マルチチャネルデコーダ640は、上述したマルチチャネルデコーダ340と実質的に同一であってもよく、マルチチャネルデコーダ640は、例えば、上述したパラメータ342を受信してもよい。
同様に、マルチチャネルデコーダ650は、マルチチャネルデコーダ640と実質的に同一であってもよい。従って、マルチチャネルデコーダ650は、例えば、パラメータベースであってもよく、任意に、(任意のマルチチャネルデコーダ680の存在下で)残留信号支援であってもよい。
また、第1のオーディオチャネル信号642および第2のオーディオチャネル信号644は、好ましくは、オーディオシーンの垂直隣接空間位置と関連付けられる。例えば、第1のオーディオチャネル信号642は、オーディオシーンの左下位置と関連付けられ、第2のオーディオチャネル信号644は、オーディオシーンの左上位置と関連付けられる。したがって、マルチチャネルデコーダ640は、第1のダウンミックス信号632(および、任意に、第1の残留信号684)によって記述されるオーディオコンテンツの垂直分割(または、分離、または分布)を行う。同様に、第3のオーディオチャネル信号656および第4のオーディオチャネル信号658は、オーディオシーンの垂直隣接位置と関連付けられ、好ましくは、オーディオシーンの同一水平位置または方位位置と関連付けられる。例えば、第3のオーディオチャネル信号656は、好ましくは、オーディオシーンの右下位置と関連付けられ、第4のオーディオチャネル信号658は、好ましくは、オーディオシーンの右上位置と関連付けられる。したがって、マルチチャネルデコーダ650は、第2のダウンミックス信号634(および、任意に、第2の残留信号686)によって記述されるオーディオコンテンツの垂直分割(または、分離、または分布)を行う。
但し、第1のマルチチャネル帯域幅拡張660は、オーディオシーンの左下位置および右下位置と関連付けられた第1のオーディオチャネル信号642と第3のオーディオチャネル656とを受信する。従って、第1のマルチチャネル帯域幅拡張660は、オーディオシーンの同一水平面(例えば、下水平面)または高度およびオーディオシーンの異なるサイド(左/右)と関連付けられた2つのオーディオチャネル信号に基づいて、マルチチャネル帯域幅拡張を行う。したがって、マルチチャネル帯域幅拡張は、帯域幅拡張を行う際に、ステレオ特性(例えば、人間のステレオ知覚)を考慮することができる。同様に、第2のマルチチャネル帯域幅拡張670も、ステレオ特性を考慮し得る。なぜなら、第2のマルチチャネル帯域幅拡張は、オーディオシーンの同一水平面(例えば、上水平面)または高度の、異なる水平位置(異なる側)(左/右)のオーディオチャネル信号に作用するからである。
更に、結論として、階層型オーディオデコーダ600は、第1のステージ(マルチチャネル復号630,680)において左右分割(または分離、または分布)が行われ、第2のステージ(マルチチャネル復号640,650)において垂直分割(分離または分布)が行われ、マルチチャネル帯域幅拡張が1対の左右信号に作用する(マルチチャネル帯域幅拡張660,670)構造を含む。この復号経路の「交差」によって、聴覚印象にとって特に重要な(例えば、上下分割より重要な)左右分離を、階層型オーディオデコーダの第1の処理ステージにおいて行うことができ、また、マルチチャネル帯域幅拡張を1対の左右オーディオチャネル信号に行うことができ、これも特に良好な聴覚印象へとつながる。上下分割は、左右分離とマルチチャネル帯域幅拡張との間の中間ステージとして行われ、聴覚印象を大きく損なうことなく、4つのオーディオチャネル信号(または帯域幅拡張チャネル信号)を導出可能である。
(7.図7による方法)
図7は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法700のフローチャートを示す。
方法700は、残留信号支援マルチチャネル符号化を用いて、少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とをジョイント符号化710して、第1のダウンミックス信号と第の1残留信号とを得るステップを含む。方法は、また、残留信号支援マルチチャネル符号化を用いて、少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とをジョイント符号化720して第2のダウンミックス信号と第2の残留信号とを得るステップを含む。方法は、さらに、マルチチャネル符号化を用いて、第1の残留信号と第2の残留信号とをジョイント符号化730して残留信号の符号化表現を得るステップを含む。しかし、方法700に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。
(8.図8による方法)
図8は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法800のフローチャートを示す。
方法800は、マルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて第1の残留信号と第2の残留信号とを提供するステップ810を含む。方法800は、また、残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と第1の残留信号とに基づいて第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するステップ820を含む。方法800は、また、残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と第2の残留信号とに基づいて第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するステップ830を含む。
方法800に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。
(9.図9による方法)
図9は、少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法900のフローチャートを示す。
方法900は、第1のオーディオチャネル信号と第3のオーディオチャネル信号とに基づいて共通帯域幅拡張パラメータの第1の組を得るステップ910を含む。方法900はまた、第2のオーディオチャネル信号と第4のオーディオチャネル信号とに基づいて共通帯域幅拡張パラメータの第2の組を得るステップ920を含む。方法は、また、マルチチャネル符号化を用いて、少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とをジョイント符号化して第1のダウンミックス信号を得るステップと、マルチチャネル符号化を用いて、少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とをジョイント符号化940して第2のダウンミックス信号を得るステップとを含む。方法は、また、マルチチャネル符号化を用いて、第1のダウンミックス信号と第2のダウンミックス信号とをジョイント符号化950してダウンミックス信号の符号化表現を得るステップを含む。
尚、特定の相互依存関係にない方法900のステップの一部は、任意の順番で、または、並列で、実行することができる。また、方法900に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。
(10.図10による方法)
図10は、符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法1000のフローチャートを示す。
方法1000は、マルチチャネル復号を用いて、第1のダウンミックス信号と第2のダウンミックス信号とのジョイント符号化表現に基づいて第1のダウンミックス信号と第2のダウンミックス信号とを提供するステップ1010と、マルチチャネル復号により第1のダウンミックス信号に基づいて少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供すること1020と、マルチチャネル復号を用いて、第2のダウンミックス信号に基づいて少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するステップ1030と、第1のオーディオチャネル信号と第3のオーディオチャネル信号とに基づいてマルチチャネル帯域幅拡張を行って1040、第1の帯域幅拡張チャネル信号と第3の帯域幅拡張チャネル信号とを得るステップと、第2のオーディオチャネル信号と第4のオーディオチャネル信号とに基づいてマルチチャネル帯域幅拡張を行って1050、第2の帯域幅拡張チャネル信号と第4の帯域幅拡張チャネル信号とを得るステップとを含む。
尚、方法1000のステップの一部は、並列で、または、異なる順番で、実行することができる。また、方法1000に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。
(11.図11,12および13による実施形態)
以下に、本発明による付加的実施形態および基本的な考察を記載する。
図11は、本発明の実施形態によるオーディオエンコーダ1100の概略ブロック図を示す。オーディオエンコーダ1100は、左下チャネル信号1110と、左上チャネル信号1112と、右下チャネル信号1114と、右上チャネル信号1116とを受信するよう構成される。
オーディオエンコーダ1100は、第1のマルチチャネルオーディオエンコーダ(または符号化)1120を含む。第1のマルチチャネルオーディオエンコーダ(または符号化)1120は、MPEGサラウンド2−1−2オーディオエンコーダ(または符号化)またはユニファイドステレオオーディオエンコーダ(または符号化)であり、左下チャネル信号1110と左上チャネル信号1112とを受信する。第1のマルチチャネルオーディオエンコーダ1120は、左ダウンミックス信号1122を提供し、任意に、左残留信号1124を提供する。オーディオエンコーダ1100は、また、第2のマルチチャネルエンコーダ(または符号化)1130を含む。第2のマルチチャネルエンコーダ(または符号化)1130は、MPEGサラウンド2−1−2エンコーダ(または符号化)またはユニファイドステレオエンコーダ(または符号化)であり、右下チャネル信号1114と右上チャネル信号1116とを受信する。第2のマルチチャネルオーディオエンコーダ1130は、右ダウンミックス信号1132を提供し、任意に、右残留信号1134を提供する。オーディオエンコーダ1100は、また、ステレオコーダ(または符号化)1140を含む。ステレオコーダ(または符号化)1140は、左ダウンミックス信号1122と右ダウンミックス信号1132とを受信する。また、複合予測ステレオ符号化である第1のステレオ符号化1140は、心理音響モデルから、心理音響モデル情報1142を受信する。例えば、心理モデル情報1142は、異なる周波数バンドまたは周波数サブバンドの心理音響関連性および心理音響マスキング効果等を記述してもよい。ステレオ符号化1140は、チャネル対要素(CPE)「ダウンミックス」を提供し、これは、1144で表され、左ダウンミックス信号1122と右ダウンミックス信号1132とをジョイント符号化形態で記述する。また、オーディオエンコーダ1100は、任意に、第2のステレオコーダ(または符号化)1150を含む。第2のステレオコーダ(または符号化)1150は、心理音響モデル情報1142と共に、任意の左残留信号1124と任意の右残留信号1134とを受信するよう構成される。複合予測ステレオ符号化である第2のステレオ符号化1150は、チャネル対要素(CPE)「残留」を提供するよう構成され、これは、左残留信号1124と右残留信号1134とをジョイント符号化形態で表す。
エンコーダ1100(および本明細書に記載の他のオーディオエンコーダ)は、利用可能なUSACステレオツール(すなわち、USAC符号化において利用可能な符号化概念)を階層的に組み合わせることによって水平および垂直信号依存関係を利用するという考えに基づく。帯域制限または全帯域残留信号(1124および1134で表す)を伴うMPEGサラウンド2−1−2またはユニファイドステレオ(1120および1130で表す)を用いて、垂直近傍チャネル対が結合される。各垂直チャネル対の出力は、ダウンミックス信号1122,1132であり、ユニファイドステレオでは、残留信号1124,1134である。バイノーラルアンマスキングの知覚要求を満たすため、両ダウンミックス信号1122,1132を、左/右および中/サイド符号化の可能性を含むMDCTドメインにおける複合予測(エンコーダ1140)により、水平に結合し、ジョイント符号化する。同じ方法を、水平結合残留信号1124,1134に適用可能である。この概念を図11に示す。
図11を参照して説明した階層構造は、両ステレオツール(例えば、USACステレオツール)と、その間のリソーティングチャネルを有効にすることで実現できる。このように、追加の前処理/後処理ステップは、不要であり、ツールのペイロードの送信のためのビットストリーム構文は、不変である(例えば、USAC規格と比べる際、実質的に不変である)。この考えが、図12に示すエンコーダ構造につながる。
図12は、本発明の実施形態によるオーディオエンコーダ1200の概略ブロック図を示す。オーディオエンコーダ1200は、第1のチャネル信号1210と、第2のチャネル信号1212と、第3のチャネル信号1214と、第4のチャネル信号1216とを受信するよう構成される。オーディオエンコーダ1200は、第1のチャネル対要素のためのビットストリーム1220と、第2のチャネル対要素のためのビットストリーム1222とを提供するよう構成される。
オーディオエンコーダ1200は、第1のマルチチャネルエンコーダ1230を含む。第1のマルチチャネルエンコーダ1230は、MPEGサラウンド2−1−2エンコーダまたはユニファイドステレオエンコーダであり、第1のチャネル信号1210と第2のチャネル信号1212とを受信する。また、第1のマルチチャネルエンコーダ1230は、第1のダウンミックス信号1232と、MPEGサラウンドペイロード1236とを提供するとともに、任意に、第1の残留信号1234を提供する。オーディオエンコーダ1200は、また、第2のマルチチャネルエンコーダ1240を含む。第2のマルチチャネルエンコーダ1240は、MPEGサラウンド2−1−2エンコーダまたはユニファイドステレオエンコーダであり、第3のチャネル信号1214と第4のチャネル信号1216とを受信する。第2のマルチチャネルエンコーダ1240は、第1のダウンミックス信号1242と、MPEGサラウンドペイロード1246とを提供するとともに、任意に、第2の残留信号1244を提供する。
オーディオエンコーダ1200は、また、複合予測ステレオ符号化である第1のステレオ符号化1250を含む。第1ステレオ符号化1250は、第1のダウンミックス信号1232と第2のダウンミックス信号1242とを受信する。第1のステレオ符号化1250は、第1のダウンミックス信号1232と第2のダウンミックス信号1242とのジョイント符号化表現1252を提供し、このジョイント符号化表現1252は、(第1のダウンミックス信号1232と第2のダウンミックス信号1242との)(共通)ダウンミックス信号および(第1のダウンミックス信号1232と第2のダウンミックス信号1242との)共通残留信号の表現を含んでもよい。また、(第1の)複合予測ステレオ符号化1250は、典型的に1つ以上の複合予測係数を含む複合予測ペイロード1254を提供する。オーディオエンコーダ1200は、また、複合予測ステレオ符号化である第2のステレオ符号化1260を含む。第2のステレオ符号化1260は、第1の残留信号1234と第2の残留信号1244(または、マルチチャネルエンコーダ1230,1240によって提供される残留信号がない場合には、0入力値)とを受信する。第2のステレオ符号化1260は、第1の残留信号1234と第2の残留信号1244とのジョイント符号化表現1262を提供し、これは、例えば、(第1の残留信号1234と第2の残留信号1244との)(共通)ダウンミックス信号および(第1の残留信号1234と第2の残留信号1244との)共通残留信号を含んでもよい。また、複合予測ステレオ符号化1260は、典型的に1つ以上の予測係数を含む複合予測ペイロード1264を提供する。
オーディオエンコーダ1200は、また、心理音響モデル1270を含む。心理音響モデル1270は、第1の複合予測ステレオ符号化1250と第2の複合予測ステレオ符号化1260とを制御する情報を提供する。例えば、心理音響モデル1270によって提供される情報は、どの周波数バンドまたは周波数ビンが高い心理音響関連性を有し、高精度で符号化されるべきかを記述してもよい。但し、心理音響モデル1270によって提供される情報の使用は、任意である。
オーディオエンコーダ1200は、また、第1のエンコーダ・マルチプレクサ1280を含む。第1のエンコーダ・マルチプレクサ1280は、第1の複合予測ステレオ符号化1250からジョイント符号化表現1252を受信し、第1の複合予測ステレオ符号化1250から複合予測ペイロード1254を受信し、かつ、第1のマルチチャネルオーディオエンコーダ1230からMPEGサラウンドペイロード1236を受信する。また、第1の符号化・多重化1280は、心理音響モデル1270から情報を受信してもよく、この情報は、例えば、心理音響マスキング効果等を考慮して、どの周波数バンドまたは周波数サブバンドにどの符号化精度を適用すべきかを記述する。こうして、第1の符号化・多重化1280は、第1のチャネル対要素ビットストリーム1220を提供する。
オーディオエンコーダ1200は、また、第2の符号化・多重化1290を含む。第2の符号化・多重化1290は、第2の複合予測ステレオ符号化1260によって提供されるジョイント符号化表現1262と、第2の複合予測ステレオ符号化1260によって提供される複合予測ペイロード1264と、第2のマルチチャネルオーディオエンコーダ1240によって提供されるMPEGサラウンドペイロード1246とを受信するよう構成される。また、第2の符号化・多重化1290は、心理音響モデル1270から情報を受信してもよい。こうして、第2の符号化・多重化1290は、第2のチャネル対要素ビットストリーム1222を提供する。
オーディオエンコーダ1200の機能に関しては、上述の説明、および図2,3,5および6によるオーディオエンコーダについての説明を参照のこと。
また、この概念は、幾何学的および知覚的特性を考慮して、複数のMPEGサラウンドボックスを用いて、水平に、垂直に、さもなくば幾何学的に関連するチャネルをジョイント符号化して、ダウンミックスおよび残留信号を複合予測ステレオ対に結合するように拡張可能である。これが、汎用のデコーダ構造につながる。
以下に、クワッドチャネル要素の実施を記載する。3次元オーディオ符号化システムにおいて、クワッドチャネル要素(QCE)を形成するため、4つのチャネルの階層結合を用いる。QCEは、2つのUSACチャネル対要素(CPE:channel pair element)からなる(または、2つのUSACチャネル対要素を提供する、または、USACチャネル対要素を受信する)。垂直チャネル対は、MPS2−1−2またはユニファイドステレオを用いて結合される。ダウンミックスチャネルは、第1のチャネル対要素CPEにおいてジョイント符号化される。残留符号化を適用する場合、残留信号は、第2のチャネル対要素CPEにおいてジョイント符号化されるか、さもなければ、第2のCPEの信号は、0に設定される。両方のチャネル対要素CPEとも、左/右および中/サイド符号化の可能性を含めて、ジョイントステレオ符号化のために複合予測を利用する。信号の高周波数部分の知覚的ステレオ特性を保持するために、SBR(spectral bandwidth replication)適用の前の追加のリソーティングステップによって、ステレオSBRを上部左右チャネル対および下部左右チャネル対に適用する。
本発明の実施形態によるオーディオデコーダの概略ブロック図を示す図13を参照して、可能なデコーダ構造について記載する。オーディオデコーダ1300は、第1のチャネル対要素を表す第1のビットストリーム1310と、第2のチャネル対要素を表す第2のビットストリーム1312とを受信するよう構成される。但し、第1のビットストリーム1310および第2のビットストリーム1312は、共通全体ビットストリームに含まれてもよい。
オーディオデコーダ1300は、例えば、オーディオシーンの左下位置を表し得る第1の帯域幅拡張チャネル信号1320と、例えば、オーディオシーンの左上位置を表し得る第2の帯域幅拡張チャネル信号1322と、例えば、オーディオシーンの右下位置と関連付けられ得る第3の帯域幅拡張チャネル信号1324と、例えば、オーディオシーンの右上位置と関連付けられ得る第4の帯域幅拡張チャネル信号1326とを提供するよう構成される。
オーディオデコーダ1300は、第1のビットストリーム復号1330を含む。第1のビットストリーム復号1330は、第1のチャネル対要素用のビットストリーム1310を受信して、これに基づいて、2つのダウンミックス信号のジョイント符号化表現と、複合予測ペイロード1334と、MPEGサラウンドペイロード1336と、スペクトル帯域幅複製ペイロード1338とを提供するよう構成される。オーディオデコーダ1300は、また、第1の複合予測ステレオ復号1340を含む。第1の複合予測ステレオ復号1340は、ジョイント符号化表現1332と複合予測ペイロード1334とを受信して、これらに基づいて、第1のダウンミックス信号1342と第2のダウンミックス信号1344とを提供するよう構成される。同様に、オーディオデコーダ1300は、第2のビットストリーム復号1350を含む。第2のビットストリーム復号1350は、第2のチャネル要素用のビットストリーム1312を受信して、これに基づいて、2つの残留信号のジョイント符号化表現1352と、複合予測ペイロード1354と、MPEGサラウンドペイロード1356と、スペクトル帯域幅複製ビットロード1358とを提供するよう構成される。オーディオデコーダは、また、第2の複合予測ステレオ復号1360を含む。第2の複合予測ステレオ復号1360は、ジョイント符号化表現1352と複合予測ペイロード1354とに基づいて、第1の残留信号1362と第2の残留信号1364とを提供する。
オーディオデコーダ1300は、また、MPEGサラウンド2−1−2復号またはユニファイドステレオ復号である第1のMPEGサラウンド型マルチチャネル復号1370を含む。第1のMPEGサラウンド型マルチチャネル復号1370は、第1のダウンミックス信号1342と、第1の残留信号1362(任意)と、MPEGサラウンドペイロード1336とを受信して、これらに基づいて、第1のオーディオチャネル信号1372と第2のオーディオチャネル信号1374とを提供する。オーディオデコーダ1300は、また、MPEGサラウンド2−1−2マルチチャネル復号またはユニファイドステレオマルチチャネル復号である第2のMPEGサラウンド型マルチチャネル復号1380を含む。第2のMPEGサラウンド型マルチチャネル復号1380は、第2のダウンミックス信号1344および第2の残留信号1364(任意)を、MPEGサラウンドペイロード1356と共に受信して、これらに基づいて、第3のオーディオチャネル信号1382と第4のオーディオチャネル信号1384とを提供する。オーディオデコーダ1300は、また、第1のステレオスペクトル帯域幅複製1390を含む。第1のステレオスペクトル帯域幅複製1390は、第1のオーディオチャネル信号1372および第3のオーディオチャネル信号1382を、スペクトル帯域幅複製ペイロード1338と共に受信して、これらに基づいて、第1の帯域幅拡張チャネル信号1320と第3の帯域幅拡張チャネル信号1324とを提供するよう構成される。オーディオデコーダは、また、第2のステレオスペクトル帯域幅複製1394を含む。第2のステレオスペクトル帯域幅複製1394は、第2のオーディオチャネル信号1374および第4のオーディオチャネル信号1384を、スペクトル帯域幅複製ペイロード1358と共に受信して、これらに基づいて、第2の帯域幅拡張チャネル信号1322と第4の帯域幅拡張チャネル信号1326とを提供するよう構成される。
オーディオデコーダ1300の機能に関しては、上述の説明、および、図2,3,5および6によるオーディオデコーダについての説明を参照のこと。
以下に、本明細書に記載のオーディオ符号化/復号に使用され得るビットストリームの例について、図14aおよび14bを参照して記載する。ビットストリームは、例えば、上述した規格(ISO/IEC23003−3:2012)に記載されるUSAC(unified speech−and−audio coding)で用いられるビットストリームの拡張であってもよい。例えば、MPEGサラウンドペイロード1236,1246,1336,1356および複合予測ペイロード1254,1264,1334,1354は、レガシーチャネル対要素(すなわち、USAC規格によるチャネル対要素)用として送信されてもよい。クワッドチャネル要素QCEの使用をシグナリングするため、図14aに示すように、USACチャネル対構成を2ビット拡張してもよい。言い換えれば、「qceIndex」で表される2ビットを、USACビットストリーム要素「UsacChannelPairElementConfig()」に追加してもよい。ビット「qceIndex」によってあらわされるパラメータの意味は、例えば、図14bの表に示すように定義することができる。
例えば、QCEを形成する2つのチャネル対要素は、まず、ダウンミックス信号と第1のMPSボックス用MPSペイロードとを含むCPE、次に、残留信号(または、MPS2−1−2符号化の場合は0オーディオ信号)と第2のMPSボックス用MPSペイロードとを含むCPE、というように、連続要素として送信されてもよい。
言い換えれば、クワッドチャネル要素QCEを送信するための従来のUSACビットストリームと比べる際、シグナリングオーバーヘッドがわずかである。
但し、異なるビットストリームフォーマットも当然利用可能である。
(12.符号化/復号環境)
以下に、本発明による概念が適用され得るオーディオ符号化/復号環境について記載する。
本発明による概念が使用され得る3Dオーディオコーデックシステムは、チャネルおよびオブジェクト信号の復号のためのMPEG−D USACコーデックに基づく。多量のオブジェクトの符号化効率を上げるため、MPEG SAOC技術が適応されている。3つのタイプのレンダラが、オブジェクトをチャネルにレンダリングするタスク、チャネルをヘッドホンにレンダリングするタスク、またはチャネルを異なるラウドスピーカセットアップにレンダリングするタスクを行う。オブジェクト信号がSAOCを用いて、明示的に送信またはパラメトリックに符号化されるとき、対応するオブジェクトメタデータ情報が圧縮され、かつ、3Dオーディオビットストリームに多重化される。
図15は、このようなオーディオエンコーダの概略ブロック図を示し、図16は、このようなオーディオデコーダの概略ブロック図を示す。すなわち、図15および16は、3Dオーディオシステムの異なるアルゴリズム的ブロックを示す。
3Dオーディオエンコーダ1500の概略ブロック図を示す図15を参照して、詳細を説明する。エンコーダ1500は、任意のプリレンダラ/ミキサ1510を含む。プリレンダラ/ミキサ1510は、1つ以上のチャネル信号1512と1つ以上のオブジェクト信号1514とを受信して、これらに基づいて、1つ以上のチャネル信号1516を、1つ以上のオブジェクト信号1518,1520と共に提供する。オーディオエンコーダは、また、USACエンコーダ1530を含むとともに、任意に、SAOCエンコーダ1540を含む。SAOCエンコーダ1540は、SAOCエンコーダに提供される1つ以上のオブジェクト1520に基づいて、1つ以上のSAOC伝送チャネル1542とSAOCサイド情報1544とを提供するよう構成される。また、USACエンコーダ1530は、プリレンダラ/ミキサからチャネルとプリレンダリング済オブジェクトとを含むチャネル信号1516を受信し、プリレンダラ/ミキサから1つ以上のオブジェクト信号1518を受信し、かつ、1つ以上のSAOC伝送チャネル1542と、SAOCサイド情報1544とを受信して、これらに基づいて、符号化表現1532を提供するよう構成される。オーディオエンコーダ1500は、また、オブジェクトメタデータエンコーダ1550を含む。オブジェクトメタデータエンコーダ1550は、(プリレンダラ/ミキサ1510により評価され得る)オブジェクトメタデータ1552を受信して、オブジェクトメタデータを符号化して符号化オブジェクトメタデータ1554を得るよう構成される。符号化メタデータは、USACエンコーダ1530でも受信され、符号化表現1532の提供に用いられる。
オーディオエンコーダ1500の個々の要素に関する詳細は、後述する。
図16を参照して、オーディオデコーダ1600について説明する。オーディオデコーダ1600は、符号化表現1610を受信して、これに基づいて、代替フォーマット(例えば、5.1フォーマット)で、マルチチャネルラウドスピーカ信号1612、ヘッドホン信号1614、および/またはラウドスピーカ信号1616を提供するよう構成される。
オーディオデコーダ1600は、USACデコーダ1620を含み、符号化表現1610に基づいて、1つ以上のチャネル信号1622と、1つ以上のプリレンダリング済オブジェクト信号1624と、1つ以上のオブジェクト信号1626と、1つ以上のSAOC伝送チャネル1628と、SAOCサイド情報1630と、圧縮オブジェクトメタデータ情報1632とを提供する。オーディオデコーダ1600は、また、オブジェクトレンダラ1640を含む。オブジェクトレンダラ1640は、オブジェクト信号1626とオブジェクトメタデータ情報1644とに基づいて1つ以上のレンダリング済オブジェクト信号1642を提供するよう構成され、ここで、オブジェクトメタデータ情報1644は、圧縮オブジェクトメタデータ情報1632に基づいてオブジェクトメタデータデコーダ1650によって提供される。オーディオデコーダ1600は、また、任意に、SAOCデコーダ1660を含む。SAOCデコーダ1660は、SAOC伝送チャネル1628とSAOCサイド情報1630とを受信して、これらに基づいて、1つ以上のレンダリング済オブジェクト信号1662を提供するよう構成される。オーディオデコーダ1600は、また、ミキサ1670を含む。ミキサ1670は、チャネル信号1622と、プリレンダリング済オブジェクト信号1624と、レンダリング済オブジェクト信号1642と、レンダリング済オブジェクト信号1662とを受信して、これらに基づいて、例えば、マルチチャネルラウドスピーカ信号1612を構成し得る複数の混合チャネル信号1672を提供するよう構成される。オーディオデコーダ1600は、例えば、バイノーラルレンダラ1680を含んでもよい。バイノーラルレンダラ1680は、混合チャネル信号1672を受信して、これに基づいて、ヘッドホン信号1614を提供するよう構成される。オーディオデコーダ1600は、また、フォーマット変換1690を含んでもよい。フォーマット変換1690は、混合チャネル信号1672と再生レイアウト情報1692とを受信して、これらに基づいて、代替ラウドスピーカセットアップのためのラウドスピーカ信号1616を提供するよう構成される。
以下に、オーディオエンコーダ1500およびオーディオデコーダ1600の要素の詳細を説明する。
(プリレンダラ/ミキサ)
プリレンダラ/ミキサ1510は、符号化前に、チャネルプラスオブジェクト入力シーンをチャネルシーンに変換するために任意に用いることができる。これは、機能的に、例えば、下記のオブジェクトレンダラ/ミキサと同一であってもよい。オブジェクトのプリレンダリングは、例えば、同時にアクティブなオブジェクト信号の数から基本的に独立した、エンコーダ入力での決定論的信号エントロピーを保証してもよい。オブジェクトのプリレンダリングにおいて、オブジェクトメタデータ送信は不要である。離散オブジェクト信号は、エンコーダが用いるよう構成されているチャネルレイアウトにレンダリングされる。各チャネルのためのオブジェクトの重みは、関連オブジェクトメタデータ(OAM)1552から得られる。
(USACコアコーデック)
ラウドスピーカチャネル信号、離散オブジェクト信号、オブジェクトダウンミックス信号、およびプリレンダリング済信号のためのコアコーデック1530,1620は、MPEG−D USAC技術に基づく。これは、入力のチャネルおよびオブジェクト割り当てに関する幾何学的および意味論的情報に基づいてチャネルおよびオブジェクトマッピング情報を生成することにより、多数の信号の符号化を扱う。このマッピング情報は、どのように入力チャネルおよびオブジェクトがUSACチャネル要素(CPE、SCE、LFE)にマッピングされるかを記述し、対応する情報がデコーダに送信される。SAOCデータまたはオブジェクトメタデータ等の付加的ペイロードは、全て、拡張要素を通過し、エンコーダレート制御において考慮されている。
オブジェクトの符号化は、レンダラのレート/歪要求および双方向性要求に依存して、異なる方法で行うことが可能である。以下のオブジェクト符号化変形が可能である:
1.プリレンダリング済オブジェクト:オブジェクト信号は、符号化前に、プリレンダリングされ、22.2チャネル信号へ混合される。後続符号化系統は、22.2チャネル信号を見る。
2.離散オブジェクト波形:オブジェクトは、モノラル波形としてエンコーダに供給される。エンコーダは、単一チャネル要素SCEを用いてチャネル信号に加えてオブジェクトを転送する。復号オブジェクトは、受信機側で、レンダリングされ、かつ、混合される。圧縮オブジェクトメタデータ情報は、受信機/レンダラへ並行に送信される。
3.パラメトリックオブジェクト波形:オブジェクト特性および互いの関係は、SAOCパラメータによって記述される。オブジェクト信号のダウンミックスは、USACで符号化される。パラメトリック情報は、並行に送信される。ダウンミックスチャネル数は、オブジェクト数および全体データレートに依存して選択される。圧縮オブジェクトメタデータ情報は、SAOCレンダラへ送信される。
(SAOC)
オブジェクト信号のためのSAOCエンコーダ1540およびSAOCデコーダ1660は、MPEG SAOC技術に基づく。当該システムは、少数の送信チャネルおよび付加的パラメトリックデータ(オブジェクトレベル差OLD、オブジェクト間相互関係IOC、ダウンミックスゲインDMG)に基づいて多数のオーディオオブジェクトを再現、修正、およびレンダリングすることができる。付加的パラメトリックデータは、全てのオブジェクトを個々に送信するために必要なデータレートよりも大幅に低いデータレートを示すため、符号化が非常に効率的になる。SAOCエンコーダは、入力として、オブジェクト/チャネル信号をモノラル波形として取り、パラメトリック情報(3Dオーディオビットストリーム1532,1610内にパックされる)およびSAOC伝送チャネル(単一チャネル要素を用いて符号化され、かつ、送信される)を出力する。
SAOCデコーダ1600は、復号SAOC伝送チャネル1628とパラメトリック情報1630とからオブジェクト/チャネル信号を再構成し、再生レイアウトと、復元オブジェクトメタデータ情報と、任意にユーザ対話情報とに基づいて、出力オーディオシーンを生成する。
(オブジェクトメタデータコーデック)
各オブジェクトのために、3D空間におけるオブジェクトの幾何学的位置および量を特定する関連メタデータが、時間および空間におけるオブジェクト特性の量子化によって効率的に符号化される。圧縮オブジェクトメタデータcOAM1554,1632は、サイド情報として受信機に送信される。
(オブジェクトレンダラ/ミキサ)
オブジェクトレンダラは、所与の再生フォーマットに従って、圧縮オブジェクトメタデータを利用してオブジェクト波形を生成する。各オブジェクトは、そのメタデータによって、ある出力チャネルにレンダリングされる。このブロックの出力は、部分結果の合計から生じる。離散/パラメトリックオブジェクトと共に両チャネルベースコンテンツが復号された場合、チャネルベース波形およびレンダリング済オブジェクト波形は、結果として得られる波形を出力する前に(または、これらをバイノーラルレンダラまたはラウドスピーカレンダラモジュール等のポストプロセッサモジュールへ供給する前に)、混合される。
(バイノーラルレンダラ)
バイノーラルレンダラモジュール1680は、マルチチャネルオーディオ素材のバイノーラルダウンミックスを生成し、それによって、各入力チャネルがバーチャル音源によって表されるようにする。当該処理は、QMFドメインにおいて、フレーム単位で行われる。バイノーラル化は、測定バイノーラル室内インパルス応答に基づく。
(ラウドスピーカレンダラ/フォーマット変換)
ラウドスピーカレンダラ1690は、送信チャネル構成と所望の送信フォーマットとの間を変換する。よって、以下では「フォーマットコンバータ」と呼ばれる。フォーマットコンバータは、より少数の出力チャネルへの変換を行う、すなわち、ダウンミックスを生成する。当該システムは、入力および出力フォーマットの所与の組み合わせのための最適化ダウンミックスマトリクスを自動的に生成して、これらのマトリクスをダウンミックス処理において適用する。フォーマットコンバータは、標準のラウドスピーカ構成だけでなく、非標準的ラウドスピーカ配置を伴うランダム構成も可能にする。
図17は、フォーマットコンバータの概略ブロック図を示す。図示されるように、フォーマットコンバータ1700は、混合チャネル信号1672等のミキサ出力信号1710を受信し、スピーカ信号1616等のラウドスピーカ信号1712を提供する。フォーマットコンバータは、QMFドメインにおけるダウンミックスプロセス1720およびダウンミックスコンフィギュレータ1730を含み、ダウンミックスコンフィギュレータは、ミキサ出力レイアウト情報1732と再生レイアウト情報1734とに基づいてダウンミックスプロセス1720のための構成情報を提供する。
上述の概念、例えば、オーディオエンコーダ100、オーディオデコーダ200または300、オーディオエンコーダ400、オーディオデコーダ500または600、方法700,800,900,1000オーディオエンコーダ1100または1200、およびオーディオデコーダ1300は、オーディオエンコーダ1500および/またはオーディオデコーダ1600内で用いることができる。例えば、上述のオーディオエンコーダ/デコーダは、異なる空間位置と関連付けられるチャネル信号の符号化または復号に利用することができる。
(13.代替実施形態)
以下に、付加的な実施形態について記載する。
図18〜21を参照して、本発明による付加的な実施形態を説明する。
尚、「クワッドチャネル要素(QCE)」をオーディオデコーダのツールとみなすことができ、これを、例えば、3次元オーディオコンテンツの復号に用いることが可能である。
言い換えれば、クワッドチャネル要素(QCE)は、水平および垂直分布チャネルのより効率的な符号化のために4つのチャネルをジョイント符号化する方法である。QCEは、2つの連続するCPEからなり、水平方向における複合ステレオ予測ツールおよび垂直方向におけるMPEGサラウンドベースステレオツールの可能性を伴うジョイントステレオツールを階層的に結合することによって形成される。これは、両方のステレオツールを有効にして当該ツール適用間に出力チャネルをスワップすることによって、実現される。ステレオSBRは、高周波数の左右関係を保持するために水平方向において行われる。
図18は、QCEのトポロジー的な構造を示す。図18のQCEは、図11のQCEに非常によく似ているため、上述の説明を参照すること。しかし、図18のQCEでは、複合ステレオ予測を行う際に心理音響モデルを使用する必要がない(但し、このような使用は当然任意で可能である)。また、第1のステレオスペクトル帯域幅複製(ステレオSBR)は、左下チャネルと右下チャネルとに基づいて行われ、第2のステレオスペクトル帯域幅複製(ステレオSBR)は左上チャネルと右上チャネルとに基づいて行われることが分かる。
以下に、いくつかの実施形態において当てはまる用語および定義を示す。
データ要素qceIndexは、CPEのQCEモードを示す。ビットストリーム変数qceIndexの意味に関して、図14bを参照すること。qceIndexは、タイプUsacChannelPairElement()の2つの後続要素がクワッドチャネル要素(QCE)として扱われているかを記述する。異なるQCEモードは、図14bにおいて与えられる。qceIndexは、1つのQCEを形成する2つの後続要素について同一であるべきである。
以下に、本発明によるいくつかの実施形態において用いられ得るヘルプ要素を定義する:
cplx_out_dmx_L[]:複合予測ステレオ復号後の第1のCPEの第1のチャネル
cplx_out_dmx_R[]:複合予測ステレオ復号後の第1のCPEの第2のチャネル
cplx_out_res_L[]:複合予測ステレオ復号後の第2のCPE(qceIndex=1の場合、0)
cplx_out_res_R[]:複合予測ステレオ復号後の第2のCPEの第2のチャネル(qceIndex=1の場合、0)
mps_out_L_1[]:第1のMPSボックスの第1の出力チャネル
mps_out_L_2[]:第1のMPSボックスの第2の出力チャネル
mps_out_R_1[]:第2のMPSボックスの第1の出力チャネル
mps_out_R_2[]:第2のMPSボックスの第2の出力チャネル
sbr_out_L_1[]:第1のステレオSBRボックスの第1の出力チャネル
sbr_out_R_1[]:第1のステレオSBRボックスの第2の出力チャネル
sbr_out_L_2[]:第2のステレオSBRボックスの第1の出力チャネル
sbr_out_R_2[]:第2のステレオSBRボックスの第2の出力チャネル
以下に、本発明による実施形態において行われる復号プロセスについて説明する。
UsacChannelPairElementConfig()における構文要素(またはビットストリーム要素、またはデータ要素)qceIndexは、CPEがQCEに属するか、および、残留符号化が使用されるか、を示す。qceIndexが0でない場合、現在のCPEが、同じqceIndexを有するCPEであるその後続要素と共に、QCEを形成する。ステレオSBRは、常に、QCEのために用いられるため、構文要素stereoConfigIndexは、3であり、bsStereoSbrは、1である。
qceIndex==1の場合、第2のCPEには、MPEGサラウンドおよびSBRのためのペイロードだけが含まれ、関連オーディオ信号データは含まれず、構文要素bsResidualCodingは、0に設定される。
第2のCPEにおける残留信号の存在は、qceIndex==2で表される。この場合、構文要素bsResidualCodingは、1に設定される。
但し、別の簡略化され得るシグナリング方式を用いてもよい。
複合ステレオ予測の可能性を伴うジョイントステレオ復号は、ISO/IEC23003−3の項7.7に記載のように行われる。結果として得られる第1のCPEの出力は、MPSダウンミックス信号cplx_out_dmx_L[]およびcplx_out_dmx_R[]である。残留符号化を用いる場合(qceIndex==2)、第2のCPEの出力は、MPS残留信号cplx_out_res_L[],cplx_out_res_R[]であり、残留信号が送信されない場合(qceIndex==1)、0信号が挿入される。
MPEGサラウンド復号を適用する前に、第1の要素の第2のチャネル(cplx_out_dmx_R[])と第2の要素の第1のチャネル(cplx_out_res_L[])とがスワップされる。
MPEGサラウンド復号は、ISO/IEC 23003−3の項7.11に記載のように行われる。残留符号化を用いる場合、いくつかの実施形態における従来のMPEGサラウンド復号と比べて、復号を修正してもよい。ISO/IEC23003−3の項7.11.2.7(図23)に定義されるようなSBRを用いた残留なしのMPEGサラウンド復号は、ステレオSBRがbsResidualCoding==1でも用いられるように修正され、図19に示すデコーダ概略図となる。図19は、bsResidualCoding==0およびbsStereoSbr==1についてのオーディオコーダの概略ブロック図を示す。
図19に示すように、USACコアデコーダ2010は、ダウンミックス信号(DMX)2012をMPS(MPEGサラウンド)デコーダ2020に提供し、MPS(MPEGサラウンド)デコーダ2020は、第1の復号オーディオ信号2022と第2の復号オーディオ信号2024とを提供する。ステレオSBRデコーダ2030は、第1の復号オーディオ信号2022と第2の復号オーディオ信号2024とを受信して、これらに基づいて、左帯域幅拡張オーディオ信号2032と右帯域幅拡張オーディオ信号2034とを提供する。
ステレオSBRを適用する前に、第1の要素の第2のチャネル(mps_out_L_2[])と第2の要素の第1のチャネル(mps_out_R_1[])とがスワップされて、左右ステレオSBRを可能にする。ステレオSBRの適用後、第1の要素の第2の出力チャネル(sbr_out_R_1[])と第2の要素の第1のチャネル(sbr_out_L_2[])とが再びスワップされて、入力チャネル順に戻る。
QCEデコーダ構造を、QCEデコーダ概略図である図20に示す。
図20の概略ブロック図は、図13の概略ブロック図に非常によく似ているため、上述の説明を参照すること。また、図20にはいくつかの信号ラベル付けが追加されており、本セクションの定義を参照すること。また、ステレオSBRの後に行われるチャネルの最終リソーティングも示す。
図21は、本発明の実施形態によるクワッドチャネルエンコーダ(quad channel encoder)2200の概略ブロック図を示す。すなわち、コアエンコーダツールとみなし得るクワッドチャネルエンコーダ(クワッドチャネル要素)を、図21に示す。
クワッドチャネルエンコーダ2200は、第1のステレオSBR2210を含む。第1のステレオSBR2210は、第1の左チャネル入力信号2212と第2の左チャネル入力信号2214とを受信して、これらに基づいて、第1のSBRペイロード2215と、第1の左チャネルSBR出力信号2216と、第1の右チャネルSBR出力信号2218とを提供する。クワッドチャネルエンコーダ2200は、また、第2のステレオSBRを含む。第2のステレオSBRは、第2の左チャネル入力信号2222と第2の右チャネル入力信号2224とを受信して、これらに基づいて、第1のSBRペイロード2225と、第1の左チャネルSBR出力信号2226と、第1の右チャネルSBR出力信号2228とを提供する。
クワッドチャネルエンコーダ2200は、第1のMPEGサラウンド型(MPS2−1−2またはユニファイドステレオ)マルチチャネルエンコーダ2230を含む。第1のMPEGサラウンド型(MPS2−1−2またはユニファイドステレオ)マルチチャネルエンコーダ2230は、第1の左チャネルSBR出力信号2216と第2の左チャネルSBR出力信号2226とを受信して、これらに基づいて、第1のMPSペイロード2232と、左チャネルMPEGサラウンドダウンミックス信号2234とを提供するとともに、任意に、左チャネルMPEGサラウンド残留信号2236を提供する。クワッドチャネルエンコーダ2200は、また、第2のMPEGサラウンド型(MPS2−1−2またはユニファイドステレオ)マルチチャネルエンコーダ2240を含む。第2のMPEGサラウンド型(MPS2−1−2またはユニファイドステレオ)マルチチャネルエンコーダ2240は、第1の右チャネルSBR出力信号2218と第2の右チャネルSBR出力信号2228とを受信して、これらに基づいて、第1のMPSペイロード2242と、右チャネルMPEGサラウンドダウンミックス信号2244とを提供するとともに、任意に、右チャネルMPEGサラウンド残留信号2246を提供する。
クワッドチャネルエンコーダ2200は、第1の複合予測ステレオ符号化2250を含む。第1の複合予測ステレオ符号化2250は、左チャネルMPEGサラウンドダウンミックス信号2234と右チャネルMPEGサラウンドダウンミックス信号2244とを受信して、これらに基づいて、複合予測ペイロード2252と、左チャネルMPEGサラウンドダウンミックス信号2234と右チャネルMPEGサラウンドダウンミックス信号2244とのジョイント符号化表現2254とを提供する。クワッドチャネルエンコーダ2200は、第2の複合予測ステレオ符号化2260を含む。第2の複合予測ステレオ符号化2260は、左チャネルMPEGサラウンド残留信号2236と右チャネルMPEGサラウンド残留信号2246とを受信して、これらに基づいて、複合予測ペイロード2262と、左チャネルMPEGサラウンドダウンミックス信号2236と右チャネルMPEGサラウンドダウンミックス信号2246とのジョイント符号化表現2264とを提供する。
クワッドチャネルエンコーダは、また、第1のビットストリーム符号化2270を含む。第1のビットストリーム符号化2270は、ジョイント符号化表現2254と、複合予測ペイロード2252と、MPSペイロード2232と、SBRペイロード2215とを受信して、これらに基づいて、第1のチャネル対要素を表すビットストリーム部分を提供する。クワッドチャネルエンコーダは、また、第2のビットストリーム符号化2280を含む。第2のビットストリーム符号化2280は、ジョイント符号化表現2264と、複合予測ペイロード2262と、MPSペイロード2242と、SBRペイロード2225とを受信して、これらに基づいて、第1のチャネル対要素を表すビットストリーム部分を提供する。
(14.代替的な実施)
いくつかの態様を装置のコンテキストで記載したが、これらの態様は、対応する方法の記載も表し、ブロックや装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップのコンテキストで記載された態様は、対応する装置の対応するブロック、または要素、または特徴の記載も表す。方法ステップの一部または全部は、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路等のハードウェア装置によって(を用いて)実行されてもよい。いくつかの実施形態において、1つ以上の最も重要な方法ステップは、そのような装置によって実行されてもよい。
発明の符号化オーディオ信号は、デジタル記憶媒体に記憶されてもよく、あるいは、無線伝送媒体またはインターネット等の有線伝送媒体等の伝送媒体上で伝送されてもよい。
実施要件に依存して、発明の実施形態は、ハードウェアまたはソフトウェアで実施可能である。実施は、フロッピー(登録商標)ディスク、DVD、Blu−Ray、CD,、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリ等のデジタル記憶媒体を用いて行うことができる。デジタル記憶媒体には、電子的に読み取り可能な制御信号が記憶され、それぞれの方法を行うようプログラマブルコンピュータシステムと協働する(または協働することができる)。よって、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明によるいくつかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含み、本明細書に記載の方法のうちの1つを実行するようにプログラマブルコンピュータシステムと協働することができる。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラムプロダクトとして実施可能である。プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で動作する際、方法のうちの1つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。
他の実施形態は、機械可読キャリアに記憶され、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを含む。
言い換えれば、発明の方法の実施形態は、従って、コンピュータプログラムがコンピュータ上で動作する際、本明細書に記載の方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを記録して含むデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的に、有形および/または非一時的である。
発明の方法のさらなる実施形態は、従って、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、インターネット等のデータ通信接続を介して転送されるよう構成されてもよい。
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するよう構成された、コンピュータまたはプログラマブルロジックデバイス等の、処理手段を含む。
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを組み込んだコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的又は光学的に)転送するよう構成された装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイス等であってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
いくつかの実施形態において、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を用いて、本明細書に記載の方法の機能の一部または全部を実行してもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの1つを実行するために、マイクロプロセッサと協働してもよい。一般的に、方法は、好ましくは、任意のハードウェア装置によって行われる。
上記実施形態は、単に本発明の原理を例示するものである。本明細書に記載の構造や詳細の変形や変更は、当業者に明らかであろう。よって、限定は、特許請求の範囲のみによるものであり、本明細書で実施形態の記載を通じて提示された特定の詳細によるものではない。
(15.結論)
以下に、結論を述べる。
本発明による実施形態は、垂直および水平分布チャネル間の信号依存関係をもとに、ジョイントステレオ符号化ツールを階層的に結合することによって、4つのチャネルがジョイント符号化できるという考察に基づく。例えば、垂直チャネル対は、帯域制限または全帯域残留符号化を伴うMPS2−1−1および/またはユニファイドステレオにより結合される。バイノーラルアンマスキングのための知覚的要件を満たすために、出力ダウンミックスは、例えば、左/右および中/サイド符号化の可能性を含むMDCTドメインにおける複合予測を用いてジョイント符号化される。残留信号がある場合、残留信号は、同じ方法により水平的に結合される。
本発明による実施形態は、先行技術の欠点の一部または全部を克服する。本発明の実施形態は、3Dオーディオコンテキストに適応され、ラウドスピーカチャネルがいくつかの高さ層に分布され、水平および垂直チャネル対になる。USACに定義されるような2つのチャネルだけのジョイント符号化は、チャネル間の空間的および知覚的関係を考慮するのに十分でないことが分かっている。しかし、この問題は、本発明の実施形態によって克服される。
従来のMPEGサラウンドは、追加の前/後処理ステップに適用され、それにより、例えば、左右ラジカル残留信号間の依存関係を利用するために、残留信号は、ジョイントステレオ符号化の可能性なしに、個別に送信される。これに対して、本発明の実施形態は、このような依存関係を用いて、効率的な符号化/復号を可能にする。
さらに結論として、本発明の実施形態は、本明細書に記載の符号化および復号のための装置、方法、またはコンピュータプログラムをもたらす。

Claims (39)

  1. 符号化表現(210;310,360;610,682;1310,1312;1610)に基づいて少なくとも4つのオーディオチャネル信号(220,222,224,226;320,322,324,326;620,622,624,626;1320,1322,1324,1326)を提供するためのオーディオデコーダ(200;300;600;1300;1600;2000)であって、
    オーディオデコーダは、マルチチャネル復号(230;330;680;1360)を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現(210;310;682;1312)に基づいて、前記第1の残留信号(232;332;684;1362)と前記第2の残留信号(234;334;686;1364)とを提供するよう構成され、
    オーディオデコーダは、残留信号支援マルチチャネル復号(240;340;640;1370)を用いて、第1のダウンミックス信号(212;312;632;1342)と前記第1の残留信号とに基づいて、第1のオーディオチャネル信号(220;320;642;1372)と第2のオーディオチャネル信号(222;322;644;1374)とを提供するよう構成され、
    オーディオデコーダは、残留信号支援マルチチャネル復号(250;350;650;1380)を用いて、第2のダウンミックス信号(214;314;634;1344)と前記第2の残留信号とに基づいて、第3のオーディオチャネル信号(224;324;656;1382)と第4のオーディオチャネル信号(226;326;658;1384)とを提供するよう構成される、オーディオデコーダ。
  2. オーディオデコーダは、マルチチャネル復号(370;630;1340)を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現(360;610;1310)に基づいて、前記第1のダウンミックス信号(212;312;632;1342)と前記第2のダウンミックス信号(214;314;634;1344)とを提供するよう構成される、請求項1に記載のオーディオデコーダ。
  3. オーディオデコーダは、予測ベースマルチチャネル復号を用いて、前記第1の残留信号と前記第2の残留信号とのジョイント符号化表現に基づいて、前記第1の残留信号と前記第2の残留信号とを提供するよう構成される、請求項1または2に記載のオーディオデコーダ。
  4. オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、前記第1の残留信号と前記第2の残留信号とのジョイント符号化表現に基づいて、前記第1の残留信号と前記第2の残留信号とを提供するよう構成される、請求項1〜3のいずれか1項に記載のオーディオデコーダ。
  5. 前記予測ベースマルチチャネル復号は、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームの残留信号の提供への寄与を記述する予測パラメータを評価するよう構成される、請求項3に記載のオーディオデコーダ。
  6. 前記予測ベースマルチチャネル復号は、前記第1の残留信号と前記第2の残留信号とのダウンミックス信号と、前記第1の残留信号と前記第2の残留信号との共通残留信号とに基づいて、前記第1の残留信号と前記第2の残留信号とを得るよう構成される、請求項3〜5のいずれか1項に記載のオーディオデコーダ。
  7. 前記予測ベースマルチチャネル復号は、第1の符号を伴う前記共通残留信号を適用して前記第1の残留信号を得ると共に、前記第1の符号と逆の第2の符号を伴う前記共通残留信号を適用して前記第2の残留信号を得るよう構成される、請求項6に記載のオーディオデコーダ。
  8. オーディオデコーダは、MDCTドメインで動作するマルチチャネル復号を用いて、前記第1の残留信号と前記第2の残留信号とのジョイント符号化表現に基づいて、前記第1の残留信号と前記第2の残留信号とを提供するよう構成される、請求項1〜7のいずれか1項に記載のオーディオデコーダ。
  9. オーディオデコーダは、USAC複合ステレオ予測を用いて、前記第1の残留信号と前記第2の残留信号とのジョイント符号化表現に基づいて、前記第1の残留信号と前記第2の残留信号とを提供するよう構成される、請求項1〜8のいずれか1項に記載のオーディオデコーダ。
  10. オーディオデコーダは、パラメータベース残留信号支援マルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第1の残留信号とに基づいて、前記第1のオーディオチャネル信号と前記第2のオーディオチャネル信号とを提供するよう構成され、
    オーディオデコーダは、パラメータベース残留信号支援マルチチャネル復号を用いて、前記第2のダウンミックス信号と前記第2の残留信号とに基づいて、前記第3のオーディオチャネル信号と前記第4のオーディオチャネル信号とを提供するよう構成される、請求項1〜9のいずれか1項に記載のオーディオデコーダ。
  11. 前記パラメータベース残留信号支援マルチチャネル復号は、ダウンミックス信号のそれぞれの1つと、残留信号の対応する1つとに基づいて2つ以上のオーディオチャネル信号を提供するために、2つのチャネル間の所望の相関関係および/またはレベル差を記述する1つ以上のパラメータを評価するよう構成される、請求項10に記載のオーディオデコーダ。
  12. オーディオデコーダは、QMFドメインで動作する残留信号支援マルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第1の残留信号とに基づいて、前記第1のオーディオチャネル信号と前記第2のオーディオチャネル信号とを提供するよう構成され、
    オーディオデコーダは、QMFドメインで動作する残留信号支援マルチチャネル復号を用いて、前記第2のダウンミックス信号と前記第2の残留信号とに基づいて、前記第3のオーディオチャネル信号と前記第4のオーディオチャネル信号とを提供するよう構成される、請求項1〜11のいずれか1項に記載のオーディオデコーダ。
  13. オーディオデコーダは、MPEGサラウンド2−1−2復号またはユニファイドステレオ復号を用いて、前記第1のダウンミックス信号と前記第1の残留信号とに基づいて、前記第1のオーディオチャネル信号と前記第2のオーディオチャネル信号とを提供するよう構成され、
    オーディオデコーダは、MPEGサラウンド2−1−2復号またはユニファイドステレオ復号を用いて、前記第2のダウンミックス信号と前記第2の残留信号とに基づいて、前記第3のオーディオチャネル信号と前記第4のオーディオチャネル信号とを提供するよう構成される、請求項1〜12のいずれか1項に記載のオーディオデコーダ。
  14. 前記第1の残留信号および前記第2の残留信号は、オーディオシーンの異なる水平位置または前記オーディオシーンの異なる方位位置と関連付けられる、請求項1〜13のいずれか1項に記載のオーディオデコーダ。
  15. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記オーディオシーンの垂直近傍位置と関連付けられる、請求項1〜14のいずれか1項に記載のオーディオデコーダ。
  16. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、オーディオシーンの第1の水平位置または方位位置と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記第1の水平位置または前記第1の方位位置と異なる、前記オーディオシーンの第2の水平位置または方位位置と関連付けられる、請求項1〜15のいずれか1項に記載のオーディオデコーダ。
  17. 前記第1の残留信号は、オーディオシーンの左側と関連付けられ、前記第2の残留信号は、前記オーディオシーンの右側と関連付けられる、請求項1〜16のいずれか1項に記載のオーディオデコーダ。
  18. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、前記オーディオシーンの左側と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記オーディオシーンの右側と関連付けられる、請求項17に記載のオーディオデコーダ。
  19. 前記第1のオーディオチャネル信号は、前記オーディオシーンの左下位置と関連付けられ、
    前記第2のオーディオチャネル信号は、前記オーディオシーンの左上位置と関連付けられ、
    前記第3のオーディオチャネル信号は、前記オーディオシーンの右下位置と関連付けられ、
    前記第4のオーディオチャネル信号は、前記オーディオシーンの右上位置と関連付けられる、請求項18に記載のオーディオデコーダ。
  20. オーディオデコーダは、マルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現に基づいて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とを提供するよう構成され、
    前記第1のダウンミックス信号は、オーディオシーンの左側と関連付けられ、前記第2のダウンミックス信号は、前記オーディオシーンの右側と関連付けられる、請求項1〜19のいずれか1項に記載のオーディオデコーダ。
  21. オーディオデコーダは、予測ベースマルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現に基づいて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とを提供するよう構成される、請求項1〜20のいずれか1項に記載のオーディオデコーダ。
  22. オーディオデコーダは、残留信号支援予測ベースマルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現に基づいて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とを提供するよう構成される、請求項1〜21のいずれか1項に記載のオーディオデコーダ。
  23. オーディオデコーダは、前記第1のオーディオチャネル信号と前記第3のオーディオチャネル信号とに基づいて、第1のマルチチャネル帯域幅拡張(660;1390)を行うよう構成され、
    オーディオデコーダは、前記第2のオーディオチャネル信号と前記第4のオーディオチャネル信号とに基づいて、第2のマルチチャネル帯域幅拡張(670;1394)を行うよう構成される、請求項1〜22のいずれか1項に記載のオーディオデコーダ。
  24. オーディオデコーダは、前記第1のオーディオチャネル信号と、前記第3のオーディオチャネル信号と、1つ以上の帯域幅拡張パラメータ(1338)とに基づいて、オーディオシーンの第1の共通水平面または第1の共通高度と関連付けられる2つ以上の帯域幅拡張オーディオチャネル信号(620,624;1320,1324)を得るために、前記第1のマルチチャネル帯域幅拡張を行うよう構成され、
    オーディオデコーダは、前記第2のオーディオチャネル信号と、前記第4のオーディオチャネル信号と、1つ以上の帯域幅拡張パラメータ(1358)とに基づいて、オーディオシーンの第2の共通水平面または第2の共通高度と関連付けられる2つ以上の帯域幅拡張オーディオチャネル信号(622,626:1322,1326)を得るために、前記第2マルチチャネル帯域幅拡張を行うよう構成される、請求項23に記載のオーディオデコーダ。
  25. 前記第1の残留信号と前記第2の残留信号とのジョイント符号化表現は、前記第1の残留信号と前記第2の残留信号とのダウンミックス信号と、前記第1の残留信号と前記第2の残留信号との共通残留信号とを含むチャネル対要素を含む、請求項1〜24のいずれか1項に記載のオーディオデコーダ。
  26. オーディオデコーダは、マルチチャネル復号を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現に基づいて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とを提供するよう構成され、
    前記第1のダウンミックス信号と前記第2のダウンミックス信号とのジョイント符号化表現は、前記第1のダウンミックス信号と前記第2のダウンミックス信号とのダウンミックス信号と、前記第1のダウンミックス信号と前記第2のダウンミックス信号との共通残留信号とを含むチャネル対要素を含む、請求項1〜25のいずれか1項に記載のオーディオデコーダ。
  27. 少なくとも4つのオーディオチャネル信号(110,112,114,116;1110,1112,1114,1116;1210,1212,1214,1216;2216,2226,2218,2228)に基づいて符号化表現(130;1144,1154;1220,1222;2272,2282)を提供するためのオーディオエンコーダ(100;1100;1200;1500;2100)であって、
    オーディオエンコーダは、残留信号支援マルチチャネル符号化(140;1120;1230;2230)を用いて、少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とをジョイント符号化して第1のダウンミックス信号(120;1122;1232;2234)と第1の残留信号(142;1124;1234;2236)とを得るよう構成され、
    オーディオエンコーダは、残留信号支援マルチチャネル符号化(150;1130;1240;2240)を用いて、少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とをジョイント符号化して第2のダウンミックス信号(122;1132;1242;2244)と第2の残留信号(152;1134;1244;2246)とを得るよう構成され、
    オーディオエンコーダは、マルチチャネル符号化(160;1150;1260;2260)を用いて、前記第1の残留信号と前記第2の残留信号とをジョイント符号化して前記残留信号のジョイント符号化表現(130;1154;1262;2264)を得るよう構成される、オーディオエンコーダ。
  28. オーディオエンコーダは、マルチチャネル符号化(1140;1250;2250)を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とをジョイント符号化して前記ダウンミックス信号のジョイント符号化表現(1144;1252;2254)を得るよう構成される、請求項27に記載のオーディオエンコーダ。
  29. オーディオエンコーダは、予測ベースマルチチャネル符号化を用いて、前記第1の残留信号と前記第2の残留信号とをジョイント符号化するよう構成され、
    オーディオエンコーダは、予測ベースマルチチャネル符号化を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とをジョイント符号化するよう構成される、請求項28に記載のオーディオエンコーダ。
  30. オーディオエンコーダは、パラメータベース残留信号支援マルチチャネル符号化を用いて、少なくとも前記第1のオーディオチャネル信号と前記第2のオーディオチャネル信号とをジョイント符号化するよう構成され、
    オーディオエンコーダは、パラメータベース残留信号支援マルチチャネル符号化を用いて、少なくとも前記第3のオーディオチャネル信号と前記第4のオーディオチャネル信号とをジョイント符号化するよう構成される、請求項27〜29のいずれか1項に記載のオーディオエンコーダ。
  31. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記オーディオシーンの垂直近傍位置と関連付けられる、請求項27〜30のいずれか1項に記載のオーディオエンコーダ。
  32. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、オーディオシーンの第1の水平位置または方位位置と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記第1の水平位置または方位位置と異なる、前記オーディオシーンの第2の水平位置または方位位置と関連付けられる、請求項27〜31のいずれか1項に記載のオーディオエンコーダ。
  33. 前記第1の残留信号は、オーディオシーンの左側と関連付けられ、前記第2の残留信号は、前記オーディオシーンの右側と関連付けられる、請求項27〜32のいずれか1項に記載のオーディオエンコーダ。
  34. 前記第1のオーディオチャネル信号および前記第2のオーディオチャネル信号は、前記オーディオシーンの左側と関連付けられ、
    前記第3のオーディオチャネル信号および前記第4のオーディオチャネル信号は、前記オーディオシーンの右側と関連付けられる、請求項33に記載のオーディオエンコーダ。
  35. 前記第1のオーディオチャネル信号は、前記オーディオシーンの左下位置と関連付けられ、
    前記第2のオーディオチャネル信号は、前記オーディオシーンの左上位置と関連付けられ、
    前記第3のオーディオチャネル信号は、前記オーディオシーンの右下位置と関連付けられ、
    前記第4のオーディオチャネル信号は、前記オーディオシーンの右上位置と関連付けられる、請求項34に記載のオーディオエンコーダ。
  36. オーディオエンコーダは、マルチチャネル符号化を用いて、前記第1のダウンミックス信号と前記第2のダウンミックス信号とをジョイント符号化して前記ダウンミックス信号のジョイント符号化表現を得るよう構成され、
    前記第1のダウンミックス信号は、オーディオシーンの左側と関連付けられ、前記第2のダウンミックス信号は、前記オーディオシーンの右側と関連付けられる、請求項27〜35のいずれか1項に記載のオーディオエンコーダ。
  37. 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するための方法(800)であって、
    マルチチャネル復号を用いて、第1の残留信号と第2の残留信号とのジョイント符号化表現に基づいて、前記第1の残留信号と前記第2の残留信号とを提供するステップ(810)と、
    残留信号支援マルチチャネル復号を用いて、第1のダウンミックス信号と前記第1の残留信号とに基づいて、第1のオーディオチャネル信号と第2のオーディオチャネル信号とを提供するステップ(820)と、
    残留信号支援マルチチャネル復号を用いて、第2のダウンミックス信号と前記第2の残留信号とに基づいて、第3のオーディオチャネル信号と第4のオーディオチャネル信号とを提供するステップ(830)とを備える、方法。
  38. 少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法(700)であって、
    残留信号支援マルチチャネル符号化を用いて、少なくとも第1のオーディオチャネル信号と第2のオーディオチャネル信号とをジョイント符号化して第1のダウンミックス信号と第1の残留信号とを得るステップ(710)と、
    残留信号支援マルチチャネル符号化を用いて、少なくとも第3のオーディオチャネル信号と第4のオーディオチャネル信号とをジョイント符号化して第2のダウンミックス信号と第2の残留信号とを得るステップ(720)と、
    マルチチャネル符号化を用いて、前記第1の残留信号と前記第2の残留信号とをジョイント符号化して前記残留信号の符号化表現を得るステップ(730)とを備える、方法。
  39. コンピュータプログラムがコンピュータ上で動作する際に請求項37または38に記載の方法を実行するためのコンピュータプログラム。
JP2016528404A 2013-07-22 2014-07-11 ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム Active JP6346278B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13177376.4 2013-07-22
EP13177376 2013-07-22
EP13189305.9 2013-10-18
EP13189305.9A EP2830051A3 (en) 2013-07-22 2013-10-18 Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
PCT/EP2014/064915 WO2015010926A1 (en) 2013-07-22 2014-07-11 Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals

Publications (2)

Publication Number Publication Date
JP2016529544A true JP2016529544A (ja) 2016-09-23
JP6346278B2 JP6346278B2 (ja) 2018-06-20

Family

ID=48874137

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016528404A Active JP6346278B2 (ja) 2013-07-22 2014-07-11 ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム
JP2016528408A Active JP6117997B2 (ja) 2013-07-22 2014-07-14 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016528408A Active JP6117997B2 (ja) 2013-07-22 2014-07-14 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム

Country Status (19)

Country Link
US (8) US9953656B2 (ja)
EP (4) EP2830051A3 (ja)
JP (2) JP6346278B2 (ja)
KR (2) KR101823278B1 (ja)
CN (5) CN111105805A (ja)
AR (2) AR097012A1 (ja)
AU (2) AU2014295360B2 (ja)
BR (2) BR112016001141B1 (ja)
CA (2) CA2917770C (ja)
ES (2) ES2650544T3 (ja)
MX (2) MX357667B (ja)
MY (1) MY181944A (ja)
PL (2) PL3022735T3 (ja)
PT (2) PT3022735T (ja)
RU (2) RU2677580C2 (ja)
SG (1) SG11201600468SA (ja)
TW (2) TWI544479B (ja)
WO (2) WO2015010926A1 (ja)
ZA (2) ZA201601080B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050087A1 (ja) * 2020-09-03 2022-03-10 ソニーグループ株式会社 信号処理装置および方法、学習装置および方法、並びにプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830051A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
CA2978075A1 (en) * 2015-02-27 2016-09-01 Auro Technologies Nv Encoding and decoding digital data sets
EP3067887A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
WO2016204581A1 (ko) 2015-06-17 2016-12-22 삼성전자 주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
CN107731238B (zh) * 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
US10217468B2 (en) * 2017-01-19 2019-02-26 Qualcomm Incorporated Coding of multiple audio signals
US10573326B2 (en) * 2017-04-05 2020-02-25 Qualcomm Incorporated Inter-channel bandwidth extension
US10431231B2 (en) 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
CA3078858A1 (en) * 2017-10-12 2019-04-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Optimizing audio delivery for virtual reality applications
CN111630593B (zh) * 2018-01-18 2021-12-28 杜比实验室特许公司 用于译码声场表示信号的方法和装置
CN115334444A (zh) 2018-04-11 2022-11-11 杜比国际公司 用于音频渲染的预渲染信号的方法、设备和系统
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
CN110556117B (zh) 2018-05-31 2022-04-22 华为技术有限公司 立体声信号的编码方法和装置
CN110556116B (zh) 2018-05-31 2021-10-22 华为技术有限公司 计算下混信号和残差信号的方法和装置
CN110660400B (zh) 2018-06-29 2022-07-12 华为技术有限公司 立体声信号的编码、解码方法、编码装置和解码装置
EP3874491B1 (en) 2018-11-02 2024-05-01 Dolby International AB Audio encoder and audio decoder
US10985951B2 (en) 2019-03-15 2021-04-20 The Research Foundation for the State University Integrating Volterra series model and deep neural networks to equalize nonlinear power amplifiers
WO2020204904A1 (en) * 2019-04-01 2020-10-08 Google Llc Learning compressible features
US20200402522A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
CN110534120B (zh) * 2019-08-31 2021-10-01 深圳市友恺通信技术有限公司 一种移动网络环境下的环绕声误码修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010540985A (ja) * 2007-09-19 2010-12-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・オーディオのジョイント強化
JP2011501230A (ja) * 2007-10-22 2011-01-06 韓國電子通信研究院 マルチオブジェクトオーディオ符号化および復号化方法とその装置
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding
JP2013508770A (ja) * 2009-10-23 2013-03-07 サムスン エレクトロニクス カンパニー リミテッド 位相情報と残余信号を用いる符号化/復号化装置及び方法

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528260B2 (ja) * 1993-10-26 2004-05-17 ソニー株式会社 符号化装置及び方法、並びに復号化装置及び方法
US5488665A (en) 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
US5970152A (en) 1996-04-30 1999-10-19 Srs Labs, Inc. Audio enhancement system for use in a surround sound environment
SE522553C2 (sv) * 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
KR100988293B1 (ko) * 2002-08-07 2010-10-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 공간 트랜스레이션
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
EP1723639B1 (en) * 2004-03-12 2007-11-14 Nokia Corporation Synthesizing a mono audio signal based on an encoded multichannel audio signal
SE0400997D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
WO2006000956A1 (en) * 2004-06-22 2006-01-05 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7630396B2 (en) 2004-08-26 2009-12-08 Panasonic Corporation Multichannel signal coding equipment and multichannel signal decoding equipment
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
MX2007011995A (es) * 2005-03-30 2007-12-07 Koninkl Philips Electronics Nv Codificacion y decodificacion de audio.
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
EP1876585B1 (en) * 2005-04-28 2010-06-16 Panasonic Corporation Audio encoding device and audio encoding method
TWI462086B (zh) * 2005-09-14 2014-11-21 Lg Electronics Inc 音頻訊號之解碼方法及其裝置
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
US8411869B2 (en) 2006-01-19 2013-04-02 Lg Electronics Inc. Method and apparatus for processing a media signal
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
JP2007207328A (ja) 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
EP2000001B1 (en) * 2006-03-28 2011-12-21 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for a decoder for multi-channel surround sound
US20080004883A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Scalable audio coding
DE102006047197B3 (de) * 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
KR101435893B1 (ko) * 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
EP2337380B8 (en) * 2006-10-13 2020-02-26 Auro Technologies NV A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data sets
JP5220840B2 (ja) * 2007-03-30 2013-06-26 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法
CN101071570B (zh) * 2007-06-21 2011-02-16 北京中星微电子有限公司 耦合声道的编、解码处理方法、音频编码装置及解码装置
WO2009049895A1 (en) * 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix
WO2009066959A1 (en) * 2007-11-21 2009-05-28 Lg Electronics Inc. A method and an apparatus for processing a signal
US9275648B2 (en) * 2007-12-18 2016-03-01 Lg Electronics Inc. Method and apparatus for processing audio signal using spectral data of audio signal
US20090164223A1 (en) * 2007-12-19 2009-06-25 Dts, Inc. Lossless multi-channel audio codec
AU2008344084A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing a signal
CA2717584C (en) * 2008-03-04 2015-05-12 Lg Electronics Inc. Method and apparatus for processing an audio signal
KR101629862B1 (ko) 2008-05-23 2016-06-24 코닌클리케 필립스 엔.브이. 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2144229A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
CN102172047B (zh) 2008-07-31 2014-01-29 弗劳恩霍夫应用研究促进协会 双耳信号的信号生成设备和方法
WO2010017833A1 (en) * 2008-08-11 2010-02-18 Nokia Corporation Multichannel audio coder and decoder
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding
EP2194526A1 (en) * 2008-12-05 2010-06-09 Lg Electronics Inc. A method and apparatus for processing an audio signal
US8332229B2 (en) * 2008-12-30 2012-12-11 Stmicroelectronics Asia Pacific Pte. Ltd. Low complexity MPEG encoding for surround sound recordings
EP2214161A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
BRPI1009467B1 (pt) * 2009-03-17 2020-08-18 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
JP5358691B2 (ja) 2009-04-08 2013-12-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 位相値平滑化を用いてダウンミックスオーディオ信号をアップミックスする装置、方法、およびコンピュータプログラム
CN101582262B (zh) * 2009-06-16 2011-12-28 武汉大学 一种空间音频参数帧间预测编解码方法
ES2524428T3 (es) 2009-06-24 2014-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador de señales de audio, procedimiento para decodificar una señal de audio y programa de computación que utiliza etapas en cascada de procesamiento de objetos de audio
CN101989425B (zh) 2009-07-30 2012-05-23 华为终端有限公司 多描述音频编解码的方法、装置及系统
KR101569702B1 (ko) * 2009-08-17 2015-11-17 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
JP2011066868A (ja) * 2009-08-18 2011-03-31 Victor Co Of Japan Ltd オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
RU2576476C2 (ru) 2009-09-29 2016-03-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф., Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции
CN101695150B (zh) * 2009-10-12 2011-11-30 清华大学 多声道音频编码方法、编码器、解码方法和解码器
WO2011073201A2 (en) * 2009-12-16 2011-06-23 Dolby International Ab Sbr bitstream parameter downmix
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
MX2012011532A (es) * 2010-04-09 2012-11-16 Dolby Int Ab Codificacion a estereo para prediccion de complejos basados en mdct.
PL3779977T3 (pl) 2010-04-13 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji
BR112013004362B1 (pt) 2010-08-25 2020-12-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
ES2643163T3 (es) 2010-12-03 2017-11-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para codificación de audio espacial basada en geometría
EP2477188A1 (en) 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
CN102610231B (zh) * 2011-01-24 2013-10-09 华为技术有限公司 一种带宽扩展方法及装置
AR085895A1 (es) 2011-02-14 2013-11-06 Fraunhofer Ges Forschung Generacion de ruido en codecs de audio
MY159444A (en) 2011-02-14 2017-01-13 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Encoding and decoding of pulse positions of tracks of an audio signal
JP5714180B2 (ja) * 2011-05-19 2015-05-07 ドルビー ラボラトリーズ ライセンシング コーポレイション パラメトリックオーディオコーディング方式の鑑識検出
US9070361B2 (en) * 2011-06-10 2015-06-30 Google Technology Holdings LLC Method and apparatus for encoding a wideband speech signal utilizing downmixing of a highband component
AR090703A1 (es) * 2012-08-10 2014-12-03 Fraunhofer Ges Forschung Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos
PL2951820T3 (pl) 2013-01-29 2017-06-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie i sposób wyboru jednego spośród pierwszego algorytmu kodowania i drugiego algorytmu kodowania
US9679571B2 (en) 2013-04-10 2017-06-13 Electronics And Telecommunications Research Institute Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal
WO2014168439A1 (ko) * 2013-04-10 2014-10-16 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2838086A1 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830332A3 (en) 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010540985A (ja) * 2007-09-19 2010-12-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・オーディオのジョイント強化
JP2011501230A (ja) * 2007-10-22 2011-01-06 韓國電子通信研究院 マルチオブジェクトオーディオ符号化および復号化方法とその装置
JP2013508770A (ja) * 2009-10-23 2013-03-07 サムスン エレクトロニクス カンパニー リミテッド 位相情報と残余信号を用いる符号化/復号化装置及び方法
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050087A1 (ja) * 2020-09-03 2022-03-10 ソニーグループ株式会社 信号処理装置および方法、学習装置および方法、並びにプログラム

Also Published As

Publication number Publication date
MX357667B (es) 2018-07-18
JP6346278B2 (ja) 2018-06-20
TW201514972A (zh) 2015-04-16
MY181944A (en) 2021-01-14
TW201514973A (zh) 2015-04-16
US20160247509A1 (en) 2016-08-25
CN111105805A (zh) 2020-05-05
EP3022734B1 (en) 2017-08-23
CN111128206B (zh) 2024-08-23
PT3022735T (pt) 2017-12-07
JP6117997B2 (ja) 2017-04-19
CA2918237C (en) 2021-09-21
EP3022734A1 (en) 2016-05-25
AU2014295360B2 (en) 2017-10-26
US20160275957A1 (en) 2016-09-22
AU2014295360A1 (en) 2016-03-10
WO2015010934A1 (en) 2015-01-29
CN111128206A (zh) 2020-05-08
ES2649194T3 (es) 2018-01-10
CN111128205A (zh) 2020-05-08
US9940938B2 (en) 2018-04-10
EP2830051A3 (en) 2015-03-04
US20190108842A1 (en) 2019-04-11
BR112016001137B1 (pt) 2022-11-29
EP3022735B1 (en) 2017-09-06
US10741188B2 (en) 2020-08-11
AR097011A1 (es) 2016-02-10
KR101823279B1 (ko) 2018-03-08
CN105593931A (zh) 2016-05-18
RU2666230C2 (ru) 2018-09-06
PL3022734T3 (pl) 2018-01-31
US9953656B2 (en) 2018-04-24
EP3022735A1 (en) 2016-05-25
EP2830052A1 (en) 2015-01-28
WO2015010926A1 (en) 2015-01-29
US11657826B2 (en) 2023-05-23
BR112016001141A2 (pt) 2017-07-25
US20160247508A1 (en) 2016-08-25
KR20160033777A (ko) 2016-03-28
AU2014295282B2 (en) 2017-07-27
JP2016530788A (ja) 2016-09-29
PL3022735T3 (pl) 2018-02-28
MX2016000939A (es) 2016-04-25
US10770080B2 (en) 2020-09-08
AR097012A1 (es) 2016-02-10
CA2918237A1 (en) 2015-01-29
US10147431B2 (en) 2018-12-04
KR101823278B1 (ko) 2018-01-29
RU2016105702A (ru) 2017-08-25
RU2016105703A (ru) 2017-08-25
CA2917770A1 (en) 2015-01-29
ZA201601080B (en) 2017-08-30
TWI544479B (zh) 2016-08-01
US20210056979A1 (en) 2021-02-25
ES2650544T3 (es) 2018-01-19
KR20160033778A (ko) 2016-03-28
CA2917770C (en) 2021-01-05
SG11201600468SA (en) 2016-02-26
US11488610B2 (en) 2022-11-01
US20240029744A1 (en) 2024-01-25
AU2014295282A1 (en) 2016-03-10
TWI550598B (zh) 2016-09-21
BR112016001141B1 (pt) 2021-12-14
CN105593931B (zh) 2019-12-27
MX2016000858A (es) 2016-05-05
RU2677580C2 (ru) 2019-01-17
CN105580073A (zh) 2016-05-11
EP2830051A2 (en) 2015-01-28
PT3022734T (pt) 2017-11-29
BR112016001137A2 (ja) 2017-07-25
MX357826B (es) 2018-07-25
CN105580073B (zh) 2019-12-13
US20210233543A1 (en) 2021-07-29
US20190378522A1 (en) 2019-12-12
ZA201601078B (en) 2017-05-31

Similar Documents

Publication Publication Date Title
JP6346278B2 (ja) ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180524

R150 Certificate of patent or registration of utility model

Ref document number: 6346278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250