JP2009501957A - マルチチャンネルオーディオ信号の生成 - Google Patents

マルチチャンネルオーディオ信号の生成 Download PDF

Info

Publication number
JP2009501957A
JP2009501957A JP2008522125A JP2008522125A JP2009501957A JP 2009501957 A JP2009501957 A JP 2009501957A JP 2008522125 A JP2008522125 A JP 2008522125A JP 2008522125 A JP2008522125 A JP 2008522125A JP 2009501957 A JP2009501957 A JP 2009501957A
Authority
JP
Japan
Prior art keywords
signal
audio
channels
channel
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008522125A
Other languages
English (en)
Other versions
JP5171622B2 (ja
JP2009501957A5 (ja
Inventor
ディルク ジェイ ブレーバールト
ラルス エフ ヴィリィムース
ハイコ プルンハーゲン
クリストフ ファーレル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Dolby International AB
Original Assignee
Koninklijke Philips NV
Dolby International AB
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37398669&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2009501957(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Dolby International AB, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009501957A publication Critical patent/JP2009501957A/ja
Publication of JP2009501957A5 publication Critical patent/JP2009501957A5/ja
Application granted granted Critical
Publication of JP5171622B2 publication Critical patent/JP5171622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

デコーダ115は、受け取った第1の信号からサラウンドサウンド信号のようなマルチチャンネルオーディオ信号を生成する。このマルチチャンネル信号はオーディオチャンネルの第2のセットを有しており、第1の信号はオーディオチャンネルの第1のセットを有している。デコーダ115は、第1の信号を受け取る受信器401を有している。受信器401は推定プロセッサ405に結合されており、推定プロセッサ405は、オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する。この推定パラメトリックデータは、オーディオチャンネルの第2のセットの特徴をオーディオチャンネルの第1のセットの特徴に関連付ける。デコーダ115は、更に、チャンネルの第2のセットを有するマルチチャンネル信号を生成するために推定パラメトリックデータに応じて第1の信号を復号する空間オーディオデコーダ403を有している。本発明は、空間オーディオエンコーダにより符号化されない信号を伴う空間オーディオ復号の使用を可能にする。

Description

本発明は、空間オーディオ復号によるマルチチャンネルオーディオ信号の生成に係り、特に、マトリクス符号化されたサラウンドサウンドステレオ信号からのマルチチャンネルオーディオ信号の生成に関するが、これに限定されるものではない。
デジタル信号表現及び通信が次第にアナログ表現及び通信に取って代わってきているので、種々のソース信号のデジタル符号化はこの10年間にわたってますます重要になってきている。例えば、GSMのような移動電話システムは、デジタル音声符号化に基づいている。映像及び音楽のようなメディアコンテンツの配信もまた、次第にデジタルコンテンツ符号化をベースにしている。
更に、この10年で、従来のステレオ信号を超えて広がるマルチチャンネルオーディオ、具体的には空間オーディオへの傾向が生じている。例えば、これまでのステレオ録音は2チャンネルのみを有するが、今日の高度化されたオーディオシステムは、普及している5.1サラウンドサウンドシステムにおけるように典型的には5又は6チャンネルを用いる。これは、ユーザが音源により囲まれ得るより複雑なリスニングの経験を与える。
そのようなマルチチャンネル信号の通信に関して種々の技術及び規格が開発されている。例えば、5.1サラウンドシステムを意味する6ディスクリートチャンネルは、AAC(Advanced Audio Coding)又はドルビーデジタル規格のような規格に準拠して送信され得る。
しかしながら、下位互換性を与えるために、より高い数のチャンネルをより低い数のチャンネルにダウンミックスすることが知られており、具体的には、5.1サラウンドサウンド信号をステレオ信号にダウンミックスすることが多く用いられ、これは、ステレオ信号がレガシー(ステレオ)デコーダにより再現され、5.1信号がサラウンドサウンドデコーダにより再現されることを可能にする。
追加のマルチチャンネル情報を伴うことのない下位互換性のあるマルチチャンネル送信に関するそのような既存の方法は、典型的にはマトリクス化されるサラウンド方法として特徴付けられる。マトリクスサラウンドサウンド符号化の例は、ドルビープロロジックII及びロジック7のような方法を含んでいる。これらの方法の共通の原理は、これらの方法は入力信号の複数のチャンネルに適切な二次ではない(non-quadratic)マトリクスをマトリクス乗算することであり、それによってより低い数のチャンネルを伴う出力信号を生成する。具体的には、マトリクスエンコーダが、多くの場合サラウンドチャンネルを前方及び中央チャンネルとミキシングする前に該サラウンドチャンネルに位相ずれを与える。ダウンミックス信号(Lt,Rt)の生成は、例えば
Figure 2009501957
により与えられ得る。
従って、左ダウンミックス信号(Lt)は、左前方信号(Lf)と、ファクタqを乗じた中央信号(C)と、90°位相回転(,j')し、ファクタaで変倍された左サラウンド信号(Ls)と、最後に同じく90°位相回転し、ファクタbで変倍された右サラウンド(Rs)信号とから成っている。右ダウンミックス信号(Rt)は同様に生成される。典型的なダウンミックスファクタは、q及びaについては0.707であり、bについては0.408である。
上記右ダウンミックス信号(Rt)に関する逆の符号の理由は、サラウンドチャンネルがダウンミックスのペア(Lt,Rt)において逆位相で混合されることである。この性質は、デコーダがダウンミックス信号のペアから前方チャンネルと後方チャンネルとに区別することを助ける。デコーダは、ディマトリクス(de-matrixing)操作を与えることによりステレオダウンミックスからマルチチャンネル信号を(部分的に)復元し得る。オリジナルのマルチチャンネル信号に類似した再形成されたマルチチャンネル信号がどれだけ正確であるかは、マルチチャンネルオーディオコンテンツの具体的な性質に依存する。
マトリクス化されるサラウンドサウンドシステムは、下位互換性を与えるが、AAC又はドルビーデジタルシステムのようなディスクリートサラウンドシステム/コーダーと比較して低いオーディオの品質しか与えることができない。
空間オーディオ符号化(SAC)として知られる符号化/復号技術が、ダウンミックスされたオーディオ信号に改善された品質を与えるために開発されている。SACでは、デコーダがチャンネルをより低い数にダウンミックスし、更に、ダウンミックス信号に対してマルチチャンネル信号の特徴を表すパラメトリックデータを生成する。その後、追加のパラメトリックデータが、典型的にはモノラル又はステレオオーディオ信号であるダウンミックス信号とともにビットストリームに含められる。従って、レガシーデコーダは、追加のパラメトリックデータを無視し、モノラル又はステレオ信号(又は場合によっては低品質のマトリクス復号されたサラウンドサウンド信号)を再生し得る。更に、SACデコーダは、パラメトリックデータを抽出し、これをより高い品質のマルチチャンネル信号を生成するために用いる。
しかしながら、この手法による問題は、多くのシステムがSAC符号化された信号を組み込んでいないことである。例えば、多くのシステムは、SACパラメトリックデータを生成しないマトリクスサラウンドサウンド符号化のみを利用する。また、多くの信号及びデコーダの規格は、追加のパラメトリックデータが含まれることを可能にするための柔軟性を与えず、従ってSACが採用される前に新しい規格への完全な切り換えを要する。これは、システムの全ての既存のエンコーダ及びデコーダが、SAC対応のエンコーダ及びデコーダと取り替えられることを必要とする。具体的には、SACのために必要な追加の情報を加えるための取り組みが実現不可能なほどに大規模である、すなわち、SACを用いるためにそのようなシステムを拡張するためのコストが高すぎる(ラジオ、デジタルラジオ等のような)多くの2チャンネルステレオベースのレガシーシステムが存在する。更に、既に利用可能な大量のマトリクス符号化されたオーディオマテリアルが存在し、これはSAC復号の利益が得られる前にSACエンコーダによる再符号化を必要とする。
上記理由のために、マルチチャンネルオーディオ信号を処理及び/又は通信する改善されたシステムが有利であり、特に、高められた柔軟性、高められたオーディオの品質、SAC動作原理の高められた適用性及び/又は改善された性能を可能にする機能が有利である。
従って、本発明は、単独又は任意の組み合わせで上述した不利点の1つ又はそれ以上をなるべく軽減、解決又は除去しようとするものである。
本発明の第1の観点によれば、マルチチャンネルオーディオ信号を生成するデコーダであって、オーディオチャンネルの第1のセットを有する第1の信号を受け取る手段と、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、上記推定パラメトリックデータは、上記オーディオチャンネルの第2のセットの特徴を上記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、上記チャンネルの第2のセットを有する上記マルチチャンネルオーディオ信号を生成するために上記推定パラメトリックデータに応じて上記第1の信号を復号する空間オーディオデコーダとを有する当該デコーダが提供される。
本発明は、改善された性能を可能にする。具体的には、本発明は、空間オーディオ復号の原理が空間オーディオ符号化(SAC)パラメータを有していない信号に対して用いられることを可能にする。上記デコーダの適用範囲はかなり増大し、デコーダは例えばマトリクスエンコーダ及び符号化信号とともに用いられ得る。空間オーディオ復号により、改善されたオーディオの品質が実現され得る。
上記チャンネルの第2のセットは、一般に、上記チャンネルの第1のセットよりも多くのチャンネルを有する。オーディオチャンネルの第2のセットは、オーディオチャンネルの第1のセットの1つ又はそれ以上を有し得る。オーディオチャンネルの第2のセットの1つ又はそれ以上は、推定パラメトリックデータを用いることなく生成され得る。推定パラメトリックデータは、具体的には空間オーディオパラメータに対応するデータであり、特に従来のSACエンコーダにより一般的に生成されるような空間オーディオパラメータに対応するデータであり得る。
上記推定パラメトリックデータは、チャンネルの第1のセットの具体的な特徴をチャンネルの第2のセットの具体的な特徴に直接的に関連付け、及び/又は、例えばチャンネルの第2のセットのうちの異なるチャンネルの特徴を関連付けるデータ値を有し、それによりオーディオチャンネルの第2のセットを与えるために第1の信号がどのように復号され得るかを示す。上記特徴は、異なる時間間隔にわたる1つの単一のパラメータの一連のメジャー(measure)であり得る。代替として、上記特徴は1つの単一のパラメータよりも多くのパラメータに関係する。
本発明の必須ではない特徴によれば、上記第1の信号は、上記チャンネルの第2のセットに関連するパラメトリックオーディオデータを有していない。
本発明は、空間オーディオ復号の原理が出力チャンネルのうちの少なくとも幾つかに関してパラメトリックオーディオデータを有していない信号に適用されることを可能にする。従って、本発明は、非SAC符号化信号に関する改善された品質を可能にし得る。本発明は、改善された下位互換性を可能にし、特にマトリクス符号化サラウンドサウンド信号から復号されたサラウンドサウンド信号に関して改善されたオーディオの品質を可能にする。
本発明の必須ではない特徴によれば、上記推定手段は、上記オーディオチャンネルの第1のセットに関する第1のパラメータデータを決定する手段と、上記第1のパラメータデータを上記オーディオチャンネルの第2のセットのための上記推定パラメータデータにマッピングする手段とを有する。
これは、特に高い復号されたオーディオの品質を与え得るパラメータデータの推定及び効率的な実行を可能にする。マッピングは、例えばルックアップテーブルの使用により又は数学関数を求めることにより起こる。従って、推定されるパラメータ値と第1のパラメータデータの特定のパラメータ値との間に直接的な関係が存在する。
本発明の必須ではない特徴によれば、上記第1のパラメータデータは、上記オーディオ信号の第1のセットの少なくとも2つのオーディオチャンネルに関する少なくとも1つのチャンネル間レベル差の値を有する。
これは、特に高い復号されたオーディオの品質を与え得るパラメータデータの推定及び効率的な実行を可能にする。特に、チャンネル間レベル差の値はマトリクス符号化サラウンドサウンド信号から関連のあるSACパラメトリックデータを推定するためにとりわけ適していることが研究により明らかにされている。本願発明者等は、例えばステレオマトリクス符号化サラウンドサウンド信号に関するチャンネル間レベル差と該サラウンドサウンド信号に関するSACデータとの間に高い相関関係が存在することに気付いた。
本発明の必須ではない特徴によれば、上記第1のパラメータデータは、上記オーディオ信号の第1のセットの少なくとも2つのオーディオチャンネルに関する少なくとも1つのチャンネル間相関係数の値を有する。
これは、特に高い復号されたオーディオの品質を与え得るパラメータデータの推定及び効率的な実行を可能にする。特に、チャンネル間相関係数の値はマトリクス符号化サラウンドサウンド信号から関連のあるSACパラメトリックデータを推定するためにとりわけ適していることが研究により明らかにされている。本願発明者等は、例えばステレオマトリクス符号化サラウンドサウンド信号に関するチャンネル間相関係数と該サラウンドサウンド信号に関するSACデータとの間に高い相関関係が存在することに気付いた。
本発明の必須ではない特徴によれば、上記マルチチャンネルオーディオ信号はサラウンドサウンド信号であり、上記推定パラメータデータは、上記チャンネルの第2のセットの左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間レベル差と、上記チャンネルの第2のセットの右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間レベル差と、上記チャンネルの第2のセットの左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間相関係数と、上記チャンネルの第2のセットの右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間相関係数と、上記オーディオチャンネルの第2のセットの中央チャンネルに関する予測係数と、上記チャンネルの第2のセットの中央チャンネルと他のチャンネル(又はチャンネルの組み合わせ)との間のチャンネル間レベル差とより成る群から選択される少なくとも1つのパラメータを有する。
これは、とりわけ高い性能を可能にする。具体的には、これらのパラメータは、空間オーディオデコーダにより高い質の復号信号を生成するのに特に好適であり、典型的にはマトリクス符号化サラウンドサウンドシステムのような入力信号の各パラメータ間において高い相関関係を持っている。
上記の群から選択される少なくとも1つのパラメータは、オーディオ信号の第1のセットの少なくとも2つのオーディオチャンネルに関するチャンネル間レベル差の値及び/又はチャンネル間相関係数の値から少なくとも1つのパラメータへの直接的なマッピングにより生成され得る。
本発明の必須ではない特徴によれば、上記装置は時間周波数タイルを生成する手段を更に有し、上記推定手段は、時間周波数タイルに関する推定パラメトリックデータを生成するように設けられる。
これは演算を容易にする及び/又は品質を改善する。特に、第1の信号から抽出されるパラメータと推定パラメトリックデータとの間の容易な及び/又は改善されたマッピングを可能にする。
本発明の必須ではない特徴によれば、上記推定手段は、上記オーディオチャンネルの第2のセットのためのパラメトリックデータの対応する値に時間周波数タイルに関する上記オーディオチャンネルの第1のセットの少なくとも1つの信号の特徴のセットを直接的にマッピングする手段を有する。
これは、特に高い復号されたオーディオの品質を与え得るパラメータデータの推定及び効率的な実行を可能にする。上記マッピングは、例えばルックアップテーブルの使用により又は数学関数を求めることにより起こる。従って、信号の特徴のセットと推定パラメータデータの対応する値との間に直接的な関係が存在する。上記信号の特徴は、オーディオチャンネルの第1のセットのうちの2つのチャンネルに関するチャンネル間レベル差及び/又はチャンネル間相関係数であり、これらは、例えばオーディオチャンネルの第2のセットのために予測係数及び/又はチャンネル間相関係数及び/又はチャンネル間レベル差に直接的にマップし得る。
本発明の必須ではない特徴によれば、上記空間オーディオデコーダは、上記推定パラメトリックデータに応じて決定されるパラメータを用いて少なくとも1つのマトリクス演算を行うように設けられる。
これは高い性能を可能にする。特に、これは高い復号の品質での好適な実行を可能にする。
本発明の必須ではない特徴によれば、上記デコーダは、第2の信号に関するパラメトリックデータを抽出する手段を更に有し、上記空間オーディオデコーダは抽出された上記パラメトリックデータに応じて上記第2の信号を復号するように動作可能である。
上記デコーダは、同じ空間オーディオエンコーダを用いてSAC符号化信号及び非SAC符号化信号の両方に対応するように設けられ得る。SAC符号化信号の場合には抽出されたデータが用いられ、非SAC符号化信号の場合には推定されたパラメトリックデータが用いられ得る。本発明は、高められた適用性及び/又は下位互換性を与える。上記装置は、抽出されたパラメトリックデータに応じて第1の信号を復号するように設けられ、それにより第1の信号と第2の信号との相関関係が活用されることを可能にする。
本発明の必須ではない特徴によれば、上記デコーダは、上記第1の信号の特徴に応じて復号モードを選択する手段を更に有する。
上記デコーダは、例えば、SACパラメトリックデータが推定される第1のモードとSACパラメトリックデータが受け取った信号から抽出される第2のモードとにおいて動作するように設けられ、第1の信号がSACデータを有するか否かに応じて上記第1のモードと第2のモードとの間で選択するように設けられ得る。従って、種々の異なるタイプの信号を処理することができる高い柔軟性のあるデコーダが実現され得る。
本発明の必須ではない特徴によれば、上記オーディオチャンネルの第1のセットは、2つのオーディオチャンネルから成る。
本発明は、ステレオ信号にダウンミックスされたマルチチャンネル信号の改善された復号を可能にする。
本発明の必須ではない特徴によれば、上記第1の信号はマトリクス符号化されたサラウンドサウンド信号である。
本発明は、マトリクス符号化サラウンドサウンド信号にダウンミックスされたマルチチャンネル信号のとりわけ改善された復号を可能にする。特に、実験は、非常に正確なSACデータが信号のステレオチャンネルに基づいてマトリクス符号化サラウンドサウンド信号に関して推定され得ることを示している。
本発明の必須ではない特徴によれば、上記デコーダは、マトリクス−サラウンド反転マトリクスと、上記推定パラメトリックデータに応じて前記マトリクス−サラウンド反転マトリクスの少なくとも1つの係数を決定する手段とを更に有する。
これは、マトリクス符号化サラウンド信号に関して改善された復号オーディオの品質を可能にする。
本発明の他の観点によれば、マルチチャンネルオーディオ信号を生成する方法であって、オーディオチャンネルの第1のセットを有する第1の信号を受け取ることと、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成することであって、上記推定パラメトリックデータは、上記オーディオチャンネルの第2のセットの特徴を上記オーディオチャンネルの第1のセットの特徴に関連付けることと、上記チャンネルの第2のセットを有する上記マルチチャンネルオーディオ信号を生成するために上記推定パラメトリックデータに応じて上記第1の信号を空間オーディオデコーダで復号することとを有する当該方法が提供される。
本発明の他の観点によれば、上記方法を実行するコンピュータプログラム製品が提供される。
本発明の他の観点によれば、マルチチャンネルオーディオ信号を生成する受信器であって、オーディオチャンネルの第1のセットを有する第1の信号を受け取る手段と、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、上記推定パラメトリックデータは、上記オーディオチャンネルの第2のセットの特徴を上記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、上記チャンネルの第2のセットを有する上記マルチチャンネルオーディオ信号を生成するために上記推定パラメトリックデータに応じて上記第1の信号を復号する空間オーディオデコーダとを有する当該受信器が提供される。
本発明の他の観点によれば、マルチチャンネル信号を符号化することによりオーディオチャンネルの第1のセットを有する第1の信号を生成するエンコーダと、上記第1の信号を送信する送信器と、上記第1の信号を受け取る手段と、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、上記推定パラメトリックデータは、上記オーディオチャンネルの第2のセットの特徴を上記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、上記チャンネルの第2のセットを有する復号されたマルチチャンネルオーディオ信号を生成するために上記推定パラメトリックデータに応じて上記第1の信号を復号する空間オーディオデコーダとを含む送信システムが提供される。
本発明の他の観点によれば、オーディオ信号を送信及び受信する方法であって、マルチチャンネル信号を符号化することによりオーディオチャンネルの第1のセットを有する第1の信号を生成することと、上記第1の信号を送信することと、上記第1の信号を受信することと、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成することであって、上記推定パラメトリックデータは、上記オーディオチャンネルの第2のセットの特徴を上記オーディオチャンネルの第1のセットの特徴に関連付けることと、上記チャンネルの第2のセットを有する復号されたマルチチャンネルオーディオ信号を生成するために上記推定パラメトリックデータに応じて上記第1の信号を空間オーディオデコーダで復号することとを有する当該方法が提供される。
本発明の他の観点によれば、上述したようなデコーダを有するオーディオ再生装置が提供される。
本発明のこれらの観点、特徴及び利点、並びにその他の観点、特徴及び利点は、以下に述べられる実施の形態から明らかであり、以下に述べられる実施の形態を参照して説明されるであろう。
本発明の実施の形態が、図面を参照して専ら例として説明される。
以下の説明は、ステレオ信号にダウンミックスされたマトリクス化サラウンドサウンド信号の復号に適用可能な本発明の実施の形態に焦点を当てている。しかしながら、本発明はこの用途に限定されるものではなく、種々の他の信号に適用され得ることが理解されるであろう。
図1は、本発明の幾つかの実施の形態に係るオーディオ信号の通信のための送信システム100を示している。この送信システム100は、具体的にはインターネットであり得るネットワーク105を介して受信器103に結合された送信器101を有している。
上記具体的な例では、送信器101は信号記録装置であり、受信器は信号再生装置103であるが、他の実施の形態においては送信器及び受信器が他のアプリケーションに用いられ得ること及び他の目的のために用いられ得ることは理解されるであろう。例えば、送信器101及び/又は受信器103は、トランスコーディング機能の一部であり、例えば他の信号の送信元又は送信先にインターフェースを与え得る。
信号記録機能がサポートされる上記具体的な例では、送信器101は、サンプリング及びアナログ−デジタル変換によりデジタルPCM信号に変換されるアナログ信号を受け取るデジタイザ107を有している。上記アナログ信号は、具体的には5.1サラウンドサウンドマルチチャンネル信号である。
上記送信器101は、符号化アルゴリズムに従ってPCM信号を符号化する図1のエンコーダ109に結合されている。具体的には、このエンコーダは、数式1のマトリクス演算を用いてダウンミックスされたステレオ信号を生成するマトリクスエンコーダである。従って、符号化された信号は、マトリクス符号化サラウンドサウンド信号である。
上記エンコーダ109は、上記符号化信号を受け取り、インターネット105にインターフェースで接続するネットワーク送信器111に結合されている。このネットワーク送信器は、インターネット105を介して受信器103に上記符号化信号を送信し得る。
上記受信器103は、インターネット105にインターフェースで接続し、送信器101から上記符号化信号を受け取るように設けられたネットワーク受信器113を有している。
上記ネットワーク受信器113は、デコーダ115に結合されている。このデコーダ115は、上記符号化信号を受け取り、それを復号アルゴリズムに従って復号する。
信号再生機能がサポートされるこの具体的な例では、受信器103は、デコーダ115からの復号されたオーディオ信号を受け取り、これをユーザに与える信号再生器117を更に有している。具体的には、信号再生器117は、上記復号されたオーディオ信号の出力のために必要に応じて、デジタル−アナログ変換器と、増幅器と、スピーカとを有している。
上述した実施の形態では、デコーダ115により用いられる復号アルゴリズムは、SAC復号要素を有している。分かりやすくするために、典型的なSACエンコーダの動作が最初に説明される。
図2は、典型的なSACエンコーダ200のブロック図を示している。このエンコーダ200は、直交ミラーフィルタ(QMF)バンク201により入力信号を分離した時間−周波数タイルに分割する。これらの時間−周波数タイルは、一般に「パラメータバンド」と呼ばれている。
各パラメータバンドに関して、SAC符号化素子203が、空間イメージの特性を表す幾つかの空間パラメータ、例えばチャンネル間のレベル差及び相互相関係数を決定する。パラメータの抽出に加えて、SAC符号化素子203は、上記マルチチャンネル入力信号からモノラル又はステレオダウンミックスもまた生成する。QMF合成バンク205により、これらの信号は時間ドメインに移される。結果として得られるダウンミックスは、ダウンミックスチャンネルとSAC符号化素子203により生成されたパラメトリックデータとを有するビットストリームを生成するビットストリームプロセッサ207に与えられる。好ましくは上記ダウンミックスもまた(通常のモノラル又はステレオ「コア」コーダを用いて)送信前に符号化され、また、上記空間パラメータと上記コアコーダのビットストリームとが単一の出力ビットストリームにまとめられる(多重化される)ことが好ましい。
上記動作のモードに依存して、上記パラメトリックデータのこのデータレートは、良好な品質のマルチチャンネルオーディオのための数キロビット/秒から始まり、ほぼ透明な品質のための数十キロビット/秒まで幅広いビットレートにわたり得る。
また、ステレオダウンミックスの場合、ユーザは、通常のステレオダウンミックス又はマトリクス化されたサラウンドシステムと互換性があるダウンミックスの選択権を有する。後者の場合には、エンコーダ200は、数式1のマトリクス化の手法を用いてマトリクス化サラウンドと互換のダウンミックスを生成する。代替として、エンコーダ200は、通常のステレオダウンミックスを扱うダウンミックス後処理ユニットを用いてマトリクス化サラウンドと互換のダウンミックスを生成し得る。この構成では、上記エンコーダは、パラメータ推定段により抽出される空間パラメータを用いて通常のステレオダウンミックスをマトリクス化サラウンドサウンドと互換性をもたせるために通常のステレオダウンミックスを変更するマトリクス化サラウンドポストプロセッサを有し得る。このような手法の利点は、マトリクス化サラウンド処理が空間パラメータを使用可能なデコーダにより完全に逆にされることである。
SACデコーダは、原則的には上記エンコーダの逆のプロセスを実行する。図3は、典型的なSACデコーダの一例を示している。SACデコーダ300は、上記ビットストリームを受け取り、それをダウンミックス信号とパラメトリックデータとに分割するスプリッタ301を有している。その後、復号されたダウンミックスは、SACエンコーダ200において利用されるパラメータバンドと同じパラメータバンドをもたらすようにQMF解析バンク303により処理される。空間合成段305は、スプリッタ301により抽出された上記パラメトリックデータを用いてマルチチャンネル信号を復元する。最後に、QMFドメイン信号が、最終的なマルチチャンネル出力信号をもたらすためにQMF合成バンク307により時間ドメインに移される。
このように、エンコーダ及びデコーダの両方がSAC機能を有するシステムでは、かなり低いデータレートに関して復号マルチチャンネル信号の高い品質が達成され得る。しかしながら、多くの既に実施されているシステム及び多くのオーディオマテリアルはSAC機能を活用していないので、上記恩恵は典型的には新しいシステム及び再符号化オーディオマテリアルに限定される。
図1の例では、デコーダ115は、非SACエンコーダ及び非SAC符号化マテリアルとともに用いられ得るSAC復号機能を有している。従って、デコーダ115は、再符号化又はSAC互換エンコーダを必要とすることなくSACの利点の幾つかを取り入れることができ、具体的にはデータレート比について著しく改善されたデータの品質をマルチチャンネル信号に与える。
図4は、図1のデコーダ115をより詳細に示している。デコーダ115は、オーディオチャンネルのセットを有する信号を受け取る受信器401を有している。具体的には、この受信器は、エンコーダ109によるサラウンドサウンド信号のマトリクス符号化によって生成された2チャンネルを有するビットストリームを受け取る。受信器401は、上記ビットストリームを受け取り、ダウンミックスステレオ信号の2つのチャンネルy,yを生成する。この具体的な例では、エンコーダ109は、2つのダウンミックスチャンネルのみを有するビットストリームを生成するサラウンド信号用の通常のマトリクスエンコーダであることに注意されたい。従って、この例では、ビットストリームは空間オーディオパラメータデータを有していない。他の実施の形態では、エンコーダ109は、例えばSACパラメトリックデータを伴うことなくマトリクスサウンド互換ステレオ信号を生成するSACエンコーダであり得る。
デコーダ115は、受信器401に結合されたSAC復号素子403を更に有している。このSAC復号素子403は、前述したようなSAC技術を用いてステレオダウンミックスチャンネルy,yを復号する。具体的には、SAC復号素子403の動作は、図3のSACデコーダ300に関して説明した動作に対応する。従って、SAC復号素子403は、エンコーダ109によりマトリクス符号化されたサラウンド信号に対応する出力サラウンドサウンド信号を生成する。
前述したように、上記ステレオダウンミックスチャンネルは、数式1において説明されたようにマトリクスエンコーダにより符号化されている。代替として、ダウンミックスチャンネルは、マトリクスサラウンド互換のダウンミックスを生成するために後処理ユニットを含むSACエンコーダ203により生成されてもよい。両方のケースにおいて、SAC復号素子403は、マトリクスサラウンドとの互換性のために上記エンコーダにより適用される動作を反転させる前処理ユニットを含み得る。
デコーダ115は、受信器401とSAC復号素子403とに結合された推定プロセッサ405を更に有している。この推定プロセッサ405は、上記出力サラウンド信号を生成するために用いられ得る推定パラメトリックデータを生成するように設けられている。具体的には、推定プロセッサ405は、SAC符号化が行われた場合にSACエンコーダがダウンミックスチャンネルのために生成したパラメトリックデータを推定する。従って、推定されるパラメトリックデータは、出力サラウンドチャンネルを生成するためにどのようにダウンミックスチャンネルが復号され得るかという情報を与えるので、出力サラウンドチャンネルの特徴を受け取ったダウンミックスチャンネルの特徴に関連付ける。
図4の例では、推定プロセッサ405は、推定パラメトリックデータが、出力サラウンドチャンネルを決定するためにSAC復号素子403が直接的に用いることができるSACデータに対応するよう該推定パラメトリックデータを生成する。
従って、デコーダ115は、マトリクス符号化されたサラウンドオーディオマテリアルを復号するためにSACの原理を用いる。推定プロセッサ405は、SAC復号素子403により用いられるデータを決定するために受け取ったステレオ入力信号の信号キュー(cue)を用いる。具体的には、推定プロセッサ405は、受け取ったステレオ信号のチャンネル間のキューを推定し、これをSAC復号素子403により直接的に用いられ得るSACキューにマップする。これは、具体的にはSAC復号素子403が通常のSACデコーダであることを可能にし、それにより、下位互換性を容易にし、設計及び開発の必要を減らし、SAC符号化信号及び非SAC符号化信号を復号するために同じ機能が用いられることを可能にする。従って、上記例では、必要とされるSACパラメータは、受け取った2チャンネルのダウンミックスの解析により得られるパラメータを用いてデコーダ側において生成される。
推定プロセッサ405は、ステレオダウンミックス信号に関して1つ又はそれ以上のパラメータを決定する解析プロセッサ407を有している。具体的には、この解析プロセッサ407は、ステレオダウンミックスチャンネルy,yに関するチャンネル間レベル差(ILD)の値及びチャンネル間相関係数(ICC)の値を生成する。
上記解析プロセッサ407は、上記ILD及びICC値を出力チャンネルに関連するSAC値にマップするマッピングプロセッサ409に結合されている。
このマッピングプロセッサ409は、具体的には、マトリクス符号化サラウンド信号に関するILD値及びICC値とオリジナルのサラウンドサウンドチャンネルに関する空間オーディオパラメータとの間に近い相関が概して存在する以前に知られていない予期しない事実を利用する。
マッピングプロセッサ409は、ステレオダウンミックスチャンネルy,yに対して出力サラウンドチャンネルに関するSACパラメータ値を決定するためにルックアップテーブルを簡単に用いることができる。決定されるILD及びICC値又はその類似物は、例えば量子化後にテーブルルックアップに関するアドレスとして用いられ得る。同等に、マッピングプロセッサ409は、入力パラメータとしてのILD及びICC値を持ち、出力パラメータとしての必要なSACパラメータを与える所定の関数を求めることができる。
このやり方では、マッピングプロセッサ409は、(例えば)出力サラウンドサウンドチャンネルに関する以下のSACパラメータを生成し得る。
・左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間レベル差
・右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間レベル差
・左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間相関係数
・右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間相関係数
・中央のチャンネルのようなチャンネルに関する1つ又はそれ以上の予測係数
・中央のチャンネルと出力サラウンドサウンドチャンネルの他のチャンネル(又はチャンネルの組み合わせ)との間のチャンネル間レベル差
具体的な例として、上記解析プロセッサ407は、ステレオダウンミックスチャンネルy,yのためにICC値及びILD値を生成し得る。その後、これら2つの値は、ルックアップテーブルのための固有のアドレスを生成するために用いられる。上記特定のアドレスには、典型的にはこれらICC及びILD値に関して生じるSACパラメトリック値が記憶されている。従って、マッピングプロセッサ409は、記憶されているデータ値を単に取り出し、それにより好適な推定パラメトリックデータを得る。このデータは、その後、SAC復号素子403に供給され、SAC復号素子403においてSACエンコーダにより生成される通常のSACデータと同じように用いられる。
あるILD及びICC値のための対応するSACパラメータ値が任意の好適なやり方で決定され得ることは理解されるであろう。例えば、多数の信号がマトリクス符号化及びSAC符号化の両方により符号化されるシミュレーションが行われ得る。その後、マトリクス符号化信号に関してICC及びILD値が求められ、SACエンコーダにより生成されるパラメトリックデータと比較される。上記データは、あるILD及びICC値に関して生じる可能性が最も高いSACパラメータを決定するために統計的に処理され、その後、ルックアップテーブルの適切な位置に記憶され得る。そのような解析は一度必要とされるだけであり、決定されたルックアップテーブルは多くのデコーダにより及び任意の受け取った信号のために用いられ得ることが理解されるであろう。
実際に、実験及びシミュレーションが、マトリクス符号化されたダウンミックスサラウンドサウンド信号のICC及びILD値とSAC符号化サラウンドサウンド信号に関するSAC値との間に近い相関が存在することを示している。従って、SACパラメータは、かなり高い精度で推定され、著しく改善された復号オーディオの品質が達成される。
図4の例では、推定プロセッサ405は、時間−周波数タイルに基づいて動作する。
具体的には、ステレオダウンミックスチャンネルy,yは、最初に、個々の時間−周波数タイルを生成するために複雑に変調されるQMFフィルタバンクにより処理される。そのような処理は、推定プロセッサ405とSAC復号素子403との間において共有されてもよく、例えばSAC復号素子403において実現され得ることが理解されるであろう。ある時間間隔の間にある周波数帯を包含する時間−周波数タイルの生成は、当業者にはよく知られており、詳細には説明されない(一例は、Breebaart J., van de Par, S., Kohlrausch, A., and Schuijers, E. (2005). Parametric coding of stereo audio. Eurasip J. Applied Signal Proc., 9: 1305-1322において見出される。)。
時間−周波数タイルは、ある周波数帯及び時間セグメントをグループ化することにより構築される。一般に、これらの時間−周波数タイルは、音響心理学の原理によれば、低周波数において相対的に狭く、高周波数においてより広い。対応する時間解像度は、典型的には11msと50msとの間である。
各生成された時間−周波数タイルに関して、解析プロセッサ407がステレオダウンミックスチャンネルy,yから2つのパラメータILD及びICCを生成する。具体的には、Y〔k,b〕が(複素数値の)フィルタの出力q及び時間サンプルkについての信号yに関するフィルタバンクの出力を表し、Y〔k,b〕がyに関する対応するQMFドメイン表現を表す場合、パラメータ帯域bに関するILDパラメータは、
Figure 2009501957
により与えられる。ここで、kに関する累積の範囲は、そのときの時間/周波数タイルの対応するQMF−ドメイン時間サンプルにわたって実行されるとともに、qに関する累積は、パラメータ帯域bに対応するフィルタバンク出力にわたって実行され、()は複素共役を意味している。
同様に、実数部を意味する
Figure 2009501957
を用いて、パラメータ帯域bに関するICC値は
Figure 2009501957
により与えられる。
ICC及びILD値の各ペアに関して、マッピングプロセッサ409が、その後、テーブルルックアップを行い、
・左前方チャンネルと左サラウンドチャンネルとの対応する時間−周波数タイルの間のILD
・右前方チャンネルと右サラウンドチャンネルとの対応する時間−周波数タイルの間のILD
・左前方チャンネルと左サラウンドチャンネルとの対応する時間−周波数タイルの間のICC
・右前方チャンネルと右サラウンドチャンネルとの対応する時間−周波数タイルの間のICC
・ダウンミックスから中央のチャンネルを生成するための予測係数
及び/又は
・中央のチャンネルと任意の他のチャンネル(ペア)との間のILD
を決定する。
従って、上記デコーダは、SACエンコーダによりもたらされるSACパラメトリックデータに対応する推定パラメトリックデータを供給される。
図5は、SAC復号素子403の構成要素をより詳細に示している。
SAC復号素子403は、第2のミキシングマトリクスユニット503及びディコレレ−タ(decorrelator)(D1ないしDm)のセット505のための入力部に入る信号を制御するプレミキシングマトリクスユニット501を有している。上記第2のミキシングマトリクスは、上記ディコレレ−タの出力及びプレミキシングマトリクス501の直接出力に基づいて出力信号を生成する。SACの動作は当業者にはよく知られており、明らかで簡略するために、ここでは更には説明されない。更なる詳細は、例えば、Herre等の「The reference model architecture for MPEG spatial audio coding」Proc. 118th AES convention, Barcelona, Spain, 2005において見出され得る。
推定プロセッサ405から受け取られ推定パラメトリックデータは、通常のSACパラメトリックデータであるかのようにプレミキシングマトリクスユニット501及び第2のミキシングマトリクスユニット503を制御するために用いられる。具体的には、プレミキシングマトリクスユニット501は、
Figure 2009501957
である場合に
Figure 2009501957
のように、入力信号y,yから3つの中間信号l,r及びcを生成するためにプレミックスマトリクスM1を用い得る。ここで、c及びcは、マッピングプロセッサ409により生成される空間パラメータ(予測係数)のうちの2つを表している。2つのディコレレ−タD及びD,505は、信号l及びrによりそれぞれ入力される。最後に、左前方,右前方,中央,左サラウンド及び右サラウンドチャンネルのための各出力信号l,r,c,l及びrは、hxy,zがマッピングプロセッサ409により生成されるILD及びICCパラメータに依存する状態で、すなわち
Figure 2009501957
である場合に、
Figure 2009501957
で、第2のミキシングマトリクスユニット503においてポストミックスマトリクスMを用いて生成される。すなわち、
Figure 2009501957
であり、
Figure 2009501957
である。
ここでは、ILD及びICCは、チャンネルのペアX(左前方/左サラウンド,右前方/右サラウンド)のためにマッピングプロセッサ409により生成されるILD及びICCパラメータを表している。
エンコーダポストプロセッサを用いてマトリクス−サラウンド互換モードにおいて動作するSACエンコーダの場合、対応するデコーダ側のプレプロセッサは、プレミキシングマトリクスユニット501に含まれ得る。この具体的な例では、代替のプレミキシングマトリクスが用いられてもよく、これは、オリジナルのプレミキシングマトリクスMとマトリクス−サラウンド互換反転マトリクスQとの組み合わせにより構成される。マトリクス−サラウンド反転マトリクスQが
Figure 2009501957
により与えられる場合、
Figure 2009501957
である。ここで、qxy,zは、マッピングプロセッサ409により生成されるパラメータの関数であり、g=g=0.577、パラメータの関数w及びw
Figure 2009501957
がマッピングプロセッサ409により与えられる状態で、
Figure 2009501957
である。
代替として、M1又はM1´の入力もマッピングプロセッサ409により直接的に生成されてもよく、これは上記の数式を省く。
上記の説明は受け取られる信号がSACパラメトリックデータを有していない実施の形態に焦点を当てたが、他の実施の形態においては、幾つかのパラメトリックデータが受け取られる信号に含まれ得る。例えば、上記受け取られる信号は、幾つかの出力チャンネルに関連するが他の出力チャンネルには関連しないパラメトリックデータを有し、推定パラメータはこれらの他のチャンネルのために用いられ得る。他の例として、上記推定パラメトリックデータは、例えば送信エラーのために破損したパラメトリックデータを取り換えるために用いられ得る。従って、上記推定パラメトリックデータは、エンコーダから受け取られる他のパラメトリックデータを強化し、補完するために用いられ得る。
また、上述した例の利点の1つは、SAC復号素子403が標準的なSAC復号技術を用いることができることであることが理解されるであろう。従って、SAC復号素子403は、SACエンコーダから受け取られる従来のSAC信号を復号するために同様に適用され得る。
具体的には、図1の伝送システム100は、幾つかの非SACエンコーダと幾つかのSACエンコーダとを有し得る。デコーダ115は、受け取った信号に応じてその動作を変更し得る。従って、非SAC信号が受け取られた場合、動作は上述の通りである。しかしながら、SAC信号が受け取られると、パラメトリックデータが単に抽出され、ダウンミックスチャンネルとともにSAC復号素子403に供給される。従って、非常に柔軟なデコーダが実現され得る。
図6は、本発明の幾つかの実施の形態に係るマルチチャンネルオーディオ信号を生成する方法を示している。この方法は、図4のデコーダ115に適用可能であり、図4を参照して説明される。
上記方法は、受信器401がオーディオチャンネルの第1のセットを有する第1の信号を受け取るステップ601で始まる。
ステップ601の後にはステップ603が続き、このステップ603では、推定プロセッサ405が、上記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのための推定パラメトリックデータを生成する。上記推定パラメトリックデータは、オーディオチャンネルの第2のセットの特徴をオーディオチャンネルの第1のセットの特徴と関連付ける。
ステップ603の後にはステップ605が続き、このステップ605では、SAC復号素子403が、チャンネルの第2のセットを有するマルチチャンネル信号を生成するために推定パラメトリックデータに応じて上記第1の信号を復号する。
明らかにするための上記説明は、種々の機能ユニット及びプロセッサを参照して本発明の実施の形態について述べたことが理解されるであろう。しかしながら、本発明を損なうことなく種々の機能ユニット又はプロセッサ間の機能の任意の好適な分配が用いられ得ることは明らかである。例えば、分離したプロセッサ又はコントローラにより実行されるように説明された機能が同一のプロセッサ又はコントローラにより実行され得る。従って、具体的な機能ユニットについての言及は、厳密な論理的又は物理的な構造又は組織を示しているのではなく、専ら上記説明された機能を与える好適な手段についての言及であると受け止められるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の好適な形態において実現され得る。本発明は、必要に応じて1つ又はそれ以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で動くコンピュータソフトウェアとして少なくとも部分的に実現され得る。本発明の実施の形態の素子及び構成要素は、任意の好適なやり方で物理的、機能的及び論理的に実行され得る。実際には、上記機能は単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実現され得る。そのようなものであるから、本発明は、単一のユニットにおいて実現されてもよいし、異なるユニット及びプロセッサの間に物理的及び機能的に分散されてもよい。
本発明は、幾つかの実施の形態に関連して説明されたが、本明細書に示された具体的な形態に限定されるように意図されてはいない。正しくは、本発明の範囲は添付の特許請求の範囲によってのみ限定される。更に、特徴が特定の実施の形態に関連して説明されているように見てとれるが、当業者であれば説明された上記実施の形態の種々の特徴が本発明に従って組み合わせされ得ることを理解するであろう。特許請求の範囲において、有するという用語は、他の構成要素又はステップの存在を排除するものではない。
また、個々に列挙されているが、複数の手段、構成要素又は方法のステップは例えば単一のユニット又はプロセッサにより実現され得る。加えて、個々の特徴が異なる特許請求の範囲に含まれているが、これらはできうる限り有利に組み合わせられてもよく、異なる特許請求の範囲に含まれているものは、特徴の組み合わせが実現可能及び/又は有利ではないことを意味するものではない。また、特許請求の範囲の1つのカテゴリーにおいて含まれる特徴は、このカテゴリーへの限定を意味するのではなく、特徴が必要に応じて他の特許請求の範囲のカテゴリーに等しく適用可能であることを示している。更に、特許請求の範囲における特徴の順序は、特徴が作用しなければならないいかなる具体的な順序をも意味するものではなく、特に、方法の特許請求の範囲における個々のステップの順序は、各ステップがこの順に実行されなければならないことを意味するものではない。正しくは、各ステップは任意の好適な順序で実行され得る。加えて、単数形の記載は複数形を排除するものではない。従って、「a」、「an」、「first」、「second」等の記載は複数形を除外するものではない。特許請求の範囲における参照符号は、単に明らかにする例として与えられており、任意のやり方で特許請求の範囲を限定するように解釈されるべきではない。
本発明の幾つかの実施の形態に係るオーディオ信号の通信のための送信システムを示している。 典型的なSACエンコーダのブロック図を示している。 典型的なSACデコーダの一例を示している。 本発明の幾つかの実施の形態に係るデコーダを示している。 本発明の幾つかの実施の形態に係るデコーダの素子を示している。 本発明の幾つかの実施の形態に係るマルチチャンネルオーディオ信号を生成する方法を示している。

Claims (20)

  1. マルチチャンネルオーディオ信号を生成するデコーダであって、
    オーディオチャンネルの第1のセットを有する第1の信号を受け取る手段と、
    前記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、前記推定パラメトリックデータは、前記オーディオチャンネルの第2のセットの特徴を前記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、
    前記チャンネルの第2のセットを有する前記マルチチャンネルオーディオ信号を生成するために前記推定パラメトリックデータに応じて前記第1の信号を復号する空間オーディオデコーダと
    を有する当該デコーダ。
  2. 前記第1の信号は、前記チャンネルの第2のセットに関連するパラメトリックオーディオデータを有していない請求項1記載のデコーダ。
  3. 前記推定手段は、前記オーディオチャンネルの第1のセットに関する第1のパラメータデータを決定する手段と、前記第1のパラメータデータを前記オーディオチャンネルの第2のセットのための前記推定パラメータデータにマッピングする手段とを有する請求項1記載のデコーダ。
  4. 前記第1のパラメータデータは、前記オーディオ信号の第1のセットの少なくとも2つのオーディオチャンネルに関する少なくとも1つのチャンネル間レベル差の値を有する請求項3記載のデコーダ。
  5. 前記第1のパラメータデータは、前記オーディオ信号の第1のセットの少なくとも2つのオーディオチャンネルに関する少なくとも1つのチャンネル間相関係数の値を有する請求項3記載のデコーダ。
  6. 前記マルチチャンネルオーディオ信号はサラウンドサウンド信号であり、前記推定パラメータデータは、
    ・前記チャンネルの第2のセットの左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間レベル差と、
    ・前記チャンネルの第2のセットの右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間レベル差と、
    ・前記チャンネルの第2のセットの左前方チャンネルと左サラウンドチャンネルとの間のチャンネル間相関係数と、
    ・前記チャンネルの第2のセットの右前方チャンネルと右サラウンドチャンネルとの間のチャンネル間相関係数と、
    ・前記オーディオチャンネルの第2のセットの中央チャンネルに関する予測係数と、
    ・前記チャンネルの第2のセットの中央チャンネルと他のチャンネルとの間のチャンネル間レベル差と
    より成る群から選択される少なくとも1つのパラメータを有する請求項1記載のデコーダ。
  7. 時間周波数タイルを生成する手段を更に有し、前記推定手段は、時間周波数タイルに関する前記推定パラメトリックデータを生成するように設けられた請求項1記載のデコーダ。
  8. 前記推定手段は、前記オーディオチャンネルの第2のセットのためのパラメトリックデータの対応する値に時間周波数タイルに関する前記オーディオチャンネルの第1のセットの少なくとも1つの信号の特徴のセットを直接的にマッピングする手段を有する請求項7記載のデコーダ。
  9. 前記空間オーディオデコーダは、前記推定パラメトリックデータに応じて決定されるパラメータを用いて少なくとも1つのマトリクス演算を行うように設けられた請求項1記載のデコーダ。
  10. 第2の信号に関するパラメトリックデータを抽出する手段を更に有し、前記空間オーディオデコーダは抽出された前記パラメトリックデータに応じて前記第2の信号を復号するように動作可能である請求項1記載のデコーダ。
  11. 前記第1の信号の特徴に応じて復号モードを選択する手段を更に有する請求項1記載のデコーダ。
  12. 前記オーディオチャンネルの第1のセットは、2つのオーディオチャンネルから成る請求項1記載のデコーダ。
  13. 前記第1の信号は、マトリクス符号化されたサラウンドサウンド信号である請求項12記載のデコーダ。
  14. マトリクス−サラウンド反転マトリクスと、前記推定パラメトリックデータに応じて前記マトリクス−サラウンド反転マトリクスの少なくとも1つの係数を決定する手段とを更に有する請求項13記載のデコーダ。
  15. マルチチャンネルオーディオ信号を生成する方法であって、
    オーディオチャンネルの第1のセットを有する第1の信号を受け取ることと、
    前記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成することであって、前記推定パラメトリックデータは、前記オーディオチャンネルの第2のセットの特徴を前記オーディオチャンネルの第1のセットの特徴に関連付けることと、
    前記チャンネルの第2のセットを有する前記マルチチャンネルオーディオ信号を生成するために前記推定パラメトリックデータに応じて前記第1の信号を空間オーディオデコーダで復号することと
    を有する当該方法。
  16. 請求項15記載の方法を実行するコンピュータプログラム製品。
  17. マルチチャンネルオーディオ信号を生成する受信器であって、
    オーディオチャンネルの第1のセットを有する第1の信号を受け取る手段と、
    前記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、前記推定パラメトリックデータは、前記オーディオチャンネルの第2のセットの特徴を前記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、
    前記チャンネルの第2のセットを有する前記マルチチャンネルオーディオ信号を生成するために前記推定パラメトリックデータに応じて前記第1の信号を復号する空間オーディオデコーダと
    を有する当該受信器。
  18. マルチチャンネル信号を符号化することによりオーディオチャンネルの第1のセットを有する第1の信号を生成するエンコーダと、
    前記第1の信号を送信する送信器と、
    前記第1の信号を受け取る手段と、
    前記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成する推定手段であって、前記推定パラメトリックデータは、前記オーディオチャンネルの第2のセットの特徴を前記オーディオチャンネルの第1のセットの特徴に関連付ける当該推定手段と、
    前記チャンネルの第2のセットを有する復号されたマルチチャンネルオーディオ信号を生成するために前記推定パラメトリックデータに応じて前記第1の信号を復号する空間オーディオデコーダと
    を含む送信システム。
  19. オーディオ信号を送信及び受信する方法であって、
    マルチチャンネル信号を符号化することによりオーディオチャンネルの第1のセットを有する第1の信号を生成することと、
    前記第1の信号を送信することと、
    前記第1の信号を受信することと、
    前記オーディオチャンネルの第1のセットの特徴に応じてオーディオチャンネルの第2のセットのために推定パラメトリックデータを生成することであって、前記推定パラメトリックデータは、前記オーディオチャンネルの第2のセットの特徴を前記オーディオチャンネルの第1のセットの特徴に関連付けることと、
    前記チャンネルの第2のセットを有する復号されたマルチチャンネルオーディオ信号を生成するために前記推定パラメトリックデータに応じて前記第1の信号を空間オーディオデコーダで復号することと
    を有する当該方法。
  20. 請求項1記載のデコーダを有するオーディオ再生装置。
JP2008522125A 2005-07-19 2006-07-12 マルチチャンネルオーディオ信号の生成 Active JP5171622B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05106612.4 2005-07-19
EP05106612 2005-07-19
PCT/IB2006/052368 WO2007010451A1 (en) 2005-07-19 2006-07-12 Generation of multi-channel audio signals

Publications (3)

Publication Number Publication Date
JP2009501957A true JP2009501957A (ja) 2009-01-22
JP2009501957A5 JP2009501957A5 (ja) 2009-09-10
JP5171622B2 JP5171622B2 (ja) 2013-03-27

Family

ID=37398669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008522125A Active JP5171622B2 (ja) 2005-07-19 2006-07-12 マルチチャンネルオーディオ信号の生成

Country Status (10)

Country Link
US (1) US8160888B2 (ja)
EP (1) EP1905006B1 (ja)
JP (1) JP5171622B2 (ja)
KR (1) KR101356586B1 (ja)
CN (1) CN101248483B (ja)
BR (1) BRPI0613734B1 (ja)
ES (1) ES2433316T3 (ja)
PL (1) PL1905006T3 (ja)
RU (1) RU2417458C2 (ja)
WO (1) WO2007010451A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529801A (ja) * 2013-07-30 2016-09-23 ディーティーエス・インコーポレイテッドDTS,Inc. 一定出力ペアワイズパニングによるマトリクスデコーダ

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
JP5154538B2 (ja) * 2006-03-29 2013-02-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ復号
CN102037507B (zh) 2008-05-23 2013-02-06 皇家飞利浦电子股份有限公司 参数立体声上混合设备、参数立体声译码器、参数立体声下混合设备、参数立体声编码器
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
KR101392546B1 (ko) * 2008-09-11 2014-05-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 마이크로폰 신호를 기반으로 공간 큐의 세트를 제공하는 장치, 방법 및 컴퓨터 프로그램과, 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치
US8023660B2 (en) 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
CN101673545B (zh) * 2008-09-12 2011-11-16 华为技术有限公司 一种编解码方法及装置
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
US20110123055A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Multi-channel on-display spatial audio system
KR101756838B1 (ko) * 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
SG185835A1 (en) * 2011-05-11 2012-12-28 Creative Tech Ltd A speaker for reproducing surround sound
BR112014012097B1 (pt) * 2011-11-23 2021-07-06 Koninklijke Philips N.V. sistema para a mixagem de sinais de áudio a partir de um ou mais dispositivos portáteis de usuário docados no dito sistema, host de docagem, e método para a mixagem de sinais de áudio a partir de um ou mais dispositivos portáteis de usuário docados em pelo menos dois hosts de docagem para a apresentação em um sistema de som de áudio
US20140129236A1 (en) * 2012-11-07 2014-05-08 Kenneth John Lannes System and method for linear frequency translation, frequency compression and user selectable response time
US9466301B2 (en) * 2012-11-07 2016-10-11 Kenneth John Lannes System and method for linear frequency translation, frequency compression and user selectable response time
CN117037811A (zh) 2013-09-12 2023-11-10 杜比国际公司 多声道音频内容的编码
TWI671734B (zh) * 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
KR101841380B1 (ko) * 2014-01-13 2018-03-22 노키아 테크놀로지스 오와이 다중-채널 오디오 신호 분류기
CN107430861B (zh) 2015-03-03 2020-10-16 杜比实验室特许公司 用于对音频信号进行处理的方法、装置和设备
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
CN113055789B (zh) * 2021-02-09 2023-03-24 安克创新科技股份有限公司 单声道音箱、在单声道音箱中增加环绕效果的方法及系统
CN113438595B (zh) * 2021-06-24 2022-03-18 深圳市叡扬声学设计研发有限公司 音频处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036925A2 (en) * 2003-10-02 2005-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compatible multi-channel coding/decoding
WO2005043511A1 (en) * 2003-10-30 2005-05-12 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697491B1 (en) 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
JP4478220B2 (ja) * 1997-05-29 2010-06-09 ソニー株式会社 音場補正回路
KR100335611B1 (ko) 1997-11-20 2002-10-09 삼성전자 주식회사 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치
US6823018B1 (en) 1999-07-28 2004-11-23 At&T Corp. Multiple description coding communication system
US7644003B2 (en) 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7451006B2 (en) 2001-05-07 2008-11-11 Harman International Industries, Incorporated Sound processing system using distortion limiting techniques
KR101016982B1 (ko) * 2002-04-22 2011-02-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 디코딩 장치
EP1671316B1 (en) 2003-09-29 2007-08-01 Koninklijke Philips Electronics N.V. Encoding audio signals
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
CN102163429B (zh) * 2005-04-15 2013-04-10 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036925A2 (en) * 2003-10-02 2005-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compatible multi-channel coding/decoding
WO2005043511A1 (en) * 2003-10-30 2005-05-12 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529801A (ja) * 2013-07-30 2016-09-23 ディーティーエス・インコーポレイテッドDTS,Inc. 一定出力ペアワイズパニングによるマトリクスデコーダ

Also Published As

Publication number Publication date
WO2007010451A1 (en) 2007-01-25
PL1905006T3 (pl) 2014-02-28
ES2433316T3 (es) 2013-12-10
CN101248483A (zh) 2008-08-20
BRPI0613734B1 (pt) 2019-10-22
CN101248483B (zh) 2011-11-23
RU2008106223A (ru) 2009-08-27
US20080201153A1 (en) 2008-08-21
US8160888B2 (en) 2012-04-17
EP1905006A1 (en) 2008-04-02
KR20080033993A (ko) 2008-04-17
KR101356586B1 (ko) 2014-02-11
EP1905006B1 (en) 2013-09-04
JP5171622B2 (ja) 2013-03-27
RU2417458C2 (ru) 2011-04-27

Similar Documents

Publication Publication Date Title
JP5171622B2 (ja) マルチチャンネルオーディオ信号の生成
US20200335115A1 (en) Audio encoding and decoding
RU2367033C2 (ru) Многоканальное иерархическое аудиокодирование с компактной дополнительной информацией
US9966080B2 (en) Audio object encoding and decoding
US8265284B2 (en) Method and apparatus for generating a binaural audio signal
US9478228B2 (en) Encoding and decoding of audio signals
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP5455647B2 (ja) オーディオデコーダ
KR20080107446A (ko) 멀티 채널 오디오 재구성에서 신호 셰이핑을 위한 개선 방법
KR20060109297A (ko) 오디오 신호의 인코딩/디코딩 방법 및 장치
Hold et al. Perceptually-Motivated Spatial Audio Codec for Higher-Order Ambisonics Compression
MX2008010631A (es) Codificacion y decodificacion de audio

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090813

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120423

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121225

R150 Certificate of patent or registration of utility model

Ref document number: 5171622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250