JP2017507621A - 複数のオーディオチャネルを生成する装置及び方法 - Google Patents

複数のオーディオチャネルを生成する装置及び方法 Download PDF

Info

Publication number
JP2017507621A
JP2017507621A JP2016562066A JP2016562066A JP2017507621A JP 2017507621 A JP2017507621 A JP 2017507621A JP 2016562066 A JP2016562066 A JP 2016562066A JP 2016562066 A JP2016562066 A JP 2016562066A JP 2017507621 A JP2017507621 A JP 2017507621A
Authority
JP
Japan
Prior art keywords
speaker
setup
virtual
speakers
energy distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016562066A
Other languages
English (en)
Other versions
JP6228689B2 (ja
Inventor
ボルス,クリスチャン
エルテル,クリスチャン
ヒルペルト,ヨハネス
クンツ,アヒム
フィッシャー,ミヒャエル
シュー,フローリアン
グリル,ベルンハルト
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2017507621A publication Critical patent/JP2017507621A/ja
Application granted granted Critical
Publication of JP6228689B2 publication Critical patent/JP6228689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

第1スピーカセットアップのための複数のオーディオチャネルを生成するための装置は、仮想スピーカ決定部とエネルギー分配計算部とプロセッサとレンダラーとによって特徴付けられる。仮想スピーカ決定部は、第1スピーカセットアップには含まれない仮想スピーカの位置を決定し、前記仮想スピーカを含む第2スピーカセットアップを得るよう構成される。エネルギー分配計算部は、前記仮想スピーカから前記第2スピーカセットアップ内の他のスピーカへのエネルギー分配を計算するよう構成される。プロセッサは、前記エネルギー分配を繰り返して、前記第2スピーカセットアップから前記第1スピーカセットアップへのダウンミックスのためのダウンミックス情報を得るよう構成される。レンダラーは、前記ダウンミックス情報を使用して前記複数のオーディオチャネルを生成するよう構成される。【選択図】図1

Description

本発明は、ラウドスピーカセットアップのための複数のオーディオチャネルを生成する装置及び方法に関するものである。
空間オーディオ符号化及び復号化のハードウエア及びソフトウエアは当業界において周知であり、例えばMPEG−サラウンド標準内で標準化されている。空間オーディオシステムは、幾つかのラウドスピーカと個別のオーディオチャネル、例えば左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル、及び低周波強化チャネルとを含む。各チャネルは、通常個別のラウドスピーカによって再生される。出力セットアップにおけるラウドスピーカの配置は、典型的には固定されており、例えば5.1フォーマット、7.1フォーマットなどに依存している。個別のフォーマットに依存して、ラウドスピーカの位置は定義される。幾つかのセットアップは、リスナーの位置の上方にラウドスピーカ位置を定義している。このラウドスピーカはまた、Voice-of-God (神の声:VoG)とも呼ばれる。幾つかのセットアップは、またリスナーの下方の位置でラウドスピーカを定義してもよい。それぞれ、このラウドスピーカはVoice-of-Hell (地獄の声:VoH)とも呼ばれ得る。ラウドスピーカセットアップのラウドスピーカ用のオーディオ信号を定義するオーディオチャネルを生成するために、ベクトルベース振幅パニング(VBAP)法が用いられても良い。VBAPは、スピーカセットのラウドスピーカを指し示すN個の単位ベクトルl1,・・・,lNを使用する。スピーカセットが3次元音響シーンを再生するよう構成されている場合には、そのスピーカセットは3Dスピーカセットと呼ばれる。デカルト単位ベクトルpによって与えられるパニング方向は、これらラウドスピーカベクトルの線形結合によって定義される。
Figure 2017507621
ここで、gnはlNに適用されるスケーリングファクタを示す。R3において、ベクトル空間は3つのベクトルベースによって形成される。よって、もしアクティブスピーカの数、つまり非ゼロのスケーリングファクタの数が3に制限されている場合には、(1)式は一般に行列反転によって解法され得る。実際、ラウドスピーカ間に三角形からなるメッシュを画定し、かつその間の領域についてこれら3要素を選択することによって実行される。これは、次式のように適用されるべきスケーリングファクタの解をもたらし得る。
Figure 2017507621
ここで、{n1,n2,n3}は、3つのアクティブスピーカを示す。最後に、パワー(羃)正規化された出力信号を確保する正規化が、最終のパニングゲインa1,・・・,aNをもたらす。
Figure 2017507621
MPEG−H復号器内に含まれるオブジェクトレンダラーは、所与のラウドスピーカ構成について、オーディオオブジェクトをレンダリングするためにVBAPを使用する。もしラウドスピーカセットアップが9.1スピーカセットアップのように、T0(“Voice-of-God”)ラウドスピーカを含まない場合には、リスナーの位置に対して35°より大きな仰角を持つオブジェクトは、上側ラウドスピーカのデフォルト仰角である35°の仰角に制限される。このような解決策は、現実的ではあるが、他方、再生される音響シーンを変化させる可能性もあるため、明らかに最適とは言えない。
9.1スピーカセットアップ、つまり9.1フォーマットに従うスピーカセットアップでは、上側半球を2つの三角形に分割するという代替案は非対称という結果をもたらすであろうし、リスナーの直上方にあるオブジェクトは2つの対向するラウドスピーカによって再生されるであろう。その結果として、スピーカセットアップの対称性にもかかわらず、例えば上側前方右側から上側後方左側へと動くようなオーディオオブジェクトは、そのオブジェクトが上側前方左側から上側後方右側へと動く場合とは異なって聞こえるであろう。このジレンマに対する解決策は、上側半球内に含まれるオブジェクトについて全ての上側ラウドスピーカが関与する、Nワイズパニングを使用することである。3個のラウドスピーカからN個のラウドスピーカへとVBAPパニングを拡張することは、Nワイズパニングと称される。近隣スピーカ間の関係は、例えばMPEG復号器によって計算される各三角形の各エッジによって特定されるグラフによって与えられ得る。これらの三角形は、例えばN個の頂点を持つ1つ以上の多面体を形成することによって取得され得る。1つの頂点は1つのスピーカによって形成されてもよい。各三角形は多面体の外表面から形成されてもよい。
VBAPパニング法は、全ての立体角について適切な三角形分割(triangulation)を必要とする。現在のMPEG−H 3D参照ソフトウエアでは、三角形分割は事前に計算され、固定数のスピーカセットアップについて集計された形式で付与される。これにより、現時点では、サポートされるスピーカセットアップが、所与のセットアップ又は配置が僅かに異なるセットアップだけに限定されてしまう。
ラウドスピーカ位置を定義しているオブジェクトフォーマットは、ユーザー例えばリスナーに対し、これら定義された位置にラウドスピーカを配置するよう誘導する。そのような要求は、例えばラウドスピーカがリスナーの回りに円形又は円弧状に配置するよう定義されている場合には、満足することが難しくなるかもしれない。幾人かのユーザー、特にフラットに居住しているユーザーは、ラウドスピーカセットアップを有する居室が円形ではなく長方形であり、ユーザーがラウドスピーカを部屋の中央ではなく壁際に配置したいと望むので、そのようなセットアップを修正変更するよう要求する。
したがって、例えば、オーディオ復号化概念にとって、より柔軟性のあるラウドスピーカセットアップを可能とすることが必要となる。
[1]Barber, C. Bradford; Dobkin, David P.; Huhdanpaa, H., "The quickhull algorithm for convex hulls," ACM Transactions on Mathematical Software, vol. 22, no 4, pp. 469-483, 1996.
本発明の目的は、オーディオ符号化のためのより柔軟性のある装置及び方法のための概念を提供することにある。
この目的は、独立項の主題によって解決される。
本発明のさらに有利な修正は、従属項の主題である。
本発明の実施形態は、第1スピーカセットアップのために複数のオーディオチャネルを生成する装置に関する。この装置は、第1スピーカセットアップに含まれない仮想スピーカ(imaginary speaker)の位置を決定するための仮想スピーカ決定部を含む。仮想スピーカの位置を決定することによって、仮想スピーカを含む第2スピーカセットアップが得られる。この装置は、仮想スピーカから第2スピーカセットアップ内の他のスピーカへのエネルギー分配(energy distribution)を計算するためのエネルギー分配計算部をさらに含む。この装置は、エネルギー分配を繰り返して、第2スピーカセットアップから第1スピーカセットアップへのダウンミックスのためのダウンミックス情報を得るためのプロセッサをさらに含む。この装置のレンダラーは、ダウンミックス情報を用いて複数のオーディオチャネルを生成するよう構成されている。
仮想の、つまり想像上の(ラウド)スピーカの位置を決定することによって、所定のフォーマットのためにフォーマットされた動画の3Dオーディオデータのようなオーディオデータは、あたかも現実のセットアップ(第1セットアップ)が幾つかのラウドスピーカ及び/又はそれらラウドスピーカの位置に関して、所定の構成と合致するかのように処理され得る、という事実を本発明者らは発見した。現実のラウドスピーカを制御するために、仮想の第2セットアップがエネルギー分配に従ってダウンミックスされ、その結果、第1セットアップ(現実に構成されるセットアップ)があたかも第2セットアップ(例えばあるフォーマットによって定義されるセットアップ)であったかのように制御され得る。
これにより、例えば個々のフォーマットによって定義されたオーディオチャネルを、リスナーの家で実現されたラウドスピーカの現実のセットアップへと適応させることが可能になる。
本発明のさらなる実施形態は、プロセッサがエネルギー分配に基づいてエネルギー分配行列を生成するよう構成された装置に関する。エネルギー分配行列の要素は、仮想スピーカから他のスピーカへのエネルギー分配を表現してもよい。プロセッサはエネルギー分配行列のパワー(羃)を計算するよう構成されている。エネルギー分配行列のパワーは、取得された行列の要素を、これら要素がさらなる処理においては無視できるように、所定の閾値へと減少又は収束させる。その結果、エネルギー分配行列のパワーに基づいて、ダウンミックス情報が取得されてもよい。このダウンミックス情報は、第2スピーカセットアップをシミュレートしている第1スピーカセットアップのラウドスピーカをどのように制御するかを示している。
本発明のさらなる実施形態は、近隣関係推定部(neighborhood estimator)を含むエネルギー分配計算部をさらに含む装置に関する。この近隣関係推定部は、仮想スピーカの近隣にある少なくとも1つのスピーカを決定するよう構成されている。エネルギー分配計算部は、仮想スピーカの少なくとも1つの近隣スピーカ(neighbor)に対する仮想スピーカのエネルギー分配を計算するよう構成されている。
仮想スピーカの近隣スピーカを決定することによって、第2ラウドスピーカセットアップがあるフォーマットのような所定のセットアップに従って構成され得るように、個々の仮想スピーカが任意の位置に配置されることが可能になる。さらなる利点は、近隣関係推定を繰り返したとき、変化する第1スピーカセットアップのために複数のオーディオチャネルが生成され得るという点である。それ故、同じ現実のラウドスピーカセットアップが、例えばある時は5.1マルチチャネル信号を再生し、別の時は7.1マルチチャネル信号を再生するよう適応され得る。
さらなる実施形態は、近隣関係推定部が仮想スピーカの近隣にある少なくとも2つのスピーカを決定するよう構成され、仮想スピーカの近隣にある少なくとも2つのスピーカの間のエネルギー分配が、所定の許容範囲の中で等しい、つまり均一に分布されているように、エネルギー分配計算部がエネルギー分配を計算するよう構成された、装置に関する。この所定の許容範囲とは、均一に分散された値の例えば0.1%、1%、又は10%の偏差であってもよい。
近隣スピーカ内で均一に分配されたエネルギーを計算することによって、エネルギー分配行列のパワー(羃)は確実に収束することができ、それにより、ダウンミックス情報の独特の結果が得られるようになる。
本発明のさらなる実施形態は、近隣関係推定部が仮想スピーカの近隣にある少なくとも2つのスピーカを決定するよう構成され、仮想スピーカの近隣にある少なくとも2つのスピーカの少なくとも1つが仮想スピーカである、装置に関する。その利点は、たとえ第1スピーカセットアップが2つ以上のスピーカによって第2スピーカセットアップとは異なっていても、ダウンミックス情報が得られ得ることである。
本発明のさらなる実施形態は、オーディオ復号器のフォーマット変換ユニットの一部である装置に関し、それにより、例えば第1スピーカセットアップを制御するためオーディオ復号器によって提供された幾つかのチャネルが、個々のフォーマットについて、より多数の又は最大数(例えばMPEG−Hのような標準によってサポートされた最大数)のオーディオチャネルから実際に存在するラウドスピーカの個数までダウンミックスされるようになる。
さらなる実施形態は、オーディオ復号器のオブジェクトレンダラーの一部である装置に関し、その装置はパンナーを含み、オブジェクトレンダラーが第1ラウドスピーカセットアップに従って幾つかのオーディオトチャネルを提供するよう適応される。
さらなる実施形態は、第1スピーカセットアップの妥当性情報(validity information)を提供するよう構成された装置に関する。
この実施形態の利点は、本装置が、例えばユーザーによって例えば家庭で実装される第1スピーカセットアップが適切なオーディオチャネルを供給され得るか否かを示し、又は、妥当性情報が、例えばラウドスピーカがスピーカ位置の許容範囲のような要件に合致するよう再配置されるべきか否かを示し得る点である。
さらなる実施形態は、1つのスピーカセットアップのための複数のオーディオチャネルを生成する装置と、その装置によって提供された複数のオーディオチャネルに従う複数のラウドスピーカとを含むオーディオシステムに関する。
その実施形態の利点は、例えば3D音響シーンを構成するためのオーディオシステムが実現されうることである。
本発明のさらなる実施形態は、第1スピーカセットアップのための複数のオーディオチャネルを生成する方法と、コンピュータプログラムとに関する。
以下に、本発明の実施形態について添付の図面を参照しながら詳細に説明する。
本発明の一実施形態に従う、第1スピーカセットアップのための複数のオーディオチャネルを生成する装置の概略ブロック図を示す。 本発明の一実施形態に従う、第1ラウドスピーカセットアップを形成する実際のスピーカと仮想スピーカとを含む例示的な第2スピーカセットアップの概略図を示す。 上方から見た透視図において、2次元平面に投影された図2の第2スピーカの概略図を示す。 本発明の一実施形態に従う、位置42に対する第1ラウドスピーカセットアップ14−1の斜視図を示す。 図4aの構成の平面図を示す。 図4aの第1スピーカセットアップと、円周上に形成され本発明の一実施形態に従う第2スピーカセットアップを形成する追加的な仮想スピーカと、の概略斜視図を示す。 図5aのシナリオにおける平面図を示し、円48の丸い形状を示す。 第1スピーカセットアップと仮想スピーカとを含む第2スピーカセットアップにおける斜視図を示す。仮想スピーカの位置は、本発明の一実施形態に従って計算された球面上に位置している。 図2に従う第2ラウドスピーカセットアップの概略図を示し、平面レイヤに対して直交するレイヤは、本発明の一実施形態に従うスピーカの近隣関係を明確化するために示されている。 本発明の一実施形態に従う装置の2つの選択肢を示すオーディオ復号器の概略ブロック図を示し、そのオーディオ復号器はMP4信号を復号化するために使用されて複数のオーディオ信号を取得する。 図8における第1選択肢として言及される装置の概略ブロック図である。 図8における第2選択肢として言及されるフォーマット変換ブロック1720の概略ブロック図である。 オーディオシステムの概略ブロック図を示す。
同一若しくは同等の構成要素又は同一若しくは同等の機能を有する構成要素は、異なる図面の中に記載されている場合でも、以下の説明において、同一若しくは同等の参照符号を用いて示されている。
以下の説明において、本発明の実施形態をより完全に説明するために、多くの詳細が述べられる。しかしながら、本発明の実施形態がこれらの特別な詳細なしでも実施可能であることは、当業者には自明であろう。他の例において、公知の構造及び装置は、本発明の実施形態の不明瞭さを防止する目的で、詳細よりもブロック図の形式で示されている。加えて、以下に記載する異なる実施形態の各特徴は、特に組合せ不可能の記載がない限り、互いに組み合せられてもよい。
図1は、第1スピーカセットアップ14のための複数のオーディオチャネル12を生成する装置10の概略ブロック図を示す。第1ラウドスピーカセットアップ14は、幾つかのラウドスピーカ16a〜16cを含む。ラウドスピーカ16a〜16cは、例えばリスニングルーム内に配置されてもよく、再生システムの一部分、例えば映画館又はホームシネマアプリケーションの一部であってもよい。第1スピーカセットアップ14は、現実に実在している。装置10は、第1ラウドスピーカセットアップ14に含まれない仮想スピーカ22の位置を決定するための仮想スピーカ決定部18を含む。仮想スピーカ決定部18は、仮想スピーカ22を含む第2スピーカセットアップ24を取得するよう構成されている。第2スピーカセットアップ24は、第1ラウドスピーカセットアップ14のラウドスピーカ16a〜16cの幾つか又は全てを含む。仮想スピーカ決定部18は、仮想スピーカ22が、あるフォーマットによって定義された位置に従った位置であって、1つのスピーカが配置されるべきであるが実際には配置されていない位置に配置されるように、仮想スピーカ22の位置を決定するよう構成されてもよい。仮想スピーカ決定部18により実行される決定は、セットアップ14及び24によって共有され若しくはそれらセットアップの中で同位置にあるスピーカの個数が最大化されるように、又は2つのセットアップ14及び24の最近隣のスピーカ同士間の平均距離が最小化されるように制御されてもよく、又は、ユーザーによって手動で制御されてもよい。
装置10は、仮想スピーカ22から第2スピーカセットアップ内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部26を含む。代替的又は追加的に、仮想スピーカ決定部18は、仮想スピーカ22が「変位された」スピーカ16a〜16cに近く配置されるように、仮想スピーカ22の位置を決定するよう構成されてもよく、それにより仮想スピーカは変位から生じる音響効果を修正することができる。
例えば、第1スピーカセットアップ14が5.1、7.1、9.1、11.2等のオーディオフォーマットに従うラウドスピーカ構成又はラウドスピーカセットアップを部分的に構築している場合には、仮想スピーカ22は構築されるべきフォーマットに関して第1ラウドスピーカセットアップ14において欠落しているスピーカであってもよい。
エネルギー分配とは、第2スピーカセットアップ24内の他のスピーカへ分配されている仮想スピーカ22のエネルギーの量又は割り当てを表している。換言すれば、エネルギー分配とは、仮想スピーカ22のエネルギーが、第2ラウドスピーカセットアップ24の残りのスピーカの中で割り当てられたときのエネルギーを示している。
装置10はさらにプロセッサ28を含む。プロセッサ28は、ブロック32によって示されるようにエネルギー分配を繰り返して、ブロック34内でMによって示されるようにダウンミックス情報36を得るよう構成されている。このダウンミックス情報は、第2スピーカセットアップ24のオーディオチャネルを第1スピーカセットアップ14へとダウンミックスするために使用されてもよい。換言すれば、ダウンミックス情報36は、第1ラウドスピーカセットアップ14のラウドスピーカ16a〜16cの制御を可能とし、その結果、仮想スピーカ22が現実のスピーカであれば少なくとも部分的に達成されるであろう音響シーンを取得可能にする。
装置10は、ダウンミックス情報36を使用して複数のオーディオチャネル12を生成するためのレンダラー38を含む。レンダラー38は、入力信号又は入力信号のセット39、例えば第2スピーカセットアップ24に対応し又は第2スピーカセットアップによって再生されるべく専用となっている幾つかのオーディオチャネルに対し、ダウンミックス情報38を適用するよう構成されている。レンダラー38は、ダウンミックス情報36を使用して、第2スピーカセットアップ24から第1スピーカセットアップ14へのダウンミックス36を取得するよう構成されている。換言すれば、レンダラー38は、仮想セットアップ24の(仮想の)オーディオチャネル39を現実の第1セットアップ14の現実のオーディオチャネル12へとダウンミックスすることによって、複数のオーディオチャネル12を決定するよう構成されている。
この実施形態の利点は、ラウドスピーカ16a〜16cがより広範なセットアップにマッチする場合に得られるであろう音響シーンが、ラウドスピーカ16a〜16cによって少なくとも部分的に生成される可能性があることである。このようにして、たとえ1つ以上のラウドスピーカ、例えばサラウンドスピーカが現実の第1スピーカセットアップ14において欠落していても、あるフォーマットの音響シーン、例えば3Dフォーマットが実現できる可能性がある。
装置10によって解決されるべき課題は、たとえあるフォーマットに関して妥当でない3Dセットアップであっても、例えば任意のスピーカセットアップにおいて3Dオーディオオブジェクトをレンダリングすることかもしれない。仮想スピーカを使用しても、現実のスピーカを含まない方向から音は生成されないが、妥当な解決策として認識され得る、スピーカを制御するための確定的解決策が(例えば自動的に)提供される。例えば、サラウンド左スピーカが存在しない場合に、前右チャネルを介するよりも前左チャネルを介してさらに大きな割り当てをもって、サラウンド左チャネルが再生されるとき、これが適用される。よって、この提案した装置及び方法は、フォールバック解決策(fallback solution)という意味でMPEG−Hに好適である。
代替的又は追加的に、第2スピーカセットアップ24の少なくとも1つの仮想スピーカの数、及び/又は、仮想スピーカ22及び/又はさらなる仮想スピーカの位置が、例えば表形式又はデータベースに含まれてもよい所定位置に従って決定されてもよい。代替的又は追加的に、仮想スピーカ22及び/又は少なくとも1つのさらなる仮想スピーカの位置は、第1スピーカセットアップ14及び/又は第2スピーカセットアップ24のスピーカ間の距離が実質的に等距離、又はオーディオフォーマット若しくは標準に対応するように、決定されてもよい。
換言すれば、装置10はVBAPパンナー又はそれに匹敵するパニング方法を使用する以下の構成要素を含んでも良い。
1.欠落し、及び/又は必要なラウドスピーカ位置を決定する構成要素
2.これら仮想スピーカの近隣スピーカを決定する構成要素
3.「エネルギー分配」の方法を使用してダウンミックスを実現し、かつ任意にはエネルギー正規化を実行する構成要素
つまり、例えばCDなどのデータ記憶手段に格納された音響シーンが6つのオーディオチャネルを含み、第1スピーカセットアップが2つのスピーカを含む場合には、この装置は欠落したラウドスピーカを決定するよう構成されてもよい。
「エネルギー分配行列」Mは、実質的な寄与とみなされてもよく、個々のエネルギーの個々の近隣スピーカへの分配を定義している。エネルギー分配行列は一定値を持つ縦列を含む必要はない。代替として、他の値を持つ構成もまた可能である。合計すると1になるように縦列の値を定義することが望ましい場合もある。エネルギー分配行列は、例えば図3に示されるようなエネルギー分配グラフに基づいていても良い。
図2は、第1ラウドスピーカセットアップ14−1を形成しているスピーカ16aと16bとを含む例示的な第2ラウドスピーカセットアップ24−1の概略図を示す。第2スピーカセットアップ24−1は4つの仮想スピーカ22a〜dを含む。第2スピーカセットアップ24−1は、仮想スピーカ決定部18であり得る仮想スピーカ決定部によって決定された結果であってもよく、リスナーの位置42に対して3D音響シーンを再生するための可能なスピーカセットアップであってもよい。第1スピーカセットアップ14−1が、例えば位置42から見て前方の壁に位置するステレオ構成である場合には、スピーカ16aはステレオ構成の左スピーカとして示され、スピーカ16bは右スピーカとして示され得る。仮想スピーカ決定部は、オーディオフォーマットのようなプリセットを行うよう構成されてもよい。スピーカ16aと16bの位置がオーディオフォーマットの予め定義された位置と可能な許容範囲内で合致している場合には、仮想スピーカ決定部は、スピーカ16a、16bの場所を予め定義された場所へと一致させることによって、仮想スピーカ22a〜dの位置を決定するよう構成されてもよい。スピーカ16a、16bによって占められていない場所は、仮想スピーカ22a〜dの場所として決定されてもよい。許容範囲は、5cm、50cm、若しくは5m、又は第1若しくは第2スピーカセットアップ14−1若しくは24−1の空間の1%,10%,若しくは30%のような絶対値であってもよい。
第2スピーカセットアップ24−1が、仮想の上側スピーカ(Voice-of-God:VoG)22a、位置42の下側に配置された下側スピーカ(Voice-of-Hell:VoH)22b、仮想サラウンド左(SL)スピーカ22c、及び仮想サラウンド右(SR)スピーカ22dを含んでいてもよい。仮想スピーカ22a〜dは「l」で目印が付けられている。代替的に、第1及び/又は第2のスピーカセットアップ14−1及び/又は24−1は、異なる数の現実の又は仮想のスピーカ16a〜b及び/又は22a〜dを含んでも良い。現実の及び/又は仮想のスピーカは、図示された場所とは異なる場所に配置されてもよい。
例えば、平面サラウンドセットアップ、つまりVoice-of-God及びVoice-of-Hellスピーカを有しないセットアップは、平坦なレイヤ44内に全てのスピーカがあるように定義されてもよい。リスニングルームの特性、又はTVスクリーンや窓などの他のオブジェクトの存在のような事情により、ラウドスピーカ16a、16b及び/又は22c〜dは、上側レイヤ46a及び/又は下側レイヤ46bによって示された許容範囲内に配置されてもよく、それらレイヤは、ラウドスピーカ16a、16b及び/又は22c、22dが配置され得る許容範囲の上側境界及び/又は下側境界を定義している。レイヤ46a、46bは、例えば位置42のラウドスピーカ16a、16b及び/又は22c、22dに対する最大角度によって定義されてもよい。例えば、スピーカ16a、16bはそれぞれ、5°以下、10°以下、20°以下、又は45°以下の角度αを持っていても良い。スピーカ16a、22cはレイヤ44に配置され、スピーカ16bはレイヤ46aに配置され、スピーカ22dはレイヤ46bに配置されている。代替的又は追加的に、スピーカはレイヤ46aと44との間、及び/又は44と46bとの間に配置されてもよい。換言すると、第1及び/又は第2のスピーカセットアップ14−1及び/又は24−1は、平面セットアップとして称される場合に、異なるレイヤに配置されてもよい。
仮想スピーカ22b(VoH)は位置42の直下方に配置されている。仮想スピーカ22a(VoG)は、位置42の上方の空間によって定義される上側半球内に配置されている。仮想スピーカ22aは前スピーカ16a,16bとの関係において位置42の前方に配置されている。換言すると、位置42に対して、仮想スピーカ22aは幾何学的平面(レイヤ44)の第1側に配置され、仮想スピーカ22bはその幾何学的平面の第1側とは反対側の幾何学的平面の第2側に配置されている。この幾何学的平面はスピーカ間の近隣関係を分離するよう構成されてもよい。例えば、スピーカ16a、16b、22c及び22dは、仮想スピーカ22a及び22bの近隣スピーカといえる(逆もまたあり得る)。境界46a、46bを含む幾何学的平面(レイヤ44)によって分離された場合には、仮想スピーカ22a、22bは「近隣スピーカなし」として記述され得る。
仮想スピーカ22a〜d間の矢印は、仮想スピーカ22a〜dから、第2セットアップ24−1の個々のスピーカ22a〜dの近隣にある隣接するスピーカへの可能なエネルギー分配を示している。エネルギー分配は、エネルギー分配計算部26のようなエネルギー分配計算部によって実行される。換言すると、仮想スピーカ22a〜dの各々のエネルギーは、仮想スピーカ22a〜dの各々の個別の近隣スピーカに対して、かつその中で分配される。2次元平面に投影されたスピーカの概略図が以下の図3で示されている。
図3は、上方から見た透視図において、2次元平面に投影された第1セットアップ14−1を含む第2スピーカセットアップ24−1の概略図を示す。図3は、仮想スピーカ22a〜dの各々からそれらの近隣スピーカへのエネルギー分配を示す誤差を介した接続によって、仮想スピーカ22a〜dの各々の近隣スピーカを示している。仮想スピーカの近隣スピーカは、エネルギー分配計算部26のようなエネルギー分配計算部の一部、又は仮想スピーカ決定部18のような仮想スピーカ決定部の一部であり得る近隣関係推定部によって決定されてもよい。代替的に、近隣関係推定部は、仮想スピーカ決定部とエネルギー分配計算部との間に配置されていてもよい。
仮想サラウンド左(SL)スピーカ22cは4つの近隣スピーカ、すなわち、前左(FL)スピーカ16a、VoGスピーカ22a、サラウンド右(SR)スピーカ22d、及びVoHスピーカ22bを持つ。仮想スピーカ22a〜dの各々のエネルギーは、仮想スピーカ22a〜dからその近隣スピーカへと分配され、そのエネルギー分配はエネルギー分配係数dxyによって表され、ここでxは分配されたエネルギーの起源を示し、yは分配されたエネルギーの受け取りスピーカを示す。前左スピーカ16aは指数1で示され、前右スピーカは指数2で示され、VoGスピーカ22aは指数3で示され、VoHスピーカ22bは指数4で示され、サラウンド左スピーカ22cは指数5で示され、サラウンド右スピーカ22dは指数6で示されている。
エネルギー分配係数dxyの各々は、エネルギー分配計算部によって独立して決定されてもよい。一実施形態によれば、エネルギー分配係数は2つの隣接するスピーカ間の距離に従って決定され又は計算される。代替的な実施形態によれば、エネルギー分配つまりエネルギー分配係数dxyは、エネルギーが均一に分配されるように計算される。この例示的なセットアップの中では仮想スピーカ22a〜dは4つの近隣スピーカを有するので、例えば1/4の等しいエネルギー分配係数に帰結してもよい。
換言すれば、この近隣関係グラフから開始して、エネルギー分配グラフとして示されてもよい重み付きかつ指向性を持つグラフが作成され得る。重み、つまりこのグラフのエネルギー分配係数dxyは、仮想ノード(スピーカ)22a〜dからそれらの近隣スピーカへと再分配される音響エネルギーの部分を表している。
エネルギー分配計算部、例えば図1に示されたエネルギー分配計算部26は、例えばDとして示されたエネルギー分配行列へとエネルギー分配係数を分類するよう構成されてもよい。上述の近隣関係グラフによれば、スピーカは指数FL,FR,VoG,VoH,SL,SRの順序によって例示的に分類される。その結果としてのエネルギー分配行列Dは次のように形成されてもよい。
Figure 2017507621
ここで、縦列および横列の数は指数1〜6に対応している。第1スピーカセットアップ14−1において表現されたステレオセットアップは、仮想スピーカ22a〜dを追加することによって、妥当な3Dスピーカセットアップへと変換されてもよい。
指数dxyは、この実施例では1/4、つまり0.25に設定される。指数1、2、5及び6を持つスピーカ16a、16b、22c、22dの近隣スピーカである仮想スピーカ22aを表している行列Dの第3縦列に関してみれば、行列Dは横列1、2、5、6において0.25の値を示している。
代替的に、仮想スピーカの近隣スピーカは、凸包(convex hull)から取得され得る三角形分割の頂点によって画定されてもよい。完全な平面サラウンドセットアップの場合、仮想スピーカの全ての近隣スピーカが実存するスピーカであれば、ダウンミックス行列の対応する縦列が各近隣スピーカについて一定値1/√Nを有してもよく、ここでNは近隣スピーカの個数を示す。
エネルギー分配は、例えば現実のスピーカセットアップには存在しない仮想スピーカ22a〜dが、どのようにして他のスピーカによって補償され得るかを計算するために使用されてもよい。
一実施形態に従う装置のプロセッサ、例えばプロセッサ28は、エネルギー分配を繰り返すよう構成されている。プロセッサはエネルギー分配を繰り返し、仮想スピーカ例えば22c〜dによって仮想スピーカ22aを部分的に補償するためにエネルギー分配が計算されてもよく、つまり仮想スピーカ22aのエネルギーが仮想スピーカ22c〜d及び実際のスピーカ16a、16bに割り当てられ又は再割り当てられる。仮想スピーカ22c〜dに割り当てられたエネルギー又は再割り当てられたエネルギーは、例えばプロセッサ28によって、それらの近隣スピーカへ再分配され、その結果、エネルギー分配の繰り返しにより、仮想スピーカ22a〜dのエネルギーは実際のスピーカ16a、16bへ割り当てられ、又は再割り当てられる。このことは、仮想スピーカ22aから再分配されるべきエネルギーを、仮想スピーカ22c〜dが「受け取る」ことを意味する。
繰り返しは、例えば行列Dのパワー(羃)を計算することによって実行されてもよい。プロセッサ28は、第2スピーカセットアップ24−1から第1スピーカセットアップ14−1へのダウンミックスに関するダウンミックス情報を取得するよう構成されている。ダウンミックス情報を取得するために、プロセッサは次のように表現されてもよいDのn乗の平方根(sqrt−演算子)を計算するよう構成されてもよい。
Figure 2017507621
ここで、Dは要素として分配重みdxyを持つエネルギー分配行列を示し、nは反復回数、つまり繰り返しの回数を示し、sqrt(・)は要素毎の平方根を示し、Mはダウンミックス行列として示され得る結果を示す。
例えば、20回の反復すなわち繰り返しの後、つまりn=20の後、以下のようなダウンミックス行列をもたらしてもよい。
Figure 2017507621
ここで、横列3、4、5、6は0の値を含み、これら値は切り捨て(rounded down)されたものである。行1と2は、仮想スピーカ22a〜dの存在がエミュレートされるよう操作された場合に、指数1(16a)及び指数2(16b)を持つスピーカについての情報を表している。
換言すると、エネルギー分配係数dxyを近隣スピーカの個数の逆数へと設定することによって、エネルギー保存が達成され、同時にアルゴリズムの収束(convergence)が確実になる可能性がある。
プロセッサは、ある固定値nについて、エネルギー分配行列Dのn乗を決定するよう構成されてもよい。代替的に、プロセッサはDの羃乗を反復的に計算するよう構成されてもよい。プロセッサは、例えばDをDで乗算し、その後その結果をDで乗算するなどして、Dの反復的に増大する羃を反復的に取得し、次にsqrt演算子を適用するよう構成されもよい。羃の固定された次元についてエネルギー分配行列の羃を計算した場合に、異なる第2スピーカセットアップの再現性とその結果として得られるダウンミックス情報が取得され得る。代替的に、エネルギー分配行列Dの羃を反復的に計算した場合に、結果として得られる行列の要素又はsqrt演算子の結果は、例えばある閾値と比較されてもよく、それらの要素がこのある閾値よりも低い場合には、それらの値はゼロに設定されてもよい。閾値は、例えば0.05、0.1、0.2又はその他の任意の値であってもよい。このような方法は、適切な結果が達成されれば即座に停止されるので、より短い演算時間とより低い演算量とをもたらす可能性がある。
換言すると、エネルギー分配行列のn乗を計算することは、エネルギー分配をn回適用することによって実施され得る。その平方根はエネルギー値を、ダウンミックス係数という意味で信号値へと適用され得る減衰値へと変化させる。エネルギー分配行列の羃の計算によって実施される反復は、仮想ラウドスピーカに対応する全ての横列が0に変換されるという結果をもたらし得る。
換言すると、各反復ステップにおいて、プロセッサによって実施されるアルゴリズムは、所与の重みに従ってこれらエネルギー部分を再分配するよう適応される。仮想ノードのエネルギーの総量が所与の閾値を下回るまで、この操作が繰り返される。実存するスピーカについて再分配されたエネルギーを収集するノードの平方根は、最終的にダウンミックス行列Mの要素をもたらす。レンダラー38であってもよいレンダラーは、より多数のオーディオチャネルを現実のスピーカの個数へとダウンミックスするために、ダウンミックス行列M及び/又はダウンミックス情報39のようなダウンミックス情報を適用するよう構成されてもよい。
ダウンミックス行列の目的は、追加された仮想スピーカを除去するため、及び計算されたゲインを実存するスピーカへと限定するためとみなされても良い。例えば、所与のスピーカセットアップが高位スピーカ(height speakers)も後側スピーカ(rear speakers)も含まない場合には、リスナーの上方にある追加された仮想スピーカもまた、仮想の後側スピーカの近隣スピーカになるであろうし、その逆もあり得るであろう。
VBAPは全てのパニング方向について、正のパニングゲインをもたらす3つの独立した基本ベクトルを必要とする。これは、3つのベクトルによって生成される座標系の原点が、多面体の内側にある必要があり、かつその表面の一部ではないことを意味する。それ故、所与のスピーカセットアップが妥当な3Dセットアップである場合に、全ての三角形の距離がある閾値を超えているかどうかを検査することにより、妥当性検査が実行されてもよい。レンダラーは、そのような妥当性検査と、妥当でないスピーカセットアップを取り扱う方策とを実行することにより、任意のスピーカ位置を持つ新たなスピーカセットアップをサポートするよう構成されてもよい。例えば、レンダラーは現実のスピーカの再配置を示しても良く、それにより再配置されたスピーカが仮想スピーカの妥当な位置を可能にする。
平面スピーカセットアップ又は如何なる後側スピーカも有しないセットアップは、明らかに妥当な3Dセットアップとは言えない。レンダラーは、ダウンミックスを実行することによってそのようなセットアップをサポートするための最善努力方法を提供するよう構成されてもよい。図2のセットアップ14−1に対して、頂部と底部とにそのような非実在の仮想スピーカを追加することによって、平面セットアップは妥当な3Dセットアップへと転換され得るであろう。欠落位置にそのような非実在のスピーカを配置し、そのスピーカをその近隣スピーカへとダウンミックスすることによって、第1セットアップ14−1を制御するための方策が取得され得る。
図4aは、位置42に関する第1ラウドスピーカセットアップ14−1の斜視図を示す。以下の図5及び図6は、仮想スピーカの位置の決定を実施するための仮想スピーカ決定部の可能な方法を説明するであろう。
図4bは、図4aの構成の平面図を示す。
図5aは、仮想スピーカ22b、22dと共に全体として第2スピーカセットアップ24−2を形成している、図5aの第1スピーカセットアップ14−1の概略斜視図を示す。仮想スピーカ22b、22dの位置は、第1スピーカセットアップ14−1の両スピーカ16a、16bを含む円48を描くことによって、例えば仮想スピーカ決定部18のような仮想スピーカ決定部によって取得されてもよい。7.1のような幾つかのフォーマットは、円内に位置42を持つ円上にラウドスピーカ位置を定義しているので、この方法は仮想スピーカ22b、22dの位置を決定するための適切な解決法であり得る。
図5bは、図5aのシナリオにおける平面図を示し、円48の丸い形状を示している。例えば再生されるべき音響シーン内の音響オブジェクトをレンダリングするためのオブジェクトレンダラーの一部である仮想スピーカ決定部は、所与のセットアップについて手動で選択された三角形分割に加えて、三角形分割アルゴリズム(triangulation algorithm)を実施するよう構成されてもよい。例えば、ドローネー三角形分割(Delaunay triangulation)はこの問題に対して良好な解決策を提供するかもしれない。なぜなら、三角形分割はボロノイ図(Voronoi diagram)の双対グラフに対応するからである。代替的又は追加的に、仮想スピーカ決定部は、仮想スピーカ22b、22dの個々の位置と位置42との間の角度β1及び/又はβ2、及び/又は例えば0°のような基準角49を考慮して、仮想スピーカ22b、22dの位置を決定するよう構成されてもよい。よって、中心位置(0°)から60°のような構成が実施されてもよい。
図6は、第1スピーカセットアップ14−1と仮想スピーカ22b、22d、22aとを含む第2スピーカセットアップ24−3の斜視図を示す。仮想スピーカ22b、22dは、それらの位置に関して図5a及び5bで示されたものと同じである。仮想スピーカ22aの位置は、例えば円48に基づいた球面52を計算することによって発見されてもよい。球面52は、例えばスピーカ16a、16b、22c及び22d又は第1スピーカセットアップ14−1(所与の頂点集合)の凸包を計算することによって、計算されてもよい。この凸包は、例えば非特許文献1に記載のように、O(N*log(N))の平均演算量とO(N2)の最悪計算量とを有するQuickHullアルゴリズムによって決定されてもよく、ここでOは演算量の度数(degree of complexity)を示す。QuickHullアルゴリズムは、スピーカの近傍物について言及する情報を提供するよう適応される。代替的実施形態は、例えば分割統治法(Devide and Conquor algorithm)やギフト包装法(Gift Wrap algorithm)のような他のアルゴリズムを使用する。
QuickHullアルゴリズムはかなり簡易であり、かつ全ての頂点つまりスピーカが1つの球面上に配置されるという事実により、さらに簡易化され得る。簡易なアルゴリズムは、参照ソフトウエアのような現存する枠組みへの組み込みを可能にする。三角形分割アルゴリズムを利用することによって、MPEGフォーマットに従い要求される三角形は、全ての表面が必要であれば三角形にサブ分割されるような多面体を形成することによって取得され得る。全ての頂点、つまりラウドスピーカ位置が球面上に許容範囲をもって配置されるので、ドローネー解決法は所与の頂点集合の凸包を計算することによって発見され得る。
本発明の一実施形態に従って複数のオーディオチャネルを生成する装置は、第1スピーカセットアップ14−1のラウドスピーカの位置の妥当性を決定するよう構成されている。例えば第1スピーカセットアップが3つ以上のラウドスピーカを含む場合には、仮想スピーカ決定部は、全てのラウドスピーカが円環路上にある許容範囲をもって配置されているかどうか、又はラウドスピーカが位置42に関して1つのレイヤ内にある許容範囲をもって配置されているかどうかを決定するよう構成されてもよい。
換言すれば、例えばドローネー三角形分割に従う空円特性(empty circle property)が三角形分割にとって十分な条件であるかも知れない。この条件は、他の頂点つまりラウドスピーカが、どの三角形の外接円内にも配置されていないことを必要とする。頂点は1つの球面上に配置されているので、この条件に違反する頂点は、考慮対象の表面の外側に配置されるであろうし、外殻はこの領域において凸状とはならないであろう。結果として、QuickHullアルゴリズムのような凸包アルゴリズムは、スピーカセットアップの妥当性についての情報を提供し得る、ドローネー三角形分割の十分な「空円」条件を満たす。追加的に、仮想スピーカ決定部、又は、例えば近隣関係推定部は、ドローネー三角形分割及び/又は凸包を提供するアルゴリズムに従って、仮想スピーカの位置又は近隣関係を決定するよう構成されてもよい。
QuickHullアルゴリズムは、例えばvoice-of-godを有する又は有しない3Dセットアップに対し、Nワイズパニングを適用するよう使用されてもよい。QuickHullアルゴリズムを使用することによって、任意の3Dスピーカセットアップについて三角形分割法が提供されることができ、任意の(妥当でない場合も含めて)スピーカセットアップがこの提案されたエネルギー分配方法を使用してサポートされることができる。
上側ラウドスピーカレイヤの上方にあるオーディオオブジェクトについて、セットアップがvoice-of-godを含まない場合に、参照モデル0(RM0)において実施されるように仰角を制限することに代えて、例えば1つ又は全ての高位スピーカ(elevated speakers)が使用されてもよい。これはNワイズパニングによって実行され得る。追加的な演算量は無視できる程小さくできる。
それ故、所与のセットアップについて、例えば、音響オブジェクトをレンダリングするための個々のオブジェクトレンダラーが、手動で選択された三角形分割に加えて三角形分割アルゴリズムを含む場合にも、任意の3Dスピーカセットアップがサポートされ得る。それら所与のセットアップは、ラウドスピーカセットアップによって再現されるそれぞれのフォーマットによって定義され得る。
図7は、図2に従う第2ラウドスピーカセットアップ24−1の概略図を示し、そこではレイヤ44に対して直交するレイヤ54が示されている。スピーカ16a、16bは幾何学的平面54の第1側に配置されている。仮想スピーカ22b、22dは幾何学的平面54の第1側とは反対側に配置されている。仮想スピーカ22aは幾何学的平面54の第1側に沿って配置されている。
仮想スピーカをスピーカ16a及び/又は16bの側とは幾何学的平面54の反対側に配置することによって、3次元音響シーンが所定のリスナー位置42において再生され得る。簡単に言えば、第2スピーカセットアップ24−1は、リスナーの前方(スピーカ16a、16b)と、リスナーの後方(スピーカ22b、22d)と、リスナーの下方(スピーカ22b)と上方(スピーカ22a)とに、スピーカをエミュレートする。
図8は、MP4信号を復号化して複数のオーディオ信号12−1を取得するために使用され得るような、オーディオ復号器の概略ブロック図を示す。
後処理部1700はバイノーラルレンダラー1710又はフォーマット変換器1720として実施され得る。代替的に、データ1205の直接出力、つまりオーディオチャネルは、1730として示されるように実施されてもよい。従って、復号器内の処理は、22.2や32のような最大数のチャネルに対して柔軟性を持つよう実行し、その後より小さいフォーマットが必要な場合には後処理を行うことが望ましい。
オブジェクト処理部1200は、SAOCデコーダ(SAC=空間オーディオ符号化)1800を含んでも良く、このSAOCデコーダはコアデコーダと関連するパラメトリックデータとによって出力された1つ以上のトランスポートチャネルを復号化し、解凍されたメタデータ(decompressed metadata)を使用して複数のレンダリング済みオーディオオブジェクトを得るよう構成されている。この目的で、OAM出力がボックス1800に接続されている。
さらに、オブジェクト処理部1200は、オブジェクトレンダラー1210によって示されるように、コアデコーダによって出力された復号化済みオブジェクトをレンダリングするよう構成されており、その復号化済みオブジェクトは、SAOCトランスポートチャネルに符号化されたものではなく、典型的には単一チャネル化された要素に個別に符号化されたものである。さらに、復号器は、ミキサーの出力をラウドスピーカへ出力するための出力1730に対応する出力インターフェイスを備えている。
オブジェクト処理部1200は、1つ以上のトランスポートチャネルと、符号化済みオーディオオブジェクト又は符号化済みオーディオチャネルを表す関連するパラメトリックサイド情報とを復号化するための、空間オーディオオブジェクト符号化デコーダ1800を備えても良く、この空間オーディオオブジェクト符号化デコーダは関連するパラメトリックサイド情報と解凍されたメタデータとを、例えばSAOCの初期バージョンにおいて定義されているように、出力フォーマットを直接的にレンダリングするために使用可能な変換済みパラメトリックサイド情報へと変換するよう構成されている。後処理部1700は、復号化済みトランスポートチャネルと変換すみパラメトリックサイド情報とを使用して、出力フォーマットのオーディオチャネルを計算するよう構成される。後処理部によって実行される処理は、MPEGサラウンド処理と同様であり得るか、又はBCC処理等のような他の如何なる処理と同様であり得る。
オブジェクト処理部1200は、(コアデコーダによって)復号化されたトランスポートチャネルとパラメトリックサイド情報とを使用して、出力フォーマットのためにチャネル信号を直接的にアップミックスしかつレンダリングするよう構成された、空間オーディオオブジェクト符号化デコーダ1800を備えてもよい。
オブジェクト処理部1200は、チャネルとミックスされたプリレンダリング済みオブジェクトが存在する場合に、入力としてUSACデコーダ1300により直接的に出力されたデータを受信するミキサー1220をさらに含む。追加的に、ミキサー1220は、SAOC復号化を行わずにオブジェクトレンダリングを実行するオブジェクトレンダラーからのデータを受信する。さらに、ミキサーはSAOCデコーダ出力データ、つまりSAOCレンダリング済みオブジェクトを受信する。
ミキサー1220は、出力インターフェイス1730とバイノーラルレンダラー1710とフォーマット変換器1720とに接続されている。バイノーラルレンダラー1710は、頭部関連伝達関数又はバイノーラル室内インパルス応答(BRIR)を使用して、出力チャネルを2つのバイノーラルチャネルへとレンダリングするよう構成されている。フォーマット変換器1720は、出力チャネルを、ミキサーの出力(データ)チャネル1205よりも少数のチャネルを持つ出力フォーマットへ変換するよう構成されており、フォーマット変換器1720は、5.1スピーカなどのような再生レイアウトに関する情報を必要とする。
選択肢1では、次の図9に示されるように、複数のオーディオチャネル12−1を生成する装置は、例えばオブジェクトレンダラー1210の一部であってもよい。次の図10に示される選択肢2のように、複数のオーディオチャネル12−2を生成する装置は、例えば幾つかのチャネル1205を複数のオーディオチャネル12−2へとダウンミックスする、フォーマット変換ブロック1720の一部であってもよい。選択肢1を適用する場合、複数のオーディオチャネル12−1はミキサー1220の出力で取得されてもよい。その出力は、例えば複数のラウドスピーカを含むラウドスピーカシステムと接続可能なコネクタであってもよい。
選択肢2を適用する場合、複数のオーディオチャネル12−2は例えばフォーマット変換ブロック1720の出力において取得されてもよい。フォーマット変換ブロック1720は、例えば5.1フォーマットなどのチャネル1205に基づいて出力されるべきフォーマット選択を可能とするスイッチを含む装置として構成されてもよい。フォーマット変換ブロック1720はミキサー1220と接続されてもよく、それにより、フォーマット変換ブロック1720の入力がMPEGのような標準又はフォーマット族の例えば32のような最大数のチャネルであってもよい。
換言すれば、復号器内での信号処理を変更するだけで、ビットストリームシンタックスを変更せずに済むことが可能になる。参照モデル0(RM0)は、以下の新たな特徴によって拡張されてもよい。
図9は、図8において選択肢1として言及された装置10−1の概略ブロック図を示す。装置10−1は、音響シーン内で再生されるべきオブジェクトに関するデータ又は情報を受信するよう構成されている。装置10−1のパンナー56は、オブジェクトに関するデータに基づいてパニング係数を計算するよう構成されている。パニング係数の数は、オーディオ標準又はフォーマットに従って音響シーンを再生するために決定されたラウドスピーカの数と等しくても良い。例えば、5.1フォーマットに関して言えば、これは6個のラウドスピーカの数であってもよい。換言すると、パニング係数はオブジェクトによって放射された音に対するスケーリングファクタを示しており、ここでパニング係数は、オブジェクトの位置又は方向をリスナーの位置に関して決定するため、例えば音圧レベルに関してラウドスピーカ信号をスケールするよう適応される。
仮想スピーカ決定部18であってもよい仮想スピーカ決定部18−1は、1つ以上の仮想スピーカの位置を決定するよう構成されている。例えば、図8を参照すれば、仮想スピーカによって表現されるべきスピーカの決定は、例えば特定のフォーマットによって表現された特定のリスニング体験が選択された場合に、取得されてもよい。それに基づいて、ミキサー又はデコーダに接続されるラウドスピーカの数が考慮されてもよい。そのフォーマットに従って実装されるべき各スピーカであって、ミキサー又はデコーダには接続されないスピーカが、仮想スピーカとして選択されてもよい。
エネルギー分配計算部26であってもよいエネルギー分配計算部26−1は、取得された第2スピーカセットアップにおいて、1つの仮想スピーカ又は複数の仮想スピーカから他のスピーカへのエネルギー分配を計算するよう構成されている。プロセッサ28であってもよいプロセッサ28−1は、エネルギー分配を繰り返し、例えば第2スピーカセットアップから第1スピーカセットアップへのダウンミックスのためのダウンミックス行列Mを計算することによって、ダウンミックス情報を取得するよう構成されている。よって、パニング係数の数は、オーディオチャネル12−1の数より大きくても良い。プロセッサ28−1は重み付けファクタを、例えばレンダラー38であるレンダラー38−1へと出力するよう構成されている。レンダラー38−1は、重み付けファクタと個々のオブジェクトの音又はノイズとに従って、複数のオーディオチャネル12−1を生成するよう構成されている。音又はノイズ信号は、例えばモノラル信号として提供されてもよい。そして、レンダラー38−1はダウンミックス情報とパニング係数とに基づいて複数のオーディオチャネル12−1を生成するよう構成され、ここで関数関係は重み付けファクタによって少なくとも部分的に表現されてもよい。
この実施形態の利点は、オブジェクトレンダラー1210内に複数のオーディオチャネル12−1を生成する装置を構成することによって、複数のオーディオチャネル12−1が、実装されたハードウエアセットアップと適合するように取得され得ることである。オーディオチャネルの最大数が32であって、オーディオチャネルの必要数が6である場合、必要とされないオーディオチャネルの数、例えば26は、演算労力が削減されるように、処理の間中、スキップされてもよい。
図10は、複数のオーディオチャネル12−2を生成する装置10−2を含む、図8に示されたフォーマット変換ブロック1720のブロック概略図を示す。装置10−2は幾つかのチャネル1205を複数のオーディオチャネル12−2へとダウンミックスするよう構成されている。
この実施形態の利点は、フォーマット変換ブロック1720が、例えば図8に示された復号器のように、復号器に取り付けられ又は包含されてもよいことであり、その一方で、復号器自体は変更せずに済み、復号器によって出力されるチャネル1205に基づいて必要とされる出力フォーマットに従って、復号化済みのオーディオとオーディオチャネルとをダウンミックスすることである。
図11は、例えば装置10、装置10−1又は装置10−2であるか、又はそれを含む装置112を含むオーディオシステム110の概略ブロック図を示す。オーディオシステム110は、2つのラウドスピーカ16a、16bを含む。装置112は、2つのスピーカ16a,16bが位置42において5つのスピーカ16a、16b、22a〜cの存在をエミュレートするように、複数のオーディオチャネルを生成するよう構成されている。
さらなる実施形態は、6、10、13、32又はそれ以上のようなさまざまな数のラウドスピーカと、そのラウドスピーカの数に従って複数のラウドスピーカ信号(オーディオチャネル)を生成するための装置と、を備えるオーディオシステムを示している。複数のラウドスピーカは、複数のオーディオチャネルを受信し、これら複数のオーディオチャネルに基づいて複数の音響信号を提供するよう構成されている。オーディオチャネルの数は、制御されるべきスピーカの数と等しくても良い。
この実施形態は、例えば妥当性検査を含む所定のスピーカセットアップについてだけでなく、任意の3Dセットアップにおいても、オブジェクトのレンダリングを可能とする。これは、例えばQuickHullアルゴリズムを参照ソフトウエア、例えばMPEG−H 3D参照モデル(RM)0に統合することによって、実行されてもよい。エネルギー分配法は、妥当な3Dセットアップであり得るが、妥当であることが必要でないような任意のセットアップ上でオブジェクトのレンダリングを可能とする。これは、以下のステップを含む。
1.追加的仮想スピーカを持つ拡張されたスピーカセットアップのためのVBAPゲイン(重み付けファクタ)を計算する。
2.反復の間に計算されたダウンミックス行列を適用する。
3.ダウンミックス済みVBAPゲインに対してエネルギー正規化を適用する。
この手順は、所与(任意)のセットアップに適用される対応するフォーマットの規則がない場合に、例えば最終手段として、フォーマット変換器によって適用されてもよい。このことは、如何なる所与のセットアップについてもレンダラーが容易に信号を生成できるという有利な特性を付加し得る。この方法は、例えばCのようなプログラミング言語内でコードをプログラミングすることによって実行されてもよい。
換言すれば、装置10は、妥当でない3Dセットアップであり得る任意のスピーカセットアップについて、個々のフォーマットに従ってオブジェクトベースのMPEG−Hデータストリームに基づいて、適切なオーディオ信号(オーディオチャネル)を取得するよう構成されてもよい。式2を参照した場合、幾つかの係数gがダウンミックスされる。係数gはVBAP係数として表されても良い。
現実の及び仮想のスピーカの位置は、図2において例示的に説明されたように、許容範囲内で決定されてもよい。そのような閾値は、また他の幾何学的平面及び/又は凸包のような外殻上の場所や配置に適用される。
これまで幾つかの特徴を符号化又は復号化装置の文脈で説明してきたが、これら特徴はまた対応する方法の記述を表現していることは明白であり、そこではブロック又は装置は方法ステップ又は方法ステップの特徴に対応している。同様に、方法ステップの文脈で説明された特徴はまた、対応するブロック又は項目の説明、又は対応する装置の特徴を表現している。
ある実装要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納された電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM又はフラッシュメモリなどのデジタル記憶媒体を使用して実行され得る。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは、例えば機械読み取り可能なキャリアに格納されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
換言すれば、本発明方法の一実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイが、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、添付した特許請求の範囲によってのみ限定されるべきであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
装置10は、ダウンミックス情報36を使用して複数のオーディオチャネル12を生成するためのレンダラー38を含む。レンダラー38は、入力信号又は入力信号のセット39、例えば第2スピーカセットアップ24に対応し又は第2スピーカセットアップによって再生されるべく専用となっている幾つかのオーディオチャネルに対し、ダウンミックス情報36を適用するよう構成されている。レンダラー38は、ダウンミックス情報36を使用して、第2スピーカセットアップ24から第1スピーカセットアップ14へのダウンミックスを取得するよう構成されている。換言すれば、レンダラー38は、仮想セットアップ24の(仮想の)オーディオチャネル39を現実の第1セットアップ14の現実のオーディオチャネル12へとダウンミックスすることによって、複数のオーディオチャネル12を決定するよう構成されている。
図3は、上方から見た透視図において、2次元平面に投影された第1セットアップ14−1を含む第2スピーカセットアップ24−1の概略図を示す。図3は、仮想スピーカ22a〜dの各々からそれらの近隣スピーカへのエネルギー分配を示す矢印を介した接続によって、仮想スピーカ22a〜dの各々の近隣スピーカを示している。仮想スピーカの近隣スピーカは、エネルギー分配計算部26のようなエネルギー分配計算部の一部、又は仮想スピーカ決定部18のような仮想スピーカ決定部の一部であり得る近隣関係推定部によって決定されてもよい。代替的に、近隣関係推定部は、仮想スピーカ決定部とエネルギー分配計算部との間に配置されていてもよい。
係数xyは、この実施例では1/4、つまり0.25に設定される。指数1、2、5及び6を持つスピーカ16a、16b、22c、22dの近隣スピーカである仮想スピーカ22aを表している行列Dの第3縦列に関してみれば、行列Dは横列1、2、5、6において0.25の値を示している。
図5aは、仮想スピーカ22c、22dと共に全体として第2スピーカセットアップ24−2を形成している、図4aの第1スピーカセットアップ14−1の概略斜視図を示す。仮想スピーカ22c、22dの位置は、第1スピーカセットアップ14−1の両スピーカ16a、16bを含む円48を描くことによって、例えば仮想スピーカ決定部18のような仮想スピーカ決定部によって取得されてもよい。7.1のような幾つかのフォーマットは、円内に位置42を持つ円上にラウドスピーカ位置を定義しているので、この方法は仮想スピーカ22c、22dの位置を決定するための適切な解決法であり得る。
図5bは、図5aのシナリオにおける平面図を示し、円48の丸い形状を示している。例えば再生されるべき音響シーン内の音響オブジェクトをレンダリングするためのオブジェクトレンダラーの一部である仮想スピーカ決定部は、所与のセットアップについて手動で選択された三角形分割に加えて、三角形分割アルゴリズム(triangulation algorithm)を実施するよう構成されてもよい。例えば、ドローネー三角形分割(Delaunay triangulation)はこの問題に対して良好な解決策を提供するかもしれない。なぜなら、三角形分割はボロノイ図(Voronoi diagram)の双対グラフに対応するからである。代替的又は追加的に、仮想スピーカ決定部は、仮想スピーカ22c、22dの個々の位置と位置42との間の角度β1及び/又はβ2、及び/又は例えば0°のような基準角49を考慮して、仮想スピーカ22c、22dの位置を決定するよう構成されてもよい。よって、中心位置(0°)から60°のような構成が実施されてもよい。
図6は、第1スピーカセットアップ14−1と仮想スピーカ22c、22d、22aとを含む第2スピーカセットアップ24−3の斜視図を示す。仮想スピーカ22c、22dは、それらの位置に関して図5a及び5bで示されたものと同じである。仮想スピーカ22aの位置は、例えば円48に基づいた球面52を計算することによって発見されてもよい。球面52は、例えばスピーカ16a、16b、22c及び22d又は第1スピーカセットアップ14−1(所与の頂点集合)の凸包を計算することによって、計算されてもよい。この凸包は、例えば非特許文献1に記載のように、O(N*log(N))の平均演算量とO(N2)の最悪計算量とを有するQuickHullアルゴリズムによって決定されてもよく、ここでOは演算量の度数(degree of complexity)を示す。QuickHullアルゴリズムは、スピーカの近傍物について言及する情報を提供するよう適応される。代替的実施形態は、例えば分割統治法(Devide and Conquor algorithm)やギフト包装法(Gift Wrap algorithm)のような他のアルゴリズムを使用する。
図7は、図2に従う第2ラウドスピーカセットアップ24−1の概略図を示し、そこではレイヤ44に対して直交するレイヤ54が示されている。スピーカ16a、16bは幾何学的平面54の第1側に配置されている。仮想スピーカ22c、22dは幾何学的平面54の第1側とは反対側に配置されている。仮想スピーカ22bは幾何学的平面54に沿って配置されている。
仮想スピーカをスピーカ16a及び/又は16bの側とは幾何学的平面54の反対側に配置することによって、3次元音響シーンが所定のリスナー位置42において再生され得る。簡単に言えば、第2スピーカセットアップ24−1は、リスナーの前方(スピーカ16a、16b)と、リスナーの後方(スピーカ22c、22d)と、リスナーの下方(スピーカ22b)と上方(スピーカ22a)とに、スピーカをエミュレートする。
後処理部はバイノーラルレンダラー1710又はフォーマット変換器1720として実施され得る。代替的に、データ1205の直接出力、つまりオーディオチャネルは、1730として示されるように実施されてもよい。従って、復号器内の処理は、22.2や32のような最大数のチャネルに対して柔軟性を持つよう実行し、その後より小さいフォーマットが必要な場合には後処理を行うことが望ましい。
オブジェクト処理部1200は、1つ以上のトランスポートチャネルと、符号化済みオーディオオブジェクト又は符号化済みオーディオチャネルを表す関連するパラメトリックサイド情報とを復号化するための、空間オーディオオブジェクト符号化デコーダ1800を備えても良く、この空間オーディオオブジェクト符号化デコーダは関連するパラメトリックサイド情報と解凍されたメタデータとを、例えばSAOCの初期バージョンにおいて定義されているように、出力フォーマットを直接的にレンダリングするために使用可能な変換済みパラメトリックサイド情報へと変換するよう構成されている。後処理部は、復号化済みトランスポートチャネルと変換すみパラメトリックサイド情報とを使用して、出力フォーマットのオーディオチャネルを計算するよう構成される。後処理部によって実行される処理は、MPEGサラウンド処理と同様であり得るか、又はBCC処理等のような他の如何なる処理と同様であり得る。

Claims (17)

  1. 第1スピーカセットアップ(14;14−1)のための複数のオーディオチャネル(12;12−1;12−2)を生成する装置であって、
    前記第1スピーカセットアップ(14;14−1)には含まれない仮想スピーカ(22;22a〜d)の位置を決定し、前記仮想スピーカ(22;22a〜d)を含む第2スピーカセットアップ(24;24−1;24−2;24−3)を得るための仮想スピーカ決定部(18;18−1)と、
    前記仮想スピーカ(22;22a〜d)から前記第2スピーカセットアップ(24;24−1;24−2;24−3)内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部(26;26−1)と、
    前記エネルギー分配を繰り返して、前記第2スピーカセットアップ(24;24−1;24−2;24−3)から前記第1スピーカセットアップ(14;14−1)へのダウンミックスのためのダウンミックス情報(36)を得るプロセッサ(28;28−1)と、
    前記ダウンミックス情報(36)を使用して前記複数のオーディオチャネル(12;12−1;12−2)を生成するためのレンダラー(38;38−1)と、
    を含む装置。
  2. 請求項1に記載の装置において、前記プロセッサ(28;28−1)は前記エネルギー分配に基づいてエネルギー分配行列(D)を生成するよう構成され、前記エネルギー分配行列(D)は、前記仮想スピーカ(22;22a〜d)から前記第2スピーカセットアップ(24;24−1;24−2;24−3)の他の1つのスピーカへのエネルギー分配を表現する要素(dxy)を含む、装置。
  3. 請求項2に記載の装置において、前記プロセッサ(28;28−1)はさらに前記エネルギー分配行列(D)の羃(n)を計算するようさらに構成され、前記羃(n)は予め定義された値であり、前記プロセッサ(28;28−1)は前記エネルギー分配行列(D)の前記羃に基づいて前記ダウンミックス情報(36)を得るよう構成されている、装置。
  4. 請求項2に記載の装置において、前記プロセッサ(28;28−1)はさらに前記エネルギー分配行列(D)の羃(n)を反復的に計算するようさらに構成され、反復ステップの回数は前記エネルギー分配行列(D)の前記羃(n)の値に基づいている、装置。
  5. 請求項1乃至4のいずれか1項に記載の装置において、前記エネルギー分配計算部(26;26−1)は、前記仮想スピーカ(22;22a〜d)の近隣スピーカである、前記第2スピーカセットアップ(24;24−1;24−2;24−3)の少なくとも1つのスピーカを決定するための近隣関係推定部を含み、前記エネルギー分配計算部(26;26−1)は、前記仮想スピーカ(22;22a〜d)から前記仮想スピーカ(22;22a〜d)の少なくとも1つの前記近隣スピーカへのエネルギー分配を計算するよう構成されている、装置。
  6. 請求項5に記載の装置において、前記近隣関係推定部は前記仮想スピーカ(22;22a〜d)の近隣スピーカである少なくとも2つのスピーカを決定するよう構成され、前記エネルギー分配計算部(26;26−1)は、前記仮想スピーカ(22;22a〜d)の近隣スピーカである前記少なくとも2つのスピーカ間のエネルギー分配が所定の許容範囲内で等しくなるように、前記エネルギー分配を計算するよう構成されている、装置。
  7. 請求項5又は6に記載の装置において、前記近隣関係推定部は前記仮想スピーカ(22;22a〜d)の近隣スピーカである少なくとも2つのスピーカを決定するよう構成され、前記仮想スピーカ(22;22a〜d)の近隣スピーカである前記少なくとも2つのスピーカの少なくとも1つは仮想スピーカ(22;22a〜d)である、装置。
  8. 請求項1乃至7のいずれか1項に記載の装置において、前記第1スピーカセットアップ(14;14−1)のスピーカ(16a〜c)は幾何学的平面(44;54)に所定の許容範囲(46a;46b)内で配置されており、前記幾何学的平面(44)は所定のリスナー位置(42)を含み、前記仮想スピーカ(22;22a〜d)は前記幾何学的平面(44)の片側に配置されている、装置。
  9. 請求項1乃至8のいずれか1項に記載の装置において、前記第1スピーカセットアップ(14;14−1)の1つのスピーカは幾何学的平面(44;54)の第1側に配置されており、前記仮想スピーカ(22;22a〜d)は前記幾何学的平面(44;54)の前記第1側とは反対側の前記幾何学的平面(44;54)の第2側に沿って配置されている、装置。
  10. 請求項1乃至9のいずれか1項に記載の装置において、前記装置はフォーマット変換ユニット(1720)に含まれ、前記フォーマット変換ユニット(1720)は複数のデータチャネル(1205)に基づいて前記複数のオーディオチャネル(12;12−1;12−2)を出力するよう構成され、前記データチャネル(1205)の数は前記複数のオーディオチャネル(12;12−1;12−2)の数より高い、装置。
  11. 請求項1乃至9のいずれか1項に記載の装置において、前記装置は前記第2ラウドスピーカセットアップ(24;24−1;24−2)のためのパニング係数を生成するパンナー(56)を備え、前記レンダラー(38;38−1)は、前記ダウンミックス情報(36)と前記パニング係数とに基づいて前記複数のオーディオチャネル(12;12−1;12−2)を生成するよう構成されている、装置。
  12. 請求項11に記載の装置において、前記装置はオブジェクトレンダラー(1210)に含まれ、前記オブジェクトレンダラー(1210)は音響オブジェクトの位置情報に基づいて前記複数のオーディオチャネル(12;12−1;12−2)を出力するよう構成され、前記パニング係数の数は前記複数のオーディオチャネル(12;12−1;12−2)の数より高い、装置。
  13. 請求項1乃至12のいずれか1項に記載の装置において、前記仮想スピーカ決定部(18;18−1)は、前記第1スピーカセットアップ(14;14−1)のスピーカ(16a〜c)の位置に基づいて凸包(52)を計算し、かつQuickHullアルゴリズムに従って前記仮想スピーカ(22;22a〜d)の位置を決定するよう構成され、前記仮想スピーカ(22;22a〜d)の位置及び前記第1スピーカセットアップ(14;14−1)のスピーカ(16a〜c)の位置は所定の閾値内で前記凸包(52)に配置されている、装置。
  14. 請求項13に記載の装置において、前記装置は、前記第1スピーカセットアップ(14;14−1)内の全てのスピーカ(16a〜c)の位置が所定の閾値内で前記凸包(52)に配置されているか、又は前記第1スピーカセットアップ(14;14−1)内の少なくとも1つのスピーカの位置が所定の閾値内で前記凸包(52)の外側に配置されているかを示す、前記第1スピーカセットアップ(14;14−1)の妥当性情報を提供するよう構成されている、装置。
  15. 請求項1乃至14のいずれか1項に従う装置(10;10−1;10−2)と、
    前記複数のオーディオチャネル(12;12−1;12−2)に従う複数のラウドスピーカ(16a〜c)と、を備えたオーディオシステムであって、
    前記複数のラウドスピーカ(16a〜c)は前記複数のオーディオチャネル(12;12−1;12−2)を受信し、前記複数のオーディオチャネル(12;12−1;12−2)に基づいて複数の音響信号を提供するよう構成されている、オーディオシステム。
  16. 第1スピーカセットアップ(14;14−1)のための複数のオーディオチャネル(12;12−1;12−2)を生成する方法であって、
    前記第1スピーカセットアップ(14;14−1)には含まれない仮想スピーカ(22;22a〜d)の位置を決定し、前記仮想スピーカ(22;22a〜d)を含む第2スピーカセットアップ(24;24−1;24−2;24−3)を得るステップと、
    前記仮想スピーカ(22;22a〜d)から前記第2スピーカセットアップ(24;24−1;24−2;24−3)内の他のスピーカへのエネルギー分配を計算するステップと、
    前記エネルギー分配を繰り返し、前記第2スピーカセットアップ(24;24−1;24−2;24−3)から前記第1スピーカセットアップ(14;14−1)へのダウンミックスのためのダウンミックス情報(36)を得るステップと、
    前記ダウンミックス情報(36)を使用して前記複数のオーディオチャネル(12;12−1;12−2)を生成するステップと、
    を含む方法。
  17. コンピュータ上で作動するとき、請求項16に従って第1スピーカセットアップ(14;14−1)のための複数のオーディオチャネル(12;12−1;12−2)を生成する方法を実行するための、プログラムコードを有するコンピュータプログラムが格納された非一時的記憶媒体。
JP2016562066A 2014-01-07 2015-01-05 複数のオーディオチャネルを生成する装置及び方法 Active JP6228689B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14150362.3A EP2892250A1 (en) 2014-01-07 2014-01-07 Apparatus and method for generating a plurality of audio channels
EP14150362.3 2014-01-07
PCT/EP2015/050043 WO2015104237A1 (en) 2014-01-07 2015-01-05 Apparatus and method for generating a plurality of audio channels

Publications (2)

Publication Number Publication Date
JP2017507621A true JP2017507621A (ja) 2017-03-16
JP6228689B2 JP6228689B2 (ja) 2017-11-08

Family

ID=49955911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016562066A Active JP6228689B2 (ja) 2014-01-07 2015-01-05 複数のオーディオチャネルを生成する装置及び方法

Country Status (18)

Country Link
US (6) US9729995B2 (ja)
EP (4) EP2892250A1 (ja)
JP (1) JP6228689B2 (ja)
KR (1) KR101806060B1 (ja)
CN (1) CN105934955B (ja)
AR (1) AR099037A1 (ja)
AU (1) AU2015205696B2 (ja)
BR (1) BR112016015028B1 (ja)
CA (1) CA2934811C (ja)
ES (1) ES2773623T3 (ja)
MX (1) MX352097B (ja)
MY (1) MY188021A (ja)
PL (1) PL3092823T3 (ja)
PT (1) PT3092823T (ja)
RU (1) RU2676948C2 (ja)
SG (1) SG11201605560UA (ja)
TW (1) TWI558231B (ja)
WO (1) WO2015104237A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2892250A1 (en) 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US10419866B2 (en) 2016-10-07 2019-09-17 Microsoft Technology Licensing, Llc Shared three-dimensional audio bed
WO2018202642A1 (en) * 2017-05-04 2018-11-08 Dolby International Ab Rendering audio objects having apparent size
US11082790B2 (en) 2017-05-04 2021-08-03 Dolby International Ab Rendering audio objects having apparent size
US20190250878A1 (en) * 2018-02-15 2019-08-15 Disney Enterprises, Inc. Remote control for an audio monitoring system
EP3541097B1 (en) * 2018-03-13 2022-04-13 Nokia Technologies Oy Spatial sound reproduction using multichannel loudspeaker systems
US10904687B1 (en) 2020-03-27 2021-01-26 Spatialx Inc. Audio effectiveness heatmap
CN115226001A (zh) * 2021-11-24 2022-10-21 广州汽车集团股份有限公司 声能量补偿方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054270A1 (en) * 2004-11-22 2006-05-26 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
US20070104331A1 (en) * 2005-10-19 2007-05-10 Sony Corporation Multi-channel audio system and method for generating virtual speaker sound
JP2009017137A (ja) * 2007-07-03 2009-01-22 Yamaha Corp スピーカアレイ装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889867A (en) * 1996-09-18 1999-03-30 Bauck; Jerald L. Stereophonic Reformatter
JP2001028799A (ja) * 1999-05-10 2001-01-30 Sony Corp 車載用音響再生装置
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
EP1696702B1 (en) * 2005-02-28 2015-08-26 Sony Ericsson Mobile Communications AB Portable device with enhanced stereo image
CN101185118B (zh) * 2005-05-26 2013-01-16 Lg电子株式会社 解码音频信号的方法和装置
US8515105B2 (en) * 2006-08-29 2013-08-20 The Regents Of The University Of California System and method for sound generation
FR2922404B1 (fr) * 2007-10-10 2009-12-18 Goldmund Monaco Sam Methode pour creer un environnement audio avec n haut-parleurs
KR101271972B1 (ko) * 2008-12-11 2013-06-10 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 다채널 오디오 신호를 생성하기 위한 장치
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
AU2012279357B2 (en) * 2011-07-01 2016-01-14 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
WO2013006330A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
EP2645749B1 (en) * 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
EP3629605B1 (en) * 2012-07-16 2022-03-02 Dolby International AB Method and device for rendering an audio soundfield representation
US9826328B2 (en) * 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
EP2892250A1 (en) 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054270A1 (en) * 2004-11-22 2006-05-26 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
US20070104331A1 (en) * 2005-10-19 2007-05-10 Sony Corporation Multi-channel audio system and method for generating virtual speaker sound
JP2009017137A (ja) * 2007-07-03 2009-01-22 Yamaha Corp スピーカアレイ装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TROND LOSSIUS, ET AL.: "DBAP - DISTANCE-BASED AMPLITUDE PANNING", INTERNATIONAL COMPUTER MUSIC CONFERENCE, JPN6017031700, 14 April 2011 (2011-04-14), pages 1 - 4, ISSN: 0003624988 *

Also Published As

Publication number Publication date
SG11201605560UA (en) 2016-08-30
WO2015104237A1 (en) 2015-07-16
KR101806060B1 (ko) 2017-12-07
US9729995B2 (en) 2017-08-08
US20190045321A1 (en) 2019-02-07
EP3618460B1 (en) 2024-02-28
US20170318408A1 (en) 2017-11-02
CA2934811A1 (en) 2015-07-16
MX352097B (es) 2017-11-08
RU2676948C2 (ru) 2019-01-11
US11438723B2 (en) 2022-09-06
US11785414B2 (en) 2023-10-10
US10097945B2 (en) 2018-10-09
EP4351173A2 (en) 2024-04-10
AU2015205696B2 (en) 2017-12-14
KR20160106148A (ko) 2016-09-09
AR099037A1 (es) 2016-06-22
CN105934955A (zh) 2016-09-07
MY188021A (en) 2021-11-10
BR112016015028B1 (pt) 2022-11-29
EP3618460C0 (en) 2024-02-28
US20220377493A1 (en) 2022-11-24
US20210136511A1 (en) 2021-05-06
US20160316309A1 (en) 2016-10-27
US20200204941A1 (en) 2020-06-25
TW201534144A (zh) 2015-09-01
EP3092823B1 (en) 2019-11-27
ES2773623T3 (es) 2020-07-13
TWI558231B (zh) 2016-11-11
US10595153B2 (en) 2020-03-17
PT3092823T (pt) 2020-02-25
EP3618460A1 (en) 2020-03-04
US10904693B2 (en) 2021-01-26
BR112016015028A2 (pt) 2020-06-09
CN105934955B (zh) 2018-01-16
RU2016132133A (ru) 2018-02-09
MX2016008877A (es) 2016-10-04
EP3092823A1 (en) 2016-11-16
AU2015205696A1 (en) 2016-07-21
CA2934811C (en) 2018-06-26
PL3092823T3 (pl) 2020-06-01
JP6228689B2 (ja) 2017-11-08
EP2892250A1 (en) 2015-07-08

Similar Documents

Publication Publication Date Title
JP6228689B2 (ja) 複数のオーディオチャネルを生成する装置及び方法
JP7254137B2 (ja) 2dセットアップを使用したオーディオ再生のためのアンビソニックス・オーディオ音場表現を復号する方法および装置
JP6284955B2 (ja) 仮想スピーカーを物理スピーカーにマッピングすること
EP2997743B1 (en) An audio apparatus and method therefor
JP6227138B2 (ja) 入力チャネル設定の複数の入力チャネルを出力チャネル設定の出力チャネルにマッピングするための方法及び信号処理装置
EP3149971B1 (en) Obtaining sparseness information for higher order ambisonic audio renderers
JP2017535153A (ja) オーディオ・エンコーダおよびデコーダ
US20190104364A1 (en) System and method for performing panning for an arbitrary loudspeaker setup
EP3149972B1 (en) Obtaining symmetry information for higher order ambisonic audio renderers
TW202332290A (zh) 使用空間擴展音源之呈現器、解碼器、編碼器、方法及位元串流
KR20210101316A (ko) 공간 확장 음원을 재생하는 장치 및 방법 또는 공간 확장 음원으로부터 비트 스트림을 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171013

R150 Certificate of patent or registration of utility model

Ref document number: 6228689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250