JP2016529801A

JP2016529801A - 一定出力ペアワイズパニングによるマトリクスデコーダ

Info

Publication number: JP2016529801A
Application number: JP2016531872A
Authority: JP
Inventors: ジェフリートンプソン
Original assignee: DTS Inc
Current assignee: DTS Inc
Priority date: 2013-07-30
Filing date: 2014-07-30
Publication date: 2016-09-23
Anticipated expiration: 2034-07-30
Also published as: PL3429233T3; EP3028474B1; US20170366910A1; EP3028474A4; HK1218596A1; CN105594227A; US20150036849A1; KR20160039674A; WO2015017584A1; CN105594227B; EP3429233B1; JP6543627B2; KR102114440B1; US9338573B2; EP3429233A1; EP3028474A1; PL3028474T3; US10075797B2

Abstract

２チャンネルステレオ信号からマルチチャンネルサラウンド音響（３以上のチャンネルを有する）にアップミキシングするための一定出力ペアワイズパニング・アップミキシングシステム及び方法である。各出力チャンネルは、２つの入力チャンネルの何らかの組合せである。閉形式解を用いて、各入力チャンネルに重み付けを行うために用いるデマトリクス係数を計算する。デマトリクス係数は、２つの入力信号間のチャンネル間レベル差及びチャンネル間位相差に基づいて計算される。次に、重み付けされた入力チャンネルを、出力チャンネル毎に一意にミキシングして、ステレオ入力信号からサラウンド音響出力を生成する。各デマトリクス係数は、同相成分及び異相成分を有する。各成分の位相係数は、時間において変化し、入力信号間の位相差に基づく。結果として生じるサラウンド音響出力は、元々ミキシングされていたとおりにオーディオコンテンツを忠実にシミュレートする。【選択図】図５

Description

（関連出願への相互参照）
本出願は、２０１３年７月３０日出願の米国仮特許出願第６１／８６０，０２４号「一定出力ペアワイズパニングによるマトリクスデコーダ」の本出願である、２０１４年７月３０日出願の米国特許出願第１４／４４７，５１６号「一定出力ペアワイズパニングによるマトリクスデコーダ」の利益を主張し、これらの開示内容全体は引用により本明細書に組み込まれている。

多くのオーディオ再生システムは、「サラウンド音響」と呼ばれることがある同期マルチチャンネルオーディオ信号の録音、伝送、及び再生が可能である。娯楽用オーディオは、単純なモノラルシステムから始まったが、間もなく、納得のいく空間イメージ及びリスナー没入感を表現することを目指して、２チャンネル（ステレオ）及びより多くのチャンネル数のフォーマット（サラウンド音響）が開発された。特に、サラウンド音響は、３以上のオーディオチャンネルを用いることによって、オーディオ信号の再生を強化するための技術である。コンテンツは、複数の離散的オーディオチャンネル上で配信され、一連のラウドスピーカ（又はスピーカ）を用いて再生される。付加的なオーディオチャンネル又は「サラウンドチャンネル」は、リスナーに臨場感のある聴音経験を与える。

サラウンド音響システムは、通常、リスナーの周りに配置されたスピーカーを備え、音像定位感及び包囲感をリスナーに与える。少数のチャンネルのみを有する多くのサラウンド音響システム（例えば、５．１フォーマット）は、リスナー周囲３６０度の円弧内の特定の位置に配置されたスピーカーを備える。これらのスピーカーの全ては、同じ平面にあるように配置される。さらに、リスナーの耳は、同様にスピーカーの各々と概ね同じ平面にある。チャンネル数がより多いサラウンド音響システム（７．１、１１．１等）は、リスナーの耳の平面よりも上方に配置されたハイト又はエレベーションスピーカーを含む。これらのサラウンド音響構成は、付加的な低域低音を提供して他のオーディオチャンネルの低音を補う離散的（ＬＦＥ）チャンネルを含む。このＬＦＥチャンネルは、他のオーディオチャンネルの帯域幅の一部分のみを必要とするので、これは「．Ｘ」チャンネルと表され、Ｘは、ゼロを含む任意の正の整数である（例えば、５．１又は７．１サラウンド音響）。

理想的には、サラウンド音響オーディオ信号が離散的チャンネルにミキシングされ、これらのチャンネルは、リスナーへの再生中は離散的なままである。しかしながら、実際には、格納及び伝送限界は、格納空間及び伝送帯域幅を最小限にするために、サラウンド音響オーディオ信号のファイルサイズを制限する。さらに、２チャンネルのオーディオコンテンツは、通常、３以上のチャンネルを有するオーディオコンテンツと比較すると、多様な放送及び再生システムと互換性がある。

これらのニーズに対処するために、マトリクス化が開発された。マトリクス化は、３以上の離散的オーディオチャンネルを有する元の信号を、２チャンネルオーディオ信号に「ダウンミキシング」することを含む。所定の処理に従って付加的チャンネルがダウンミキシングされて、全てのオーディオチャンネルからの情報を含む２チャンネルダウンミックスを生成する。その後、アップミックス処理を用いて、２チャンネルダウンミックスから付加的オーディオチャンネルを抽出して合成することができ、元のチャンネルミックスは、ある程度の近似信号に戻すことができる。アップミキシングは、２チャンネルオーディオ信号を入力として受け取り、より多数のチャンネルを生成して再生する。再生は、元の信号の離散的オーディオチャンネルの許容可能な近似信号である。

一部のアップミキシング技術は、一定出力パニングを使用する。「パニング」の概念は、映画業界、特に用語「パノラマ」に由来する。パノラマとは、あらゆる方向において所与の区域の完全な視覚的ビューを有することを意味する。オーディオ分野では、オーディオ信号が物理的空間に位置付けられたかのように認識されるよう、オーディオ信号をステレオ音場でパニングすることができ、その結果、リスナーは、演奏中の全ての音声を適切な位置及び次元で聞くことができる。音楽録音の場合、一般的に、実際のステージ上に楽器が物理的に配置されるように楽器を位置付けることが行われる。例えば、ステージの左側の楽器は左にパニングされ、ステージの右側の楽器は右にパニングされる。この狙いは、再生時、リスナーに対して実際の演奏を再現しようとするものである。

一定出力パニングは、入力オーディオ信号がオーディオチャンネル間に分配される場合、これらのチャンネル間で一定の信号出力を維持する。一定出力パニングは一般に普及しているが、現行のダウンミキシング及びアップミキシング技術は、元のミックスに存在する正確なパニング挙動及び定位を維持して回復しようとする。加えて、一部の技術は、アーチファクトを生じやすく、さらに全ての技術は、時間及び周波数でオーバーラップするが異なる空間方向から生じる、独立した信号を分離する能力が低い。

例えば、一部の評判の良いアップミキシング技術は、電圧制御の増幅器を用いて、両方の入力チャンネルを概ね同じレベルに正規化する。次に、これらの２つの信号をアドホック方法で合成して、出力チャンネルを生成する。しかしながら、このアドホック手法により、最終出力は、所望のパニング挙動を達成するのが困難であり、クロストークによる問題を含み、最良でも、離散的サラウンド音響オーディオ信号を近似する。

他のタイプのアップミキシング技術は、数か所のパニング位置でのみ正確であるが、これらの位置から離れると不正確である。例示的に、一部のアップミキシング技術は、アップミキシングが正確で予測可能な挙動をもたらす、限られた数のパニング位置を規定する。優勢ベクトル分析は、正確なパニング位置地点において、限られた数の所定のデマトリクス係数セット間で補間するために用いられる。各地点の間に位置する任意のパニングは、補間を用いてデマトリクス係数値を見出すようになっている。この補間により、正確な地点の間に位置するパニング位置が不正確となり、オーディオ品質に悪影響を及ぼす可能性がある。

本概要は、以下の詳細な説明で更に説明する概念の選択を簡潔な形式で紹介するために提示する。本概要は、請求する主題の主要な特徴又は必須の特徴を識別するためのものでも、又は請求する主題の範囲を限定するために用いるものでもない。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、アップミックス処理中に正確なパニング定位を維持して回復する。これは、閉形式解を用いて実現され、正確で正しいデマトリクス係数を生成する。これらのデマトリクス係数を用いて、元の２つのチャンネルのどの位をミックスして新規の出力チャンネルにするかを決定する。この閉形式解は、任意のパニング位置において、デマトリクス係数の値を正確かつ厳密に求める。スピーカー及びリスナーの耳を含む水平面におけるリスナーの周囲３６０度の任意の地点に関して、任意のパニング位置は、ダウンミキシングされた２チャンネルオーディオ信号から正確に決定することができる。

閉形式解の正確性は、リスナーに対して再生されるアップミキシングされたオーディオ信号の改善された音響をもたらす。例示的かつ非限定的に、オーディオコンテンツが元々２チャンネルにミキシングされており、正弦／余弦パニング原理を用いて、オーディオ信号が左チャンネルから右チャンネルに徐々にパニングされるシーケンスを含むと仮定する。２チャンネルが、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態を用いて５．１ターゲットスピーカーレイアウトにアップミキシングされる場合、シーケンスは、左チャンネルから開始されて、徐々にセンターチャンネルへのパニングを開始し、センターチャンネルに達すると、センターでは離散的となり、次にセンターと右チャンネルとの間でパニングを開始することになる。サラウンドスピーカーは、その期間中、無音のままとなる。

一方で、現行のアップミキシング技術は、閉形式解のフレームワークを欠いているので、同じ状況では、オーディオ信号が、左チャンネルから開始されて、左チャンネルとセンターチャンネルとの間の地点に達するときに、右チャンネル及びサラウンドチャンネルへの漏れが生じる場合がある。オーディオ信号は、センターチャンネルが予め定められた補間地点の１つなのでここでは離散的となる。オーディオ信号がセンターチャンネルと右チャンネルとの間の地点に移動すると、左チャンネル及びサラウンドチャンネルへの漏れが生じることになる。これは、オーディオ信号が左チャンネルとセンターチャンネルとの間、及び右チャンネルとセンターチャンネルとの間にある場合、現行の方法では、デマトリクス係数の補間を実行するからである。デマトリクス係数が正確に正しいわけではないので、各チャンネル間に漏れが生じる。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態を用いて、２チャンネルを有するステレオ・オーディオ信号を、３以上のチャンネルを有するターゲットスピーカーレイアウトにアップミキシングする。ターゲットスピーカーレイアウトは、仮想的に任意数のチャンネルを有することができる。しかしながら、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、リスナーの耳と概ね同じ平面に配置されたスピーカーを有するターゲットスピーカーレイアウトに限定される。この概念について、以下で更に詳細に検討する。

一定出力ペアワイズパニング・アップミキシングシステム及び方法は、オーディオコンテンツの作成中に使用されたパニング原理のタイプを仮定する。換言すると、システム及び方法は、ダウンミキシング処理によって又はミキシングエンジニアによって特定のパニング原理が使用されたと仮定する。一部の実施形態では、一定出力ペアワイズパニング・アップミキシングシステム及び方法は、正弦／余弦パン原理を前提とする。別の実施形態では、いくつかの異なる他のタイプのパニング原理を使用することができる。

パニング原理は、通常、コンテンツの作成又はダウンミキシングで使用されたパニング原理が分からないので、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態によって仮定される。加えて、システム及び方法は、通常、２つのタイプのステレオ入力信号のうちの１つを受信することになる。従って、一般に、システム及び方法は、２つのモードのうちの１つで動作し、通常、いずれのモードで動作しているか分からない。

第１のモードは、既にダウンミキシングされたオーディオ信号の処理である。例えば、５．１で元々記録されたコンテンツが、マトリクスエンコードされたステレオ信号にダウンミキシングされて、システム及び方法に提供される。この状況において、マトリクスエンコードされたステレオ信号は、再生デバイス上でのアップミキシング及びレンダリングのために、アップミキサに転送される。第２のモードは、入力が、ステレオで元々ミキシングされていてダウンミキシングされていないステレオミキシングコンテンツを有するステレオ・オーディオ信号の場合に用いられる。これは、例えば、レガシー・ステレオ信号に元々ミキシングされ、かつダウンミキシングされていなかったコンテンツを含む。この状況では、ステレオ信号は、７．１ミックスのようなチャンネル数の多いミックスにアップミキシングされる。

入力ステレオ信号の履歴に関わらず、信号は分析されて、コンテンツ作成中にパニング原理で使用された、基礎となるパラメータの推定値を回復する。これらのパラメータは、コンテンツの作成中に使用されたパニング角度を含む。これらの推定パラメータは、アップミックス処理中に使用してデマトリクス係数を取得する。デマトリクス係数を用いて、元の信号が生成された場合と同程度の正確なチャンネルエネルギーで出力チャンネルを生成する。

次に、アップミキシングされた信号は、ターゲットスピーカーレイアウトにわたって再生される。通常、ターゲットスピーカーレイアウトは、元のオーディオ信号に等しいか又はそれよりも多くのチャンネル数を含む。例えば、元のステレオ信号を、５．１、７．１、又は９．１のターゲットスピーカーレイアウトにアップミキシングすることができる。しかしながら、上述のように、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、リスナーの耳と概ね同じ平面にあるスピーカー構成に限定される。換言すれば、ターゲットスピーカーレイアウトにおける各スピーカーは同じ平面にあり、この水平面は、概してリスナーの両方の耳を含む。このことは、ターゲットスピーカーレイアウトが、ハイト又はエレベーションスピーカーのような水平面から離れた何らかのスピーカーを含まないことを意味する。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、第１の入力チャンネル及び第２の入力チャンネルを有する２チャンネル入力オーディオ信号をアップミキシングして、３以上のチャンネルを有するアップミキシングされたマルチチャンネル出力オーディオ信号にする段階を含む。本方法は、第１の入力チャンネルと第２の入力チャンネルとの間のチャンネル間レベル差（ＩＣＬＤ）及びチャンネル間位相差（ＩＣＰＤ）に基づいて、第１のデマトリクス係数及び第２のデマトリクス係数を計算する。次に、本方法は、第１の入力チャンネルに第１のデマトリクス係数を乗算して第１のサブ信号を生成し、第２の入力チャンネルに第２のデマトリクス係数を乗算して第２のサブ信号を生成する。これらの２つのサブ信号を一緒に線形方式でミキシングして、アップミキシングされたマルチチャンネル出力オーディオ信号の出力チャンネルを生成する。生成された出力チャンネルは、ターゲットスピーカーレイアウトで再生するために出力される。ターゲットスピーカーレイアウトは、複数のスピーカーを含むこと又はヘッドフォンとすることができる。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、左入力チャンネル及び右入力チャンネルを有する２チャンネル入力オーディオ信号から、Ｎ個の出力チャンネルを有するアップミキシングされたマルチチャンネル出力オーディオ信号を生成するための方法も含む。加えて、Ｎは、２よりも大きい正の整数である。本方法は、同相信号成分及び異相信号成分の組み合せの第１の三角関数に基づいて、第１のデマトリクス係数を計算する。加えて、本方法は、同相信号成分及び異相信号成分の組み合せの第２の三角関数に基づいて、第２のデマトリクス係数を計算する。

次に、本方法は、第１のデマトリクス係数を左又は右入力チャンネルに乗じて、及び第２のデマトリクス係数を右又は左入力チャンネルに乗じて、線形方式でミキシングすることによって、Ｎ個の出力チャンネルの各々を生成する。また、方法は、アップミキシングされたマルチチャンネル出力オーディオ信号のＮ個の出力チャンネルの各々を、マルチチャンネル再生環境でスピーカーから再生させる。

代替的な実施形態が可能であり、本明細書に記載の段階及び要素は、特定の実施形態に応じて、変更、追加、又は削除が可能であることに留意されたい。これらの代替的な実施形態は、本発明の範囲から逸脱することなく、使用可能な別の段階及び別の要素、並びに実施可能な構造的な変更を含む。

同様の参照数字が対応する部分を表す図面を以下で参照する。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態の全体的な概要を示すブロック図である。リスナーの耳と同じ平面にスピーカーを有するターゲットスピーカーレイアウトの概念を示す図である。図１に示す一定出力ペアワイズパニング・アップミキシングシステム及び方法の例示的な実施形態の詳細を示すブロック図である。パニング角度の概念を示す図である。図１及び３に示す一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態の一般的動作を示すフロー図である。図１、３、及び５に示す一定出力ペアワイズパニング・アップミキシングシステム及び方法の例示的な実施形態の詳細を示すフロー図である。正弦／余弦パニング原理のパニング角度（θ）の関数としてのパニング加重を示す図である。センター出力チャンネルの同相プロットに対応するパニング挙動を示す図である。センター出力チャンネルの異相プロットに対応するパニング挙動を示す図である。左サラウンド出力チャンネルの同相プロットに対応するパニング挙動を示す図である。ダウンミックス方程式に対応する２つの特定の角度を示す図であり、この場合、左サラウンドチャンネル及び右サラウンドチャンネルが離散的にエンコード及びデコードされる。修正左出力チャンネルの同相プロットに対応するパニング挙動を示す図である。修正左出力チャンネルの異相プロットに対応するパニング挙動を示す図である。

一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態の以下の説明では、添付図面を参照する。これらの図面は、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態をいかに実施できるかの特定の実施例について例証として示している。他の実施形態を利用可能であること、及び請求する主題の範囲から逸脱することなく、構造的な変更を加えることができる点を理解されたい。

Ｉ．システムの概要
一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、デマトリクス係数を正確に決定するための閉形式解を用いて、２チャンネル入力オーディオ信号を、３以上のチャンネルを有するマルチチャンネルオーディオ出力信号にアップミキシングする。これらのデマトリクス係数を用いて、２つの入力チャンネルの各々に重み付けを行い、各入力チャンネルのうちのどの程度を各出力チャンネルに含めるかを決定する。一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態は、入力がステレオ信号の場合、リスナーに対して複数の出力チャンネルによるサラウンド音響経験を与えるために使用される。

図１は、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態の全体的な概要を示すブロック図である。図１を参照すると、オーディオコンテンツ（例えば、音楽）は、コンテンツ生成環境１００で作成される。環境１００は、音源を記録するために、複数のマイクロフォン１０５（又は他の音声取得デバイス）を含むことができる。代替的に、音源を記録するのにマイクロフォンを用いる必要がないように、音源は既にデジタル信号の場合がある。音声作成方法に関わらず、音源の各々は、コンテンツ生成環境１００の出力として、ファイナルミックスにミキシングされる。

図１において、ファイナルミックスは、左チャンネル（Ｌ）、右チャンネル（Ｒ）、センターチャンネル（Ｃ）、左サラウンドチャンネル（Ｌ_S）、右サラウンドチャンネル（Ｒ_S）、及び低周波エフェクト（ＬＦＥ）チャンネルを含む６チャンネルに音源の各々がミキシングされるような、５．１ミックス１１０である。図１に示すファイナルミックスは５．１ミックスであるが、より多くの数のチャンネルを有するミックス、及びより少ない数のチャンネルを有するミックス（ステレオ又はモノミックスのような）を含む他のファイナルミックスが可能であることに留意されたい。次に、ファイナル５．１ミックスは、マトリクスエンコーダ及びダウンミキサ１２０を用いて、（必要に応じて）エンコードされてダウンミキシングされる。マトリクスエンコーダ及びダウンミキサ１２０は、通常、１又は２以上の処理デバイスを有するコンピューティングデバイス上に配置される。マトリクスエンコーダ及びダウンミキサ１２０は、ファイナル５．１ミックスを、左総合チャンネル（Ｌ_T）及び右総合チャンネル（Ｒ_T）を有するステレオミックス１３０にミキシングする。

ステレオミックス１３０は、配信環境１４０において、リスナーによる消費のために配信される。ネットワーク１５０上でのストリーミング配信を含む、いくつかの配信オプションが利用可能である。代替的に、ステレオミックス１３０は、リスナーによる消費のために、光ディスク又はフィルムのような媒体１６０上に記録することができる。加えて、ステレオミックス１３０を配信するために使用可能な、本明細書に列挙していない他の多くの配信オプションがある。

配信方法に関わらず、ステレオミックス１３０は、マトリクスデコーダ及びアップミキサ１７０に入力される。マトリクスデコーダ及びアップミキサ１７０は、一定出力ペアワイズパニング・アップミキシングシステム及び方法の実施形態を含む。マトリクスエンコーダ及びダウンミキサ１２０、並びに一定出力ペアワイズパニング・アップミキシングシステム及び方法１８０の実施形態は、通常、１又は２以上の処理デバイスを有するコンピューティングデバイス上に配置される。

マトリクスデコーダ及びアップミキサ１７０は、ステレオミックス１３０の各チャンネルをデコードして、これらを離散的出力チャンネルに拡散する。図１には、５．１出力に拡散されたステレオミックス１３０である、再構築された５．１ミックス１８５を示している。この再構築された５．１ミックス１８５は、再構築されたチャンネルに対応するスピーカーを含むターゲットスピーカーレイアウトを含む再生環境１９０で再生される。これらのスピーカーは、左スピーカー、右スピーカー、センタースピーカー、左サラウンドスピーカー、右サラウンドスピーカー、及びＬＦＥスピーカーを含む。別の実施形態では、ターゲットスピーカーレイアウトはヘッドフォンとすることができるので、スピーカーは、再生環境１９０において音声の発生源のように見える仮想スピーカーにすぎない。例えば、リスナー１９５は、再構築された５．１ミックスを、ヘッドフォンを通じて聴くことができる。この状況では、スピーカーは、実際の物理的なスピーカーではなく、音声は、例えば、５．１サラウンド音響スピーカー構成に対応する再生環境で異なる空間位置から発生するように思われる。

ターゲットスピーカーレイアウトが実際のスピーカーであろうと又はヘッドフォンであろうと、再構築された５．１ミックス１８５の再生は、ステレオ入力オーディオ信号から、臨場感のあるサラウンド音響経験をリスナー１９５に与える。ターゲットスピーカーレイアウトは５．１構成であるが、他の実施形態では、数が２を超える限り、任意の数のスピーカーを使用できることに留意されたい。

一定出力ペアワイズパニング・アップミキシングシステム１８０及び方法の実施形態は、再生環境１９０が同じ水平面に配置されたスピーカーを含み、この平面がリスナーの耳を含むように設計される。図２は、リスナーの耳と同じ平面にスピーカーを有するターゲットスピーカーレイアウト２００の概念の例証図である。図２に示すように、リスナー１９５は、ターゲットスピーカーレイアウト２００上で演奏されるコンテンツを聴いている。ターゲットスピーカーレイアウト２００は、左スピーカー２１０、センタースピーカー２１５、右スピーカー２２０、左サラウンドスピーカー２２５、及び右サラウンドスピーカー２３０を有する５．１レイアウトである。また、図示の５．１レイアウトは、低周波エフェクト（ＬＦＥ又は「サブウーファー」）スピーカー２３５を含む。一部の実施形態において、ターゲットスピーカーレイアウト２００は、７．１レイアウトである。２台の付加的なスピーカーは、これらが任意であることを示すために、点線で示される。これらの２台の付加的なスピーカーは、サラウンド後方左スピーカー２４０及びサラウンド後方右スピーカー２４５を含む。

スピーカーの各々は、水平面２５０に配置される。加えて、リスナーの耳２６０の各々も、水平面２５０に位置する。図２には、５．１及び７．１レイアウトを示しているが、一定出力ペアワイズパニング・アップミキシングシステム１８０及び方法の実施形態は、コンテンツを、あらゆるステレオレイアウトから、ユーザを囲むユーザの耳２６０の水平面２５０にあるあらゆるレイアウトにアップミキシングできるように、一般化することができる。

図２のターゲットスピーカーレイアウトのスピーカー、並びにリスナーの頭部及び耳は、相互に縮尺通りではないことに留意されたい。特に、リスナーの頭部及び耳は、スピーカーの各々及びリスナーの耳が同じ水平面２５０にあるという概念を図示するために、縮尺よりも大きく示されている。

ＩＩ．システムの詳細
以下、一定出力ペアワイズパニング・アップミキシングシステムの実施形態の構成要素のシステムの詳細を説明する。システムを実施可能ないくつかの方法のうちの一部について、以下で詳細を説明することに留意されたい。図３に示すものからの多くの変形形態が可能である。図３は、図１に示した一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の例示的な実施形態の詳細を示すブロック図である。システム３００及び方法の実施形態は、以下で詳細に説明するコンピューティング環境（図示せず）で動作する。特に、システム３００及び方法は、１又は２以上の処理デバイスを含む１又は２以上のコンピューティングデバイス上で実施される。

システム３００への入力は、左総合チャンネル（Ｌ_T）及び右総合チャンネル（Ｒ_T）を有する２チャンネル入力オーディオ信号３１０を含む。これらの２つのチャンネルが、チャンネル間レベル差（ＩＣＬＤ）及びチャンネル間位相差（ＩＣＰＤ）計算モジュール３２０に入力される。計算モジュール３２０は、２つの入力チャンネルを用いて、チャンネル毎のチャンネル間レベル差を計算する。更に、計算モジュール３２０は、２つの入力チャンネルを用いて、左総合チャンネル（Ｌ_T）と右総合チャンネル（Ｒ_T）との間のチャンネル間位相差を計算する。この情報は、パニング角度推定器３３０に送られる。

チャンネル間レベル差に基づいて、推定器３３０は、各出力チャンネルに関するパニング角度を推定する。パニング角度とは、再生中に音声が発生するように思える水平面２５０における角度である。図４は、パニング角度の概念の例証図である。図４には、水平面２５０に位置する５．１スピーカー構成の平面図が示されている。図４には、スピーカーのパニング角度が示されている。しかしながら、パニング角度は、水平面２５０において０度から３５９度までの任意の角度とすることができる。換言すれば、パニング角度は、音声が仮想音源から発生するよう思えるように、物理的な各スピーカーの間に置くことができる。

図４には、センターチャンネルからの情報を出力するセンタースピーカー（Ｃ）は、起点として示されており、０度のパニング角度（ａ_ct＝０）を有する。センタースピーカーから反時計回りに移動すると、左チャンネルからの情報を出力する左スピーカー（Ｌ）は、ａ_llで表される特定のパニング角度を有し、左サラウンドチャンネルからの情報を出力する左サラウンドスピーカー（ＳＬ）は、ｌ_ess（ａ_llよりも大きい）で表される特定のパニング角度を有する。加えて、右サラウンドチャンネルからの情報を出力する右サラウンドスピーカーは、ｙ_rs（ｌ_essよりも大きい）で表される特定のパニング角度を有し、右チャンネルからの情報を出力する右スピーカーは、ｙ_r（ｙ_rsよりも大きい）で表される特定のパニング角度を有する。

パニング角度推定器３３０からのパニング角度推定値は、係数計算器３４０に送られる。係数計算器３４０は、推定パニング角度を用いて、各出力チャンネルのための同相係数及び異相係数（まとめて位相係数と呼ぶ）を計算する。これらの係数及びチャンネル間位相差を用いて、係数計算器３４０は、各出力チャンネルのデマトリクス係数を決定する。これらのデマトリクス係数及び位相係数は、出力チャンネル発生器３５０に送られる。

出力チャンネル毎に、出力チャンネル発生器３５０は、左総合チャンネル及び右総合チャンネルに対応するデマトリクス係数を乗算して、特定の出力チャンネルを生成する。従って、オーディオコンテンツの再生中は常に、各出力チャンネルは、左総合チャンネル及び右総合チャンネルのミックスである。このミックスは、デマトリクス係数及び特に、位相係数によって決まる。

離散的出力チャンネルの全てが生成すると、出力チャンネル発生器３５０は、アップミキシングされたマルチチャンネル出力オーディオ信号３６０を出力する。図３に示す例示的な実施例において、出力オーディオ信号は、５．１サラウンド音響構成の６チャンネル全てを含む５．１ミックスである。システム３００及び方法の別の実施形態では、チャンネル数が２を超える限り、任意数のチャンネルを生成することができる。加えて、上述のように、ターゲットスピーカーレイアウト２００における各スピーカーは、リスナーの耳２６０と概ね同じ水平面に配置する必要がある。アップミキシングされたマルチチャンネル出力オーディオ信号３６０は、再生環境１９０においてスピーカーから再生するために出力される。

ＩＩＩ．動作の概要
図５は、図１及び３に示した一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の実施形態の全体的な動作を示すフロー図である。動作は、第１の入力チャンネル及び第２の入力チャンネルを有する２チャンネル入力オーディオ信号を入力することによって開始される（ボックス５００）。次に、本方法は、チャンネル間レベル差（ＩＣＬＤ）及びチャンネル間位相差（ＩＣＰＤ）に基づいて、第１のデマトリクス係数及び第２のデマトリクス係数を計算する（ボックス５１０）。次に、本方法は、第１の入力チャンネルに第１のデマトリクス係数を乗算して、第１のサブ信号を生成する（ボックス５２０）。加えて、本方法は、第２の入力チャンネルに第２のデマトリクス係数を乗算して、第２のサブ信号を生成する（ボックス５３０）。

次に、本方法は、第１のサブ信号及び第２のサブ信号を一緒に線形方式ミキシングして、出力チャンネルを生成する（ボックス５４０）。この処理は、各出力チャンネルの新規のデマトリクス係数を見出すことによって、出力チャンネルの各々に関して同様の方法で繰り返される（ボックス５５０）。デマトリクス係数は、通常、出力チャンネル毎に異なることになるが、これは常に当てはまるわけではない。離散的出力チャンネルの各々は、スピーカー又はヘッドフォン等の再生デバイスによって再生するために、アップミキシングされたマルチチャンネル出力オーディオ信号を生成する（ボックス５６０）。

ＩＶ．動作の詳細
以下、一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の実施形態の動作の詳細を説明する。図６は、図１、３、及び５に示した一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の例示的な実施形態の詳細を示すフロー図である。図６に示すように、動作は、左入力チャンネル及び右入力チャンネルを有する２チャンネル入力オーディオ信号を入力することによって開始される（ボックス６００）。従って、入力信号は、左及び右チャンネルを有するステレオ信号である。

次に、本方法は、左及び右チャンネルを用いて、左チャンネルと右チャンネルとの間のチャンネル間レベル差を計算する（ボックス６１０）。この計算は以下に詳細に示される。更に、本方法は、チャンネル間レベル差を用いて、推定パニング角度を計算する（ボックス６２０）。加えて、チャンネル間位相差は、左及び右入力チャンネルを用いて、本方法によって計算する（ボックス６３０）。このチャンネル間位相差は、２チャンネル入力オーディオ信号の左及び右の信号が同相であるか又は異相であるかを示す、左入力チャンネルと右入力チャンネルとの間の相対的な位相差を決定する。

一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の一部の実施形態は、パニング角度（θ）を利用して、ダウンミックス処理、及び２チャンネルダウンミックスからの後続のアップミックス処理を決定する。更に、一部の実施形態は、正弦／余弦パニング原理を仮定する。これらの状況では、２チャンネルダウンミックスは、以下のようなパニング角度の関数として計算する：

Ｘ_iは入力チャンネル、Ｌ及びＲはダウンミックスチャンネル、θはパニング角度（０から１の間で正規化）であり、パニング加重の極性は、入力チャンネルＸ_iの位置によって決まる。従来のマトリクス化システムでは、リスナーの目の前に配置された入力チャンネルを同相信号成分でダウンミキシングして（換言すれば、パニング加重の等しい極性）、リスナーの背後に配置された出力チャンネルを異相信号成分でダウンミキシングする（換言すれば、パニング加重の反対の極性）ことが一般的である。

図７は、正弦／余弦パニング原理に関するパニング角度（θ）の関数としてのパニング加重を示している。第１のプロット７００は、右チャンネルのパニング加重（Ｗ_R）を表している。第２のプロット７１０は、左チャンネルの加重（Ｗ_L）を表している。例示的に図７を参照すると、センターチャンネルは、パニング角度０．５を使用して、以下のダウンミックス関数を導く：

２チャンネルダウンミックスから付加的なオーディオチャンネルを合成するために、パニング角度の推定値（又は

で表される推定パニング角度）を、チャンネル間レベル差（ＩＣＬＤと表示）から計算することができる。ＩＣＬＤは以下のように定義される：

信号成分が、正弦／余弦パニング原理を用いる強度パニングによって生成されると仮定すると、ＩＣＬＤは、パニング角度推定値の関数として表現することができる：

次に、パニング角度推定値は、ＩＣＬＤの関数として表現することができる：

以下の加法定理及び減法定理を、残りの導出にわたって用いることとする。

更に、以下の導出は、５．１サラウンド音響出力構成を前提とする。しかしながら、この分析は、付加的なチャンネルに容易に適用することができる。

ＩＶ．Ａ．センターチャンネル合成
センターチャンネルは、以下の方程式を用いて、２チャンネルダウンミックスから生成される：

ここで、ａ及びｂ係数は、パニング角度推定値

に基づいて決定され、所定の目標を達成するようになっている。

１．同相成分
センターチャンネルの同相成分に関して、所望のパニング挙動を図８に示す。図８は、以下の方程式によって与えられる同相プロット８００に対応するパニング挙動を示している：

同相成分に関する所望のセンターチャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

加法定理を用いれば、第１のデマトリクス係数（ａと表示）及び第２のデマトリクス係数（ｂと表示）を含むデマトリクス係数は、以下のように導出することができる：

２．異相成分

センターチャンネルの異相成分に関して、所望のパニング挙動を図９に示す。図９は、以下の方程式によって与えられる異相プロット９００に対応するパニング挙動を示している：

異相成分に関する所望のセンターチャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

加法定理を用いれば、ａ及びｂ係数は、以下のように導出することができる：

ＩＶ．Ｂ．サラウンドチャンネル合成
サラウンドチャンネルは、以下の方程式を用いて２チャンネルダウンミックスから生成される：

この場合のＬ_Sは左サラウンドチャンネルであり、Ｒ_Sは右サラウンドチャンネルである。更に、ａ及びｂ係数は、推定パニング角度

に基づいて決定され、所定の目標を達成するようになっている。
１．同相成分

左サラウンドチャンネルの同相成分に関する理想的なパニング挙動を図１０に示す。図１０は、以下の方程式によって与えられる同相プロット１０００に対応するパニング挙動を示している：

同相成分に関する所望の左サラウンドチャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

２．異相成分

異相成分に関する左サラウンドチャンネルの目標は、図１１の異相プロット１１００によって図示されるようなパニング挙動を達成することである。図１１は、ダウンミックス方程式に対応する２つの特定の角度を示しており、この場合、左サラウンドチャンネル及び右サラウンドチャンネルが離散的にエンコードされてデコードされる（これらの角度は、図１１の異相プロット１１００上のおよそ０．２５及び０．７５（４５°及び１３５°に対応）である）。これらの角度は以下のように示される：

左サラウンドチャンネルのａ及びｂ係数は、所望の出力の区分的挙動に起因する区分関数をによって生成される。

の場合、左サラウンドチャンネルの所望のパニング挙動は、以下に対応する：

異相成分に関する所望の左サラウンドチャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

異相成分に関する所望の左サラウンドチャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下もようになる：

右サラウンドチャンネル生成のためのａ及びｂ係数は、上述のような左サラウンドチャンネル生成のための係数と同様に計算される。

ＩＶ．Ｃ．修正左及び修正右チャンネル合成
左及び右チャンネルは、以下の方程式を用いて修正して、センター及びサラウンドチャンネルで生成されたこれらの成分を（完全に又は部分的に）除去する：

この場合のａ及びｂ係数は、パニング角度推定値

に基づいて決定され、所定の目標を達成するようになっており、Ｌ’は修正左チャンネル、Ｒ’は修正右チャンネルである。

１．同相成分
同相成分に関する修正左チャンネルの目標は、図１２の同相プロット１２００によって図示されるようなパニング挙動を達成することである。図１２において、０．５のパニング角度θは、離散的センターチャンネルに対応する。修正左チャンネルのａ及びｂ係数は、所望の出力の区分的挙動により、区分関数を通じて生成される。

の場合、修正左チャンネルの所望のパニング挙動は、以下に対応する：

同相成分に関する所望の修正左チャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

２．異相成分
異相成分に関する修正左チャンネルの目標は、図１３の異相プロット１３００によって図示されるようなパニング挙動を達成することである。図１３において、パニング角度θ＝θ_LSは、左サラウンドチャンネルのエンコード角度に対応する。修正左チャンネルのａ及びｂ係数は、所望の出力の区分的挙動により、区分関数により生成される。

異相成分に関する所望の修正左チャンネルのパニング挙動及び仮定される正弦／余弦ダウンミックス関数を代入すると、以下のようになる：

修正右チャンネル生成のためのａ及びｂ係数は、上述のような修正左チャンネル生成のための係数と同様に計算される。

ＩＶ．Ｄ．係数補間
上記に示したチャンネル合成導出は、同相又は異相のいずれかであるソースコンテンツのための所望のパニング挙動を達成することに基づく。ソースコンテンツの相対的な位相差は、以下のように定義されるチャンネル間位相差（ＩＣＰＤ）特性によって決定することができる：

この場合の＊は、複素共役を示す。

ＩＣＰＤ値は、範囲［−１，１］内に制限され、値−１は、成分が異相であることを示し、値１は、成分が同相であることを示す。次に、線形補間を用いたチャンネル合成方程式で用いるための最終のａ及びｂ係数を決定するために、ＩＣＰＤ特性を使用することができる。しかしながら、ａ及びｂ係数を直接的に補間する代わりに、ａ及びｂ係数の全ては、パニング角度推定値

の三角関数を用いて生成されることを注記できる。

従って、線形補間は、三角関数の角度引数に対して実行される。このように線形補間を実行することは、２つの主な利点を有する。第１に、任意のパニング角度及びＩＣＰＤ値に対してａ²＋ｂ²＝１の特性を維持する。第２に、必要な三角関数コール数を減少させ、これにより、処理要件を低減する。

角度補間は、以下のように計算された範囲［０，１］に正規化された修正ＩＣＰＤ値を使用する：

チャンネル出力は、以下に示すように計算される。

１．センター出力チャンネル
センター出力チャンネルは、修正ＩＣＰＤ値を用いて生成され、以下のように定義される：

この場合

上記の正弦関数の引数の第１項は、第１のデマトリクス係数の同相成分を表しており、第２項は、異相成分を表している。従って、αが同相係数を表し、βが異相係数を表す。同相係数及び異相係数は合わせて位相係数として知られている。

図６を再び参照すれば、各出力チャンネルに関して、本方法は、推定パニング角度に基づいて、位相係数を計算する（ボックス６４０）。センター出力チャンネルに関して、同相係数及び異相係数は、以下のように与えられる：

２．左サラウンド出力チャンネル
左サラウンド出力チャンネルは、修正ＩＣＰＤ値を用いて生成され、以下のように定義される：

この場合、

及び

３．右サラウンド出力チャンネル
右サラウンド出力チャンネルは、修正ＩＣＰＤ値を用いて生成され、以下のように定義される：

この場合、

及び

右サラウンドチャンネルのａ及びｂ係数は、パニング角度として

の代わりに

を用いること以外は、左サラウンドチャンネルと同様に生成されることに留意されたい。

４．修正左出力チャンネル
修正左出力チャンネルは、修正ＩＣＰＤ値を用いて生成され、以下のように定義される：

この場合、

及び

５．修正右出力チャンネル
修正右出力チャンネルは、修正ＩＣＰＤ値を用いて生成され、以下のように定義される：

この場合、

及び

右チャンネルのａ及びｂ係数は、パニング角度として

の代わりに

を用いること以外は、左チャンネルと同様に生成されることに留意されたい。

上述の主題は、２チャンネルダウンミックスから、センター、左サラウンド、右サラウンド、左、及び右チャンネルを生成するためのシステムである。しかしながら、システムは、付加的なパニング挙動を定義することによって、他の付加的なオーディオチャンネルを生成するよう、容易に修正可能である。

再び図６を参照すれば、上述から、各出力チャンネルに関して、本方法は、チャンネル間位相差及び位相係数に基づいて、デマトリクス係数を計算することが分かる（ボックス６５０）。更に、デマトリクス係数は、同相信号成分及び異相信号成分の両方を含む。更に、各出力チャンネルは、対応するデマトリクス係数によって重み付けされた右入力チャンネル及び左入力チャンネルの異なる線形結合として生成される（ボックス６６０）。

アップミキシングされたマルチチャンネル出力オーディオ信号を取得するための出力チャンネルを生成した後、各出力チャンネルが、再生環境１９０での再生のために出力される（ボックス６７０）。次に、再生システムは、ターゲットスピーカーレイアウト上で各オーディオチャンネルを再生することができる。この再生は、実質的に、２チャンネルにダウンミキシングされる前の元のオーディオコンテンツを再現することになる。

Ｖ．代替的な実施形態及び例示的な動作環境
本明細書に記載する以外の他の変形形態が明らかになるであろう。例えば、実施形態によっては、本明細書で説明した何らかの方法及びアルゴリズムの特定の動作、事象、又は機能を異なる順序で実行することができ、追加、統合、又は完全に省略することができる（従って、ここで説明する全ての動作又は事象が、本方法及びアルゴリズムの実施に必要というわけではない）。更に、特定の実施形態において、動作又は事象は、連続的ではなく、例えば、マルチスレッド型処理、割り込み処理、もしくはマルチプロセッサ又はプロセッサコアによって、又は他の並列アーキテクチャ上で同時に実行することができる。加えて、様々なタスク又は処理は、一緒に機能することができる異なるマシン及びコンピューティングシステムによって実行することができる。

本明細書で開示した実施形態に関連して説明する様々な例示的な論理ブロック、モジュール、方法、及びアルゴリズム処理及び手順は、電子ハードウェア、コンピュータソフトウェア、又はこの両方の組合せとして実施することができる。ハードウェア及びソフトウェアのこの互換性について明確に例証するために、上記では、様々な実例的な構成要素、ブロック、モジュール、及び処理動作について、これらの機能性に関して一般的に説明してきた。このような機能性をハードウェア又はソフトウェアとして実施するか否かは、特定の用途及びシステム全体に課された設計上の制約による。記載した機能性は、特定の用途の各々に関して異なる方法で実施することができるが、このような実施の決定が、本明細書の範囲からの逸脱を生じさせると解釈すべきではない。

本明細書で開示した実施形態に関連して説明する様々な例示的な論理ブロック及びモジュールは、汎用プロセッサ、処理デバイス、１又は２以上の処理デバイスを有するコンピューティングデバイス、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又は他のプログラム可能論理デバイス、離散ゲート又はトランジスタ論理、離散的ハードウェア構成要素、又は本明細書で説明する機能を実行するよう設計されたこれらのいずれかの組合せのようなマシンによって実施し又は実行することができる。汎用プロセッサ及び処理デバイスは、マイクロプロセッサとすることができるが、代替形態において、プロセッサは、コントローラ、マイクロコントローラ、又は状態マシン、これらの組合せ、又は同様のものとすることができる。プロセッサは、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１又は２以上のマイクロプロセッサ、又はいずれかの他のこのような構成のような、コンピューティングデバイスの組合せとしても実施可能である。

本明細書で説明した一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の実施形態は、多くのタイプの汎用又は専用コンピューティングシステム環境又は構成内で動作可能である。一般に、コンピューティング環境は、限定されるものではないが、１又は２以上のマイクロプロセッサ、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯用コンピューティングデバイス、パーソナル・オーガナイザ、デバイスコントローラ、電気製品内部の計算エンジン、携帯電話、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ、スマートフォン、及び埋め込みコンピュータを備えた電気製品に基づくコンピュータシステムを含む、あらゆるタイプのコンピュータシステムを含むことができる。

このようなコンピューティングデバイスは、限定されるものではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドコンピューティングデバイス、ラップトップ又はモバイルコンピュータ、携帯電話及びＰＤＡのような通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、オーディオ又はビデオメディアプレーヤ、及びその他を含む、少なくとも何らかの最低限の計算能力を有するデバイスに通常、見出すことができる。一部の実施形態において、コンピューティングデバイスは、１又は２以上のプロセッサを含むことになる。各プロセッサは、デジタルシグナルプロセッサ（ＤＳＰ）、超長命令語（ＶＬＩＷ）、又は他のマイクロコントローラのような特殊なマイクロプロセッサとすることができ、或いは、マルチコアＣＰＵ内の特殊なグラフィックス処理ユニット（ＧＰＵ）ベースのコアを含む、１又は２以上のプロセッシングコアを有する従来型の中央処理ユニット（ＣＰＵ）とすることができる。

本明細書で開示した実施形態に関連して説明する方法、処理、又はアルゴリズムの処理動作は、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、又はこの２つのいずれかの組合せで具現化することができる。ソフトウェアモジュールは、コンピューティングデバイスによってアクセス可能なコンピュータ可読媒体内に含めることができる。コンピュータ可読媒体は、取り外し可能、取り外し不可のいずれかである揮発性及び不揮発性媒体、又は何らかのこれらの組合せを含む。コンピュータ可読媒体は、コンピュータ可読又はコンピュータ実行可能命令、データ構造、プログラムモジュール、又は他のデータのような情報を格納するために用いられる。例示的かつ非限定的に、コンピュータ可読媒体は、コンピュータストレージ媒体及び通信媒体を含むことができる。

コンピュータストレージ媒体は、限定されるものではないが、Ｂｌｕｒａｙディスク（ＢＤ）、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フロッピー（登録商標）ディスク、テープドライブ、ハードドライブ、光ドライブ、固体メモリデバイス、ＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、フラッシュメモリ、又は他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ、又は他の磁気ストレージデバイス、又は所望の情報を格納するために使用可能で１又は２以上のコンピューティングデバイスによってアクセス可能ないずれかの他のデバイスのような、コンピュータ又はマシン可読媒体又はストレージデバイスを含む。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、又は当該技術で公知の非一時的コンピュータ可読ストレージ媒体、メディア、又は物理コンピュータストレージのいずれかの他の形式内に常駐することができる。例示的なストレージ媒体は、プロセッサがストレージ媒体から情報を読み出して、そこに情報を書き込むことができるように、プロセッサに結合することができる。代替形態では、ストレージ媒体は、プロセッサに一体化することができる。プロセッサ及びストレージ媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐することができる。ＡＳＩＣは、ユーザ端末内に常駐することができる。代替的に、プロセッサ及びストレージ媒体は、ユーザ端末内の個別構成要素として常駐することができる。

本明細書で使用する場合、語句「非一時的」は、「永続的又は長寿命の」を意味する。語句「非一時的コンピュータ可読媒体」は、ありとあらゆるコンピュータ可読媒体を含み、唯一の例外は一時的な伝搬信号である。これは、例示的かつ非限定的に、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ（ＲＡＭ）のような非一時的コンピュータ可読媒体を含む。

コンピュータ可読又はコンピュータ実行可能命令、データ構造、プログラムモジュール、及びその他のような情報の保持は、１又は２以上の変調データ信号、電磁波（搬送波のような）、又は他の伝送機構又は通信プロトコルをエンコードするための様々な通信媒体を用いることによって実現することができ、いずれかの有線又は無線情報配信機構を含む。一般に、これらの通信媒体は、信号内の情報又は命令をエンコードするような方法で設定又は変更される自己の特性の１又は２以上を有する信号を参照する。例えば、通信媒体は、１又は２以上の変調データ信号を搬送する有線ネットワーク又はダイレクト有線接続のような有線媒体、及び音響、無線周波数（ＲＦ）、赤外線、レーザーのような無線媒体、及び１又は２以上の変調データ信号又は電磁波を送信、受信、又は送受信するための他の無線媒体を含む。上記のいずれかの組合せも、通信媒体の範囲内に含まれるべきである。

更に、本明細書で説明したエンコーディング後のビットレート再生システム１００及び方法の種々の実施形態の一部又は全てを具現化するソフトウェア、プログラム、コンピュータプログラム製品のうちの１又はいずれかの組合せ、或いはこれの一部分は、コンピュータ可読命令又は他のデータ構造の形式で、コンピュータ又はマシン可読媒体又はストレージデバイス及び通信媒体のあらゆる所望の組合せに格納、受信、送信、又はそこから読み出すことができる。

本明細書で説明した一定出力ペアワイズパニング・アップミキシングシステム３００及び方法の実施形態は、コンピューティングデバイスによって実行されるプログラムモジュールのようなコンピュータ実行可能命令という一般的状況で更に説明することができる。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、及びその他を含み、これらが、特定のタスクを実行し、特定の抽象データタイプを実施する。また、本明細書で説明した実施形態は、１又は２以上の通信ネットワークを通じてリンクされた１又は２以上のリモート処理デバイスによって、又は１又は２以上のデバイスのクラウド内でタスクが実行される、分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、メディアストレージデバイスを含む、ローカル及びリモートの両方のコンピュータストレージ媒体内に、プログラムモジュールを配置することができる。更に、上記の命令は、プロセッサを含むこともあれば含まないこともある、ハードウェア論理回路として部分的に又は全体的に実施することができる。

本明細書で使用する条件語、とりわけ、「できる（ｃａｎ）」「してよい（ｍｉｇｈｔ）」「できる（ｍａｙ）」「例えば（ｅ．ｇ．）」及び同様のものは、他に明確に言及されていない限り、又は用いられる文脈でそれ以外に理解されない限り、一般に、特定の実施形態が特定の特徴、要素、及び／又は状態を含むが、他の実施形態は含まないことを伝えるものである。従って、このような条件語は、特徴、要素、及び／又は状態が、１又は２以上の実施形態にとって必ず必須であること、或いは、作成者の入力又は指示があってもなくても、これらの特徴、要素、及び／又は状態が含まれるか又はいずれかの特定の実施形態で実行されるべきかどうかを決めるためのロジックを、１又は２以上の実施形態が必ず含むことを一般に示唆するものではない。用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、及び同様のものは、同義であり、包含的かつオープンエンド（ｏｐｅｎ−ｅｎｄ）方式で使用され、付加的な要素、特徴、動作、操作、及びその他を除外しない。また、用語「ｏｒ」は、包括的な意味で（排他的意味ではなく）用いられ、従って、例えば、要素のリストをつなぐために使用されるとき、用語「ｏｒ」は、リスト内の要素のうちの１つ、いくつか、又は全てを意味する。

上記の詳細な説明は、種々の実施形態に適用される場合に新規の特徴を示し、説明し、及び指摘するが、本開示の精神から逸脱することなく、例証されたデバイス又はアルゴリズムの形式及び詳細において、様々な省略、置換、及び変更を加えることができる点を理解されたい。理解できるように、一部の特徴は、他の特徴とは別に使用すること又は実施することができるので、本明細書で説明する本発明の特定の実施形態は、本明細書に示した特徴及び利点の全てを提供しない形態の範囲内で具現化することができる。

更に、主題は、構造的特徴及び方法論的動作に特有の用語で説明してきたが、添付の請求項に記載する主題は、上記で説明した特定の特徴又は動作に必ずしも限定されるわけではないことを理解されたい。むしろ、上記で説明した特定の特徴及び動作は、請求項を実施する例示的な形態として開示される。

３００一定出力ペアワイズパニング・アップミキシングシステム
５００第１の入力チャンネル及び第２の入力チャンネルを有する２チャンネル入力オーディオ信号を入力
５１０ＩＣＬＤ及びＩＣＰＤに基づいて、第１のデマトリクス係数及び第２のデマトリクス係数を計算
５２０第１の入力チャンネルに第１のデマトリクス係数を乗算して、第１のサブ信号を生成
５３０第２の入力チャンネルに第２のデマトリクス係数を乗算して、第２のサブ信号を生成
５４０第１のサブ信号及び第２のサブ信号を一緒にミキシングして、出力チャンネルを生成
５５０各出力チャンネルの新規のデマトリクス係数を見出すことによって、同様の方法で付加的な出力チャンネルを生成
５６０再生デバイスから再生するために、離散的出力チャンネルから、アップミキシングされたマルチチャンネル出力オーディオ信号を生成

Claims

第１の入力チャンネル及び第２の入力チャンネルを有する２チャンネル入力オーディオ信号をアップミキシングして、３以上のチャンネルを有するアップミキシングされたマルチチャンネル出力オーディオ信号にするために、１又は２以上の処理デバイスによって実行される方法であって、
前記第１の入力チャンネルと前記第２の入力チャンネルとの間の、ＩＣＬＤで表されるチャンネル間レベル差、及びＩＣＰＤで表されるチャンネル間位相差に基づいて、ａで表される第１のデマトリクス係数及びｂで表される第２のデマトリクス係数を計算する段階と、
前記第１の入力チャンネルに前記第１のデマトリクス係数を乗算して第１のサブ信号を生成し、前記第２の入力チャンネルに前記第２のデマトリクス係数を乗算して第２のサブ信号を生成する段階と、
前記第１のサブ信号及び前記第２のサブ信号を線形方式でミキシングして、前記アップミキシングされたマルチチャンネル出力オーディオ信号の出力チャンネルを生成する段階と、
前記生成された出力チャンネルを、スピーカーによる再生のために出力する段階と、
を含むことを特徴とする方法。
前記第１及び第２のデマトリクス係数を計算する段階は、前記２チャンネル入力オーディオ信号の前記チャンネル間レベル差を、左チャンネルと、前記左チャンネル及び右チャンネルの和との比率として計算する段階を更に含む、請求項１に記載の方法。
前記チャンネル間レベル差を計算する段階は、方程式

を使用する段階を更に含み、Ｌは前記左チャンネルであり、Ｒは前記右チャンネルである、請求項２に記載の方法。
前記第１及び第２のデマトリクス係数を計算する段階は、前記チャンネル間レベル差に基づいて、

で表される推定パニング角度を計算する段階を更に含み、前記推定パニング角度は、前記２チャンネル入力オーディオ信号に関連する元のパニング角度の推定値である、請求項１に記載の方法。
前記推定パニング角度を計算する段階は、方程式

を使用する段階を更に含む、請求項４に記載の方法。
前記第１及び第２のデマトリクス係数を計算する段階は、前記第１の入力チャンネルと前記第２の入力チャンネルとの間の前記チャンネル間位相差を、方程式

に基づいて決定する段階を更に含み、＊は複素共役を示し、Ｌは前記第１の入力チャンネルであり、Ｒは前記第２の入力チャンネルであり、前記チャンネル間位相差とは、所与の時間において、前記第１の入力チャンネルが前記第２の入力チャンネルと同相であるか又は異相であるかを示す、請求項１に記載の方法。
前記第１及び第２のデマトリクス係数を計算する段階は、
前記推定パニング角度に基づいて、同相係数及び異相係数を計算する段階と、
前記チャンネル間位相差、前記同相係数、及び前記異相係数に基づいて、前記第１及び第２のデマトリクス係数を計算する段階と、
を更に含む請求項４に記載の方法。
前記第１及び第２のデマトリクス係数を計算する段階は、
以下の方程式を用いて前記第１のデマトリクス係数を計算する段階と、

以下の方程式を用いて前記第２のデマトリクス係数を計算する段階と、

を更に含み、
αは同相係数であり、βは異相係数であり、両者は、

で表される推定パニング角度に基づいており、ＩＣＰＤ’は、以下によって与えられる修正チャンネル間位相差であり、

前記チャンネル間位相差は、以下によって与えられ、

＊は複素共役を示し、Ｌは左チャンネルであり、Ｒは右チャンネルである、請求項１に記載の方法。
左入力チャンネル及び右入力チャンネルを有する２チャンネル入力オーディオ信号から、Ｎ個の出力チャンネルを有するアップミキシングされたマルチチャンネル出力オーディオ信号を生成するための方法であって、Ｎは、２よりも大きい正の整数であり、
同相信号成分及び異相信号成分の組合せの第１の三角関数に基づいて、ａで表される第１のデマトリクス係数を計算する段階と、
同相信号成分及び異相信号成分の組合せの第２の三角関数に基づいて、ｂで表される第２のデマトリクス係数を計算する段階と、
前記第１のデマトリクス係数を前記左又は右入力チャンネルに乗じて、及び前記第２のデマトリクス係数を前記右又は左入力チャンネルに乗じて、線形方式でミキシングすることによって、前記Ｎ個の出力チャンネルの各々を生成する段階と、
前記アップミキシングされたマルチチャンネル出力オーディオ信号の前記Ｎ個の出力チャンネルの各々を、マルチチャンネル再生環境でスピーカーから再生させる段階と、
を含むことを特徴とする方法。
前記第１の三角関数は、正弦関数であり、前記第２の三角関数は、余弦関数である、請求項９に記載の方法。
前記同相信号成分及び前記異相信号成分の前記組合せは、線形結合である請求項９に記載の方法。
前記左入力チャンネル及び前記右入力チャンネルに基づいて、ＩＣＬＤで表されるチャンネル間レベル差を計算する段階と、
前記チャンネル間レベル差から、推定パニング角度を計算する段階と、
前記推定パニング角度に基づいて、αで表される同相係数及びβで表される異相係数を計算する段階と、
前記左入力チャンネルが前記右入力チャンネルと同相であるか又は異相であるか、及びその逆を示す、前記左入力チャンネルと右入力チャンネルとの間の相対的な位相差を決定するために、前記左入力チャンネル及び前記右入力チャンネルに基づいて、ＩＣＰＤで表されるチャンネル間位相差を計算する段階と、
を含み、
前記同相信号成分は、前記同相係数によって乗算された前記チャンネル間位相差に基づき、前記異相信号成分は、前記異相係数によって乗算された前記チャンネル間位相差に基づく、請求項９に記載の方法。
前記チャンネル間レベル差を計算する段階は、方程式

を更に含み、Ｌは前記左入力チャンネルであり、Ｒは前記右入力チャンネルである、請求項１２に記載の方法。
前記チャンネル間位相差を計算する段階は、方程式

を更に含み、＊は複素共役を示す、請求項１３に記載の方法。
以下のように与えられる、ＩＣＰＤ’で表される修正チャンネル間位相差を計算する段階を更に含む、

請求項１４に記載の方法。
前記第１のデマトリクス係数を計算する段階は、方程式

を更に含む、請求項１５に記載の方法。
前記第２のデマトリクス係数を計算する段階は、方程式

を更に含む、請求項１６に記載の方法。
で表される前記推定パニング角度を計算する段階は、方程式

を更に含む、請求項１７に記載の方法。
前記センターチャンネルの同相係数を以下のように計算することにより、

前記センターチャンネルの異相係数を以下のように計算することにより、

前記Ｎ個の出力チャンネルのセンターチャンネルを生成する段階を更に含む、請求項１８に記載の方法。
前記左サラウンドチャンネルの同相係数を以下のように計算することにより、

前記左サラウンドチャンネルの異相係数を以下のように計算することにより、

前記Ｎ個の出力チャンネルの左サラウンドチャンネルを生成する段階を更に含み、
θ_Rsは、右サラウンドエンコーディング角度であり、θ_Lsは、左サラウンドエンコーディング角度である、請求項１８に記載の方法。
前記右サラウンドチャンネルの同相係数を以下のように計算することにより、

前記右サラウンドチャンネルの異相係数を以下のように計算することにより、

前記Ｎ個の出力チャンネルの右サラウンドチャンネルを生成する段階を更に含み、
θ_Rsは、右サラウンドエンコーディング角度であり、θ_Lsは、左サラウンドエンコーディング角度である、請求項１８に記載の方法。
前記修正左チャンネルの同相係数を以下のように計算することにより、

前記修正左チャンネルの異相係数を以下のように計算することにより、

前記Ｎ個の出力チャンネルの修正左チャンネルを生成する段階を更に含み、
θ_Rsは、右サラウンドエンコーディング角度であり、θ_Lsは、左サラウンドエンコーディング角度である、請求項１８に記載の方法。
前記修正右チャンネルの同相係数を以下のように計算することにより、

前記修正右チャンネルの異相係数を以下のように計算することにより、

前記Ｎ個の出力チャンネルの修正右チャンネルを生成する段階を更に含み、
θ_Rsは、右サラウンドエンコーディング角度であり、θ_Lsは、左サラウンドエンコーディング角度である、請求項１８に記載の方法。