JP2018061237A - ビーム形成ラウドスピーカアレイに関する空間オーディオレンダリング - Google Patents

Abstract

【課題】非常に限られた数のラウドスピーカキャビネット（例えば１つだけ）を使用して、没入感のある再生を得る方法を提供する。
【解決手段】ラウドスピーカキャビネット２に収容されたラウドスピーカアレイを用いてサウンドを再生する方法は、いくつかのサウンドレンダリングモードを選択することと、センサデータ及びユーザインタフェース選択の一方又は双方における変化に基づいて、選択されたサウンドレンダリングモードを変更することと、を含んでいる。このサウンドレンダリングモードには、いくつかの中央側モード及び少なくとも１つの直接周囲モードが含まれる。
【選択図】図１

Description

本願は、２０１６年９月３０日に出願された同時係属中の米国特許仮出願第６２／４０２，８３６号の先の出願日の利益を主張する。
本発明の一実施形態は、ステレオ録音を室内で再生するためのラウドスピーカアレイによるオーディオの空間選択的レンダリングに関するものである。他の実施形態もまた記載される。

改善された品質でサウンド録音を再生することを目的とした技術を開発することに多くの努力が費やされた結果、元の録音環境と同じくらい自然に聞こえるようになった。この方法は、聴取者の周囲に、その空間分布が元の録音環境の空間分布により近くなる音場を作り出すものである。この分野の初期の実験によって、例えば、聴取者の前のラウドスピーカによって、音楽信号を再生すること、及び、聴取者の背後にあるラウドスピーカによって、同じ信号のわずかに遅延したバージョンの音楽信号を再生すると、聴取者に、自分の前で音楽が演奏されているとの印象を与えることが明らかになった。聴取者の左側に更なるラウドスピーカを追加し、右側に別のラウドスピーカを追加して、フロントラウドスピーカとリアラウドスピーカとの間の遅延とは異なる遅延でこれらのサイドスピーカに同じ信号を供給することによって、上記構成を改善することができる。

ステレオ録音は、音源に対して戦略的に配置された少なくとも２つのマイクロホンから同時に録音することによって、音環境をキャプチャするものである。これらの（少なくとも２つの）入力オーディオチャンネルをそれぞれのラウドスピーカによって再生する間、聴取者は、（知覚される小さなタイミング差と音量差を利用して）音源の場所を大まかに導出し、それによって、空間感覚を享受するものである。１つの手法では、２つの信号、即ち中心情報を含む中央信号と、中心に位置する音源について本質的にゼロで始まり、次に角度偏差と共に増加する（即ち、「側面」情報を得る）側面信号と、を生成するマイクロホンの構成を選択してもよい。かかる中央信号及び側面信号の再生は、互いに隣接してお互いに垂直に向いたそれぞれのラウドスピーカキャビネットによって行うことができ、これらは実質的に当該マイクロホン配置による収録を複製するのに十分な指向性を有することができる。

観客に向けられた空間的に選択的な音（ビーム）を生成するために、屋外の音楽祭などの大きな会場では、ラインアレイなどのラウドスピーカアレイが使用されてきた。ラインアレイは、礼拝堂、スポーツアリーナ、及びモールなどの閉じた大きなスペースでも使用されている。

本発明の一実施形態は、ラウドスピーカアレイを使用して、部屋又は他の限定された空間内で、鮮明さと、没入又は空間感覚と、の双方を有するオーディオをレンダリングすることを目的としている。このシステムにはラウドスピーカキャビネットがあり、多数のドライバが内蔵さており、多数のオーディオ増幅器がドライバの入力に連結されている。レンダリングプロセッサは、当該ドライバによってサウンドに変換されるべき楽曲などのサウンドプログラムコンテンツについてのいくつかの入力オーディオチャンネル（例えば、ステレオ録音の左右）を受信する。当該レンダリングプロセッサは、デジタルオーディオ通信リンク上で増幅器の入力に連結された出力を有する。当該レンダリングプロセッサはまた、ドライバの入力用の個々の信号を生成するいくつかのサウンドレンダリング動作モードを有する。決定論理（決定プロセッサ）は、決定論理入力として、センサデータとユーザインタフェース選択との一方又は双方を受信するものである。決定論理入力は、（例えば、ラウドスピーカキャビネットが配置される）部屋の特徴、及び／又は聴取場所（例えば、部屋における、又はラウドスピーカキャビネットに対する、聴取者の位置）を表すか、又はそれらによって規定することができる。コンテンツ解析は、入力オーディオチャンネルに対して決定論理によって実行されてもよい。コンテンツ解析、部屋の特徴（例えば、部屋の音響）、及び聴取者の位置又は聴取場所のうちの１つ以上を使用して、決定論理は、続いてレンダリングプロセッサのためのレンダリングモードの選択を行い、それに従って、サウンドプログラムコンテンツの再生中に、当該ラウドスピーカを駆動する。レンダリングモードの選択は、例えば、決定論理入力の変化に基づいて、再生中に自動的に変更することができる。

サウンドレンダリングモードには、いくつかの第１のモード（例えば、中央側モード）と、１つ以上の第２のモード（例えば、周囲直接モード）とが含まれる。レンダリングプロセッサは、第１のモードのいずれか１つに、又は第２のモードに構成することができる。一実施形態では、中央側モードの各々において、ラウドスピーカドライバ（集合的にビーム形成アレイとして動作する）は、指向性ビーム（又はビームパターン）で重ね合わされた主に全方向性ビーム（又はビームパターン）を有するサウンドビームを生成する。

周囲直接モードでは、ラウドスピーカドライバは、ｉ）直接コンテンツパターンを有するサウンドビームを生成するが、直接コンテンツパターンは、聴取者の位置に照準が向けられ、かつ、ｉｉ）聴取者の位置から離れて照準が向けられる周囲コンテンツパターンと重ね合わされている。直接コンテンツパターンは、入力オーディオチャンネルから取られた直接サウンドセグメント（例えば、直接音声、対話又は解説を含むセグメントであり、聴取者によって特定の方向から到来すると認識されるべきセグメント）を含む。周囲コンテンツパターンは、入力オーディオチャンネルから取られた周囲音又は拡散音のセグメント（例えば、聴取者の周囲全体にあるか、又は完全に包囲していると聴取者によって知覚されるべき降雨又は群集ノイズを含むセグメント）を含む。一実施形態では、周囲コンテンツパターンは直接コンテンツパターンよりも方向性がある一方で、他の実施形態ではその逆があてはまる。

複数の第１のモードと第２のモードとの間で変更することができることによって、本オーディオシステムは、例えば単一のラウドスピーカキャビネットで、ビーム形成アレイを使用して、音楽を（例えば、５００Ｈｚ以下であり得る低いカットオフ周波数を超えるオーディオコンテンツの高い指向性によって）明瞭にレンダリングすることができるだけでなく、（おそらく、周囲コンテンツ再生に関する低い又は負の指向性指数を有する）サウンドで部屋を「満たす」ことができる。したがって、一例では、例えば、入力オーディオチャンネルの一部ではあるが全てではないか、又は入力オーディオチャンネルの全てである、下側カットオフ周波数を超える全てのコンテンツに対して、単一のラウドスピーカキャビネットを使用して、明瞭さと没入感の双方でオーディオをレンダリングすることができる。

一実施形態では、コンテンツ解析は、入力オーディオチャンネルに対して、例えば、時間相関／ウィンドウ相関を使用して、相関コンテンツ及び無相関コンテンツを発見するために実行される。ビームフォーマを使用して、相関コンテンツを直接コンテンツビームパターンでレンダリングすることができる一方で、無相関コンテンツを１つ以上の周囲コンテンツビームで同時にレンダリングする。ラウドスピーカキャビネットと部屋との間の音響的相互作用について（部屋を説明する決定論理入力に部分的に基づくことができる）知っていれば、周囲のコンテンツをレンダリングするのに役立つことができる。例えば、ラウドスピーカキャビネットが音響反射面の近くに配置されていると判断された場合、かかる部屋の音響の知識を用いて、サウンドプログラムコンテンツをレンダリングするために、（中央側モードのいずれかではなく）周囲直接モードを選択することができる。

ラウドスピーカキャビネットがいずれの音響反射面からも離れて配置される場合などの聴取者位置及び部屋の音響の他のケースでは、中央側モードのうちの１つを選択して、サウンドプログラムコンテンツをレンダリングすることができる。これらの各々は、オーディオが３６０度にわたって一貫して再生されると同時に、いくつかの空間品質を保持する「拡張」全方向性モードと説明することができる。次第に高次のビームパターン、例えば双極子及び四重極、を生成することができるビームフォーマを使用することができ、（例えば、左右の入力チャンネルの差分から導かれる）非相関コンテンツが、モノラル主ビーム（本質的に、左右の入力チャンネルの合計を有する全方向性ビーム）に追加されるか、又は重ね合わされる。

上記概要は、本発明の全ての態様の網羅的なリストを含むものではない。本発明には、上記でまとめた種々の態様の全ての好適な組み合わせからの実施可能な全てのシステム及び方法が含まれ、並びに以下の「発明を実施するための形態」で開示するもの、特に本出願と共に提出された特許請求の範囲において示すものが含まれると考えられる。かかる組み合わせには、上記概要では具体的に説明していない特定の利点がある。

本発明の実施形態は、限定としてではなく例として、添付の図面の図に示されており、図中、同じ参照符号は同様の要素を示している。本開示における本発明の「ある」実施形態又は「一」実施形態に対する言及は、必ずしも同じ実施形態に対するものではなく、それらは、少なくとも１つの実施形態を意味することに留意されたい。また、図面を簡潔にし、図面の総数を減らすために、所定の図は、本発明の複数の実施形態の特徴を示すために使用されてもよく、図の全ての要素が所定の実施形態に必要とされるわけではない。

ビーム形成ラウドスピーカアレイを有するオーディオシステムのブロック図である。 中央側レンダリングモードで生成されるサウンドビームの立面図である。 レンダリングされたオーディオコンテンツの空間的変化を、図２Ａのサウンドビームの重ね合わせとして、水平面内で示す。 高次中央側レンダリングモードによって生成されるサウンドビームパターンの立面図である。 ビームを形成するために利用可能な２つの入力オーディオチャンネルの場合の、図３Ａの実施形態におけるレンダリングされたビームコンテンツを示す。 ビームの重ね合わせから生じるレンダリングされたコンテンツの図３Ａ及び図３Ｂの水平面における空間的変化を示す。 周囲直接モードで生成されるサウンドビームパターンの例の立面図を示す。 本オーディオシステムが動作している部屋の水平面に対する下向き図である。

添付の図面を参照して本発明のいくつかの実施形態を次に説明する。実施形態で説明される部品の形状、相対位置、及び他の態様が明瞭には規定されない場合はいつでも、本発明の範囲は、示した部品のみに限定されず、示した部品は、単に説明目的のためであることを意味する。また、多くの詳細が述べられているが、本発明のいくつかの実施形態は、これらの詳細なしに実施され得ることが理解される。他の事例では、本説明の理解を妨げないように、周知の回路、構造、及び技術については詳細に示していない。

図１は、多数の入力オーディオチャンネル内にあるサウンドプログラムコンテンツを再生するために使用されているビーム形成ラウドスピーカアレイを有するオーディオシステムのブロック図である。ラウドスピーカキャビネット２（エンクロージャとも呼ばれる）は、多数のラウドスピーカドライバ３を内蔵している（少なくとも３つ以上、大半の事例では、入力オーディオチャンネルの数よりも多い）。一実施形態では、キャビネット２は、例えば、図２Ａに示されるように、また図５の上面図に示されるように、略円筒形の形状を有してもよく、ドライバ３は、中心垂直軸９の周りに周方向に並べて配置されている。ドライバ３に関して、他の配置も可能である。更に、キャビネット２は、ドライバ３が実質的に球体の表面全体に均一に分布され得る略球状又は略楕円体形状などの他の一般的形状を有することができる。ドライバ３は、電気力学的ドライバであってもよく、例えば、ツィータ及びミッドレンジドライバの任意の好適な組み合わせを含む、異なる周波数帯域用に特別に設計されたいくつかを含んでもよい。

この例のラウドスピーカキャビネット２はまた、多数のパワーオーディオ増幅器４を含み、その各々は、対応するラウドスピーカドライバ３の駆動信号入力に連結された出力を有する。各増幅器４は、対応するデジタル／アナログ変換器（ＤＡＣ）５からアナログ入力を受信するが、ここで、後者は、オーディオ通信リンク６を介して、その入力デジタルオーディオ信号を受信する。ＤＡＣ５及び増幅器４は別々のブロックとして示されているが、一実施形態では、より効率的なデジタル／アナログ変換及び（例えば、Ｄ級増幅器技術を使用して）個々のドライバ信号の増幅動作を提供するために、各ドライバだけでなく複数のドライバに対しても、これらの電子回路の構成要素を組み合わせることができる。

ドライバ３の各々に対する個々のデジタルオーディオ信号は、オーディオ通信リンク６を通して、レンダリングプロセッサ７から供給される。レンダリングプロセッサ７は、ラウドスピーカキャビネット２とは別のエンクロージャ（例えば、スマートフォン、ラップトップコンピュータ、又はデスクトップコンピュータであってもよいコンピューティングデバイス１８（図５参照）の一部としての）内に実装することができる。そのような事例では、オーディオ通信リンク６はＢＬＵＥＴＯＯＴＨリンク又は無線ローカルエリアネットワークリンクなどの無線デジタル通信リンクである可能性がより高い。しかし、他の事例では、オーディオ通信リンク６は、デジタル光オーディオケーブル（例えば、ＴＯＳＬＩＮＫ接続）又は高精細度マルチメディアインターフェース（ＨＤＭＩ）ケーブルなどの物理ケーブルを介してもよい。別の実施形態では、レンダリングプロセッサ７及び決定論理８は、双方とも、ラウドスピーカキャビネット２の外側筐体内に実装される。

レンダリングプロセッサ７は、ステレオ録音の２つのチャンネル入力、即ち左（Ｌ）チャンネル及び右（Ｒ）チャンネルとして、図１の例に示されるサウンドプログラムコンテンツについてのいくつかの入力オーディオチャンネルを受信するものである。例えば、左右の入力オーディオチャンネルは、２だけのチャンネルとして記録された楽曲のチャンネルであってもよい。あるいは、例えば、映画の５．１サラウンドフォーマットのオーディオサウンドトラックの全体、又は、大きな公共劇場設定のために意図された映画、のような３つ以上の入力オーディオチャンネルが存在してもよい。これらは、レンダリングプロセッサが、いくつかのサウンドレンダリング動作モードのうちのいずれか１つにおいて、これらの入力チャンネルをドライバ３に対する個々の入力ドライブ信号に変換した後、ドライバ３によってサウンドに変換されるものである。レンダリングプロセッサ７は、完全に、プログラムされたデジタルマイクロプロセッサとして、又はプログラムされたプロセッサと、デジタルフィルタブロック及び状態機械などの専用ハードワイヤードデジタル回路と、の組み合わせとして、実装されてもよい。レンダリングプロセッサ７は、ドライバ３の個々の駆動信号を生成するように構成することができるビームフォーマを含むことができ、ビーム形成ラウドスピーカアレイとしてのドライバ３によって放射される複数の同時の所望のビームとして、入力オーディオチャンネルのオーディオコンテンツを「レンダリング」することができる。当該ビームは、いくつかの予め設定されたレンダリングモード（以下に更に説明するように）に従って、ビームフォーマによって整形され、誘導されてもよい。

レンダリングモードの選択は、決定論理８によって行われる。決定論理８は、例えば、レンダリングプロセッサ７を共有することによって、又は異なるプロセッサのプログラミングによって、プログラムされたプロセッサとして実装されてもよく、特定の入力に基づいて、どのサウンドレンダリングモードを使用するかについて、再生中か又は再生予定の所定のサウンドプログラムコンテンツについて決定するプログラムを実行し、当該決定したモードに従って、レンダリングプロセッサ７は、ラウドスピーカドライバ３を駆動する（サウンドプログラムコンテンツの再生中に所望のビームを生成するために）ものである。より一般的には、選択されたサウンドレンダリングモードは、１つ以上の聴取者位置、部屋の音響、及び更に後述するように、決定論理８によって実行されるコンテンツ解析に基づいて、再生中に自動的に変更することができる。

決定論理８は、その決定論理入力の変化に基づいて、再生中にレンダリングモードの選択を自動的に（即ち、本オーディオシステムのユーザ又は聴取者からの即時入力を必要としない）変更することができる。一実施形態では、決定論理入力は、センサデータ及びユーザインタフェース選択の一方又は双方を含んでいる。当該センサデータには、例えば、近接センサ、深度カメラなどの撮像カメラ、又は指向性収音システム（例えば、マイクロホンアレイを使用するもの）によって取得された測定値を含めることができる。決定論理８のプロセスによって、センサデータ及び任意選択的にユーザインタフェース選択（これによって、例えば、聴取者が、部屋の境界、並びに室内の家具又は他の物体のサイズ及び位置を手動で描写することができる）を使用して、聴取者の位置、例えば、ラウドスピーカキャビネット２の前方軸又は前向き軸に対する角度によって与えられる半径方向の位置を計算することができる。ユーザインタフェースを選択すると、部屋の特徴、例えばラウドスピーカキャビネット２から隣接する壁、天井、窓、又は家具などの室内の物体、までの距離を示すことができる。センサデータを使用して、例えば、部屋又は室内のある特徴に関する音響反射値又は吸音値を測定することもまたできる。より一般的には、決定論理８は、個々のラウドスピーカドライバ３と部屋との間の相互作用を評価する機能（デジタル信号処理アルゴリズムを含む）を有することができ、例えば、ラウドスピーカキャビネット２がいつ音響反射面の近くに配置されたかを決定することができる。かかる場合、そして以下に説明するように、（周囲直接レンダリングモードの）周囲ビームは、所望のステレオ効果向上又は没入効果を促進するために、異なる角度に配置することができる。

レンダリングプロセッサ７は、２つ以上の中央側モードと少なくとも１つの周囲直接モードを含むいくつかのサウンドレンダリング動作モードを有する。したがって、レンダリングプロセッサ７は、かかる動作モードで予め設定されているか、又はかかるモードでビーム形成を実行する機能を有するので、現在の動作モードは、サウンドプログラムコンテンツの再生中に、決定論理８によって、リアルタイムで選択され、変更することができる。これらのモードは、特定の部屋の聴取者に対して、及び再生中の特定のコンテンツに関して、最良又は最大の効果を与えると予想されるものに基づいて、システムが選択できる入力オーディオチャンネル（例えば、Ｌ及びＲ）に対するめざましいステレオ効果の向上と考えられる。したがって、改善されたステレオ効果又は室内での没入が達成され得る。異なるモードの各々は、聴取者の位置及び部屋の音響に基づいているだけでなく、特定のサウンドプログラムコンテンツのコンテンツ解析に基づいて（聴取者に対して、より没入感のあるステレオ効果を提供する点で）めざましい利点を有することが期待できる。更に、これらのモードは、本発明の一実施形態では、サウンドプログラムコンテンツについての利用可能な入力オーディオチャンネルの全てにおける下側カットオフ周波数を超えるコンテンツの全てが、ラウドスピーカキャビネット２のドライバ３によってのみサウンドに変換されるという理解に基づいて、選択されてもよい。当該ドライバは、それぞれのドライバの、他のドライバに対する物理的位置の知識に基づいて、各個々のドライバ信号を計算するビームフォーマによって、ラウドスピーカアレイとして扱われる。換言すれば、ウーファ及びサブウーファのコンテンツ（例えば、３００Ｈｚ未満）を除いて、入力オーディオチャンネル内の元のオーディオコンテンツは、本システムの別のラウドスピーカに送られることはない。これは、単一のラウドスピーカキャビネット２（下側カットオフ周波数を超える全てのコンテンツに対してビーム形成ラウドスピーカアレイを実装する）を備えたオーディオシステムとみなすことができる。

レンダリングプロセッサ７の中央側モードの各々では、レンダリングプロセッサ７の出力は、複数のラウドスピーカドライバ３に、（ｉ）２つ以上の入力オーディオチャネルの合計を含む全方向性パターンを有するサウンドビームを生成させてもよいが、この全方向性パターンは、ｉｉ）複数のローブを有する指向性パターンであって、各ローブは２つ以上の入力オーディオチャンネルの差分を含む、指向性パターンと、重ね合わされている。一例として、図２Ａは、２つの入力オーディオチャンネルＬ及びＲ（ステレオ入力）の場合に、かかるモードで生成されるサウンドビームを示している。ラウドスピーカキャビネット２は、双極子ビーム１１と重ね合わされされた全方向性ビーム１０（示されるように、全方向性パターンを有する）を生成する。全方向性ビーム１０は、ステレオ（Ｌ、Ｒ）オリジナルのモノラルダウンミックスとみなすことができる。双極子ビーム１１は、より強い指向性パターンの一例であり、この場合には、各ローブが２つの入力チャンネルＬ、Ｒの差分を含むが反対の極性を有する２つの１次ローブを有する。言い換えれば、図の右向きのローブに出力されるコンテンツはＬ−Ｒであり、一方、双極子の左向きのローブに出力されるコンテンツは−（Ｌ−Ｒ）＝Ｒ−Ｌである。かかるビームの組み合わせを生成するために、レンダリングプロセッサ７は、全方向性ビーム１０と双極子ビーム１１との重ね合わせを生成するために、予め規定されたいくつかの直交モードの好適な線形結合を生成するビームフォーマを有することができる。このビームの組み合わせにより、図２Ｂに示すように、全体的な円のセクタ内にコンテンツが配信され、これは、全方向性ビーム１０及び双極子ビーム１１が描かれている図２Ａの水平面上を下向きに見た図である。

図２Ｂに示される、結果として生じるか、又は合成されたサウンドビームパターンは、ここでは、（ラウドスピーカキャビネット２の水平面内及び中心垂直軸９周りに）示された３６０度にわたる隣接するステレオセクタの数によって決定される「ステレオ密度」を有するといえる。各ステレオセクタは、左側領域Ｌと右側領域Ｒとに挟まれた中央領域Ｃから構成されている。したがって、図２Ｂに示す中央側モードの場合、そこでのステレオ密度は、隣接する２つのステレオセクタによってのみ規定され、各々が別個の正反対の中心領域Ｃを有し、互いに正反対に位置する単一の左領域Ｌと単一の右領域Ｒとを共有している。これらのステレオセクタの各々、又はこれらのステレオセクタの各々のコンテンツは、図２Ａに示すように、全方向性ビーム１０と双極子ビーム１１との重ね合わせの結果である。例えば、左領域Ｌは、双極子ビーム１１の右向きローブにおけるＬ−Ｒコンテンツと全方向性ビーム１０のＬ＋Ｒコンテンツとの和として得られ、ここで、量Ｌ＋ＲもまたＣと呼ばれる。

図２Ａに示す双極子ビーム１１を見る別の方法は、指向性パターンに２つの主要ローブ又はメインローブしかなく、各ローブが同じ２つ又は３つの入力チャンネルの差分を含む、より低次の中央側レンダリングモードの例であり、これらのメインローブの隣接するものは、互いに反対の極性であると理解される。この一般化はまた、指向性パターンにおいて、双極子ビーム１１が、４つの一次ローブが存在する四重極ビーム１３で置き換えられた図３Ａ〜図３Ｃに示される特定の実施形態を網羅する。これは、図２Ａ及び図２Ｂの低次ビームパターンと比較して、高次ビームパターンである。この場合、各ローブは２つ以上の入力チャンネル（この場合は図３Ｂに示すようにＬとＲのみ）の差分を含み、１次ローブの隣接するものは互いに反対の極性を有する。したがって、図３Ｂを見ると、コンテンツがＲ−Ｌである前向きローブは、逆極性Ｌ−Ｒを有する左向き一次ローブと、同様に反対極性Ｌ−Ｒを有する右向き一次ローブとの双方に隣接している。同様に、後向きローブ（ラウドスピーカキャビネット２の後ろに隠れて示されている）は、その２つの隣接するローブ（コンテンツＬ−Ｒを有する同じ左向き及び右向きのローブ）とは反対の極性のコンテンツＲ−Ｌを有する。

図３Ａ及び図３Ｂに示されている高次中央側モードは、図３Ｃに示されている組み合わせ又は重ね合わせのサウンドビームパターンを生成し、隣接する４つのステレオセクタ（水平平面内の中心垂直軸９の周りに３６０度にわたっている）が存在する。各ステレオセクタは、上述したように、左チャンネル領域Ｌと右チャンネル領域Ｒとに挟まれた中央領域Ｃから構成されている。図２Ｂと同様に、隣接するセクタ間に重複があり、Ｌ領域は、Ｒ領域と同様に２つの隣接するステレオセクタに共有される。したがって、図３Ｃには、各々Ｌ領域とＲ領域とに挟まれた隣接する４つの中央領域Ｃに対応する４つのセクタがある。

上記議論は、図２Ａ及び図２Ｂの低次中央側モード（双極子ビーム１１）の例と、図３Ａ〜図３Ｃの高次中央側モード（四重極ビーム１３）の例を挙げることによって、レンダリングプロセッサ７の中央側モードに拡張される。高次中央側モードは、指向性指数がより大きいビームパターンを有するか、又は低次中央側モードよりも数の多い一次ローブを有するものとみなすことができる。言い換えれば、レンダリングプロセッサ７で利用可能なさまざまな中央側モードは、それぞれ、増加する次数のサウンドビームパターンを生成する。

上述のように、レンダリングモードの選択は、現在の聴取者の位置及び部屋の音響だけでなく、入力オーディオチャンネルのコンテンツ解析の関数でもあり得る。例えば、この選択がサウンドプログラムコンテンツについてのコンテンツ解析に基づいている場合、より低次又はより高次の指向性パターン（利用可能な中央側モードのうちの１つ）の選択は、周囲音又は拡散音の量（残響）、（左又は右に）ハードパンされた孤立音源の存在、又はボーカルコンテンツの突出などの、入力オーディオチャンネル信号のスペクトル特性及び／又は空間的特性に依存する。かかるコンテンツ解析は、再生中に、例えば１秒又は２秒の間隔の予め規定された間隔で、例えば、入力オーディオチャンネルのオーディオ信号処理によって実行することができる。更に、コンテンツ解析はまた、サウンドプログラムコンテンツに関連付けられたメタデータを評価することによっても、実行することができる。

特定の種類の拡散コンテンツは、（室内の）無相関コンテンツの空間的分離を強調する低次中央側モードによって再生されることから利益を受けることに留意されたい。ハードパンされた孤立音源など、既に強い空間分離を含む他のタイプのコンテンツは、より高次の中央側モードから恩恵を受けることができ、ラウドスピーカの周りのより均一なステレオ体験をもたらす。極端な場合、最低次の中央側モードは、双極子ビーム１１などのいかなる指向性ビームなしで、本質的に全方向性ビーム１０のみが生成されるモードであってもよく、サウンドのコンテンツが純粋にモノラルである場合に適切であり得る。その場合の例としては、２つの入力チャンネルの差分Ｒ−Ｌ（又はＬ−Ｒ）を計算すると、本質的にゼロ又は非常に小さい信号成分を生じる場合である。

ここで図４を参照すると、この図は、周囲直接レンダリングモードの一例で生成されたサウンドビームパターンの立面図を示している。ここで、レンダリングプロセッサ７（図１参照）内のビームフォーマの出力は、アレイのラウドスピーカドライバ３に、（ｉ）直接コンテンツパターン（直接ビーム１５）を有するサウンドビームを生成させ、この直接コンテンツパターンは（ｉｉ）直接コンテンツパターンよりも指向性の高い周囲コンテンツパターン（ここでは周囲右ビーム１６及び周囲左ビーム１７）と重ね合わされている。直接ビーム１５は、予め決定された聴取者の軸１４に照準が向けられるのに対して、周囲ビーム１６、１７は、聴取者の軸１４から離れて照準が向けられる。聴取者の軸１４は、（ラウドスピーカキャビネット２に対する）聴取者の現在の位置、又は現在の聴取場所を表す。聴取者の位置は、例えば、センサデータ及びユーザインタフェース選択を含むその入力の任意の好適な組み合わせを使用して、ラウドスピーカキャビネット２の前面軸（図示せず）に対する角度として、決定論理８によって計算してもよい。直接ビーム１５は全方向性でなくてもよく、（周囲ビーム１６、１７の各々と同様に）指向性の場合があることに留意されたい。また、周囲直接モードの特定のパラメータは、オーディオコンテンツ、部屋の音響、及びラウドスピーカの配置に依存して、可変（例えば、ビーム幅及び角度）であってもよい。

決定論理８は、例えば、時間ウィンドウ相関を使用して、入力オーディオチャンネルを解析して、その中の相関コンテンツ及び無相関（又は非相関）コンテンツを発見するものである。例えば、Ｌ及びＲ入力オーディオチャンネルは、２つのチャンネル（オーディオ信号）における間隔又はセグメントが互いに対してどのように相関しているかを決定するために解析することができる。かかる解析は、入力オーディオチャンネルの双方に効果的に現れる特定のオーディオセグメントが本物の「ドライな」中心イメージであることを明らかにすることができ、ドライな左チャンネルとドライな右チャンネルとは互いに同相である。これとは対照的に、より「周囲」であると考えられる別のセグメントが検出されることがあり、相関分析の観点から、ある周囲セグメントは、ドライな中心イメージよりも過渡的ではなく、差分計算Ｌ−Ｒ（又はＲ−Ｌ）にも現れる。その結果、この周囲セグメントは、かかるセグメントを周囲右ビーム１６及び周囲左ビーム１７の指向性パターン内でのみ再生することによって、オーディオシステムによって拡散音としてレンダリングされなければならず、これらの周囲ビーム１６、１７は、その中のオーディオコンテンツ（周囲コンテンツ又は拡散コンテンツと呼ばれる）が部屋の壁から跳ね返るように、聴取者から離れて照準が向けられる（更に図１参照）。言い換えると、相関コンテンツが（直接コンテンツパターンを有する）直接ビーム１５にレンダリングされる一方で、無相関コンテンツは、例えば、（周囲コンテンツパターンを有する）周囲右ビーム１６及び周囲左ビーム１７にレンダリングされる。

周囲コンテンツの別の例として、録音された音声の残響がある。この場合、決定論理８は、入力オーディオチャンネル内の直接音声セグメントを検出し、続いて、レンダリングプロセッサ７にそのセグメントを直接ビーム１５にレンダリングするように信号で伝える。決定論理８はまた、その直接音声セグメントの残響を検出することができ、その残響を含むセグメントも入力オーディオチャンネルから抽出され、一実施形態では、次に、周囲右ビーム１６と周囲左ビーム１７とのサイドファイアリング（より指向性があり、聴取者の軸１４から離れて照準が向けられる）によってのみレンダリングされる。このようにして、直接音声の残響は、間接経路を介して聴取者に到達し、それによって聴取者にとってより没入感のある体験を提供することになる。言い換えれば、その場合の直接ビーム１５は、抽出された残響を含んではならず、直接音声セグメントのみを含まなければならないのに対して、残響は、より指向性のあるサイドファイアリングの周囲右ビーム１６及び周囲左ビーム１７に帰属させるものである。

要約すると、本発明の一実施形態は、部屋の音響、聴取者の位置、及び元の録音内のコンテンツの直接対周囲の性質を考慮して、特定の部屋における再生又はプレイバックを向上させるように元のオーディオ録音をパッケージし直そうと試みる技術である。決定論理８の機能は、コンテンツ解析、聴取者の位置又は聴取場所の決定、及び部屋の音響の決定、並びにレンダリングプロセッサ７におけるビームフォーマの性能の観点から、機械可読媒体内に記憶された命令を実行しているプロセッサによって実現することができる。機械可読媒体（例えば、任意の形態の固体デジタルメモリ）は、プロセッサと共に、別個に提供されたコンピューティングデバイス１８（図５に示される部屋を参照）内に収容されてもよく、あるいは、オーディオシステムのラウドスピーカキャビネット２内に収容されてもよい（更に図１参照）。そのようにプログラムされたプロセッサは、例えば、リモートサーバからインターネットを介して音楽又は映画のファイルをストリーミングすることによって、サウンドプログラムコンテンツの入力オーディオチャンネルを受信する。更に、このプロセッサは、部屋の音響又は聴取者の位置を示すか又は表す（例えば、それを表すか、又はそれによって規定される）センサデータ及びユーザインタフェース選択のうちの一方又は双方を受信する。このプロセッサはまた、サウンドプログラムコンテンツについてのコンテンツ解析も実行する。例えば、現在の聴取者位置と部屋の音響の組み合わせに基づいて、いくつかのサウンドレンダリングモードのうちの１つが選択され、これによって、サウンドプログラムコンテンツの再生がラウドスピーカアレイによって行われる。聴取者の位置、部屋の音響、又はコンテンツ解析の変化に基づいて、このレンダリングモードを自動的に変更することができる。このサウンドレンダリングモードには、いくつかの中央側モード及び少なくとも１つの周囲直接モードを含めることができる。この中央側モードでは、ラウドスピーカアレイは、それぞれ増加する次数のサウンドビームパターンを生成する。周囲直接モードでは、ラウドスピーカアレイは、直接コンテンツパターン（直接ビーム）と周囲コンテンツパターン（１つ以上の周囲ビーム）の重ね合わせを有するサウンドビームを生成する。コンテンツ解析により、元の録音（入力オーディオチャンネル）から相関コンテンツと無相関コンテンツが抽出される。

一実施形態では、レンダリングプロセッサが周囲直接動作モードに構成されているとき、当該相関コンテンツは直接ビームの直接コンテンツパターンでのみレンダリングされる一方で、当該無相関コンテンツは、１つ以上の周囲ビームの周囲コンテンツパターンにおいてのみレンダリングされる。

レンダリングプロセッサがその中央側動作モードのうちの１つに構成されている場合、サウンドプログラムコンテンツが主に周囲であるか又は拡散しているときに、低次指向性パターンが選択される一方で、サウンドプログラムコンテンツが主にパンされたサウンドを含むときに、高次の指向性パターンが選択される。異なる中央側モード間のこの選択は、それが楽曲であれ、又は映画フィルムなどのオーディオビジュアル作品であれ、サウンドプログラムコンテンツの再生中に、動的に発生することがある。

上述の技術は、オーディオシステムが（スピーカアレイを収容した）単一のラウドスピーカキャビネットに主に依存する場合に特に有効であり、その場合、サウンドプログラムコンテンツについての入力オーディオチャンネルの全てにおける、５００Ｈｚ以下（例えば、３００Ｈｚ）などの、カットオフ周波数を超える全てのコンテンツは、ラウドスピーカキャビネットによってのみ、サウンドに変換されるものである。これによって、非常に限られた数のラウドスピーカキャビネット（例えば１つだけ）を使用して、没入感のある再生を得る方法の課題に対して洗練された解決策を得ることができるが、これは、（公共の映画館やその他の大規模な音響会場とは対照的に）小さな部屋での用途に特に望ましいものである。

いくつかの実施形態を記述し添付の図面に図示してきたが、このような実施形態は、大まかな発明を例示するものにすぎず、限定するものではないこと、また、他の種々の変更が当業者によって想起され得るので、本発明は、図示及び記述した特定の構成及び配置には限定されないことを理解されたい。例えば、図５は、同じ部屋のコンピューティングデバイス１８とラウドスピーカキャビネット２との組み合わせとしてのオーディオシステムと、いくつかの家具と聴取者とを示している。この場合、コンピューティングデバイス１８と通信するラウドスピーカキャビネット２のただ１つの事例が存在するが、他の場合には、再生中にコンピューティングデバイス１８と通信している追加のラウドスピーカキャビネット（例えば、ラウドスピーカアレイの下側のカットオフ周波数よりも低いオーディオコンテンツを受信しているウーファ及びサブウーファ）があってもよい。したがって、本説明は、限定的なものではなく、例示的なものとみなさなければならない。

Claims (20)

1. ラウドスピーカアレイを有するオーディオシステムであって、
   複数のラウドスピーカドライバを内蔵したラウドスピーカキャビネットと、
   出力が前記複数のラウドスピーカドライバの入力に連結された複数のオーディオ増幅器と、
   前記ラウドスピーカドライバによってサウンドに変換されるサウンドプログラムコンテンツについての複数の入力オーディオチャンネルを受信するレンダリングプロセッサであって、前記複数のオーディオ増幅器の入力に連結された出力を有し、ａ）複数の第１のモードと、ｂ）第２のモードとを含む複数のサウンドレンダリング動作モードを有する、レンダリングプロセッサと、
   決定論理入力としてセンサデータ及びユーザインタフェース選択のうちの一方又は双方を受信する決定論理であって、前記決定論理入力の各々は、ｉ）部屋の特徴又はｉｉ）聴取場所のうちの１つを示す、決定論理と、
   を備え、前記レンダリングプロセッサの前記複数の第１のモードの各々において、前記レンダリングプロセッサの前記出力は、前記複数のラウドスピーカドライバに、ｉ）前記複数の入力オーディオチャンネルのうちの２つ以上の合計を含む全方向性パターンを有するサウンドビームを生成させ、前記全方向性パターンは、ｉｉ）複数のローブを有する指向性パターンであって、各ローブは前記２つ以上の入力オーディオチャンネルの差分を含む、指向性パターンと重ね合わされており、
   前記レンダリングプロセッサの前記第２のモードにおいて、前記レンダリングプロセッサの前記出力は、前記複数のラウドスピーカドライバに、ｉ）前記聴取場所に照準が向けられた直接コンテンツパターンを有するサウンドビームを生成させ、前記直接コンテンツパターンは、ｉｉ）前記聴取場所から離れて照準が向けられた周囲コンテンツパターンと重ね合わされており、
   前記決定論理は、前記レンダリングプロセッサの前記複数のサウンドレンダリングモードのうちの１つのレンダリングモードの選択を行い、これに従って、前記レンダリングプロセッサは、前記サウンドプログラムコンテンツの再生中に前記複数のラウドスピーカドライバを駆動するように構成され、前記決定論理は、前記決定論理入力の変化に基づいて、前記レンダリングモードの選択を変更する、システム。
2. 前記ラウドスピーカキャビネット内の前記複数のドライバによって、５００Ｈｚを超える全てのコンテンツがサウンドに変換される、請求項１に記載のシステム。
3. 前記ラウドスピーカキャビネット内の前記複数のドライバは、前記サウンドプログラムコンテンツについての前記複数の入力オーディオチャンネルよりも数が多い、請求項２に記載のシステム。
4. 前記レンダリングプロセッサの前記複数の第１のモードの各々において、前記指向性パターンの前記複数のローブの各ローブは、前記２つ以上の入力チャンネルの差分を含み、前記複数のローブのうちの隣接するローブは互いに逆極性である、請求項２に記載のシステム。
5. 前記レンダリングプロセッサの前記複数の第１のモードの各々において、前記指向性パターンの前記複数のローブの各ローブは、前記２つ以上の入力チャンネルの差分を含み、前記複数のローブのうちの隣接するローブは互いに逆極性である、請求項１に記載のシステム。
6. 前記複数の第１のモードは、低次の第１のモードと高次の第１のモードとを含み、前記高次の第１のモードは、前記低次の第１のモードよりも大きな指向性指数又はより多数のローブを有したビームパターンを有する、請求項１に記載のシステム。
7. 前記決定論理は、前記複数の入力オーディオチャンネルを解析して相関コンテンツ及び無相関コンテンツを発見するものであり、前記相関コンテンツは、次に、前記直接コンテンツパターンでレンダリングされる一方、前記無相関コンテンツは、前記周囲コンテンツパターンでレンダリングされる、請求項１に記載のシステム。
8. 前記サウンドプログラムコンテンツは、映画フィルムの前記サウンドトラックであり、前記複数のオーディオチャンネルは、前記サウンドトラックの前記オーディオチャンネルの全てである、請求項１に記載のシステム。
9. ラウドスピーカキャビネットに収容されたラウドスピーカアレイを用いてサウンドを再生するための方法であって、
   ラウドスピーカキャビネット内に収容されたラウドスピーカアレイによってサウンドに変換されるサウンドプログラムコンテンツについての複数の入力オーディオチャンネルを受信することと、
   決定入力としてセンサデータ及びユーザインタフェース選択のうちの一方又は双方を受信することであって、前記決定入力の各々は、ｉ）部屋の特徴又はｉｉ）聴取場所のうちの１つを示す、ことと、
   前記サウンドプログラムコンテンツの再生が前記ラウドスピーカアレイによって行われる複数のサウンドレンダリングモードのうちの１つを選択することと、前記決定入力の変化に基づいて前記選択されたサウンドレンダリングモードを変更することと、
   を含み、前記複数のサウンドレンダリングモードは、ａ）複数の第１のモードと、ｂ）第２のモードとを含み、
   前記複数の第１のモードの各々において、前記ラウドスピーカアレイは、ｉ）前記複数の入力オーディオチャンネルのうちの２つ以上の合計を含む全方向性パターンを有するサウンドビームを生成し、前記全方向性パターンは、ｉｉ）複数のローブを有する指向性パターンであって、各ローブは前記２つ以上の入力オーディオチャンネルの差分を含む指向性パターンと重ね合わされており、
   前記第２のモードにおいて、前記ラウドスピーカアレイは、ｉ）前記聴取場所に照準が向けられた直接コンテンツパターンを有するサウンドビームを生成し、前記直接コンテンツパターンは、ｉｉ）前記聴取場所から離れて照準が向けられた周囲コンテンツパターンと重ね合わされている、方法。
10. 前記サウンドレンダリングモードのうちの１つを選択することは、前記サウンドプログラムコンテンツを解析することに基づき、
    低次の指向性パターンを有する前記複数の第１のモードのうちの１つは、前記サウンドプログラムコンテンツが主に周囲音又は拡散音である場合に選択され、
    高次の指向性パターンを有する前記複数の第１のモードのうちの１つは、前記サウンドプログラムコンテンツがパンされたサウンドを含む場合に選択される、請求項９に記載の方法。
11. 前記サウンドプログラムコンテンツを解析することは、前記複数の入力オーディオチャンネルを解析して相関コンテンツ及び無相関コンテンツを発見することを含み、前記第２のモードにおいて、前記相関コンテンツは、前記周囲コンテンツパターンではなく前記直接コンテンツパターンでレンダリングされる一方で、前記無相関コンテンツは、前記直接コンテンツパターンではなく前記周囲コンテンツパターンでレンダリングされる、請求項１０に記載の方法。
12. 前記サウンドプログラムコンテンツについての前記複数の入力オーディオチャンネルの全てにおいて、５００Ｈｚ未満の周波数を超える全てのコンテンツが、前記ラウドスピーカキャビネットに収容された前記ラウドスピーカアレイによってサウンドに変換される、請求項９に記載の方法。
13. 前記サウンドプログラムコンテンツをサウンドに変換するために使用される前記ラウドスピーカアレイ内のドライバの数は、前記サウンドプログラムコンテンツについての前記複数の入力オーディオチャンネルよりも数が多い、請求項１２に記載の方法。
14. 前記複数の第１のモードの各々において、前記指向性パターンにおける前記複数のローブの各ローブが前記２つ以上の入力チャンネルの差分を含み、前記複数のローブのうちの隣接するローブは、互いに反対の極性である、請求項９に記載の方法。
15. 前記複数の第１のモードは、低次の第１のモードと高次の第１のモードとを含み、前記高次の第１のモードは、前記低次の第１のモードよりも大きな指向性指数又はより多数のローブを有するビームパターンを有する、請求項９に記載の方法。
16. ラウドスピーカアレイを有するオーディオシステムであって、
    ラウドスピーカキャビネットに収容されたラウドスピーカアレイによってサウンドに変換されるサウンドプログラムコンテンツについての複数の入力オーディオチャンネルを受信する手段と、
    部屋の音響又は聴取者の位置のうちの１つを示すセンサデータとユーザインタフェース選択とのうちの一方又は双方を受信する手段と、
    前記サウンドプログラムコンテンツに対してコンテンツ解析を実行する手段と、
    前記サウンドプログラムコンテンツの再生が前記ラウドスピーカアレイによって行われる複数のサウンドレンダリングモードのうちの１つを選択する手段と、
    前記聴取者の位置、部屋の音響又はコンテンツ解析のうちの１つ以上の変化に基づいて前記選択されたサウンドレンダリングモードを変更する手段と、
    を備え、前記複数のサウンドレンダリングモードは、ａ）複数の第１のモードと、ｂ）第２のモードとを含み、
    前記複数の第１のモードにおいて、前記ラウドスピーカアレイは、増加する次数の複数のサウンドビームパターンを別々に生成し、
    前記第２のモードにおいて、前記ラウドスピーカアレイは、ｉ）前記聴取者の位置に照準が向けられた直接コンテンツパターンを有するサウンドビームを生成し、前記直接コンテンツパターンは、ｉｉ）前記聴取者の位置から離れて照準が向けられた周囲コンテンツパターンと重ね合わされている、オーディオシステム。
17. 前記複数のサウンドビームパターンは、それぞれ、増加するステレオ密度を有し、前記複数のサウンドビームパターンの各々は、３６０度にわたる複数の隣接するステレオセクタを含み、各ステレオセクタは、左チャンネル領域と右チャンネル領域とに挟まれた中央チャンネル領域から構成されている、請求項１６に記載のオーディオシステム。
18. 前記サウンドプログラムコンテンツについてのコンテンツ解析に基づいて、前記サウンドレンダリングモードのうちの１つを選択する場合、
    低次の指向性パターンを有する前記複数の第１のモードのうちの１つは、前記サウンドプログラムコンテンツが主に周囲音又は拡散音である場合に選択され、
    高次の指向性パターンを有する前記複数の第１のモードのうちの１つは、前記サウンドプログラムコンテンツがパンされたサウンドを含む場合に選択される、請求項１６に記載のオーディオシステム。
19. 前記サウンドプログラムコンテンツをコンテンツ解析することは、前記複数の入力オーディオチャンネルを解析して相関コンテンツ及び無相関コンテンツを発見することを含み、前記第２のモードにおいて、前記相関コンテンツは前記直接コンテンツパターンでレンダリングされる一方で、前記無相関コンテンツは前記周囲コンテンツパターンでレンダリングされる、請求項１６に記載のオーディオシステム。
20. 前記サウンドプログラムコンテンツについての前記複数の入力オーディオチャンネルの全てにおいて、５００Ｈｚ未満の周波数を超える全てのコンテンツは、前記ラウドスピーカキャビネットに収容された前記ラウドスピーカアレイによってサウンドに変換され、前記サウンドプログラムコンテンツをサウンドに変換するために使用される前記ラウドスピーカアレイ内のドライバの数は、前記サウンドプログラムコンテンツについての前記複数の入力オーディオチャンネルよりも数が多い、請求項１６に記載のオーディオシステム。

Images