JP2013521725A - 音声を定位知覚する技術 - Google Patents

Abstract

視覚的キュー付近における音声知覚を提供する。装置は、ビデオディスプレイと、音声トランスデューサから成る第１行と、音声トランスデューサから成る第２行とを設けている。第１行および第２行は、ビデオディスプレイの上下に垂直に配置することができる。第１行の或る音声トランスデューサと第２行の或る音声トランスデューサは、列を形成して共同して可聴信号を生成する。列の音声トランスデューサの出力に重みを付けることで、知覚された可聴信号の発生がビデオディスプレイの平面から生じる（例えば、視覚的キューの位置）。特定の実施形態では、平面の中央部分では忠実度を高め、外周部では低下させるために、音声トランスデューサを外周部においてさらに広く離間させている。

Description

本発明は概して音声知覚に関し、特に、視覚的キュー付近での音声知覚に関する。

フィデリティ・サウンド・システムは、立体音響技術を採用することで、使用する場所が住宅のリビングルームであろうと劇場であろうと実際の原音場を模倣する。これらのシステムは、通常左右対称に配置されたラウドスピーカから音が出力される少なくとも２つのプレゼンテーションチャンネル（例えば、左右のチャンネル、サラウンドサウンド５．１、６．１、または１１．１など）を使用する。例えば、図１に示すように、従来のサラウンドサウンド５．１システム１００は（１）左フロントスピーカ１０２、（２）右フロントスピーカ１０４、（３）中央フロントスピーカ１０６（中央チャンネル）、（４）低周波スピーカ１０８（例えば、サブウーハ）、（５）左バックスピーカ１１０（例えば、左サラウンド）、（６）右バックスピーカ１１２（例えば、右サラウンド）を含む。システム１００では、中央フロントスピーカ１０６または１つの中央チャンネルが全ての台詞、および画面に投影している画像に関連した他の音声を伝達する。

しかし、これらのシステムは、特に音声を或る方向に局所化させる場合には不十分であり、多くの場合、１人の聴取者を最高のパフォーマンスを体験できる固定位置に配置する必要がある（この固定位置とは、例えば、音声ミキシングを行った人物が意図したとおりの音声ミックスを聞くことができる、複数のラウドスピーカの焦点である「スイートスポット１１４」のことである）。現在まで改善に向けた多くの努力が重ねられてきたことで、プレゼンテーションチャンネルの数が増加した。より多数のチャンネルをミキシングすれば、コンテンツの制作者は時間と費用の面で不利益を負うこととなり、さらにその結果、音源である視覚的キューの付近で音を定位することができなくなる。言い換えれば、これらのサウンドシステムから再生された音は、画面平面上に映写されているビデオから出ているように知覚されないので、真のリアリティ感覚を満たすことができない。

上述から、発明者は、ビデオ画像に関連した音声を定位知覚する技術が、向上した自然な聴覚体験にとって望ましいことを理解するだろう。
この項目で述べたアプローチは遂行可能であるが、必ずしも過去に考案されたり遂行されたりしているわけではない。したがって、特に指摘がない限り、この項目で述べたどのアプローチも、単にこの項目に含められているということで従来技術としての資質を持つと考えられるべきではない。同様に、そのように示されない限り、１つ以上のアプローチに関連して確認された問題を、この項目に基づく任意の従来技術で認識されたものと仮定すべきではない。

視覚的キューの付近で音声を知覚する方法および装置を提供する。アナログまたはデジタルの音声信号を受信する。すると、ビデオ平面上における音声信号の知覚起源の位置が決定されるか、あるいは提供される。知覚起源の水平位置に対応している音声トランスデューサ（例えばラウドスピーカ）の列を選択する。この列は、音声トランスデューサの行（例えば、２行、３行、またはそれ以上の行）から選択した少なくとも２つの音声トランスデューサを含んでいる。この列内の少なくとも２つの音声トランスデューサに、「パニング（panning）」のための重み因子を決定する（例えば、複数の物理的なラウドスピーカの位置の間に疑似音像を生成する）。これらの重み因子は、知覚起源の垂直位置に対応している。この列はこの重み因子を使って可聴信号を供給する。

本発明の一実施形態では、本装置はビデオディスプレイと、音声トランスデューサから成る第１行と、音声トランスデューサから成る第２行とを含む。第１行と第２行は、ビデオディスプレイの上下に垂直に配置されている。第１行の音声トランスデューサと第２行のトランスデューサとは、列を形成して共同で可聴信号を生成する。列の音声トランスデューサの出力に重みを付けることで、知覚される可聴信号が、ビデオディスプレイの平面（例えば、視覚的キューの位置）から発せられるようになる。特定の実施形態では、忠実度を平面の中央部分において高め、外周部分において低下させるために、外周部分では音声トランスデューサをより広く離間させている。

別の実施形態では、本システムは音声透過型画面と、音声トランスデューサから成る第１行と、音声トランスデューサから成る第２行とを備えている。第１行と第２行は、（予想される視聴者／聴取者の位置から見て）音声透過型画面の背後に配置されている。この画面は、少なくとも人間聴力の望ましい周波数範囲について音声を透過させる。特定の実施形態では、本システムは、音声トランスデューサから成る第３行、第４行、またはこれ以上の行をさらに設けることができる。例えば、映画館では、９個のトランスデューサから成る３行を設けることにより、性能と複雑性（コスト）とが妥当に相殺される。

本発明のさらに別の実施形態では、メタデータを受信する。メタデータは音声ステム（例えば、マスターミックスに組み合わせる以前に個別に処理できるサブミックス、サブグループ、またはバス）の位置を含んでいる。知覚起源の水平位置に最も近接している音声トランスデューサの１または複数の列が選択される。この１つ以上の列はそれぞれ、音声トランスデューサの行から選択した少なくとも２つの音声トランスデューサを含んでいる。この少なくとも２つの音声トランスデューサについて音声重み因子が選択される。これらの重み因子は、知覚起源の垂直位置に相関あるいは関連している。該列がこの重み因子を使って音声ステムを可聴的に提供する。

本発明の実施形態として、音声信号を受信する。ビデオ平面上でこの音声信号の第１の位置を決定する。この第１の位置は、第１フレーム上の視覚的キューに対応している。ビデオ平面上で音声信号の第２の位置を決定する。この第２の位置は、第２フレーム上の視覚的キューに対応している。ビデオ平面上の音声信号の第３の位置を、第３フレーム上の視覚的キューの位置に対応するように補間あるいは推定する。この第３の位置は第１の位置と第２の位置の間に配置され、また、第３フレームは第１フレームと第２フレームの間に介在している。

従来のサラウンドサウンド５．１システムを示す。 本発明の一実施形態による例証的なシステムを示す。 本発明の一実施形態の聴取位置の鈍感性を示す。 本発明の実施形態による知覚音の位置決めを示す簡易図である。 本発明の実施形態による知覚音の位置決めを示す簡易図である。 本発明の実施形態による移動する知覚音の位置決めの補間を示す簡易図である。 本発明の実施形態による例証的な装置構成を示す。 本発明の実施形態による例証的な装置構成を示す。 本発明の実施形態による例証的な装置構成を示す。 本発明の実施形態による例証的な装置構成を示す。 本発明の実施形態による定位知覚音声のための例証的なメタデータ情報を示す。 本発明の実施形態による定位知覚音声のための例証的なメタデータ情報を示す。 本発明の実施形態による定位知覚音声のための例証的なメタデータ情報を示す。 本発明の一実施形態による簡素化したフロー図を示す。 本発明の一実施形態による別の簡素化したフロー図を示す。

本発明を、添付の図面中の図において限定ではなく例の方法により図示する。図面中、同様の参照符号は同様の要素を指す。
図２は、本発明の一実施形態による例示的なシステム２００を示す。システム２００は、ビデオ画面２０４と、音声トランスデューサから成る２つの行２０６、２０８とを含むビデオ表示装置２０２を設けている。この２つの行２０６、２０８は、ビデオ画面２０４の周囲に垂直配列されている（例えば、ビデオ画面２０４の上に行２０６が、下に行２０８が位置決めされている）。特定の実施形態では、行２０６、２０８は中央フロントスピーカ１０６の代わりとなり、サラウンドサウンド環境に中央チャンネル音声信号を出力する。したがって、システム２００は次に示す中から１つ以上をさらに含んでよいが、必ずしも含まなくてもよい。左フロントスピーカ１０２、右フロントスピーカ１０４、低周波スピーカ１０８、左バックスピーカ１１０、右バックスピーカ１１２。中央チャンネル音声信号は、媒体コンテンツのスピーチセグメントまたは他の台詞ステムの再生に完全または部分的に特化していてよい。

各行２０６、２０８は、複数、例えば２、３、４、５個、あるいはさらに多くの音声トランスデューサを設けている。これらの音声トランスデューサは、２、３、４、５列、またはさらに多くの列を形成するように整列している。５個のトランスデューサから成る２行の各々は、性能と複雑性（コスト）を賢明に相殺する。代替の実施形態では、各行におけるトランスデューサの数を同数でなくすこと、および／または、トランスデューサを真直ぐでなく斜めに配置することができる。とりわけ、望ましい知覚起源、音源サイズ、音源動作を得るために、各音声トランスデューサへの供給を信号処理とリアルタイムの監視とに基づいて独立化できる。

音声トランスデューサは次のうちのいずれであってもよい。ラウドスピーカ（例えば、筐体内に搭載した直接放射型のエレクトロダイナミック・ドライバ）、ホーン型ラウドスピーカ、圧電スピーカ、磁歪スピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネル・ラウドスピーカ、分散モードラウドスピーカ、Ｈｅｉｌエア・モーション・トランスデューサ、プラズマアークスピーカ、デジタルスピーカ、分散モードラウドスピーカ（例えば、曲げパネル振動により動作する。一例として、全ての目的についてその全体を本明細書に援用している米国特許第７，１０６，８８１号を参照）、およびこれらの任意の組み合わせ／混合。同様に、望ましい場合には、トランスデューサの周波数範囲および忠実度は、行どうしの間および行内で異なっていてよい。例えば、行２０６は、フルレンジ（例えば、直径３〜８インチのドライバ）またはミッドレンジの音声トランスデューサ、さらに高周波ツイータを含んでいてよい。行２０６、２０８によって形成された列に、異なる音声トランスデューサを意図的に含めて、全体として強力な可聴出力を提供することが可能である。

図３は、図１のスイートスポットと比較した、とりわけ表示装置２０２の聴取位置の鈍感性を示す。表示装置２０２により、中央チャンネルについて以下が回避または緩和される。

（ｉ）音色障害‐主に、それぞれ異なる距離に位置した聴取者とラウドスピーカ間の伝播時間の違いによって生じるコーミングの結果起こる。
（ｉｉ）非干渉性‐主に、複数の発生源によりシミュレートされた波面に関連した異なる速度とエネルギーベクトルの結果生じ、これによって、音像が不明瞭（例えば、不鮮明な音）になったり、または、中間位置で１つの音像として知覚されず、各ラウドスピーカ位置で知覚されてしまったりする。

（ｉｉｉ）不安定性‐聴取者位置による音像の位置の変化であり、例えば、聴取者がスイートスポットの外へ移動すると、音像がより近くのラウドスピーカに移動したり、さらには崩壊したりすることさえある。

音像の位置とサイズの空間解像度を向上させるために、また、音声と関連した視覚シーンとの統合を向上させるために、表示装置２０２は少なくとも１つの列を採用して音声を知覚させる。以降ではこれを場合により「列スナッピング」と呼ぶ。

この例では、音声トランスデューサ３０４、３０６を含む列３０２は、位置３０７において疑似可聴信号（phantom audible signal）を供給する。この可聴信号は、聴取者の側方位置、例えば聴取者位置３０８または３１０に関係なく位置３０７に列スナッピングする。聴取者位置３０８からの経路長さ３１２、３１４はほぼ等しい。これは、経路長さ３１６、３１８を伴う聴取者位置３１０についても同様である。言い換えれば、聴取者位置が側方へどう変化しても、音声トランスデューサ３０２または３０４のいずれも、列３０２内の他方のトランスデューサよりも相対的に聴取者に近づくことはない。これに対し、左フロントスピーカ１０２と右フロントスピーカ１０４の経路３２０、３２２はそれぞれ大きく異なるが、やはり聴取者位置の感度の問題が生じる。

図４Ａおよび図４Ｂは、本発明の実施形態による、装置４０２への知覚音の位置決めを示す簡易図である。図４Ａでは、装置４０２は位置４０４で知覚音を出力した後、位置４０６へ跳んでいる。この「跳び」は、映画の場面転換や同一シーン内での音源の変化（例えば、台詞を言い始めた別の俳優や、別のサウンド効果）に関連する。これは、最初に列４０８に、次に列４１０にスナッピングすることで、水平方向に達成できる。垂直位置決めは、スナッピングした列内の複数の音声トランスデューサ間での相対的なパニングの重要度を変えることで達成される。加えて、両方の列４０８、４１０を使用すれば、装置４０２は位置４０４、４０５において２つの明確に異なる定位音を同時に出力することもできる。これは、画面上に複数の視覚的キューが表示されている場合に望ましい。特定の実施形態として、ピクチャ・イン・ピクチャ（ＰｉＰ）表示を使用して複数の視覚的キューを結合することで、複数プログラムの同時表示中に、音を適切な映像と空間的に関連させることができる。

図４Ｂで、装置４０２は、列４０８と４１２の間の中間位置である位置４１４にて知覚音を出力している。このケースでは、２つの列を使用して、知覚音を位置決めしている。それぞれの音声トランスデューサは、所望の効果について、聴取範囲わたって独立的に制御できる点が理解されなければならない。上述したように、例えば列をスナッピングすることで、音像をビデオ画面ディスプレイ上の何処にでも配置できる。音像は、視覚的キューに応じて点源または広範囲の発生源のいずれであってもよい。例えば、台詞を画面上の俳優の口から発せられているように知覚できるようにする一方で、海岸に打ちつける波の音を画面の幅全体に拡散させることが可能である。この例では、台詞を列スナッピングしながら、波の音を全てのトランスデューサ列を使用して発することができる。これらの効果は、全ての聴取者位置で同様に知覚される。さらに、知覚された音源を必要に応じて画面上を移動させることができる（例えば、俳優が画面上で移動する場合）。

図５は、本発明の一実施形態による動作時における装置５０２による知覚音位置決めの補間を示す簡易図である。この位置決め補間は、ミキシング、符号化、復号化の際、または処理後の再生時のいずれかにおいて行うことができ、次に、計算および補間された位置（例えば、表示画面上のｘ、ｙ座標位置）を使用して、ここで述べた音声提示を行うことができる。例えば、時間ｔ０で、音声ステム（audio stem）を開始位置５０６に位置するように指定できる。開始位置５０６は視覚的キュー、または音声ステムの他の発生源（例えば、俳優の口、吠える犬、車のエンジン、銃の銃口）に対応していてよい。その後の時間ｔ９（９フレーム後）では、同じ視覚的キューまたは他の発生源を、好ましくは場面転換シーン以前に、終了位置５０４に位置するように指定することができる。この例では、時間ｔ９および時間ｔ０でのフレームは「キーフレーム」である。開始位置、終了位置、経過時間が提供されたら、移動する発生源の推定位置を、各々の介在フレーム、またはキーフレームでないフレームについて直線的に補間して、音声提示に使用できるようにする。シーンに関連したメタデータは（ｉ）開始位置、終了位置、経過時間、（ｉｉ）補間された位置、または（ｉｉｉ）（ｉ）と（ｉｉ）の両項目を含むことができる。

代替の実施形態では、補間は放射状、区分定数、多項式、スプライン、ガウス過程であってよい。例えば、音声源が、発せられた弾丸である場合には、直線ではなくむしろ弾道軌道を採用することで、視覚経路により近く一致させることができる。いくつかの例では、動作を滑らかにするために移動方向へのパニングを使用しながら、動作に対して垂直な方向において最も近い行または列に「スナッピング」することによって、疑似画像障害を減少させることで、補間機能を適宜調整できることが望ましい。別の例では、特に短い時間について、指定された終了位置５０４を超える複数の位置を補外法によって計算できる。

開始位置５０６と終了位置５０４の指定は、多くの方法によって達成できる。指定は混合オペレータにより手動で行える。時間を変えて行える手動式の指定によって、音声提供に精度と優れた制御が得られる。しかし、これは労働集約的であり、ビデオシーンに複数の発生源またはステムが含まれている場合には特に労力を要する。

指定はまた、人工知能（例えばニューラルネットワーク、クラシファイア、統計学習、パターンマッチング）、物体／顔認識、特徴抽出などを使用して自動的に実行することもできる。例えば、音声ステムが人間の声の特徴を示すと判断されると、顔認識技術によって、これがそのシーンで見つかった顔と自動的に関連付けされる。同様に、音声ステムが特定の楽器（例えばバイオリン、ピアノなど）の特徴を示すと判断されると、適切な楽器についてそのシーンが検索され、対応する位置を割り当てられる。オーケストラシーンのケースでは、各楽器についての自動割り当ては手動での指定と比べ明らかに労力節約となる。

別の指定方法は、複数の音声ストリームを提供するというものであり、ここで、それぞれの音声ストリームは既知の異なる複数の位置についてそのシーン全体をキャプチャする。各音声オブジェクト信号に位置メタデータを生成するために、最適には各音声オブジェクト信号を考慮したシーン信号の相対レベルを分析することができる。例えば、ステレオマイクロホンの対を使用して、或る音場にかけて音声をキャプチャすることができる。このステレオマイクロホンの各々における俳優の声の相対レベルを使用して、音場上での俳優の位置を推定できる。コンピュータ生成画像（ＣＧＩ）またはコンピュータベースのゲームの場合には、１つのシーン全体における音声オブジェクトとビデオオブジェクトの位置がわかっており、これを音像サイズと位置メタデータの生成に直接使用することができる。

図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅは、本発明の実施形態による例示的な装置構成を示す。図６Ａは、２つの行６０４、６０６内において近接配置されたトランスデューサを備えた装置６０２を示す。トランスデューサの高密度配置により、音像の位置とサイズの空間解像度が向上し、さらに粒状動作（granular motion）の補間が向上した。特定の実施形態では、隣接し合ったトランスデューサは、典型的な約２．４３ｍ（約８フィート）の聴取距離につき２５．４ｃｍ（１０インチ）の距離で（中心から中心までの距離６０８）離間しているか、または約６°未満の角度で離間している。しかし、さらに高密度の場合には、隣接するトランスデューサどうしが当接し、および／またはラウドスピーカの円錐のサイズが縮小する可能性がある。複数のマイクロスピーカを採用することもできる（例えば、ソニー製のＤＡＶ−ＩＳ１０、パナソニック製の電子装置、５．０８×２．５４ｃｍ（２×１インチ）またはこれ以下のスピーカなど）。

図６Ｂでは、装置６２０は音声透過型画面６２２と、第１列６２４の音声トランスデューサと、第２列６２６の音声トランスデューサとを含む。第１列と第２列は、（予想される視聴者／聴取者位置に対して）音声透過型画面の背後に配置されている。音声透過型画面は投射画面、銀幕、テレビ表示画面、携帯無線電話の画面（タッチスクリーンを含む）、ノートパソコン画面、デスクトップ／フラットパネル・コンピュータ画面であってよいが、限定はされない。この画面は、少なくとも人間聴力の望ましい周波数範囲、好ましくは約２０Ｈｚ〜２０ｋＨｚ、より好ましくは人間聴力の全範囲について音声を透過させる。

特定の実施形態では、装置６２０はさらに、音声トランスデューサから成る第３行、第４行、そしてさらに多くの行（図示せず）を含むことができる。このようなケースでは、最上行と最下行は必ずしも音声透過型画面の頂縁と底縁にそれぞれ近接して配置されていなくてもよい。これにより、表示画面平面上で音声パニングを最大限に実行できるようになる。さらに、行間の距離を変更することで、一部分において、他の部分を犠牲にしてより高い垂直解像度を得ることが可能になる。同様に、外周部にて１つ以上の行内の音声トランスデューサどうしをさらに離間させることで、平面の中央部分における水平解像度が高く、外周部における解像度が低くなる。１つ以上の範囲での音声トランスデューサの高密度配置（列と各トランスデューサ間隔との組み合わせにより決定されたもの）を高解像度用に、他の部分での低密度配置をより低い解像度用に構成することができる。

図６Ｃの装置６４０も同様に、音声トランスデューサから成る２つの行６４２、６４４を含む。この実施形態では、１行中の音声トランスデューサ間の距離は変化する。隣接し合った音声トランスデューサ間の距離を、直線的、幾何学的、あるいはその他であってよい中心線６４６からの関数として変更できる。図に示すように、距離６４８は距離６５０よりも長い。こうすることで、表示画面平面上の空間解像度を変更することができる。第１位置（例えば中央部分）での空間解像度を、第２部分（例えば外周部分）でのより低い空間解像度を犠牲にすることで高めることが可能である。これは、サラウンドシステムの中央チャンネルに提供される台詞の視覚的キューの大部分が画面平面のほぼ中央に現れるため望ましい。

図６Ｄは、装置６６０の例示的なフォームファクタを示す。高解像度中央チャンネルを提供する音声トランスデューサの行６６２、６６４は、左フロントラウドスピーカ６６６および右フロントラウドスピーカ６６８と共に、１つのフォームファクタに統合されている。これらの構成部品を１つのフォームファクタに統合することで、組み立て効率、より優れた信頼性、そして向上した審美性が得られる。しかし、場合によっては、行６６２、６６４を別個の音声バーとして組み立て、その各々を表示装置に物理的に結合する（例えば搭載する）ことができる。同様に、各音声トランスデューサを別々にパッケージングし、表示装置に結合することもできる。実際、各音声トランスデューサの位置は、エンドユーザによって、エンドユーザの好みに応じて別の所定の位置に調整されることが可能である。例えば、トランスデューサは、有効な細い穴の空いた位置を有するトラック上に搭載できる。このようなシナリオでは、音声定位知覚を適切に作用させるために、トランスデューサの最終位置はユーザが再生装置に入力するか、自動検出される。

図７Ａ、図７Ｂ、図７Ｃは、本発明の実施形態による音声定位知覚のためのメタデータ情報のタイプを示す。図７Ａの単純な例では、メタデータ情報は一意の識別子と、タイミング情報と（例えば停止フレーム、あるいは経過時間）、音声再生の座標と、望ましい音声再生サイズとを含む。従来のビデオフォーマットまたはアスペクト比、例えばワイドスクリーン（１．３７：１以上）、標準（４：３）、ＩＳＯ ２１６（１．４１４）、３５ｍｍ（３：２）、ＷＸＧＡ（１．６１８）、スーパー１６０ｍｍ（５：３）、ＨＤＴＶ（１６：９）などのうち１または複数について座標を提供できる。知覚サイズを拡大するべくトランスデューサの複数の列が提供されるように、視覚的キューのサイズと相関可能な音声再生のサイズが提供される。

図７Ｂに提供されたメタデータ情報は、動作補間について音声信号を識別できる点で図７Ａのものとは異なる。音声信号の開始位置と終了位置が提供される。例えば、音声信号０００１はＸ１、Ｙ２にて開始し、フレームシーケンス０００１〜０００９の間にＸ２、Ｙ２へ移動する。特定の一実施形態では、動作補間に使用するアルゴリズムまたは関数をメタデータ情報に含めることができる。

図７Ｃでは、図７Ｂに示した例と類似したメタデータ情報が提供されている。しかし、この例では、デカルトｘ−ｙ座標の代わりに再生位置情報が表示画面寸法の比率として提供される。これにより、メタデータ情報と関係のない装置が得られる。例えば、音声信号０００１はＰ１％（水平）、Ｐ２％（垂直）にて開始するが、Ｐ１％は基準点からの表示幅の５０％、Ｐ２％は同じまたは別の基準点からの表示高さの２５％であってよい。あるいは、音声再生の位置を基準点からの距離（例えば半径）および角度によって指定できる。同様に、再生のサイズを、表示寸法または基準値の比率として表すことができる。基準値を用いる場合、基準値をメタデータ情報としてプレイバック装置に提供するか、あるいは、装置に依存する場合には、基準値をプレイバック装置上で予め定義し記憶しておくことができる。

上述したメタデータ情報のタイプ（位置、サイズなど）の他にも、次のような望ましいタイプがある。
音声形状。

実イメージに対する仮想イメージの優先度（virtual versus true image preference）。
望ましい絶対空間解像度（プレイバック中に疑似（音像化の取り扱いを補助する）‐解像度は各寸法（例えば、左／右、前部／後部）について指定できる。

望ましい相対空間解像度（プレイバック中に実音像に対する疑似音像の取り扱いを補助する）−解像度は各寸法（例えば、左／右、前部／後部）について指定できる。
加えて、中央チャンネル音声トランスデューサまたはサラウンドシステム・ラウドスピーカに送られる各信号については、相殺を示すメタデータを送信することができる。例えば、メタデータは、各チャンネルに与えられるべき望ましい位置をより正確に（水平および垂直）示すことが可能である。これにより、より高い空間解像度を持ったシステムのためのより高い解像度レンダリングで空間音声を送信するコース（下位互換性を持つ）が得られるだろう。

図８は、本発明の一実施形態による簡素化したフロー図８００を示す。ステップ８０２において信号を受信する。ステップ８０４で、ビデオ平面上におけるこの音声信号の知覚起源の位置を決定する。次にステップ８０６で、音声トランスデューサから成る１つ以上の列を選択する。選択された列は、知覚起源の水平位置に対応する。各列は少なくとも２つの音声トランスデューサを含む。ステップ８０８で、少なくとも２つの音声トランスデューサについて重み因子を決定あるいは計算する。重み因子は、音声パニングのための知覚起源の垂直位置に対応している。最後にステップ８１０にて、列がこの重み因子を用いて可聴信号を供給する。特許請求の範囲から逸脱しない限り上記以外の代替の提供も可能であり、例えば、ステップを追加する、１つ以上のステップを除去する、あるいは１つ以上のステップを上述とは違う順序で提供することができる。

図９は、本発明の一実施形態による簡素化したフロー図９００を示す。ステップ９０２において、音声信号を受信する。ステップ９０４で、ビデオ平面上での音声信号の第１の位置を決定あるいは識別する。この第１の位置は第１フレーム上の視覚的キューに対応している。次にステップ９０６で、ビデオ平面上での音声信号の第２の位置を決定または識別する。この第２の位置は第２フレームの視覚的キューに対応している。ステップ９０８で、音声信号についてビデオ平面上における第３の位置を計算する。この第３の位置を、第３フレーム上における視覚的キューの位置に対応するよう補間する。第３の位置は第１の位置と第２の位置の間に配置され、第１フレームと第２フレームの間に第３フレームが介在している。

さらにこのフロー図は、音声トランスデューサから成る列を選択して、重み因子を計算するためのそれぞれのステップ９１０、９１２をオプションで含むことができる。選択した列は第３の位置の水平位置に対応し、重み因子は同位置の垂直位置に対応している。オプションで、ステップ９１４にて、列が第３フレームの表示中に重み因子を利用して可聴信号を供給する。フロー図９００の全体または一部を、必要なメタデータを生成するべくミキサによって媒体の制作中に、または音声を提供するべくプレイバック中に実行することができる。本発明の特許請求の範囲から逸脱しない限り上記以外の代替を提供することも可能であり、例えばステップを追加する、１つ以上のステップを除去する、１つ以上のステップを上述とは異なる順序で提供する、ということができる。

上述の音声を定位知覚する技術は、例えば立体画像の対のような３次元（３Ｄ）ビデオ、左目知覚画像および右眼知覚画像にも適用を拡大することができる。しかし、キーフレームについて１つのみの知覚画像内で視覚的キューを識別することで、仕上がりの立体画像内と知覚された音声のプレイバックとにおいて、視覚的キューの位置間に水平的異常が生じる可能性がある。これを補正するために、例えば、キーフレーム内の視覚的近傍を他の透視画像と相関させたり、または３Ｄデプスマップから計算するなどの従来の技術を用いて、立体表示を概算し、調整された座標を自動的に決定したりすることができる。

立体相関は、表示画面に対する垂直線に沿って向き、音像の深度に対応している追加の座標ｚを自動生成するためにも使用できる。視聴者が視聴場所に直接就けるようにｚ座標を標準化することができる。ここで、ゼロは表示画面平面上を示し、ゼロ未満は平面背後の場所を示す。プレイバック時に、この追加の深度座標を使用して、追加の没入型音声効果を立体的視覚と組み合わせて合成することができる。

実装機構 − ハードウェア概要
一実施形態によれば、ここで述べている技術は１つ以上の専用計算装置によって実装される。専用計算装置は、技術を実行するべく配線されていてよく、特定用途向け集積回路（ＡＳＩＣ）や、技術を実行するように持続的にプログラムされたフィールドフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のような、１つ以上のデジタル電子装置を含んでいてよく、あるいは、ファームウェア、メモリ、他の記憶装置、またはこれらの組み合わせにおいて、プログラム命令に準じて技術を実行するようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでいてよい。技術を達成するために、このような専用計算装置は、カスタム・ハードワイヤード論理、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせることができる。専用計算装置はデスクトップコンピュータシステム、携帯型コンピュータシステム、ハンドヘルド型デバイス、ネットワークデバイス、または、本技術を実装するべく有線式および／またはプログラム論理を組み込んだその他のあらゆる装置であってよい。本技術は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも、または計算装置またはデータ処理システムによって実行されるいかなる特定の命令ソースにも限定されない。

ここで使用している用語「記憶媒体」は、マシンを特定の様式で動作させるデータおよび／または命令を記憶するあらゆる媒体を意味する。これは非一過性のものである。このような記憶媒体は、不揮発性媒体および／または揮発性媒体を備えていてよい。不揮発性媒体には例えば光ディスクや磁気ディスクが含まれる。揮発性媒体にはダイナミックメモリが含まる。記憶媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、またはその他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、その他のあらゆる光学データ記憶媒体、各種パターンの孔を設けたあらゆる物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、その他のあらゆるメモリチップまたはカートリッジが含まれる。記憶媒体は伝送媒体とは明らかに異なるが、伝送媒体と連係使用することが可能である。伝送媒体は、記憶媒体間での情報の伝送に関与する。例えば、伝送媒体は同軸ケーブル、銅線、光ファイバを含む。伝送媒体はまた、ラジオ波および赤外線データ通信の最中に生成されるような、音波または光波の形態をとることもできる。

等価物、拡張、代替、その他
前述した明細書では、本発明の有効な実施形態を、実装ごとに異なっていてよい多数の特定の詳細を参照して説明した。したがって、本発明が何であるか、また出願人が何を本発明と意図するかの唯一つの指標は、あらゆるそれ以降の訂正を含み、かつ特定の形式で書かれた、本出願から発行される請求項のセットである。こうした請求項に内容されている用語について明確に説明されるあらゆる定義は、請求項で用いられているとおりのこれらの用語の意味を決定する。そのため、請求項において明確に引用されていない、限定、要素、特性、特徴、利点、属性という言葉はどれも、特許請求の範囲をいかようにも限定してはならない。したがって、本明細書および図面は、制限の意味ではなく例証として考えられなければならない。「例えば」とは、「例の目的で」という意味であり、「すなわち」または「つまり」とは異なることがさらに理解されるべきである。

加えて、本発明の実施形態を完全に理解するために、前出の説明では、例えば特定の構成部分、装置、方法などの例といった多くの特定の詳細について述べた。しかし、当業者には、本発明の実施形態を実施する上でこれらの特定の詳細を採用する必要はないことが明白となるだろう。その他の場合では、本発明の実施形態を不必要に不明瞭にすることを防ぐため、よく知られている材料または方法については詳細な説明を省いた。

図６Ａ、図６Ｂ、図６Ｃ、図６Ｄは、本発明の実施形態による例示的な装置構成を示す。図６Ａは、２つの行６０４、６０６内において近接配置されたトランスデューサを備えた装置６０２を示す。トランスデューサの高密度配置により、音像の位置とサイズの空間解像度が向上し、さらに粒状動作（granular motion）の補間が向上した。特定の実施形態では、隣接し合ったトランスデューサは、典型的な約２．４３ｍ（約８フィート）の聴取距離につき２５．４ｃｍ（１０インチ）の距離で（中心から中心までの距離６０８）離間しているか、または約６°未満の角度で離間している。しかし、さらに高密度の場合には、隣接するトランスデューサどうしが当接し、および／またはラウドスピーカの円錐のサイズが縮小する可能性がある。複数のマイクロスピーカを採用することもできる（例えば、ソニー製のＤＡＶ−ＩＳ１０、パナソニック製の電子装置、５．０８×２．５４ｃｍ（２×１インチ）またはこれ以下のスピーカなど）。

Claims (15)

1. ビデオ表示装置であって、
   ビデオディスプレイと、
   前記ビデオディスプレイの上に位置する少なくとも３つの音声トランスデューサから成る第１行であって、前記第１行の前記音声トランスデューサは、前記第１行の端部においてより広く離間している、前記少なくとも３つの音声トランスデューサからなる第１行と、
   前記ビデオディスプレイの下に位置する少なくとも音声トランスデューサから成る第２行であって、前記第２行の前記音声トランスデューサは、前記第２行の端部においてより広く離間している、前記少なくとも３つの音声トランスデューサからなる第２行と、を備え、
   前記第１行の音声トランスデューサと前記第２行の音声トランスデューサとは、列を形成して共同して可聴信号を生成し、前記可聴信号は、視覚的キューの位置に対応するように、前記行の前記音声トランスデューサ間において重みを付けられている、ビデオ表示装置。
2. 前記ビデオディスプレイ、前記第１行、および前記第２行が、１つのフォームファクタと統合されている、請求項１に記載の装置。
3. サラウンド・サウンドシステムへの中央チャンネル音声信号を受信するための入力部をさらに備える、請求項１に記載の装置。
4. プロセッサをさらに備えて、メタデータからの、前記視覚的キューの位置を表す前記可聴信号について重みを計算する、請求項１に記載の装置。
5. 音声ビデオシステムであって、
   ビデオディスプレイと、
   前記ビデオディスプレイの上に位置し、少なくとも３つの音声トランスデューサから成る第１行であって、前記第１行の前記音声トランスデューサは前記第１行の端部においてより広く離間している、前記少なくとも３つの音声トランスデューサから成る第１行と、
   前記ビデオディスプレイの下に位置し、少なくとも３つの音声トランスデューサから成る第２行をであって、前記第２行の前記音声トランスデューサは前記第２行の端部においてより広く離間している、前記少なくとも音声トランスデューサから成る第２行と、
   第１および第２ラウドスピーカであって、前記第１および第２ラウドスピーカは前記ビデオディスプレイの対向する両側部に水平に配置されている前記第１および第２ラウドスピーカとを備え、
   前記第１行の音声トランスデューサと前記第２行の音声トランスデューサとは、列を形成して共同で可聴信号を生成し、前記可聴信号は、前記列の音声トランスデューサ間において重みを付けられている、音声ビデオシステム。
6. 第１サラウンドラウドスピーカと第２サラウンドラウドスピーカをさらに備える、請求項５に記載のシステム。
7. ビデオ表示装置であって、
   ビデオディスプレイと、
   前記ビデオディスプレイの上に位置し、少なくとも３つの音声トランスデューサから成る第１行であって、前記第１行の前記音声トランスデューサは、中心から中心までの距離が２５．４ｃｍ未満の等間隔で離間している、前記少なくとも３つの音声トランスデューサから成る第１行と、
   前記ビデオディスプレイの下に位置し、少なくとも音声トランスデューサから成る第２行であって、前記第２行の前記音声トランスデューサは、中心から中心までの距離が２５．４ｃｍ未満の等間隔で離間している、前記少なくとも音声トランスデューサから成る第２行とを備え、
   前記第１行の音声トランスデューサと前記第２行の音声トランスデューサとは、列を形成して共同して可聴信号を生成し、前記可聴信号は、視覚的キューの位置に対応するように、前記列の前記音声トランスデューサ間において重みを付けられている、ビデオ表示装置。
8. 音再生方法であって、
   音声信号を受信すること、
   前記音声信号の知覚起源についてビデオ平面上の位置を決定すること、
   前記知覚起源の水平位置に対応する音声トランスデューサの列を選択することであって、前記列は、音声トランスデューサの列から選択した少なくとも２つの音声トランスデューサを含む、前記選択すること、
   前記列の前記少なくとも２つの音声トランスデューサに重み因子を決定することであって、前記重み因子は前記知覚起源の垂直位置に対応する、前記決定すること、
   前記列が前記重み因子を用いて可聴信号を供給することを備える、方法。
9. 前記音声信号は中央チャンネル音声信号である、請求項８に記載の方法。
10. 左フロントスピーカ、右フロントスピーカ、左バックスピーカ、右バックスピーカについて複数の別の音声信号を受信することをさらに備える、請求項８に記載の方法。
11. 音再生方法であって、
    メタデータを受信することであって、前記メタデータは音声ステムの位置を含む、前記受信すること、
    前記位置の水平位置に最も近接している音声トランスデューサの列を選択することであって、前記列は、音声トランスデューサの行から選択した少なくとも２つの音声トランスデューサを含む、前記選択すること、
    前記列の前記少なくとも２つの音声トランスデューサに重み因子を決定することであって、前記重み因子は前記位置の垂直位置と相関する、前記決定すること、
    前記列が前記重み因子を利用して音声ステムを提供することを備える、方法。
12. 第２メタデータを受信することであって、前記第２メタデータは第２音声ステムの第２の位置を含む、前記受信すること、
    前記第２の位置の水平位置に最も近接している第２列の音声トランスデューサを選択すること、
    第２重み因子を決定することであって、前記第２重み因子は前記第２の位置の垂直位置と相関する、前記決定すること、
    前記第２列が前記第２重み因子を利用して第２音声ステムを提供することを備え、
    前記第２列は第１列から離れて配置されている、請求項１１に記載の方法。
13. 音再生方法であって、
    音声信号を受信すること、
    音声信号のビデオ平面上での第１の位置を決定することであって、前記第１の位置は第１フレーム上の視覚的キューに対応する、前記決定すること、
    前記音声信号の前記ビデオ平面上での第２の位置を決定することであって、前記第２の位置は第２フレーム上の前記視覚的キューに対応する、前記決定すること、
    第３フレーム上の前記視覚的キューの位置と対応すると推定された前記音声信号の前記ビデオ平面上での第３の位置を計算することであって、前記第３の位置は前記第１の位置と前記第２の位置の間に配置され、前記第３フレームは前記第１フレームと前記第２フレームの間に介在している、前記計算することを備える、方法。
14. 前記第３の位置の水平位置に対応している音声トランスデューサの列を選択することであって、前記列は、前記音声トランスデューサの行から選択した少なくとも２つの音声トランスデューサを含む、前記選択すること、
    前記列の前記少なくとも２つの音声トランスデューサについて重み因子を計算することであって、前記重み因子は前記第３の位置の垂直位置に対応する、前記計算すること、
    前記第３フレームの表示中に、前記列が前記重み因子を利用して音声信号を供給することをさらに備える、請求項１３に記載の方法。
15. 音再生システムであって、
    メタデータを受信する手段であって、前記メタデータは音声ステムの位置を含む、前記メタデータを受信する手段と、
    前記位置の水平位置に最も近接している音声トランスデューサの列を選択する手段であって、前記列は、音声トランスデューサの行から選択した少なくとも２つの音声トランスデューサを含む、前記音声トランスデューサを選択する手段と、
    前記列の前記少なくとも２つの音声トランスデューサについて重み因子を決定する手段であって、前記重み因子は前記位置の垂直位置と相関する、前記重み因子を決定する手段と、
    前記列が前記重み因子を利用して音声ステムを提供する手段とを備える、音再生システム。