JP2013529004A - 位置追跡を備えるスピーカ - Google Patents

Abstract

本発明は、ユーザのオーディオ体験を高めるために、頭部追跡システム（例えば、ユーザの頭部または目の追跡に典型的に使用されるカメラシステム）を複数のスピーカに組み合わせる。ユーザの位置を、サラウンドサウンドなどの機能を向上させるべく複数のスピーカに送られるオーディオ信号を変更するために使用することができる。さらに、カメラシステムを、細いサウンドビームを生成することができるスピーカのアレイと組み合わせられたときに、別々のサウンドビームを別々のユーザに実質的にクロストークを生じることなく向けるために使用することができ、したがってユーザが同じオーディオシステムから別々の媒体を体験することができ、かつこれがユーザの位置の変化に対して寛容である。さらに、カメラシステムは、サウンドビームを壁で反射させるリアルなサラウンドサウンドの提供のためのアレイの設定を補助することができる。クロストークキャンセレーションをさらに使用することができる。サウンドビームが、リアルタイムで２Ｄおよび３Ｄ音源を表わすことができる。サウンドビームのパラメータを、リアルタイムでオーディオ−ビジュアル番組構成要素のサウンド発生物の２Ｄまたは３Ｄの位置および移動の印象を聴取者にもたらすように調節することができる。使用されるビームのパラメータとして、ビームの方向、ビームの焦点距離、周波数応答、およびゲインが挙げられる。３Ｄ音源のリアルタイム表現を生成するそのようなサウンドプロジェクタを、単独で使用することができ、あるいはビデオ表示装置、テレビ受像機、パーソナルコンピュータ、またはゲーム機と組み合わせて使用することができる。

Description

本発明は、好ましくはヘッドホンを必要とすることなく、より良好なサウンド再生をもたらし、特にステレオまたはサラウンドのサウンド再生をもたらすためのオーディオ装置および方法に関する。

「２Ｄ」（二次元）の視覚表示装置はもちろん、より最近では「３Ｄ」（三次元）の視覚表示装置も、当分野において公知であり、後者のさまざまな変種（一部は専用の眼鏡で眺める必要がある）が、テレビ受像機およびコンピュータ視覚表示装置の多数の製造者による製品において、一般的になってきている。本発明は、特に３Ｄ効果の増強に役立つように３Ｄ表示装置とともに使用することが可能であるが、あらゆる種類の２Ｄおよび３Ｄ視覚表示装置において使用することが可能である。

デジタルサウンドプロジェクタ（ＤＳｏＰ）などのアレイスピーカが、当分野において公知である（例えば、欧州特許第１，２２４，０３７号および米国特許第７，５７７，２６０号を参照されたい）。これらは、典型的には、各々が異なるオーディオ信号によって駆動されるいくつかのスピーカトランスデューサのアレイを備えている。アレイは、アレイ内の種々のトランスデューサの出力が互いに干渉するフェーズドアレイと同様のやり方で動作するように構成される。各々のトランスデューサに送られるオーディオ信号が適切に制御されるならば、スピーカアレイを、多数の狭いサウンドビームを生成するために使用することができる。

ホームシアター設備において可能なビームの使用の１つのやり方は、異なるサウンドチャネルが異なる方向からユーザに達することで、リアルなサラウンドサウンドの体験がもたらされるよう、サウンドを部屋の種々の表面で反射させることである。別々のビームを、壁、床、および天井、あるいは他の音を反射させる表面または物体で反射させることによって、サウンドを異なる方向からユーザに向けるために使用することができる。

サラウンドのサウンド感覚を生じさせるためのＤＳｏＰの通常の使用においては、フロントチャネルの信号が、ビームの焦点距離をこのチャネルのサウンドをできるだけ一様に聴取者間に分布させるように選択される所定の距離に設定（多くの場合、負の焦点距離、すなわちトランスデューサアレイの背後に仮想の焦点を位置させることが、最良の設定である）しつつ、リスニング領域（聴取者が位置する）に真っ直ぐに案内され、フロント左およびフロント右のチャネルの信号が、一般的には、これらのチャネルからの主要なサウンドが壁の方向から聴取者に到達することで、左および右チャネルの分離の感覚が大きく改善され、ワイドな空間リスニング体験がもたらされるよう、（それぞれ）左側および右側の壁での反射を介してリスニング領域に案内され、リア左およびリア右のチャネルは、一般的には側方の壁で（ＤＳｏＰが水平方向だけでなく鉛直方向にもビームを操ることができる場合には、天井でも）反射させられ、次いで後方の壁で反射させられ、最終的にＤＳｏＰとは反対の方向（すなわち、聴取者の背後）からリスニング領域に達し、強力な「サラウンドサウンド」の感覚をもたらす。これらの状況の全てにおいて、ひとたび設定されたならば、全てのチャネルのサウンドビームの方向、ゲイン、周波数応答、および焦点距離は、ユーザが（例えば、リモコンによって）積極的に介入してこれらを手動で変更しない限りは、リスニングのセッションが続く間、固定されたままであることが通常である。

部屋の壁でサウンドビームを反射させることを必要とする効果的なサラウンドサウンドの生成のためのＤＳｏＰの使用において、部屋の寸法ならびにＤＳｏＰおよびユーザの両方の相対位置を知ることがきわめて望まれることを、理解できるであろう。これは、現在のところ、ユーザまたは設置作業者のいずれかが、所望の効果が達成されるようにビームの方向および焦点を手動で調節することによって達成できる。代案は、部屋内に配置されるマイクロホンを使用し、部屋を巡ってサウンドビームを掃引したときにマイクロホンによって受信されるサウンドを測定することである。そのような測定からの情報により、部屋の形状ならびに最良のオーディオ体験のための角度を評価することができる。このプロセスは、「マイクロホンにもとづく自動設定（ＭＢＡＳ）」と呼ぶことが可能であり、欧州特許第１，５８４，２１７号に開示されている。

ビームの他の用途は、ホームシアターの環境において各々のユーザに別々のサウンドビームを直接投射することである。これを、２つ以上の別々の番組を投影するための表示画面の分割と組み合わせることができる。このやり方で、別々のユーザが別々の媒体を視聴することができる。細いサウンドビームは、クロストークがわずかであり、或るユーザに向けられたサウンドを、別のユーザにほとんど聞こえないようにできることを意味する。この機能を、「ビーム・トゥ・ミー（beam-to-me）」と称することができる。
画像の分析および切り分けならびに物体の認識プロセスも、当分野において公知であり、現実の（または、仮想の）２Ｄまたは３Ｄシーンを表わすビデオ信号に適用されたときに、視認されているシーン内の１つ以上の物体に関する画像特徴を、或る程度リアルタイムで抽出することができる。これらを、今日では、例えばシーン内の１人以上の人物（または、おそらくは人物の顔だけ）を特定し、それらの人物の位置を（例えば、カメラの表示画面上に囲み枠を表示することによって）特定し、場合によっては画像内の人物のうちの誰が笑っているかまで判断することができるビデオカメラに見ることができる。

人間の耳／脳のシステムは、到来するサウンドの方向を、右耳および左耳に到達する信号の間のわずかな相違（主として、振幅の相違、相対の時間差、およびスペクトル形状の違いに注目することによって判断する。これらの効果は、頭部の形状および物理的な構造により、主として２つの耳の穴が空間内の異なる位置に位置し、２つの耳と音源との間の遮蔽、吸収、および回折の構造が異なるがゆえに生じる。２つの耳の間の応答の相違は、周波数および何らかの基準点（例えば、水平面内の真っ直ぐ前方）に対する音源の角度位置の関数である頭部伝達関数（ＨＲＴＦ）としてまとめられる。このＨＲＴＦの定義の方法ゆえ、音源が、特定の音源方向ＴＨＥＴＡ（３Ｄ角度）におけるＨＲＴＦと同一の耳信号の間の相違にて聴取者の各々の耳の領域にもたらされる場合、聴取者は、たとえ音が例えばヘッドホンによって耳に直接もたらされていても、音の位置を方向ＴＨＥＴＡからの音であると知覚する。このようなＨＲＴＦにもとづく両方の耳への音の供給は、正確に行われたならば聴取者が現実または完全に合成の完全な３Ｄサウンド空間を知覚できるという意味で、３Ｄサウンドとして上手く説明できる。ＨＲＴＦにもとづく３Ｄサウンド（以下では、単に３Ｄサウンドと言う）をもたらす多数のやり方が、当分野において公知である。上述のように、おそらくはヘッドホンによるやり方が最も単純であるが、これは、実際には聴取者にとって不便であることが多く、聴取者が移動している場合にはまったく困難であり、多数の聴取者においては多数組のヘッドホンが必要である。また、ヘッドホンにおいては、聴取者が頭を動かしたときに、音場が頭と一緒に移動するという落ち着かない感覚を持ち、結果として魔法が解け、もはや「リアル」に聞こえなくなる。ヘッドホンによる３Ｄサウンドの提供の１つの重要な利点は、２つの耳の信号の間のクロストークをほぼ完全になくすことが簡単であり、左の信号を左の耳に、右の信号を右の耳に、正確に届けることができる点にある。

ヘッドホンでの聴取者への３Ｄサウンドの提供につきものの現実的な問題を回避するために、聴取者から離れた２つ以上のスピーカによって３Ｄサウンドをもたらす方法が、当分野において公知である。これが行われるとき、解決すべき主たる新たな問題は、たとえ今や両方の耳が両方のスピーカに曝露されていても、左の耳がほぼ左の信号だけを聞き、右耳についても同じであるように、２つの耳信号の間のクロストークを少なくすることである。この問題および解決策は、包括的にクロストークキャンセレーション（ＸＴＣ）として知られている。

欧州特許第１，２２４，０３７号 米国特許第７，５７７，２６０号 欧州特許第１，５８４，２１７号

本発明は、一態様において、ユーザのオーディオ体験を改善するために、オーディオシステム（ＤＳｏＰなど）、ＰＣ、またはＴＶに組み込むことができる頭部の追跡（トラッキング）、目の追跡、および／または凝視の追跡システムを利用する。

一態様において、本発明は、オーディオ信号を放射する複数のスピーカ（拡声器、ラウドスピーカ）と、頭部追跡システムとを備えており、前記頭部追跡システムが、聴取者の空間内の頭部の位置を判断するように構成され、判断された聴取者の頭部の位置が、オーディオ信号を変更するために使用されるオーディオシステムを含む。

場合により、前記頭部追跡システムは、ソフトウェアアルゴリズムに組み合わせられた１つ以上のカメラを備える。

場合により、２つ以上の別々の指向性サウンドビームが、前記複数のスピーカによって放射される。

場合により、ビデオカメラが頭部の位置を検出するために使用され、それに応じてサウンドビームが指向される。

場合により、１人以上の聴取者の頭部の位置が、ビデオカメラによってリアルタイムで追跡され、それに応じてサウンドビームが指向される。

場合により、１つのサウンドビームが、聴取者の左耳に指向され、もう１つのサウンドビームが、聴取者の右耳に指向される。

場合により、左に指向されるビームが、スピーカからの聴取者の左耳の距離に相当する距離に集中させられ、右に指向されるビームが、スピーカからの聴取者の右耳の距離に相当する距離に集中させられる。

場合により、サウンドビームが、聴取者の２つの耳のそれぞれの近くに集中させられ、これら２つのサウンドビームは、ステレオサウンドを再生するように構成され、あるいは頭部伝達関数処理との組み合わせにおいてサラウンドサウンドを再生するように構成されている。

場合により、頭部伝達関数および／または心理音響のアルゴリズムが、仮想のサラウンドサウンド体験をもたらすために使用され、これらのアルゴリズムのパラメータが、測定されたユーザの頭部の位置にもとづいて変更される。

場合により、頭部伝達関数が、パラメータを含み、オーディオシステムが、リアルタイムで頭部伝達関数のパラメータを変更するように構成される。

場合により、スピーカのアレイが、異なる対アレイの角度にて投射される複数のサウンドビームを生成するように干渉するオーディオ信号とともに使用され、ビームの角度が、１人以上のユーザが移動してもビームを耳に向け続けることができるよう、ビームを１人以上のユーザの耳に向けるように頭部追跡システムを使用して制御される。

別の態様において、本発明は、オーディオ信号を放射する複数のスピーカを備えており、２つ以上の別々の指向性サウンドビームが、前記複数のスピーカによって放射され、１つのサウンドビームが、聴取者の左耳に集中させられるように構成され、もう１つのサウンドビームが、聴取者の右耳に集中させられるように構成されているオーディオシステムを含む。

場合により、複数のスピーカは、アレイにて配置される。

場合により、ステレオまたはサラウンドサウンドが、１人以上の聴取者にもたらされる。

場合により、このオーディオシステムは、さらなるビームをさらなる聴取者に向けるように構成される。

場合により、２つのサウンドビームの焦点位置が、聴取者の頭部の移動に応じて移動させられる。

場合により、クロストークキャンセレーションが適用される。

場合により、各々のビームが、３Ｄサウンド番組（プログラム）の異なる構成要素（成分）を運ぶ。

さらなる態様において、本発明は、細いサウンドビームを異なる方向に向けることができる複数のスピーカからなるアレイと、システムの１人以上のユーザの空間内での頭部の位置を判断すべく１つ以上のカメラをソフトウェアアルゴリズムに組み合わせて備えている頭部追跡システムとを備えており、１人以上のユーザの頭部の位置が、別々のオーディオビームが別々のユーザにわずかなビーム間のクロストークにて向けられるように、スピーカアレイの各々のスピーカに送られるオーディオ信号を変更するために使用され、ビームの方向が、測定されたユーザの位置にもとづいて変更されるオーディオシステムを含む。

さらなる態様において、本発明は、細いサウンドビームを異なる方向に向けることができる複数のスピーカからなるアレイと、壁などの部屋の造作を判断すべく１つ以上のカメラをソフトウェアアルゴリズムに組み合わせて備えているカメラ認識システムとを備えており、部屋の形状の判断が、ユーザに真のサラウンドサウンド体験をもたらためにビームを部屋の利用可能な壁または造作において適切に反射させることができるように種々のオーディオビームの設定、典型的には各々のビームの方向および焦点を決定するために使用されるオーディオシステムを含む。

さらなる態様において、本発明は、複数のサウンドビームを生成することができ、ビーム角度、ビームの焦点距離、ゲイン、および周波数応答のビームパラメータのうちの１つ以上を、再生される番組構成要素内の音源の２Ｄおよび３Ｄの位置および移動に応じてリアルタイムで変更するように構成された制御システムを備えているサウンドプロジェクタを含む。

場合により、このサウンドプロジェクタは、視覚表示装置に組み合わせられ、いくつかのチャネルサウンドビームのうちの１つ以上についてのサウンドプロジェクタのチャネルビーム設定が、視覚表示装置を駆動するビデオ信号の空間パラメータに応じてリアルタイムで動的に変更される。

場合により、空間パラメータは、ビデオ入力信号を分析し、リアルタイムでビデオ信号から空間パラメータを計算する第１の空間パラメータプロセッサ手段によって導出される。

場合により、空間パラメータは、オーディオ入力信号を分析し、リアルタイムでオーディオ信号から空間パラメータを計算する第２の空間パラメータプロセッサ手段によって導出される。

場合により、空間パラメータは、ビデオおよびオーディオ入力信号の両方を分析し、これらの信号の両方の組み合わせにもとづいて空間パラメータを計算する空間パラメータプロセッサ手段によって導出される。

場合により、チャネルビームパラメータは、ビデオおよび／またはオーディオ入力信号と一緒にもたらされるメタデータに従ってリアルタイムで変更される。

場合により、１つ以上のビームのビームパラメータが、近いリスニング位置に最適化される。

場合により、前記リスニング位置の前記サウンドプロジェクタからの距離は、前記サウンドプロジェクタの幅の大きさと同程度である。

場合により、前記サウンドプロジェクタが、前記リスニング位置において２０度よりも大きな角度を定める。

場合により、ビームの焦点位置を、番組構成要素内の音源のｚ位置を表現するために、前記サウンドプロジェクタの平面の前方または背後に位置させることができる。

場合により、前記サウンドプロジェクタは、ビデオ表示装置、テレビ受像機、パーソナルコンピュータ、またはゲーム機とともに使用される。

本発明の第３の態様は、頭部追跡システムの固有の一部分であるカメラシステムを使用して部屋の寸法およびユーザの位置を割り出し、リアルなサラウンドサウンド体験をもたらすための最適なビームの角度および焦点距離を計算することにある。そのようなシステムは、ＭＢＡＳを置き換え、システムの有用性を向上させると考えられる。

次に、本発明を、添付の概略図を参照しつつ、あくまでも本発明を限定するものではない例によって、さらに説明する。

２つのビームを聴取者の２つの耳のそれぞれに１つずつ同時に向けているサウンドプロジェクタの上面図を示している。 水平配置のサウンドプロジェクタと頭部の追跡に使用されるカメラとを備えるオーディオ装置の斜視図である。 水平配置のサウンドプロジェクタと正確な頭部の追跡に使用される２つのカメラとを備えるオーディオ装置の斜視図である。 空間パラメータプロセッサ手段を実現するための装置を示している。 聴取者３に仮想の源２を有する音場をもたらしているサウンドプロジェクタの上面図を示している。

（サウンドの提供）
本発明の第１の態様によれば、聴取者に向かって（各々がサウンドの別々の成分を運んでいる）２つ以上のビームを案内することによってサウンド（好ましくは、３Ｄサウンド）を聴取者の耳に届けるために、２つ以上の個別のスピーカの代わりに、アレイスピーカが使用される。アレイスピーカの全体のサイズは、聴取者によって知覚されるべきサウンドにとって最も重要な周波数帯（例えば、およそ２００〜３００Ｈｚから５〜１０ＫＨｚ）において指向性のビームを合理的に生成することができるように選択される。したがって、例えば１．２７ｍのアレイ（約５０インチ−対角が公称５０インチであるＴＶ画面の筐体のサイズに調和する）が、３００Ｈｚを下回る周波数まで良好な指向性のビームを生成することができると期待することができる。実験によって測定した２ｍ以内の距離における３ｄＢのビーム半角は、集中させない場合に約２１度であり、小型の単一のトランスデューサスピーカのほぼ９０度の半角のビームよりもはるかに小さい。アレイの前方２ｍ以内に集中させた場合、半角のビーム幅は１５度以下に減少する。１ＫＨｚにおいて、測定されるビーム半角は、ビームをアレイの前方２ｍ以内に集中させた場合に、７度未満に減少する。明らかに、このような細いビーム幅によれば、アレイから放射されるサウンドについて、リスニングルームの全ての散乱表面に広く拡散する割合が、小型の個別のスピーカの場合と比べて大幅に少なくなる。

好ましくは、本発明によれば、聴取者にサウンドまたは３Ｄサウンドをもたらすために、アレイスピーカが、左耳用の情報を運ぶビームが聴取者の左耳に向けられ、右耳用の情報を運ぶビームが聴取者の右耳に向けられるという追加の特徴を伴って使用される。好ましくは、ビームが、可能な限り正確に耳に届けられる。このやり方で、各々の耳におけるビームの相対強度が、その耳用のビームについて反対側の耳に比べて高くなる。結果として、各々の耳における所望の信号の区別が改善される。

各々の耳へのビームで、聴取者に再現すべき元々の音場においてその耳によって聴取されたと考えられる内容を表わすサウンド信号を運ぶことができる。これを、３Ｄサウンドを生成するためにＨＲＴＦを使用して達成することができる。これらの信号は、ヘッドホンによってサラウンドサウンドを再生するときに耳に提示される信号に類似する。２つの信号の間の相違が、聴取者が自身の頭部の周囲の異なる音源を複合的に推量することを可能にする。

ヘッドホンを装着しているとき、チャネル間のクロストークはわずか、または皆無である（すなわち、ヘッドホンによってもたらされる耳の間の絶縁ゆえに、右耳はほぼ右耳用のサウンドだけを聞き、左耳も同様である）。このような種類のサウンド信号を、１対の標準的なスピーカによって聴取者に届けようと企てる場合、ステレオスピーカ自体は各々の耳にほぼ同様の振幅の信号を届けるため、クロストークの影響を（部分的に）打ち消すために大量の作業を行わなければならず、スピーカによるサウンドの送信に先立って、頭部伝達関数（ＨＲＴＦ）および聴取者の頭部の位置の知見に頼った大量の補正が必要である。しかしながら、ＤＳｏＰを使用することにより、別々のビームをそれぞれの耳（または、それぞれの耳の近傍）にしっかりと集中（少なくともスペクトルのうちのより高い周波数の部分について）させることができ、そのような各々のビームで、再現すべき音場全体について必要な情報を伝達するために適切に異なる信号を運ぶことができる。所与の周波数よりも上について、充分なサイズのＤＳｏＰアレイによってクロストークをかなり小さくすることができる。しかしながら、耳の間の間隔と比べて長い波長となる周波数においては、この技術では低水準の分離しか可能でなく、クロストークがより大きくなる。

好ましくは、聴取者の左耳に向けられるビームが、聴取者の左耳のアレイからの距離に一致するアレイからの距離に集中もさせられ、聴取者の右耳に向けられるビームも、聴取者の右耳のアレイからの距離に一致するアレイからの距離に集中させられる。したがって、各々のビームの焦点が、それぞれユーザの各々の耳の近傍に位置する。このやり方で、各々の耳におけるビームの相対強度が、その耳用のビームについて反対側の耳に比べてさらに高められる。

図１が、聴取者３の近くに置かれた音響トランスデューサ５のアレイを備えるサウンドプロジェクタ１を示しており、１つのサウンドビームが、聴取者３の左耳にきわめて近い焦点２０に案内および集中させられており、もう１つのサウンドビームが、聴取者の右耳にきわめて近い焦点２１に案内および集中させられている。２つのビームについて、そのそれぞれの焦点における強度が、そのビームの他方のビームの焦点における強度と比べて大きく異なるため、聴取者における良好なチャネル分離が達成され、聴取者３がもっぱら第１のビームをもっぱら左耳（焦点２０のきわめて近くに位置する）で聞き、第２のビームをもっぱら右耳（焦点２１のきわめて近くに位置する）で聞く。このようにして、これら２つのビームにて運ばれる番組の構成要素が、聴取者がヘッドホンを装着している場合に各々の耳で聞くと考えられる内容を表わしているならば、ステレオサウンドならびにＨＲＴＦ情報を使用して作成した完全なサラウンドサウンド信号を、聴取者に遠方から配線を必要とせずに届けることができる。

完全を期すため、聴取者の耳の近傍にそれぞれ向けられ、より詳しくは聴取者の２つの耳（左および右）の各々の近傍に１つずつ向けられる２つのサウンドビームが生成される上述の構成のいずれにおいても、これら２つのビームを適切に配置された２つのまったく別のアレイスピーカから生成できることを、指摘しておかなければならない。それらの両方が、好ましくはＬ−Ｒ方向に整列した基本的に一次元のアレイである（すなわち、アレイの軸を聴取者の耳の近傍に向けつつおおむね水平な面内に位置する）場合、それらを、それらの水平方向の間隔を任意に選択しつつ、それらの実質的な音源中心が適切な水平方向の間隔に位置するように垂直に重ねることができ（例えば、各々のアレイの全長の半分の合計が所望のＬ−Ｒ音源間隔よりも大きい場合）、そうでない場合、おおむね水平な面内に配置することができる。２つの別々のアレイからなるこの構成は、ＬおよびＲの信号を１つのアレイに重ねる必要がなくなる他には、いかなる特有の利点も持たず、サイズおよびコストの増加を含むいくつかの実施における欠点を有するように見受けられる。

聴取者の耳が、ＤｓｏＰに対して比較的静止している場合、２つのビームの焦点を、ひとたびシステムがその特定のユーザ位置に合わせて設定されたならば、空間内に固定することができる。そのような状況は、例えばＰＣとともに使用されるＤｓｏＰの場合（聴取者が通常はＰＣの直前に着席する）に生じうる。もう１つのそのような状況は、聴取者の位置が座席の位置によって或る程度固定される車両（例えば、自動車）である。後者の場合、ユーザが姿勢を変えるために座席を調節するかもしれないが、その場合、座席の調節機構を、座席調節システムへの問い合わせによって聴取者の頭部の新たな予想位置についての情報をもたらすために使用することができ、２つのビームの焦点の位置を、座席の調節による聴取者の動きを追跡するように自動的に調節することができる。

（頭部の追跡）
しかしながら、聴取者の頭部の位置が予測不可能に変化する可能性があり、あるいは他の理由でそもそも比較的未知である他の場合には、カメラ（おそらくはＤｓｏＰに取り付けることが有用であるが、いずれにせよ聴取者の頭部をはっきりと確認できる位置に取り付けられる）が聴取者の頭部を画像化するために使用され、画像分析ソフトウェアを使用して、カメラの画像フレーム内の聴取者の頭部の画像の身元および位置を割り出すことができる。カメラの形状、位置、および向き、ならびに人間の頭部のおおよそのサイズを知ることで、聴取者の耳の３Ｄ座標（カメラに対する３Ｄ座標、したがってＤｓｏＰに対する３Ｄ座標）を推定することが可能であり、２つのビームを適切に聴取者の２つの耳のそれぞれの近くに自動的に向けることができる。聴取者が移動する場合に、頭部追跡システムが移動を検出し、新たなビーム焦点位置を計算し、聴取者の頭部を追跡することができる。

したがって、本発明の第２の態様においては、好ましくはビデオカメラを備える頭部追跡システムが、少なくとも聴取者が位置する可能性がある領域について、リスニングルームを観察する。システムが、取得されたビデオ画像フレームから、聴取者のうちの１人以上のスピーカに対する位置を、リアルタイムまたはほぼリアルタイムで特定できる。そのような位置追跡対象の各々の聴取者のうちの１人以上について、オーディオシステムが、その聴取者にサウンドを届けるために使用される１つ以上のビームの方向を、その聴取者の室内での位置が変化しても該当のビームの聴取者の頭部に対する位置がほぼ同じままであるように、適切に調節することができる。この成果を、聴取者が常に正しいサウンド情報を受け取ることを保証するために使用することができる。これは、２つのビームが使用される場合に、複雑なアルゴリズムを必要とせず、あるいはヘッドホンの使用を必要とせずに、聴取者の頭部におけるクロストークキャンセレーションを適切に最適化することができる。このように、本発明は、ヘッドホンの使用を必要とせず、かつ室内にただ１つの小さな「スイートスポット」を存在させることなく、１人以上の聴取者にステレオまたはサラウンドサウンドを提供することができる。実質的に、本発明は、各々の聴取者に、聴取者の移動につれて移動する個人の個別の「スイートスポット」を提供することができる。したがって、これまでは不可能であった優れた効果を得ることが可能である。

頭部の追跡を、ＰＣの用途にも適用することができるが、ＰＣの用途には、多くの場合にいくつかの特徴および制約が存在する可能性がある。第１に、典型的には、ただ１人のユーザが、頭部を中央に位置させつつ画面から約６０ｃｍに位置する。第２に、ユーザの背後の壁の位置が、きわめて不確かであり、壁を使用してサウンドを反射させることが、非現実的である可能性がある。第３に、ＰＣ用のオーディオ製品は、きわめて価格志向であり、アレイに多数のトランスデューサを使用することを避ける方向の強い価格の圧力が存在する。第４に、そのような用途においてサラウンドサウンドを生成するための主たる競争は、「仮想サラウンドサウンド」を生成するための心理音響アルゴリズム（バーチャライザ）の使用である。そのようなシステムは、ユーザの脳が３Ｄ空間内の音源の位置を特定するために２つの耳へのオーディオ入力をどのように解釈するのかについての知識を利用する。特に、そのようなアルゴリズムは、異なる方向からのサウンドがユーザの頭部によってどのように影響されるのか、ならびに異なる方向から到来するサウンドについて遅延および２つの耳によって受け取られるオーディオ信号の他の変化がどのようであるかをモデル化する「頭部伝達関数」を利用する。

標準として、そのようなバーチャライザシステムは、典型的には表示画面の各側に１つずつ位置する大部分のＰＣシステムにおいて使用されている標準的なステレオスピーカを利用するにすぎない。そのようなバーチャライザアルゴリズムは、ユーザがスピーカの間のきわめて狭い領域に位置することを必要とする。ユーザが頭部を中央の位置から動かすと、サラウンドサウンドの仮想のオーディオ体験が失われる。

基本の段階において、本発明の一態様は、頭部追跡システムによって割り出される３Ｄ空間内のユーザの頭部の位置についての測定情報にもとづいて、バーチャライザアルゴリズムのパラメータを変更することにある。

本発明は、好ましくは、ユーザの各々の耳にそれぞれ向けられる２つの細いサウンドビームを生成するように構成されたＤＳｏＰアレイを使用する。ユーザの頭部が移動するとき、ビームの方向も、ビームの方向を各々の耳に保つように変更される。各々のビームに加えられるオーディオ信号を、仮想のサラウンドサウンドの感覚をもたらすように心理音響アルゴリズムで処理することができる。しかしながら、ＤＳｏＰアレイの使用は、頭部追跡システムと組み合わせられたとき、サラウンドサウンドを体験するための「スイートスポット」の動的な調節および移動が存在することを意味する。上述のようなサウンドビームの方向に加えて、ユーザの頭部の向きの違いを考慮するために、仮想のサラウンドサウンドのアルゴリズムのパラメータをリアルタイムで変更することも可能である。そのようなシステムにおいては、今や機能がほぼユーザの頭部の幅だけ隔てられていればよい２つのサウンドビームの投射に限られるため、ＤＳｏＰアレイのサイズおよび複雑さを減らすことが可能である。これは、アレイのコストの削減に役立つことができる。

図２が、カメラ６が取り付けられたサウンドプロジェクタ１を備えるオーディオシステムを示している。この例では、サウンドプロジェクタが、水平面内にビームを放射することができる水平方向に延びる線アレイである。カメラ６が、考えられる全てのリスニング位置をおおむね含む視野を有するようにサウンドプロジェクタ上に取り付けられている。カメラ６およびサウンドプロジェクタ５は、図２においては、概略的に、カメラ６からの画像を解釈し、聴取者の頭部または耳の位置を割り出し、異なるビームを異なるユーザに向け、あるいは各々のユーザの左および右のそれぞれの耳に異なるビームを届ける制御信号をサウンドプロジェクタ５に供給することができるプロセッサ７に接続されるものとして図示されている。各々のユーザが、同じ番組を受け取ることができ、その場合には、全ての左耳ビームが同じ情報を運び、全ての右耳ビームが同じ情報を運び、あるいはユーザが別々の番組を受け取ることができ、その場合には、左耳ビームが互いに異なる情報を運ぶことができ、右耳ビームも同様である。プロセッサ７を、カメラ６またはサウンドプロジェクタ５のいずれかに一体化させることができ、実際に、カメラ６を、箱が１つだけで済むソリューションを生み出すためにサウンドプロジェクタ５に一体化させることができる。

本発明のさらなる態様は、ユーザが典型的には画面からさらに離れて位置し、多数のユーザが画面を使用する可能性があるホームシアター環境におけるシステムの使用に関する。上述と同様の関数を、ユーザの頭部の位置に応じて各々のユーザに投射されるビームの角度を変えることによってビーム・トゥ・ミー機能の性能を向上させるために使用することができる。アレイの複雑さおよび性能に応じて、たとえ長い距離であっても、ユーザの各々の耳に別々のビームを送信できるようにし、仮想のサラウンドサウンドを可能にすべくＤＳｏＰをバーチャライザシステムと組み合わせることを可能にできる。

本発明のさらなる態様によれば、別の完全に独立した２つ以上のビームの組を使用し、追加のビームの各組を上述のようなやり方で追加のそれぞれの聴取者に向けることによって、１人以上のさらなるユーザにサウンドまたは３Ｄサウンドを届けることができる。アレイスピーカの線形性ゆえに、追加のビームは、総放射パワーが各々のトランスデューサチャネルの公称の線形能力の範囲内である限りにおいて、他のビームの存在の影響をおおむね被ることがない。さらに、各々の聴取者に向けたビームの組を、その聴取者にビームを適切に案内および集中させること、および適切なビームの指向性（すなわち、適切に狭いビームの角度）を達成すべくスピーカアレイを対象の周波数／波長に合わせた適切なサイズとすることによって、その聴取者の近傍に比較的局所化させることができるため、追加のビームが他の聴取者に対して容認できない追加のクロストークを生じさせることがない。

図３が、頭部追跡システムが２つのカメラ６ａ、６ｂを備える実施形態を示している。カメラ６ａ、６ｂは、水平方向において離れており、どちらも予想されるリスニング位置を画像化する。カメラが離れていることで、３Ｄ画像を再現することが可能であり、アレイからの聴取者の頭部の距離も計算することができる。次いで、これを、ビームを聴取者の耳の位置により正確に集中させるために使用することができる。

（空間パラメータの特定）
本発明の第３の態様においては、ＤＳｏＰが視覚表示装置と組み合わせて使用され、いくつかのチャネルのサウンドビームのうちの１つ以上についてのチャネル設定（例えば、ビームの方向、ビームの焦点距離、チャネルの周波数応答）が、視覚表示装置を駆動するビデオ信号の空間パラメータに応じてリアルタイム（または、ほぼリアルタイム）で動的に変更される。空間パラメータとは、ビデオ信号に備わる情報であって、（ビデオ信号の結果としてビデオ表示装置によって描かれる現実または仮想のシーンの）空間において１つ以上の物体がそのシーンにおいて占めるフレームごとの位置に関する情報を意味する。

あくまでも検討の目的のために、シーンにおける物体の位置を記述するためのデカルト座標系の座標軸一式を、以下のように定義する。すなわち、Ｘ軸は、表示画面上で見たときの左から右が正であり、Ｙ軸は、表示画面上で見たときの下から上が正であり、Ｚ軸は、画面から垂直に出て観察者に向かう方向が正である。例えば、或るシーンにおいて支配的な物体が、おおむねカメラの観察位置に向かって走行する車両である場合、Ｚ軸における位置が正に増加し、そのような車両がわずかに左から右かつ上から下に移動している場合には、Ｘ軸における位置が正に増加し、Ｙ軸における位置が減少（負）する。

本発明のこの第３の態様においては、ＤＳｏＰのチャネルのうちの１つ以上によって放射されるサウンドが、視覚表示装置上への視覚シーンの表示の経過の最中に、そのシーンに描かれる１つ以上の物体のＸおよび／またはＹおよび／またはＺ軸における位置の変化に応じてリアルタイム（または、ほぼリアルタイム）かつ相関した様相で動的に変更されるビーム角度および／または焦点距離および／またはゲインおよび／またはチャネル周波数応答（または、他の「チャネル設定」）を有することができる。このやり方で、前記物体の移動（および、動的な位置）についての観察者（＝聴取者）の知覚が、観察者（＝聴取者）がＤｓｏＰ／視覚表示装置の出力（サウンドおよび画像）の組み合わせから受け取る知覚の相関した変化によって強調される。ここで言うＤＳｏＰが、本発明の目的において、全体としてのＤＳｏＰの音響ビーム放射パターンを変更するためにトランスデューサのうちの２つ以上への（少なくとも）信号の遅延をリアルタイムで変更することが可能である（３つ以上の）音響トランスデューサからなるあらゆる種類のアレイを意味し、必ずしもＤＳｏＰのいずれかのビームが壁または他の物体によってさらに反射させられる必要はない（ただし、そのようにすることで、サラウンドサウンドの生成におけるＤｓｏＰの通常の使用のように、さらなる有益な音響効果を生み出すことが可能である）ことを、理解すべきである。

図４において、サウンドプロジェクタ１が、オーディオ入力ポート１６においてオーディオ入力信号２６を受け取り、ビーム制御入力１５において供給源１１からのサウンドビーム制御パラメータ情報１７を受け取るが、供給源１１は、ビデオ入力ポート１２に加えられるビデオ入力信号２１からリアルタイムで出力を導出する。視覚表示装置１０が、同じビデオ入力信号２１をビデオ入力ポート２２において受け取る。サウンドプロジェクタ１の前方のどこかに位置する聴取者３が、おそらくは反射面３０で反射させられたサウンドビーム４０を聞く。サウンドビームは、位置４１に集中させられ、サウンドプロジェクタの軸から角度４２に向けられている。位置４１および角度４７は、サウンドビーム制御パラメータ情報１７を適用することによってビデオ番組の構成要素に応じてリアルタイムで変更される。

視覚表示装置は、標準的な２Ｄの表示装置であってよく、より先進の３Ｄ表示装置であってもよい。どちらの場合も、ビデオ信号は、２Ｄ信号または強調された３Ｄ信号（この場合、２Ｄの表示装置は第３（Ｚ）の次元を明示的に表示することができないが）であってよい。２Ｄおよび３Ｄ空間パラメータが、２Ｄおよび３Ｄの両方のビデオ信号に固有に備わっていることを、理解することが重要である（そうでないならば、２Ｄの表示装置を目にする観察者が奥行きの感覚をまったく持たないことになるが、断じてそのようではない）。人間である観察者は、通常は、物体−画像の（相対）サイズ、物体の噛み合わせ、かすみ、および文脈などといった多数の視覚的刺激のほとんどは無意識での分析、ならびにおそらくは付随のサウンドトラックによってもたらされる非視覚的な刺激によって、２Ｄ画像においても奥行きを推量する。後者として、ドップラー効果（サウンドを発しながらサウンドの録音に用いられるマイクロホンに向かって移動し、あるいはそのようなマイクロホンから遠ざかるように移動するシーン内の物体が、ピッチの変化を被り、通常は近付いてくる物体についてピッチが相対的に高くなる）、音量の変化（サウンドを発しながらマイクロホンに向かって移動し、あるいはマイクロホンから遠ざかるように移動する物体が、振幅の変化を被り、通常は距離が増すにつれてレベルが全体として低下する）、およびサウンドの周波数応答の変化（サウンドを発しながらマイクロホンに向かって移動し、あるいはマイクロホンから遠ざかるように移動する物体が、周波数応答の変化を被り、通常は距離が増すにつれて高周波成分が相対的に少なくなる）が挙げられる。当然ながら、３Ｄの視覚表示装置用の３Ｄ信号には、追加の明示的な３Ｄ情報が（例えば、左右の画像のビデオ信号または少なくともＬ−Ｒの信号の差の形態で）存在し、観察者は、視覚的な奥行きの感覚を達成するために、そのような３Ｄの表示装置においては多大な視覚的刺激の分析を実行する必要がない。しかしながら、そのような分析は依然として観察者によって実行され、それが左右の画像信号の差にエンコードされた立体映像の奥行き情報に良好に相関している限りにおいて、より一層の奥行きの感覚が生み出される。

本発明のこの態様において、オーディオ信号および／またはビデオ信号（２Ｄまたは３Ｄのいずれかのビデオ信号）を分析し、これらの信号から、リアルタイムで（すなわち、例えば数秒ではなくミリ秒または１秒の何分の１かの時間的尺度において、シーンの変化の動きと比べて小さな遅延で）、シーン内の１つ以上の物体（特に、音声トラック上の一部のサウンドの原因となっているであろうシーン内の物体）のＸ、Ｙ、Ｚ座標のうちの一部または全てなど、観察者がサウンド再生システムにおける聴取および／または視覚表示装置におけるシーンの観察から抽出すると考えられる空間情報と同じ種類の何らかの空間情報を抽出するための空間パラメータプロセッサ手段を備えることができる。視覚表示装置が設けられる場合には、このようにして抽出されるパラメータが、観察者によって抽出される空間情報とほぼ同じ種類および大きさであることが有用であり、そうでないならば、これらの抽出された空間パラメータにもとづいて行われるＤＳｏＰのビームのパラメータの変更が、観察者自身の視覚による体験と良好に相関せず、観察／聴取体験の増強よりもむしろ不快が引き起こされる（当然ながら、このような不快を引き起こす効果が意図される場合は除く）。ＤＳｏＰだけが設けられる（すなわち、視覚表示装置が存在しない）場合には、チャネルのビームの種々のパラメータの変更を、より自由に行うことができる。なぜならば、それによってどのような空間的感覚が聴取者に生じても、視覚的に知覚される視覚の感覚と衝突することが、この場合には何も存在しないがゆえにあり得ないからである。したがって、この後者の場合には、より極端な処理またはあまり「正確」でない処理を、空間的な（サウンドの）感覚を増強するために加えることができ、そのようにしても聴取者に不快を生じさせる可能性は低い。

例えば、そのような空間パラメータプロセッサを、単純には、多少なりともリアルタイムで人物の顔を認識および追跡し、顔を囲む四角形をカメラの視覚表示装置上に表示することができるビデオカメラ（家庭用の高解像度（ＨＤ）ビデオカメラなど）においてすでに一般的に見つけることができる本明細書において上述した形式のプロセッサから得ることができる。そのような囲みの四角形のサイズが、相対的な顔のＺ距離についての第１の推定をもたらし（大部分の成人の顔の絶対的な大きさは、きわめて類似している）、四角形の重心が、シーンにおける顔のＸ、Ｙ中心座標の良好な推定をもたらす。したがって、追跡される各々の顔について、そのようなパラメータの変化を使用して、その顔に関するサウンドを生成するＤＳｏＰのビームのビームパラメータを変更することによって、物体の移動について増強された感覚をもたらすことができる。この例は、既存の技術水準の市販の低コストの家庭向けの製品でさえも、本発明のようなシステムを駆動するために必要な能力を或る程度は有していることを明らかにするために挙げられているが、当然ながら、この目的のために専用に設計されたプロセッサであれば、最も顕著には支配的な移動物体および特定のサウンドを生じる可能性が最も高い物体の判断（この作業を、前、左、右、左後ろ、右後ろ、などのチャネルの分析から割り出される音場内の空間的変化を、視覚的画像において検出される空間的画像との相関と併せて相関させることによって、向上させることができる）の分野において、既存のカメラの「人物／顔認識機能」よりも良好な仕事を行うことができる。

本発明のさらなる態様においては、ＤｓｏＰが、これに限られるわけではないが、視覚表示装置との組み合わせにおいて最も有用に使用され、チャネルのいくつかのサウンドビームのうちの１つ以上についてのチャネル設定（ビームの方向、焦点距離、チャネルのゲイン、チャネルの周波数応答のうちの１つ以上を含む）が、オーディオシステムおよび／または視覚表示装置を駆動するオーディオおよび／またはビデオ信号に埋め込まれ、あるいはそれらと一緒にもたらされるメタデータに従って変更される。この場合、そのようなメタデータが、任意の視覚的信号によっても描くことができるオーディオに関する（視覚的）シーンの空間的態様を明示的に表現し、本質的にオーディオおよび／またはビデオ信号から空間パラメータを抽出するためのプロセッサ手段（例えば、ＳＰＰ）を明示的に設ける必要はない。それでもなお、メタデータそのものの或る程度の処理が、音場の変化について元の視覚的シーンとの所望の相関を生成し、したがって供給されたビデオ信号との所望の相関を生成すべく、ＤＳｏＰのいくつかのビームに直接適用することができる制御パラメータを生成するために、依然として必要である可能性がある。

そのようなメタデータを放送のラジオまたはテレビ信号に埋め込むための普遍的な規格は存在せず、今のところはＣＤ／ＤＶＤ／ブルーレイディスクの記録においても同様であるが、適切な番組構成要素のすぐに利用することができる源を、コンピュータゲームに見つけることができる。コンピュータゲームにおいては、コンピュータプログラムが物体そのものがどこに位置するかを常に「承知」しており（すなわち、コンピュータプログラムが全てのそのような「仮想の」物体を生成している）、したがって既存のゲームに追加すべきそのようなメタデータの追加の生成が比較的容易である。

埋め込みのメタデータを有するシステムを視覚表示装置を存在させずに使用し、再現される音場だけで聴取者にさらなる２Ｄおよび／または３Ｄの空間手掛かりが与えられるよう、（視覚信号、オーディオ信号、およびメタデータのいずれかまたは全てから）抽出される空間情報パラメータに従ってＤＳｏＰのビームのパラメータを変更することよって、促進された体験を生成することも可能である。さらに、そのようなシステムを、空間パラメータプロセッサが多チャネルのサウンド信号のみの分析だけ、そのような分析とメタデータ（サウンド信号の一部として含まれ、あるいはサウンド信号とともにもたらされる）との組み合わせ、あるいはそのようなメタデータの使用だけから有用な空間パラメータを導出できる場合には、たとえビデオ信号が存在しなくても使用することが好都合かもしれない。そのようなシステムは、ラジオ番組ならびに録音済みの音楽および他のオーディオ構成要素について、ユーザ体験を大きく向上させることができる。

本発明のこれらの態様において、シーンの空間パラメータ（シーン内に描かれる物体およびそれらの変化に関する空間パラメータ）が空間パラメータプロセッサを設けることによって入手可能であり、サウンドおよび／または視覚チャネル情報に関するメタデータからより直接的に入手可能であり、あるいはその両方で入手可能である場合に、改善された空間視聴および／またはリスニング体験を提供するために、ＤＳｏＰの種々のビームチャネルパラメータをどのように変更するかを判断する必要がある。

チャネルのサウンドビームの放射の角度（ＤＳｏＰの前面の法線に対するビームの上下の角度（以下では、アルティチュード）および左右の角度（以下では、アジマス））を、そのチャネルの聴取者による知覚位置を直接変更するために、シーンの空間パラメータ（ＳＳＰ）に応じて変更することができる。これは、主として１回以上の部屋の表面での跳ね返り（反射）を介して聴取者に達するあらゆるチャネルのビームに当てはまり、典型的には、例えばサラウンドサウンドの再生のためのＤＳｏＰの使用の今や一般的な様相における左および右前チャネル、左および右後ろチャネル、高さチャネル、天井チャネル、などに当てはまる。これらの場合の各々について、チャネルの知覚される音源の角座標（すなわち、聴取者を中心とする音源の座標の角度）と放射されるときのチャネルのビームのアルティチュード／アジマス（ａｌｔ／ａｚ）との間に、直接的な関係が存在する。

例えば、左前のビームについて、アジマス角度を増やす（ＤＳｏＰの前面に近付くようにビームを曲げる）と、左の壁での跳ね返りの位置が部屋の前方に近付き、結果として聴取者によって感じられるチャネルの角度位置がさらに部屋の前方に向かって移動し、音源の位置がサウンドプロジェクタの中心により近くなるように知覚される（│Ｘ│が減少する）。しかしながら、この効果が、壁の反射が或る程度散乱性である範囲において、より大きな角度範囲にわたって生じることに注意すべきである。鏡面反射だけが生じる場合（完璧に平滑な反射点）は、知覚される音源の移動は、点音源ではなく、壁で反射させられて聴取者によって知覚される音像が有限の広がりであるサウンドプロジェクタの有限の幅によって許される範囲においてのみ生じることができる。このように、移動の有用性の範囲の柔軟性が、より幅広いＤＳｏＰを用意することによって高められる。

同様に、放射される左前のビームのアルティチュードを増やすと、左の壁における跳ね返りの点が上方へ移動し、反射が散乱であって、ＤＳｏＰが鉛直方向の広がりを有する限りにおいて、知覚されるサウンドの位置（やはり壁で反射されるＤＳｏＰの音像）が上方に移動する。

チャネルのビームの焦点距離を、通常の状況においては知覚される音源の距離に相関している聴取者によって知覚されるビームの集束角度を変更するために調節することができる。しかしながら、聴取者の距離がＤｓｏＰの幅（および／または２ＤのＤｓｏＰの場合の高さ）よりも著しく大きい場合、達成できる集束角度の範囲は小さい。近くの聴取者によって直接知覚される有限の音源（例えば、自動車）は、聴取者において比較的広い角度を定める。しかしながら、自動車の全範囲からの放射が同位相（位相同期）でも、近似の平面波が聴取者に達するにすぎないと考えられる。より小さな音源（または、エンジンまたは排気などの支配的な音源）においては、放射される波動場が、音源に中心を有する一式の同心円に近付き、リスニング位置における曲率半径が、音源が聴取者に近付くにつれて小さくなる。したがって、ＤＳｏＰにおいて、聴取者の位置におけるビームの強度を一定に保ちながらサウンドが聴取者により近いように思わせるためには、聴取者における曲率半径を最小にするために、ビームの焦点をＤｓｏＰに引き寄せるべきであり、この状況は、焦点距離がＤｓｏＰから聴取者までのビームの経路長の約半分である場合に達成され、このとき、サウンドが受け取られる波動場の曲率の中心である焦点の位置から生じているように知覚される。聴取者の位置に直接集中させられる場合、サウンドは、今や曲率の中心に位置する聴取者に集束しながら到着する。

チャネルのゲインを、音源までの距離の感覚をもたらすために、音源までの距離に反比例して調節することができる。これは、一定のレベルの音源が近付くにつれてより大きく聞こえるときに明らかに当てはまる。

最後に、チャネルの周波数応答を、距離の感覚をもたらすために変更することができる。なぜならば、高い周波数のサウンドはより容易に吸収、反射、および回折（より一般的には、散乱）させられるため、音源から遠くなるにつれてスペクトルのうちのより高い周波数の成分が相対的により大きく減少するからである。したがって、音源の距離を強調するために、例えば距離に比例した上側の切り落としを有するフィルタを設けることができる。

聴取者がＤｓｏＰに近い（例えば、距離がサウンドプロジェクタの幅と同等である）状況においては、トランスデューサアレイが聴取者においてかなりの角度を、サウンドプロジェクタが１Ｄまたは２Ｄのいずれのアレイであるかに応じて１つまたは２つの方向に定める。例えばＤｓｏＰが典型的にはほぼ表示画面の平面に取り付けられ、画面に一体化されることすらあるパーソナルコンピュータ（ＰＣ）の用途や、例えばＤｓｏＰをフロントガラスの上方またはダッシュボード内に取り付けることができる自動車の用途においてより典型的に見られるこの近接リスニングの状況において、３Ｄサウンドのための動作の他の態様が可能である。これらの状況において、聴取者は、たいていは、その長さおよび近さゆえに聴取者においてかなりの角度を定めるＤｓｏＰの方向をおおむね向いている。

本発明のさらなる態様においては、ただ１つのサウンドビームがトランスデューサの平面の後方に集中（すなわち、負の焦点距離または仮想の焦点）させられ、選択された角度に向けられる場合に、聴取者がそのＸ（すなわち、左から右）（２ＤのＤｓｏＰの場合にはＹ、すなわち下から上も）およびＺ（ユーザからの見かけの距離）における位置を知覚的に特定することができ、これらの位置座標を単にビームの角度およびビームの焦点距離を変えることによってリアルタイムで変化させることができる。仮想の焦点位置の仮想の音源が、仮想の音源に中心を有するほぼ円筒波または球面波をＤｓｏＰに放射させ、このようにして生成される音波の構造が、聴取者にとって聴き取られるサウンドの音源の位置が仮想の焦点位置にあるものと聴取者に知覚させる。このようにして、それぞれが相異なるチャネル番組構成要素ならびにビームの操向角度および焦点距離を有している複数の同時のビームが、複数の異なる（仮想の）音源をユーザに対して複数の異なる位置に配置することができる（所望であれば、これらの全てを時間変化させることができる）。ＤｓｏＰのこの能力は、聴取者に高度に設定可能および制御可能な３Ｄサウンド空間を、単に従来からのサラウンドサウンドスピーカ、特に単純なステレオスピーカでは不可能なやり方で提供できる。

図５が、聴取者３の近くに位置し、仮想の焦点２を生じさせるようにサウンドビームを案内および集中させている音響トランスデューサ５のアレイを備えるサウンドプロジェクタ１を示している。結果として、サウンドプロジェクタ１が、聴取者３に自身の右側かつサウンドプロジェクタ１の背後の地点２から由来しているように知覚されるほぼ円筒形（または、球形）の波動４を放射している。

本発明のこの態様を、上述のとおりのＳＰＰまたは上述のとおりのメタデータと組み合わせて使用することができ、いずれの場合も、そのようにすることによってもたらされるサウンドの位置パラメータを、すでに述べたように近接リスニング位置に生成される複数の音源のうちの１つ以上のビームパラメータを制御するために使用することができる。

同じ近接リスニングの構造を、投影画面の実質的な幅をカバーするＤｓｏＰが設けられる場合（２Ｄにおいては、ＤｓｏＰが画面の高さの実質的な部分もカバーする場合）に、シネマ（映画館）においても或る程度は達成することができる。近接リスニングは、前方の数列に座った映画館の観客について可能であると考えられる（良好に機能すると考えられる列の数は、画面の全幅およびＤｓｏＰの幅によって決まる）。しかしながら、ＤｓｏＰアレイが画面の幅を超えて続き、おそらくは観客が着席する空間の側面のうちのいくつかまたは全てについても映画館の側壁に沿って画面から続くならば、近接リスニングの３Ｄ効果を、原理的には映画館の所望とおりの数の座席列に広げることができる。ＤｓｏＰのトランスデューサアレイが全て単一の平面に位置する必要があるという基本的な要件は存在しない。３Ｄ映画が一般的になるにつれて、長く（幅広く）かつおそらくは「包み込む」ようなＤｓｏＰを追加することで、３Ｄ映画の鑑賞の体験に真の３Ｄサウンドをもたらすことができると考えられる。

さらに、映画用の上述の「包み込む」ようなＤｓｏＰの構成を、車室が車両の乗員に完全な３Ｄサラウンドを提供するためにそのような装置にとって理想的な空間をもたらす自動車の用途においても好都合に設けることができることに、注意すべきである。おそらくは、画面の平面のＤｓｏＰ設備の３Ｄサウンド角度の能力を広げるために、ＰＣにおけるＤｓｏＰの側方への延長も可能である。

Claims (31)

1. オーディオシステムであって、
   オーディオ信号を放射する複数のスピーカと、
   頭部追跡システムとを備えており、
   前記頭部追跡システムが、聴取者の空間における頭部の位置を判断するように構成され、
   判断された聴取者の頭部の位置が、オーディオ信号を変更するために使用される、オーディオシステム。
2. 前記頭部追跡システムが、ソフトウェアアルゴリズムに組み合わせられた１つ以上のカメラを備えている、請求項１に記載のオーディオシステム。
3. ２つ以上の別々の指向性サウンドビームが、前記複数のスピーカによって放射される、請求項１または２に記載のオーディオシステム。
4. ビデオカメラが、頭部の位置を検出するために使用され、それに応じてサウンドビームが指向される、請求項３に記載のオーディオシステム。
5. １人以上の聴取者の頭部の位置が、前記ビデオカメラによってリアルタイムで追跡され、それに応じてサウンドビームが指向される、請求項４に記載のオーディオシステム。
6. １つのサウンドビームが、聴取者の左耳に指向され、もう１つのサウンドビームが、聴取者の右耳に指向される、請求項３、４または５のいずれか一項に記載のオーディオシステム。
7. 前記左に指向されたビームが、前記スピーカからの聴取者の左耳の距離に相当する距離に集中させられ、前記右に指向されたビームが、前記スピーカからの聴取者の右耳の距離に相当する距離に集中させられる、請求項６に記載のオーディオシステム。
8. サウンドビームが、聴取者の２つの耳のそれぞれの近くに集中させられ、該２つのサウンドビームが、ステレオサウンドを再生するように構成され、あるいは頭部伝達関数処理との組み合わせにおいてサラウンドサウンドを再生するように構成されている、請求項３、４または５のいずれか一項に記載のオーディオシステム。
9. 頭部伝達関数および／または心理音響のアルゴリズムが、仮想のサラウンドサウンド体験をもたらすために使用され、これらのアルゴリズムのパラメータが、測定されたユーザの頭部の位置にもとづいて変更される、請求項１から８のいずれか一項に記載のオーディオシステム。
10. 頭部伝達関数が、パラメータを含んでおり、前記オーディオシステムが、リアルタイムで頭部伝達関数のパラメータを変更するように構成されている、請求項９に記載のオーディオシステム。
11. スピーカのアレイが、異なる該アレイに対する角度にて投射される複数のサウンドビームを生成するように干渉するオーディオ信号とともに使用され、ビームの角度が、１人以上のユーザが移動してもビームを耳に向け続けることができるよう、ビームを１人以上のユーザの耳に向けるように前記頭部追跡システムを使用して制御される、請求項１から１０のいずれか一項に記載のオーディオシステム。
12. オーディオシステムであって、
    オーディオ信号を放射する複数のスピーカを備えており、
    ２つ以上の別々の指向性サウンドビームが、前記複数のスピーカによって放射され、
    １つのサウンドビームが、聴取者の左耳に集中させられるように構成され、もう１つのサウンドビームが、聴取者の右耳に集中させられるように構成されている、オーディオシステム。
13. 前記複数のスピーカが、アレイにて配置されている、請求項１から１２のいずれか一項に記載のオーディオシステム。
14. ステレオまたはサラウンドサウンドが、１人以上の聴取者にもたらされる、請求項１から１３のいずれか一項に記載のオーディオシステム。
15. さらなる聴取者に向けられたさらなるビームを有する、請求項３から８および１２から１４のいずれか一項に記載のオーディオシステム。
16. 前記２つのサウンドビームの焦点位置が、聴取者の頭部の移動に応じて移動させられる、請求項７、８、および１２から１５のいずれか一項に記載のオーディオシステム。
17. クロストークキャンセレーションが適用される、請求項１から１６のいずれか一項に記載のオーディオシステム。
18. 各々のビームが、３Ｄサウンド番組の異なる構成要素を運ぶ、請求項１から１７のいずれか一項に記載のオーディオシステム。
19. 細いサウンドビームを異なる方向に向けることができる複数のスピーカからなるアレイと、システムの１人以上のユーザの空間内での頭部の位置を判断すべく１つ以上のカメラをソフトウェアアルゴリズムに組み合わせて備えている頭部追跡システムとを備えており、前記１人以上のユーザの頭部の位置が、別々のオーディオビームが別々のユーザにわずかなビーム間のクロストークにて向けられるように前記スピーカアレイの各々のスピーカに送られるオーディオ信号を変更するために使用され、前記ビームの方向が、測定された前記ユーザの位置にもとづいて変更される、オーディオシステム。
20. 細いサウンドビームを異なる方向に向けることができる複数のスピーカからなるアレイと、壁などの部屋の造作を判断すべく１つ以上のカメラをソフトウェアアルゴリズムに組み合わせて備えているカメラ認識システムとを備えており、前記部屋の形状の判断が、１人以上のユーザに真のサラウンドサウンド体験をもたらためにビームを部屋の利用可能な壁または造作において適切に反射させることができるように種々のオーディオビームの設定、典型的には各々のビームの方向および焦点を決定するために使用される、オーディオシステム。
21. 複数のサウンドビームを生成することができ、ビーム角度、ビームの焦点距離、ゲイン、および周波数応答のビームパラメータのうちの１つ以上を、再生される番組構成要素内の音源の２Ｄおよび３Ｄ位置ならびに移動に応じてリアルタイムで変更するように構成された制御システムを備えている、サウンドプロジェクタ。
22. 視覚表示装置に組み合わせられ、いくつかのチャネルサウンドビームのうちの１つ以上についてのサウンドプロジェクタのチャネルビーム設定が、前記視覚表示装置を駆動するビデオ信号の空間パラメータに応じてリアルタイムで動的に変更される、請求項２１に記載のサウンドプロジェクタ。
23. 前記空間パラメータが、ビデオ入力信号を分析し、リアルタイムでビデオ信号から空間パラメータを計算する第１の空間パラメータプロセッサ手段によって導出される、請求項２１または２２に記載のサウンドプロジェクタ。
24. 前記空間パラメータが、オーディオ入力信号を分析し、リアルタイムでオーディオ信号から空間パラメータを計算する第２の空間パラメータプロセッサ手段によって導出される、請求項２１から２３のいずれか一項に記載のサウンドプロジェクタ。
25. 前記空間パラメータが、ビデオおよびオーディオ入力信号の両方を分析し、これらの信号の両方の組み合わせにもとづいて空間パラメータを計算する空間パラメータプロセッサ手段によって導出される、請求項２１または２２に記載のサウンドプロジェクタ。
26. 前記チャネルビームパラメータが、ビデオおよび／またはオーディオ入力信号と一緒にもたらされるメタデータに従ってリアルタイムで変更される請求項２１から２５のいずれか一項に記載のサウンドプロジェクタ。
27. １つ以上のビームのビームパラメータが、近いリスニング位置に最適化される、請求項２１から２６のいずれか一項に記載のサウンドプロジェクタ。
28. 前記リスニング位置の前記サウンドプロジェクタからの距離が、前記サウンドプロジェクタの幅の大きさと同程度である、請求項２７に記載のサウンドプロジェクタ。
29. 前記サウンドプロジェクタが、前記リスニング位置において２０度よりも大きな角度を定める、請求項２７に記載のサウンドプロジェクタ。
30. ビームの焦点位置を、番組構成要素内の音源のｚ位置を表現するために、前記サウンドプロジェクタの平面の前方または背後に位置させることができる、請求項２１から２９のいずれか一項に記載のサウンドプロジェクタ。
31. ビデオ表示装置、テレビ受像機、パーソナルコンピュータ、またはゲーム機とともに使用される、請求項１から３０のいずれか一項に記載のサウンドプロジェクタまたは装置。

Images