JP2016105641A - カメラによるオーディオ空間化 - Google Patents

Abstract

【課題】複数のスピーカ出力を電子的に変更し、立体音響を再生する。【解決手段】カメラの入力は、コンピュータにおいて、オーディオの空間化をサポートし、既にサポートしているアプリケーションのオーディオ空間化を向上させるために利用される。コンピュータシステムは、流されるオーディオパケットの相対振幅又は相対レイテンシを変更することで、オーディオの空間化をサポートする。たとえば音響をユーザの左側に方向付けようとするとき、ユーザの左耳に位置しているヘッドセットスピーカに形成されるオーディオチャネルは、他のオーディオチャネルと比較して、いくらか短いレイテンシと、大きな振幅とを有する。【選択図】図１

Description

本発明は、一般的に、立体音響効果を電子的に生じさせる方法に関する。

多くの種類のオーディオデバイスが、複数のスピーカのアレイから、スピーカの出力を電子的に変更したり、その他の技術を用いたりすることで、立体音響を再生しようと試みている。一般的には、人々は、異なる方向からの音響を聞くことを好ましいと思う。本明細書で利用する「立体音響」とは、２を超える数の方向からの音響のこととする。

以下の図面を参照して実施形態をいくつか説明する。
三次元的に音響を受けるユーザの斜視図である。 本発明の一実施形態のハードウェア記述である。 本発明の一実施形態のフローチャートである。 一実施形態におけるシステム記述である。 一実施形態の正面立面図である。

オーディオ空間化は、ユーザが、オーディオを三次元空間で受けることができる機能のことである。これは、ユーザが、音響の方向および距離に関するオーディオ情報を検知することを意味している。

パーソナルコンピュータ上で再生されるオーディオストリームは、生来のステレオか、又は、殆どのパーソナルコンピュータ又はパーソナルコンピュータに接続されているヘッドフォンセットに埋め込まれている２つのスピーカで再生される前に、ダウンミックスされステレオになったマルチチャネルのオーディオシステムであるかのいずれかである。ステレオのオーディオストリームは、生来は、一部のサラウンド音響システムに含まれているオーディオ情報の量を含んでいない。

しかし、特殊なオーディオ空間化技術をこのステレオのオーディオストリームに利用することで、欠けていた三次元の音響コンテンツの一部が得られる。人間の聴覚系は、幾つかの手がかり（cue）（時間の差、振幅の差、スペクトル情報、タイミング分析、および相関分析がほんの一例である）を利用して、音源のローカライゼーション（localization）を行う。例えば、視聴者の右側からの音響は、左耳より少し前に右耳に、しかも少し大きな強度で到達する。さらに、遠い場所からの音響は、振幅が低く、高周波コンテンツがなくなっている場合が多い。このタイプの手がかりを人間の聴覚系が利用すると、空間における音響のローカライゼーションを行うことができる。これは、人間の脳が、右目および左目から得た画像の間の差を分析することで、視覚的な三次元情報を抽出することに似ている。

オーディオ空間化技術は、オーディオストリームを後処理するが、オーディオストリームを生成する音響システムに関するユーザの空間における位置を考慮はしない。たとえばユーザがヘッドフォンを装着している場合などに、スピーカのトランスデューサは、ユーザの頭部の動きに応じて動く。したがって、特定の方向および距離にあるはずの音響も、ユーザの頭部の動きに応じて動くことになる。

一部の実施形態では、プロセッサベースのデバイスにおけるカメラの入力を利用して、オーディオコンテンツの空間化を向上させることもできる。様々なパーソナルコンピュータデバイスを利用することができる（一例を挙げると、ノートブック、タブレット、スマートフォン、ひいてはビデオカメラ自身も利用可能である）。

一部の実施形態では、エンベデッドの常時ＯＮのカメラ（Embedded always - on cameras）を利用することもできる。モバイルプラットフォーム上の既存のエンベデッドカメラは、プラットフォームに対するユーザの現在位置情報をプラットフォームに提供することで、ユーザの三次元オーディオ体験を向上させることができる。

一部の実施形態では、ユーザは、ヘッドフォンから流れるオーディオストリームを聞くことができる。オーディオ空間化技術を、パーソナルコンピュータに埋め込まれている従来のスピーカから流れるオーディオストリームに適用することもできるが、その影響は、ヘッドフォンを利用することで、よりクリアに感じられる。

オーディオストリームは、いつでもパーソナルコンピュータシステム上でアクティブであってよい。これらストリームには、ビデオ再生アプリケーション等のアプリケーションが生成するシステム音響又はオーディオコンテンツが含まれる。オーディオストリームは、５．１又は７．１オーディオの場合、２つのステレオオーディオ又は２を超える数のチャネルからなることがある。２を超える数のチャネルの場合、オーディオチャネルは、２つのチャネルにダウンミックスされることで、２つのヘッドフォンに流すことができるようになる。ステレオシステムがパーソナルコンピュータに接続される場合には、このようなダウンミックスは不要である。この場合には、様々なスピーカを様々な異なるストリームで駆動することができる。

通常、パーソナルコンピュータシステムが生成する音響、および、殆どのアプリケーションが生成するオーディオストリームは、空間系エフェクトを含まないので、パーソナルコンピュータシステムに対するユーザの相対位置は関係しない。ユーザがヘッドフォンを利用しており、システム音響が生成された場合、この音響は、ユーザの頭部がどの方向に向けられていようとも、常に左耳又は右耳の方向から来ることになる。他方で、一部のアプリケーションにおいては、オーディオの空間化をサポートしているが、ユーザの位置がコンピュータの前方の三次元空間のデフォルト位置にあると想定していたり、ユーザが常にコンピュータスクリーンの方向を向いていることを想定したりしているものがある。このデフォルトの位置および向きは、図１のＸ、Ｙ、Ｚ軸の原点で表され、ユーザの位置は、ユーザの目の間の点の位置として定義されている。

カメラの入力は、コンピュータにおいて、オーディオの空間化をサポートしたり、既にサポートしているアプリケーションのオーディオ空間化を向上させたりするために利用される。コンピュータシステムは、たとえば、流されるオーディオパケットの相対振幅又は相対的レイテンシを変更することで、オーディオの空間化をサポートすることができる。たとえば音響をユーザの左側に方向付けようとするとき、ユーザの左耳に位置しているヘッドセットスピーカに形成されるオーディオチャネルは、他のオーディオチャネルと比較して、いくらか短いレイテンシと、大きな振幅とを有するだろう。しかし、パーソナルコンピュータは、複数の他の技術を利用することでもオーディオのローカライゼーション効果を発揮することができてよい。

一般的には、ある人の頭部の位置および向きは、この人の空間における音響の認知に対して影響する。位置又は向きは、音響の方向および距離の認知に影響を与える。このパラダイムをパーソナルコンピュータデバイスのユーザに転用すると、ユーザの頭部の位置および向きは、パーソナルコンピュータが生成する音響のユーザの認知に影響を与える。たとえば図１に示すコンピュータシステムが、ユーザが自身の頭部を右に向けているときに音響を生成すると、システム音響が空間ローカライゼーションされた場合には、これは、ユーザの左側からのものであるかのように認知されるはずである。

音響を空間化することができるためには、コンピュータは、ユーザの現在の位置および向きを認識しておく必要があるだろう。図１のＸＹＺ軸は、ユーザのデフォルトの位置を示している。図１のＸ' Ｙ' Ｚ'軸は、ユーザが頭部を（ｘ_１、ｙ_１、ｚ_１）に動かし、ユーザが頭部をａ_１およびｂ_１の角度だけ水平および垂直方向に頭部を回転させた場合に利用される、空間における新たなユーザ位置および向きを示している。ベクトル（ｘ_１、ｙ_１、ｚ_１、ａ_１、ｂ_１）は、空間における新たなユーザ位置および向きを示すために利用することができる。そしてコンピュータは、エンベデッドカメラおよびビデオ分析を利用して位置および向きを判断することで、新たなユーザ位置および向きを特定することができる。

たとえば、ユーザの目の間の点の位置がビデオ分析により判断されると、その点のコンピュータからの距離が容易に導き出される。この距離に基づいて、音響の振幅を、各耳の向きに対して調節することができる。

コンピュータが、空間化をサポートしていないオーディオストリームを流す場合には、カメラの入力は、欠けている三次元情報を提供するために利用することができる。コンピュータの前の空間におけるユーザの位置および向きを、カメラの入力から得ることができる。たとえば、ビデオ再生アプリケーションが、スクリーン「中」の真ん前の一定の距離離れたところから生じた爆発の音響を流そうとしているが、ユーザの位置がコンピュータの左側に少しずれていた場合には、ユーザはこの爆発を少し右側にずれた方向からのものであると認知するだろう。これは、ヘッドフォンに流すオーディオストリームの振幅およびレイテンシを操作することにより行われる。

特定のアプリケーションが空間化されたオーディオを流すとき、これも、同様の方法で、コンピュータのエンベデッドカメラからの情報を利用して後処理することができる。たとえば、アプリケーションが、ユーザの左側に音響を生じさせることを意図しているが、実際のユーザは頭部を右にひねっている場合、この音響は実際には、ユーザの頭部の後側からのように受け取られるようになる。したがってコンピュータは、ユーザの現在の位置および向きの情報を利用して、オーディオストリームを後処理して、音響があたかもユーザの頭部の後ろから来るように生成する。上述した例は、ユーザの向きの極端な変更の例である。多くの実際の生活では、ユーザは、図１に示すデフォルト位置より少し位置又は角度がずれている場合のほうが多く、オーディオストリームに行われる空間化処理も、このような小さい又は些細な位置および向きの変更を反映するようなものにする必要があるだろう。

オーディオデコードおよび後処理は、実際には、プラットフォーム上の複数の異なる位置で実行されてよい。ソフトウェア（たとえばアプリケーション）で行われてもよい。ホスト処理ユニット又はチップセットに埋め込まれているオーディオデジタル信号プロセッサ（ＤＳＰ）により行うことができる。さらに、中央処理装置内で別個の又は統合されたグラフィックエンジンのいずれかを含むグラフィックエンジン上で行うこともできる。統合されたＤＳＰでオーディオ処理を行う例を説明するが、ここで説明する概念は、全てのケースに応用可能である。

図２に示すオーディオデジタル信号プロセッサ１２は、オーディオコーデック１６に直接的又は間接的に接続されていてよく、オーディオコーデック１６は、パーソナルコンピュータのオーディオ出力をヘッドフォン又はスピーカ１８へ送出する。アプリケーション又はオペレーティングシステムは視聴（audio/visual）ストリームを生成するが、これらはさらなる処理のためにオーディオデジタル信号プロセッサ１２に渡され、ここから、オーディオコーデック１６およびヘッドセット又はスピーカ１８へと渡される。

オーディオ空間系エフェクトを得るために、オーディオＤＳＰドライバは、エンベデッドカメラドライバと通信して、ここからユーザの現在の位置および頭部の向きに関する情報を得る。この情報を利用して、ＤＳＰ１２は、生成されているオーディオストリームに対して適切な後処理を行い、所望の空間系エフェクトを与える。たとえばＤＳＰが２つのダウンミックスされる可能性のあるオーディオストリームを生成している場合、もしこれらがユーザの現在の位置に依存したユーザのヘッドセット向けのものであれば、これら２つのストリームに対して適切な遅延又は振幅の操作を行って空間化を行うことができる。

ＤＳＰドライバは、カメラドライバとハンドシェークを行うことができ（標準的なオペレーティングシステムインタフェースを介してであってよい）、現在のユーザ位置に関する入力を受信することができる。このハンドシェークは、数多くの異なる方法で行われてよい。たとえば、プログラム可能な数ミリ秒ごと（every so many programmable milliseconds）、という周期的なシステムの割り込みを利用して行うことができる。

図３は、本発明の一実施形態の構造のフロー図を示す。ハードウェア、ソフトウェア、および／又は、ファームウェアに実装することができる。ソフトウェアおよびファームウェアの実施形態では、磁気、光、又は、半導体ストレージ等の１以上のコンピュータ可読媒体に格納されているコンピュータ実行された命令で実装されてよい。

一実施形態では、ＤＳＰドライバは、カメラと、数ミリ秒ごとの周期的なシステムの割り込みによってハンドシェークを実行する。ドライバは、カメラドライバから、現在のユーザ位置および向きの情報を受信する。実際、オーディオストリームがＤＳＰにより現在レンダーリング中である場合、ＤＳＰは、現在のユーザ位置を利用してこれらストリームを後処理して、空間系エフェクトを生じさせる。

したがって特にブロック２０で、ドライバは、カメラから新たなユーザの位置を読み取る。そしてダイアモンド２２でチェックを行い、現在レンダーリング中のアクティブなオーディオストリームがあるかを判断する。判断結果が肯定的である場合には、ＤＳＰは、ブロック２４で、ユーザの位置に基づいてオーディオパケットを処理して、空間系エフェクトを生じさせる。次に、ダイアモンド２６でチェックを行い、ユーザ位置が最後に読み出されてから経過した時間が、プログラム可能な時間間隔より大きいかを判断する。次に、フローはブロック２０に戻り繰り返すか、さもなくば、ダイアモンド２２に戻る。

他の実施形態では、マルチチャネルのホーム娯楽システムを利用することもできる。テレビ又はビデオシステムが、現在のユーザ位置および向きを追跡できるエンベデッドカメラを含んでいるという前提で、同じ処理を行って、サラウンド音響オーディオを空間化することができる。ホーム娯楽システムのオーディオの品質は、サラウンドスピーカに対するユーザの実際の位置に依存する。オーディオを空間化することで、カメラの入力を利用して、各オーディオチャネルを適切に後処理して、ユーザの実際の位置および向きにおいて、各スピーカから発せられる音響の品質を最適化することができる。

このようにして、カメラの入力は、ユーザの位置および向きを取り入れて、ホームコンピュータシステムおよびホームシアターシステム両方におけるオーディオの空間化を可能としたり、向上させたりすることができる。

図４は、システム７００の一実施形態を示す。一部の実施形態では、システム７００はメディアシステムであるが、システム７００は、このコンテキストに限定はされない。たとえばシステム７００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、可搬型コンピュータ、ハンドヘルドコンピュータ、手のひらサイズのコンピュータ、情報携帯端末（ＰＤＡ）、携帯電話器、携帯電話器／ＰＤＡの組み合わせ、テレビ、スマートデバイス（たとえばスマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス等に組み込み可能である。

一部の実施形態では、システム７００は、ディスプレイ７２０に連結されたプラットフォーム７０２を含む。プラットフォーム７０２は、コンテンツサービスデバイス７３０（一又は複数）又はコンテンツ配信デバイス７４０（一又は複数）又はその他の類似したコンテンツソース等のコンテンツをコンテンツデバイスから受信してよい。１以上のナビゲーション特徴部を含むナビゲーションコントローラ７５０が、たとえばプラットフォーム７０２および／又はディスプレイ７２０と交信するために利用されてよい。これらコンポーネントのそれぞれは後に詳述される。

一部の実施形態では、プラットフォーム７０２は、チップセット７０５、プロセッサ７１０、メモリ７１２、ストレージ７１４、グラフィックサブシステム７１５、アプリケーション７１６、グローバルポジショニングシステム（ＧＰＳ）７２１、カメラ７２３、および／又は、ラジオ７１８の任意の組み合わせを含んでよい。チップセット７０５は、プロセッサ７１０、メモリ７１２、ストレージ７１４、グラフィックサブシステム７１５、アプリケーション７１６、および／又は、ラジオ７１８の間に交信を行わせることができてよい。たとえば、チップセット７０５は、ストレージ７１４と交信することのできるストレージアダプタ（不図示）を含んでよい。

加えて、プラットフォーム７０２は、オペレーティングシステム７７０を含んでよい。プロセッサ７７２へのインタフェースは、オペレーティングシステムとプロセッサ７１０とをインタフェースしてよい。

ファームウェア７９０は、ブートシーケンス等の機能を実装するために提供されてよい。ファームウェアをプラットフォーム７０２外から更新するための更新モジュールも提供されてよい。例として更新モジュールは、更新の試みが正当なものかの判断、および、更新が必要となる時期の判断を促すために、ファームウェア７９０の最後の更新の特定を行うためのコードを含んでよい。

一部の実施形態では、プラットフォーム７０２は、外部電源により給電されてよい。一部の場合においては、プラットフォーム７０２は、さらに、実施形態によっては、外部電源に適合されない電源として動作する、又は、実施形態によっては、電池駆動電力又は外部電源電力の切り替えを可能とする電源として動作する内部電池７８０を含んでよい。

図３に示すシーケンスは、数例を挙げると、ストレージ７１４内、又は、プロセッサ７１０又はグラフィックサブシステム７１５内のメモリに、これらを含めることで、ソフトウェアおよびファームウェアの実施形態に実装することができる。一実施形態では、グラフィックサブシステム７１５は、グラフィック処理ユニットを含んでよく、プロセッサ７１０は、中央処理装置であってよい。

プロセッサ７１０は、ＣＩＳＣ（Complex Instruction Set Computer）又はＲＩＳＣ（Reduced Instruction Set Computer）プロセッサ、ｘ８６命令セットに準拠したプロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又は中央処理装置（ＣＰＵ）として実装されてよい。一部の実施形態では、プロセッサ７１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等を含んでよい。

メモリ７１２は、これらに限定はされないがＲＡＭ、ＤＲＡＭ、又はＳＲＡＭ等を含む揮発性メモリとして実装されてよい。

ストレージ７１４は、これらに限定はされないが磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶デバイス、アタッチストレージデバイス（attached storage device）、フラッシュメモリ、バッテリーバックアップＳＤＲＡＭ（同期ＤＲＡＭ）および／又はネットワークアクセス可能記憶デバイス等を含む不揮発性記憶デバイスとして実装されてよい。一部の実施形態では、ストレージ７１４は、複数のハードドライブが含まれると、価値あるデジタルメディアのための、記憶性能が向上した保護を提供する技術を含むことができる。

グラフィックサブシステム７１５は、静止画又は動画等の画像を表示するために処理することができる。グラフィックサブシステム７１５は、例として、グラフィック処理ユニット（ＧＰＵ）又は視覚処理ユニット（ＶＰＵ）であってよい。アナログ又はデジタルインタフェースを利用して、グラフィックサブシステム７１５およびディスプレイ７２０を通信可能なように連結することができる。たとえばインタフェースは、高精細マルチメディアインタフェース、ＤｉｓｐｌａｙＰｏｒｔ、無線ＨＤＭＩ（登録商標）、および／又は、無線ＨＤに準拠した技術のいずれであってもよい。グラフィックサブシステム７１５は、プロセッサ７１０又はチップセット７０５に統合することもできる。グラフィックサブシステム７１５は、チップセット７０５に通信可能に連結されている独立型カードであってもよい。

ここで説明するグラフィックおよび／又はビデオ処理技術は、様々なハードウェアアーキテクチャに実装することができる。たとえばグラフィックおよび／又はビデオ機能は、１つのチップセットに統合することもできる。この代わりに、別個のグラフィックおよび／又はビデオプロセッサを利用することもできる。また別の実施形態として、グラフィックおよび／又はビデオ機能を、汎用プロセッサ（マルチコアプロセッサを含む）で実装してもよい。また別の実施形態では、これら機能を家庭用電子機器に実装することもできる。

ラジオ７１８は、様々な適切な無線通信技術を利用して信号を送受信することができる１以上のラジオを含んでよい。これら技術は、１以上の無線ネットワークにおける通信を含んでよい。無線ネットワークの例を挙げると（これらに限定はされない）、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク、および衛星ネットワークが含まれる。これらネットワークで通信を行うために、無線７１８は任意のバージョンの１以上の適用可能な規格に従って動作してよい。

一部の実施形態では、ディスプレイ７２０は、任意のテレビ型モニタ又はディスプレイを含んでよい。ディスプレイ７２０は、たとえば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビに類したデバイス、および／又はテレビを含んでよい。ディスプレイ７２０は、デジタルおよび／又はアナログであってよい。一部の実施形態では、ディスプレイ７２０は、ホログラフィックディスプレイであってもよい。さらに、ディスプレイ７２０は、視覚投射を受けることのできる透明な表面であってもよい。これら投射によって、様々な形態の情報、画像、および／又はオブジェクトが伝達されてよい。たとえば、投射が、移動型の拡張現実（ＭＡＲ：mobile augmented reality）用途の視覚オーバレイであってもよい。１以上のソフトウェアアプリケーション７１６に制御されることで、プラットフォーム７０２は、ユーザインタフェース７２２をディスプレイ７２０に表示することができる。

一部の実施形態では、コンテンツサービスデバイス７３０（１又は複数）は、任意の国の事業、国際事業、および／又は、独立機関の事業によりホストされることで、インターネット等を介してプラットフォーム７０２にアクセス可能であってよい。コンテンツサービスデバイス７３０は、プラットフォーム７０２および／又はディスプレイ７２０に連結されていてよい。プラットフォーム７０２および／又はコンテンツサービスデバイス７３０は、ネットワーク７６０に連結されて、メディア情報をネットワーク７６０との間でやりとり（たとえば送信および／又は受信）することができる。コンテンツ配信デバイス７４０も、プラットフォーム７０２および／又はディスプレイ７２０に連結されていてよい。

一部の実施形態では、コンテンツサービスデバイス７３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット利用可能デバイス、又は、デジタル情報および／又はコンテンツを配信可能な機器、および、任意のその他の、コンテンツプロバイダとプラットフォーム７０２および／又はディスプレイ７２０との間でネットワーク７６０を介して、一方向又は双方向のコンテンツの通信が可能な類似したデバイスを含んでよい。コンテンツは、システム７００およびコンテンツプロバイダとの間でネットワーク７６０を介して、一方向および／又は双方向に伝達されてよいことがわかるだろう。コンテンツの例には、たとえばビデオ、音楽、医療情報およびゲーム情報等が含まれてよい。

コンテンツサービスデバイス７３０は、ケーブルテレビ番組等のコンテンツ（メディア情報、デジタル情報、および／又はその他のコンテンツを含む）を受信する。コンテンツプロバイダの例には、任意のケーブル、衛星テレビ、又はラジオ又はインターネットコンテンツプロバイダが含まれてよい。挙げた例は、本発明の実施形態を限定する意図はない。

一部の実施形態では、プラットフォーム７０２が、制御信号を１以上のナビゲーション特徴部分を有するナビゲーションコントローラ７５０から受信してよい。コントローラ７５０のナビゲーション特徴部分は、たとえば、ユーザインタフェース７２２と交信するために利用されてよい。一部の実施形態では、ナビゲーションコントローラ７５０が、ユーザに空間（たとえば連続した、多次元の）データをコンピュータに入力させるコンピュータハードウェアコンポーネント（特にヒューマンインタフェースデバイス）であってよいポインティングデバイスであってよい。多くのシステム（たとえば、グラフィックユーザインタフェース（ＧＵＩ）、テレビ、およびモニタ）によって、ユーザは、身体ジェスチャーを利用してデータをコンピュータ又はテレビに制御提供することができるようになる。

コントローラ７５０のナビゲーション特徴部分の動きは、ポインタ、カーソル、フォーカスリング、その他のディスプレイ（たとえばディスプレイ７２０）に表示される視覚的インジケータ上に反映（echo）されてよい。たとえば、ソフトウェアアプリケーション７１６の制御の下で、ナビゲーションコントローラ７５０に位置しているナビゲーション特徴部分は、たとえば、ユーザインタフェース７２２に表示される視覚上のナビゲーション特徴部分にマッピングされてよい。一部の実施形態では、コントローラ７５０は、別個のコンポーネントではなく、プラットフォーム７０２および／又はディスプレイ７２０に統合されてよい。しかし実施形態は、ここで記載するエレンメント又はコンテキストに限定はされない。

一部の実施形態では、ドライバ（不図示）が、ユーザがプラットフォーム７０２を即座にオン／オフできるような技術を含んでよい（たとえば、イネーブルされていれば、初期起動の後にテレビを、ボタンを触ればオフにできるようなもの）。プログラム論理によって、プラットフォーム７０２は、プラットフォームが「オフ」のときに、コンテンツをメディアアダプタその他のコンテンツサービスデバイス７３０又はコンテンツ配信デバイス７４０にストリーミングすることができる。加えて、チップセット７０５は、たとえば、５．１サラウンド音響オーディオおよび／又は７．１サラウンド音響オーディオ用のハードウェアおよび／又はソフトウェアサポートを含んでよい。ドライバは、統合されているグラフィックプラットフォームのためのグラフィックドライバを含んでよい。実施形態によっては、グラフィックドライバは、ＰＣＩ（peripheral component interconnect）Ｅｘｐｒｅｓｓグラフィックカードを含んでよい。

様々な実施形態では、システム７００内に示されているコンポーネントのうちの任意の１以上を統合することもできる。たとえばプラットフォーム７０２とコンテンツサービスデバイス７３０とが統合されていてもよいし、プラットフォーム７０２とコンテンツ配信デバイス７４０とが統合されていてもよいし、又は、プラットフォーム７０２、コンテンツサービスデバイス７３０、および、コンテンツ配信デバイス７４０が統合されていてもよい。様々な実施形態では、プラットフォーム７０２とディスプレイ７２０とが１つの統合されたユニットであってよい。ディスプレイ７２０とコンテンツサービスデバイス７３０とが統合されていてもよいし、又は、ディスプレイ７２０とコンテンツ配信デバイス７４０とが統合されていてもよい。これらの例は本発明を限定する意図を持たない。

様々な実施形態では、システム７００は、無線システム、有線システム、又はこれらの組み合わせとして実装することができる。無線システムとして実装される場合、システム７００は、無線共有媒体で通信するために適したインタフェースおよびコンポーネント（１以上のアンテナ、トランスミッタ、レシーバ、トランシーバ、増幅器、フィルタ、制御論理等）を含んでよい。有線共有媒体の一例には、無線スペクトルの一部（たとえばＲＦスペクトル等）が含まれてよい。有線システムとして実装される場合、システム７００は、有線通信媒体で通信するために適したインタフェースおよびコンポーネント（たとえば入出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続するための物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等）を含んでよい。有線通信媒体の例には、ワイヤ、ケーブル、金属鉛（metal lead）、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチ構成、半導体材料、ツイストペアワイヤ、同軸ケーブル、光ファイバ等が含まれる。

プラットフォーム７０２は、情報を運ぶための１以上の論理チャネル又は物理チャネルを構築してよい。情報は、メディア情報および制御情報を含んでよい。メディア情報は、ユーザのためのコンテンツを表す任意のデータのことであってよい。コンテンツの例には、たとえば、音声会話からのデータ、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、音声メールメッセージ、英数字、グラフィック、画像、ビデオ、テキスト等が含まれてよい。音声会話からのデータとは、たとえば、音声情報、沈黙期間、背景の雑音、快適雑音、トーン等であってよい。制御情報とは、コマンド、命令、又は自動化されたシステム用の制御語を表すいずれかのデータのことであってよい。たとえば制御情報は、システム経由でメディア情報をルーティングするため、又は、メディア情報を予め定められた方法で処理するようノードに指示するために利用することができてよい。しかし実施形態は図４に示す、又はこれを参考に説明したエレメント又はコンテキストに限定はされない。

上述したように、システム７００は、様々な物理的スタイル又はフォームファクタで具現化することができる。図４は、システム７００を具現化することができる小型のフォームファクタのデバイス８００の実施形態を示す。一部の実施形態では、たとえば、デバイス８００を、無線機能をもつモバイルコンピューティングデバイスとして実装することができる。モバイルコンピューティングデバイスは、処理システムおよび移動電源又は移動電力供給装置（たとえば１以上の電池等）を持つ任意のデバイスのことであってよい。

上述したように、モバイルコンピューティングデバイスの例には、パーソナルコンピュータ（ＰＣ）、ウルトララップトップコンピュータ、タブレット、タッチパッド、可搬型コンピュータ、手持ち型コンピュータ、手のひらサイズのコンピュータ、情報携帯端末（ＰＤＡ）、携帯電話器、携帯電話器／ＰＤＡの組み合わせ、テレビ、スマートデバイス（たとえばスマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス等が含まれてよい。

モバイルコンピューティングデバイスの例には、さらに、人が装着できるよう構成されたコンピュータ（たとえば手首用コンピュータ、指用コンピュータ、リング状コンピュータ、メガネコンピュータ、ベルトクリップコンピュータ、腕用コンピュータ、靴型コンピュータ、衣服コンピュータ、その他の装着可能なコンピュータ）が含まれてよい。一部の実施形態では、たとえば、モバイルコンピューティングデバイスが、コンピュータアプリケーションの実行、音声通信および／又はデータ通信を行うことのできるスマートフォンとして実装されてよい。一部の実装例は、例としてスマートフォンとして実装されるモバイルコンピューティングデバイスで説明されているが、他の実施形態は、他の無線モバイルコンピューティングデバイスを利用して実装されてもよい。実施形態はこのコンテキストに限定はされない。

図５に示すように、デバイス８００は、筐体８０２、ディスプレイ８０４、入出力（Ｉ／Ｏ）デバイス８０６、および、アンテナ８０８を含んでよい。デバイス８００はさらに、ナビゲーション特徴部分８１２を含んでよい。ディスプレイ８０４は、モバイルコンピューティングデバイスに適した情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス８０６は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含んでよい。Ｉ／Ｏデバイス８０６の例には、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識デバイスおよびソフトウェア等が含まれてよい。情報は、マイクロフォン経由でデバイス８００に入力されてもよい。これら情報は、音声認識デバイスによってデジタル化されてもよい。実施形態はこのコンテキストに限定はされない。

様々な実施形態は、ハードウェアエレメント、ソフトウェアエレメント、又はこれらの組み合わせを利用して実装可能である。ハードウェアエレメントの例には、プロセッサ、マイクロプロセッサ、回路、回路エレメント（たとえばトランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体素子、チップ、マイクロチップ、チップセット等が含まれてよい。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組み合わせが含まれてよい。実施形態をハードウェアエレメントおよび／又はソフトウェアエレメントで実装するかの判断は、任意の数の要素（たとえば所望の計算レート、電力レベル、耐熱性、処理サイクル予算、入力データレート、出力データレート、メモリリソース、データバス速度その他の設計又はパフォーマンス上の制約）に応じて変化させてよい。

少なくとも１つの実施形態の１以上の態様は、マシン可読媒体に格納されており、プロセッサ内の様々な論理を表す代表的な命令で実装されてよく、これら命令は、マシンに読み取られると、マシンに、ここに記載した技術を実行するための論理を生成（fabricate）させる。これらの代表例は、「ＩＰコア」として知られており、有形のマシン可読媒体に格納されており、様々な消費者又は製造施設に供給されて、実際に論理又はプロセッサを製造する製造マシンにロードされてよい。

様々な実施形態が、ハードウェアエレメント、ソフトウェアエレメント、又はこれらの組み合わせを利用して実装可能である。ハードウェアエレメントの例には、プロセッサ、マイクロプロセッサ、回路、回路エレメント（たとえばトランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体素子、チップ、マイクロチップ、チップセット等が含まれてよい。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組み合わせが含まれてよい。実施形態をハードウェアエレメントおよび／又はソフトウェアエレメントで実装するかの判断は、任意の数の要素（たとえば所望の計算レート、電力レベル、耐熱性、処理サイクル予算、入力データレート、出力データレート、メモリリソース、データバス速度その他の設計又はパフォーマンス上の制約）に応じて変化させてよい。

少なくとも１つの実施形態の１以上の態様は、マシン可読媒体に格納されており、プロセッサ内の様々な論理を表す代表的な命令で実装されてよく、これら命令は、マシンに読み取られると、マシンに、ここに記載した技術を実行するための論理を生成（fabricate）させる。これらの代表例は、「ＩＰコア」として知られており、有形のマシン可読媒体に格納されており、様々な消費者又は製造施設に供給されて、実際に論理又はプロセッサを製造する製造マシンにロードされてよい。

ここで説明したグラフィック処理技術は、様々なハードウェアアーキテクチャに実装可能である。たとえばグラフィック機能はチップセット内に統合してよい。この代わりに、別個のグラフィックプロセッサを利用してもよい。また別の実施形態では、グラフィック機能を汎用プロセッサ（マルチコアプロセッサを含む）により実装してもよい。

本明細書全体において、「一実施形態」又は「１つの実施形態」という言い回しは、その実施形態で記載される特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれていることを示す。したがって「一実施形態」又は「１つの実施形態」という言い回しが本明細書の随所にみられても、これらは必ずしも全てが同じ実施形態のことを意味しているわけではない。さらに、特定の特徴、構造、又は特性は、それらが述べられた具体的な実施形態以外の適切な形態で実施することもでき、本願の請求項の範囲には、これらすべての形態が含まれることとする。

本発明は、限られた数の実施形態に関しての説明を行ったが、当業者であれば、数多くの変形例および変更例を想到するであろう。添付請求項は、これらすべての変形例および変更例を、本発明の真の精神および範囲に含まれるものとして含んでいることが意図されている。

Claims (17)

1. ビデオ分析を利用して、プロセッサベースのシステムに対するユーザの頭部の位置および向きを判断する段階と、
   前記位置および前記向きに基づいて、前記プロセッサベースのシステムがヘッドホンに提供する音響を、前記プロセッサベースのシステムが備えるディスプレイからの前記ユーザの距離、及び、前記ディスプレイに対する前記ユーザの頭部の向きに応じた立体音響効果を生じさせるよう調節する段階と、
   を備え、
   前記調節する段階は、
   前記ディスプレイからの前記ユーザの距離、及び、前記ディスプレイに対する前記ユーザの頭部の向きに応じて、前記プロセッサベースのシステムが生成したオーディオストリームのレイテンシを調節する段階を有する方法。
2. 前記ビデオ分析に基づいて前記プロセッサベースのシステムが生成したオーディオストリームの振幅を調節する段階を備える、請求項１に記載の方法。
3. 前記立体音響効果を生じさせるためにデジタル信号プロセッサを利用する段階を備える、請求項１または２に記載の方法。
4. ２つのオーディオストリームのそれぞれに適切な遅延又は振幅の操作を行うことで、前記ユーザの頭部の位置および向きに基づき、前記２つのオーディオストリームを空間化する段階を備える、請求項１から請求項３のいずれか一項に記載の方法。
5. 前記ユーザの頭部の位置を周期的に判断する段階を備える、請求項１から請求項４のいずれか一項に記載の方法。
6. 前記ユーザの頭部の向きを周期的に判断する段階を備える、請求項１から請求項５のいずれか一項に記載の方法。
7. コンピュータにより実行されると、
   ビデオ分析を利用して、プロセッサベースのシステムに対するユーザの頭部の位置および向きを判断する手順と、
   前記位置および前記向きに基づいて、前記プロセッサベースのシステムがヘッドホンに提供する音響を、前記システムが備えるディスプレイからの前記ユーザの距離、及び、前記ディスプレイに対する前記ユーザの頭部の向きに応じた立体音響効果を生じさせるよう調節する手順と、
   を実行させ、
   前記調節する手順は、
   前記ディスプレイからの前記ユーザの距離、及び、前記ディスプレイに対する前記ユーザの頭部の向きに応じて、前記プロセッサベースのシステムが生成したオーディオストリームのレイテンシを調節する手順を有するプログラム。
8. 前記ビデオ分析に基づいて前記プロセッサベースのシステムが生成したオーディオストリームの振幅を調節する手順を実行させる、請求項７に記載のプログラム。
9. 前記立体音響効果を生じさせるためにデジタル信号プロセッサを利用する手順を実行させる、請求項７または８に記載のプログラム。
10. ２つのオーディオストリームのそれぞれに適切な遅延又は振幅の操作を行うことで、前記ユーザの頭部の位置および向きに基づき、前記２つのオーディオストリームのそれぞれを空間化する手順を実行させる、請求項７から請求項９のいずれか一項に記載のプログラム。
11. 前記ユーザの頭部の位置を周期的に判断する手順を実行させる、請求項７から請求項１０のいずれか一項に記載のプログラム。
12. 前記ユーザの頭部の向きを周期的に判断する手順を実行させる、請求項７から請求項１１のいずれか一項に記載のプログラム。
13. ビデオ分析を利用してユーザの位置および向きを判断するデバイスと、
    前記位置および前記向きに基づいてヘッドホンに提供する音響を調節するプロセッサと、
    前記プロセッサに連結されたオーディオコーデックと、
    ディスプレイと
    を備え、
    前記プロセッサは、
    前記ディスプレイからの前記ユーザの距離、および前記ディスプレイに対する前記ユーザの頭部の向きに応じて前記音響を調節するとともに、
    前記ディスプレイからの前記ユーザの距離、及び、前記ディスプレイに対する前記ユーザの頭部の向きに応じて、プロセッサベースのシステムが生成したオーディオストリームのレイテンシを調節する装置。
14. 前記プロセッサは、デジタル信号プロセッサである、請求項１３に記載の装置。
15. 前記デバイスが前記プロセッサを含む、請求項１３または請求項１４に記載の装置。
16. 前記デバイスはカメラを含む、請求項１３から請求項１５のいずれか一項に記載の装置。
17. 前記プロセッサは、前記ユーザの頭部の向きを判断する、請求項１３から請求項１６のいずれか一項に記載の装置。

Images