JP2016502344A - 協調的サウンドシステムのための画像生成 - Google Patents
協調的サウンドシステムのための画像生成 Download PDFInfo
- Publication number
- JP2016502344A JP2016502344A JP2015544071A JP2015544071A JP2016502344A JP 2016502344 A JP2016502344 A JP 2016502344A JP 2015544071 A JP2015544071 A JP 2015544071A JP 2015544071 A JP2015544071 A JP 2015544071A JP 2016502344 A JP2016502344 A JP 2016502344A
- Authority
- JP
- Japan
- Prior art keywords
- mobile device
- sound system
- surround sound
- cooperative
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic Arrangements (AREA)
Abstract
全般に、協調的サウンドシステムのための画像生成のための技法が説明される。プロセッサを備えるヘッドエンドデバイスが、これらの技法を実行することができる。プロセッサは、協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定するように構成され得る。プロセッサはさらに、協調的サラウンドサウンドシステムの複数の他のスピーカーに対する協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を示す画像を生成するように構成され得る。
Description
[0001]本出願は、2012年11月28日に出願された米国仮出願第61/730,911号の利益を主張する。
[0002]本開示はマルチチャンネルサウンドシステムに関し、より具体的には、協調的マルチチャンネルサウンドシステムに関する。
[0003]典型的なマルチチャンネルサウンドシステム(「マルチチャンネルサラウンドサウンドシステム」とも呼ばれ得る)は通常、オーディオ/ビデオ(AV)受信機と2つ以上のスピーカーとを含む。AV受信機は通常、スピーカーとインターフェースをとるいくつかの出力と、オーディオおよび/またはビデオ信号を受け取るためのいくつかの入力とを含む。しばしば、オーディオおよび/またはビデオ信号は、テレビセット、デジタルビデオディスク(DVD)プレーヤー、高精細度ビデオプレーヤー、ゲームシステム、レコードプレーヤー、コンパクトディスク(CD)プレーヤー、デジタルメディアプレーヤー、セットトップボックス(STB)、ラップトップコンピュータ、タブレットコンピュータなどのような、様々なホームシアターコンポーネントまたはオーディオコンポーネントによって生成される。
[0004]AV受信機は、ビデオ信号を処理してアップコンバージョンまたは他のビデオ処理機能を提供することができるが、通常は、AV受信機は、適切なチャンネルを適切なスピーカー(「ラウドスピーカー」とも呼ばれ得る)に提供するためにオーディオ処理を実行するために、サラウンドサウンドシステムで利用される。サウンドのステージまたはエリアを再現し、それによってより没入感のあるサウンド体験をさらに提供するために、多数の異なるサラウンドサウンドフォーマットが存在する。5.1サラウンドサウンドシステムでは、AV受信機は、センターチャンネルと、レフトチャンネルと、ライトチャンネルと、リアライトチャンネルと、リアレフトチャンネルとを含む、5つのオーディオのチャンネルを処理する。5.1の「.1」をなす追加のチャンネルは、サブウーファーまたはバスチャンネルを対象とする。他のサラウンドサウンドフォーマットは、7.1サラウンドサウンドフォーマット(追加のリアレフトチャンネルとリアライトチャンネルが加わる)と22.2サラウンドサウンドフォーマット(追加のフォワードチャンネルおよびリアチャンネルと、別のサブウーファーまたはバスチャンネルに加えて、様々な高さにある追加のチャンネルが加わる)とを含む。
[0005]5.1サラウンドサウンドフォーマットの状況では、AV受信機は、これらの5つのチャンネルを処理して、5つのチャンネルを5つのラウドスピーカーおよびサブウーファーに分配することができる。AV受信機は、サラウンドサウンドシステムが動作する特定の部屋においてサラウンドサウンドオーディオを適切に再現するために、信号を処理して音量レベルと信号の他の特性とを変えることができる。すなわち、元のサラウンドサウンドオーディオ信号は取り込まれ、所与の部屋、たとえば15×15フィートの部屋に適合するようにレンダリングされている可能性がある。AV受信機は、この信号を、サラウンドサウンドシステムが動作する部屋に適合するようにレンダリングすることができる。AV受信機は、このレンダリングを実行して、より良好なサウンドステージを作成し、これによって、より良好な、またはさらに没入感のある聴取体験を提供することができる。
[0006]サラウンドサウンドはより没入感のある聴取体験(および、ビデオとともに、視覚的体験)を提供することができるが、納得のいくサラウンドサウンドを再生するのに必要とされるAV受信機およびラウドスピーカーは高価であることが多い。その上、ラウドスピーカーに適切に電力供給するために、AV受信機は、ラウドスピーカーに(通常はスピーカー配線を介して)物理的に結合されていなければならないことが多い。サラウンドサウンドが通常、少なくとも2つのスピーカーが聴取者の後ろに配置されることを必要とすることを考慮すると、AV受信機をサラウンドサウンドシステムのレフトリアスピーカーおよびライトリアスピーカーに物理的に接続するために、スピーカー配線または他の物理的接続が部屋全体を這うことを、AV受信機は必要とすることが多い。これらの配線を這わせるのは見栄えが悪いことがあり、5.1、7.1、およびさらに高次元のサラウンドサウンドシステムの消費者による導入を妨げる。
[0007]全般に、本開示は、サラウンドサウンドスピーカーとして、またはいくつかの例では、フロントレフトスピーカー、センタースピーカー、および/もしくはフロントライトスピーカーとして利用可能なモバイルデバイスを利用する、協調的サラウンドサウンドシステムを可能にするための技法を説明する。ヘッドエンドデバイスは、本開示で説明される技法を実行するように構成され得る。ヘッドエンドデバイスは、1つまたは複数のモバイルデバイスとインターフェースをとって協調的サウンドシステムを形成するように構成され得る。ヘッドエンドデバイスは、1つまたは複数のモバイルデバイスとインターフェースをとって、協調的サウンドシステムのスピーカーとしてこれらのモバイルデバイスのスピーカーを利用することができる。しばしば、ヘッドエンドデバイスは、ワイヤレス接続を介してこれらのモバイルデバイスと通信することがあり、サウンドシステムのリアレフトスピーカー、リアライトスピーカー、または他の後ろに配置されたスピーカーについてモバイルデバイスのスピーカーを利用する。
[0008]このようにして、ヘッドエンドデバイスは、一般に利用可能であるが従来のサウンドシステムでは利用されないモバイルデバイスのスピーカーを使用して協調的サウンドシステムを形成することができ、これによって、ユーザが専用のスピーカーを購入することと関連付けられる費用をなくし、または減らすことを可能にする。加えて、モバイルデバイスがヘッドエンドデバイスにワイヤレスに結合され得ることを考慮すると、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステムは、スピーカーに電力を供給するためにスピーカー配線または他の物理的接続を這わせる必要なく、リアサウンドを実現できる。したがって、本技法は、専用のスピーカーを購入することおよびそのようなスピーカーの設置と関連付けられる費用をなくすことに関する費用の節減と、リアスピーカーをヘッドエンドデバイスに結合する専用の物理的接続を提供する必要をなくすことによる構成の容易さおよび柔軟性との両方を、促すことができる。
[0009]いくつかの態様では、方法は、協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定することと、協調的サラウンドサウンドシステムの複数の他のスピーカーに対する協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を示す画像を生成することとを備える。
[0010]別の態様では、ヘッドエンドデバイスは、協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定し、協調的サラウンドサウンドシステムの複数の他のスピーカーに対する協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を示す画像を生成するように構成される、プロセッサを備える。
[0011]別の態様では、ヘッドエンドデバイスは、協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定するための手段と、協調的サラウンドサウンドシステムの複数の他のスピーカーに対する協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を示す画像を生成するための手段とを備える。
[0012]別の態様では、実行されると、1つまたは複数のプロセッサに、協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定させ、協調的サラウンドサウンドシステムの複数の他のスピーカーに対する協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を示す画像を生成させる命令を記憶した、非一時的コンピュータ可読記憶媒体。 [0013]本技法の1つまたは複数の実施形態の詳細は、添付の図面および以下の説明において記載される。本技法の他の特徴、目的、および利点は、説明および図面から、また特許請求の範囲から明らかであろう。
[0025]図1は、本開示で説明される技法に従って形成される例示的な協調的サラウンドサウンドシステム10を示すブロック図である。図1の例では、協調的サラウンドサウンドシステム10は、オーディオソースデバイス12と、ヘッドエンドデバイス14と、フロントレフトスピーカー16Aと、フロントライトスピーカー16Bと、モバイルデバイス18A〜18N(「モバイルデバイス18」)とを含む。専用のフロントレフトスピーカー16Aと専用のフロントライトスピーカー16Bとを含むものとして示されるが、本技法は、モバイルデバイス18がフロントレフトスピーカー、センタースピーカー、およびフロントライトスピーカーとしても使用される例で、実行され得る。したがって、本技法は、図1の例に示される例協調的サラウンドサウンドシステム10に限定されるべきではない。その上、協調的サラウンドサウンドシステム10に関して以下で説明されるが、本開示の技法は、協調的サウンドシステムを提供するために任意の形態のサウンドシステムによって実装され得る。
[0026]オーディオソースデバイス12は、ソースオーディオデータを生成することが可能な任意のタイプのデバイスを表し得る。たとえば、オーディオソースデバイス12は、テレビセット(「インターネットアクセスを特徴とする、かつ/または、アプリケーションの実行をサポートすることが可能なオペレーティングシステムを実行する、いわゆる「スマートテレビ」または「スマートTV」を含む」)、デジタルセットトップボックス(STB)、デジタルビデオディスク(DVD)プレーヤー、高精細度ディスクプレーヤー、ゲームシステム、マルチメディアプレーヤー、ストリーミングマルチメディアプレーヤー、レコードプレーヤー、デスクトップコンピュータ、ラップトップコンピュータ、タブレットもしくはスレートコンピュータ、携帯電話(いわゆる「スマートフォンを含む)、または、ソースオーディオデータを生成することが可能な、もしくは別様に提供することが可能な、任意の他のタイプのデバイスもしくはコンポーネントを表し得る。いくつかの例では、オーディオソースデバイス12は、オーディオソースデバイス12がテレビ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットもしくはスレートコンピュータ、または携帯電話を表す例などにおいては、ディスプレイを含み得る。
[0027]ヘッドエンドデバイス14は、オーディオソースデバイス12によって生成された、または別様に提供されたソースオーディオデータを処理する(または言い換えると、レンダリングする)ことが可能な任意のデバイスを表す。いくつかの例では、ヘッドエンドデバイス14は、たとえば、オーディオソースデバイス12がヘッドエンドデバイス14の内部にあるように、またはその一部であるように、単一のデバイスを形成するようにオーディオソースデバイス12と統合され得る。例示すると、オーディオソースデバイス12が、いくつか例を与えると、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、スレートもしくはタブレットコンピュータ、ゲームシステム、携帯電話、または高精細度ディスクプレーヤーを表すとき、オーディオソースデバイス12はヘッドエンドデバイス14と統合され得る。すなわち、ヘッドエンドデバイス14は、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、スレートもしくはタブレットコンピュータ、ゲームシステム、携帯電話、または高精細度ディスクプレーヤーなどのような、種々のデバイスのいずれであってもよい。ヘッドエンドデバイス14は、オーディオソースデバイス12と統合されないとき、オーディオソースデバイス12、フロントレフトスピーカー16A、フロントライトスピーカー16B、および/またはモバイルデバイス18との有線接続とワイヤレス接続のいずれかを介して通信するためのいくつかのインターフェースを提供する、オーディオ/ビデオ受信機(一般に「A/V受信機」と呼ばれる)を表し得る。
[0028]フロントレフトスピーカー16Aおよびフロントライトスピーカー16B(「スピーカー16」)は、1つまたは複数のトランスデューサを有するラウドスピーカーを表し得る。通常、フロントレフトスピーカー16Aは、フロントライトスピーカー16Bと類似しており、またはほとんど同じである。スピーカー16は、ヘッドエンドデバイス14と通信するための、有線インターフェース、および/または、いくつかの例ではワイヤレスインターフェースを備え得る。スピーカー16は、能動的に電力供給されることがあり、または受動的に電力供給されることがあり、ここで、受動的に電力供給されるとき、ヘッドエンドデバイス14がスピーカー16の各々を駆動し得る。上で述べられたように、本技法は、専用のスピーカー16を伴わずに実行されることが可能であり、専用のスピーカー16はモバイルデバイス18の1つまたは複数によって置き換えられ得る。いくつかの例では、専用のスピーカー16は、オーディオソースデバイス12に組み込まれてよく、または別様に統合されてよい。
[0029]モバイルデバイス18は通常、携帯電話(いわゆる「スマートフォン」を含む)、タブレットもしくはスレートコンピュータ、ネットブック、ラップトップコンピュータ、デジタルピクチャフレーム、または、アプリケーションを実行することが可能な、かつ/もしくはヘッドエンドデバイス14とワイヤレスにインターフェースをとることが可能な、任意の他のタイプのモバイルデバイスを表す。モバイルデバイス18は各々、スピーカー20A〜20N(「スピーカー20」)を備え得る。これらのスピーカー20は各々、オーディオ再生のために構成されてよく、いくつかの例では、声のオーディオ再生のために構成されてよい。例示を簡単にするために、本開示では携帯電話に関して説明されるが、本技法は、スピーカーを提供し、ヘッドエンドデバイス14との有線通信またはワイヤレス通信が可能な、任意のポータブルデバイスに関して実装され得る。
[0030]通常のマルチチャンネルサウンドシステム(「マルチチャンネルサラウンドサウンドシステム」または「サラウンドサウンドシステム」とも呼ばれ得る)では、一例としてヘッドエンドデバイスを表し得るA/V受信機は、専用のフロントレフトスピーカー、フロントセンタースピーカー、フロントライトスピーカー、バックレフトスピーカー(「サラウンドレフトスピーカー」とも呼ばれ得る)、およびバックライトスピーカー(「サラウンドライトスピーカー」とも呼ばれ得る)の配置に適合するようにソースオーディオデータを処理する。A/V受信機は、より良好なオーディオ品質を提供し、スピーカーに電力供給し、干渉を低減するために、これらのスピーカーの各々に対する専用の有線接続を備えることが多い。A/V受信機は、適切なチャンネルを適切なスピーカーに提供するように構成され得る。
[0031]サウンドのステージまたはエリアを再現し、それによってより没入感のあるサウンド体験をさらに提供するために、多数の異なるサラウンドサウンドフォーマットが存在する。5.1サラウンドサウンドシステムでは、A/V受信機は、センターチャンネルと、レフトチャンネルと、ライトチャンネルと、リアライトチャンネルと、リアレフトチャンネルとを含む、5つのオーディオのチャンネルをレンダリングする。5.1の「.1」をなす追加のチャンネルは、サブウーファーまたはバスチャンネルを対象とする。他のサラウンドサウンドフォーマットは、7.1サラウンドサウンドフォーマット(追加のリアレフトチャンネルとリアライトチャンネルが加わる)と22.2サラウンドサウンドフォーマット(追加のフォワードチャンネルおよびリアチャンネルと、別のサブウーファーまたはバスチャンネルに加えて、様々な高さにある追加のチャンネルが加わる)とを含む。
[0032]5.1サラウンドサウンドフォーマットの状況では、A/V受信機は、5つのラウドスピーカーに対するこれらの5つのチャンネルと、サブウーファーに対するバスチャンネルとをレンダリングすることができる。A/V受信機は、サラウンドサウンドシステムが動作する特定の部屋においてサラウンドサウンドオーディオを適切に再現するために、信号をレンダリングして音量レベルと信号の他の特性とを変えることができる。すなわち、元のサラウンドサウンドオーディオ信号は取り込まれ、所与の部屋、たとえば15×15フィートの部屋に適合するように処理されていることがある。A/V受信機は、この信号を、サラウンドサウンドシステムが動作する部屋に適合するように処理することができる。A/V受信機は、このレンダリングを実行して、より良好なサウンドステージを作成し、これによって、より良好な、またはさらに没入感のある聴取体験を提供することができる。
[0033]サラウンドサウンドはより没入感のある聴取体験(および、ビデオとともに、視覚的体験)を提供することができるが、納得のいくサラウンドサウンドを再生するのに必要とされるA/V受信機およびスピーカーは高価であることが多い。その上、スピーカーに適切に電力供給するために、A/V受信機は、上で述べられた理由で、ラウドスピーカーに(通常はスピーカー配線を介して)物理的に結合されていなければならないことが多い。サラウンドサウンドが通常、少なくとも2つのスピーカーが聴取者の後ろに配置されることを必要とすることを考慮すると、A/V受信機をサラウンドサウンドシステムのレフトリアスピーカーおよびライトリアスピーカーに物理的に接続するために、スピーカー配線または他の物理的接続が部屋全体を這うことを、A/V受信機は必要とすることが多い。これらの配線を這わせるのは見栄えが悪いことがあり、5.1、7.1、およびさらに高次元のサラウンドサウンドシステムの消費者による導入を妨げる。
[0034]本開示で説明される技法によれば、ヘッドエンドデバイス14は、モバイルデバイス18とインターフェースをとり、協調的サラウンドサウンドシステム10を形成することができる。ヘッドエンドデバイス14は、モバイルデバイス18とインターフェースをとり、協調的サラウンドサウンドシステム10のサラウンドサウンドスピーカーとしてこれらのモバイルデバイスのスピーカー20を利用することができる。しばしば、ヘッドエンドデバイス14は、ワイヤレス接続を介してこれらのモバイルデバイス18と通信することができ、図1の例に示されるように、サラウンドサウンドシステム10のリアレフトスピーカー、リアライトスピーカー、または他の後ろに配置されたスピーカーについて、モバイルデバイス18のスピーカー20を利用する。
[0035]このようにして、ヘッドエンドデバイス14は、一般に利用可能であるが従来のサラウンドサウンドシステムでは利用されないモバイルデバイス18のスピーカー20を使用して協調的サラウンドサウンドシステム10を形成することができ、これによって、ユーザが専用のサラウンドサウンドスピーカーを購入することと関連付けられる費用をなくすことを可能にする。加えて、モバイルデバイス18がヘッドエンドデバイス14にワイヤレスに結合され得ることを考慮すると、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステム10は、スピーカーに電力を供給するためにスピーカー配線または他の物理的接続を這わせる必要なく、リアサラウンドサウンドを実現できる。したがって、本技法は、専用のサラウンドサウンドスピーカーを購入することおよびそのようなスピーカーの設置と関連付けられる費用をなくすことに関する費用の節減と、リアスピーカーをヘッドエンドデバイスに結合する専用の物理的接続を提供する必要をなくすことによる構成の容易さとの両方を、促すことができる。
[0036]動作において、ヘッドエンドデバイス14は最初に、スピーカー20の対応する1つを含み協調的サラウンドサウンドシステム10に加わることが可能なモバイルデバイス18(たとえば、電源が入っている、または動作可能なモバイルデバイス18)を特定することができる。いくつかの例では、モバイルデバイス18は各々、アプリケーション(一般に「アプリ」と呼ばれ得る)を実行することができ、このアプリは、ヘッドエンドデバイス18が、アプリを実行するモバイルデバイス18を、協調的サラウンドサウンドシステム10に加わることが可能であるものとして特定することを可能にする。
[0037]ヘッドエンドデバイス14は次いで、協調的サラウンドサウンドシステム10の1つまたは複数のスピーカーとしてスピーカー20の対応する1つを利用するように、特定されたモバイルデバイス18を構成することができる。いくつかの例では、ヘッドエンドデバイス14は、協調的サラウンドサウンドシステム10の構成を助けるために、オーディオデータソース12によって生成されるソースオーディオデータ(ここで、そのようなソースオーディオデータは、いくつかの例では、「マルチチャンネルオーディオデータ」とも呼ばれ得る)のオーディオ再生に影響を与える特定されたモバイルデバイス18の対応する1つの態様を規定するモバイルデバイスデータを、モバイルデバイス18が提供することをポーリングすることができ、または別様に要求することができる。モバイルデバイス18は、いくつかの例では、ヘッドエンドデバイス14と通信すると、このモバイルデバイスデータを自動的に提供し、ヘッドエンドデバイス14によるこの情報の要求を伴わずに、この情報に対する変更に応答してモバイルデバイスデータを定期的に更新することができる。モバイルデバイス18は、たとえば、モバイルデバイスデータのいくつかの態様が変化したとき、更新されたモバイルデバイスデータを提供することができる。
[0038]図1の例では、モバイルデバイス18は、「ワイヤレスセッション22」とも呼ばれ得るセッション22A〜22N(「セッション22」)の対応する1つを介して、ヘッドエンドデバイス14とワイヤレスに結合する。ワイヤレスセッション22は、米国電気電子学会(IEEE)802.11a規格、IEEE 802.11b規格、IEEE 802.11g規格、IEEE 802.11n規格、IEEE 802.11ac規格、802.11ad規格、さらには、任意のタイプのパーソナルエリアネットワーク(PAN)規格などに従って形成される、ワイヤレスセッションを備え得る。いくつかの例では、ヘッドエンドデバイス14は、上で説明された規格の1つに従ってワイヤレスネットワークに結合し、モバイルデバイス18は、同じワイヤレスネットワークに結合し、そうすると、モバイルデバイス18は、多くの場合はアプリケーションを実行しワイヤレスネットワーク内のヘッドエンドデバイス14を見つけることによって、ヘッドエンドデバイス14に登録することができる。
[0039]ヘッドエンドデバイス14とのワイヤレスセッション22を確立した後で、モバイルデバイス18は、上で言及されたモバイルデバイスデータを収集することができ、このモバイルデバイスデータをワイヤレスセッション22のそれぞれ1つを介してヘッドエンドデバイス14に提供する。このモバイルデバイスデータは、任意の数の特性を含み得る。モバイルデバイスデータによって規定される例示的な特性または態様は、特定されたモバイルデバイスの対応する1つの位置(利用可能であればGPSまたはワイヤレスネットワーク三角測量を使用した)、特定されたモバイルデバイス18の各々に含まれるスピーカー20の対応する1つの周波数応答、特定されたモバイルデバイス18の対応する1つに含まれるスピーカー20の最大の許容可能なサウンド再生レベル、特定されたモバイルデバイス18の対応する1つのバッテリー状態またはバッターの電力レベル、特定されたモバイルデバイス18の対応する1つの同期状態(たとえば、モバイルデバイス18がヘッドエンドデバイス14と同期しているかどうか)、および、特定されたモバイルデバイス18の対応する1つのヘッドフォン状態の、1つまたは複数を含み得る。
[0040]このモバイルデバイスデータに基づいて、ヘッドエンドデバイス14は、協調的サラウンドサウンドシステム10の1つまたは複数のスピーカーとしてこれらのモバイルデバイス18の各々のスピーカー20を利用するように、モバイルデバイス18を構成することができる。たとえば、モバイルデバイスデータがモバイルデバイス18の各々の位置を規定すると仮定すると、ヘッドエンドデバイス14は、特定されたモバイルデバイス18の1つがマルチチャンネルオーディオソースデータを再生するのに最適な位置にないことを、対応するモバイルデバイスデータによって規定されるモバイルデバイス18の1つの位置に基づいて判定することができる。
[0041]いくつかの例では、ヘッドエンドデバイス14は、モバイルデバイス18の1つまたは複数が「最適な位置」として特徴付けられ得る位置にないと判定したことに応答して、モバイルデバイス18の1つまたは複数の準最適な位置に適合する方式で、オーディオソースからレンダリングされたオーディオ信号の再生を制御するように、協調的サラウンドサウンドシステム10を構成することができる。すなわち、ヘッドエンドデバイス14は、特定されたモバイルデバイス18の現在の位置に適合するように、かつ、ユーザがわざわざモバイルデバイスを移動する必要なくより没入感のあるサラウンドサウンド体験を提供するように、ソースオーディオデータをレンダリングするための1つまたは複数の前処理関数を構成することができる。
[0042]さらに説明すると、ヘッドエンドデバイス14は、レンダリングされたオーディオ信号の再生の間に、オーディオが発生しているように見える場所を効果的に変えるように、ソースオーディオデータからオーディオ信号をレンダリングすることができる。この意味で、ヘッドエンドデバイス14は、位置がずれていると判定されるモバイルデバイス18の1つの適切なまたは最適な位置を特定することができ、協調的サラウンドサウンドシステム10の仮想スピーカーと呼ばれ得るものを確立する。ヘッドエンドデバイス14は、たとえば、スピーカー16と20の2つ以上の間で、ソースオーディオデータからレンダリングされたオーディオ信号をクロスミックスし、または別様に分配して、ソースオーディオデータの再生の間にそのような仮想スピーカーの出現を生み出すことができる。仮想スピーカーの出現を作り出すためにこのオーディオソースデータがどのようにレンダリングされるかについてのさらなる詳細が、図4の例に関して以下で与えられる。
[0043]このようにして、ヘッドエンドデバイス14は、スピーカー20のそれぞれの1つを各々含み、協調的サラウンドサウンドシステム10に加わることが可能な、モバイルデバイス18を特定することができる。ヘッドエンドデバイス14は次いで、協調的サラウンドサウンドシステムの1つまたは複数の仮想スピーカーとして対応するスピーカー20の各々を利用するように、特定されたモバイルデバイス18を構成することができる。ヘッドエンドデバイス14は次いで、オーディオ信号がモバイルデバイス18のスピーカー20によって再生されるときに、オーディオ信号のオーディオ再生が協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーから発生しているように見えるように、オーディオソースデータからオーディオ信号をレンダリングすることができ、それらの1つまたは複数の仮想スピーカーは、モバイルデバイス18の少なくとも1つ(およびスピーカー20の対応する1つ)の位置とは異なる位置に配置されることが多い。ヘッドエンドデバイス14は次いで、レンダリングされたオーディオ信号を、協調的サラウンドサウンドシステム10のスピーカー16および20に送信することができる。
[0044]いくつかの例では、ヘッドエンドデバイス14は、モバイルデバイス18の1つまたは複数によってマルチチャンネルソースオーディオデータからレンダリングされるオーディオ信号の再生を効果的に「最適化する」ようにモバイルデバイス18の1つまたは複数を再配置するように、モバイルデバイス18の1つまたは複数のユーザに促すことができる。
[0045]いくつかの例では、ヘッドエンドデバイス14は、モバイルデバイスデータに基づいて、ソースオーディオデータからオーディオ信号をレンダリングすることができる。例示すると、モバイルデバイスデータは、モバイルデバイスの電力レベル(「バッテリー状態」とも呼ばれ得る)を規定することができる。この電力レベルに基づいて、ヘッドエンドデバイス14は、オーディオ信号のいくつかの部分が(オーディオを再生するための電力消費に関して)より負荷の低いオーディオ再生を有するように、ソースオーディオデータからオーディオ信号をレンダリングすることができる。ヘッドエンドデバイス14は次いで、これらのより負荷の低いオーディオ信号を、電力レベルの低下したモバイルデバイス18に提供することができる。その上、ヘッドエンドデバイス14は、モバイルデバイス18の2つ以上の電力レベルがソースオーディオデータの既知の期間のもとでは割り当てられたチャンネルの再生を完了するには不十分であるとき、仮想スピーカーを形成するオーディオ信号の再生の間の電力消費を低減するために協調的サラウンドサウンドシステム10の単一のスピーカーを形成するようにモバイルデバイス18のそれら2つ以上が協調すべきであると、判定することができる。上記の電力レベルの適合は、図9A〜図9Cおよび図10に関してより詳細に説明される。
[0046]ヘッドエンドデバイス14は、加えて、協調的サラウンドサウンドシステム10のスピーカーの各々が配置されるべきスピーカー領域を決定することができる。ヘッドエンドデバイス14は次いで、準最適な位置にあり得るモバイルデバイス18の対応する1つを再配置するように、多数の様々な方法でユーザに促すことができる。1つの方法では、ヘッドエンドデバイス14は、再配置されるべきモバイルデバイス18のうち準最適に配置されたものとインターフェースをとり、モバイルデバイス18のうちのそれらをより最適な位置に(割り当てられたスピーカー領域内などに)再配置するために、モバイルデバイスが移動されるべき方向を示すことができる。あるいは、ヘッドエンドデバイス18は、テレビのようなディスプレイとインターフェースをとり、モバイルデバイスの現在の位置と、モバイルデバイスが移動されるべきより最適な位置と特定する画像を提示することができる。準最適に配置されたモバイルデバイスを再配置するようにユーザに促すための以下の代替形態が、図5、図6A〜図6C、図7A〜図7C、および図8A〜図8Cに関してより詳細に説明される。
[0047]このようにして、ヘッドエンドデバイス14は、協調的サラウンドサウンドシステム10の複数のスピーカーのスピーカーとして協調的サラウンドサウンドシステム10に加わるモバイルデバイス18の位置を決定するように構成され得る。ヘッドエンドデバイス14はまた、協調的サラウンドサウンドシステム10の複数の他のスピーカーに対する、協調的サラウンドサウンドシステム10に加わるモバイルデバイス18の位置を示す、画像を生成するように構成され得る。
[0048]しかしながら、ヘッドエンドデバイス14は、各種のモバイルデバイスと状況とに適合するように、前処理関数を構成することができる。たとえば、ヘッドエンドデバイス14は、モバイルデバイス18のスピーカー20の1つまたは複数の特性、たとえば、スピーカー20の周波数応答および/またはスピーカー20の最大の許容可能なサウンド再生レベルに基づいてソースオーディオデータをレンダリングするための、オーディオ前処理関数を構成することができる。
[0049]さらに別の例として、ヘッドエンドデバイス20は、上で述べられたように、協調的サラウンドサウンドシステム10においてスピーカーとして利用されているモバイルデバイス18のバッテリー状態または電力レベルを示す、モバイルデバイスデータを受信することができる。ヘッドエンドデバイス14は、このモバイルデバイスデータによって規定されるこれらのモバイルデバイス18の1つまたは複数の電力レベルがソースオーディオデータの再生を完了するのに不十分であると、判定することができる。ヘッドエンドデバイス14は次いで、これらのモバイルデバイス18の電力レベルがマルチチャンネルソースオーディオデータの再生を完了するのに不十分であるという判定に基づいて、マルチチャンネルソースオーディオデータからレンダリングされるオーディオ信号を再生するためにモバイルデバイスのうちのそれらによって必要とされる電力の量を減らすようにソースオーディオデータをレンダリングするように、前処理関数を構成することができる。
[0050]ヘッドエンドデバイス14は、一例として、これらのモバイルデバイス18による再生のためにマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の音量を調整することによって、これらのモバイルデバイス18における電力消費を減らすように前処理関数を構成することができる。別の例では、ヘッドエンドデバイス14は、これらのモバイルデバイス18によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号を、他のモバイルデバイス18によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号とクロスミックスするように、前処理関数を構成することができる。さらに別の例として、ヘッドエンドデバイス14は、再生を完了するのに十分な電力を欠いているモバイルデバイス18によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の周波数の少なくともいくつかの範囲を減らす(例として、低い方の周波数を除くために)ように、前処理関数を構成することができる。
[0051]このようにして、ヘッドエンドデバイス14は、ユーザの様々な要望に合うように、かつ、種々のモバイルデバイス18とそれらの対応するオーディオ能力とに適合するように、このソースオーディオデータの再生を適合させ、適応させ、または別様に動的に構成するように、ソースオーディオデータに前処理関数を適用することができる。
[0052]協調的サラウンドサウンドシステム10が上で説明された様々な方法で構成されると、ヘッドエンドシステム14は次いで、協調的サラウンドサウンドシステム10の1つまたは複数のスピーカーの各々に、レンダリングされたオーディオ信号を送信し始めることができ、ここで、モバイルデバイス18のスピーカー20および/またはスピーカー16の1つまたは複数が再び、協調的サラウンドサウンドシステム10の単一のスピーカーを形成するように協調することができる。
[0053]ソースオーディオデータの再生の間、モバイルデバイス18の1つまたは複数は、更新されたモバイルデバイスデータを提供することができる。いくつかの例では、モバイルデバイス18は、協調的サラウンドサウンドシステム10のスピーカーとして加わるのを止めることができ、モバイルデバイス18の対応する1つが協調的サラウンドサウンドシステム10にもはや加わらないことを示すための更新モバイルデバイスデータを提供する。モバイルデバイス18は、電力の制約、モバイルデバイス18で実行されるアプリケーションを介した選好の設定、音声通話の受信、電子メールの受信、テキストメッセージの受信、プッシュ通知の受信、または任意の数の他の理由によって、参加を止めることができる。ヘッドエンドデバイス14は次いで、協調的サラウンドサウンドシステム10に加わっているモバイルデバイス18の数の変化に適合するように、前処理関数を再編成することができる。一例では、ヘッドエンドデバイス14は、再生の間に対応するモバイルデバイス18を移動するようにユーザに促さないことがあり、代わりに、上で説明された方式で仮想スピーカーの出現を模擬するオーディオ信号を生成するように、マルチチャンネルソースオーディオデータをレンダリングすることができる。
[0054]このようにして、本開示の技法は、アドホックネットワーク(上で述べられたように、一般に802.11またはPANである)の形成を調整する中央デバイスまたはヘッドエンドシステム14とのアドホックネットワークを形成することによって、モバイルデバイス18が協調的サラウンドサウンドシステム10に加わることを効果的に可能にする。上で説明されたように、ヘッドエンドデバイス14は、スピーカー20の1つを含み、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号を再生するためにモバイルデバイス18のアドホックワイヤレスネットワークに加わることが可能な、モバイルデバイス18を特定することができる。ヘッドエンドデバイス14は次いで、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号のオーディオ再生に影響を与え得る、特定されたモバイルデバイス18の対応する1つの態様または特性を規定するモバイルデバイスデータを、特定されたモバイルデバイス18の各々から受信することができる。ヘッドエンドデバイス14は次いで、マルチチャンネルソースオーディオデータのオーディオ再生に影響を与える特定されたモバイルデバイス18の態様に適合する方式で、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の再生を制御するために、モバイルデバイスデータに基づいてモバイルデバイス18のアドホックワイヤレスネットワークを構成することができる。
[0055]モバイルデバイス18と専用のスピーカー16とを含む協調的サラウンドサウンドシステム10を対象とするものとして上で説明されたが、本技法は、モバイルデバイス18および/または専用のスピーカー16の任意の組合せに関して実行され得る。いくつかの例では、本技法は、モバイルデバイスのみを含む協調的サラウンドサウンドシステムに関して実行され得る。したがって、本技法は図1の例に限定されるべきではない。
[0056]その上、マルチチャンネルソースオーディオデータに関して実行されるものとして説明全体で説明されるが、本技法は、オブジェクトベースのオーディオデータおよび高次アンビソニックス(HOA:higher order ambisonic)オーディオデータ(球面調和係数(SHC:spherical harmonic coefficient)のような階層的要素の形でオーディオデータを規定し得る)を含む、任意のタイプのソースオーディオデータに関して実行され得る。HOAオーディオデータは、図11〜図13に関してより詳細に以下で説明される。
[0057]図2は、図1の協調的サラウンドサウンドシステム10の一部分をより詳細に示すブロック図である。図2に示される協調的サラウンドサウンドシステム10の部分は、ヘッドエンドデバイス14とモバイルデバイス18Aとを含む。例示を簡単にするために、単一のモバイルデバイス、すなわち図2の例ではモバイルデバイス18Aに関して以下で説明されるが、本技法は、複数のモバイルデバイス、たとえば図1の例に示されるモバイルデバイス18に関して実施され得る。
[0058]図2の例に示されるように、ヘッドエンドデバイス14は制御ユニット30を含む。制御ユニット30(一般にプロセッサとも呼ばれ得る)は、ソフトウェア命令を実行する1つまたは複数の中央処理装置および/またはグラフィカルプロセッシングユニット(これらの両方が図2には示されない)を表すことができ、このソフトウェア命令はたとえば、ソフトウェアまたはコンピュータプログラムを定義するために使用され、本明細書で説明される技法を1つまたは複数のプロセッサに実行させるための命令を記憶する非一時的コンピュータ可読記憶媒体(やはり図2には示されない)、たとえば、ストレージデバイス(たとえば、ディスクドライブまたは光学ドライブ)、またはメモリ(フラッシュメモリ、ランダムアクセスメモリすなわちRAMのような)、または任意の他のタイプの揮発性メモリもしくは非揮発性メモリに記憶される。あるいは、制御ユニット30は、本明細書で説明される技法を実行するための、1つまたは複数の集積回路、1つまたは複数の特定用途向け集積回路(ASIC)、1つまたは複数の特定用途向け特別プロセッサ(ASSP)、1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)、または、専用のハードウェアの前述の例の1つまたは複数の任意の組合せのような、専用のハードウェアを表し得る。
[0059]制御ユニット30は、データ取り出しエンジン32と、電力分析モジュール34と、オーディオレンダリングエンジン36とを実行することができ、またはそうでなければ、それらを実装するように構成され得る。データ取り出しエンジン32は、モバイルデバイス18A(さらには、残りのモバイルデバイス18B〜18N)からモバイルデバイスデータ60を取り出すように、または別様に受信するように構成される、モジュールまたはユニットを表し得る。データ取り出しエンジン32は、位置がモバイルデバイスデータ62を介してモバイルデバイス18Aによって提供されないとき、ヘッドエンドデバイス14に対してモバイルデバイス18Aの位置を決定する、位置モジュール38を含み得る。データ取り出しエンジン32は、この決定された位置を含めるようにモバイルデバイスデータ60を更新することができ、これによって、更新されたモバイルデバイスデータ64を生成する。
[0060]電力分析モジュール34は、モバイルデバイスデータ60の一部としてモバイルデバイス18によって報告される電力消費データを処理するように構成される、モジュールまたはユニットを表す。電力消費データは、モバイルデバイス18Aのバッテリーサイズと、オーディオ増幅器の定格電力と、スピーカー20Aのモデルおよび効率と、異なる処理(ワイヤレスオーディオチャンネルの処理を含む)に対するモバイルデバイス18Aの電力プロファイルとを含み得る。電力分析モジュール34は、この電力消費データを処理して精緻化された電力データ62を決定することができ、この精緻化された電力データ62はデータ取り出しエンジン32に戻される。精緻化された電力データ62は、現在の電力レベルまたは容量、所与の長さの時間における意図される電力消費率などを規定することができる。データ取り出しエンジン32は次いで、この精緻化された電力データ62を含めるようにモバイルデバイスデータ60を更新することができ、これによって、更新されたモバイルデバイスデータ64を生成する。いくつかの例では、電力分析モジュール34は、オーディオレンダリングエンジン36に直接、精緻化された電力データ62を提供し、オーディオレンダリングエンジン36は、この精緻化された電力データ62を更新されたモバイルデバイスデータ64と組み合わせて、更新されたモバイルデバイスデータ64をさらに更新する。
[0061]オーディオレンダリングエンジン36は、更新されたモバイルデバイスデータ64を受信し、更新されたモバイルデバイスデータ64に基づいてソースオーディオデータ37を処理するように構成される、モジュールまたはユニットを表す。オーディオレンダリングエンジン36は、以下でより詳細に説明される任意の数の方法で、ソースオーディオデータ37を処理することができる。単一のモバイルデバイス、すなわち図2の例ではモバイルデバイス18Aからの、更新されたモバイルデバイスデータ64に関して、ソースオーディオデータ37のみを処理するものとして示されるが、データ取り出しエンジン32および電力分析モジュール64は、モバイルデバイス18の各々からモバイルデバイスデータ60を取り出して、モバイルデバイス18の各々に対する更新されたモバイルデバイスデータ64を生成することができ、そうすると、オーディオレンダリングエンジン36は、更新されたモバイルデバイスデータ64の各々の例または複数の例の組合せ(モバイルデバイス18の2つ以上が協調的サラウンドサウンドシステム10の単一のスピーカーを形成するために利用されるときなど)に基づいて、ソースオーディオデータ37をレンダリングすることができる。オーディオレンダリングエンジン36は、モバイルデバイス18による再生のために、レンダリングオーディオ信号66を出力する。
[0062]図2にさらに示されるように、モバイルデバイス18Aは、制御ユニット40とスピーカー20Aとを含む。制御ユニット40は、ヘッドエンドデバイス14の制御ユニット30と同様であり、または実質的に同様であり得る。スピーカー20Aは、処理されたオーディオ信号66の再生を介してモバイルデバイスがソースオーディオデータ37をそれによって再生できる、1つまたは複数のスピーカーを表す。
[0063]制御ユニット40は、協調的サウンドシステムアプリケーション42とオーディオ再生モジュール44とを実行することができ、またはそうでなければ、これらを実装するように構成され得る。協調的サウンドシステムアプリケーション42は、ヘッドエンドデバイス14とのワイヤレスセッション22Aを確立し、次いでこのワイヤレスセッション22Aを介してヘッドエンドデバイス14にモバイルデバイスデータ60を通信するように構成される、モジュールまたはユニットを表し得る。協調的サウンドシステムアプリケーション42はまた、レンダリングされたオーディオ信号66の再生に影響を与え得るモバイルデバイス60の状態の変化を協調的サウンドシステムアプリケーション42が検出するとき、モバイルデバイスデータ60を定期的に送信することができる。オーディオ再生モジュール44は、オーディオデータまたは信号を再生するように構成される、モジュールまたはユニットを表し得る。オーディオ再生モジュール44は、レンダリングされたオーディオ信号66を再生のためにスピーカー20Aに提供することができる。
[0064]協調的サウンドシステムアプリケーション42は、モバイルデバイスデータ60を収集するように構成されるモジュールまたはユニットを表す、データ収集エンジン46を含み得る。データ収集エンジン46は、位置モジュール48と、電力モジュール50と、スピーカーモジュール52とを含み得る。位置モジュール48は、可能であれば、全地球測位システム(GPS)を使用して、またはワイヤレスネットワーク三角測量を通じて、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を決定することができる。しばしば、位置モジュール48は、本開示で説明された技法をヘッドエンドデバイス14が適切に実行することを可能にするのに十分な精度で、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を突き止めることが不可能であることがある。
[0065]この場合、位置モジュール48は次いで、ヘッドエンドデバイス14の制御ユニット30によって実行または実装される位置モジュール38と協調することができる。位置モジュール38は、トーン61または他の音を位置モジュール48に送信することができ、位置モジュール48は、オーディオ再生モジュール44がスピーカー20Aにこのトーン61を再生させるように、オーディオ再生モジュール44とインターフェースをとることができる。トーン61は、所与の周波数のトーンを備え得る。しばしば、トーン61は、人の聴覚系によって知覚されることのケーブルである周波数範囲にない。位置モジュール38は次いで、モバイルデバイス18Aのスピーカー20Aによるこのトーン61の再生を検出することができ、このトーン61の再生に基づいて、モバイルデバイス18Aの位置を導出し、または別様に決定することができる。
[0066]電力モジュール50は、上で述べられた電力消費データを決定するように構成されるユニットまたはモジュールを表し、この電力消費データはやはり、モバイルデバイス18Aのバッテリーのサイズと、オーディオ再生モジュール44によって利用されるオーディオ増幅器の定格電力と、スピーカー20Aのモデルおよび電力効率と、モバイルデバイス18Aの制御ユニット40によって実行される様々な処理の電力プロファイル(ワイヤレスオーディオチャンネルの処理を含む)とを含み得る。電力モジュール50は、システムファームウェアから、制御ユニット40によって実行されるオペレーティングシステムから、または、様々なシステムデータを調査することから、この情報を決定することができる。いくつかの例では、電力モジュール50は、ネットワーク(インターネットのような)においてアクセス可能なファイルサーバまたは何らかの他のデータソースにアクセスすることができ、この電力消費データの様々な態様を取り出すために、タイプ、バージョン、製造業者、またはモバイルデバイス18Aを特定する他のデータをファイルサーバに提供する。
[0067]スピーカーモジュール52は、スピーカーの特性を決定するように構成される、モジュールまたはユニットを表す。電力モジュール50と同様に、スピーカーモジュール52は、スピーカー20Aの周波数範囲、スピーカー20Aの最大音量レベル(デシベル(dB)で表されることが多い)、スピーカー20Aの周波数応答などを含む、スピーカー20Aの様々な特性を収集し、または別様に決定することができる。スピーカーモジュール52は、システムファームウェアから、制御ユニット40によって実行されるオペレーティングシステムから、または、様々なシステムデータを調査することから、この情報を決定することができる。いくつかの例では、スピーカーモジュール52は、ネットワーク(インターネットのような)においてアクセス可能なファイルサーバまたは何らかの他のデータソースにアクセスすることができ、このスピーカー特性データの様々な態様を取り出すために、タイプ、バージョン、製造業者、またはモバイルデバイス18Aを特定する他のデータをファイルサーバに提供する。
[0068]最初に、上で説明されたように、モバイルデバイス18Aのユーザまたは他の操作者は、制御ユニット40とインターフェースをとり、協調的サウンドシステムアプリケーション42を実行する。制御ユニット40は、このユーザ入力に応答して、協調的サウンドシステムアプリケーション42を実行する。協調的サウンドシステムアプリケーション42がヘッドエンドデバイスデバイス14を見つけられると仮定すると、ユーザは、協調的サウンドシステムアプリケーション42を実行すると、協調的サウンドシステムアプリケーション42とインターフェースをとり(しばしば、例示を簡単にするために図2の例では示されないグラフィカルユーザインターフェースを提示するタッチディスプレイを介して)ヘッドエンドデバイス14にモバイルデバイス18Aを登録することができる。ヘッドエンドデバイス14を見つけることができない場合、協調的サウンドシステムアプリケーション42は、ヘッドエンドデバイス14を見つけることに関するあらゆる課題をユーザが解決するのを助けることができ、場合によっては、たとえばヘッドエンドデバイス14とモバイルデバイス18Aの両方が同じワイヤレスネットワークまたはPANに接続されることを確実にするための、トラブルシューティング情報を提供する。
[0069]いずれにしても、協調的サウンドシステムアプリケーション42がヘッドエンドデバイス14を見つけ、ヘッドエンドデバイス14にモバイルデバイス18Aを登録するのに成功すると仮定すると、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を呼び出してモバイルデバイスデータ60を取り出すことができる。データ収集エンジン46を呼び出す際に、位置モジュール48は、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を決定するのを試みることができ、場合によっては、上で説明された方式でヘッドエンドデバイス14がヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を突き止めることを可能にするために、トーン61を使用して位置モジュール38と協調する。
[0070]上で述べられたようなトーン61は、モバイルデバイス18Aを、ヘッドエンドデバイス14に対するそれぞれの位置を決定するために位置モジュール38と協調することも試みている可能性のある協調的サラウンドサウンドシステム10に加わっている他のモバイルデバイス18B〜18Nと区別するために、所与の周波数であり得る。言い換えると、ヘッドエンドデバイス14は、第1の周波数を有するトーン61とモバイルデバイス18Aを関連付けることができ、第2の異なる周波数を有するトーンとモバイルデバイス18Bを関連付けることができ、第3の周波数を有するトーンとモバイルデバイス18Cを関連付けることができ、以下同様である。このようにして、ヘッドエンドデバイス14は、モバイルデバイス18の各々を順次見つけるのではなく、モバイルデバイス18の複数を同時に並行して見つけることができる。
[0071]電力モジュール50およびスピーカーモジュール52は、上で説明された方式で、電力消費データとスピーカー特性データとを収集することができる。データ収集エンジン46は、このデータを集約して、モバイルデバイスデータ60を形成することができる。データ収集エンジン46は、モバイルデバイスデータ60が、モバイルデバイス18Aの位置(可能であれば)、スピーカー20Aの周波数応答、スピーカー20Aの最大の許容可能なサウンド再生レベル、モバイルデバイス18Aに含まれるバッテリーのバッテリー状態とモバイルデバイス18Aへの電力供給、モバイルデバイス18Aの同期状態、およびモバイルデバイス18Aのヘッドフォン状態(たとえば、ヘッドフォンジャックが現在使用されていてスピーカー20Aの使用を妨げるかどうか)のうちの1つまたは複数を規定するように、モバイルデバイスデータ60を生成することができる。データ収集エンジン46は次いで、ヘッドエンドデバイス14の制御ユニット30によって実行されるデータ取り出しエンジン32に、このモバイルデバイスデータ60を送信する。
[0072]データ取り出しエンジン32は、このモバイルデバイスデータ60を解析して、電力消費データを電力分析モジュール34に提供することができる。上で説明されたように、電力分析モジュール34は、この電力消費データを処理して精緻化された電力データ62を生成することができる。データ取り出しエンジン32はまた、位置モジュール38を呼び出して、上で説明された方式で、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を決定することができる。データ取り出しエンジン32は次いで、決定された位置(必要であれば)と精緻化された電力データ62とを含めるようにモバイルデバイスデータ60を更新することができ、この更新されたモバイルデバイスデータ60をオーディオレンダリングエンジン36に渡す。
[0073]オーディオレンダリングエンジン36は次いで、更新されたモバイルデバイスデータ64に基づいて、ソースオーディオデータ37をレンダリングすることができる。オーディオレンダリングエンジン36は次いで、協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーとしてモバイルデバイス18のスピーカー20Aを利用するように、協調的サラウンドサウンドシステム10を構成することができる。オーディオレンダリングエンジン36はまた、モバイルデバイス18Aのスピーカー20Aがレンダリングされたオーディオ信号66を再生するときに、レンダリングされたオーディオ信号66のオーディオ再生が、モバイルデバイス18Aのようなモバイルデバイス18の少なくとも1つの決定された位置とは異なる位置に配置されているように見えることがやはり多い、協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。
[0074]例示すると、オーディオレンダリングエンジン36は、協調的サラウンドサウンドシステム10の仮想スピーカーの各々がソースオーディオデータ37を発生させているように見えるべきである、スピーカー領域を特定することができる。ソースオーディオデータ37をレンダリングするとき、オーディオレンダリングエンジン36は次いで、レンダリングされたオーディオ信号66がモバイルデバイス18のスピーカー20によって再生されるときに、レンダリングされたオーディオ信号66のオーディオ再生が、スピーカー領域の対応する特定された1つの中の位置にある協調的サラウンドサウンドシステム10の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。
[0075]この方式でソースオーディオデータ37をレンダリングするために、オーディオレンダリングエンジン36は、モバイルデバイス18Aを移動するようにユーザに促すのを避けるために、モバイルデバイス18の1つ、たとえばモバイルデバイス18Aの位置に基づいてソースオーディオデータ37をレンダリングするためのオーディオ前処理関数を構成することができる。モバイルデバイスの移動が部屋の中の他の聴取者を妨害することがあることを考慮すると、デバイスを移動するようにユーザに促すのを避けることは、オーディオデータの再生が開始した後のような、いくつかの例では必要であり得る。オーディオレンダリングエンジン36は次いで、ソースオーディオデータ37の少なくとも一部分をレンダリングするときに構成されたオーディオ前処理関数を使用して、モバイルデバイス18Aの位置に適合するような方式でソースオーディオデータの再生を制御することができる。
[0076]加えて、オーディオレンダリングエンジン36は、モバイルデバイスデータ60の他の態様に基づいて、ソースオーディオデータ37をレンダリングすることができる。たとえば、オーディオレンダリングエンジン36は、1つまたは複数のスピーカー特性に基づいて(たとえばモバイルデバイス18Aのスピーカー20Aの周波数範囲に、または、別の例としてモバイルデバイス18Aのスピーカー20Aの最大音量に適合するように)、ソースオーディオデータ37をレンダリングするときに使用するためのオーディオ前処理関数を構成することができる。オーディオレンダリングエンジン36は次いで、構成されたオーディオ前処理関数に基づいてソースオーディオデータ37の少なくとも一部分をレンダリングして、モバイルデバイス18Aのスピーカー20Aによるレンダリングされたオーディオ信号66の再生を制御することができる。
[0077]オーディオレンダリングエンジン36は次いで、レンダリングされたオーディオ信号66またはその一部分をモバイルデバイス18に送り、または別様に送信することができる。
[0078]図3A〜図3Cは、本開示で説明される協調的サラウンドサウンドシステムの技法を実行する際の、ヘッドエンドデバイス14およびモバイルデバイス18の例示的な動作を示すフローチャートである。モバイルデバイス18の特定の1つ、すなわち図2および図3A〜図3Cの例ではモバイルデバイス18Aに関して以下では説明されるが、本技法は、モバイルデバイス18Aに関して本明細書で説明されたものと同様の方式で、モバイルデバイス18B〜18Nによって実行され得る。
[0079]最初に、モバイルデバイス18Aの制御ユニット40が、協調的サウンドシステムアプリケーション42を実行することができる(80)。協調的サウンドシステムアプリケーション42はまず、ワイヤレスネットワーク上でヘッドエンドデバイス14の存在を見つけることを試みることができる(82)。協調的サウンドシステムアプリケーション42がネットワーク上でヘッドエンドデバイス14を見つけることができない場合(「いいえ」84)、モバイルデバイス18Aは、ネットワーク上でヘッドエンドデバイス14を見つけることを試み続けることができ、一方でまた、場合によっては、ヘッドエンドデバイス14を見つける際にユーザを支援するためのトラブルシューティング情報を提示する(82)。しかしながら、協調的サウンドシステムアプリケーション42がヘッドエンドデバイス14を見つける場合(「はい」84)、協調的サウンドシステムアプリケーション42は、セッション22Aを確立し、セッション22Aを介してヘッドエンドデバイス14に登録することができ(86)、スピーカー20Aを含み協調的サラウンドサウンドシステム10に加わることが可能なデバイスとしてヘッドエンドデバイス14がモバイルデバイス18Aを特定することを効果的に可能にする。
[0080]ヘッドエンドデバイス14に登録した後で、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を呼び出すことができ、データ収集エンジン46は上で説明された方式でモバイルデバイスデータ60を収集する(88)。データ収集エンジン46は次いで、モバイルデバイスデータ60をヘッドエンドデバイス14に送信することができる(90)。ヘッドエンドデバイス14のデータ取り出しエンジン32は、モバイルデバイスデータ60を受信し(92)、このモバイルデバイスデータ60がヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を規定する位置データを含むかどうかを判定する(94)。ヘッドエンドデバイス14がモバイルデバイス18Aを正確に位置決定することを可能にするには位置データが不十分である場合(30フィートの精度しかないGPSデータなど)、または、位置データがモバイルデバイスデータ60の中に存在しない場合(「いいえ」94)、データ取り出しエンジン32は、位置モジュール38を呼び出すことができ、位置モジュール38は、協調的サウンドシステムアプリケーション42によって呼び出されるデータ収集エンジン46の位置モジュール48とインターフェースをとり、トーン61をモバイルデバイス18Aの位置モジュール48に送信する(96)。モバイルデバイス18Aの位置モジュール48は次いで、このトーン61をオーディオ再生モジュール44に渡し、オーディオ再生モジュール44は、スピーカー20Aとインターフェースをとってトーン61を再生する(98)。
[0081]一方、ヘッドエンドデバイス14の位置モジュール38は、トーン61を送信した後で、マイクロフォンとインターフェースをとり、スピーカー20Aによるトーン61の再生を検出することができる(100)。ヘッドエンドデバイス14の位置モジュール38は次いで、トーン61の検出された再生に基づいて、モバイルデバイス18Aの位置を決定することができる(102)。トーン61を使用してモバイルデバイス18Aの位置を決定した後で、ヘッドエンドデバイス18のデータ取り出しモジュール32は、決定された位置を含めるようにモバイルデバイスデータ60を更新することができ、これによって、更新されたモバイルデバイスデータ64を生成する(図3B、104)。
[0082]位置データがモバイルデバイスデータ60の中に存在すると(または、ヘッドエンドデバイス14がヘッドエンドデバイス14に対してモバイルデバイス18Aを位置決定することを可能にするのに、位置データが十分正確であると)データ取り出しモジュール32が判定する場合、または、決定された位置を含めるように更新されたモバイルデバイスデータ64を生成した後で、データ取り出しモジュール32は、ヘッドエンドデバイス14に登録されたモバイルデバイス18の各々からモバイルデバイスデータ60を取り出すのを終了したかどうかを判定することができる(106)。ヘッドエンドデバイス14のデータ取り出しモジュール32がモバイルデバイス18の各々からモバイルデバイスデータ60を取り出すのを終了していない場合(「いいえ」106)、データ取り出しモジュール32は、上で説明された方式で(92〜106)、モバイルデバイスデータ60を取り出すことと、更新されたモバイルデバイスデータ64を生成することとを続ける。しかしながら、データ取り出しモジュール32が、モバイルデバイスデータ60を収集することと更新されたモバイルデバイスデータ64を生成することとを終了したと判定する場合(「はい」106)、データ取り出しモジュール32は、更新されたモバイルデバイスデータ64をオーディオレンダリングエンジン36に渡す。
[0083]オーディオレンダリングエンジン36は、この更新されたモバイルデバイスデータ64を受信したことに応答して、ソースオーディオデータ37を取り出すことができる(108)。オーディオレンダリングエンジン36は、ソースオーディオデータ37をレンダリングするとき、まず、マルチチャンネルソースオーディオデータ37の再生に適合するためにスピーカーが配置されるべきである領域を表す、スピーカー領域を決定することができる(110)。たとえば、5.1チャンネルのソースオーディオデータは、フロントレフトチャンネルと、センターチャンネルと、フロントライトチャンネルと、サラウンドレフトチャンネルと、サラウンドライトチャンネルと、サブウーファーチャンネルとを含む。サブウーファーチャンネルは、低い周波数が通常はヘッドエンドデバイスに対するサブウーファーの位置とは無関係に十分な効果を与えることを考慮すると、指向的ではなく、または考慮に値しない。しかしながら、他の5つのチャンネルは、しかしながら、没入感のあるオーディオ再生のための最良のサウンドステージを提供するための、特定の位置に対応し得る。オーディオレンダリングエンジン36は、いくつかの例では、位置モジュール38とインターフェースをとって部屋の境界を導き出すことができ、これによって、位置モジュール38は、壁、人々、家具などの位置を特定するために、スピーカー16および/またはスピーカー20の1つまたは複数にトーンまたは音を放出させ得る。この部屋または物体の位置情報に基づいて、オーディオレンダリングエンジン36は、フロントレフトスピーカー、センタースピーカー、フロントライトスピーカー、サラウンドレフトスピーカー、およびサラウンドライトスピーカーの各々に対するスピーカー領域を決定することができる。
[0084]これらのスピーカー領域に基づいて、オーディオレンダリングエンジン36は、協調的サラウンドサウンドシステム10の仮想スピーカーの位置を決定することができる(112)。すなわち、オーディオレンダリングエンジン36は、部屋または物体の位置情報に対して最適または準最適な位置にあることが多いスピーカー領域の各々の中に仮想スピーカーを配置することができる。オーディオレンダリングエンジン36は次いで、モバイルデバイスデータ18に基づいて、モバイルデバイス18を各仮想スピーカーに割り当てることができる(114)。
[0085]たとえば、オーディオレンダリングエンジン36はまず、更新されたモバイルデバイスデータ60において規定されるモバイルデバイス18の各々の位置を考慮することができ、それらのデバイスを、モバイルデバイス18の決定された位置に最も近い仮想位置を有する仮想スピーカーに割り当てる。オーディオレンダリングエンジン36は、モバイルデバイス18の2つ以上を仮想スピーカーに割り当てるべきかどうかを、現在割り当てられているモバイルデバイス18が仮想スピーカーの位置にどの程度近いかに基づいて、判定することができる。その上、上で説明されたように、オーディオレンダリングエンジン36は、2つ以上のモバイルデバイス18の1つと関連付けられる精緻化された電力データ62がソースオーディオデータ37の全体を再生するのには不十分であるとき、モバイルデバイス18の2つ以上を同じ仮想スピーカーに割り当てると決定することができる。やはり上で説明されたように、オーディオレンダリングエンジン36はまた、スピーカー特性を含むモバイルデバイスデータ60の他の態様に基づいて、これらのモバイルデバイス18を割り当てることができる。
[0086]オーディオレンダリングエンジン36は次いで、スピーカー16およびスピーカー20の各々について上で説明された方式でソースオーディオデータ37からオーディオ信号をレンダリングすることができ、仮想スピーカーの位置および/またはモバイルデバイスデータ60に基づいて、オーディオ信号を効果的にレンダリングする(116)。言い換えると、オーディオレンダリングエンジン36は次いで、上でより詳細に説明されたように、ソースオーディオデータ37をレンダリングするように前処理関数をインスタンス化し、または別様に定義することができる。このようにして、オーディオレンダリングエンジン36は、仮想スピーカーの位置およびモバイルデバイスデータ60に基づいて、ソースオーディオデータ37をレンダリングし、または別様に処理することができる。上で述べられたように、オーディオレンダリングエンジン36は、このオーディオデータを処理するとき、モバイルデバイス18の各々からのモバイルデバイスデータ60を総体または全体として考え、それでも、オーディオソースデータ60からレンダリングされた別々のオーディオ信号をモバイルデバイス18の各々に送信することができる。したがって、オーディオレンダリングエンジン36は、レンダリングされたオーディオ信号66をモバイルデバイス18に送信する(図3C、120)。
[0087]このレンダリングされたオーディオ信号66を受信したことに応答して、協調的サウンドシステムアプリケーション42は、オーディオ再生モジュール44とインターフェースをとり、オーディオ再生モジュール44は次いで、スピーカー20Aとインターフェースをとってレンダリングされたオーディオ信号66を再生する(122)。上で述べられたように、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を定期的に呼び出して、モバイルデバイスデータ60のいずれかが変化したか、または更新されたかどうかを判定することができる(124)。モバイルデバイスデータ60が変化していない場合(「いいえ」124)、モバイルデバイス18Aは、レンダリングされたオーディオ信号66を再生し続ける(122)。しかしながら、モバイルデバイスデータ60が変化した、または更新されている場合(「はい」124)、データ収集エンジン46は、この変更されたモバイルデバイスデータ60をヘッドエンドデバイス14のデータ取り出しエンジン32に送信することができる(126)。
[0088]データ取り出しエンジン32は、この変更されたモバイルデバイスデータをオーディオレンダリングエンジン36に渡すことができ、オーディオレンダリングエンジン36は、変更されたモバイルデバイスデータ60に基づいて、仮想スピーカーの構築を介してモバイルデバイス18Aが割り当てられているオーディオ信号をレンダリングするための前処理関数を修正することができる。以下でより詳細に説明されるように、一般的に更新されるまたは変更されるモバイルデバイスデータ60は、一例として、電力消費の変化により、または、オーディオ再生を中断させる音声呼のような別のタスクのためにモバイルデバイス18Aが前から使用されていたことが原因で、変化する。
[0089]いくつかの例では、データ取り出しエンジン32は、データ取り出しモジュール32の位置モジュール38がモバイルデバイス18の位置の変化を検出し得るという意味で、モバイルデバイスデータ60が変化したと判定することができる。言い換えると、データ取り出しモジュール32は、位置モジュール38を定期的に呼び出して、モバイルデバイス18の現在の位置を決定することができる(または代替的に、位置モジュール38はモバイルデバイス18の位置を継続的に監視することができる)。位置モジュール38は次いで、モバイルデバイス18の1つまたは複数が移動されたかどうかを判定することができ、これによって、オーディオレンダリングエンジン36が、モバイルデバイス18の位置の進行中の変化(たとえば、ユーザがテキストメッセージを見るためにモバイルデバイスを手に取り、次いでモバイルデバイスを異なる位置に置く場合に起こり得るような)に適合するように前処理関数を動的に修正することを可能にする。したがって、本技法は、モバイルデバイス18が再生の間に移動または再配置され得るとしても、再生全体の間、最適な位置の少なくとも近くに仮想スピーカーがとどまることを場合によっては確実にするために、動的な場面において適用され得る。
[0090]図4は、本開示で説明される技法に従って形成される、別の協調的サラウンドサウンドシステム140を示すブロック図である。図4の例では、オーディオソースデバイス142、ヘッドエンドデバイス144、フロントレフトスピーカー146A、フロントライトスピーカー146B、およびモバイルデバイス148A〜148Cは、図1、図2、図3A〜図3Cに関してそれぞれ上で説明された、オーディオソースデバイス12、ヘッドエンドデバイス14、フロントレフトスピーカー16A、フロントライトスピーカー16B、およびモバイルデバイス18A〜18Nと実質的に同様であり得る。
[0091]図4の例に示されるように、ヘッドエンドデバイス144は、協調的サラウンドサウンドシステム140が動作する部屋を、5つの別々のスピーカー領域152A〜152E(「領域152」)に分割する。これらの領域152を決定した後で、ヘッドエンドデバイス144は、領域152の各々に対して仮想スピーカー154A〜154E(「仮想スピーカー154」)の位置を決定することができる。
[0092]領域152Aおよび152Bの各々に対して、ヘッドエンドデバイス144は、仮想スピーカー154Aおよび154Bの位置がフロントレフトスピーカー146Aおよびフロントライトスピーカー146Bの位置にそれぞれ近い、または一致すると判定する。領域152Cに対して、ヘッドエンドデバイス144は、仮想スピーカー154Cの位置がモバイルデバイス148A〜148C(「モバイルデバイス148」)のいずれとも重複しないと判定する。結果として、ヘッドエンドデバイス144は、領域152Cを探索して、領域152Cの中に位置する、またはその中に部分的に位置するあらゆるモバイルデバイス148を特定する。この探索を実行する際、ヘッドエンドデバイス144は、モバイルデバイス148Aおよび148Bが領域152Cの中に位置する、またはその中に少なくとも部分的に位置すると判定する。ヘッドエンドデバイス144は次いで、これらのモバイルデバイス148Aと148Bとを、仮想スピーカー154Cに割り当てる。ヘッドエンドデバイス144は次いで、音が仮想スピーカー154Cから発生しているかのように見えるように、モバイルデバイス148Aによる再生のためにソースオーディオデータからサラウンドレフトチャンネルをレンダリングするように第1の前処理関数を定義する。ヘッドエンドデバイス144はまた、音が仮想スピーカー154Cから発生しているかのように、モバイルデバイス148Bによる再生のためにソースオーディオデータからサラウンドライトチャンネルの第2の実体をレンダリングするように第2の前処理関数を定義する。
[0093]ヘッドエンドデバイス144は次いで、仮想スピーカー154Dを考慮することができ、モバイルデバイス148Cの位置が仮想スピーカー154Dの位置と重複する(しばしば、定義された、または設定された閾値の範囲内にある)という点で、モバイルデバイス148Cが領域152Dの中の最適に近い位置に配置されていると判定する。ヘッドエンドデバイス144は、モバイルデバイス148Cと関連付けられるモバイルデバイスデータの他の態様に基づいて、サラウンドライトチャンネルをレンダリングするための前処理関数を定義することができるが、このサラウンドライトチャンネルが発生しているように見える箇所を修正するように前処理関数を定義する必要はないことがある。
[0094]ヘッドエンドデバイス144は次いで、仮想スピーカー154Eを支援できるセンタースピーカーがセンタースピーカー領域152E内にないと判定することができる。結果として、ヘッドエンドデバイス144は、フロントレフトスピーカー146Aおよびフロントライトスピーカー146Bがそれら両方のそれぞれのフロントレフトチャンネルとフロントライトチャンネルとセンターチャンネルとを再生するように、ソースオーディオデータからセンターチャンネルをレンダリングしてフロントレフトチャンネルとフロントライトチャンネルの両方とセンターチャンネルをクロスミックスする、前処理関数を定義することができる。この前処理関数は、音が仮想スピーカー154Eの位置から再生されているかのように見えるように、センターチャンネルを修正することができる。
[0095]ソースオーディオデータが仮想スピーカー154Cおよび仮想スピーカー154Eのような仮想スピーカーから発生しているように見えるようにソースオーディオデータを処理する前処理関数を定義するとき、スピーカー150の1つまたは複数がこれらの仮想スピーカーの意図される位置に位置していないとき、ヘッドエンドデバイス144は、本開示で説明される技法のうちの、拘束ベクトルに基づく動的振幅パンニングの態様を実行することができる。ペアのスピーカー(2次元に対しては2つのスピーカー、かつ3次元に対しては3つのスピーカー)のみに基づく、ベクトルに基づく振幅パンニング(VBAP)を実行するのではなく、ヘッドエンドデバイス144は、3つ以上のスピーカーに対して、拘束ベクトルに基づく動的振幅パンニングの技法を実行することができる。拘束ベクトルに基づく動的振幅パンニングの技法は、現実的な制約に基づき得るので、VBAPと比較して高い自由度をもたらす。
[0096]例示すると、3つのラウドスピーカーが左後の角に(かつ、したがって、サラウンドレフトスピーカー領域152Cに)位置し得る、以下の例を考える。この例では、[p1 p2]Tが与えられると、ベクトルは、仮想ソースの電力と位置とを表す、[l11 l12]T、[l21 l22]T、[l31 l32]T、によって示され得る、3つのベクトルが定義され得る。ヘッドエンドデバイス144は次いで、次の式を解くことができる。
は、ヘッドエンドデバイス144が計算する必要のあり得る未知数である。
を解くことは、典型的な多未知数の問題であり、通常の解法は、ヘッドエンドデバイス144が最小ノルムの解を求めることを伴う。ヘッドエンドデバイス144がL2ノルムを使用してこの方程式を解くと仮定すると、ヘッドエンドデバイス144は次の式を解く。
[0098]ヘッドエンドデバイス144は、制約に基づいてベクトルを操作することによって、g1と、g2と、g3とをある方法で制約することができる。ヘッドエンドデバイス144は次いで、次のように、スカラー電力係数a1と、a2と、a3とを加算することができる。
[0099]サラウンドレフト領域152Cの中に位置する3つのスピーカーの各々に対する適切な利得を提供する解である、L2ノルムの解を使用するとき、ヘッドエンドデバイス144は、仮想的に配置されたラウドスピーカーを生成することができ、同時に、利得のべき和は、ヘッドエンドデバイス144が固有の電力消費の限度に対する制約のもとですべての利用可能な3つのラウドスピーカーに対する電力消費を適切に分配できるように、最小限であることに留意されたい。
[0100]例示すると、第2のデバイスのバッテリー電力がなくなりつつある場合、ヘッドエンドデバイス144は、他の電力a1およびa3と比較して、a2を小さくすることができる。より具体的な例として、ヘッドエンドデバイス144が3つのラウドスピーカーベクトル[1 0]T、
である。しかしながら、バッテリー、またはラウドスピーカーごとの固有の最大音量のような、いくつかの理由で、ヘッドエンドデバイス144は、第2のラウドスピーカーの音量を下げる必要があることがあり、第2のベクトルは
となる。この例では、ヘッドエンドデバイス144は第2のラウドスピーカーの利得を下げ得るが、それでも仮想画像は同じままであり、またはほとんど同じ位置にとどまる。
[0101]上で説明されたこれらの技法は、次のように一般化され得る。
1.スピーカーの1つまたは複数が周波数に依存する制約を有するとヘッドエンドデバイス144が判定する場合、ヘッドエンドデバイスは、短時間フーリエ変換を含む任意の種類のフィルタバンク分析と合成とを介して、
に依存するように上の式を定義することができ、kは周波数インデックスである。
2.ヘッドエンドデバイス144は、検出された位置に基づいてベクトルを割り振ることによって、これを任意のN≧2個のラウドスピーカーの場合に拡張することができる。
3.ヘッドエンドデバイス144は、適切な電力利得の制約との任意の組合せを任意にグループ化することができ、この電力利得の制約は重複していることも重複していないこともある。いくつかの例では、ヘッドエンドデバイス144は、すべてのラウドスピーカーを同時に使用して、5つ以上の異なる位置に基づく音を生成することができる。いくつかの例では、ヘッドエンドデバイス144は、各々の指定された領域、たとえば、図4に示される5つのスピーカー領域152の中のラウドスピーカーをグループ化することができる。1つの領域の中に1つしかない場合、ヘッドエンドデバイス144は、その領域に対するグループを次の領域に拡張することができる。
4.いくつかのデバイスが移動している場合、または協調的サラウンドサウンドシステム140に登録されているだけである場合、ヘッドエンドデバイス144は、対応する基本ベクトルを更新(変更または加算)して、各スピーカーに対する利得を計算することができ、この利得は調整される可能性が高い。
5.L2ノルムに関して上で説明されるが、ヘッドエンドデバイス144は、この最小ノルムの解を求めるために、L2ノルム以外の異なるノルムを利用することができる。たとえば、L0ノルムを使用するとき、ヘッドエンドデバイス144は、低利得の解を計算することができ、これは、L2ノルムの場合の小利得のラウドスピーカーが0利得のラウドスピーカーになることを意味する。
という問題と組み合わさられ得る。
[0102]このようにして、ヘッドエンドデバイス144は、協調的サラウンドサウンドシステム140に加わるモバイルデバイス150Aに対して、協調的サラウンドサウンドシステム140の仮想スピーカー154Cの規定された位置を特定することができる。ヘッドエンドデバイス144は次いで、予想される電力期間のような、モバイルデバイスによるマルチチャンネルオーディオデータの再生に影響を与える制約を決定することができる。ヘッドエンドデバイス144は次いで、モバイルデバイス150Aによるレンダリングされたオーディオ信号66の再生に対する決定された制約の影響を減らす方式でオーディオ信号66をレンダリングするために、決定された制約を使用して、ソースオーディオデータ37に対する上で説明された拘束ベクトルに基づく動的振幅パンニングを実行することができる。
[0103]加えて、ヘッドエンドデバイス144は、制約を決定するとき、モバイルデバイスがソースオーディオデータ37を再生するのに十分な電力を有するであろう予想される期間を示す、予想される電力期間を決定することができる。ヘッドエンドデバイス144は次いで、ソースオーディオデータ37の再生期間を示すソースオーディオ期間を決定することができる。ソースオーディオ期間が予想される電力期間を超えるとき、ヘッドエンドデバイス144は、予想される電力期間を制約として決定することができる。
[0104]その上、いくつかの例では、拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス144は、レンダリングされるオーディオ信号66を再生するための予想される電力期間がソースオーディオ期間より短くなるように、オーディオ信号66をレンダリングするために、決定された予想される電力期間を制約として使用して、ソースオーディオデータ37に対して拘束ベクトルに基づく動的振幅パンニングを実行することができる。
[0105]いくつかの例では、制約を決定するとき、ヘッドエンドデバイス144は、周波数に依存する制約を決定することができる。拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス144は、モバイルデバイス150Aによってレンダリングされるオーディオ信号66を再生するための予想される電力期間が一例としてソースオーディオデータ37の再生期間を示すソースオーディオ期間より短くなるように、オーディオ信号66をレンダリングするために、決定された周波数制約を使用して、ソースオーディオデータ37に対して拘束ベクトルに基づく動的振幅パンニングを実行することができる。
[0106]いくつかの例では、拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス144は、複数の仮想スピーカーの1つを支援する複数のモバイルデバイスを考慮することができる。上で述べられたように、いくつかの例では、ヘッドエンドデバイス144は、3つのモバイルデバイスに関して本技法のこの態様を実行することができる。予想される電力期間を制約として使用してソースオーディオデータ37に対する拘束ベクトルに基づく動的振幅パンニングを実行し、3つのモバイルデバイスが単一の仮想スピーカーを支援すると仮定するとき、ヘッドエンドデバイス144はまず、第1のモバイルデバイス、第2のモバイルデバイス、および第3のモバイルデバイスに対してそれぞれ、次の式に従って、音量利得g1と、g2と、g3とを計算することができる。
[0107]上で述べられたように、a1、a2、およびa3は、第1のモバイルデバイスに対するスカラー電力係数と、第2のモバイルデバイスに対するスカラー電力係数と、第3のモバイルデバイスに対するスカラー電力係数とを示す。l11、l12は、ヘッドエンドデバイス144に対する第1のモバイルデバイスの位置を特定するベクトルを示す。l21、l22は、ヘッドエンドデバイス144に対する第2のモバイルデバイスの位置を特定するベクトルを示す。l31、l32は、ヘッドエンドデバイス144に対する第3のモバイルデバイスの位置を特定するベクトルを示す。p1、p2は、第1のモバイルデバイス、第2のモバイルデバイス、および第3のモバイルデバイスによって支援される複数の仮想スピーカーの1つの、ヘッドエンドデバイス144に対する規定された位置を特定するベクトルを示す。
[0108]図5は、図1の協調的サラウンドサウンドシステム10の一部分をより詳細に示すブロック図である。図2に示される協調的サラウンドサウンドシステム10の部分は、ヘッドエンドデバイス14とモバイルデバイス18Aとを含む。例示を簡単にするために、単一のモバイルデバイス、すなわち図5の例ではモバイルデバイス18Aに関して以下で説明されるが、本技法は、複数のモバイルデバイス、たとえば図1の例に示されるモバイルデバイス18に関して実施され得る。
[0109]図5の例に示されるように、ヘッドエンドデバイス14は、追加の画像生成モジュール160も含む、図2の例に関して上で説明され示されるものと同じコンポーネントと、ユニットと、モジュールとを含む。画像生成モジュール160は、モバイルデバイス18Aのディスプレイデバイス164を介した表示のために1つまたは複数の画像170を生成し、ソースオーディオデバイス12のディスプレイデバイス166を介した表示のために1つまたは複数の画像172を生成するように構成される、モジュールまたはユニットを表す。画像170は、モバイルデバイス18Aが移動または配置されるべき方向または位置を規定し得る、任意の1つまたは複数の画像を表し得る。同様に、画像172は、モバイルデバイス18Aの現在の位置とモバイルデバイス18Aの所望のまたは意図される位置を示す、1つまたは複数の画像を表し得る。画像172はまた、モバイルデバイス18Aが移動されるべき方向を規定し得る。
[0110]同様に、モバイルデバイス18Aは、ディスプレイインターフェースモジュール168も含む、図2の例に関して上で説明され示されるものと同じコンポーネントと、ユニットと、モジュールとを含む。ディスプレイインターフェースモジュール168は、ディスプレイデバイス164とインターフェースをとるように構成される協調的サウンドシステムアプリケーション42のユニットまたはモジュールを表し得る。ディスプレイインターフェースモジュール168は、ディスプレイデバイス164とインターフェースをとって、画像170を送信し、またはそうでなければ、ディスプレイデバイス164に画像170を表示させることができる。
[0111]最初に、上で説明されたように、モバイルデバイス18Aのユーザまたは他の操作者は、制御ユニット40とインターフェースをとって、協調的サウンドシステムアプリケーション42を実行する。制御ユニット40は、このユーザ入力に応答して、協調的サウンドシステムアプリケーション42を実行する。協調的サウンドシステムアプリケーション42がヘッドエンドデバイスデバイス14を見つけられると仮定すると、ユーザは、協調的サウンドシステムアプリケーション42を実行すると、協調的サウンドシステムアプリケーション42とインターフェースをとり(しばしば、例示を簡単にするために図2の例では示されないグラフィカルユーザインターフェースを提示するタッチディスプレイを介して)ヘッドエンドデバイス14にモバイルデバイス18Aを登録することができる。ヘッドエンドデバイス14を見つけることができない場合、協調的サウンドシステムアプリケーション42は、ヘッドエンドデバイス14を見つけることに関するあらゆる課題をユーザが解決するのを助けることができ、場合によっては、たとえばヘッドエンドデバイス14とモバイルデバイス18Aの両方が同じワイヤレスネットワークまたはPANに接続されることを確実にするための、トラブルシューティング情報を提供する。
[0112]いずれにしても、協調的サウンドシステムアプリケーション42がヘッドエンドデバイス14を見つけ、ヘッドエンドデバイス14にモバイルデバイス18Aを登録するのに成功すると仮定すると、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を呼び出してモバイルデバイスデータ60を取り出すことができる。データ収集エンジン46を呼び出す際に、位置モジュール48は、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を決定するのを試みることができ、場合によっては、上で説明された方式でヘッドエンドデバイス14がヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を突き止めることを可能にするために、トーン61を使用して位置モジュール38と協調する。
[0113]上で述べられたようなトーン61は、モバイルデバイス18Aを、ヘッドエンドデバイス14に対するそれぞれの位置を決定するために位置モジュール38と協調することも試みている可能性のある協調的サラウンドサウンドシステム10に加わっている他のモバイルデバイス18B〜18Nと区別するために、所与の周波数であり得る。言い換えると、ヘッドエンドデバイス14は、第1の周波数を有するトーン61とモバイルデバイス18Aを関連付けることができ、第2の異なる周波数を有するトーンとモバイルデバイス18Bを関連付けることができ、第3の異なる周波数を有するトーンとモバイルデバイス18Cを関連付けることができ、以下同様である。この方式で、ヘッドエンドデバイス14は、モバイルデバイス18の各々を順次見つけるのではなく、モバイルデバイス18の複数を同時に並行して見つけることができる。
[0114]電力モジュール50およびスピーカーモジュール52は、上で説明された方式で、電力消費データとスピーカー特性データとを収集することができる。データ収集エンジン46は、このデータを集約して、モバイルデバイスデータ60を形成することができる。データ収集エンジン46は、モバイルデバイス18Aの位置(可能であれば)、スピーカー20Aの周波数応答、スピーカー20Aの最大の許容可能なサウンド再生レベル、モバイルデバイス18Aに含まれるバッテリーのバッテリー状態とモバイルデバイス18Aへの電力供給、モバイルデバイス18Aの同期状態、およびモバイルデバイス18Aのヘッドフォン状態(たとえば、ヘッドフォンジャックが現在使用されていてスピーカー20Aの使用を妨げるかどうか)のうちの1つまたは複数を規定する、モバイルデバイスデータ60を生成することができる。データ収集エンジン46は次いで、ヘッドエンドデバイス14の制御ユニット30によって実行されるデータ取り出しエンジン32に、このモバイルデバイスデータ60を送信する。
[0115]データ取り出しエンジン32は、このモバイルデバイスデータ60を解析して、電力消費データを電力分析モジュール34に提供することができる。上で説明されたように、電力分析モジュール34は、この電力消費データを処理して精緻化された電力データ62を生成することができる。データ取り出しエンジン32はまた、位置モジュール38を呼び出して、上で説明された方式で、ヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を決定することができる。データ取り出しエンジン32は次いで、決定された位置(必要であれば)と精緻化された電力データ62とを含めるようにモバイルデバイスデータ60を更新することができ、この更新されたモバイルデバイスデータ60をオーディオレンダリングエンジン36に渡す。
[0116]オーディオレンダリングエンジン36は次いで、更新されたモバイルデバイスデータ64に基づいて、ソースオーディオデータ37を処理することができる。オーディオレンダリングエンジン36は次いで、協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーとしてモバイルデバイス18Aのスピーカー20Aを利用するように、協調的サラウンドサウンドシステム10を構成することができる。オーディオレンダリングエンジン36はまた、モバイルデバイス18Aのスピーカー20Aがレンダリングされたオーディオ信号66を再生するときに、レンダリングされたオーディオ信号66のオーディオ再生が、モバイルデバイス18Aの決定された位置とは異なる位置に配置されているように見えることが多い、協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。
[0117]例示すると、オーディオレンダリングエンジン36は、仮想スピーカーの対応する1つまたは複数を支援するモバイルデバイス18の1つまたは複数からモバイルデバイスデータ60を与えられると、協調的サラウンドサウンドシステム10の1つまたは複数の仮想スピーカーのそれぞれ1つにスピーカー領域を割り当てることができる。ソースオーディオデータ37をレンダリングするとき、オーディオレンダリングエンジン36は次いで、レンダリングされたオーディオ信号66がモバイルデバイス18のスピーカー20によって再生されるときに、レンダリングされたオーディオ信号66のオーディオ再生が、モバイルデバイス18の少なくとも1つの位置とは異なるスピーカー領域の対応する特定された1つの中の位置の中にあることがやはり多い協調的サラウンドサウンドシステム10の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。
[0118]この方式でソースオーディオデータ37をレンダリングするために、オーディオレンダリングエンジン36は、モバイルデバイス18Aを移動するようにユーザに促すのを避けるために、モバイルデバイス18の1つ、たとえばモバイルデバイス18Aの位置に基づいてソースオーディオデータ37をレンダリングするためのオーディオ前処理関数を構成することができる。オーディオ信号66の再生が開始した後、再生の前に部屋中にモバイルデバイス18を最初に配置するときのような、いくつかの例では、デバイスを移動するためのユーザプロンプトを避けることは必要であり得るが、ヘッドエンドデバイス14は、いくつかの例では、モバイルデバイス18を移動するようにユーザに促すことがある。ヘッドエンドデバイス14は、スピーカー領域を分析し、1つまたは複数の領域が領域中に存在するモバイルデバイスまたは他のスピーカーを何ら有さないと判定することによって、モバイルデバイス18の1つまたは複数が移動される必要があると判定することができる。
[0119]ヘッドエンドデバイス14は次いで、任意のスピーカー領域が2つ以上のスピーカーを有するかどうかを判定し、更新されたモバイルデバイスデータ64に基づいて、これらの2つ以上のスピーカーのいずれが、このスピーカー領域内に位置するモバイルデバイス18を有さない空のスピーカー領域に再配置されるべきかを、特定することができる。ヘッドエンドデバイス14は、あるスピーカー領域から別のスピーカー領域に2つ以上のスピーカーの1つまたは複数を再配置することを試みるときに精緻化された電力データ62を考慮することができ、2つ以上のスピーカーのうち、精緻化された電力データ62によって示されるような、レンダリングされたオーディオ信号66の全体を再生するのに少なくとも十分な電力を有するスピーカーを、再配置すると決定する。この電力基準を満たすスピーカーがない場合、ヘッドエンドデバイス14は、過負荷のスピーカー領域(これは、その領域に位置する2つ以上のスピーカーを有するスピーカー領域を指し得る)から2つ以上のスピーカーを空のスピーカー領域(これは、モバイルデバイスまたは他のスピーカーが存在しないスピーカー領域を指し得る)へ2つ以上のスピーカーことを決定することができる。
[0120]モバイルデバイス18のいずれが空のスピーカー領域に再配置されるべきかということと、これらのモバイルデバイス18が配置されるべき位置とを決定すると、制御ユニット30は、画像生成モジュール160を呼び出すことができる。位置モジュール38は、再配置されるべきモバイルデバイス18の意図されるまたは所望の位置と現在の位置とを、画像生成モジュール160に提供することができる。画像生成モジュール160は次いで、画像170および/または172を生成することができ、これらの画像170および/または172を、それぞれ、モバイルデバイス18Aおよびソースオーディオデバイス12に送信する。モバイルデバイス18Aは次いで、ディスプレイデバイス164を介して画像170を提示することができ、一方、ソースオーディオデバイス12は、ディスプレイデバイス164を介して画像172を提示することができる。画像生成モジュール160は、位置モジュール38からモバイルデバイス18の現在の位置に対する更新を受信し、この更新された現在の位置を表示する画像170と172とを生成し続けることができる。この意味で、画像生成モジュール160は、ヘッドエンドユニット14に対するモバイルデバイス18の現在の動きと、意図される位置とを反映する、画像170および/または172を動的に生成することができる。意図される位置に配置されると、画像生成モジュール160は、意図される位置または所望の位置にモバイルデバイス18が配置されたことを示す、画像170および/または172を生成することができ、これによって、協調的サラウンドサウンドシステム10の構成を容易にする。画像170および172は、図6A〜図6Cおよび図7A〜図7Cに関して以下でより詳細に説明される。
[0121]加えて、オーディオレンダリングエンジン36は、モバイルデバイスデータ60の他の態様に基づいて、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。たとえば、オーディオレンダリングエンジン36は、1つまたは複数のスピーカー特性に基づいて(たとえばモバイルデバイス18Aのスピーカー20Aの周波数範囲に、または、別の例としてモバイルデバイス18Aのスピーカー20Aの最大音量に適合するように)、ソースオーディオデータ37をレンダリングするための、オーディオ前処理関数を構成することができる。オーディオレンダリングエンジン36は次いで、ソースオーディオデータ37の少なくとも一部分に対して、構成されたオーディオ前処理関数を適用して、モバイルデバイス18Aのスピーカー20Aによるレンダリングされたオーディオ信号66の再生を制御することができる。
[0122]オーディオレンダリングエンジン36は次いで、レンダリングされたオーディオ信号66またはその一部分をモバイルデバイス18Aに送り、または別様に送信することができる。オーディオレンダリングエンジン36は、モバイルデバイス18の1つまたは複数を、仮想スピーカー構成を介して、マルチチャンネルソースオーディオデータ37の各チャンネルに割り当てることができる。すなわち、モバイルデバイス18の各々は、協調的サラウンドサウンドシステム10の異なる仮想スピーカーに割り当てられる。各仮想スピーカーは次いで、スピーカー領域に割り当てられ、スピーカー領域は、マルチチャンネルソースオーディオデータ37の1つまたは複数のチャンネルを支援することができる。したがって、レンダリングされたオーディオ信号66を送信するとき、オーディオレンダリングエンジン36は、レンダリングされたオーディオ信号66のマッピングされたチャンネルを、協調的サラウンドサウンドシステム10の対応する1つまたは複数の仮想スピーカーとして構成されたモバイルデバイス18の対応する1つまたは複数に送信することができる。
[0123]図6A〜図6Cおよび図7A〜図7Cに関して以下で説明された技法の議論の全体で、チャンネルに対する言及は次のようであり得る。すなわち、レフトチャンネルは「L」と示されることがあり、ライトチャンネルは「R」と示されることがあり、センターチャンネルは「C」と示されることがあり、リアレフトチャンネルは「サラウンドレフトチャンネル」と呼ばれることがあり、かつ「SL」と示されることがあり、リアライトチャンネルは「サラウンドライトチャンネル」と呼ばれることがあり、かつ「SR」と示されることがある。やはり、良好なサラウンドサウンド体験を提供する際にサブウーファーの位置は他の5つのチャンネルの位置ほどは重要ではないので、サブウーファーチャンネルは図1には示されない。
[0124]図6A〜図6Cは、本開示で説明される技法の様々な態様による、モバイルデバイス18Aによって表示されるような図5の例示的な画像170A〜170Cをより詳細に示す図である。図6Aは、矢印173Aを含む第1の画像172Aを示す図である。矢印173Aは、モバイルデバイス18Aを意図される位置または最適な位置に配置するためにモバイルデバイス18Aが移動されるべき方向を示す。矢印173Aの長さは、モバイルデバイス18Aの現在の位置が意図される位置からどの程度離れているかを概略的に示し得る。
[0125]図6Bは、第2の矢印173Bを含む第2の画像170Bを示す図である。矢印173Bは、矢印173Aのように、モバイルデバイス18Aを意図される位置または最適な位置に配置するためにモバイルデバイス18Aが移動されるべき方向を示し得る。矢印173Bは、より長さが短いという点で矢印173Aとは異なり、これは、モバイルデバイス18Aが、画像170Aが提示されたときのモバイルデバイス18Aの位置に対して意図された位置のより近くに移動したことを示す。この例では、画像生成モジュール160は、位置モジュール38がモバイルデバイス18Aの更新された現在の位置を提供したことに応答して、画像170Bを生成することができる。
[0126]図6Cは、第3の画像170Cを示す図であり、画像170A〜170Cは画像170(これは図5の例に示される)と呼ばれ得る。画像170Cは、モバイルデバイス18Aがサラウンドレフト仮想スピーカーの意図された位置に配置されたことを示す。画像170Cは、モバイルデバイス18Aがサラウンドレフト仮想スピーカーの意図された位置に配置されたという指示174(「SL」)を含む。画像170Cはまた、モバイルデバイス18が仮想サラウンドサウンドスピーカーを支援するために意図された位置に適切に配置されていることをユーザがさらに理解するように、デバイスがサラウンドサウンドバックレフトスピーカーとして再配置されたことを示す、テキスト領域176を含む。画像170Cはさらに、協調的サラウンドサウンドシステム10のサラウンドサウンドレフト仮想スピーカーを支援するために加わるものとしてモバイルデバイス18Aに登録することを、ユーザが確認すること(ボタン178A)または取り消すこと(ボタン178B)を可能にする、2つの仮想ボタン178Aと178Bとを含む。
[0127]図7A〜図7Cは、本開示で説明される技法の様々な態様による、ソースオーディオデバイス12によって表示されるような図5の例示的な画像172A〜172Cをより詳細に示す図である。図7Aは、スピーカー領域192A〜192Eと、(モバイルデバイス18を表し得る)スピーカー194A〜194Eと、意図されたサラウンドサウンド仮想スピーカーレフトの指示196と、矢印198Aとを含む、第1の画像170Aを示す図である。スピーカー領域192A〜192E(「スピーカー領域192」)は各々、5.1サラウンドサウンドフォーマットの異なるスピーカー領域を表し得る。5つのスピーカー領域を含むものとして示されるが、本技法は、7.1サラウンドサウンドフォーマットと出現しつつある3次元サラウンドサウンドフォーマットとに適合するための7つのスピーカー領域を含む、スピーカー領域の任意の構成に関して実装され得る。
[0128]スピーカー194A〜194E(「スピーカー194」)は、スピーカー194の現在の位置を表すことができ、ここでスピーカー194は、図1の例に示されるスピーカー16とモバイルデバイス18とを表し得る。適切に配置されるとき、スピーカー194は、仮想スピーカーの意図された位置を表し得る。スピーカー194の1つまたは複数が仮想スピーカーの1つを支援するために適切に配置されていないことを検出すると、ヘッドエンドデバイス14は画像172Aを生成することができ、矢印198Aはスピーカー194の1つまたは複数が移動されるべきであることを示す。図7Aの例では、モバイルデバイス18Aは、サラウンドライト(SR)スピーカー領域192Dの外側に配置されている、サラウンドサウンドレフト(SL)スピーカー194Cを表す。したがって、ヘッドエンドデバイス14は、SLスピーカー194Cが意図されたSLの位置196に移動されるべきであることを示す矢印198Aとともに画像172Aを生成する。意図されるSLの位置196は、SLスピーカー194Cの意図される位置を表し、ここで矢印198Aは、SLスピーカー194Cの現在の位置から意図されるSLの位置196に向かって指す。ヘッドエンドデバイス14はまた、モバイルデバイス18Aの再配置をさらに容易にするために、モバイルデバイス18Aに表示するための上で説明された画像170Aを生成することができる。
[0129]図7Bは、画像172Bが新たな矢印198Bを含みSLスピーカー194Cの現在の位置が左に移動したことを除いて画像172Aと同様である、第2の画像172Bを示す図である。矢印198Bは、矢印198Aのように、モバイルデバイス18Aを意図される位置に配置するためにモバイルデバイス18Aが移動されるべき方向を示し得る。矢印198Bは、より長さが短いという点で矢印198Aとは異なり、これは、モバイルデバイス18Aが、画像172Aが提示されたときのモバイルデバイス18Aの位置に対して意図された位置のより近くに移動したことを示す。この例では、画像生成モジュール160は、位置モジュール38がモバイルデバイス18Aの更新された現在の位置を提供したことに応答して、画像172Bを生成することができる。
[0130]図7Cは、第3の画像172Cを示す図であり、画像172A〜172Cは画像172(これは図5の例に示される)と呼ばれ得る。画像172Cは、モバイルデバイス18Aがサラウンドレフト仮想スピーカーの意図された位置に配置されたことを示す。画像170Cは、意図された位置の指示196を除去し、SLスピーカー194Cが適切に配置されたことを示すこと(SLの指示196の点線を除去して、実線のSLスピーカー194Cで置換すること)によって、この適切な配置を示す。画像172Cは、モバイルデバイス18Aが協調的サラウンドサウンドシステム10のSL仮想スピーカーを支援することに加わるべきであることを、画像170Cの確認ボタン178Aを使用してユーザが確認したことに応答して、生成され表示され得る。
[0131]画像170および/または172を使用して、協調的サラウンドサウンドシステムのユーザは、協調的サラウンドサウンドシステムのSLスピーカーをSLスピーカー領域に移動することができる。ヘッドエンドデバイス14は、上で説明されたようにこれらの画像を定期的に更新して、部屋の構成の中でのSLスピーカーの移動を反映し、SLスピーカーのユーザによる再配置を容易にすることができる。すなわち、ヘッドエンドデバイス14は、上で述べられた音をスピーカーに継続的に放出させ、この音を検出し、画像の中での他のスピーカーに対するこのスピーカーの位置を更新することができ、ここでこの更新される画像が次いで表示される。このようにして、本技法は、より没入感のあるサラウンドサウンド体験のためのより正確なサウンドステージを再現する、より最適なサラウンドサウンドスピーカー構成を潜在的に達成するように、協調的サラウンドサウンドシステムの適応構成を促し得る。
[0132]図8A〜図8Cは、本開示で説明される協調的サラウンドサウンドシステムの技法の様々な態様を実行する際のヘッドエンドデバイス14およびモバイルデバイス18の例示的な動作を示すフローチャートである。モバイルデバイス18の特定の1つ、すなわち図5の例ではモバイルデバイス18Aに関して以下では説明されるが、本技法は、モバイルデバイス18Aに関して本明細書で説明されたものと同様の方式で、モバイルデバイス18B〜18Nによって実行され得る。
[0133]最初に、モバイルデバイス18Aの制御ユニット40が、協調的サウンドシステムアプリケーション42を実行することができる(210)。協調的サウンドシステムアプリケーション42はまず、ワイヤレスネットワーク上でヘッドエンドデバイス14の存在を見つけることを試みることができる(212)。協調的サウンドシステムアプリケーション42がネットワーク上でヘッドエンドデバイス14を見つけることができない場合(「いいえ」214)、モバイルデバイス18Aは、ネットワーク上でヘッドエンドデバイス14を見つけることを試み続けることができ、一方でまた、場合によっては、ヘッドエンドデバイス14を見つける際にユーザを支援するためのトラブルシューティング情報を提示する(212)。しかしながら、協調的サウンドシステムアプリケーション42がヘッドエンドデバイス14を見つける場合(「はい」214)、協調的サウンドシステムアプリケーション42は、セッション22Aを確立し、セッション22Aを介してヘッドエンドデバイス14に登録することができ(216)、スピーカー20Aを含み協調的サラウンドサウンドシステム10に加わることが可能なデバイスとしてヘッドエンドデバイス14がモバイルデバイス18Aを特定することを効果的に可能にする。
[0134]ヘッドエンドデバイス14に登録した後で、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を呼び出すことができ、データ収集エンジン46は上で説明された方式でモバイルデバイスデータ60を収集する(218)。データ収集エンジン46は次いで、モバイルデバイスデータ60をヘッドエンドデバイス14に送信することができる(220)。ヘッドエンドデバイス14のデータ取り出しエンジン32は、モバイルデバイスデータ60を受信し(221)、このモバイルデバイスデータ60がヘッドエンドデバイス14に対するモバイルデバイス18Aの位置を規定する位置データを含むかどうかを判定する(222)。ヘッドエンドデバイス14がモバイルデバイス18Aを正確に位置決定することを可能にするには位置データが不十分である場合(30フィートの精度しかないGPSデータなど)、または、位置データがモバイルデバイスデータ60の中に存在しない場合(「いいえ」222)、データ取り出しエンジン32は、位置モジュール38を呼び出すことができ、位置モジュール38は、協調的サウンドシステムアプリケーション42によって呼び出されるデータ収集エンジン46の位置モジュール48とインターフェースをとり、トーン61をモバイルデバイス18Aの位置モジュール48に送信する(224)。モバイルデバイス18Aの位置モジュール48は次いで、このトーン61をオーディオ再生モジュール44に渡し、オーディオ再生モジュール44は、スピーカー20Aとインターフェースをとってトーン61を再生する(226)。
[0135]一方、ヘッドエンドデバイス14の位置モジュール38は、トーン61を送信した後で、マイクロフォンとインターフェースをとり、スピーカー20Aによるトーン61の再生を検出することができる(228)。ヘッドエンドデバイス14の位置モジュール38は次いで、トーン61の検出された再生に基づいて、モバイルデバイス18Aの位置を決定することができる(230)。トーン61を使用してモバイルデバイス18Aの位置を決定した後で、ヘッドエンドデバイス18のデータ取り出しモジュール32は、決定された位置を含めるようにモバイルデバイスデータ60を更新することができ、これによって、更新されたモバイルデバイスデータ64を生成する(231)。
[0136]ヘッドエンドデバイス14は次いで、上で説明された方式でモバイルデバイス18の1つまたは複数を再配置するかどうかを判定することができる(図8B、232)。ヘッドエンドデバイス14が、一例としてモバイルデバイス18Aを再配置することを決定する場合(「はい」232)、ヘッドエンドデバイス14は、画像生成モジュール160を呼び出して、モバイルデバイス18Aのディスプレイデバイス164に対する第1の画像170Aを生成し(234)、ヘッドエンドシステム14に結合されるソースオーディオデバイス12のディスプレイデバイス166に対する第2の画像172Aを生成することができる(236)。画像生成モジュール160は次いで、モバイルデバイス18Aのディスプレイデバイス164とインターフェースをとり第1の画像170Aを表示することができ(238)、同時にまた、ヘッドエンドシステム14に結合されるオーディオソースデバイス12のディスプレイデバイス166とインターフェースをとり第2の画像172Aを表示する(240)。ヘッドエンドデバイス14の位置モジュール38は、モバイルデバイス18Aの更新された現在の位置を決定することができ(242)、ここで、位置モジュール38は、モバイルデバイス18Aがモバイルデバイス18Aによって支援されるべき仮想スピーカーの意図される位置(図7A〜図7Cの例に示されるSL仮想スピーカーのような)および更新された現在の位置に基づいて、モバイルデバイス18Aが適切に配置されているかどうかを判定することができる(244)。
[0137]適切に配置されていない場合(「いいえ」244)、ヘッドエンドデバイス14は、モバイルデバイス18Aによって支援されるべき仮想スピーカーの意図される位置に対するモバイルデバイス18Aの現在の位置を反映する、それぞれのディスプレイ164と166とを介した表示のための画像(画像170Bおよび172Bのような)を、上で説明された方式で生成し続けることができる(234〜244)。適切に配置されているとき(「はい」244)、ヘッドエンドデバイス14は、協調的サラウンドサウンドシステム10の仮想サラウンドサウンドスピーカーの対応する1つを支援するためにモバイルデバイス18Aが加わるであろうという、確認を受信することができる。
[0138]図8Bに戻って参照すると、モバイルデバイス18の1つまたは複数を再配置した後で、位置データがモバイルデバイスデータ60の中に存在すると(または、ヘッドエンドデバイス14がヘッドエンドデバイス14に対してモバイルデバイス18を位置決定することを可能にするのに十分正確であると)データ取り出しモジュール32が判定する場合、または、決定された位置を含めるように更新されたモバイルデバイスデータ64を生成した後で、データ取り出しモジュール32は、ヘッドエンドデバイス14に登録されたモバイルデバイス18の各々からモバイルデバイスデータ60を取り出すのを終了したかどうかを判定することができる(246)。ヘッドエンドデバイス14のデータ取り出しモジュール32がモバイルデバイス18の各々からモバイルデバイスデータ60を取り出すのを終了していない場合(「いいえ」246)、データ取り出しモジュール32は、上で説明された方式で(221〜246)、モバイルデバイスデータ60を取り出すことと、更新されたモバイルデバイスデータ64を生成することとを続ける。しかしながら、データ取り出しモジュール32が、モバイルデバイスデータ60を収集することと更新されたモバイルデバイスデータ64を生成することとを終了したと判定する場合(「はい」246)、データ取り出しモジュール32は、更新されたモバイルデバイスデータ64をオーディオレンダリングエンジン36に渡す。
[0139]オーディオレンダリングエンジン36は、この更新されたモバイルデバイスデータ64を受信したことに応答して、ソースオーディオデータ37を取り出すことができる(248)。オーディオレンダリングエンジン36は次いで、ソースオーディオデータ37をレンダリングするとき、上で説明された方式で、モバイルデバイスデータ64に基づいてソースオーディオデータ37からオーディオ信号66をレンダリングすることができる(250)。いくつかの例では、オーディオレンダリングエンジン36はまず、マルチチャンネルソースオーディオデータ37の再生に適合するためにスピーカーが配置されるべきである領域を表す、スピーカー領域を決定することができる。たとえば、5.1チャンネルのソースオーディオデータは、フロントレフトチャンネルと、センターチャンネルと、フロントライトチャンネルと、サラウンドレフトチャンネルと、サラウンドライトチャンネルと、サブウーファーチャンネルとを含む。サブウーファーチャンネルは、低い周波数が通常はヘッドエンドデバイスに対するサブウーファーの位置とは無関係に十分な効果を与えることを考慮すると、指向的ではなく、または考慮に値しない。しかしながら、他の5つのチャンネルは、没入感のあるオーディオ再生のための最良のサウンドステージを提供するために、適切に配置される必要があり得る。オーディオレンダリングエンジン36は、いくつかの例では、位置モジュール38とインターフェースをとって部屋の境界を導き出すことができ、これによって、位置モジュール38は、壁、人々、家具などの位置を特定するために、スピーカー16および/またはスピーカー20の1つまたは複数にトーンまたは音を放出させ得る。この部屋または物体の位置情報に基づいて、オーディオレンダリングエンジン36は、フロントレフトスピーカー、センタースピーカー、フロントライトスピーカー、サラウンドレフトスピーカー、およびサラウンドライトスピーカーの各々に対するスピーカー領域を決定することができる。
[0140]これらのスピーカー領域に基づいて、オーディオレンダリングエンジン36は、協調的サラウンドサウンドシステム10の仮想スピーカーの位置を決定することができる。すなわち、オーディオレンダリングエンジン36は、部屋または物体の位置情報に対して最適または準最適な位置にあることが多いスピーカー領域の各々の中に仮想スピーカーを配置することができる。オーディオレンダリングエンジン36は次いで、モバイルデバイスデータ18に基づいて、モバイルデバイス18を各仮想スピーカーに割り当てることができる。
[0141]たとえば、オーディオレンダリングエンジン36はまず、更新されたモバイルデバイスデータ60において規定されるモバイルデバイス18の各々の位置を考慮することができ、それらのデバイスを、モバイルデバイス18の決定された位置に最も近い仮想位置を有する仮想スピーカーに割り当てる。オーディオレンダリングエンジン36は、モバイルデバイス18の2つ以上を仮想スピーカーに割り当てるべきかどうかを、現在割り当てられているモバイルデバイス18が仮想スピーカーの位置にどの程度近いかに基づいて、判定することができる。その上、オーディオレンダリングエンジン36は、2つ以上のモバイルデバイス18の1つと関連付けられる精緻化された電力データ62がソースオーディオデータ37の全体を再生するのには不十分であるとき、モバイルデバイス18の2つ以上を同じ仮想スピーカーに割り当てると決定することができる。オーディオレンダリングエンジン36はまた、スピーカー特性を含むモバイルデバイスデータ60の他の態様に基づいて、これらのモバイルデバイス18を割り当てることができる。
[0142]いずれにしても、オーディオレンダリングエンジン36は次いで、上でより詳細に説明されたように、ソースオーディオデータ37からオーディオ信号66をレンダリングするように前処理関数をインスタンス化し、または別様に定義することができる。このようにして、オーディオレンダリングエンジン36は、仮想スピーカーの位置およびモバイルデバイスデータ60に基づいて、ソースオーディオデータ37をレンダリングすることができる。上で述べられたように、オーディオレンダリングエンジン36は、このオーディオデータを処理するとき、モバイルデバイス18の各々からのモバイルデバイスデータ60を総体または全体として考え、それでも、別々のオーディオ信号66またはその一部をモバイルデバイス18の各々に送信することができる。したがって、オーディオレンダリングエンジン36は、レンダリングされたオーディオ信号66をモバイルデバイス18に送信する(252)。
[0143]このレンダリングされたオーディオ信号66を受信したことに応答して、協調的サウンドシステムアプリケーション42は、オーディオ再生モジュール44とインターフェースをとり、オーディオ再生モジュール44は次いで、スピーカー20Aとインターフェースをとってレンダリングされたオーディオ信号66を再生する(254)。上で述べられたように、協調的サウンドシステムアプリケーション42は、データ収集エンジン46を定期的に呼び出して、モバイルデバイスデータ60のいずれかが変化したか、または更新されたかどうかを判定することができる(256)。モバイルデバイスデータ60が変化していない場合(「いいえ」256)、モバイルデバイス18Aは、レンダリングされたオーディオ信号66を再生し続ける(254)。しかしながら、モバイルデバイスデータ60が変化した、または更新されている場合(「はい」256)、データ収集エンジン46は、この変更されたモバイルデバイスデータ60をヘッドエンドデバイス14のデータ取り出しエンジン32に送信することができる(258)。
[0144]データ取り出しエンジン32は、この変更されたモバイルデバイスデータをオーディオレンダリングエンジン36に渡すことができ、オーディオレンダリングエンジン36は、変更されたモバイルデバイスデータ60に基づいて、仮想スピーカーの構築を介して、モバイルデバイス18Aが割り当てられているチャンネルを処理するための前処理関数を修正することができる。上でより詳細に説明されたように、一般的に更新されるまたは変更されるモバイルデバイスデータ60は、電力消費の変化により、または、オーディオ再生を中断させる音声呼のような別のタスクのためにモバイルデバイス18Aが前から使用されていたことが原因で、変化する。このようにして、オーディオレンダリングエンジン36は、更新されたモバイルデバイスデータ64に基づいて、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる(260)。
[0145]いくつかの例では、データ取り出しエンジン32は、データ取り出しモジュール32の位置モジュール38がモバイルデバイス18Aの位置の変化を検出し得るという意味で、モバイルデバイスデータ60が変化したと判定することができる。言い換えると、データ取り出しモジュール32は、位置モジュール38を定期的に呼び出して、モバイルデバイス18の現在の位置を決定することができる(または代替的に、位置モジュール38はモバイルデバイス18の位置を継続的に監視することができる)。位置モジュール38は次いで、モバイルデバイス18の1つまたは複数が移動されたかどうかを判定することができ、これによって、オーディオレンダリングエンジン36が、モバイルデバイス18の位置の進行中の変化(たとえば、ユーザがテキストメッセージを見るためにモバイルデバイスを手に取り、次いでモバイルデバイスを異なる位置に置く場合に起こり得るような)に適合するように前処理関数を動的に修正することを可能にする。したがって、本技法は、モバイルデバイス18が再生の間に移動または再配置され得るとしても、再生全体の間、最適な位置の少なくとも近くに仮想スピーカーがとどまることを場合によっては確実にするために、動的な場面において適用され得る。
[0146]図9A〜図9Cは、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステム270A〜270Cの様々な構成を示すブロック図である。図9Aは、協調的サラウンドサウンドシステム270Aの第1の構成を示すブロック図である。図9Aの例で示されるように、協調的サラウンドサウンドシステム270Aは、ソースオーディオデバイス272と、ヘッドエンドデバイス274と、フロントレフトスピーカー276A、フロントライトスピーカー276B(「スピーカー276」)と、スピーカー280Aを含むモバイルデバイス278Aとを含む。デバイスおよび/またはスピーカー272〜278の各々は、図1、図2、図3A〜図3C、図5、図8A〜図8Cの例に関して上で説明された、デバイスおよび/またはスピーカー12〜18の対応する1つと同様であり、または実質的に同様であり得る。
[0147]ヘッドエンドデバイス274のオーディオレンダリングエンジン36は、したがって、精緻化された電力データ62を含む更新されたモバイルデバイスデータ64を、上で説明された方式で受信することができる。オーディオレンダリングエンジン36は、上でより詳細に説明された技法の拘束ベクトルに基づく動的振幅パンニングの態様を使用して、オーディオ分配を効果的に実行することができる。この理由で、オーディオレンダリングエンジン36は、オーディオ分配エンジンと呼ばれ得る。オーディオレンダリングエンジン36は、精緻化された電力データ62を含む、更新されたモバイルデバイスデータ64に基づいて、この拘束ベクトルに基づく動的振幅パンニングを実行することができる。
[0148]図9Aの例では、単一のモバイルデバイス278Aのみが、協調的サラウンドサウンドシステム270Aの1つまたは複数の仮想スピーカーの支援に加わっていると仮定される。この例では、協調的サラウンドサウンドシステム270Aに加わっている、モバイルデバイス278Aの2つのスピーカー276およびスピーカー280Aのみが存在し、これは通常、5.1サラウンドサウンドフォーマットをレンダリングするには十分ではないが、ドルビーサラウンドサウンドフォーマットのような、他のサラウンドサウンドフォーマットに対しては十分であり得る。この例では、モバイルデバイス278Aの残りの電力が30%しかないことを精緻化された電力データ62が示すと仮定される。
[0149]協調的サラウンドサウンドシステム270Aの仮想スピーカーを支援してスピーカーに対するオーディオ信号をレンダリングする際、ヘッドエンドデバイス274はまず、モバイルデバイス278Aによって再生されるべきソースオーディオデータ37の期間に関連して、この精緻化された電力データ62を考慮することができる。例示すると、ヘッドエンドデバイス274は、ソースオーディオデータ37の割り当てられた1つまたは複数のチャンネルを最大音量で再生するとき、精緻化された電力データ62によって特定される30%の電力レベルが、約30分のソースオーディオデータ37をモバイルデバイス278Aが再生することを可能にすると判定することができ、ここでこの30分は、予想される電力期間と呼ばれ得る。ヘッドエンドデバイス274は次いで、ソースオーディオデータ37が50分というソースオーディオ期間を有すると判定することができる。このソースオーディオ期間を予想される電力期間と比較して、ヘッドエンドデバイス274のオーディオレンダリングエンジン36は、拘束ベクトルに基づく動的振幅パンニングを使用してソースオーディオデータ37をレンダリングして、モバイルデバイス278Aによる再生のためのオーディオ信号を生成することができ、このことは、ソースオーディオ期間を超え得るように、予想される電力期間を伸ばす。一例として、オーディオレンダリングエンジン36は、6dBだけ音量を下げることによって、予想される電力期間が約60分に伸びると判定することができる。結果として、オーディオレンダリングエンジン36は、音量に関して6dB低くなるように調整された、モバイルデバイス278Aに対するオーディオ信号66をレンダリングするように、前処理関数を定義することができる。
[0150]オーディオレンダリングエンジン36は、モバイルデバイス278Aの予想される電力期間を定期的または継続的に監視することができ、モバイルデバイス278Aがソースオーディオデータ37の全体を再生できる状態となることを可能にするように、前処理関数を更新または再定義する。いくつかの例では、モバイルデバイス278Aのユーザは、電力レベルに関する上限または他の尺度を規定する、選好を定義することができる。すなわち、ユーザは、モバイルデバイス278Aとインターフェースをとり、一例として、ソースオーディオデータ37の再生が完了した後で、モバイルデバイス278Aに少なくとも特定の量の、たとえば50%の電力が残っていることを要求することができる。ユーザは、ソースオーディオデータ37の再生の後で、モバイルデバイス278Aを充電する必要なく、モバイルデバイス278Aが他の目的(たとえば、緊急の目的、通話、電子メール、テキストメッセージング、GPSを使用した位置案内など)で利用され得るように、そのような電力の選好を設定することを望み得る。
[0151]図9Bは、各々がスピーカー(それぞれ、スピーカー280Aおよび280B)を含む2つのモバイルデバイス278A、278Bを、協調的サラウンドサウンドシステム270Bが含むことを除き、図9Aの例に示される協調的サラウンドサウンドシステム270Aと実質的に同様の協調的サラウンドサウンドシステム270Bの別の構成を示すブロック図である。図9Bの例では、ヘッドエンドデバイス274のオーディオレンダリングエンジン36は、モバイルデバイス278Aには20%のバッテリー電力しか残っていないがモバイルデバイス278Bには100%のバッテリー電力が残っていることを示す、精緻化された電力データ62を受信したと仮定される。上で説明されたように、オーディオレンダリングエンジン36は、モバイルデバイス278Aの予想される電力期間を、ソースオーディオデータ37に対して決定されたソースオーディオ期間と比較することができる。
[0152]予想される電力期間がソースオーディオ期間より短い場合、オーディオレンダリングエンジン36は次いで、モバイルデバイス278Aがレンダリングされたオーディオ信号66の全体を再生することを可能にする方式で、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。図9Bの例では、オーディオレンダリングエンジン36は、ソースオーディオデータ37のサラウンドサウンドレフトチャンネルの1つまたは複数の態様をソースオーディオデータ37のレンダリングされたフロントレフトチャンネルとクロスミックスするように、このサラウンドサウンドレフトチャンネルをレンダリングすることができる。いくつかの例では、オーディオレンダリングエンジン36は、サラウンドサウンドレフトチャンネルのより低い周波数のいくつかの部分をフロントレフトチャンネルとクロスミックスする前処理関数を定義することができ、このことは、モバイルデバイス278Aが高周波成分に対するツイーターとして動作することを効果的に可能にし得る。いくつかの例では、オーディオレンダリングエンジン36は、図9Aの例に関して上で説明された方式で、このサラウンドサウンドレフトチャンネルとフロントレフトチャンネルをクロスミックスし、音量を下げて、サラウンドサウンドレフトチャンネルに対応するオーディオ信号66を再生する間のモバイルデバイス278Aによる電力消費をさらに減らすことができる。この点で、オーディオレンダリングエンジン36は、ソースオーディオデータ37の1つまたは複数のチャンネルに対応するオーディオ信号66を再生する間のモバイルデバイス278Aによる電力消費を減らそうとして、同じチャンネルを処理するために1つまたは複数の異なる前処理関数を適用することができる。
[0153]図9Cは、各々がスピーカー(それぞれ、スピーカー280A〜280C)を含む3つのモバイルデバイス278A〜278Cを、協調的サラウンドサウンドシステム270Cが含むことを除き、図9Aの例に示される協調的サラウンドサウンドシステム270Aおよび図9Bの例に示される協調的サラウンドサウンドシステム270Bと実質的に同様の協調的サラウンドサウンドシステム270Cの別の構成を示すブロック図である。図9Cの例では、ヘッドエンドデバイス274のオーディオレンダリングエンジン36は、モバイルデバイス278Aには90%のバッテリー電力が残っているがモバイルデバイス278Bには20%のバッテリー電力が残っておりモバイルデバイス278Cには100%のバッテリー電力が残っていることを示す、精緻化された電力データ62を受信したと仮定される。上で説明されたように、オーディオレンダリングエンジン36は、モバイルデバイス278Bの予想される電力期間を、ソースオーディオデータ37に対して決定されたソースオーディオ期間と比較することができる。
[0154]予想される電力期間がソースオーディオ期間より短い場合、オーディオレンダリングエンジン36は次いで、モバイルデバイス278Bがレンダリングされたオーディオ信号66の全体を再生することを可能にする方式で、ソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。図9Cの例では、オーディオレンダリングエンジン36は、ソースオーディオデータ37のサラウンドサウンドセンターチャンネルの1つまたは複数の態様を(モバイルデバイス278Aと関連付けられる)サラウンドサウンドレフトチャンネルおよび(モバイルデバイス278Cと関連付けられる)ソースオーディオデータ37のサラウンドサウンドライトチャンネルとクロスミックスするように、このサラウンドサウンドセンターチャンネルに対応するオーディオ信号66をレンダリングすることができる。5.1サラウンドサウンドフォーマットのようないくつかのサラウンドサウンドフォーマットでは、このサラウンドサウンドセンターチャンネルは存在しないことがあり、この場合、ヘッドエンドデバイス274は、サラウンドサウンドレフト仮想スピーカーとサラウンドサウンドライト仮想スピーカーの一方または両方の支援を助けるものとして、モバイルデバイス278Bを登録することができる。この場合、ヘッドエンドデバイス274のオーディオレンダリングエンジン36は、上で説明された技法の拘束ベクトルに基づく振幅パンニングの態様に関して上で説明された方式で、モバイルデバイス278Bに送信されるソースオーディオデータ37からレンダリングされるオーディオ信号66の音量を下げながら、モバイルデバイス278Aと278Cの一方または両方に送信されるレンダリングされたオーディオ信号66の音量を上げることができる。
[0155]いくつかの例では、オーディオレンダリングエンジン36は、サラウンドサウンドセンターチャンネルと関連付けられるオーディオ信号66のより低い周波数のいくつかの部分をサラウンドサウンドレフトチャンネルおよびサラウンドサウンドライトチャンネルに対応するオーディオ信号66の1つまたは複数とクロスミックスする前処理関数を定義することができ、このことは、モバイルデバイス278Bが高周波成分に対するツイーターとして動作することを効果的に可能にし得る。いくつかの例では、オーディオレンダリングエンジン36は、図9A、図9Bの例に関して上で説明された方式で、このクロスミックスを実行しながら音量も下げて、サラウンドサウンドセンターチャンネルに対応するオーディオ信号66を再生する間のモバイルデバイス278Bによる電力消費をさらに減らしたことができる。やはり、この点で、オーディオレンダリングエンジン36は、ソースオーディオデータ37の割り当てられた1つまたは複数のチャンネルを再生する間のモバイルデバイス278Bによる電力消費を減らそうとして、同じチャンネルをレンダリングするために1つまたは複数の異なる前処理関数を適用することができる。
[0156]図10は、本開示で説明される技法の様々な電力適合の態様を実装する際の、図9A〜図9Cの例に示されるヘッドエンドデバイス274のような、ヘッドエンドデバイスの例示的な動作を示すフローチャートである。上でより詳細に説明されたように、ヘッドエンドデバイス274のデータ取り出しエンジン32は、電力消費データを含むモバイルデバイスデータ60をモバイルデバイス278から受信する(290)。データ取り出しモジュール32は、電力処理モジュール34を呼び出し、電力処理モジュール34は、電力消費データを処理して精緻化された電力データ62を生成する(292)。電力処理モジュール34は、この精緻化された電力データ62をデータ取り出しモジュール32に返し、データ取り出しモジュール32は、この精緻化された電力データ62を含めるようにモバイルデバイスデータ60を更新し、これによって、更新されたモバイルデバイスデータ64を生成する。
[0157]オーディオレンダリングエンジン36は、精緻化された電力データ62を含む、この更新されたモバイルデバイスデータ64を受信することができる。オーディオレンダリングエンジン36は次いで、この精緻化された電力データ62に基づいて、ソースオーディオデータ37からレンダリングされたオーディオ信号66を再生するときの、モバイルデバイス278の予想される電力期間を決定することができる(293)。オーディオレンダリングエンジン36はまた、ソースオーディオデータ37のソースオーディオ期間を決定することができる(294)。オーディオレンダリングエンジン36は次いで、予想される電力期間がモバイルデバイス278の任意の1つに対するソースオーディオ期間を超えるかどうかを判定することができる(296)。予想される電力期間のすべてがソースオーディオ期間を超える場合(「はい」298)、ヘッドエンドデバイス274は、モバイルデバイス278の他の態様に適合するようにソースオーディオデータ37からのオーディオ信号66をレンダリングし、次いで、レンダリングされたオーディオ信号66を再生のためにモバイルデバイス278に送信することができる(302)。
[0158]しかしながら、予想される電力期間の少なくとも1つがソースオーディオ期間を超えない場合(「いいえ」298)、オーディオレンダリングエンジン36は、対応する1つまたは複数のモバイルデバイス278での電力需要を減らすように、上で説明された方式でソースオーディオデータ37からオーディオ信号66をレンダリングすることができる(300)。ヘッドエンドデバイス274は次いで、レンダリングされたオーディオ信号66をモバイルデバイス18に送信することができる(302)。
[0159]本技法のこれらの態様をより詳細に例示するために、映画を見る例と、そのようなシステムが各デバイスの電力使用量の知識をどのように利用し得るかに関するいくつかの小さな使用事例とを考える。前に言及されたように、モバイルデバイスは、電話、タブレット、固定された家電機器、コンピュータなどの様々な形態をとり得る。中心デバイスはまた、それは、スマートTV、受信機、または、強力な計算能力を有する別のモバイルデバイスであってよい。
[0160]上で説明された技法の電力最適化の態様は、オーディオ信号の分配に関して説明される。それでも、これらの技法は、モバイルデバイスのスクリーンとカメラフラッシュの駆動装置とをメディア再生の拡張として使用することへと拡張され得る。この例では、ヘッドエンドデバイスは、メディアソースから学習し、照明増強の可能性について分析することができる。たとえば、夜の雷雨の場面を伴う映画において、一部の雷鳴は周辺への閃光を伴ってよく、これによって、視覚体験が向上してより没入感のあるものになる可能性がある。教会の中で見ている人の周りにろうそくを伴うシーンのある映画では、拡張されたろうそくの光源が、見ている人の周りのモバイルデバイスのスクリーンにレンダリングされ得る。この視覚的分野において、協調的システムのための電力分析および管理は、上で説明されたオーディオの状況と同様であり得る。
[0161]図11〜図13は、様々な次数または副次数の球面調和ベースの関数を示す図である。これらの基本関数は係数と関連付けられてよく、これらの係数は、離散コサイン変換(DCT)の係数が信号を表すために使用され得る方法と同様の方式で、2次元または3次元の音場を表すために使用され得る。本開示で説明される技法は、球面調和係数、または音場を表すために利用され得る任意の他のタイプの階層的要素に関して、実行され得る。以下では、音場を表すために使用され高次アンビソニックスオーディオデータを形成する、球面調和係数の展開を説明する。
[0162]音場の展開は、今日の娯楽のための多くの出力フォーマットを利用可能にしてきた。そのようなサラウンドサウンドフォーマットの例は、一般的な5.1フォーマット(これは、フロントレフト(FL)と、フロントライト(FR)と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果(LFE)という、6つのチャンネルを含む)、発展中の7.1フォーマット、および今後来る22.2フォーマット(たとえば、超高精細テレビ規格で使用するための)を含む。空間オーディオフォーマットの別の例は、球面調和係数(高次アンビソニックスとしても知られている)である。
[0163]将来標準化されるオーディオエンコーダ(PCMオーディオ表現をビットストリームに変換するデバイス−時間サンプル当たりに必要とされるビットの数を保存する)への入力は、任意選択で、(i)事前に規定された位置にあるラウドスピーカーを通じて再生されることが意図される、従来のチャンネルに基づくオーディオ、(ii)(情報の中でもとりわけ)位置座標を含む関連付けられるメタデータを伴う単一のオーディオオブジェクトに対する離散的なパルス符号変調(PCM)データを伴う、オブジェクトに基づくオーディオ、および(iii)球面調和係数(SHC)を使用して音場を表すことを伴う、シーンに基づくオーディオという、3つの可能なフォーマットの1つであってよく、上記の球面調和係数は、球面調和ベースの関数の線形加算の「重み」を表す。この文脈では、SHCは、高次アンビソニックス信号としても知られている。
[0164]市場には様々な「サラウンドサウンド」フォーマットがある。それらは、たとえば、5.1ホームシアターシステム(これは、ステレオを超えたリビングルームへと進出という点で成功している)から、NHK(日本放送協会(Nippon Hoso Kyokai)または日本放送協会(Japan Broadcasting Corporation))によって開発された22.2システムにまでわたる。コンテンツ作成者(たとえば、ハリウッドスタジオ)は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、標準化委員会が、標準化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適合可能でありそれらに依存しない後続の復号とを提供するための方法を考えている。
[0165]コンテンツ作成者に対するそのような柔軟性を提供するために、階層的な要素のセットが音場を表すために使用され得る。階層的な要素のセットは、モデル化された音場の完全な表現をより低次の要素の基本セットが提供するように要素が順序付けられる、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。
は次数nかつ副次数mの球面調和ベースの関数である。角括弧の中の項は、離散フーリエ変換(DFT)、離散コサイン変換(DCT)、またはウェーブレット変換のような様々な時間−周波数変換によって近似され得る、信号の周波数領域の表現(すなわち、S(ω,rr,θr,φr))であることが認識され得る。階層的なセットの他の例は、ウェーブレット変換の係数のセットと、多分解能ベースの関数の係数の他のセットとを含む。
[0167]図11は、0次の球面調和ベースの関数410と、1次の球面調和ベースの関数412A〜412Cと、2次の球面調和ベースの関数414A〜414Eとを示す図である。次数は、行416A〜416Cとして示される、表の行によって特定され、行416Aは0次を指し、行416Bは1次を指し、行416Cは2次を指す。副次数は、列418A〜418Eとして示される表の列によって特定され、列418Aは0次の副次数を指し、列418Bは1次の副次数を指し、列418Cは−1次の副次数を指し、列418Dは2次の副次数を指し、列418Eは−2次の副次数を指す。0次の球面調和ベースの関数410に対応するSHCは、音場のエネルギーを規定するものと考えられ得るが、残りのより高次の球面調和ベースの関数(たとえば、球面調和ベースの関数412A〜412Cおよび414A〜414E)に対応するSHCは、そのエネルギーの方向を規定し得る。
[0168]図2は、0次(n=0)から4次(n=4)までの球面調和ベースの関数を示す図である。見られ得るように、各次数に対して、示されてはいるが図示を簡単にするために図2の例では明示的に述べられていない副次数mという拡張がある。
[0169]図3は、0次(n=0)から4次(n=4)までの球面調和ベースの関数を示す別の図である。図3では、球面調和ベースの関数は、示される次数と副次数の両方を伴う3次元座標空間において示される。
は、様々なマイクロフォンアレイ構成によって物理的に取得(たとえば、記録)されることが可能であり、または代替的に、音場のチャンネルベースの記述またはオブジェクトベースの記述から導出されることが可能である。SHCは、シーンに基づくオーディオを表す。たとえば、4次のSHCの表現は、時間サンプルごとに(1+4)2=25個の係数を伴う。
はn次の(第2の種類の)球ハンケル関数であり、{rs,θs、φs}はオブジェクトの位置である。周波数の関数として(たとえば、PCMストリームに対して高速フーリエ変換を実行するなど、時間−周波数分析技法を使用して)ソースエネルギーg(ω)を知ることで、各PCMオブジェクトとその位置とをSHC
係数によって(たとえば、個々のオブジェクトに対する係数ベクトルの和として)表され得る。基本的に、これらの係数は、音場についての情報(3D座標の関数としての圧力)を含み、上式は、観測点{rr,θr,φr}の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。
(SHC)の時間領域の等価物であり、*は畳み込み演算を表し、<,>は内積を表し、bn(ri,t)はriに依存する時間領域のフィルタ関数を表し、mi(t)はi番目のマイクロフォンの信号であり、i番目のマイクロフォントランスデューサは、半径ri、仰角θi、および方位角φiに位置する。したがって、マイクロフォンアレイの中に32個のトランスデューサがあり、各マイクロフォンが、ri=aが定数となるように球面上に配置される(mhAcousticsのEigenmike EM32デバイス上のマイクロフォンのように)場合、25個のSHCが、行列演算を使用して次のように導出され得る。
[1]上式の行列は、より一般的にはEs(θ,φ)と呼ばれることがあり、下付き文字sは、その行列があるトランスデューサの幾何学的配置のセットsのためのものであることを示し得る。上の式の畳み込み(*によって示される)は、行対行ベースであるので、たとえば、出力
は、Es(θ,φ)行列の第1の行とマイクロフォン信号の列(これは時間の関数として変化し、ベクトル乗算の結果が時系列であるという事実の原因である)とのベクトル乗算から得られる時系列と、b0(a,t)との畳み込みの結果である。
[0173]本開示で説明される技法は、これらの球面調和係数に関して実施され得る。例示すると、図2の例に示されるヘッドエンドデバイス14のオーディオレンダリングエンジン36は、これらのSHCを規定し得るソースオーディオデータ37からオーディオ信号66をレンダリングすることができる。オーディオレンダリングエンジン36は、SHCがオブジェクトベースのオーディオデータまたはチャンネルベースのオーディオデータよりも完全に、かつ/または正確に音場を記述し得る場合に、再生のときにより完全に、かつ/または正確に音場を再現できる様々なオーディオ信号66をレンダリングするように音場を再現するように、様々な変換を実施することができ、この音場がスピーカー16および/またはスピーカー20の位置の原因となる可能性がある。その上、音場がSHCを使用してより正確に、かつより完全に表されることが多いとすると、オーディオレンダリングエンジン36は、スピーカー16および20の大半のあらゆる位置に合わされたオーディオ信号66を生成することができる。SHCは、大半の任意の標準的なサラウンドサウンドフォーマットまたはマルチチャンネルオーディオフォーマット(上で言及された5.1、7.1、および22.2サラウンドサウンドフォーマットを含む)に存在する、スピーカーの位置に対する制約を効果的になくすことができる。
[0174]例に応じて、本明細書で説明された方法のうちのいずれかのいくつかの動作またはイベントは、異なる順序で実行されてよく、互いに付加、統合、または除外されてよい(たとえば、すべての説明された動作またはイベントが、方法の実施のために必要であるとは限らない)ことを理解されたい。その上、いくつかの例では、動作またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行され得る。さらに、本開示のいくつかの態様は、明快にするために単一のモジュールまたはユニットによって実行されるものとして説明されるが、本開示の技法はビデオコーダと関連付けられるユニットまたはモジュールの組合せによって実行され得ることを理解されたい。
[0175]1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。
[0176]このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0177]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
[0178]しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0179]命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)などの1つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明された技法の実施に適した任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内で提供され、または複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中で完全に実装され得る。
[0180]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記の1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0181]本技法の様々な実施形態が説明された。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
[0181]本技法の様々な実施形態が説明された。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定することと、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成することとを備える、方法。
[C2] 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定することをさらに備え、
前記画像を生成することが、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成することを備える、C1に記載の方法。
[C3] 前記モバイルデバイスの移動に基づいて前記画像を更新することをさらに備える、C1に記載の方法。
[C4] 前記モバイルデバイスの前記位置を決定することが、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させることと、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定することとを備える、C1に記載の方法。
[C5] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することをさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成することが、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成することを備える、C1に記載の方法。
[C6] テレビを介して前記画像を表示することをさらに備える、C5に記載の方法。
[C7] 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させることをさらに備える、C5に記載の方法。
[C8] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することと、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させることとをさらに備える、C1に記載の方法。
[C9] 前記モバイルデバイスとインターフェースをとることが、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させることを備える、C1に記載の方法。
[C10] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定し、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するように構成されるプロセッサを備える、ヘッドエンドデバイス。
[C11] 前記プロセッサがさらに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するように構成され、
前記プロセッサがさらに、前記画像を生成するときに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するように構成される、C10に記載のヘッドエンドデバイス。
[C12] 前記プロセッサがさらに、前記モバイルデバイスの移動に基づいて前記画像を更新するように構成される、C10に記載のヘッドエンドデバイス。
[C13] 前記プロセッサがさらに、前記モバイルデバイスの前記位置を決定するときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させ、前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するように構成される、C10に記載のヘッドエンドデバイス。
[C14] 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するように構成され、
前記プロセッサがさらに、前記モバイルデバイスの前記位置を示す前記画像を生成するときに、前記マルチチャンネルオーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するように構成される、C10に記載のヘッドエンドデバイス。
[C15] 前記プロセッサがさらに、テレビを介して前記画像を表示するように構成される、C14に記載のヘッドエンドデバイス。
[C16] 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるように構成される、C14に記載のヘッドエンドデバイス。
[C17] 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定し、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるように構成される、C10に記載のヘッドエンドデバイス。
[C18] 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとるときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるように構成される、C10に記載のヘッドエンドデバイス。
[C19] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定するための手段と、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するための手段とを備える、ヘッドエンドデバイス。
[C20] 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するための手段をさらに備え、
前記画像を生成するための前記手段が、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するための手段を備える、C19に記載のヘッドエンドデバイス。
[C21] 前記モバイルデバイスの移動に基づいて前記画像を更新するための手段をさらに備える、C19に記載のヘッドエンドデバイス。
[C22] 前記モバイルデバイスの前記位置を決定するための前記手段が、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させるための手段と、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するための手段とを備える、C19に記載のヘッドエンドデバイス。
[C23] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段をさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成するための前記手段が、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するための手段を備える、C19に記載のヘッドエンドデバイス。
[C24] テレビを介して前記画像を表示するための手段をさらに備える、C23に記載のヘッドエンドデバイス。
[C25] 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるための手段をさらに備える、C23に記載のヘッドエンドデバイス。
[C26] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段と、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるための手段とをさらに備える、C19に記載のヘッドエンドデバイス。
[C27] 前記モバイルデバイスとインターフェースをとるための前記手段が、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるための手段を備える、C19に記載のヘッドエンドデバイス。
[C28] 実行されると、1つまたは複数のプロセッサに、
協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定させ、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成させる、命令を記憶した非一時的コンピュータ可読記憶媒体。
[C29] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C30] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの移動に基づいて前記画像を更新させる命令をさらに備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C31] 実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を決定させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスにある周波数のトーンを放出させ、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C32] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を示す前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C33] 実行されると、前記1つまたは複数のプロセッサに、テレビを介して前記画像を表示させる命令をさらに備える、C32に記載の非一時的コンピュータ可読記憶媒体。
[C34] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させる命令をさらに備える、C32に記載の非一時的コンピュータ可読記憶媒体。
[C35] 実行されると、前記1つまたは複数のプロセッサに、
前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがマルチチャンネルオーディオソースからのオーディオ信号を再生するための規定された位置にないと判定させ、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させる命令をさらに備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C36] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定することと、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成することとを備える、方法。
[C2] 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定することをさらに備え、
前記画像を生成することが、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成することを備える、C1に記載の方法。
[C3] 前記モバイルデバイスの移動に基づいて前記画像を更新することをさらに備える、C1に記載の方法。
[C4] 前記モバイルデバイスの前記位置を決定することが、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させることと、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定することとを備える、C1に記載の方法。
[C5] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することをさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成することが、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成することを備える、C1に記載の方法。
[C6] テレビを介して前記画像を表示することをさらに備える、C5に記載の方法。
[C7] 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させることをさらに備える、C5に記載の方法。
[C8] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することと、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させることとをさらに備える、C1に記載の方法。
[C9] 前記モバイルデバイスとインターフェースをとることが、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させることを備える、C1に記載の方法。
[C10] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定し、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するように構成されるプロセッサを備える、ヘッドエンドデバイス。
[C11] 前記プロセッサがさらに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するように構成され、
前記プロセッサがさらに、前記画像を生成するときに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するように構成される、C10に記載のヘッドエンドデバイス。
[C12] 前記プロセッサがさらに、前記モバイルデバイスの移動に基づいて前記画像を更新するように構成される、C10に記載のヘッドエンドデバイス。
[C13] 前記プロセッサがさらに、前記モバイルデバイスの前記位置を決定するときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させ、前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するように構成される、C10に記載のヘッドエンドデバイス。
[C14] 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するように構成され、
前記プロセッサがさらに、前記モバイルデバイスの前記位置を示す前記画像を生成するときに、前記マルチチャンネルオーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するように構成される、C10に記載のヘッドエンドデバイス。
[C15] 前記プロセッサがさらに、テレビを介して前記画像を表示するように構成される、C14に記載のヘッドエンドデバイス。
[C16] 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるように構成される、C14に記載のヘッドエンドデバイス。
[C17] 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定し、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるように構成される、C10に記載のヘッドエンドデバイス。
[C18] 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとるときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるように構成される、C10に記載のヘッドエンドデバイス。
[C19] 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定するための手段と、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するための手段とを備える、ヘッドエンドデバイス。
[C20] 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するための手段をさらに備え、
前記画像を生成するための前記手段が、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するための手段を備える、C19に記載のヘッドエンドデバイス。
[C21] 前記モバイルデバイスの移動に基づいて前記画像を更新するための手段をさらに備える、C19に記載のヘッドエンドデバイス。
[C22] 前記モバイルデバイスの前記位置を決定するための前記手段が、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させるための手段と、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するための手段とを備える、C19に記載のヘッドエンドデバイス。
[C23] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段をさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成するための前記手段が、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するための手段を備える、C19に記載のヘッドエンドデバイス。
[C24] テレビを介して前記画像を表示するための手段をさらに備える、C23に記載のヘッドエンドデバイス。
[C25] 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるための手段をさらに備える、C23に記載のヘッドエンドデバイス。
[C26] 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段と、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるための手段とをさらに備える、C19に記載のヘッドエンドデバイス。
[C27] 前記モバイルデバイスとインターフェースをとるための前記手段が、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるための手段を備える、C19に記載のヘッドエンドデバイス。
[C28] 実行されると、1つまたは複数のプロセッサに、
協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定させ、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成させる、命令を記憶した非一時的コンピュータ可読記憶媒体。
[C29] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C30] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの移動に基づいて前記画像を更新させる命令をさらに備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C31] 実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を決定させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスにある周波数のトーンを放出させ、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C32] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を示す前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C33] 実行されると、前記1つまたは複数のプロセッサに、テレビを介して前記画像を表示させる命令をさらに備える、C32に記載の非一時的コンピュータ可読記憶媒体。
[C34] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させる命令をさらに備える、C32に記載の非一時的コンピュータ可読記憶媒体。
[C35] 実行されると、前記1つまたは複数のプロセッサに、
前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがマルチチャンネルオーディオソースからのオーディオ信号を再生するための規定された位置にないと判定させ、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させる命令をさらに備える、C28に記載の非一時的コンピュータ可読記憶媒体。
[C36] 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させる命令を備える、C28に記載の非一時的コンピュータ可読記憶媒体。
Claims (36)
- 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定することと、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成することとを備える、方法。 - 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定することをさらに備え、
前記画像を生成することが、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成することを備える、請求項1に記載の方法。 - 前記モバイルデバイスの移動に基づいて前記画像を更新することをさらに備える、請求項1に記載の方法。
- 前記モバイルデバイスの前記位置を決定することが、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させることと、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定することとを備える、請求項1に記載の方法。 - 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することをさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成することが、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成することを備える、請求項1に記載の方法。 - テレビを介して前記画像を表示することをさらに備える、請求項5に記載の方法。
- 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させることをさらに備える、請求項5に記載の方法。
- 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定することと、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させることとをさらに備える、請求項1に記載の方法。 - 前記モバイルデバイスとインターフェースをとることが、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させることを備える、請求項1に記載の方法。
- 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定し、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するように構成されるプロセッサを備える、ヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するように構成され、
前記プロセッサがさらに、前記画像を生成するときに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するように構成される、請求項10に記載のヘッドエンドデバイス。 - 前記プロセッサがさらに、前記モバイルデバイスの移動に基づいて前記画像を更新するように構成される、請求項10に記載のヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスの前記位置を決定するときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させ、前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するように構成される、請求項10に記載のヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するように構成され、
前記プロセッサがさらに、前記モバイルデバイスの前記位置を示す前記画像を生成するときに、前記マルチチャンネルオーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するように構成される、請求項10に記載のヘッドエンドデバイス。 - 前記プロセッサがさらに、テレビを介して前記画像を表示するように構成される、請求項14に記載のヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるように構成される、請求項14に記載のヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定し、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるように構成される、請求項10に記載のヘッドエンドデバイス。
- 前記プロセッサがさらに、前記モバイルデバイスとインターフェースをとるときに、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるように構成される、請求項10に記載のヘッドエンドデバイス。
- 協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定するための手段と、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成するための手段とを備える、ヘッドエンドデバイス。 - 前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定するための手段をさらに備え、
前記画像を生成するための前記手段が、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成するための手段を備える、請求項19に記載のヘッドエンドデバイス。 - 前記モバイルデバイスの移動に基づいて前記画像を更新するための手段をさらに備える、請求項19に記載のヘッドエンドデバイス。
- 前記モバイルデバイスの前記位置を決定するための前記手段が、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスにある周波数のトーンを放出させるための手段と、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定するための手段とを備える、請求項19に記載のヘッドエンドデバイス。 - 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段をさらに備え、
前記モバイルデバイスの前記位置を示す前記画像を生成するための前記手段が、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成するための手段を備える、請求項19に記載のヘッドエンドデバイス。 - テレビを介して前記画像を表示するための手段をさらに備える、請求項23に記載のヘッドエンドデバイス。
- 前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させるための手段をさらに備える、請求項23に記載のヘッドエンドデバイス。
- 前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定するための手段と、
前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させるための手段とをさらに備える、請求項19に記載のヘッドエンドデバイス。 - 前記モバイルデバイスとインターフェースをとるための前記手段が、前記モバイルデバイスとインターフェースをとり、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させるための手段を備える、請求項19に記載のヘッドエンドデバイス。
- 実行されると、1つまたは複数のプロセッサに、
協調的サラウンドサウンドシステムの複数のスピーカーのうちの1つのスピーカーとして前記協調的サラウンドサウンドシステムに加わるモバイルデバイスの位置を決定させ、
前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置を示す画像を生成させる、命令を記憶した非一時的コンピュータ可読記憶媒体。 - 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記決定された位置に基づいて、前記協調的サラウンドサウンドシステムの前記複数のスピーカーの各々が配置されるべきスピーカー領域を特定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記協調的サラウンドサウンドシステムのユーザが前記スピーカー領域の適切な1つの中で前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスを再配置することを可能にするために、前記協調的サラウンドサウンドシステムの前記複数の他のスピーカーに対する前記協調的サラウンドサウンドシステムに加わる前記モバイルデバイスの前記位置に加えて、前記スピーカー領域を示すために、前記画像を生成させる命令を備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。 - 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの移動に基づいて前記画像を更新させる命令をさらに備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。
- 実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を決定させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスにある周波数のトーンを放出させ、
前記モバイルデバイスによって放出された前記トーンに基づいて、前記モバイルデバイスの前記位置を決定させる命令を備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。 - 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがオーディオソースからレンダリングされたオーディオ信号を再生するための規定された位置にないと判定させる命令をさらに備え、
実行されると、前記1つまたは複数のプロセッサに前記モバイルデバイスの前記位置を示す前記画像を生成させる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するための前記規定された位置に対する前記モバイルデバイスの前記位置と、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示とを示すために、前記画像を生成させる命令を備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。 - 実行されると、前記1つまたは複数のプロセッサに、テレビを介して前記画像を表示させる命令をさらに備える、請求項32に記載の非一時的コンピュータ可読記憶媒体。
- 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスに含まれるディスプレイを介して、前記モバイルデバイスに前記画像を提示させる命令をさらに備える、請求項32に記載の非一時的コンピュータ可読記憶媒体。
- 実行されると、前記1つまたは複数のプロセッサに、
前記モバイルデバイスの前記位置に基づいて、前記モバイルデバイスがマルチチャンネルオーディオソースからのオーディオ信号を再生するための規定された位置にないと判定させ、
前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスを前記規定された位置の中へ再配置するための指示を前記モバイルデバイスに提示させる命令をさらに備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。 - 実行されると、前記1つまたは複数のプロセッサに、前記モバイルデバイスとインターフェースをとらせる前記命令が、実行されると、前記1つまたは複数のプロセッサにさらに、前記モバイルデバイスとインターフェースをとらせ、前記モバイルデバイスが前記規定された位置の中へ再配置されるように前記モバイルデバイスを移動すべき方向を規定する矢印を前記モバイルデバイスに提示させる命令を備える、請求項28に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261730911P | 2012-11-28 | 2012-11-28 | |
US61/730,911 | 2012-11-28 | ||
US13/830,384 US9124966B2 (en) | 2012-11-28 | 2013-03-14 | Image generation for collaborative sound systems |
US13/830,384 | 2013-03-14 | ||
PCT/US2013/067120 WO2014085006A1 (en) | 2012-11-28 | 2013-10-28 | Image generation for collaborative sound systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016502344A true JP2016502344A (ja) | 2016-01-21 |
JP5882551B2 JP5882551B2 (ja) | 2016-03-09 |
Family
ID=50773327
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015544072A Expired - Fee Related JP5882552B2 (ja) | 2012-11-28 | 2013-10-28 | 協調的サウンドシステム |
JP2015544070A Expired - Fee Related JP5882550B2 (ja) | 2012-11-28 | 2013-10-28 | 協調的サウンドシステム |
JP2015544071A Expired - Fee Related JP5882551B2 (ja) | 2012-11-28 | 2013-10-28 | 協調的サウンドシステムのための画像生成 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015544072A Expired - Fee Related JP5882552B2 (ja) | 2012-11-28 | 2013-10-28 | 協調的サウンドシステム |
JP2015544070A Expired - Fee Related JP5882550B2 (ja) | 2012-11-28 | 2013-10-28 | 協調的サウンドシステム |
Country Status (6)
Country | Link |
---|---|
US (3) | US9154877B2 (ja) |
EP (3) | EP2926570B1 (ja) |
JP (3) | JP5882552B2 (ja) |
KR (1) | KR101673834B1 (ja) |
CN (3) | CN104813683B (ja) |
WO (3) | WO2014085006A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018235182A1 (ja) * | 2017-06-21 | 2018-12-27 | ヤマハ株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法 |
Families Citing this family (114)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101624904B1 (ko) * | 2009-11-09 | 2016-05-27 | 삼성전자주식회사 | 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법 |
US9131305B2 (en) * | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US9473870B2 (en) * | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
US9154877B2 (en) | 2012-11-28 | 2015-10-06 | Qualcomm Incorporated | Collaborative sound system |
JP6271586B2 (ja) * | 2013-01-16 | 2018-01-31 | ドルビー・インターナショナル・アーベー | Hoaラウドネスレベルを測定する方法及びhoaラウドネスレベルを測定する装置 |
US10038957B2 (en) | 2013-03-19 | 2018-07-31 | Nokia Technologies Oy | Audio mixing based upon playing device location |
KR102028339B1 (ko) * | 2013-03-22 | 2019-10-04 | 한국전자통신연구원 | 사운드 가상화 방법 및 장치 |
EP2782094A1 (en) * | 2013-03-22 | 2014-09-24 | Thomson Licensing | Method and apparatus for enhancing directivity of a 1st order Ambisonics signal |
US9716958B2 (en) * | 2013-10-09 | 2017-07-25 | Voyetra Turtle Beach, Inc. | Method and system for surround sound processing in a headset |
US20160253145A1 (en) * | 2013-10-31 | 2016-09-01 | Lg Electronics Inc. | Electronic device and method for controlling the same |
US11310614B2 (en) * | 2014-01-17 | 2022-04-19 | Proctor Consulting, LLC | Smart hub |
US9704491B2 (en) | 2014-02-11 | 2017-07-11 | Disney Enterprises, Inc. | Storytelling environment: distributed immersive audio soundscape |
US9319792B1 (en) * | 2014-03-17 | 2016-04-19 | Amazon Technologies, Inc. | Audio capture and remote output |
DK178063B1 (en) * | 2014-06-02 | 2015-04-20 | Bang & Olufsen As | Dynamic Configuring of a Multichannel Sound System |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
US9584915B2 (en) | 2015-01-19 | 2017-02-28 | Microsoft Technology Licensing, Llc | Spatial audio with remote speakers |
CN107211211A (zh) * | 2015-01-21 | 2017-09-26 | 高通股份有限公司 | 用于改变音频输出设备集的声道配置的系统和方法 |
US9723406B2 (en) | 2015-01-21 | 2017-08-01 | Qualcomm Incorporated | System and method for changing a channel configuration of a set of audio output devices |
US9578418B2 (en) | 2015-01-21 | 2017-02-21 | Qualcomm Incorporated | System and method for controlling output of multiple audio output devices |
US11048855B2 (en) | 2015-02-11 | 2021-06-29 | Google Llc | Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application |
US10284537B2 (en) | 2015-02-11 | 2019-05-07 | Google Llc | Methods, systems, and media for presenting information related to an event based on metadata |
US10223459B2 (en) | 2015-02-11 | 2019-03-05 | Google Llc | Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources |
US11392580B2 (en) | 2015-02-11 | 2022-07-19 | Google Llc | Methods, systems, and media for recommending computerized services based on an animate object in the user's environment |
US9769564B2 (en) | 2015-02-11 | 2017-09-19 | Google Inc. | Methods, systems, and media for ambient background noise modification based on mood and/or behavior information |
DE102015005704A1 (de) * | 2015-05-04 | 2016-11-10 | Audi Ag | Fahrzeug mit einem Infotainmentsystem |
US9864571B2 (en) | 2015-06-04 | 2018-01-09 | Sonos, Inc. | Dynamic bonding of playback devices |
US9584758B1 (en) | 2015-11-25 | 2017-02-28 | International Business Machines Corporation | Combining installed audio-visual sensors with ad-hoc mobile audio-visual sensors for smart meeting rooms |
US9820048B2 (en) * | 2015-12-26 | 2017-11-14 | Intel Corporation | Technologies for location-dependent wireless speaker configuration |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9772817B2 (en) | 2016-02-22 | 2017-09-26 | Sonos, Inc. | Room-corrected voice detection |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
JP6461850B2 (ja) * | 2016-03-31 | 2019-01-30 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US9763280B1 (en) | 2016-06-21 | 2017-09-12 | International Business Machines Corporation | Mobile device assignment within wireless sound system based on device specifications |
GB2551779A (en) * | 2016-06-30 | 2018-01-03 | Nokia Technologies Oy | An apparatus, method and computer program for audio module use in an electronic device |
CN106057207B (zh) * | 2016-06-30 | 2021-02-23 | 深圳市虚拟现实科技有限公司 | 远程立体声全方位实时传输和播放方法 |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US20180020309A1 (en) * | 2016-07-17 | 2018-01-18 | Bose Corporation | Synchronized Audio Playback Devices |
EP4376444A2 (en) * | 2016-08-01 | 2024-05-29 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9913061B1 (en) | 2016-08-29 | 2018-03-06 | The Directv Group, Inc. | Methods and systems for rendering binaural audio content |
KR102230645B1 (ko) * | 2016-09-14 | 2021-03-19 | 매직 립, 인코포레이티드 | 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들 |
JP7003924B2 (ja) * | 2016-09-20 | 2022-01-21 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
CN107872754A (zh) * | 2016-12-12 | 2018-04-03 | 深圳市蚂蚁雄兵物联技术有限公司 | 一种多声道环绕立体声系统及安装方法 |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US10516962B2 (en) * | 2017-07-06 | 2019-12-24 | Huddly As | Multi-channel binaural recording and dynamic playback |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
JP7004727B2 (ja) * | 2017-08-08 | 2022-01-21 | マクセル株式会社 | 音声連携システム |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10609485B2 (en) | 2017-09-29 | 2020-03-31 | Apple Inc. | System and method for performing panning for an arbitrary loudspeaker setup |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
CN109996167B (zh) * | 2017-12-31 | 2020-09-11 | 华为技术有限公司 | 一种多终端协同播放音频文件的方法及终端 |
US11343614B2 (en) | 2018-01-31 | 2022-05-24 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11533560B2 (en) | 2019-11-15 | 2022-12-20 | Boomcloud 360 Inc. | Dynamic rendering device metadata-informed audio enhancement system |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
CN111297054B (zh) * | 2020-01-17 | 2021-11-30 | 铜仁职业技术学院 | 一种教学讲台 |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
KR102372792B1 (ko) * | 2020-04-22 | 2022-03-08 | 연세대학교 산학협력단 | 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템 |
KR102324816B1 (ko) * | 2020-04-29 | 2021-11-09 | 연세대학교 산학협력단 | 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법 |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11521623B2 (en) | 2021-01-11 | 2022-12-06 | Bank Of America Corporation | System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
KR20220146165A (ko) * | 2021-04-23 | 2022-11-01 | 삼성전자주식회사 | 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법 |
CN115497485A (zh) * | 2021-06-18 | 2022-12-20 | 华为技术有限公司 | 三维音频信号编码方法、装置、编码器和系统 |
CN113438548B (zh) * | 2021-08-30 | 2021-10-29 | 深圳佳力拓科技有限公司 | 基于视频数据包与音频数据包的数字电视展示方法与装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033077A (ja) * | 2004-07-12 | 2006-02-02 | Pioneer Electronic Corp | スピーカ装置 |
US20070116306A1 (en) * | 2003-12-11 | 2007-05-24 | Sony Deutschland Gmbh | Dynamic sweet spot tracking |
US20080253575A1 (en) * | 2007-04-13 | 2008-10-16 | Canon Kabushiki Kaisha | Method for assigning a plurality of audio channels to a plurality of speakers, corresponding computer program product, storage means and manager node |
US20100284389A1 (en) * | 2008-01-07 | 2010-11-11 | Max Ramsay | Systems and methods for providing a media playback in a networked environment |
US20110091055A1 (en) * | 2009-10-19 | 2011-04-21 | Broadcom Corporation | Loudspeaker localization techniques |
US20110270428A1 (en) * | 2010-05-03 | 2011-11-03 | Tam Kit S | Cognitive Loudspeaker System |
US20120113224A1 (en) * | 2010-11-09 | 2012-05-10 | Andy Nguyen | Determining Loudspeaker Layout Using Visual Markers |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6154549A (en) | 1996-06-18 | 2000-11-28 | Extreme Audio Reality, Inc. | Method and apparatus for providing sound in a spatial environment |
US6577738B2 (en) * | 1996-07-17 | 2003-06-10 | American Technology Corporation | Parametric virtual speaker and surround-sound system |
US20020072816A1 (en) * | 2000-12-07 | 2002-06-13 | Yoav Shdema | Audio system |
US6757517B2 (en) | 2001-05-10 | 2004-06-29 | Chin-Chi Chang | Apparatus and method for coordinated music playback in wireless ad-hoc networks |
JP4766440B2 (ja) | 2001-07-27 | 2011-09-07 | 日本電気株式会社 | 携帯端末装置及び携帯端末装置の音響再生システム |
JP4368210B2 (ja) | 2004-01-28 | 2009-11-18 | ソニー株式会社 | 送受信システム、送信装置およびスピーカ搭載機器 |
US20050286546A1 (en) | 2004-06-21 | 2005-12-29 | Arianna Bassoli | Synchronized media streaming between distributed peers |
EP1615464A1 (en) | 2004-07-07 | 2006-01-11 | Sony Ericsson Mobile Communications AB | Method and device for producing multichannel audio signals |
WO2006051505A1 (en) | 2004-11-12 | 2006-05-18 | Koninklijke Philips Electronics N.V. | Apparatus and method for sharing contents via headphone set |
US20060177073A1 (en) * | 2005-02-10 | 2006-08-10 | Isaac Emad S | Self-orienting audio system |
JP2006279548A (ja) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 車載用スピーカシステム及びオーディオ装置 |
KR100704697B1 (ko) | 2005-07-21 | 2007-04-10 | 경북대학교 산학협력단 | 배터리의 소비 전력 제어 방법 및 상기 방법이 적용되는휴대용 기기 |
JP4669340B2 (ja) | 2005-07-28 | 2011-04-13 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US20070087686A1 (en) | 2005-10-18 | 2007-04-19 | Nokia Corporation | Audio playback device and method of its operation |
JP2007288405A (ja) * | 2006-04-14 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 映像音声出力システム、映像音声処理方法、およびプログラム |
US20080077261A1 (en) * | 2006-08-29 | 2008-03-27 | Motorola, Inc. | Method and system for sharing an audio experience |
US9319741B2 (en) * | 2006-09-07 | 2016-04-19 | Rateze Remote Mgmt Llc | Finding devices in an entertainment system |
JP4810378B2 (ja) | 2006-09-20 | 2011-11-09 | キヤノン株式会社 | 音響出力装置及びその制御方法並びに音響システム |
US20080216125A1 (en) | 2007-03-01 | 2008-09-04 | Microsoft Corporation | Mobile Device Collaboration |
US8380127B2 (en) * | 2008-10-29 | 2013-02-19 | National Semiconductor Corporation | Plurality of mobile communication devices for performing locally collaborative operations |
KR20110072650A (ko) | 2009-12-23 | 2011-06-29 | 삼성전자주식회사 | 오디오 장치 및 이의 오디오 신호 전송 방법, 그리고 오디오 시스템 |
US9154877B2 (en) | 2012-11-28 | 2015-10-06 | Qualcomm Incorporated | Collaborative sound system |
-
2013
- 2013-03-14 US US13/831,515 patent/US9154877B2/en active Active
- 2013-03-14 US US13/830,894 patent/US9131298B2/en active Active
- 2013-03-14 US US13/830,384 patent/US9124966B2/en not_active Expired - Fee Related
- 2013-10-28 WO PCT/US2013/067120 patent/WO2014085006A1/en active Application Filing
- 2013-10-28 CN CN201380061577.7A patent/CN104813683B/zh active Active
- 2013-10-28 EP EP13789434.1A patent/EP2926570B1/en not_active Not-in-force
- 2013-10-28 CN CN201380061575.8A patent/CN104871558B/zh active Active
- 2013-10-28 JP JP2015544072A patent/JP5882552B2/ja not_active Expired - Fee Related
- 2013-10-28 KR KR1020157017060A patent/KR101673834B1/ko active IP Right Grant
- 2013-10-28 EP EP13789139.6A patent/EP2926573A1/en not_active Ceased
- 2013-10-28 JP JP2015544070A patent/JP5882550B2/ja not_active Expired - Fee Related
- 2013-10-28 CN CN201380061543.8A patent/CN104871566B/zh active Active
- 2013-10-28 WO PCT/US2013/067119 patent/WO2014085005A1/en active Application Filing
- 2013-10-28 WO PCT/US2013/067124 patent/WO2014085007A1/en active Application Filing
- 2013-10-28 JP JP2015544071A patent/JP5882551B2/ja not_active Expired - Fee Related
- 2013-10-28 EP EP13789138.8A patent/EP2926572B1/en not_active Not-in-force
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070116306A1 (en) * | 2003-12-11 | 2007-05-24 | Sony Deutschland Gmbh | Dynamic sweet spot tracking |
JP2007514350A (ja) * | 2003-12-11 | 2007-05-31 | ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング | 動的なスイートスポット追跡 |
JP2006033077A (ja) * | 2004-07-12 | 2006-02-02 | Pioneer Electronic Corp | スピーカ装置 |
US20080253575A1 (en) * | 2007-04-13 | 2008-10-16 | Canon Kabushiki Kaisha | Method for assigning a plurality of audio channels to a plurality of speakers, corresponding computer program product, storage means and manager node |
JP2008295029A (ja) * | 2007-04-13 | 2008-12-04 | Canon Inc | オーディオチャネルの割当方法、および、管理装置 |
US20100284389A1 (en) * | 2008-01-07 | 2010-11-11 | Max Ramsay | Systems and methods for providing a media playback in a networked environment |
US20110091055A1 (en) * | 2009-10-19 | 2011-04-21 | Broadcom Corporation | Loudspeaker localization techniques |
US20110270428A1 (en) * | 2010-05-03 | 2011-11-03 | Tam Kit S | Cognitive Loudspeaker System |
JP2013534069A (ja) * | 2010-05-03 | 2013-08-29 | タム、キット・エス | 認知ラウドスピーカシステム |
US20120113224A1 (en) * | 2010-11-09 | 2012-05-10 | Andy Nguyen | Determining Loudspeaker Layout Using Visual Markers |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018235182A1 (ja) * | 2017-06-21 | 2018-12-27 | ヤマハ株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法 |
CN110786023A (zh) * | 2017-06-21 | 2020-02-11 | 雅马哈株式会社 | 信息处理装置、信息处理系统、信息处理程序以及信息处理方法 |
US11172295B2 (en) | 2017-06-21 | 2021-11-09 | Yamaha Corporation | Information processing device, information processing system, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
US20140146970A1 (en) | 2014-05-29 |
CN104871558B (zh) | 2017-07-21 |
KR20150088874A (ko) | 2015-08-03 |
JP5882552B2 (ja) | 2016-03-09 |
CN104813683B (zh) | 2017-04-12 |
JP5882550B2 (ja) | 2016-03-09 |
US9124966B2 (en) | 2015-09-01 |
CN104871558A (zh) | 2015-08-26 |
EP2926572B1 (en) | 2017-05-17 |
WO2014085007A1 (en) | 2014-06-05 |
US9131298B2 (en) | 2015-09-08 |
CN104871566A (zh) | 2015-08-26 |
WO2014085006A1 (en) | 2014-06-05 |
US20140146984A1 (en) | 2014-05-29 |
JP2016504824A (ja) | 2016-02-12 |
JP5882551B2 (ja) | 2016-03-09 |
EP2926572A1 (en) | 2015-10-07 |
JP2016502345A (ja) | 2016-01-21 |
CN104871566B (zh) | 2017-04-12 |
EP2926573A1 (en) | 2015-10-07 |
US20140146983A1 (en) | 2014-05-29 |
EP2926570B1 (en) | 2017-12-27 |
KR101673834B1 (ko) | 2016-11-07 |
US9154877B2 (en) | 2015-10-06 |
CN104813683A (zh) | 2015-07-29 |
EP2926570A1 (en) | 2015-10-07 |
WO2014085005A1 (en) | 2014-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5882551B2 (ja) | 協調的サウンドシステムのための画像生成 | |
JP6676801B2 (ja) | マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス | |
US10123140B2 (en) | Dynamic calibration of an audio system | |
JP6385389B2 (ja) | パーソナライズされたオーディオを提供するためのシステムと方法 | |
CN109791193A (zh) | 环绕声系统中扬声器位置的自动发现和定位 | |
CN109313907A (zh) | 合并音频信号与空间元数据 | |
US20210004201A1 (en) | Audio capture and rendering for extended reality experiences | |
WO2020159602A1 (en) | Spatial audio is received from an audio server over a first communication link. the spatial audio is converted by a cloud spatial audio processing system into binaural audio. the binauralized audio is streamed from the cloud spatial audio processing system to a mobile station over a second communication link to cause the mobile station to play the binaural audio on the personal audio delivery device | |
US20190335286A1 (en) | Speaker system, audio signal rendering apparatus, and program | |
CN110191745B (zh) | 利用空间音频的游戏流式传输 | |
US20240056758A1 (en) | Systems and Methods for Rendering Spatial Audio Using Spatialization Shaders | |
CN114128312B (zh) | 用于低频效果的音频渲染 | |
EP4383757A1 (en) | Adaptive loudspeaker and listener positioning compensation | |
US20240163629A1 (en) | Adaptive sound scene rotation | |
KR102137589B1 (ko) | 3차원 입체음향 제공시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20151118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5882551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |