JP2020507058A - 音声ソースの無線調整 - Google Patents

音声ソースの無線調整 Download PDF

Info

Publication number
JP2020507058A
JP2020507058A JP2019531645A JP2019531645A JP2020507058A JP 2020507058 A JP2020507058 A JP 2020507058A JP 2019531645 A JP2019531645 A JP 2019531645A JP 2019531645 A JP2019531645 A JP 2019531645A JP 2020507058 A JP2020507058 A JP 2020507058A
Authority
JP
Japan
Prior art keywords
electronic device
hub
time
playback
audio content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019531645A
Other languages
English (en)
Other versions
JP6737959B2 (ja
Inventor
ゲイロード ユ
ゲイロード ユ
スティーブン スタップ
スティーブン スタップ
Original Assignee
エヴァ オートメーション インコーポレイテッド
エヴァ オートメーション インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヴァ オートメーション インコーポレイテッド, エヴァ オートメーション インコーポレイテッド filed Critical エヴァ オートメーション インコーポレイテッド
Publication of JP2020507058A publication Critical patent/JP2020507058A/ja
Priority to JP2020122312A priority Critical patent/JP6987189B2/ja
Application granted granted Critical
Publication of JP6737959B2 publication Critical patent/JP6737959B2/ja
Priority to JP2021194610A priority patent/JP7206362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12Synchronisation of different clock signals provided by a plurality of clock generators
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • H04L7/02Speed or phase control by the received code signals, the signals containing no special synchronisation information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W56/00Synchronisation arrangements
    • H04W56/004Synchronisation arrangements compensating for timing error of reception due to propagation delay
    • H04W56/005Synchronisation arrangements compensating for timing error of reception due to propagation delay compensating for timing error by adjustment in the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005Audio distribution systems for home, i.e. multi-room use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

音声コンテンツの再生を調整する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、電子デバイスからのフレームの送信時間とフレームが受信された受信時間の間の差に基づいて電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを計算することができる。例えば、現在時間オフセットは、A/Vハブと電子デバイスの間の距離を無視することにより無線測距を用いて計算することができる。A/Vハブは、電子デバイスに音声コンテンツ及び再生タイミング情報を含む1又は2以上のフレームを送信することができ、再生タイミング情報は、現在時間オフセットに基づいて電子デバイスが音声コンテンツを再生する再生時間を指定することができる。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。【選択図】図1

Description

記載される実施形態は、通信技術に関する。より具体的には、記載される実施形態は、サウンドを出力する電子デバイスの再生時間を無線調整する通信技術を含む。
音楽は、個人の感情及び知覚に大きな影響を与えることが多い。これは、音楽を解読、学習、及び記憶する脳の領域と前頭葉及び辺縁系などの感情的反応を生じる領域との間の接続又は関係性の結果であると考えられる。確かに、感情は音楽を解釈する処理に関わると考えられ、同時に脳における音楽の影響に極めて重要である。リスナーを「動かす」という音楽のこの能力を考慮すると、音声品質は、音声コンテンツを聴取する時及びより一般的には音声/映像(A/V)コンテンツを視聴する時のユーザ満足の重要な要因であることが多い。
しかしながら、環境において高い音声品質を達成することは難しいことが多い。例えば、音響ソース(ラウドスピーカなど)は、環境において適正に配置されないことがある。これに代えて又はこれに加えて、リスナーが環境内の理想的な位置に位置付けられないことがある。詳細には、ステレオ再生システムでは、振幅差及び到着時間差がオリジナルサウンドソースの鮮明な画像及び位置付けの両方が維持される程度に十分小さい、いわゆる「スイートスポット」は、通常は、ラウドスピーカ間のかなり小さな領域に制限される。リスナーがこのエリアの外側にいる時には、鮮明な画像が壊れ、ラウドスピーカによって出力された一方又は他方の独立音声チャネルだけしか聞けないことがある。更にまた、環境内で高い音声品質を達成することは、通常、ラウドスピーカの同期に強力な制約を課すことになる。
この結果、これらの要因の1又は2以上が準最適である時には、環境における音響品質が劣化する可能性がある。その結果として、これは、音声コンテンツ及び/又はA/Vコンテンツを聞く時のリスナーの満足及び全体的なユーザ体験に悪影響を与えることがある。
記載される実施形態の第1群は、音声/映像(A/V)ハブを含む。このA/Vハブは、1又は2以上のアンテナと、動作中に無線通信を用いて電子デバイスと通信するインタフェース回路とを含む。動作中、A/Vハブ受信機は、無線通信を介して、電子デバイスからフレームを受信し、ここで所与のフレームは、所与の電子デバイスが所与のフレームを送信した送信時間を含む。次いで、A/Vハブは、フレームが受信された受信時間を格納し、ここで受信時間はA/Vハブのクロックに基づく。更に、A/Vハブは、フレームの受信時間及び送信時間に基づいて、電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを計算する。次に、A/Vハブは、音声コンテンツ及び再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信し、ここで再生時間情報は、現在時間オフセットに基づいて電子デバイスが音声コンテンツを再生する再生時間を指定する。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。
時間的関係は、非ゼロの値を有することができ、電子デバイスの少なくとも一部が、再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツを再生するよう命じられるようになる点に留意されたい。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の音響特徴付けに基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境における所望の音響特性に基づくことができる。
一部の実施形態では、電子デバイスが、A/Vハブからベクトル距離に位置付けられ、インタフェース回路が、無線測距を用いて送信時間及び受信時間に基づいてベクトル距離の大きさを決定する。更に、インタフェース回路は、無線通信中に1又は2以上のアンテナによって受信されるフレームに関連付けられる無線信号の到来角に基づいてベクトル距離の角度を決定することができる。更にまた、異なる再生時間は、決定されたベクトル距離に基づくことができる。
これに代えて又はこれに加えて、異なる再生時間は、電子デバイスに対するリスナーの推定位置に基づく。例えば、インタフェース回路は、別の電子デバイスと通信し、他の電子デバイスとの通信に基づいてリスナーの推定位置を計算することができる。更に、A/Vハブは、A/Vハブを含む環境のサウンド測定を実行する音響トランスデューサを含むことができ、A/Vハブは、サウンド測定に基づいてリスナーの推定位置を計算することができる。更にまた、インタフェース回路は、環境における他の電子デバイスと通信することができ、他の電子デバイスから環境の追加のサウンド測定を受信することができる。これらの実施形態では、A/Vハブは、追加のサウンド測定に基づいてリスナーの推定位置を計算する。一部の実施形態では、インタフェース回路は、飛行時間測定を実行し、飛行時間測定に基づいてリスナーの推定位置を計算する。
電子デバイスはA/Vハブから非ゼロの距離に位置付けることができ、現在時間オフセットは、距離を無視することにより無線測距を用いて送信時間及び受信時間に基づいて計算できる点に留意されたい。
更に、現在時間オフセットは、電子デバイスにおけるクロックドリフトのモデルに基づくことができる。
別の実施形態は、A/Vハブと共に使用するコンピュータ可読ストレージ媒体を提供する。このコンピュータ可読ストレージ媒体は、A/Vハブによって実行された時にA/Vハブに上述の動作の少なくとも一部を実行させるプログラムモジュールを含む。
別の実施形態は、音声コンテンツの再生を調整するための方法を提供する。この方法は、A/Vハブによって実行される動作の少なくとも一部を含む。
別の実施形態は、電子デバイスの1又は2以上を提供する。
記載される実施形態の第2群は、音声/映像(A/V)ハブを含む。このA/Vハブは、1又は2以上のアンテナと、動作中に無線通信を用いて電子デバイスと通信するインタフェース回路とを含む。動作中、A/Vハブは、無線通信を介して、電子デバイスからフレームを受信する。次いで、A/Vハブは、フレームが受信された受信時間を格納し、ここで受信時間はA/Vハブのクロックに基づく。更に、A/Vハブは、フレームの受信時間及び予測送信時間に基づいて、電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを計算し、ここで予測送信時間は、前の時間の電子デバイスのクロックとA/Vハブのクロックの調整とフレームの事前に定義された送信スケジュールとに基づく。次に、A/Vハブは、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信し、ここで再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定する。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるように時間的係を有する。
時間的関係が非ゼロの値を有することができ、これによって電子デバイスの少なくとも一部は、再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツの再生を命じられるようになる点に留意されたい。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の音響特徴付けに基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境における所望の音響特性に基づくことができる。
一部の実施形態では、電子デバイスは、A/Vハブからベクトル距離に位置付けられ、インタフェース回路が、無線測距を用いてフレームの送信時間及び受信時間に基づいてベクトル距離の大きさを決定する。更に、インタフェース回路は、無線通信中に1又は2以上のアンテナによって受信されるフレームに関連付けられる無線信号の到来角に基づいてベクトル距離の角度を決定することができる。更にまた、異なる再生時間は、決定されたベクトル距離に基づくことができる。
これに代えて又はこれに加えて、異なる再生時間は、電子デバイスに対するリスナーの推定位置に基づく。例えば、インタフェース回路は、別の電子デバイスと通信して、他の電子デバイスとの通信に基づいてリスナーの推定位置を計算することができる。更に、A/Vハブは、A/Vハブを含む環境のサウンド測定を実行し、A/Vハブは、サウンド測定に基づいてリスナーの推定位置を計算することができる。更にまた、インタフェース回路は、環境における他の電子デバイスと通信することができ、他の電子デバイスから環境の追加のサウンド測定を受信することができる。これらの実施形態では、A/Vハブは、追加のサウンド測定に基づいてリスナーの推定位置を計算する。一部の実施形態では、インタフェース回路は、飛行時間測定を実行し、飛行時間測定に基づいてリスナーの推定位置を計算する。
電子デバイスのクロックとA/Vハブのクロックの調整は、動作の初期化モード中に起こることができる点に留意されたい。
更に、現在時間オフセットは、電子デバイスのクロックドリフトのモデルに基づくことができる。
別の実施形態は、A/Vハブと共に使用するコンピュータ可読ストレージ媒体を提供する。このコンピュータ可読ストレージ媒体は、A/Vハブによって実行された時に、A/Vハブに上述の動作の少なくとも一部を実行させるプログラムモジュールを含む。
別の実施形態は、音声コンテンツの再生を調整する方法を提供する。この方法は、A/Vハブによって実行される動作の少なくとも一部を含む。
別の実施形態は、電子デバイスの1又は2以上を提供する。
この要約は、本明細書で説明する主題の一部の態様の基本的な理解を提供するために一部の例示的な実施形態を例証する目的でのみ提示する。従って、上述の特徴は例証に過ぎず、本明細書で記載される主題の範囲又は精神を狭めるものと解釈すべきでないことが理解されるであろう。本明細書で説明する主題の他の特徴、態様、及び利点は、以下の詳細な説明、図面、及び請求項から明らかになるであろう。
本開示の実施形態による電子デバイスを備えたシステムを示すブロック図である。 本開示の実施形態による音声コンテンツの再生を調整する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスによって音声コンテンツの再生を調整する段階を示す図である。 本開示の実施形態による音声コンテンツの再生を調整する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスによる音声コンテンツの再生を調整する段階を示す図である。 本開示の実施形態による音声コンテンツの再生を調整する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスによって音声コンテンツの再生を調整する段階を示す図である。 本開示の実施形態による環境の1又は2以上の音響特性を選択的に決定する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスを含む環境の選択的音響特徴付けを示す図である。 本開示の実施形態による推定位置を計算する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスに対する1又は2以上のリスナーの推定位置を計算する段階を示す図である。 本開示の実施形態による電子デバイスを集約する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスを集約する段階を示す図である。 本開示の実施形態による等化音声コンテンツを決定する方法を示す流れ図である。 本開示の実施形態による図1の電子デバイス間の通信を示す図である。 本開示の実施形態による図1の電子デバイスを用いて等化音声コンテンツを決定する段階を示す図である。 本開示の実施形態による図1の電子デバイスの1つを示すブロック図である。
同じ参照数字が図面を通して対応する要素を指す点に留意されたい。更に、同じ要素の複数の事例は、ダッシュで例示の番号から区切られた共通の接頭辞によって示される。
第1群の実施形態では、音声コンテンツの再生を調整する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、電子デバイス(スピーカを含む電子デバイスなど)のクロックとA/Vハブのクロックの間の現在時間オフセットを電子デバイスからのフレームの送信時間とフレームが受信された受信時間の間の差に基づいて計算することができる。例えば、現在時間オフセットは、A/Vハブと電子デバイスの間の距離を無視することにより無線測距を用いて計算することができる。次いで、A/Vハブは、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定することができる。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。
電子デバイスによる音声コンテンツの再生を調整することによって、この調整技術は、A/Vハブ及び電子デバイスを含む環境における向上した音声体験を提供することができる。例えば、この調整技術は、A/Vハブと電子デバイスとの間のクロックドリフトを補正することができる。これに代えて又はこれに加えて、この調整技術は、環境の音響特性を補正又はこれに適応することができ、及び/又は環境における所望の音響特性に基づくことができる。加えて、この調整技術は、電子デバイスに対するリスナーの推定位置に基づいて再生時間を補正することができる。このようにして、この調整技術は、音響品質、及びより一般的にはA/Vハブ及び電子デバイスを用いた時のユーザ体験を向上させることができる。この結果、この調整技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第2群の実施形態では、音声/映像(A/V)を含む環境の1又は2以上の音響特性を選択的に決定するA/Vハブが記載される。詳細には、A/Vハブは、無線通信を用いて環境における電子デバイス(スピーカを含む電子デバイスなど)を検出することができる。次いで、A/Vハブは、電子デバイスが以前環境内で検出されなかった時及び/又は電子デバイスの位置の変化などの変化状態を決定することができる。変化状態を決定することに応答して、A/Vハブは、特徴付けモードに遷移することができる。特徴付けモードの間、A/Vハブは、指定再生時間に音声コンテンツを再生する命令を電子デバイスに提供し、環境における音響測定に基づいて環境の1又は2以上の音響特性を決定し、1又は2以上の音響特性及び/又は電子デバイスの位置をメモリに格納することができる。
1又は2以上の音響特性を選択的に決定することによって、この特徴付け技術は、A/Vハブ及び電子デバイスを含む環境における音響体験の改善を促進することができる。例えば、特徴付け技術は、変化を識別して修正された環境を特徴付けることができ、これは、1又は2以上の電子デバイス(電子デバイスを含む)による音声コンテンツの再生中の変化の影響を補正するのに後で用いることができる。このようにして、特徴付け技術は、音響品質、より一般的にはA/Vハブ及び電子デバイスを用いた時のユーザ体験を向上させることができる。結果的に、この特徴付け技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第3群の実施形態では、音声コンテンツの再生を調整するA/Vハブが記載される。詳細には、A/Vハブは、1又は2以上の音響特徴付けパターンに対応する測定サウンド、電子デバイスがサウンドを出力した1又は2以上の時間、及び1又は2以上の音響特徴付けパターンに基づいて、電子デバイス(スピーカを含む電子デバイスなど)のクロックとA/Vハブのクロックとの間の現在時間オフセットを計算することができる。次いで、A/Vハブは、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定することができる。更に、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。
電子デバイスによる音声コンテンツの再生を調整することによって、この調整技術は、A/Vハブ及び電子デバイスを含む環境における向上した音響体験を提供することができる。例えば、調整技術は、A/Vハブと電子デバイスとの間のクロックドリフトを補正することができる。これに代えて又はこれに加えて、調整技術は、環境の音響特性を補正又は適応させることができ、及び/又は環境における所望の音響特性に基づくことができる。加えて、調整技術は、電子デバイスに対するリスナーの推定位置に基づいて再生時間を補正することができる。このようにして、調整技術は、音響品質、及びより一般的には、A/Vハブ及び電子デバイスを用いた時のユーザ体験を向上させることができる。結果的に、調整技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第4群の実施形態では、推定位置を計算する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、別の電子デバイスとの通信、環境におけるサウンド測定、及び/又は飛行時間測定に基づいて、A/Vハブ及び電子デバイスを含む環境における電子デバイス(スピーカを含む電子デバイスなど)に対するリスナーの推定位置を計算することができる。次いで、A/Vハブは、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが推定位置に基づいて音声コンテンツを再生する再生時間を指定することができる。更に、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。
リスナーの推定位置を計算することによって、この特徴付け技術は、A/Vハブ及び電子デバイスを含む環境における向上した音響体験を促進することができる。例えば、特徴付け技術は、環境におけるリスナーの位置の変化を追跡することができ、これは、1又は2以上の電子デバイスによる音声コンテンツの再生を補正又は適応させるのに後で用いることができる。このようにして、特徴付け技術は、音響品質、及びより一般的にはA/Vハブ及び電子デバイスを使用した時のユーザ体験を向上させることができる。結果的に、特徴付け技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第5群の実施形態では、電子デバイスを集約する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、電子デバイス(スピーカを含む電子デバイスなど)によって出力される音声コンテンツに対応するサウンドを測定することができる。次いで、A/Vハブは、測定されたサウンドに基づいて電子デバイスを2又は3以上のサブセットに集約することができる。更に、A/Vハブは、サブセットに対して、所与のサブセットの電子デバイスが音声コンテンツを再生する再生時間を指定することができる再生タイミング情報を決定することができる。次に、A/Vハブは、音声コンテンツ及び再生タイミング情報を含む1又は2以上のフレームを電子デバイスに送信することができ、ここで少なくとも所与のサブセットにおける電子デバイスの再生時間は、所与のサブセットの電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。
電子デバイスを集約することによって、この特徴付け技術は、A/Vハブ及び電子デバイスを含む環境における向上した音響体験を促進することができる。例えば、特徴付け技術は、異なる音声コンテンツ、測定されたサウンドの音響遅延、及び/又は環境における所望の音響特性に基づいて電子デバイスを集約することができる。加えて、A/Vハブは、2又は3以上のサブセット間の音響クロストークを低減するためにサブセットが音声コンテンツを生成する時に用いられるサブセットの再生音量を決定することができる。このようにして、特徴付け技術は、音響品質、及びより一般的にはA/Vハブ及び電子デバイスを使用した時のユーザ体験を向上させることができる。この結果、特徴付け技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第6群の実施形態では、等化音声コンテンツを決定する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、電子デバイス(スピーカを含む電子デバイスなど)によって出力された音声コンテンツに対応するサウンドを測定することができる。次いで、A/Vハブは、第1位置、A/Vハブの第2位置、及び周波数のうちの少なくとも1つの帯域における環境の音響伝達関数に基づいて、測定されたサウンドと環境における第1位置の所望の音響特性とを比較することができる。例えば、この比較は、環境における他の位置の音響伝達関数に基づいて第1位置の音響伝達関数を計算する段階、及び第1位置の計算された音響伝達関数に基づいて測定されたサウンドを補正する段階を包含することができる。更に、A/Vハブは、比較及び音声コンテンツに基づいて等化音声コンテンツを決定することができる。A/Vハブは、等化音声コンテンツを含む1又は2以上のフレームを電子デバイスに送信して、等化音声コンテンツに対応する追加のサウンドの電子デバイスによる出力を促進することができる。
等化音声コンテンツを決定することによって、この信号処理技術は、A/Vハブ及び電子デバイスを含む環境における向上した音響体験を促進することができる。例えば、信号処理は、電子デバイスの位置に対するリスナーの推定位置及び周波数のうちの少なくとも1つの帯域における環境の音響伝達関数に基づいて音声コンテンツを動的に修正することができる。これは、所望の音響特性又は音声再生の種類(モノフォニック、ステレオフォニック又はマルチチャネルなど)が環境の推定位置で達成されるのを可能にできる。このようにして、信号処理技術は、音響品質、及びより一般的には、A/Vハブ及び電子デバイスを使用する時のユーザ体験を向上させることができる。この結果、信号処理技術は、A/Vハブ及び電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
第7群の実施形態では、音声コンテンツの再生を調整する音声/映像(A/V)ハブが記載される。詳細には、A/Vハブは、フレームが電子デバイスから受信された受信時間とフレームの予測送信時間との差に基づいて電子デバイス(スピーカを含む電子デバイスなど)のクロックとA/Vハブのクロックとの間の現在時間オフセットを計算することができる。例えば、予測送信時間は、前の時間の電子デバイスのクロック及びA/Vハブのクロックの調整とフレームの事前に定義された送信スケジュールとに基づくことができる。次いで、A/Vハブは、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームを電子デバイスに送信することができ、ここで再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定することができる。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。
電子デバイスによる音声コンテンツの再生を調整することによって、この調整技術は、A/Vハブ及び電子デバイスを含む環境における向上した音響体験を提供することができる。例えば、調整技術は、A/Vハブと電子デバイスとの間のクロックドリフトを補正することができる。これに代えて又はこれに加えて、調整技術は、環境の音響特性を補正又は適応させることができ、及び/又は環境における所望の(又は目標)音響特性に基づくことができる。加えて、調整技術は、電子デバイスに対するリスナーの推定位置に基づいて再生時間を補正することができる。このようにして、調整技術は、音響品質、及びより一般的には、A/Vハブ及び電子デバイスを使用する時のユーザ体験を向上させることができる。結果的に、調整技術は、A/Vハブと電子デバイスのプロバイダの顧客ロイヤリティ及び収益を増大させることができる。
以下の説明では、A/Vハブ(「調整デバイス」と呼ばれることもある)、A/Vディスプレイデバイス、携帯式電子デバイス、1又は2以上の受信デバイス、及び/又は1又は2以上の電子デバイス(スピーカ、及びより一般的には顧客電子デバイスなど)は、電気電子技術者協会(IEEE)802.11規格(テキサス州オースティンのWi−Fi(登録商標)アライアンスからの「Wi−Fi(登録商標)」と呼ばれることもある)、Bluetooth(登録商標)(ワシントン州カークランドのBluetoothスペシャルインタレストグループ)、セルラー電話通信プロトコル、近距離通信規格又は仕様(マサチューセッツ州ウェークフィールドのNFCフォーラムから)、及び/又は無線インタフェースの別の種類などの1又は2以上の通信プロトコルによるパケット又はフレームを伝送するラジオを含むことができる。例えば、セルラー電話通信プロトコルは、第2世代の移動テレコミュニケーション技術、第3世代の移動テレコミュニケーション技術(スイス、ジュネーブの国際テレコミュニケーションユニオンによる国際移動テレコミュニケーション−2000仕様に準拠する通信プロトコルなど)、第4世代の移動テレコミュニケーション技術(スイス、ジュネーブの国際テレコミュニケーションユニオンによる国際移動テレコミュニケーション次世代仕様)、及び/又は別のセルラー電話通信技術を含むことができ、又は準拠することができる。一部の実施形態では、通信プロトコルは、ロング・ターム・エボリューション、すなわちLTEを含む。しかしながら、多種多様な通信プロトコル(イーサネットなど)を使用することもできる。加えて、通信は、多種多様な周波数帯域を介して起こることができる。携帯式電子デバイス、A/Vハブ、A/Vディスプレイデバイス、及び/又は1又は2以上の電子デバイスは、赤外線通信規格(単方向又は双方向赤外線通信を含む)に準拠する赤外線通信を用いて通信することができる。
更に、以下の検討におけるA/Vコンテンツは、映像及び関連の音声(音楽、サウンド、ダイアログなど)、映像のみ又は音声のみを含むことができる。
電子デバイス間の通信は、図1に示されており、携帯式電子デバイス110(リモート制御又はセルラー電話など)、1又は2以上のA/Vハブ(A/Vハブ112など)、1又は2以上のA/Vディスプレイデバイス114(テレビジョン、モニタ、コンピュータ、及びより一般的には、電子デバイスに関連付けられるディスプレイなど)、1又は2以上の受信デバイス(A/Vディスプレイデバイス114−1上に表示のためのA/Vハブ112からフレーム毎に変換されたA/Vコンテンツを受信することができる近接A/Vディスプレイデバイス114−1に関連付けられるローカル無線受信機などの受信デバイス116)、1又は2以上のスピーカ118(及びより一般的には、1又は2以上のスピーカを含む1又は2以上の電子デバイス)及び/又は1又は2以上のコンテンツプロバイダに関連付けられる1又は2以上のコンテンツソース120(例えば、ラジオ受信機、映像プレーヤ、衛星受信機、インターネットなどの有線ネットワークへの接続を提供するアクセスポイント、メディア又はコンテンツソース、消費者電子デバイス、娯楽デバイス、セットトップボックス、ケーブルの関与なしのインターネット又はネットワークを通じて配信されるオーバーザトップコンテンツ、衛星又はマルチシステムオペレータ、セキュリティカメラ、モニタリングカメラなど)を備えたシステム100を例示するブロック図を示す。A/Vハブ112、A/Vディスプレイデバイス114、受信デバイス116及びスピーカ118は、システム100内の「構成要素」と総称して呼ばれることがある点に留意されたい。しかしながら、A/Vハブ112、A/Vディスプレイデバイス114、受信デバイス116及び/又はスピーカ118は、「電子デバイス」と呼ばれることもある。
詳細には、携帯式電子デバイス110及びA/Vハブ112は、無線通信を用いて互いに通信することができ、システム100内の1又は2以上の他の構成要素(少なくとも、A/Vディスプレイデバイス114のうちの1つ、受信デバイス116、スピーカ118のうちの1つ及び/又はコンテンツソース120の1つなど)は有線及び/又は無線通信を用いて通信することができる。無線通信中、これらの電子デバイスは、無線で通信することができ、無線チャネル上で広告フレームを送信し、無線チャネルを走査することによって互いに検出し、接続を確立し(例えば、アソシエーション要求を送信することによって)、及び/又はパケット又はフレーム(アソシエーション要求、及び/又は通信性能を指示する情報、データ、ユーザインタフェース、A/Vコンテンツなどのペイロードとしての追加の情報を含むことができる)を送信及び受信することができる。
図23に関して以下で更に説明されるように、携帯式電子デバイス110、A/Vハブ112、A/Vディスプレイデバイス114、受信デバイス116、スピーカ118及びコンテンツソース120は、ネットワーキングサブシステム、メモリサブシステム及びプロセッササブシステムなどのサブシステムを含むことができる。加えて、携帯式電子デバイス110、A/Vハブ112、受信デバイス116、及び/又はスピーカ118、及び任意選択的にA/Vディスプレイデバイス114及び/又はコンテンツソース120のうちの1又は2以上は、ネットワーキングサブシステムのラジオ122を含むことができる。例えば、ラジオ又は受信デバイスは、A/Vディスプレイデバイス内に入れることができ、例えば、ラジオ122−5は、A/Vディスプレイデバイス114−2に含まれる。ラジオ122は同じラジオのインスタンスとすることができ、又は互いに異なるものにできる点に留意されたい。より一般的には、携帯式電子デバイス110、A/Vハブ112、受信デバイス116及び/又はスピーカ118(及び任意選択的にはA/Vディスプレイデバイス114及び/又はコンテンツソース120)は、携帯式電子デバイス110、A/Vハブ112受信デバイス116及び/又はスピーカ118(及び任意選択的にA/Vディスプレイデバイス114及び/又はコンテンツソース120)が互いに無線で通信するのを可能にするネットワーキングサブシステムを備えた何れかの電子デバイスを含むことができる(又はこれらの中に含めることができる)。この無線通信は、無線チャネル上で広告を送信して電子デバイスが初期コンタクトを行うか又は互いを検出し、その後、データ/管理フレーム(アソシエーション要求及び応答)を交換して、接続を確立し、セキュリティオプション(例えば、インターネットプロトコルセキュリティ)を構成し、接続を介してパケット又はフレームを送信及び受信すること、などを行うことを備えることができる。
図1で分かるように、無線信号124(波線によって表される)は、携帯式電子デバイス100のラジオ122−1から送信される。これらの無線信号は、A/Vハブ112、受信デバイス116及び/又はスピーカ118のうちの少なくとも1つ(及び任意選択的に、A/Vディスプレイデバイス114及び/又はコンテンツソース120のうちの1又は2以上)のうちの少なくとも1つによって受信することができる。例えば、携帯式電子デバイス110はパケットを送信することができる。これらのパケットは、A/Vハブ112のラジオ122−2によって受信することができる。これは、携帯式電子デバイス100がA/Vハブ112に情報を伝送するのを可能にできる。図1は、パケットを送信する携帯式電子デバイス110を示すが、携帯式電子デバイス110は、A/Vハブ112及び/又はシステム100における1又は2以上の他の構成要素からパケットも受信できる点に留意されたい。より一般的には、無線信号を、システム100の構成要素の1又は2以上によって送信及び/又は受信することができる。
記載した実施形態では、携帯式電子デバイス110、A/Vハブ112、受信デバイス116及び/又はスピーカ118(及び任意選択的にA/Vディスプレイデバイス114及び/又はコンテンツソース120のうちの1又は2以上)でのパケット又はフレームの処理は、パケット又はフレームを有する無線信号124を受信する段階、受信した無線信号124からパケット又はフレームを復号/抽出してパケット又はフレームを取得する段階、及びパケット又はフレームを処理してパケット又はフレームに包含された情報(データストリームに関連付けられる情報など)を決定する段階を含む。例えば、携帯式電子デバイス110からの情報は、携帯式電子デバイス110のタッチセンサ式ディスプレイ(TSD)128に表示されたユーザインタフェースに関連付けられるユーザインタフェースアクティビティ情報を含むことができ、携式電子デバイス110のユーザが、少なくともA/Vハブ112、A/Vディスプレイデバイス114のうちの少なくとも1つ、スピーカ118のうちの少なくとも1つ及び/又はコンテンツソース120のうちの少なくとも1つを制御するために使用する。(一部の実施形態では、タッチセンサ式ディスプレイ128の代わりに又はこれに加えて、携帯式電子デバイス110が、A/Vハブ112、A/Vディスプレイデバイス114のうちの1つ、スピーカ118のうちの少なくとも1つ及び/又はコンテンツソース120の1つを少なくとも制御するためにユーザが使用できる物理的ノブ及び/又はボタンを備えたユーザインタフェースを含む。代替として、携帯式電子デバイス110、A/Vハブ112、A/Vディスプレイデバイス114の1又は2以上、受信デバイス116、スピーカ118の1又は2以上及び/又はコンテンツソース120のうちの1又は2以上は、システム100内の携帯式電子デバイス110と1又は2以上の他の構成要素の間の通信に関する通信性能を指定することができる。更に、A/Vハブ112からの情報は、A/Vディスプレイデバイス114のうちの少なくとも1つ、スピーカ108のうちの少なくとも1つ及び/又はコンテンツソース120の1つの現在のデバイス状態に関するデバイス状態情報(オン、オフ、再生、巻き戻し、早送り、選択されたチャネル、選択されたA/Vコンテンツ、コンテンツソースなど)を含むことができ、又はユーザインタフェースのユーザインタフェース情報を含むことができる(デバイス状態情報及び/又はユーザインタフェースアクティビティ情報に基づいて動的に更新できる)。更にまた、少なくともA/Vハブ112及び/又はコンテンツソース120の1つからの情報は、A/Vディスプレイデバイス114の1又は2以上に表示又は提示される音声及び/又は映像(「音声/映像」又は「A/V」コンテンツとして示される時もある)、並びに音声及び/又は映像がどのように表示又は提示されるかを指定するディスプレイ命令を含むことができる。
しかしながら、上述のように、音声及び/又は映像は、有線通信を介してシステム100の構成要素間で伝送することができる。従って、図1に示すように、A/Vハブ112とA/Vディスプレイデバイス114−3の間などの高解像度マルチメディアインタフェース(HDMI)ケーブル126などの有線ケーブル又はリンクが存在できる。音声及び/又は映像はHDMIコンテンツ内に含むことができるか又はHDMIコンテンツに関連付けることができ、他の実施形態では音声コンテンツを、開示する通信技術の実施形態で使用される別のフォーマット又は規格に準拠するA/Vコンテンツに含むか又は関連付けることができる。例えば、A/Vコンテンツは、H.264、MPEG−2、クイックタイムビデオフォーマット、MPEG−4、MP4、及び/又はTCP/IPを含むことができ、又はこれらに準拠することができる。更に、A/Vコンテンツの映像モードは、720p、1080i、1080p、1440p、2000、2160p、2540p、4000p及び/又は4320pとすることができる。
A/Vハブ112は、A/Vディスプレイデバイス114−1などのA/Vディスプレイデバイス114のうちの1つのディスプレイのフォーマットに基づくA/Vコンテンツの表示命令(表示レイアウトを有する)を決定することができる。これに代えて、A/Vハブ112は、事前に決められた表示命令を使用することができ、又はA/Vハブ112は、修正された又は変換されたA/Vコンテンツがディスプレイ上の表示のための適切なフォーマットを有するように表示レイアウトに基づいてA/Vコンテンツを修正又は変換することができる。更に、表示命令は、A/Vコンテンツが表示される場所(中央ウィンドウ、タイルウィンドウなど)を含むA/V表示デバイス114−1のディスプレイに表示される情報を指定することができる。この結果、表示される情報(すなわち、表示命令の事例)は、表示サイズ、表示解像度、表示縦横比、表示コントラスト比、表示タイプなどの表示のフォーマットに基づくことができる。更にまた、A/Vハブ112がコンテンツソース120の1つからA/Vコンテンツを受信した時に、A/VコンテンツがA/Vディスプレイデバイス114−1のディスプレイに表示されるように、A/Vコンテンツを備えたフレームがコンテンツソース120の1つから(例えば、リアルタイムに)受信される時にA/Vコンテンツ及び表示命令をA/Vディスプレイデバイス114−1に提供することができる。例えば、A/Vハブ112は、フレームが受信されるまでバッファにA/Vコンテンツを集めることができ、A/Vハブ112が完全なフレームをA/Vディスプレイデバイス114−1に提供することができる。これに代えて、A/Vハブ112は、受信された時にフレームの部分を備えたパケットをA/Vディスプレイデバイス114−1に提供することができる。一部の実施形態では、表示命令は、A/Vディスプレイデバイス114−1に特異的に(表示命令が変わった時など)、定期的に又は周期的に(Nパケット毎に1つ又は各フレームのパケットなどに)又は各パケットで提供することができる。
更に、携帯式電子デバイス110、A/Vハブ112、A/Vディスプレイデバイス114の1又は2以上、受信デバイス116、スピーカ118の1又は2以上及び/又は1又は2以上のコンテンツソース120間の通信は、受信された信号強度インジケータ(RSSI)、データレート、無線プロトコルオーバヘッドを割り引くデータレート(「スループット」と呼ばれることがある)、エラーレート(パケットエラーレート、又はリトライ又は再送信レート)、等化目標に対する等化信号の平均平方エラー、符号間干渉、多経路干渉、信号対雑音比、アイパターンの幅、時間間隔(この後半はチャネル又はリンクの「容量」と呼ばれることがある)に伝送できる推定最大バイト数に対する時間間隔(1〜10sなど)の間にうまく伝送されるバイト数の比、及び/又は推定最大データレートに対する実際のデータレートの比(「利用度」と呼ばれることがある)などの多種多様な性能尺度によって特徴付けることができる。また、異なるチャネルに関連付けられる通信中の性能は、個々に又は一緒に(例えば、ドロップパケットを識別するために)モニタすることができる。
携帯式電子デバイス110、A/Vハブ112、A/Vディスプレイデバイス114のうちの1つ、受信デバイス116、スピーカ118のうちの1つ、及び/又は図1のコンテンツソース120のうちの1又は2以上の間の通信は、複数のラジオを用いて伝送することができる1又は2以上の接続又はリンクにおける異なる無線チャネル(又は異なるWi−Fi通信プロトコルなどの同等の異なる通信プロトコル)における1又は2以上の独立した同時データストリームを包含することができる。1又は2以上の接続又はリンクは各々、システム100の無線ネットワーク(プロプラエタリネットワーク又は公共ネットワークとすることができる)における別々の又は異なる識別子(異なるサービスセット識別子など)を有することができる点に留意されたい。更に、1又は2以上の同時データストリームは、動的又はパケット毎のベースで、過渡変化(干渉、伝送する必要がある情報量の変化、携帯式電子デバイス100の動きなど)がある時でも性能尺度を改善又は維持する、及びチャネル較正、1又は2以上の性能尺度の決定、通信を遮断することなくサービス品質の特徴付けの実行(チャネル推定の実行、リンク品質の実行、チャネル較正の実行及び/又は少なくとも1つのチャネルに関連付けられるスペクトル分析の実行)、異なる無線チャネル間のシームレスハンドオフ、構成要素間の調整通信などのサービス(通信プロトコルに準拠したまま、例えば、Wi−Fi通信プロトコル)を促進するために部分的に又は完全に冗長性があるものとすることができる。これらの特徴は、再送信されるパケットの数を低減することができ、従って、通信の待ち時間を減少させ通信の遮断を回避することができ、及びA/Vディスプレイデバイス114の1又は2以上でA/Vコンテンツを閲覧する及び/又はスピーカ118の1又は2以上によって出力された音声を聴取する1又は2以上のユーザの体験を拡張することができる。
上述のように、ユーザは、少なくともA/Vハブ112、A/Vディスプレイデバイス114のうちの少なくとも1つ、スピーカ118のうちの少なくとも1つ及び/又はコンテンツソース120のうちの少なくとも1つを携帯式電子デバイス110上のタッチセンサ式ディスプレイ128に表示されたユーザインタフェースを介して制御することができる。詳細には、所与の時間において、ユーザインタフェースは、少なくとも、A/Vハブ112、A/Vディスプレイデバイス114のうちの少なくとも1つ、スピーカ118のうちの少なくとも1つ及び/又はコンテンツソース120のうちの少なくとも1つの機能又は能力をユーザが起動、停止又は変更するのを可能にする1又は2以上の仮想アイコンを含むことができる。例えば、ユーザインタフェースの所与の仮想アイコンは、タッチセンサ式ディスプレイ128の表面上の関連付けられるストライクエリアを有することができる。ユーザが(例えば、1又は2以上の指を用いて又はスタイラスを用いて)ストライクエリア内の表面に接触し、次いで接触を解除する場合に、携帯式電子デバイス110(プログラムモジュールを実行するプロセッサなど)は、タッチセンサ式ディスプレイ128に結合されたタッチ画面入力/出力(I/O)コントローラからこのコマンド又は命令の起動を指示するユーザインタフェースアクティビティ情報を受信することができる。(これに代えて、タッチセンサ式ディスプレイ128は、圧力に応答することができる。これらの実施形態では、ユーザは、10〜20kPaなどの閾値よりも通常は小さな平均接触圧力によってタッチセンサ式ディスプレイ128との接触を維持することができ、閾値を上回ってタッチセンサ式ディスプレイ128による平均接触圧力を上げることによって所与の仮想アイコンを起動することができる。)これに応答して、プログラムモジュールは、携帯式電子デバイス110のインタフェース回路に命じて、A/Vハブ112へのコマンド又は命令を指示するユーザインタフェースアクティビティ情報を無線通信することができ、A/Vハブ112は、コマンド又は命令をシステム100の構成要素(A/Vディスプレイデバイス114−1など)に伝送することができる。この命令又はコマンドは、A/Vディスプレイデバイス114−1のターンオン又はオフ、特定のコンテンツソースからのA/Vコンテンツの表示、動作のトリックモード(早送り、巻き戻し、高速巻き戻し又はスキップ)などの実行を結果として生じることができる。例えば、A/Vハブ112は、コンテンツソース120−1からA/Vコンテンツを要求することができ、次いで、表示命令を備えたA/VコンテンツをA/Vディスプレイデバイス114−1に提供することができ、これによってA/Vディスプレイデバイス114−1はA/Vコンテンツを表示する。これに代えて又はこれの加えて、A/Vハブ112は、コンテンツソース120−1からのビデオコンテンツに関連付けられる音声コンテンツをスピーカ118の1又は2以上に提供することができる。
上述のように、環境(部屋、建物、車両など)において高い音声品質を達成するには困難であることが多い。詳細には、環境における高い音声品質を達成することは、通常は、スピーカ118などのラウドスピーカの調整に強力な制約を課す。例えば、この調整は、1〜5μs精度(限定ではない例示的値)に維持することが必要となる可能性がある。一部の実施形態では、調整は、時間又は位相精度内の時間ドメイン及び/又は周波数精度内の周波数ドメインの同期を含む。適切な調整がない場合は、環境における音響品質が、音声コンテンツ及び/又はA/Vコンテンツを聴取する時にリスナー満足及び全体的なユーザ体験における相応の影響によって劣化する可能性がある。
この問題は、A/Vハブ112によってスピーカ118を直接又は間接的に調整することによる調整技術で対処することができる。図2〜4に関して以下に説明するように、一部の実施形態では、スピーカ118による音声コンテンツの調整された再生は、無線通信を用いて促進することができる。詳細には、光の速度が音の速度よりほぼ6桁速いので、環境(部屋など)の無線信号の伝播遅延は、スピーカ118の所望の調整精度に対して無視できる。例えば、スピーカ118の所望の調整精度は、マイクロ秒程度とすることができ、一般的な部屋(例えば、最大で10−30mの距離を超える)における伝播遅延は、1又は2桁小さくすることができる。この結果、無線測距又はラジオベースの距離測定などの技術を用いてスピーカ118を調整することができる。詳細には、無線測距中にA/Vハブ112は、A/Vハブ112のクロックに基づいてA/Vハブ112の送信時間及び識別子を含むフレーム又はパケットを送信することができ、スピーカ118の所与の1つ(スピーカ118−1など)は、スピーカ118−1のクロックに基づいてフレーム又はパケットの到着又は受信時間を決定することができる。
これに代えて、スピーカ118−1は、スピーカ118−1のクロックに基づいてスピーカ118−1の送信時間及び識別子を含むフレーム又はパケット(「入力フレーム」と呼ばれることがある)を送信することができ、A/Vハブ112は、A/Vハブ112のクロックに基づいてフレーム又はクロックの到着又は受信時間を決定することができる。より一般的には、A/Vハブ112とスピーカ118−1の間の距離が、飛行時間(到着時間と送信時間の差)と伝播速度の積に基づいて決定される。しかしながら、A/Vハブ112とスピーカ118−1の間の物理的距離を無視することによって、すなわち即時伝播(同じ部屋又は環境における固定デバイスが無視してよい静的オフセットを導入する)を仮定することによって、到着時間と送信時間の差により、A/Vハブ112とスピーカ118−1のクロックの調整におけるドリフト又は現在時間オフセット(並びに無視してよい静的オフセット)を動的に追跡することができる。
現在時間オフセットは、A/Vハブ112によって決定することができ、又はスピーカ118−1によってA/Vハブ112に提供することができる。A/Vハブ112は、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレーム(「出力フレーム」と呼ばれることもある)をスピーカ118−1に送信することができ、再生タイミング情報は、現在時間オフセットに基づいてスピーカ118−1が音声コンテンツを再生する再生時間を指定することができる。これは、他のスピーカ118について繰り返すことができる。更にまた、スピーカ118の再生時間は、スピーカ118による音声コンテンツの再生が調整されるような時間的関係を有することができる。
クロック内のドリフトを補正することに加えて、この調整技術(並びに以下に説明する調整技術の他の実施形態)は、A/Vハブ112及びスピーカ118を含む環境における向上した音響体験を提供することができる。例えば、調整技術は、環境における所望の音響特性(例えば、モノフォニック、ステレオフォニック及び/又はマルチチャネルなどの再生の種類、有向又は散乱性、通じやすさなどの音響放射パターン)に基づいて、及び/又はスピーカ118に対する1又は2以上のリスナーの動的に推定された位置に基づいて(図14〜16に関して以下に説明される)、環境の事前に決定されたか又は動的に決定される音響特性を補正又は適応させることができる(図11〜13に関して以下に説明される)。加えて、調整技術は、グループへのスピーカ118の動的集約(図17〜19に関して以下に説明される)及び/又は再生される動的に等化された音声コンテンツベースの音声コンテンツ及び環境における音響特性と所望の音響特性の間の差(図20〜22に関して以下に説明される)に関して用いることができる。
無線測距(並びに一般的に無線通信)は、2GHz無線帯域、5GHz無線帯域、ISM帯域、60GHz無線帯域、超広帯域などの周波数の1又は2以上の帯域で又は帯域内で実行することができる点に留意されたい。
一部の実施形態では、1又は2以上の追加の通信技術を用いて、スピーカ118の調整中のマルチパス無線信号を識別及び/又は実行することができる。例えば、A/Vハブ112及び/又はスピーカ118は、指向性アンテナ、アンテナのアレイと既知の位置の到着時間差、及び/又は既知の位置を有する2つの受信機での到来角(すなわち、三辺測量又は多辺測量)を用いて到来角(非視野方向受信を含む)を決定することができる。
図5〜7に関して以下に説明するように、スピーカ118を調整する別の方法は、スケジュールされた送信時間を使用することができる。詳細には、較正モード中、A/Vハブ112及びスピーカ118のクロックを調整することができる。続いて、通常の動作モードでは、A/Vハブ112は、A/Vハブ112のクロックに基づいて事前に定義された送信時間にA/Vハブ112の識別子を備えたフレーム又はパケットを送信することができる。しかしながら、A/Vハブ112のクロックの相対的ドリフトのせいで、これらのパケット又はフレームは、スピーカ118のクロックに基づく予想される事前定義送信時間とは異なる時間にスピーカ118に到着又は受信される。従って、伝播遅延を再度無視することによって、スピーカ118の所与の1つ(スピーカ118−1など)の所与のフレームの到着時間と事前定義された送信時間との差は、A/Vハブ112及びスピーカ118−1のクロックの調整におけるドリフト又は現在時間オフセット(並びに伝播遅延に関連付けられる無視してよい静的オフセット)を動的に追跡することができる。
これに代えて又はこれに加えて、較正モード後に、スピーカ118は、スピーカ118のクロックに基づく事前に定義された送信時間にスピーカ118の識別子を備えたフレーム又はパケットを送信することができる。しかしながら、スピーカ118のクロックのドリフトのせいで、これらのパケット又はフレームは、A/Vハブ112のクロックに基づく予想される事前定義送信時間とは異なる時間にA/Vハブ112に到着又はA/Vハブ112によって受信されることになる。従って、伝播遅延を再度無視することによって、スピーカ118の所与の1つ(スピーカ118−1など)からの所与のフレームの到着時間と事前に定義された送信時間との差は、A/Vハブ112及びスピーカ118−1のクロックの調整におけるドリフト又は現在時間オフセット(並びに伝播遅延に関連付けられる無視してもよい静的オフセット)を動的に追跡することができる。
この場合も同様に、現在時間オフセットは、A/Vハブ112によって決定することができ、又はスピーカ118の1又は2以上(スピーカ118−1など)によってA/Vハブ112に提供することができる。一部の実施形態では、現在時間オフセットは更に、A/Vハブ112及びスピーカ118のクロックドリフトのモデルに基づく点に留意されたい。次いで、A/Vハブ112は、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームをスピーカ118−1に送信することができ、ここで再生タイミング情報は、スピーカ118−1が現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定することができる。これは、他のスピーカ118に対して繰り返すことができる。更にまた、スピーカ118の再生時間は、スピーカ118による音声コンテンツの再生が調整されるような時間的関係を有することができる。
更に、1又は2以上の追加の通信技術をこれらの実施形態に用いて、スピーカ118の調整中のマルチパス無線信号を識別及び/又は実行できる点に留意されたい。
図8〜10に関して以下に説明するように、スピーカ118を調整する別の方法は、音響測定を用いることができる。詳細には、較正モード中、A/Vハブ112及びスピーカ118のクロックを調整することができる。続いて、A/Vハブ112は、事前に定義された送信時間にA/Vハブ112(パルスのシーケンス、異なる周波数など)を固有に識別する音響特徴付けパターンに対応するサウンドを出力することができる。この音響特徴付けパターンは、人間の聴力の範囲以外の周波数(超音波周波数など)で出力することができる。しかしながら、A/Vハブ112のクロックにおける相対的ドリフトのために、音響特徴付けパターンに対応するサウンドは、スピーカ118のクロックに基づく予想される事前定義送信時間とは異なる時間にスピーカ118で測定される(すなわち、到着又は受信される)。これらの実施形態では、A/Vハブ112及びスピーカ118の事前に決められた又は既知の位置に基づいて及び/又は無線測距を用いて音響伝播に関連付けられる寄与の異なる時間を補正する必要がある。例えば、ローカル測位システム、全地球測位システム、及び/又は無線ネットワーク(セルラー電話ネットワーク又はWLANなど)における三角測量及び/又は三辺測量を用いて位置を決定することができる。従って、音響伝播遅延を補正した後に、スピーカ118の所与の1つ(スピーカ118−1など)の所与のフレームの到着時間と事前に定義された送信時間の差は、A/Vハブ112及びスピーカ118−1のクロックの調整におけるドリフト又は現在時間オフセットを動的に追跡することができる。
これに代えて又はこれに加えて、較正モード後に、スピーカ118は、事前に定義された送信時間にスピーカ118を固有に識別する音響特徴付けパターン(異なるパルスのシーケンス、異なる周波数など)に対応するサウンドを事前に定義された送信時間に出力することができる。しかしながら、スピーカ118のクロックにおける相対的ドリフトのために、音響特徴付けパターンに対応するサウンドは、A/Vハブ112のクロックに基づく予想される事前定義送信時間とは異なる時間にA/Vハブ112で測定される(すなわち到着するか又は受信される)。これらの実施形態では、A/Vハブ112及びスピーカ118の事前に決められたか又は既知の位置に基づいて及び/又は無線測距を用いて音響伝播遅延に関連付けられる寄与の異なる時間を補正する必要がある。従って、音響伝播遅延を補正した後に、スピーカ118の所与の1つ(スピーカ118−1など)からの所与のフレームの到着時間と事前に定義された送信時間の差が、A/Vハブ112及びスピーカ118−1のクロックの調整におけるドリフト又は現在時間オフセットを動的に追跡することができる。
この場合も同様に、現在時間オフセットはA/Vハブ112によって決定することができ、又はスピーカ118−1によってA/Vハブ112に提供することができる。次いで、A/Vハブ112は、音声コンテンツと再生タイミング情報とを含む1又は2以上のフレームをスピーカ118−1に送信することができ、ここで再生タイミング情報は、スピーカ118−1が現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定することができる。これは他のスピーカ118に対して繰り返すことができる。更に、ピーカ118の再生時間は、スピーカ118による音声コンテンツの再生が調整されるような時間的関係を有することができる。
例として図1に示すネットワーク環境が記載されているが、代替の実施形態では、異なる数又は種類の電子デバイスが存在してもよい。例えば、一部の実施形態は、多い又は少ない電子デバイスを含む。別の例として、別の実施形態では、異なる電子デバイスがパケット又はフレームを送信及び/又は受信している。携帯式電子デバイス110及びA/Vハブ112はラジオ112の単一の事例によって図示しているが、他の実施形態では、携帯式電子デバイス110及びA/Vハブ112(及び任意選択的にA/Vディスプレイデバイス114、受信デバイス116、スピーカ118及び/又はコンテンツソース120)は複数のラジオを含むことができる。
ここで通信技術の実施形態について説明する。図2は、A/Vハブ112などのA/Vハブ(図1)によって実行することができる音声コンテンツの再生を調整する方法200を示す流れ図を提示している。動作中、A/Vハブ(制御回路又は論理回路など、例えば、A/Vハブのプログラムモジュールを実行するプロセッサ)は、無線通信を介して1又は2以上の電子デバイスからフレーム(動作210)又はパケットを受信することができ、所与のフレーム又はパケットは、所与の電子デバイスが所与のフレーム又はパケットを送信した送信時間を含む。
次いで、A/Vハブは、フレーム又はパケットが受信された受信時間を格納することができ(動作212)、受信時間はA/Vハブのクロックに基づく。例えば、受信時間は、A/Vハブのインタフェース回路内の又はこれに関連付けられる物理層及び/又は媒体アクセス制御(MAC)層によって電子デバイスの1つから受信されたパケットのインスタンス又はフレーム又はパケットに追加することができる。受信時間は、前縁に関連付けられる受信時間信号又は後縁に関連付けられる受信クリア信号などのパケットの前縁又は後縁又はフレーム又はパケットに関連付けられる点に留意されたい。同様に、送信時間を、電子デバイス内のインタフェース回路内又はこれに関連付けられる物理層及び/又はMAC層によって電子デバイスの1つによって送信されたフレーム又はパケットのインスタンスに追加することができる。一部の実施形態では、送信及び受信時間が決定され、インタフェース回路内又はインタフェース回路に関連付けられる物理層及び/又はMAC層の無線測距能力によってフレーム又はパケットに追加される。
更に、A/Vハブは、フレーム又はパケットの受信時間及び送信時間に基づいて電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを計算することができる(動作214)。更にまた、現在時間オフセットは、クロック回路の電子回路モデルなどの電子回路のクロックドリフトのモデル及び/又は時間の関数の通りのクロックドリフトのルックアップテーブルに基づいてA/Vハブによって計算することができる。電子デバイスは、A/Vハブから非ゼロの距離に位置付けられ、現在時間オフセットは、距離を無視することによって無線測距を用いて送信時間及び受信時間に基づいて計算できる点に留意されたい。
次に、A/Vハブは、音声コンテンツと再生タイミング情報を含む1又は2以上のフレーム(動作216)又はパケットを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定する点に留意されたい。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。時間的関係は非ゼロの値を有し、電子デバイスの少なくとも一部が、再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツの再生を命じられるようにすることができる点に留意されたい。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の事前に決められたか又は動的に決定される音響特性に基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境における所望の音響特性に基づくことができる。
一部の実施形態では、A/Vハブは、任意選択的に1又は2以上の追加の動作を実行する(動作218)。例えば、電子デバイスを、A/Vハブからベクトル距離に位置付けることができ、インタフェース回路は、無線測距を用いて送信時間及び受信時間に基づいてベクトル距離の大きさを決定することができる。更に、インタフェース回路は、無線通信中に1又は2以上のアンテナによって受信されるフレーム又はパケットに関連付けられる無線信号の到来角に基づいてベクトル距離の角度を決定することができる。更にまた、異なる再生時間は、決定されたベクトル距離に基づくことができる。例えば、再生時間は、環境における異なる位置の異なる電子デバイスからの音声コンテンツに関連付けられるサウンドが、所望の位相関係で又はこの位置の所望の音響特性を達成するために環境の位置(例えば、A/Vハブの位置、環境の中心に、ユーザの好ましい聴取位置など)に到達することができるように決定されたベクトル距離に対応することができる。
これに代えて又はこれに加えて、異なる再生時間は、電子デバイスに対するリスナーの推定位置に基づき、これによって環境における異なる位置の異なる電子デバイスからの音声コンテンツに関連付けられるサウンドが、所望の位相関係を有するリスナーの推定位置に到達できるか、又は推定位置の所望の音響特性を達成することができる。リスナーの位置を決定するために用いることができる技術は、図14〜16に関して以下に説明する。
インタフェース回路での無線測距能力は、A/Vハブと電子デバイスの調整されたクロックを包含することができ、他の実施形態では、クロックは調整されない点に留意されたい。従って、多種多様な電波探知技術を用いることができる。一部の実施形態では、無線測距能力は、GHz又はマルチHGz帯域幅を通じた送信の使用を含み短持続時間のパルス(例えば、約1nsなど)を生じる。
図3は、A/Vハブ112とスピーカ118−1の間を示す図である。詳細には、スピーカ118−1のインタフェース回路310は、1又は2以上のフレーム又はパケット(パケット312など)をA/Vハブ112に送信することができる。パケット312は、スピーカ118−1がパケット312を送信した時に、スピーカ118−1内のインタフェース回路310内又はこれに関連付けられるインタフェースクロック回路318によって提供されるインタフェースクロック316に基づいて対応する送信時間314を含むことができる。A/Vハブ112のインタフェース回路320がパケット312を受信した時に、パケット312に受信時間322を含めることができ(又はメモリ324に受信時間322を格納することができる)、各パケットに対して、対応する受信時間は、インタフェース回路318内又はインタフェース回路318に関連付けられるインタフェースクロック回路328によって提供されるインタフェースクロック326に基づくことができる。
次いで、インタフェース回路320は、送信時間314と受信時間322の間の差に基づいて、インタフェースクロック316とインタフェースクロック326の間の現在時間オフセット330を計算することができる。更に、インタフェース回路320は、現在時間オフセット330をプロセッサ332に提供することができる。(代替として、プロセッサ332は現在時間オフセット330を計算することができる。)
更にまた、プロセッサ332は、再生タイミング情報334及び音声コンテンツ336をインタフェース回路320に提供することができ、再生タイミング情報334は、スピーカ118−1が現在時間オフセット330に基づいて音声コンテンツ336を生成する再生時間を指定する。これに応答して、インタフェース回路330は、再生タイミング情報334及び音声コンテンツ336を含む1又は2以上のフレーム又はパケット338をスピーカ118−1に送信することができる。(しかし一部の実施形態では、再生タイミング情報334及び音声コンテンツ336は、別々の又は異なるフレーム又はパケットを用いて送信される。)
インタフェース回路310が1又は2以上のフレーム又はパケット338を受信した後に、再生タイミング情報334及び音声コンテンツ336をプロセッサ340に提供することができる。プロセッサ340は、再生動作342を実行するソフトウェアを実行することができる。例えば、プロセッサ340は、メモリに音声コンテンツ336を待ち行列に格納することができる。これらの実施形態では、再生動作350は、再生タイミング情報334によって指定された時間にスピーカ118−1がサウンドを出力するように音声コンテンツ336に基づいてスピーカ118−1で電気対音響トランスデューサを駆動する段階を含む待ち行列から音声コンテンツ336を出力する段階を含む。
例示的な実施形態では、スピーカ118による音声コンテンツの再生を調整するために通信技術が用いられる。これは図4に示されており、スピーカ118による音声コンテンツの再生を調整する段階を示す図を提示している。詳細には、フレーム又はパケット(パケット410−1など)がスピーカ118によって送信された時に、これらは送信時間(送信時間412−1など)を指示する情報を含むことができる。例えば、スピーカ118のインタフェース回路の物理層は、パケット410内の送信時間を含むことができる。図4及び以下の他の実施形態では、フレーム又はパケットの情報を任意の位置(始め、中間及び/又は終わりなど)に含むことができる点に留意されたい。
パケット410がA/Vハブ112によって受信された時に、受信時間を指示する追加の情報(パケット410−1の受信時間414−1など)をパケット10に含めることができる。例えば、A/Vハブ112のインタフェース回路の物理層は、パケット410に受信時間を含めることができる。更に、送信時間及び受信時間を用いてA/Vハブ112及びスピーカ118のクロックのドリフトを追跡することができる。
A/Vハブ112は、送信時間及び受信時間を用いて、スピーカ118のクロックとA/Vハブ112のクロックとの間の現在時間オフセットを計算することができる。更にまた、現在時間オフセットは、スピーカ118のクロックドリフトからA/Vハブ112のモデルに基づいてA/Vハブ112によって計算することができる。例えば、相対的又は絶対的クロックドリフトのモデルは、履歴時間オフセットに基づく時間の関数の通りに所与のスピーカのクロックドリフトを指示又は推定するパラメータを有する多項式又は三次スプライン式(及びより一般的には関数)を含むことができる。
続いてA/Vハブ112は、音声コンテンツ420及び再生タイミング情報(パケット416−1内の再生タイミング情報418−1など)を含む1又は2以上のパケット或いはフレーム又はパケットをスピーカ118に送信することができ、再生タイミング情報は、スピーカ118デバイスが現在時間オフセットに基づいて音声コンテンツ420を再生する再生時間を示す。スピーカ118の再生時間は、例えば、関連付けられるサウンド又は波面が所望の位相関係を有する環境の位置422に到着するように、スピーカ118による音声コンテンツ420の再生が調整されるような時間的関係を有することができる。
通信技術における調整の別の実施形態が図5に示されており、音声コンテンツの再生を調整する方法500を示す流れ図を提示している。方法500がA/Vハブ112(図1)などのA/Vハブによって実行できる点に留意されたい。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブでプログラムモジュールを実行するプロセッサ)は、無線通信を介して電子デバイスからフレーム(動作510)又はパケットを受信することができる。
A/Vハブは、フレーム又はパケットが受信された受信時間を格納することができ(動作512)、この受信時間は、A/Vハブのクロックに基づく。例えば、受信時間は、A/Vハブのインタフェース回路内又はこれに関連付けられる物理層及び/又はMAC層によって電子デバイスの1つから受信されたフレーム又はパケットのインスタンスに追加することができる。前縁に関連付けられる受信時間信号又は後縁に関連付けられる受信クリア信号などのフレーム又はパケットの前縁又は後縁に受信時間を関連付けることができる点に留意されたい。
更に、A/Vハブは、フレーム又はパケットの受信時間及び予想送信時間に基づいて電子デバイスのクロックとA/Vデバイスのクロックとの間の現在時間オフセットを計算することができ(動作514)、予想送信時間は、前の時間の電子デバイスのクロック及びA/ Vハブのクロックの調整及びフレーム又はパケットの事前に定義された送信スケジュール(限定ではなく実施例である10又は100ms毎など)に基づく。例えば、初期化モードの間、電子デバイスのクロックとA/Vハブのクロックの間の時間オフセットを無くすことができる(すなわち調整を設定することができる)。送信スケジュールの事前に定義された送信時間は、WLANのビーコン送信時間以外を含むことができるか又はWLANのビーコン送信時間以外にできる点に留意されたい。続いて、クロックとクロックは、フレーム又はパケットの受信時間と予想送信時間の間の差に基づいて追跡することができる相対的ドリフトを有することができる。一部の実施形態では、現在時間オフセットは、電子デバイスのクロックドリフトのモデルに基づいてA/Vハブによって計算される。
次にA/Vハブは、1又は2以上のフレーム(動作516)又は音声コンテンツと再生タイミング情報とを含むパケットを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を示す。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有することができる。時間的関係は非ゼロの値を有することができ、これによって電子デバイスの少なくとも一部が、再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツを再生するよう命じられるようになる点に留意されたい。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の事前に決められた又は動的に決定される音響特性に基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境における所望の音響特性に基づくことができる。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作518)。例えば、電子デバイスをA/Vハブからベクトル距離に位置付けることができ、インタフェース回路は、無線測距を用いて送信時間及び受信時間に基づいてベクトル距離の大きさを決定することができる。更に、インタフェース回路は、無線通信中に1又は2以上のアンテナによって受信されるフレーム又はパケットに関連付けられる無線信号の到来角に基づいてベクトル距離の角度を決定することができる。更にまた、異なる再生時間は、決定されたベクトル距離に基づくことができる。例えば、再生時間は、環境における異なる位置の異なる電子デバイスからの音声コンテンツに関連付けられるサウンドが、所望の位相関係を有する環境内の位置(例えば、A/Vハブの位置、環境の中心に、ユーザの好ましい聴取位置など)に到着することができ、又は位置の所望の音響特性を達成することができるように決定されたベクトル距離に対応することができる。
これに代えて又はこれに加えて、環境における異なる位置の異なる電子デバイスからの音声コンテンツに関連付けられるサウンドが、所望の位相関係を有するリスナーの推定位置に到達できるか又は推定位置の所望の音響特性を達成することができるように、異なる再生時間は、電子デバイスに対するリスナーの推定位置に基づく。リスナーの位置を決定するために用いることができる技術は、図14〜16に関して以下に説明する。
図6は、携帯式電子デバイス110、A/Vハブ112、及びスピーカ118−1の間の通信を示す図である。詳細には、初期化モード中、A/Vハブ112のインタフェース回路610は、フレーム又はパケット612をスピーカ118−1のインタフェース回路614に送信することができる。このパケットは、インタフェースクロック回路616及び618によってそれぞれ提供されるクロック628及び606を調整する情報608を含むことができる。例えば、この情報は、インタフェースクロック回路616と618の間の時間オフセットを無くすことができ、及び/又はインタフェースクロック回路616及び618を同じクロック周波数に設定することができる。
その後、インタフェース回路614は、事前に定義された送信時間622に1又は2以上のフレーム又はパケット(パケット620など)をA/Vハブ112に送信することができる。
A/Vハブ112のインタフェース回路610がパケット620を受信した時に、パケット620に受信時間624を含めることができ(又はメモリ626に受信時間624を格納することができる)、各パケットに対して、対応する受信時間は、インタフェース回路610内又はインタフェース回路610に関連付けられるインタフェースクロック回路616によって提供されるインタフェースクロック628に基づくことができる。
インタフェース回路610は、送信時間622と受信時間624の間の差に基づいて、インタフェースクロック628とインタフェースクロック606の間の現在時間オフセット630を計算することができる。インタフェース回路610は、現在時間オフセット630をプロセッサ632に提供することができる。(これに代えて、プロセッサ632は現在時間オフセット630を計算することができる。)
更にまた、プロセッサ632は、再生タイミング情報634と音声コンテンツ636をインタフェース回路610に提供することができ、再生タイミング情報634は、スピーカ118−1が現在時間オフセット630に基づいて音声コンテンツ636を再生する再生時間を指定する。これに応答して、インタフェース回路610は、再生タイミング情報634及び音声コンテンツ636を含む1又は2以上のフレーム又はパケット638をスピーカ118−1に送信することができる。(しかしながら、一部の実施形態では、再生タイミング情報634及び音声コンテンツ636は、別の又は異なるフレーム又はパケットを用いて送信される。)
インタフェース回路614が1又は2以上のフレーム又はパケット638を受信した後、再生タイミング情報634及び音声コンテンツ636をプロセッサ640に提供することができる。プロセッサ640は、再生動作642を行うソフトウェアを実行することができる。例えば、プロセッサ640は、メモリ内の待ち行列に音声コンテンツ636を格納することができる。これらの実施形態では、再生動作650は、スピーカ118−1が再生タイミング情報634によって指定された時間にサウンドを出力する場合の音声コンテンツ636に基づいてスピーカ118−1の電気対音響トランスデューサを駆動する段階を含む待ち行列から音声コンテンツ636を出力する段階を含む。
例示的な実施形態では、スピーカ118による音声コンテンツの再生を調整するために通信技術が用いられる。これは図7に示されており、スピーカ118による音声コンテンツの再生を調整する段階を示す図を提示する。詳細には、A/Vハブ112は、フレーム又はパケット710を、A/Vハブ112及びスピーカ118におけるクロック回路によって提供されるクロックを調整する情報(パケット710−1の情報708など)と共にスピーカ118に送信することができる。
スピーカ118は、事前に定められた送信時間にフレーム又はパケット712をA/Vハブ112に送信することができる。これらのフレーム又はパケットがA/Vハブ112によって受信された時に、受信時間を示す情報をパケット712に含めることができる(パケット712−1の受信時間714−1など)。事前に定められた送信時間及び受信時間を用いて、A/Vハブ112及びスピーカ118のクロックのドリフトを追跡することができる。
A/Vハブ112は、事前に定められた送信時間及び受信時間を用いて、スピーカ118のクロックとA/Vハブ112のクロックの間の現在時間オフセットを計算することができる。更にまた、この現在時間オフセットは、スピーカ118におけるクロックドリフトからA/Vハブ112のモデルに基づいてA/Vハブ112によって計算することができる。例えば、相対的又は絶対的クロックドリフトのモデルは、履歴時間オフセットに基づいて時間の関数の通りに所与のスピーカのクロックドリフトを指示又は推定するパラメータによる多項式又は三次スプライン式(及びより一般的には関数)を含むことができる。
その後、A/Vハブ112は、音声コンテンツ720と、スピーカ118デバイスが現在時間オフセットに基づいて音声コンテンツ720を再生する再生時間を指定する再生タイミング情報(パケット716−1内の再生タイミング情報718−1など)を含む1又は2以上のフレーム又はパケットをスピーカ118に送信することができる。スピーカ118の再生時間は、例えば、関連付けられるサウンド又は波面が所望の位相関係を有する環境内の位置722に到達するように、スピーカ118による音声コンテン720ツの再生が調整されるように、時間的関係を有することができる。
通信技術における調整の別の実施形態は、音声コンテンツの再生を調整するための方法800を示す流れ図を提示する図8に図示している。方法800がA/Vハブ112(図1)などのA/Vハブによって実行できる点に留意されたい。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブにおけるプログラムモジュールを実行するプロセッサなど)は、A/Vハブの1又は2以上の音響トランスデューサを用いてA/Vハブを含む環境内の電子デバイスによって出力されるサウンドを測定する(動作810)ことができ、サウンドは、1又は2以上の音響特徴付けパターンに対応する。例えば、測定されたサウンドは、サウンド圧力を含むことができる。音響特徴付けパターンがパルスを含むことができる点に留意されたい。更に、サウンドは、超音波などの人間の聴力の外側の周波数の範囲とすることができる。
更にまた、所与の電子デバイスは、電子デバイスの残りによって用いられるもの以外の1又は2以上の時間の異なる時間にサウンドを出力することができ、これによって所与の電子デバイスからのサウンドは、電子デバイスの残りによって出力されたサウンドから識別又は区別することができる。これに代えて又はこれに加えて、所与の電子デバイスによって出力されたサウンドは、電子デバイスの残りによって用いられるものとは異なるものにできる所与の音響特徴付けパターンに対応することができる。従って、音響特徴付けパターンは、電子デバイスを固有に識別することができる。
次にA/Vハブは、測定されたサウンド、電子デバイスがサウンドを出力した1又は2以上の時間及び1又は2以上の音響特徴付けパターンに基づいて、電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを計算することができる(動作812)。例えば、A/Vハブは、少なくとも周波数の1つの帯域(限定ではなく実施例である100〜20,000Hzなど)における環境のうちの少なくとも1つの特定の周波数又は事前に決められた(又は動的に決められる)音響伝達関数に関連付けられる音響遅延などの環境の音響特性に基づいて、測定されたサウンドを補正することができ、出力時間は、起動された出力時間又は事前に定められた出力時間と比較することができる。これは、環境に関連付けられるスペクトルフィルタリング又は歪みなしでA/Vハブがオリジナル出力サウンドを決定できるようにし、A/Vハブは、現在時間オフセットを正確に決定できるようになる。
測定されたサウンドは、電子デバイスがサウンドを出力した1又は2以上の時間を指示する情報を含むことができ(例えば、音響特徴付けパターンのパルスが時間を指示することができる)、1又は2以上の時間は、電子デバイスのクロックに対応することができる点に留意されたい。これに代えて又はこれに加えて、A/Vハブは、無線通信を介して電子デバイスがサウンドを出力する1又は2以上の時間を任意選択的に電子デバイスに提供する(動作808)ことができ、1又は2以上の時間は、A/Vハブのクロックに対応することができる。例えば、A/Vハブは、1又は2以上のフレーム又はパケットを1又は2以上の時間で電子デバイスに送信することができる。従って、A/Vハブはサウンドの出力を起動することができ、又はサウンドを事前に定義された出力時間に出力することができる。
次にA/Vハブは、無線通信を用いて、1又は2以上のフレーム(動作814)又は音声コンテンツ及び再生タイミング情報を含むパケットを電子デバイスに送信することができ、この再生タイミング情報は、電子デバイスが現在時間オフセットに基づいて音声コンテンツを再生する再生時間を指定する。電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。時間的関係が非ゼロの値を有し、電子デバイスの少なくとも一部が再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツの再生を命じられるようにすることができる点に留意されたい。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の事前に決められたか又は動的に決められる音響特性に基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境の所望の音響特性及び/又は電子デバイスに対するリスナーの推定位置に基づくことができる。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作816)。例えば、A/Vハブは、音響特徴付けパターンのスペクトルコンテンツを含む周波数のうちの少なくとも1つの帯域における環境の音響伝達関数に基づいて測定されたサウンドを修正することができる。音響伝達関数は、A/Vハブによって事前に決定及びアクセスすることができ、又はA/Vハブによって動的に決定することができる点に留意されたい。環境におけるサウンドの伝播に関連付けられる時間遅延及び分散が、電子デバイスのクロック及びA/Vハブのクロックの所望の調整よりも遙かに大きくなることができるが、修正された直接サウンドの立ち上がりエッジは、電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットを決定できる十分な精度で決定することができるので、環境に関連付けられるフィルタリングのこの補正が必要とすることができる。例えば、スピーカ118の所望の調整精度は、約1マイクロ秒程度に小さくすることができるが、典型的な部屋のサウンドの伝播遅延(例えば、最大で10〜30mの距離を超える)は、約5桁大きくすることができる。これに関わらず、修正された測定サウンドは、所与の電子デバイスから出力されるサウンドのパルスに関連付けられる直接サウンドの前縁をマイクロ秒ほどの小さな精度で測定できるようにし、電子デバイスのクロックとA/Vハブのクロックの調整を容易にすることができる。一部の実施形態では、A/Vハブは、環境の温度を決定し、現在時間オフセットの計算は、温度の変化(環境におけるサウンドの速度に影響を与えることがある)に対して補正することができる。
図9は、携帯式電子デバイス110、A/Vハブ112、及びスピーカ118−1の間の通信を示す図である。詳細には、スピーカ118−1のプロセッサ910は、スピーカ118−1の1又は2以上の音響トランスデューサ914に出力時間でのサウンドの出力を命じる912ことができ、サウンドは音響特徴付けパターンに対応する。例えば、出力時間は、(音響特徴付けパターンのパターン又はパルスのシーケンス、スケジュールされた出力時間を有する事前に定義された出力スケジュール又は出力時間の間の事前に定義された間隔に基づいてなど)事前に定義することができ、従って、A/Vハブ112及びスピーカ118−1に既知とすることができる。これに代えて、A/Vハブ112のインタフェース回路916は、起動フレーム又はパケット918を提供することができる。インタフェース回路920が起動パケット918を受信した後に、命令922をスピーカ118−1のプロセッサ920に転送することができ、これにより命令922に基づいて、1又は2以上の音響トランスデューサ914からサウンドの出力を起動する。
続いて、A/Vハブ112の1又は2以上の音響トランスデューサ924は、サウンドを測定する926ことができ、測定を指示する情報928をA/Vハブ112のプロセッサ930に提供することができる。
次にプロセッサ930は、情報928、スピーカ118−1がサウンドを出力する1又は2以上の時間、及びスピーカ118−1に関連付けられる音響特徴付けパターンに基づいて、スピーカ118−1のクロック回路(インタフェースクロック回路など)からのクロックとA/Vハブ112のクロック回路(インタフェースクロック回路など)からのクロックとの間の現在時間オフセット932を計算することができる。例えば、プロセッサ930は、スピーカ118−1の1又は2以上の音響トランスデューサ914が音響特徴付けパターンに対応するサウンドを出力する時の音響特徴付けパターンにおける少なくとも2つの時間に基づいて現在時間オフセット932を決定することができる。
更に、プロセッサ930は、再生タイミング情報934及び音声コンテンツ936をインタフェース回路916に提供することができ、再生タイミング情報934は、現在時間オフセット932に基づいてスピーカ118−1が音声コンテンツ936を再生する再生時間を指定する。プロセッサ930がメモリ938内の音声コンテンツ936にアクセスできる点に留意されたい。これに応答して、インタフェース回路916は、再生タイミング情報934及び音声コンテンツ936を含む1又は2以上のフレーム又はパケット940をスピーカ118−1に送信することができる。(しかしながら、一部の実施形態では、再生タイミング情報934及び音声コンテンツ936は、別の又は異なるフレーム又はパケットを用いて送信される。)
インタフェース回路920が1又は2以上のフレーム又はパケット940を受信した後で、再生タイミング情報934及び音声コンテンツ936をプロセッサ924に提供することができる。プロセッサ924は、再生動作942を行うソフトウェアを実行することができる。例えば、プロセッサ924は、メモリ内の待ち行列に音声コンテンツ936を格納することができる。これらの実施形態では、再生動作942は、音声コンテンツ936に基づいて音響トランスデューサ914の1又は2以上を駆動して、スピーカ118−1が再生タイミング情報934によって指定された時間にサウンドを出力する段階を含む、待ち行列から音声コンテンツ936を出力する段階を含む。
例示的な実施形態では、スピーカ118による音声コンテンツの再生を調整するために通信技術が用いられる。これは、スピーカ118による音声コンテンツの再生を調整する段階を示す図を示す図10に例示されている。詳細には、スピーカ118は、音響特徴付けパターンに対応するサウンド1010を出力することができる。例えば、スピーカ118−1に関連付けられる音響特徴付けパターンは、2又は3以上のパルス1012を含むことができ、パルス1012間の時間間隔1014は、スピーカ118−1のクロック回路によって提供されるクロックに対応することができる。一部の実施形態では、音響特徴付けパターンのパターン又はパルスのシーケンスは、スピーカ118を固有に識別することもできる。図10で音響特徴付けパターンを示すためにパルス1012が用いられるが、他の実施形態では、振幅変調、周波数変調、位相変調などを含む多種多様な時間、周波数及び/又は変調技術を用いることができる。A/Vハブ112は、スピーカ118が音響特徴付けパターンに対応するサウンド1010を出力する時間を指示する情報1018を備えた1又は2以上のフレーム又はパケット1016をスピーカ118に送信することによってサウンド1010の出力を任意選択的に起動することができる。
A/Vハブ112は、1又は2以上の音響トランスデューサを用いて電子デバイスによって出力されるサウンド1010を測定することができ、このサウンドは、音響特徴付けパターンの1又は2以上に対応する。サウンド1010を測定した後、A/Vハブ112は、スピーカ118のクロックとA/Vハブ112のクロックの間の現在時間オフセットを、測定されたサウンド1010、スピーカ118がサウンドを出力した1又は2以上の時間、及び1又は2以上の音響特徴付けパターンに基づいて計算することができる。一部の実施形態では、現在時間オフセットを、スピーカ118のクロックドリフトからA/Vハブ112におけるモデルに基づいてA/Vハブ112によって計算することができる。例えば、相対的又は絶対的クロックドリフトのモデルは、履歴時間オフセットに基づく時間の関数の通りに所与のスピーカのクロックドリフトを指定又は推定するパラメータを有する多項式又は三次スプライン式(及びより一般的には関数)を含むことができる。
次にA/Vハブ112は、音声コンテンツ1022及び再生タイミング情報(パケット1020−1の再生タイミング情報1024−1など)を含む1又は2以上のフレーム又はパケットをスピーカ118に送信することができ、再生タイミング情報は、スピーカ118デバイスが現在時間オフセットに基づいて音声コンテンツ1022を再生する再生時間を指定する。スピーカ118の再生時間は、例えば、関連付けられるサウンド又は波面が所望の位相関係を有する環境の位置1026に到着するような、スピーカ118による音声コンテンツ1022の再生が調整されるような時間的関係を有することができる。
通信技術は、リスナーの音響体験を向上させるよう調整を適応させるのに用いられる動作を含むことができる。1つの方法は、環境(部屋など)の1又は2以上の音響特性を選択的に決定するための方法1100を示す流れ図を提示する図11に示されている。方法1100は、A/Vハブ112(図1)などのA/Vハブによって実行することができる。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブにおけるプログラムモジュールを実行するプロセッサなど)は、無線通信を用いて環境の電子デバイスを任意選択的に検出することができる(動作1110)。これに代えて又はこれに加えて、A/Vハブは、変化状態を決定する(動作1112)ことができ、変化状態は、電子デバイスが環境で以前に検出されなかったこと、及び/又は電子デバイスの位置の変化(電子デバイスが最初に環境内で検出されたずっと後で起こる位置の変化を含む)を含む。
変化状態が決定された(動作1112)時、A/Vハブは、特徴付けモードに遷移することができる(動作1114)。特徴付けモードの間、A/Vハブは、指定再生時間に音声コンテンツを再生する命令を電子デバイスに提供する(動作1116)、環境における音響測定に基づいて環境の1又は2以上の音響特性を決定する(動作1118)、及び特徴付け情報をメモリに格納する(動作1120)することができ、特徴付け情報は1又は2以上の音響特性を含む。
更に、A/Vハブは、追加の音声コンテンツ及び再生タイミング情報を含む1又は2以上のフレーム(動作1122)又はパケットを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが1又は2以上の音響特性に基づいて追加の音声コンテンツを再生する再生時間を指定することができる。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作1124)。例えば、A/Vハブは、無線通信などに基づいて環境の電子デバイスの位置を計算することができる。更に、特徴付け情報は、無線通信を用いてA/Vハブによって電子デバイスから受信されることがある電子デバイスの識別子を含むことができる。
更にまた、A/Vハブは、他の電子デバイスによって実行される音響測定に少なくとも一部基づいて1又は2以上の音響特性を決定することができる。従って、A/Vハブは、無線通信を用いて環境内の他の電子デバイスと通信することができ、他の電子デバイスから音響測定を受信することができる。これらの実施形態では、1又は2以上の音響特性は、環境における他の電子デバイスの位置に基づいて決定することができる。A/Vハブは、他の電子デバイスから他の電子デバイスの位置を受信し、メモリに格納された他の電子デバイスの事前に決められた位置にアクセスし、及び例えば、無線通信に基づいて他の電子デバイスの位置を決定できる点に留意されたい。
一部の実施形態では、A/Vハブが1又は2以上の音響トランスデューサを備え、A/Vハブが1又は2以上の音響トランスデューサを用いて音響測定を実行する。従って、1又は2以上の音響特性は、単独で又は他の電子デバイスによって実行された音響測定に関してA/Vハブによって決定することができる。
しかし一部の実施形態では、1又は2以上の音響特性を決定する代わりに、A/Vハブは、他の電子デバイスの1つから決定された1又は2以上の音響特性を受信する。
音響特徴付けが変化状態に基づいて完全に自動化できると同時に、一部の実施形態ではユーザは、特徴付けモードを手動で開始できるか、又は変化状態が検出された時に特徴付けモードを手動で承認することができる。例えば、A/Vハブは、ユーザ入力を受信して、ユーザ入力に基づいて特徴付けモードに遷移することができる。
図12は、A/Vハブ112とスピーカ118−1の間の通信を示す図である。詳細には、A/Vハブ112のインタフェース回路1210は、スピーカ118−1のインタフェース回路1214とのフレーム又はパケット1212の無線通信によってスピーカ118−1を検出することができる。この通信は、一方向性又は双方向性にできる点に留意されたい。
インタフェース回路1210は情報1216をプロセッサ1218に提供することができる。この情報は、環境におけるスピーカ118−1の存在を指示できる。これに代えて又はこれに加えて、情報1216はスピーカ118−1の位置を指示できる。
プロセッサ1218は、変化状態1220が起こったかどうか決定することができる。例えば、プロセッサ1218は、以前に存在しなかった環境内のスピーカ118−1の存在又は以前に検出されたスピーカ118−1の位置が変わったことを決定することができる。
変化状態1220が決定された時に、プロセッサ1218は特徴付けモード1222に遷移できる。特徴付けモード1222の間、プロセッサ1218は、命令1224をインタフェース回路1210に提供することができる。これに応じて、インタフェース回路1210は、命令1224をフレーム又はパケット1226でインタフェース回路1214に送信することができる。
パケット1226を受信した後に、インタフェース回路1214は、1又は2以上の音響トランスデューサ1230に指定再生時間に音声コンテンツ1232を再生するよう命じる命令1224をプロセッサ1228に提供することができる。プロセッサ1228は、メモリ1208内の音声コンテンツ1232にアクセスできるか又は音声コンテンツ1232をパケット1226に含めることができる点に留意されたい。次にA/Vハブ112の1又は2以上の音響トランスデューサ1234は、1又は2以上の音響トランスデューサ1230によって出力された音声コンテンツ1232に対応するサウンドの音響測定1236を実行することができる。音響測定1236(及び/又はインタフェース回路1210によって他のスピーカから受信された追加の音響測定)に基づいて、プロセッサ1218は、メモリ1240に格納される環境の1又は2以上の音響特性1238を決定することができる。
更に、プロセッサ1218は、再生タイミング情報1242及び音声コンテンツ1244をインタフェース回路1210に提供することができ、再生タイミング情報1242は、1又は2以上の音響特性1238に少なくとも一部基づいてスピーカ118−1が音声コンテンツ1244を再生する再生時間を指定する。これに応じて、インタフェース回路1210は、再生タイミング情報1242及び音声コンテンツ1244を含む1又は2以上のフレーム又はパケット1246をスピーカ118−1に送信することができる。(しかしながら、一部の実施形態では、再生タイミング情報1242及び音声コンテンツ1244は、別の又は異なるフレーム又はパケットを用いて送信される。)
インタフェース回路1214が1又は2以上のフレーム又はパケット1246を受信した後に、再生タイミング情報1242及び音声コンテンツ1244をプロセッサ1228に提供することができる。プロセッサ1228は、再生動作1248を行うソフトウェアを実行することができる。例えば、プロセッサ1228は、メモリ内の待ち行列に音声コンテンツ1244を格納することができる。これらの実施形態では、再生動作1248は、スピーカ118−1が再生タイミング情報1242によって指定された時間にサウンドを出力する場合の音声コンテンツ1244に基づいて音響トランスデューサ1230の1又は2以上を駆動する段階を含む待ち行列から音声コンテンツ1244を出力する段階を含む。
例示的な実施形態では、変化が検出された時にA/Vハブ112を含む環境(部屋など)の1又は2以上の音響特性を選択的に決定するために通信技術が用いられる。図13は、スピーカ118を含む環境の選択的音響特徴付けを示す図を提示している。詳細には、A/Vハブ112は、環境内のスピーカ118−1を検出することができる。例えば、A/Vハブ112は、スピーカ118−1との1又は2以上のフレーム又はパケット1310の無線通信に基づいてスピーカ118−1を検出することができる。無線通信は一方向性又は双方向性とすることができる点に留意されたい。
変化状態が検出された時(スピーカ118−1の存在が最初に検出された時、すなわち、スピーカ118−1が環境内で以前に検出されなかった時、及び/又は環境内の以前に検出されたスピーカ118−1の位置1312の変化がある時など)、A/Vハブ112は、特徴付けモードに遷移することができる。例えば、A/Vハブ112は、スピーカ118−1の位置1312における人間の聴力の上限における波長の大きさでの位置1312の変化の大きさ、例えば、0.085、0.017又は0.305mの変化(限定ではなく実施例)が検出された時に特徴付けモードに遷移することができる。
特徴付けモードの間、A/Vハブ112は、フレーム又はパケット1314内の命令をスピーカ118−1に提供し指定再生時間に音声コンテンツを再生し(すなわち、サウンド1316を出力し)、スピーカ118−1によって出力されたサウンド1316の音響測定に基づいて環境の1又は2以上の音響特性を決定し、及びスピーカ118−1の位置1312を含むことができる1又は2以上の音響特性をメモリに格納することができる。
例えば、音声コンテンツは、周波数の範囲における疑似ランダム周波数パターン又はホワイトノイズ(100と10,000又は20,000Hzの間、又は限定ではなく実施例である人間の聴力範囲の2又は3以上の副周波数帯域、例えば、500、1000及び2000Hzなど)、周波数の範囲における時間の関数の通りに変化するキャリア周波数を有する音響パターン、周波数の範囲におけるスペクトル成分を有する音響パターン、及び/又は1又は2以上の音楽の種類(交響曲、クラシック音楽、室内楽、オペラ、ロック又はポップ音楽など)を含むことができる。一部の実施形態では、特定の時間的パターン、スペクトルコンテンツ及び/又は1又は2以上の周波数トーンなどの音声コンテンツは、スピーカ118−1を固有に識別する。これに代えて又はこれに加えて、A/Vハブ112は、スピーカ118−1との無線通信を介して、英数字コードなどのスピーカ118−1の識別子を受信することができる。
しかし一部の実施形態では、音声コンテンツを再生するスピーカ118−1なしに音響特徴付けが実行される。例えば、音響特徴付けは、人の声に関連付けられる音響エネルギーに基づくことができ、又は環境における振動背景ノイズを1−2分測定することによって行うことができる。従って、一部の実施形態では、音響特徴付けは、受動的特徴付け(音声コンテンツが再生される時のアクティブ測定の代わりに)を含む。
更に、音響特徴付けは、周波数の範囲における環境の音響スペクトル反応(すなわち、周波数の関数の通りに振幅反応を指示する情報)、周波数の範囲における伝達関数又はインパルス応答(すなわち、周波数の関数の通りに振幅及び位相応答を指示する情報)、部屋の反響又は低周波数の部屋のモード(環境における位置又は場所の関数の通りにノード及びアンチノードを有する、及び互いに90°の異なる方向の環境のサウンドを測定することによって決定できる)、スピーカ118−1の位置1312、反射(スピーカ118−1からの直接サウンドの到着から50−60ms以内の早期の反射、及び明瞭さに影響を与えることがある長い時間スケールで起こる遅れた反射又はエコー)、直接サウンドの音響遅延、周波数の範囲における平均残響時間(又は音声コンテンツが中断した後の周波数の範囲における環境の音響サウンドの持続)、環境の音量(光学的に決定できる部屋のサイズ及び/又は寸法など)、環境における背景ノイズ、環境における周囲のサウンド、環境の温度、環境における人の数(及びより一般的には、環境における周波数の範囲に渡る吸収又は音響損失)、音響的なライブ性の尺度、環境が明るいか又は暗いか及び/又は、環境の種類を示す情報(講堂、多目的ルーム、コンサートホール、部屋のサイズ、部屋の内装の種類など)を含むことができる。例えば、残響時間は、−60dBなどの特定のレベルに減衰する周波数のインパルスに関連付けられるサウンド圧力の時間として定義することができる。一部の実施形態では、残響時間は周波数の関数である。音響特性の上述の例における周波数の範囲は互いに同じか又は異なるものになることがある点に留意されたい。従って、一部の実施形態では,周波数の異なる範囲を異なる音響特性に用いることができる。加えて,一部の実施形態における「音響伝達関数」は,音響伝達関数の大きさ(「音響スペクトル反応と呼ばれることがある)、音響伝達関数の位相、又はこれらの両方を含むことができる点に留意されたい。
上述のように、音響特性は、スピーカ118−1の位置1312を含むことができる。スピーカ118−1の位置1312(距離及び方向を含む)は、A/Vハブ112によって、及び/又は、三角測量、三辺測量、飛行時間、無線測距、到来角などの技術を用いて環境内の他の電子デバイス(スピーカ118など)と共に決定することができる。更に、位置1312は、無線通信(無線ローカルエリアネットワーク又はセルラー電話ネットワークとの通信など)、音響測定、ローカル測位システム、全地球測位システムなどを用いて、A/Vハブ112によって決定することができる。
音響特性は、A/Vハブ112によって実行される測定に基づいてA/Vハブ112によって決定することができるが、一部の実施形態では、音響特性は,環境内の他の電子デバイスによって又はこれと共に決定される。詳細には、1又は2以上の他の電子デバイス(1又は2以上の他のスピーカ118など)は、フレーム又はパケット1318でA/Vハブ112に無線で伝送される音響測定を実行することができる。(従って、音響測定を実行する音響トランスデューサは、A/Vハブ112に及び/又は1又は2以上の他のスピーカ118に含めることができる。)この結果、A/Vハブ112は、A/Vハブ112及び/又は1又は2以上の他のスピーカ118によって実行される音響測定に少なくとも一部基づいて音響特性をコンピュータ計算することができる。このコンピュータ計算は、環境における1又は2以上の他のスピーカ118の位置1320に基づくことができる点に留意されたい。これらの位置は、フレーム又はパケット1318で1又は2以上の他のスピーカ118から受信し、上述の技術の1つを用いて(無線測距などを用いて)計算し、及び/又はメモリでアクセスすることができる(すなわち、位置1320を事前に決めることができる)。
更に、音響特徴付けは変化状態が検出された時に発生できるが、これに代えて又はこれに加えて、A/Vハブ112は、ユーザ入力に基づいて特徴付けモードに遷移することができる。例えば、ユーザは、携帯式電子デバイス110上のユーザインタフェース内の仮想コマンドアイコンを起動することができる。従って、音響特徴付けは、自動的に、手動で開始及び/又は半自動的に開始することができる(ユーザインタフェースが、特徴付けモードへの遷移の前にユーザに承認を求めるために用いられる)。
音響特性を決定した後に、A/Vハブ112は、通常の動作モードに戻ることができる。この動作モードでは、A/Vハブ112は、追加の音声コンテンツ1324(音楽など)及び再生タイミング情報1326を含む1又は2以上のフレーム又はパケット(パケット1322など)をスピーカ118−1に送信することができ、再生タイミング情報1326は、1又は2以上の音響特性に基づいてスピーカ118−1が追加の音声コンテンツ1324を再生する再生時間を指定することができる。従って、音響特徴付けを用いて、スピーカ118−1の位置1312の変化に関連付けられる1又は2以上の音響特性の変化(直接的又は間接的)を補正又は適応させることができ、これによってユーザ体験を向上させる。
音響体験を向上させる別の方法は、1又は2以上のリスナーの動的に追跡された位置に基づいて調整を適応させることである。これは、推定位置を計算する方法1400を示す流れ図を提示する図14に示されている。方法1400は、A/Vハブ112(図1)などのA/Vハブによって実行できる点に留意されたい。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブにおけるプログラムモジュールを実行するプロセッサ)は、A/Vハブ及び電子デバイスを含む環境における電子デバイスに対するリスナー(又は図1の携帯式電子デバイス110などのリスナーに関連付けられる電子デバイス)の推定位置を計算することができる(動作1410)。
次いで、A/Vハブは、音声コンテンツ及び再生タイミング情報を含む1又は2以上のフレーム(動作1412)又はパケットを電子デバイスに送信することができ、再生タイミング情報は、電子デバイスが推定位置に基づいて音声コンテンツを再生する再生時間を指定する。更にまた、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。時間的関係は、電子デバイスの少なくとも一部が再生時間の異なる値を用いることによって互いに対する位相を有する音声コンテンツの再生を命令されるように非ゼロの値を有することができる。例えば、異なる再生時間は、電子デバイス及びA/Vハブを含む環境の事前に決定された又は動的に決定される音響特性に基づくことができる。これに代えて又はこれに加えて、異なる再生時間は、環境の所望の音響特性に基づくことができる。加えて、再生時間は、電子デバイスのクロックとA/Vハブのクロックとの間の現在時間オフセットに基づくことができる。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作1414)。例えば、A/Vハブは、別の電子デバイスと通信することができ、他の電子デバイスとの通信に基づいてリスナーの推定位置を計算することができる。
更に、A/Vハブは、環境内のサウンド測定を実行する音響トランスデューサを含むことができ、サウンド測定に基づいてリスナーの推定位置を計算することができる。これに代えて又はこれに加えて、A/Vハブは環境内の他の電子デバイスと通信することができ、他の電子デバイスから環境の追加のサウンド測定を受信することができ、この追加のサウンド測定に基づいてリスナーの推定位置を計算することができる。
一部の実施形態では、A/Vハブは飛行時間測定を実行し、リスナーの推定位置が、飛行時間測定に基づいて計算される。
更にまた、A/Vハブは、環境内の電子デバイスに対する追加のリスナーの追加の推定位置を計算することができ、再生時間は、推定位置及び追加の推定位置に基づくことができる。例えば、再生時間は、推定位置と追加の推定位置の平均に基づくことができる。これに代えて、再生時間は、推定位置と追加の推定位置の加重平均に基づくことができる。
図15は、携帯式電子デバイス110、A/Vハブ112、及びスピーカ118−1などのスピーカ118の間の通信を示す図である。詳細には、A/Vハブ112のインタフェース回路1510は、携帯式電子デバイス110のインタフェース回路1514から1又は2以上のフレーム又はパケット1512を受信することができる。A/Vハブ112と携帯式電子デバイス110の間の通信は単方向又は双方向にできる点に留意されたい。1又は2以上のフレーム又はパケット1512に基づいて、A/Vハブ112のインタフェース回路1510及び/又はプロセッサ1516は、携帯式電子デバイス110に関連付けられるリスナーの位置1518を推定することができる。例えば、インタフェース回路1510は、プロセッサ1516によって使用されるパケット1512に基づく情報1508を提供して位置1518を推定することができる。
これに代えて又はこれに加えて、A/Vハブ112の1又は2以上の音響トランスデューサ1520及び/又はスピーカ118の1又は2以上の音響トランスデューサ1506は、リスナーに関連付けられるサウンドの測定1522を実行することができる。スピーカ118がサウンドの測定1522−2を実行する場合、スピーカ118(スピーカ118−1など)の1又は2以上のインタフェース回路1524は、1又は2以上のフレーム又はパケット1526を、プロセッサ1532からの命令1530に基づくサウンドの測定1522−2を指示する情報1528と共にインタフェース回路1510に送信することができる。インタフェース回路1514及び/又はプロセッサ1516は、測定されたサウンド1522に基づいて位置1518を推定することができる。
プロセッサ1516は、インタフェース回路1510に命じて、1又は2以上のフレーム又はパケット1536を再生タイミング情報1538及び音声コンテンツ1540と共にスピーカ118−1に送信させることができ、再生タイミング情報1538は、スピーカ118−1が位置1518に少なくとも一部基づいて音声コンテンツ1540を再生する再生時間を指定する。(しかし一部の実施形態では、再生タイミング情報1538及び音声コンテンツ1540は、別々の又は異なるフレーム又はパケットを用いて送信される。)プロセッサ1516はメモリ1534内の音声コンテンツ1540にアクセスできる点に留意されたい。
1又は2以上のフレーム又はパケット1536を受信した後に、インタフェース回路1524は、再生タイミング情報1538及び音声コンテンツ1540をプロセッサ1532に提供することができる。プロセッサ1532は、再生動作1542を行うソフトウェアを実行することができる。例えば、プロセッサ1532は、音声コンテンツ1540をメモリ内の待ち行列に格納することができる。これらの実施形態では、再生動作1542は、待ち行列から音声コンテンツ1540を出力する段階を含み、スピーカ118−1が再生タイミング情報1538によって指定された時間にサウンドを出力する場合の音声コンテンツ1540に基づいて音響トランスデューサ1506の1又は2以上を駆動する段階を含む。
例示的な実施形態では、環境における1又は2以上のリスナーの位置を動的に追跡するために通信技術が用いられる。図16は、スピーカ118に対する1又は2以上のリスナーの推定位置を計算する段階を示す図を提示している。詳細には、A/Vハブ112は、A/Vハブ112及びスピーカ118を含む環境におけるスピーカ118などに対するリスナー1612の位置1610などの1又は2以上のリスナーの推定位置を計算することができる。例えば、位置1610は、粗く(例えば、最も近い部屋、3〜10mの精度など)又は細かく(例えば、0.1〜3mの精度)決定することができ、これらは限定ではなく数値の実施例である。
一般的に、位置1610は、三角測量、三辺測量、飛行時間、無線測距、到来角などの技術を用いて、A/Vハブ112によって及び/又は環境内の他の電子デバイス(スピーカ118など)と共に決定することができる。更に、位置1610は、無線通信(無線ローカルエリアネットワーク又はセルラー電話ネットワークとの通信など)、音響測定、ローカル測位システム、全地球測位システムなどを用いてA/Vハブ112によって決定することができる。
例えば、少なくとも1人のリスナー1612の位置1610は、リスナー1612に近接又はリスナー1612自身が身に着けているとすることができる携帯式電子デバイス110などの別の電子デバイスとの1又は2以上のフレーム又はパケット1614の無線通信(無線測距、飛行時間測定、到来角、RSSIなどを用いた)に基づいてA/Vハブ112によって推定することができる。一部の実施形態では、他の電子デバイスとの無線通信(携帯式電子デバイス110から受信されたフレーム又はパケットのMACアドレスなど)がリスナー1612を識別する署名又は電子指紋として用いられる。携帯式電子デバイス110とA/Vハブ112の間の通信を一方向又は双方向にできる点に留意されたい。
無線測距の間、A/Vハブ112は、送信時間を含むフレーム又はパケットを、例えば、携帯式電子デバイス110に送信することができる。このフレーム又はパケットが携帯式電子デバイス110によって受信された時に、到着時間を決定することができる。飛行時間(到着時間と送信時間の差)と伝播の速度の積に基づいて、A/Vハブ112と携帯式電子デバイス110の間の距離を計算することができる。この距離は、携帯式電子デバイス110の識別子と共に携帯式電子デバイス110からA/Vハブ112へのフレーム又はパケットの次の送信で伝送することができる。これに代えて、携帯式電子デバイス110が、携帯式電子デバイス110の送信時間及び識別子を含むフレーム又はパケットを送信することができ、A/Vハブ112が、飛行時間(到着時間と送信時間の差)と伝播の速度の積に基づいて携帯式電子デバイス110とA/Vハブ112の間の距離を決定することができる。
この方法の変形形態では、A/Vハブ112が、携帯式電子デバイス110で反射されるフレーム又はパケット1614を送信することができ、反射フレーム又はパケット1614を用いて、携帯式電子デバイス110とA/Vハブ112の間の距離を動的に決定することができる。
上述の例は携帯式電子デバイス110及びA/Vハブ112の調整されたクロックによる無線測距を示しているが、他の実施形態ではクロックは調整されない。例えば、送信時間が未知又は利用できない時でも、環境内の異なる既知の位置の幾つかの受信機の無線信号の伝播速度及び到着時間データ(「差分到着時間」と呼ばれることもある)に基づいて携帯式電子デバイス100の位置を推定することができる。例えば、受信機は、事前に定義又は事前に決定することができる位置1616にある他のスピーカ118の少なくとも一部とすることができる。より一般的には、オリジナルの送信信号強度に対するRSSIのパワーの差(吸収、屈折、シャドーイング及び/又は反射に対する補正を含むことができる)に基づく距離の決定、指向性アンテナを用いた又は環境における既知の位置を有するアンテナのアレイへの差分到着時間に基づく受信機の到来角(視野以外の聴取を含む)の決定、後方散乱無線信号に基づく距離の決定、及び/又は環境における既知の位置を有する2つの受信機の到来角の決定(すなわち、三辺測量又はマルチテラレーション)などの多種多様な電波探知技術を用いることができる。無線信号は、距離を0.305m(例えば、1ft(フィート))以内に決定でき且つ限定ではなく実施例である短い持続時間(例えば、約1nsなど)のパルスを生成するためのGHz又はマルチGHz帯域幅に渡る送信を含むことができる点に留意されたい。一部の実施形態では、ローカル測位システム、全地球測位システム及び/又は無線ネットワークによって決定又は指示される環境における電子デバイスの1又は2以上の位置(位置1616など)の位置情報を用いて無線測距が容易になる。
これに代えて又はこれに加えて、例えば、歩き回る、話す及び/又は呼吸する時に生じるサウンド1618に基づいて、リスナー1612の音響追跡などの環境におけるサウンド測定に基づいてA/Vハブ112によって位置1610を推定することができる。サウンド測定は、A/Vハブ112によって(2又は3以上の音響トランスデューサ、例えば、位相アレイとして並べることができるマイクロフォンなどを用いて)実行することができる。しかしながら、一部の実施形態では、スピーカ118などの環境における1又は2以上の電子デバイスによって別々に又は付加的にサウンド測定を実行することができ、これらのサウンド測定は、A/Vハブ112にフレーム又はパケット1618で無線伝送することができ、サウンド測定を用いて位置1610を推定する。一部の実施形態では、リスナー1612は、音声認識技術を用いて識別される。
一部の実施形態では、位置1610は、環境のサウンド測定及びスペクトル反応又は音響伝達関数などの環境の事前に決められた音響特性に基づいてA/Vハブ112によって推定される。例えば、リスナー1612が環境を移動する時の事前に決められた部屋の様式の励振の変動を用いて位置1610を推定することができる。
更に、1又は2以上の他の技術を用いて、リスナー1612の位置1610を追跡又は推定することができる。例えば、位置1610は、1つの帯域の波長(可視光又は赤外線光)におけるリスナー1612の光学画像化、飛行時間測定(レーザ測距など)、及び/又はビーム線交差のパターンに基づいて格子にリスナー1612を位置付ける(及び従って、位置1610を粗く決定する)光学ビーム(赤外線ビームなど)の格子に基づいて推定することができる。一部の実施形態では、リスナー1612のアイデンティティは、顔認識及び/又はゲート認識技術を用いる光学画像において決定される。
例えば、一部の実施形態では、環境におけるリスナーの位置は、リスナーが持ち運ぶセルラー電話との無線通信に基づいて追跡される。環境における位置のパターンに基づいて、環境における家具の位置及び/又は環境の形状(部屋のサイズ又は寸法など)を決定することができる。この情報を用いて、環境の音響特性を決定することができる。更に、リスナーの履歴位置を用いて、環境におけるリスナーの推定位置を規制することができる。詳細には、一日の異なる時間の環境におけるリスナーの位置に関する履歴情報を用いて、特定の時間のリスナーの現在位置の推定を支援することができる。従って、より一般的には、リスナーの位置は、光学測定、音響測定、音響特性、無線通信及び/又は機械学習の組合せを用いて推定することができる。
位置1610を決定した後で、A/Vハブ112は、追加の音声コンテンツ1622(音楽など)及び再生タイミング情報(スピーカ118−1へのパケット1620−1内の再生タイミング情報1624−1など)を含む少なくとも1つの又は1つより多いフレーム又はパケットをスピーカ118に送信することができ、再生タイミング情報1624−1は、スピーカ118−1が位置1610に基づいて追加の音声コンテンツ1622を再生する再生時間を指定することができる。従って、通信技術を用いて位置1610の変化を補正又はこれに適応することができ、これによってユーザ体験を向上させる。
上述のように、異なる再生時間は、環境における所望の音響特性に基づくことができる。例えば、所望の音響特性は、モノフォニック、ステレオフォニック及び/又はマルチチャネルサウンドなどの再生の種類を含むことができる。モノフォニックサウンドは、振幅(又はレベル)を包含しない1又は2以上の音声信号及び指向性キューを複製又はシミュレートする到着時間/位相情報を含むことができる。
更に、ステレオフォニックサウンドは、2つの独立音声−信号チャネルを含むことができ、音声信号は、再生動作中にオリジナルサウンドソースの明瞭な画像が存在するように特定の振幅及び互いの位相関係を有することができる。一般的に、両方のチャネルの音声信号は、環境の多く又は全てに渡るカバレッジを提供することができる。音声チャネルの相対振幅及び/又は位相を調節することによって、スイートスポットを動かして少なくともリスナーの決定された位置をたどることができる。しかしながら、ステレオ画像及びローカライゼーションの両方が維持されるように振幅差及び到着時間差(指向性キュー)を十分小さくする必要がある。そうでなければ、画像が崩れることがあり、1つ又は片方の音声チャネルしか聴取されない。
ステレオフォニックサウンドの音声チャネルは正確な絶対位相応答を有する必要がある点に留意されたい。これは、システムへの入力時に正圧力波形を有する音声信号がスピーカ118のうちの1つからの出力時に同じ正圧力波形を有する必要があることを意味する。従って、叩かれた時にマイクロフォンに正の圧力波形を生じるドラムは、環境における正圧力波形を生じる必要がある。これに代わって、絶対極性が間違った方にフリップされた場合、音声画像が安定しない可能性がある。詳細には、リスナーは、安定音声画像を発見又は知覚できないことがある。代わりに、音声画像が揺らぎを生じ、スピーカ118にて定位することができる。
更にまた、マルチチャネルサウンドは、左、中央及び右音声チャネルを含むことができる。例えば、これらのチャネルは、モノフォニックスピーチ強化及び音楽又はサウンドエフェクトキューをステレオ又はステレオ様画像化によって位置付けるか又は特定視野とミキシングすることができる。従って、3つの音声チャネルが、モノフォニック又はステレオフォニックサウンドの場合のように、振幅及び指向性キューを維持すると同時に全環境のほとんど又は全てに渡るカバレッジを提供することができる。
これに代えて又はこれに加えて、所望の音響特性は、音響放射パターンを含むことができる。所望の音響放射パターンは、環境における残響時間の関数とすることができる。例えば、残響時間は、環境における人の数、環境における家具の種類及び量、カーテンが開いているか閉じているか、窓が開いているが又は閉じているかなどに応じて変わることがある。残響時間が長い又は増える時は、サウンドがリスナーに対して向けられるか発せられるように所望の音響放射パターンを向けることができる(これによって残響を低減する)。一部の実施形態では、所望の音響特性がワードの理解度を含む。
上述の説明はリスナー1612(又は携帯式電子デバイス110)の位置1610を動的に追跡するために使用できる技術を例示しているが、これらの技術を用いて環境における電子デバイス(スピーカ118−1など)の位置を決定することができる。
音響体験を向上させる別の方法は、電子デバイスをグループに動的に集約すること、及び/又はグループに基づいて調整を適応させることである。これは、電子デバイスを集約する方法1700を示す流れ図を提示する図17に示されている。方法1700は、A/Vハブ112(図1)などのA/Vハブによって実行できる点に留意されたい。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブでプログラムモジュールを実行するプロセッサ)は、1又は2以上の音響トランスデューサを用いて環境内の電子デバイス(スピーカ118など)によって出力されたサウンドを測定することができ(動作1710)、サウンドは音声コンテンツに対応する。例えば、測定されたサウンドはサウンド圧力を含むことができる。
次いで、A/Vハブは、測定されたサウンドに基づいて電子デバイスを2又は3以上のサブセットに集約することができる(動作1712)。異なるサブセットを環境内の異なる部屋に位置付けられる点に留意されたい。更にまた、サブセットのうちの少なくとも1つは、サブセットの残りとは異なる音声コンテンツを再生することができる。更にまた、2又は3以上のサブセットへの電子デバイスの集約は、異なる音声コンテンツ、測定されたサウンドの音響遅延、及び/又は環境における所望の音響特性に基づくことができる。一部の実施形態では、サブセット及び/又はサブセットに関連付けられる地理的位置又は領域内の電子デバイスは事前に定義されない。代わりに、A/Vハブは動的にサブセットを集約することができる。
更に、A/Vハブは、サブセットの再生タイミング情報を決定することができ(動作1714)、再生タイミング情報は、所与のサブセットの電子デバイスが音声コンテンツを再生する再生時間を指定する。
次にA/Vハブは、無線通信を用いて、音声コンテンツ及び再生タイミング情報を含む1又は2以上のフレーム(動作1716)又はパケットを電子デバイスに送信することができ、少なくとも所与のサブセットの電子デバイスの再生時間は、所与のサブセットの電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作1718)。例えば、A/Vハブは、電子デバイスに対する少なくとも1人のリスナーの推定位置を計算することができ、2又は3以上のサブセットへの電子デバイスの集約は、少なくとも1人のリスナーの推定位置に基づくことができる。これは、リスナーが向上した音響体験を有し、同時に他のサブセットからの音響クロストークが低減されるように助けることができる。
更に、A/Vハブは、少なくとも1つの周波数の帯域(限定ではなく実施例である100−20,000Hzなど)での環境の事前に決められた(又は動的に決定される)音響伝達関数に基づいて測定サウンドを修正することができる。これは、A/Vハブが、サブセットを集約する時間をA/Vハブが適切に決定できるようにする環境に関連付けられるオリジナル出力サウンドをスペクトルフィルタリング又は歪みなしに決定するのを可能にできる。
更にまた、A/Vハブは、サブセットが音声コンテンツを再生する時に使用されるサブセットの再生音量を決定することができ、1又は2以上のフレーム又はパケットは、再生音量を指示する情報を含むことができる。例えば、サブセットのうちの少なくとも1つの再生音量は、サブセットの残りの再生音量とは異なる可能性がある。これに代えて又はこれに加えて、再生音量は、リスナーがリスナーに近接しているか又は最も近いサブセットによって出力されたサウンドを聞く可能性が高くなるように2又は3以上のサブセット間の音響クロストークを低減することができる。
図18は、携帯式電子デバイス110、A/Vハブ112、及びスピーカ118の間の通信を示す図である。詳細には、プロセッサ1810はA/Vハブ112内の1又は2以上の音響トランスデューサ1814に命じて1812、スピーカ118に関連付けられるサウンドの測定1816を実行することができる。次に測定1816に基づいて、プロセッサ1810はスピーカ118を2又は3以上のサブセット1818に集約することができる。
更に、プロセッサ1810は、サブセット1818の再生タイミング情報1820を決定することができ、再生タイミング情報1820は、所与のサブセットのスピーカ118が音声コンテンツ1822を再生する再生時間を指定する。プロセッサ1810はメモリ1824内の音声コンテンツ1822にアクセスできる点に留意されたい。
次にプロセッサ1810はインタフェース回路1826に命じて、再生タイミング情報1820及び音声コンテンツ1822を備えたフレーム又はパケット1828をスピーカ118に送信することができる。(しかしながら、一部の実施形態では、再生タイミング情報1820及び音声コンテンツ1822は、別々の又は異なるフレーム又はパケットを用いて送信される。)
1又は2以上のフレーム又はパケット1826を受信した後に、スピーカ118−3のインタフェース回路は、再生タイミング情報1820及び音声コンテンツ1822をプロセッサに提供することができる。このプロセッサは、再生動作1830を行うソフトウェアを実行することができる。例えば、プロセッサは、音声コンテンツ1822をメモリ内の待ち行列に格納することができる。これらの実施形態では、再生動作1830は、待ち行列から音声コンテンツ1822を出力する段階を含み、再生タイミング情報1820によって指定された時間にスピーカ118−3がサウンドを出力する場合の音声コンテンツ1822に基づいて音響トランスデューサの1又は2以上を駆動する段階を含む。少なくとも1つの所与のサブセットのスピーカ118の再生時間は、所与のサブセットのスピーカ118による音声コンテンツ1822の再生が調整されるような時間的関係を有する点に留意されたい。
例示的な実施形態では、スピーカ118をサブセットに集約するために通信技術が用いられる。図19は、環境内の同じ又は異なる部屋にある可能性があるスピーカ118の集約を示す図を提示している。A/Vハブ112はスピーカ118によって出力されたサウンド1910を測定することができる。これらの測定に基づいて、A/Vハブ112は、スピーカ118をサブセット1912に集約することができる。例えば、サブセット1912は、隣接したスピーカが一緒に集約されるようにサウンド強度及び/又は音響遅延に基づいて集約することができる。詳細には、最高音響強度又は類似の音響遅延を有するスピーカを一緒に集約することができる。集約を容易にするために、スピーカ118は、人間の聴力の範囲外で識別情報又は音響特徴付けパターンを無線で送信及び/又は音響的に出力することができる。例えば、音響特徴付けパターンはパルスを含むことができる。しかしながら、振幅変調、周波数変調、位相変調などの多種多様な時間、周波数及び/又は変調技術を用いることができる。これに代えて又はこれに加えて、A/Vハブ112は、スピーカ118の各々に対して、一度に1つずつ、A/Vハブ112が測定されたサウンドに特定のスピーカを関連付けることができるように、再生時間又は出力サウンドの位相をディザーするように命じることができる。更に、反射及びフィルタリングの影響(又は歪み)がスピーカ118を集約する前に取り除かれるように、環境の音響伝達関数を用いて測定されたサウンド1910を補正することができる。一部の実施形態では、スピーカ118は、上述の技術の1又は2以上を用いて(無線測距などを用いて)決定することができるスピーカ118の位置1914に少なくとも一部基づいて集約される。このようにして、サブセット1912は、1又は2以上のリスナーが環境内にスピーカ118を再位置づけする時に動的に修正することができる。
次いで、A/Vハブ112は、追加の音声コンテンツ1918(音楽など)及び再生タイミング情報1920を含む1又は2以上のフレーム又はパケット(パケット1916など)をサブセット1912のうちの少なくとも1つ(サブセット1912−1など)のスピーカ118に送信することができ、再生タイミング情報1920は、サブセット1912−1のスピーカ118が追加の音声コンテンツ1918を再生する再生時間を指定することができる。従って、例えば、A/Vハブ112及びスピーカ118を含む環境内のリスナーの位置及び/又は所望の音響特性に基づいてサブセット1912を動的に選択するために通信技術を用いることができる。
音響体験を向上させる別の方法は、環境内の音響モニタリングに基づいて音声を動的に等化することである。図20は、A/Vハブ112(図1)などのA/Vハブによって実行することができる等化音声コンテンツを決定する方法2000を示す流れ図を提示している。動作中、A/Vハブ(制御回路又は制御論理、例えば、A/Vハブでプログラムモジュールを実行するプロセッサなど)が、1又は2以上の音響トランスデューサを用いて環境内の電子デバイス(スピーカ118など)によって出力されたサウンドを測定することができ(動作2010)、サウンドは音声コンテンツに対応する。例えば、測定されたサウンドはサウンド圧力を含むことができる。
次いで、A/Vハブは、第1位置、A/Vハブの第2位置、及び周波数のうちの少なくとも1つの帯域(限定ではなく実施例である100−20,000kHzなど)における環境の事前に決められた又は動的に決定される音響伝達関数に基づいて、環境内の第1位置の測定サウンドと所望の音響特性を比較することができる(動作2012)。比較は時間ドメイン及び/又は周波数ドメインで実行できる点に留意されたい。比較を実行するために、A/Vハブは、第1位置及び/又は第2位置の音響特性(音響伝達関数又は様式応答など)を計算することができ、計算した音響特性を用いて環境内のフィルタリング又は歪みに対して測定されたサウンドを補正することができる。例として音響伝達関数を用いて、この計算は、グリーンの関数技術の使用を伴い、1又は2以上のポイントを有する位置の関数又は環境における事前定義又は既知の位置の分散音響ソースとして環境の音響反応をコンピュータ計算することができる。第1位置の音響伝達関数及び補正が、環境の統合された音響行動(及び、従って、環境におけるスピーカ118などの音響ソースの第2位置及び/又は複数の位置)に依存することがある点に留意されたい。従って、音響伝達関数は、音響伝達関数が決定される環境内の位置(例えば、第2位置)及び/又は環境における音響ソースの位置(電子デバイスのうちの少なくとも1つの位置など)を指示する情報を含むことができる。
更に、A/Vハブは、比較及び音声コンテンツに基づいて等化音声コンテンツを決定することができる(動作2014)。所望の音響特性が、モノフォニック、ステレオフォニック及び/又はマルチチャネルなどの音声再生の種類に基づくことができる点に留意されたい。これに代えて又はこれに加えて、所望の音響特性は音響放射パターンを含むことができる。所望の音響放射パターンは、環境内の残響時間の関数とすることができる。例えば、残響時間は、環境における人の数、環境における家具の種類及び量、カーテンが開いているか又は閉じているか、窓が開いているか又は閉じているかなどに応じて変わることがある。残響時間が長い又は増加する時は、等化音声コンテンツに関連付けられるサウンドをリスナーに向ける又は発するように所望の音響放射パターンを向けることができる(これによって残響を低減する)。この結果、一部の実施形態では、等化は、音声コンテンツの振幅及び/又は位相を修正する複素関数である。更に、所望の音響特性は、音響コンテンツ内の関連付けられる低周波数のエネルギーを低減することによって部屋の共振又は部屋のモードを低減する段階を含むことができる。一部の実施形態では、所望の音響特性がワードの理解度を含む点に留意されたい。従って、目標(所望の音響特性)を用いて、音声コンテンツの等化を適応させることができる。
A/Vハブは、無線通信を用いて、等化音声コンテンツを含む1又は2以上のフレーム(動作2016)又はパケットを電子デバイスに送信して、等化音声コンテンツに対応する追加のサウンドの電子デバイスによる出力を容易にすることができる。
一部の実施形態では、A/Vハブは、1又は2以上の追加の動作を任意選択的に実行する(動作2018)。例えば、第1位置は、電子デバイスに対するリスナーの推定位置を含むことができ、A/Vハブは、リスナーの推定位置を計算することができる。詳細には、リスナーの推定位置は、リスナーの位置を動的に決定するための上述の技術の1又は2以上を用いることができる。従って、A/Vハブは、サウンド測定に基づいてリスナーの推定位置を計算することができる。これに代えて又はこれに加えて、A/Vハブは、別の電子デバイスと通信することができ、他の電子デバイスとの通信に基づいてリスナーの推定位置を計算することができる。一部の実施形態では、他の電子デバイスとの通信は無線測距を含み、推定位置は、無線測距及び他の電子デバイスからの無線信号の到来角に基づいて計算することができる。更にまた、A/Vハブは、飛行時間測定を実行することができ、飛行時間測定に基づいてリスナーの推定位置を計算することができる。一部の実施形態では、動的等化は、環境内の「スイートスポット」がリスナーの位置に基づいて適応されるのを可能にする。A/Vハブは、環境内のリスナーの数及び/又はリスナーの位置を決定することができ、リスナー(又はリスナーの大部分)が等化音声コンテンツを聴取する時に所望の音響特性を有するように動的等化をサウンドに適応させることができる点に留意されたい。
更に、A/Vハブは、環境内の他の電子デバイスと通信することができ、他の電子デバイスから環境の追加のサウンド測定を(サウンド測定とは別に又はサウンド測定と一緒に)受信することができる。A/Vハブは、他の電子デバイスの1又は2以上の第3の位置(スピーカ118の位置など)及び少なくとも1つの周波数の帯域における環境の事前に決められた又は動的に決定される音響伝達関数に基づいて環境内の第一位置の追加のサウンド測定と所望の音響特性の1又は2以上の追加の比較を実行することができ、等化音声コンテンツは、1又は2以上の追加の比較に基づいて決定される。一部の実施形態では、A/Vハブは、他の電子デバイスとの通信に基づいて1又は2以上の第3位置を決定する。例えば、他の電子デバイスとの通信は、無線測距を含むことができ、1又は2以上の第3の位置は、無線測距及び他の電子デバイスからの無線信号の到来角に基づいて計算することができる。これに代えて又はこれに加えて、A/Vハブは、他の電子デバイスから第3位置を指示する情報を受信することができる。従って、他の電子デバイスの位置は、環境における電子デバイスの位置を決定するための上述の技術の1又は2以上を用いて決定することができる。
更にまた、A/Vハブは、電子デバイスが等化音声コンテンツを再生する再生時間を指定する再生タイミング情報を決定することができ、1又は2以上のフレーム又はパケットは、再生タイミング情報を含むことができる。これらの実施形態では、電子デバイスの再生時間は、電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する。
図21は、携帯式電子デバイス110、A/Vハブ112、及びスピーカ118の間の通信を示す図である。詳細には、プロセッサ2110は、A/Vハブ112の1又は2以上の音響トランスデューサ2114に命じて2112、スピーカ118に関連付けられ且つ音声コンテンツ2118に対応するサウンドを測定2116することができる。プロセッサ2110は、第1位置、A/Vハブ112の第2位置、及び周波数のうちの少なくとも1つの帯域の環境の事前に決められた又は動的に決定される音響伝達関数2124(メモリ2128でアクセスすることができる)に基づいて、測定されたサウンド2116と環境の第1位置の所望の音響特性2122を比較することができる2120。
更に、プロセッサ2110は、メモリ2128でアクセスすることができる比較2120及び音声コンテンツ2118に基づいて等化音声コンテンツ2126を決定することができる。プロセッサ2110は、スピーカ118によって出力される音声コンテンツ2118を前もって知ることができる点に留意されたい。
次にプロセッサ2110は、再生タイミング情報2130を決定することができ、再生タイミング情報2130は、スピーカ118が等化音声コンテンツ2126を再生する再生時間を指定する。
更にまた、プロセッサ2110はインタフェース回路2132に命じて、1又は2以上のフレーム又はパケット2134を再生タイミング情報2130及び等化音声コンテンツ2160と共にスピーカ118に送信することができる。(しかしながら、一部の実施形態では、再生タイミング情報2130及び音声コンテンツ2126は別々の又は異なるフレーム又はパケットを用いて送信される。)
1又は2以上のフレーム又はパケット2134を受信した後に、スピーカ118のうちの1つ(スピーカ118−1など)のインタフェース回路は、再生タイミング情報2130及び等化音声コンテンツ2126をプロセッサに提供することができる。このプロセッサは、再生動作を行うソフトウェアを実行することができる。例えば、プロセッサは、等化音声コンテンツ2126をメモリ内の待ち行列に格納することができる。これらの実施形態では、再生動作は、待ち行列から等化音声コンテンツ2126を出力する段階を含み、再生タイミング情報2130によって指定された時間にスピーカ118−1がサウンドを出力した場合の等化音声コンテンツ2126に基づいて音響トランスデューサの1又は2以上を駆動する段階を含む。スピーカ118による等化音声コンテンツ2126の再生が調整されるように、スピーカ118の再生時間は時間的関係を有する点に留意されたい。
例示的な実施形態では、音声コンテンツを動的に等化するために通信技術が用いられる。図22は、スピーカ118を用いて等化音声コンテンツを決定する段階を示す図を提示している。詳細には、A/Vハブ112は、スピーカ118によって出力された音声コンテンツに対応するサウンド2210を測定することができる。これに代えて又はこれに加えて、携帯式電子デバイス110及び/又はスピーカ118の少なくとも一部はサウンド2210を測定することができ、フレーム又はパケット2212でA/Vハブ112に測定を指示する情報を提供することができる。
A/Vハブ112は、位置2214、A/Vハブ112の位置2216、スピーカ118の位置2218、及び/又は周波数のうちの少なくとも1つの帯域における環境の事前に決められた又は動的に決定される音響伝達関数(又は、より一般的には音響特性)に基づいて、環境(携帯式電子デバイス110の位置とすることができる1又は2以上のリスナーの動的位置など)における位置2214の測定されたサウンド2210と所望の音響特性を比較することができる。例えば、A/Vハブ112は、位置2214、2216及び/又は2218の音響伝達関数を計算することができる。上述のように、この計算は、グリーンの関数技術の使用を伴い、位置2214、2216及び/又は2218の音響反応をコンピュータ計算することができる。これに代えて又はこれに加えて、この計算は、環境の異なる位置、位置2214、2216及び/又は2218での事前に決められた音響伝達関数の補間(最小帯域幅補間)を包含することができる。A/Vハブ112は、コンピュータ計算された及び/又は補間された音響伝達関数(及びより一般的には音響特性)に基づいて測定サウンド2210を補正することができる。
こうして、通信技術を用いて、音響伝達関数が元々決定された時の粗サンプリングを補償することができる。
更に、A/Vハブ112は、比較及び音声コンテンツに基づいて等化音声コンテンツを決定することができる。例えば、A/Vハブ112は、周波数の範囲(100−10,000又は20,000Hzなど)における周波数の関数の通りに音声コンテンツのスペクトルコンテンツ及び/又は位相を修正して所望の音響特性を達成することができる。
A/Vハブ112は、等化音声コンテンツ(音楽など)及び再生タイミング情報を含む1又は2以上のフレーム又はパケットをスピーカ118に送信することができる(等化音声コンテンツ2222及び再生タイミング情報2224を有するパケット2220など)、再生タイミング情報は、スピーカ118が等化音声コンテンツを再生する再生時間を指定することができる。
このようにして、通信技術は、スピーカ118によって出力されたサウンドを、1又は2以上のリスナーの位置2214(平均又は中間位置、リスナーの大多数に対応する位置、音声コンテンツ及び音響伝達関数又は環境の音響特性などが与えられた場合に所望の音響特性が達成されるリスナーの最大サブセットの平均位置)の変化に適応させることができる。これは、ステレオフォニックサウンドのスイートスポットが1又は2以上のリスナーの動き及び/又は環境内のリスナーの数の変化(上述の技術の1又は2以上を用いてA/Vハブ112によって決定できる)を追跡するのを可能にできる。これに代えて又はこれに加えて、通信技術は、スピーカ118によって出力されたサウンドが音声コンテンツ及び/又は所望の音響特性の変化に適応するのを可能にできる。例えば、音声コンテンツの種類(音楽の種類など)に応じて、1又は2人以上のリスナーは、(明らかに物理的に拡張される音響ソースに対応する音波を分岐することによる)大きな又は広いサウンド又は明らかに狭い又はポイントのソースを欲する又は要求することができる。従って、通信技術は、音声コンテンツを1又は2人以上のリスナーの所望の心理音響的体験に従って、等化されるようにできる。所望の音響特性又は所望の心理音響的体験は、リスナーの1又は2以上によって(携帯式電子デバイス110上のユーザインタフェースを用いることなどによって)明示的に指定することができ、又はユーザ動作なしに(聴取履歴に格納された音楽の種類又は1又は2以上のリスナーの優先する音響プリファレンスなどに基づいて)間接的に決定又は暗示することができる。
方法200(図2)、500(図5)、800(図8)、1100(図11)、1400(図14)、1700(図17)及び/又は2000(図20)の一部の実施形態では、追加の又は幾つかの動作が存在する。更に、動作の順序を変更することができ、及び/又は2又は3以上の動作を単一の動作に組み合わせることができる。更にまた、1又は2以上の動作を修正することができる。
ここで電子デバイスの実施形態を説明する。図23は、図1の携帯式電子デバイス110、A/Vハブ112、A/Vディスプレイデバイス114のうちの1つ、受信デバイス116又はスピーカ118のうちの1つなどの電子デバイス2300を示すブロック図を提示している。この電子デバイスは、処理サブシステム2310、メモリサブシステム2312、ネットワーキングサブシステム2314、任意的フィードバックサブシステム2334、及び任意的モニタリングサブシステム2336を含む。処理サブシステム2310は、コンピュータ動作を実行するよう構成された1又は2以上のデバイスを含む。例えば、処理サブシステム2310は、1又は2以上のマイクロプロセッサ、特定用途向け集積回路(ASIC)、マイクロコントローラ、プログラマブル論理デバイス、及び/又は1又は2以上のデジタル信号プロセッサ(DSP)を含むことができる。処理サブシステムにおけるこれらの構成要素の1又は2以上は、「制御回路」と呼ばれることもある。一部の実施形態では、処理サブシステム2310は、「制御機構」又は通信技術における動作の少なくとも一部を実行する「処理するための手段」を含む。
メモリサブシステム2312は、処理サブシステム2310及びネットワーキングサブシステム2314のためのデータ及び/又は命令を格納する1又は2以上のデバイスを含む。例えば、メモリサブシステム2312は、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、及び/又は他の種類のメモリを含むことができる。一部の実施形態では、メモリサブシステム2312内の処理サブシステム2310の命令は、処理サブシステム2310によって実行することができる1又は2以上のプログラムモジュール又は命令のセット(プログラムモジュール2322又はオペレーティングシステム2324など)を含む。1又は2以上のコンピュータプログラム又はプログラムモジュールはコンピュータプログラム機構を構成できる点に留意されたい。更に、メモリサブシステム2312内の様々なモジュールの命令は、ハイレベル手順言語、オブジェクト指向プログラミング言語、及び/又はアセンブリ又は期間言語で実施することができる。更にまた、プログラミング言語は、コンパイル又は翻訳することができ、例えば、処理サブシステム2310によって実行されるよう構成可能又は構成できる(この説明では同義に使用できる)。
加えて、メモリサブシステム2312は、メモリへのアクセスを制御する機構を含むことができる。一部の実施形態では、メモリサブシステム2312は、電子デバイス2300のメモリに結合された1又は2以上のキャッシュを含むメモリ階層を含む。これらの実施形態の一部では、キャッシュの1又は2以上が処理サブシステム2310に位置付けられる。
一部の実施形態では、メモリサブシステム2312は、1又は2以上の高容量大容量ストレージデバイス(図示せず)に結合される。例えば、メモリサブシステム2312を磁気又は光学ドライブ、固体ドライブ、又は別の種類の大容量デバイスに結合することができる。これらの実施形態では、メモリサブシステム2312は、頻繁に用いられるデータの高速アクセスストレージとして電子デバイス2300によって使用されるが、大容量ストレージデバイスは、あまり頻繁に使用されないデータを格納するのに使用される。
ネットワーキングサブシステム2314は、有線及び/又は無線ネットワークに結合され且つ有線及び/又は無線ネットワーク上で通信する(例えば、ネットワーク動作を実行する)よう構成された1又は2以上のデバイスを含み、制御論理2316、インタフェース回路2318及び関連付けられるアンテナ2320を含む。(図23はアンテナ2320を含み、一部の実施形態では、電子デバイス2300は、ノード2308などの1又は2以上のノード、例えば、アンテナ2320に結合することができるパッドを含む。従って、電子デバイス2300はアンテナ2320を含むことができるか又は含まなくてもよい。)例えば、ネットワーキングサブシステム2314は、Bluetoothネットワーキングシステム、セルラーネットワーキングシステム(例えば、UMTS、LTEなどの3G/4G)、ユニバーサルシリアルバス(USB)ネットワーキングシステム、IEEE802.11に記述される規格に基づくネットワーキングシステム(例えば、Wi−Fiネットワーキングシステム)、イーサネットネットワーキングシステム、及び/又は別のネットワーキングシステムを含むことができる。インタフェース回路2318の所与の1つ及びアンテナ2320のうちの少なくとも1つの組合せはラジオを構成できる点に留意されたい。一部の実施形態では、ネットワーキングサブシステム2314は、HDMIインタフェース2330などの有線インタフェースを含む。
ネットワーキングサブシステム2314は、各支援されるネットワーキングシステムに結合し、各支援されるネットワーキングシステム上で通信し、及び各支援されるネットワーキングシステムのデータ及び事象を処理するために使用されるプロセッサ、コントローラ、ラジオ/アンテナ、ソケット/プラグ、及び/又は他のデバイスを含む。各ネットワークシステムのネットワークに結合し、ネットワーク上で通信し、及びネットワーク上でデータ及び事象を処理するために使用される機構は、まとめてネットワークシステムの「ネットワークインタフェース」と呼ばれることもある点に留意されたい。更に、一部の実施形態では、電子デバイス間の「ネットワーク」は存在しない。従って、電子デバイス2300は、電子デバイス間の単純な無線通信を実行する、例えば、広告又はビーコンフレーム又はパケットを送信する及び/又は上述のように他の電子デバイスによって送信された広告フレーム又はパケットを走査するためにネットワーキングサブシステム2314における機構を用いることができる。
電子デバイス2300内で、処理サブシステム2310、メモリサブシステム2312、ネットワーキングサブシステム2314、任意的フィードバックサブシステム2334及び任意的モニタリングサブシステム2336は、バス2328を用いて互いに結合される。バス2328は、サブシステムが互いにコマンド及びデータを伝送するために使用できる電気、光学、及び/又は電気光学接続を含むことができる。分かり易いように1つのバス2328しか示していないが、異なる実施形態は、サブシステム間の電気、光学、及び/又は電気光学接続の異なる数又は構成を含むことができる。
一部の実施形態では、電子デバイス2300は、ディスプレイドライバ、I/Oコントローラ及びディスプレイを含むことができるディスプレイ上に情報(識別された環境を明確にする要求など)を表示するためのディスプレイサブシステム2326を含む。2次元ディスプレイ、3次元ディスプレイ(ホログラフィックディスプレイ又は容積ディスプレイなど)、頭部装着ディスプレイ、網膜画像プロジェクタ、ヘッドアップディスプレイ、ブラウン管、液晶ディスプレイ、投射型ディスプレイ、電子発光ディスプレイ、電子ペーパーに基づくディスプレイ、薄膜フィルムトランジスタディスプレイ、高性能アドレス指定ディスプレイ、有機発光ダイオードディスプレイ、表面電界ディスプレイ、レーザディスプレイ、カーボンナノチューブディスプレイ、量子ドットディスプレイ、干渉変調ディスプレイ、マルチタッチタッチ画面(タッチセンサ式ディスプレイと呼ばれることもある)、及び/又は別の種類のディスプレイ技術又は物理的現象に基づくディスプレイを含む多種多様なディスプレイの種類をディスプレイサブシステム2326に使用できる点に留意されたい。
更にまた、任意的フィードバックサブシステム2334は、振動機構又は振動アクチュエータ(例えば、偏心回転マスアクチュエータ又は線形共振アクチュエータ)、ライト、1又は2以上のスピーカなどの1又は2以上のセンサフィードバック機構又はデバイスを含むことができ、これを用いて電子デバイス2300のユーザにフィードバック(センサフィードバックなど)を提供することができる。これに代えて又はこれに加えて、任意的フィードバックサブシステム2334を用いて、ユーザにセンサ入力を提供することができる。例えば、1又は2以上のスピーカは、音声などのサウンドを出力することができる。1又は2以上のスピーカは、音響トランスデューサの位相アレイなどの1又は2以上のスピーカによって出力されたサウンドの特性を調節するために修正することができるトランスデューサのアレイを含むことができる。この能力は、1又は2以上のスピーカが、伝播音波の等化又はスペクトルコンテンツ、位相及び/又は方向などを変えることによってユーザの所望の音響体験を達成するために環境におけるサウンドを修正するのを可能にできる。
一部の実施形態では、任意的モニタリングサブシステム2336は、電子デバイス2300を含む環境のサウンドをモニタする1又は2以上の音響トランスデューサ2338(1又は2以上のマイクロフォン、位相アレイなど)を含む。音響モニタリングは、電子デバイス2300が、環境を音響的に特徴付ける、環境内のスピーカによって出力されたサウンド(音声コンテンツに対応するサウンドなど)を音響的に特徴付ける、リスナーの位置を決定する、環境におけるスピーカの位置を決定する及び/又は1又は2以上の音響特徴付けパターン(音声コンテンツの再生を調整するために使用できる)に対応する1又は2以上のスピーカからのサウンドを測定するのを可能にできる。加えて、任意的モニタリングサブシステム2336は、環境におけるリスナー又は電子デバイス(スピーカなど)の位置を決定するために使用できる位置トランスデューサ2340を含むことができる。
電子デバイス2300は、少なくとも1つのネットワークインタフェースを備えた何れかの電子デバイスとすることができる(又はこれに含めることができる)。例えば、電子デバイス2300は、デスクトップコンピュータ、ラップトップコンピュータ、サブノートブック/ネットブック、サーバ、タブレットコンピュータ、スマートフォン、セルラー電話、スマートウォッチ、消費者電子デバイス(テレビジョン、セットトップボックス、オーディオ機器、スピーカ、ビデオ機器など)、リモート制御、携帯式コンピュータデバイス、アクセスポイント、ルータ、スイッチ、通信機器、テスト機器、及び/又は別の電子デバイスとすることができるか(又はこれらに含めることができる)。
特定の構成要素を電子デバイス2300を説明するために使用しているが、代替の実施形態では、異なる構成要素及び/又はサブシステムを電子デバイス2300に存在させることができる。例えば、電子デバイス2300は、1又は2以上の追加の処理サブシステム、メモリサブシステム、ネットワーキングサブシステム、及び/又はディスプレイサブシステムを含むことができる。アンテナ2320の1つはインタフェース回路2318の所与の1つに結合されて図示しているが、インタフェース回路2318の所与の1つに複数のアンテナを結合することもできる。例えば、3x3ラジオの事例は3つのアンテナを含むことができる。加えて、サブシステムの1又は2以上は、電子デバイス2300に存在しなくてもよい。更にまた、一部の実施形態では、電子デバイス2300は、図23に図示していない1又は2以上の追加のサブシステムを含むことができる。また、別々のサブシステムが図23に示されているが、一部の実施形態では、所与のサブシステム又は構成要素の一部又は全部を電子デバイス2300の他のサブシステム又は構成要素の1又は2以上に統合することができる。例えば、一部の実施形態ではプログラムモジュール2322がオペレーティングシステム2324に含まれる。
更に、電子デバイス2300の回路及び構成要素は、バイポーラ、PMOS及び/又はNMOSゲート又はトランジスタを含むアナログ及び/又はデジタル回路の何れかの組合せを用いて実施することができる。更にまた、これらの実施形態における信号は、ほぼ離散的な値を有するデジタル信号及び/又は連続値を有するアナログ信号を含むことができる。加えて、構成要素及び回路は、シングルエンド又は差分とすることができ、電源は単極又は双極とすることができる。
集積回路は、1又は2以上のラジオなどのネットワーキングサブシステム2314の機能の一部又は全部を実施することができる。更に、集積回路は、電子デバイス2300から無線信号を送信する及び他の電子デバイスからの信号を電子デバイス2300で受信するために用いられるハードウェア及び/又はソフトウェア機構を含むことができる。本明細書で説明する機構に加えて、ラジオがより一般的には当技術で公知であるが、詳しく説明しない。より一般的には、ネットワーキングサブシステム2314及び/又は集積回路はラジオの何れの数も含むことができる。
一部の実施形態では、ネットワーキングサブシステム2314及び/又は集積回路は、所与のチャネル(例えば、所与のキャリア周波数)で送信及び/又は受信するようラジオを構成する構成機構(1又は2以上のハードウェア及び/又はソフトウェア機構)を含む。例えば、一部の実施形態では、この構成機構を用いて、所与のチャネルでのモニタリング及び/又は送信から異なるチャネルでのモニタリング及び/又は送信にラジオを切り替えることができる。(本明細書で使用する「モニタリング」は、他の電子デバイスから信号を受信すること及び可能であれば受信した信号に1又は2以上の処理動作を実行すること、例えば、受信信号が広告フレーム又はパケットを含むかどうか決定すること、性能尺度を計算すること、スペクトル分析を実行することなどを含む点に留意されたい。)更にまた、ネットワーキングサブシステム2314は、データストリーム内の情報を受信する及び/又は、A/Vディスプレイデバイス114(図1)のうちの少なくとも1つ、スピーカ118(図1)のうちの少なくとも1つ及び/又はコンテンツソース120(図1)のうちの少なくとも1つに提供する少なくとも1つのポート(HDMIポート2332など)を含むことができる。
Wi−Fiに準拠した通信プロトコルが例証の実施例として使用されるが、記載した実施形態は、多種多様なネットワークインタフェースに用いることができる。更にまた、上述の実施形態の動作の一部がハードウェア又はソフトウェアで実施されるが、より一般的には上述の実施形態の動作は多種多様な構成及びアーキクチャで実施することができる。従って、上述の実施形態における動作の一部又は全部を、ハードウェアで、ソフトウェアで、又はこの両方で実行することができる。例えば、通信技術における動作の少なくとも一部は、プログラムモジュール2322、オペレーティングシステム2324(インタフェース回路2318のドライバなど)を用いて、及び/又はインタフェース回路2318のファームウェアで実施することができる。これに代えて又はこれに加えて、通信技術の動作の少なくとも一部を、インタフェース回路2318のハードウェアなどの物理層で実施することができる。
更に、上述の実施形態は、ユーザが(例えば、指又はディジット又はスタイラスで)触れる携帯式電子デバイスのタッチセンサ式ディスプレイを含むが、他の実施形態ではユーザインタフェースは、携帯式電子デバイスのディスプレイ上に表示され、ユーザはディスプレイの表面に接触する又は触れることなくユーザインタフェースと対話する。例えば、ユーザインタフェースとのユーザの対話は、飛行時間測定、モーション感知(ドップラー測定など)又は、1又は2以上の仮想コマンドアイコンの位置に対するユーザの指又はディジット(又はスタイラス)の動きの方向及び/又は速度を決定できるようにする別の非接触測定を用いて決定することができる。これらの実施形態では、ユーザは、ジェスチャを実行すること(ディスプレイの表面に接触することなく空中で指を「タップする」ことなど)によって所与の仮想コマンドアイコンを動作できる点に留意されたい。一部の実施形態では、ユーザは、ユーザインタフェースをナビゲートする、及び/又は、発話コマンド又は命令を用いて(すなわち音声認識を介して)及び/又はユーザが図1の携帯式電子デバイス110のディスプレイ又は図1のA/Vディスプレイデバイス114のディスプレイを見ている場所(例えば、ユーザの視線又はユーザが見ている場所を追跡することによって)に基づいてシステム100(図1)の構成要素の1つの機能を動作/停止する。
更にまた、A/Vハブ112(図1)はA/Vディスプレイデバイス114(図1)とは別の構成要素として示されているが、一部の実施形態ではA/Vハブ及びA/Vディスプレイデバイスは、単一の構成要素又は単一の電子デバイスに組み合わされる。
上述の実施形態は音声及び/又は映像コンテンツ(HDMIコンテンツなど)を備えた通信技術を示しているが、他の実施形態ではデータ又は情報の任意の種類の文脈に通信技術が用いられる。例えば、通信技術は、家庭自動化データと共に用いることができる。これらの実施形態では、A/Vハブ112(図1)は、多種多様な電子デバイス間の通信及びこれらの制御を容易にすることができる。従って、A/Vハブ112(図1)及び通信技術を用いて、いわゆる物のインターネットにおけるサービスを容易にするか又は実施することができる。
上述の説明では、発明者らは「一部の実施形態」を示した。「一部の実施形態」は可能性のある実施形態の全てのサブセットを示すが、実施形態の同じサブセットを常に示すとは限らない点に留意されたい。
上述の説明は、当業者が本開示を使用できるように意図され、特定の応用及びその要件の文脈で提供される。更に、本開示の実施形態の上述の説明は、例証及び説明の目的のみで提示している。これらは、包括的なもの又は本開示を開示された形態に限定することを意図しない。従って、多くの修正及び変形形態が当該技術分野に精通した業者には明らかであろうし、本明細書に定義した一般的原理を、本開示の精神及び範囲から逸脱することなく他の実施形態及び応用に適用することができる。加えて、上述の実施形態の議論は、本開示を限定することを意図しない。従って、本開示は、図示した実施形態に限定されることを意図しないが、本明細書で開示した原理及び特徴に矛盾することのない広範な範囲に従うものとする。
100 システム
110 携帯式電子デバイス
112 A/Vハブ
114−1 A/Vディスプレイデバイス
114−2 A/Vディスプレイデバイス
114−3 A/Vディスプレイデバイス
116 受信デバイス
118−1 スピーカ
118−2 スピーカ
118−3 スピーカ
120−1 コンテンツソース
120−2 コンテンツソース
122−1 ラジオ
122−2 ラジオ
122−3 ラジオ
122−4 ラジオ
122−5 ラジオ
122−6 ラジオ
122−7 ラジオ
124 無線信号
126 HDMIケーブル
128 TSD

Claims (20)

  1. 1又は2以上のアンテナに通信可能に結合するよう構成された1又は2以上のノードと、
    前記1又は2以上のノードに通信可能に結合されたインタフェース回路と、
    を備える調整デバイスであって、
    前記調整デバイスは、
    前記1又は2以上のノードから、電子デバイスに関連付けられる入力フレームを受信する段階であって、所与の入力フレームは、所与の電子デバイスが前記所与の入力フレームを送信した送信時間を含む、段階と、
    前記入力フレームが受信された受信時間を格納する段階であって、前記受信時間は、前記調整デバイスのクロックに基づく、段階と、
    前記入力フレームの前記受信時間及び前記送信時間に基づいて、前記電子デバイスのクロックと前記調整デバイスのクロックとの間の現在時間オフセットを計算する段階と、
    前記1又は2以上のノードに、前記電子デバイスに対する音声コンテンツ及び再生タイミング情報を含む1又は2以上の出力フレームを送信する段階であって、前記再生タイミング情報は、前記電子デバイスが前記現在時間オフセットに基づいて前記音声コンテンツを再生する再生時間を指定する、段階と、
    を実行するよう構成され、
    前記電子デバイスの前記再生時間は、前記電子デバイスによる前記音声コンテンツの再生が調整されるような時間的関係を有する、調整デバイス。
  2. 前記時間的関係が非ゼロの値を有し、前記電子デバイスの少なくとも一部が、前記再生時間の異なる値を用いることによって互いに対する位相を有する前記音声コンテンツの再生を命じられるようになる、ことを特徴とする請求項1に記載の調整デバイス。
  3. 前記異なる再生時間は、環境の音響特徴付けに基づくことを特徴とする請求項2に記載の調整デバイス。
  4. 前記異なる再生時間は、環境における所望の音響特性に基づくことを特徴とする請求項2に記載の調整デバイス。
  5. 前記電子デバイスは、前記調整デバイスからベクトル距離に位置付けられ、
    前記インタフェース回路は、無線測距を用いて前記送信時間及び前記受信時間に基づいて前記ベクトル距離の大きさを決定するよう構成され、前記入力フレームに関連付けられる無線信号の到来角に基づいて前記ベクトル距離の角度を決定するよう構成され、
    前記異なる再生時間は、前記決定されたベクトル距離に基づく、ことを特徴とする請求項2に記載の調整デバイス。
  6. 前記異なる再生時間は、前記電子デバイスに対するリスナーの推定位置に基づく、ことを特徴とする請求項2に記載の調整デバイス。
  7. 前記インタフェース回路は更に、
    前記1又は2以上のノードから、別の電子デバイスに関連付けられるフレームを受信し、
    前記受信したフレームに基づいて前記リスナーの前記推定位置を計算する、
    よう構成されることを特徴とする請求項6に記載の調整デバイス。
  8. 前記調整デバイスは更に、環境のサウンド測定を実行するよう構成された音響トランスデューサを備え、
    前記調整デバイスは、前記サウンド測定に基づいて前記リスナーの前記推定位置を計算するよう構成される、ことを特徴とする請求項6に記載の調整デバイス。
  9. 前記インタフェース回路は更に、前記1又は2以上のノードから、前記環境における前記別の電子デバイスに関連付けられる前記環境の追加のサウンド測定を受信するよう構成され、
    前記調整デバイスは、前記追加のサウンド測定に基づいて前記リスナーの前記推定位置を計算するよう構成される、ことを特徴とする請求項6に記載の調整デバイス。
  10. 前記インタフェース回路は、
    飛行時間測定を実行し、
    前記飛行時間測定に基づいて前記リスナーの前記推定位置を計算する、
    よう構成されることを特徴とする請求項6に記載の調整デバイス。
  11. 前記電子デバイスは、前記調整デバイスから非ゼロの距離に位置付けられ、
    前記現在時間オフセットが、前記距離を無視することにより無線測距を用いて前記送信時間及び前記受信時間に基づいて計算される、ことを特徴とする請求項1に記載のデバイス。
  12. 前記現在時間オフセットは更に、前記電子デバイスのクロックドリフトのモデルに基づく、ことを特徴とする請求項1に記載の調整デバイス。
  13. 調整デバイスと共に使用する非一時的コンピュータ可読ストレージ媒体であって、前記コンピュータ可読ストレージ媒体は、前記調整デバイスによって実行された時に前記調整デバイスに、
    1又は2以上のアンテナに通信可能に結合された前記調整デバイスの1又は2以上のノードから、電子デバイスに関連付けられる入力フレームを受信する段階であって、所与の入力フレームは、所与の電子デバイスが前記所与の入力フレームを送信した送信時間を含む、段階と、
    前記入力フレームが受信された受信時間を格納する段階であって、前記受信時間は前記調整デバイスのクロックに基づく、段階と、
    前記入力フレームの前記受信時間及び前記送信時間に基づいて前記電子デバイスのクロックと前記調整デバイスのクロックの間の現在時間オフセットを計算する段階と、
    前記1又は2以上のノードに、前記電子デバイスに対する音声コンテンツ及び再生タイミング情報を含む1又は2以上の出力フレームを送信する段階であって、前記再生タイミング情報は、前記電子デバイスが前記現在時間オフセットに基づいて前記音声コンテンツを再生する再生時間を指定する、段階と、
    を含む1又は2以上の動作を実行させることによって前記音声コンテンツの再生を調整させるプログラムモジュールを格納し、
    前記電子デバイスの前記再生時間は、前記電子デバイスによる音声コンテンツの再生が調整されるような時間的関係を有する、ことを特徴とする調整デバイスと共に使用する非一時的コンピュータ可読ストレージ媒体。
  14. 前記時間的関係が非ゼロの値を有し、前記電子デバイスの少なくとも一部が、前記再生時間の異なる値を用いることによって互いに対する位相を有する前記音声コンテンツの再生を命じられるようになり、
    前記異なる再生時間は、環境の音響特徴付けに基づく、ことを特徴とする請求項13に記載のコンピュータ可読ストレージ媒体。
  15. 前記時間的関係が非ゼロの値を有し、前記電子デバイスの少なくとも一部が、前記再生時間の異なる値を用いることによって互いに対する位相を有する前記音声コンテンツの再生を命じられるようになり、
    前記異なる再生時間は、前記環境における所望の音響特性に基づく、ことを特徴とする請求項14に記載のコンピュータ可読ストレージ媒体。
  16. 前記時間的関係が非ゼロの値を有し、前記電子デバイスの少なくとも一部が、前記再生時間の異なる値を用いることによって互いに対する位相を有する前記音声コンテンツの再生を命じられるようになり、
    前記電子デバイスは、前記調整デバイスからベクトル距離に位置付けられ、
    前記1又は2以上の動作は、
    無線測距を用いて前記送信時間及び前記受信時間に基づく前記ベクトル距離の大きさを決定する段階と、
    前記入力フレームに関連付けられる無線信号の到来角に基づいて前記ベクトル距離の角度を決定する段階と、
    を含み、前記異なる再生時間は、前記決定されたベクトル距離に基づく、
    ことを特徴とする請求項14に記載のコンピュータ可読ストレージ媒体。
  17. 前記時間的関係が非ゼロの値を有し、前記電子デバイスの少なくとも一部が、前記再生時間の異なる値を用いることによって互いに対する位相を有する前記音声コンテンツの再生を命じられるようになり、
    前記異なる再生時間は、前記電子デバイスに対するリスナーの推定位置に基づく、ことを特徴とする請求項14に記載のコンピュータ可読ストレージ媒体。
  18. 前記1又は2以上の動作は、
    飛行時間測定を実行する段階と、
    前記飛行時間測定に基づいて前記リスナーの前記推定位置を計算する段階と、
    を含む、ことを特徴とする請求項18に記載のコンピュータ可読ストレージ媒体。
  19. 前記現在時間オフセットは更に、前記電子デバイスのクロックドリフトのモデルに基づく、ことを特徴とする請求項13に記載のコンピュータ可読ストレージ媒体。
  20. 音声コンテンツの再生を調整する方法であって、
    調整デバイスにより、
    1又は2以上のアンテナに通信可能に結合された前記調整デバイスの1又は2以上のノードから、電子デバイスに関連付けられる入力フレームを受信する段階であって、所与の入力フレームが、所与の電子デバイスが前記所与の入力フレームを送信した送信時間を含む、段階と、
    前記入力フレームが受信された受信時間を格納する段階であって、前記受信時間は、前記調整デバイスのクロックに基づく、段階と、
    前記入力フレームの前記受信時間及び前記送信時間に基づいて前記電子デバイスのクロックと前記調整デバイスのクロックとの間の現在時間オフセットを計算する段階と、
    前記1又は2以上のノードに、前記電子デバイスに対する音声コンテンツ及び再生タイミング情報を含む1又は2以上の出力フレームを送信する段階であって、前記再生タイミング情報は、前記電子デバイスが前記現在時間オフセットに基づいて前記音声コンテンツを再生する再生時間を指定する、段階と、
    を含み、
    前記電子デバイスによる前記音声コンテンツの前記再生が調整されるように、前記電子デバイスの前記再生時間は時間的関係を有する、ことを特徴とする方法。
JP2019531645A 2016-12-13 2017-11-19 音声ソースの無線調整 Active JP6737959B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020122312A JP6987189B2 (ja) 2016-12-13 2020-07-16 音声ソースの無線調整
JP2021194610A JP7206362B2 (ja) 2016-12-13 2021-11-30 音声ソースの無線調整

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662433237P 2016-12-13 2016-12-13
US62/433,237 2016-12-13
PCT/US2017/062446 WO2018111500A1 (en) 2016-12-13 2017-11-19 Wireless coordination of audio sources

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020122312A Division JP6987189B2 (ja) 2016-12-13 2020-07-16 音声ソースの無線調整

Publications (2)

Publication Number Publication Date
JP2020507058A true JP2020507058A (ja) 2020-03-05
JP6737959B2 JP6737959B2 (ja) 2020-08-12

Family

ID=62487894

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019531645A Active JP6737959B2 (ja) 2016-12-13 2017-11-19 音声ソースの無線調整
JP2020122312A Active JP6987189B2 (ja) 2016-12-13 2020-07-16 音声ソースの無線調整
JP2021194610A Active JP7206362B2 (ja) 2016-12-13 2021-11-30 音声ソースの無線調整
JP2023000296A Pending JP2023052202A (ja) 2016-12-13 2023-01-04 音声ソースの無線調整

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020122312A Active JP6987189B2 (ja) 2016-12-13 2020-07-16 音声ソースの無線調整
JP2021194610A Active JP7206362B2 (ja) 2016-12-13 2021-11-30 音声ソースの無線調整
JP2023000296A Pending JP2023052202A (ja) 2016-12-13 2023-01-04 音声ソースの無線調整

Country Status (6)

Country Link
US (10) US10255032B2 (ja)
EP (3) EP3751918B1 (ja)
JP (4) JP6737959B2 (ja)
KR (7) KR102072682B1 (ja)
CN (1) CN110291820B (ja)
WO (1) WO2018111500A1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US10296275B2 (en) * 2015-08-30 2019-05-21 EVA Automation, Inc. User interface based on device-state information
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
WO2018155480A1 (ja) 2017-02-27 2018-08-30 ヤマハ株式会社 情報処理方法および情報処理装置
JP7086521B2 (ja) 2017-02-27 2022-06-20 ヤマハ株式会社 情報処理方法および情報処理装置
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11876847B2 (en) 2018-02-05 2024-01-16 D&M Holding System and method for synchronizing networked rendering devices
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) * 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
FR3086451B1 (fr) * 2018-09-20 2021-04-30 Sagemcom Broadband Sas Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10880594B2 (en) * 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020230460A1 (ja) * 2019-05-14 2020-11-19 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
WO2020256184A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 디스플레이 장치
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
CN110572799B (zh) * 2019-07-25 2020-12-25 华为技术有限公司 一种同时响应的方法及设备
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110290412B (zh) * 2019-08-26 2019-11-29 恒玄科技(北京)有限公司 一种音频同步播放方法、装置及扬声器设备、无线耳机
US11094319B2 (en) * 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
JP2021196582A (ja) * 2020-06-18 2021-12-27 ヤマハ株式会社 音響特性の補正方法および音響特性補正装置
CN112153525B (zh) * 2020-08-11 2022-09-16 广东声音科技有限公司 多扬声器全景音效的定位方法及系统
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
KR20240039120A (ko) 2021-08-06 2024-03-26 소니그룹주식회사 음향 처리 장치, 음향 처리 방법, 음향 처리 프로그램 및 음향 처리 시스템
US11716569B2 (en) * 2021-12-30 2023-08-01 Google Llc Methods, systems, and media for identifying a plurality of sets of coordinates for a plurality of devices
CN114866787B (zh) * 2022-07-04 2022-09-23 深圳市必提教育科技有限公司 一种直播实现方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150249967A1 (en) * 2014-02-28 2015-09-03 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998052376A1 (en) * 1997-05-09 1998-11-19 Nokia Telecommunications Oy A method for determining timing differences between radio transmitters and a radio network incorporating the same
US5872743A (en) * 1998-02-10 1999-02-16 Vlsi Technology, Inc. Method and apparatus for locating the user of a computer system
US7577260B1 (en) * 1999-09-29 2009-08-18 Cambridge Mechatronics Limited Method and apparatus to direct sound
US6400646B1 (en) * 1999-12-09 2002-06-04 Halliburton Energy Services, Inc. Method for compensating for remote clock offset
EP1393591A2 (en) 2000-11-16 2004-03-03 Koninklijke Philips Electronics N.V. Automatically adjusting audio system
US20020124097A1 (en) 2000-12-29 2002-09-05 Isely Larson J. Methods, systems and computer program products for zone based distribution of audio signals
JP4766440B2 (ja) * 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
JP2004021162A (ja) * 2002-06-20 2004-01-22 Sony Corp 音響機器および音響機器の制御方法、ならびに、音響機器制御デバイス
DE60211157T2 (de) * 2002-09-06 2007-02-08 Sony Deutschland Gmbh Synchrones Abspielen von Medien-Paketen
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
GB0301093D0 (en) * 2003-01-17 2003-02-19 1 Ltd Set-up method for array-type sound systems
US8020023B2 (en) 2003-07-28 2011-09-13 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices without a voltage controlled crystal oscillator
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US7668964B2 (en) 2005-04-23 2010-02-23 Sonos, Inc. System and method for synchronizing channel handoff as among a plurality of devices
US7526093B2 (en) * 2003-08-04 2009-04-28 Harman International Industries, Incorporated System for configuring audio system
EP1542503B1 (en) * 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
JP2006054515A (ja) * 2004-08-09 2006-02-23 Matsushita Electric Ind Co Ltd 音響システム、音声信号処理装置およびスピーカ
JP4345816B2 (ja) * 2004-09-09 2009-10-14 パナソニック株式会社 ネットワークシステムおよび中継装置
US8880205B2 (en) * 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
EP1737265A1 (en) * 2005-06-23 2006-12-27 AKG Acoustics GmbH Determination of the position of sound sources
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
US8981996B2 (en) * 2005-09-27 2015-03-17 Qualcomm Incorporated Position location using transmitters with timing offset and phase adjustment
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US9413799B2 (en) * 2007-01-27 2016-08-09 Blackfire Research Corporation Broadcasting media from a stationary source to multiple mobile devices over wi-fi
US20080004729A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
US9420332B2 (en) * 2006-07-06 2016-08-16 Qualcomm Incorporated Clock compensation techniques for audio decoding
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
JP5150652B2 (ja) 2007-03-20 2013-02-20 マーベル ワールド トレード リミテッド 同期ネットワークデバイス
CN101731011B (zh) 2007-05-11 2014-05-28 奥迪耐特有限公司 用于设置接收器延迟时间的方法
US8320410B2 (en) 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
US7729204B2 (en) * 2007-06-08 2010-06-01 Microsoft Corporation Acoustic ranging
JP4442662B2 (ja) * 2007-08-31 2010-03-31 ソニー株式会社 オーディオ信号伝送システム及びオーディオ信号伝送方法
KR101238361B1 (ko) * 2007-10-15 2013-02-28 삼성전자주식회사 어레이 스피커 시스템에서 근접장 효과를 보상하는 방법 및장치
US20110015769A1 (en) 2008-03-12 2011-01-20 Genelec Oy Data transfer method and system for loudspeakers in a digital sound reproduction system
US20090298420A1 (en) 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US8989882B2 (en) * 2008-08-06 2015-03-24 At&T Intellectual Property I, L.P. Method and apparatus for managing presentation of media content
US9645225B2 (en) * 2008-11-21 2017-05-09 Qualcomm Incorporated Network-centric determination of node processing delay
US8285405B2 (en) * 2009-02-26 2012-10-09 Creative Technology Ltd Methods and an apparatus for optimizing playback of media content from a digital handheld device
KR101705592B1 (ko) 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
WO2011034520A1 (en) * 2009-09-15 2011-03-24 Hewlett-Packard Development Company, L.P. System and method for modifying an audio signal
US9307340B2 (en) * 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9565035B1 (en) 2010-05-26 2017-02-07 Marvell International Ltd. Enhanced audio video bridging (AVB) methods and apparatus
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
CN103493447B (zh) 2011-03-10 2016-05-11 马维尔国际贸易有限公司 用于非任意网络的数据阻止系统
US9107023B2 (en) * 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US8619803B2 (en) 2011-05-05 2013-12-31 Harman International Industries, Incorporated Sparse mode system
US8516130B2 (en) 2011-06-30 2013-08-20 Harman International Industries, Incorporated Using non-AVB application layer interface and message to establish a connection over an AVB network
US8948037B1 (en) 2011-07-01 2015-02-03 Marvell Israel (M.I.S.L) Ltd. Checksum trailer in timing protocols
US9232026B2 (en) 2011-12-21 2016-01-05 Harman International Industries, Incorporated System for communicating control messages in an AVB network
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
EP2611213B1 (en) 2011-12-29 2015-08-26 Harman Becker Automotive Systems GmbH Sound system with individual playback zones
US9256247B2 (en) 2012-01-04 2016-02-09 Marvell World Trade Ltd. Method and apparatus for communicating time information between time aware devices
WO2013117217A1 (en) 2012-02-07 2013-08-15 Telefonaktiebolaget L M Ericsson (Publ) Method and device for resident time calculation and synchronization
CN104247309B (zh) 2012-02-09 2017-11-10 马维尔以色列(M.I.S.L.)有限公司 使用多个网络路径的时钟同步
US9112630B1 (en) 2012-02-09 2015-08-18 Marvell Israel (M.I.S.L) Ltd. Clock synchronization in the presence of security threats
US9219693B2 (en) 2012-02-22 2015-12-22 Marvell World Trade Ltd. Network devices with time aware medium access controller
US9547332B1 (en) 2012-03-21 2017-01-17 Marvell Israel (M.I.S.L) Ltd. Accurate time capture and transfer between clock domains
US9288777B2 (en) 2012-05-11 2016-03-15 Apple Inc. Methods and apparatus for synchronizing clock signals in a wireless system
US10663610B2 (en) * 2012-06-04 2020-05-26 Fairfield Industries Incorporated Seismic data analysis using ocean bottom node data collection
US8837316B2 (en) 2012-06-14 2014-09-16 Qualcomm Incorporated RTT based ranging system and method
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US8989552B2 (en) * 2012-08-17 2015-03-24 Nokia Corporation Multi device audio capture
US9470776B2 (en) * 2012-09-06 2016-10-18 Cascube Ltd Position and behavioral tracking system and uses thereof
EP2896170B1 (en) 2012-09-11 2023-03-08 Marvell Asia Pte, Ltd. Method and apparatus for transmitting packets in accordance with ieee 802.1 qbv
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9554203B1 (en) * 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
JP6290915B2 (ja) * 2012-11-16 2018-03-07 ブラックファイヤー リサーチ コーポレイションBlackfire Research Corporation 共通イベントベースのマルチデバイスメディア再生
WO2014100554A1 (en) * 2012-12-20 2014-06-26 Strubwerks Llc Systems and methods for providing three dimensional enhanced audio
US9165371B2 (en) 2012-12-24 2015-10-20 Harman International Industries, Incorporated User location system
US10070369B2 (en) 2013-01-02 2018-09-04 Comcast Cable Communications, Llc Network provisioning
US9104343B2 (en) 2013-03-13 2015-08-11 Silicon Graphics International Corp. Global synchronous clock circuit and method for blade processors
US9307508B2 (en) * 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9940904B2 (en) * 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
WO2015062658A1 (en) * 2013-10-31 2015-05-07 Huawei Technologies Co., Ltd. System and method for evaluating an acoustic transfer function
WO2015087024A1 (en) * 2013-12-09 2015-06-18 Khalifa University Of Science, Technology And Research Method and devices for synchronization using linear programming
US9178637B2 (en) * 2013-12-09 2015-11-03 Khalifa University of Science, Technology, and Research Method and devices for synchronization using linear programming
US9432791B2 (en) 2013-12-11 2016-08-30 Harman International Industries, Inc. Location aware self-configuring loudspeaker
US9301077B2 (en) 2014-01-02 2016-03-29 Harman International Industries, Incorporated Context-based audio tuning
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
FI20140021L (fi) * 2014-01-27 2015-07-28 Asmo Saloranta Akkulaturi
CN104811582A (zh) 2014-01-28 2015-07-29 华为技术有限公司 多智能设备同步播放的方法和装置
US9264839B2 (en) * 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
WO2015145782A1 (en) * 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
WO2016001355A1 (en) * 2014-07-02 2016-01-07 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation
US9451361B2 (en) * 2014-07-08 2016-09-20 Intel IP Corporation Apparatus, method and system of communicating acoustic information of a distributed microphone array between mobile devices
US9891881B2 (en) * 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
CN111654785B (zh) * 2014-09-26 2022-08-23 苹果公司 具有可配置区的音频系统
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
KR101596756B1 (ko) 2014-11-03 2016-03-07 현대자동차주식회사 리던던트 그랜드마스터를 이용한 차량 내 네트워크 시간 동기화 제공 방법 및 장치
US20160150008A1 (en) * 2014-11-25 2016-05-26 Google Inc. Clock synchronization using wifi beacons
EP3235310B1 (en) 2014-12-17 2021-11-03 Telefonaktiebolaget LM Ericsson (publ) Communication network nodes and methods performed therein
US9671998B2 (en) * 2014-12-31 2017-06-06 Qualcomm Incorporated Synchronised control
US10187817B2 (en) 2015-05-27 2019-01-22 Qualcomm Incorporated Measuring distance in wireless devices
US11125866B2 (en) * 2015-06-04 2021-09-21 Chikayoshi Sumi Measurement and imaging instruments and beamforming method
CN113473353B (zh) * 2015-06-24 2023-03-07 索尼公司 音频处理装置和方法以及计算机可读存储介质
US10003903B2 (en) * 2015-08-21 2018-06-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods for determining relative locations of wireless loudspeakers
US9911433B2 (en) 2015-09-08 2018-03-06 Bose Corporation Wireless audio synchronization
US9699580B2 (en) * 2015-09-28 2017-07-04 International Business Machines Corporation Electronic media volume control
US10454604B2 (en) 2015-10-02 2019-10-22 Bose Corporation Encoded audio synchronization
US10353424B2 (en) * 2016-07-01 2019-07-16 Imagination Technologies Limited Clock synchronisation
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150249967A1 (en) * 2014-02-28 2015-09-03 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework

Also Published As

Publication number Publication date
EP3539334A4 (en) 2019-09-18
US20200264838A1 (en) 2020-08-20
CN110291820A (zh) 2019-09-27
KR20210025735A (ko) 2021-03-09
KR20210025734A (ko) 2021-03-09
KR102224872B1 (ko) 2021-03-09
KR20220019296A (ko) 2022-02-16
US10255032B2 (en) 2019-04-09
US10649722B2 (en) 2020-05-12
JP2020184788A (ja) 2020-11-12
JP2022019843A (ja) 2022-01-27
US10241748B2 (en) 2019-03-26
KR20220098391A (ko) 2022-07-12
US11194542B2 (en) 2021-12-07
US10649716B2 (en) 2020-05-12
US10684817B2 (en) 2020-06-16
EP3539334A1 (en) 2019-09-18
EP3751918B1 (en) 2023-05-10
US10552115B2 (en) 2020-02-04
US20180167758A1 (en) 2018-06-14
US20180167645A1 (en) 2018-06-14
KR102293642B1 (ko) 2021-08-24
JP7206362B2 (ja) 2023-01-17
EP3539334B1 (en) 2020-09-02
US20180167760A1 (en) 2018-06-14
CN110291820B (zh) 2020-10-30
US20190220241A1 (en) 2019-07-18
US20180167757A1 (en) 2018-06-14
KR20200013087A (ko) 2020-02-05
US20180167759A1 (en) 2018-06-14
KR102357777B1 (ko) 2022-02-08
KR102111435B1 (ko) 2020-05-15
JP6737959B2 (ja) 2020-08-12
US20190171411A1 (en) 2019-06-06
WO2018111500A1 (en) 2018-06-21
EP4250747A2 (en) 2023-09-27
KR102415171B1 (ko) 2022-07-01
KR20190084335A (ko) 2019-07-16
KR102072682B1 (ko) 2020-02-04
EP4250747A3 (en) 2023-10-04
JP2023052202A (ja) 2023-04-11
US10296287B2 (en) 2019-05-21
KR20200053656A (ko) 2020-05-19
US10649721B2 (en) 2020-05-12
US20180165055A1 (en) 2018-06-14
KR102510369B1 (ko) 2023-03-15
EP3751918A1 (en) 2020-12-16
JP6987189B2 (ja) 2021-12-22
US10956114B2 (en) 2021-03-23
US20180166101A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP7206362B2 (ja) 音声ソースの無線調整
KR102077295B1 (ko) 오디오 재생의 무선 조정

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190822

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200518

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200716

R150 Certificate of patent or registration of utility model

Ref document number: 6737959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250