JP2016506639A - サウンドの触知可能な制御を提供するための方法および装置 - Google Patents

サウンドの触知可能な制御を提供するための方法および装置 Download PDF

Info

Publication number
JP2016506639A
JP2016506639A JP2015541778A JP2015541778A JP2016506639A JP 2016506639 A JP2016506639 A JP 2016506639A JP 2015541778 A JP2015541778 A JP 2015541778A JP 2015541778 A JP2015541778 A JP 2015541778A JP 2016506639 A JP2016506639 A JP 2016506639A
Authority
JP
Japan
Prior art keywords
sound
transducer array
sound transducer
projection patterns
physical space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015541778A
Other languages
English (en)
Other versions
JP2016506639A5 (ja
Inventor
シャン、ペイ
リウ、ケシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016506639A publication Critical patent/JP2016506639A/ja
Publication of JP2016506639A5 publication Critical patent/JP2016506639A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002Loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

サウンドの触知可能な制御を提供するための方法および装置は、タッチサーフェスが使用可能なディスプレイテーブルと共にサウンドトランスデューサアレイを含むシステムで実装されるように提供され、説明される。アレイは、(アレイが多数のスピーカを含む構成では)サウンドレンダリング、または(アレイが多数のマイクロフォンを含む構成では)サウンドピックアップが他の方向からの障害を低減する一方である方向に集中される空間パターン(またはサウンドプロジェクションパターン)を有することができるように、トランスデューサのグループのための信号の個別の処理を実行するように構成されるトランスデューサのグループ(多数のスピーカおよび/マイクロフォン)実行するように構成されたトランスデューサを含む。ユーザは、タッチサーフェス上で1つまたは複数のコマンドを実行することによる可視化フィードバックを受信する一方、タッチサーフェスとインタラクトすることによるサウンドプロジェクションパターンに関連するパラメータを直接的に調節しうる。コマンドは、タッチサーフェス上のディスプレイの変化から受信された視覚フィードバックに従って調節されうる。【選択図】図10

Description

関連出願
米国特許法第119条(e)に基づく優先権の主張
[0001]本願は、2012年11月14日に出願された「Device and System for Refreshing a Sound Field in a Physical Space」と題する米国特許仮出願第61/726451号、2012年11月14日に出願された「Method and Apparatus for Providing Tangible Control of Sound」と題する米国特許仮出願第61/726456号、2012年11月14日に出願された「Device and System Having Smart Directional Conferencing」と題する米国特許仮出願第61/726441号、および2012年11月14日に出願された「Collaborative Document Review and Editing」と題する米国特許仮出願第61/726,461号への優先権およびそれらの利益を主張する。
[0002]様々な特性は、サウンドの触知可能な制御を提供するための方法、装置およびシステムに関する。
[0003]サウンドを制御する現在のアプローチは、標準インターフェースと組み合されるオーディオを使用する。例えば、オーディオアルゴリズムを制御するための現在のアプローチは、従来のインターフェースの使用を包含する。キーボード、マウス、ボタン、バー、メニュー、またはソフトウェアにおけるそれらの相対物は、アルゴリズムを導出するために異なるパラメータを調整するために使用される。より直観的でより単純な制御は、ソフトウェアユーザインターフェース空間で可能でありうるが、制御は、めったにサウンドが起こっているのと同じ空間にいない。
[0004]本開示の1つまたは複数の態様の基本的な理解を与えるために、そのような態様の簡略化された概要を以下に提示する。この概要は、本開示の意図されるすべての特性の広範な概略ではなく、本開示のすべての態様のキーとなる要素または重要な要素を識別することも、本開示の任意の態様またはすべての態様の適用範囲(scope)を線引きすることも意図しない。その唯一の目的は、後に提示されるより詳細な説明への前置きとして、本開示の1つまたは複数の態様のいくつかの概念を、簡略化された形式で提示することである。
[0005]第1の例は、サウンドフィールドを制御するための方法を提供する。方法は、トランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンを、物理空間上で表示すること含み、サウンドトランスデューサアレイは、物理空間と通信している。物理空間は、例えば、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイを含みうる。一旦、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が表示されると、グラフィカル表現に向けられた少なくとも1つのコマンドは、少なくとも1つのコマンドに基づくサウンドトランスデューサアレイの1つまたは複数のプロジェクションパターンを修正するために検出されうる。少なくとも1つのコマンドは、多数のタッピング、1つまたは複数のプロジェクションパターンの周りに1つまたは複数の円を描くことと、グループとして操作するために1つまたは複数のサウンドプロジェクションパターンのうちの多数のサウンドプロジェクションパターンを共にグルーピングすることとを含むジェスチャでありうる。
[0006]1つまたは複数のサウンドプロジェクションパターンを表示することは、1つまたは複数のサウンドプロジェクションパターンの特性に基づいて1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を生成することを含みうる。特性は、ビーム幅、方向、原点(origin)、周波数範囲、信号対雑音比、1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを含む。グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの特性に比例したスケールであり得、スケールは、少なくとも1つのサウンドプロジェクションパターンの特性との一対一対応を含む。
[0007]1つの態様に従って、グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの各々に対応するカラースキームを含み得、カラースキームは、カラー空間に対する特性のマッピングを含む。
[0008]別の態様に従って、物理空間についてサウンドトランスデューサアレイのロケーションは、ロケーションに基づくグラフィカル表現の原点が生成されることができるように決定されうる。更に、物理空間についてサウンドトランスデューサアレイの方位は、方位に基づくグラフィカル表現上での基準としての方位ベクトルが生成されることができるように決定されうる。サウンドトランスデューサアレイの方位は、サウンドトランスデューサアレイに関して相対的でありうる。
[0009]1つの態様に従って、サウンドトランスデューサアレイは、多数のマイクロフォンを含み、多数のマイクロフォンは、車内に位置される。サウンドトランスデューサアレイは、多数のスピーカをさらに含み、多数のスピーカは、車内に位置される。
[0010]1つの態様に従って、少なくとも1つのコマンドを検出することは、物理空間でユーザのインタラクションを検出することと、ユーザによる所望の動作を決定するインタラクションを復号することとを含みうる。所望の動作は、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を隠すことを含みうる。1つまたは複数のサウンドプロジェクションパターンが修正された後、物理空間上の1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が更新されうる。ユーザインターフェースは、ユーザに、所望の動作を選択させることを可能にするために、物理空間上に表示されうる。所望の動作は、それへの第2の動作のアプリケーションのための1つまたは複数のサウンドプロジェクションパターンを選択すること、または1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループをさらに生成することを含みうる。グラフィカル表現は、1つまたは複数の仮想グルーピングの例示を含み、例示は、1つまたは複数の仮想レイヤを含み、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0011]1つの態様に従って、物理空間でのユーザの第2のインタラクションは、復号され、ユーザによる第2の所望の動作、第2の所望の動作が1つまたは複数の仮想グルーピングに適用される、第2の所望の動作が復号されうる。
[0012]別の例は、サウンドフィールドを制御するための物理空間との通信におけるサウンドトランスデューサアレイを提供する。サウンドトランスデューサアレイは、スピーカアレイと、サウンドをキャプチャするための、スピーカアレイと通信する、マイクロフォンアレイと、マイクロフォンアレイと通信する少なくとも1つのプロセッサとを含みうる。少なくとも1つのプロセッサは、サウンドトランスデューサアレイに関連した1つまたは複数のプロジェクションパターングラフィカル表現を、物理空間上で、表示するように構成され得、サウンドトランスデューサアレイは、物理空間と通信する。物理空間は、例えば、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイを含みうる。
[0013]一旦、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が表示されると、少なくとも1つのプロセッサは、グラフィカル表現に向けられた少なくとも1つのコマンドを検出するようにさらに構成されうる。グラフィカル表現に向けられた少なくとも1つのコマンドは、少なくとも1つのコマンドに基づいてサウンドトランスデューサアレイの1つまたは複数のサウンドプロジェクションパターンを修正するために検出されうる。少なくとも1つのコマンドは、多数のタップすることと、1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、多数のサウンドプロジェクションパターンをグルーピングすることとを含むジェスチャである。
[0014]1つまたは複数のサウンドプロジェクションパターンを表示することは、1つまたは複数のプロジェクションパターンの特性に基づいて1つまたは複数のプロジェクションパターンのグラフィカル表現を生成することを含みうる。特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを含む。グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの特性に比例したスケールであり得、スケールは、少なくとも1つのサウンドプロジェクションパターンの特性との一対一対応を含む。
[0015]1つの態様に従って、グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの各々に対応するカラースキームを含み得、カラースキームは、カラー空間に対する特性のマッピングを含む。
[0016]別の態様に従って、少なくとも1つのプロセッサは、物理空間についてサウンドトランスデューサアレイのロケーションを決定することとロケーションに基づくグラフィカル表現の原点を生成することとを行うようにさらに構成されうる。更に、少なくとも1つのプロセッサは、物理空間についてサウンドトランスデューサアレイの方位を決定することと、方位に基づくグラフィカル表現上での基準が生成されるように方位ベクトルを生成することとを行うように構成されうる。サウンドトランスデューサアレイの方位は、サウンドトランスデューサアレイに関して相対的でありうる。
[0017]1つの態様に従って、サウンドトランスデューサアレイは、多数のマイクロフォンを含み、多数のマイクロフォンは、車内に位置される。サウンドトランスデューサアレイは、多数のスピーカをさらに含み、多数のスピーカは、車内に位置される。
[0018]1つの態様に従って、少なくとも1つのコマンドを検出するための、少なくとも1つのプロセッサは、物理空間でユーザのインタラクションを検出することと、ユーザによる所望の動作を決定するインタラクションを復号することとを行うようにさらに構成されうる。所望の動作は、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を隠すことを含みうる。1つまたは複数のサウンドプロジェクションパターンが修正された後、物理空間上の1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が更新されうる。
[0019]1つの態様に従って、少なくとも1つのプロセッサは、ユーザに、所望の動作を選択させることを可能にするために、物理空間上にユーザインターフェースを表示することを行うようにさらに構成されうる。所望の動作は、それへの第2の動作のアプリケーションのための1つまたは複数のサウンドプロジェクションパターンを選択すること、または1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することをさらに含みうる。グラフィカル表現は、1つまたは複数の仮想グルーピングの例示を含み、例示は、1つまたは複数の仮想レイヤを含み、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0020]1つの態様に従って、少なくとも1つのプロセッサは、物理空間でのユーザの第2のインタラクションを復号することと、ユーザによる第2の所望の動作を復号することを行うようにさらに構成され、第2の所望の動作は、1つまたは複数の仮想グルーピングに適用される。
[0021]第3の例は、サウンドフィールドを制御するための物理空間との通信におけるサウンドトランスデューサアレイを提供する。サウンドトランスデューサアレイは、サウンドトランスデューサアレイに関連した1つまたは複数のプロジェクションパターングラフィカル表現を、物理空間上で、表示するための手段を含み得、サウンドトランスデューサアレイは、物理空間と通信する。物理空間は、例えば、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイを含みうる。
[0022]サウンドトランスデューサアレイは、グラフィカル表現に向けられた少なくとも1つのコマンドを検出するための手段と、少なくとも1つのコマンドに基づいてサウンドトランスデューサアレイの1つまたは複数のサウンドプロジェクションパターンを修正するための手段とをさらに含みうる。少なくとも1つのコマンドは、多数のタップすることと、1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するmたえに1つまたは複数のプロジェクションパターンのうちの複数のサウンドプロジェクションパターンを共にグルーピングすることとを含むジェスチャである。
[0023]1つまたは複数のサウンドプロジェクションパターンを表示するために、サウンドトランスデューサアレイは、1つまたは複数のサウンドプロジェクションパターンの特性に基づいて1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を生成するための手段を含みうる。特性は、ビーム幅、方向、原点(origin)、周波数範囲、信号対雑音比、1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを含む。グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの特性に比例したスケールであり得、スケールは、少なくとも1つのサウンドプロジェクションパターンの特性との一対一対応を含む。
[0024]1つの態様に従って、グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの各々に対応するカラースキームを含み得、カラースキームは、カラー空間に対する特性のマッピングを含む。
[0025]別の態様に従って、サウンドトランスデューサアレイは、物理空間についてサウンドトランスデューサアレイのロケーションを決定するための手段と、生成されたロケーションに基づいてグラフィカル表現の原点を生成するための手段とをさらに含みうる。更に、サウンドトランスデューサアレイは、物理空間についてサウンドトランスデューサアレイの方位を決定するための手段と、方位に基づいてグラフィカル表現上での基準が生成されたとして方位ベクトルを生成するための手段とをさらに含みうる。サウンドトランスデューサアレイの方位は、サウンドトランスデューサアレイに関して相対的でありうる。
[0026]1つの態様に従って、サウンドトランスデューサアレイは、多数のマイクロフォンを含み、多数のマイクロフォンは、車内に位置される。サウンドトランスデューサアレイは、多数のスピーカをさらに含み、多数のスピーカは、車内に位置される。
[0027]1つの態様に従って、少なくとも1つのコマンドを検出することは、物理空間でユーザのインタラクションを検出することと、ユーザによる所望の動作を決定するインタラクションを復号することとを含みうる。所望の動作は、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を隠すことを含みうる。さらに、サウンドトランスデューサアレイは、1つまたは複数のサウンドプロジェクションパターンが修正された後、物理空間上の1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を更新するための手段とを含みうる。
[0028]1つの態様に従って、サウンドトランスデューサアレイは、ユーザに、所望の動作を選択させることを可能にするために、物理空間上に表示するための手段をさらに含みうる。所望の動作は、それへの第2の動作のアプリケーションのための1つまたは複数のサウンドプロジェクションパターンを選択すること、または1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することをさらに含みうる。グラフィカル表現は、1つまたは複数の仮想グルーピングの例示を含み、例示は、1つまたは複数の仮想レイヤを含み、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0029]1つの態様に従って、サウンドトランスデューサアレイは、物理空間でのユーザの第2のインタラクションを復号するための手段と、ユーザによる第2の所望の動作を復号するための手段とをさらに含み、第2の所望の動作は、1つまたは複数の仮想グルーピングに適用される。
[0030]第4の例は、少なくとも1つのプロセッサによって実行された時、少なくとも1つのプロセッサに、サウンドトランスデューサアレイに関連した1つまたは複数のプロジェクションパターングラフィカル表現を、物理空間上で、表示することを行わせる、サウンドフィールドを制御するための1つまたは複数の命令を含み、サウンドトランスデューサアレイは、物理空間と通信する、コンピュータ可読記憶媒体を提供する。物理空間は、例えば、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイを含みうる。
[0031]一旦、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が表示されると、少なくとも1つのプロセッサは、グラフィカル表現に向けられた少なくとも1つのコマンドを検出するようにさらに構成されうる。グラフィカル表現に向けられた少なくとも1つのコマンドは、少なくとも1つのコマンドに基づいてサウンドトランスデューサアレイの1つまたは複数のサウンドプロジェクションパターンを修正するために検出されうる。少なくとも1つのコマンドは、多数のタップすることと、1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、多数のサウンドプロジェクションパターンをグルーピングすることとを含むジェスチャである。
[0032]少なくとも1つのプロセッサによって実行されると、サウンドフィールドを制御するための1つまたは複数の命令を含む、コンピュータ可読記憶媒体は、少なくとも1つのプロセッサに、グラフィカル表現に向けられた少なくとも1つのコマンドを検出ことと、少なくとも1つのコマンドに基づいてサウンドトランスデューサアレイの1つまたは複数のサウンドプロジェクションパターンを修正することと、物理空間上の1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を更新することとをさらに行わせうる。
[0033]1つの実施形態に従って、コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、1つまたは複数のサウンドプロジェクションパターンを表示するとき、1つまたは複数のサウンドプロジェクションパターンの特性に基づいて1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を生成することを行わせる、1つまたは複数の命令をさらに含む。
[0034]1つの実施形態に従って、コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、理空間についてサウンドトランスデューサアレイのロケーションを決定することと、ロケーションに基づいてグラフィカル表現の原点を生成することを行わせる、1つまたは複数の命令をさらに含む。
[0035]1つの実施形態に従って、コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、物理空間についてサウンドトランスデューサアレイの方位を決定することと、方位に基づくグラフィカル表現上での基準としての方位ベクトルを生成することとを行わせる1つまたは複数の命令をさらに含む。
[0036]1つの態様に従って、サウンドトランスデューサアレイは、多数のマイクロフォンを含み、多数のマイクロフォンは、車内に位置される。サウンドトランスデューサアレイは、多数のスピーカをさらに含み、多数のスピーカは、車内に位置される。
[0037]1つの実施形態に従って、コンピュータ可読記憶媒体は、少なくとも1つのコマンドを検出するための少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、物理空間でユーザのインタラクションを検出することと、ユーザによる所望の動作を決定するインタラクションを復号することとを行わせる1つまたは複数の命令をさらに含みうる。所望の動作は、1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を隠すことを含みうる。
[0038]1つの実施形態に従って、コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって実行された時、少なくとも1つのプロセッサに、物理空間でのユーザの第2のインタラクションを復号することと、ユーザによる第2の所望の動作を復号することとを行わせる少なくとも1つのプロセッサをさらに含み、第2の所望の動作は、1つまたは複数の仮想グルーピングに適用される。
[0039]様々な特徴、性質、および利点は、同様の参照符号が全体にわたって相応に同一視される図面と併せて考慮された場合、以下で示される詳細な説明から明らかになるであろう。
図1は、サウンドトランスデューサアレイを使用する典型的なシステムの例を例示する。 図2は、サウンドトランスデューサアレイと、タッチセンシティブスクリーンを有するデバイスとを含むシステムを例示する。 図3は、音声通信用のプライバシーゾーンを作り出すために利用されるようなアレイの例を例示する。 図4は、アレイを使用した空間化(spatialized)車両ナビゲーションシステムの例を例示する。 図5は、サラウンドサウンド経験のためにアレイを利用することの例を例示する。 図6は、互いに干渉することなく異なる方向に一斉に多数のオーディオプログラムを配信するためのアレイを利用することの例を例示する。 図7は、一実施形態に係る、物理空間においてサウンドフィールドを表現することの例を例示する。 図8は、サウンドフィールドがシンボル的に矢印で表現されるサウンドフィールド視覚化システムの例を例示する。 図9は、一実施形態に係る、サウンドトランスデューサアレイが、話している個人(individual)に向けられていないことを示すサウンドフィールド視覚化画像を物理空間において表現することの例を例示する。 図10は、テーブル上に矢印として例示されるドラッギングコマンドを示す図9のタッチ面使用可能テーブル(touch surface-enabled table)を例示する。 図11は、アップデートされたサウンドフィールド視覚化画像として視覚化されている、アレイの調整されたサウンドフィールドを例示しており、それは、アレイが、上記個人からサウンドを受信するように現在適切に向けられていることを参加者に示す。 図12は、サウンドフィールド視覚化および制御システムのブロック図を例示する。 図13は、ユーザが、距離が互いに離れている2人の隣接した話者からのサウンドのピックアップを制御する必要のありうる通信会議システムまたはサウンドステージシナリオを例示する。 図14は、音声がアレイからのピックアップビームの重要な焦点(major focus)である極めて重要な話者(「VIP」:very important talker)を有する図8のタッチ面使用可能テーブルを例示する。 図15は、一実施形態に係る、物理空間においてサウンドフィールドを表現するための概略方法のフローチャートを例示する。 図16は、いくつかの実装が使用しうるサウンドトランスデューサアレイの例を例示する。 図17は、いくつかの実装が使用しうるデバイスの例を例示する。 図18は、一実施形態に係る、1つまたは複数のタブレットを利用して物理空間においてサウンドフィールドを表現および制御するためのシステムを例示する。 図19Aは、サウンドトランスデューサアレイおよびいくつかのデバイスを含むシステムを例示する。 図19Bは、サウンドトランスデューサアレイおよびいくつかのデバイスを含む別のシステムを例示する。 図19Cは、サウンドトランスデューサアレイ、中央モバイルデバイス、およびいくつかのデバイスを含む別のシステムを例示する。
[0061]以下の説明では、本開示の様々な態様の完全な理解を与えるために、特定の詳細が示される。しかしながら、これらの態様がこれらの特定の詳細なしで実施されうることは、当業者によって理解されるであろう。例えば、不必要な詳細でこれら態様をあいまいにしないために、回路がブロック図で示されうる。他の事例では、周知の回路、構造、および技法は、本開示の態様をあいまいにしないために、詳細には示されない可能性がある。
[0062]図1は、サウンドトランスデューサアレイを使用する典型的なシステムの例を例示する。示されるように、システムは、会議用テーブル101上に位置するサウンドトランスデューサアレイ100を含む。サウンドトランスデューサアレイ100は、異なる方向からのサウンド(または、オーディオ)をキャプチャするように配列された、いくつかのマイクロフォン/スピーカを含む。例として、4人の個人104−110が会議用テーブルの周りに位置しうる。1人の個人106が話しており、このサウンドは、サウンドトランスデューサアレイ100によってキャプチャされる。しかしながら、キャプチャされたサウンドのサウンドフィールドは、シンボル的にも視覚的にも会議用テーブル上に表現されていない。その結果、サウンドトランスデューサアレイ100が、話している個人106に集中している(focus)ことおよび/またはサウンドをキャプチャしていることの確証はない。
[0063]物理空間(例えば、物理的サーフェス)においてサウンドフィールドを制御するための方法および装置の様々な態様が、サウンドトランスデューサアレイ(本明細書では「サウンドトランスデューサアレイ」、「トランスデューサアレイ」、または単純に「アレイ」と呼ばれる)をタッチ面使用可能ディスプレイテーブルとともに含むシステムで具現化されているものとして本明細書で説明される。アレイは、トランスデューサのグループ(多数のスピーカおよび/またはマイクロフォン)を含みうる。アレイは、サウンド再生(アレイが多数のスピーカを含む構成では)、またはサウンドピックアップ(アレイが多数のマイクロフォンを含む構成では)が、特定の方向に集中した空間パターンを、他の方向からの妨害を減らすと同時に有するように、トランスデューサのグループについて信号の空間処理を行うように構成されうる。
[0064]1つの実施形態に従って、サウンドフィールドを制御することを直感的および触知可能な態様を提供すると、ユーザエクスペリエンスおよび制御の効率は、非常に向上されうる。1つのアプローチでは、現代のタッチ面を使用可能なディスプレイテーブルは、可視化された仮想サウンドフィールドまたはサウンドプロジェクションパターンを投影するために使用されうる。タッチ面を使用可能なディスプレイテーブルは、画像を表示することもユーザからのタッチ入力を検出することも両方とも行うことができるテーブル面を有する。したがって、ユーザは、リアルタイムでまたはほぼリアルタイムで視覚フィードバックを受け取ると同時に、タッチ面とインタラクトすることによって、視覚化されたサウンドフィールドに関連するパラメータを直接的かつ直観的に調整しうる。可能なインタラクション様式は、ユーザがタッチ面上の1つまたは複数のコマンドを実行することと、タッチ面上のディスプレイの変化から受信した視覚フィードバックにしたがってこれらのコマンドを調整することとを含む。
[0065]図2は、サウンドトランスデューサアレイと、タッチセンシティブスクリーンを有するデバイスとを含むシステムを例示する。図2に示されるように、システムは、サウンドトランスデューサアレイ200およびデバイス201を含みうる。
[0066]いくつかの実装では、サウンドトランスデューサアレイ200は、少なくとも1つのプロセッサ、メモリ、いくつかのマイクロフォンおよびスピーカ、少なくとも1つのトランシーバ、いくつかの誘導性素子(inductive element)、コンパス、少なくとも1つの通信インターフェース、ならびに少なくとも1つの識別情報マーカを含みうる。サウンドトランスデューサアレイ200のマイクロフォンおよびスピーカは、異なる方向からのサウンド、オーディオ、またはマイクロフォンビームをキャプチャし、それぞれ、物理空間において表示されるスピーカビームを送信するように配列されうる。例えば、マイクロフォンおよびスピーカは、線形に、円形で、またはその他の配列で配列されうる。サウンドトランスデューサアレイ200は、通信インターフェースおよび少なくとも1つのトランシーバを使用することによってデバイス201と通信しうる。いくつかの実装では、トランシーバは、サウンドトランスデューサアレイ200とデバイス201との間にワイヤレス通信リンク(データを受信および送信するための)を提供する。異なる実装は、サウンドトランスデューサアレイ200とデバイス201との間の通信するために異なる通信プロトコルを使用しうる。通信プロトコルの例には、近接場通信(NFC)、Wi−Fi、ブルートゥース(Bluetooth(登録商標))、ZigBee(登録商標)、デジタルリビングネットワークアライアンス(DLNA)、およびエアプレイが含まれる。
[0067]いくつかの実装では、コンパスは、サウンドトランスデューサアレイ200がその方位を決定する方法を提供する。方位情報は、いくつかの実装において、サウンドトランスデューサアレイの位置および/または方位を決定するために、内部で使用されうるか、他のデバイス(例えば、デバイス201)に渡されうる。誘導性素子もまた、サウンドトランスデューサアレイの位置および/または方位を決定するために使用されうる。例えば、誘導性素子は、タッチセンシティブスクリーン上でサウンドトランスデューサアレイの位置および方位を決定するために、デバイス(例えば、デバイス201)によって使用されうる。識別情報マーカはまた、マイクロフォンおよびスピーカの位置および/または方位を決定するために使用されうる。
[0068]上の説明は、サウンドトランスデューサアレイの可能性のある構成要素/要素の概略である。サウンドトランスデューサアレイの構成要素/要素についてのより詳細な説明は、図16を参照して以下にさらに説明されるだろう。
[0069]さらに、図2に示されるように、デバイス201は、タッチセンシティブスクリーン202を含みうる。タッチセンシティブスクリーン202は、サウンドの触知可能な制御を提供するために使用されうる。タッチセンシティブスクリーン202は、ユーザの動き(例えば、タッチスクリーン上の指の動き)を感知およびキャプチャするためにも使用されうる。いくつかの実装では、デバイス201およびタッチセンシティブスクリーン202は、サーフェステーブル(surface table)内に含まれうる。
[0070]タッチセンシティブスクリーン202に加えて、デバイス201は、また、少なくとも1つのプロセッサ、メモリ、少なくとも1つのトランシーバ、および少なくとも1つの通信インターフェースを含みうる。いくつかの実装では、上の構成要素は、デバイス201が、サウンドトランスデューサアレイ200、ローカルおよびリモートコンピュータ、ワイヤレスデバイス(例えば、電話)、ポータブルコンピュータデバイス(例えば、タブレット)と通信することを可能にする。デバイス201の構成要素/要素は、図17を参照して以下でさらに説明されるだろう。
[0071]物理空間においてサウンドフィールドを表現および制御するためのシステムの様々なデバイスおよび構成要素の概略を提供したので、以降、これらのデバイスがそのようなシステムでどのように使用されるかについての詳細な説明が説明されるだろう。アレイについてのいくつかの例となるユースケースが、図3−6を参照して説明される。これらのユースケースは、会議用テーブルのようなサーフェステーブル上に、あるいは、iPad(登録商標)のような、1つまたは複数のタブレット上に表示され得、ここで、各個人は別個のタブレットを有する。複数の個人の各々がタブレットを利用するシステムは、図18を参照して以下でさらに説明される。
[0072]図3は、音声通信用のプライバシーゾーンを作り出すために利用されるアレイの例を例示する。示されるように、リスナは、「明るい」ゾーン内におり、4人の潜在的な盗聴者(eavesdropper)が「暗い」ゾーン内に位置している。これらのゾーンは物理空間上に例示され、これにより、この物理空間(例えば、会議用テーブル)の周りに座っている複数の個人は、「明るい」ゾーンを表すパターンと1つまたは複数の「暗い」ゾーンを表すパターンとを視覚化することができる。「明るい」ゾーン内の一個人が対象サウンドを聞きうる間、「暗い」ゾーン内の一個人(または複数の個人)は、明るいゾーンにおけるサウンドのミュートバージョンを聞くか、または、明るいゾーンにおけるサウンドの認識不可能なバージョンを聞きうる。認識不可能なバージョンのサウンドは、明るいゾーンにおけるサウンドのマスクされたバージョンでありうる。ビームフォーミング技法または他の空間オーディオ技法が、明るいゾーンおよび暗いゾーンを形成する際に適用されうる。これらの技法についてのさらなる説明は、2012年10月31日に出願された「Systems, Methods, and Apparatus for Producing a Directional Sound Field」と題する米国実用特許出願第13/665592号(代理人管理番号112639)で見つけられうる。明るいゾーンおよび暗いゾーンの表現は、また、サウンドがサウンドトランスデューサアレイ内のスピーカから発散しているときに視覚的に表示されうる。そのような実施形態では、例示されるリスナは、音声通信呼中であり得、潜在的な盗聴者がリスナの会話を聞くことを阻止するためにサウンドトランスデューサアレイを使用している可能性がある。例えば、明るいおよび暗いゾーンパターンの表示が本明細書でさらに説明されるように、サーフェステーブル上にありうる。
[0073]音声通信のためのプライバシーゾーンの異なる変形例は、上述されたプライバシーゾーンを作り出すのと同様の技法を使用することであるが、リスナおよび盗聴者は、例えば、図6に示されるように、全員異なるプログラムを聞いている。そのような変形例では、物理空間上に例示されるパターンは、各々、プログラムを表すパターンでありうる。異なる構成では、例示されるパターンは、また、プログラムを聞くためのプライバシーゾーンを表しうる。例えば、物理空間の周りの各人物(person)は、異なるサウンドレコーディングまたはサウンドストリーム(例えば、3つのラジオ局)を聞いている可能性がある。明るいゾーンおよび暗いゾーンは、人物ごとに個人化されうる(individualized)。1つの可能性のある実装は、例えば、3人の人物がいる場合、3つのプライバシーゾーンをオーバレイし、これら3つのプライバシーゾーンの各々の表現を、1つの物理空間において表示することである。したがって、各人物は、事実上、他の人物に対して彼ら自身のプライバシーゾーンを有する。
[0074]図4は、アレイを使用した空間化車両ナビゲーションシステムの例を例示する。この例では、進路を指示する音声コマンドの各々のサウンドは、リスナが曲がるべき方向から発生しているように見受けられうる。
[0075]図5は、サラウンドサウンド経験のためにアレイを利用することの例を例示する。
[0076]図6は、互いに干渉することなく異なる方向に一斉に多数のオーディオプログラムを配信するためのアレイを利用することの例を例示する。
[0077]上の使用例を実装するためのアレイについての信号の空間処理は、制御ソフトウェアによって提供されうる。ユーザは、サウンドフィールド生成およびピックアップパターン調整を構成および制御するために従来の「キーボードとマウス」インターフェースを使用して制御ソフトウェアとインタラクトしうるが、従来のインターフェースは、依然として、サウンドフィールドを制御する際に抽象的なアプローチしか提供しない。さらに、このインターフェースは、サウンドが生じたのと同じロケーションにある必要がある。
[0078]図7は、一実施形態に係る、物理空間においてサウンドフィールドを表現することの例を例示する。このシステムでは、サウンドトランスデューサアレイによってキャプチャされたサウンドのグラフィカル表現が、サウンドフィールドの物理空間において並置されうる。グラフィカル表現は、サウンドプロジェクションパターン(例えば、1つまたは複数の物理波フィールド)の形式でありうる。
[0079]示されるように、このシステムは、サウンドトランスデューサアレイ700およびデバイス701を含みうる。いくつかの実装では、デバイス701は、テーブルの一部でありうる。サウンドトランスデューサアレイ700は、異なる方向からのサウンド/オーディオをキャプチャするように配列された、いくつかのマイクロフォン/スピーカを含みうる。マイクロフォンは、線形に、円形で、またはその他の配列で配列されうる。デバイス701は、タッチセンシティブスクリーン702を含みうる。タッチセンシティブスクリーン702は、キャプチャされたサウンドのサウンドフィールドのグラフィカル表現を物理空間において表示するためのものでありうる。サウンドに関する予備情報もまた、タグ付けされたアレイのまわりに、テキストでまたはチャートで表示されることができる。サウンドを何か変える必要がある場合、タッチスクリーンは、個人(または、ユーザ)がサウンドを修正することを許可する何らかの制御を提供することができる。
[0080]サウンドトランスデューサアレイ700は、特定の通信プロトコルを使用する少なくとも1つのワイヤレス通信リンクを使用してデバイス701と通信しうる。通信プロトコルの例には、近接場通信(NFC)、Wi−Fi、ブルートゥース、ZigBee、デジタルリビングネットワークアライアンス(DLNA)、およびエアプレイが含まれる。
[0081]さらに、図7は、タッチセンシティブスクリーン702を有するデバイス701を会議テーブルの一部として例示し、そのテーブルの周りには、ミーティング/会議に参加している4人の個人704−701が座っている。図7に示されるように、サウンドトランスデューサアレイ700は、デバイス701のスクリーン702の上に配置されうる。
[0082]サウンドトランスデューサアレイ700から、マイクロフォンおよびスピーカについての実際のフィルタ情報が入手可能である。この情報から、3D空間におけるサウンドプロジェクションパターンまたはマイクロフォンピックアップパターン(このケースでは、2Dの水平空間が情報の大半を含む)が算出されうる。この情報は、上述されたような、ブルートゥース、近接場通信、DLNA、等のワイヤレスプロトコルを介してサーフェステーブルに送信されうる。この情報を用いて、様々なコンピュータグラフィカル視覚化が生成されうる。一般のグラフィックスは、2D音圧(sound pressure)またはその際立たせたバージョンと一致する2Dグラフィックスでありうる。グラフィックスのオリジナルは、サウンドトランスデューサアレイ700の中心にアンカーされ得、それが動くとシフトしうる。いくつかの実装では、超音波/赤外線/音波パルスが、サウンドトランスデューサアレイ700の位置を決定するために使用されうる。他の実装では、サウンドトランスデューサアレイ700は、近接場通信(NFC)タグを含み得、これは、デバイス701が、サウンドトランスデューサアレイ700の位置を決定することを可能にする。このように、サウンドトランスデューサアレイの表現(すなわち、シンボル化および表現)は、空間において実際のサウンドフィールドと配列されうる。
[0083]図8は、サウンドフィールドが矢印でシンボル的に表現されるサウンドフィールド視覚化システムの例を例示する。矢印は、サウンドトランスデューサアレイ700から、キャプチャされたサウンドの発生ロケーションに延びうる。
[0084]図9は、一実施形態に係る、サウンドトランスデューサアレイが、話している個人に向けられていないことを示すサウンドフィールド視覚化画像を物理空間において表現することの例を例示する。
[0085]サウンドフィールド生成およびピックアップパターンとインタラクトする際に、より直観的および直接的なアプローチを提供するために、個人(またはユーザ)が直接「サウンドにタッチすること」を可能にするシステムが本明細書で説明される。開示されるアプローチの一態様では、図9に例示されているタッチ面使用可能テーブル920は、タッチスクリーンディスプレイ面(「テーブル面(table surface)」)922上にタッチスクリーンインターフェースおよび他のセンサを含みうる。サウンドトランスデューサアレイ(「アレイ」)930のような、タグ付けされたオブジェクトが、テーブル920の上にまたは近くに配置されうる。図9で説明される例は、通信会議に参加しており、会議用テーブルのようなタッチ面使用可能テーブル920の周りに位置している4人の個人902、904、906、および908を含む。一個人906が話しており、その個人からのサウンドがアレイ930によってキャプチャされている。
[0086]アレイ930は、異なる方向からの/へのサウンド(またはオーディオ)をキャプチャ/生成するように配列されたいくつかのマイクロフォン/スピーカを含みうる。マイクロフォンは、線形に、円形で、またはその他の配列で配列されうる。これらのオブジェクトについての情報およびグラフィックスがテーブル920上に表示されうる。例例えば、空間処理パラメータ(「サイドローブ除去:20dB」および「ビーム幅:15度」と例示されている)、話している人の識別情報(「スピーカ:ハイディ」と例示されている)、および時間情報(「ミーティング残り時間:20分」と例示されている)のような、通信会議に関するパラメータを描写するグラフィカル情報要素950がテーブル面922上に表示されうる。
[0087]加えて、アレイ930のようなサウンドデバイスであるタグ付けされたオブジェクトの場合、サウンド放射のグラフィカル表現および/またはマイクロフォンピックアップパターンはそれらの近くで視覚化されうる。いくつかの実装では、超音波/赤外線/音波パルスが、アレイ930の位置を決定するために使用される。他の実装では、アレイ930は、近接場通信(NFC)タグを含み得、これは、テーブル920が、アレイ930の位置および相対的な方位を決定することを可能にする。このように、アレイ930に関する任意のサウンドプロジェクションパターンの表現(すなわち、シンボル化および表現)は、関連性のある実際のサウンドフィールドと空間的に配列されうる。例えば、サウンドプロジェクションパターン(または、フィールド視覚化画像)952が、キャプチャされたサウンドのサウンドフィールドの表現のために、テーブル面922上に表示されうる。サウンドフィールド視覚化画像952は、アレイ930が、話している個人906に集中していることおよび/またはサウンドをキャプチャしていることの視覚的な確証を提供しうる。図9で見受けられうるように、サウンドフィールド視覚化画像952は、アレイ930が、話している個人906に―そうされるべきであったとしても―向けられていない参加者を視覚的に示しうる。
[0088]開示されるアプローチの一態様では、タッチスクリーン制御ソフトウェアが、アレイ930の空間処理特性を修正するために使用されうる。タッチスクリーン制御ソフトウェアは、サウンドフィールド視覚化および制御システム(「サウンドフィールドシステム」)1200の一部として実装され、この一例が図12に描写される。サウンドフィールドシステム1200において、アレイ930は、様々な通信技術を使用する任意の数のワイヤレス通信リンク1290を使用してテーブル920と通信しうる。
[0089]アレイ930から、そこに含まれるマイクロフォンおよびスピーカについての実際のフィルタ情報が入手可能である。この情報から、3次元(3D)空間(このケースでは、テーブル面922に対して水平な2次元(2D)平面が情報の大半を含む)におけるサウンドプロジェクションパターンまたはマイクロフォンピックアップパターンが決定されうる。この情報は、ワイヤレス通信リンク1290を介してサーフェステーブルに送信されうる。テーブル面922が、サウンドプロジェクションパターンの挙動の視覚的な相対物(「グラフィック視覚化」1222と示される)を表示すると同時に、テーブル920は、マルチタッチおよび他のコマンドセンサ(「マルチタッチコマンド1224」と例示される)を有する触知可能なインターフェースとしても機能しうる。
[0090]一実施形態によれば、ユーザインターフェースは、個人(または、ユーザ)が、所望の動作を選択することを可能にするために、物理空間上に表示されうる。この所望の動作は、1つまたは複数のサウンドプロジェクションパターンを、それへの第2の動作の適用のために選択すること、または、1つまたは複数のサウンドプロジェクションパターンからなる1つまたは複数の仮想グルーピングを作り出すことを含みうる。グラフィカル表現は、1つまたは複数の仮想グルーピングの例示を含み得、この例示は、1つまたは複数の仮想レイヤを含み得、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0091]個人(または、ユーザ)は、リアルタイムでまたはほぼリアルタイムで視覚フィードバックを受け取ると同時に、タッチ面とインタラクトすることによって、視覚化されたサウンドプロジェクションパターンに関連するパラメータを直接的かつ直観的に調整しうる。可能性のあるインタラクション様式は、個人がタッチ面上で1つまたは複数のコマンドを実行することを含みうる。コマンドは、サウンドトランスデューサアレイに関連付けられた1つまたは複数のサウンドプロジェクションパターン(例えば、1つまたは複数の物理波フィールド)のグラフィカル表現を操作するために使用されうる。コマンドは、テキストの形式であり得、キーボード、マウス、ボタン、バー、メニュー、またはソフトウェアにおけるそれらの相対物からの通信である。コマンドはまた、タッチ面上のディスプレイの変化から受け取った視覚フィードバックに基づいて調整されることができるジェスチャでありうる。ジェスチャは、コンピュータマウスの代わりに、個人の指を用いて行われうる。ジェスチャには、多数の(2重または3重の)タッピングによってサウンドプロジェクションパターンを選択すること、そのパターンの周りに2回以上円を描くこと、異なるビームを異なる仮想レイヤに送ること、1つまたは複数のビームを一時的に隠すこと、1つまたは複数のビームを選択すること、多数のサウンドプロジェクションパターンをまとめてグルーピングしてグループ方式でそれらを操作すること、および/または、ビームまたはグルーピングが調節および強調されうるようになるために、ビームまたはグルーピングが選択された時点での追加のグラフィック効果のアプリケーションを操作すること、が含まれうるがそれらに限られるわけではない。
[0092]図9の例に戻り、グラフィック視覚化1222は、アレイ930から受け取られる情報(「サウンド入力および出力パターン、サイド情報1232」として例示される)を用いて生成されうる。一般のグラフィックスは、2D音圧またはその際立たせたバージョンと一致する2Dグラフィックを含みうる。図9に例示される例では、サウンドフィールド視覚化画像952は、キャプチャされたサウンドについての2Dサウンドフィールドを視覚的に表現しうる。開示されるアプローチの一態様では、グラフィックスの原点は、アレイ930の中心にアンカーされ得、アレイ930が動くとシフトしうる。
[0093]図9で示されるように、サウンドフィールド視覚化画像952は、アレイ930が、たとえそれが向けられるべきであっても、話している個人906に向けられていないことを参加者に視覚的に示し、参加者のいずれか1人は、アレイ930のサウンドフィールドを個人906の方にリダイレクトするためのジェスチャを行いうる。テーブル面922から受け取ったマルチタッチコマンド1224に基づく情報のような制御情報は、アレイ930の特性(「サウンドフィールド境界線、強度、方向、等」1234と例示される)を変更することによって、アレイ930を制御するために使用されうる。したがって、個人906は、矢印1002で図10に例示されるドラッギングコマンドをテーブル面922上で行い、アレイ930をリダイレクトしうる。図11は、アップデートされたサウンドフィールド視覚化画像1152として視覚化されている、アレイ930の調整されたサウンドフィールドを例示しており、これは、個人906からのサウンドを受信するためにアレイ930が現在適切に向けられていることを参加者に示す。したがって、ユーザは、文字通り「サウンドにタッチすること」を行い、ビームパターンをリダイレクトすること、新しいビームパターンを描くこと、パラメータ値を調整すること、等の動作を行い、サウンドフィールドが操作されていることに伴う視覚的変化を見ることができる。
[0094]図13に例示されている通信会議システムまたはサウンドステージシナリオ1300のような別の例では、ユーザは、互いに距離が離れている2人の隣接した話者1302、1304からのサウンドのピックアップを制御する必要がありうる。隣接した話者1302、1304の間をカバーする距離が広いため、アレイ930からのピックアップビームは、このピックアップビームが、話者1302、1304をカバーするのに十分な幅になるように、しかしながら、背景雑音のようなスプリアスのサウンドをピックアップするほど広くなりすぎないように調整される必要がありうる。面922上に表示されるサウンドフィールド視覚化画像1352によって例示されているように、視覚的にピックアップビームを見ることができるようになると、参加者は、アレイ930からのピックアップビームが狭すぎることを見ることができる。すなわち、ユーザは、設定されるように、アレイ930からのピックアップビームが十分に広くないことを見ることができる。この例では、例えば、2つの手を使用して、ユーザは、矢印1392、1394で例示されているように、テーブル920に対して、アレイ930からのピックアップビームの「拡大」をジェスチャしうる。次に、テーブル920は、ユーザがより広いビームを望むことをアレイ930に通信しうる。アレイ930は、ピックアップビームが話している人に向けられるように自動的に切り替わりうるように、話している人を追跡する。
[0095]アレイ930は、ピックアップビームが話している人に向けられるように自動的に切り替わるように、話している人に追跡しうる。図9の例を参照すると、図14でさらに修正されうるように、音声がアレイ930からのピックアップビームの重要な焦点である極めて重要な話者(「VIP」)1410が存在しうる。そのような状態において、本開示で説明される技術の様々な態様は、ビームがVIP 1410に集中するために、個人902、904、906、および908のような他の個人からの何らかのコンテンツを失うことを犠牲にしうる。この例えは、3重にタッピングすること、または、VIP 1410の方向に円を2回描くことといったジェスチャにより、アレイ930からのピックアップビームは、VIP 1410を追跡するようにロックされ得、アレイ930は、VIP 1410だけを記録しうる。サウンドフィールド視覚化画像1452は、アレイ930からのピックアップビームの現在の方向を関係者に示すためにテーブル面922上に表示され得、ロックアイコン1454も、それに加え他の視覚インジケーションもまた、ピックアップビームがロックモードであることを示すためにテーブル面922上に出現しうる。ユーザは、アレイ930が話している人をビームフォーミングすることおよび/または追跡することを続けることができるように、ピックアップビームをアンロックするために別のジェスチャを使用しうる。
[0096]本明細書で説明される様々な態様はまた、タブレットまたは他のタッチスクリーンデバイスに拡張され得、ここで、アレイもまた、タブレットデバイス上に、タグ付けされ表現されうる。例えば、多くの参加者は、各々、テーブル920とともにシステムの一部として含まれうるサウンドトランスデューサアレイに関連付けられたタブレットデバイスを有しうる。
[0097]物理空間においてサウンドフィールドを表現するためのシステムの様々なデバイスおよび構成要素の概略を提供したので、これらのデバイスがそのようなシステムでどのように使用されるかについての詳細な説明が説明されることになる。
[0098]図15は、一実施形態に係る、サウンドの触知可能な制御を提供するための概略な方法のフローチャートを例示する。サウンドはリアルタイムまたはほぼリアルタイムで制御され、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。物理的サーフェスは、例えば、ディスプレイスクリーン、タッチセンシティブスクリーン、タッチセンシングサーフェス、またはタブレットディスプレイでありうる。
[0099]図15において示されるように、トランスデューサアレイに関連する1つまたは複数のプロジェクションパターンのグラフィカル表現は、物理的サーフェス上に表示され、ここで、トランスデューサアレイは、物理空間と通信している1502。1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの特性に基づいて生成されうる。特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、1つまたは複数のサウンドプロジェクションパターンの受信機または生成器のタイプのうちの少なくとも1つを備えうる。グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの特性に比例したスケールであり得、スケールは、少なくとも1つのサウンドプロジェクションパターンの特性との一対一対応を備える。1つの態様に従って、グラフィカル表現は、1つまたは複数のサウンドプロジェクションパターンの各々に対応するカラースキームを備え得、カラースキームは、カラー空間に対する特性のマッピングを備える。
[0100]一旦、トランスデューサアレイに関連する1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現が物理空間上に表示されると、グラフィカル表現に向けられた少なくとも1つのコマンドは、検出される1504。以上で説明されるように、少なくとも1つのコマンドは、ジェスチャであり、ジェスチャは、多数回タップすることと、1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために1つまたは複数のサウンドプロジェクションパターンのうちの多数のサウンドプロジェクションパターンを共にグルーピングすることとを含むことができる。
[0101]1つの実施形態に従って、少なくとも1つのコマンドを検出することは、物理空間でユーザのインタラクションを検出することと、ユーザによる所望の動作を決定するインタラクションを復号することとを備えうる。所望の動作は、1つまたは複数のサウンドプロジェクションパターン(例えば、物理的波動フィールド)のグラフィカル表現を隠すことを備えうる。更に、ユーザインターフェースは、ユーザに、所望の動作を選択させることを可能にするために、物理空間上に表示されうる;所望の動作は、それへの第2の動作のアプリケーションのための1つまたは複数のサウンドプロジェクションパターンを選択すること、または1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することを備えうる。グラフィカル表現は、1つまたは複数の仮想グループの例示を備えうる;例示は、1つまたは複数の仮想レイヤを備え、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0102]1つの実施形態に従って、物理空間でのユーザの第2のインタラクションは、ユーザによる第2の所望の動作とともに復号され、第2の所望の動作は、1つまたは複数の仮想グルーピングに適用される。
[0103]少なくとも1つのコマンドに基づいて、サウンドトランスデューサアレイの1つまたは複数のサウンドプロジェクションパターンは、修正され1506、物理空間上の1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現は、更新されうる1508。
[0104]1つの実施形態に従って、物理空間についてサウンドトランスデューサアレイのロケーションは、ロケーションに基づいてグラフィカル表現の原点を生成するために物理空間について決定されうる。
[0105]1つの実施形態に従って、物理空間についてサウンドトランスデューサアレイの方位は、方位に基づいてグラフィカル表現上での基準としての方位ベクトルを生成するために決定されうる。サウンドトランスデューサアレイに関して相対的でありうる。
[0106]1つの実施形態に従って、サウンドトランスデューサアレイは、多数のマイクロフォンを含み、多数のマイクロフォンは、車内に位置される。サウンドトランスデューサアレイは、多数のスピーカをさらに含み、多数のスピーカは、車内に位置される。
[0107]1つの実施形態に従って、サウンドトランスデューサアレイは組み合されたマイクロフォンとスピーカアレイとを備えうる。代替として、サウンドトランスデューサアレイは、別個のマイクロフォンアレイと、別個のスピーカアレイとを備えうる。マイクロフォンアレイは、第1のカラーで物理空間中に表示されうるマイクロフォンビームをキャプチャし、スピーカアレイは、第2のカラーで物理空間中に表示されるスピーカビームを送信しうる、ここで、第1のカラーは、第2のカラーと異なる。
[0108]図16は、いくつかの実装が使用しうるサウンドトランスデューサアレイの例を例示する。図16に示されるように、サウンドトランスデューサアレイ1600は、少なくとも1つのプロセッサ/処理回路1602、メモリ1604、多数のマイクロフォンおよびスピーカ1606、いくつかの入力デバイス1608、少なくとも1つのトランシーバ1610、少なくとも1つのユーザインターフェースモジュール1612、および少なくとも1つの通信インターフェースモジュール1614を含みうる。
[0109]マイクロフォンおよびスピーカ1606は、サウンドおよび/または音声をキャプチャし、物理空間において表示されるスピーカビームを送信するために使用されうる。入力デバイス1608は、ユーザが、文字通り「サウンドにタッチする」を行い、ビームパターンをリダイレクトすること、新しいビームパターンを描くこと、パラメータ値を調整すること、等の動作を行い、サウンドフィールドが操作されることに伴う視覚的変化を見ることを可能にする。
[0110]トランシーバ1610は、サウンドトランスデューサアレイが、他のデバイス(例えば、電話、コンピュータ、タブレット、サウンドトランスデューサアレイ)からのワイヤレス信号を送信および受信することを可能にしうる。サウンドトランスデューサアレイは、多数のトランシーバを含み得、それは、サウンドトランスデューサアレイが、異なる通信リンクおよび異なる通信プロトコルを使用して異なるデバイスと通信すること(例えば、ワイヤレスに)を可能にする。いくつかの実装では、ユーザインターフェースモジュール1612は、マイクロフォン1606、入力デバイス1608、およびプロセッサ/処理回路1602の間にインターフェースを提供する。ユーザインターフェースモジュール1612は、いくつかのユーザインターフェースモジュール(例えば、各構成要素のためのモジュール)を含みうる。いくつかの実装では、通信インターフェースモジュール1614は、トランシーバ1610と、プロセッサ/処理回路1602との間にインターフェースを提供する。通信インターフェースモジュール1614は、いくつかのインターフェースモジュール(例えば、各トランシーバのためのモジュール)を含みうる。
[0111]図16に示されるように、プロセッサ/処理回路1602は、サウンド検出モジュール/回路1616、位置/方位モジュール/回路1618、サウンド処理モジュール/回路1620、およびコマンドモジュール/回路1622を含みうる。
[0112]サウンド検出モジュール/回路1616は、サウンドを検出およびキャプチャするためのものでありうる。いくつかの実装では、サウンド検出モジュール/回路1616は、マイクロフォン1606からサウンドをキャプチャしうる。位置/方位モジュール/回路1618は、いくつかの実装では、サウンドトランスデューサアレイ1600の位置および/または方位を決定するためのものでありうる。サウンド処理モジュール/回路1620は、マイクロフォン1606によってキャプチャされたサウンドを処理し、キャプチャされたサウンドのサウンドプロジェクションパターンを算出し、物理空間上にグラフィカル表現を表示するためのものでありうる。コマンドモジュール/回路1622は、アレイのサウンドフィールドをリダイレクトするためのマルチタッチコマンド(または、ジェスチャ)に基づいて制御情報を処理するためのものでありうる。サウンドの処理は、キャプチャされたサウンドから個人のサウンドを抽出することを含みうる。サウンドの処理は、いくつかの実装では、話している人のアイデンティティを特定することも含みうる。
[0113]図17は、いくつかの実装が使用しうるデバイスの例を例示する。図17に示されるように、デバイス1700は、少なくとも1つのプロセッサ/処理回路1702、メモリ1704、タッチセンシティブスクリーン1706、いくつかの入力デバイス1708、少なくとも1つのトランシーバ1710、少なくとも1つのユーザインターフェースモジュール1712、および少なくとも1つの通信インターフェースモジュール1714を含みうる。
[0114]タッチセンシティブスクリーン1706は、物理空間においてサウンドフィールドのグラフィカル表現を表示するために使用されうる。タッチセンシティブスクリーン1706は、1つまたは複数のユーザからの入力を受信するためにも使用されうる。入力デバイス1708は、ユーザが、データを入力することおよび/またはデバイスの制御を提供することを可能にする。トランシーバ1710は、デバイスが、他のデバイス(例えば、電話、コンピュータ、タブレット、サウンドトランスデューサアレイ)からのワイヤレス信号を送信および受信することを可能しうる。デバイスは、サウンドトランスデューサアレイが、異なる通信リンクおよび異なる通信プロトコルを使用して異なるデバイスと通信すること(例えば、ワイヤレスに)を可能にする多数のトランシーバを含みうる。いくつかの実装では、ユーザインターフェースモジュール1712は、タッチセンシティブスクリーン1706、入力デバイス1708、およびプロセッサ/処理回路1702の間にインターフェースを提供する。ユーザインターフェースモジュール1712は、いくつかのユーザインターフェースモジュール(例えば、各構成要素のためのモジュール)を含みうる。いくつかの実装では、通信インターフェースモジュール1714は、トランシーバ1710とプロセッサ/処理回路1702との間にインターフェースを提供する。通信インターフェースモジュール1714は、いくつかのインターフェースモジュール(例えば、各トランシーバのためのモジュール)を含みうる。
[0115]図17に示されるように、プロセッサ/処理回路1702は、サウンドトランスデューサアレイとインターフェース接続するためのサウンド検出モジュール/回路1716、サウンドトランスデューサアレイの位置を決定するための位置/方位モジュール/回路1718、サウンド処理モジュール/回路1720、およびコマンドモジュール/回路1722を含みうる。
[0116]サウンド検出モジュール/回路1716は、サウンドトランスデューサアレイとインターフェース接続するためのものでありうる。位置/方位モジュール/回路1718は、いくつかの実装では、サウンドトランスデューサアレイの位置および/または方位を決定するためのものでありうる。サウンド処理モジュール/回路1720は、いくつかの実装では、マイクロフォンによってキャプチャされたサウンドを処理するためのものでありうる。マイクロフォンは、デバイスに結合されたサウンドトランスデューサアレイのマイクロフォンでありうる。サウンドの処理は、キャプチャされたサウンドから個人のサウンドを抽出することを含みうる。サウンドの処理は、いくつかの実装では、話している人のアイデンティティを特定することも含みうる。コマンドモジュール/回路1722は、アレイのサウンドフィールドをリダイレクトするためのマルチタッチジェスチャに基づいて制御情報を処理するためのものでありうる。
[0117]図18は、一実施形態に係る、1つまたは複数のタブレットを利用して物理空間においてサウンドフィールドを表現および制御するためのシステムを例示する。図18に示されるように、3人の個人1800−1806は、各々、互いにまたはハブ1814と直接通信することができるタブレット1808−1812を有しうる。各タブレットは、各タブレット内の内部にまたは各タブレットの外部に位置しうるそれ自体のサウンドトランスデューサアレイ(すなわち、マイクロフォンおよびスピーカ)1809−1813を有しうる。
[0118]図19Aは、追加のデバイスを使用して実装されうる別の構成を例示する。図19Aに示されるように、サウンドトランスデューサアレイ1900は、いくつかのモバイルデバイス1902−1908(例えば、ハンドセット、タブレット)と通信状態にある。これらのモバイルデバイスの各々は、それぞれのユーザ/人物1910−1916に関連付けられうる。モバイルデバイスは、ハンドセット、タブレット、電話、スマートフォン、ポータブル電子デバイス、電子ノートパッド、および/または携帯情報端末(PDA)でありうる。モバイルデバイスは、セルラネットワークおよび/または他の通信ネットワークを介して、他のデバイスと通信することができうる。
[0119]モバイルデバイス1902−1908は、ユーザが、サウンドトランスデューサアレイ1900に「チェックイン」および/または登録する(例えば、マイクロフォンアレイ1900の近くでモバイルデバイスをタップすることによってNFCを使用してチェックインする)ことを可能にしうる。しかしながら、異なる実装は、異なる方法でサウンドトランスデューサアレイ1900に「チェックイン」および/または登録しうる。例えば、モバイルデバイスは、サウンドトランスデューサアレイ1900と通信するために別の通信プロトコルまたは通信リンク(例えば、ブルートゥース、WiFi)を使用しうる。ひとたびユーザ/モバイルデバイスが「チェックイン」または登録されると、モバイルデバイスは、超音波/赤外線/音波パルス(または、他の既知のタグ)を使用してサウンドトランスデューサアレイによって追跡され得、それは、サウンドトランスデューサアレイ1900がモバイルデバイスの位置/ロケーションを継続して知ることを可能にし、これは、結果として、サウンドトランスデューサアレイ1900が、追跡されているモバイルデバイスに関連付けられたユーザの位置/ロケーションを知っていることを意味する。
[0120]各モバイルデバイス1902−1908は、ユーザが、サウンドトランスデューサアレイ1900に対してユーザおよび/またはデバイス(例えば、タブレット)の位置/ロケーションを特定することを可能にするそのそれぞれのスクリーン上にグラフィカルユーザインターフェースを提供しうる。すなわち、ユーザは、モバイルデバイスのスクリーン上にユーザの位置を示し得、それは、次に、サウンドトランスデューサアレイ1900および/または別のデバイス(例えば、デバイス1001)に送信される(例えば、ブルートゥース、WiFiを介して)。モバイルデバイス(例えば、モバイルデバイス1902−1908)のスクリーン上のグラフィカルユーザインターフェースは、また、テキスト(例えば、転写されたキャプチャされた音声)を提供/表示しうる。そのようなテキストは、サウンドトランスデューサアレイ1900からおよび/またはサウンドトランスデューサアレイ1900と通信状態にある別のデバイスから提供/送信されうる。
[0121]サウンドトランスデューサアレイ1900は、テーブル(示されない)上にまたはテーブル内に含まれるデバイスのタッチセンシティブスクリーン(示されない)上に位置しうる。同様に、モバイルデバイス1902−1908は、テーブル上にまたはテーブル内に含まれるデバイスのタッチセンシティブスクリーン上に配置されうる。
[0122]図19Bは、異なるデバイスを使用して実装されうる別の構成を例示する。図19Bは、サウンドトランスデューサアレイ1900がデバイス1920のタッチセンシティブスクリーン1922上に位置していること、および、ユーザの位置が、デバイス1920のタッチセンシティブスクリーン1922上のグラフィカルユーザインターフェース上で指定されていることを除いて図19Aに類似する。図19Bに示されるように、モバイルデバイス1902−1908(例えば、ハンドセット、タブレット)は、サウンドトランスデューサアレイ1900および/またはデバイス1920と通信状態にある(例えば、ブルートゥース、WiFiを使用して)。
[0123]図19Bにさらに示されるように、ユーザは、グラフィカルユーザインターフェース要素の位置/ロケーションを指定することによって、サウンドトランスデューサアレイ1900に対するそれらの位置を指定しうる。図19Bに示されるように、グラフィカルユーザインターフェース上に表示される4つのグラフィカルユーザインターフェース要素1930−1936がスクリーン1922に示されている。各グラフィカルユーザインターフェース要素1930−1936は、特定のユーザおよび/またはモバイルデバイスに関連付けられうる。グラフィカルユーザインターフェース要素は、ユーザインターフェース要素が関連付けられたユーザを特定するテキストまたは画像(例えば、ID、名前、写真)を含みうる。異なる実装は、グラフィカルユーザインターフェース要素を異なった方法で提示しうる。いくつかの実装では、グラフィカルユーザインターフェース要素は、ユーザがスクリーンをタップすることおよび/またはログインすることで提示される。いくつかの実装では、グラフィカルユーザインターフェース要素は、ユーザが、図19Aで上に説明された例示的な方法のうちの1つを使用してサウンドトランスデューサアレイ1900および/またはデバイス1920に「チェックイン」および/または登録する(例えば、サウンドトランスデューサアレイ1900および/またはデバイス1920をタッピングすることによってNFCを使用してチェックインする)とき提示されうる。モバイルデバイス1902−1908がサウンドトランスデューサアレイ1900および/またはデバイス1920と通信状態にあるため、モバイルデバイス1902−1908は、サウンドトランスデューサアレイ1900およびデバイス1920の一方またはそれら両方からデータを受信しうる。そのようなデータは、モバイルデバイス1902−1908のスクリーン上に提示/表示されうる。データの例には、いくつかの実装では、キャプチャされた音声の転写されたテキストが含まれる。
[0124]いくつかの実装では、デバイス1920は、モバイルデバイス(例えば、タブレット、ハンドセット)である。これは、モバイルデバイスのスクリーンサイズが、モバイルデバイスのスクリーン上に配置されるべきサウンドトランスデューサアレイ1900に対して十分に大きい場合に可能でありうる。そのような事例では、モバイルデバイスは、サウンドトランスデューサアレイ1900が配置されている中央モバイルデバイス(例えば、中央タブレット)として機能しうる。図19Cは、中央モバイルデバイス(例えば、中央タブレット)を含む構成の例を例示する。図19Cに示されるように、モバイルデバイス1902−1908(例えば、ハンドセット、タブレット)は、サウンドトランスデューサアレイ1900および/または中央モバイルデバイス1940と通信状態にある(例えば、ブルートゥース、WiFiを使用して)。中央モバイルデバイス1940は、サウンドトランスデューサアレイ1900が配置されうるタッチセンシティブスクリーン1942を含む。いくつかの実装では、モバイルデバイス1902−1908はいずれも中央モバイルデバイスとして機能しうることに留意されたい。
[0125]図19Cの構成は、図19Bのデバイス1920(これはサーフェステーブル/サーフェスタブレットでありうる)が、他のモバイルデバイス(例えば、モバイルデバイス1902−1908)と通信状態にある中央モバイルデバイスとして機能しうるモバイルデバイス1940(例えば、タブレット、スマートフォン)と置き換えられている点を除いて図19Bの構成に類似しうる。いくつかの実装では、図19Cに示される構成の動作は、図19A−19Bに示され、説明された構成の動作に類似する。すなわち、例えば、いくつかの実装では、ユーザは、NFCまたは他の通信プロトコル/リンク(例えば、ブルートゥース、WiFi)を使用して、サウンドトランスデューサアレイ1900および/または中央モバイルデバイス1940に「チェックイン」、登録、および/またはログインしうる。
[0126]「例示的(な)」という用語は、本明細書で使用される場合、「実例、事例、または例示を提供する」という意味で用いられる。「例示的」なものとして本明細書で説明された任意の実装または態様は、必ずしも、本開示の他の態様よりも好ましい、または利点を有するものと解釈されるべきではない。同様に、「態様」という用語は、本開示のすべての態様が、説明された特徴、利点、または動作モードを含むことを必要としない。「結合(された)」という用語は、本明細書において、2つのオブジェクト間の直接的または間接的な結合を指すために使用される。例えば、オブジェクトAがオブジェクトBに物理的に接触しており、オブジェクトBがオブジェクトCに接触している場合、オブジェクトAとCとは、それらが互いに直接物理的には接触していない場合であっても、依然として、互いに結合しているものとして考えられうる。例えば、ダイの基板は、そのダイの基板がパッケージング基板と直接物理的に接触していない場合であっても、パッケージング基板に結合されうる。
[0127]図1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18および/または19に例示される構成要素、ステップ、特徴、および/または機能のうちの1または複数は、単一の構成要素、ステップ、特徴、または機能へと組み合わされるおよび/または並べ換えられうるか、あるいはいくつかの構成要素、ステップ、または機能に組み込まれうる。追加の要素、構成要素、ステップ、および/または機能もまた、本発明から逸脱することなく追加されうる。
[0128]また、これら実施形態が、フローチャート、フロー図、構造図、またはブロック図として描写されるプロセスとして説明されうることに留意されたい。フローチャートは、動作を順次プロセスとして説明しうるが、これら動作の多くは並行してまたは同時に行われうる。加えて、動作の順序は並べ換えることができる。プロセスは、その動作が完了したときに終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム、等に対応しうる。プロセスが関数に対応するとき、その終了は、呼び出し関数または主関数に関数の復帰に対応する。
[0129]さらに、記憶媒体は、データを記憶するための1つまたは複数のデバイスを表すことができ、それには、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および/または情報を記憶するための他の機械可読媒体が含まれる。「機械可読媒体」または「機械可読記憶媒体」という用語には、ポータブルまたは固定記憶デバイス、光学記憶デバイス、ワイヤレスチャネル、ならびに命令(1または複数)および/またはデータを記憶、包含、または搬送する能力のある様々な他の媒体が含まれるがそれらに限定されるものではない。
[0130]さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはこれらの任意の組み合わせによって実装されうる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実装される場合、必要なタスクを行うためのプログラムコードまたはコードセグメントは、記憶媒体または他の記憶装置(1または複数)のような機械可読媒体に記憶されうる。プロセッサは、必要なタスクを行いうる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムセグメントの任意の組み合わせを表しうる。コードセグメントは、情報、データ、引き数、パラメータ、またはメモリコンテンツを渡すことおよび/または受け取ることによって、ハードウェア回路または別のコードセグメントに結合されうる。情報、引き数、パラメータ、データ、等は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信、等を含む任意の適切な手段を介して、渡されること、転送されること、または送信されることができる。
[0131]本明細書で開示された例に関連して説明された実例となる様々な論理ブロック、モジュール、回路(例えば、処理回路)、要素、および/または構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理構成要素、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成要素、あるいは本明細書で説明された機能を行うように設計されたこれらの任意の組み合わせで、実装されるかまたは行われうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替として、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、コンピューティング構成要素の組み合わせ、例えば、DSPと、1つのマイクロプロセッサ、多くのマイクロプロセッサ、DSPコアと連携した1つまたは複数のマイクロプロセッサ、またはその他のこのような構成との組み合わせとして実装されうる。
[0132]本明細書で開示された例に関連して説明された方法またはアルゴリズムは、処理ユニット、プログラミング命令、または他の指示の形式で、直接ハードウェアにおいて、プロセッサによって実行可能なソフトウェアモジュールにおいて、または両方の組み合わせにおいて具現化されることができ、単一のデバイス内に含まれるかまたは複数のデバイスにわたって分散されることができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野において知られているその他の形式の記憶媒体内に存在しうる。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合されうる。代替として、記憶媒体はプロセッサに一体化されうる。
[0133]当業者であれば、本明細書で開示された実施形態に関連して説明された実例となる様々な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されうることはさらに認識するであろう。このハードウェアおよびソフトウェアの互換性を明確に例示するために、実例となる様々な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能の観点から上記に説明されている。このような機能性がハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の用途およびシステム全体に課せられる設計制約に依存する。
[0134]本明細書で説明された発明の様々な特徴は、本発明から逸脱することなく異なるシステムにおいて実装されうる。本開示の前述の態様は単なる例であり、本発明を限定するものとして解釈されるべきではないことに留意されたい。本開示の態様の説明は、特許請求の範囲の適用範囲を限定することではなく、実例となるものであることが意図されている。このように、本教示は、他のタイプの装置に容易に適用されることができ、多くの代替例、修正例、および変形例が当業者に明らかになるであろう。
[0134]本明細書で説明された発明の様々な特徴は、本発明から逸脱することなく異なるシステムにおいて実装されうる。本開示の前述の態様は単なる例であり、本発明を限定するものとして解釈されるべきではないことに留意されたい。本開示の態様の説明は、特許請求の範囲の適用範囲を限定することではなく、実例となるものであることが意図されている。このように、本教示は、他のタイプの装置に容易に適用されることができ、多くの代替例、修正例、および変形例が当業者に明らかになるであろう。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
サウンドフィールドを制御する方法であって、
サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
を備える、方法。
[C2]
前記1つまたは複数のサウンドプロジェクションパターンを前記表示することは、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成することを備える、
[C1]に記載の方法。
[C3]
前記特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、前記1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを備える、
[C2]に記載の方法。
[C4]
前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの前記特性に比例したスケールを備える、
[C2]に記載の方法。
[C5]
前記スケールは、前記少なくとも1つのサウンドプロジェクションパターンの前記特性との一対一対応を備える、
[C4]に記載の方法。
[C6]
前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの各々に割り当てられたカラースキームを備える、
[C1]に記載の方法。
[C7]
前記カラースキームは、カラー空間に対する前記特性のマッピングを備える、
[C6]に記載の方法。
[C8]
前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
をさらに備える、[C1]に記載の方法。
[C9]
前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
前記方位に基づいて前記グラフィカル表現上での基準として方位ベクトルを生成することと
をさらに備える、[C1]に記載の方法。
[C10]
前記サウンドトランスデューサアレイの前記方位は、前記サウンドトランスデューサアレイに相対的である、
[C9]に記載の方法。
[C11]
前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
[C1]に記載の方法。
[C12]
前記多数のマイクロフォンは、車両に配置される、
[C11]に記載の方法。
[C13]
前記サウンドトランスデューサアレイは、多数のスピーカを備える、[C1]に記載の方法。
[C14]
前記多数のスピーカは、車両に配置される、
[C13]に記載の方法。
[C15]
前記少なくとも1つのコマンドを検出することは、
前記物理空間でユーザのインタラクションを検出することと、
前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
を備える、[C1]に記載の方法。
[C16]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
[C15]に記載の方法。
[C17]
前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上にユーザインターフェースを表示することをさらに備える、
[C15]に記載の方法。
[C18]
前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
[C15]に記載の方法。
[C19]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することを備える、
[C15]に記載の方法。
[C20]
前記グラフィカル表現は、前記1つまたは複数の仮想グループの例示を備える、
[C19]に記載の方法。
[C21]
前記例示は、1つまたは複数の仮想レイヤを備え、前記1つまたは複数の仮想グルーピングの各々は、前記1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する、
[C20]に記載の方法。
[C22]
前記物理空間で前記ユーザの第2の動作を復号することと、
前記ユーザによる第2の所望の動作を復号することと
をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
[C15]に記載の方法。
[C23]
前記物理空間は、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイのうちの少なくとも1つを備える、
[C1]に記載の方法。
[C24]
前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
を備える、[C1]に記載の方法。
[C25]
前記物理空間と通信するサウンドトランスデューサアレイであって、
スピーカアレイと、
サウンドをキャプチャするための、前記スピーカアレイと通信している、マイクロフォンアレイと、
前記マイクロフォンアレイ通信するように構成される少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
を行うように構成される、サウンドトランスデューサアレイ。
[C26]
前記1つまたは複数のサウンドプロジェクションパターンを前記表示するための、前記少なくとも1つのプロセッサは、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成すること行うようにさらに構成される、
[C25]に記載のサウンドトランスデューサアレイ。
[C27]
前記特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、前記1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを備える、
[C26]に記載のサウンドトランスデューサアレイ。
[C28]
前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの前記特性に比例したスケールを備える、
[C26]に記載のサウンドトランスデューサアレイ。
[C29]
前記スケールは、前記少なくとも1つのサウンドプロジェクションパターンの前記特性との一対一対応を備える、
[C26]に記載のサウンドトランスデューサアレイ。
[C30]
前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの各々に割り当てられたカラースキームを備える、
[C26]に記載のサウンドトランスデューサアレイ。
[C31]
前記カラースキームは、カラー空間に対する前記特性のマッピングを備える、
[C30]に記載のサウンドトランスデューサアレイ。
[C32]
前記少なくとも1つのプロセッサは、
前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
をさらに行うようにさらに構成される、[C25]に記載のサウンドトランスデューサアレイ。
[C33]
前記少なくとも1つのプロセッサは、
前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成することと
を行うようにさらに構成される、[C25]に記載のサウンドトランスデューサアレイ。
[C34]
前記サウンドトランスデューサアレイの前記方位は、前記サウンドトランスデューサアレイに相対的である、
[C33]に記載のサウンドトランスデューサアレイ。
[C35]
前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
[C25]に記載のサウンドトランスデューサアレイ。
[C36]
前記サウンドトランスデューサアレイは、多数のスピーカを備える、
[C25]に記載のサウンドトランスデューサアレイ。
[C37]
前記少なくとも1つのコマンドを検出するための、前記少なくとも1つのプロセッサは、
前記物理空間でユーザのインタラクションを検出することと、
前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
を行うようにさらに構成される、[C25]に記載のサウンドトランスデューサアレイ。
[C38]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
[C37]に記載のサウンドトランスデューサアレイ。
[C39]
前記少なくとも1つのプロセッサは、前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上にユーザインターフェースを表示することを行わせるようにさらに構成される、
[C37]に記載のサウンドトランスデューサアレイ。
[C40]
前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
[C37]に記載のサウンドトランスデューサアレイ。
[C41]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することを備える、
[C37]に記載のサウンドトランスデューサアレイ。
[C42]
前記グラフィカル表現は、前記1つまたは複数の仮想グループの例示を備える、
[C41]に記載のサウンドトランスデューサアレイ。
[C43]
前記例示は、前記1つまたは複数の仮想レイヤを備え、前記1つまたは複数の仮想グルーピングの各々は、前記1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する、
[C41]に記載のサウンドトランスデューサアレイ。
[C44]
少なくとも1つのプロセッサは
前記物理空間で前記ユーザの第2の動作を復号することと、
前記ユーザによる第2の所望の動作を復号することと
を行うようにさらに構成され、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
[C37]に記載のサウンドトランスデューサアレイ。
[C45]
前記物理空間は、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイのうちの少なくとも1つを備える、
[C25]に記載のサウンドトランスデューサアレイ。
[C46]
前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
を備える、[C25]に記載のサウンドトランスデューサアレイ。
[C47]
物理空間と通信するサウンドトランスデューサアレイであって、
サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示するための手段と、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出するための手段と、
前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正するための手段と、
前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新するための手段と
を備える、サウンドトランスデューサアレイ。
[C48]
前記1つまたは複数のサウンドプロジェクションパターンを表示するための手段は、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成するための手段を備える、
[C47]に記載のサウンドトランスデューサアレイ。
[C49]
前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定するための手段と、
前記ロケーションに基づいて前記グラフィカル表現の原点を生成するための手段と
をさらに備える、[C47]に記載のサウンドトランスデューサアレイ。
[C50]
前記物理空間について前記サウンドトランスデューサアレイの方位を決定するための手段と、
前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成するための手段と
をさらに備える、[C47]に記載のサウンドトランスデューサアレイ。
[C51]
前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
[C47]に記載のサウンドトランスデューサアレイ。
[C52]
前記サウンドトランスデューサアレイは、多数のスピーカを備える、
[C47]に記載のサウンドトランスデューサアレイ。
[C53]
前記少なくとも1つのコマンドを前記検出するための手段は、
前記物理空間でユーザのインタラクションを検出するための手段と、
前記ユーザによる所望の動作を決定する前記インタラクションを復号するための手段と
を備える、[C47]に記載のサウンドトランスデューサアレイ。
[C54]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
[C53]に記載のサウンドトランスデューサアレイ。
[C55]
前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上のユーザインターフェースを表示するための手段をさらに備える、
[C53]に記載のサウンドトランスデューサアレイ。
[C56]
前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
[C53]に記載のサウンドトランスデューサアレイ。
[C57]
前記物理空間で前記ユーザの第2の動作を復号するための手段と、
前記ユーザによる第2の所望の動作を復号するための手段と
をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
[C56]に記載のサウンドトランスデューサアレイ。
[C58]
前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
を備える、[C47]に記載のサウンドトランスデューサアレイ。
[C59]
サウンドフィールドを制御するための1つまたは複数の命令を備えるコンピュータ可読記憶媒体であって、前記1つまたは複数の命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
を行わせる、コンピュータ可読記憶媒体。
[C60]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、前記1つまたは複数のサウンドプロジェクションパターンを表示するときに、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成することを行わせる、1つまたは複数の命令をさらに備える、
[C59]に記載のコンピュータ可読記憶媒体。
[C61]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
を行わせる1つまたは複数の命令をさらに備える、[C59]に記載のコンピュータ可読記憶媒体。
[C62]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成することと
を行わせる1つまたは複数の命令をさらに備える、[C59]に記載のコンピュータ可読記憶媒体。
[C63]
前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
[C59]に記載のコンピュータ可読記憶媒体。
[C64]
前記サウンドトランスデューサアレイは、多数のスピーカを備える、
[C59]に記載のコンピュータ可読記憶媒体。
[C65]
実行されると、前記少なくとも1つのプロセッサに、前記少なくとも1つのコマンドを検出することを行わせる前記命令は、実行されると、前記少なくとも1つのプロセッサに、
前記物理空間でユーザのインタラクションを検出することと、
前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
を行わせる命令をさらに備える、[C59]に記載のコンピュータ可読記憶媒体。
[C66]
前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
[C65]に記載のコンピュータ可読記憶媒体。
[C67]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記物理空間で前記ユーザの第2の動作を復号することと、
前記ユーザによる第2の所望の動作を復号することと
を行わせる1つまたは複数の命令をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
[C65]に記載のコンピュータ可読記憶媒体。
[C68]
前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
を備える、[C59]に記載のコンピュータ可読記憶媒体。

Claims (68)

  1. サウンドフィールドを制御する方法であって、
    サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
    前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
    前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
    前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
    を備える、方法。
  2. 前記1つまたは複数のサウンドプロジェクションパターンを前記表示することは、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成することを備える、
    請求項1に記載の方法。
  3. 前記特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、前記1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを備える、
    請求項2に記載の方法。
  4. 前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの前記特性に比例したスケールを備える、
    請求項2に記載の方法。
  5. 前記スケールは、前記少なくとも1つのサウンドプロジェクションパターンの前記特性との一対一対応を備える、
    請求項4に記載の方法。
  6. 前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの各々に割り当てられたカラースキームを備える、
    請求項1に記載の方法。
  7. 前記カラースキームは、カラー空間に対する前記特性のマッピングを備える、
    請求項6に記載の方法。
  8. 前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
    前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
    をさらに備える、請求項1に記載の方法。
  9. 前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
    前記方位に基づいて前記グラフィカル表現上での基準として方位ベクトルを生成することと
    をさらに備える、請求項1に記載の方法。
  10. 前記サウンドトランスデューサアレイの前記方位は、前記サウンドトランスデューサアレイに相対的である、
    請求項9に記載の方法。
  11. 前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
    請求項1に記載の方法。
  12. 前記多数のマイクロフォンは、車両に配置される、
    請求項11に記載の方法。
  13. 前記サウンドトランスデューサアレイは、多数のスピーカを備える、請求項1に記載の方法。
  14. 前記多数のスピーカは、車両に配置される、
    請求項13に記載の方法。
  15. 前記少なくとも1つのコマンドを検出することは、
    前記物理空間でユーザのインタラクションを検出することと、
    前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
    を備える、請求項1に記載の方法。
  16. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
    請求項15に記載の方法。
  17. 前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上にユーザインターフェースを表示することをさらに備える、
    請求項15に記載の方法。
  18. 前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
    請求項15に記載の方法。
  19. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することを備える、
    請求項15に記載の方法。
  20. 前記グラフィカル表現は、前記1つまたは複数の仮想グループの例示を備える、
    請求項19に記載の方法。
  21. 前記例示は、1つまたは複数の仮想レイヤを備え、前記1つまたは複数の仮想グルーピングの各々は、前記1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する、
    請求項20に記載の方法。
  22. 前記物理空間で前記ユーザの第2の動作を復号することと、
    前記ユーザによる第2の所望の動作を復号することと
    をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
    請求項15に記載の方法。
  23. 前記物理空間は、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイのうちの少なくとも1つを備える、
    請求項1に記載の方法。
  24. 前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
    を備える、請求項1に記載の方法。
  25. 前記物理空間と通信するサウンドトランスデューサアレイであって、
    スピーカアレイと、
    サウンドをキャプチャするための、前記スピーカアレイと通信している、マイクロフォンアレイと、
    前記マイクロフォンアレイ通信するように構成される少なくとも1つのプロセッサと
    を備え、前記少なくとも1つのプロセッサは、
    サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
    前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
    前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
    前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
    を行うように構成される、サウンドトランスデューサアレイ。
  26. 前記1つまたは複数のサウンドプロジェクションパターンを前記表示するための、前記少なくとも1つのプロセッサは、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成すること行うようにさらに構成される、
    請求項25に記載のサウンドトランスデューサアレイ。
  27. 前記特性は、ビーム幅、方向、原点、周波数範囲、信号対雑音比、前記1つまたは複数のサウンドプロジェクションパターンの受信機のまたは生成器のタイプのうちの少なくとも1つを備える、
    請求項26に記載のサウンドトランスデューサアレイ。
  28. 前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの前記特性に比例したスケールを備える、
    請求項26に記載のサウンドトランスデューサアレイ。
  29. 前記スケールは、前記少なくとも1つのサウンドプロジェクションパターンの前記特性との一対一対応を備える、
    請求項26に記載のサウンドトランスデューサアレイ。
  30. 前記グラフィカル表現は、前記1つまたは複数のサウンドプロジェクションパターンの各々に割り当てられたカラースキームを備える、
    請求項26に記載のサウンドトランスデューサアレイ。
  31. 前記カラースキームは、カラー空間に対する前記特性のマッピングを備える、
    請求項30に記載のサウンドトランスデューサアレイ。
  32. 前記少なくとも1つのプロセッサは、
    前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
    前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
    をさらに行うようにさらに構成される、請求項25に記載のサウンドトランスデューサアレイ。
  33. 前記少なくとも1つのプロセッサは、
    前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
    前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成することと
    を行うようにさらに構成される、請求項25に記載のサウンドトランスデューサアレイ。
  34. 前記サウンドトランスデューサアレイの前記方位は、前記サウンドトランスデューサアレイに相対的である、
    請求項33に記載のサウンドトランスデューサアレイ。
  35. 前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
    請求項25に記載のサウンドトランスデューサアレイ。
  36. 前記サウンドトランスデューサアレイは、多数のスピーカを備える、
    請求項25に記載のサウンドトランスデューサアレイ。
  37. 前記少なくとも1つのコマンドを検出するための、前記少なくとも1つのプロセッサは、
    前記物理空間でユーザのインタラクションを検出することと、
    前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
    を行うようにさらに構成される、請求項25に記載のサウンドトランスデューサアレイ。
  38. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
    請求項37に記載のサウンドトランスデューサアレイ。
  39. 前記少なくとも1つのプロセッサは、前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上にユーザインターフェースを表示することを行わせるようにさらに構成される、
    請求項37に記載のサウンドトランスデューサアレイ。
  40. 前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
    請求項37に記載のサウンドトランスデューサアレイ。
  41. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンのうちの1つまたは複数の仮想グループを生成することを備える、
    請求項37に記載のサウンドトランスデューサアレイ。
  42. 前記グラフィカル表現は、前記1つまたは複数の仮想グループの例示を備える、
    請求項41に記載のサウンドトランスデューサアレイ。
  43. 前記例示は、前記1つまたは複数の仮想レイヤを備え、前記1つまたは複数の仮想グルーピングの各々は、前記1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する、
    請求項41に記載のサウンドトランスデューサアレイ。
  44. 少なくとも1つのプロセッサは
    前記物理空間で前記ユーザの第2の動作を復号することと、
    前記ユーザによる第2の所望の動作を復号することと
    を行うようにさらに構成され、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
    請求項37に記載のサウンドトランスデューサアレイ。
  45. 前記物理空間は、タッチセンシングサーフェス、ディスプレイスクリーン、およびタブレットディスプレイのうちの少なくとも1つを備える、
    請求項25に記載のサウンドトランスデューサアレイ。
  46. 前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
    を備える、請求項25に記載のサウンドトランスデューサアレイ。
  47. 物理空間と通信するサウンドトランスデューサアレイであって、
    サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示するための手段と、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
    前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出するための手段と、
    前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正するための手段と、
    前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新するための手段と
    を備える、サウンドトランスデューサアレイ。
  48. 前記1つまたは複数のサウンドプロジェクションパターンを表示するための手段は、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成するための手段を備える、
    請求項47に記載のサウンドトランスデューサアレイ。
  49. 前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定するための手段と、
    前記ロケーションに基づいて前記グラフィカル表現の原点を生成するための手段と
    をさらに備える、請求項47に記載のサウンドトランスデューサアレイ。
  50. 前記物理空間について前記サウンドトランスデューサアレイの方位を決定するための手段と、
    前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成するための手段と
    をさらに備える、請求項47に記載のサウンドトランスデューサアレイ。
  51. 前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
    請求項47に記載のサウンドトランスデューサアレイ。
  52. 前記サウンドトランスデューサアレイは、多数のスピーカを備える、
    請求項47に記載のサウンドトランスデューサアレイ。
  53. 前記少なくとも1つのコマンドを前記検出するための手段は、
    前記物理空間でユーザのインタラクションを検出するための手段と、
    前記ユーザによる所望の動作を決定する前記インタラクションを復号するための手段と
    を備える、請求項47に記載のサウンドトランスデューサアレイ。
  54. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
    請求項53に記載のサウンドトランスデューサアレイ。
  55. 前記ユーザに、前記所望の動作を選択させることを可能にするために、前記物理空間上のユーザインターフェースを表示するための手段をさらに備える、
    請求項53に記載のサウンドトランスデューサアレイ。
  56. 前記所望の動作は、それへの第2の動作のアプリケーションのための前記1つまたは複数のサウンドプロジェクションパターンを選択することを備える、
    請求項53に記載のサウンドトランスデューサアレイ。
  57. 前記物理空間で前記ユーザの第2の動作を復号するための手段と、
    前記ユーザによる第2の所望の動作を復号するための手段と
    をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
    請求項56に記載のサウンドトランスデューサアレイ。
  58. 前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
    を備える、請求項47に記載のサウンドトランスデューサアレイ。
  59. サウンドフィールドを制御するための1つまたは複数の命令を備えるコンピュータ可読記憶媒体であって、前記1つまたは複数の命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    サウンドトランスデューサアレイに関連した1つまたは複数のサウンドプロジェクションパターンのグラフィカル表現を、物理空間上で、表示することと、ここにおいて、前記サウンドトランスデューサアレイは、前記物理空間と通信している、
    前記グラフィカル表現に向けられた少なくとも1つのコマンドを検出することと、
    前記少なくとも1つのコマンドに基づいて前記サウンドトランスデューサアレイの前記1つまたは複数のサウンドプロジェクションパターンを修正することと、
    前記物理空間上の前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を更新することと
    を行わせる、コンピュータ可読記憶媒体。
  60. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、前記1つまたは複数のサウンドプロジェクションパターンを表示するときに、前記1つまたは複数のサウンドプロジェクションパターンの特性に基づいて前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を生成することを行わせる、1つまたは複数の命令をさらに備える、
    請求項59に記載のコンピュータ可読記憶媒体。
  61. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記物理空間について前記サウンドトランスデューサアレイのロケーションを決定することと、
    前記ロケーションに基づいて前記グラフィカル表現の原点を生成することと
    を行わせる1つまたは複数の命令をさらに備える、請求項59に記載のコンピュータ可読記憶媒体。
  62. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記物理空間について前記サウンドトランスデューサアレイの方位を決定することと、
    前記方位に基づいて前記グラフィカル表現上での基準としての方位ベクトルを生成することと
    を行わせる1つまたは複数の命令をさらに備える、請求項59に記載のコンピュータ可読記憶媒体。
  63. 前記サウンドトランスデューサアレイは、多数のマイクロフォンを備える、
    請求項59に記載のコンピュータ可読記憶媒体。
  64. 前記サウンドトランスデューサアレイは、多数のスピーカを備える、
    請求項59に記載のコンピュータ可読記憶媒体。
  65. 実行されると、前記少なくとも1つのプロセッサに、前記少なくとも1つのコマンドを検出することを行わせる前記命令は、実行されると、前記少なくとも1つのプロセッサに、
    前記物理空間でユーザのインタラクションを検出することと、
    前記ユーザによる所望の動作を決定する前記インタラクションを復号することと
    を行わせる命令をさらに備える、請求項59に記載のコンピュータ可読記憶媒体。
  66. 前記所望の動作は、前記1つまたは複数のサウンドプロジェクションパターンの前記グラフィカル表現を隠すことを備えうる、
    請求項65に記載のコンピュータ可読記憶媒体。
  67. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記物理空間で前記ユーザの第2の動作を復号することと、
    前記ユーザによる第2の所望の動作を復号することと
    を行わせる1つまたは複数の命令をさらに備え、前記第2の所望の動作は、前記1つまたは複数の仮想グルーピングに適用される、
    請求項65に記載のコンピュータ可読記憶媒体。
  68. 前記少なくとも1つのコマンドは、ジェスチャであり、前記ジェスチャは、多数回タップすることと、前記1つまたは複数のサウンドプロジェクションパターンのまわりに1つまたは複数の円を描くことと、グループとして操作するために前記1つまたは複数のサウンドプロジェクションパターンのうちの複数のプロジェクションパターンをグルーピングすることと
    を備える、請求項59に記載のコンピュータ可読記憶媒体。
JP2015541778A 2012-11-14 2013-10-11 サウンドの触知可能な制御を提供するための方法および装置 Pending JP2016506639A (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261726441P 2012-11-14 2012-11-14
US201261726451P 2012-11-14 2012-11-14
US201261726461P 2012-11-14 2012-11-14
US201261726456P 2012-11-14 2012-11-14
US61/726,441 2012-11-14
US61/726,451 2012-11-14
US61/726,461 2012-11-14
US61/726,456 2012-11-14
US13/725,973 2012-12-21
US13/725,973 US9286898B2 (en) 2012-11-14 2012-12-21 Methods and apparatuses for providing tangible control of sound
PCT/US2013/064708 WO2014077991A1 (en) 2012-11-14 2013-10-11 Methods and apparatuses for providing tangible control of sound

Publications (2)

Publication Number Publication Date
JP2016506639A true JP2016506639A (ja) 2016-03-03
JP2016506639A5 JP2016506639A5 (ja) 2016-11-04

Family

ID=50681708

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015541778A Pending JP2016506639A (ja) 2012-11-14 2013-10-11 サウンドの触知可能な制御を提供するための方法および装置
JP2015541777A Active JP6138956B2 (ja) 2012-11-14 2013-10-11 物理空間においてサウンドフィールドを表現するための方法および装置
JP2015541776A Expired - Fee Related JP6092412B2 (ja) 2012-11-14 2013-10-11 スマートディレクショナルコンファレンシングを有するデバイス及びシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015541777A Active JP6138956B2 (ja) 2012-11-14 2013-10-11 物理空間においてサウンドフィールドを表現するための方法および装置
JP2015541776A Expired - Fee Related JP6092412B2 (ja) 2012-11-14 2013-10-11 スマートディレクショナルコンファレンシングを有するデバイス及びシステム

Country Status (6)

Country Link
US (3) US9412375B2 (ja)
EP (3) EP2920984A1 (ja)
JP (3) JP2016506639A (ja)
KR (2) KR101762522B1 (ja)
CN (3) CN104919823B (ja)
WO (3) WO2014077991A1 (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412375B2 (en) 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
US10827292B2 (en) 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US10575093B2 (en) * 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
EP3340025B1 (en) 2013-09-03 2019-06-12 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US10503388B2 (en) 2013-09-03 2019-12-10 Apple Inc. Crown input for a wearable electronic device
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
CN118192869A (zh) 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
US10073607B2 (en) * 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
US9817634B2 (en) * 2014-07-21 2017-11-14 Intel Corporation Distinguishing speech from multiple users in a computer interaction
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
TWI676127B (zh) 2014-09-02 2019-11-01 美商蘋果公司 關於電子郵件使用者介面之方法、系統、電子器件及電腦可讀儲存媒體
CN104469595A (zh) * 2014-10-30 2015-03-25 苏州上声电子有限公司 一种基于误差模型的多区域声重放方法和装置
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
WO2016162058A1 (en) * 2015-04-08 2016-10-13 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
CN106303810B (zh) * 2015-05-13 2021-09-10 青岛通产智能机器人有限公司 基于方向性声音传感器的声源方位判断装置及方法
GB2540224A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Multi-apparatus distributed media capture for playback control
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
CN105187998B (zh) * 2015-10-20 2018-11-13 张浩杰 一种超声波感应电子连体扬声器
CN105898026B (zh) * 2015-12-30 2020-03-06 乐融致新电子科技(天津)有限公司 移动终端录音提示方法、提示装置及其移动终端
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
US10848863B2 (en) 2016-01-14 2020-11-24 Harman International Industries, Incorporated Acoustic radiation pattern control
WO2017147325A1 (en) 2016-02-25 2017-08-31 Dolby Laboratories Licensing Corporation Multitalker optimised beamforming system and method
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技(深圳)有限公司 定位方法、定位系统及终端设备
JP6520878B2 (ja) * 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
CN106409272B (zh) * 2016-11-18 2023-11-10 徐州芯特智能装备有限公司 感应式可视化铜鼓系统
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) * 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
EP3566466A4 (en) 2017-01-05 2020-08-05 Noveto Systems Ltd. AUDIO COMMUNICATIONS SYSTEM AND METHOD
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP6472823B2 (ja) * 2017-03-21 2019-02-20 株式会社東芝 信号処理装置、信号処理方法および属性付与装置
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置
KR20200099574A (ko) * 2017-12-22 2020-08-24 울트라햅틱스 아이피 엘티디 공중 햅틱 시스템들과의 인간 상호작용들
US10306394B1 (en) * 2017-12-29 2019-05-28 Samsung Electronics Co., Ltd. Method of managing a plurality of devices
JP7058002B2 (ja) * 2018-01-25 2022-04-21 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス
JP7183558B2 (ja) * 2018-03-29 2022-12-06 株式会社リコー 共用支援サーバ、共用システム、共用支援方法、及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11494158B2 (en) * 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
KR102706386B1 (ko) * 2018-08-16 2024-09-12 한화비전 주식회사 시각화된 객체에서 특정영역의 소리를 추출하는 감시 카메라 시스템 및 그 동작 방법
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
CN109451291A (zh) * 2018-12-29 2019-03-08 像航(上海)科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
EP3906548A4 (en) * 2018-12-31 2022-10-05 HED Technologies Sarl VOICE IDENTIFICATION AND ANALYSIS SYSTEMS AND METHODS
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11862168B1 (en) * 2020-03-30 2024-01-02 Amazon Technologies, Inc. Speaker disambiguation and transcription from multiple audio feeds
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
US12095865B2 (en) * 2020-12-11 2024-09-17 International Business Machines Corporation Identifying a voice command boundary
CN112834023B (zh) * 2021-01-06 2021-10-19 江苏科技大学 一种基于近场变换的空间辐射声场获取方法
US11540078B1 (en) 2021-06-04 2022-12-27 Google Llc Spatial audio in video conference calls based on content type or participant role
US11637991B2 (en) 2021-08-04 2023-04-25 Google Llc Video conferencing systems featuring multiple spatial interaction modes
US11849257B2 (en) 2021-08-04 2023-12-19 Google Llc Video conferencing systems featuring multiple spatial interaction modes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278725A (ja) * 2009-05-28 2010-12-09 Sanyo Electric Co Ltd 画像音響処理装置及び撮像装置

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5666136A (en) 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
JPH0784592A (ja) 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6826284B1 (en) * 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
US20020089541A1 (en) * 2000-02-14 2002-07-11 Julian Orbanes System for graphically interconnecting operators
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US7071920B2 (en) 2001-07-06 2006-07-04 Hewlett-Packard Development Company, L.P. Method and apparatus for indicating an operating mode of a computer-pointing device
JP4280901B2 (ja) 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
TWI304559B (ja) * 2002-05-24 2008-12-21 Waltop Int Corp
US6882971B2 (en) * 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040080494A1 (en) 2002-10-29 2004-04-29 International Business Machines Corporation Force-sensing mouse pointing device for computer input
US6990193B2 (en) * 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US7305078B2 (en) 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
WO2006100980A1 (ja) 2005-03-18 2006-09-28 Pioneer Corporation 音声信号処理装置及びそのためのコンピュータプログラム
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
DE102005043641A1 (de) * 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US20070075968A1 (en) 2005-09-30 2007-04-05 Hall Bernard J System and method for sensing the position of a pointing object
US20070127668A1 (en) * 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
US8249283B2 (en) 2006-01-19 2012-08-21 Nippon Hoso Kyokai Three-dimensional acoustic panning device
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP5286667B2 (ja) 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US8249233B2 (en) 2006-03-17 2012-08-21 International Business Machines Corporation Apparatus and system for representation of voices of participants to a conference call
US7843486B1 (en) 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7920158B1 (en) 2006-07-21 2011-04-05 Avaya Inc. Individual participant identification in shared video resources
JP4894386B2 (ja) * 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP2008141465A (ja) 2006-12-01 2008-06-19 Fujitsu Ten Ltd 音場再生システム
US7844462B2 (en) 2007-02-01 2010-11-30 Sap Ag Spatial sound generation for screen navigation
US20080255901A1 (en) * 2007-03-26 2008-10-16 John Stuart Carroll Kiosk systems and methods
US20080252595A1 (en) 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
WO2008139018A1 (en) 2007-05-09 2008-11-20 Savox Communications Oy Ab (Ltd) A display apparatus
US8108144B2 (en) 2007-06-28 2012-01-31 Apple Inc. Location based tracking
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8050917B2 (en) 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US7995732B2 (en) 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
JP2009181457A (ja) 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
US8144896B2 (en) * 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
KR100955339B1 (ko) 2008-04-22 2010-04-29 주식회사 애트랩 접촉 및 접근을 감지할 수 있는 디스플레이 패널과디스플레이 장치 및 이 패널을 이용하는 접촉 및 접근 감지방법
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5047882B2 (ja) * 2008-06-04 2012-10-10 日本電信電話株式会社 発話関連情報提示装置及び方法
US8315366B2 (en) * 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
NO333026B1 (no) 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5568915B2 (ja) 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8363810B2 (en) * 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8144633B2 (en) 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4949453B2 (ja) 2009-11-12 2012-06-06 シャープ株式会社 画像処理装置および画像処理装置の制御方法
EP2517486A1 (en) 2009-12-23 2012-10-31 Nokia Corp. An apparatus
EP2517478B1 (en) 2009-12-24 2017-11-01 Nokia Technologies Oy An apparatus
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP5534413B2 (ja) * 2010-02-12 2014-07-02 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置及びプログラム
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8174934B2 (en) 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US20120027226A1 (en) * 2010-07-30 2012-02-02 Milford Desenberg System and method for providing focused directional sound in an audio system
US20120041579A1 (en) 2010-08-12 2012-02-16 Charles Davis Rear surround sound projection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
WO2012039837A1 (en) 2010-09-22 2012-03-29 Cypress Semiconductor Corporation Capacitive stylus for a touch screen
US8744065B2 (en) * 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US8848028B2 (en) 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US8558894B2 (en) 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US8972251B2 (en) 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
US9507427B2 (en) 2011-06-29 2016-11-29 Intel Corporation Techniques for gesture recognition
EP2783269B1 (en) 2011-11-23 2018-10-31 Intel Corporation GESTURE INPUT WITH MULTIPLE VIEWS and DISPLAYS
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
KR101641448B1 (ko) 2012-03-16 2016-07-20 뉘앙스 커뮤니케이션즈, 인코포레이티드 사용자 전용 자동 음성 인식
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的系统及其广告服务方法
US20140013192A1 (en) 2012-07-09 2014-01-09 Sas Institute Inc. Techniques for touch-based digital document audio and user interface enhancement
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム
US9412375B2 (en) 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278725A (ja) * 2009-05-28 2010-12-09 Sanyo Electric Co Ltd 画像音響処理装置及び撮像装置

Also Published As

Publication number Publication date
JP2016504648A (ja) 2016-02-12
KR20150085030A (ko) 2015-07-22
WO2014077990A1 (en) 2014-05-22
US20140136981A1 (en) 2014-05-15
CN104919823B (zh) 2017-12-08
US9412375B2 (en) 2016-08-09
US9286898B2 (en) 2016-03-15
KR20150085032A (ko) 2015-07-22
EP2920983B1 (en) 2017-11-22
WO2014077991A1 (en) 2014-05-22
KR101762522B1 (ko) 2017-07-27
CN104919823A (zh) 2015-09-16
EP2920984A1 (en) 2015-09-23
US20140136203A1 (en) 2014-05-15
CN104919824A (zh) 2015-09-16
JP2016505918A (ja) 2016-02-25
JP6138956B2 (ja) 2017-05-31
JP6092412B2 (ja) 2017-03-08
CN104782146A (zh) 2015-07-15
EP2920983A1 (en) 2015-09-23
EP2920985A1 (en) 2015-09-23
US20140133665A1 (en) 2014-05-15
US9368117B2 (en) 2016-06-14
WO2014077989A1 (en) 2014-05-22
CN104782146B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
JP6138956B2 (ja) 物理空間においてサウンドフィールドを表現するための方法および装置
US11531518B2 (en) System and method for differentially locating and modifying audio sources
EP2911149B1 (en) Determination of an operational directive based at least in part on a spatial audio property
WO2018183020A1 (en) Headset with multiple microphone booms
US20140215332A1 (en) Virtual microphone selection corresponding to a set of audio source devices
US20160277708A1 (en) Proximate resource pooling in video/audio telecommunications
US20140129937A1 (en) Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US20150189457A1 (en) Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
CN202948437U (zh) 用于生成用户界面的系统和装置及用于系统、设备或应用的用户界面
US11375058B2 (en) Methods and systems for providing status indicators with an electronic device
US9516417B2 (en) Boundary binaural microphone array
CN114520950B (zh) 音频输出方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180109