JP2016504648A - 物理空間においてサウンドフィールドを表現するための方法および装置 - Google Patents

物理空間においてサウンドフィールドを表現するための方法および装置 Download PDF

Info

Publication number
JP2016504648A
JP2016504648A JP2015541777A JP2015541777A JP2016504648A JP 2016504648 A JP2016504648 A JP 2016504648A JP 2015541777 A JP2015541777 A JP 2015541777A JP 2015541777 A JP2015541777 A JP 2015541777A JP 2016504648 A JP2016504648 A JP 2016504648A
Authority
JP
Japan
Prior art keywords
sound
color
transducer array
physical space
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015541777A
Other languages
English (en)
Other versions
JP6138956B2 (ja
JP2016504648A5 (ja
Inventor
シャン、ペイ
リウ、ケシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016504648A publication Critical patent/JP2016504648A/ja
Publication of JP2016504648A5 publication Critical patent/JP2016504648A5/ja
Application granted granted Critical
Publication of JP6138956B2 publication Critical patent/JP6138956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002Loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

物理空間においてサウンドフィールドを表現するための方法および装置は、サウンドトランスデューサアレイをタッチ面使用可能ディスプレイテーブルとともに含むシステムに具現化されているものとして提供および説明される。アレイは、トランスデューサのグループ(多数のスピーカおよび/またはマイクロフォン)を含みうる。アレイは、サウンド再生(アレイが多数のスピーカを含む構成では)、またはサウンドピックアップ(アレイが多数のマイクロフォンを含む構成では)が、特定の方向に集中した空間パターン(または、サウンドプロジェクションパターン)を、他の方向からの妨害を減らすと同時に有するように、トランスデューサのグループについて信号の空間処理を行うように構成されうる。【選択図】 図7

Description

米国特許法第119条に基づく優先権の主張
[0001] 本願は、2012年11月14日に出願された「Device and System for Refreshing a Sound Field in a Physical Space」と題する米国特許仮出願第61/726451号、2012年11月14日に出願された「Method and Apparatus for Providing Tangible Control of Sound」と題する米国特許仮出願第61/726456号、2012年11月14日に出願された「Device and System Having Smart Directional Conferencing」と題する米国特許仮出願第61/726441号、および2012年11月14日に出願された「Collaborative Document Review and Editing」と題する米国特許仮出願第61/726,461号への優先権およびそれらの利益を主張する。
[0002] 様々な特徴は、物理空間においてサウンドフィールドを表現するためのデバイスおよびシステムに関する。
[0003] サウンドとは、可聴範囲内の周波数から成る、固体、液体、またはガスを通して伝達される圧力の振動である機械波である。例えば、人間の聴力は、通常、約20Hzから20,000Hz(20kHz)の周波数に制限される。これらのサウンドは、聞くことはできるが見ることはできない。人間の視覚が他のすべての感覚に勝るため、サウンドの視覚化が可能になることは、ユーザ経験を大いに高めるだろう。
[0004] 本開示の1つまたは複数の態様の基本的な理解を与えるために、そのような態様の簡略化された概要を以下に提示する。この概要は、本開示の意図されるすべての特徴の広範な概略ではなく、本開示のすべての態様のキーとなる要素または重要な要素を識別することも、本開示の任意の態様またはすべての態様の適用範囲(scope)を線引きすることも意図しない。その唯一の目的は、後に提示されるより詳細な説明への前置きとして、本開示の1つまたは複数の態様のいくつかの概念を、簡略化された形式で提示することである。
[0005] 第1の例は、物理空間においてサウンドフィールドを表現するための方法を提供する。方法は、物理空間と通信状態にあるサウンドトランスデューサアレイによって、物理空間からサウンドをキャプチャすることを含む。物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットを含みうる。ひとたびサウンドがキャプチャされると、キャプチャされたサウンドのサウンドプロジェクションパターンが算出され得、ここで、サウンドプロジェクションパターンは、キャプチャされたサウンドのサウンドフィールドの表現である。次に、サウンドプロジェクションパターンは、サウンドトランスデューサアレイと対象ユーザとの間に延びる物理空間上に表示されうる。サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示されうる。
[0006] 一態様によれば、サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされ得、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。追加的に、キャプチャされたサウンドは、このキャプチャされたサウンドの発生ロケーション(originating location)を特定するために処理されうる。対象ユーザは、キャプチャされたサウンドの発生ロケーションにいる可能性がある。
[0007] 一態様によれば、サウンドトランスデューサアレイは、別個のマイクロフォンアレイおよびスピーカアレイを備えうる。マイクロフォンアレイがスピーカアレイとは別個である場合、マイクロフォンビームは、マイクロフォンアレイ上でキャプチャされ、物理空間において第1のカラーで表示され得るが、一方で、スピーカビームは、スピーカアレイから送信され、物理空間において第2のカラーで表示され得、ここで、第1のカラーは第2のカラーとは異なる。次に、カラーヒートマップがマイクロフォンビームに適用され得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0008] 一態様によれば、サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備えうる。マイクロフォンおよびスピーカアレイが組み合わせられているとき、マイクロフォンビームは、サウンドトランスデューサアレイ上でキャプチャされ、物理空間において第1のカラーで表示されうるが、一方で、スピーカビームは、サウンドトランスデューサアレイから送信され、物理空間において第2のカラーで表示され得、ここで、第1のカラーは第2のカラーとは異なる。次に、カラーヒートマップがマイクロフォンビームに適用され、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0009] 一実施形態によれば、サウンドプロジェクションパターンは、矢印のようなシンボルまたはビームパターンの形式でありうる。
[0010] 第2の例は、サウンドトランスデューサアレイを提供する。サウンドトランスデューサアレイは、スピーカアレイと、スピーカアレイと通信状態にある、サウンドをキャプチャするためのマイクロフォンアレイと、マイクロフォンアレイと通信状態にある少なくとも1つのプロセッサとを含みうる。少なくとも1つのプロセッサは、サウンドをキャプチャすることと、キャプチャされたサウンドのサウンドプロジェクションパターンを算出することとを行うように構成され、ここで、サウンドプロジェクションパターンは、キャプチャされたサウンドのサウンドフィールドの表現である。次に、少なくとも1つのプロセッサは、サウンドトランスデューサアレイと対象ユーザとの間に延びる物理空間上にサウンドプロジェクションパターンを表示するように構成されうる。サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示され得、物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットを含みうる。
[0011] 一態様によれば、サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされ得、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。追加的に、少なくとも1つのプロセッサは、キャプチャされたサウンドの発生ロケーションを特定するために、キャプチャされたサウンドを処理するようにさらに構成されうる。対象ユーザは、キャプチャされたサウンドの発生ロケーションにいる可能性がある。
[0012] 一態様によれば、少なくとも1つのプロセッサは、マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、マイクロフォンビームは物理空間において第1のカラーで表示される、スピーカアレイからスピーカビームを送信することと、ここで、スピーカビームは、物理空間において第2のカラーで表示され、第1のカラーは第2のカラーとは異なる、を行うようにさらに構成されうる。少なくとも1つのプロセッサは、次に、カラーヒートマップをマイクロフォンビームに適用するようにさらに構成され得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。マイクロフォンアレイは、スピーカアレイと組み合わせられうる。代替的に、マイクロフォンアレイは、スピーカアレイとは別個である可能性がある。
[0013] 一実施形態によれば、サウンドプロジェクションパターンは、矢印のようなシンボルまたはビームパターンの形式でありうる。
[0014] 第3の例は、物理空間と通信状態にある、物理空間においてサウンドフィールドを表現するためのサウンドトランスデューサアレイを提供する。サウンドトランスデューサアレイは、物理空間からサウンドをキャプチャするための手段を含み得、ここで、サウンドは、物理空間と通信状態にあるサウンドトランスデューサアレイによって物理空間中に発せられる。物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットを含みうる。
[0015] サウンドトランスデューサアレイは、また、キャプチャされたサウンドのサウンドプロジェクションパターンを算出するための手段と、ここで、サウンドプロジェクションパターンは、キャプチャされたサウンドのサウンドフィールドの表現である、サウンドトランスデューサアレイと対象ユーザとの間に延びる物理空間上にサウンドプロジェクションパターンを表示するための手段とを含みうる。サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示されうる。
[0016] 一態様によれば、サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされ得、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。追加的に、サウンドトランスデューサアレイは、キャプチャされたサウンドの発生ロケーションを特定するために、キャプチャされたサウンドを処理するための手段を含みうる。対象ユーザは、キャプチャされたサウンドの発生ロケーションにいる可能性がある。
[0017] 一態様によれば、サウンドトランスデューサアレイは、別個のマイクロフォンアレイおよびスピーカアレイを備えうる。マイクロフォンアレイがスピーカアレイとは別個であるとき、サウンドトランスデューサは、マイクロフォンアレイ上でマイクロフォンビームをキャプチャし、物理空間において第1のカラーで表示するための手段と、スピーカアレイからスピーカビームを送信するための手段とをさらに備え得、ここで、スピーカビームは、物理空間において第2のカラーで表示され、第1のカラーは第2のカラーとは異なる。サウンドトランスデューサは、カラーヒートマップをマイクロフォンビームに適用するための手段をさらに備え得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0018] 一態様によれば、サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備えうる。マイクロフォンアレイがスピーカアレイと組み合わせられているとき、サウンドトランスデューサは、マイクロフォンアレイ上でマイクロフォンビームをキャプチャし、物理空間において第1のカラーで表示するための手段と、スピーカアレイからスピーカビームを送信するための手段とをさらに備え、ここで、スピーカビームは、物理空間において第2のカラーで表示され、第1のカラーは第2のカラーとは異なる。サウンドトランスデューサは、カラーヒートマップをマイクロフォンビームに適用するための手段をさらに備え得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0019] 一実施形態によれば、サウンドプロジェクションパターンは、矢印のようなシンボルまたはビームパターンの形式でありうる。
[0020] 第4の例は、物理空間においてサウンドフィールドを表現するための1つまたは複数の命令を含むコンピュータ可読記憶媒体を提供し、この1つまたは複数の命令は、少なくとも1つのプロセッサによって実行されると、物理空間からサウンドをキャプチャすることと、ここで、サウンドは、物理空間と通信状態にあるサウンドトランスデューサアレイによって物理空間中に発せられる、キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここで、サウンドプロジェクションパターンは、キャプチャされたサウンドのサウンドフィールドの表現である、を少なくとも1つのプロセッサに行わせる。次に、少なくとも1つのプロセッサは、サウンドトランスデューサアレイと対象ユーザとの間に延びる物理空間上にサウンドプロジェクションを表示しうる。サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示され得、物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットを含みうる。
[0021] 一態様によれば、サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされ得、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。追加的に、少なくとも1つのプロセッサは、キャプチャされたサウンドの発生ロケーションを特定するために、キャプチャされたサウンドを処理しうる。対象ユーザは、キャプチャされたサウンドの発生ロケーションにいる可能性がある。
[0022] 一態様によれば、サウンドトランスデューサアレイは、別個のマイクロフォンアレイおよびスピーカアレイを備えうる。マイクロフォンアレイがスピーカアレイとは別個であるとき、少なくとも1つのプロセッサは、マイクロフォンアレイ上でマイクロフォンビームをキャプチャし、物理空間において第1のカラーで表示す得ることに加え、スピーカアレイからスピーカビームを送信し得、ここで、スピーカビームは、物理空間において第2のカラーで表示され、第1のカラーは第2のカラーとは異なる。少なくとも1つのプロセッサは、カラーヒートマップをマイクロフォンビームに適用し得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0023] 一態様によれば、サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備えうる。マイクロフォンアレイがスピーカアレイと組み合わせられているとき、少なくとも1つのプロセッサは、マイクロフォンアレイ上でマイクロフォンビームをキャプチャし、物理空間において第1のカラーで表示することに加え、スピーカアレイからスピーカビームを送信し得、ここで、スピーカビームは、物理空間において第2のカラーで表示され、第1のカラーは第2のカラーとは異なる。少なくとも1つのプロセッサは、また、カラーヒートマップをマイクロフォンビームに適用し得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0024] 一実施形態によれば、サウンドプロジェクションパターンは、矢印のようなシンボルまたはビームパターンの形式でありうる。
[0025] 様々な特徴、性質、および利点は、同様の参照符号が全体にわたって相応に同一視される図面と併せて考慮された場合、以下で示される詳細な説明から明らかになるであろう。
図1は、サウンドトランスデューサアレイを使用する典型的なシステムの例を例示する。 図2は、サウンドトランスデューサアレイと、タッチセンシティブスクリーンを有するデバイスとを含むシステムを例示する。 図3は、音声通信用のプライバシーゾーンを作り出すために利用されるようなアレイの例を例示する。 図4は、アレイを使用した空間化(spatialized)車両ナビゲーションシステムの例を例示する。 図5は、サラウンドサウンド経験のためにアレイを利用することの例を例示する。 図6は、互いに干渉することなく異なる方向に一斉に多数のオーディオプログラムを配信するためのアレイを利用することの例を例示する。 図7は、一実施形態に係る、物理空間においてサウンドフィールドを表現することの例を例示する。 図8は、サウンドフィールドがシンボル的に矢印で表現されるサウンドフィールド視覚化システムの例を例示する。 図9は、一実施形態に係る、サウンドトランスデューサアレイが、話している個人(individual)に向けられていないことを示すサウンドフィールド視覚化画像を物理空間において表現することの例を例示する。 図10は、テーブル上に矢印として例示されるドラッギングコマンドを示す図9のタッチ面使用可能テーブル(touch surface-enabled table)を例示する。 図11は、アップデートされたサウンドフィールド視覚化画像として視覚化されている、アレイの調整されたサウンドフィールドを例示しており、それは、アレイが、上記個人からサウンドを受信するように現在適切に向けられていることを参加者に示す。 図12は、サウンドフィールド視覚化および制御システムのブロック図を例示する。 図13は、ユーザが、距離が互いに離れている2人の隣接した話者からのサウンドのピックアップを制御する必要のありうる通信会議システムまたはサウンドステージシナリオを例示する。 図14は、音声がアレイからのピックアップビームの重要な焦点(major focus)である極めて重要な話者(「VIP」:very important talker)を有する図8のタッチ面使用可能テーブルを例示する。 図15は、一実施形態に係る、物理空間においてサウンドフィールドを表現するための概略方法のフローチャートを例示する。 図16は、いくつかの実装が使用しうるサウンドトランスデューサアレイの例を例示する。 図17は、いくつかの実装が使用しうるデバイスの例を例示する。 図18は、一実施形態に係る、1つまたは複数のタブレットを利用して物理空間においてサウンドフィールドを表現および制御するためのシステムを例示する。 図19Aは、サウンドトランスデューサアレイおよびいくつかのデバイスを含むシステムを例示する。 図19Bは、サウンドトランスデューサアレイおよびいくつかのデバイスを含む別のシステムを例示する。 図19Cは、サウンドトランスデューサアレイ、中央モバイルデバイス、およびいくつかのデバイスを含む別のシステムを例示する。
[0047] 以下の説明では、本開示の様々な態様の完全な理解を与えるために、特定の詳細が示される。しかしながら、これらの態様がこれらの特定の詳細なしで実施されうることは、当業者によって理解されるであろう。例えば、不必要な詳細でこれら態様をあいまいにしないために、回路がブロック図で示されうる。他の事例では、周知の回路、構造、および技法は、本開示の態様をあいまいにしないために、詳細には示されない可能性がある。
[0048] 図1は、サウンドトランスデューサアレイを使用する典型的なシステムの例を例示する。示されるように、システムは、会議用テーブル101上に位置するサウンドトランスデューサアレイ100を含む。サウンドトランスデューサアレイ100は、異なる方向からのサウンド(または、オーディオ)をキャプチャするように配列された、いくつかのマイクロフォン/スピーカを含む。例として、4人の個人104−110が会議用テーブルの周りに位置しうる。1人の個人106が話しており、このサウンドは、サウンドトランスデューサアレイ100によってキャプチャされる。しかしながら、キャプチャされたサウンドのサウンドフィールドは、シンボル的にも視覚的にも会議用テーブル上に表現されていない。その結果、サウンドトランスデューサアレイ100が、話している個人106に集中している(focus)ことおよび/またはサウンドをキャプチャしていることの確証はない。
[0049] 物理空間(例えば、物理的サーフェス)においてサウンドフィールドを表現および制御するための方法および装置の様々な態様が、サウンドトランスデューサアレイ(本明細書では「サウンドトランスデューサアレイ」、「トランスデューサアレイ」、または単純に「アレイ」と呼ばれる)をタッチ面使用可能ディスプレイテーブルとともに含むシステムで具現化されているものとして本明細書で説明される。アレイは、トランスデューサのグループ(多数のスピーカおよび/またはマイクロフォン)を含みうる。アレイは、サウンド再生(アレイが多数のスピーカを含む構成では)、またはサウンドピックアップ(アレイが多数のマイクロフォンを含む構成では)が、特定の方向に集中した空間パターンを、他の方向からの妨害を減らすと同時に有するように、トランスデューサのグループについて信号の空間処理を行うように構成されうる。
[0050] 図2は、サウンドトランスデューサアレイと、タッチセンシティブスクリーンを有するデバイスとを含むシステムを例示する。図2に示されるように、システムは、サウンドトランスデューサアレイ200およびデバイス201を含みうる。
[0051] いくつかの実装では、サウンドトランスデューサアレイ200は、少なくとも1つのプロセッサ、メモリ、いくつかのマイクロフォンおよびスピーカ、少なくとも1つのトランシーバ、いくつかの誘導性素子(inductive element)、コンパス、少なくとも1つの通信インターフェース、ならびに少なくとも1つの識別情報マーカを含みうる。サウンドトランスデューサアレイ200のマイクロフォンおよびスピーカは、異なる方向からのサウンド、オーディオ、またはマイクロフォンビームをキャプチャし、それぞれ、物理空間において表示されるスピーカビームを送信するように配列されうる。例えば、マイクロフォンおよびスピーカは、線形に、円形で、またはその他の配列で配列されうる。サウンドトランスデューサアレイ200は、通信インターフェースおよび少なくとも1つのトランシーバを使用することによってデバイス201と通信しうる。いくつかの実装では、トランシーバは、サウンドトランスデューサアレイ200とデバイス201との間にワイヤレス通信リンク(データを受信および送信するための)を提供する。異なる実装は、サウンドトランスデューサアレイ200とデバイス201との間の通信するために異なる通信プロトコルを使用しうる。通信プロトコルの例には、近接場通信(NFC)、Wi−Fi(登録商標)、ブルートゥース(Bluetooth(登録商標))、ZigBee(登録商標)、デジタルリビングネットワークアライアンス(DLNA)、およびエアプレイが含まれる。
[0052] いくつかの実装では、コンパスは、サウンドトランスデューサアレイ200がその方位を決定する方法を提供する。方位情報は、いくつかの実装において、サウンドトランスデューサアレイの位置および/または方位を決定するために、内部で使用されうるか、他のデバイス(例えば、デバイス201)に渡されうる。誘導性素子もまた、サウンドトランスデューサアレイの位置および/または方位を決定するために使用されうる。例えば、誘導性素子は、タッチセンシティブスクリーン上でサウンドトランスデューサアレイの位置および方位を決定するために、デバイス(例えば、デバイス201)によって使用されうる。識別情報マーカはまた、マイクロフォンおよびスピーカの位置および/または方位を決定するために使用されうる。
[0053] 上の説明は、サウンドトランスデューサアレイの可能性のある構成要素/要素の概略である。サウンドトランスデューサアレイの構成要素/要素についてのより詳細な説明は、図16を参照して以下にさらに説明されるだろう。
[0054] さらに、図2に示されるように、デバイス201は、タッチセンシティブスクリーン202を含みうる。タッチセンシティブスクリーン202は、サウンドの触知可能な制御を提供するために使用されうる。タッチセンシティブスクリーン202は、ユーザの動き(例えば、タッチスクリーン上の指の動き)を感知およびキャプチャするためにも使用されうる。いくつかの実装では、デバイス201およびタッチセンシティブスクリーン202は、サーフェステーブル(surface table)に統合される。
[0055] タッチセンシティブスクリーン202に加えて、デバイス201は、また、少なくとも1つのプロセッサ、メモリ、少なくとも1つのトランシーバ、および少なくとも1つの通信インターフェースを含みうる。いくつかの実装では、上の構成要素は、デバイス201が、サウンドトランスデューサアレイ200、ローカルおよびリモートコンピュータ、ワイヤレスデバイス(例えば、電話)、ポータブルコンピュータデバイス(例えば、タブレット)と通信することを可能にする。デバイス201の構成要素/要素は、図17を参照して以下でさらに説明されるだろう。
[0056] 物理空間においてサウンドフィールドを表現および制御するためのシステムの様々なデバイスおよび構成要素の概略を提供したので、以降、これらのデバイスがそのようなシステムでどのように使用されるかについての詳細な説明が説明されるだろう。アレイについてのいくつかの例となるユースケースが、図3−6を参照して説明される。これらのユースケースは、会議用テーブルのようなサーフェステーブル上に、あるいは、1つまたは複数のタブレット上に表示され得、ここで、各個人は別個のタブレットを有する。複数の個人の各々がタブレットを利用するシステムは、図18を参照して以下でさらに説明される。
[0057] 図3は、音声通信用のプライバシーゾーンを作り出すために利用されるアレイの例を例示する。示されるように、リスナは、「明るい」ゾーン内におり、4人の潜在的な盗聴者(eavesdropper)が「暗い」ゾーン内に位置している。これらのゾーンは物理空間上に例示され、これにより、この物理空間(例えば、会議用テーブル)の周りに座っている複数の個人は、「明るい」ゾーンを表すパターンと1つまたは複数の「暗い」ゾーンを表すパターンとを視覚化することができる。「明るい」ゾーン内の一個人が対象サウンドを聞きうる間、「暗い」ゾーン内の一個人(または複数の個人)は、明るいゾーンにおけるサウンドのミュートバージョンを聞くか、または、明るいゾーンにおけるサウンドの認識不可能なバージョンを聞きうる。認識不可能なバージョンのサウンドは、明るいゾーンにおけるサウンドのマスクされたバージョンでありうる。ビームフォーミング技法または他の空間オーディオ技法が、明るいゾーンおよび暗いゾーンを形成する際に適用されうる。これらの技法についてのさらなる説明は、2012年10月31日に出願された「Systems, Methods, and Apparatus for Producing a Directional Sound Field」と題する米国実用特許出願第13/665592号(代理人管理番号112639)で見つけられうる。
[0058] 明るいゾーンおよび暗いゾーンの表現は、また、サウンドがサウンドトランスデューサアレイ内のスピーカから発散しているときに視覚的に表示されうる。そのような実施形態では、例示されるリスナは、音声通信呼中であり得、潜在的な盗聴者がリスナの会話を聞くことを阻止するためにサウンドトランスデューサアレイを使用している可能性がある。例えば、明るいおよび暗いゾーンパターンの表示が本明細書でさらに説明されるように、サーフェステーブル上にありうる。
[0059] 音声通信のためのプライバシーゾーンの異なる変形例は、上述されたプライバシーゾーンを作り出すのと同様の技法を使用することであるが、リスナおよび盗聴者は、例えば、図6に示されるように、全員異なるプログラムを聞いている。そのような変形例では、物理空間上に例示されるパターンは、各々、プログラムを表すパターンでありうる。異なる構成では、例示されるパターンは、また、プログラムを聞くためのプライバシーゾーンを表しうる。例えば、物理空間の周りの各人物(person)は、異なるサウンドレコーディングまたはサウンドストリーム(例えば、3つのラジオ局)を聞いている可能性がある。明るいゾーンおよび暗いゾーンは、人物ごとに個人化されうる(individualized)。1つの可能性のある実装は、例えば、3人の人物がいる場合、3つのプライバシーゾーンをオーバレイし、これら3つのプライバシーゾーンの各々の表現を、1つの物理空間において表示することである。したがって、各人物は、事実上、他の人物に対して彼ら自身のプライバシーゾーンを有する。
[0060] 図4は、アレイを使用した空間化車両ナビゲーションシステムの例を例示する。この例では、進路を指示する音声コマンドの各々のサウンドは、リスナが曲がるべき方向から発生しているように見受けられうる。
[0061] 図5は、サラウンドサウンド経験のためにアレイを利用することの例を例示する。
[0062] 図6は、互いに干渉することなく異なる方向に一斉に多数のオーディオプログラムを配信するためのアレイを利用することの例を例示する。
[0063] 上の使用例を実装するためのアレイについての信号の空間処理は、制御ソフトウェアによって提供されうる。ユーザは、サウンドフィールド生成およびピックアップパターン調整を構成および制御するために従来の「キーボードとマウス」インターフェースを使用して制御ソフトウェアとインタラクトしうるが、従来のインターフェースは、依然として、サウンドフィールドを制御する際に抽象的なアプローチしか提供しない。さらに、このインターフェースは、サウンドが生じたのと同じロケーションにある必要がある。
[0064] 図7は、一実施形態に係る、物理空間においてサウンドフィールドを表現することの例を例示する。このシステムでは、サウンドトランスデューサアレイによってキャプチャされたサウンドのグラフィカル表現が、サウンドフィールドの物理空間において並置されうる。グラフィカル表現は、サウンドプロジェクションパターン(例えば、1つまたは複数の物理波フィールド)の形式でありうる。
[0065] 示されるように、このシステムは、サウンドトランスデューサアレイ700およびデバイス701を含みうる。いくつかの実装では、デバイス701は、テーブルの一部でありうる。サウンドトランスデューサアレイ700は、異なる方向からのサウンド/オーディオをキャプチャするように配列された、いくつかのマイクロフォン/スピーカを含みうる。マイクロフォンは、線形に、円形で、またはその他の配列で配列されうる。デバイス701は、タッチセンシティブスクリーン702を含みうる。タッチセンシティブスクリーン702は、キャプチャされたサウンドのサウンドフィールドのグラフィカル表現を物理空間において表示するためのものでありうる。サウンドに関する予備情報もまた、タグ付けされたアレイのまわりに、テキストでまたはチャートで表示されることができる。サウンドを何か変える必要がある場合、タッチスクリーンは、個人(または、ユーザ)がサウンドを修正することを許可する何らかの制御を提供することができる。
[0066] サウンドトランスデューサアレイ700は、特定の通信プロトコルを使用する少なくとも1つのワイヤレス通信リンクを使用してデバイス701と通信しうる。通信プロトコルの例には、近接場通信(NFC)、Wi−Fi、ブルートゥース、ZigBee、デジタルリビングネットワークアライアンス(DLNA)、およびエアプレイが含まれる。
[0067] さらに、図7は、タッチセンシティブスクリーン702を有するデバイス701を会議テーブルの一部として例示し、そのテーブルの周りには、ミーティング/会議に参加している4人の個人704−701が座っている。図7に示されるように、サウンドトランスデューサアレイ700は、デバイス701のスクリーン702の上に配置されうる。
[0068] サウンドトランスデューサアレイ700から、マイクロフォンおよびスピーカについての実際のフィルタ情報が入手可能である。この情報から、3D空間におけるサウンドプロジェクションパターンまたはマイクロフォンピックアップパターン(このケースでは、2Dの水平空間が情報の大半を含む)が算出されうる。この情報は、上述されたような、ブルートゥース、近接場通信、DLNA、等のワイヤレスプロトコルを介してサーフェステーブルに送信されうる。この情報を用いて、様々なコンピュータグラフィカル視覚化が生成されうる。一般のグラフィックスは、2D音圧(sound pressure)またはその際立たせたバージョンと一致する2Dグラフィックスでありうる。グラフィックスの原点(origin)は、サウンドトランスデューサアレイ700の中心にアンカーされ得、それが動くとシフトしうる。いくつかの実装では、超音波/赤外線/音波パルスが、サウンドトランスデューサアレイ700の位置を決定するために使用されうる。他の実装では、サウンドトランスデューサアレイ700は、近接場通信(NFC)タグを含み得、これは、デバイス701が、サウンドトランスデューサアレイ700の位置を決定することを可能にする。このように、サウンドフィールドアレイの表現(すなわち、シンボル化および表現)は、空間において実際のサウンドフィールドと配列されうる。
[0069] 図8は、サウンドフィールドが矢印でシンボル的に表現されるサウンドフィールド視覚化システムの例を例示する。矢印は、サウンドトランスデューサアレイ700から、キャプチャされたサウンドの発生ロケーションに延びうる。
[0070] 図9は、一実施形態に係る、サウンドトランスデューサアレイが、話している個人に向けられていないことを示すサウンドフィールド視覚化画像を物理空間において表現することの例を例示する。
[0071] サウンドフィールド生成およびピックアップパターンとインタラクトする際に、より直観的および直接的なアプローチを提供するために、個人(またはユーザ)が直接「サウンドにタッチすること」を可能にする新規かつ自明なシステムが本明細書で説明される。開示されるアプローチの一態様では、図9に例示されているタッチ面使用可能テーブル920は、タッチスクリーンディスプレイ面(「テーブル面(table surface)」)922上にタッチスクリーンインターフェースおよび他のセンサを含みうる。サウンドトランスデューサアレイ(「アレイ」)930のような、タグ付けされたオブジェクトが、テーブル920の上にまたは近くに配置されうる。図9で説明される例は、通信会議に参加しており、会議用テーブルのようなタッチ面使用可能テーブル920の周りに位置している4人の個人902、904、906、および908を含む。一個人906が話しており、その個人からのサウンドがアレイ930によってキャプチャされている。
[0072] アレイ930は、異なる方向からの/へのサウンド(またはオーディオ)をキャプチャ/生成するように配列されたいくつかのマイクロフォン/スピーカを含みうる。マイクロフォンは、線形に、円形で、またはその他の配列で配列されうる。これらのオブジェクトについての情報およびグラフィックスがテーブル920上に表示されうる。例えば、空間処理パラメータ(「サイドローブ除去:20dB」および「ビーム幅:15度」と例示されている)、話している人の識別情報(「スピーカ:ハイディ」と例示されている)、および時間情報(「ミーティング残り時間:20分」と例示されている)のような、通信会議に関するパラメータを描写するグラフィカル情報要素950がテーブル面922上に表示されうる。
[0073] 加えて、アレイ930のようなサウンドデバイスであるタグ付けされたオブジェクトの場合、サウンド放射のグラフィカル表現および/またはマイクロフォンピックアップパターンはそれらの近くで視覚化されうる。いくつかの実装では、超音波/赤外線/音波パルスが、アレイ930の位置を決定するために使用される。他の実装では、アレイ930は、近接場通信(NFC)タグを含み得、これは、テーブル920が、アレイ930の位置および相対的な方位を決定することを可能にする。このように、アレイ930に関する任意のサウンドプロジェクションパターンの表現(すなわち、シンボル化および表現)は、関連性のある実際のサウンドフィールドと空間的に配列されうる。例えば、サウンドプロジェクションパターン(または、フィールド視覚化画像)952が、キャプチャされたサウンドのサウンドフィールドの表現のために、テーブル面922上に表示されうる。サウンドフィールド視覚化画像952は、アレイ930が、話している個人906に集中していることおよび/またはサウンドをキャプチャしていることの視覚的な確証を提供しうる。図9で見受けられうるように、サウンドフィールド視覚化画像952は、アレイ930が、話している個人906に―そうされるべきであったとしても―向けられていない参加者を視覚的に示しうる。
[0074] 開示されるアプローチの一態様では、タッチスクリーン制御ソフトウェアが、アレイ930の空間処理特性を修正するために使用されうる。タッチスクリーン制御ソフトウェアは、サウンドフィールド視覚化および制御システム(「サウンドフィールドシステム」)1200の一部として実装され、この一例が図12に描写される。サウンドフィールドシステム1200において、アレイ930は、様々な通信技術を使用する任意の数のワイヤレス通信リンク1290を使用してテーブル920と通信しうる。
[0075] アレイ930から、そこに含まれるマイクロフォンおよびスピーカについての実際のフィルタ情報が入手可能である。この情報から、3次元(3D)空間(このケースでは、テーブル面922に対して水平な2次元(2D)平面が情報の大半を含む)におけるサウンドプロジェクションパターンまたはマイクロフォンピックアップパターンが決定されうる。この情報は、ワイヤレス通信リンク1290を介してサーフェステーブルに送信されうる。テーブル面922が、サウンドプロジェクションパターンの挙動の視覚的な相対物(「グラフィック視覚化」1222と示される)を表示すると同時に、テーブル920は、マルチタッチおよび他のコマンドセンサ(「マルチタッチコマンド1224」と例示される)を有する触知可能なインターフェースとしても機能しうる。
[0076] 一実施形態によれば、ユーザインターフェースは、個人(または、ユーザ)が、所望の動作を選択することを可能にするために、物理空間上に表示されうる。この所望の動作は、1つまたは複数のサウンドプロジェクションパターンを、それへの第2の動作の適用のために選択すること、または、1つまたは複数のサウンドプロジェクションパターンからなる1つまたは複数の仮想グルーピングを作り出すことを備えうる。グラフィカル表現は、1つまたは複数の仮想グルーピングの例示を備え得、この例示は、1つまたは複数の仮想レイヤを備え得、1つまたは複数の仮想グルーピングの各々は、1つまたは複数の仮想レイヤのうちの少なくとも1つに対応する。
[0077] 個人(または、ユーザ)は、リアルタイムでまたはほぼリアルタイムで視覚フィードバックを受け取ると同時に、タッチ面とインタラクトすることによって、視覚化されたサウンドプロジェクションパターンに関連するパラメータを直接的かつ直観的に調整しうる。可能性のあるインタラクション様式は、個人がタッチ面上で1つまたは複数のコマンドを実行することを含みうる。コマンドは、サウンドトランスデューサアレイに関連付けられた1つまたは複数のサウンドプロジェクションパターン(例えば、1つまたは複数の物理波フィールド)のグラフィカル表現を操作するために使用されうる。コマンドは、テキストの形式であり得、キーボード、マウス、ボタン、バー、メニュー、またはソフトウェアにおけるそれらの相対物からの通信である。コマンドはまた、タッチ面上のディスプレイの変化から受け取った視覚フィードバックに基づいて調整されることができるジェスチャでありうる。ジェスチャは、コンピュータマウスの代わりに、個人の指を用いて行われうる。ジェスチャには、多数の(2重または3重の)タッピングによってサウンドプロジェクションパターンを選択すること、そのパターンの周りに2回以上円を描くこと、異なるビームを異なる仮想レイヤに送ること、1つまたは複数のビームを一時的に隠すこと、1つまたは複数のビームを選択すること、多数のサウンドプロジェクションパターンをまとめてグルーピングしてグループ方式でそれらを操作すること、および/または、ビームまたはグルーピングが調節および強調されうるようになるために、ビームまたはグルーピングが選択された時点での追加のグラフィック効果のアプリケーションを操作すること、が含まれうるがそれらに限られるわけではない。
[0078] 図9の例に戻り、グラフィック視覚化1222は、アレイ930から受け取られる情報(「サウンド入力および出力パターン、サイド情報1232」として例示される)を用いて生成されうる。一般のグラフィックスは、2D音圧またはその際立たせたバージョンと一致する2Dグラフィックを含みうる。図9に例示される例では、サウンドフィールド視覚化画像952は、キャプチャされたサウンドについての2Dサウンドフィールドを視覚的に表現しうる。開示されるアプローチの一態様では、グラフィックスの原点は、アレイ930の中心にアンカーされ得、アレイ930が動くとシフトしうる。
[0079] 図9で示されるように、サウンドフィールド視覚化画像952は、アレイ930が、たとえそれが向けられるべきであっても、話している個人906に向けられていないことを参加者に視覚的に示し、参加者のいずれか1人は、アレイ930のサウンドフィールドを個人906の方にリダイレクトするためのジェスチャを行いうる。テーブル面922から受け取ったマルチタッチコマンド1224に基づく情報のような制御情報は、アレイ930の特性(「サウンドフィールド境界線、強度、方向、等」1234と例示される)を変更することによって、アレイ930を制御するために使用されうる。したがって、個人906は、矢印1002で図10に例示されるドラッギングコマンドをテーブル面922上で行い、アレイ930をリダイレクトしうる。図11は、アップデートされたサウンドフィールド視覚化画像1152として視覚化されている、アレイ930の調整されたサウンドフィールドを例示しており、これは、個人906からのサウンドを受信するためにアレイ930が現在適切に向けられていることを参加者に示す。したがって、ユーザは、文字通り「サウンドにタッチすること」を行い、ビームパターンをリダイレクトすること、新しいビームパターンを描くこと、パラメータ値を調整すること、等の動作を行い、サウンドフィールドが操作されていることに伴う視覚的変化を見ることができる。
[0080] 図13に例示されている通信会議システムまたはサウンドステージシナリオ1300のような別の例では、ユーザは、互いに距離が離れている2人の隣接した話者1302、1304からのサウンドのピックアップを制御する必要がありうる。隣接した話者1302、1304の間をカバーする距離が広いため、アレイ930からのピックアップビームは、このピックアップビームが、話者1302、1304をカバーするのに十分な幅になるように、しかしながら、背景雑音のようなスプリアスのサウンドをピックアップするほど広くなりすぎないように調整される必要がありうる。面922上に表示されるサウンドフィールド視覚化画像1352によって例示されているように、視覚的にピックアップビームを見ることができるようになると、参加者は、アレイ930からのピックアップビームが狭すぎることを見ることができる。すなわち、ユーザは、設定されるように、アレイ930からのピックアップビームが十分に広くないことを見ることができる。この例では、例えば、2つの手を使用して、ユーザは、矢印1392、1394で例示されているように、テーブル920に対して、アレイ930からのピックアップビームの「拡大」をジェスチャしうる。次に、テーブル920は、ユーザがより広いビームを望むことをアレイ930に通信しうる。アレイ930は、その内蔵フィルタを適切に調整し得、テーブル920は、テーブル面922上により広いビームを視覚化し得、これらはすべてすべてをリアルタイムでまたはほぼリアルタイムである。
[0081] 通常、アレイ930は、ピックアップビームが話している人に向けられるように自動的に切り替わりうるように、話している人を追跡しうる。図9の例を参照すると、図14でさらに修正されうるように、音声がアレイ930からのピックアップビームの重要な焦点である極めて重要な話者(「VIP」)1410が存在しうる。システムは、VIP 1410が話していることは何も聞き逃すべきではなく、個人902、904、906、および908のような他の個人からの何らかのコンテンツを失うことを犠牲にしうる。この例えは、3重にタッピングすること、または、VIP 1410の方向に円を2回描くことといったジェスチャにより、アレイ930からのピックアップビームは、VIP 1410を追跡するようにロックされ得、アレイ930は、VIP 1410だけを記録しうる。サウンドフィールド視覚化画像1452は、アレイ930からのピックアップビームの現在の方向を関係者に示すためにテーブル面922上に表示され得、ロックアイコン1454も、それに加え他の視覚インジケーションもまた、ピックアップビームがロックモードであることを示すためにテーブル面922上に出現しうる。ユーザは、ピックアップビームをアンロックするために別のジェスチャを使用しうる。
[0082] 本明細書で説明される様々な態様はまた、タブレットまたは他のタッチスクリーンデバイスに拡張され得、ここで、アレイもまた、タブレットデバイス上に、タグ付けされ表現されうる。例えば、多くの参加者は、各々、テーブル920とともにシステムの一部として統合されうるサウンドトランスデューサアレイに関連付けられたタブレットデバイスを有しうる。
[0083] 物理空間においてサウンドフィールドを表現するためのシステムの様々なデバイスおよび構成要素の概略を提供したので、以降、これらのデバイスがそのようなシステムでどのように使用されるかについての詳細な説明が説明される。
[0084] 図15は、一実施形態に係る、物理空間においてサウンドフィールドを表現するための概略な方法のフローチャートを例示する。図15に示されるように、サウンドは、物理空間からキャプチャされ得、この場合、サウンドは、物理空間と通信状態にあるサウンドトランスデューサアレイによって物理空間へと発せられる1502。サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされ得、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含みうる。物理空間は、例えば、ディスプレイスクリーン、タッチセンシティブスクリーン、またはタブレットでありうる。次に、キャプチャされたサウンドのサウンドプロジェクションパターンが算出され得、ここで、サウンドプロジェクションパターンは、キャプチャされたサウンドのサウンドフィールドの表現である1504。サウンドプロジェクションパターンは、例えば、矢印のようなシンボルまたはビームパターンの形式でありうる。サウンドプロジェクションパターンが算出された後、サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで物理空間上に表示され、サウンドトランスデューサアレイと対象ユーザとの間に延びうる1506。
[0085] 一実施形態によれば、ひとたびサウンドがキャプチャされると、キャプチャされたサウンドは、キャプチャされたサウンドの発生ロケーションを識別するために処理されうる。対象ユーザは、キャプチャされたサウンドの発生ロケーションにいる可能性がある。
[0086] 一実施形態によれば、サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備えうる。マイクロフォンビームは、サウンドトランスデューサアレイ上でキャプチャされ、物理空間において第1のカラーで表示され得、スピーカビームは、サウンドトランスデューサアレイから送信され、物理空間において第2のカラーで表示され得、ここで、第1のカラーは第2のカラーとは異なる。カラーヒートマップがマイクロフォンビームに適用され得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0087] 別の実施形態によれば、サウンドトランスデューサアレイは、別個のマイクロフォンアレイと別個のスピーカアレイを備えうる。マイクロフォンアレイは、物理空間において第1のカラーで表示されうるマイクロフォンビームをキャプチャし得、スピーカアレイは、物理空間において第2のカラーで表示されるスピーカビームを送信し得、ここで、第1のカラーは第2のカラーとは異なる。マイクロフォンビームにカラーヒートが適用され得、ここで、カラーヒートマップの主ローブは強い信号領域を表し、カラーヒートマップにおけるカラーの変化は弱い信号領域を表す。
[0088] 図16は、いくつかの実装が使用しうるサウンドトランスデューサアレイの例を例示する。図16に示されるように、サウンドトランスデューサアレイ1600は、少なくとも1つのプロセッサ/処理回路1602、メモリ1604、複数のマイクロフォンおよびスピーカ1606、いくつかの入力デバイス1608、少なくとも1つのトランシーバ1610、少なくとも1つのユーザインターフェースモジュール1612、および少なくとも1つの通信インターフェースモジュール1614を含みうる。
[0089] マイクロフォンおよびスピーカ1606は、サウンドおよび/または音声をキャプチャし、物理空間において表示されるスピーカビームを送信するために使用されうる。入力デバイス1608は、ユーザが、文字通り「サウンドにタッチする」を行い、ビームパターンをリダイレクトすること、新しいビームパターンを描くこと、パラメータ値を調整すること、等の動作を行い、サウンドフィールドが操作されることに伴う視覚的変化を見ることを可能にする
[0090] トランシーバ1610は、サウンドトランスデューサアレイが、他のデバイス(例えば、電話、コンピュータ、タブレット、サウンドトランスデューサアレイ)からのワイヤレス信号を送信および受信することを可能にしうる。サウンドトランスデューサアレイは、多数のトランシーバを含み得、それは、サウンドトランスデューサアレイが、異なる通信リンクおよび異なる通信プロトコルを使用して異なるデバイスと通信すること(例えば、ワイヤレスに)を可能にする。いくつかの実装では、ユーザインターフェースモジュール1612は、マイクロフォン1606、入力デバイス1608、およびプロセッサ/処理回路1602の間にインターフェースを提供する。ユーザインターフェースモジュール1612は、いくつかのユーザインターフェースモジュール(例えば、各構成要素のためのモジュール)を含みうる。いくつかの実装では、通信インターフェースモジュール1614は、トランシーバ1610と、プロセッサ/処理回路1602との間にインターフェースを提供する。通信インターフェースモジュール1614は、いくつかのインターフェースモジュール(例えば、各トランシーバのためのモジュール)を含みうる。
[0091] 図16に示されるように、プロセッサ/処理回路1602は、サウンド検出モジュール/回路1616、位置/方位モジュール/回路1618、サウンド処理モジュール/回路1620、およびコマンドモジュール/回路1622を含みうる。
[0092] サウンド検出モジュール/回路1616は、サウンドを検出およびキャプチャするためのものでありうる。いくつかの実装では、サウンド検出モジュール/回路1616は、マイクロフォン1606からサウンドをキャプチャしうる。位置/方位モジュール/回路1618は、いくつかの実装では、サウンドトランスデューサアレイ1600の位置および/または方位を決定するためのものでありうる。サウンド処理モジュール/回路1620は、マイクロフォン1606によってキャプチャされたサウンドを処理し、キャプチャされたサウンドのサウンドプロジェクションパターン(すなわち、1つまたは複数の物理波フィールドのグラフィカル表現)を算出し、物理空間上にグラフィカル表現を表示するためのものでありうる。コマンドモジュール/回路1622は、アレイのサウンドフィールドをリダイレクトするためのマルチタッチコマンド(または、ジェスチャ)に基づいて制御情報を処理するためのものでありうる。サウンドの処理は、キャプチャされたサウンドから個人のサウンドを抽出することを含みうる。サウンドの処理は、いくつかの実装では、話している人のアイデンティティを特定することも含みうる。
[0093] 図17は、いくつかの実装が使用しうるデバイスの例を例示する。図17に示されるように、デバイス1700は、少なくとも1つのプロセッサ/処理回路1702、メモリ1704、タッチセンシティブスクリーン1706、いくつかの入力デバイス1708、少なくとも1つのトランシーバ1710、少なくとも1つのユーザインターフェースモジュール1712、および少なくとも1つの通信インターフェースモジュール1714を含みうる。
[0094] タッチセンシティブスクリーン1706は、物理空間においてサウンドフィールドのグラフィカル表現を表示するために使用されうる。タッチセンシティブスクリーン1706は、1つまたは複数のユーザからの入力を受信するためにも使用されうる。入力デバイス1708は、ユーザが、データを入力することおよび/またはデバイスの制御を提供することを可能にする。トランシーバ1710は、デバイスが、他のデバイス(例えば、電話、コンピュータ、タブレット、サウンドトランスデューサアレイ)からのワイヤレス信号を送信および受信することを可能しうる。デバイスは、サウンドトランスデューサアレイが、異なる通信リンクおよび異なる通信プロトコルを使用して異なるデバイスと通信すること(例えば、ワイヤレスに)を可能にする多数のトランシーバを含みうる。いくつかの実装では、ユーザインターフェースモジュール1712は、タッチセンシティブスクリーン1706、入力デバイス1708、およびプロセッサ/処理回路1702の間にインターフェースを提供する。ユーザインターフェースモジュール1712は、いくつかのユーザインターフェースモジュール(例えば、各構成要素のためのモジュール)を含みうる。いくつかの実装では、通信インターフェースモジュール1714は、トランシーバ1710とプロセッサ/処理回路1702との間にインターフェースを提供する。通信インターフェースモジュール1714は、いくつかのインターフェースモジュール(例えば、各トランシーバのためのモジュール)を含みうる。
[0095] 図17に示されるように、プロセッサ/処理回路1702は、サウンドトランスデューサアレイとインターフェース接続するためのサウンド検出モジュール/回路1716、サウンドトランスデューサアレイの位置を決定するための位置/方位モジュール/回路1718、サウンド処理モジュール/回路1720、およびコマンドモジュール/回路1722を含みうる。
[0096] サウンド検出モジュール/回路1716は、サウンドトランスデューサアレイとインターフェース接続するためのものでありうる。位置/方位モジュール/回路1718は、いくつかの実装では、サウンドトランスデューサアレイの位置および/または方位を決定するためのものでありうる。サウンド処理モジュール/回路1720は、いくつかの実装では、マイクロフォンによってキャプチャされたサウンドを処理するためのものでありうる。マイクロフォンは、デバイスに結合されたサウンドトランスデューサアレイのマイクロフォンでありうる。サウンドの処理は、キャプチャされたサウンドから個人のサウンドを抽出することを含みうる。サウンドの処理は、いくつかの実装では、話している人のアイデンティティを特定することも含みうる。コマンドモジュール/回路1722は、アレイのサウンドフィールドをリダイレクトするためのマルチタッチジェスチャに基づいて制御情報を処理するためのものでありうる。
[0097] 図18は、一実施形態に係る、1つまたは複数のタブレットを利用して物理空間においてサウンドフィールドを表現および制御するためのシステムを例示する。図18に示されるように、3人の個人1800−1806は、各々、互いにまたはハブ1814と直接通信することができるタブレット1808−1812を有しうる。各タブレットは、各タブレット内の内部にまたは各タブレットの外部に位置しうるそれ自体のサウンドトランスデューサアレイ(すなわち、マイクロフォンおよびスピーカ)1809−1813を有しうる。
[0098] 図19Aは、追加のデバイスを使用して実装されうる別の構成を例示する。図19Aに示されるように、サウンドトランスデューサアレイ1900は、いくつかのモバイルデバイス1902−1908(例えば、ハンドセット、タブレット)と通信状態にある。これらのモバイルデバイスの各々は、それぞれのユーザ/人物1910−1916に関連付けられうる。モバイルデバイスは、ハンドセット、タブレット、電話、スマートフォン、ポータブル電子デバイス、電子ノートパッド、および/または携帯情報端末(PDA)でありうる。モバイルデバイスは、セルラネットワークおよび/または他の通信ネットワークを介して、他のデバイスと通信することができうる。
[0099] モバイルデバイス1902−1908は、ユーザが、サウンドトランスデューサアレイ1900に「チェックイン」および/または登録する(例えば、マイクロフォンアレイ1900の近くでモバイルデバイスをタップすることによってNFCを使用してチェックインする)ことを可能にしうる。しかしながら、異なる実装は、異なる方法でサウンドトランスデューサアレイ1900に「チェックイン」および/または登録しうる。例えば、モバイルデバイスは、サウンドトランスデューサアレイ1900と通信するために別の通信プロトコルまたは通信リンク(例えば、ブルートゥース、WiFi(登録商標))を使用しうる。ひとたびユーザ/モバイルデバイスが「チェックイン」または登録されると、モバイルデバイスは、超音波/赤外線/音波パルス(または、他の既知のタグ)を使用してサウンドトランスデューサアレイによって追跡され得、それは、サウンドトランスデューサアレイ1900がモバイルデバイスの位置/ロケーションを継続して知ることを可能にし、これは、結果として、サウンドトランスデューサアレイ1900が、追跡されているモバイルデバイスに関連付けられたユーザの位置/ロケーションを知っていることを意味する。
[0100] 各モバイルデバイス1902−1908は、ユーザが、サウンドトランスデューサアレイ1900に対してユーザおよび/またはデバイス(例えば、タブレット)の位置/ロケーションを特定することを可能にするそのそれぞれのスクリーン上にグラフィカルユーザインターフェースを提供しうる。すなわち、ユーザは、モバイルデバイスのスクリーン上にユーザの位置を示し得、それは、次に、サウンドトランスデューサアレイ1900および/または別のデバイス(例えば、デバイス1001)に送信される(例えば、ブルートゥース、WiFiを介して)。モバイルデバイス(例えば、モバイルデバイス1902−1908)のスクリーン上のグラフィカルユーザインターフェースは、また、テキスト(例えば、転写されたキャプチャされた音声)を提供/表示しうる。そのようなテキストは、サウンドトランスデューサアレイ1900からおよび/またはサウンドトランスデューサアレイ1900と通信状態にある別のデバイスから提供/送信されうる。
[0101] サウンドトランスデューサアレイ1900は、テーブル(示されない)上にまたはテーブル上に統合されたデバイスのタッチセンシティブスクリーン(示されない)上に位置しうる。同様に、モバイルデバイス1902−1908は、テーブル上にまたはテーブル上に統合されたデバイスのタッチセンシティブスクリーン上に配置されうる。
[0102] 図19Bは、異なるデバイスを使用して実装されうる別の構成を例示する。図19Bは、サウンドトランスデューサアレイ1900がデバイス1920のタッチセンシティブスクリーン1922上に位置していること、および、ユーザの位置が、デバイス1920のタッチセンシティブスクリーン1922上のグラフィカルユーザインターフェース上で指定されていることを除いて図19Aに類似する。図19Bに示されるように、モバイルデバイス1902−1908(例えば、ハンドセット、タブレット)は、サウンドトランスデューサアレイ1900および/またはデバイス1920と通信状態にある(例えば、ブルートゥース、WiFiを使用して)。
[0103] 図19Bにさらに示されるように、ユーザは、グラフィカルユーザインターフェース要素の位置/ロケーションを指定することによって、サウンドトランスデューサアレイ1900に対するそれらの位置を指定しうる。図19Bに示されるように、グラフィカルユーザインターフェース上に表示される4つのグラフィカルユーザインターフェース要素1930−1936がスクリーン1922に示されている。各グラフィカルユーザインターフェース要素1930−1936は、特定のユーザおよび/またはモバイルデバイスに関連付けられうる。グラフィカルユーザインターフェース要素は、ユーザインターフェース要素が関連付けられたユーザを特定するテキストまたは画像(例えば、ID、名前、写真)を含みうる。異なる実装は、グラフィカルユーザインターフェース要素を異なった方法で提示しうる。いくつかの実装では、グラフィカルユーザインターフェース要素は、ユーザがスクリーンをタップすることおよび/またはログインすることで提示される。いくつかの実装では、グラフィカルユーザインターフェース要素は、ユーザが、図19Aで上に説明された例示的な方法のうちの1つを使用してサウンドトランスデューサアレイ1900および/またはデバイス1920に「チェックイン」および/または登録する(例えば、サウンドトランスデューサアレイ1900および/またはデバイス1920をタッピングすることによってNFCを使用してチェックインする)とき提示されうる。モバイルデバイス1902−1908がサウンドトランスデューサアレイ1900および/またはデバイス1920と通信状態にあるため、モバイルデバイス1902−1908は、サウンドトランスデューサアレイ1900およびデバイス1920の一方またはそれら両方からデータを受信しうる。そのようなデータは、モバイルデバイス1902−1908のスクリーン上に提示/表示されうる。データの例には、いくつかの実装では、キャプチャされた音声の転写されたテキストが含まれる。
[0104] いくつかの実装では、デバイス1920は、モバイルデバイス(例えば、タブレット、ハンドセット)である。これは、モバイルデバイスのスクリーンサイズが、モバイルデバイスのスクリーン上に配置されるべきサウンドトランスデューサアレイ1900に対して十分に大きい場合に可能でありうる。そのような事例では、モバイルデバイスは、サウンドトランスデューサアレイ1900が配置されている中央モバイルデバイス(例えば、中央タブレット)として機能しうる。図19Cは、中央モバイルデバイス(例えば、中央タブレット)を含む構成の例を例示する。図19Cに示されるように、モバイルデバイス1902−1908(例えば、ハンドセット、タブレット)は、サウンドトランスデューサアレイ1900および/または中央モバイルデバイス1940と通信状態にある(例えば、ブルートゥース、WiFiを使用して)。中央モバイルデバイス1940は、サウンドトランスデューサアレイ1900が配置されうるタッチセンシティブスクリーン1942を含む。いくつかの実装では、モバイルデバイス1902−1908はいずれも中央モバイルデバイスとして機能しうることに留意されたい。
[0105] 図19Cの構成は、図19Bのデバイス1920(これはサーフェステーブル/サーフェスタブレットでありうる)が、他のモバイルデバイス(例えば、モバイルデバイス1902−1908)と通信状態にある中央モバイルデバイスとして機能しうるモバイルデバイス1940(例えば、タブレット、スマートフォン)と置き換えられている点を除いて図19Bの構成に類似しうる。いくつかの実装では、図19Cに示される構成の動作は、図19A−19Bに示され、説明された構成の動作に類似する。すなわち、例えば、いくつかの実装では、ユーザは、NFCまたは他の通信プロトコル/リンク(例えば、ブルートゥース、WiFi)を使用して、サウンドトランスデューサアレイ1900および/または中央モバイルデバイス1940に「チェックイン」、登録、および/またはログインしうる。
[0106] 「例示的(な)」という用語は、本明細書で使用される場合、「実例、事例、または例示を提供する」という意味で用いられる。「例示的」なものとして本明細書で説明された任意の実装または態様は、必ずしも、本開示の他の態様よりも好ましい、または利点を有するものと解釈されるべきではない。同様に、「態様」という用語は、本開示のすべての態様が、説明された特徴、利点、または動作モードを含むことを必要としない。「結合(された)」という用語は、本明細書において、2つのオブジェクト間の直接的または間接的な結合を指すために使用される。例えば、オブジェクトAがオブジェクトBに物理的に接触しており、オブジェクトBがオブジェクトCに接触している場合、オブジェクトAとCとは、それらが互いに直接物理的には接触していない場合であっても、依然として、互いに結合しているものとして考えられうる。例えば、ダイの基板は、そのダイの基板がパッケージング基板と直接物理的に接触していない場合であっても、パッケージング基板に結合されうる。
[0107] 図1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18および/または19に例示される構成要素、ステップ、特徴、および/または機能のうちの1または複数は、単一の構成要素、ステップ、特徴、または機能へと組み合わされるおよび/または並べ換えられうるか、あるいはいくつかの構成要素、ステップ、または機能に組み込まれうる。追加の要素、構成要素、ステップ、および/または機能もまた、本発明から逸脱することなく追加されうる。
[0108] また、これら実施形態が、フローチャート、フロー図、構造図、またはブロック図として描写されるプロセスとして説明されうることに留意されたい。フローチャートは、動作を順次プロセスとして説明しうるが、これら動作の多くは並行してまたは同時に行われうる。加えて、動作の順序は並べ換えることができる。プロセスは、その動作が完了したときに終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム、等に対応しうる。プロセスが関数に対応するとき、その終了は、呼び出し関数または主関数に関数の復帰に対応する。
[0109] さらに、記憶媒体は、データを記憶するための1つまたは複数のデバイスを表すことができ、それには、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および/または情報を記憶するための他の機械可読媒体が含まれる。「機械可読媒体」または「機械可読記憶媒体」という用語には、ポータブルまたは固定記憶デバイス、光学記憶デバイス、ワイヤレスチャネル、ならびに命令(1または複数)および/またはデータを記憶、包含、または搬送する能力のある様々な他の媒体が含まれるがそれらに限定されるものではない。
[0110] さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはこれらの任意の組み合わせによって実装されうる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実装される場合、必要なタスクを行うためのプログラムコードまたはコードセグメントは、記憶媒体または他の記憶装置(1または複数)のような機械可読媒体に記憶されうる。プロセッサは、必要なタスクを行いうる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムセグメントの任意の組み合わせを表しうる。コードセグメントは、情報、データ、引き数、パラメータ、またはメモリコンテンツを渡すことおよび/または受け取ることによって、ハードウェア回路または別のコードセグメントに結合されうる。情報、引き数、パラメータ、データ、等は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信、等を含む任意の適切な手段を介して、渡されること、転送されること、または送信されることができる。
[0111] 本明細書で開示された例に関連して説明された実例となる様々な論理ブロック、モジュール、回路(例えば、処理回路)、要素、および/または構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理構成要素、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成要素、あるいは本明細書で説明された機能を行うように設計されたこれらの任意の組み合わせで、実装されるかまたは行われうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替として、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、コンピューティング構成要素の組み合わせ、例えば、DSPと、1つのマイクロプロセッサ、多くのマイクロプロセッサ、DSPコアと連携した1つまたは複数のマイクロプロセッサ、またはその他のこのような構成との組み合わせとして実装されうる。
[0112] 本明細書で開示された例に関連して説明された方法またはアルゴリズムは、処理ユニット、プログラミング命令、または他の指示の形式で、直接ハードウェアにおいて、プロセッサによって実行可能なソフトウェアモジュールにおいて、または両方の組み合わせにおいて具現化されることができ、単一のデバイス内に含まれるかまたは複数のデバイスにわたって分散されることができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野において知られているその他の形式の記憶媒体内に存在しうる。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合されうる。代替として、記憶媒体はプロセッサに一体化されうる。
[0113] 当業者であれば、本明細書で開示された実施形態に関連して説明された実例となる様々な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されうることはさらに認識するであろう。このハードウェアおよびソフトウェアの互換性を明確に例示するために、実例となる様々な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能の観点から上記に説明されている。このような機能性がハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の用途およびシステム全体に課せられる設計制約に依存する。
[0114] 本明細書で説明された発明の様々な特徴は、本発明から逸脱することなく異なるシステムにおいて実装されうる。本開示の前述の態様は単なる例であり、本発明を限定するものとして解釈されるべきではないことに留意されたい。本開示の態様の説明は、特許請求の範囲の適用範囲を限定することではなく、実例となるものであることが意図されている。このように、本教示は、他のタイプの装置に容易に適用されることができ、多くの代替例、修正例、および変形例が当業者に明らかになるであろう。
[0114] 本明細書で説明された発明の様々な特徴は、本発明から逸脱することなく異なるシステムにおいて実装されうる。本開示の前述の態様は単なる例であり、本発明を限定するものとして解釈されるべきではないことに留意されたい。本開示の態様の説明は、特許請求の範囲の適用範囲を限定することではなく、実例となるものであることが意図されている。このように、本教示は、他のタイプの装置に容易に適用されることができ、多くの代替例、修正例、および変形例が当業者に明らかになるであろう。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
物理空間においてサウンドフィールドを表現する方法であって、
前記物理空間からサウンドをキャプチャすることと、ここで、前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
前記物理空間上に前記サウンドプロジェクションパターンを表示することと
を備え、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
方法。
[C2]
前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理することをさらに備える、
C1に記載の方法。
[C3]
前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
C2に記載の方法。
[C4]
前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
C1に記載の方法。
[C5]
前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記スピーカアレイからスピーカビームを送信することと
をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C4に記載の方法。
[C6]
カラーヒートマップを前記マイクロフォンビームに適用することをさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C5に記載の方法。
[C7]
前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
C1に記載の方法。
[C8]
前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記サウンドトランスデューサアレイからスピーカビームを送信することと
をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C7に記載の方法。
[C9]
カラーヒートマップを前記マイクロフォンビームに適用することをさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C8に記載の方法。
[C10]
前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含む、
C1に記載の方法。
[C11]
前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
C1に記載の方法。
[C12]
前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
C1に記載の方法。
[C13]
前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
C1に記載の方法。
[C14]
前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを備える、
C1に記載の方法。
[C15]
前記サウンドプロジェクションパターンは、シンボルを備える、
C1に記載の方法。
[C16]
前記シンボルは、矢印を備える、
C15に記載の方法。
[C17]
物理空間と通信状態にあるサウンドトランスデューサアレイであって、
スピーカアレイと、
前記スピーカアレイと通信状態にある、サウンドをキャプチャするためのマイクロフォンアレイと、
前記マイクロフォンアレイと通信状態にある少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
前記サウンドをキャプチャすることと、
前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
前記物理空間上に前記サウンドプロジェクションパターンを表示することと
を行うように構成され、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
サウンドトランスデューサアレイ。
[C18]
前記少なくとも1つのプロセッサは、前記キャプチャされたサウンドの発生ロケーションを特定するために、前記キャプチャされたサウンドを処理することを行うようにさらに構成される、
C17に記載のサウンドトランスデューサアレイ。
[C19]
前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
C18に記載のサウンドトランスデューサアレイ。
[C20]
前記マイクロフォンアレイは、前記スピーカアレイとは別個である、
C17に記載のサウンドトランスデューサアレイ。
[C21]
前記少なくとも1つのプロセッサは、
前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記スピーカアレイからスピーカビームを送信することと
を行うようにさらに構成され、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C20に記載のサウンドトランスデューサアレイ。
[C22]
前記少なくとも1つのプロセッサは、カラーヒートマップを前記マイクロフォンビームに適用するようにさらに構成され、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C21に記載のサウンドトランスデューサアレイ。
[C23]
前記マイクロフォンアレイは、前記スピーカアレイと組み合わせられる、
C17に記載のサウンドトランスデューサアレイ。
[C24]
前記少なくとも1つのプロセッサは、
前記組み合わせられたマイクロフォンおよびスピーカアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記組み合わせられたマイクロフォンおよびスピーカアレイからスピーカビームを送信することと
をさらに行うように構成され、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C23に記載のサウンドトランスデューサアレイ。
[C25]
前記少なくとも1つのプロセッサは、カラーヒートマップを前記マイクロフォンビームに適用することを行うようにさらに構成され、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C24に記載のサウンドトランスデューサアレイ。
[C26]
前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
C17に記載のサウンドトランスデューサアレイ。
[C27]
前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
C17に記載のサウンドトランスデューサアレイ。
[C28]
前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
C17に記載のサウンドトランスデューサアレイ。
[C29]
前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
C17に記載のサウンドトランスデューサアレイ。
[C30]
前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
C17に記載のサウンドトランスデューサアレイ。
[C31]
前記サウンドプロジェクションパターンは、シンボルを備える、
C17に記載のサウンドトランスデューサアレイ。
[C32]
前記シンボルは、矢印を備える、
C31に記載のサウンドトランスデューサアレイ。
[C33]
物理空間と通信状態にあるサウンドトランスデューサアレイであって、
前記物理空間からサウンドをキャプチャするための手段と、ここで、前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出するための手段と、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
前記物理空間上に前記サウンドプロジェクションパターンを表示するための手段と
を備え、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
サウンドトランスデューサアレイ。
[C34]
前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理するための手段をさらに備える、
C33に記載のサウンドトランスデューサアレイ。
[C35]
前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
C34に記載のサウンドトランスデューサアレイ。
[C36]
前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
C33に記載のサウンドトランスデューサアレイ。
[C37]
前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャするための手段と、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記スピーカアレイからスピーカビームを送信するための手段と
をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C36に記載のサウンドトランスデューサアレイ。
[C38]
カラーヒートマップを前記マイクロフォンビームに適用するための手段をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C37に記載のサウンドトランスデューサアレイ。
[C39]
前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
C33に記載のサウンドトランスデューサアレイ。
[C40]
前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャするための手段と、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記サウンドトランスデューサアレイからスピーカビームを送信するための手段と
をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C39に記載のサウンドトランスデューサアレイ。
[C41]
カラーヒートマップを前記マイクロフォンビームに適用するための手段をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C40に記載のサウンドトランスデューサアレイ。
[C42]
前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
C33に記載のサウンドトランスデューサアレイ。
[C43]
前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
C33に記載のサウンドトランスデューサアレイ。
[C44]
前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
C33に記載のサウンドトランスデューサアレイ。
[C45]
前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
C33に記載のサウンドトランスデューサアレイ。
[C46]
前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
C33に記載のサウンドトランスデューサアレイ。
[C47]
前記サウンドプロジェクションパターンは、シンボルを備える、
C46に記載のサウンドトランスデューサアレイ。
[C48]
物理空間においてサウンドフィールドを表現するための1つまたは複数の命令を備えるコンピュータ可読記憶媒体であって、前記1つまたは複数の命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記物理空間からサウンドをキャプチャすることと、ここで前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
前記物理空間上に前記サウンドプロジェクションパターンを表示することと
を行わせ、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
コンピュータ可読記憶媒体。
[C49]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理することを行わせる1つまたは複数の命令をさらに備える、
C48に記載のコンピュータ可読記憶媒体。
[C50]
前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
C49に記載のコンピュータ可読記憶媒体。
[C51]
前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
C48に記載のコンピュータ可読記憶媒体。
[C52]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記スピーカアレイからスピーカビームを送信することと、
を行わせる1つまたは複数の命令をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C48に記載のコンピュータ可読記憶媒体。
[C53]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、カラーヒートマップを前記マイクロフォンビームに適用することを行わせる1つまたは複数の命令をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C48に記載のコンピュータ可読記憶媒体。
[C54]
前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
C48に記載のコンピュータ可読記憶媒体。
[C55]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
前記サウンドトランスデューサアレイからスピーカビームを送信することと
を行わせる1つまたは複数の命令をさらに備える前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
C54に記載のコンピュータ可読記憶媒体。
[C56]
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、カラーヒートマップを前記マイクロフォンビームに適用することを行わせる1つまたは複数の命令をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
C55に記載のコンピュータ可読記憶媒体。
[C57]
前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
C48に記載のコンピュータ可読記憶媒体。
[C58]
前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
C48に記載のコンピュータ可読記憶媒体。
[C59]
前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
C48に記載のコンピュータ可読記憶媒体。
[C60]
前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
C48に記載のコンピュータ可読記憶媒体。
[C61]
前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
C48に記載のコンピュータ可読記憶媒体。

Claims (61)

  1. 物理空間においてサウンドフィールドを表現する方法であって、
    前記物理空間からサウンドをキャプチャすることと、ここで、前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
    前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
    前記物理空間上に前記サウンドプロジェクションパターンを表示することと
    を備え、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
    方法。
  2. 前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理することをさらに備える、
    請求項1に記載の方法。
  3. 前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
    請求項2に記載の方法。
  4. 前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
    請求項1に記載の方法。
  5. 前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記スピーカアレイからスピーカビームを送信することと
    をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項4に記載の方法。
  6. カラーヒートマップを前記マイクロフォンビームに適用することをさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項5に記載の方法。
  7. 前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
    請求項1に記載の方法。
  8. 前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記サウンドトランスデューサアレイからスピーカビームを送信することと
    をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項7に記載の方法。
  9. カラーヒートマップを前記マイクロフォンビームに適用することをさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項8に記載の方法。
  10. 前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドを含む、
    請求項1に記載の方法。
  11. 前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
    請求項1に記載の方法。
  12. 前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
    請求項1に記載の方法。
  13. 前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
    請求項1に記載の方法。
  14. 前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを備える、
    請求項1に記載の方法。
  15. 前記サウンドプロジェクションパターンは、シンボルを備える、
    請求項1に記載の方法。
  16. 前記シンボルは、矢印を備える、
    請求項15に記載の方法。
  17. 物理空間と通信状態にあるサウンドトランスデューサアレイであって、
    スピーカアレイと、
    前記スピーカアレイと通信状態にある、サウンドをキャプチャするためのマイクロフォンアレイと、
    前記マイクロフォンアレイと通信状態にある少なくとも1つのプロセッサと
    を備え、前記少なくとも1つのプロセッサは、
    前記サウンドをキャプチャすることと、
    前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
    前記物理空間上に前記サウンドプロジェクションパターンを表示することと
    を行うように構成され、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
    サウンドトランスデューサアレイ。
  18. 前記少なくとも1つのプロセッサは、前記キャプチャされたサウンドの発生ロケーションを特定するために、前記キャプチャされたサウンドを処理することを行うようにさらに構成される、
    請求項17に記載のサウンドトランスデューサアレイ。
  19. 前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
    請求項18に記載のサウンドトランスデューサアレイ。
  20. 前記マイクロフォンアレイは、前記スピーカアレイとは別個である、
    請求項17に記載のサウンドトランスデューサアレイ。
  21. 前記少なくとも1つのプロセッサは、
    前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記スピーカアレイからスピーカビームを送信することと
    を行うようにさらに構成され、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項20に記載のサウンドトランスデューサアレイ。
  22. 前記少なくとも1つのプロセッサは、カラーヒートマップを前記マイクロフォンビームに適用することを行うようにさらに構成され、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項21に記載のサウンドトランスデューサアレイ。
  23. 前記マイクロフォンアレイは、前記スピーカアレイと組み合わせられる、
    請求項17に記載のサウンドトランスデューサアレイ。
  24. 前記少なくとも1つのプロセッサは、
    前記組み合わせられたマイクロフォンおよびスピーカアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記組み合わせられたマイクロフォンおよびスピーカアレイからスピーカビームを送信することと
    をさらに行うように構成され、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項23に記載のサウンドトランスデューサアレイ。
  25. 前記少なくとも1つのプロセッサは、カラーヒートマップを前記マイクロフォンビームに適用することを行うようにさらに構成され、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項24に記載のサウンドトランスデューサアレイ。
  26. 前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
    請求項17に記載のサウンドトランスデューサアレイ。
  27. 前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
    請求項17に記載のサウンドトランスデューサアレイ。
  28. 前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
    請求項17に記載のサウンドトランスデューサアレイ。
  29. 前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
    請求項17に記載のサウンドトランスデューサアレイ。
  30. 前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
    請求項17に記載のサウンドトランスデューサアレイ。
  31. 前記サウンドプロジェクションパターンは、シンボルを備える、
    請求項17に記載のサウンドトランスデューサアレイ。
  32. 前記シンボルは、矢印を備える、
    請求項31に記載のサウンドトランスデューサアレイ。
  33. 物理空間と通信状態にあるサウンドトランスデューサアレイであって、
    前記物理空間からサウンドをキャプチャするための手段と、ここで、前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
    前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出するための手段と、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
    前記物理空間上に前記サウンドプロジェクションパターンを表示するための手段と
    を備え、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
    サウンドトランスデューサアレイ。
  34. 前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理するための手段をさらに備える、
    請求項33に記載のサウンドトランスデューサアレイ。
  35. 前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
    請求項34に記載のサウンドトランスデューサアレイ。
  36. 前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
    請求項33に記載のサウンドトランスデューサアレイ。
  37. 前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャするための手段と、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記スピーカアレイからスピーカビームを送信するための手段と
    をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項36に記載のサウンドトランスデューサアレイ。
  38. カラーヒートマップを前記マイクロフォンビームに適用するための手段をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項37に記載のサウンドトランスデューサアレイ。
  39. 前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
    請求項33に記載のサウンドトランスデューサアレイ。
  40. 前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャするための手段と、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記サウンドトランスデューサアレイからスピーカビームを送信するための手段と
    をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項39に記載のサウンドトランスデューサアレイ。
  41. カラーヒートマップを前記マイクロフォンビームに適用するための手段をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項40に記載のサウンドトランスデューサアレイ。
  42. 前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
    請求項33に記載のサウンドトランスデューサアレイ。
  43. 前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
    請求項33に記載のサウンドトランスデューサアレイ。
  44. 前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
    請求項33に記載のサウンドトランスデューサアレイ。
  45. 前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
    請求項33に記載のサウンドトランスデューサアレイ。
  46. 前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
    請求項33に記載のサウンドトランスデューサアレイ。
  47. 前記サウンドプロジェクションパターンは、シンボルを備える、
    請求項46に記載のサウンドトランスデューサアレイ。
  48. 物理空間においてサウンドフィールドを表現するための1つまたは複数の命令を備えるコンピュータ可読記憶媒体であって、前記1つまたは複数の命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記物理空間からサウンドをキャプチャすることと、ここで前記サウンドは、前記物理空間と通信状態にあるサウンドトランスデューサアレイによって前記物理空間中に発せられる、
    前記キャプチャされたサウンドのサウンドプロジェクションパターンを算出することと、ここにおいて、前記サウンドプロジェクションパターンは、前記キャプチャされたサウンドのサウンドフィールドの表現を備える、
    前記物理空間上に前記サウンドプロジェクションパターンを表示することと
    を行わせ、前記サウンドプロジェクションパターンは、前記サウンドトランスデューサアレイと対象ユーザとの間に延びる、
    コンピュータ可読記憶媒体。
  49. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、前記キャプチャされたサウンドの発生ロケーションを特定するために前記キャプチャされたサウンドを処理することを行わせる1つまたは複数の命令をさらに備える、
    請求項48に記載のコンピュータ可読記憶媒体。
  50. 前記対象ユーザは、前記キャプチャされたサウンドの前記発生ロケーションにいる、
    請求項49に記載のコンピュータ可読記憶媒体。
  51. 前記サウンドトランスデューサアレイは、別個のマイクロフォンアレイとスピーカアレイを備える、
    請求項48に記載のコンピュータ可読記憶媒体。
  52. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記マイクロフォンアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記スピーカアレイからスピーカビームを送信することと、
    を行わせる1つまたは複数の命令をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項48に記載のコンピュータ可読記憶媒体。
  53. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、カラーヒートマップを前記マイクロフォンビームに適用することを行わせる1つまたは複数の命令をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項48に記載のコンピュータ可読記憶媒体。
  54. 前記サウンドトランスデューサアレイは、組み合わせられたマイクロフォンおよびスピーカアレイを備える、
    請求項48に記載のコンピュータ可読記憶媒体。
  55. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    前記サウンドトランスデューサアレイ上でマイクロフォンビームをキャプチャすることと、ここで、前記マイクロフォンビームは、前記物理空間において第1のカラーで表示される、
    前記サウンドトランスデューサアレイからスピーカビームを送信することと
    を行わせる1つまたは複数の命令をさらに備え、前記スピーカビームは、前記物理空間において第2のカラーで表示され、前記第1のカラーは前記第2のカラーとは異なる、
    請求項54に記載のコンピュータ可読記憶媒体。
  56. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、カラーヒートマップを前記マイクロフォンビームに適用することを行わせる1つまたは複数の命令をさらに備え、前記カラーヒートマップの主ローブは強い信号領域を表し、前記カラーヒートマップにおけるカラーの変化は弱い信号領域を表す、
    請求項55に記載のコンピュータ可読記憶媒体。
  57. 前記サウンドは、亜音速サウンド、超音波サウンド、赤外線サウンド、および無線周波数サウンドのうちの1または複数を含む、
    請求項48に記載のコンピュータ可読記憶媒体。
  58. 前記サウンドは、リアルタイムでまたはほぼリアルタイムでキャプチャされる、
    請求項48に記載のコンピュータ可読記憶媒体。
  59. 前記サウンドプロジェクションパターンは、リアルタイムでまたはほぼリアルタイムで表示される、
    請求項48に記載のコンピュータ可読記憶媒体。
  60. 前記物理空間は、ディスプレイスクリーン、タッチスクリーン、およびタブレットのうちの少なくとも1つを備える、
    請求項48に記載のコンピュータ可読記憶媒体。
  61. 前記サウンドプロジェクションパターンは、ビームパターンの形式のサウンドプロジェクションパターンを含む、
    請求項48に記載のコンピュータ可読記憶媒体。
JP2015541777A 2012-11-14 2013-10-11 物理空間においてサウンドフィールドを表現するための方法および装置 Active JP6138956B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261726461P 2012-11-14 2012-11-14
US201261726441P 2012-11-14 2012-11-14
US201261726456P 2012-11-14 2012-11-14
US201261726451P 2012-11-14 2012-11-14
US61/726,451 2012-11-14
US61/726,441 2012-11-14
US61/726,456 2012-11-14
US61/726,461 2012-11-14
US13/725,951 2012-12-21
US13/725,951 US9412375B2 (en) 2012-11-14 2012-12-21 Methods and apparatuses for representing a sound field in a physical space
PCT/US2013/064707 WO2014077990A1 (en) 2012-11-14 2013-10-11 Methods and apparatuses for representing a sound field in a physical space

Publications (3)

Publication Number Publication Date
JP2016504648A true JP2016504648A (ja) 2016-02-12
JP2016504648A5 JP2016504648A5 (ja) 2016-11-24
JP6138956B2 JP6138956B2 (ja) 2017-05-31

Family

ID=50681708

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015541776A Expired - Fee Related JP6092412B2 (ja) 2012-11-14 2013-10-11 スマートディレクショナルコンファレンシングを有するデバイス及びシステム
JP2015541777A Active JP6138956B2 (ja) 2012-11-14 2013-10-11 物理空間においてサウンドフィールドを表現するための方法および装置
JP2015541778A Pending JP2016506639A (ja) 2012-11-14 2013-10-11 サウンドの触知可能な制御を提供するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015541776A Expired - Fee Related JP6092412B2 (ja) 2012-11-14 2013-10-11 スマートディレクショナルコンファレンシングを有するデバイス及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015541778A Pending JP2016506639A (ja) 2012-11-14 2013-10-11 サウンドの触知可能な制御を提供するための方法および装置

Country Status (6)

Country Link
US (3) US9368117B2 (ja)
EP (3) EP2920984A1 (ja)
JP (3) JP6092412B2 (ja)
KR (2) KR20150085032A (ja)
CN (3) CN104919823B (ja)
WO (3) WO2014077991A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP2019126632A (ja) * 2018-01-25 2019-08-01 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9368117B2 (en) * 2012-11-14 2016-06-14 Qualcomm Incorporated Device and system having smart directional conferencing
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US10827292B2 (en) * 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US10575093B2 (en) * 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
CN105683878B (zh) 2013-09-03 2019-05-07 苹果公司 用户界面中的用户界面对象操作
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
US9817634B2 (en) * 2014-07-21 2017-11-14 Intel Corporation Distinguishing speech from multiple users in a computer interaction
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
CN104469595A (zh) * 2014-10-30 2015-03-25 苏州上声电子有限公司 一种基于误差模型的多区域声重放方法和装置
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
EP3266224B1 (en) * 2015-04-08 2021-05-19 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
CN106303810B (zh) * 2015-05-13 2021-09-10 青岛通产智能机器人有限公司 基于方向性声音传感器的声源方位判断装置及方法
GB2540225A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio capture and mixing control
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
CN105187998B (zh) * 2015-10-20 2018-11-13 张浩杰 一种超声波感应电子连体扬声器
CN105898026B (zh) * 2015-12-30 2020-03-06 乐融致新电子科技(天津)有限公司 移动终端录音提示方法、提示装置及其移动终端
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
US10848863B2 (en) 2016-01-14 2020-11-24 Harman International Industries, Incorporated Acoustic radiation pattern control
WO2017147325A1 (en) 2016-02-25 2017-08-31 Dolby Laboratories Licensing Corporation Multitalker optimised beamforming system and method
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技(深圳)有限公司 定位方法、定位系统及终端设备
JP6520878B2 (ja) * 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
CN106409272B (zh) * 2016-11-18 2023-11-10 徐州芯特智能装备有限公司 感应式可视化铜鼓系统
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) * 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
JP6472823B2 (ja) * 2017-03-21 2019-02-20 株式会社東芝 信号処理装置、信号処理方法および属性付与装置
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置
CN111602101A (zh) * 2017-12-22 2020-08-28 超级触觉资讯处理有限公司 利用空中触觉系统的人类交互
US10306394B1 (en) * 2017-12-29 2019-05-28 Samsung Electronics Co., Ltd. Method of managing a plurality of devices
JP7183558B2 (ja) * 2018-03-29 2022-12-06 株式会社リコー 共用支援サーバ、共用システム、共用支援方法、及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11494158B2 (en) * 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
CN109451291A (zh) * 2018-12-29 2019-03-08 像航(上海)科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
WO2020142567A1 (en) * 2018-12-31 2020-07-09 Hed Technologies Sarl Systems and methods for voice identification and analysis
US11082769B2 (en) * 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11862168B1 (en) * 2020-03-30 2024-01-02 Amazon Technologies, Inc. Speaker disambiguation and transcription from multiple audio feeds
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
CN112834023B (zh) * 2021-01-06 2021-10-19 江苏科技大学 一种基于近场变换的空间辐射声场获取方法
US11540078B1 (en) 2021-06-04 2022-12-27 Google Llc Spatial audio in video conference calls based on content type or participant role
US11849257B2 (en) 2021-08-04 2023-12-19 Google Llc Video conferencing systems featuring multiple spatial interaction modes
US11637991B2 (en) 2021-08-04 2023-04-25 Google Llc Video conferencing systems featuring multiple spatial interaction modes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011165056A (ja) * 2010-02-12 2011-08-25 Nec Casio Mobile Communications Ltd 情報処理装置及びプログラム
US20120262536A1 (en) * 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) * 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5666136A (en) 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
JPH0784592A (ja) 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6826284B1 (en) * 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
US20020089541A1 (en) * 2000-02-14 2002-07-11 Julian Orbanes System for graphically interconnecting operators
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7146260B2 (en) * 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US7071920B2 (en) * 2001-07-06 2006-07-04 Hewlett-Packard Development Company, L.P. Method and apparatus for indicating an operating mode of a computer-pointing device
JP4280901B2 (ja) * 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
TWI304559B (ja) 2002-05-24 2008-12-21 Waltop Int Corp
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040080494A1 (en) 2002-10-29 2004-04-29 International Business Machines Corporation Force-sensing mouse pointing device for computer input
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US7305078B2 (en) 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
US8627213B1 (en) 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
WO2006100980A1 (ja) 2005-03-18 2006-09-28 Pioneer Corporation 音声信号処理装置及びそのためのコンピュータプログラム
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
DE102005043641A1 (de) * 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US20070075968A1 (en) 2005-09-30 2007-04-05 Hall Bernard J System and method for sensing the position of a pointing object
US20070127668A1 (en) * 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
WO2007083739A1 (ja) 2006-01-19 2007-07-26 Nippon Hoso Kyokai 3次元音響パンニング装置
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP5286667B2 (ja) 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US8249233B2 (en) * 2006-03-17 2012-08-21 International Business Machines Corporation Apparatus and system for representation of voices of participants to a conference call
US7843486B1 (en) 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7920158B1 (en) 2006-07-21 2011-04-05 Avaya Inc. Individual participant identification in shared video resources
JP4894386B2 (ja) 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP2008141465A (ja) 2006-12-01 2008-06-19 Fujitsu Ten Ltd 音場再生システム
US7844462B2 (en) 2007-02-01 2010-11-30 Sap Ag Spatial sound generation for screen navigation
US20080255901A1 (en) * 2007-03-26 2008-10-16 John Stuart Carroll Kiosk systems and methods
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
WO2008139018A1 (en) 2007-05-09 2008-11-20 Savox Communications Oy Ab (Ltd) A display apparatus
US8108144B2 (en) 2007-06-28 2012-01-31 Apple Inc. Location based tracking
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8073125B2 (en) * 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8050917B2 (en) 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US7995732B2 (en) 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
JP2009181457A (ja) 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
US8144896B2 (en) * 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
KR100955339B1 (ko) 2008-04-22 2010-04-29 주식회사 애트랩 접촉 및 접근을 감지할 수 있는 디스플레이 패널과디스플레이 장치 및 이 패널을 이용하는 접촉 및 접근 감지방법
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5047882B2 (ja) * 2008-06-04 2012-10-10 日本電信電話株式会社 発話関連情報提示装置及び方法
US8315366B2 (en) 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
NO333026B1 (no) 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5801026B2 (ja) * 2009-05-28 2015-10-28 株式会社ザクティ 画像音響処理装置及び撮像装置
US8620672B2 (en) * 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5568915B2 (ja) * 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US20110055703A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8363810B2 (en) 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8144633B2 (en) 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4949453B2 (ja) * 2009-11-12 2012-06-06 シャープ株式会社 画像処理装置および画像処理装置の制御方法
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置
WO2011076290A1 (en) 2009-12-24 2011-06-30 Nokia Corporation An apparatus
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8174934B2 (en) 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US20120027226A1 (en) * 2010-07-30 2012-02-02 Milford Desenberg System and method for providing focused directional sound in an audio system
US20120041579A1 (en) 2010-08-12 2012-02-16 Charles Davis Rear surround sound projection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
KR20130128380A (ko) * 2010-09-22 2013-11-26 사이프레스 세미컨덕터 코포레이션 터치 스크린을 위한 용량성 스타일러스
US8744065B2 (en) * 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US8848028B2 (en) * 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US8558894B2 (en) 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
US9507427B2 (en) 2011-06-29 2016-11-29 Intel Corporation Techniques for gesture recognition
WO2013077883A1 (en) 2011-11-23 2013-05-30 Intel Corporation Gesture input with multiple views, displays and physics
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
KR101641448B1 (ko) * 2012-03-16 2016-07-20 뉘앙스 커뮤니케이션즈, 인코포레이티드 사용자 전용 자동 음성 인식
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的系统及其广告服务方法
US20140013192A1 (en) * 2012-07-09 2014-01-09 Sas Institute Inc. Techniques for touch-based digital document audio and user interface enhancement
US9368117B2 (en) 2012-11-14 2016-06-14 Qualcomm Incorporated Device and system having smart directional conferencing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011165056A (ja) * 2010-02-12 2011-08-25 Nec Casio Mobile Communications Ltd 情報処理装置及びプログラム
US20120262536A1 (en) * 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP2019126632A (ja) * 2018-01-25 2019-08-01 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス
JP7058002B2 (ja) 2018-01-25 2022-04-21 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス

Also Published As

Publication number Publication date
JP2016505918A (ja) 2016-02-25
EP2920985A1 (en) 2015-09-23
EP2920984A1 (en) 2015-09-23
JP2016506639A (ja) 2016-03-03
KR20150085032A (ko) 2015-07-22
US9286898B2 (en) 2016-03-15
CN104919824A (zh) 2015-09-16
US20140133665A1 (en) 2014-05-15
KR20150085030A (ko) 2015-07-22
WO2014077989A1 (en) 2014-05-22
EP2920983B1 (en) 2017-11-22
US20140136203A1 (en) 2014-05-15
WO2014077991A1 (en) 2014-05-22
US9412375B2 (en) 2016-08-09
EP2920983A1 (en) 2015-09-23
JP6092412B2 (ja) 2017-03-08
US9368117B2 (en) 2016-06-14
CN104919823B (zh) 2017-12-08
CN104919823A (zh) 2015-09-16
JP6138956B2 (ja) 2017-05-31
US20140136981A1 (en) 2014-05-15
KR101762522B1 (ko) 2017-07-27
WO2014077990A1 (en) 2014-05-22
CN104782146A (zh) 2015-07-15
CN104782146B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
JP6138956B2 (ja) 物理空間においてサウンドフィールドを表現するための方法および装置
US11531518B2 (en) System and method for differentially locating and modifying audio sources
US9819902B2 (en) Proximate resource pooling in video/audio telecommunications
EP2911149B1 (en) Determination of an operational directive based at least in part on a spatial audio property
US20180332395A1 (en) Audio Mixing Based Upon Playing Device Location
US20140215332A1 (en) Virtual microphone selection corresponding to a set of audio source devices
CN106416304A (zh) 针对家庭音频的增强的空间印象
CN104765444A (zh) 车载手势交互空间音频系统
CN203422737U (zh) 用于生成用户界面的系统
JP2005341092A (ja) 音声コミュニケーション・システム
US9781503B2 (en) Method of operating a computer and computer for a softphone with headset
US20140241340A1 (en) System and method for software turret phone capabilities
WO2014107442A1 (en) Boundary binaural microphone array
CN114520950B (zh) 音频输出方法、装置、电子设备及可读存储介质
US20200112809A1 (en) Spatial Audio Capture & Processing
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
US20230419943A1 (en) Devices, methods, systems, and media for spatial perception assisted noise identification and cancellation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160930

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160930

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250