CN104782146A - 用于表示物理空间中的声音场的方法及设备 - Google Patents

用于表示物理空间中的声音场的方法及设备 Download PDF

Info

Publication number
CN104782146A
CN104782146A CN201380058949.0A CN201380058949A CN104782146A CN 104782146 A CN104782146 A CN 104782146A CN 201380058949 A CN201380058949 A CN 201380058949A CN 104782146 A CN104782146 A CN 104782146A
Authority
CN
China
Prior art keywords
sound
color
array
physical space
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058949.0A
Other languages
English (en)
Other versions
CN104782146B (zh
Inventor
向佩
刘可喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104782146A publication Critical patent/CN104782146A/zh
Application granted granted Critical
Publication of CN104782146B publication Critical patent/CN104782146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供用于表示物理空间中的声音场的方法和设备，且将其描述为体现在包含声音换能器阵列以及具备触摸表面功能的显示桌子的系统中。所述阵列可包含换能器群组(多个扬声器及/或麦克风)。所述阵列可经配置以执行对所述换能器群组的信号的空间处理，使得声音再现(在其中所述阵列包含多个扬声器的配置中)或声音拾取(在其中所述阵列包含多个麦克风的配置中)可具有在某些方向上集中同时减少来自其它方向的干扰的空间图案(或声音投影图案)。

Description

用于表示物理空间中的声音场的方法及设备
根据35U.S.C.§119(e)主张优先权
本专利申请案主张2012年11月14日申请的标题为“用于刷新物理空间中的声音场的装置及系统(Method and Apparatus for Providing Tangible Control of Sound)”的第61/726,451号美国临时申请案、2012年11月14日申请的标题为“用于提供对声音的有形控制的方法和设备(Method and Apparatus for Providing Tangible Control of Sound)”的第61/726,456号美国临时申请案、2012年11月14日申请的标题为“具有智能方向性会议的装置及系统(Device and System Having Smart Directional Conferencing)”的第61/726,441号美国临时专利申请案及2012年11月14日申请的标题为“协作式文档检视及编辑(Collaborative Document Review and Editing)”第61/726,461号美国临时专利申请案的优先权及权益。
技术领域
各种特征涉及用于表示物理空间中的声音场的装置及系统。
背景技术
声音是传输穿过固体、液体或气体的由听觉范围内的频率构成的压力的振荡的机械波。在人类中，例如，听觉通常受限于约20Hz与20,000Hz(20kHz)之间的频率。虽然可能听到这些声音，但它们无法被看到。因为人类视觉感知胜过所有其它器官，所以能够将声音视觉化将极大地增强用户体验。
发明内容
下文呈现本发明的一或多个方面的简化概述，以便提供对此些方面的基本理解。此概述并非本发明的所有所涵盖特征的广泛综述，且既不希望识别本发明的所有方面的关键或至关重要要素，也不希望划定本发明的任何或所有方面的范围。其唯一目的是以简化形式呈现本发明的一或多个方面的一些概念以作为稍后呈现的更详细描述的序言。
第一实例提供一种用于表示物理空间中的声音场的方法。所述方法包含通过与所述物理空间通信的声音换能器阵列从所述物理空间俘获声音。所述物理空间可包含显示屏、触摸屏及平板计算机。一旦已经俘获所述声音，可计算所俘获的声音的声音投影图案，其中所述声音投影图案是所俘获的声音的声音场的表示。所述声音投影图案可随后显示于所述物理空间上，在所述声音换能器阵列与既定用户之间延伸。可实时或准实时地显示所述声音投影图案。
根据一个方面，所述声音可被实时或准实时地俘获且可包含次声波声音、超声波声音、红外声音及射频声音。另外，可处理所述所俘获的声音以识别所述所俘获的声音的发起位置。所述既定用户可在所述所俘获的声音的所述发起位置处。
根据一个方面，所述声音换能器阵列可包括单独的麦克风阵列及扬声器阵列。在所述麦克风阵列与所述扬声器阵列分开时，麦克风射束可在所述麦克风阵列上被俘获且以第一色彩显示在所述物理空间中，而扬声器射束可从所述扬声器阵列发射且以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。接下来，可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个方面，所述声音换能器阵列可包括组合的麦克风及扬声器阵列。在所述麦克风及扬声器阵列组合时，麦克风射束可在所述声音换能器阵列上被俘获且以第一色彩显示在所述物理空间中，而扬声器射束可从所述声音换能器阵列发射且以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。接下来，可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个实施例，所述声音投影图案可呈射束图案或符号(例如箭头)的形式。
第二实例提供一种声音换能器阵列。所述声音换能器阵列可包含扬声器阵列、与所述扬声器阵列通信以用于俘获声音的麦克风阵列，及与所述麦克风阵列通信的至少一个处理器。所述至少一个处理器可经配置以俘获所述声音且计算所述所俘获的声音的声音投影图案，其中所述声音投影图案是所述所俘获的声音的声音场的表示。接下来，所述至少一个处理器可经配置以在所述物理空间上显示在所述声音换能器阵列与既定用户之间延伸的所述声音投影图案。所述声音投影图案可实时或准实时地显示，且所述物理空间可包含显示屏、触摸屏及平板计算机。
根据一个方面，所述声音可被实时或准实时地俘获且可包含次声波声音、超声波声音、红外声音及射频声音。另外，所述至少一个处理器可进一步经配置以处理所述所俘获的声音以识别所述所俘获的声音的发起位置。所述既定用户可在所述所俘获的声音的所述发起位置处。
根据一个方面，所述至少一个处理器可进一步经配置以：俘获所述麦克风阵列上的麦克风射束，其中所述麦克风射束以第一色彩显示在所述物理空间中；及从所述扬声器阵列发射扬声器射束，其中所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。所述至少一个处理器可进一步经配置以随后将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。所述麦克风阵列可与所述扬声器阵列组合。或者，所述麦克风阵列可与所述扬声器阵列分开。
根据一个实施例，所述声音投影图案可呈射束图案或符号(例如箭头)的形式。
第三实例提供一种与物理空间通信的用于表示物理空间中的声音场的声音换能器阵列。所述声音换能器阵列可包含用于从所述物理空间俘获声音的装置，其中所述声音通过与所述物理空间通信的声音换能器阵列发射到所述物理空间中。所述物理空间可包含显示屏、触摸屏及平板计算机。
所述声音换能器阵列还可包含：用于计算所述所俘获的声音的声音投影图案的装置，其中所述声音投影图案是所述所俘获的声音的声音场的表示；及用于在所述物理空间上显示在所述声音换能器阵列与既定用户之间延伸的所述声音投影图案的装置。可实时或准实时地显示所述声音投影图案。
根据一个方面，所述声音可被实时或准实时地俘获且可包含次声波声音、超声波声音、红外声音及射频声音。另外，所述声音换能器阵列可包含用于处理所述所俘获的声音以识别所述所俘获的声音的发起位置的装置。所述既定用户可在所述所俘获的声音的所述发起位置处。
根据一个方面，所述声音换能器阵列可包括单独的麦克风阵列及扬声器阵列。在所述麦克风阵列与所述扬声器阵列分开时，所述声音换能器可进一步包括用于在所述麦克风阵列上俘获麦克风射束且以第一色彩显示在所述物理空间中的装置，以及用于从所述扬声器阵列发射扬声器射束的装置，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。所述声音换能器可进一步包括用于将色彩热图应用于所述麦克风射束的装置，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个方面，所述声音换能器阵列可包括组合的麦克风及扬声器阵列。在所述麦克风阵列与所述扬声器阵列组合时，所述声音换能器可进一步包括用于在所述麦克风阵列上俘获麦克风射束且在所述物理空间以第一色彩显示的装置，以及用于从所述扬声器阵列发射扬声器射束的装置，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。所述声音换能器可进一步包括用于将色彩热图应用于所述麦克风射束的装置，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个实施例，所述声音投影图案可呈射束图案或符号(例如箭头)的形式。
第四实例提供一种计算机可读存储媒体，其包含用于表示物理空间中的声音场的一或多个指令，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器：从所述物理空间俘获声音，其中所述声音通过与所述物理空间通信的声音换能器阵列发射到所述物理空间中；及计算所述所俘获的声音的声音投影图案，其中所述声音投影图案是所述所俘获的声音的声音场的表示。接下来，所述至少一个处理器可在所述物理空间上显示在所述声音换能器阵列与既定用户之间延伸的所述声音投影。所述声音投影图案可实时或准实时地显示，且所述物理空间可包含显示屏、触摸屏及平板计算机。
根据一个方面，所述声音可被实时或准实时地俘获且可包含次声波声音、超声波声音、红外声音及射频声音。另外，所述至少一个处理器可处理所述所俘获的声音以识别所述所俘获的声音的发起位置。所述既定用户可在所述所俘获的声音的所述发起位置处。
根据一个方面，所述声音换能器阵列可包括单独的麦克风阵列及扬声器阵列。在所述麦克风阵列与所述扬声器阵列分开时，所述至少一个处理器可：在所述麦克风阵列上俘获麦克风射束且以第一色彩显示在所述物理空间中；及从所述扬声器阵列发射扬声器射束，其中所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。所述至少一个处理器可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个方面，所述声音换能器阵列可包括组合的麦克风及扬声器阵列。在所述麦克风阵列与所述扬声器阵列组合时，所述至少一个处理器可：在所述麦克风阵列上俘获麦克风射束且以第一色彩显示在所述物理空间中；及从所述扬声器阵列发射扬声器射束，其中所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。所述至少一个处理器还可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据一个实施例，所述声音投影图案可呈射束图案或符号(例如箭头)的形式。
附图说明
通过结合图式进行的下文阐述的详细描述，各种特征、性质及优点可变得显而易见，在图式中，相同的参考符号贯穿全文对应地进行识别。
图1说明使用声音换能器阵列的典型系统的实例。
图2说明包含声音换能器阵列及具有触敏屏幕的装置的系统。
图3说明用于产生用于话音通信的私密区域的阵列的实例。
图4说明使用阵列的空间化车辆导航系统的实例。
图5说明利用阵列以用于环绕声音体验的实例。
图6说明利用阵列以用于同时在不同方向上递送多个音频节目而不彼此干扰的实例。
图7说明根据一个实施例的表示物理空间中的声音场的实例。
图8说明其中声音场被象征性地表示为箭头的声音场可视化系统的实例。
图9说明根据一个实施例的表示物理空间中的声音场可视化图像的实例，其展示未在个体说话处引导声音换能器阵列。
图10说明图9的具备触摸表面功能的桌子，其展示说明为桌子上的箭头的拖动命令。
图11说明可视化为经更新的声音场可视化图像的阵列的经调整的声音场，其向参与者展示阵列现在恰当地被引导到从个体接收声音。
图12说明声音场可视化及控制系统的框图。
图13说明电话会议系统或声音平台场景，其中用户可需要控制对来自彼此以某一距离分开的两个邻近的说话者的声音的读取。
图14说明具有非常重要的讲话者(“VIP”)的图8的具备触摸表面功能的桌子，所述讲话者的话音是来自阵列的拾取射束的主要焦点。
图15说明根据一个实施例的用于表示物理空间中的声音场的概述方法的流程图。
图16说明一些实施方案可使用的声音换能器阵列的实例。
图17说明一些实施方案可使用的装置的实例。
图18说明根据一个实施例的用于利用一或多个平板计算机表示并控制物理空间中的声音场的系统。
图19A说明包含声音换能器阵列及若干装置的系统。
图19B说明包含声音换能器阵列及若干装置的另一系统。
图19C说明包含声音换能器阵列、中央移动装置及若干装置的另一系统。
具体实施方式
在以下描述中，给出具体细节以提供对本发明的各种方面的彻底理解。然而，所属领域的技术人员应了解，所述方面可在没有这些具体细节的情况下实践。举例来说，可以框图展示电路以便避免以不必要的细节混淆所述方面。在其它情况下，可不详细展示众所周知的电路、结构和技术以便不混淆本发明的方面。
图1说明使用声音换能器阵列的典型系统的实例。如所展示，所述系统包含位于会议桌子101上的声音换能器阵列100。声音换能器阵列100包含以俘获来自不同方向的声音(或音频)的方式布置的若干麦克风/扬声器。作为一实例，四个个体104到110可围绕会议桌子定位。一个个体106可在说话且由声音换能器阵列100俘获声音；然而，在会议桌子上不存在象征性地或在视觉上对所俘获的声音的声音场的表示。因此，不存在声音换能器阵列100集中于说话的个体106及/或俘获声音的确认。
本文中将用于表示及控制物理空间(例如物理表面)中的声音场的方法和设备的各种方面描述为体现在包含声音换能器阵列(在本文中被称作“声音换能器阵列”、“换能器阵列”或简称为“阵列”)以及具备触摸表面功能的显示桌子的系统中。所述阵列可包含换能器(多个扬声器及/或麦克风)的群组。所述阵列可经配置以执行对用于换能器群组的信号的空间处理，使得声音再现(在其中所述阵列包含多个扬声器的配置中)或声音拾取(在其中所述阵列包含多个麦克风的配置中)可具有在某些方向上集中同时减少来自其它方向的干扰的空间图案。
图2说明包含声音换能器阵列及具有触敏屏幕的装置的系统。如图2中所展示，所述系统可包含声音换能器阵列200及装置201。
在一些实施方案中，声音换能器阵列200可包含至少一个处理器、存储器、若干麦克风及扬声器、至少一个收发器、若干感应元件、指南针、至少一个通信接口及至少一个识别标志器。声音换能器阵列200的麦克风及扬声器可以分别从不同方向俘获声音、音频或麦克风射束且发射在物理空间中显示的扬声器射束的方式布置。例如，可以圆形或任何其它布置线性地布置麦克风及扬声器。声音换能器阵列200可通过使用通信接口及至少一个收发器与装置201通信。在一些实施方案中，收发器提供声音换能器阵列200与装置201之间的无线通信链路(用于接收及发射数据)。不同的实施方案可使用不同通信协议在声音换能器阵列200与装置201之间通信。通信协议的实例包含近场通信(NFC)、Wi-Fi、蓝牙、紫蜂、数字生活网络联盟(DLNA)及Airplay。
在一些实施方案中，指南针提供声音换能器阵列200确定其定向的方式。在一些实施方案中，定向信息可在内部使用或可被传递到其它装置(例如，装置201)以便确定声音换能器阵列的位置及/或定向。还可以使用感应元件来确定声音换能器阵列的位置及/或定向。例如，感应元件可由装置(例如，装置201)使用以确定触敏屏幕上的声音换能器阵列的位置及定向。还可以使用识别标志器来确定麦克风及扬声器的位置及/或定向。
以上描述是声音换能器阵列的可能的组件/元件的概述。下文将参考图16进一步描述声音换能器阵列的组件/元件的更详细描述。
此外，如图2中所展示，装置201可包含触敏屏幕202。触敏屏幕202可用于提供对声音的有形控制。触敏屏幕202还可用于感测及俘获用户移动(例如，手指在触摸屏上的移动)。在一些实施方案中，装置201及触敏屏幕202可包含在表面桌子内。
除了触敏屏幕202之外，装置201还可包含至少一个处理器、存储器、至少一个收发器及至少一个通信接口。在一些实施方案中，以上组件允许装置201与声音换能器阵列200、本地及远程计算机、无线装置(例如，电话)、便携式计算机装置(例如，平板计算机)通信。下文将参考图17进一步描述装置201的组件/元件。
已经提供了对用于表示及控制物理空间中的声音场的系统的各种装置及组件的概述，现将描述这些装置如何用于此系统中的详细描述。参考图3到6描述的阵列的若干实例使用情况。这些使用情况可显示在表面桌子上，例如会议桌子，或显示在一或多个平板计算机上，其中每一个体具有单独的平板计算机。下文将参考图18进一步描述其中多个个人各自利用平板计算机的系统。
图3说明用于产生用于话音通信的私密区域的阵列的实例。如所展示，收听者处于“明”区域中且四个(4)可能的偷听者位于“暗”区域中。所述区域在物理空间上图解说明，允许个人围绕所述物理空间(例如会议桌子)坐下以可看到表示所述“明”区域的图案及表示所述“暗”区域的图案。所述“明”区域中的个体可听到既定的声音，而“暗”区域中的个体(或多个个体)听到明区域中的声音的静音版本，或听到明区域中的声音的非可辨识版本。声音的非可辨识版本可为明区域中的声音的经掩蔽版本。可在形成所述明区域及暗区域的过程中应用波束成形技术或其它空间音频技术。2012年10月31日申请的标题为“用于产生方向性声音场的系统、方法及设备(Systems,Methods,andApparatus for Producing a Directional Sound Field)”的第13/665,592号美国实用新型申请案(代理人档案号112639)中可找到这些技术的进一步解释。
在声音是从声音换能器阵列中的扬声器发出时，明区域及暗区域的表示还可以在视觉上显示。在此实施例中，图解说明的收听者可处于话音通信呼叫，且可使用声音换能器阵列来阻止可能的偷听者听到接听者的交谈。例如，明区域图案及暗区域图案的显示可在表面桌子上，如本文进一步描述。
用于话音通信的私密区域的不同变体将使用与创建上文所描述的私密区域类似的技术，但收听者及偷听者全部听到不同的节目，例如，如图6中所展示。在此变体中，物理空间上图解说明的图案可为表示节目的图案。在不同的配置中，图解说明的图案还可表示用于听到节目的私密区域。例如，围绕物理空间的每个人可听到不同的录音或声音流(例如，3个无线电台)。可针对每个人个性化明区域及暗区域。其中例如存在三个人的一个可能实施方案是覆盖三个私密区域且在物理空间中显示所述三个私密区域中的每一者的表示。因此，每个人实际上具有他们相对于另一个人的自身的私密区域。
图4说明使用阵列的空间化车辆导航系统的实例。在此实例中，用于每一逐向语音命令的声音可看似源自收听者应朝向其进行转弯的方向。
图5说明利用阵列以用于环绕声音体验的实例。
图6说明利用阵列以用于同时在不同方向上递送多个音频节目而不彼此干扰的实例。
可通过控制软件提供实施以上使用实例的对用于阵列的信号的空间处理。虽然用户可使用传统的“键盘及鼠标”接口与控制软件交互以配置及控制声音场产生及拾取图案调整，但传统的接口仍仅提供在控制声音场方面的抽象方法。此外，所述接口需要在其中出现声音的相同位置中。
图7说明根据一个实施例的表示物理空间中的声音场的实例。在所述系统中，由声音换能器阵列俘获的声音的图形表示可在声音场的物理空间中并列。所述图形表示可呈声音投影图案(例如，一或多个物理波场)的形式。
如所展示，所述系统可包含声音换能器阵列700及装置701。在一些实施方案中，装置701可为桌子的部分。声音换能器阵列700可包含以从不同方向俘获声音/音频的方式布置的若干麦克风/扬声器。所述麦克风可以圆形或任何其它布置线性地布置。装置701可包含触敏屏幕702。触敏屏幕702可用于显示物理空间中的所俘获的声音的声音场的图形表示。还可以围绕加标签的阵列的文本及图表显示关于声音的辅助信息。如果需要对声音的一些东西进行改变，那么触摸屏可提供让个体(或用户)修改所述声音的某一控制。
声音换能器阵列700可使用特定通信协议使用至少一个无线通信链路与装置701通信。通信协议的实例包含近场通信(NFC)、Wi-Fi、蓝牙、紫蜂、数字生活网络联盟(DLNA)及Airplay。
此外，图7说明作为会议桌子的部分的具有触敏屏幕702的装置701，所述会议桌子具有围绕桌子坐下的参与开会/会议的四个个体704到710。如图7中所展示，声音换能器阵列700可定位在装置701的屏幕702的顶部上。
可从声音换能器阵列700得到关于麦克风及扬声器的实际滤波器信息。可从此信息计算3D空间(在此情况下，2D水平空间含有大部分信息)中的声音投影图案或麦克风拾取图案。此信息可经由比如蓝牙、近场通信、DLNA等无线协议传输到表面桌子，如上文所指示。通过此信息，可产生各种计算机图形可视化。图形一般来说可为与2D声压或其放大版本匹配的2D图形。图形的原件可锚定于声音换能器阵列700的中心且可在其移动时移位。在一些实施方案中，超声波/红外/声波脉冲可以用于确定声音换能器阵列700的位置。在其它实施方案中，声音换能器阵列700可包含近场通信(NFC)标签，其允许装置701确定声音换能器阵列700的位置。因此，声音场阵列的表示(即，符号化及表示)可与空间中的实际声音场对准。
图8说明其中声音场被象征性地表示为箭头的声音场可视化系统的实例。所述箭头可从声音换能器阵列700延伸到所俘获的声音的发起位置。
图9说明根据一个实施例的表示物理空间中的声音场可视化图像的实例，其展示未在个体说话处引导声音换能器阵列。
本文中描述允许个体(或用户)直接“触摸声音”以在与声音场产生及拾取图案交互中提供更直观及直接的方法的新颖且不明显的系统。在所揭示的方法的一个方面中，如图9中所说明的具备触摸表面功能的桌子920可包含触摸屏接口及触摸屏显示器表面(“桌子表面”)922上的其它传感器。加标签的物体(例如声音换能器阵列(“阵列”)930可放置在桌子920的顶部上且靠近所述桌子。图9中描述的实例包含参与电话会议且围绕具备触摸表面功能的桌子920(例如会议桌子)而定位的四个个体902、904、906及908。一个个体906可说话，其中来自所述个体的声音被阵列930俘获。
阵列930可包含以从不同方向俘获声音(或音频)/向不同方向产生声音(或音频)的方式布置的若干麦克风/扬声器。所述麦克风可以圆形或任何其它布置线性地布置。信息及图形可在桌子920上显示以用于这些物体。例如，图形信息元素950可显示在桌子表面922上，其描述电话会议的参数，例如空间处理参数(图解说明为“旁瓣抑制：20dB”及“射束宽度：15度”)、扬声器的识别(图解说明为“扬声器：Heidi”)及时间信息(图解说明为“剩余的会议时间：20分钟”)。
另外，对于例如阵列930等作为声音装置的加标签的物体，可在其附近可视化声音辐射及/或麦克风拾取图案的图形表示。在一些实施方案中，超声波/红外/声波脉冲可以用于确定阵列930的位置。在其它实施方案中，阵列930可包含近场通信(NFC)标签，其允许桌子920确定阵列930的位置及相对定向。因此，与阵列930相关的任何声音投影图案的表示(即，符号化及表示)可与空间中的相关联的实际声音场对准。例如，声音投影图案(或场可视化图像)952可显示在桌子表面922上以用于表示所俘获的声音的声音场。声音场可视化图像952可提供阵列930集中于说话的个体906及/或俘获声音的视觉确认。如可在图9中看到，声音场可视化图像952可在视觉上向参与者展示未在正说话的个体906处引导阵列930(即使其应被引导)。
在所揭示的方法的一个方面中，触摸屏控制软件可以用于修改阵列930的空间处理特性。触摸屏控制软件可实施为声音场可视化及控制系统(“声音场系统”)1200的部分，在图12中描绘其实例。在声音场系统1200中，阵列930可使用各种通信技术使用任何数目的无线通信链路1290与桌子920通信。
可从阵列930得到关于其中包含的麦克风及扬声器的实际滤波器信息。可从此信息确定三维(3D)空间(在此情况下，与桌子表面922水平的二维(2D)含有大部分信息)中的声音投影图案或麦克风拾取图案。可经由无线通信链路1290将此信息传输到表面桌子。虽然桌子表面922显示声音投影图案的特性(图解说明为“图形可视化”1222)的视觉对应物，但桌子920还可充当与多点触摸及其它命令传感器(图解说明为“多点触摸命令”1224)的有形接口。
根据一个实施例，用户接口可显示在物理空间上以允许个体(或用户)选择所要的操作；所述所要的操作可包括选择一或多个声音投影图案以用于向其应用第二操作或创建一或多个声音投影图案的一或多个虚拟分组。所述图形表示可包括所述一或多个虚拟分组的图解说明，其中所述图解说明可包括一或多个虚拟层，其中所述一或多个虚拟分组中的每一者对应于所述一或多个虚拟层中的至少一者。
个体(或用户)可通过在与触摸表面交互的同时实时或准实时地接收视觉反馈而直接并直观地调整与可视化声音投影图案相关的参数。可能的交互模态可包含个体在触摸表面上实行一或多个命令。所述命令可以用于操纵与声音换能器阵列相关联的一或多个声音投影图案(例如，一或多个物理波场)的图形表示。所述命令可呈文本、来自键盘、滑鼠、按钮、条、菜单的通信或它们在软件中的对应物的形式。所述命令还可以是可基于从触摸表面上的显示的改变接收的视觉反馈而调整的手势。可使用个体的手指而不是计算机鼠标来执行所述手势。手势可包含(但不限于)通过多个(例如，两次或三次)轻敲而选择声音投影图案、围绕图案绘制两次或更多次圆圈、将不同束发送到不同虚拟层、暂时隐藏一或多个射束、选择一或多个射束、将多个声音投影图案分组在一起且以群组方式操纵它们及/或一旦选定射束或分组就应用额外的图形效果，使得可调制并强调射束或分组。
返回到图9中的实例，可使用从阵列930接收的信息(图解说明为“声音输入及输出图案、旁侧信息”1232)产生图形可视化1222。图形一般来说可包含与2D声压或其放大版本匹配的2D图形。在图9中说明的实例中，声音场可视化图像952可在视觉上表示所俘获的声音的2D声音场。在所揭示的方法的一个方面中，图形的起点可锚定于阵列930的中心且在阵列930移动的情况下可移位。
如图9中所展示，声音场可视化图像952在视觉上向参与者展示未在正说话的个体906处引导阵列930(即使其应被引导)，所述参与者中的任一者可执行手势以朝向个体906重新引导阵列930的声音场。例如基于从桌子表面922接收的多点触摸命令1224的控制信息可以用于通过改变阵列930的特性(图解说明为“声音场边界、强度、方向等”1234)来控制阵列930。因此，个体906可在桌子表面922上执行拖动命令，图10中说明为箭头1002，且重新引导阵列930。图11说明阵列930的经调整的声音场，其被可视化为经更新的声音场可视化图像1152，其向参与者展示阵列930现在恰当地被引导以从个体906接收声音。因此，用户可实在地“触摸声音”且将此类操作执行为重新引导射束图案、绘制新的射束图案、调整参数值等，且在正操纵声音场时看到视觉改变。
在另一实例中，例如在如图13中所说明的电话会议系统或声音平台场景1300中，用户可需要控制从彼此以某一距离分开的两个邻近说话者1302、1304拾取声音。因为在邻近的说话者1302、1304之间覆盖的距离较宽，所以来自阵列930的拾取射束可需要经调整以使得拾取射束足够宽以覆盖说话者1302、1304，但对于拾取例如背景噪声等杂散声音不是那么宽。通过能够在视觉上看到拾取射束，如由表面922上显示的声音场可视化图像1352所说明，参与者可看到来自阵列930的拾取射束太窄。即，用户可看到(如所配置)来自阵列930的拾取射束不是足够宽。在此实例中，例如通过使用双手，用户可对桌子920作手势，对来自阵列930的拾取射束进行“缩放”，如由箭头1392、1394所说明。桌子920可随后向阵列930通信用户想要加宽射束。阵列930可恰当地调整其内部滤波器，且桌子920可全部实时或准实时地将桌子表面922上的较宽射束视觉化。
通常，阵列930可遵循说话的任何人，以使得拾取射束可自动切换到在说话的任何人处引导。参看图9的实例，如图14中进一步修改，可存在非常重要的讲话者(“VIP”)1410，其话音是来自阵列930的拾取射束的主要焦点。所述系统不应错过VIP1410所说的任何内容，且可不惜丢失来自例如个体902、904、906及908等其它个体的一些内容。在此实例中，通过手势(例如，三次轻敲或在VIP 1410的方向上绘制两次圆圈)，来自阵列930的拾取射束可被锁定以遵循VIP 1410，且阵列930现在可仅记录VIP1410。声音场可视化图像1452可在桌子表面922上显示以向参与者展示来自阵列930的拾取射束的当前方向及锁定图标1454以及其它视觉指示符，还可出现在桌子表面922上以指示拾取射束处于锁定模式中。用户可使用另一手势将拾取射束解锁。
本文所描述的各种方面还可以扩展到平板计算机或其它触摸屏装置，其中阵列还可以被加标签且在平板计算机装置上表示。例如，多个参与者可各自具有一平板计算机装置，所述平板计算机装置具有可作为系统以及桌子920的部分而集成的相关联的声音换能器阵列。
已经提供了对用于表示物理空间中的声音场的系统的各种装置及组件的概述，下文描述这些装置如何用于此系统中的详细描述。
图15说明根据一个实施例的用于表示物理空间中的声音场的概述方法的流程图。如图15中所展示，可从物理空间俘获声音，其中所述声音通过与物理空间1502通信的声音换能器阵列发射到物理空间中。所述声音可被实时或准实时地俘获且可包含次声波声音、超声波声音、红外声音及射频声音。所述物理空间可例如为显示屏、触敏屏幕或平板计算机。可随后计算所俘获的声音的声音投影图案，其中声音投影图案是所俘获的声音的声音场的表示1504。声音投影图案可呈射束图案或符号(例如箭头)的形式。在已经计算声音投影图案之后，声音投影图案可实时或准实时地显示在物理空间上且在所述声音换能器阵列与既定用户之间延伸1506。
另外，一旦已经俘获声音，可处理所述所俘获的声音以识别所述所俘获的声音的发起位置。所述既定用户可在所述所俘获的声音的所述发起位置处。
根据一个实施例，所述声音换能器阵列可包括组合的麦克风及扬声器阵列。麦克风射束可在声音换能器阵列上被俘获且以第一色彩显示在物理空间中，且扬声器射束可从所述声音换能器阵列发射且以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
根据另一个实施例，声音换能器阵列可包括单独的麦克风阵列及单独的扬声器阵列。所述麦克风阵列可俘获可在物理空间中以第一色彩显示的麦克风射束，且扬声器阵列可发射在物理空间中显示为第二色彩的扬声器射束，其中所述第一色彩不同于所述第二色彩。可将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
图16说明一些实施方案可使用的声音换能器阵列的实例。如图16中所展示，声音换能器阵列1600可包含至少一个处理器/处理电路1602、存储器1604、多个麦克风及扬声器1606、若干输入装置1608、至少一个收发器1610、至少一个用户接口模块1612及至少一个通信接口模块1614。
麦克风及扬声器1606可以用于俘获声音及/或话音且发射在物理空间中显示的扬声器射束。输入装置1608可允许用户实在地“触摸声音”且将此类操作执行为重新引导射束图案、绘制新的射束图案、调整参数值等，且在正操纵声音场时看到视觉改变。
收发器1610可允许声音换能器阵列发射无线信号及从其它装置(例如，电话、计算机、平板计算机、声音换能器阵列)接收无线信号。所述声音换能器阵列可包含多个收发器，其允许声音换能器阵列使用不同通信链路及不同通信协议与不同装置通信(例如，无线地)。在一些实施方案中，用户接口模块1612提供麦克风1606、输入装置1608与处理器/处理电路1602之间的接口。用户接口模块1612可包含若干用户接口模块(例如，用于每一组件的模块)。在一些实施方案中，通信接口模块1614提供收发器1610与处理器/处理电路1602之间的接口。通信接口模块1614可包含若干接口模块(例如，用于每一收发器的模块)。
如图16中所展示，处理器/处理电路1602可包含声音检测模块/电路1616、位置/定向模块/电路1618、声音处理模块/电路1620及命令模块/电路1622。
声音检测模块/电路1616可用于检测及俘获声音。在一些实施方案中，声音检测模块/电路1616可从麦克风1606俘获声音。在一些实施方案中，位置/定向模块/电路1618可用于确定声音换能器阵列1600的位置及/或定向。声音处理模块/电路1620可用于处理由麦克风1606俘获的声音、计算所俘获的声音的声音投影图案(即，一或多个物理波场的图形表示)且在物理空间上显示图形表示。命令模块/电路1622可用于基于多点触摸命令(或手势)来处理控制信息以重新引导阵列的声音场。对声音的处理可包含从所俘获的声音提取个别声音。在一些实施方案中，对声音的处理还可包含识别扬声器的身份。
图17说明一些实施方案可使用的装置的实例。如图17中所展示，装置1700可包含至少一个处理器/处理电路1702、存储器1704、触敏屏幕1706、若干输入装置1708、至少一个收发器1710、至少一个用户接口模块1712及至少一个通信接口模块1714。
触敏屏幕1706可以用于显示物理空间中的声音场的图形表示。触敏屏幕1706还可以用于从一或多个用户接收输入。输入装置1708允许用户输入数据及/或提供对装置的控制。收发器1710允许装置发射无线信号及从其它装置(例如，电话、计算机、平板计算机、声音换能器阵列)接收无线信号。所述装置可包含多个收发器，其允许声音换能器阵列使用不同通信链路及不同通信协议与不同装置通信(例如，无线地)。在一些实施方案中，用户接口模块1712提供触敏屏幕1706、输入装置1708与处理器/处理电路1702之间的接口。用户接口模块1712可包含若干用户接口模块(例如，用于每一组件的模块)。在一些实施方案中，用户接口模块1714提供收发器1710与处理器/处理电路1702之间的接口。通信接口模块1714可包含若干用户接口模块(例如，用于每一收发器的模块)。
如图17中所展示，处理器/处理电路1702可包含用于与声音换能器阵列介接的声音检测模块/电路1716、用于确定声音换能器阵列的位置的位置/定向模块/电路1718、声音处理模块/电路1720及命令模块/电路1722。
声音检测模块/电路1716可用于与声音换能器阵列介接。在一些实施方案中，位置/定向模块/电路1718可用于确定声音换能器阵列的位置及/或定向。在一些实施方案中，声音处理模块/电路1720可用于处理由麦克风俘获的声音。所述麦克风可为来自耦合到装置的声音换能器阵列的麦克风。对声音的处理可包含从所俘获的声音提取个体声音。在一些实施方案中，对声音的处理还可包含识别扬声器的身份。命令模块/电路1722可用于基于多点触摸命令(或手势)来处理控制信息以重新引导阵列的声音场。
图18说明根据一个实施例的用于利用一或多个平板计算机表示并控制物理空间中的声音场的系统。如图18中所展示，三个个体1800到1806可各自具有可彼此直接通信或使用集线器1814进行通信的平板计算机1808到1812。每一平板计算机可具有可在内部位于每一平板计算机内或在外部位于每一平板计算机上的其自身的声音换能器阵列(即，麦克风及扬声器)1809到1813。
图19A说明可使用额外装置实施的另一配置。如图19A中所展示，声音换能器阵列1900与若干移动装置1902到1908(例如，手持机、平板计算机)通信。这些移动装置中的每一者可与相应的用户/人员1910到1916相关联。移动装置可为手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。所述移动装置可能够经由蜂窝式网络及/或其它通信网络与其它装置通信。
移动装置1902到1908可允许用户向声音换能器阵列1900“签到”及/或登记。(例如，通过使用NFC在麦克风阵列1900附近轻敲移动装置而签到)。然而，不同的实施方案可以不同方式向声音换能器阵列1900“签到”及/或登记。例如，移动装置可使用另一通信协议或通信链路(例如，蓝牙、WiFi)与声音换能器阵列1900通信。一旦用户/移动装置“签到”或登记，声音换能器阵列可使用超声波/红外/声波脉冲(或其它已知标签)跟踪移动装置，其允许声音换能器阵列1900连续地知晓移动装置的位置/定位，这因此意味着声音换能器阵列1900知晓与正被跟踪的移动装置相关联的用户的位置/定位。
每一移动装置1902到1908可在其相应的屏幕上提供允许用户指定用户及/或装置(例如，平板计算机)相对于声音换能器阵列1900的位置/定位的图形用户接口。即，用户可在移动装置的屏幕上指示用户的位置，所述位置随后(例如，经由蓝牙、WiFi)被传输到声音换能器阵列1900及/或另一装置(例如，装置1001)。移动装置(例如，移动装置1902到1908)的屏幕上的图形用户接口还可提供/显示文本(例如，经转录的所俘获话音)。可从声音换能器阵列1900及/或与声音换能器阵列1900通信的另一装置提供/传输此类文本。
声音换能器阵列1900可位于桌子(未图示)上或在桌子上集成的装置的触敏屏幕(未图示)上。类似地，移动装置1902到1908可定位在桌子上或在桌子上集成的装置的触敏屏幕上。
图19B说明可使用不同装置实施的另一配置。图19B类似于图19A，不同之处在于声音换能器阵列1900位于装置1920的触敏屏幕1922上，且在装置1920的触敏屏幕1922的图形用户接口上指定用户的位置。如图19B中所展示，移动装置1902到1908(例如，手持机、平板计算机)与声音换能器阵列1900及/或装置1920通信(例如，使用蓝牙、WiFi)。
如图19B中进一步展示，用户通过指定图形用户接口元件的位置/定位而指定它们相对于声音换能器阵列1900的位置。如图19B中所展示，存在在屏幕1922中展示的图形用户接口上显示的四个图形用户接口元件1930到1936。每一图形用户接口元件1930到1936可与特定用户及/或移动装置相关联。图形用户接口元件可包含识别与用户接口元件相关联的用户的文本或图像(例如，ID、姓名、图片)。不同的实施方案可以不同方式呈现图形用户接口元件。在一些实施方案中，通过用户轻敲屏幕及/或登录而呈现图形用户接口元件。在一些实施方案中，在用户使用上文在图19A中所描述的示范性方法中的一者向声音换能器阵列1900及/或装置1920“签到”及/或登记(例如，使用NFC通过轻敲声音换能器阵列1900及/或装置1920而签到)时可呈现图形用户接口元件。由于移动装置1902到1908与声音换能器阵列1900及/或装置1920通信，所以移动装置1902到1908可从声音换能器阵列1900及装置1920中的任一者或两者接收数据。所述数据可呈现/显示在移动装置1902到1908的屏幕上。在一些实施方案中，数据的实例包含所俘获的话音的经转录文本。
在一些实施方案中，装置1920是移动装置(例如，平板计算机、手持机)。在移动装置的屏幕大小对于声音换能器阵列1900定位在移动装置的屏幕上来说是充分足够大时，此可为可能的。在此些情况下，移动装置可充当声音换能器阵列1900定位在其上的中央移动装置(例如，中央平板计算机)。图19C说明包含中央移动装置(例如，中央平板计算机)的配置的实例。如图19C中所展示，移动装置1902到1908(例如，手持机、平板计算机)与声音换能器阵列1900及/或中央移动装置1940通信(例如，使用蓝牙、WiFi)。中央移动装置1940包含触敏屏幕1942，声音换能器阵列1900可放置在触敏屏幕1942上。应注意，在一些实施方案中，移动装置1902到1908中的任一者可充当中央移动装置。
图19C的配置类似于图19B的配置，不同之处在于图19B的装置1920(其可为表面桌子/表面平板计算机)已经用移动装置1940(例如，平板计算机、智能电话)替换，移动装置1940充当与其它移动装置(例如，移动装置1902到1908)通信的中央移动装置。在一些实施方案中，图19C中展示的配置的操作类似于图19A到19B中展示及描述的配置的操作。即，例如，在一些实施方案中，用户可使用NFC或其它通信协议/链路(例如，蓝牙、WiFi)向声音换能器阵列1900及/或中央移动装置1940“签到”、登记及/或登录。
词“示范性”在本文中用以意味着“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案或方面未必应解释为比本发明的其它方面优选或有利。同样，术语“方面”不要求本发明的所有方面包含所论述的特征、优点或操作模式。术语“耦合”在本文中用于指两个物体之间的直接或间接耦合。例如，如果物体A物理地触摸物体B，且物体B触摸物体C，那么物体A及C可仍被视为彼此耦合到，即使它们不直接彼此物理地触摸也如此。举例来说，裸片的衬底可耦合到封装衬底，即使裸片的衬底永不与封装衬底直接物理地接触。
图1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18及/或19中说明的组件、步骤、特征及/或功能中的一或多者可重新布置及/或组合为单一组件、步骤、特征或功能或体现在若干组件、步骤或功能中。在不脱离本发明的情况下，还可以添加额外的元件、组件、步骤及/或功能。
而且，应注意，实施例可描述为描绘为流程图、结构图或框图的过程。尽管流程图可将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、函数、步骤、子例程、子程序等。当过程对应于函数时，其终止对应于所述函数返回到调用函数或主函数。
此外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置及/或用于存储信息的其它机器可读取媒体。术语“机器可读媒体”或“机器可读存储媒体”包含(但不限于)便携式或固定存储装置、光学存储装置、无线信道及能够存储、含有或携载指令及/或数据的各种其它媒体。
此外，可由硬件、软件、固件、中间件、微码或其任何组合来实施实施例。当以软件、固件、中间件或微码实施时，用于执行必要任务的程序代码或代码段可存储在例如存储媒体或其它存储器的机器可读媒体中。处理器可以执行必要任务。代码段可以表示步骤、函数、子程序、程序、例程、子例程、模块、软件包、类别，或指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以经由包含存储器共享、消息传递、权标传递、网络传输等任何合适的方式传递、转发或传输。
可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中描述的功能的任何组合来实施或执行结合本文中揭示的实例而描述的各种说明性逻辑块、模块、电路(例如，处理电路)、元件及/或组件。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可以实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。
结合本文中揭示的实例而描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现在硬件、可由处理器执行的软件模块或两者的组合中，且可含于单个装置中或跨越多个装置而分布。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM，或所属领域中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中，储存媒体可与处理器成一体式。
所属领域的技术人员将进一步了解，结合本文中揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。
本文中描述的本发明的各种特征可实施于不同系统中而不脱离本发明。应注意，本发明的前述方面仅为实例，且不应解释为限制本发明。本发明的各方面的描述既定是说明性的，且不限制权利要求书的范围。因此，本发明的教示可容易应用于其它类型的设备，且所属领域的技术人员将明白许多替代方案、修改及变化。

Claims (61)

1.一种表示物理空间中的声音场的方法，所述方法包括：
从所述物理空间俘获声音，所述声音通过与所述物理空间通信的声音换能器阵列发射到所述物理空间中；
计算所述所俘获的声音的声音投影图案，其中所述声音投影图案包括所述所俘获的声音的声音场的表示；及
在所述物理空间上显示所述声音投影图案，所述声音投影图案在所述声音换能器阵列与既定用户之间延伸。
2.根据权利要求1所述的方法，其进一步包括处理所述所俘获的声音以识别所述所俘获的声音的发起位置。
3.根据权利要求2所述的方法，其中所述既定用户在所述所俘获的声音的所述发起位置处。
4.根据权利要求1所述的方法，其中所述声音换能器阵列包括单独的麦克风阵列及扬声器阵列。
5.根据权利要求4所述的方法，其进一步包括：
在所述麦克风阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述扬声器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
6.根据权利要求5所述的方法，其进一步包括将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
7.根据权利要求1所述的方法，其中所述声音换能器阵列包括组合的麦克风及扬声器阵列。
8.根据权利要求7所述的方法，其进一步包括：
在所述声音换能器阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述声音换能器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
9.根据权利要求8所述的方法，其进一步包括将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
10.根据权利要求1所述的方法，其中所述声音包含次声波声音、超声波声音、红外声音及射频声音。
11.根据权利要求1所述的方法，其中实时或准实时地俘获所述声音。
12.根据权利要求1所述的方法，其中实时或准实时地显示所述声音投影图案。
13.根据权利要求1所述的方法，其中所述物理空间包括显示屏、触摸屏及平板计算机中的至少一者。
14.根据权利要求1所述的方法，其中所述声音投影图案包括呈射束图案的形式的声音投影图案。
15.根据权利要求1所述的方法，其中所述声音投影图案包括符号。
16.根据权利要求15所述的方法，其中所述符号包括箭头。
17.一种与物理空间通信的声音换能器阵列，所述声音换能器阵列包括：
扬声器阵列；
麦克风阵列，其与所述扬声器阵列通信以用于俘获声音；
至少一个处理器，其与所述麦克风阵列通信且经配置以：
俘获所述声音；
计算所述所俘获的声音的声音投影图案，其中所述声音投影图案包括所述所俘获的声音的声音场的表示；及
在所述物理空间上显示所述声音投影图案，所述声音投影图案在所述声音换能器阵列与既定用户之间延伸。
18.根据权利要求17所述的声音换能器阵列，其中所述至少一个处理器进一步经配置以处理所述所俘获的声音以识别所述所俘获的声音的发起位置。
19.根据权利要求18所述的声音换能器阵列，其中所述既定用户在所述所俘获的声音的所述发起位置处。
20.根据权利要求17所述的声音换能器阵列，其中所述麦克风阵列与所述扬声器阵列分开。
21.根据权利要求20所述的声音换能器阵列，其中所述至少一个处理器进一步经配置以：
在所述麦克风阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述扬声器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
22.根据权利要求21所述的声音换能器阵列，其中所述至少一个处理器进一步经配置以将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
23.根据权利要求17所述的声音换能器阵列，其中所述麦克风阵列与所述扬声器阵列组合。
24.根据权利要求23所述的声音换能器阵列，其中所述至少一个处理器进一步经配置以：
在所述组合的麦克风及扬声器阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述组合的麦克风及扬声器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
25.根据权利要求24所述的声音换能器阵列，其中所述至少一个处理器进一步经配置以将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
26.根据权利要求17所述的声音换能器阵列，其中所述声音包含次声波声音、超声波声音、红外声音及射频声音中的一或多者。
27.根据权利要求17所述的声音换能器阵列，其中实时或准实时地俘获所述声音。
28.根据权利要求17所述的声音换能器阵列，其中实时或准实时地显示所述声音投影图案。
29.根据权利要求17所述的声音换能器阵列，其中所述物理空间包括显示屏、触摸屏及平板计算机中的至少一者。
30.根据权利要求17所述的声音换能器阵列，其中所述声音投影图案包含呈射束图案的形式的声音投影图案。
31.根据权利要求17所述的声音换能器阵列，其中所述声音投影图案包括符号。
32.根据权利要求31所述的声音换能器阵列，其中所述符号包括箭头。
33.一种与物理空间通信的声音换能器阵列，所述声音换能器阵列包括：
用于从所述物理空间俘获声音的装置，所述声音通过与所述物理空间通信的声音换能器阵列发射到所述物理空间中；
用于计算所述所俘获的声音的声音投影图案的装置，其中所述声音投影图案包括所述所俘获的声音的声音场的表示；及
用于在所述物理空间上显示所述声音投影图案的装置，所述声音投影图案在所述声音换能器阵列与既定用户之间延伸。
34.根据权利要求33所述的声音换能器阵列，其进一步包括用于处理所述所俘获的声音以识别所述所俘获的声音的发起位置的装置。
35.根据权利要求34所述的声音换能器阵列，其中所述既定用户在所述所俘获的声音的所述发起位置处。
36.根据权利要求33所述的声音换能器阵列，其中所述声音换能器阵列包括单独的麦克风阵列及扬声器阵列。
37.根据权利要求36所述的声音换能器阵列，其进一步包括：
用于在所述麦克风阵列上俘获麦克风射束的装置，所述麦克风射束以第一色彩显示在所述物理空间中；及
用于从所述扬声器阵列发射扬声器射束的装置，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
38.根据权利要求37所述的声音换能器阵列，其进一步包括用于将色彩热图应用于所述麦克风射束的装置，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
39.根据权利要求33所述的声音换能器阵列，其中所述声音换能器阵列包括组合的麦克风及扬声器阵列。
40.根据权利要求39所述的声音换能器阵列，其进一步包括：
用于在所述声音换能器阵列上俘获麦克风射束的装置，所述麦克风射束以第一色彩显示在所述物理空间中；及
用于从所述声音换能器阵列发射扬声器射束的装置，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
41.根据权利要求40所述的声音换能器阵列，其进一步包括用于将色彩热图应用于所述麦克风射束的装置，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
42.根据权利要求33所述的声音换能器阵列，其中所述声音包含次声波声音、超声波声音、红外声音及射频声音中的一或多者。
43.根据权利要求33所述的声音换能器阵列，其中实时或准实时地俘获所述声音。
44.根据权利要求33所述的声音换能器阵列，其中实时或准实时地显示所述声音投影图案。
45.根据权利要求33所述的声音换能器阵列，其中所述物理空间包括显示屏、触摸屏及平板计算机中的至少一者。
46.根据权利要求33所述的声音换能器阵列，其中所述声音投影图案包含呈射束图案的形式的声音投影图案。
47.根据权利要求46所述的声音换能器阵列，其中所述声音投影图案包括符号。
48.一种包括用于表示物理空间中的声音场的一或多个指令的计算机可读存储媒体，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器：
从所述物理空间俘获声音，所述声音通过与所述物理空间通信的声音换能器阵列发射到所述物理空间中；
计算所述所俘获的声音的声音投影图案，其中所述声音投影图案包括所述所俘获的声音的声音场的表示；及
在所述物理空间上显示所述声音投影图案，所述声音投影图案在所述声音换能器阵列与既定用户之间延伸。
49.根据权利要求48所述的计算机可读存储媒体，其进一步包括在由至少一个处理器执行时致使所述至少一个处理器处理所述所俘获的声音以识别所述所俘获的声音的发起位置的一或多个指令。
50.根据权利要求49所述的计算机可读存储媒体，其中所述既定用户在所述所俘获的声音的所述发起位置处。
51.根据权利要求48所述的计算机可读存储媒体，其中所述声音换能器阵列包括单独的麦克风阵列及扬声器阵列。
52.根据权利要求48所述的计算机可读存储媒体，其进一步包括在由至少一个处理器执行时致使所述至少一个处理器进行以下操作的一或多个指令：
在所述麦克风阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述扬声器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
53.根据权利要求48所述的计算机可读存储媒体，其进一步包括在由至少一个处理器执行时致使所述至少一个处理器进行以下操作的一或多个指令：将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
54.根据权利要求48所述的计算机可读存储媒体，其中所述声音换能器阵列包括组合的麦克风及扬声器阵列。
55.根据权利要求54所述的计算机可读存储媒体，其进一步包括在由至少一个处理器执行时致使所述至少一个处理器进行以下操作的一或多个指令：
在所述声音换能器阵列上俘获麦克风射束，所述麦克风射束以第一色彩显示在所述物理空间中；及
从所述声音换能器阵列发射扬声器射束，所述扬声器射束以第二色彩显示在所述物理空间中，其中所述第一色彩不同于所述第二色彩。
56.根据权利要求55所述的计算机可读存储媒体，其进一步包括在由至少一个处理器执行时致使所述至少一个处理器进行以下操作的一或多个指令：将色彩热图应用于所述麦克风射束，其中所述色彩热图的主瓣表示强信号区且所述色彩热图中的色彩改变表示较弱的信号区。
57.根据权利要求48所述的计算机可读存储媒体，其中所述声音包含次声波声音、超声波声音、红外声音及射频声音中的一或多者。
58.根据权利要求48所述的计算机可读存储媒体，其中实时或准实时地俘获所述声音。
59.根据权利要求48所述的计算机可读存储媒体，其中实时或准实时地显示所述声音投影图案。
60.根据权利要求48所述的计算机可读存储媒体，其中所述物理空间包括显示屏、触摸屏及平板计算机中的至少一者。
61.根据权利要求48所述的计算机可读存储媒体，其中所述声音投影图案包含呈射束图案的形式的声音投影图案。
CN201380058949.0A 2012-11-14 2013-10-11 用于表示物理空间中的声音场的方法及设备 Active CN104782146B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261726461P 2012-11-14 2012-11-14
US201261726441P 2012-11-14 2012-11-14
US201261726456P 2012-11-14 2012-11-14
US201261726451P 2012-11-14 2012-11-14
US61/726,451 2012-11-14
US61/726,441 2012-11-14
US61/726,456 2012-11-14
US61/726,461 2012-11-14
US13/725,951 2012-12-21
US13/725,951 US9412375B2 (en) 2012-11-14 2012-12-21 Methods and apparatuses for representing a sound field in a physical space
PCT/US2013/064707 WO2014077990A1 (en) 2012-11-14 2013-10-11 Methods and apparatuses for representing a sound field in a physical space

Publications (2)

Publication Number Publication Date
CN104782146A true CN104782146A (zh) 2015-07-15
CN104782146B CN104782146B (zh) 2017-08-25

Family

ID=50681708

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380058941.4A Expired - Fee Related CN104919823B (zh) 2012-11-14 2013-10-11 具有智能方向性会议的装置及系统
CN201380058949.0A Active CN104782146B (zh) 2012-11-14 2013-10-11 用于表示物理空间中的声音场的方法及设备
CN201380058943.3A Pending CN104919824A (zh) 2012-11-14 2013-10-11 用于提供对声音的有形控制的方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380058941.4A Expired - Fee Related CN104919823B (zh) 2012-11-14 2013-10-11 具有智能方向性会议的装置及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380058943.3A Pending CN104919824A (zh) 2012-11-14 2013-10-11 用于提供对声音的有形控制的方法及设备

Country Status (6)

Country Link
US (3) US9368117B2 (zh)
EP (3) EP2920984A1 (zh)
JP (3) JP6092412B2 (zh)
KR (2) KR20150085032A (zh)
CN (3) CN104919823B (zh)
WO (3) WO2014077991A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106409272A (zh) * 2016-11-18 2017-02-15 广西南宁魔码文化传播有限责任公司 感应式可视化铜鼓系统
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9368117B2 (en) * 2012-11-14 2016-06-14 Qualcomm Incorporated Device and system having smart directional conferencing
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US10827292B2 (en) * 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US10575093B2 (en) * 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
CN105683878B (zh) 2013-09-03 2019-05-07 苹果公司 用户界面中的用户界面对象操作
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
US9817634B2 (en) * 2014-07-21 2017-11-14 Intel Corporation Distinguishing speech from multiple users in a computer interaction
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
CN104469595A (zh) * 2014-10-30 2015-03-25 苏州上声电子有限公司 一种基于误差模型的多区域声重放方法和装置
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
EP3266224B1 (en) * 2015-04-08 2021-05-19 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
CN106303810B (zh) * 2015-05-13 2021-09-10 青岛通产智能机器人有限公司 基于方向性声音传感器的声源方位判断装置及方法
GB2540225A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio capture and mixing control
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
CN105187998B (zh) * 2015-10-20 2018-11-13 张浩杰 一种超声波感应电子连体扬声器
CN105898026B (zh) * 2015-12-30 2020-03-06 乐融致新电子科技(天津)有限公司 移动终端录音提示方法、提示装置及其移动终端
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
US10848863B2 (en) 2016-01-14 2020-11-24 Harman International Industries, Incorporated Acoustic radiation pattern control
WO2017147325A1 (en) 2016-02-25 2017-08-31 Dolby Laboratories Licensing Corporation Multitalker optimised beamforming system and method
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
JP6520878B2 (ja) * 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) * 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP6472823B2 (ja) * 2017-03-21 2019-02-20 株式会社東芝 信号処理装置、信号処理方法および属性付与装置
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置
CN111602101A (zh) * 2017-12-22 2020-08-28 超级触觉资讯处理有限公司 利用空中触觉系统的人类交互
US10306394B1 (en) * 2017-12-29 2019-05-28 Samsung Electronics Co., Ltd. Method of managing a plurality of devices
JP7058002B2 (ja) * 2018-01-25 2022-04-21 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス
JP7183558B2 (ja) * 2018-03-29 2022-12-06 株式会社リコー 共用支援サーバ、共用システム、共用支援方法、及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11494158B2 (en) * 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
CN109451291A (zh) * 2018-12-29 2019-03-08 像航（上海）科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
WO2020142567A1 (en) * 2018-12-31 2020-07-09 Hed Technologies Sarl Systems and methods for voice identification and analysis
US11082769B2 (en) * 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11862168B1 (en) * 2020-03-30 2024-01-02 Amazon Technologies, Inc. Speaker disambiguation and transcription from multiple audio feeds
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
CN112834023B (zh) * 2021-01-06 2021-10-19 江苏科技大学 一种基于近场变换的空间辐射声场获取方法
US11540078B1 (en) 2021-06-04 2022-12-27 Google Llc Spatial audio in video conference calls based on content type or participant role
US11849257B2 (en) 2021-08-04 2023-12-19 Google Llc Video conferencing systems featuring multiple spatial interaction modes
US11637991B2 (en) 2021-08-04 2023-04-25 Google Llc Video conferencing systems featuring multiple spatial interaction modes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253592A1 (en) * 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20090015594A1 (en) * 2005-03-18 2009-01-15 Teruo Baba Audio signal processing device and computer program for the same
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) * 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5666136A (en) 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
JPH0784592A (ja) 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6826284B1 (en) * 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
US20020089541A1 (en) * 2000-02-14 2002-07-11 Julian Orbanes System for graphically interconnecting operators
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7146260B2 (en) * 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US7071920B2 (en) * 2001-07-06 2006-07-04 Hewlett-Packard Development Company, L.P. Method and apparatus for indicating an operating mode of a computer-pointing device
JP4280901B2 (ja) * 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
TWI304559B (zh) 2002-05-24 2008-12-21 Waltop Int Corp
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040080494A1 (en) 2002-10-29 2004-04-29 International Business Machines Corporation Force-sensing mouse pointing device for computer input
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US7305078B2 (en) 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
US8627213B1 (en) 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
DE102005043641A1 (de) * 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US20070075968A1 (en) 2005-09-30 2007-04-05 Hall Bernard J System and method for sensing the position of a pointing object
US20070127668A1 (en) * 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
WO2007083739A1 (ja) 2006-01-19 2007-07-26 Nippon Hoso Kyokai ３次元音響パンニング装置
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP5286667B2 (ja) 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US8249233B2 (en) * 2006-03-17 2012-08-21 International Business Machines Corporation Apparatus and system for representation of voices of participants to a conference call
US7843486B1 (en) 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7920158B1 (en) 2006-07-21 2011-04-05 Avaya Inc. Individual participant identification in shared video resources
JP4894386B2 (ja) 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP2008141465A (ja) 2006-12-01 2008-06-19 Fujitsu Ten Ltd 音場再生システム
US7844462B2 (en) 2007-02-01 2010-11-30 Sap Ag Spatial sound generation for screen navigation
US20080255901A1 (en) * 2007-03-26 2008-10-16 John Stuart Carroll Kiosk systems and methods
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
WO2008139018A1 (en) 2007-05-09 2008-11-20 Savox Communications Oy Ab (Ltd) A display apparatus
US8108144B2 (en) 2007-06-28 2012-01-31 Apple Inc. Location based tracking
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8073125B2 (en) * 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8050917B2 (en) 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US7995732B2 (en) 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
JP2009181457A (ja) 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
US8144896B2 (en) * 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
KR100955339B1 (ko) 2008-04-22 2010-04-29 주식회사 애트랩 접촉 및 접근을 감지할 수 있는 디스플레이 패널과디스플레이 장치 및 이 패널을 이용하는 접촉 및 접근 감지방법
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5047882B2 (ja) * 2008-06-04 2012-10-10 日本電信電話株式会社 発話関連情報提示装置及び方法
US8315366B2 (en) 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
NO333026B1 (no) 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5801026B2 (ja) * 2009-05-28 2015-10-28 株式会社ザクティ 画像音響処理装置及び撮像装置
US8620672B2 (en) * 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5568915B2 (ja) * 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US20110055703A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8363810B2 (en) 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8144633B2 (en) 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4949453B2 (ja) * 2009-11-12 2012-06-06 シャープ株式会社 画像処理装置および画像処理装置の制御方法
WO2011076290A1 (en) 2009-12-24 2011-06-30 Nokia Corporation An apparatus
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP5534413B2 (ja) * 2010-02-12 2014-07-02 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置及びプログラム
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8174934B2 (en) 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US20120027226A1 (en) * 2010-07-30 2012-02-02 Milford Desenberg System and method for providing focused directional sound in an audio system
US20120041579A1 (en) 2010-08-12 2012-02-16 Charles Davis Rear surround sound projection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
KR20130128380A (ko) * 2010-09-22 2013-11-26 사이프레스 세미컨덕터 코포레이션 터치 스크린을 위한 용량성 스타일러스
US8744065B2 (en) * 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US8848028B2 (en) * 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US8558894B2 (en) 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
US9507427B2 (en) 2011-06-29 2016-11-29 Intel Corporation Techniques for gesture recognition
WO2013077883A1 (en) 2011-11-23 2013-05-30 Intel Corporation Gesture input with multiple views, displays and physics
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
KR101641448B1 (ko) * 2012-03-16 2016-07-20 뉘앙스 커뮤니케이션즈, 인코포레이티드 사용자 전용 자동 음성 인식
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的系统及其广告服务方法
US20140013192A1 (en) * 2012-07-09 2014-01-09 Sas Institute Inc. Techniques for touch-based digital document audio and user interface enhancement
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム
US9368117B2 (en) 2012-11-14 2016-06-14 Qualcomm Incorporated Device and system having smart directional conferencing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090015594A1 (en) * 2005-03-18 2009-01-15 Teruo Baba Audio signal processing device and computer program for the same
US20080253592A1 (en) * 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106409272A (zh) * 2016-11-18 2017-02-15 广西南宁魔码文化传播有限责任公司 感应式可视化铜鼓系统
CN106409272B (zh) * 2016-11-18 2023-11-10 徐州芯特智能装备有限公司 感应式可视化铜鼓系统
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵

Also Published As

Publication number Publication date
JP2016505918A (ja) 2016-02-25
EP2920985A1 (en) 2015-09-23
EP2920984A1 (en) 2015-09-23
JP2016506639A (ja) 2016-03-03
KR20150085032A (ko) 2015-07-22
US9286898B2 (en) 2016-03-15
CN104919824A (zh) 2015-09-16
US20140133665A1 (en) 2014-05-15
KR20150085030A (ko) 2015-07-22
WO2014077989A1 (en) 2014-05-22
EP2920983B1 (en) 2017-11-22
US20140136203A1 (en) 2014-05-15
JP2016504648A (ja) 2016-02-12
WO2014077991A1 (en) 2014-05-22
US9412375B2 (en) 2016-08-09
EP2920983A1 (en) 2015-09-23
JP6092412B2 (ja) 2017-03-08
US9368117B2 (en) 2016-06-14
CN104919823B (zh) 2017-12-08
CN104919823A (zh) 2015-09-16
JP6138956B2 (ja) 2017-05-31
US20140136981A1 (en) 2014-05-15
KR101762522B1 (ko) 2017-07-27
WO2014077990A1 (en) 2014-05-22
CN104782146B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN104782146A (zh) 用于表示物理空间中的声音场的方法及设备
US11531518B2 (en) System and method for differentially locating and modifying audio sources
US11785134B2 (en) User interface that controls where sound will localize
KR100436362B1 (ko) 음성 회의 장치에 공간성 가청환경을 창출하는 방법 및 장치
Härmä et al. Augmented reality audio for mobile and wearable appliances
CN104427047B (zh) 移动终端及其控制方法
JP4546151B2 (ja) 音声コミュニケーション・システム
CN110383374A (zh) 音频通信系统和方法
CN105745602A (zh) 信息处理装置、信息处理方法和程序
US20090022332A1 (en) Enhanced Audio Recording For Smart Pen Computing Systems
CN104364746B (zh) 显示系统、显示装置、显示终端、显示终端的显示方法
US20120046768A1 (en) Method for providing multimedia data to a user
CN106664334A (zh) 移动终端及其控制方法
TWI672012B (zh) 互動式指向性聲音顯示系統及互動式指向性聲音顯示方法
CN107896355A (zh) Ai音箱的控制方法和装置
CN111492342A (zh) 音频场景处理
CN107688449A (zh) 用于显示辅助信息的伴随显示模块及其处理方法
JP3227725U (ja) 文字表示機能付き補聴システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant