CN104919823A - 具有智能方向性会议的装置及系统 - Google Patents

具有智能方向性会议的装置及系统 Download PDF

Info

Publication number
CN104919823A
CN104919823A CN201380058941.4A CN201380058941A CN104919823A CN 104919823 A CN104919823 A CN 104919823A CN 201380058941 A CN201380058941 A CN 201380058941A CN 104919823 A CN104919823 A CN 104919823A
Authority
CN
China
Prior art keywords
touch sensitive
orientation
sensitive screen
screen
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058941.4A
Other languages
English (en)
Other versions
CN104919823B (zh
Inventor
刘可喜
向佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104919823A publication Critical patent/CN104919823A/zh
Application granted granted Critical
Publication of CN104919823B publication Critical patent/CN104919823B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases

Abstract

一些实施方案提供一种用于识别扬声器的方法。所述方法基于来自第一装置的数据而确定第二装置的位置及定向，所述第一装置用于俘获所述第二装置的所述位置及定向。所述第二装置包含用于俘获声音的若干麦克风。所述第二装置具有可移动的位置及可移动的定向。所述方法将一物体指派为已知用户的表示。所述物体具有可移动的位置。所述方法接收所述物体的位置。所述物体的所述位置对应于所述已知用户的位置。所述方法处理所述所俘获的声音以识别源自所述物体的方向的声音。所述物体的所述方向与所述第二装置的所述位置及所述定向相关。所述方法将源自所述物体的所述方向的所述声音识别为属于所述已知用户。

Description

具有智能方向性会议的装置及系统
优先权主张
本专利申请案主张2012年11月14日申请的标题为“具有智能方向性会议的装置及系统(Device and System Having Smart Directional Conferencing)”的第61/726,441号美国临时专利申请案的优先权及权益。
本专利申请案还主张2012年11月14日申请的标题为“协作式文档检视及编辑(Collaborative Document Review and Editing)”的第61/726,461号美国临时专利申请案的优先权及权益。
本专利申请案还主张2012年11月14日申请的标题为“用于刷新物理空间中的声音场的装置及系统(Device and System for Refreshing a Sound Field in a Physical Space)”的第61/726,451号美国临时申请案的优先权及权益。
本专利申请案还主张2012年11月14日申请的标题为“用于提供对声音的有形控制的方法和设备(Method and Apparatus for Providing Tangible Control of Sound)”的第61/726,456号美国临时申请案的优先权及权益。
技术领域
各种特征涉及一种具有智能方向性会议的装置及系统。
背景技术
麦克风阵列可基于来自用户的音频信号(例如，话音)的到达方向(DOA)而在空间上区分不同声音源，包含来自用户的声音源。然而，此方法无法识别声音源的身份。即，以上方法可定位声音源的方向，但其无法识别声音源的确切身份。例如，如果声音源是说话的人，那么麦克风阵列可确定人在说话及说话的人的数目。然而，谁在说话或说话的人员的姓名无法被确定。
发明内容
本文中描述的各种特征、设备和方法提供一种具有智能方向性会议的装置及系统。
第一实例提供一种用于识别扬声器的设备。所述设备包含用于俘获第二装置的位置及定向的第一装置。所述第二装置包含用于俘获声音的若干麦克风。所述第二装置具有可移动的位置及可移动的定向。所述设备还包含至少一个处理器。所述至少一个处理器经配置以基于来自所述第一装置的数据而确定所述第二装置的所述位置及定向。所述至少一个处理器经配置以将一物体指派为已知用户的表示。所述物体具有可移动的位置。所述至少一个处理器经配置以接收所述物体的位置。所述物体的位置对应于所述已知用户的位置。所述至少一个处理器经配置以处理所述所俘获的声音以识别源自所述物体的方向的声音。所述物体的方向与所述第二装置的所述位置及所述定向相关。所述至少一个处理器经配置以将源自所述物体的所述方向的声音识别为属于所述已知用户。
根据一个方面，所述第一装置是触敏屏幕。在一些实施方案中，所述第二装置包含第一感应组件及第二感应组件。在一些实施方案中，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。在一些实施方案中，所述第一感应组件具有与所述第二感应组件不同的大小。在一些实施方案中，所述触敏屏幕集成在表面桌子中。在一些实施方案中，所述触敏屏幕集成在平板计算机中。
根据一个方面，所述第一装置是图像俘获屏幕。在一些实施方案中，所述第二装置包含至少一个视觉标记。所述图像俘获屏幕用于通过俘获所述第二装置的至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
根据另一方面，所述物体是呈现在屏幕上的图形用户接口中的图形用户接口元件。在一些实施方案中，所述屏幕是触敏屏幕，且所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
根据另一个方面，所述物体的位置上的移动表示已知用户的位置上的移动。在一些实施方案中，所述物体是可移动的物理物体。在一些实施方案中，所述物体是具有触敏屏幕的装置。在一些实施方案中，所述物体是耦合到系统的另一麦克风阵列。
根据一个方面，所述第一装置是移动装置。在一些实施方案中，所述移动装置是手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。
第二实例提供一种用于识别扬声器的方法。所述方法基于来自第一装置的数据而确定第二装置的位置及定向。所述第一装置用于俘获所述第二装置的所述位置及定向。所述第二装置包含用于俘获声音的若干麦克风。所述第二装置具有可移动的位置及可移动的定向。所述方法将一物体指派为已知用户的表示。所述物体具有可移动的位置。所述方法接收所述物体的位置。所述物体的位置对应于所述已知用户的位置。所述方法处理所述所俘获的声音以识别源自所述物体的所述方向的声音。所述物体的方向与所述第二装置的所述位置及所述定向相关。所述方法将源自所述物体的所述方向的声音识别为属于所述已知用户。
根据一个方面，所述第一装置是触敏屏幕。在一些实施方案中，所述第二装置包含第一感应组件及第二感应组件。在一些实施方案中，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。在一些实施方案中，所述第一感应组件具有与所述第二感应组件不同的大小。在一些实施方案中，所述触敏屏幕集成在表面桌子中。在一些实施方案中，所述触敏屏幕集成在平板计算机中。
根据一个方面，所述第一装置是图像俘获屏幕。在一些实施方案中，所述第二装置包含至少一个视觉标记。所述图像俘获屏幕用于通过俘获所述第二装置的至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
根据另一方面，所述物体是呈现在屏幕上的图形用户接口中的图形用户接口元件。在一些实施方案中，所述屏幕是触敏屏幕，且所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
根据另一个方面，所述物体的位置上的移动表示已知用户的位置上的移动。在一些实施方案中，所述物体是可移动的物理物体。在一些实施方案中，所述物体是具有触敏屏幕的装置。在一些实施方案中，所述物体是耦合到系统的另一麦克风阵列。
根据一个方面，所述第一装置是移动装置。在一些实施方案中，所述移动装置是手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。
第三实例提供一种用于识别扬声器的设备。所述设备包含用于基于来自第一装置的数据而确定第二装置的位置及定向的装置。所述第一装置用于俘获所述第二装置的所述位置及定向。所述第二装置包含用于俘获声音的若干麦克风。所述第二装置具有可移动的位置及可移动的定向。所述设备包含用于将一物体指派为已知用户的表示的装置。所述物体具有可移动的位置。所述设备包含用于接收所述物体的位置的装置。所述物体的位置对应于所述已知用户的位置。所述设备包含用于处理所述所俘获的声音以识别源自所述物体的方向的声音的装置。所述物体的方向与所述第二装置的所述位置及所述定向相关。所述设备包含用于将源自所述物体的所述方向的声音识别为属于所述已知用户的装置。
根据一个方面，所述第一装置是触敏屏幕。在一些实施方案中，所述第二装置包含第一感应组件及第二感应组件。在一些实施方案中，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。在一些实施方案中，所述第一感应组件具有与所述第二感应组件不同的大小。在一些实施方案中，所述触敏屏幕集成在表面桌子中。在一些实施方案中，所述触敏屏幕集成在平板计算机中。
根据一个方面，所述第一装置是图像俘获屏幕。在一些实施方案中，所述第二装置包含至少一个视觉标记。所述图像俘获屏幕用于通过俘获所述第二装置的至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
根据另一方面，所述物体是呈现在屏幕上的图形用户接口中的图形用户接口元件。在一些实施方案中，所述屏幕是触敏屏幕，且所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
根据另一个方面，所述物体的位置上的移动表示已知用户的位置上的移动。在一些实施方案中，所述物体是可移动的物理物体。在一些实施方案中，所述物体是具有触敏屏幕的装置。在一些实施方案中，所述物体是耦合到系统的另一麦克风阵列。
根据一个方面，所述第一装置是移动装置。在一些实施方案中，所述移动装置是手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。
第四实例提供一种计算机可读存储媒体，其包含用于识别扬声器的一或多个指令，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器：基于来自第一装置的数据而确定第二装置的位置及定向，所述第一装置用于俘获所述第二装置的所述位置及定向，所述第二装置包含用于俘获声音的若干麦克风，其中所述第二装置具有可移动的位置及可移动的定向；将一物体指派为已知用户的表示，所述物体具有可移动的位置；接收所述物体的位置，所述物体的位置对应于所述已知用户的位置；处理所述所俘获的声音以识别源自所述物体的方向的声音，其中所述物体的方向与所述第二装置的所述位置及所述定向相关；及将源自所述物体的所述方向的声音识别为属于所述已知用户。
根据一个方面，所述第一装置是触敏屏幕。在一些实施方案中，所述第二装置包含第一感应组件及第二感应组件。在一些实施方案中，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。在一些实施方案中，所述第一感应组件具有与所述第二感应组件不同的大小。在一些实施方案中，所述触敏屏幕集成在表面桌子中。在一些实施方案中，所述触敏屏幕集成在平板计算机中。
根据一个方面，所述第一装置是图像俘获屏幕。在一些实施方案中，所述第二装置包含至少一个视觉标记。所述图像俘获屏幕用于通过俘获所述第二装置的至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
根据另一方面，所述物体是呈现在屏幕上的图形用户接口中的图形用户接口元件。在一些实施方案中，所述屏幕是触敏屏幕，且所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
根据另一个方面，所述物体的位置上的移动表示已知用户的位置上的移动。在一些实施方案中，所述物体是可移动的物理物体。在一些实施方案中，所述物体是具有触敏屏幕的装置。在一些实施方案中，所述物体是耦合到系统的另一麦克风阵列。
根据一个方面，所述第一装置是移动装置。在一些实施方案中，所述移动装置是手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。
第五实例提供一种用于对共享文档进行协作的方法。所述方法产生用于所述共享文档的识别标签。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述方法将所述共享文档呈现给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述方法从一组用户接收用以修改所述共享文档的一组输入。来自所述组用户的每一输入来自单一输入装置。所述方法基于来自所述组用户的所接收的所述组输入而修改所述共享文档。所述方法将所述经修改的共享文档呈现给至少一个用户。
根据一个方面，所述输入装置是将所述共享文档呈现给所述若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
根据一方面，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
第六实例提供一种用于对共享文档进行协作的设备。所述设备包含用于产生用于所述共享文档的识别标签的装置。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述设备包含用于将所述共享文档呈现给若干用户的装置。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述设备包含用于从一组用户接收用以修改所述共享文档的一组输入的装置。来自所述组用户的每一输入来自单一输入装置。所述设备包含用于基于来自所述组用户的所接收的所述组输入而修改所述共享文档的装置。所述设备包含用于将所述经修改的共享文档呈现给至少一个用户的装置。
根据一个方面，所述输入装置是将所述共享文档呈现给所述若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
根据一方面，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
第七实例提供一种计算机可读存储媒体，其包含用于对共享文档进行协作的一或多个指令，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器：产生用于所述共享文档的识别标签，所述识别标签与特定用户相关联所述识别标签与特定用户相关联，所述识别标签是基于物体相对于声音俘获装置的位置而产生，所述物体表示所述特定用户；将所述共享文档呈现给若干用户，所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本，所述文本是基于来自所述特定用户的声音，所述声音是由所述声音俘获装置俘获；从一组用户接收用以修改所述共享文档的一组输入，其中来自所述组用户的每一输入来自单一输入装置；基于来自所述组用户的所接收的所述组输入而修改所述共享文档；及将所述经修改的共享文档呈现给至少一个用户。
根据一个方面，所述输入装置是将所述共享文档呈现给所述若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
根据一方面，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
第八实例提供一种用于对共享文档进行协作的装置。所述装置包含用于显示图形用户接口的屏幕。所述装置还包含耦合到所述屏幕的至少一个处理器。所述至少一个处理器经配置以产生用于所述共享文档的识别标签。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述至少一个处理器进一步经配置以将所述共享文档呈现给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述至少一个处理器进一步经配置以从一组用户接收用以修改所述共享文档的一组输入。来自所述组用户的每一输入来自单一输入装置。所述至少一个处理器进一步经配置以基于来自所述组用户的所接收的所述组输入而修改所述共享文档。所述至少一个处理器进一步经配置以将所述经修改的共享文档呈现给至少一个用户。
根据一个方面，所述输入装置是将所述共享文档呈现给所述若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
根据一方面，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
附图说明
通过在结合图式进行的下文阐述的详细描述，各种特征、性质及优点可变得显而易见，在图式中，相同的参考符号贯穿全文对应地进行识别。
图1说明包含麦克风阵列及具有触敏屏幕的装置的系统。
图2说明显示具有用于用户的图形用户接口元件的图形用户接口的触敏屏幕。
图3说明图形用户接口元件在触敏屏幕的图形用户接口上移动到不同位置。
图4说明图形用户接口元件在用户移动时移动到触敏屏幕的图形用户接口上的不同位置。
图5说明新的图形用户接口元件呈现在触敏屏幕的图形用户接口上。
图6说明用于俘获话音及识别扬声器的概述方法的流程图。
图7说明用于俘获话音及识别扬声器的详细方法的流程图。
图8说明麦克风阵列的位置及定向如何可以用于识别声音的源及身份。
图9说明麦克风阵列的位置及定向如何可以用于识别声音的源及身份。
图10说明包含若干麦克风阵列及具有触敏屏幕的装置的系统。
图11A说明包含麦克风阵列及若干装置的系统。
图11B说明包含麦克风阵列及若干装置的另一系统。
图11C说明包含麦克风阵列、中央移动装置及若干装置的另一系统。
图12A说明允许用户指定其相对于麦克风阵列的位置的装置。
图12B说明允许用户指定其相对于麦克风阵列的位置的装置，其中所述装置能够显示经转录的所俘获的话音。
图13说明包含若干感应器的麦克风阵列。
图14说明基于感应器在麦克风阵列上的定向的麦克风阵列的定向。
图15说明基于一或多个视觉标记在麦克风阵列上的定向的麦克风阵列的定向。
图16说明用于确定麦克风阵列的位置及定向的方法的流程图。
图17说明用于确定麦克风阵列的位置及定向的方法的另一流程图。
图18说明将经转录的文本提供给若干用户。
图19说明将经转录的文本的特写提供给特定用户。
图20说明包含文本的突出显示的一部分的经转录的文本的特写。
图21说明包含文本的突出显示的另一部分的经转录的文本的特写。
图22说明对经转录的文本执行示范性操作。
图23说明对经转录的文本执行另一示范性操作。
图24说明用于对共享文档进行协作的方法的流程图。
图25说明用于在俘获及识别声音的系统中使用的示范性麦克风阵列。
图26说明在用于俘获及识别声音的系统中使用的示范性装置。
具体实施方式
在以下描述中，给出具体细节以提供对本发明的各种方面的彻底理解。然而，所属领域的技术人员应了解，所述方面可在没有这些具体细节的情况下实践。举例来说，可以框图展示电路以便避免以不必要的细节混淆所述方面。在其它情况下，可不详细展示众所周知的电路、结构和技术以便不混淆本发明的方面。
概述
本发明的一些示范性实施例涉及一种用于识别扬声器的方法。所述方法基于来自第一装置的数据而确定第二装置的位置及定向。所述第一装置用于俘获所述第二装置的所述位置及定向。所述第二装置包含用于俘获声音的若干麦克风。所述第二装置具有可移动的位置及可移动的定向。所述方法将一物体指派为已知用户的表示。所述物体具有可移动的位置。所述方法接收所述物体的位置。所述物体的位置对应于所述已知用户的位置。所述方法处理所述所俘获的声音以识别源自所述物体的所述方向的声音。所述物体的方向与所述第二装置的所述位置及所述定向相关。所述方法将源自所述物体的所述方向的声音识别为属于所述已知用户。
在一些实施方案中，所述第二装置包含第一感应组件(例如，第一感应器)及第二感应组件(例如，第二感应器)。所述第一和第二感应组件可定位在所述第二装置的基底(例如，麦克风阵列的底部)处。在一些实施方案中，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。
本发明的一些示范性实施例关于一种用于对共享文档进行协作的方法。所述方法产生用于所述共享文档的识别标签。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述方法将所述共享文档呈现给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述方法从一组用户接收用以修改所述共享文档的一组输入。来自所述组用户的每一输入来自单一输入装置。所述方法基于来自所述组用户的所接收的所述组输入而修改所述共享文档。所述方法将所述经修改的共享文档呈现给至少一个用户。
在一些实施方案中，所述输入装置是将所述共享文档呈现给若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
在一些实施方案中，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
本发明的一些示范性实施例关于一种用于对共享文档进行协作的设备。所述设备包含用于产生用于所述共享文档的识别标签的装置。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述设备包含用于将所述共享文档呈现给若干用户的装置。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述设备包含用于从一组用户接收用以修改所述共享文档的一组输入的装置。来自所述组用户的每一输入来自单一输入装置。所述设备包含用于基于来自所述组用户的所接收的所述组输入而修改所述共享文档的装置。所述设备包含用于将所述经修改的共享文档呈现给至少一个用户的装置。
在一些实施方案中，所述输入装置是将所述共享文档呈现给若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
在一些实施方案中，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
本发明的一些示范性实施例是关于一种计算机可读存储媒体，其包含用于对共享文档进行协作的一或多个指令，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器产生用于所述共享文档的识别标签。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述一或多个指令在由至少一个处理器执行时进一步致使所述至少一个处理器将所述共享文档呈现给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述一或多个指令在由至少一个处理器执行时进一步致使所述至少一个处理器从一组用户接收用以修改共享文档的一组输入。来自所述组用户的每一输入来自单一输入装置。所述一或多个指令在由至少一个处理器执行时进一步致使所述至少一个处理器基于来自所述组用户的所接收的所述组输入而修改所述共享文档。所述一或多个指令在由至少一个处理器执行时进一步致使所述至少一个处理器将所述经修改的共享文档呈现给至少一个用户。
在一些实施方案中，所述输入装置是将所述共享文档呈现给若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
在一些实施方案中，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
本发明的一些示范性实施例是关于一种用于对共享文档进行协作的装置。所述装置包含用于显示图形用户接口的屏幕。所述装置还包含耦合到所述屏幕的至少一个处理器。所述至少一个处理器经配置以产生用于所述共享文档的识别标签。所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置的位置而产生。所述物体表示所述特定用户。所述至少一个处理器进一步经配置以将所述共享文档呈现给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。所述声音是由所述声音俘获装置俘获。所述至少一个处理器进一步经配置以从一组用户接收用以修改所述共享文档的一组输入。来自所述组用户的每一输入来自单一输入装置。所述至少一个处理器进一步经配置以基于来自所述组用户的所接收的所述组输入而修改所述共享文档。所述至少一个处理器进一步经配置以将所述经修改的共享文档呈现给至少一个用户。
在一些实施方案中，所述输入装置是将所述共享文档呈现给若干用户的触敏屏幕。在一些实施方案中，所述组输入包含所述触敏屏幕上的一组手势。在一些实施方案中，所述经修改的共享文档呈现在所述触敏屏幕上。
在一些实施方案中，所述所呈现的经修改共享文档包含识别由来自所述组用户的第一用户修改的所述经修改的共享文档的第一部分的第一指示符。
图1说明在一些实施例中实现对会议的准确文档编制的系统的实例。如图1中所示，所述系统包含麦克风阵列100及装置101。
在一些实施方案中，麦克风阵列100可包含至少一个处理器、存储器、若干麦克风、至少一个收发器、若干感应元件、指南针、至少一个通信接口及至少一个识别标记。麦克风阵列100的麦克风可以从不同方向俘获音频的方式布置。例如，所述麦克风可以圆形或任何其它布置线性地布置。麦克风阵列100可通过使用通信接口及至少一个收发器与装置101通信。在一些实施方案中，收发器提供麦克风阵列100与装置101之间的无线通信链路(用于接收及发射数据)。不同的实施方案可使用不同通信协议在麦克风阵列100与装置101之间通信。通信协议的实例包含近场通信(NFC)、Wi-Fi、蓝牙、紫蜂、数字生活网络联盟(DLNA)及Airplay。
在一些实施方案中，指南针提供麦克风阵列100确定定向信息的方式，所述定向信息识别麦克风阵列100相对于真北的定向。在一些实施方案中，定向信息可在内部使用或可被传递到其它装置(例如，装置101)以便确定麦克风阵列的位置及/或定向。感应元件还可以用于确定麦克风阵列100的位置及/或定向。例如，感应元件可由装置(例如，装置101)使用以确定麦克风阵列100在触敏屏幕上的位置及定向。识别标记还可以用于确定麦克风阵列100的位置及/或定向。在一些实施方案中，识别标记是唯一地识别物体的视觉标记。识别标记的实例包含快速响应(QR)码及点(例如，绿色/红色点)的对。
以上描述是麦克风阵列的可能的组件/元件的概述。下文将参考图25进一步描述麦克风阵列的组件/元件的更详细描述。
如图1中所示，装置101包含触敏屏幕102。触敏屏幕102用于向用户显示图形用户接口。图形用户接口可包含图形用户接口元件，例如图像、文本、图标、视窗、视频等。触敏屏幕102还用于感测及俘获用户移动(例如，手指在触摸屏上的移动)，其可被转译为图形用户接口中的动作。在一些实施方案中，装置101及触敏屏幕102可集成在表面桌子中。
除了触敏屏幕102之外，装置101还可包含至少一个处理器、存储器、至少一个收发器、至少一个通信接口、图像俘获装置(例如，相机、图像俘获屏幕)。在一些实施方案中，以上组件允许装置101与麦克风阵列100、本地及远程计算机、无线装置(例如，电话)、便携式计算机装置(例如，平板计算机)通信。下文将参考图26进一步描述装置101的组件/元件。
已经提供了对用于俘获声音及对声音进行文档编制的系统的各种装置及组件的概述，现将描述这些实例装置如何用于此实例系统中的详细描述。
图2说明包含触敏屏幕102的装置101。麦克风阵列100定位在触敏屏幕102的顶部上。图2还说明四个人/用户200到206围绕装置101参加开会/会议。在一些实施方案中，装置101集成在表面桌子中。图2进一步说明显示在触敏屏幕102上的四个(4)图形用户接口元件208到214。这四个图形用户接口元件208到214表示可参加所述开会/会议的四个用户。虽然图形用户接口元件208到214展示为矩形，但图形用户接口元件208到214可为其它形状或其它图像。例如，在一些实施方案中，图形用户接口元件208到214可为用户的图像。图形用户接口元件208到214还可以是图像与文本的组合(例如，名称、生物)。
图3说明在用户已经与触敏屏幕102交互之后的触敏屏幕102的配置。如图3中所展示，用户200到206在触敏屏幕102周围(例如围绕触敏屏幕)而定位，且每一用户已经选择了图形用户接口元件。具体来说，用户200已经选择了图形用户接口元件208且已经将图形用户接口元件208从触敏屏幕102上的第一位置310移动到第二位置312。类似地，用户202已经选择了图形用户接口元件210且已经将图形用户接口元件210从触敏屏幕102上的第一位置314移动到第二位置316。用户204已经选择了图形用户接口元件212且已经将图形用户接口元件212从触敏屏幕102上的第一位置318移动到第二位置320。最后，用户206已经选择了图形用户接口元件214且已经将图形用户接口元件214从触敏屏幕102上的第一位置322移动到第二位置324。
在一些实施方案中，用户可通过鼠标交互及/或通过触摸触敏屏幕102上的适当的图形用户接口元件且将其拖动到所要的位置来选择及移动图形用户接口元件。
在一些实施方案中，图形用户接口元件208到214的最后的位置表示每一图形用户接口元件表示的用户200到206的一般或特定位置。使用图形用户接口元件208到214相对于麦克风阵列100的位置的位置，系统(例如，麦克风阵列100)能够不仅确定音频的方向而且确定扬声器的身份。作为成为某一未知的扬声器的替代，所述系统将能够识别扬声器的身份(例如，名称、用户)且恰当地对在开会期间所说的内容进行文档编制。
在一些实施方案中，在用户到达装置时没有图形用户接口元件208到214可显示。替代地，在一或多个用户触摸触敏屏幕的一部分时，一或多个图形用户接口元件可呈现在触敏屏幕102上。更具体来说，在一些实施方案中，用户200到206中的一或多者可通过触摸触敏屏幕102的一部分而向系统(例如，麦克风阵列100、装置101)指示他的/她的存在。由特定用户(例如，用户200)触摸的触敏屏幕102的特定部分可表示所述特定用户(例如，用户200)的一般区域或附近。一旦触摸触敏屏幕102，可向所述特定用户呈现登录屏幕(例如，输入名称或ID)或至少一个预定图形用户接口元件(例如，图形用户接口元件214)。在登录及/或选择图形用户接口元件中的一者之后，表示所述特定用户的特定图形用户接口元件可显示在触敏屏幕102的一部分上。在一些实施方案中，所述特定图形用户接口元件的位置可表示所述特定用户相对于麦克风阵列100的位置/角度。
在开会期间，用户中的一者可能移动。在一个实例中，在所述移动时，用户还可移动表示用户的图形用户接口元件。图4说明此场景。如图4中所展示，用户206已经从位置400移动到位置402。在所述过程中，用户206还将图形用户接口元件214从触敏屏幕102上的位置324移动到位置404。通过将图形用户接口元件214移动到恰当位置，系统(例如，装置101或麦克风阵列100)能够恰当地俘获及识别用户。
在某一实施方案中，在用户206移动到不同位置时，图形用户接口元件214的位置可自动由系统(例如，装置101)移动。在一些实施方案中，此自动移动可在用户206将位置改变相对于麦克风阵列100的至少最小角度时发生。在此情况下，用户将不必手动地移动表示用户的图形用户接口元件。例如，如果用户206移动，系统(例如，麦克风阵列、装置101)可检测声音是来自与之前略微不同的角度/位置。在一些实施方案中，所述系统可确定新的位置/角度，且自动调整适当的图形用户接口元件的位置。
鉴于以上内容，在一些实施方案中，图4还可表示图形用户接口元件214响应于用户206从位置400移动到位置402而从触敏屏幕102上的位置324到位置404的自动移动。
可能在开会期间发生的另一可能的场景是新的人员/用户可能加入所述开会。图5说明此情况。如图5中所展示，用户500已经加入所述开会且位于用户204与用户206之间。在一些实施方案中，用户500可通过触摸触敏屏幕102的一部分而向系统(例如，麦克风阵列100、装置101)指示他的/她的存在。摸触敏屏幕102的所述部分可表示一般区域或用户500的附近。一旦触摸触敏屏幕102，可向用户500呈现登录屏幕(例如，输入名称或ID)或预定图形用户接口元件。在登录及/或选择图形用户接口元件中的一者之后，表示用户500的图形用户接口元件502可显示在触敏屏幕102的一部分上。在一些实施方案中，图形用户接口元件502的位置可表示用户500相对于麦克风阵列100的位置/角度。
麦克风阵列100的位置是已知的及/或可通过各种方法确定。在一些实施方案中，触敏屏幕102感测麦克风阵列100，因为麦克风阵列100定位在触敏屏幕102正上方，进而向触敏屏幕102施加压力。另外，麦克风阵列100可包含感应元件，其可允许系统确定麦克风阵列100在触敏屏幕102上的位置及/或定向而不必用户手动地校准麦克风阵列的定向。在此情况下，感应元件的位置可提供麦克风阵列的位置的基础。在某一实施方案中，可由图像俘获屏幕(例如，具有图像俘获能力的触敏屏幕102)确定麦克风阵列的位置及/或定向。
在一些实施方案中，麦克风阵列100与装置101无线通信(例如，使用紫蜂)且装置101使用各种技术(例如，三角测量)来确定麦克风阵列100在装置101的触敏屏幕102上的位置。在一些实施方案中，超声波/红外/声波脉冲用于确定麦克风阵列100的位置。在其它实施方案中，麦克风阵列100可包含NFC标签，其允许装置101确定麦克风阵列100的位置。
在又一些实施方案中，麦克风阵列100可包含识别标记(例如，QR码、各种点/形状)，其可由图像俘获装置(例如，相机、图像俘获屏幕)使用以识别麦克风阵列100的位置及定位。在一些实施方案中，图像俘获装置可与装置101通信。在一些实施方案中，指南针可以用于确定麦克风阵列的定向。不同的实施方案可以上组件/元件中的一者或组合来确定麦克风阵列100的位置及/或定向。下文将参考图13到17进一步描述用于确定麦克风阵列的位置及/或定向的各种方法。
已经描述了用于俘获声音/话音且对其进行文档编制的系统的各种组件，现将描述可如何实施此方法的流程图。
下文将首先描述用于俘获声音及识别扬声器的身份的方法的概述。本发明中描述的一或多个装置可执行此方法。在描述所述概述方法之后，随后将描述用于俘获声音及识别扬声器的身份的更详细方法。
图6说明用于俘获话音并确定扬声器的身份的方法的概述的流程图。如图6中所展示，所述方法通过基于来自第一装置的数据而确定第二装置的位置及定向(在605处)而开始。所述第一装置用于俘获所述第二装置的位置及定向。在一些实施方案中，所述第一装置可为包含触敏/图像俘获屏幕的装置。所述第二装置包含用于俘获声音的若干麦克风。在一些实施方案中，所述第二装置(例如，麦克风阵列)具有可移动的位置及可移动的定向。所述第二装置可包含若干感应组件。在一些实施方案中，可通过确定第二装置的感应组件在何处耦合触敏屏幕而确定第二装置的位置及定向。所述第二装置还可包含视觉指示标记，图像俘获屏幕可检测所述视觉指示标记以确定麦克风阵列的位置及/或定向。在图13到17中进一步描述使用感应组件及/或视觉标记来确定第二装置的位置及/或定向的实例。
所述方法随后将一物体指派为已知用户的表示(在610处)。所述物体具有可移动的位置。所述物体可为虚拟物体及/或物理物体。在一些实施例中，所述物体可为触敏屏幕的图形用户接口中的图形用户接口元件。在一些实施例中，所述物体可为另一物理装置(例如，平板计算机、电话)。接下来，所述方法接收物体的位置(在615处)。所述物体的位置对应及/或表示已知用户的位置。
所述方法随后处理所述所俘获的声音以识别源自所述物体的所述方向的声音(在620处)。所述物体的所述方向可与第二装置(例如，麦克风阵列)的所述位置及所述定向相关。在一些实施方案中，处理所俘获的声音可包含搜索及分析信号及/或数据。
在处理所俘获的声音之后(在620处)，所述方法将源自所述物体的所述方向的声音识别为属于已知用户且结束(在625处)。在一些实施方案中，所述方法可环回(例如，环回到605)以确定麦克风阵列在屏幕上的位置及/或定向是否已改变。
已经提供了用于俘获声音及识别用户/扬声器的身份的方法的概述，现将描述用于俘获声音及识别用户/扬声器的身份的更详细方法。本发明中描述的装置中的一或多者可执行更详细的方法。
图7说明用于在开会期间俘获及确定扬声器的身份的方法的流程图。在一些实施方案中，图7的方法可在识别声音俘获装置的位置及定向(例如，识别麦克风阵列在触敏/图像俘获屏幕上的位置及定向)之后开始。在一些实施方案中，可通过确定声音俘获装置的感应组件在何处耦合触敏屏幕而确定声音俘获装置(例如，麦克风阵列)的位置及定向。在一些实施方案中，可通过确定声音俘获装置(例如，麦克风阵列)的视觉标记定位在触敏屏幕上何处而确定声音俘获装置的位置及定向。
如图7中所展示，方法700将具有可移动位置的每一物体(例如，来自一组物体)指派为特定用户的表示(在702处)。这些物体识别开会中的扬声器/参与者的身份(例如，名称)。这些物体可在内部产生及/或可从外部源(例如，经由电子邮件)接收且随后指派。在一些实施方案中，这些物体可在开会之前产生，而在其它实施方案中，这些物体在用户进入及/或参与开会时(例如，在用户登录及/或在触敏屏幕上轻敲时)在开会期间实时地指派。
一旦指派物体(在702处)，所述方法接收物体中的每一者的位置(在704处)。所述物体的位置可为绝对位置或其可为相对位置(例如，相对于麦克风阵列的位置)。在一些实施方案中，向物体指派在物体的初始指派期间的预定位置。一旦接收特定物体的新位置，向所述特定物体指派所述新位置。物体可为许多不同的东西。如图3中所展示，物体可为显示在屏幕上的图形用户接口元件(例如，图像、图标)。在此些情况下，物体的位置是图形用户接口元件在屏幕上及/或相对于麦克风阵列100的位置。在其它情况下，物体可为物理物体、物品及/或装置(例如，另一麦克风阵列、平板计算机)。将在图10到11中进一步描述这些物理物体、物品/装置的实例。
一旦物体的位置已经接收(在704处)且指派给物体，所述方法收听(在706处)声音。声音可包含音频、噪声、音乐及来自扬声器的话音。接下来，所述方法确定(在708处)是否结束。如果是，那么所述方法结束。在一些实施方案中，所述方法可在接收指示所述开会已结束的命令时结束。如果所述方法确定(在708处)未结束，那么所述方法随后确定(在710处)是否存在声音。如果不存在声音，那么所述方法前进到继续收听(在706处)声音。然而，如果所述方法确定(在710处)存在声音，那么所述方法使用若干麦克风俘获(在712处)所述声音。在一些实施方案中，全部麦克风位于单一整体装置上。
在俘获(在712处)所述声音之后，所述方法处理(在714处)所述声音以识别可能源自物体中的一者的声音。例如，如果所述方法知道物体在与麦克风阵列成40度的角度处定位，那么所述方法将处理所述所俘获的声音以识别源自40度或来自所述方向(使用信号处理/计时技术及算法)的声音。所述声音的方向是指声音所来自的地方的一般方向。声音的方向识别不了发出声音的扬声器或人员的身份。接下来，所述方法使源自特定物体的所识别的声音关联(在716处)为属于使用所述特定物体表示/与其相关联的用户或人员。在关联发生时，随后源自物体方向的声音直接可归于与在所述方向上定位的物体相关联的人员。
一旦所述方法使所述所识别的声音关联(在716处)为属于用户/人员，所述方法确定(在718处)物体是否已经移动(例如，图形用户接口元件是否已移动)。如果是，那么所述方法前进到704以接收物体的新位置。如果所述方法确定(在718处)物体的位置未移动，那么所述方法前进到706以收听声音。在一些实施方案中，所述方法还可确定声音俘获装置(例如，麦克风阵列100)的位置及/或定向是否已改变。此确定可在图7中展示的方法的任何阶段期间执行。在一些实施方案中，声音俘获装置(例如，麦克风阵列)的位置上的改变可导致物体的位置的重新确定。例如，在声音俘获装置(例如，麦克风阵列)的位置及/或定向已改变时，所述方法可重新计算物体相对于声音俘获装置的位置及/或定向的位置及/或定向。
应注意，可在本地及/或远程地执行上文所描述的操作中的一些或全部。换句话说，在一些实施方案中，可由麦克风阵列、本地装置(例如，桌子中的集成触敏图像俘获屏幕的本地装置)及/或连接到麦克风阵列及/或本地装置的一或多个远程装置执行所述操作中的一些或全部。
图8到9在概念上说明在一些实施方案中麦克风阵列的位置及定向如何可以用于识别声音的源及身份。
图8说明装置101的屏幕102上的麦克风阵列100。在一些实施方案中，装置101可与表面桌子集成在一起。麦克风阵列100在特定方向/定向(例如，0程度)上定向。屏幕102可为触敏屏幕及/或图像俘获屏幕。麦克风阵列100位于屏幕102上的特定位置(例如，XMA、YMA)处。图8还说明若干图形用户接口(GUI)元件(例如，GUI元件208到214)。每一GUI元件表示一用户(例如，用户200到206)/与其相关联。例如，GUI元件214与用户206相关联，且GUI元件212与用户204相关联。如图8中所展示，GUI元件214相对于屏幕102上的麦克风阵列100的位置及/或定向定位成负90度(或270度)。GUI元件212相对于屏幕102上的麦克风阵列100的位置及/或定向定位成135度。
在此实例中，从麦克风阵列100成大约或大致负90度发起的所俘获的声音与用户206相关联。类似地，从麦克风阵列100成大约135度发起的所俘获的声音与用户204相关联。在一些实施方案中，图8中展示的度数是GUI元件或用户相对于麦克风阵列的相对位置/定向的近似值或范围。在此些情况下，大致负90度可表示例如负90度±5度。然而，不同实施方案可使用不同的度数容限。
以上方法的一个益处是其避免必须跨越所有度数处理所俘获的声音信号。作为搜索及分析来自每个单一角度(例如，全部360度)的每个单一声频信号的替代，麦克风阵列及/或装置可能够仅分析所俘获的声音信号的子集。即，麦克风阵列及/或装置可能够将其对声音信号的搜索及分析(例如，处理)限制到声音信号的更有限的子集，其可节约大量时间。在图8的实例中，麦克风阵列100及/或装置可将其对所俘获的声音的搜索及分析搜索到源自大约90度、负45度、60度及135度的声音。同样，应注意，上文所提及的度数可表示度数的范围(例如，负90度±5)。因此，在一些实施方案中，与特定度数相比，可在一定范围的度数内执行对所俘获的声音的搜索及分析。
在开会过程期间，麦克风阵列可移动、改变屏幕上的位置或定向。在一些实施方案中，在麦克风阵列的位置及/或定向改变时，可作出调整以便恰当地处理后续的所俘获的声音。
图9说明已经移动的麦克风阵列的实例。如图9中所展示，麦克风阵列100定位在屏幕102上的新位置中且在新的特定方向上定向。由于新位置及新定向，GUI元件(例如，208到214)具有到麦克风阵列100的新的相对定向。例如，GUI元件210现在与麦克风阵列100成大约30度的角度(而不是先前的负45度)而定位，且GUI元件214与麦克风阵列100成大约负40度(320度)的角度(而不是先前的负90度)而定位。因此，源自大约30度的后续的所俘获的声音现将与用户202相关联，而源自大约负40度的后续的所俘获的声音现将与用户206相关联。将针对另一GUI元件及用户作出类似调整。
图2到5说明基于屏幕上的图形用户接口元件的物体。在一些实施方案中，所述物体是物理物体、物品(例如，另一麦克风阵列、平板计算机、电话)。图10到11说明其中所述物体是物理物体/物品的情况。
图10说明具有若干麦克风阵列的配置。图10类似于图3，不同之处在于使用额外的麦克风阵列以作为图形用户接口元件的替代。如图10中所展示，系统包含麦克风阵列1000及装置1001。装置1001可类似于图1的装置101。在一些实施方案中，装置1001集成在表面桌子中。装置1001还可包含触敏屏幕1002。麦克风阵列1000经由至少一个通信链路使用至少一个通信协议(例如，WiFi、蓝牙、紫蜂及/或NFC)与装置1001通信。另外，存在四个麦克风阵列1004到1010。麦克风阵列1004到1010与特定用户/人员1012到1018相关联。例如，麦克风阵列1004与用户1012相关联，麦克风阵列1006与用户1014相关联，且麦克风阵列1008与用户1016相关联及麦克风阵列1000与用户1018相关联。麦克风阵列1000是中央麦克风阵列，且另一麦克风阵列1004到1010经由至少一个通信链路使用至少一个通信协议(例如，WiFi、蓝牙、紫蜂及/或NFC)与麦克风阵列500通信。在一些实施方案中，麦克风阵列1000及1004到1010中的一些或全部可为图1的麦克风阵列100。
各种方法可以用于确定麦克风阵列1000及1004到1010的位置及/或定向。在一些实施方案中，麦克风阵列1000及1004到1010的位置及/或定向是基于麦克风阵列相对于触敏屏幕1002的位置及/或定向。在一些实施方案中，麦克风阵列1000及1004到1010的位置及/或定向是通过使用超声波/红外/声波脉冲来确定。此外，上文针对麦克风阵列100所描述的组件及方法中的任一者可以用于确定麦克风阵列1000及1004到1010的位置及/或定向。
图11A说明可使用额外装置实施的另一配置。如图11A中所展示，麦克风阵列1100与若干移动装置1102到1108(例如，手持机及/或平板计算机)通信。这些移动装置中的每一者与相应的用户/人员1110到1116相关联。移动装置可为手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理(PDA)。所述移动装置可能够经由蜂窝式网络及/或其它通信网络与其它装置通信。在图12A到12B中展示移动装置(例如，手持机及/或平板计算机)的实例，其在下文进一步描述。
如在图10的情况下，移动装置1102到1108的位置可通过使用超声波/红外/声波脉冲来确定。移动装置1102到1108可允许用户向麦克风阵列1100“签到”及/或登记。(例如，使用NFC通过在麦克风阵列1100附近轻敲移动装置而签到)。然而，不同的实施方案可以不同方式向麦克风阵列1100“签到”及/或登记。例如，移动装置可使用另一通信协议或通信链路(例如，蓝牙及/或WiFi)与麦克风阵列1100通信。一旦用户/移动装置“签到”或登记，麦克风阵列可使用超声波/红外/声波脉冲(或其它已知标签)跟踪移动装置，其允许麦克风阵列1100连续地知晓移动装置的位置/定位，这因此意味着麦克风阵列1100知晓与正被跟踪的移动装置相关联的用户的位置/定位。
每一移动装置1102到1108可在其相应的屏幕上提供允许用户指定用户及/或装置(例如，平板计算机)相对于麦克风阵列1100的位置/定位的图形用户接口。即，用户可在移动装置的屏幕上指示用户的位置，所述位置随后(例如，经由蓝牙及/或WiFi)被传输到麦克风阵列1100及/或另一装置(例如，装置1001)。移动装置(例如，移动装置1102到1108)的屏幕上的图形用户接口还可提供/显示文本(例如，经转录的所俘获的话音)。可从麦克风阵列1100及/或与麦克风阵列1100通信的另一装置提供/传输此类文本。在图12A到12B中进一步描述移动装置的屏幕上的此类图形用户接口的实例。
麦克风阵列1100可定位在桌子(未图示)上或集成在桌子上的装置的触敏屏幕(在图11A的实例中未展示)上。类似地，移动装置1102到1108可定位在桌子上或集成在桌子上的装置的触敏屏幕上。
图11B说明可使用不同装置实施的另一配置。图11B类似于图11A，不同之处在于麦克风阵列1100位于装置1120的触敏屏幕1122上，且在装置1120的触敏屏幕1122的图形用户接口上指定用户的位置。如图11B中所展示，移动装置1102到1108(例如，手持机及/或平板计算机)与麦克风阵列1100及/或装置1120通信(例如，使用蓝牙及/或WiFi)。
如图11B中进一步展示，用户通过指定图形用户接口元件的位置/定位而指定它们相对于麦克风阵列1100的位置。如图11B中所展示，存在在屏幕1122中展示的图形用户接口上显示的四个图形用户接口元件1130到1136。每一图形用户接口元件1130到1136与特定用户及/或移动装置相关联。图形用户接口元件可包含识别与用户接口元件相关联的用户的文本或图像(例如，ID、姓名、图片)。不同的实施方案可以不同方式呈现图形用户接口元件。在一些实施方案中，通过用户轻敲屏幕及/或登录而呈现图形用户接口元件。在一些实施方案中，在用户使用上文在图11A中所描述的示范性方法中的一者向麦克风阵列1100及/或装置1120“签到”及/或登记(例如，使用NFC通过轻敲麦克风阵列1100及/或装置1120而签到)时可呈现图形用户接口元件。由于移动装置1102到1108与麦克风阵列1100及/或装置1120通信，所以移动装置1102到1108可从麦克风阵列1100及装置1120中的任一者或两者接收数据。所述数据可呈现/显示在移动装置1102到1108的屏幕上。在一些实施方案中，数据的实例包含所俘获的话音的经转录文本。
在一些实施方案中，装置1120是移动装置(例如，平板计算机、手持机)。在移动装置的屏幕大小对于麦克风阵列1100定位在移动装置的屏幕上来说是充分足够大时，此可为可能的。在此些情况下，移动装置可充当麦克风阵列1100定位在其上的中央移动装置(例如，中央平板计算机)。图11C说明包含中央移动装置(例如，中央平板计算机)的配置的实例。如图11C中所展示，移动装置1102到1108(例如，手持机及/或平板计算机)与麦克风阵列1100及/或中央移动装置1140通信(例如，使用蓝牙及/或WiFi)。中央移动装置1140包含触敏屏幕1142，麦克风阵列1100可放置在触敏屏幕1142上。应注意，在一些实施方案中，移动装置1102到1108中的任一者可充当中央移动装置。
图11C的配置类似于图11B的配置，不同之处在于图11B的装置1120(其可为表面桌子/表面平板计算机)已经用移动装置1140(例如，平板计算机及/或智能电话)替换，移动装置1140充当与其它移动装置(例如，移动装置1102到1108)通信的中央移动装置。在一些实施方案中，图11C中展示的配置的操作类似于图11A到11B中展示及描述的配置的操作。也就是说，例如，在一些实施方案中，用户可使用NFC或其它通信协议/链路(例如，蓝牙及/或WiFi)向麦克风阵列1100及/或中央移动装置1140“签到”、登记及/或登录。
图12A说明用户可用以指定用户相对于麦克风阵列的位置的移动装置。所述移动装置可为平板计算机或手持机(例如，智能电话)。在一些实施方案中，图12A的移动装置1200可对应于图11A到11C的移动装置1102到1108中的任一者。如图12A中所展示，移动装置1200(例如，手持机及/或平板计算机)包含具有图形用户接口的触敏屏幕1202。图形用户接口包含第一图形用户接口元件1204及第二图形用户接口元件1204。第一图形用户接口元件1204是麦克风阵列(例如，图11A的麦克风阵列1100)的表示且第二图形用户接口物体1206是用户/装置(例如，用户1114/移动装置1106)的表示。在一些实施方案中，用户可通过在触敏屏幕1202上定位/移动第一图形用户接口元件1204及/或第二图形用户接口元件2006而指定其自身相对于麦克风阵列的位置。一旦在装置1200上指定所述位置，装置1200可将所述用户/移动装置的所述位置传输到麦克风阵列(麦克风阵列1100)及/或耦合到所述麦克风阵列的另一装置(例如，装置1120)。
图12B说明移动装置的屏幕的图形用户接口可包含额外的数据/信息。如图12B中所展示，屏幕1202还包含包括文本的区1208。在一些实施方案中，所述文本是来自麦克风阵列(例如，麦克风阵列1100)的所俘获的话音的经转录的文本。可通过麦克风阵列(例如，麦克风阵列1100)及/或装置(例如，装置1120)传输包含经转录的文本的数据。下文将进一步描述对所俘获的话音/声音的转录。
如上文所描述，俘获声音及识别扬声器的一些实施方案包含确定麦克风阵列的位置及定向。下文描述确定麦克风阵列的位置及定向的实例。
不同的实施方案可以不同方式确定麦克风阵列的位置及定向。如上文所描述，一些实施方案通过使用一或多个感应器(例如，感应组件)确定麦克风阵列的位置及定向。另外，一些实施方案可通过使用可由图像俘获屏幕俘获的视觉标记来确定麦克风阵列的位置及定向。在一些实施方案中，图像俘获屏幕可为触敏屏幕的部分。也就是说，在一些实施方案中，触敏屏幕还可包含图像俘获功能性/能力。现将在下文描述感应器及/或视觉标记的使用。
图13说明包含可以用于确定屏幕上的麦克风阵列的位置及定向的感应器(例如，感应组件)的麦克风阵列(例如，声音俘获装置)。如图13中所展示，麦克风阵列1300包含基底部分1302及麦克风外壳1304。麦克风外壳1304可包含用于俘获声音的若干麦克风。基底部分1302可包含第一感应器1306及第二感应器1308。感应器1306到1308可在麦克风阵列1300定位在触敏屏幕表面上或附近时影响触敏屏幕表面(例如，改变触敏屏幕的一部分中的电场)，其在一些实施方案中允许系统/装置确定触敏屏幕上的麦克风阵列1300的位置及定位。麦克风阵列1300可为本发明中描述的麦克风阵列(例如，麦克风阵列100)中的任一者。
图14说明可如何确定触敏屏幕上的麦克风阵列的位置及定向。如图14中所展示，每一感应器(例如，感应组件)可在触敏屏幕上具有一位置(例如，X-Y坐标)。在一些实施方案中，可通过触敏屏幕的什么部分受归因于麦克风阵列中的每一感应器而引起的电场影响来确定每一感应器(例如，第一感应器1306、第二感应器1308)的位置。例如，第一感应器1306具有第一感应器位置(XL11,YL11)且第二感应器1308具有第二感应器位置(XL21,YL21)。第一感应器1306大于第二感应器1308。在一些实施方案中，第一感应器将产生/引发/生成比第二感应器更大的电场。因此，在一些实施方案中，装置/系统可能够基于由触敏屏幕检测/测量的电场的强度而区别第一和第二感应器。
一旦已知触敏屏幕上的感应器的位置，也可确定麦克风阵列的位置。在一些实施方案中，麦克风阵列(例如，麦克风阵列1300)的位置可对应于第一感应器、第二感应器的位置，或基于第一和第二感应器的位置(例如，第一和第二感应器的平均位置)。
为了确定麦克风阵列的定向，一些实施方案可计算麦克风阵列中的感应器的定向。如图14中所展示，感应器的定向可在概念上由连接两个感应器的位置的假想直线(例如，连接两个感应器的中心部分的假想直线)表示。假想直线的方向可从第一感应器到第二感应器(例如，较大的感应器到较小的感应器)或反之亦然。因此，在一些实施方案中，麦克风阵列的定向及/或方向对应于/是基于感应器的定向及/或方向。例如，在一些实施方案中，麦克风阵列的定向及/或方向对应于连接两个感应器1306到1308的假想直线的定向及/或方向。然而，不同的实施方案可以不同方式指派及计算所述定向。
确定麦克风阵列的位置及/或定向的另一方法是使用某一触敏屏幕可具有的图像俘获功能性。也就是说，在一些实施方案中，触敏屏幕还可以是触敏图像俘获屏幕。在此些情况下，可由部分或完全集成在屏幕中的图像俘获装置/系统(例如，红外(IR)系统)执行所述图像俘获。在此示范性配置中，光(例如，IR光)可从屏幕投射且撞击可在屏幕上或附近的物体(例如，麦克风阵列)。所述光随后在屏幕内部反射回且由屏幕内部的集成传感器检测。来自集成传感器的光信号可随后被转换为电信号，随后分析所述电信号。在一些情况下，分析所述电信号可包含产生在屏幕上或附近的物体的图像/图片且对所述图像执行图像处理操作(例如，分析形状、位置、色彩)。不同的实施方案可使用不同的图像俘获方法来检测/分析在屏幕的表面上或附近定位的物体。
鉴于某一屏幕可能够检测及俘获屏幕的表面上或附近的物体的图像的事实，一些实施方案可能够基于麦克风阵列的形状及/或麦克风阵列上的视觉标记来检测屏幕上的麦克风阵列的位置及/或定向。应注意，本发明中描述的触敏屏幕中的至少一些可包含图像俘获功能性/能力。例如，在一些实施方案中，这些图像俘获屏幕可为表面桌子、表面平板计算机及/或移动装置(例如，平板计算机、手持机、智能电话)的部分。因此，本发明中描述的触敏屏幕中的至少一些(例如，触敏屏幕102)还可以是触敏图像俘获屏幕。
在一些实施方案中，麦克风阵列的基底部分(或麦克风阵列的其它部分)可具有允许图像俘获屏幕检测及识别麦克风阵列以及麦克风阵列的位置及/或定向的独特及/或唯一形状。在一些实施方案中，麦克风阵列的基底部分可包含一或多个视觉标记。在一些实施方案中，这些视觉标记可以用于检测及识别麦克风阵列以及麦克风阵列的位置及/或定向。图15说明视觉标记的各种不同实例。
在一个实例中，麦克风阵列(例如，麦克风阵列100、麦克风阵列1300)的基底部分1500可包含具有独特及/或唯一形状、大小及/或色彩的视觉标记。如图15中所展示，基底部分1500包含具有三角形形状的视觉标记1502。视觉标记1502在屏幕上具有一位置(例如，XL,YL)。在一些实施方案中，麦克风阵列的位置可基于屏幕上的视觉标记1502的位置。在一些实施方案中，视觉标记1502的形状及/或定向可表示麦克风阵列的定向。例如，在一些实施方案中，如果视觉标记是呈箭头的形状，那么箭头指向的方向也将为麦克风阵列的定向。
视觉标记1502还可具有可不同于基底部分1500的色彩及/或反射特性的特定色彩及/或反射特性。在一些实施方案中，视觉标记的色彩及/或反射特性中的差异可允许图像俘获屏幕更好地区分视觉标记1502与基底部分1500。
在另一实例中，基底部分1510可包含如图15的第二图式中所展示的若干视觉标记。这些视觉标记可定位在基底部分1510的底表面上。在一些实施方案中，每一视觉标记可具有其自身的形状、大小、色彩及反射特性。例如，基底部分1510包含第一视觉标记1512及第二视觉标记1514。第一视觉标记1512具有第一位置(例如，XL1,YL1)、第一形状、不同于基底部分1510的色彩及反射特性的第一色彩及第一反射特性。第二视觉标记1514具有第二位置(例如，XL2,YL2)、第二形状、不同于基底部分1510的色彩及反射特性的第二色彩及第二反射特性。在一些实施方案中，屏幕上的麦克风阵列的位置可基于屏幕上或附近的一或多个视觉标记的位置。
可基于麦克风阵列中的视觉标记(例如，1512、1514)的定向而确定/计算麦克风阵列的定向。如图15中所展示，视觉标记1512到1514的定向可在概念上由连接两个视觉标记的位置的假想直线(例如，连接两个视觉标记的中心部分的假想直线)表示。假想直线的方向可从第一视觉标记1512到第二视觉标记1514，或反之亦然。例如，在此实例中，麦克风阵列的定向及/或方向对应于连接两个视觉标记1512到1514的假想直线的定向及/或方向。然而，不同的实施方案可以不同方式指派及计算所述定向。
在又另一实例中，基底部分1520可包含如图15的第三图式中所展示的快速响应(QR)码1522。QR码1522可以用于确定屏幕上或附近的麦克风阵列的位置及/或定向。也就是说，在一些实施方案中，麦克风阵列的位置及/或定向可基于QR码1522的位置及/或定向。另外，在一些实施方案中，QR码1522还可以用于识别屏幕上的麦克风阵列的特定类型。
应注意，在一些实施方案中，视觉标记还可以使用感应器(例如，感应组件)。也就是说，在一些实施方案中，感应器可具有让图像俘获屏幕确定感应器的位置及/或定向及因此麦克风阵列的位置及/或定向所足够不同及唯一的形状、色彩及/或反射特性。还应注意，用于确定麦克风阵列的位置及/或定向的两种方法(例如，使用触摸方法及/或图像俘获方法)不相互排斥。因此，包含触敏图像俘获屏幕的装置可使用一种或两种方法来确定麦克风阵列的位置及/或定向。具有双位置及/定向确定能力(例如，可使用触摸或图像俘获方法)的此装置将允许使用不同类型的麦克风阵列。例如，一个用户可具有拥有感应器的麦克风阵列，而另一用户可具有拥有QR码的麦克风阵列。在此场景中，可对具有感应器的麦克风阵列使用触摸方法，而可对具有QR码的麦克风阵列使用图像俘获方法。然而，不同实施方案可使用不同的方法。还应注意，本发明中描述的坐标系统是可以用于确定物体及/或装置的位置及/或定向的许多不同坐标系统中的一者。
已经描述了用于确定屏幕上的麦克风阵列的位置及/或定向的各种方法，现将在下文描述用于确定麦克风阵列的位置及/或定向的方法的流程图。
图16说明用于基于感应器的位置而确定麦克风阵列的位置及定向的方法的流程图。图16的方法可由麦克风阵列、装置(例如，包含触敏图像俘获屏幕的装置)及/或包含麦克风阵列的系统执行。在一些实施方案中，在图6的步骤605期间执行图16的方法1600。如图16中所展示，所述方法通过检测(在1605处)物体(例如，麦克风阵列)放置在触敏屏幕上而开始。所述物体具有第一感应器及第二感应器。所述第一感应器具有大于第二感应器的第二大小的第一大小。在一些实施方案中，感应器的大小可对应于感应器可在触敏屏幕的一部分上产生/诱发的电场的大小/强度。例如，较大大小的感应器可诱发比较小大小的感应器更大的电场。在一些实施方案中，检测(在1605处)物体已经放置在触敏屏幕上可包含检测触敏屏幕的一或多个部分上的电场或电场中的改变。
接下来，所述方法确定(在1610处)触敏屏幕上的第一感应器及第二感应器的位置。在一些实施方案中，此确定可包含确定第一和第二感应器在何处耦合到触敏屏幕(例如，第一和第二感应器在何处触摸触敏屏幕)。在一些实施方案中，第一和第二感应器的位置可对应于触敏屏幕上的第一和第二感应器触摸的位置/定位。
所述方法随后基于第一和第二感应器的位置而计算(在1615处)物体的定向。不同的实施方案可使用用于计算物体的定向的不同方法。如上文所描述，图14说明可基于感应器的位置来计算物体的定向及/或方向的示范性方式。例如，物体的定向可对应于从第一感应器到第二感应器的假想直线的方向。
一旦确定感应器的位置，所述方法可基于感应器(例如，第一感应器、第二感应器)的位置而指定(在1620处)物体的位置及定向。在一些实施方案中，一旦指定物体(例如，麦克风阵列)的位置及定向，物体的位置及定向可以用于在会议期间识别扬声器。在一些实施方案中，在开会期间执行图16的方法的多次迭代。也就是说，在一些实施方案中，所述方法可在开会期间连续地确定物体(例如，麦克风阵列)的位置及/或定向(在物体可移动及/或旋转的情况下)。
图17说明用于确定麦克风阵列的位置及定向的方法的另一流程图。图17的方法可由麦克风阵列、装置(例如，包含触敏图像俘获屏幕的装置)及/或包含麦克风阵列的系统执行。在一些实施方案中，在图6的步骤605期间执行图17的方法1700。如图17中所展示，所述方法通过检测(在1705处)物体(例如，麦克风阵列)放置在图像俘获屏幕上而开始。所述物体具有至少一个视觉标记(例如，第一视觉标记、第二视觉标记、QR码)。在一些实施方案中，所述视觉标记是感应器。在一些实施方案中，所述视觉标记是麦克风阵列的形状或麦克风阵列的触摸屏幕或在屏幕上的基底部分的形状。所述视觉标记可具有形状、大小、色彩及反射特性。
接下来，所述方法确定(在1710处)屏幕上或附近的至少一个视觉标记的位置。在一些实施方案中，此确定可包含确定视觉标记在何处定位在屏幕上或附近(例如，第一和第二视觉标记在何处定位在图像俘获屏幕上)。图15及其对应描述提供如何确定一或多个视觉标记的位置的实例。
所述方法随后基于至少一个视觉标记的位置而计算(在1715处)物体的定向。不同的实施方案可使用用于计算物体的定向的不同方法。如上文所描述，图15说明可计算物体的定向及/或方向的示范性方式。例如，物体的定向可对应于从第一视觉标记到第二视觉标记的假想直线的方向。
一旦确定视觉标记的位置，所述方法可基于视觉标记(例如，第一视觉标记、第二视觉标记、QR码)的位置而指定(在1720处)物体的位置及定向。在一些实施方案中，一旦指定物体(例如，麦克风阵列)的位置及定向，物体的位置及定向可以用于在会议期间识别扬声器。在一些实施方案中，在开会期间执行图17的方法的多次迭代。也就是说，在一些实施方案中，所述方法可在开会期间连续地确定物体(例如，麦克风阵列)的位置及/或定向(在物体可移动及/或旋转的情况下)。
应注意，可在本地及/或远程地执行上文所描述的操作中的一些或全部。换句话说，在一些实施方案中，可由麦克风阵列、本地装置(例如，桌子中的集成触敏图像俘获屏幕的本地装置)及/或连接到麦克风阵列及/或本地装置的一或多个远程装置执行所述操作中的一些或全部。
已经描述了用于确定麦克风阵列的位置及定向及用于俘获声音及识别扬声器的系统和方法，现将在下文描述用于协作文档系统的系统和方法。
除了记录声音及音频(例如，话音)且能够识别扬声器的身份之外，一些实施方案还可转录音频及提供协作文档编制。在转录音频时，将音频的写入版本(例如，文本)提供到开会的参与者。在一些实施方案中，可在装置(其集成在表面桌子中)的屏幕及/或便携式装置(例如，平板计算机)的屏幕上实时地提供文本/文档。可在桌子的屏幕上提供一次所述文本/文档以让每个人看到，或其可在开会中在本地提供给每一用户(例如，在每一用户附近的屏幕的一部分上提供)。
图18说明在开会中在本地提供给每一用户的经转录音频的文本/文档的实例。如图18中所展示，麦克风阵列1800与装置1801通信。装置1801具有触敏屏幕1802。装置1801可集成在表面桌子上。在开会期间，在人说话时，系统经由麦克风阵列1800俘获话音且确定扬声器的身份(如上文所描述)。系统(例如，麦克风阵列1800、装置1801)随后实时地转录其俘获的话音且向每一用户/人员实时地呈现所说的内容和谁在说。因此，如图18中所展示，在触敏屏幕1802上提供本地显示器。每一本地显示器1804到1810用于特定用户。在所提供的实例中，本地显示器1804用于用户1812，本地显示器1806用于用户1814，且本地显示器1808用于用户1816。如图18中所展示，每一本地显示器1804到1810是触敏屏幕1802的特定部分。在一些实施方案中，一些或全部本地显示器可为与用户相关联的平板计算机及/或电话的屏幕上的显示器。
图19说明提供到用户的本地显示器的特写视图。如图19中所展示，本地显示器1900提供在开会中所说的文本及/或文档及谁在说。更具体来说，本地显示器1900可包含包括在开会中所说的文本及/或文档及谁在说的图形用户接口。也就是说，提供人员的姓名及所述人员所说的内容。在此实例中，使用识别讲话的人员的姓名(例如，约翰)的识别标签给文档加标签。可使用多个识别标签，其中每一标签用于特定用户。
在一些实施方案中，用户可对所提供的文本及/或文档执行不同的动作。例如，用户可修改、编辑、突出显示、标注及/或评论所显示的文本及/或所提供的文档。图20说明用户可对在显示区域2000中显示的文本执行的动作的实例。如图20中所展示，光标在文本的一部分的顶部上移动以突出显示所述文本。在此情况下，已经突出显示日期“2012年10月15日”。在一些实施方案中，所执行的动作(例如，突出显示)仅在执行所述动作的用户的本地显示器中展示。在其它实施方案中，还在其它用户的本地显示器上执行及展示由所述用户执行的动作。在一些实施方案中，多个用户可编辑文本，其中每一编辑经色彩译码以指示谁执行所述编辑。在一些实施方案中，突出显示是识别已经由来自所述组用户的第一用户修改的经修改的共享文档的第一部分的指示符。
图21说明用户可对所显示的文本执行的动作的另一实例。具体来说，图21说明与图20中展示的用户不同的用户的显示区域2100。如图21中所展示，“2012年10月15日”也在显示区域2100中突出显示，这是因为另一用户先前已突出显示此文本。另外，已经突出显示文本的另一部分。图21以不同色彩/着色的突出显示说明此以指示不同的用户已/正执行此动作。在一些实施方案中，所述突出显示是识别已经由来自所述组用户的第一和第二用户修改的经修改的共享文档的第一部分和第二部分的第一和第二指示符。
图20到21说明光标用于突出显示文本。然而，在一些实施方案中，可通过用户触摸触敏屏幕上的文本来突出显示所述文本。因此，触敏屏幕可提供多个用户可用以执行文档协作及编辑的单一用户输入装置。
除了突出文本之外，用户还可通过与触敏屏幕交互及/或通过其它输入装置(例如，鼠标、键盘)执行操作而执行其它操作。用户可使用触敏屏幕执行的其它操作的实例包含：(i)通过将动作项目轻拂到特定用户而指派动作项目(例如，在开会之后)；(ii)将文本片段发送到个人剪贴板(例如，通过朝向他们轻拂文本片段)；(iii)请求外部校正(例如，通过朝向用户轻拂并将经校正的版本合并到主要文档(例如，在文档已经被轻拂回到使用之后)；(iv)通过将文本的部分轻拂到触敏屏幕上的所述用户接口的进行字计数、语法检查等的区域而进行字计数或语法检查；(v)通过将文本的部分轻拂到触敏屏幕上的图形用户接口的在其处执行搜索的区域而对参考进行搜索(例如，在线搜索)，其中在参考屏幕上返回结果；(vi)通过将文本的部分轻拂到触敏屏幕上的图形用户接口的区域而产生总览；及(vii)旋转一个段落以使得坐在桌子的不同侧处的人可阅读所述段落，同时所述文本的其它部分仍由用户(例如，主编)进行加工。
图22说明在一些实施方案中用户可执行的操作中的一者的实例。具体来说，图22说明用户1816通过使用触敏屏幕1802为用户1814指派工作。如图22中所展示，用户1816已将文本/文档2200轻拂到用户1814。用户1814将此文本/文档接收为文档2202。
图23说明在一些实施方案中用户可执行的操作中的一者的另一实例。具体来说，图23说明可允许用户执行一或多个不同操作的触敏屏幕(例如，触敏屏幕1802)的一部分的特写视图。如图23中所展示，触敏屏幕部分2300包含文本文档2200、第一部分2302、第二部分2304及第三部分2306的显示器。这些第一、第二和第三部分2302到2306中的每一者表示可在将文档/文本发送到所述特定区域时执行的动作项目/操作。第一部分2302对应于可对文档执行的文本操作(例如，拼写检查、字计数)。第二部分2304对应于可对文档/文本执行的搜索操作。例如，发送到所述区域的文档及/或文本可导致基于所述文档及/或文本执行搜索(例如，在线搜索)。在一些实施方案中，此搜索的结果可在触敏屏幕的另一区域中显示回给用户。如图23中所展示，用户已将文本/文档的部分2308发送到第二部分2304，其将导致基于部分2308的内容执行搜索。在一些实施方案中，所述搜索的结果可在触敏屏幕的区域中或在单独的屏幕(例如，单独的监测仪、TV)中显示回给用户。第三部分2306对应于对所发送的文本/文档执行总览操作。不同的实施方案可具有用于执行不同操作的不同部分。
在开会结束时，转录结束且可保存记载的全部笔记及分钟及/或向开会的参与者或其他任何人发电子邮件。因此，以上方法提供一种供用户对文档进行协作的新颖方式。具体来说，以上方法通过提供识别用户的身份的简易方式而允许用户对文档进行协作。
图24说明在一些实施方案中对共享文档进行协作的方法的流程图。所述共享文档可为在开会期间产生的文档。例如，所述共享文档可包含由麦克风阵列在开会期间俘获的话音的经转录的文本。
如图24中所展示，所述方法产生(在2405处)用于共享文档的识别标签。在一些实施方案中，所述识别标签与特定用户相关联。所述识别标签是基于物体相对于声音俘获装置(例如，麦克风阵列100)的位置而产生。在一些实施方案中，所述声音俘获装置可为麦克风阵列。所述物体可表示所述特定用户。
接下来，所述方法将共享文档呈现(在2410处)给若干用户。所述共享文档包含与用于所述特定用户的所述识别标签相关联的文本。所述文本是基于来自所述特定用户的声音。在一些实施方案中，所述声音是由声音俘获装置(例如，麦克风阵列)俘获。图19说明可呈现给若干用户的共享文档的实例。
所述方法随后从一组用户接收(在2415处)用以修改所述共享文档的一组输入。在一些实施方案中，来自所述组用户的每一输入是来自单一输入装置(例如，所述输入是来自触敏屏幕)。在一些实施方案中，所述组输入包含触敏屏幕上的一组手势(例如，轻拂)。图20到21说明可从一组用户接收的输入的实例。接下来，所述方法基于来自所述组用户的所接收的所述组输入而修改(在2420处)所述共享文档。共享文档的修改的实例包含文本编辑及/或文本突出显示。
在修改(在2420处)共享文档之后，所述方法将所述经修改的共享文档呈现(在2425处)给至少一个用户且结束。在一些实施方案中，图20到21还说明经修改的共享文档的呈现。
应注意，可在本地及/或远程地执行上文所描述的操作中的一些或全部。换句话说，在一些实施方案中，可由麦克风阵列、本地装置(例如，桌子中的集成触敏屏幕的本地装置)及/或连接到麦克风阵列及/或本地装置的一或多个远程装置执行所述操作中的一些或全部。例如，在一些实施方案中，可远程地执行所述转录、搜索、总览。
图25说明一些实施方案可使用的麦克风阵列(例如，声音俘获装置)的实例。如图25中所展示，麦克风阵列2500可包含至少一个处理器/处理电路2502、存储器2504、若干麦克风2506、若干输入装置2508、至少一个收发器2510、至少一个用户接口模块2512、至少一个感应器2513及至少一个通信接口模块2514。
麦克风2506可以用于俘获声音及/或话音。输入装置2508允许用户输入数据及/或提供对麦克风阵列的控制。收发器2510允许麦克风阵列传输无线信号及从其它装置(例如，电话、计算机、平板计算机、麦克风阵列)接收无线信号。麦克风阵列2500可包含多个收发器，其允许麦克风阵列2500使用不同通信链路及不同通信协议与不同装置通信(例如，无线地)。在一些实施方案中，用户接口模块2512提供麦克风2506、输入装置2508与处理器/处理电路2502之间的接口。用户接口模块2512可包含若干用户接口模块(例如，用于每一组件的模块)。在一些实施方案中，通信接口模块2514提供收发器2510与处理器/处理电路2502之间的接口。通信接口模块2514可包含若干用户接口模块(例如，用于每一收发器的模块)。麦克风阵列2500还可包含其它组件，例如红外发射器/传感器、声波发射器/传感器及超声波发射器/传感器，其可以用于确定及/或跟踪附近物体(例如，装置、移动装置)的位置/定位。
如图25中所展示，处理器/处理电路2502可包含转录模块/电路2515、声音检测模块/电路2516、位置/定向模块/电路2518、声音处理模块/电路2520及文档编辑/操作模块/电路2522。
在一些实施方案中，转录模块/电路2515用于转录所俘获的声音。声音检测模块/电路2516用于检测及俘获声音。在一些实施方案中，声音检测模块/电路2516可从麦克风2506俘获声音。在一些实施方案中，位置/定向模块/电路2518用于确定麦克风阵列2500的位置及/或定向。在一些实施方案中，声音处理模块/电路2520用于处理由麦克风2506俘获的声音。对声音的处理可包含从所俘获的声音提取个别声音。在一些实施方案中，对声音的处理还可包含识别扬声器的身份。文档编辑/操作模块/电路2522用于对文档执行各种操作。在一些实施方案中，这些文档可包含从所俘获的声音转录的文本。文档编辑/操作模块/电路2522可包含用于转录俘获的声音/话音的转录模块/电路。
图26说明一些实施方案可使用的装置(例如，集成在表面桌子上的装置101)的实例。在一些实施方案中，所述装置可为移动装置(例如，手持机、平板计算机)。如图26中所展示，装置2600可包含至少一个处理器/处理电路2602、存储器2604、触敏/图像俘获屏幕2606、若干输入装置2608、至少一个收发器2610、至少一个用户接口模块2612及至少一个通信接口模块2614。
触敏/图像俘获屏幕2606可以用于显示图形用户接口。触敏/图像俘获屏幕2606还可以用于从一或多个用户接收输入。触敏/图像俘获屏幕2606可包含用以检测及/或俘获屏幕上或附近的一或多个物体的功能性/能力。输入装置2608允许用户输入数据及/或提供对装置的控制。收发器2610允许装置发射无线信号及从其它装置(例如，电话、计算机、平板计算机、麦克风阵列)接收无线信号。所述装置可包含多个收发器，其允许装置使用不同通信链路及不同通信协议与不同装置通信(例如，无线地)。麦克风阵列2600还可包含其它组件，例如红外发射器/传感器、声波发射器/传感器及超声波发射器/传感器，其可以用于确定及/或跟踪附近物体(例如，麦克风阵列、装置、移动装置)的位置/定位。
在一些实施方案中，用户接口模块2612提供触敏屏幕2606、输入装置2608与处理器/处理电路2602之间的接口。用户接口模块2612可包含若干用户接口模块(例如，用于每一组件的模块)。在一些实施方案中，通信接口模块2614提供收发器2610与处理器/处理电路2602之间的接口。通信接口模块2614可包含若干接口模块(例如，用于每一收发器的模块)。
如图26中所展示，处理器/处理电路2602可包含转录模块/电路2615、声音检测模块/电路2616、位置/定向模块/电路2618、声音处理模块/电路2620及文档编辑/操作模块/电路2622。
在一些实施方案中，转录模块/电路2615用于转录所俘获的声音。声音检测模块/电路2616用于检测及俘获声音。在一些实施方案中，声音检测模块/电路2616从麦克风(输入装置)俘获声音。在一些实施方案中，位置/定向模块/电路2618用于确定麦克风阵列2600的位置及/或定向。在一些实施方案中，声音处理模块/电路2620用于处理由麦克风俘获的声音。所述麦克风可为来自耦合到装置的麦克风阵列的麦克风。对声音的处理可包含从所俘获的声音提取个别声音。在一些实施方案中，对声音的处理还可包含识别扬声器的身份。文档编辑/操作模块/电路2622用于对文档执行各种操作。在一些实施方案中，这些文档可包含从所俘获的声音转录的文本。文档编辑/操作模块/电路2622可包含用于转录俘获的声音/话音的转录模块/电路。
词“示范性”在本文中用以意味着“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案或方面未必应解释为比本发明的其它方面优选或有利。同样，术语“方面”不要求本发明的所有方面包含所论述的特征、优点或操作模式。术语“耦合”在本文中用于指两个物体之间的直接或间接耦合。例如，如果物体A物理地触摸物体B，且物体B触摸物体C，那么物体A及C可仍被视为彼此耦合到，即使它们不直接彼此物理地触摸也如此。
图1、2、3、4、5、6、7、8、9、10、11A到11C、12A到12B、13、14、15、16、17、18、19、20、21、22、23、24、25及/或26中说明的组件、步骤、特征及/或功能中的一或多者可重新布置及/或组合为单一组件、步骤、特征或功能或体现在若干组件、步骤或功能中。在不脱离本发明的情况下，还可以添加额外的元件、组件、步骤及/或功能。
而且，应注意，实施例可描述为描绘为流程图、结构图或框图的过程。尽管流程图可将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、函数、步骤、子例程、子程序等。当过程对应于函数时，其终止对应于所述函数返回到调用函数或主函数。
此外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置及/或用于存储信息的其它机器可读取媒体。术语“机器可读媒体”或“机器可读存储媒体”包含(但不限于)便携式或固定存储装置、光学存储装置、无线信道及能够存储、含有或携载指令及/或数据的各种其它媒体。
此外，可由硬件、软件、固件、中间件、微码或其任何组合来实施实施例。当以软件、固件、中间件或微码实施时，用于执行必要任务的程序代码或代码段可存储在例如存储媒体或其它存储器的机器可读媒体中。处理器可以执行必要任务。代码段可以表示步骤、函数、子程序、程序、例程、子例程、模块、软件包、类别，或指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以经由包含存储器共享、消息传递、权标传递、网络传输等任何合适的方式传递、转发或传输。
可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中描述的功能的任何组合来实施或执行结合本文中揭示的实例而描述的各种说明性逻辑块、模块、电路(例如，处理电路)、元件及/或组件。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可以实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。
结合本文中揭示的实例而描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现在硬件、可由处理器执行的软件模块或两者的组合中，且可含于单个装置中或跨越多个装置而分布。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM，或所属领域中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中，储存媒体可与处理器成一体式。
所属领域的技术人员将进一步了解，结合本文中揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。
本文中描述的本发明的各种特征可实施于不同系统中而不脱离本发明。应注意，本发明的前述方面仅为实例，且不应解释为限制本发明。本发明的各方面的描述既定是说明性的，且不限制权利要求书的范围。因此，本发明的教示可容易应用于其它类型的设备，且所属领域的技术人员将明白许多替代方案、修改及变化。

Claims (51)

1.一种用于识别扬声器的设备，所述设备包括：
用于俘获第二装置的位置及定向的第一装置，所述第二装置包括用于俘获声音的多个麦克风，其中所述第二装置具有可移动的位置及可移动的定向；及
至少一个处理器，其经配置以：
基于来自所述第一装置的数据而确定所述第二装置的所述位置及定向；
将一物体指派为已知用户的表示，所述物体具有可移动的位置；
接收所述物体的位置，所述物体的所述位置对应于所述已知用户的位置；
处理所述所俘获的声音以识别源自所述物体的方向的声音，其中所述物体的所述方向与所述第二装置的所述位置及所述定向相关；及
将源自所述物体的所述方向的所述声音识别为属于所述已知用户。
2.根据权利要求1所述的设备，其中所述第一装置包括触敏屏幕。
3.根据权利要求2所述的设备，其中所述第二装置包括第一感应组件及第二感应组件，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。
4.根据权利要求3所述的设备，其中所述第一感应组件具有与所述第二感应组件不同的大小。
5.根据权利要求2所述的设备，其中所述触敏屏幕包含在表面桌子内。
6.根据权利要求1所述的设备，其中所述第一装置包括移动装置。
7.根据权利要求6所述的设备，其中所述移动装置包括手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理PDA中的一或多者。
8.根据权利要求1所述的设备，其中所述第一装置包括图像俘获屏幕。
9.根据权利要求8所述的设备，其中所述第二装置包括至少一个视觉标记，所述图像俘获屏幕用于通过俘获所述第二装置的所述至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
10.根据权利要求1所述的设备，其中所述物体包括在屏幕上呈现的图形用户接口中的图形用户接口元件。
11.根据权利要求10所述的设备，其中所述屏幕包括触敏屏幕，所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
12.根据权利要求1所述的设备，其中所述物体的所述位置上的移动表示所述已知用户的所述位置上的移动。
13.根据权利要求1所述的设备，其中所述物体包括可移动的物理物体。
14.根据权利要求1所述的设备，其中所述物体包括具有触敏屏幕的装置。
15.根据权利要求1所述的设备，其中所述物体包括经配置成与所述处理器通信的另一麦克风阵列。
16.根据权利要求1所述的设备，其中所述设备包括手持机。
17.一种用于识别扬声器的方法，所述方法包括：
基于来自第一装置的数据而确定第二装置的位置及定向，所述第一装置用于俘获所述第二装置的所述位置及定向，所述第二装置包括用于俘获声音的多个麦克风，其中所述第二装置具有可移动的位置及可移动的定向；
将一物体指派为已知用户的表示，所述物体具有可移动的位置；
接收所述物体的位置，所述物体的所述位置对应于所述已知用户的位置；
处理所述所俘获的声音以识别源自所述物体的方向的声音，其中所述物体的所述方向与所述第二装置的所述位置及所述定向相关；及
将源自所述物体的所述方向的所述声音识别为属于所述已知用户。
18.根据权利要求17所述的方法，其中所述第一装置包括触敏屏幕。
19.根据权利要求18所述的方法，其中所述第二装置包括第一感应组件及第二感应组件，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。
20.根据权利要求19所述的方法，其中所述第一感应组件具有与所述第二感应组件不同的大小。
21.根据权利要求18所述的方法，其中所述触敏屏幕包含在表面桌子内。
22.根据权利要求17所述的方法，其中所述第一装置包括移动装置。
23.根据权利要求22所述的方法，其中所述移动装置包括手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及个人数字助理PDA中的一或多者。
24.根据权利要求17所述的方法，其中所述第一装置包括图像俘获屏幕。
25.根据权利要求24所述的方法，其中所述第二装置包括至少一个视觉标记，所述图像俘获屏幕用于通过俘获所述第二装置的所述至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
26.根据权利要求17所述的方法，其中所述物体包括在屏幕上呈现的图形用户接口中的图形用户接口元件。
27.根据权利要求26所述的方法，其中所述屏幕包括触敏屏幕，所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
28.根据权利要求17所述的方法，其中所述物体包括可移动的物理物体。
29.根据权利要求17所述的方法，其中所述物体包括具有触敏屏幕的装置。
30.一种用于识别扬声器的设备，所述设备包括：
用于基于来自第一装置的数据而确定第二装置的位置及定向的装置，所述第一装置用于俘获所述第二装置的所述位置及定向，所述第二装置包括用于俘获声音的多个麦克风，其中所述第二装置具有可移动的位置及可移动的定向；
用于将一物体指派为已知用户的表示的装置，所述物体具有可移动的位置；
用于接收所述物体的位置的装置，所述物体的所述位置对应于所述已知用户的位置；
用于处理所述所俘获的声音以识别源自所述物体的方向的声音的装置，其中所述物体的所述方向与所述第二装置的所述位置及所述定向相关；及
用于将源自所述物体的所述方向的所述声音识别为属于所述已知用户的装置。
31.根据权利要求30所述的设备，其中所述第一装置包括触敏屏幕。
32.根据权利要求31所述的设备，其中所述第二装置包括第一感应组件及第二感应组件，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。
33.根据权利要求32所述的设备，其中所述第一感应组件具有与所述第二感应组件不同的大小。
34.根据权利要求31所述的设备，其中所述触敏屏幕包含在表面桌子内。
35.根据权利要求30所述的设备，其中所述第一装置包括移动装置。
36.根据权利要求35所述的设备，其中所述移动装置包括手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及个人数字助理PDA中的一或多者。
37.根据权利要求30所述的设备，其中所述第一装置包括图像俘获屏幕。
38.根据权利要求37所述的设备，其中所述第二装置包括至少一个视觉标记，所述图像俘获屏幕用于通过俘获所述第二装置的所述至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
39.根据权利要求30所述的设备，其中所述物体包括在屏幕上呈现的图形用户接口中的图形用户接口元件。
40.根据权利要求39所述的设备，其中所述屏幕包括触敏屏幕，所述图形用户接口元件可经由与显示所述图形用户接口的所述触敏屏幕交互而在所述图形用户接口内移动。
41.根据权利要求30所述的设备，其中所述物体的所述位置上的移动表示所述已知用户的所述位置上的移动。
42.根据权利要求30所述的设备，其中所述设备包括手持机。
43.一种包括用于识别扬声器的一或多个指令的计算机可读存储媒体，所述一或多个指令在由至少一个处理器执行时致使所述至少一个处理器：
基于来自第一装置的数据而确定第二装置的位置及定向，所述第一装置用于俘获所述第二装置的所述位置及定向，所述第二装置包括用于俘获声音的多个麦克风，其中所述第二装置具有可移动的位置及可移动的定向；
将一物体指派为已知用户的表示，所述物体具有可移动的位置；
接收所述物体的位置，所述物体的所述位置对应于所述已知用户的位置；
处理所述所俘获的声音以识别源自所述物体的方向的声音，其中所述物体的所述方向与所述第二装置的所述位置及所述定向相关；及
将源自所述物体的所述方向的所述声音识别为属于所述已知用户。
44.根据权利要求43所述的计算机可读存储媒体，其中所述第一装置包括触敏屏幕。
45.根据权利要求44所述的计算机可读存储媒体，其中所述第二装置包括第一感应组件及第二感应组件，所述触敏屏幕通过俘获所述第一和第二感应组件在何处耦合到所述触敏屏幕而俘获所述第二装置的所述位置及所述定向。
46.根据权利要求45所述的计算机可读存储媒体，其中所述第一感应组件具有与所述第二感应组件不同的大小。
47.根据权利要求44所述的计算机可读存储媒体，其中所述触敏屏幕包含在表面桌子内。
48.根据权利要求43所述的计算机可读存储媒体，其中所述第一装置包括移动装置。
49.根据权利要求48所述的计算机可读存储媒体，其中所述移动装置包括手持机、平板计算机、电话、智能电话、便携式电子装置、电子记事本及/或个人数字助理PDA中的一或多者。
50.根据权利要求43所述的计算机可读存储媒体，其中所述第一装置包括图像俘获屏幕。
51.根据权利要求43所述的计算机可读存储媒体，其中所述第二装置包括至少一个视觉标记，所述图像俘获屏幕用于通过俘获所述第二装置的所述至少一个视觉标记的位置及定向而俘获所述第二装置的所述位置及所述定向。
CN201380058941.4A 2012-11-14 2013-10-11 具有智能方向性会议的装置及系统 Expired - Fee Related CN104919823B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261726451P 2012-11-14 2012-11-14
US201261726441P 2012-11-14 2012-11-14
US201261726456P 2012-11-14 2012-11-14
US201261726461P 2012-11-14 2012-11-14
US61/726,441 2012-11-14
US61/726,461 2012-11-14
US61/726,451 2012-11-14
US61/726,456 2012-11-14
US13/725,938 2012-12-21
US13/725,938 US9368117B2 (en) 2012-11-14 2012-12-21 Device and system having smart directional conferencing
PCT/US2013/064705 WO2014077989A1 (en) 2012-11-14 2013-10-11 Device and system having smart directional conferencing

Publications (2)

Publication Number Publication Date
CN104919823A true CN104919823A (zh) 2015-09-16
CN104919823B CN104919823B (zh) 2017-12-08

Family

ID=50681708

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380058949.0A Active CN104782146B (zh) 2012-11-14 2013-10-11 用于表示物理空间中的声音场的方法及设备
CN201380058943.3A Pending CN104919824A (zh) 2012-11-14 2013-10-11 用于提供对声音的有形控制的方法及设备
CN201380058941.4A Expired - Fee Related CN104919823B (zh) 2012-11-14 2013-10-11 具有智能方向性会议的装置及系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380058949.0A Active CN104782146B (zh) 2012-11-14 2013-10-11 用于表示物理空间中的声音场的方法及设备
CN201380058943.3A Pending CN104919824A (zh) 2012-11-14 2013-10-11 用于提供对声音的有形控制的方法及设备

Country Status (6)

Country Link
US (3) US9286898B2 (zh)
EP (3) EP2920984A1 (zh)
JP (3) JP6138956B2 (zh)
KR (2) KR101762522B1 (zh)
CN (3) CN104782146B (zh)
WO (3) WO2014077990A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
CN105898026A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 移动终端录音提示方法、提示装置及其移动终端
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
US10827292B2 (en) 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US10575093B2 (en) * 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
US9128552B2 (en) 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
WO2015200889A1 (en) 2014-06-27 2015-12-30 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
US10073607B2 (en) * 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
US9817634B2 (en) * 2014-07-21 2017-11-14 Intel Corporation Distinguishing speech from multiple users in a computer interaction
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
CN104469595A (zh) * 2014-10-30 2015-03-25 苏州上声电子有限公司 一种基于误差模型的多区域声重放方法和装置
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
WO2016162058A1 (en) * 2015-04-08 2016-10-13 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
CN106303810B (zh) * 2015-05-13 2021-09-10 青岛通产智能机器人有限公司 基于方向性声音传感器的声源方位判断装置及方法
GB2540224A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Multi-apparatus distributed media capture for playback control
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
CN105187998B (zh) * 2015-10-20 2018-11-13 张浩杰 一种超声波感应电子连体扬声器
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
WO2017123906A1 (en) 2016-01-14 2017-07-20 Harman International Industries, Inc. Acoustic radiation pattern control
US10412490B2 (en) 2016-02-25 2019-09-10 Dolby Laboratories Licensing Corporation Multitalker optimised beamforming system and method
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
JP6520878B2 (ja) * 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
CN106409272B (zh) * 2016-11-18 2023-11-10 徐州芯特智能装备有限公司 感应式可视化铜鼓系统
GB2557219A (en) 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) * 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
KR101833892B1 (ko) * 2017-02-08 2018-03-02 포항공과대학교 산학협력단 압전 멤스 기반 초지향성 라우드 스피커 및 이의 빔 조향 방법
JP6472823B2 (ja) * 2017-03-21 2019-02-20 株式会社東芝 信号処理装置、信号処理方法および属性付与装置
CN106954136A (zh) * 2017-05-16 2017-07-14 成都泰声科技有限公司 一种集成麦克风接收阵列的超声定向发射参量阵
CN107437063A (zh) * 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
US20190196591A1 (en) * 2017-12-22 2019-06-27 Ultrahaptics Ip Ltd Human Interactions with Mid-Air Haptic Systems
US10306394B1 (en) * 2017-12-29 2019-05-28 Samsung Electronics Co., Ltd. Method of managing a plurality of devices
JP7058002B2 (ja) * 2018-01-25 2022-04-21 凸版印刷株式会社 振動提示システム、振動提示方法、操作端末および振動提示デバイス
JP7183558B2 (ja) * 2018-03-29 2022-12-06 株式会社リコー 共用支援サーバ、共用システム、共用支援方法、及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
WO2019231630A1 (en) 2018-05-31 2019-12-05 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
CN109451291A (zh) * 2018-12-29 2019-03-08 像航（上海）科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
WO2020142567A1 (en) * 2018-12-31 2020-07-09 Hed Technologies Sarl Systems and methods for voice identification and analysis
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11862168B1 (en) * 2020-03-30 2024-01-02 Amazon Technologies, Inc. Speaker disambiguation and transcription from multiple audio feeds
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
CN112834023B (zh) * 2021-01-06 2021-10-19 江苏科技大学 一种基于近场变换的空间辐射声场获取方法
US11540078B1 (en) 2021-06-04 2022-12-27 Google Llc Spatial audio in video conference calls based on content type or participant role
US11849257B2 (en) 2021-08-04 2023-12-19 Google Llc Video conferencing systems featuring multiple spatial interaction modes
US11637991B2 (en) 2021-08-04 2023-04-25 Google Llc Video conferencing systems featuring multiple spatial interaction modes

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5666136A (en) 1991-12-17 1997-09-09 Sony Corporation Audio equipment and method of displaying operation thereof
JPH0784592A (ja) 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6826284B1 (en) * 2000-02-04 2004-11-30 Agere Systems Inc. Method and apparatus for passive acoustic source localization for video camera steering applications
US20020089541A1 (en) * 2000-02-14 2002-07-11 Julian Orbanes System for graphically interconnecting operators
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7146260B2 (en) * 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US7071920B2 (en) 2001-07-06 2006-07-04 Hewlett-Packard Development Company, L.P. Method and apparatus for indicating an operating mode of a computer-pointing device
JP4280901B2 (ja) 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
TWI304559B (zh) 2002-05-24 2008-12-21 Waltop Int Corp
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040080494A1 (en) 2002-10-29 2004-04-29 International Business Machines Corporation Force-sensing mouse pointing device for computer input
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US7305078B2 (en) 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
US8627213B1 (en) 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
JPWO2006100980A1 (ja) 2005-03-18 2008-09-04 パイオニア株式会社 音声信号処理装置及びそのためのコンピュータプログラム
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
DE102005043641A1 (de) * 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US20070075968A1 (en) 2005-09-30 2007-04-05 Hall Bernard J System and method for sensing the position of a pointing object
US20070127668A1 (en) 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
AU2007207861B2 (en) 2006-01-19 2011-06-09 Blackmagic Design Pty Ltd Three-dimensional acoustic panning device
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP5286667B2 (ja) 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US8249233B2 (en) 2006-03-17 2012-08-21 International Business Machines Corporation Apparatus and system for representation of voices of participants to a conference call
US7843486B1 (en) 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7920158B1 (en) 2006-07-21 2011-04-05 Avaya Inc. Individual participant identification in shared video resources
JP4894386B2 (ja) * 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP2008141465A (ja) 2006-12-01 2008-06-19 Fujitsu Ten Ltd 音場再生システム
US7844462B2 (en) * 2007-02-01 2010-11-30 Sap Ag Spatial sound generation for screen navigation
US20080255901A1 (en) 2007-03-26 2008-10-16 John Stuart Carroll Kiosk systems and methods
US20080252595A1 (en) 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8594338B2 (en) * 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8108144B2 (en) * 2007-06-28 2012-01-31 Apple Inc. Location based tracking
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8050917B2 (en) 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US7995732B2 (en) 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
JP2009181457A (ja) * 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
US8144896B2 (en) 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
KR100955339B1 (ko) 2008-04-22 2010-04-29 주식회사 애트랩 접촉 및 접근을 감지할 수 있는 디스플레이 패널과디스플레이 장치 및 이 패널을 이용하는 접촉 및 접근 감지방법
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5047882B2 (ja) * 2008-06-04 2012-10-10 日本電信電話株式会社 発話関連情報提示装置及び方法
US8315366B2 (en) * 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
NO333026B1 (no) 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5801026B2 (ja) 2009-05-28 2015-10-28 株式会社ザクティ 画像音響処理装置及び撮像装置
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5568915B2 (ja) * 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US20120022924A1 (en) 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US20110055703A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8363810B2 (en) * 2009-09-08 2013-01-29 Avaya Inc. Method and system for aurally positioning voice signals in a contact center environment
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8144633B2 (en) * 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4949453B2 (ja) 2009-11-12 2012-06-06 シャープ株式会社 画像処理装置および画像処理装置の制御方法
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
CN102771141B (zh) 2009-12-24 2016-01-20 诺基亚技术有限公司 一种电子装置及用于电子装置的方法
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP5534413B2 (ja) * 2010-02-12 2014-07-02 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置及びプログラム
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8174934B2 (en) 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US20120027226A1 (en) * 2010-07-30 2012-02-02 Milford Desenberg System and method for providing focused directional sound in an audio system
US20120041579A1 (en) 2010-08-12 2012-02-16 Charles Davis Rear surround sound projection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US8744065B2 (en) * 2010-09-22 2014-06-03 Avaya Inc. Method and system for monitoring contact center transactions
WO2012039837A1 (en) 2010-09-22 2012-03-29 Cypress Semiconductor Corporation Capacitive stylus for a touch screen
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US8848028B2 (en) * 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US8558894B2 (en) 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
WO2013000099A1 (en) 2011-06-29 2013-01-03 Intel Corporation Techniques for gesture recognition
KR101760804B1 (ko) 2011-11-23 2017-07-24 인텔 코포레이션 복수의 뷰, 디스플레이 및 피직스를 가진 제스쳐 입력
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
JP2013183286A (ja) * 2012-03-01 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、音源方向検出方法、及びプログラム
US20150046157A1 (en) 2012-03-16 2015-02-12 Nuance Communications, Inc. User Dedicated Automatic Speech Recognition
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的系统及其广告服务方法
US20140013192A1 (en) 2012-07-09 2014-01-09 Sas Institute Inc. Techniques for touch-based digital document audio and user interface enhancement
JP2014092796A (ja) * 2012-10-31 2014-05-19 Jvc Kenwood Corp 音声情報報知装置、音声情報報知方法およびプログラム
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898026A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 移动终端录音提示方法、提示装置及其移动终端
CN105489219A (zh) * 2016-01-06 2016-04-13 广州零号软件科技有限公司 室内空间服务机器人分布式语音识别系统与产品
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置

Also Published As

Publication number Publication date
US9286898B2 (en) 2016-03-15
WO2014077990A1 (en) 2014-05-22
US9412375B2 (en) 2016-08-09
WO2014077991A1 (en) 2014-05-22
JP2016505918A (ja) 2016-02-25
JP2016506639A (ja) 2016-03-03
CN104919824A (zh) 2015-09-16
EP2920984A1 (en) 2015-09-23
US9368117B2 (en) 2016-06-14
EP2920983A1 (en) 2015-09-23
US20140136203A1 (en) 2014-05-15
KR20150085030A (ko) 2015-07-22
KR101762522B1 (ko) 2017-07-27
EP2920983B1 (en) 2017-11-22
JP2016504648A (ja) 2016-02-12
CN104919823B (zh) 2017-12-08
US20140136981A1 (en) 2014-05-15
CN104782146A (zh) 2015-07-15
EP2920985A1 (en) 2015-09-23
US20140133665A1 (en) 2014-05-15
JP6138956B2 (ja) 2017-05-31
KR20150085032A (ko) 2015-07-22
WO2014077989A1 (en) 2014-05-22
JP6092412B2 (ja) 2017-03-08
CN104782146B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN104919823A (zh) 具有智能方向性会议的装置及系统
EP3341851B1 (en) Gesture based annotations
CN105378624B (zh) 在交互出现于白板上时显示交互
US10667307B2 (en) Disambiguation of target devices using ambient signal data
CN103634559A (zh) 用于基于消息收发器的视频通话服务的移动设备和方法
CN105103457A (zh) 便携式终端、助听器以及在便携式终端中指示声源的位置的方法
CN107102746A (zh) 候选词生成方法、装置以及用于候选词生成的装置
CN105228177A (zh) 信息显示方法和装置
CN102681763A (zh) 用于在便携式终端中提供用户界面的方法和设备
US20150074555A1 (en) Rearranging chat messages
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
US10724867B1 (en) Systems and methods for position-based building guidance
CN107730847A (zh) 共享物品寻找方法及装置
CN103970269A (zh) 遥控系统和装置
CN106790043A (zh) 直播应用中发送消息的方法及装置
CN104299016B (zh) 对象定位方法及装置
CN105138256A (zh) 光标定位方法、装置及终端
CN109696166A (zh) 一种导航方法及装置
CN107560611A (zh) 运动路线获取方法及装置
CN103957502A (zh) 位置服务程序选择方法、装置及终端
CN108182002A (zh) 输入键的布局方法、装置、设备和存储介质
CN107395691A (zh) 信息获取方法及装置
CN106936986A (zh) 应用处理方法及装置
CN106909481A (zh) 接口测试方法、接口测试装置和电子设备
CN104216617B (zh) 光标位置确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208

Termination date: 20181011

CF01 Termination of patent right due to non-payment of annual fee