CN103999021B - 受手势控制的音频用户接口 - Google Patents

受手势控制的音频用户接口 Download PDF

Info

Publication number
CN103999021B
CN103999021B CN201280062057.3A CN201280062057A CN103999021B CN 103999021 B CN103999021 B CN 103999021B CN 201280062057 A CN201280062057 A CN 201280062057A CN 103999021 B CN103999021 B CN 103999021B
Authority
CN
China
Prior art keywords
user
audio
equipment
space
audio prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280062057.3A
Other languages
English (en)
Other versions
CN103999021A (zh
Inventor
向佩
胡伊-雅·廖·纳尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103999021A publication Critical patent/CN103999021A/zh
Application granted granted Critical
Publication of CN103999021B publication Critical patent/CN103999021B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)

Abstract

本发明揭示各自用于选择呈现于三维3D空间中的音频提示的用户接口、方法和制品。所述音频提示可在围绕用户的空间中可听地感知，其中所述音频提示中的每一者可由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。对特定音频提示的选择是基于一或多个用户手势来作出。便携式电子装置可经配置以呈现由用户感知的所述音频提示且检测某些用户手势来选择音频提示。可使用所述音频提示选择来控制所述便携式装置和/或其它关联装置的操作。

Description

受手势控制的音频用户接口
根据35U.S.C.§119主张优先权
本专利申请案主张2011年12与19日申请的标题为“受多传感器控制的3-D音频接口(Multi-Sensor Controlled3-D Audio Interface)”的第61/577,489号美国临时申请案的优先权，所述申请案转让给本案受让人且在此明确以引用的方式并入本文中。
技术领域
本发明大体上涉及人机接口，且更具体来说，涉及基于手势的接口。
背景技术
例如智能蜂窝式电话等智能装置常常提供复杂的用户接口。许多这些接口设计聚焦于触摸屏和视觉反馈。比如iPhone和iPad等具有多点触摸屏幕的智能装置如今广泛使用和流行。所述触摸屏提供非常通用的接口，其中用户可以操纵软件按钮、滑块和许多其它输入来控制装置。然而，在一些情形中，此类详细视觉接口可并不理想。举例来说，当驾驶汽车时，安全非常重要，用户的眼睛应看好路面而不是装置。另一实例是在收听便携式装置上的音乐的同时进行慢跑。在此情形中，用户可能不需要看向显示屏来作出歌曲选择或调整音量。
发明内容
此概要并非所有所涵盖实施例的广泛综述，且既定不识别所有实施例的关键或决定性要素，也不勾勒任何或所有实施例的范围。其唯一目的是以简化形式来呈现一或多个实施例的一些概念以作为稍后所呈现的更详细描述的序言。
揭示一种用于电子装置的改进的用户接口。所述用户接口准许对呈现给用户的音频提示进行基于手势的用户选择。所述音频提示可在围绕用户的空间中可听地感知，其中所述音频提示中的每一者可由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。对特定音频提示的选择是基于相对于所述电子装置所作出的一或多个用户移动来作出。可使用所述音频提示选择来控制所述电子装置和/或其它关联装置的操作。
根据本文中所揭示的介接技术的一方面，一种便携式电子装置可经配置以呈现由用户感知的音频提示且检测某些用户手势来选择音频提示。
根据另一方面，一种设备包含电路、用户接口和选择器。所述电路经配置以产生可在围绕用户的空间中可听地感知的音频提示。将每一音频提示产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。所述用户接口经配置以检测响应于所述音频提示而作出的相对于所述设备的用户移动，且所述选择器经配置以基于所述用户移动而选择所述音频提示中的至少一者。
根据另一方面，一种设备包含用于产生可在围绕用户的空间中可听地感知的音频提示的装置。将每一音频提示产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。所述设备还包含用于检测响应于所述音频提示而作出的相对于所述设备的用户移动的装置，以及用于基于所述用户移动而选择所述音频提示中的至少一者的装置。
根据另一方面，一种计算机可读媒体体现可由一或多个处理器执行以用于产生可在围绕用户的空间中可听地感知的音频提示的一组指令。将所述音频提示中的每一者产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。所述媒体还存储用于检测响应于所述音频提示而作出的相对于所述便携式装置的用户移动的代码，以及用于基于所述用户移动而选择所述音频提示中的至少一者的代码。
根据另一方面，一种在电子装置处提供用户接口的方法包含通过所述电子装置产生可在围绕用户的空间中可听地感知的音频提示。将每一音频提示产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。所述方法还包含检测响应于所述音频提示而作出的相对于所述电子装置的用户移动，以及基于所述用户移动而选择所述音频提示中的至少一者。
在审查了以下图式和详细描述之后，所属领域的技术人员将即刻明白或将变得明白其它方面、特征和优点。希望所有此类额外特征、方面和优点包含于此描述内且受到所附权利要求书保护。
附图说明
应理解，所述图式仅用于说明的目的。此外，各图中的组件不一定按比例绘制，而是着重于说明本文中所描述的技术和装置的原理。在各图中，相同的参考数字在所有不同视图中标示对应部分。
图1是说明在用户周围在空间上呈现的一组听觉提示的自顶向下透视图，其中用户用手势选择所述提示中的一者。
图2说明经配置以通过检测跨触摸屏的用户扫刷来选择听觉提示的示范性便携式电子装置。
图3说明经配置以通过检测装置附近的用户移动来选择听觉提示的示范性电子装置。
图4说明经配置以通过检测装置上的用户抓握来选择听觉提示的示范性便携式电子装置。
图5说明使用接近固定装置的便携式装置来用于检测由系统产生的听觉提示的用户选择的示范性系统。
图6展示基于用户选择的听觉提示来控制装置的示范性方法的流程图。
图7展示产生空间音频提示的示范性方法的流程图。
图8展示产生空间音频反馈提示以作为检测到用户手势的结果的示范性方法的流程图。
图9是说明用于检测用户选择的空间音频提示的示范性设备的某些组件的框图。
图10是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的示范性设备的某些组件的框图。
图11是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第一示范性系统的某些组件的框图，其中通过有线头戴式耳机输出空间音频。
图12是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第二示范性系统的某些组件的框图，其中通过环绕扬声器系统输出空间音频。
图13是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第三示范性系统的某些组件的框图，其中通过一或多个无线扬声器装置输出空间音频。
图14是说明使用便携式装置和固定装置来用于检测响应于空间音频提示而作出的用户运动的第一示范性系统的某些组件的框图。
图15是说明使用便携式装置和固定装置来用于检测响应于空间音频提示而作出的用户运动的第二示范性系统的某些组件的框图。
具体实施方式
参考且并入图式的以下详细描述描述且说明了一或多个特定配置。充分详细地展示和描述经提供以不限制而仅示范和教示的这些配置以使得所属领域的技术人员能够实践所揭示的内容。因此，为简洁起见，所述描述可省略所属领域的技术人员已知的某些信息。
词语“示范性”在本发明通篇中意味着“充当实例、例子或说明”。本文中被描述为“示范性”的任何对象没有必要解释为比其它方法或特征优选或有利。
一般来说，本发明描述具有作为任何视觉用户接口的替代或补充的空间音频用户接口的电子装置，包含手持式装置。在空间音频下，装置产生音频提示，所述音频提示由用户在环绕他/她的物理空间中的特定位置处感知。所述音频提示可在二维(2D)空间或三维(3D)空间中的不同点处呈现和定位。所属领域的技术人员应理解，2D或3D空间是在物理空间中。音频提示可表示对用户有价值的信息，例如装置上的音乐文件的位置等。本文揭示的是用户可以通过作手势(例如，扫刷触摸屏或指向提示的方向)来选择特定空间音频提示而选择所述提示的若干方式。经装备以检测此类手势的装置可包含不同类型的传感器，从而准许用户通过听取和选择空间音频提示来导航和控制信息和装置。
空间音频可提供视觉显示的用户接口(UI)信息的替代环境，且可以可听地呈现例如分层菜单、媒体内容的集合的索引、虚拟导航地图等信息。空间音频UI可使用空间音频作为替代性呈现环境，且利用不同类型的传感器在此类环境中导航和提供控制输入。
图1是说明通过便携式电子装置14在用户12周围在空间上呈现的一组听觉提示18a到f的自顶向下透视图。在所展示的实例中，用户12通过耳机16听取空间音频提示。通过耳机16，用户12将音频提示18a到f感知为位于围绕用户12的空间中，如图所示。装置14经配置以感测响应于音频提示18a到f而作出的相对于装置14的用户移动。通过检测到用户移动且使所检测到的移动与所呈现的音频提示中的一或多者匹配，装置14可基于所述用户手势确定正选择哪一音频提示。因此，装置14准许用户12用用户运动选择音频提示，所述用户运动例如为手势。
便携式装置14可为通过软件编程和/或硬件设计而经配置以执行本文中所描述的功能的手持式装置，例如无线通信装置，例如智能电话、蜂窝式电话、个人数字助理(PDA)等。装置14还可为MP3播放器，游戏装置、膝上型或记事本计算机、个人立体声、立体声系统等。在一些布置中，装置14可替代地为非便携式装置。
图2说明可用作图1的装置14的示范性便携式电子装置50。电子装置50经配置以通过检测跨装置50中所包含的触摸屏52的用户扫刷来选择听觉提示。用户用他的/她的手54握住装置50，且可在音频提示的所感知方向上扫刷手指(例如，拇指56)跨越触摸屏52。装置52确定扫刷的方向且使所述扫刷方向与所呈现的音频提示中的一或多者匹配，进而确定用户正选择哪一音频提示。
装置50还可包含重力传感器和/或罗盘以用于获得跨触摸屏的扫刷的绝对方向，而不管便携式装置的定向如何。装置50对于口袋里的触摸屏手势是有用的。
图1的装置14可替代地/另外通过用便携式装置中所包含的近场传感器(例如，超声波换能器)辨识用户手势来确定用户选择的音频提示。此类装置在图3中展示，图3说明经配置以通过检测装置100附近的用户移动来确定用户选择的听觉提示的示范性电子装置100。装置100可用作图1的装置14。所述装置包含显示屏102和多个近场运动传感器，例如超声波换能器(未图示)。运动传感器检测相对于装置100的用户移动，例如，在选定的音频提示的方向上的手104运动。装置100从传感器数据确定用户移动的方向且使所述方向与所呈现的音频提示中的一或多者匹配，进而确定用户正选择哪一音频提不。
图1的装置14可替代地/另外通过用建置于便携式装置中的短距离触摸传感器辨识用户手势来确定用户选择的音频提示。此类装置在图4中展示，图4说明经配置以通过检测装置150上的用户抓握来选择听觉提示的示范性便携式电子装置150。装置150可用作图1的装置14。所述装置包含多个传感器，例如安装到装置主体的电感性传感器(未图示)。所述传感器检测装置150上的触摸。举例来说，用户可用他的/她的手152抓握装置150，且将手指放置在装置150的周边上的某些位置处。装置150从所感测的触摸/抓握来确定选定的音频提示的方向。装置150随后使所述方向与所呈现的音频提示中的一或多者匹配，进而确定用户正选择哪一音频提示。
图1的装置14可替代地/另外通过对位于便携式装置上的外部扬声器阵列与传感器之间的超声、红外、音频或类似信号进行三角测量以使得可确定便携式装置的定向，来确定用户选择的音频提示。因此，使用此方法，用户可用便携式装置指向空间音频提示的所感知方向，且可检测指向的定向以使得可通过所述系统识别选定的音频提示。
此类系统在图5中展示，图5说明使用接近固定装置202的便携式装置204的示范性系统200。系统200经配置以产生空间音频提示且随后检测对某些听觉提示的用户选择。在所展示的实例中，固定装置202包含发射超声信号的扬声器阵列。便携式装置204包含多个麦克风(未图示)，所述多个麦克风响应于所述超声信号而产生麦克风信号。系统200包含处理器，所述处理器经配置以基于所述麦克风信号来检测相对于任一装置202、204的用户移动。因此，用户可用他的/她的手206抓握便携式装置204且通过移动他的/她的手来选择空间音频提示中的一或多者。
图6展示基于用户选择的音频提示来控制装置的示范性方法的流程图250，所述装置例如为图1到5中所示的装置14、50、100、150或系统200中的任一者。在框252中，电子装置产生可在围绕用户的空间中可听地感知的音频提示。将所述音频提示中的每一者产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。
如结合图7中所描绘的方法而进一步描述，音频提示再现引擎654(图10)基于空间听觉提示位置和由空间音频提示(SAC)产生器产生的声音类型信息而产生音频输出信号。音频再现引擎654通过将一或多个头部相关传递函数(HRTF)滤波器应用于输入音频信号且对所述输入音频信号进行处理来实施空间音频提示输出的空间移动和定位。如已知的，可使用用于两只耳朵的一对HRTF来合成似乎来自空间中的特定点的双耳声音。举例来说，可通过用HRTF滤波器对声音进行滤波且随着时间过去而快速地内插不同的HRTF系数来实施声音的连续移动。可将为空间音频提示产生器提供的位置信息应用于HRTF滤波器以产生对从特定位置移动或发出的音频提示的感知。因此，可再现来自SAC产生器的空间音频提示，使得听众将表示空间音频提示的音频输出感知为移动穿过听众周围的空间。
在框254中，电子装置检测响应于空间音频提示而作出的相对于电子装置的用户移动。在听到由空间音频提示展开的选择之后，用户可以不同方式作出选择。可使用以下方法中的任一者或其组合来检测作出音频提示选择的用户移动。
1.口袋里的触摸屏手势：此方法使用例如如图2中所示的触摸屏。此方法被称作“口袋里”，这是因为用户不需要看到触摸屏，且因此，可以在“口袋里”进行，即，在用户的视线之外。通过口袋里的选择，一或多根手指触摸且扫刷装置的触摸屏，使得指示空间中的方向。所述扫刷方向指示选择了沿着扫刷方向的菜单项目(空间音频提示)。所述菜单项目被呈现为可由用户感知为空间中的不同方向性声音的空间音频提示。因此在听到所述提示之后，用户可即刻扫刷朝向提示的所感知位置以选择所述提示。通过装置中所包含的例如重力传感器和罗盘等协调传感器，可使所述扫刷方向更准确。通过校正扫刷动作的这些传感器，可获得扫刷的绝对方向，而不管手持式装置的定向如何。
2.超声手势：通过装置上的超声换能器(发射器和接收器两者)，可在用户不触摸装置的情况下辨识手势。在图3中说明此方法的实例。从一点行进到接近装置的另一点的手势可被超声传感器检测，且指示空间中的给出用户的手势的方向的运动向量。所述向量的定向可指向所要的空间音频提示选择，且触发选择事件以进一步控制装置的操作。
3.短距离触摸感测：短距离感测技术可使用电感性触摸传感器，使得手持式装置可检测装置的哪一部分正被抓握和触摸。举例来说，超声传感器可沿着装置的边缘定位，使得装置正被触摸的任何地方被感测为强超声回声，因此在装置周围产生指示装置正如何被触摸和抓握的图。通过此触摸信息，可连续地监视正被触摸的点和边缘以检测对应于特定音频提示的用户抓握。另外，触摸/抓握信息可在音频空间中变得声化、在听觉上覆盖作为空间音频提示呈现给用户的菜单/内容选择信息。举例来说，单个或多个点按或手指按压的进一步动作可指示用户的“鼠标点击”选择。在图4中说明经配置以使用此方法的装置的实例。
4.附件辅助式选择：可将用于呈现空间音频提示的音频空间实现为具有立体声扬声器或扬声器阵列的场中所产生的空间上经滤波的头戴式耳机信号或虚拟空间。通过例如具有内置式超声换能器的小扬声器阵列等装置，所述系统可使用(例如)超声三角测量来准确地确定位置和用户接口动作。可使用扬声器阵列上的多个麦克风和扬声器使用类似于上文所描述的用于超声手势方法的算法的算法来检测手势。举例来说，可使用所述阵列来检测例如指向手指或装置等指向对象的位置。可使用从超声麦克风信号导出的位置信息来确定用户音频提示选择。在图5中说明经配置以使用此方法的装置的实例。
作为一实例，通过此技术，用户可用超声麦克风指向他的/她的便携式装置，且扬声器阵列装置通过其扬声器发射超声信号。通过扬声器与装置的麦克风之间的三角测量，可计算手持式装置的定向。在替代性布置中，手持式装置可具有超声发射器且扬声器阵列可具有一或多个麦克风来收听来自装置的超声发射以完成三角测量确定。可以类似方式确定便携式装置的指向方向。可进行使装置的所检测到的指向方向与正被呈现的空间音频提示的位置匹配以确定音频提示的用户选择。
扬声器阵列装置连线到手持式装置或与所述装置无线通信。在此配置中，用户接口处理可在所述阵列和/或手持式装置上。信令/传感器频率范围不限于超声。举例来说，在替代性配置中，可通过多麦克风技术使用音频声音。然而，在此配置中，用户可能听到既定用于定位和方向确定的声音。
在框256中，装置分析所检测到的用户移动以确定用户选择了哪一(哪些)音频提示。可分析所检测到的移动以确定用户移动或手势的方向。所述移动或手势的方向可作为向量映射到由装置维持的虚拟坐标网格上。所述装置还将每一呈现的音频提示的位置映射到所述坐标网格上。可计算在手势向量所描述的线与虚拟坐标系中的音频提示的坐标位置中的每一者之间的最小距离。将最靠近所述线(例如，具有最小的最小距离的线)的音频提示确定为选定的空间音频提示。以此方式，可使用户移动的方向与所呈现的音频提示中的一或多者匹配，进而指示选定的音频提示。通过使用来自装置中所包含的例如重力传感器和罗盘等协调传感器的数据，可确定绝对手势方向。通过来自这些传感器的给出装置在手势期间的定向的数据，可通过使用这些数据转变手势向量的坐标来获得用户手势的绝对方向。以此方式，可确定手势的绝对方向，而不管手持式装置的定向如何。
在框258中，装置基于所检测到的用户移动而产生空间音频反馈提示。所述空间音频反馈提示经产生以使得其可在围绕用户的空间中可听地感知，以便对应于用户移动的检测到的方向。如结合图8所描绘的方法而进一步描述，音频反馈提示再现引擎660(图10)基于空间听觉反馈提示位置和由反馈空间音频提示(FSAC)产生器产生的声音类型信息而产生音频输出信号。音频反馈提示再现引擎660通过将一或多个HRTF滤波器应用于输入音频信号且对所述输入音频信号进行处理来实施音频反馈输出的空间移动和定位。举例来说，可通过用HRTF滤波器对声音进行滤波且随着时间过去而快速地内插不同的HRTF系数来实施声音的连续移动。可将为空间反馈音频提示提供的位置信息应用于HRTF滤波器以产生从特定位置移动或散发的音频反馈提示的感知。因此，可再现来自FSAC产生器的空间反馈音频提示，使得听众将反馈音频输出感知为移动穿过听众周围的空间。
在框260中，装置的操作可由用户选择的空间音频提示来影响和/或控制。举例来说，响应于选定的音频提示，装置可选择某一歌曲进行回放、关闭、增加其音量、播放某一视频等。为了完成此，装置基于被确定为由用户选择的空间音频提示而产生一或多个控制信号，所述确定是基于响应于所呈现的空间音频提示而作出的检测到的用户手势。
图7展示产生空间音频提示的示范性方法的流程图300。在框304中，将指示空间音频提示的音频菜单从应用发送到空间音频提示(SAC)产生器。所述菜单识别音频提示以及与每一空间音频提示相关联的位置和声音类型。所述位置可为由系统维持的虚拟坐标网格中的2D或3D坐标位置。所述SAC产生器可实施于软件中以作为音频提示再现引擎654的部分，如图10中所示。
在框306中，SAC产生器将音频菜单转译为空间听觉提示。每一空间听觉提示对应于听众空间内的特定位置。从对应于听众空间内的多个位置的多个空间听觉提示选择针对特定菜单项目选择的空间听觉提示。空间听觉提示中的每一者对应于听众空间内的相应不同位置。
在框308中，音频再现引擎，例如图10的音频提示再现引擎654，从音频材料数据库656获取对应于空间音频提示的一或多个声音源。每一声音源可为存储数字化的音频的片断的音频文件。所存储的声音源可存储于音频剪辑、所记录的声音、合成的声音等的数据库656中，其作为输入音频信号提供给音频提示再现引擎654(图10)。可以不同的音频格式存储声音源，例如MIDI、MP3、AAC、WAV文件等。音频提示再现引擎654可将声音源转换为可由音频输出组件播放的适当格式。声音源的格式在由音频提示再现引擎654处理之前可为未压缩的经脉码调制(PCM)的数据。作为MIDI、MP3、AAC、WAV或其它格式的声音源可由音频提示再现引擎654解码为PCM数据。音频提示再现引擎654使用(例如)HRTF滤波器对PCM数据进行滤波。通过应用于HRTF滤波器的空间音频提示信息的设计来确定听众感知输出声音源的特定位置。
在决策框310中，音频提示再现引擎654确定将再现空间音频提示的音频输出装置的类型。在本文中所揭示的实例中音频输出装置可为耳机、环绕扬声器系统，或无线扬声器系统。
如果音频输出装置是耳机，那么所述方法进行到框312，且音频提示再现引擎654和相关联的音频处理电路657、664(图10)将空间听觉提示再现为基于头戴式耳机的空间音频输出信号。所述再现可包含对数字音频的数/模(D/A)转换、放大、滤波、空间滤波(例如HRTF滤波)以及使用头戴式耳机呈现空间音频提示所必需的任何其它音频处理。在框314中，将空间音频输出信号输出到耳机内的头戴式耳机扬声器。
如果音频输出装置是环绕声音扬声器系统，那么所述方法进行到框316，且音频提示再现引擎654和相关联的音频处理电路657、664(图10)将空间听觉提示再现为多通道空间音频输出信号。所述再现可包含对数字音频的D/A转换、放大、滤波、空间滤波(例如HRTF滤波)以及使用环绕声音扬声器系统呈现空间音频提示所必需的任何其它音频处理。在框318中，将空间音频输出信号输出到环绕声音扬声器。
如果音频输出装置是一或多个无线音频扬声器，那么所述方法进行到框320，且音频提示再现引擎654和相关联的音频处理电路657、664(图10)将空间听觉提示再现为适合于经由一或多个无线通道进行发射的数字化空间音频输出信号。所述再现可包含放大、滤波、空间滤波(例如HRTF滤波)以及使用无线音频通道呈现空间音频提示所必需的任何其它音频处理。在框322中，通过无线通道输出数字化的空间音频输出信号。
图8展示产生空间音频反馈提示以作为检测到用户手势的结果的示范性方法的流程图400。在框402中，将识别检测到的用户移动的信号从用户接口发送到反馈空间音频提示(FSAC)产生器。所述FSAC产生器可实施于软件中以作为图10的音频反馈提示再现引擎660的部分。所述用户移动信号识别用户移动的位置和方向。所述位置可为由系统维持的虚拟坐标网格中的2D或3D坐标位置，且所述方向可包含识别坐标网格中的方向或向量的2D或3D坐标。所述用户移动信号用于选择与将由系统呈现的一或多个反馈空间音频提示相关联的位置、方向和声音类型。
在框404中，FSAC产生器将用户移动信号转译为一或多个反馈空间听觉提示。每一音频反馈提示对应于听众空间内的由用户移动信号识别的特定位置。针对特定用户运动而选择的音频反馈提示可对应于所检测到的运动方向。在一些配置中，仅产生单个空间音频反馈提示以作为所检测到的用户手势的结果。在其它配置中，可针对所检测到的用户移动产生多个空间音频反馈提示。可依序或同时地呈现所述多个音频反馈提示，使得产生许多音频提示以遵循用户的移动，且这些提示在位置和时间间隔上是如此密集，使得将所述提示感知为连续音频事件。
在框406中，音频反馈提示再现引擎，例如图10的音频提示再现引擎660，从音频反馈材料数据库662获取对应于音频反馈提示的声音源。每一声音源可为存储数字化的音频的片断的音频文件。所获取的特定声音源可从由来自用户接口的用户移动信号指示的声音类型字段来确定。所存储的声音源可存储于音频剪辑、所记录的声音、合成的声音等的数据库662中，其作为输入音频信号提供给音频反馈提示再现引擎660。可以不同的音频格式存储声音源，例如MIDI、MP3、AAC、WAV文件等。音频反馈提示再现引擎660可将声音源转换为可由音频输出组件播放的适当格式。声音源的格式在由音频反馈提示再现引擎660处理之前可为未压缩的经脉码调制(PCM)的数据。作为MIDI、MP3、AAC、WAV或其它格式的声音源可由音频反馈提示再现引擎660解码为PCM数据。音频反馈提示再现引擎660使用(例如)HRTF滤波器对PCM数据进行滤波。通过应用于HRTF滤波器的空间音频反馈提示信息的设计来确定听众感知输出声音源的特定位置。
在决策框408中，音频反馈提示再现引擎660确定将再现音频反馈提示的音频输出装置的类型。在本文中所揭示的实例中，音频输出装置可为耳机、环绕扬声器系统，或无线扬声器系统。
如果音频输出装置是耳机，那么所述方法进行到框410，且音频反馈提示再现引擎660和相关联的音频处理电路657、664(图10)将空间听觉反馈提示再现为基于头戴式耳机的空间音频输出信号。所述再现可包含对数字音频的D/A转换、放大、滤波、空间滤波(例如HRTF滤波)以及使用耳机呈现反馈音频提示所必需的任何其它音频处理。在框412中，将空间音频反馈输出信号输出到耳机内的头戴式耳机扬声器。
如果音频输出装置是环绕声音扬声器系统，那么所述方法进行到框414，且音频反馈提示再现引擎660和相关联的音频处理电路657、664(图10)将空间听觉反馈提示再现为多通道空间音频输出信号。所述再现可包含对数字音频的D/A转换、放大、滤波、空间滤波以及使用环绕声音扬声器系统呈现空间音频提示所必需的任何其它音频处理。在框416中，将空间音频反馈输出信号输出到环绕声音扬声器。
如果音频输出装置是一或多个无线音频扬声器，那么所述方法进行到框418，且音频反馈提示再现引擎660和相关联的音频处理电路657、664(图10)将空间听觉反馈提示再现为适合于经由一或多个无线通道进行发射的数字化空间音频输出信号。所述再现可包含放大、滤波、空间滤波以及使用无线音频通道呈现反馈音频提示所必需的任何其它音频处理。在框420中，通过无线通道输出数字化的空间音频反馈输出信号。
图9是说明用于检测用户选择的空间音频提示的示范性设备500的某些组件的框图。设备500可包含于图1到5中所示的装置14、50、100、150或系统200中的任一者中。设备500包含音频输出电路520、用户接口(UI)524、选择器522和传感器526。
音频输出电路520经配置以产生可在围绕用户的空间中可听地感知的空间音频提示。为了完成此，音频输出电路520将音频信号输出到扬声器528，所述扬声器虽然展示为在装置500外部，但其可包含于音频输出电路520中。扬声器528将音频信号转换为音频提示的空间声音。将每一音频提示产生为由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音。音频输出电路520可包含实施图6的框252的功能和/或图7的方法以输出表示空间音频提示的音频信号的硬件或硬件与软件组件的组合。
UI 524经配置以检测响应于音频提示而作出的相对于设备500的用户移动。UI524可包含触摸屏和/或其它传感器，例如结合图2到5所论述的传感器。为了检测用户移动，UI 524可包含实施图6的框254的功能的硬件或硬件与软件组件的组合。
选择器522经配置以基于所检测到的用户移动来选择音频提示中的至少一者。选择器522可通过使用户移动的所检测到的方向与所呈现的音频提示中的一或多者匹配来完成此。选择器522分析来自UI 524的所检测到的移动以尤其确定用户移动的方向。为了完成此，选择器522可包含实施图6的框256的功能的硬件或硬件与软件组件的组合。
音频输出电路520可进一步经配置以基于由UI 524检测到的用户移动而产生一或多个空间音频反馈提示。所述空间音频反馈提示可由用户可听地感知，以便对应于用户移动的检测到的方向。为了完成此，音频输出电路520可包含实施图6的框258的功能和/或图8的方法以输出表示空间音频反馈提示的音频信号的硬件或硬件与软件组件的组合。
传感器526包含用于检测设备500的定向的一或多个传感器。传感器526可包含(例如)重力传感器和/或罗盘。可使用传感器输出(例如，罗盘和/或重力传感器输出)来确定用户运动(例如，方向性扫刷)的绝对方向，而不管设备500的定向如何，如结合图6的框256所论述。
图10是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的示范性设备650的某些组件的更详细框图。设备650可包含于图1到5中所示的装置14、50、100、150或系统200中的任一者。设备650包含应用652、用户手势检测器658、音频输出电路520以及输出扬声器528。音频输出电路520包含音频提示再现引擎654、音频材料数据库656、声音混合器657、音频反馈提示再现引擎660、音频反馈材料数据库662以及音频处理电路664。
应用652可为运行在设备650上的产生音频菜单的软件应用。所述音频菜单识别一或多个空间音频提示且被从所述应用发送到空间音频提示(SAC)产生器，所述空间音频提示产生器包含于音频提示再现引擎654中。所述菜单识别空间音频提示以及与每一空间音频提示相关联的位置和声音类型。所述位置可为由系统维持的虚拟坐标网格中的2D或3D坐标位置。
空间音频提示可使用标签点以分层方式组织且呈现于听众空间中，如相关的第12/905,340号美国专利申请案中所描述，所述申请案在此以引用的方式并入。
音频提示再现引擎654、音频反馈提示再现引擎660、音频材料数据库656以及音频反馈材料数据库662的功能在上文结合图7进行描述。
用户手势检测器658可包含UI 524、选择器522以及传感器526。用户移动信号被用户手势检测器658输出到音频反馈提示再现引擎660中所包含的FSAC产生器。
声音混合器657可从音频提示和音频反馈提示再现引擎654、660接收经HRTF滤波的PCM音频，且使用例如用以应用各种增益的信号加权等数字音频混合技术对信号进行混合。以此方式，音频反馈提示可在感知上覆盖到所呈现的空间音频提示的星座上。
音频处理电路664对音频声音混合器657的输出执行任何所需的音频处理以将混合器输出转换为适合作为到扬声器528的输入的一或多个音频信号以产生所要的声音。所述处理可包含对数字音频的D/A转换、放大、滤波、平衡、立体声通道化以及使用扬声器528呈现空间音频提示和反馈提示所必需的任何其它音频处理。
扬声器528可为任何合适的声音换能器，包含本文中所揭示的扬声器、耳机、环绕扬声器系统和无线扬声器系统。
音频提示再现引擎654、音频反馈提示再现引擎660、声音混合器657、SAC产生器、FSAC产生器以及用户手势检测器658和音频处理电路664的至少一部分可通过执行编程代码的一或多个处理器来实施。所述处理器可为微处理器(例如，ARM7)、数字信号处理器(DSP)、一或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑或其任何合适组合。
图11是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第一示范性系统700的某些组件的框图，其中通过有线头戴式耳机704输出空间音频。系统架构700可经配置以实施上文结合图1到10所描述的装置14、50、100、150、204、设备500、650和/或方法中的任一者的功能。
系统700包含设备702，例如便携式电子媒体装置，以及耳机704。设备702包含音频电路706、处理器708、用户接口(UI)710、存储器712和一或多个传感器714。UI 710包含一或多个传感器720和触摸屏722。
存储器712可存储可由处理器708执行以用于实施本文结合图1到10所揭示的大部分功能性(例如应用652的功能以及音频电路520的大多数功能)的软件/固件和数据。UI710可包含传感器720(例如，本文中所描述的超声传感器)和触摸屏722以用于检测响应于所呈现的空间音频提示而作出的用户手势。传感器714可包含如上文所论述的重力传感器和罗盘，以用于确定设备702的定向。
处理器708可为微处理器(例如，ARM7)、数字信号处理器(DSP)、一或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑或其任何合适组合。
音频电路706可包含用于处理音频以使得其适合于输出到耳机704的音频硬件和/或软件。举例来说，音频电路706可包含多通道D/A转换器(DAC)以及左通道放大器和右通道放大器以用于驱动耳机704。所述放大器可为头戴式耳机高阻抗(HPH)放大器。
图12是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第二示范性系统750的某些组件的框图，其中通过环绕扬声器系统754输出空间音频。系统架构750可经配置以实施上文结合图1到10所描述的装置14、50、100、150、204、设备500、650和/或方法中的任一者的功能。
系统750包含设备752，例如便携式电子媒体装置，以及环绕扬声器系统754。设备752包含音频电路756、处理器758、用户接口(UI)760、存储器762和一或多个传感器764。UI760包含一或多个传感器766和触摸屏768。
存储器762可存储可由处理器758执行以用于实施本文结合图1到10所揭示的大部分功能性(例如应用652的功能以及音频电路520的大多数功能)的软件/固件和数据。UI760可包含传感器766(例如，本文中所描述的超声传感器)和触摸屏768以用于检测响应于所呈现的空间音频提示而作出的用户手势。传感器764可包含如上文所论述的重力传感器和罗盘，以用于确定设备752的定向。
处理器758可为微处理器(例如，ARM7)、数字信号处理器(DSP)、一或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑或其任何合适组合。
音频电路756可包含用于处理音频以使得其适合于输出到环绕扬声器系统754的音频硬件和/或软件。举例来说，音频电路756可包含多通道D/A转换器(DAC)、滤波器以及通道放大器。
环绕扬声器系统206提供物理地环绕听众的多个扬声器755。扬声器755是用于将来自放大器的电子信号输出分别转换为声音的任何合适的音频换能器。
图13是说明用于输出空间音频提示、检测用户选择的空间音频提示且输出空间音频反馈提示的第三示范性系统800的某些组件的框图，其中通过一或多个无线扬声器装置804、806输出空间音频。系统架构800可经配置以实施上文结合图1到10所描述的装置14、50、100、150、204、设备500、650和/或方法中的任一者的功能。
系统800包含设备802，例如便携式电子媒体装置，以及无线扬声器装置804、806。设备802包含音频电路808、处理器810、用户接口(UI)812、存储器814、一或多个传感器816以及无线接口818。UI812包含一或多个传感器820和触摸屏822。
存储器814可存储可由处理器810执行以用于实施本文结合图1到10所揭示的大部分功能性(例如应用652的功能以及音频电路520的大多数功能)的软件/固件和数据。UI812可包含传感器820(例如，本文中所描述的超声传感器)和触摸屏822以用于检测响应于所呈现的空间音频提示而作出的用户手势。传感器816可包含如上文所论述的重力传感器和罗盘，以用于确定设备802的定向。
处理器810可为微处理器(例如，ARM7)、数字信号处理器(DSP)、一或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑或其任何合适组合。
音频电路808可包含用于处理音频以使得其适合于由无线接口818进行无线发射的音频硬件和/或软件。无线接口818包含收发器且提供与无线扬声器装置804、806的无线通信。虽然任何合适的无线技术可与设备802一起使用，但无线接口818可包含商用的蓝牙模块，所述蓝牙模块提供至少蓝牙核心系统，所述蓝牙核心系统包含天线、蓝牙RF收发器、基带处理器、协议堆栈以及用于将所述模块连接到音频电路808、处理器810以及设备802的其它组件(在需要时)的硬件和软件接口。
可使用(例如)如由在www.bluetooth.com处可得的蓝牙规范界定的协议将音频信号作为PCM音频经由无线通道发射到扬声器装置804、806。蓝牙规范提供用于发射音频信号的特定方针。激贪厉俗，所述蓝牙规范提供高级音频分布简档(A2DP)，其界定用于经由蓝牙网络无线地分布高质量立体声或单声道音频的协议和程序。A2DP可与系统800一起使用。
无线扬声器装置804、806可为商用的蓝牙扬声器。每一扬声器装置804、806包含用于接收从装置的无线接口818和扬声器发射的音频信号的无线接口(未图示)。扬声器装置804、806还各自包含D/A转换器(DAC)、音频放大器(未图示)以及用于将PCM音频转换为模拟音频信号以用于在扬声器804、806上输出的其它音频处理电路。可使用任何合适数目的扬声器装置。
分别在图11到13中展示的设备702、752和802的功能和特征可组合到单个装置中，所述单个装置经配置以具有多个且任选地具有可选择的输出接口以用于将分别再现和格式化的音频输出信号提供给耳机704、环绕声音扬声器系统754和无线扬声器装置804、806。
图14是说明使用便携式装置854和固定装置852来用于检测响应于空间音频提示而作出的用户运动的第一示范性系统850的某些组件的框图。系统架构850可经配置以实施上文结合图5到10所描述的装置202、204、设备500、650和/或方法的功能。
固定装置852包含经配置以发射超声信号的扬声器阵列856a到f。便携式装置854包含麦克风858a到d以用于响应于所述超声信号而产生麦克风信号。系统850经配置以基于麦克风信号检测用户移动。系统850通过对便携式装置854上的扬声器阵列856a到f与麦克风858a到d之间的超声信号进行三角测量以使得可确定便携式装置854的定向，来确定用户选择的音频提示。如果两个锚定点(例如，阵列上的两个发射器)的距离是已知的，那么可分别通过发射信号且测量回声时间，或者与发射时间同步且基于远程装置的接收时间来计算延迟，而测量从所述两个锚定点到远程装置的距离。当可测量从发射器到接收器的绝对时间延迟时，使用标准三角测量。然而，在一些系统中，发射器和接收器是独立的，且因此仅可测量(相同装置上的)接收器之间的时间偏移。在此情况下，需要装置中的额外接收器导出发射器的位置。举例来说，为了在接收器已知发射时序时取得发射器的2D位置，需要两个接收器。当接收器不知晓发射时序时，需要三个接收器。
因此，使用此方法，用户可用便携式装置指向空间音频提示的所感知方向，且可检测指向的定向以使得可通过系统850识别选定的音频提示。除了超声信号之外的信号可与替代扬声器阵列856a到f和麦克风858a到d的适当换能器一起使用，例如，可使用红外、音频信号等。
图15是说明包含便携式装置900和固定装置904来用于检测响应于空间音频提示而作出的用户运动的第二示范性系统902的某些组件的框图。系统架构902可经配置以实施上文结合图5到10所描述的装置202、204、设备500、650和/或方法的功能。
与图14的系统850相比，便携式装置904包含经配置以发射超声信号的扬声器阵列906a到d，且固定装置902包含多个麦克风908a到f，从而产生响应于超声信号的麦克风信号。与图14的系统850一样，系统900经配置以基于麦克风信号检测用户移动。系统900通过对固定装置902上的扬声器阵列906a到d与麦克风908a到f之间的超声信号进行三角测量以使得可确定便携式装置904的定向，来确定用户选择的音频提示。
在系统850、900中，固定装置仅需要相对于便携式装置是固定的，同时呈现空间音频接口且分析响应于音频提示的用户移动。在其它时间，固定装置不需要是固定的。
本文中所描述的系统和设备可包含组件，使得一或多个多选菜单或数据选择阵列可听地呈现于3D音频空间中而不是视觉屏幕中。举例来说，音乐的不同流派、通过不同艺术家分类的音乐或手机中的联系人可在空间上位于佩戴运行3D音频算法的头戴式耳机的用户“周围”。
本文中所描述的介接技术至少提供以下优点：用户不必看向触摸屏以便输入命令；与手持式装置的新交互方式，其可为便利且有趣的；在一些情形中的增加的安全性；以及新游戏。
系统、设备、装置、用户接口及其相应组件的功能性以及本文中所描述的方法步骤和模块可以硬件、执行软件/固件的数字硬件或其任何合适组合来实施。软件/固件可为具有可由一个或一个以上数字电路(例如，微处理器、DSP、嵌入式控制器或知识产权(IP)核心)执行的指令集(例如，码段)的程序。如果以软件/固件来实施，则可将功能作为指令或代码存储在一或多个计算机可读媒体上。计算机可读媒体可包含计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。以实例而非限制的方式，所述计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以载运或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重现数据。上述各者的组合也应包括在计算机可读媒体的范围内。
已揭示了用户接口、系统、装置、设备、组件和方法的某些实例。前述内容是实例，且可能的集成不限于本文中所描述的内容。另外，对这些实例的各种修改是可能的，且本文中所呈现的原理还可应用于其它系统。举例来说，本文中所揭示的原理可应用于例如个人计算机、娱乐控制台、视频游戏等装置。此外，可在不脱离所附权利要求书的范围的情况下，以与具体揭示的布置不同的布置来实施各种组件及/或方法步骤/框。
因此，所属领域的技术人员鉴于这些教示将容易想到其它实施例和修改。因此，当结合上文的说明书和附图查看时，所附权利要求书意欲涵盖所有此些实施例和修改。

Claims (25)

1.一种提供用户接口的设备，其包括：
至少一个短距离触摸传感器，其在所述设备的边缘上，且经配置以检测所述设备的周边的哪部分正被用户抓握和触摸，经配置以检测对应于用户从多个音频提示中选择特定音频提示的所述设备的用户抓握，且经配置以输出所述用户抓握的检测，所述多个音频提示在围绕所述用户的空间中可听地感知；
处理器，其经配置以产生所述多个音频提示，所述音频提示中的每一者被产生以便由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音，所述处理器还经配置以基于指示所述设备的周边的哪部分正被所述用户抓握和触摸的所述至少一个短距离触摸传感器的所述输出确定用户在所述设备的某些位置处的触摸，所述处理器还经配置以将所述至少一个短距离触摸传感器的所述输出与所述多个音频提示中的一个或多个匹配。
2.根据权利要求1所述的设备，其中所述处理器进一步经配置以使所述用户移动的方向与所述音频提示中的一或多者匹配。
3.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于由所述用户接口检测到的所述用户移动而产生音频反馈提示，所述音频反馈提示可在围绕所述用户的所述空间中可听地感知，以便对应于所述用户移动的所述方向。
4.根据权利要求1所述的设备，其中所述设备进一步包括触摸屏，且所述处理器进一步经配置以检测跨所述设备的所述触摸屏的方向性扫刷。
5.根据权利要求1所述的设备，其进一步包括经配置以检测所述设备的定向的一或多个定向传感器。
6.根据权利要求5所述的设备，其中所述处理器进一步经配置以基于来自所述一或多个定向传感器的输出而确定用户方向性扫刷的绝对方向，而不管所述设备的所述定向如何。
7.根据权利要求1所述的设备，其中所述至少一个短距离触摸传感器是至少一个超声换能器。
8.根据权利要求7所述的设备，其中所述超声换能器沿着所述设备的周边而定位。
9.根据权利要求1所述的设备，其进一步包括：
多个麦克风，所述多个麦克风响应于超声信号而产生麦克风信号，其中所述处理器进一步经配置以基于所述麦克风信号来检测用户移动，且其中所述处理器还经配置以基于所述麦克风信号来确定所述设备的定向。
10.一种提供用户接口的设备，其包括：
用于检测所述设备的周边的哪部分正被用户抓握和触摸的装置；
用于检测对应于用户从多个音频提示中选择特定音频提示的所述设备的用户抓握的装置，所述多个音频提示在围绕所述用户的空间中可听地感知；
用于提供所述用户抓握的检测的输出的装置；
用于产生所述多个音频提示的装置，所述音频提示中的每一者被产生以便由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音；
用于基于指示所述设备的周边的哪部分正被所述用户抓握和触摸的所述用户抓握的检测的输出确定用户在所述设备的某些位置处的触摸的装置；以及
用于将至少一个短距离触摸传感器的所述输出与所述多个音频提示中的一个或多个匹配的装置。
11.根据权利要求10所述的设备，其进一步包括用于使所述用户移动的方向与所述音频提示中的一或多者匹配的装置。
12.根据权利要求10所述的设备，其进一步包括用于基于由所述检测装置检测到的所述用户移动而产生音频反馈提示的装置，所述音频反馈提示可在围绕所述用户的所述空间中可听地感知，以便对应于所述用户移动的所述方向。
13.根据权利要求10所述的设备，进一步包括用于检测跨所述设备中所包含的触摸屏的方向性扫刷的装置。
14.根据权利要求10所述的设备，其进一步包括用于检测所述设备的定向的装置。
15.根据权利要求14所述的设备，其进一步包括用于基于来自所述用于检测所述设备的定向的装置的输出来确定用户方向性扫刷的绝对方向而不管所述设备的所述定向如何的装置。
16.根据权利要求10所述的设备，其进一步包括用于用超声传感器检测所述用户移动的装置。
17.根据权利要求10所述的设备，其进一步包括：
用于响应于超声信号而产生麦克风信号的装置；
用于基于所述麦克风信号来检测所述用户移动的装置；以及
用于基于所述麦克风信号来确定所述设备的定向的装置。
18.一种在电子装置处提供用户接口的方法，其包括：
由在电子装置的边缘上的至少一个短距离触摸传感器检测所述电子装置的周边的哪部分正被用户抓握和触摸；
由所述至少一个短距离触摸传感器检测对应于用户从多个音频提示中选择特定音频提示的所述电子装置的用户抓握，所述多个音频提示在围绕所述用户的空间中可听地感知；
由所述至少一个短距离触摸传感器提供所述用户抓握的检测的输出；
产生所述多个音频提示，所述音频提示中的每一者被产生以便由所述用户感知为在与所述空间中的其它音频提示不同位置处的方向性声音；
基于指示所述电子装置的周边的哪部分正被所述用户抓握和触摸的所述至少一个短距离触摸传感器的所述输出确定用户在所述电子装置的某些位置处的触摸；以及
将所述至少一个短距离触摸传感器的所述输出与所述多个音频提示中的一个或多个匹配。
19.根据权利要求18所述的方法，其进一步包括使所述用户移动的方向与所述音频提示中的一或多者匹配。
20.根据权利要求18所述的方法，其进一步包括基于所述检测到的用户移动而产生音频反馈提示，所述音频反馈提示可在围绕所述用户的所述空间中可听地感知，以便对应于所述用户移动的所述方向。
21.根据权利要求18所述的方法，其中所述电子装置包括触摸屏，且所述方法进一步包括检测跨所述电子装置中所包含的触摸屏的方向性扫刷。
22.根据权利要求18所述的方法，其中所述电子装置包括一个或多个定向传感器，其经配置以检测所述电子装置的定向。
23.根据权利要求22所述的方法，其进一步包括基于来自所述一个或多个定向传感器的输出来确定用户方向性扫刷的绝对方向而不管所述电子装置的所述定向如何。
24.根据权利要求18所述的方法，其中所述至少一个短距离触摸传感器是至少一个超声换能器。
25.根据权利要求18所述的方法，其中所述电子装置包括多个麦克风，所述多个麦克风响应于超声信号而产生麦克风信号，且所述方法进一步包括：
基于所述麦克风信号来检测所述用户移动；以及
基于所述麦克风信号来确定所述电子装置的定向。
CN201280062057.3A 2011-12-19 2012-11-01 受手势控制的音频用户接口 Expired - Fee Related CN103999021B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161577489P 2011-12-19 2011-12-19
US61/577,489 2011-12-19
US13/664,281 2012-10-30
US13/664,281 US9563278B2 (en) 2011-12-19 2012-10-30 Gesture controlled audio user interface
PCT/US2012/063077 WO2013095783A2 (en) 2011-12-19 2012-11-01 Gesture controlled audio user interface

Publications (2)

Publication Number Publication Date
CN103999021A CN103999021A (zh) 2014-08-20
CN103999021B true CN103999021B (zh) 2017-12-08

Family

ID=48609617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280062057.3A Expired - Fee Related CN103999021B (zh) 2011-12-19 2012-11-01 受手势控制的音频用户接口

Country Status (7)

Country Link
US (1) US9563278B2 (zh)
EP (1) EP2795432A2 (zh)
JP (1) JP6195843B2 (zh)
KR (1) KR101708101B1 (zh)
CN (1) CN103999021B (zh)
IN (1) IN2014MN00973A (zh)
WO (1) WO2013095783A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9704502B2 (en) * 2004-07-30 2017-07-11 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
US9779750B2 (en) 2004-07-30 2017-10-03 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
WO2013101469A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Audio pipeline for audio distribution on system on a chip platforms
US10140088B2 (en) * 2012-02-07 2018-11-27 Nokia Technologies Oy Visual spatial audio
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US9866964B1 (en) * 2013-02-27 2018-01-09 Amazon Technologies, Inc. Synchronizing audio outputs
CN103402156B (zh) * 2013-07-25 2016-05-25 瑞声科技（南京）有限公司 声学系统
US10219094B2 (en) 2013-07-30 2019-02-26 Thomas Alan Donaldson Acoustic detection of audio sources to facilitate reproduction of spatial audio spaces
US10225680B2 (en) * 2013-07-30 2019-03-05 Thomas Alan Donaldson Motion detection of audio sources to facilitate reproduction of spatial audio spaces
EP2866182A1 (en) * 2013-10-25 2015-04-29 Nokia Technologies OY Providing contextual information
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US9437002B2 (en) 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
US9739883B2 (en) 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
US9618618B2 (en) 2014-03-10 2017-04-11 Elwha Llc Systems and methods for ultrasonic position and motion detection
US9886236B2 (en) 2014-05-28 2018-02-06 Google Llc Multi-dimensional audio interface system
US9026914B1 (en) 2014-05-28 2015-05-05 Google Inc. Multi-sound audio interface system
US9392368B2 (en) * 2014-08-25 2016-07-12 Comcast Cable Communications, Llc Dynamic positional audio
KR102329193B1 (ko) * 2014-09-16 2021-11-22 삼성전자주식회사 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
JP6642989B2 (ja) * 2015-07-06 2020-02-12 キヤノン株式会社 制御装置、制御方法及びプログラム
US9995823B2 (en) 2015-07-31 2018-06-12 Elwha Llc Systems and methods for utilizing compressed sensing in an entertainment system
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
US9483693B1 (en) * 2015-11-25 2016-11-01 Clover Network, Inc. Free-hand character recognition on a touch screen POS terminal
US10134422B2 (en) * 2015-12-01 2018-11-20 Qualcomm Incorporated Determining audio event based on location information
CN105607738B (zh) * 2015-12-22 2018-09-25 小米科技有限责任公司 确定单手模式的方法及装置
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US10685550B2 (en) 2016-05-19 2020-06-16 Harman International Industries, Incorporated Gesture-enabled audio device with visible feedback
KR20180020517A (ko) * 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기
US11076261B1 (en) * 2016-09-16 2021-07-27 Apple Inc. Location systems for electronic device communications
JP2018092012A (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20180084550A (ko) 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
GB2562036A (en) * 2017-04-24 2018-11-07 Nokia Technologies Oy Spatial audio processing
US10609503B2 (en) * 2018-04-08 2020-03-31 Dts, Inc. Ambisonic depth extraction
EP3798685B1 (en) 2018-06-05 2021-11-10 Google LLC Systems and methods of ultrasonic sensing in smart devices
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11036464B2 (en) * 2019-09-13 2021-06-15 Bose Corporation Spatialized augmented reality (AR) audio menu
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
EP3879702A1 (en) * 2020-03-09 2021-09-15 Nokia Technologies Oy Adjusting a volume level
US11563783B2 (en) * 2020-08-14 2023-01-24 Cisco Technology, Inc. Distance-based framing for an online conference session
US11392250B1 (en) 2020-12-31 2022-07-19 Apple Inc. Ultrasonic touch sensing parasitic wave rejection
CN117499850B (zh) * 2023-12-26 2024-05-28 荣耀终端有限公司 一种音频数据播放方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149157A (zh) * 1995-10-02 1997-05-07 齐伯瑙特有限公司 不需要用手的便携式计算机及系统
CN101449236A (zh) * 2006-05-23 2009-06-03 索尼爱立信移动通讯股份有限公司 菜单导航的声音反馈

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834848B2 (ja) 1995-09-20 2006-10-18 株式会社日立製作所 音情報提供装置、及び音情報選択方法
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
IL127569A0 (en) * 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
JP3285835B2 (ja) 1998-12-25 2002-05-27 三菱電機株式会社 メニュー選択装置
GB2374772B (en) 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
JP4624577B2 (ja) 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
FI20010958A0 (fi) 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
JP3898673B2 (ja) 2003-07-18 2007-03-28 株式会社タムラ製作所 音声通信システム、方法及びプログラム並びに音声再生装置
JP2006287878A (ja) 2005-04-05 2006-10-19 Matsushita Electric Ind Co Ltd 携帯電話端末
US7953236B2 (en) 2005-05-06 2011-05-31 Microsoft Corporation Audio user interface (UI) for previewing and selecting audio streams using 3D positional audio techniques
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8421642B1 (en) * 2006-08-24 2013-04-16 Navisense System and method for sensorized user interface
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090166098A1 (en) 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
TW200934212A (en) 2008-01-16 2009-08-01 Asustek Comp Inc Mobile digital device with intuitive browsing and operating method thereof
US9454256B2 (en) * 2008-03-14 2016-09-27 Apple Inc. Sensor configurations of an input device that are switchable based on mode
CN102027440A (zh) * 2008-03-18 2011-04-20 艾利普提克实验室股份有限公司 对象与运动检测
GB0810179D0 (en) * 2008-06-04 2008-07-09 Elliptic Laboratories As Object location
JP5219205B2 (ja) 2008-10-24 2013-06-26 清水建設株式会社 移動体位置検出システム
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
JP5245808B2 (ja) 2008-12-25 2013-07-24 ヤマハ株式会社 ポインティングシステム
US9389829B2 (en) * 2009-04-09 2016-07-12 Aliphcom Spatial user interface for audio system
US8923995B2 (en) 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
JP5488011B2 (ja) 2010-02-04 2014-05-14 ソニー株式会社 通信制御装置、通信制御方法及びプログラム
JP2011211312A (ja) 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
US8935438B1 (en) * 2011-06-28 2015-01-13 Amazon Technologies, Inc. Skin-dependent device components

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149157A (zh) * 1995-10-02 1997-05-07 齐伯瑙特有限公司 不需要用手的便携式计算机及系统
CN101449236A (zh) * 2006-05-23 2009-06-03 索尼爱立信移动通讯股份有限公司 菜单导航的声音反馈

Also Published As

Publication number Publication date
WO2013095783A3 (en) 2013-08-22
CN103999021A (zh) 2014-08-20
US20130154930A1 (en) 2013-06-20
JP6195843B2 (ja) 2017-09-13
US9563278B2 (en) 2017-02-07
EP2795432A2 (en) 2014-10-29
IN2014MN00973A (zh) 2015-04-24
KR20140107484A (ko) 2014-09-04
JP2015506035A (ja) 2015-02-26
KR101708101B1 (ko) 2017-02-27
WO2013095783A2 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103999021B (zh) 受手势控制的音频用户接口
US11032661B2 (en) Music collection navigation device and method
CN105637903B (zh) 用于产生声音的系统和方法
CN103959015B (zh) 导航音景
CN108353244A (zh) 差分头部追踪装置
CN108156561A (zh) 音频信号的处理方法、装置及终端
US8417703B2 (en) Data searching using spatial auditory cues
CN108156575A (zh) 音频信号的处理方法、装置及终端
CN107210950A (zh) 用于共享用户交互的设备
CN1408101A (zh) 输入数据
CN101203071A (zh) 立体声声音控制设备和立体声声音控制方法
CN107465972A (zh) 一种移动终端的音频播放控制方法及无线耳机
US20040141622A1 (en) Visualization of spatialized audio
JP2006506884A (ja) オーディオに基づいたデータ提示装置及び方法
CN103026736B (zh) 用户选择多个音轨之一的方法和设备
KR20220043088A (ko) 사운드 생성 방법 및 이를 수행하는 장치들
CN113039815B (zh) 声音生成方法及执行其的装置
CN104008753A (zh) 一种信息处理方法和电子设备
US10058282B2 (en) Manual operation assistance with earpiece with 3D sound cues
US20210274304A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN115767407A (zh) 声音生成方法及执行其的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208

Termination date: 20181101