CN106462382B - 多声音音频接口系统 - Google Patents

多声音音频接口系统 Download PDF

Info

Publication number
CN106462382B
CN106462382B CN201580028238.8A CN201580028238A CN106462382B CN 106462382 B CN106462382 B CN 106462382B CN 201580028238 A CN201580028238 A CN 201580028238A CN 106462382 B CN106462382 B CN 106462382B
Authority
CN
China
Prior art keywords
sound
information
equipment
perception characteristics
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580028238.8A
Other languages
English (en)
Other versions
CN106462382A (zh
Inventor
亚历杭德罗·乔斯·考夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106462382A publication Critical patent/CN106462382A/zh
Application granted granted Critical
Publication of CN106462382B publication Critical patent/CN106462382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication

Abstract

一种计算设备,所述计算设备包括:至少一个处理器;以及至少一个模块,所述至少一个模块可由所述至少一个处理器操作以针对音频接口将第一声音与第一信息相关联,并且针对所述音频接口将第二声音与第二信息相关联,其中,所述第二声音至少部分地基于所述第一信息与所述第二信息之间的关系而与第一多个感知特性共享至少一个感知特性。可以将所述至少一个模块操作为:通过使用音频接口并行地在所述音频接口中输出所述第一声音和第二声音;接收选择所述第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于所述用户输入的指示执行与所述第一信息或者第二信息中的所述至少一个对应的至少一个操作。

Description

多声音音频接口系统
背景技术
计算用户接口通常接收用户键入的输入并且输出供用户消费的信息。用户接口的示例包括图形用户接口、音频用户接口、和动力学用户接口。一些音频用户接口可以按照声音的形式(而不是例如,通过视觉或者动力学输出)向用户输出信息的指示。然而,随着通过计算设备在音频接口处输出的信息的实例的数量增加,用户区分这些指示所需的时间和/或努力也可能增加。
发明内容
在一些示例中,一种方法包括:通过计算设备并且针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示,执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
在一些示例中,一种计算机可读存储介质编码有指令,该指令在被执行时使计算设备的至少一个处理器:针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口,将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性和第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示,执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
在一些示例中,计算设备包括至少一个处理器;以及至少一个模块,该模块可由至少一个处理器操作以:针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
在附图和下面的描述中阐述了一个或者多个示例的细节。本公开的其它特征、目的、和优点将通过描述和附图、以及权利要求书变得显而易见。
附图说明
图1是图示了根据本公开的一个或者多个方面的示例系统的概念图,该示例系统包括计算设备和并行地在音频用户接口中输出具有一个或者多个共享感知特性的多个声音的可穿戴设备。
图2是图示了根据本公开的一个或者多个方面的两个示例计算设备的框图。
图3是图示了根据本公开的一个或者多个方面的示例系统的概念图,该示例系统并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的多个声音。
图4A和图4B图示了根据本公开的一个或者多个方面的用于音频接口的分层导航的概念图,该音频接口包括具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的并行输出的多个声音。
图5是图示了根据本公开的一个或者多个方面的计算设备的示例操作的流程图,该计算设备实施用于在音频用户接口中并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的多个声音的技术。
具体实施方式
通常,本公开涉及用于在音频用户接口中并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的多个声音的技术。在一些实施方式中,每个声音可以指示不同的信息,和/或两个或者更多个声音的感知特性之间的关系可以指示与每个声音相关联的不同对应信息之间的关系。为了进行说明,在一些实施方式中,可穿戴设备(诸如智能耳机)可以包括计算设备和由该计算设备控制的一个或者多个音频输出设备(例如,扬声器)。可穿戴设备的计算设备可以从一个或者多个远程计算设备(诸如通信地耦合至可穿戴设备的计算设备的智能电话)接收不同信息。这种信息的示例可以包括,例如,接收到电子邮件的通知、电话呼叫、文本消息、即时消息、社交媒体活动、地图信息、和/或日历事件。
例如,不是输出言语声音“来自汤姆的新电子邮件已经到达”,在上述示例中,实施本公开的技术的可穿戴设备可以将非言语声音与来自姓名为汤姆的发送方的新电子邮件相关联。非言语声音可以具有一个或者多个感知特性,诸如独特的音调和/或节拍。在示例中,音调可以指示发送方是汤姆,并且节拍可以指示信息是电子邮件。可以将不同的非言语声音与来自汤姆的未接来电相关联,其中,不同的非言语声音包括与上面针对从汤姆接收到的电子邮件描述的相同音调,从而指示发送方是Tom,其中,不同的节拍指示该信息是未接来电(而不是电子邮件)。为了提供指示信息的多个不同实例的音频用户接口,在本示例中,本公开的技术可以使得在可穿戴设备中并行地输出针对来自汤姆的电子邮件的非言语声音和针对来自汤姆的未接来电的非言语声音。因为这两种非言语声音共享共同的感知特性(例如,音调),所以可穿戴设备的用户可以辨别出(例如,基于相同的音调)从相同的发送方(例如,基于不同的节拍)提供的两种不同类型的信息。因此,本公开的技术可以在音频用户接口中以可以理解的形式向用户提供不同信息的多个指示。即,本公开的技术可以并行地输出多个不同信息的指示,而无需例如并行输出多个言语声音“来自汤姆的新电子邮件已经到达”和“来自汤姆的未接来电”,所述多个言语声音对用户可能无法辨认、或者按照可能需要更多时间进行输出的序列来输出。
按照这种方式,本公开的技术可以并行地提供多个不同信息的指示,从而使得用户可以快速并且直观地与音频接口进行交互。虽然上面的示例提供了在音频接口中并行地输出具有用于指示不同信息之间的关系的共享感知特性的多个不同声音的一个示例,但是,如下面进一步描述的,在音频用户接口中输出具有用于指示不同信息之间的关系的共享感知特性的多个不同声音的许多其它示例也是可能的。
图1是图示了根据本公开的一个或者多个方面的示例系统的概念图,该示例系统包括计算设备和在音频用户接口中并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的多个声音的可穿戴设备。如下面进一步描述的,并行地输出第一和第二声音可以包括与第二声音的至少一部分部分地重叠的第一声音的至少一部分。如在图1中示出的,系统3包括计算设备2、可穿戴设备20、和物理地耦合至可穿戴设备20并且通信地耦合至计算设备2的计算设备10。
将在图1的示例中的可穿戴设备20图示为智能耳机,该智能耳机可以是外耳式耳机。智能耳机20可以包括物理地耦合至耳罩24A至24B(“耳罩24”)的头带22。头带22可以是可置于用户头部上以支撑耳罩24的任何合适的半柔性弯曲材料。耳罩24(或者耳套)可以由任何合适的、刚性或者半刚性材料组成,并且形成为大体上半球或者圆锥形状。如在图1中示出的,每个耳罩24的一部分可以与用户的头部接触以包住每个相应的耳朵。仅出于说明之目的,将耳罩24图示为透明的以示出在耳罩内的用户的耳朵、和音频输入设备,例如,固定在耳罩内的扬声器26A至26B。诸如扬声器26的音频输入设备,可以是输出声音的任何输出设备。可以将扬声器26A至26B(“扬声器26”)可操作地耦合至计算设备10,从而使得计算设备10可以控制在扬声器26中的一个或者多个处的声音输出。扬声器26可以从计算设备10接收信息并且将该信息作为声音输出。
出于说明之目的,针对可穿戴设备20作为智能耳机对本公开的技术进行了描述。然而,还可以(但不限于)在以下设备中实施本公开的技术:车载音频系统、光学头戴式计算设备、入耳式耳机(诸如耳塞)、耳戴式计算设备、腕戴式计算设备(诸如智能手表)、固定和/或半固定音频系统(诸如会议室或者家庭房间音频系统)等。
可穿戴设备20还可以包括计算设备10、固定至计算设备10、或者与计算设备10集成。计算设备10可以包括如在图2中进一步图示的一个或者多个处理器和存储器。在一些示例中,可以将计算设备10设计为与可穿戴设备20集成、包括在可穿戴设备20中、或者附接至可穿戴设备20的微型形状因子计算设备。在一些示例中,微型形状因子计算设备可能适合在4英寸宽、4英寸深、4英寸长的尺寸内。在一些示例中,微型形状因子计算设备可以以不会实质上妨碍用户的尺寸为特征,所述用户正佩戴微型形状因子计算设备所固定的可穿戴设备。
在一些示例中,计算设备10可以包括通信单元12、输入/输出(I/O)模块14、音频接口模块16、和音频数据18。通信单元12可以利用一个或者多个计算设备来发送和/或接收数据。在一些示例中,通信单元12支持无线和/或有线通信。通信单元12可以通过使用任何各种各样的通信协议来发送和/或接收数据。在图2中提供了通信单元12的进一步细节。
计算设备10还可以包括I/O模块14。I/O模块14可以向扬声器26发送从计算设备10的其它部件(诸如音频接口模块16、通信单元12、音频数据18等、或者通信地耦合至计算设备10的任何其它部件)接收到的信息。部件可以是任何硬件、软件、固件、和/或信息。I/O模块14还可以从计算设备10、可穿戴设备20、或者通信地耦合至计算设备10的任何其它部件的部件(例如,输入设备)接收信息,并且将该信息发送到计算设备10的另一部件。通常,I/O模块14可以促进包括在计算设备10、可穿戴设备20、或者通信地耦合至计算设备10的任何其它部件中的部件之间的信息传输。
在一些示例中,计算设备10还可以包括音频接口模块16。音频接口模块16可以实施用于在音频用户接口中并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知特性的多个声音的技术。在一些示例中,音频接口模块16可以生成、维持、和控制呈现和/或接收来自用户的信息的音频接口。下面在本公开的示例中对音频接口模块16进行了进一步描述。计算设备10可以包括比在图1的示例中示出的更多或者更少的部件。例如,计算设备10可以包括,但不限于,一个或者多个输入设备、输出设备、传感器、电源(例如,电池)等。
模块14和16可以通过使用驻留在计算设备10中和/或在计算设备10上执行的软件、硬件、固件、或者硬件、软件、和固件的混合来执行本文描述的操作。计算设备10可以利用一个或者多个处理器来执行模块14和16。计算设备10可以将模块14和16中的任何一个作为在底层硬件上执行的虚拟机来执行、或者在底层硬件上执行的虚拟机内执行模块14和16中的任何一个。可以按照各种方式来实施模块14和16。例如,可以将模块14和16中的任何一个实施为可下载或者预安装应用或者“app.”。在另一示例中,可以将模块14和16中的任何一个实施为计算设备10的操作系统的部分。
计算设备10可以存储音频数据18。音频数据18可以包括不同声音的一个或者多个表示。声音的表示可以是存储在计算设备10上和/或流传输至计算设备10的文件或者其它合适的结构化数据,该文件或者其它合适的结构化数据在被处理时使扬声器26中的一个或者多个输出声音。如本文进一步描述的,音频接口模块16可以将声音与特定信息相关联,并且输出这种声音。
计算设备10可以利用其它计算设备(诸如计算设备2)来发送和/或接收信息。在图1的示例中,计算设备2可以是智能电话。然而,在其它示例中,计算设备2可以包括,但不限于,平板计算机、个人数字助理(PDA)、膝上型计算机、便携式游戏设备、便携式媒体播放器、电子书阅读器、手表、电视机平台、服务器设备、车载汽车音频系统、可穿戴计算设备(例如,光学头戴式计算设备、入耳式耳机、耳戴式计算设备、腕戴式计算设备)、固定和/或半固定音频系统(诸如会议室或家庭房间音频系统)。计算设备2还可以利用除了计算设备10之外的一个或者多个计算设备来发送和/或接收信息。这种一个或者多个计算设备的示例可以是被描述为计算设备2的示例的任何计算设备。
如在图1中示出的,计算设备2可以包括用户接口设备4、通信单元6、和一个或者多个应用模块8A至8N(“应用模块8”)。计算设备2的用户接口设备4可以用作计算设备2的输入设备和/或输出设备。在一些示例中,用户接口设备4可以包括集成式存在敏感输入设备和显示设备。例如,用户接口设备4可以通过使用存在敏感屏幕(诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容触摸屏、压敏屏、声脉冲识别触摸屏、或者另一存在敏感屏幕技术)来用作存在敏感输入设备。用户接口设备4可以通过使用液晶显示器(LCD)、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水、或者能够向计算设备2的用户输出可视信息的类似的单色或者彩色显示器中的任何一个或者多个来用作输出设备。
计算设备2的用户接口设备4可以包括可以检测来自计算设备2的用户的用户输入的存在敏感屏幕。用户接口设备4可以通过检测来自计算设备2的用户的一个或者多个轻击和/或非轻击姿势、连续姿势、或者其它任何多点触摸姿势(例如,用户用手指或者触控笔触摸或者指向用户接口设备4的一个或者多个位置)来接收用户输入的指示。用户接口设备4的存在敏感屏幕可以向用户呈现输出。例如,用户接口设备4的存在敏感屏幕可以呈现在计算设备2中执行的应用(例如,电子消息应用、互联网浏览器应用)的各种图形用户接口。计算设备2的用户可以在用户接口设备4中提供用户输入以与这些应用中的一个或者多个进行交互。
如在图1中示出的,在一些示例中,计算设备2包括一个或者多个应用模块8。应用模块8A至8N(“应用模块8”)可以包括用于在计算设备2上执行任何各种各样的操作的功能。例如,仅举数例,应用模块8可以包括电话呼叫管理器应用、电子邮件应用、文本消息应用、即时消息应用、天气应用、视频会议应用、社交网络应用、天气应用、股票市场应用、紧急警报应用、运动应用、新闻应用、办公效率应用、多媒体播放器。
与计算设备10一样,计算设备2可以包括通信单元6。通信单元6可以利用一个或者多个计算设备来发送和/或接收数据。在一些示例中,通信单元6支持无线和/或有线通信。通信单元6可以通过使用任何各种各样的通信协议来发送和/或接收数据。在图2中提供了通信单元6的进一步细节。
模块8可以通过使用驻留在计算设备2中和/或在计算设备2上执行的软件、硬件、固件、或者硬件、软件、和固件的混合来执行本文描述的操作。计算设备2可以利用多个处理器来执行模块8。计算设备2可以将模块8中的任何一个作为在底层硬件上执行的虚拟机来执行、或者在底层硬件上执行的虚拟机内执行模块8中的任何一个。可以按照各种方式来实施模块8。例如,可以将模块8中的任何一个实施为可下载或者预安装应用或者“app.””。在另一示例中,可以将模块8中的任何一个实施为计算设备10的操作系统的部分。
不是顺序地输出不同信息的言语指示(例如,“来自汤姆的新电子邮件已经到达”,然后是“来自汤姆的未接来电”),本公开的技术可以输出具有可以指示与声音相关联的信息之间的一种或者多种关系一个或者多个共享感知特性的多个非言语声音。按照这种方式,本公开的技术可以并行地提供多个不同信息的指示,从而使得用户可以快速并且直观地与音频接口进行交互。现在参照图1对技术进行进一步详细描述。
根据本公开的技术,音频接口模块16可以提供使用户能够与计算设备10进行交互的音频接口。通常,音频接口可以通过使用一个或者多个声音来维持、组织、和/或向用户提供信息。在一些示例中,音频接口还可以按照声音的形式接收用户输入,诸如语音输入;然而,也可以通过触觉、动力学、或者其它合适形式的用户输入来接收用户输入。可以通过使用包括在计算设备10、计算设备2、和/或其它计算设备中的一个或者多个中的一个或者多个数据结构、进程、和/或硬件来实施音频接口。在图1的示例中,音频接口模块16可以实施这种数据结构和进程以提供音频接口。可以使用任何合适的数据结构,包括,但不限于,阵列、表、图、对象(该对象包括数据和操作)等。音频接口模块16可以维持不同的声音和信息的状态,维持信息与声音之间的关联,并且执行操作(包括对这种声音、信息、和关联的操作)。
在一些示例中,计算设备10可以从一个或者多个其它计算设备(诸如计算设备2)接收数据。例如,通信单元12可以从通信单元6接收指示在计算设备2中接收到的电子邮件的数据。作为另一示例,通信单元12可以从通信单元6接收指示在计算设备2处错过电话呼叫的数据。在从通信单元12接收到数据时,音频接口模块16可以确定包括在数据中的信息。通常,该信息可以表示或者指示一个或者多个事实。信息的示例可以包括但不限于即时消息、文本消息、社交媒体通信、未接来电、语音邮件、日历事件、位置、新闻事件、天气事件、或者这种信息的示例的任何元数据或者内容。
音频接口模块16可以按照不同的粒度级别来确定和/或选择信息。例如,音频接口模块16可以将电子邮件的发送方是“汤姆”确定为信息。在另一示例中,音频接口模块16可以将“错过了汤姆的电话”确定为信息,即,该信息指示存在未接来电并且呼叫者是汤姆。因此,在一些示例中,信息可以表示多个信息的实例的集合。相反,在一些示例中,信息可以表示在信息的集合内的信息的实例。按照这种方式,音频接口模块16可以将具有一个或者多个共享感知特性的不同声音与不同但有关的信息的实例(例如,具有相同音调但不同节拍的来自汤姆的未接来电和来自汤姆的电子邮件的相应声音)相关联。
根据本公开的技术,音频接口模块16可以在音频接口中将第一声音与第一信息相关联,该第一声音以第一多个感知特性为特征。声音可以是言语的或者非言语的。是言语的声音可以包括以音频形式输出的语言的一个或者多个单词。是非言语的声音不包括语言的一个或者多个单词,但却以音频形式输出。非言语声音可以是拟人的,从而使得非言语声音不包括语言的单词但是听起来像是由人生成的(例如,嗡嗡声、滴答声、沙沙声、锉磨声、或者任何其它无单词音调)。感知特性可以是在输出时改变其音频形式的声音的任何质量。感知特性的示例可以包括但不限于:相应的第一声音或者第二声音的旋律、和声、节奏、音调、形式、节拍、力度、音高、音色、强度、和持续时间。声音可以具有一个或者多个感知特性。在一些示例中,感知特性可以被人感知。
在图1的示例中,第一信息可以是来自发送方汤姆的新电子邮件。计算设备2可能已经接收到电子邮件,并且已经向计算设备10发送指示来自发送方汤姆的新电子邮件的数据。音频接口模块16可以确定来自音频数据18的第一声音28,并且存储指示第一信息与第一声音28之间的关联的数据。如在图1中示出的,可视地表示第一声音28;然而,对第一声音28的可视化表示仅出于示例之目的,并且不一定指示第一声音28的实际感知特性。第一声音28可以一个或者多个感知特性(在图1的示例中是独特的音调和节拍)为特征。
音频接口模块16可以存储指示第一声音28的独特音调的感知特性与指示发送方是汤姆的信息之间的关联的数据。音频接口模块16可以存储指示第一声音28的独特节拍与指示电子邮件的信息之间的关联的数据。按照这种方式,音频接口模块16可以维持指定音调指示发送方是汤姆和节拍指示信息是电子邮件的数据。因此,音频接口模块16可以维持指示相应感知特性与不同的相应信息之间的关系的数据。
音频接口模块16还可以针对音频接口将第二声音与第二信息相关联。第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系而与第一多个感知特性共享至少一个感知特性。例如,计算设备2可以确定已经发生了未接电话呼叫并且向计算设备10发送指示来自呼叫者汤姆的未接来电的数据。在图1的示例中,第二信息可以指示来自呼叫方汤姆的未接来电。
音频接口模块16可以确定第一信息(指示来自汤姆的电子邮件)与第二信息(指示来自汤姆的未接来电)之间的一种或者多种关系。关系可以指示将信息的两个不同实例相关的方式。可以基于(但是不限于)姓名、身份、位置、信息的紧急性、信息的重要性、信息的时间、信息的长度、或者信息的类型来建立关系。
音频接口模块16可以确定在第一信息中的电子邮件的发送方与在第二信息中的未接来电的发送方相同。在一些示例中,为了确定第一信息与第二信息之间的至少一种关系,音频接口模块16可以将第一信息的一个或者多个部分与第二信息的一个或者多个部分相比较。例如,音频接口模块16可以将电子邮件的发送方身份与电话呼叫的呼叫方身份相比较。如果第一信息的部分与第二信息的部分之间的相似度满足阈值(例如,大于阈值),则音频接口模块16可以确定关系存在。音频接口模块16可以利用任何数量的附加信息实例的任何数量的部分来对第一信息的一个或者多个部分执行这种比较。
基于确定了关系存在,音频接口模块16可以确定其是否在先前已经存储了指示感知特性与建立该关系的信息之间的关联的数据。例如,音频接口模块16可以确定是否存在指示感知特性(例如,独特音调)与表示“汤姆”的信息之间的关系的数据。
如果不存在指示该关系的数据,则音频接口模块16可以确定感知特性并且存储指示该感知特性与信息之间的关联的数据。在图1的示例中,音频接口模块16在先前存储了指示感知特性(例如,独特音调)与指示“汤姆”的信息之间的关系的数据。通过使用先前存储的数据,音频接口模块16可以通过使用音频数据18来基于感知特性(例如,音调)与指示“汤姆”的信息之间的关系限定和/或选择第二声音30。第二声音30可以包括与“汤姆”相关联的感知特性(例如,音调)、和指示未接来电的另一感知特性(例如,节拍)。按照这种方式,音频接口模块16限定和/或选择第二声音30以至少部分地基于电子邮件的发送方(“汤姆”)与未接来电的呼叫方(“汤姆”)之间的关系来与第一声音28共享至少一个感知特性。如下面进一步描述的,因为第一声音28与第二声音30共享指示共同呼叫方/发送方(“汤姆”)的至少一个感知特性,所以,同时或者大体上同时听到第一声音28和第二声音30两者的用户可以辨别出接收到来自汤姆的电子邮件和呼叫两者。
音频接口模块16可以存储指示第二信息与第二声音30之间的关联的数据。如在图1中示出的,可视地表示第二声音30;然而,对第二声音30的可视化表示仅出于示例之目的,并且可能不一定指示第二声音30的实际感知特性。如上所述,音频接口模块16可以使用指示音调与指示呼叫方是“汤姆”的信息之间的关联的先前存储的数据。音频接口模块16可以存储指示第二声音30的独特节拍与指示电子邮件的信息之间的关联的数据。按照这种方式,音频接口模块16可以维持指定音调指示发送方是汤姆和节拍指示信息是未接来电的数据。
在图1的示例中,I/O模块14可以在音频接口中提供第一和第二声音以用于在扬声器26中的一个或者多个处的并行输出,从而使得第一与第二信息之间的关系至少部分地基于在第一和第二多个感知特性之间共享的至少一个感知特性而在音频接口中可感知。例如,音频接口模块16可以使I/O模块14向扬声器26发送第一声音28、第二声音30以便输出。第三声音32可以指示一个或者多个社交媒体更新。在一些示例中,音频接口模块16可以使I/O模块14基于事件发送一个或者多个声音以便输出。事件可以是,但不限于,定时器到期、异步机器驱动事件(例如,针对新传入的信息的通知)、或者用户驱动事件(例如,用户提供输入以请求来自音频用户接口的输出)。在一些示例中,用于在一个或者多个扬声器26处的并行输出的提供可以包括计算设备10向扬声器26中的一个或者多个发送声音的音频信号。在其它示例中,用于在扬声器26中的一个或者多个处的并行输出的提供可以包括计算设备2执行计算设备10的一个或者多个操作并且向计算设备10发送声音,该计算设备10又向扬声器26中的一个或者多个发送声音的音频信号。
在一些示例中,音频接口模块16可以指定用于控制扬声器26中的哪一个将输出哪一种特定声音的控制数据。例如,音频接口模块16可以实施用于提供立体声的技术,该立体声可以包括通过其可以输出不同声音的多个不同信道。音频接口模块16可以实施用于提供三维声音的技术,在该技术中,扬声器26在输出声音时可以在基于参照点限定的空间位置处模拟声音的定位。例如,音频接口模块16可以向I/O模块14发送信息,该信息使扬声器26在相对于参照点的特定空间位置处模拟声音的定位。在一些示例中,参照点可以是用户的头部,而在其它示例中,参考点可以是除用户的头部之外的位置。音频模块16、I/O模块14、和/或扬声器26中的一个或者多个可以维持限定该一个或者多个空间位置的信息,从而使得音频模块16、I/O模块14、和/或扬声器26可以指定将声音输出至哪个空间位置。
在接收到一个或者多个声音的指示(并且在一些示例中,控制数据)时,I/O模块14可以使扬声器26输出声音28、30和32。在图1的示例中,I/O模块14使得在用户面部的右手侧的空间位置34A处输出第一声音28。I/O模块14使得在用户面部的左手侧的空间位置34B处输出第二声音30和第三声音32。虽然在图1的示例中I/O模块14可对两个空间位置进行寻址,但是可以限定任何数量的空间位置以在相对于共同参照点的不同空间位置处模拟声音的定位。I/O模块14可以在三维空间中的任何位置处限定空间位置。仅出于说明之目的,用线来对空间位置34进行图示以说明模拟的局部化的声音的近似边界,并且这种线在操作中对用户不可见。此外,空间位置34的尺寸仅出于说明之目的,并且可以大于和/或小于在图1中示出的尺寸。
在一些示例中,I/O模块14可以使扬声器26并行地输出声音28、30、和32。并行地输出两个或者更多个声音可以包括输出两个或者更多个声音,从而使得一个声音的输出至少部分地与另一声音重叠。在一些示例中,连续地输出两个或者更多个声音可以包括相继地输出至少两个声音,从而使得这两个声音的输出不重叠。并行地输出两个或者更多个声音可以不包括连续地输出两个或者更多个声音。
通过并行地输出声音28、30、和32,可穿戴设备20的用户可以同时或者大体上同时确定多段不同的信息。在一些示例中,可穿戴设备20可以在特定的持续时间期间同时或者大体上同时确定多段不同的信息。在一些示例中,可以通过由计算设备存储或者访问的一个或者多个值来限定该特定持续时间。至少部分地基于在相应第一和第二声音的第一和第二多个感知特性之间共享的该至少一个感知特性(例如,音调),用户可在音频接口中感知在图1的示例中的、第一信息与第二信息之间的关系。即,继续使用上面的非限制性示例,可穿戴设备20的用户可以能够确定电子邮件和未接来电都接收自汤姆,因为声音28和30中的每一个的音调是相同的,但是,第一声音28的节拍指示电子邮件,并且第二声音30的节拍指示未接来电。按照这种方式,音调的共享感知特性指示第一信息与第二信息之间的关系,而不同的节拍允许用户在电子邮件与未接来电之间进行辨认以确定两种类型的信息都存在。
音频接口模块16可以接收选择分别与第一声音28和第二声音30相关联的第一或者第二信息中的至少一个的用户输入的指示。基于通过扬声器26听到声音28、30、和32,用户可以选择声音中的一个或者多个以接收关于由声音指示的信息的另外的细节。音频接口模块可以从I/O模块14接收一个或者多个用户输入的指示,该I/O模块14可以从计算设备10的输入设备、传感器等接收数据。用户输入可以包括,但不限于,触摸、动力学、音频、光学、和/或其它合适的形式的用户输入。在图1的示例中,音频接口模块16可以接收用户已经在朝向空间位置34A的向右方向上转动其头部的用户输入的指示。计算设备10可以基于用户输入的指示,来确定基于头部在与来自汤姆的电子邮件相关联的第一声音28的方向上转向右边,选择指示来自汤姆的电子邮件的信息。
根据本公开的技术,计算设备10可以至少部分地基于用户输入的指示来执行与用户的选择对应的至少一个操作。例如,音频接口模块16可以基于用户输入选择与声音相关联的信息。例如,音频接口16可以向I/O模块14发送数据,该I/O模块14使扬声器26输出包括来自汤姆的电子邮件的转录和/或诸如接收日期、发送日期、主题、接收方、发送方等关于电子邮件的元数据的言语声音。
通常,操作可以指计算设备10、计算设备2和/或其它计算设备中的一个或者多个可以采取的任何一个或者多个动作。操作可以执行动作,该动作包括但不限于加载数据、存储数据、传输和/或输出数据、转换数据。示例操作可以包括,但不限于:输出信息(例如,言语和/或非言语声音、图形输出、触觉/动力学输出等);利用另一设备发送和/或接收数据;通过分层音频接口进行导航;接收用户输入(例如,言语和/或非言语声音、视觉输入、触觉/动力学输入等);执行/启动/停止一个或者多个应用。
图2是图示了根据本公开的一个或者多个方面的两个示例计算设备的框图。图2图示了计算设备2和计算设备10(如也在图1中图示的)的仅两个特定示例,并且计算设备2和计算设备10的许多其它示例可以用于其它实例并且可以包括在示例计算设备2和计算设备10中包括的部件的子集或者可以包括在图2中未示出的另外的部件。
如在图2的示例中示出的,计算设备2包括一个或者多个处理器62、一个或者多个输入设备64、一个或者多个通信单元6、一个或者多个输出设备66、一个或者多个存储设备78、和用户接口设备4。计算设备2的存储设备78还包括操作系统76和应用模块8A至8N。通信信道60可以将部件4、6、8、62、64、66、68、70、76、和78中的每一个互连以便进行部件间的通信(物理地、通信地、和/或可操作地)。在一些示例中,通信信道60可以包括系统总线、网络连接、一个或者多个进程间通信数据结构、或者用于在硬件和/或软件之间通信数据的任何其它部件。
计算设备2的一个或者多个输入设备64可以接收输入。输入的示例是触觉、音频、动力学、和光学输入。在一个示例中,计算设备2的输入设备64包括鼠标、键盘、语音响应系统、摄像机、按钮、控制板、麦克风或者用于检测来自人或者机器的输入的任何其它类型的设备。在一些示例中,输入设备64可以是存在敏感输入设备,该存在敏感输入设备可以包括存在敏感屏幕、触摸敏感屏幕等。
计算设备2的一个或者多个输出设备66可以生成输出。输出的示例是触觉、音频、和视频输出。在一个示例中,计算设备2的输出设备66包括存在敏感屏幕、声卡、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)、或者用于向人或者机器生成输出的任何其它类型的设备。输出设备66可以包括显示设备(诸如阴极射线管(CRT)监视器、液晶显示器(LCD))、或者用于生成触觉、音频、和/或视觉输出的任何其它类型的设备。
计算设备2的一个或者多个通信单元6可以通过传输和/或接收数据来与外部设备进行通信。例如,计算设备2可以使用通信单元6来传输和/或接收在诸如蜂窝无线电网络等无线电网络上的无线电信号。在一些示例中,通信单元6可以传输和/或接收在诸如全球定位系统(GPS)网络等卫星网络上的卫星信号。通信单元6的示例包括网络接口卡(例如,诸如以太网卡)、光收发器、射频收发器、GPS接收器、或者可以发送和/或接收信息的任何其它类型的设备。通信单元6的其它示例可以包括在移动设备以及通用串行总线(USB)控制器等中发现的GPS、3G、4G、和无线电设备。
在一些示例中,计算设备2的用户接口设备4可以包括输入设备64和/或输出设备66的功能。在图2的示例中,用户接口设备4可以包括存在敏感输入设备74,诸如存在敏感屏幕或者触摸敏感屏幕。在一些示例中,存在敏感输入设备74可以检测在存在敏感输入设备处和/或附近的对象。作为一个示例范围,存在敏感输入设备74可以检测对象,诸如在存在敏感输入设备74的2英寸或者小于2英寸内的手指或者触控笔。存在敏感输入设备74可以确定检测到对象的存在敏感输入设备的位置(例如,(x,y)坐标)。在另一示例范围中,存在敏感输入设备74可以检测与存在敏感输入设备74相距6英寸或者更小距离的对象,并且其它范围也是可能的。存在敏感输入设备74可以通过使用电容、电感、和/或光学识别技术来确定通过用户的手指选择的存在敏感输入设备74的位置。
在一些示例中,用户接口设备4还可以通过使用如针对输出设备66描述的触觉、音频、或者视频刺激来向用户提供输出。例如,用户接口设备4可以包括呈现图形用户接口的显示设备72。诸如针对输出设备66描述的,显示设备72可以是提供视觉输出的任何类型的输出设备。虽然被图示为计算设备2的集成部件,但是在一些示例中,用户接口设备4可以是与计算设备2的其它部件共享数据路径的外部部件以便传输和/或接收输入和输出。例如,用户接口设备4可以是位于计算设备2的外部封装内并且物理地连接至计算设备2的外部封装的计算设备2的内置部件(例如,在移动电话上的屏幕)。在另一示例中,用户接口设备4可以是位于计算设备2的封装外并且与计算设备2的封装物理地分开的计算设备2的外部部件(例如,与平板计算机共享有线和/或无线数据路径的监视器、投影仪等)。在一些示例中,当用户接口设备4位于计算设备2的封装外并且与计算设备2的封装物理地分开时,用户接口设备4可以统称为两个部件:用于接收输入的存在敏感输入设备和用于提供输出的显示设备。
计算设备2内的一个或者多个存储设备78可以存储信息以便在计算设备2的操作期间进行处理。在一些示例中,存储设备78是临时存储器,这意味着存储设备78的主要目的不是长期存储。可以将在计算设备2上的存储设备78配置为作为易失性存储器来短期存储信息,并且因此,如果该存储设备被去激活,则不会保留已存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和本领域已知的其它形式的易失性存储器。
在一些示例中,存储设备78还包括一个或者多个计算机可读存储介质。可以将存储设备78配置为比易失性存储器存储更大量的信息。可以将存储设备78进一步配置为作为非易失性存储器空间来长期存储信息,并且在激活/关闭周期后保留信息。非易失性存储器的示例包括磁硬盘、光盘、软盘、闪速存储器、或者电可编程存储器(EPROM)或者电可擦除可编程(EEPROM)存储器的形式。存储设备78可以存储与操作系统76和应用模块8A至8N相关联的程序指令和/或数据。
如在图2中示出的,计算设备2可以包括一个或者多个传感器68。传感器68可以包括生成加速度计数据的加速度计。加速度计数据可以指示计算设备2的加速度和/或加速度的变化。传感器68可以包括生成陀螺仪数据的陀螺仪。陀螺仪数据可以指示计算设备2的物理定向和/或物理定向的变化。在一些示例中,该定向可以与一个或者多个参照点有关。传感器68可以包括生成磁力计数据的磁力计。磁力计数据可以指示正在触摸或者接近计算设备2的对象的磁化。磁力计数据可以指示地球的磁场,并且在一些示例中,提供指南针的方向功能。传感器68可以包括生成环境光数据的环境光传感器。环境光数据可以指示计算设备2所暴露的光的强度。传感器68可以包括生成接近数据的接近传感器。接近数据可以指示对象是否接近计算设备68。在一些示例中,接近数据可以指示对象有多靠近计算设备2。在一些示例中,传感器68可以包括生成日期和时间的时钟。日期和时间可以是当前日期和时间。
如在图2中示出的,计算设备2可以包括电源70。在一些示例中,电源70可以是电池。电源70可以向计算设备2的一个或者多个部件提供电力。电源70的示例可以包括,但不必限于,具有锌碳、铅酸、镍镉(NiCd)、镍金属氢化物(NiMH)、锂离子(Li离子)、和/或锂离子聚合物(Li离子聚合物)化学的电池。在一些示例中,电源70可以具有有限的容量(例如,1000至3000mAh)。
一个或者多个处理器62可以设备实施在计算设备2内的功能和/或执行在计算设备2内的指令。例如,在计算设备2上的处理器62可以接收和执行由提供操作系统76、和应用模块8A至8N的功能的存储设备78存储的指令。由处理器62执行的这些指令可以使计算设备2在程序执行期间在存储设备78内存储和/或修改信息。处理器62可以执行操作系统76和应用模块8A至8N的指令以执行一个或者多个操作。即,操作系统76和应用模块8A至8N可由处理器62操作以执行本文描述的各种功能。
如在图2的示例中示出的,计算设备10包括一个或者多个处理器40、一个或者多个输入设备42、一个或者多个通信单元12、一个或者多个输出设备46、一个或者多个存储设备54。计算设备2的存储设备54还可以包括操作系统I/O模块14、音频接口模块16、操作系统52、和音频数据18。通信信道50可以将部件12、40、42、44、46、48、54、14、16、52、和18中的每一个互连以便进行部件间的通信(物理地、通信地、和/或可操作地)。在一些示例中,通信信道50可以包括系统总线、网络连接、一个或者多个进程间通信数据结构、或者用于在硬件和/或软件之间通信数据的任何其它部件。
计算设备10的一个或者多个输入设备42可以接收输入。输入的示例是触觉、音频、动力学、和光学输入。在一个示例中,计算设备10的输入设备42包括鼠标、键盘、语音响应系统、摄像机、麦克风、按钮、控制板、或者用于检测来自人或者机器的输入的任何其它类型的设备。在一些示例中,输入设备64可以是存在敏感输入设备,该存在敏感输入设备可以包括存在敏感屏幕或触摸敏感屏幕等。
计算设备10的一个或者多个输出设备46可以生成输出。输出的示例是触觉、音频、和视频输出。在一个示例中,计算设备10的输出设备46包括存在敏感屏幕、声卡、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)、或者用于向人或者机器生成输出的任何其它类型的设备。输出设备46可以包括显示设备,诸如阴极射线管(CRT)监视器、液晶显示器(LCD)、或者用于生成触觉、音频、和/或视觉输出的任何其它类型的设备。
计算设备10的一个或者多个通信单元12可以通过传输和/或接收数据来与外部设备进行通信。例如,计算设备10可以使用通信单元12来传输和/或接收在诸如蜂窝无线电网络等无线电网络上的无线电信号。在一些示例中,通信单元12可以传输和/或接收在诸如GPS网络等卫星网络上的卫星信号。通信单元12的示例可以包括网络接口卡(例如,诸如以太网卡)、光收发器、射频收发器、GPS接收器、或者可以发送和/或接收信息的任何其它类型的设备。通信单元12的其它示例可以包括在移动设备以及通用串行总线(USB)控制器等中发现的GPS、3G、4G、和无线电设备。
在计算设备10内的一个或者多个存储设备54可以存储信息以便在计算设备10的操作期间进行处理。在一些示例中,存储设备54是临时存储器,这意味着存储设备54的主要目的不是长期存储。可以将在计算设备10上的存储设备54配置为作为易失性存储器短期存储信息,并且因此,如果该存储设备被去激活,则将不会保留已存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和本领域已知的其它形式的易失性存储器。
在一些示例中,存储设备54还包括一个或者多个计算机可读存储介质。可以将存储设备54配置为比易失性存储器存储更大量的信息。可以将存储设备54进一步配置为作为非易失性存储器空间来长期存储信息,并且在激活/关闭周期后保留信息。非易失性存储器的示例包括磁硬盘、光盘、软盘、闪速存储器、或者电可编程存储器(EPROM)或者电可擦除可编程(EEPROM)存储器的形式。存储设备54可以存储与I/O模块14、音频接口模块16、操作系统52、和音频数据18相关联的程序指令和/或数据。
如在图2中示出的,计算设备10可以包括一个或者多个传感器48。传感器48可以包括生成加速度计数据的加速度计。加速度计数据可以指示计算设备10的加速度和/或加速度的变化。传感器48可以包括生成陀螺仪数据的陀螺仪。陀螺仪数据可以指示计算设备10的物理定向和/或物理定向的变化。在一些示例中,该定向可以与一个或者多个参照点有关。传感器48可以包括生成磁力计数据的磁力计。磁力计数据可以指示正在触摸或者接近计算设备10的对象的磁化。磁力计数据可以指示地球的磁场,并且在一些示例中,提供指南针的方向功能。传感器48可以包括生成环境光数据的环境光传感器。环境光数据可以指示计算设备10所暴露的光的强度。传感器48可以包括生成接近数据的接近传感器。接近数据可以指示对象是否接近计算设备48。在一些示例中,接近数据可以指示对象有多靠近计算设备10。在一些示例中,传感器48可以包括生成日期和时间的时钟。日期和时间可以是当前日期和时间。
如在图2中示出的,计算设备10可以包括电源44。在一些示例中,电源44可以是电池。电源44可以向计算设备10的一个或者多个部件提供电力。电源44的示例可以包括,但不必限于,具有锌碳、铅酸、镍镉(NiCd)、镍金属氢化物(NiMH)、锂离子(Li离子)、和/或锂离子聚合物(Li离子聚合物)化学的电池。在一些示例中,电源44可以具有有限的容量(例如,1000至3000mAh)。
一个或者多个处理器44可以实施在计算设备10内的功能和/或执行在计算设备10内的指令。例如,计算设备10的处理器40可以接收和执行由提供I/O模块14、音频接口模块16、操作系统52、和音频数据18的功能的存储设备54存储的指令。由处理器40执行的这些指令可以使计算设备10在程序执行期间在存储设备54内存储和/或修改信息。处理器40可以执行I/O模块14、音频接口模块16、操作系统52、和音频数据18的指令以执行一个或者多个操作。即,I/O模块14、音频接口模块16、操作系统52、和音频数据18可由处理器40操作以执行本文描述的各种功能。
根据本公开的技术,在非限制性示例中,通信单元12可以从计算设备2接收指示日历事件的数据,该计算设备2可以使用通信单元6来发送数据。应用模块8A,例如,可以确定即将到来的日历事件并且生成日历事件通知,通信单元6将该日历事件通知发送至通信单元12作为数据。在从通信单元12接收到数据时,音频接口模块16可以确定包括在该数据中的信息。
在图2的示例中,音频接口模块16可以确定指示具有参与者汤姆的即将到来的日历事件的第四信息,该参与者汤姆也是图1中的未接来电的呼叫方和电子邮件的发送方。音频接口模块16还可以针对音频接口将第四声音与第四信息相关联。第四声音可以指示第四信息并且以第四多个感知特性为特征,该第四多个感知特性至少部分地基于第四信息与第一和第二信息之间的关系与图1中的第一和第二多个感知特性共享至少一个感知特性。
音频接口模块16可以确定第四信息(指示具有参与者汤姆的日历事件)与第一和第二信息(指示来自汤姆的未接来电和来自汤姆的电子邮件)中的一个或者多个之间的一种或者多种关系。基于确定了关系存在,音频接口模块16可以确定其是否在先前已经存储了指示感知特性与建立该关系的信息之间的关联的数据。
在图2中,音频接口模块16在先前存储了指示感知特性(例如,独特音调)与指示“汤姆”的信息之间的关系的数据。通过使用先前存储的数据,音频接口模块16可以通过使用音频数据18来基于感知特性(例如,音调)与指示“汤姆”的信息之间的关系限定和/或选择第四声音。第四声音可以包括与“汤姆”相关联的感知特性(例如,音调)、和指示信息的类型(例如,日历事件)的另一感知特性(例如,节拍)。按照这种方式,音频接口模块16限定和/或选择第四声音30以至少部分地基于日历事件的参与者(“汤姆”)与电子邮件的发送方(“汤姆”)和/或未接来电的呼叫方(“汤姆”)之间的关系来与第一或者第二声音共享至少一个感知特征。
音频接口模块16可以将指示第四信息与第四声音之间的关联的数据存储在关联数据存储设备19中。音频接口模块16可以存储指示第四声音的独特节拍与指示日历事件的信息之间的关联的数据。按照这种方式,音频接口模块16可以维持指定音调指示会议参与者是汤姆和节拍指示信息是日历事件的数据。
例如,音频接口模块16可以使I/O模块14将第一、第二、第三、和第四声音发送至扬声器26以便输出。如在图1的示例中,第三声音可以指示一个或者多个社交媒体更新。在一些示例中,音频接口模块16可以使I/O模块14基于事件发送一个或者多个声音以便输出。例如,输入设备42中的一个可能已经接收到请求输出在音频接口中的信息的用户输入的指示。
在图2的示例中,音频接口模块16向I/O模块14发送第一、第二、第三、和第四声音的指示。I/O模块14在接收到一个或者多个声音的指示时,可以使输出设备46(例如,扬声器)中的一个或者多个输出第一、第二、第三、和第四声音。在图2的示例中,如在图1中描述的,I/O模块14可以使输出设备46并行地输出第一、第二、第三、和第四声音。例如,输出设备46可以输出第一、第二、第三、和第四声音中的至少两个,从而使得这两个声音在特定持续时间期间至少部分地重叠。在一些示例中,可以通过由计算设备存储或者访问的一个或者多个值来限定该特定持续时间。至少部分地基于在该至少两个声音之间共享的该至少一个感知特性(例如,音调),在图2的示例中至少部分地重叠的该至少两个声音之间的关系在音频接口中对用户是可感知的。因此,音调的共享感知特性可以指示,例如,第一信息与第四信息(汤姆在电子邮件中是发送方,并且在日历事件中是参与者)之间的关系,而不同的节拍允许用户在电子邮件与日历事件之间进行辨认以确定两种类型的信息都存在。
音频接口模块16可以从输入设备42中的一个或者多个接收用户输入的指示,该用户输入的指示选择例如与第四声音相关联的第四信息。在图2中,音频接口模块16可以从I/O模块14接收一个或者多个用户输入的指示,该I/O模块14可以从输入设备42中的一个或者多个接收数据。音频接口模块16可以接收用户已经说到单词“日历”的用户输入的指示。音频接口模块16可以基于用户说出的并且作为输入接收的言语声音“日历”来选择指示日历事件的信息。
音频接口模块16可以基于用户输入来选择与第四声音相关联的信息。例如,音频接口模块16可以向I/O模块14发送数据,该I/O模块14使输出设备46中的一个或者多个输出包括关于日历事件的另外的细节(诸如会议地点、电视/视频会议信息等)的言语声音。如在图1中描述的,操作可以指计算设备10、计算设备2和/或其它计算设备中的一个或者多个可以采取的任何一个或者多个动作。
在一些示例中,音频接口模块16可以针对不同类型的信息来限定声音。信息类型可以是使计算设备能够基于特征对信息进行分类的信息的任何特征。例如,信息类型可以指示异步消息。信息类型还可以指示人物的身份,诸如姓名。为了进行说明,音频接口模块16可以将第一声音(诸如刺耳的爵士女声)与指示异步消息的信息类型相关联。音频接口模块16还可以将第二声音(诸如特定旋律)与指示人物的特定身份(例如,用户的姐妹)的信息类型相关联。音频接口模块16可以将第三声音(诸如男高音嗡嗡声)与指示电话呼叫的信息类型相关联。
音频接口模块16可以生成包括两个或者更多个声音中的至少一部分的声音以向用户传达具体信息。例如,音频接口模块16可以生成声音,该声音包括与特定旋律的第二声音(该特定旋律的第二声音与用户的姐妹相关联)组合的刺耳的爵士女声的第一声音。音频接口模块16可以使一个或者多个扬声器输出第三声音,该第三声音包括第一声音和第二声音。通过输出包括第一和第二声音的第三声音,并行地输出第一和第二声音。用户可以确定计算设备已经从用户的姐妹接收到异步消息,因为第一声音(刺耳的爵士女声)指示异步消息,并且第二声音(特定旋律)指示用户的姐妹。按照这种方式,音频接口模块16可以在指示的特定信息中并行地输出多个声音。
在一些示例中,在第一声音与第二声音之间的在第一相似度范围内的第一相似度指示第一信息与第二信息之间的关系的第二相似度。例如,音频接口模块16可以确定第一信息与第二信息之间的相似度。例如,第一信息与第二信息的事实之间的关系越强,相似度越大,并且第一信息与第二信息的事实之间的关系越弱,相似度越小。
基于第一和第二信息之间的相似度,音频接口模块16可以限定指示第一声音与第二声音之间的相似度的第一声音和/或第二声音的一个或者多个感知特性。例如,音频模块16确定第一和第二信息之间的低相似度,音频接口模块16可以限定指示第一声音与第二声音之间的低相似度的第一声音和/或第二声音的一个或者多个感知特性。例如,音频接口模块16可以针对具有高相似度的第一和第二信息来限定第一声音和/或第二声音的一个或者多个感知特性以在并行地输出第一和第二声音时生成更和谐且不那么刺耳的组合声音。相反,针对具有低相似度的第一和第二信息,音频接口模块16可以限定第一声音和/或第二声音的一个或者多个感知特性以在并行地输出第一和第二声音时生成更刺耳且不那么和谐的组合声音。作为另一示例,音频接口模块16可以基于第一与第二相应信息之间的关系来使第一和第二声音彼此按照相同的节拍播放或者错开节拍播放。如果第一和第二信息相关,则第一和第二声音按照相同的节拍播放。如果第一和第二信息不相关,则第一和第二声音按照不同的节拍(例如,错开节拍)播放。
作为另一示例,音频接口模块16可以基于第一与第二相应信息之间的关系来限定第一和第二声音的节拍。例如,音频接口模块16可以减少在第一和/或第二声音的重复部分之间的时间以指示与第一和第二声音对应的第一和第二信息更密切相关。相反,音频接口模块16可以增加在第一和/或第二声音的重复部分之间的时间以指示与第一和第二声音对应的第一和第二信息更密切相关。
在一些示例中,希望选择与特定声音相关联的特定信息的用户可以提供用户生成的听起来像特定声音的言语声音,作为用户输入。由用户生成的言语声音可以是不包括语言的单词但是听起来是由人生成的非言语声音(例如,嗡嗡声、滴答声、沙沙声、锉磨声、或者任何其它无单词音调)。音频接口模块16可以确定言语声音与关联于特定信息的特定声音之间的在相似度范围内的相似度。例如,音频接口模块16可以通过使用任何合适的语音识别技术来将言语声音与关联于特定信息的特定声音相比较以确定言语声音与特定声音之间的相似度。响应于确定相似度满足阈值(例如,大于阈值),计算设备10可以执行与特定信息对应的至少一个操作。
可以通过使用合适的计算设备配置来执行本公开的技术。例如,如在图1至图2中示出的,计算设备10可以从计算设备2接收信息并且执行如在图1至图2中描述的本公开的技术。在一些示例中,计算设备2可以是接近计算设备10(例如,在蓝牙、近场通信或者WiFi通信的最大范围内)的便携式计算设备,而在其它示例中,计算设备2可以是不接近计算设备10(例如,在蓝牙、近场通信或WiFi通信的最大范围之外)的远程计算设备,诸如服务器。在任何情况下,可以跨多个计算设备分布和/或划分本公开的技术。例如,可以在计算设备2而不是计算设备10中执行在本公开中描述的计算设备10的一个或者多个操作,并且类似地,可以在计算设备10而不是计算设备2中执行在本公开中描述的计算设备2的一个或者多个操作。在一些示例中,为了在音频设备处并行输出而进行的提供可以包括第一计算设备向可操作地耦合至音频设备的第二计算设备发送声音,从而使得音频设备并行地输出从第二计算设备接收到的第一和第二声音。
在一些示例中,如在图1中示出的,计算设备10可以与音频输出设备26物理地集成。即,计算设备10与音频输出设备26可以不物理地分开并且可以物理地并入共同的结构中,诸如智能耳机或者其它设备。在这种示例中,可以将计算设备10可操作地耦合至音频输出设备26,从而使得计算设备10可以向音频输出设备26发送声音的音频信号(例如,通过使用无线通信或者其它合适的通信技术)。
在一些示例中,如在图1中示出的,计算设备10可以不与音频输出设备26物理地集成。即,计算设备10和音频输出设备26可以物理地分开并且可以不物理地并入相同的结构中。在这种示例中,仍然可以将计算设备10可操作地耦合至音频输出设备26,从而使得计算设备10可以向音频输出设备26发送声音的音频信号(例如,通过使用无线通信或者其它合适的通信技术)。
图3是图示了根据本公开的一个或者多个方面的示例系统的概念图,该示例系统并行地输出具有可以指示与声音相关联的信息之间的一种或者多种关系的一个或者多个共享感知属性的多个声音。示例系统120可以包括扬声器102A至102B(“扬声器102”)、计算设备100、和计算设备106。虽然示出了两个扬声器102A至102B(“扬声器102”),但是可以使用任何数量的扬声器。可以在任何数量的环境中实施系统120,包括,但不限于,车载汽车音频系统、固定和/或半固定音频系统(诸如会议室或者家庭房间音频系统)等。系统120包括如下系统:并行地输出两个或者更多个声音的扬声器102未附接至用户。相反,如在图3的示例中进一步描述的,计算设备100可以使扬声器102投射两个或者更多个声音以在可通过计算设备100寻址的空间位置处模拟声音的定位。每个空间位置可以是相对于共同参照点的不同相应位置。
如在图3中示出的,系统120包括计算设备100。计算设备100可以包括与如在图1至图2中示出的计算设备10相同的部件。例如,计算设备100可以包括一个或者多个通信单元、I/O模块、音频接口模块、和音频数据,它们都与在图1至图2中描述的类似命名的部件相同。在一些示例中,计算设备100可以包括另外的部件或者比如在图1至图2中描述的计算设备10更少的部件。虽然示出为与扬声器120物理地分开,但是在一些示例中,扬声器120中的一个或者多个可以包括附接至扬声器和/或与扬声器集成的计算设备100。在一些示例中,每个相应的扬声器可以包括这种计算设备100,而在其它示例中,少于所有扬声器120可以包括计算设备100,尽管所有扬声器都可以是可控制的一个或者多个这种扬声器。
系统120还可以包括计算设备106。计算设备106可以包括与如在图1至图2中示出的计算设备2相同的部件。例如,计算设备2可以包括用户接口设备、一个或多个通信单元、和一个或者多个应用模块,它们都与在图1至图2中描述的类似命名的部件相同。在一些示例中,计算设备106可以包括另外的部件或者比如在图1至图2中描述的计算设备2更少的部件。虽然将计算设备106示出为在用户的身体处的智能电话(例如,在用户穿着的衣服的隔间中、或者在用户的手中),但是可以使用如在图1至图2中描述的任何合适的计算设备。
在图3的示例中,计算设备100和计算设备106可以在相应设备之间发送和接收数据。计算设备100和计算设备106可以通过使用有线通信、无线通信、或者有线和无线通信的组合来发送和接收这种数据。在一些示例中,计算设备100和计算设备106可以通过使用一个或者多个网络来发送和接收数据。如此,从一个计算设备发送至另一计算设备的数据可以遍历在网络中的多个中间计算设备,诸如路由器、交换机等。网络通信的示例可以包括但不限于以太网上的TCP/IP等。在一些示例中,计算设备100和计算设备106可以通过使用无中间计算设备在两个端点(即,计算设备100和计算设备106)之间发送和接收数据的直接通信来发送和接收数据。直接通信的示例可以包括但不限于近场通信等。
系统120可以包括一个或者多个音频输出设备,例如,扬声器102。可以通过一个或者多个链路112A至112B(“链路112”)来将扬声器102可操作地耦合至计算设备100。链路112可以是在计算设备100与扬声器102之间携带声音信息的任何有线连接、无线连接、或者有线和无线连接的组合。例如,链路112A至112B可以是携带表示用于在扬声器102处输出的声音的电信号的物理线路。扬声器102可以包括各自响应于电音频信号输入而产生声音的一个或者多个电声换能器。扬声器102可以将电信号转换为音频信号。例如,可以通过扬声器102来将表示声音的电信号转换为音频信号,当输出音频信号时,人可以感知该音频信号。在一些示例中,计算设备100可以包括将声音的数字表示转换成用于扬声器102的模拟电音频信号输入的一个或者多个输出设备,该扬声器102进而又将音频信号输入转换为音频信号。
计算设备100可以控制扬声器102在一个或者多个空间位置处模拟声音的定位。在一些示例中,计算设备100可以实施用于三维音频的技术,该技术在一个或者多个位置处模拟声音的定位。虽然针对在图3中的三维音频进行了描述,但是计算设备100可以实施用于在一个或者多个空间位置处模拟声音的定位的任何合适的技术。
在一些示例中,计算设备100可以对分别相对于公共参照点的一个或者多个空间位置进行寻址。例如,计算设备100可以维持指示映射至不同的相应空间位置的相应唯一标识符的数据。按照这种方式,为了在特定空间位置处模拟声音的定位,计算设备100可以确定或者选择空间位置的唯一标识符并且使声音得以输出,从而使得在与唯一标识符相关联的空间位置处模拟声音。在一些示例中,计算设备100可以使得并行地输出多个声音,从而使得输出声音中的两个或者更多个得以输出以在不同的空间位置处模拟声音的定位。在一些示例中,每个空间位置可以是三维坐标系的不同位置。如在图1至图3中图示的,空间位置可以是单个点,或者可替选地,可以是在三维坐标系中的三维区域。
在一些示例中,空间位置的参照点可以是附接至用户的计算设备,诸如包括在用户穿着的一件衣服中、握在用户的手中、和/或固定至用户的计算设备。在一些示例中,参照点可以是未附接至用户的计算设备。在一些示例中,参照点可以是不与计算设备对应的位置。例如,参照点可以与在也包括用户的环境中的对象对应,并且该对象可以不是计算设备。在图3的示例中,空间位置104A和104B的参照点可以是计算设备106。
在图3的示例中,通过使用图1的示例信息,计算设备100可以从一个或者多个其它计算设备(诸如计算设备106)接收数据。例如,计算设备100可以从计算设备106接收指示在计算设备106处接收到的电子邮件的数据。计算设备100还可以从计算设备106接收指示在计算设备106处错过电话呼叫的数据。在从计算设备106接收到数据时,计算设备100可以确定包括在数据中的信息。
计算设备100可以在音频接口中将第一声音与第一信息相关联,其中,第一声音以第一多个感知特性为特征。第一信息可以是来自发送方汤姆的新电子邮件。计算设备106可能已经接收到电子邮件,并且已经向计算设备100发送指示来自发送方汤姆的新电子邮件的数据。计算设备100可以确定第一声音,并且存储指示第一信息与第一声音之间的关联的数据。第一声音可以一个或者多个感知特性为特征,诸如独特的音调和节拍。音调可以指示电子邮件的发送方是汤姆,并且节拍可以指示该通信是电子邮件。
计算设备100还可以针对音频接口将第二声音与第二信息相关联。第二声音可以指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一声音的第一多个感知特性(该第一多个感知特性与第一信息相关联)共享至少一个感知特性。例如,计算设备106可以确定已经发生未接电话呼叫并且向计算设备100发送指示来自呼叫方汤姆的未接来电的数据。在图3的示例中,第二信息可以指示来自呼叫方汤姆的未接来电。
计算设备100可以存储指示第二信息与第二声音之间的关联的数据。计算设备100可以存储指示第二声音的独特节拍与指示电子邮件的信息之间的关联的数据。按照这种方式,计算设备100可以维持指定音调指示呼叫方是汤姆和节拍指示信息是未接来电的数据。
在图3的示例中,扬声器102中的一个或者多个可以并行地在音频接口中输出第一和第二声音,从而使得第一与第二信息之间的关系至少部分地基于在第一和第二多个感知特性之间共享的至少一个感知特性而在音频接口中可感知。例如,如在图3中图示的,计算设备100可以向扬声器102中的一个或者多个发送第一声音105、第二声音108、和第三声音110以便输出。第三声音110可以指示一个或者多个社交媒体更新。
通过使用三维音频技术,计算设备100可以确定空间位置104A和104B的唯一标识符。通过使用三维音频技术和唯一标识符,计算设备100可以向扬声器102A至102B发送电信号以在空间位置104A处模拟第一声音105的定位,并且在空间位置104B处模拟第二声音108和第三声音110的定位。扬声器102A至102B可以从扬声器102A输出音频信号114A并且从扬声器102B输出音频信号114B,以在空间位置104A处模拟第一声音105的定位并且在空间位置104B处模拟第二声音108和第三声音110的定位。在一些示例中,在特定空间位置处的模拟的声音的定位可以基于音频信号114A与114B的交集。因此,在图3的示例中,虽然扬声器102未附接至用户或者用户的衣服,但是扬声器102可以并行地在音频接口中输出第一和第二声音,从而使得第一与第二信息之间的关系至少部分地基于在第一和第二多个感知特性之间共享的至少一个感知特性而在音频接口中可感知。
通过并行地输出声音106和108,用户可以同时或者大体上同时确定多段不同的信息。至少部分地基于在相应的第一和第二声音(106和108)的第一和第二多个感知特性之间共享的至少一个感知特性(例如,音调),在图3的示例中的、第一信息与第二信息之间的关系在音频接口中对用户可感知。即,用户可以能够确定电子邮件和未接来电都接收自汤姆,因为声音106和108中的每一个的音调是相同的,但是,第一声音105的节拍指示电子邮件,并且第二声音108的节拍指示未接来电。社交媒体更新110可以具有不同的音调。按照这种方式,音调的共享感知特性指示第一信息与第二信息之间的关系,而不同的节拍允许用户在电子邮件与未接来电之间进行辨认以确定两种类型的信息都存在。
计算设备100可以接收选择分别与第一声音105和第二声音108相关联的第一或者第二信息中的至少一个的用户输入的指示。基于从扬声器102听到声音106、108、110,用户可以选择声音中的一个或者多个以接收关于由声音指示的信息的另外的细节。计算设备100可以从用户接收一个或者多个用户输入的指示。在图3的示例中,音频接口模块16可以从计算设备106接收用户已经选择出指示来自汤姆的电子邮件的信息的用户输入的指示。计算设备106,例如,可以输出指示要选择的不同第一、第二、和第三信息的图形用户界面以进行显示。计算设备106可以接收用户输入的指示(例如,与在输入设备的位置处的轻击对应),以选择与第一声音105相关联的第一信息。
根据本公开的技术,计算设备100和/或106可以至少部分地基于用户输入的指示来执行与用户的选择对应的至少一个操作。例如,计算设备100和/或106可以基于用户输入来选择与声音相关联的信息。例如,计算设备100和/或106可以使扬声器102输出包括来自汤姆的电子邮件的转录和/或诸如接收日期、发送日期、主题、接收方、发送方等关于电子邮件的元数据的言语声音。在替选示例中,计算设备100和/或106可以使计算设备106的输出设备输出来自汤姆的电子邮件的转录和/或诸如接收日期、发送日期、主题、接收方、发送方等关于电子邮件的元数据。通常,操作可以指计算设备100、计算设备106和/或其它计算设备中的一个或者多个可以采取的任何一个或者多个动作。
虽然在图3中将计算设备106示出为附接至用户,但是在一些实例中,可以不包括计算设备106。即,计算设备100可以在无计算设备106的情况下在空间位置处模拟声音的定位。例如,计算设备100可以包括相机或者可以确定用户的身体的各种特征和/或部分的其它输入设备。因此,基于识别到用户的头部,作为一个示例,计算设备100可以在各个空间位置处模拟声音的定位。按照这种方式,计算设备100和扬声器102可以提供并行地输出声音的音频接口,而用户不必需要附接至用户或者用户的衣服的计算设备。
图4A至图4B是图示了根据本公开的一个或者多个方面的用于音频接口的分层导航的概念图,该音频接口包括具有一个或者多个共享感知特性的并行输出的多个声音,所述一个或者多个共享感知特性可以指示与声音相关联的信息之间的一种或者多种关系。
在图4的示例中,用户可以具有附接至用户的身体或者用户的衣服的可穿戴设备153。可穿戴设备153可以是在图1至图3中描述的任何可穿戴设备。可穿戴设备153可以包括计算设备152。计算设备152可以是如在图1至图3中描述的任何合适的计算设备。例如,计算设备152可以与图1至图2中的计算设备相同。根据如在图1至图3和图5中描述的本公开的技术,可穿戴设备可以并行地输出声音154、156、和158。可穿戴设备153可以输出声音154和156,从而使得当用户向前看时,声音似乎来自用户的右手侧。可穿戴设备153可以输出声音158,从而使得当用户向前看时,声音似乎来自用户的左手侧。在一些示例中,可穿戴设备153可以接收包括用户的一个或者多个头部转动姿势的一个或者多个用户输入的指示。头部转动姿势可以是在特定方向上的、用户的头部的移动。该移动可以是旋转移动、线性移动、或者旋转和线性移动的一些组合。该移动可以发生在三维空间的一个或者多个方向上。
根据本公开的技术,如果用户希望进一步调查在她右手侧的多个声音154和156,则她可以执行右手边头部转动160。通过使用一个或者多个传感器(例如,确定运动的加速度计和/或陀螺仪),计算设备152可以确定右手边头部转动160。计算设备152可以确定右手边头部转动160与分别关联于声音154、156的相应不同信息对应。例如,计算设备152可以至少部分地基于头部转动姿势的方向来确定与该方向对应的声音156和第二声音154中的至少一个。
计算设备152至少部分地基于与该方向对应的声音156和声音154中的一个来执行至少一个操作。如在图4B中示出的,计算设备152(由于在头部的左手侧位置而未示出),可以更新音频接口以分别输出在空间位置150A和150B处的声音156和154。在一些示例中,可穿戴设备153可以与另外的声音(诸如另外的言语或者非言语声音)一同输出声音154和156。用户可能希望进一步确定与声音154相关联的信息。用户可以执行左手边头部转动164。响应于执行了左手边头部转动164,计算设备152可以使可穿戴设备153输出与信息(该信息与声音154相关联)对应的言语声音,该言语声音包括来自汤姆的电子邮件的转录和/或诸如接收日期、发送日期、主题、接收方、发送方等关于电子邮件的元数据。按照这种方式,本公开的技术可以首先并行地输出与相关信息相关联的多个声音,并且用户可以通过声音进行导航以获取关于与声音中的一个或者多个相关联的信息的更多细节。
在一些示例中,本公开的技术可以通过音频接口来提供分层导航。计算设备152可以包括如在本公开中描述的音频接口模块以通过音频接口提供分层导航。例如,计算设备152可以针对分层音频接口的根菜单输出各自分别映射至可通过计算设备152寻址的一个或者多个相应空间位置的第一组一个或者多个声音,其中,在根菜单处的第一组一个或者多个声音中的至少一个声音与分层音频接口的音频子菜单相关联。分层音频接口的根菜单可以包括在将分层音频接口提供至用户时首先输出的第一组一个或者多个声音。
在一些示例中,分层音频接口的根菜单可以包括与音频子菜单相关联的至少一个声音。音频子菜单可以包括与在分层音频接口的根菜单中的至少一个声音相关的第二组一个或者多个音频声音。例如,在根菜单处的声音可以指示信息的分类,诸如传入的文本通信(例如,电子邮件、文本消息、即时消息)。针对传输的文本通信的声音的音频子菜单可以包括信息的不同子类。例如,针对传入的文本通信的声音的音频子菜单可以包括具有子类为电子邮件、文本消息、即时消息的子菜单。
用户可以通过使用一个或者多个用户输入的指示来从根菜单导航至子菜单。例如,计算设备152可以首先使可穿戴设备输出包括在分层音频接口的根菜单中的第一组一个或者多个声音。例如,可以在三个不同的空间位置处输出三个分开的声音。计算设备152可以确定用户已经对这三个声音中的第一声音执行了头部转动姿势。可以将该第一声音与分层音频接口的子菜单相关联。基于头部转动姿势,计算设备152可以使可穿戴设备在可通过计算设备152寻址的一个或者多个空间位置处输出子菜单的第二组一个或者多个声音。例如,响应于头部转动姿势,计算设备152可以使可穿戴设备153停止输出根菜单的这三个声音并且开始输出子菜单的一个或者多个声音。即,计算设备152可以执行操作,该操作包括:针对分层音频接口的子菜单输出各自分别映射至可通过计算设备寻址的一个或者多个相应空间位置的第二多个声音。
子菜单的声音中的一个或者多个可以进一步与子菜单相关联。按照这种方式,用户可以提供用户输入的指示以通过各自包括声音的子菜单的层级进行导航。虽然参照头部姿势进行了描述,但是可以使用任何用户输入的指示,包括音频、视频、动力学等。此外,在一些示例中,一个或者多个用户输入的指示可以与向上移动子菜单的层级、通过在子菜单的层级中的先前遍历的路径向后移动、请求关于子菜单的内容的附加信息、或者执行用于通过分层接口进行遍历的任何其它合适的操作相关联。
图5是图示了根据本公开的一个或者多个方面的计算设备的示例操作的流程图,该计算设备实施用于在音频用户接口中并行地输出具有一个或者多个共享感知属性的多个声音的技术,所述一个或者多个共享感知属性可以指示与声音相关联的信息之间的一种或者多种关系。仅出于说明之目的,如在图1和图2中示出的,下面在计算设备10的场境内对示例操作进行描述。
在图5的特定示例中,计算设备10可以首先接收包括指示例如,电子邮件(第一信息)和未接来电(第二信息)的信息的数据,其中,电话呼叫的呼叫方与电子邮件的发送方是同一人。计算设备10可以在音频接口中将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征(200)。计算设备10可以存储指示第一声音与第一信息之间的关联的数据。
计算设备10还可以针对音频接口将第二声音与第二信息相关联(202)。第二声音(例如,与未接来电对应)可以指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系而与第一多个感知特性共享至少一个感知特性。设备音频接口模块16可以存储指示第二信息与第二声音之间的关联的数据。
在图5的示例中,计算设备10可以使一个或者多个音频输出设备(例如,扬声器)并行地在音频接口中输出第一和第二声音,从而使得至少部分地基于在第一和第二声音之间共享的至少一个感知特性而可在音频接口中感知第一与第二信息之间的关系(204)。通过并行地输出第一和第二声音,用户可以同时或者大体上同时确定多段不同的信息。至少部分地基于在相应的第一和第二声音的第一和第二多个感知特性之间共享的至少一个感知特性(例如,音调),第一信息与第二信息之间的关系在音频接口中对用户可感知。即,用户可以能够确定,例如,电子邮件和未接来电接收自同一人,因为第一和第二声音中的每一个的感知特性是相同的。
计算设备10可以接收选择分别与第一声音和第二声音相关联的第一或者第二信息中的至少一个的用户输入的指示(206)。基于听到第一和第二声音,用户可以选择声音中的一个或者多个以接收关于由该声音指示的信息的另外的细节。例如,计算设备10可以至少部分地基于用户输入的指示来执行与用户的选择对应的至少一个操作(208)。例如,计算设备10可以基于用户输入来选择与声音相关联的信息。
示例1:一种方法,该方法包括:针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示,执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
示例2:根据示例1所述的方法,其中,将第二声音与第二信息相关联进一步包括:确定第一信息与第二信息之间的至少一种关系;至少部分地基于该至少一种关系确定第二声音的一个或者多个感知特性;以及限定第二声音以包括第二声音的一个或者多个感知特性。
示例3:根据示例1至2中任一项所述的方法,其中,第一多个感知特性和第二多个感知特性各自包括相应第一声音或者第二声音的旋律、和声、节奏、音调、节拍、力度、音高、音色、强度、和持续时间中的一个或者多个。
示例4:根据示例1至3中任何一项所述的方法,其中,第一信息与第二信息之间的关系至少部分地基于以下中的至少一个:姓名、位置、信息的紧急性、信息的重要性、信息的时间、或者信息的类型。
示例5:根据示例1至4中任一项所述的方法,其进一步包括:生成包括第一声音的至少一部分和第二声音的至少一部分的第三声音,并且其中,通过使用音频输出设备并行地在音频接口中输出第一声音和第二声音进一步包括输出包括第一声音和第二声音的第三声音。
示例6:根据示例1至5中任一项所述的方法,其中,在第一声音和第二声音之间的在第一相似度范围内的第一相似度指示第一信息与第二信息之间的关系的第二相似度。
示例7:根据示例1至6中任一项所述的方法,其中,音频输出设备包括在以下中的至少一个中:智能耳机、车载汽车音频系统、光学头戴式计算设备、入耳式耳机、耳机式计算设备、腕戴式计算设备、固定音频系统、和半固定音频系统。
示例8:根据示例1至7中任一项所述的方法,其中,第一信息和第二信息各自包括以下中的至少一个:电子邮件、即时消息、文本消息、社交媒体通信、未接来电、语音邮件、日历事件、位置、新闻事件、或者天气事件。
示例9:根据示例1至8中任何一项所述的方法,其中,并行地输出第一声音和第二声音进一步包括在一段时间期间输出第二声音以与第一声音至少部分地重叠。
示例10:根据示例1至9中任一项所述的方法,其中,用户输入的指示指明用户生成的口声,并且其中,执行与第一信息或者第二信息中的至少一个对应的至少一个操作进一步包括:在相似度范围内确定口声与第一声音或者第二声音之间的相似度,第一声音或者第二声音与由用户输入指示的第一信息或者第二信息中的至少一个相关联;以及响应于确定相似度满足阈值,执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
示例11:根据示例1至10中任一项所述的方法,其进一步包括:通过可操作地耦合至音频输出设备的计算设备从远程计算设备接收第一信息或者第二信息中的至少一个。
示例12:根据示例1至11中任一项所述的方法,其中,用户输入的指示包括用户的头部转动姿势,其中,接收选择第一信息或者第二信息中的至少一个的用户输入的指示进一步包括至少部分地基于头部转动姿势的方向,确定第一声音和第二声音中与方向对应的至少一个,并且其中,执行至少一个操作进一步包括至少部分地基于第一声音和第二声音中与方向对应的至少一个来执行至少一个操作。
示例13:根据示例1至12中任一项所述的方法,其中,音频接口是分层音频接口,该方法进一步包括:针对分层音频接口的根菜单输出各自分别映射至能够通过计算设备寻址的一个或者多个相应空间位置的第一多个声音,其中,在根菜单处的第一多个声音中的至少一个声音与分层音频接口的音频子菜单相关联;并且其中,执行至少一个操作包括针对分层音频接口的子菜单输出各自分别映射至能够通过计算设备寻址的相应空间位置中的一个或多个相应空间位置的第二多个声音。
示例14:一种编码有指令的计算机可读存储介质,该指令在被执行时使得计算设备的至少一个处理器:针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示,执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
示例15:根据示例14所述的计算机可读存储介质,其进一步包括指令,当该指令在被执行时使至少一个处理器:确定第一信息与第二信息之间的至少一种关系;至少部分地基于至少一种关系,确定第二声音的一个或者多个感知特性;以及将第二声音限定为包括第二声音的一个或者多个感知特性。
示例16:一种计算设备,该计算设备包括:至少一个处理器;以及至少一个模块,该至少一个模块可由该至少一个处理器操作以:针对音频接口将第一声音与第一信息相关联,第一声音以第一多个感知特性为特征;针对音频接口将第二声音与第二信息相关联,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;在音频接口中提供第一声音和第二声音以用于在音频输出设备处并行输出,从而使得所述第一信息与所述第二信息之间的所述关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是能够感知的;接收选择第一信息或者第二信息中的至少一个的用户输入的指示;以及至少部分地基于该用户输入的指示执行与第一信息或者第二信息中的至少一个对应的至少一个操作。
示例17:根据示例16所述的计算设备,其中,至少一个模块能够由至少一个处理器进一步操作以:确定第一信息与第二信息之间的至少一种关系;至少部分地基于该至少一种关系,确定第二声音的一个或者多个感知特性;以及将第二声音限定为包括第二声音的一个或者多个感知特性。
示例18:根据示例16至17中任一项所述的计算设备,其中,第一多个感知特性和第二多个感知特性分别包括相应的第一声音或者第二声音的旋律、和声、节奏、音调、形式、节拍、力度、音高、音色、强度、和持续时间中的一个或者多个。
示例19:根据示例16至18中任何一项所述的计算设备,其中,至少一个模块可由至少一个处理器进一步操作以:生成包括第一声音的至少一部分和第二声音的至少一部分的第三声音,以及输出包括第一声音和第二声音的第三声音。
示例20:根据示例16至19中任一项所述的计算设备,其中,至少一个模块可由至少一个处理器进一步操作以在一段时间期间输出第二声音以与第一声音至少部分地重叠。
示例21:一种计算设备,包括:用于针对音频接口将第一声音与第一信息相关联的装置,第一声音以第一多个感知特性为特征;用于针对音频接口将第二声音与第二信息相关联的装置,其中,第二声音指示第二信息并且以第二多个感知特性为特征,该第二多个感知特性至少部分地基于第一信息与第二信息之间的关系与第一多个感知特性共享至少一个感知特性;用于通过使用音频输出设备来并行地在音频接口中输出第一声音和第二声音,从而使得第一信息与第二信息之间的关系至少部分地基于在第一多个感知特性与第二多个感知特性之间共享的至少一个感知特性而在音频接口中是可感知的装置;用于接收选择第一信息或者第二信息中的至少一个的用户输入的指示的装置;以及用于至少部分地基于用户输入的指示来执行与第一信息或者第二信息中的至少一个对应的至少一个操作的装置。
示例22:一种包括用于执行示例1至13中任一项所述的方法的装置的计算设备。
示例23:根据示例1至13中任一项所述的方法,其中,音频输出设备不与计算设备物理地集成,并且其中,音频输出设备可操作地耦合至计算设备。
示例24:根据示例1至14中任一项所述的方法,其中,计算设备是第一计算设备,其中,用于在音频设备处的并行输出的提供包括将第一声音和第二声音发送至可操作地耦合至音频设备的第二计算设备,从而使得音频输出设备并行地输出来自第二计算设备的第一声音和第二声音。
在一个或者多个示例中,可以在硬件、软件、固件、或者其任何组合中实施描述的功能。如果在软件中实施,则可以将功能作为一个或者多个指令或者代码存储在计算机可读介质上或者通过计算机可读介质来传输并且通过基于硬件的处理单元执行。计算机可读介质可以包括与诸如数据存储介质等有形介质对应的计算机可读存储介质、或者包括促进将计算机程序从一个地方传递至另一地方(例如,根据通信协议)的任何介质的通信介质。按照这种方式,计算机可读介质通常可以与(1)非暂时性的有形计算机可读或者(2)诸如信号或者载波等通信介质对应。数据存储介质可以是可通过一个或者多个计算机或者一个或者多个处理器进行访问以检索用于实施在本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
例如,但不限于,这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或者可以用于以指令或者数据结构的形式存储期望的程序代码和可通过计算机来进行访问的任何其它介质。同样,将任何连接适当地称为计算机可读介质。例如,如果通过使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)、或者诸如红外、无线电、和微波等无线技术来从网站、服务器、或者其它远程源发送指令,则同轴电缆、光纤电缆、双绞线、DSL、或者诸如红外、无线电、和微波等无线技术包括在介质的定义中。然而,应该明白,计算机可读存储介质和数据存储介质不包括连接、载波、信号、或者其它瞬态介质,而是涉及非瞬态的有形存储介质。使用的磁盘和光盘包括压缩式光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘利用激光光学地复制数据。上面的组合还应该被包括在计算机可读介质的范围内。
可以通过一个或者多个处理器来执行指令,诸如一个或者多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或者其它等效的集成或者离散逻辑电路。因此,使用的术语“处理器”可以指任何前述的结构或者适用于实施所描述的技术的任何其它结构。另外,在一些方面中,可以将本文描述的功能提供在专用的硬件模块和/或软件模块内。同样,可以在一个或者多个电路或者逻辑元件中充分地实施该技术。
可以在各种设备或者设备中实施本公开的技术,包括,无线手机、集成电路(IC)或者一组IC(例如,芯片集)。在本公开中,将各种部件、模块、或者单元描述为用于强化配置为执行所公开的技术的设备的功能方面,但并不一定需要通过不同的硬件单元实现。相反,如上所述,结合合适的软件和/或固件,可以将各种单元组合在硬件单元中或者可以通过交互操作的硬件单元的集合(包括上文描述的一个或者多个处理器)来提供。
要认识到,根据实施例,可以按照不同的顺序来执行本文描述的任何方法的某些动作或者事件,可以对其进行添加、合并、或者完全省略(例如,并非所有描述的动作或者事件对于方法的实践都是必要的)。此外,在某些实施例中,可以,例如,通过多线程处理、中断处理、或者多个处理器来同时而不是顺序地执行动作或者事件。
在一些示例中,计算机可读存储介质可以包括非暂时性介质。术语“非暂时性”可以指示存储介质不包括在载波或者传播信号中。在某些示例中,非暂时性存储介质可以存储可以随时间变化的数据(例如,在RAM或者高速缓冲存储器中)。
已经对各种示例进行了描述。这些和其它实施例在以下权利要求书的范围内。

Claims (16)

1.一种方法,包括:
通过计算设备并且针对音频接口将第一声音与第一信息相关联,所述第一声音是非言语的并且以第一多个感知特性为特征;
响应于通过所述计算设备确定所述第一信息与第二信息之间的至少一个关系,通过所述计算设备至少部分地基于所述至少一个关系,确定第二多个感知特性中的至少一个感知特性,其中所述第二多个感知特性中的所述至少一个感知特性被包括在所述第一多个感知特性中;
通过所述计算设备限定第二声音,所述第二声音以所述第二多个感知特性为特征,其中,所述第二声音是非言语的并且指示所述第二信息,其中所述至少一个关系至少包括与所述第一信息还与所述第二信息二者都相关联的人的身份,并且进一步其中,所述第一多个感知特性和所述第二多个感知特性具有指示所述第一信息与所述第二信息之间的至少一个区别的至少一个不同的感知特性;
提供所述第一声音和所述第二声音以用于在音频输出设备处并行输出,使得所述第一信息与所述第二信息之间的所述至少一个关系至少部分地基于在所述第一多个感知特性与所述第二多个感知特性之间共享的所述至少一个感知特性而在所述音频接口中是能够感知的;
接收在所述第一信息或者所述第二信息之间选择的至少一个的用户输入的指示;以及
至少部分地基于所述用户输入的指示,执行与所述第一信息或者所述第二信息对应的至少一个操作。
2.根据权利要求1所述的方法,其中,所述第一多个感知特性和所述第二多个感知特性各自包括相应的所述第一声音或者所述第二声音的旋律、和声、节奏、音调、形式、节拍、力度、音高、音色、强度、或者持续时间中的一个或者多个。
3.根据权利要求1所述的方法,其中,所述第一信息与所述第二信息之间的所述至少一个关系至少部分地进一步基于以下中的至少一个:位置、信息的紧急性、信息的重要性、信息的时间、信息的长度、或者信息的类型。
4.根据权利要求1所述的方法,进一步包括:
生成包括所述第一声音的至少一部分和所述第二声音的至少一部分的第三声音,其中,提供所述第一声音和所述第二声音以用于在所述音频输出设备处并行输出进一步包括提供包括所述第一声音和所述第二声音的所述第三声音以用于在所述音频输出设备处输出。
5.根据权利要求1所述的方法,其中,在所述第一声音与所述第二声音之间的在第一相似度范围内的第一相似度指示所述第一信息与所述第二信息之间的所述至少一个关系的第二相似度。
6.根据权利要求1所述的方法,其中,所述音频输出设备包括在以下中的至少一个中:智能耳机、车载汽车音频系统、光学头戴式计算设备、入耳式耳机、耳戴式计算设备、腕戴式计算设备、固定音频系统、或半固定音频系统。
7.根据权利要求1所述的方法,其中,所述第一信息和所述第二信息各自包括以下中的至少一个:电子邮件、即时消息、文本消息、社交媒体通信、未接来电、语音邮件、日历事件、位置、新闻事件、或者天气事件。
8.根据权利要求1所述的方法,其中,提供所述第一声音和所述第二声音以用于在所述音频输出设备处并行输出进一步包括在一段时间期间提供所述第二声音以与所述第一声音至少部分地重叠以用于在所述音频输出设备处输出。
9.根据权利要求1所述的方法,
其中,所述用户输入的指示进一步指示用户生成的口声,并且
其中,执行与所述第一信息或者所述第二信息对应的所述至少一个操作进一步包括:
在相似度范围内确定所述口声与所述第一声音或者所述第二声音之间的相似度,所述第一声音或者所述第二声音与由所述用户输入指示的所述第一信息或者所述第二信息相关联;以及
响应于确定所述相似度满足阈值,执行与所述第一信息或者所述第二信息对应的所述至少一个操作。
10.根据权利要求1所述的方法,进一步包括:
通过所述计算设备从远程计算设备接收所述第一信息或者所述第二信息中的至少一个。
11.根据权利要求1所述的方法,
其中,所述用户输入的指示包括用户的头部转动姿势,
其中,接收在所述第一信息或者所述第二信息之间选择的所述用户输入的指示进一步包括至少部分地基于所述头部转动姿势的方向,确定所述第一声音或所述第二声音中与所述方向对应的至少一个,并且
其中,执行所述至少一个操作进一步包括至少部分地基于所述第一声音或所述第二声音中与所述方向对应的所述至少一个来执行所述至少一个操作。
12.根据权利要求1所述的方法,其中,所述音频接口是分层音频接口,所述方法进一步包括:
针对所述分层音频接口的根菜单输出各自分别映射至能够通过所述计算设备寻址的一个或者多个相应空间位置的第一多个声音,其中,在所述根菜单处的所述第一多个声音中的至少一个声音与所述分层音频接口的音频子菜单相关联;以及
其中,执行所述至少一个操作包括针对所述分层音频接口的所述子菜单输出各自分别映射至能够通过所述计算设备寻址的所述相应空间位置中的一个或者多个空间位置的第二多个声音。
13.根据权利要求1所述的方法,
其中,所述计算设备是第一计算设备,
其中,提供所述第一声音和所述第二声音以用于在所述音频输出设备处并行输出包括:将所述第一声音和所述第二声音发送至可操作地耦合至所述音频输出设备的第二计算设备,使得所述音频输出设备并行地输出来自所述第二计算设备的所述第一声音和所述第二声音。
14.一种编码有指令的非暂时性计算机可读存储介质,所述指令在被执行时使得计算设备的至少一个处理器:
针对音频接口将第一声音与第一信息相关联,所述第一声音是非言语的并且以第一多个感知特性为特征;
响应于确定所述第一信息与第二信息之间的至少一个关系,至少部分地基于所述至少一个关系,确定第二多个感知特性中的至少一个感知特性,其中所述第二多个感知特性中的所述至少一个感知特性被包括在所述第一多个感知特性中;
限定第二声音,所述第二声音以所述第二多个感知特性为特征,其中,所述第二声音是非言语的并且指示所述第二信息,其中所述至少一个关系至少包括与所述第一信息还与所述第二信息二者都相关联的人的身份,并且进一步其中,所述第一多个感知特性和所述第二多个感知特性具有指示所述第一信息与所述第二信息之间的至少一个区别的至少一个不同的感知特性;
提供所述第一声音和所述第二声音以用于在音频输出设备处并行输出,使得所述第一信息与所述第二信息之间的所述至少一个关系至少部分地基于在所述第一多个感知特性和所述第二多个感知特性之间共享的所述至少一个感知特性而在所述音频接口中是能够感知的;
接收在所述第一信息或者所述第二信息之间选择的至少一个的用户输入的指示;以及
至少部分地基于所述用户输入的指示,执行与所述第一信息或者所述第二信息对应的至少一个操作。
15.一种计算设备,包括:
至少一个处理器;以及
至少一个模块,所述至少一个模块能够由所述至少一个处理器操作以:
针对音频接口将第一声音与第一信息相关联,所述第一声音是非言语的并且以第一多个感知特性为特征;
响应于确定所述第一信息与第二信息之间的至少一个关系,至少部分地基于所述至少一个关系,确定第二多个感知特性中的至少一个感知特性,其中所述第二多个感知特性中的所述至少一个感知特性被包括在所述第一多个感知特性中;
限定第二声音,所述第二声音以所述第二多个感知特性为特征,其中,所述第二声音是非言语的并且指示所述第二信息,其中所述至少一个关系至少包括与所述第一信息还与所述第二信息二者都相关联的人的身份,并且进一步其中,所述第一多个感知特性和所述第二多个感知特性具有指示所述第一信息与所述第二信息之间的至少一个区别的至少一个不同的感知特性;
提供所述第一声音和所述第二声音以用于在音频输出设备处并行输出,使得所述第一信息与所述第二信息之间的所述至少一个关系至少部分地基于在所述第一多个感知特性与所述第二多个感知特性之间共享的所述至少一个感知特性而在所述音频接口中是能够感知的;
接收在所述第一信息或者所述第二信息之间选择的至少一个的用户输入的指示;以及
至少部分地基于所述用户输入的指示执行与所述第一信息或者所述第二信息对应的至少一个操作。
16.根据权利要求15所述的计算设备,其中,所述第一多个感知特性和所述第二多个感知特性各自包括相应的所述第一声音或者所述第二声音的旋律、和声、节奏、音调、形式、节拍、力度、音高、音色、强度、和持续时间中的一个或者多个。
CN201580028238.8A 2014-05-28 2015-05-05 多声音音频接口系统 Active CN106462382B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/289,203 US9026914B1 (en) 2014-05-28 2014-05-28 Multi-sound audio interface system
US14/289,203 2014-05-28
PCT/US2015/029226 WO2015183487A1 (en) 2014-05-28 2015-05-05 Multi-sound audio interface system

Publications (2)

Publication Number Publication Date
CN106462382A CN106462382A (zh) 2017-02-22
CN106462382B true CN106462382B (zh) 2019-05-28

Family

ID=53001836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580028238.8A Active CN106462382B (zh) 2014-05-28 2015-05-05 多声音音频接口系统

Country Status (4)

Country Link
US (2) US9026914B1 (zh)
EP (1) EP3149571A1 (zh)
CN (1) CN106462382B (zh)
WO (1) WO2015183487A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886236B2 (en) 2014-05-28 2018-02-06 Google Llc Multi-dimensional audio interface system
US9026914B1 (en) 2014-05-28 2015-05-05 Google Inc. Multi-sound audio interface system
US10771881B2 (en) * 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
AU2018243565B2 (en) * 2017-03-30 2023-03-16 Magic Leap, Inc. Non-blocking dual driver earphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820056B1 (en) * 2000-11-21 2004-11-16 International Business Machines Corporation Recognizing non-verbal sound commands in an interactive computer controlled speech word recognition display system
US7143039B1 (en) * 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2374772B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
US7697922B2 (en) 2006-10-18 2010-04-13 At&T Intellectual Property I., L.P. Event notification systems and related methods
US8655004B2 (en) * 2007-10-16 2014-02-18 Apple Inc. Sports monitoring system for headphones, earbuds and/or headsets
US8630685B2 (en) 2008-07-16 2014-01-14 Qualcomm Incorporated Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
US8380333B2 (en) 2009-12-21 2013-02-19 Nokia Corporation Methods, apparatuses and computer program products for facilitating efficient browsing and selection of media content and lowering computational load for processing audio data
US8923995B2 (en) 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
US8478867B1 (en) 2011-08-11 2013-07-02 Google Inc. Dynamic audio notifications
US9563278B2 (en) 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US9167368B2 (en) 2011-12-23 2015-10-20 Blackberry Limited Event notification on a mobile device using binaural sounds
US9632683B2 (en) 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US20140359450A1 (en) * 2013-06-03 2014-12-04 Nokia Corporation Activating a selection and a confirmation method
US9026914B1 (en) 2014-05-28 2015-05-05 Google Inc. Multi-sound audio interface system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143039B1 (en) * 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US6820056B1 (en) * 2000-11-21 2004-11-16 International Business Machines Corporation Recognizing non-verbal sound commands in an interactive computer controlled speech word recognition display system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Study on Gestural Interaction with a 3D Audio Display;Georgios Marentakis and Stephen A. Brewster;《Moblie HCI》;20041231;正文第1-12页
Providing a Structured Method for Integrating Non-Speech Audio into Human-Computer Interfaces;Stephen Anthony Brewster;《http://www.dcs.gla.ac.uk/~stephen》;19940831;摘要、正文第7-10、60-61、106-130页

Also Published As

Publication number Publication date
US9913023B2 (en) 2018-03-06
CN106462382A (zh) 2017-02-22
US20150350767A1 (en) 2015-12-03
EP3149571A1 (en) 2017-04-05
US9026914B1 (en) 2015-05-05
WO2015183487A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
US11785134B2 (en) User interface that controls where sound will localize
CN106664238B (zh) 管理和呈现通知内容
CN106415481B (zh) 多维音频接口系统
CN109618212B (zh) 信息显示方法、装置、终端及存储介质
CN108141696A (zh) 用于空间音频调节的系统和方法
US9182901B2 (en) Mobile terminal and control method thereof
CN106249856A (zh) 显示装置及其控制方法
CN103918284B (zh) 语音控制装置、语音控制方法和程序
CN106462382B (zh) 多声音音频接口系统
CN108966067A (zh) 播放控制方法及相关产品
CN114205324A (zh) 消息显示方法、装置、终端、服务器及存储介质
CN109688461A (zh) 视频播放方法及装置
CN109491738A (zh) 一种终端设备的控制方法及终端设备
CN109308178A (zh) 一种语音画图方法及其终端设备
US20230345196A1 (en) Augmented reality interaction method and electronic device
CN108763475A (zh) 一种录制方法、录制装置及终端设备
KR20110080347A (ko) 휴대 단말기 및 그 동작 제어방법
CN112927718B (zh) 感知周围环境的方法、装置、终端和存储介质
CN110399193A (zh) 指导数据发送方法、装置、终端、服务器及存储介质
KR102294362B1 (ko) 확장현실 공간 내 실감교육 컨텐츠 제공 방법 및 그 시스템
WO2024046182A1 (zh) 一种音频播放方法、系统及相关装置
CN117763232A (zh) 资源推荐方法、装置、设备及计算机可读存储介质
CN110956595A (zh) 一种人脸美型处理的方法、装置、系统及存储介质
CN116048241A (zh) 一种提示方法、扩展现实设备及介质
KR20120023317A (ko) 휴대 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant