CN108073382A - 附近计算设备的虚拟助理识别 - Google Patents

附近计算设备的虚拟助理识别 Download PDF

Info

Publication number
CN108073382A
CN108073382A CN201710901158.XA CN201710901158A CN108073382A CN 108073382 A CN108073382 A CN 108073382A CN 201710901158 A CN201710901158 A CN 201710901158A CN 108073382 A CN108073382 A CN 108073382A
Authority
CN
China
Prior art keywords
computing device
current
module
assistant
computing devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710901158.XA
Other languages
English (en)
Other versions
CN108073382B (zh
Inventor
梁健威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108073382A publication Critical patent/CN108073382A/zh
Application granted granted Critical
Publication of CN108073382B publication Critical patent/CN108073382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种附近计算设备的虚拟助理识别。在一个示例中，一种方法包括方法，其包括：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。

Description

附近计算设备的虚拟助理识别
技术领域
本申请涉及附近计算设备的虚拟助理识别。
背景技术
某些计算设备可以提供用户界面，用户可以从其与虚拟计算助理(例如，也称为“智能助理”或者简单地“助理”)聊天、说话或者另外进行通信，以促使助理输出有用信息，对用户的需要进行响应，或者另外执行某些操作以帮助用户完成各种现实或虚拟任务。助理可以经由提供用户通过其与助理通信的用户界面的计算设备来输出信息，对用户的需要进行响应或者另外执行操作和/或经由助理已访问的其他不同计算设备来输出信息。
发明内容
一般而言，本公开的技术可以使得经由当前计算设备提供的虚拟计算助理(例如，也称为“智能助理”或者简单地为“助理”)能够自动地识别可以用来对用户输入进行响应(例如，以便满足用户话语或文本输入)的其他计算设备。例如，响应于语音接收被激活，当前计算设备可以促使其他计算设备发出相应音频信号。当前计算设备可以用扩音器来接收对应于用户话语的声学输入(例如，音频数据)和由其他计算设备发出的音频信号。基于声学输入，助理可以识别其他计算设备。
识别其他计算设备可以使得助理能够选择另一计算设备(即，除当前计算设备之外)以满足用户话语。例如，如果所识别的其他计算设备的特定计算设备比当前计算设备更适合于满足用户话语，则助理可以选择该特定计算设备来满足用户话语。否则助理可以使用当前计算设备来满足该话语。这样，助理可以通过从用于满足用户话语的可用设备之中选择最合适的设备来提供较高质量的话语满足。
在一个示例中，一种方法包括方法，其包括：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
在另一示例中，一种设备包括：一个或多个扩音器；以及一个或多个处理器，该一个或多个处理器被配置成：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
在另一示例中，一种存储指令的非暂态计算机可读存储介质，所述指令在被执行时促使计算设备的一个或多个处理器：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
在另一示例中，一种系统包括：用于接收由当前计算设备的扩音器生成的音频数据的部件；用于基于音频数据来识别一个或多个计算设备的部件，所述一个或多个计算设备每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及用于从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语的部件。
在以下附图和描述中阐述了一个或多个示例的细节。根据本描述和附图以及根据权利要求，本公开的其他特征、对象以及优点将变得显而易见。
附图说明
图1是图示出根据本公开的一个或多个方面的执行示例性虚拟助理的示例性系统的概念图。
图2是图示出根据本公开的一个或多个方面的被配置成执行示例性虚拟助理的示例性计算设备的框图。
图3是图示出根据本公开的一个或多个方面的被配置成被识别为用于供虚拟助理选择的示例性计算设备的框图。
图4是图示出根据本公开的一个或多个方面的被配置成执行示例性虚拟助理的示例性计算系统的框图。
图5是图示出根据本公开的一个或多个方面的由执行示例性虚拟助理的一个或多个处理器执行的示例性操作的流程图。
具体实施方式
图1是图示出根据本公开的一个或多个方面的执行示例性虚拟助理的示例性系统的概念图。图1的系统100包括经由网络130与计算设备110和计算设备180A–180N(共同地，“计算设备180”)通信的助理服务器系统160。虽然系统100被示为分布在助理服务器系统160、计算设备110以及计算设备180之间，但在其他示例中，归于系统100的特征和技术可以由计算设备110的本地组件在内部执行。同样地，助理服务器系统160可以包括特定组件，并且执行另外在以下描述中归于计算设备110和/或计算设备180的各种技术。
网络130表示用于在计算系统、服务器与计算设备之间发送数据的任何公共或私用通信网络，例如蜂窝、WiFi和/或其他类型的网络。助理服务器系统160可以经由网络130与计算设备110交换数据以提供当计算设备110被连接至网络130时可被计算设备110访问的虚拟助理服务。助理服务器系统160可以经由网络130与计算设备180交换数据以促使计算设备180中的一个或多个执行各种活动。计算设备110可以经由网络130与计算设备180交换数据以促使计算设备180中的一个或多个执行各种活动。
网络130可以包括一个或多个网络集线器、网络交换机、网络路由器或任何其他网络设备，其被操作互耦，从而提供服务器系统160、计算设备110与计算设备180之间的信息交换。计算设备110、助理服务器系统160以及计算设备180可以使用任何适当的通信技术跨网络130发送和接收数据。计算设备110、助理服务器系统160以及计算设备180均可以使用相应网络链路被操作耦合到网络130。将计算设备110、助理服务器系统160以及计算设备180耦合到网络130的链路可以是以太网或其他类型的网络连接，并且此类连接可以是用无线和/或有线连接。
助理服务器系统160可以表示任何适当的远程计算系统，诸如能够向和从网络(诸如网络130)发送和接收信息的一个或多个台式计算机、膝上型计算机、主机、服务器、云计算系统等。助理服务器系统160托管虚拟助理服务(或者至少提供对虚拟助理服务的访问)。在一些示例中，助理服务器系统160表示经由云来提供对虚拟助理服务的访问的云计算系统。
计算设备110表示单独移动或非移动计算设备。计算设备110的示例包括移动电话、平板计算机、膝上型计算机、台式计算机、服务器、主机、相机、机顶盒、电视、可穿戴式设备(例如，计算机化手表、计算机化眼镜、计算机化手套等)、家庭自动化设备或系统(例如，智能恒温器或家庭助理设备)、个人数字助理(PDA)、游戏系统、媒体播放器、电子书阅读器、移动电视平台、汽车导航或信息娱乐系统或被配置成执行或访问虚拟助理并经由网络(诸如网络)130来接收信息的任何其他类型的移动、非移动、可穿戴式以及可穿戴式计算设备。
助理服务器系统160可以经由网络130与计算设备110通信以便为计算设备110提供对由助理服务器系统160提供的虚拟助理服务的访问。在提供虚拟助理服务的过程中，助理服务器系统160可以经由网络130与搜索服务器系统(未示出)通信以获得用于为虚拟助理服务的用户提供信息以完成任务的搜索结果。
在图1的示例中，助理服务器系统160包括远程助理模块122B和设备选择模块124B。计算设备110包括用户接口设备(UID)112、用户界面(UI)模块120、本地助理模块122A以及设备选择模块124A。计算设备180中的每个包括UID 113和UI模块121。远程助理模块122B和本地助理模块122A可以共同地称为助理模块122。设备选择模块124A和设备选择模块124B可以共同地称为设备选择模块124。
模块120、121、122和124可以执行使用常驻于计算设备110、助理服务器系统160或计算设备180中的一个中和/或在该处执行的软件、硬件、固件或硬件、软件以及固件的混合所描述的操作。计算设备110。助理服务器系统160以及计算设备180可以用多个处理器或多个设备来执行模块120、121、122和124。计算设备110、助理服务器系统160以及计算设备180可以将模块120、121、122和124作为在底层硬件上执行的虚拟机来执行。模块120、121、122和124可以作为操作系统或计算平台的一个或多个服务执行。模块120、121、122和124可以作为计算平台的应用层处的一个或多个可执行程序执行。
计算设备110的UID 112可以充当用于计算设备110的输入和/或输出设备。可以使用各种技术来实现UID 112。例如，UID 112可以充当使用存在敏感输入显示屏的输入设备，该存在敏感显示屏诸如电阻触摸屏、表面声波触摸屏、电容触摸屏、投射式电容触摸屏、压力敏感屏幕、声学脉冲识别触摸屏或另一存在敏感显示技术。
UID 112可以使用扩音器技术、红外传感器技术或供在接收用户输入时使用的其他输入设备技术来充当输入设备。例如，UID 112可以使用内置扩音器技术来检测UI模块120和/或本地助理模块122A处理以便完成任务的语音输入。作为另一示例，UID 112可以包括可以从计算设备110的用户接收触觉输入的存在敏感显示器。UID 112可以通过检测来自计算设备10的用户的一个或多个姿势(例如，用户用手指或记录笔来触摸或指向UID 112的一个或多个位置)来接收触觉输入的指示。
UID 112可以充当输出(例如，显示)设备并向用户呈现输出。UID 112可以充当使用任何的一个或多个显示设备来充当输出设备，所述显示设备诸如液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二级管(OLED)显示器、电子墨或者能够向计算设备110的用户输出可见信息的类似单色或彩色显示器。UID 112可以使用扬声器技术、触觉反馈技术或供在向用户输出信息时使用的其他输出设备技术来充当输出设备。UID112可以呈现与由本地助理模块122A和/或远程助理模块122B提供的虚拟助理有关的用户界面(例如，用户界面114)。UID 112可以呈现与在计算设备110处执行和/或可从其访问的计算平台、操作系统、应用程序和/或服务(例如，电子邮件、聊天、在线服务、电话、游戏等)的其他特征有关的用户界面。
UI模块120可以管理与UID 112和计算设备110的其他组件的用户交互，包括与助理服务器系统160相交互，从而经由UID 112来提供助理服务。UI模块120可以促使UID 112随着计算设备110的用户在UID 112处查看输出和/或提供输入而输出用户界面。UI模块120和UID 112可以随着用户与用户界面相交互、在不同的时间且当用户和计算设备110处于不同位置时接收来自用户的输入(例如，语音输入、姿势输入等)的一个或多个指示。UI模块120和UID 112可以解释在UID 112处检测到的输入，并且可以将关于在UID 112处检测到的输入的信息中继到本地助理模块122A和/或在计算设备110处执行的一个或多个其他关联平台、操作系统、应用程序和/或服务，例如以促使计算设备110执行功能。
UI模块120可以从在计算设备110和/或一个或多个远程计算系统(诸如服务器系统160和计算设备180)处执行的一个或多个关联平台、操作系统、应用程序和/或服务接收信息和指令。另外，UI模块120可以充当在计算设备110处执行的一个或多个关联平台、操作系统、应用程序和/或服务与计算设备110的各种输出设备(例如，扬声器、LED指示器、音频或触觉输出设备等)之间的媒介，以用计算设备110产生输出(例如，图形、闪光、声音、触觉响应等)。
计算设备110的本地助理模块122A和助理服务器系统160的远程助理模块122B均可以执行在本文中描述的用于自动地执行助理的类似功能。远程助理模块122B和设备选择模块124B表示示例性虚拟助理的服务器侧或云实现，而本地助理模块122A和设备选择模块124A表示示例性虚拟助理的客户端侧或本地实现。
模块122可以均包括被配置为作为可以针对个体(诸如计算设备110的用户)执行任务或服务的智能个人助理执行的相应软件代理。模块122可以基于用户输入(例如，在UID112处检测到)、位置意识(例如，基于场境(context))和/或访问来自各种信息源(例如，本地地存储在计算设备110、助理服务器系统160处或经由搜索服务获得)的其他信息(例如，天气或交通条件、新闻、股票价格、体育得分、用户时间表、运输时间表、零售价等)的能力来执行这些任务或服务。基于说出的用户输入来执行任务或服务在本文中可以称为满足用户话语。模块122可以执行人工智能和/或机器学习技术以代表用户自动地识别并完成一个或多个任务。
如上文所讨论的，模块122可以基于说出的用户输入来执行任务或服务。模块122可以接收由UID 112的一个或多个扩音器生成的音频数据(即，从UI模块120)。模块122可以在语音接收是激活的时选择性地处理接收到的音频数据。可以用许多方式来激活语音接收。作为一个示例，模块122可以响应于在接收到的音频数据中识别到预定激活短语而激活语音接收(例如，“收听助理”)。作为另一示例，UI模块120可以响应于用户按下计算设备110上的语音接收按钮而促使模块122激活语音接收。
模块122可以经由计算设备110的一个或多个组件所呈现的输出来满足用户话语。例如，模块122可以促使UID 112的一个或多个组件(例如，显示器、扬声器等)产生输出(例如，显示视频、显示图形用户界面、发出声音等)。在一些示例中，可能期望的是模块122通过促使其他计算设备呈现输出来满足一些用户话语。例如，如果另一计算设备更适合于满足用户话语，则可能期望模块122经由该另一计算设备来呈现输出。然而，即使另一计算设备更适合于满足用户话语，如果提供话语的用户不能接收由该另一计算设备呈现的输出，也可能不期望使模块122经由该另一计算设备来呈现输出。
根据本公开的一个或多个技术，助理可以识别可以用来对用户输入进行响应(例如，以便满足用户话语或文本输入)的一个或多个其他计算设备。识别其他计算设备可以使得助理能够选择另一计算设备(即，除当前计算设备110之外)以满足用户言辞。例如，如果所识别的其他计算设备中的特定计算设备比当前计算设备110更适合于满足用户话语，则助理可以选择该特定计算设备来满足用户话语。这样，助理可以提供较高质量的话语满足。
在一些示例中，助理可以周期性地识别可以用来对用户输入进行响应的一个或多个其他计算设备(例如，每5分钟、10分钟、30分钟、1小时、1天等)。然而，在一些示例中，可能不期望周期性地识别其他计算设备。例如，计算设备可能已经移动，使得已识别设备不再接近于计算设备110(例如，识别可能已经过过时)。另外，计算设备110可以是电池供电设备，并且周期性识别可以不必要地消耗计算设备110的电池电力。
根据本公开的一个或多个技术，助理可以响应于语音接收在计算设备110处被激活而识别一个或多个其他计算设备。在一些示例中，助理可以响应于语音接收在计算设备110处被激活而执行其他计算设备的单个识别。在一些示例中，助理可以响应于语音接收在计算设备110处被激活而执行其他计算设备的初始识别，并且在语音接收在计算设备110处保持被激活的同时继续更新其他计算设备的识别。例如，如果计算设备180A是位于起居室中的TV且计算设备180B是位于厨房中的TV，并且语音接收在计算设备110在起居室中的同时被激活，则助理可以在最初识别到计算设备180A是最适合的TV。然后，如果计算设备110在用户说出话语的同时被携带至厨房中，则助理可以识别到计算设备180B是最适合的TV。
另外，通过响应于语音接收被激活而开始识别其他计算设备，助理可以更快速地选择要对用户输入进行响应的计算设备。例如，助理可以避免等到用户完成说出话语而开始识别可以被选择以满足该话语的其他计算设备。这样，助理可以识别可以用来与说出的输入的接收并行地对说出的输入进行响应的计算设备。
在操作中，用户可以在计算设备110处激活语音接收并说出话语。响应于语音接收被激活，计算设备110可以执行一个或多个操作以确定是否存在可以用来满足说出的话语的附近的任何其他计算设备。例如，设备选择模块124中的一者或两者可以促使计算设备180发出相应声音(在图1中示为声音181A-181N，共同地为“声音181”)。例如，设备选择模块124A可以经由网络130向设备选择模块124B发送消息，其指示语音接收在计算设备110处已被激活。响应于接收到消息，设备选择模块124B可以向计算设备180发送消息以发出相应声音181。例如，设备选择模块124B可以向计算设备180A发送请求以发出声音181A，向计算设备180B发送请求以发出声音181B，并且向计算设备180N发送请求以发出声音181N。在一些示例中，请求中的一个或多个可以由设备选择模块124A发送。
在一些示例中，请求可以指定声音的一个或多个音频特性。例如，发送到计算设备180的请求可以指定计算设备180将发出声音181的相应频率。换言之，可以为计算设备180中的每个可以被分配不同的发射频率。在一些示例中，频率可以在典型人类语音频率以上(例如，在300Hz以上)。这样，助理可以能够更好地区别声音181和说出的话语。在一些示例中，频率可以在人类听力的范围以上(例如，在20kHz以上)。这样，声音181的发出对于用户而言是透明的和/或不会令用户讨厌。
设备选择模块124中的一者或两者可以处理由UID 112的一个或多个扩音器生成的音频数据以识别可以用来满足用户话语的其他计算设备。如果接收到的音频数据包括由计算设备180的相应计算设备发出的相应声音，则设备选择模块124中的一者或两者可以确定相应计算设备适合于用以满足说出的话语的选择。例如，如果接收到的音频数据包括声音181A，则设备选择模块124A可以确定计算设备180A适合于用以满足说出的话语的选择。同样地，如果接收到的音频数据不包括声音181B，则设备选择模块124A可以确定计算设备180B不适合于用以满足说出的话语的选择。
助理可以同样地处理由UID 112的一个或多个扩音器生成的音频数据以识别用户话语。例如，本地助理模块122可以处理由UID 112的一个或多个扩音器生成的音频数据以与其他计算设备的识别并行地识别用户话语。
设备选择模块24中的一者或两者可以选择一个或多个计算设备以满足说出的话语。例如，设备选择模块124A可以与本地助理模块122A对接以选择计算设备110中的一个或多个以及来自计算设备180的已识别计算设备的最适合于满足说出的话语的计算设备。作为一个示例，如果计算设备110不包括显示器且用显示器将更好地满足话语(例如，如果用户话语是“我的议程是什么”)，则设备选择模块124A可以选择已识别的其它计算设备中的包括显示器以满足话语的计算设备。用显示器可以更好地满足话语“我的议程是什么”，因为议程的视觉表示可以比例如读出议程的合成语音相比，理解起来更简单。作为另一示例，如果计算设备110包括显示器且用较大显示器将更好地满足话语(例如，如果用户话语是“播放视频”)，则设备选择模块124A可以选择已识别的其他计算设备中的包括相对较大的显示器以满足话语的计算设备。用相对较大的显示器可以更好地满足话语“播放视频”，因为要使用户在较大显示器(例如，TV)上观看视频可能不那么费力和/或更加舒适。作为另一示例，如果话语是要播放音乐，则设备选择模块124A可以选择已识别的其他计算设备中的包括比计算设备110更高质量的扬声器的计算设备。这样，助理可以提供较高质量的话语满足。
助理可以促使(一个或多个)所选计算设备执行一个或多个活动以满足话语。例如，如果计算设备180A被选择为满足话语，则本地助理模块122A可以促使UID 113的一个或多个组件(例如，显示器、扬声器等)产生输出(例如，显示视频、显示图形用户界面、发出声音等)。例如，如果话语是“播放视频”，则本地助理模块122A可以促使UID 113的显示器以产生显示视频。
将认识到的是根据以上描述来获得计算设备110的改善的操作。例如，通过识别用以满足话语的其他计算设备，可以避免和或减少由计算设备110满足话语。这进而减少了带宽和数据传输的使用，减少了临时易失性存储器的使用，减少了电池消耗等。此外，在特定实施例中，优化设备性能和/或使蜂窝数据使用最小化可以是用于设备选择的特征，使得基于这些准则的另一设备的选择提供电池消耗的期望的直接减少和/或减少的数据使用(例如，选择另一设备来满足话语，因此当前设备避免消耗电池电力以满足话语和/或避免使用数据来满足话语)。
图2是图示出根据本公开的一个或多个方面的被配置成执行示例性虚拟助理的示例性计算设备的框图。下面描述图2的计算设备210作为图1的计算设备110的示例。图2图示出计算设备210的仅一个特定示例，并且在其他情况下可以使用计算设备210的许多其他示例，并且其可以包括示例性计算设备210中包含的组件的子集或者可以包括图2中未示出的附加组件。
如图2的示例中所示，计算设备210包括用户接口设备(USD)212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246以及一个或多个存储设备248。USD 212包括显示组件202、存在敏感输入组件204、扩音器组件206以及扬声器组件208。计算设备210的存储设备248包括UI模块220、助理模块222、设备选择模块224、搜索模块282、一个或多个应用模块226以及场境模块230。
通信信道250可以将组件212、240、242、244、246和248中的每个互连以实现组件间互连(在物理上、在通信上和/或在操作上)。在一些示例中，通信信道250可以包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
计算设备210的一个或多个通信单元242可以通过在一个或多个网络(例如，图1的系统100的网络130)上发送和/或接收网络信号而经由一个或多个有线和/或无线网络与外部设备(例如，图1的系统100的计算设备180和/或助理服务器系统160)通信。通信单元242的示例包括网络接口卡(例如，诸如以太网卡)、光学收发机、射频收发机、GPS接收机或可以发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝式数据无线电、无线网络无线电以及通用串行总线(USB)控制器。
计算设备210的一个或多个输入组件244可以接收输入。输入的示例是触觉、音频以及视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感输入设备(例如，触敏屏幕、PSD)、鼠标、键盘、语音响应系统、相机、扩音器或用于检测来自人类或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以包括一个或多个组件、一个或多个位置传感器(GPS组件、WiFi组件、蜂窝组件)、一个或多个温度传感器、一个或多个移动传感器(例如，加速度计、陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个环境光传感器以及一个或多个其他传感器(例如，红外接近传感器、湿度计传感器等)。仅举几个其他非限制性示例，其他传感器可以包括心率传感器、磁强计、葡萄糖传感器、嗅觉传感器、指南针传感器、步进计数器传感器。
计算设备210的一个或多个输出组件246可以生成输出。输出的示例是触觉、音频以及视频输出。在一个示例中，计算设备210的输出组件246中的一个或多个可以包括存在敏感显示器、声卡、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于向人类或机器生成输出的任何其他类型的设备。
计算设备210的UID 212可以类似于计算设备110的UID 112，并且包括显示组件202、存在敏感输入组件204、扩音器组件206以及扬声器组件208。显示组件202可以是在该处由USD 212在存在敏感输入组件204可以在显示组件202处和/或附近检测到对象的同时显示信息的屏幕。扬声器组件208可以是在扩音器组件206可以检测到在显示组件202和/或扬声器组件208处和/或附近提供的可听输入的同时可以由UID 212从其播放可听信息的扬声器。
虽然被示为计算设备210的内部组件，但UID 212还可以表示与计算设备210共享数据路径以用于发送和/或接收输入和输出的外部组件。例如，在一个示例中，UID 212表示位于计算设备210的外包装内并被物理连接到该外包装的计算设备210的内置组件(例如，移动电话上的屏幕)。在另一示例中，UID 212表示位于计算设备210的封装或外壳外面并在物理上与其分离的计算设备210的外部组件(例如，与计算设备210共享有线和/或无线数据路径的监视器、投影仪等)。
作为一个示例性范围，存在敏感输入组件204可以检测在显示组件202的两英寸内或以下的对象，诸如手指或触针。存在敏感输入组件204可以确定在该处检测到对象的显示组件202的位置(例如，[x,y]坐标)。在另一示例性范围中，存在敏感输入组件204可以检测到与显示组件202相距六英寸或以下的对象，并且其他范围也是可能的。存在敏感输入组件204可使用电容、电感和/或光学识别技术来确定由用户的手指选择的显示组件202的位置。在一些示例中，如相对于显示组件202所描述的，存在敏感输入组件204还使用触觉、音频或视频刺激向用户提供输出。在图2的示例中，PSD 212可以呈现用户界面，作为图形用户界面。
扬声器组件208可以包括内置到计算设备210的外壳中的扬声器，并且在一些示例中可以是内置到被操作耦合到计算设备210的一组有线或无线头戴耳机的扬声器。扩音器组件206可以检测到在UID 212处或附近发生的声学输入。扩音器组件206可以执行各种噪声消除技术以去除背景噪声并将用户语音与检测到的音频信号隔离。
计算设备210的UID 212K可以将二维和/或三维姿势检测为来自计算设备210的用户的输入。例如，UID 212的传感器可以检测到在UID 212的传感器的阈值距离内的用户移动(例如，移动手、手臂、钢笔、触针等)。UID 212可以确定移动的二维或三维矢量表示，并且将该矢量表示与具有多个维度的姿势输入(例如，手波、捏、鼓掌、笔划等)相关。换言之，UID212可以检测到多维姿势而不要求用户在UID 212在该处输出信息以用于显示的屏幕或表面处或附近做姿势。而是，UID 212可以检测到在传感器处或附近执行的多维姿势，该传感器可以位于或可以不位于UID 212在该处输出信息以用于显示的屏幕或表面附近。
一个或多个处理器240可以实现与计算设备210相关联的功能和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置成充当处理器、处理单元或处理设备的任何其他硬件。模块220、222、224、226、230和282可以由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索并执行由存储设备248存储的指令，其促使处理器240执行操作模块220、222、224、226、230和282。指令在由处理器240执行时可以促使计算设备210将信息存储在存储设备248内。
计算设备210内的一个或多个存储设备248可以存储信息以便在计算设备210的操作期间处理(例如，计算设备210可以存储在计算设备210处的在执行期间由模块220、222、224、226、230和282访问的数据)。在一些示例中，存储设备248是临时存储器，意味着存储设备248的主要目的不是长期存储。计算设备210上的存储设备248可作为易失性存储器被配置成用于信息的短期存储，并且因此如果被断电，则不保持存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及在本领域中已知的其他形式的易失性存储器。
在一些示例中，存储设备248还包括一个或多个计算机可读存储介质。在一些示例中，存储设备248包括一个或多个非暂态计算机可读存储介质。存储设备248可以被配置成存储大于由易失性存储器通常存储的信息量。存储设备248可以进一步被作为非易失性存储器空间而配置成用于长期信息存储，并在通电/断电循环之后保持信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪速存储器或各形式的电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器。存储设备248可以存储与模块220、222、224、226、230和282相关联的程序指令和/或信息(例如，数据)。存储设备248可以包括被配置成存储与模块220、222、224、226、230和282相关联的数据或其他信息的存储器。
UI模块220可以包括图1的计算设备110的UI模块120的所有功能，并且可以执行与UI模块120类似的操作以便管理计算设备210在USD 212处提供的用户界面，例如以便促进计算设备110的用户与助理模块222之间的交互。例如，计算设备210的UI模块220可以从助理模块222接收信息，其包括用于输出(例如，显示或播放视频)助理用户界面(例如，用户界面114)的指令。UI模块220可以通过通信信道250从助理模块222接收信息并使用该数据来生成用户界面。UI模块220可以通过通信信道250来发送显示或可听输出命令和关联数据以在UID 212处呈现用户界面。
在一些示例中，UI模块220可以接收在UID 212处检测到的一个或多个用户输入的指示，并且可以向助理模块222输出关于用户输入的信息。例如，UID 212可以检测到来自用户的语音输入并向UI模块220发送关于语音输入的数据。
UI模块220可以向助理模块222发送语音输入的指示以用于进一步解释。助理模块222可以基于语音输入而确定检测到的语音输入表示用于助理模块222执行一个或多个任务的用户请求。
应用模块226表示在计算设备210处执行且可从其访问的所有的各种单独应用程序和服务，其可以由诸如助理模块222的助理访问以便为用户提供信息和/或提供任务。计算设备210的用户可以与跟一个或多个应用模块226相关联的用户界面相交互以促使计算设备21执行功能。可以存在应用模块226的许多示例且其包括健身应用程序、日历应用程序、搜索应用程序、地图或导航应用程序、运输服务应用程序(例如，公共汽车或火车跟踪应用程序)、社交媒体应用程序、游戏应用程序、电子邮件应用程序、聊天或通讯应用程序、因特网浏览器应用程序或者可以在计算设备210处执行的任何和所有其他应用程序。
计算设备210的搜索模块282可以代表计算设备210执行集成搜索功能。搜索模块282可以被UI模块220、应用模块226中的一个或多个和/或助理模块222调用以代表其执行搜索操作。在被调用时，搜索模块282可以执行搜索功能，诸如生成搜索查询并且跨各种本地和远程信息源基于生成的搜索查询而执行搜索。搜索模块282可以向调用的组件或模块提供所执行的搜索的结果。即，搜索模块282可以响应于调用命令而向UI模块220、助理模块222和/或应用模块226输出搜索结果。
场境模块230可以收集与计算设备210相关联的场境信息以定义计算设备210的场境。具体地，场境模块210主要由助理模块222用来定义计算设备210的场境，其指定特定时间的计算设备210的物理和/或虚拟环境和计算设备210的用户的特性。
如遍及本公开所使用的，术语“场境信息”用来描述可以被场境模块230用来定义计算设备以及计算设备的用户在特定时间可能经历的虚拟和/或物理环境特性的任何信息。场境信息的示例有许多，并且可以包括：与计算设备210相关联的帐户(例如，当前登录到计算设备210的用户帐户)、计算设备210当前被连接到的网络(例如，WiFi网络的服务集标识符(SSID))、由计算设备210的传感器(例如，位置传感器、加速度计、陀螺仪、气压计、环境光传感器、接近传感器、扩音器以及任何其他传感器)获得的传感器信息、由计算设备210的通信模块发送和接收到的通信信息(例如，基于文本的通信、可听通信、视频通信等)以及与在计算设备210处执行的应用程序相关联的应用程序使用信息(例如，与应用程序相关联的应用数据、因特网搜索历史、文本通信、语音和视频通信、日历信息、社交媒体帖子和相关信息等)。场境信息的其他示例包括从在计算设备210外部的发送设备所获得的信号和信息。例如，场境模块230可以经由计算设备210的无线电或通信单元来接收从位于商人的物理位置处或附近的外部信标所发送的信标信息。
助理模块222可以包括图1的计算设备110的本地助理模块122A的所有功能，并且可以执行与用于提供助理的本地助理模块122A类似的操作。在一些示例中，助理模块222可以在本地(例如，在处理器240处执行)以提供助理功能。在一些示例中，助理模块222可以充当到计算设备210可访问的远程助理服务的界面。例如，助理模块222可以是到图1的助理服务器系统160的远程助理模块122B的界面或应用编程界面(API)。
设备选择模块224可以包括图1的计算设备110的设备选择模块124A的所有功能，并且可以执行与设备选择模块14A类似的操作以识别和选择其他计算设备。在一些示例中，设备选择模块224可以在本地(例如，在处理器240处)执行以识别和/或选择其他计算设备。在一些示例中，设备选择模块224可以充当到对计算设备210可访问的远程设备选择服务的界面。例如，设备选择模块224可以是到图1的助理服务器系统160的设备选择模块124B的界面或应用编程界面(API)。
图3是图示出根据本公开的一个或多个方面的被配置成被识别为用于供虚拟助理选择的示例性计算设备的框图。下面描述图3的计算设备380作为图1的计算设备180中的计算设备的示例。图3图示出计算设备380的仅一个特定示例，并且在其他情况下可以使用计算设备380的许多其他示例，并且其可以包括示例性计算设备380中包括的组件的子集或者可以包括图3中未示出的附加组件。
如图3的示例中所示，计算设备310包括用户接口设备(UID)313、一个或多个处理器341、一个或多个通信单元343、一个或多个输入组件345、一个或多个输出组件347以及一个或多个存储设备349。UID 313包括显示组件303、存在敏感输入组件305、扩音器组件307以及扬声器组件309。计算设备380的存储设备349包括UI模块321、选择响应模块327以及场境模块331。
处理器340类似于图2的计算系统210的处理器240。通信单元342类似于图2的计算系统210的通信单元242。UID 313类似于图2的计算系统210的UID 212。存储设备348类似于图2的计算系统210的存储设备248。输入组件344类似于图2的计算系统210的输入组件244。输出组件346类似于图2的计算系统210的输出组件246。通信信道350类似于图2的计算系统210的通信信道250，并且因此可以将组件340、342、344、346、313和348中的每个互连以实现组件间通信。在一些示例中，通信信道350可以包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
UI模块321可以包括图1的计算设备180A的UI模块121的所有功能，并且可以执行与UI模块121类似的操作。例如，计算设备380的UI模块321可以从选择响应模块327接收信息，其包括用于满足话语的指令(例如，显示视频或播放音频)。UI模块321可以通过通信信道350来发送显示或可听输出命令和关联数据以促使UID 313在UID 313处呈现用户界面。
场境模块331可以被配置成执行类似于图2的计算设备210的场境模块231的功能。例如，场境模块331可以收集与计算设备380相关联的场境信息以定义计算设备380的场境。在一些示例中，场境模块331可以更新关于计算设备380的场境的一个或多个其他设备。例如，场境模块331可以更新关于与计算设备380相关联的帐户的标识和计算设备380当前被连接到的网络的标识中的一者或两者的服务器系统(例如，图1的助理服务器系统160)。在一些示例中，场境模块331可以以规则的时间间隔(即，5分钟、10分钟、30分钟、1小时、1天)更新其他设备。在一些示例中，场境模块331可以当计算设备380的场境已改变时(例如，当计算设备380连接至网络或从网络断开连接时、当新帐户登录到计算设备380处时)更新其他设备。
选择响应模块327可以执行一个或多个动作以使得能够识别将满足在另一设备(诸如图1的计算设备110或图2的计算设备210)处说出的话语的计算设备380。在一些示例中，响应于接收到请求(例如，从图1的助理服务器系统160)，选择响应模块327可以促使UID313的扬声器组件309发出声音。如上文所讨论的，在一些示例中，请求可以识别要发出的声音的一个或多个唯一音频特性(例如，频率)。在一些示例中，选择响应模块327可以促使UID313的一个或多个组件产生输出(例如，显示视频、显示图形用户界面、发出声音等)以满足在另一设备处说出的话语。
图4是图示出根据本公开的一个或多个方面的被配置成执行示例性虚拟助理的示例性计算系统的框图。下面描述图4的助理服务器系统460作为图1的助理服务器系统160的示例。图4图示出助理服务器系统460的仅一个特定示例，并且在其他情况下可使用助理服务器系统460的许多其他示例，并且其可以包括示例性助理服务器系统460中包括的组件的子集或者可以包括图4中未示出的附加组件。
如图4的示例中所示，助理服务器系统460包括一个或多个处理器440、一个或多个通信单元442以及一个或多个存储设备448。存储设备448包括助理模块422、搜索模块482、场境模块430以及设备选择模块424。
处理器440类似于图2的计算系统210的处理器240。通信单元442类似于图2的计算系统210的通信单元242。存储设备448类似于图2的计算系统210的存储设备248。通信信道450类似于图2的计算系统210的通信信道250，并且因此可以将组件440、442和448中的每个互连以实现组件间通信。在一些示例中，通信信道450可以包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
助理服务器系统460的搜索模块482类似于计算设备210的搜索模块282，并且可以代表助理服务器系统460执行集成搜索功能。亦即，搜索模块482可以代表助理模块422执行搜索操作。在一些示例中，搜索模块482可以与外部搜索系统对接以代表助理模块422执行搜索操作。在被调用时，搜索模块482可以执行搜索功能，诸如生成搜索查询并跨各种本地和远程信息源基于生成的搜索查询而执行搜索。搜索模块482可以向调用的组件或模块提供所执行的搜索的结果。亦即，搜索模块482可以向助理模块422输出搜索结果。
助理服务器系统460的场境模块430类似于计算设备210的场境模块230。场境模块430可以收集与计算设备(诸如计算设备110和/或图1的计算设备180、图2的计算设备210和/或图3的计算设备380)相关联的场境信息，以定义计算设备的场境。场境模块430可以主要被助理模块422和/或搜索模块482用来定义对接并访问由助理服务器系统160提供的服务的计算设备的场境。场境可以指定特定时间的计算设备的物理和/或虚拟环境及计算设备的用户的特性。
助理模块422可以包括图1的本地助理模块122A和远程助理模块122B以及图2的计算设备210的助理模块222的所有功能。助理模块422可以执行与远程助理模块122B类似的操作以便提供可经由助理服务器系统460访问的助理服务。即，助理模块422可以充当到可被通过网络与助理服务器系统460通信的计算设备访问的远程助理服务的界面。例如，助理模块422可以是到图1的助理服务器系统160的远程助理模块122B的界面或应用编程界面(API)。
设备选择模块424可以包括图1的设备选择模块124A和设备选择模块124B以及图2的计算设备210的设备选择模块224的所有功能。设备选择模块424可以执行与设备选择模块124B类似的操作以便识别并选择其他计算设备以满足说出的话语。在一些示例中，设备选择模块424可以是到图1的助理服务器系统160的设备选择模块124B的界面或API。
在操作中，设备选择模块424可以保持与特定计算设备(例如，图1的计算设备110或图1的计算设备210)有关的计算设备列表。例如，设备选择模块424可以基于由场境模块430收集的场境信息来识别一者或两者被连接至与特定计算设备相同的网络(例如，用与特定计算设备相同的SSID连接至网络的一个或多个计算设备)并且跟与特定计算设备相同的帐户(例如，同一用户帐户)相关联的一个或多个计算设备。
响应于接收到语音接收在特定计算设备处已被激活的指示，设备选择模块424可以向与特定计算设备有关的已识别计算设备中的每个计算设备输出用以发射相应音频信号的请求。例如，设备选择模块424可以向与特定计算设备有关的已识别计算设备中的每个分配相应频率，并且在请求中包括分配频率的指示。
由计算设备发射的音频信号中的一个或多个可以被包括在由特定计算设备的扩音器生成的音频数据中。特定计算设备可以在本地处理音频数据和/或可以将音频数据上传到助理服务器系统460。作为处理的一部分，特定计算设备和/或助理服务器系统460可以确定音频数据是否包括所分配频率中的一个或多个。如果音频数据包括所分配频率中的一个或多个，则特定计算设备和/或助理服务器系统460可以确定与一个或多个所分配频率相关联的计算设备是否适合于话语满足。
特定计算设备和/或助理服务器系统460还可以处理音频数据以识别说出的话语(例如，使用一个或多个话音识别技术)。基于说出的话语和被确定为适合于话语满足的计算设备，特定计算设备和/或助理服务器系统460可以选择一个或多个计算设备以满足所识别话语。例如，特定计算设备和/或助理服务器系统460可以选择最适合于满足话语的(一个或多个)计算设备。特定计算设备和/或助理服务器系统460可以促使所选的(一个或多个)计算设备满足话语。
图5是图示出根据本公开的一个或多个方面的由执行示例性虚拟助理的一个或多个处理器执行的示例性操作的流程图。下面在图1的系统100的场境中描述图5。例如，根据本公开的一个或多个方面，本地助理模块122A和设备选择模块124A在计算设备110的一个或多个处理器处执行的同时可以执行操作502–512中的一个或多个。并且在一些示例中，远程助理模块122B和设备选择模块124B在助理服务器系统160的一个或多个处理器处执行的同时可以执行操作502–512中的一个或多个。仅仅出于举例说明的目的，下面在图1的计算设备110的场境内描述图5。
在操作中，计算设备110可以激活语音接收(502)。例如，计算设备110的用户可以按下计算设备110上的语音接收按钮或者在由本地助理模块122A接收到的UID 112处说出预定激活短语。
响应于语音接收的激活，计算设备110可以促使其他计算设备发射相应音频信号(504)。例如，计算设备110可以促使与计算设备110有关的一个或多个其他计算设备发射相应音频信号。如果另一计算设备实现被连接至与当前计算设备相同的网络和与跟当前计算设备相同的帐户(例如，同一用户帐户)相关联中的一者或两者，则可以将该另一计算设备与计算设备110相关。在一些示例中，计算设备110可以促使其他计算设备通过至少输出语音接收在计算设备110处已被激活的指示来发射相应音频信号。计算设备110可以向服务器设备和相关计算设备中的一者或两者输出该指示。在其中计算设备110向服务器设备输出指示的示例中，服务器设备可以向被识别为与计算设备110相关的每个计算设备输出用以发射相应音频信号的请求。在其中计算设备110直接地向相关计算设备输出指示的示例中，该指示可以包括用以发射相应音频信号的请求。
如上文所讨论的，由另一计算设备发射的音频信号可以具有一个或多个独有特性。由特定计算设备发射的音频信号的独有特性中的一个或多个可以由特定计算设备接收到的请求指定。例如，发送到特定计算设备的请求可以指定特定计算设备以特定频率输出音频信号。如上文还讨论的，在一些示例中，音频信号可以在人类语音和/或人类听力的范围以上。
在任何情况下，计算设备110可以接收由计算设备110的扩音器生成的音频数据(506)。例如，计算设备110可以用扩音器来接收对应于说出的话语和由其他计算设备发射的音频信号的声学输入(例如，音频数据)。
计算设备110可以基于音频数据来识别其他计算设备(508)。例如，如果接收到的音频数据包括由计算设备的相应计算设备发出的相应声音，则计算设备110可以确定相应计算设备适合于选择以满足说出的话语。同样地，如果接收到的音频数据不包括由计算设备的相应计算设备发出的相应声音，则计算设备110可以确定相应计算设备不适合于选择以满足说出的话语。
在一些示例中，计算设备110可以基于音频数据来识别其他计算设备是否可用(例如，在范围内)。在一些示例中，计算设备110可以基于音频数据来确定其他计算设备的附加场境。例如，计算设备110可以基于音频数据来确定计算设备110与每个其他已识别计算设备之间的近似距离。在一些示例中，计算设备110可以基于由其他计算设备发出的声音的接收响度来确定该近似距离。例如，如果音频数据包括具有第一响度的第一声音和具有低于第一响度的第二响度的第二声音，计算设备110可以确定发出第一声音的计算设备比发出第二声音的计算设备更近。
计算设备110可以基于音频数据来确定说出的话语(510)。例如，计算设备110可以执行语音识别以确定由用户说出的查询或其他请求。如上文所讨论的，在一些示例中，计算设备110可以同时地执行话音识别和其他计算设备的识别。
计算设备110可以从计算设备110和已识别的其他计算设备选择一个或多个计算设备以满足说出的话语(512)。例如，如果所识别的其他计算设备中的特定计算设备比当前计算设备110更适合于满足用户话语，则计算设备110可以选择该特定计算设备来满足用户话语。作为一个示例，如果计算设备110不包括显示器且用显示器将更好地满足话语(例如，如果用户话语是“我的议程是什么”)，则计算设备110可以选择已识别的其他计算设备中的包括用以满足话语的显示器的计算设备。用显示器可以更好地满足话语“我的议程是什么”，因为议程的视觉呈现可以比例如读出议程的合成语音理解起来更简单。作为另一示例，如果计算设备110包括显示器且用较大显示器将更好地满足话语(例如，如果用户话语是“播放视频”)，则计算设备110可以选择已识别的其他计算设备中的包括用以满足话语的相对较大显示器的计算设备。用相对较大的显示器可以更好地满足话语“播放视频”，因为要使用户在较大显示器(例如，TV)上观看视频可能不那么费力和/或更加舒适。作为另一示例，计算设备110可以基于所确定的距离来选择已识别计算设备中的计算设备。作为另一示例，如果已识别设备包括无线扬声器且话语的满足涉及到播放音乐，则计算设备110可以选择无线扬声器来播放音乐。
计算设备110可以促使所选计算设备满足说出的话语(514)。例如，计算设备110可以响应于话语而促使所选计算设备产生输出(例如，显示视频、显示图形用户界面、发出声音等)。这样，计算设备110可以提供较高质量的话语满足。
以下编号示例可以举例说明本公开的一个或多个方面：
示例1.一种方法，包括：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
示例2.示例1的方法，还包括：由当前计算设备输出语音接收在当前计算设备处已被激活的指示。
示例3.示例2的方法，其中，当前计算设备被连接至特定网络，并且其中，输出话音接收在当前计算设备处已被激活的指示包括：由当前计算设备促使连接至特定网络的一个或多个其他计算设备发射相应音频信号，其中，连接至特定网络的一个或多个其他计算设备包括已识别的一个或多个计算设备。
示例4.示例3的方法，其中，语音接收在当前计算设备处已被激活的指示被输出到服务器设备，并且其中，促使连接至特定网络发射相应音频信号的一个或多个其他计算设备包括：由当前计算设备促使服务器设备向连接至特定网络的一个或多个其他计算设备输出请求以发射相应音频信号。
示例5.示例1-4中的任何组合的方法，其中，当前计算设备与特定用户帐户相关联，并且其中，输出话音接收在当前计算设备处已被激活的指示包括：由当前计算设备促使与特定用户帐户相关联的一个或多个其他计算设备发射相应音频信号，其中，连接与特定用户帐户相关联的一个或多个其他计算设备包括已识别的一个或多个计算设备。
示例6.示例1-5中的任何组合的方法，其中，语音接收在当前计算设备处已被激活的指示被输出到服务器设备，并且其中，促使使用与特定用户帐户相关联发射相应音频信号的一个或多个其他计算设备包括：由当前计算设备促使服务器设备向与特定用户帐户相关联的一个或多个其他计算设备输出请求以发射相应音频信号。
示例7.示例1-6中的任何组合的方法，其中，当前计算设备被连接到特定网络并且与特定用户帐户相关联，并且其中，输出话音接收在当前计算设备处已被激活的指示包括：由当前计算设备促使与特定用户帐户相关联的连接至特定网络的一个或多个其他计算设备发射相应音频信号，其中，与特定用户帐户相关联的连接至特定网络的一个或多个其他计算设备包括已识别的一个或多个计算设备。
示例8.示例1-7的任何的方法，还包括：由服务器设备识别与当前计算设备有关的一个或多个计算设备；以及响应于接收到语音接收在当前计算设备处已被激活的指示，由服务器设备向与当前计算设备有关的已识别计算设备中的每个计算设备输出用以发射相应音频信号的请求。
示例9.示例1-8的任何组合的方法，其中，识别与当前计算设备有关的一个或多个计算设备包括：由服务器设备识别实现以下两项中的一者或两者的一个或多个计算设备：被连接至与当前计算设备相同的网络；以及与跟当前计算设备相同的用户帐户相关联。
示例10.示例1-9的任何组合的方法，其中，识别包括：基于由一个或多个相应计算设备发射的相应音频信号来确定每个相应计算设备相对于当前计算设备的相应接近度。
示例11.示例1-10的任何组合的方法，其中，相应音频信号中的每个音频信号具有一个或多个独有音频特性。
示例12.示例1-11的任何组合的方法，其中，当前计算设备不包括显示器，并且其中，选择包括：响应于确定需要显示器以满足说出的话语，从在包括显示器的已识别的一个或多个计算设备中包括的计算设备选择特定计算设备。
示例13.示例1-12的任何组合的方法，其中，当前计算设备包括显示器，并且其中，从已识别的一个或多个计算设备选择计算设备包括：从在包括显示器的已识别的一个或多个计算设备中包括的计算设备选择特定计算设备，所述显示器大于当前计算设备的显示器。
示例14.一种设备，包括：一个或多个扩音器；以及一个或多个处理器，被配置成：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
示例15.示例14的设备，其中，所述设备是当前计算设备，所述当前计算设备还包括一个或多个通信单元，并且其中，所述一个或多个处理器进一步被配置成：经由一个或多个通信单元输出语音接收在当前计算设备处已被激活的指示。
示例16.示例15的设备，其中，所述当前计算设备被连接至特定网络，并且其中，为了输出语音接收在当前计算设备处已被激活的指示，所述一个或多个处理器被配置成：促使连接至特定网络的一个或多个其他计算设备发射相应音频信号，其中，连接至特定网络的一个或多个其他计算设备包括已识别的一个或多个计算设备。
示例17.示例14-16的任何组合的设备，其中，当前计算设备与特定用户帐户相关联，并且其中，为了输出语音接收在当前计算设备处已被激活的指示，所述一个或多个处理器被配置成：促使与特定用户帐户相关联的一个或多个其他计算设备发射相应音频信号，其中，与特定用户帐户相关联的一个或多个其他计算设备包括已识别的一个或多个计算设备。
示例18.示例14-17的任何组合的设备，其中，所述一个或多个处理器进一步被配置成：识别与当前计算设备有关的一个或多个计算设备；并且响应于确定语音接收在当前计算设备处已被激活，向与当前计算设备有关的已识别计算设备中的每个计算设备输出用以发射相应音频信号的请求。
示例19.示例14-18的任何组合的设备，其中，为了识别与当前计算设备有关的一个或多个计算设备，所述一个或多个处理器被配置成：识别实现以下两项中的一者或两者的一个或多个计算设备：被连接至与当前计算设备相同的网络；以及与跟当前计算设备相同的用户帐户相关联。
示例20.一种存储指令的非暂态计算机可读存储介质，所述指令在被执行时促使计算设备的一个或多个处理器：接收由当前计算设备的扩音器生成的音频数据；基于音频数据来识别一个或多个计算设备，其每个响应于语音接收在当前计算设备处被激活而发射相应音频信号；以及从所识别的一个或多个计算设备选择当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
示例21.进一步存储促使一个或多个处理器执行示例1-13的任何组合的方法的非暂态计算机可读存储介质。
示例22.一种包括用于执行示例1-13的任何组合的方法的部件的设备。
遍及本公开，描述了其中只有当计算设备从计算设备的用户接收到用以分析信息的许可时计算设备和/或计算系统才可以分析与计算设备和计算设备的用户相关联的信息(例如，场境、位置、通信、联系人、聊天会话、语音会话等)的示例。例如，在下面讨论的情况中，在计算设备或计算系统处执行的助理可以收集或可以利用与用户相关联的信息之前，可以为用户提供用以提供输入以控制助理(或计算设备和/或计算系统的其他程序或特征)是否可以收集或利用用户信息或者指示计算设备和/或计算系统是否和/或如何可以接收可能与用户有关的内容的机会。另外，特定数据可以在其被助理或底层计算设备和/或计算系统存储或使用之前被以一个或多个方式加密和/或处理，使得个人可识别信息被去除。例如，可处理用户的身份，使得对于用户而言不能确定个人可识别信息，或者可将在该处获得位置信息的用户地理位置广义化(诸如到城市、ZIP代码或州，与坐标位置或物理地址相反)，使得不能确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并被助理和执行助理的底层计算设备和计算系统使用。
在一个或多个示例中，可用硬件、软件、固件或其任何组合来实现所述功能。如果用软件实现，则可将功能存储作为一个或多个指令或代码在计算机可读介质上或者通过计算机可读介质发射并被基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质(其对应于有形介质(诸如数据存储介质))或者通信介质，其包括促进计算机程序例如根据通信协议从一个地点到另一个的传输的任何介质。以这种方式，计算机可读介质一般地可对应于(1)有形计算机可读存储介质，其是非暂态的，或者(2)通信介质，诸如信号或载波。数据存储介质可以是可以被一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以示例而非限制的方式，此类计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘储存器、磁盘储存器或其他磁存储器件、闪速存储器或者可以用来以指令或数据结构的形式存储期望程序代码且可以被计算机访问的任何其他存储介质。此外，将任何连接适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、扭绞线对、数字订户线(DSL)或诸如红外线、无线电以及微波之类的无线技术从网站、服务器或其他远程源发送指令，则在介质的定义中包括同轴线缆、光纤线缆、扭绞线对、DSL诸如红外线、无线电和微波之类的无线技术。然而，应理解的是计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是替代地针对非暂态、有形存储介质。如本文所使用的磁碟和磁盘包括紧凑式磁盘(CD)、激光磁盘、光盘、数字多功能磁盘(DVD)、软盘和蓝光磁盘，其中，磁碟通常磁性地再现数据，而磁盘通常用激光来再现数据。以上的组合也应被包括在计算机可读介质的范围内。
指令被一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等价集成或分立逻辑电路。因此，如本文所使用的术语“处理器”可指代任何前述结构或适合于实现本文所述技术的任何其他结构。另外，在一些方面中，可在专用硬件和/或软件模块内提供本文所述功能。并且，该技术可完全用一个或多个电路或逻辑元件来实现。
本公开的技术可以在多种设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种部件、模块或单元以强调被配置成实现公开技术的设备的功能方面，但不一定要求用不同的硬件单元来实现。相反地，如上所述，可以将各种单元组合在单个硬件单元中，或者用许多互操作硬件单元来提供，包括如上所述的一个或多个处理器，与适当的软件和/或固件相结合。
已描述了各种实施例。这些及其他实施例在以下权利要求的范围内。

Claims (15)

1.一种方法，包括：
接收由当前计算设备的扩音器生成的音频数据；
基于音频数据来识别一个或多个计算设备，所述一个或多个计算设备中的每个响应于语音接收在所述当前计算设备处被激活而发射相应音频信号；以及
从所识别的一个或多个计算设备中选择所述当前计算设备或特定计算设备以满足基于音频数据确定的说出话语。
2.权利要求1所述的方法，还包括：
由所述当前计算设备输出语音接收在所述当前计算设备处已被激活的指示。
3.权利要求2所述的方法，
其中，所述当前计算设备被连接到特定网络，以及
其中，输出话音接收在所述当前计算设备处已被激活的指示包括：
由所述当前计算设备促使连接至所述特定网络的一个或多个其他计算设备发射相应音频信号，其中连接至所述特定网络的一个或多个其他计算设备包括已识别的一个或多个计算设备。
4.权利要求3所述的方法，
其中，语音接收在所述当前计算设备处已被激活的指示被输出到服务器设备，以及
其中，促使连接至所述特定网络以发射相应音频信号的一个或多个其他计算设备包括：
由所述当前计算设备促使所述服务器设备向连接至所述特定网络的一个或多个其他计算设备输出请求以发射相应音频信号。
5.权利要求2所述的方法，
其中，所述当前计算设备与特定用户帐户相关联，以及
其中，输出话音接收在所述当前计算设备处已被激活的指示包括：
由所述当前计算设备促使与所述特定用户帐户相关联的一个或多个其他计算设备以发射相应音频信号，其中与所述特定用户帐户相关联的一个或多个其他计算设备包括已识别的一个或多个计算设备。
6.权利要求5所述的方法，
其中，语音接收在所述当前计算设备处已被激活的指示被输出到所述服务器设备，以及
其中，促使使用与所述特定用户帐户相关联以发射相应音频信号的一个或多个其他计算设备包括：
由所述当前计算设备促使所述服务器设备向与所述特定用户帐户相关联的一个或多个其他计算设备输出请求以发射相应音频信号。
7.权利要求2所述的方法，
其中，所述当前计算设备被连接到特定网络并且与所述特定用户帐户相关联，以及
其中，输出话音接收在所述当前计算设备处已被激活的指示包括：
由所述当前计算设备促使连接至与所述特定用户帐户相关联的特定网络的一个或多个其他计算设备以发射相应音频信号，其中连接至与所述特定用户帐户相关联的特定网络的一个或多个其他计算设备包括已识别的一个或多个计算设备。
8.权利要求2所述的方法，还包括：
由所述服务器设备识别与所述当前计算设备有关的一个或多个计算设备；以及
响应于接收到语音接收在所述当前计算设备处已被激活的指示，由所述服务器设备向与所述当前计算设备有关的已识别计算设备中的每个计算设备输出用以发射相应音频信号的请求。
9.权利要求8所述的方法，
其中，识别与所述当前计算设备有关的一个或多个计算设备包括：
由所述服务器设备识别是以下两项中的一者或两者的一个或多个计算设备：
被连接至与所述当前计算设备相同的网络；以及
与跟所述当前计算设备相同的用户帐户相关联。
10.权利要求1所述的方法，其中，所述识别包括：
基于由一个或多个计算设备发射的相应音频信号来确定每个相应计算设备相对于所述当前计算设备的相应接近度。
11.权利要求10所述的方法，
其中，相应音频信号中的每个音频信号具有一个或多个独有音频特性。
12.权利要求1-11中任一项所述的方法，
其中，所述当前计算设备不包括显示器，以及其中，所述选择包括：
响应于确定需要显示器以满足说出的话语，从在包括显示器的已识别的一个或多个计算设备中包括的计算设备选择所述特定计算设备。
13.权利要求1-11中任一项所述的方法，
其中，所述当前计算设备包括显示器，以及其中，所述选择包括：
从在包括显示器的已识别的一个或多个计算设备中包括的一个或多个计算设备选择所述特定计算设备，所述显示器大于所述当前计算设备的显示器。
14.一种设备，包括：
一个或多个扩音器；以及
一个或多个处理器，所述一个或多个处理器被配置成执行权利要求1-13中任一项所述的方法。
15.一种存储指令的非暂态计算机可读存储介质，所述指令在被执行时促使计算设备的一个或多个处理器执行权利要求1-13中任一项所述的方法。
CN201710901158.XA 2016-11-18 2017-09-28 附近计算设备的虚拟助理识别 Active CN108073382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/355,336 US10332523B2 (en) 2016-11-18 2016-11-18 Virtual assistant identification of nearby computing devices
US15/355,336 2016-11-18

Publications (2)

Publication Number Publication Date
CN108073382A true CN108073382A (zh) 2018-05-25
CN108073382B CN108073382B (zh) 2020-12-29

Family

ID=60270144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710901158.XA Active CN108073382B (zh) 2016-11-18 2017-09-28 附近计算设备的虚拟助理识别

Country Status (8)

Country Link
US (8) US10332523B2 (zh)
EP (1) EP3523797B1 (zh)
JP (1) JP6640430B1 (zh)
KR (5) KR102416384B1 (zh)
CN (1) CN108073382B (zh)
DE (6) DE202017007508U1 (zh)
GB (1) GB2556993B (zh)
WO (1) WO2018093563A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US10438584B2 (en) * 2017-04-07 2019-10-08 Google Llc Multi-user virtual assistant for verbal device control
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10847163B2 (en) * 2017-06-20 2020-11-24 Lenovo (Singapore) Pte. Ltd. Provide output reponsive to proximate user input
US10425780B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
KR102574903B1 (ko) 2018-08-08 2023-09-05 삼성전자주식회사 개인화된 장치 연결을 지원하는 전자 장치 및 그 방법
EP3642837B1 (en) 2018-08-23 2024-03-13 Google LLC Regulating assistant responsiveness according to characteristics of a multi-assistant environment
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11949677B2 (en) * 2019-04-23 2024-04-02 Microsoft Technology Licensing, Llc Resource access based on audio signal
US11316867B2 (en) 2019-04-23 2022-04-26 Microsoft Technology Licensing, Llc Generated audio signal granting access to resource
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11056114B2 (en) 2019-05-30 2021-07-06 International Business Machines Corporation Voice response interfacing with multiple smart devices of different types
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11120790B2 (en) * 2019-09-24 2021-09-14 Amazon Technologies, Inc. Multi-assistant natural language input processing
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11665013B1 (en) * 2019-12-13 2023-05-30 Amazon Technologies, Inc. Output device selection
CN111312239B (zh) * 2020-01-20 2023-09-26 北京小米松果电子有限公司 响应方法、装置、电子设备及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220415323A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device and method of outputting object generated based on distance between electronic device and target device
US11886281B2 (en) 2021-08-13 2024-01-30 Bank Of America Corporation Artificial intelligence engine providing automated error resolution
US11915698B1 (en) * 2021-09-29 2024-02-27 Amazon Technologies, Inc. Sound source localization
US12062271B2 (en) * 2022-02-17 2024-08-13 Tile, Inc. Unauthorized location information access prevention in a tracking device environment
US12013927B2 (en) 2022-03-23 2024-06-18 Bank Of America Corporation System and method for generating and monitoring dynamic identifiers for data processing security
US20240201938A1 (en) * 2022-12-15 2024-06-20 Google Llc Pairing audio data channels based on initiating, using a first client device, playback of media on a second client device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423576A (zh) * 2013-09-10 2015-03-18 联想（新加坡）私人有限公司 虚拟助理操作项目的管理
US20150228274A1 (en) * 2012-10-26 2015-08-13 Nokia Technologies Oy Multi-Device Speech Recognition
CN105051676A (zh) * 2012-12-14 2015-11-11 若威尔士有限公司 响应端点选择
EP2963630A2 (en) * 2014-07-01 2016-01-06 Panasonic Intellectual Property Corporation of America Device control method and electric device
CN105264485A (zh) * 2013-03-14 2016-01-20 若威尔士有限公司 在多个设备上提供内容

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069621A (en) 1994-05-10 2000-05-30 Schupak; Donald Distributed computer system for providing audio, video, and information signals to plural modules throughout a home
US5623652A (en) * 1994-07-25 1997-04-22 Apple Computer, Inc. Method and apparatus for searching for information in a network and for controlling the display of searchable information on display devices in the network
US5625697A (en) 1995-05-08 1997-04-29 Lucent Technologies Inc. Microphone selection process for use in a multiple microphone voice actuated switching system
US5867223A (en) * 1995-07-17 1999-02-02 Gateway 2000, Inc. System for assigning multichannel audio signals to independent wireless audio output devices
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
US6038614A (en) 1998-01-05 2000-03-14 Gateway 2000, Inc. Active volume control with hot key
US6185535B1 (en) * 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
US8271287B1 (en) * 2000-01-14 2012-09-18 Alcatel Lucent Voice command remote control system
JP4086280B2 (ja) * 2002-01-29 2008-05-14 株式会社東芝 音声入力システム、音声入力方法及び音声入力プログラム
US20030167335A1 (en) 2002-03-04 2003-09-04 Vigilos, Inc. System and method for network-based communication
US7184960B2 (en) 2002-06-28 2007-02-27 Intel Corporation Speech recognition command via an intermediate mobile device
US7266347B2 (en) * 2003-06-10 2007-09-04 Gross John N Remote monitoring device and process
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US20060090132A1 (en) * 2004-10-26 2006-04-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced user assistance
EP1672471A1 (en) * 2004-12-14 2006-06-21 Thomson Multimedia Broadband Belgium Content playback device with touch screen
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20070055528A1 (en) * 2005-08-30 2007-03-08 Dmitry Malyshev Teaching aid and voice game system
JP4823687B2 (ja) * 2005-12-28 2011-11-24 オリンパスメディカルシステムズ株式会社 手術システム制御装置
JP2008059099A (ja) * 2006-08-29 2008-03-13 Access Co Ltd 情報表示装置、情報表示プログラム、および情報表示システム
US8050930B2 (en) * 2008-05-01 2011-11-01 International Business Machines Corporation Telephone voice command enabled computer administration method and system
KR100958932B1 (ko) * 2008-08-19 2010-05-19 주식회사 에스원 3차원 음원 위치 측정 기술을 이용한 침입 감지 장치 및 방법
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9549717B2 (en) 2009-09-16 2017-01-24 Storz Endoskop Produktions Gmbh Wireless command microphone management for voice controlled surgical system
JP5321390B2 (ja) * 2009-09-28 2013-10-23 沖電気工業株式会社 音声通信装置及びプログラム
US8442198B2 (en) 2009-10-20 2013-05-14 Broadcom Corporation Distributed multi-party conferencing system
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
CN102763432B (zh) * 2010-02-17 2015-06-24 诺基亚公司 对多装置音频捕获的处理
US8656081B2 (en) * 2010-03-12 2014-02-18 The United States Of America As Represented By The Secretary Of The Navy System and method for coordinating control of an output device by multiple control consoles
US8635066B2 (en) 2010-04-14 2014-01-21 T-Mobile Usa, Inc. Camera-assisted noise cancellation and speech recognition
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
KR101712666B1 (ko) * 2010-05-14 2017-03-06 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 공유 방법
EP2402860B1 (en) * 2010-06-29 2020-10-07 Brother Kogyo Kabushiki Kaisha Data processing apparatus
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
GB2546025B (en) 2010-10-01 2017-08-23 Asio Ltd A Transaction authenticating device and method
US20130051572A1 (en) 2010-12-08 2013-02-28 Creative Technology Ltd Method for optimizing reproduction of audio signals from an apparatus for audio reproduction
BR112013014402A2 (pt) * 2010-12-10 2019-09-24 Yota Devices Ipr Ltd dispositivo móvel com interface de usuário
US8903892B2 (en) * 2011-05-19 2014-12-02 Oasys Healthcare Corporation Software based system for control of devices
US20160277808A1 (en) * 2011-08-08 2016-09-22 Lei Yu System and method for interactive second screen
US8996753B2 (en) 2011-10-07 2015-03-31 Qualcomm Incorporated Mobile device peripheral device location and connection
US9491404B2 (en) 2011-10-27 2016-11-08 Polycom, Inc. Compensating for different audio clocks between devices using ultrasonic beacon
CN104067602B (zh) * 2011-11-27 2016-08-17 株式会社联合动力 语音链接系统
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
JP5944689B2 (ja) 2012-02-22 2016-07-05 クラリオン株式会社 車載機、および、車載機の表示制御システム
US9082413B2 (en) * 2012-11-02 2015-07-14 International Business Machines Corporation Electronic transaction authentication based on sound proximity
WO2014142702A1 (en) * 2013-03-15 2014-09-18 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" Selective speech recognition for chat and digital personal assistant systems
US9264801B2 (en) 2012-12-04 2016-02-16 Storz Endoskop Produktions Gmbh System and method for pairing a command device incorporating a microphone to a remotely controlled medical system
US20140172140A1 (en) * 2012-12-17 2014-06-19 Lookout Inc. Method and apparatus for cross device audio sharing
EP2949113B1 (en) * 2013-01-22 2018-08-22 Unify GmbH & Co. KG Display and manipulate call forwarding on no reply timer in called terminal
US20150372286A1 (en) * 2013-03-15 2015-12-24 Applied Materials, Inc. Apparatus for material spray deposition of high solid percentage slurries for battery active material manufacture applications
US9491033B1 (en) 2013-04-22 2016-11-08 Amazon Technologies, Inc. Automatic content transfer
US20140331145A1 (en) * 2013-05-06 2014-11-06 Nvidia Corporation Enhancing a remote desktop with meta-information
US9575720B2 (en) * 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9203252B2 (en) * 2013-11-12 2015-12-01 Google Inc. Redirecting notifications to a wearable computing device
US9564128B2 (en) 2013-12-09 2017-02-07 Qualcomm Incorporated Controlling a speech recognition process of a computing device
US20150172878A1 (en) 2013-12-12 2015-06-18 Aliphcom Acoustic environments and awareness user interfaces for media devices
WO2015127119A2 (en) * 2014-02-24 2015-08-27 Sony Corporation Body position optimization and bio-signal feedback for smart wearable devices
US10878721B2 (en) * 2014-02-28 2020-12-29 Ultratec, Inc. Semiautomated relay method and apparatus
JP6358847B2 (ja) * 2014-05-14 2018-07-18 オリンパス株式会社 表示処理装置および撮像装置
US9632748B2 (en) 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10045105B2 (en) * 2014-08-12 2018-08-07 Bose Corporation Wireless communication between endpoint devices
US10002115B1 (en) * 2014-09-29 2018-06-19 Amazon Technologies, Inc. Hybrid rendering of a web page
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9588721B2 (en) * 2014-10-16 2017-03-07 Seiko Epson Corporation Print control device, printing system, and control method of a print control device
US9558527B2 (en) * 2014-10-24 2017-01-31 Dell Products L.P. Systems and methods for orchestrating external graphics
CN107077315B (zh) * 2014-11-11 2020-05-12 瑞典爱立信有限公司 用于选择要在与用户通信期间使用的语音的系统和方法
US9646163B2 (en) * 2014-11-14 2017-05-09 Getgo, Inc. Communicating data between client devices using a hybrid connection having a regular communications pathway and a highly confidential communications pathway
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
US9811312B2 (en) 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
GB2538935A (en) * 2015-02-26 2016-12-07 Piksel Inc Linking devices
US9984686B1 (en) * 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set
WO2016154426A1 (en) * 2015-03-26 2016-09-29 Wal-Mart Stores, Inc. System and methods for a multi-display collaboration environment
US9591148B2 (en) 2015-04-07 2017-03-07 Cisco Technology, Inc. Detecting proximity of devices based on transmission of inaudible sound signatures in the speech band
US9807045B2 (en) * 2015-06-10 2017-10-31 Google Inc. Contextually driven messaging system
US10025447B1 (en) * 2015-06-19 2018-07-17 Amazon Technologies, Inc. Multi-device user interface
US20160379638A1 (en) * 2015-06-26 2016-12-29 Amazon Technologies, Inc. Input speech quality matching
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
US10469997B2 (en) * 2016-02-26 2019-11-05 Microsoft Technology Licensing, Llc Detecting a wireless signal based on context
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
US9841943B1 (en) * 2016-06-06 2017-12-12 Google Llc Creation and control of channels that provide access to content from various audio-provider services
US10462219B2 (en) * 2016-08-10 2019-10-29 Iboss, Inc. Distributed network security system providing isolation of customer data
US9972320B2 (en) * 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10580404B2 (en) * 2016-09-01 2020-03-03 Amazon Technologies, Inc. Indicator for voice-based communications
US10228725B2 (en) * 2016-09-30 2019-03-12 Intel IP Corporation Flexible band wearable electronic device
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150228274A1 (en) * 2012-10-26 2015-08-13 Nokia Technologies Oy Multi-Device Speech Recognition
CN105051676A (zh) * 2012-12-14 2015-11-11 若威尔士有限公司 响应端点选择
CN105264485A (zh) * 2013-03-14 2016-01-20 若威尔士有限公司 在多个设备上提供内容
CN104423576A (zh) * 2013-09-10 2015-03-18 联想（新加坡）私人有限公司 虚拟助理操作项目的管理
EP2963630A2 (en) * 2014-07-01 2016-01-06 Panasonic Intellectual Property Corporation of America Device control method and electric device

Also Published As

Publication number Publication date
US11908479B2 (en) 2024-02-20
DE202017105810U1 (de) 2018-01-04
KR20230107704A (ko) 2023-07-17
US20180144748A1 (en) 2018-05-24
KR102552555B1 (ko) 2023-07-06
JP6640430B1 (ja) 2020-02-05
US20210201915A1 (en) 2021-07-01
US20240185858A1 (en) 2024-06-06
US11380331B1 (en) 2022-07-05
KR20190077059A (ko) 2019-07-02
US11270705B2 (en) 2022-03-08
KR102639229B1 (ko) 2024-02-21
DE102017012396B3 (de) 2022-05-25
DE202017007508U1 (de) 2022-03-10
US11227600B2 (en) 2022-01-18
WO2018093563A1 (en) 2018-05-24
GB2556993B (en) 2020-05-27
US20220044686A1 (en) 2022-02-10
US11087765B2 (en) 2021-08-10
KR20220098808A (ko) 2022-07-12
US20220335948A1 (en) 2022-10-20
DE202017007452U1 (de) 2021-09-06
US20190267008A1 (en) 2019-08-29
US20220189488A1 (en) 2022-06-16
KR20240025709A (ko) 2024-02-27
JP2020505626A (ja) 2020-02-20
US20210366487A1 (en) 2021-11-25
US10332523B2 (en) 2019-06-25
DE102017122182A1 (de) 2018-05-24
EP3523797A1 (en) 2019-08-14
EP3523797B1 (en) 2020-02-26
DE102017012415B4 (de) 2024-03-28
GB2556993A (en) 2018-06-13
KR102416384B1 (ko) 2022-07-05
GB201715712D0 (en) 2017-11-15
KR102278659B1 (ko) 2021-07-16
KR20210090735A (ko) 2021-07-20
CN108073382B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN108073382A (zh) 附近计算设备的虚拟助理识别
US11790207B2 (en) Delayed responses by computational assistant
US11817092B2 (en) Multi-user virtual assistant for verbal device control
CN108268130A (zh) 组推荐的虚拟助理生成
CN107957776A (zh) 主动虚拟助理
US11558505B2 (en) Computational assistant extension device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant