CN107850992A - 自动批量语音命令 - Google Patents
自动批量语音命令 Download PDFInfo
- Publication number
- CN107850992A CN107850992A CN201680041581.0A CN201680041581A CN107850992A CN 107850992 A CN107850992 A CN 107850992A CN 201680041581 A CN201680041581 A CN 201680041581A CN 107850992 A CN107850992 A CN 107850992A
- Authority
- CN
- China
- Prior art keywords
- user
- task
- computing device
- intention
- context information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 28
- 238000012545 processing Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 239000011469 building brick Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- BALXUFOVQVENIU-KXNXZCPBSA-N pseudoephedrine hydrochloride Chemical compound [H+].[Cl-].CN[C@@H](C)[C@@H](O)C1=CC=CC=C1 BALXUFOVQVENIU-KXNXZCPBSA-N 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
- G06Q10/025—Coordination of plural reservations, e.g. plural trip segments, transportation combined with accommodation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本技术的方面涉及用于处理语音输入数据的系统和方法。语音输入数据从计算机接收。基于接收的语音输入数据来确定意图的任务。获得与意图的任务有关的场境信息。基于意图的任务和获得的场境信息来确定要在计算设备处访问的多个服务。提供与多个服务相关联的指令以用于传输到计算设备以在计算设备处执行。
Description
背景技术
随着计算设备变得更加先进,用户可以能够执行更复杂的任务。在某些情况下,在不使用例如键盘的传统输入/输出外围设备的情况下与计算设备交互是更方便的。一种这样的方法是使用语音输入。语音输入可以被用于访问计算设备的特征。
发明内容
本技术的方面涉及用于利用用于在计算设备中发起批量处理的语音输入的计算机实现的方法。该方法包括从计算设备接收语音输入数据。该方法还包括基于接收的语音输入数据来确定意图的任务(intended task)。该方法还包括获得与意图的任务有关的场境信息(contextual information)。该方法还包括基于意图的任务和获得的场境信息来确定要在计算设备处访问的多个服务。该方法进一步包括提供与多个服务相关联的指令以用于传输到计算设备和在计算设备处执行。
本技术的方面还涉及一种系统。该系统包括一个或多个处理器以及非暂时性计算机可读介质,其包括存储在其中的指令,所述指令在由一个或多个处理器处理时使得该一个或多个处理器执行操作。所述操作包括从计算设备接收语音输入数据。操作还包括基于接收的语音输入数据来确定意图的任务。操作还包括获得与意图的任务有关的场境信息,其中场境信息包括社交图信息。操作还包括基于意图的任务和获得的场境信息来确定要在计算设备处访问的多个服务。操作还包括提供与多个服务相关联的指令以用于传输到计算设备并用于在计算设备处执行。
本技术的方面还涉及一种非暂时性机器可读介质,其包括存储在其中的指令,所述指令在由机器执行时使得该机器执行操作。该操作包括从计算设备接收语音输入数据。操作还包括基于接收的语音输入数据来确定意图的任务。操作还包括获得与意图的任务有关的场境信息。操作还包括基于意图的任务和获得的场境信息来确定要打开的多个标签页(tab)。操作还包括提供打开确定的多个标签页。
应当理解,根据下面的具体实施方式,本技术的其他配置对于本领域技术人员将变得显而易见,其中以示例的方式示出和描述了本技术的各个配置。将认识到的,本技术能够具有其他和不同的配置,并且其若干细节能够在各个其他方面进行修改,而全部不脱离本技术的范围。因此,附图和具体实施方式在本质上被认为是示例性的而不是限制性的。
附图说明
附图图示了所公开的方面并且与说明书一起用于解释所公开的方面的原理,附图被包括以提供进一步理解并被并入和构成本说明书的一部分。
图1图示了根据本技术的各个方面的示例网络环境。
图2示出了图示根据本技术的各个方面的用于处理语音命令的示例过程200的流程图。
图3示出了根据本技术的各个方面的示例界面。
图4概念性地图示了可以实现本技术的一些实施方式的示例电子系统。
具体实施方式
以下阐述的具体实施方式旨在作为对本技术的各个配置的描述,并且不旨在表示可实践本技术的唯一配置。附图并入本文并构成具体实施方式的一部分。具体实施方式包括用于提供对主题技术的透彻理解的具体细节。然而,主题技术不限于在此阐述的具体细节,并且可以在没有这些具体细节的情况下实践。在一些实例下,以框图形式示出结构和组件,以避免模糊本技术的概念。
本技术使得用户能够利用语音输入来在计算设备上发起批量处理。批量处理可以涉及访问计算设备上的一个或多个服务。访问一个或多个服务可以与使用计算设备上的应用或web服务的特征相关联。根据各个方面,计算设备可以与用户账户相关联。用户账户可以是用于访问各个web服务的基于云的用户账户。web服务的示例包括电子邮件、社交网络、操作系统、基于web的应用(例如,文本编辑器、电子表格应用、演示应用)等等。访问web服务可以通过用户账户凭证的认证来授予。用户认证可以通过例如通过web门户、web应用、应用登录页面等登录到用户账户来发起。
语音输入数据可以从计算设备接收。在一些实施例中,可以通过话音识别来处理语音输入数据以确定与语音输入数据相对应的一个或多个词并将其存储为文本。可以基于接收的语音输入数据来确定意图的任务。可以获得与意图的任务有关的场境信息。场境信息可以包括社交图信息和用户历史活动。可以基于意图的任务和场境信息来确定要在计算设备上访问的多个服务。该多个服务可以与应用或网站相关联。提供与该多个服务相关联的指令以用于传输到计算设备并用于在该计算设备处执行。
图1图示了语音命令可以用于在计算设备处访问多个服务的示例网络环境100。网络环境100可以包括一个或多个计算设备102、104和106、网络108和服务器110。计算设备102、104和106以及服务器110中的每一个可以通过网络108彼此通信。服务器110可以包括一个或多个计算设备112和一个或多个数据存储114。
计算设备102、104和106可以表示各种形式的处理设备。作为示例而非限制,处理设备可以包括台式计算机、膝上型计算机、手持式计算机、个人数字助理(PDA)、蜂窝电话、网络设备、相机、智能电话、增强通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、智能电器或这些数据处理设备或其他数据处理设备中的任何一个的组合。诸如计算设备102、104和106的一些计算设备可以具有处理用户语音输入的能力。例如,计算设备102、104和106可以包括麦克风,并且可以具有存储在存储器中的指令,所述指令在被它们相应的处理器执行时允许计算设备102、104和106记录用户语音命令。另外,计算设备102、104和106可以包括用于话音识别和语音识别的处理电路。计算设备102、104和106还可以包括扬声器或音频输出连接。
根据各个实施方式,计算设备102、104和106可以与在线或基于云的用户账户相关联。用户账户可以是用于访问各个web服务的基于云的用户账户。web服务的示例包括电子邮件、社交网络、操作系统、基于web的应用(例如,文本编辑器、电子表格应用、演示应用)等等。访问web服务可以通过用户账户凭证的认证来授予。用户认证可以通过例如通过web门户、web应用、应用登录页面等登录到用户账户来发起。结合用户账户存储的信息可以位于与服务器110相关联的数据存储114中。在一些方面中,结合用户账户存储的信息可以位于单独的服务器(未绘出)上。
服务器110可以是具有处理器、存储器和用于与包括例如计算设备102、104和106的其他计算设备交换数据的通信能力的任何系统或设备。服务器110可以利用与基于云的用户账户相关联的凭证信息访问与基于云的用户账户相关联的各个web服务。在又一个实施方式中,服务器110可以是单个计算设备(例如,计算设备112)。在其他实施方式中,服务器110可以表示一起工作来执行计算机服务器(例如,服务器群)的动作的多于一个计算设备。此外,服务器110可以表示各个形式的服务器,包括但不限于web服务器、应用服务器、代理服务器、网络服务器或服务器群。
在示例方面中,服务器110可以处理语音输入数据以生成要发送到客户端设备(例如,计算设备102、104或106)的指令。例如,服务器110可以接收语音输入数据。语音输入数据可以是在客户端设备处捕获的来自用户的语音输入的原始音频记录。在一些实施方式中,语音输入数据可以包括与在客户端设备处捕获的语音输入相关联的附加数据,诸如客户端设备的位置以及语音输入被捕获的时间。基于该语音输入数据,服务器110可以确定意图的任务。服务器110可以基于该意图的任务来获得场境信息。场境信息可以从数据存储114中检索,并且也可以与用户账户相关联。基于意图的任务和获得的场境信息,服务器110可以确定要在客户端设备处访问的多个服务。服务器110可以提供与多个服务相关联的指令以用于传输到计算设备并用于在客户端设备处执行。
包括计算设备102、104和106以及服务器110的计算设备可以通过通信接口(未示出)进行无线通信,通信接口在必要时可以包括数字信号处理电路。通信接口可以在各个模式或协议下提供通信,例如全球移动通信系统(GSM)语音通话、短消息服务(SMS)、增强型消息收发服务(EMS)或多媒体消息收发服务(MMS)消息收发、码分多址(CDMA)、时分多址(TDMA)、个人数字蜂窝(PDC)、宽带码分多址(WCDMA)、CDMA2000或通用分组无线电系统(GPRS)等。例如,通信可以通过射频收发器(未示出)进行。另外,例如,可以使用蓝牙、WiFi或其他这样的收发器来进行短距离通信。
在一些方面,网络环境100可以是跨越一个或多个网络——诸如例如网络108——的分布式客户端/服务器系统。网络108可以是大型计算机网络,诸如连接任何数目的移动客户端、固定客户端和服务器的例如局域网络(LAN)、广域网(WAN)、互联网、蜂窝网络或其组合。此外,网络108可以包括但不限于以下网络拓扑中的任何一个或多个,包括总线网络、星形网络、环形网络、网状网络、星形总线网络、树状结构或分层网络等等。在一些方面中,每个客户端(例如,计算设备102、104和106)和服务器(例如,服务器110)之间的通信可以经由虚拟专用网络(VPN)、安全外壳(SSH)隧道或其他安全网络连接进行。在一些方面中,网络108可以进一步包括公司网络(例如,内联网)和一个或多个无线接入点。
图2示出了图示根据本技术的各个方面的,用于处理语音命令的示例过程200的流程图。过程200的步骤不需要按所示的顺序执行。应当理解,所描绘的顺序是一个或多个示例方法的例示,并且本技术并不意味着限于所呈现的特定顺序或层次。这些步骤可以重新排列,和/或所述步骤中的两个或更多个可以同时执行。将参照图3讨论图2。
在图2的框205中,从计算设备(例如,计算设备102)接收语音输入数据。语音输入数据可以包括例如在计算设备102处记录的原始音频文件、基于原始音频文件处理的词、计算设备102的位置、时间戳等。用户可以在计算设备102附近说出用于执行任务的语音输入。计算设备102可以总是监听语音输入并且可以检测通过计算设备102的麦克风输入的语音。例如,用户可以希望规划旅行,并且可以在计算设备102附近陈述“I want to plan a trip(我想规划旅行)”。计算设备102可以记录该语音输入(例如,“I want to plan a trip”)以创建原始音频文件并且将包括该原始音频文件的语音输入数据发送到服务器110。服务器110可以处理该原始音频文件以通过例如使用话音识别来确定与该音频相对应的词。在一些方面中,计算设备102可以创建语音输入的原始音频文件,并且可以处理该原始音频文件以确定对应的词。所确定的词可以作为文本存储,并且计算设备102可以将语音输入数据发送到服务器110,其中该语音输入数据包括与所确定的词相对应的文本。
在一些情况下,计算设备102可以与基于云的用户账户相关联。如前所述,用户账户可以与诸如电子邮件、社交网络、基于web的应用等的web服务相关联。当用户登录到用户账户时,计算设备102可以访问这些服务。
在一些实施方式中,当检测到用户意图使用语音命令时,计算设备102可以仅处理语音输入。在一些情况下,计算设备102可以不检测语音输入,直到检测到用户意图使用语音命令。使用语音命令的用户意图可以经过通过计算设备102上的按钮或计算设备102上显示的用户元素的用户输入来检测。在其他情况下,计算设备102可以总是监听语音输入。计算设备102可以检测通过计算设备102的麦克风的语音输入,并且可以将该语音输入与触发短语进行比较。该比较可以在计算设备102上完成。替选地,可以将检测到的语音输入发送到服务器110,并且服务器110可以将检测到的语音输入与触发短语进行比较。触发短语可以指示用户正意图使用语音命令。触发短语可以由用户预先确定,并且可以包括计算设备102的名称,诸如“Okay Device(好设备)”。例如,用户可以希望搜索度假地点并且可以在计算设备102附近陈述“Okay device,search vacations spots near me(好设备,搜索我附近的度假地点)”。计算设备102可以通过其麦克风检测短语“Okay Device”。计算设备102可以确定已经检测到触发短语并且开始记录语音输入的其余部分,例如“search vacationsspots near me”。包括语音输入的记录的语音输入数据可以从计算设备102被发送到服务器110。
在图2的框210中,基于语音输入数据来确定意图的任务。在一些实施方式中,在进行到过程200的其余部分之前,服务器110可以通过语音识别来确定语音输入数据与用户相关联。例如,服务器110可以访问与用户账户相关联的用户的样本语音记录,并且比较该样本语音记录和语音输入数据,以确定该语音输入数据与该用户相关联。服务器110可以忽略与用户不关联的语音输入数据。
服务器110可以通过将接收的语音输入数据与用户可用的多个任务进行比较来确定意图的任务。如前所述,语音输入数据可以包括在计算设备102处记录的语音输入的原始音频文件。服务器110可以处理该原始音频文件以确定对应的词。用户可用的多个任务可以存储在索引表中。接收的语音数据与用户可用的多个任务的比较可以通过在索引表中搜索每个确定的词来完成。搜索可以是线性搜索、二分搜索或本领域已知的任何其他搜索方法。在一些情况下,可以基于索引表中的条目与确定的词有多接近来计算置信值。置信值可以指示索引表的条目与确定的词有多接近并且可以基于例如与索引表中的条目的部分匹配的确定的词的数目。服务器110可以确定意图的任务对应于与确定的词匹配的任务。如果用户可用的多个任务中没有任务与所有确定的词匹配,则可以确定索引表中具有最高置信值的任务是意图的任务。
服务器110可以访问来自例如数据存储114的支持的任务的预定列表。支持的任务的列表可以包括服务器110可以识别的任务,并且具有要发送给计算机设备102的对应的指令。每个支持的任务可以与一个或多个服务相关联。在一些情况下,支持的任务列表中的一个或多个任务可能对计算设备102不可用,因为例如计算设备102可以无法访问某些特征或应用。可以通过将支持的任务的列表与用户在计算设备102上可用的多个服务进行比较来确定用户可用的多个任务。用户在计算设备102上可用的多个服务可以包括计算设备102能够通过安装在计算设备102上的应用或者通过与用户账户相关联的web服务来访问的服务。
服务器110可以通过与用户账户相关联的web服务来访问用户可用的任务。例如,用户可用的任务可以涉及打开计算设备102上的可以允许用户查看和编辑文本文档的基于云的文本编辑器。服务器110可以访问与基于云的文本编辑器相关联的用户可用的服务的列表,其可包括例如打开文档、共享文档或用先前保存的模板格式化文档等。在一些实施方式中,用户可以具有安装在计算设备102上的不与用户账户相关联的一个或多个应用。该一个或多个应用可以经由应用编程接口向服务器110传送与其能力相关联的信息,并且服务器110可以将该信息与用户账户相关联地存储在数据存储114中。
在另一个示例中,用户可用的任务可以涉及打开浏览器并导航到不同标签页或窗口中的一个或多个网站。用户可以希望规划旅行,并可在计算设备102附近陈述“I want toplan a trip”。如上所述,服务器110可以接收语音输入数据并处理原始音频文件以通过例如话音识别的使用来确定词。通过比较用户可用的多个任务和一个或多个确定的词,服务器110可以确定意图的任务是规划旅行。如前所述,服务器110可以在包括用户可用的多个任务的索引表中搜索一个或多个确定的词中的每一个,并且确定多个任务中的每一个的置信值。服务器110可以确定意图的任务可以是索引表中的具有最高置信值的条目。意图的任务可以与要访问的多个服务相关联,例如,与规划旅行有关的任务可以与航班预订网站、旅馆预约网站和一般搜索网站相关联。计算设备102可以通过为每个网站打开标签页或者开始与每个网站相关联的应用来访问这些网站。
在图2的框215中,可以获得与意图的任务有关的场境信息。场境信息可以是与意图的任务相关联的任何信息。在一些情况下,可以从用户获得场境信息。服务器110可以确定可以需要来自用户的附加信息来完成意图的任务。服务器110可以提供对与意图的任务相关联的信息的请求以用于传输到计算设备102。计算设备102可以显示对信息的请求。替选地,计算设备102可以提供与对信息的请求相对应的音频反馈(例如,通过扬声器或音频输出连接)。音频反馈可以在对信息的请求上使用文本转话音算法来提供。用户可以通过计算设备102上的第二语音输入或其他用户输入来响应对信息的请求。其他用户输入可以包括按压或触摸与对信息的请求的回答相对应的用户界面元素。计算设备102可以将用户输入数据发送到服务器110。
例如,用户可以希望规划旅行,并且可以在计算设备102附近陈述“I want toplan a trip”。如上所述,服务器110可以确定意图的任务正在规划旅行。服务器110可以进一步确定可以需要额外的信息来执行规划旅行的任务。这可以基于用户的历史活动来确定。在一些方面中,服务器110可以在接收到语音输入之后访问用户采取的先前的动作。服务器110可以提供对与意图的任务相关联的信息的请求用于传输到计算设备102。计算设备102可以通过使用文本转话音算法来提供与关于意图的旅行目的地的后续问题相对应的音频反馈。计算设备102的用户可以通过陈述“I want to go to Paris(我想去巴黎)”来响应后续问题。包括与用户响应有关的信息的用户输入数据可以被计算设备102捕获。计算设备102可以将用户输入数据发送到服务器110。
在一些方面中,场境信息可以是社交图信息、用户历史活动等。社交图信息可以是与描绘社交网络服务中的用户间的个人关系的图相关联的信息。服务器110可以访问来自与用户账户相关联的社交网络服务的社交图信息。社交图信息的示例包括联系人信息、联系程度(degrees of contact)或与用户的社交图中的其他用户的行为有关的信息。与用户相关联的联系人信息可以是联系用户必需的信息。例如,联系人信息可以包括手机号码、电子邮件地址、其他通信服务的用户标识等。与联系程度相关联的信息可以指示在社交图中一个用户与另一个用户有多接近。
当与意图的任务相关联的至少一个服务需要社交图信息时,社交图信息可以与意图的任务有关。与意图的任务相关联的多个服务可以包括使用联系人信息与社交网络的一个或多个用户进行通信。作为示例,当意图的任务涉及与第二用户交互时,服务器110可以搜索第二用户的联系人信息。用户可以希望与第二用户一起在项目上工作,并且可以在计算设备102附近陈述“I want to work on an essay with Bob(我想与Bob一起写文章)”。服务器110可以接收与第一语音输入相关联的语音输入数据,“I want to work on anessay with Bob”,并确定意图的任务是“work on an essay with[Contac](与[联系人]一起写文章)”。服务器110可以访问与用户相关联的社交图信息并搜索Bob的联系人信息。Bob的联系人信息可以被用来开始的在用户和Bob之间经由例如消息收发服务的通信。另外,Bob的联系人信息可以用于在可由Bob编辑的基于云的文本编辑器上开始新的文档。
用户历史活动可以是与意图的任务相关联的过去的用户活动并且可以与用户账户相关联。服务器110可以与意图的任务相关联地存储先前访问的服务的类型以及先前访问服务的顺序。服务器110可以基于服务的名称或由服务提供的内容来确定当前正被访问的服务与意图的任务相关联,并且与意图的任务相关联地存储用户活动。例如,用户可以正在浏览互联网来规划旅行。用户可以首先访问航班预订网站。用户可以预订航班,并且然后访问酒店预约网站来预约房间。可以与意图的任务相关联地存储用户访问的特定网站以及访问该网站的顺序。
在框220中,可以基于意图的任务和获得的场境信息来确定要在计算设备102处访问的多个服务。如前所述,服务器110可以能够访问计算设备102上的用户可用的多个任务的列表。用户可用的多个任务的列表可以通过访问关于与用户账户相关联的web服务的特征的信息来创建或者可以通过例如应用编程接口(API)来从安装在计算设备102上的应用获得。服务器110可以基于上述方法来在多个任务的列表当中选择意图的任务。意图的任务可以与要访问的预定义的多个服务相关联。服务器110可以使用场境信息来定制要访问的多个服务。例如,服务器110可以使用场境信息来发起服务的特征、选择与意图的任务相关联的多个服务的子集、确定访问和显示多个服务的顺序等。
场境信息可以用于发起服务的特征。一些服务可以需要发起一些信息,并且可以利用场境信息来提供所需的信息。如上所述,一些任务可以需要社交图信息。例如,当意图的任务涉及与第二用户交互时,与意图的任务相关联的一个服务可以是与第二用户的视频通话。服务器110可以根据场境信息确定第二用户的联系人信息。服务器110可以向计算设备102发送与和第二用户视频通话相关联的指令以用于在计算设备102处执行。
服务器110可以基于用户历史活动和社交图信息来对与意图的任务相关联的多个服务进行排名。服务器110可以基于针对与意图的任务相关联的多个服务中的每一个的所计算的分值来对多个服务进行排名。该分值可以通过用户历史活动和社交图信息的加权值来确定。一个示例计算可以处于下面提供的格式:
其中每个fn是与用户历史活动或社交图信息相关联的因子,并且每个wn是指派给因子的权重。与历史活动相关联的因子可以是与意图的任务相关联的用户进行的先前的活动。用户进行的先前的活动的示例可以是例如服务被访问的次数、服务器110提供的服务未被用户使用的次数、或者针对给定任务访问的服务的次序。服务器110可以具有每次访问服务时递增的计数器。与计数器相关联的数字可以被用作因子之一的值。在另一个示例中,如下面进一步讨论的,服务器110可以跟踪用户选择使用不同服务而不是服务器110提供的服务的次数。与社交图信息相关联的因子可以是在社交图中用户的联系人在关于某个服务发帖的次数。在一些情况下,将对与用户更密切有关的联系人所共享的帖子给予更大的权重。连接的程度可以由用户与联系人之间的连接类型或者用户与联系人之间的共享连接的数目来确定。虽然公开了基于加权和来计算相关性分值的方法,但也可以使用其他计算,诸如加权积模型。
基于针对与意图的任务相关联的多个服务中的每一个服务的所计算的相关性分值,服务器110可以选择与意图的任务相关联的多个服务的子集。例如,意图的任务可以是查看最新消息。服务器110可以获得与意图的任务有关的场境信息,诸如最流行的新闻站点。服务器110可以访问包括与新闻有关的最常访问的用户网站的用户历史活动。在一些情况下,服务器110可以接收社交图信息,该社交图信息可以包括用户的社交图中的人共享的新闻文章。社交图信息还可以包括关于联系程度的信息。意图的任务可以与要在计算设备102处执行的多个服务相关联。特别地,意图的任务可以与要打开的多个新闻网站相关联。服务器110可以基于各个因子——诸如用户访问新闻网站的频率以及新闻网站是否已经被用户的社交图中的联系人共享——来确定多个新闻网站的子集。由与用户更亲近的联系人(与社交网络中的用户具有更多数目共享连接的联系人)共享的或者更频繁地共享的新闻网站可以被给予更大的权重。服务器110可以选择预定数目的网站来打开。
在一些方面中,服务器110可以通过基于场境信息对多个服务进行排名来确定在计算设备上显示或访问多个服务的顺序。可以基于用户历史活动来确定排名,其中用户历史活动可以包括关于与意图的任务相关联地访问的服务次序的信息。所述服务可以按照其相应的排名的顺序显示。在一些情况下,服务可以被分类为多个类型的服务,并且服务器110可以确定显示在多个类型的服务中的每一个中的具有最高排名的服务。例如,意图的任务可以是规划旅行。服务器110可以获得与规划旅行有关的场境信息。这可以涉及访问用户历史活动。特别地,服务器110可以确定最频繁访问的旅行规划网站。服务器110可以确定要在计算设备102处访问的多个服务与三个不同类型的网站相关联。服务器102可以对与意图的任务相关联的所有网站进行排名,并且选择第一类型网站当中排名最高的网站、第二类型网站当中排名最高的网站以及第三类型网站当中排名最高的网站。计算设备102可以通过打开三个不同的标签页来访问这三个网站,其中三个标签页中的每一个都在访问网站。基于用户历史活动,服务器110可以确定要打开的标签页的顺序和数目。在一些情况下,服务器110可以确定要显示的标签页的位置。第一服务可以与航班预订网站相关联,第二服务可以与旅馆预约网站相关联,并且第三服务可以与基于与目的地有关的搜索查询的搜索结果页面相关联。显示在用户界面上的标签页的顺序可以对应于与意图的任务有关的过去用户活动的次序。
在框225中,提供与多个服务相关联的指令以用于传输到计算设备102以供在计算设备102处执行。图3示出了在框225中可作为由服务器110提供的指令的结果显示的示例界面。更具体地,图3示出了在计算设备102的屏幕上显示的界面305。界面305包括标签页310、315和320。
基于来自服务器110的指令,计算设备102可以显示具有标签页310、315和320的界面305。与要访问的多个服务相关联的指令可以包括打开多个标签页的指令,其中多个标签页中的每一个访问与多个服务中的相应服务相关联的网站。例如,标签页310可以显示航班预订网站,标签页315可以显示旅馆预约网站,并且标签页320可以是关于根据搜索查询生成的目的地的一般信息。特定网站和呈现标签页的顺序可以基于用户历史活动和社交图信息。虽然与打开多个标签页相关联地描述了要在计算设备102处访问的多个服务,但是访问多个服务不限于打开标签页。在一些实例中,访问多个服务可以与打开一个或多个新浏览器窗口或打开安装在计算设备102上的一个或多个应用相关联。与要访问的多个服务相关联的指令可以包括打开多个应用的指令,其中多个应用中的每一个对应于多个服务中的相应服务。
在一个或多个实施方式中,过程200可以与用户改变用户的信用卡信息相关联。例如,由于例如期满日期的改变,用户可能需要在一个或多个网站上更新该用户的信用卡信息。用户可以在计算设备102附近陈述“I want to change my credit card information(我想改变我的信用卡信息)”。计算设备102可以捕获如上所述的语音输入并且向服务器110发送语音输入数据。在框205中,服务器110可以接收语音输入数据,并且在框210中,服务器110可以确定意图的任务。意图的任务可以是更新用户的信用卡信息,并且可以通过将语音输入数据与如上所述的用户可用的多个任务进行比较来确定。在框215中,服务器110可以获得与意图的任务有关的场境信息。在这个示例中,服务器110可以获得用户历史活动。用户历史活动可以包括用户的过去浏览历史以及购物网站的用户账户。在框220中,服务器110可以基于意图的任务和获得的场境信息来确定要在计算设备105上访问的多个服务。例如,服务器110可以基于意图的任务和场境信息来确定要访问的多个网站,其中每个标签页可以对应于可以包括用户的信用卡信息的网站。在框225中,服务器110可以提供与多个服务相关联的指令以用于传输到计算设备并用于在计算设备102处执行。计算设备102可以使用标签页310、315和320来显示界面305,其中每个标签页对应于与改变信用卡信息相关联的页面。通过这个过程,用户可以快速访问多个网站来更新该用户的信用卡。
在一些方面中,服务器110可以从计算设备102接收用户反馈数据。用户反馈数据可以包括在服务器110向计算设备102提供指令之后在预定时间阈值内检测到的与计算设备102的任何用户交互。服务器110可以确定当用户访问不同的服务时用户不意图访问多个服务。如果计算设备102不响应于语音输入而执行用户意图的任务,则用户可以在与多个服务相关联的指令被提供用于传输到计算设备102之后不久与计算设备102交互。可以与用户历史活动相关联地存储语音输入数据、意图的任务、用户反馈数据以及多个服务不是用户所意图的确定。该信息可以在下一次从计算设备102接收到语音输入数据时被访问。
例如,意图的任务可以是规划旅行。使用上述方法,服务器110可以提供与第一多个服务相关联的指令以用于传输到计算设备102并用于在计算设备102处执行。第一服务可以与第一航班预订网站相关联,第二服务可以与旅馆预约网站相关联,并且第三服务可以与基于与目的地有关的搜索查询的搜索结果页面相关联。服务器110可以检测到计算设备102正在访问不同的服务,例如,第二航班预订网站。基于这个信息,服务器可以确定用户不意图访问第一航班预订网站。服务器110可以存储与语音输入数据、意图的任务、用户反馈数据以及多个服务不是用户所意图的确定相关联的信息。下次服务器确定意图的任务正在规划旅行时,服务器110可以访问所存储的信息以确定要在计算设备处访问的第二多个服务,其中第二多个服务包括第二航班预订网站。
图4概念性地示出了可以实现本技术的一些实施方式的示例电子系统。电子系统400可以是计算机、电话、PDA或任何其他类型的电子设备。这样的电子系统包括各个类型的计算机可读介质和针对各个其他类型的计算机可读介质的接口。电子系统400包括总线408、处理单元412、系统存储器404、只读存储器(ROM)410、持久性存储设备402、输入设备接口414、输出设备接口406以及网络接口416。
总线408共同表示通信地连接电子系统400的多个内部设备的所有系统、外围设备和芯片组总线。例如,总线408将处理单元412与ROM 410、系统存储器404以及持久性存储设备402通信地连接。
处理单元412从这些各个存储器单元中检索要执行的指令和要处理的数据以执行本公开的过程。在不同的实施方式中处理单元可以是单个处理器或多核处理器。
ROM410存储处理单元412和电子系统的其他模块所需的静态数据和指令。另一方面持久性存储设备402是读写存储器设备。该设备是非易失性存储器单元,其即使当电子系统400关闭时也存储指令和数据。本公开的一些实施方式使用大容量存储设备(例如,磁盘或光盘及其对应的磁盘驱动器)作为持久性存储设备402。
其他实施方式使用可移动存储设备(例如,软盘、闪速驱动器及其对应的磁盘驱动器)作为持久性存储设备402。与持久性存储设备402相似,系统存储器404是读写存储器设备。然而,与存储设备402不同,系统存储器404是易失性读写存储器,诸如随机存取存储器。系统存储器404存储处理器在运行时需要的一些指令和数据。在一些实施方式中,本公开的过程存储在系统存储器404、持久性存储设备402或ROM 410中。例如,根据一些实施方式,各个存储器单元包括显示网页、处理向网页的用户录入以及生成URL的指令。处理单元412从这些各个存储器单元中检索要执行的指令和要处理的数据,以便执行一些实施方式的过程。
总线408还连接到输入和输出设备接口414和406。输入设备接口414使得用户能够向电子系统传送信息和选择命令。与输入设备接口414一起使用的输入设备包括例如字母数字键盘和指示设备(也称为“光标控制设备”)。输出设备接口406例如使得能够显示由电子系统400生成的图像。与输出设备接口406一起使用的输出设备包括例如打印机和显示设备,例如,阴极射线管(CRT)或液晶显示器(LCD)。一些实施方式包括设备,例如用作输入和输出设备的触摸屏。
最后,如图4所示,总线408还通过网络接口416将电子系统400耦合到网络(未示出)。以这种方式,计算机可以是计算机网络(例如,局域网(LAN)、广域网(WAN)或内联网或网络的网络——例如互联网——)的一部分。电子系统400的任何或全部组件可以与本公开结合使用。
许多上述特征和应用被实现为被指定为记录在计算机可读存储介质(也被称为计算机可读介质)上的指令集的软件过程。当这些指令由一个或多个处理单元(例如,一个或多个处理器、处理器的内核或其他处理单元)执行时,它们使得处理单元执行在指令中指示的动作。计算机可读介质的示例包括但不限于CD-ROM、闪速驱动器、RAM芯片、硬盘驱动器、EPROM等。计算机可读介质不包括无线或经有线连接传递的载波和电子信号。
在本说明书中,术语“软件”意在包括驻留在只读存储器中的固件或存储在磁存储器中的应用,其可以被读入存储器以供处理器处理。而且,在一些实施方式中,本公开的多个软件方面可以被实现为较大程序的子部分,同时保持本公开的不同软件方面。在一些实施方式中,多个软件方面也可以被实现为单独的程序。最后,一起实现这里描述的软件方面的单独程序的任何组合都在本公开的范围内。在一些实施方式中,软件程序当被安装以在一个或多个电子系统上操作时限定执行和实施软件程序的操作的一个或多个特定机器实施方式。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言来编写,包括编译或解释语言、声明性或过程性语言,并且其可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序、对象或适用于计算环境的其他单元。计算机程序可以但不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或者存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点或跨多个站点分布并通过通信网络互连的多个计算机上执行。
上述这些功能可以用数字电子电路、计算机软件、固件或硬件来实现。这些技术可以使用一个或多个计算机程序产品来实现。可编程处理器和计算机可以包括在移动设备中或封装为移动设备。过程和逻辑流程可以由一个或多个可编程处理器以及一个或多个可编程逻辑电路来执行。通用和专用计算设备和存储设备可以通过通信网络互连。
一些实施方式包括电子组件,例如,微处理器、存储和存储器,其将计算机程序指令存储在机器可读或计算机可读介质(替选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)中。这样的计算机可读介质的一些示例包括RAM、ROM、只读压缩盘(CD-ROM)、可记录压缩盘(CD-R)、可重写压缩盘(CD-RW)、只读数字通用盘(例如,DVD-ROM、双层DVD-ROM)、各个可记录/可重写DVD(例如,DVD-RAM、DVD-RW、DVD+RW等)、闪存(例如,SD卡、迷你SD卡、微型SD卡等)、磁性或固态硬盘驱动器、只读和可记录盘、超高密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可以存储可由至少一个处理单元执行,并且包括用于执行各个操作的指令集合的计算机程序。计算机程序或计算机代码的示例包括例如由编译器生成的机器代码,以及包括由计算机、电子组件或微处理器使用解释器执行的更高级代码的文件。
虽然以上讨论主要涉及执行软件的微处理器或多内核处理器,但是一些实施方式由一个或多个集成电路——例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)——来执行。在一些实施方式中,这样的集成电路执行存储在电路自身上的指令。
如在本说明书和本申请的任何权利要求中所使用的,术语“计算机”、“服务器”、“处理器”和“存储器”全部指代电子或其他技术的设备。这些术语不包括人或人群。为了说明的目的,术语显示意指显示在电子设备上。如在本说明书和本申请的任何权利要求中所使用的,术语“计算机可读介质”完全限于以计算机可读形式存储信息的有形的物理对象。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂信号。
为了提供与用户的交互,本说明书中描述的主题的实施方式可以在具有以下的计算机上实现:用于向用户显示信息的显示设备——例如阴极射线管(CRT)或液晶显示器(LCD)监视器以及用户可以通过其向计算机提供输入的键盘和指示设备——例如鼠标或轨迹球。其他类型的设备也可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感官反馈,例如,视觉反馈、听觉反馈或触觉反馈;并且可以以任何形式接收来自用户的输入,包括声音、语音或触觉输入。此外,计算机可以通过向用户使用的设备发送文档和从该设备接收文档来与用户交互;例如通过响应于从web浏览器接收的请求,将网页发送到用户的客户端设备上的web浏览器。
本说明书中所描述的主题的实施例可以在包括后端组件——例如作为数据服务器,或者包括中间件组件——例如作为应用服务器,或者包括前端组件——例如具有用户可以通过其与本说明书中描述的主题的实施方式交互的图形用户界面或web浏览器的客户端计算机,或者一个或多个这样的后端、中间件或者前端组件的任何组合的计算系统中实现。系统的组件可以通过数字数据通信的任何形式或介质——例如通信网络——互连。通信网络的示例包括局域网(LAN)和广域网(WAN)、互连网络(例如,互联网)和对等网络(例如,点对点对等网络)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过运行在各个计算机上并且彼此具有客户端-服务器关系的计算机程序产生。在一些实施例中,服务器向客户端设备发送数据(例如,HTML页面)(例如,用于向与客户端设备交互的用户显示数据和从该用户接收用户输入的目的)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如,用户交互的结果)。
应该理解,所公开的过程中的步骤的任何特定顺序或层次是示例方法的图示。基于设计偏好,应该理解,可以重新排列过程中步骤的特定顺序或层次,或者执行所有示出的步骤。一些步骤可以同时执行。例如,在某些情况下,多任务和并行处理可以是有利的。此外,上述实施例中的各个系统组件的分离不应当被理解为在所有实施例中都需要这样的分离,并且应该理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。
提供之前的描述是为了使得本领域的任何技术人员能够实践在此描述的各个方面。这些方面的各个修改对于本领域技术人员来说将是显而易见的,并且这里定义的一般原理可以应用于其它方面。因此,权利要求并不旨在限于本文所示的方面,而是要符合与语言权利要求相一致的全部范围,其中除非特别指出,以单数形式引用要素并非意在表示“一个且仅有一个”,而是“一个或多个”。除非另外特别指出,否则术语“一些”是指一个或多个。男性(例如他的)的代词包括女性和中性(例如她和她的),反之亦然。标题和子标题(如果有)只是为了方便而使用,并不限制主题的公开。
诸如“方面”的短语并不暗示这样的方面对主题技术是必不可少的,或者这样的方面适用于主题技术的所有配置。涉及方面的公开可以适用于所有配置或一个或多个配置。诸如方面的短语可以指代一个或多个方面,反之亦然。诸如“配置”的短语并不暗示这样的配置对主题技术是必不可少的,或者这种配置适用于主题技术的所有配置。涉及配置的公开可以应用于所有配置或一个或多个配置。诸如配置的短语可以指代一个或多个配置,反之亦然。
Claims (20)
1.一种计算机实现的方法,包括:
从计算设备接收语音输入数据;
基于所接收的语音输入数据来确定意图的任务;
获得与所述意图的任务有关的场境信息;
基于所述意图的任务和所获得的场境信息来确定要在所述计算设备处访问的多个服务;以及
提供与所述多个服务相关联的指令以用于传输到所述计算设备和用于在所述计算设备处执行。
2.根据权利要求1所述的方法,其中,确定所述意图的任务包括:
将所接收的语音输入数据与用户可用的多个任务进行比较;以及
基于所接收的语音输入数据与所述用户可用的所述多个任务的比较,从所述用户可用的所述多个任务中选择一任务以作为所述意图的任务。
3.根据权利要求1所述的方法,其中,获得与所述意图的任务有关的场境信息包括:
提供对与所述意图的任务相关联的信息的请求以用于传输到所述计算设备;以及
从所述计算设备接收响应于所述请求的用户输入数据,其中,所述场境信息包括所接收的用户输入数据。
4.根据权利要求1所述的方法,其中,所述场境信息包括社交图信息,并且其中,要访问的所述多个服务是基于所述社交图信息来确定的。
5.根据权利要求4所述的方法,其中,所述社交图信息包括来自社交网络的联系人信息,并且其中,要访问的所述多个服务包括使用所述联系人信息与所述社交网络的一个或多个用户进行通信。
6.根据权利要求1所述的方法,其中,所述场境信息包括用户历史活动,并且其中,确定要访问的所述多个服务是基于所述用户历史活动的。
7.根据权利要求6所述的方法,进一步包括:
从所述计算设备接收用户反馈数据;
基于所述用户反馈数据来确定所述多个服务不是所述用户所意图的;以及
与所述用户历史活动相关联地存储所述语音输入数据、所述意图的任务、所述用户反馈数据以及所述多个服务不是所述用户所意图的确定。
8.根据权利要求1所述的方法,其中,与要访问的所述多个服务相关联的指令包括打开多个标签页的指令,并且其中,所述多个标签页中的每一个访问与所述多个服务中的相应服务相关联的网站。
9.根据权利要求1所述的方法,其中,与要访问的所述多个服务相关联的指令包括打开多个应用的指令,并且其中,所述多个应用中的每一个对应于所述多个服务中的相应服务。
10.根据权利要求1所述的方法,进一步包括:
基于所述场境信息来对所述多个服务进行排名,
其中,与所述多个服务相关联的指令包括基于所述排名来在所述计算设备上排列所述多个服务的显示的指令。
11.根据权利要求1所述的方法,进一步包括:
基于至少第一加权值和第二加权值计算与所述意图的任务相关联的所述多个服务中的每一个的相关性分值,所述加权值中的每一个与所述场境信息相关联,
其中确定所述多个服务包括基于所计算的相关性分值来选择与所述意图的任务相关联的所述多个服务的子集。
12.一种系统,包括:
一个或多个处理器;以及
非暂时性计算机可读介质,所述非暂时性计算机可读介质包括存储在其中的指令,所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
从计算设备接收语音输入数据;
基于所接收的语音输入数据来确定意图的任务;
获得与所述意图的任务有关的场境信息,所述场境信息包括社交图信息;
基于所述意图的任务和所获得的场境信息来确定要在所述计算设备处访问的多个服务;以及
提供与所述多个服务相关联的指令以用于传输到所述计算设备和用于在所述计算设备处执行。
13.根据权利要求12所述的系统,其中,确定所述意图的任务包括:
将所接收的语音输入数据与用户可用的多个任务进行比较;以及
基于所接收的语音输入数据与所述用户可用的多个任务的比较,从所述用户可用的所述多个任务中一选择任务以作为所述意图的任务。
14.根据权利要求12所述的系统,其中,获得与所述意图的任务有关的场境信息包括:
提供对与所述意图的任务相关联的信息的请求以用于传输到所述计算设备;以及
从所述计算设备接收响应于所述请求的用户输入数据,其中,所述场境信息包括所接收的用户输入数据。
15.根据权利要求12所述的系统,其中,所述场境信息包括用户历史活动,并且其中,确定要访问的所述多个服务是基于所述用户历史活动的。
16.根据权利要求14所述的系统,所述操作进一步包括:
从所述计算设备接收用户反馈数据;
基于所述用户反馈数据来确定所述多个服务不是所述用户所意图的;以及
与所述用户历史活动相关联地存储所述语音输入数据、所述意图的任务、所述用户反馈数据以及所述多个服务不是所述用户所意图的确定。
17.根据权利要求12所述的系统,所述操作进一步包括:
基于所述场境信息来对所述多个服务进行排名,
其中,与所述多个服务相关联的指令包括基于所述排名来在所述计算设备上排列所述多个服务的显示的指令。
18.一种非暂时性机器可读介质,包括存储在其中的指令,所述指令在由机器执行时使得所述机器执行操作,所述操作包括:
从计算设备接收语音输入数据;
基于所接收的语音输入数据来确定意图的任务;
获得与所述意图的任务有关的场境信息;
基于所述意图的任务和所获得的场境信息来确定要打开的多个标签页;以及
提供与打开所确定的多个标签页相关联的指令以用于传输到所述计算设备以供在所述计算设备处执行。
19.根据权利要求18所述的非暂时性机器可读介质,其中,确定所述意图的任务包括:
将所接收的语音输入数据与用户可用的多个任务进行比较;以及
基于所接收的语音输入数据与所述用户可用的所述多个任务的比较,从所述用户可用的所述多个任务中选择一任务以作为所述意图的任务。
20.根据权利要求18所述的非暂时性机器可读介质,还包括:
基于所述场境信息来对所述多个服务进行排名,
其中,与要打开的所述多个标签页相关联的指令包括基于所述排名来在所述计算设备上排列所述多个标签页的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/882,353 US10891106B2 (en) | 2015-10-13 | 2015-10-13 | Automatic batch voice commands |
US14/882,353 | 2015-10-13 | ||
PCT/US2016/054524 WO2017065985A1 (en) | 2015-10-13 | 2016-09-29 | Automatic batch voice commands |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107850992A true CN107850992A (zh) | 2018-03-27 |
Family
ID=57133436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680041581.0A Pending CN107850992A (zh) | 2015-10-13 | 2016-09-29 | 自动批量语音命令 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10891106B2 (zh) |
EP (1) | EP3362885A1 (zh) |
CN (1) | CN107850992A (zh) |
WO (1) | WO2017065985A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111048078A (zh) * | 2018-10-15 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 语音复合指令处理方法和系统及语音处理设备和介质 |
WO2023241454A1 (zh) * | 2022-06-13 | 2023-12-21 | 华为技术有限公司 | 语音控制方法、装置及设备 |
Families Citing this family (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
DE112014000709B4 (de) | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11076039B2 (en) | 2018-06-03 | 2021-07-27 | Apple Inc. | Accelerated task performance |
US11281439B2 (en) * | 2018-07-25 | 2022-03-22 | Avaya Inc. | System and method for creating a contextualized after call workflow |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
CN109857791B (zh) * | 2018-11-20 | 2023-12-08 | 成都材智科技有限公司 | 一种数据批量处理方法与装置 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
WO2021071115A1 (en) * | 2019-10-07 | 2021-04-15 | Samsung Electronics Co., Ltd. | Electronic device for processing user utterance and method of operating same |
US11605385B2 (en) * | 2019-10-31 | 2023-03-14 | International Business Machines Corporation | Project issue tracking via automated voice recognition |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11810578B2 (en) | 2020-05-11 | 2023-11-07 | Apple Inc. | Device arbitration for digital assistant-based intercom systems |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11978445B1 (en) * | 2021-03-30 | 2024-05-07 | Amazon Technologies, Inc. | Confidence scoring for selecting tones and text of voice browsing conversations |
US11776542B1 (en) | 2021-03-30 | 2023-10-03 | Amazon Technologies, Inc. | Selecting dialog acts using controlled randomness and offline optimization |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080228496A1 (en) * | 2007-03-15 | 2008-09-18 | Microsoft Corporation | Speech-centric multimodal user interface design in mobile technology |
CN101782909A (zh) * | 2009-01-19 | 2010-07-21 | 杨云国 | 基于用户操作意图的搜索引擎 |
CN102739869A (zh) * | 2012-06-26 | 2012-10-17 | 华为终端有限公司 | 语音查找目标联系人的信息的方法及终端 |
US20130006991A1 (en) * | 2011-06-28 | 2013-01-03 | Toru Nagano | Information processing apparatus, method and program for determining weight of each feature in subjective hierarchical clustering |
CN103003874A (zh) * | 2010-05-06 | 2013-03-27 | 索尼移动通讯有限公司 | 基于语言属性到联系人条目的分配而提供文本服务 |
CN103064945A (zh) * | 2012-12-26 | 2013-04-24 | 吉林大学 | 基于本体的情境搜索方法 |
CN103870000A (zh) * | 2012-12-11 | 2014-06-18 | 百度国际科技(深圳)有限公司 | 一种对输入法所产生的候选项进行排序的方法及装置 |
CN103888803A (zh) * | 2014-02-25 | 2014-06-25 | 四川长虹电器股份有限公司 | 用电视节目语音控制广告插播的方法和系统 |
CN104050967A (zh) * | 2013-03-14 | 2014-09-17 | 本田技研工业株式会社 | 语音接口系统和方法 |
CN104063454A (zh) * | 2014-06-24 | 2014-09-24 | 北京奇虎科技有限公司 | 一种挖掘用户需求的搜索推送方法和装置 |
CN104427109A (zh) * | 2013-08-30 | 2015-03-18 | 联想(北京)有限公司 | 使用语音创建联系人项的方法及电子设备 |
CN104702758A (zh) * | 2013-12-05 | 2015-06-10 | 中兴通讯股份有限公司 | 一种终端及其管理多媒体记事本的方法 |
US20150199965A1 (en) * | 2014-01-16 | 2015-07-16 | CloudCar Inc. | System and method for recognition and automatic correction of voice commands |
US20150254058A1 (en) * | 2014-03-04 | 2015-09-10 | Microsoft Technology Licensing, Llc | Voice control shortcuts |
CN107483698A (zh) * | 2017-09-05 | 2017-12-15 | 北京珠穆朗玛移动通信有限公司 | 一种联系人管理方法、移动终端及存储介质 |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE365944T1 (de) | 1999-10-26 | 2007-07-15 | Iontas Ltd | Überwachung von rechnerbenutzung |
US20060074658A1 (en) * | 2004-10-01 | 2006-04-06 | Siemens Information And Communication Mobile, Llc | Systems and methods for hands-free voice-activated devices |
US20060248471A1 (en) | 2005-04-29 | 2006-11-02 | Microsoft Corporation | System and method for providing a window management mode |
US7454352B2 (en) * | 2005-05-20 | 2008-11-18 | General Motors Corporation | Method and system for eliminating redundant voice recognition feedback |
US7757234B2 (en) | 2005-10-24 | 2010-07-13 | Sap Aktiengesellschaft | Methods and software for a batch processing framework for wizard-based processes |
US9436951B1 (en) * | 2007-08-22 | 2016-09-06 | Amazon Technologies, Inc. | Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof |
WO2008081946A1 (ja) | 2006-12-28 | 2008-07-10 | Kyocera Corporation | 携帯情報端末 |
US8862475B2 (en) * | 2007-04-12 | 2014-10-14 | Nuance Communications, Inc. | Speech-enabled content navigation and control of a distributed multimodal browser |
US9053489B2 (en) * | 2007-08-22 | 2015-06-09 | Canyon Ip Holdings Llc | Facilitating presentation of ads relating to words of a message |
US8296377B1 (en) * | 2007-08-22 | 2012-10-23 | Canyon IP Holdings, LLC. | Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof |
US8510743B2 (en) | 2007-10-31 | 2013-08-13 | Google Inc. | Terminating computer applications |
US20090241044A1 (en) | 2008-03-18 | 2009-09-24 | Cuill, Inc. | Apparatus and method for displaying search results using stacks |
US8479105B2 (en) | 2008-03-24 | 2013-07-02 | International Business Machines Corporation | Managing graphical user interface objects in a computing environment |
US9251281B2 (en) * | 2008-07-29 | 2016-02-02 | International Business Machines Corporation | Web browsing using placemarks and contextual relationships in a data processing system |
US8174498B2 (en) | 2008-10-17 | 2012-05-08 | Research In Motion Corporation | Multi-directional navigation between focus points on a display |
US8291261B2 (en) | 2008-11-05 | 2012-10-16 | Vulcan Technologies Llc | Lightweight application-level runtime state save-and-restore utility |
EP2224351A1 (en) * | 2009-02-26 | 2010-09-01 | Telefonaktiebolaget L M Ericsson (publ) | method for use in association with a multi-tab interpretation and rendering function |
US8489515B2 (en) * | 2009-05-08 | 2013-07-16 | Comcast Interactive Media, LLC. | Social network based recommendation method and system |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
US9110568B2 (en) * | 2009-10-13 | 2015-08-18 | Google Inc. | Browser tab management |
US8738377B2 (en) * | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
WO2011163538A1 (en) * | 2010-06-24 | 2011-12-29 | Honda Motor Co., Ltd. | Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system |
EP2609488A4 (en) | 2010-08-27 | 2015-03-11 | Intel Corp | APPARATUS AND METHOD FOR PRESSURE ACTIVATION |
US9223611B2 (en) | 2010-12-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Storing and resuming application runtime state |
US8892635B2 (en) | 2011-01-06 | 2014-11-18 | Oracle International Corporation | Techniques for detecting inactive browser windows |
KR101364490B1 (ko) * | 2011-04-22 | 2014-02-20 | 네이버비즈니스플랫폼 주식회사 | 인터넷 광고에 대해 사용자 혜택을 제공함에 따른 프리미엄을 제거하는 광고 제공 시스템 및 방법 |
US20130073568A1 (en) * | 2011-09-21 | 2013-03-21 | Vladimir Federov | Ranking structured objects and actions on a social networking system |
US20130110992A1 (en) * | 2011-10-28 | 2013-05-02 | Research In Motion Limited | Electronic device management using interdomain profile-based inferences |
US10043195B2 (en) * | 2011-12-19 | 2018-08-07 | Eventsq Llc | Content recommendation based on user feedback of content in a networked environment captured using a single action |
US20130226590A1 (en) * | 2012-02-29 | 2013-08-29 | Pantech Co., Ltd. | Voice input apparatus and method |
US20130238326A1 (en) | 2012-03-08 | 2013-09-12 | Lg Electronics Inc. | Apparatus and method for multiple device voice control |
EP2639792A1 (en) * | 2012-03-16 | 2013-09-18 | France Télécom | Voice control of applications by associating user input with action-context idendifier pairs |
US9020825B1 (en) * | 2012-09-25 | 2015-04-28 | Rawles Llc | Voice gestures |
KR20140070040A (ko) | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | 터치스크린 상에 표시되는 복수의 객체들을 관리하는 장치 및 방법 |
US20140189572A1 (en) | 2012-12-31 | 2014-07-03 | Motorola Mobility Llc | Ranking and Display of Results from Applications and Services with Integrated Feedback |
AU2014204252B2 (en) | 2013-01-03 | 2017-12-14 | Meta View, Inc. | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US9165566B2 (en) * | 2013-01-24 | 2015-10-20 | Microsoft Technology Licensing, Llc | Indefinite speech inputs |
US9112984B2 (en) * | 2013-03-12 | 2015-08-18 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
US9361885B2 (en) * | 2013-03-12 | 2016-06-07 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
KR102115397B1 (ko) | 2013-04-01 | 2020-05-26 | 삼성전자주식회사 | 휴대 장치 및 휴대 장치의 재생목록 표시 방법 |
US20140302470A1 (en) | 2013-04-08 | 2014-10-09 | Healthy Connections, Inc | Managing lifestyle resources system and method |
US9626087B2 (en) * | 2013-06-09 | 2017-04-18 | Apple Inc. | Device, method, and graphical user interface for navigating between user interfaces |
KR102163684B1 (ko) | 2013-07-19 | 2020-10-12 | 삼성전자주식회사 | 디바이스의 홈 스크린 구성 방법 및 장치 |
US9615122B2 (en) * | 2014-01-30 | 2017-04-04 | Echostar Technologies L.L.C. | Methods and apparatus to synchronize second screen content with audio/video programming using closed captioning data |
US9837075B2 (en) * | 2014-02-10 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Statistical voice dialog system and method |
US9892096B2 (en) * | 2014-03-06 | 2018-02-13 | International Business Machines Corporation | Contextual hyperlink insertion |
US9288321B2 (en) * | 2014-03-07 | 2016-03-15 | Paypal, Inc. | Interactive voice response interface for webpage navigation |
RU2014111971A (ru) * | 2014-03-28 | 2015-10-10 | Юрий Михайлович Буров | Способ и система голосового интерфейса |
US9971765B2 (en) * | 2014-05-13 | 2018-05-15 | Nuance Communications, Inc. | Revising language model scores based on semantic class hypotheses |
US9881332B2 (en) * | 2014-05-22 | 2018-01-30 | LogoMix, Inc. | Systems and methods for customizing search results and recommendations |
US20160004501A1 (en) * | 2014-07-01 | 2016-01-07 | Honeywell International Inc. | Audio command intent determination system and method |
US20180260081A1 (en) * | 2014-07-30 | 2018-09-13 | Google Inc. | Task switching or task launching based on a ranked list of tasks |
US10338783B2 (en) * | 2014-11-17 | 2019-07-02 | Microsoft Technology Licensing, Llc | Tab sweeping and grouping |
US20160147400A1 (en) * | 2014-11-26 | 2016-05-26 | Microsoft Technology Licensing, Llc | Tab based browser content sharing |
US9939997B2 (en) * | 2014-12-10 | 2018-04-10 | International Business Machines Corporation | Transitioning browser tabs from one environment context to another |
CN107209549B (zh) | 2014-12-11 | 2020-04-17 | 微软技术许可有限责任公司 | 能够实现可动作的消息传送的虚拟助理系统 |
US9971847B2 (en) * | 2016-01-07 | 2018-05-15 | International Business Machines Corporation | Automating browser tab groupings based on the similarity of facial features in images |
-
2015
- 2015-10-13 US US14/882,353 patent/US10891106B2/en active Active
-
2016
- 2016-09-29 EP EP16781623.0A patent/EP3362885A1/en not_active Ceased
- 2016-09-29 WO PCT/US2016/054524 patent/WO2017065985A1/en unknown
- 2016-09-29 CN CN201680041581.0A patent/CN107850992A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080228496A1 (en) * | 2007-03-15 | 2008-09-18 | Microsoft Corporation | Speech-centric multimodal user interface design in mobile technology |
CN101782909A (zh) * | 2009-01-19 | 2010-07-21 | 杨云国 | 基于用户操作意图的搜索引擎 |
CN103003874A (zh) * | 2010-05-06 | 2013-03-27 | 索尼移动通讯有限公司 | 基于语言属性到联系人条目的分配而提供文本服务 |
US20130006991A1 (en) * | 2011-06-28 | 2013-01-03 | Toru Nagano | Information processing apparatus, method and program for determining weight of each feature in subjective hierarchical clustering |
CN102739869A (zh) * | 2012-06-26 | 2012-10-17 | 华为终端有限公司 | 语音查找目标联系人的信息的方法及终端 |
CN103870000A (zh) * | 2012-12-11 | 2014-06-18 | 百度国际科技(深圳)有限公司 | 一种对输入法所产生的候选项进行排序的方法及装置 |
CN103064945A (zh) * | 2012-12-26 | 2013-04-24 | 吉林大学 | 基于本体的情境搜索方法 |
CN104050967A (zh) * | 2013-03-14 | 2014-09-17 | 本田技研工业株式会社 | 语音接口系统和方法 |
CN104427109A (zh) * | 2013-08-30 | 2015-03-18 | 联想(北京)有限公司 | 使用语音创建联系人项的方法及电子设备 |
CN104702758A (zh) * | 2013-12-05 | 2015-06-10 | 中兴通讯股份有限公司 | 一种终端及其管理多媒体记事本的方法 |
US20150199965A1 (en) * | 2014-01-16 | 2015-07-16 | CloudCar Inc. | System and method for recognition and automatic correction of voice commands |
CN103888803A (zh) * | 2014-02-25 | 2014-06-25 | 四川长虹电器股份有限公司 | 用电视节目语音控制广告插播的方法和系统 |
US20150254058A1 (en) * | 2014-03-04 | 2015-09-10 | Microsoft Technology Licensing, Llc | Voice control shortcuts |
CN104063454A (zh) * | 2014-06-24 | 2014-09-24 | 北京奇虎科技有限公司 | 一种挖掘用户需求的搜索推送方法和装置 |
CN107483698A (zh) * | 2017-09-05 | 2017-12-15 | 北京珠穆朗玛移动通信有限公司 | 一种联系人管理方法、移动终端及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111048078A (zh) * | 2018-10-15 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 语音复合指令处理方法和系统及语音处理设备和介质 |
WO2023241454A1 (zh) * | 2022-06-13 | 2023-12-21 | 华为技术有限公司 | 语音控制方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2017065985A1 (en) | 2017-04-20 |
US20170102915A1 (en) | 2017-04-13 |
US10891106B2 (en) | 2021-01-12 |
EP3362885A1 (en) | 2018-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107850992A (zh) | 自动批量语音命令 | |
US11200895B2 (en) | Interaction with a portion of a content item through a virtual assistant | |
US12099558B2 (en) | Method and apparatus for providing content based on user activity | |
US20200351227A1 (en) | Systems and methods for navigating nodes in channel based chatbots using natural language understanding | |
US10446142B2 (en) | Crafting feedback dialogue with a digital assistant | |
US20200410012A1 (en) | Memory Grounded Conversational Reasoning and Question Answering for Assistant Systems | |
CN104981774B (zh) | 背景控制面板配置选择的方法和系统 | |
US11928133B2 (en) | Unit group generation and relationship establishment | |
US9767417B1 (en) | Category predictions for user behavior | |
CN107258071A (zh) | 在即时通讯服务中提供官方账户的丰富的菜单的方法和系统及记录介质 | |
JP7488871B2 (ja) | 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
WO2013184343A1 (en) | Collecting web pages/links from communications and documents for later reading | |
EP4060476A2 (en) | Establishment of audio-based network sessions with non-registered resources | |
WO2018031309A1 (en) | Computerized group task digital assistance | |
US20240187358A1 (en) | Intelligent Assistant Content Generation | |
CN104956356A (zh) | 用于自动地将通信流与在会议期间呈现的文件进行关联的系统和方法 | |
US10387934B1 (en) | Method medium and system for category prediction for a changed shopping mission | |
Georgiadis et al. | Personalization of user interfaces in e-commerce and m-commerce applications | |
CN108604171A (zh) | 辅助计算设备助手 | |
US20160321250A1 (en) | Dynamic content suggestion in sparse traffic environment | |
CN115904141A (zh) | 应用程序的处理方法、装置、终端、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |