CN108958806A - 基于情境确定用于数字助理的响应提示的系统和方法 - Google Patents

基于情境确定用于数字助理的响应提示的系统和方法 Download PDF

Info

Publication number
CN108958806A
CN108958806A CN201810320239.5A CN201810320239A CN108958806A CN 108958806 A CN108958806 A CN 108958806A CN 201810320239 A CN201810320239 A CN 201810320239A CN 108958806 A CN108958806 A CN 108958806A
Authority
CN
China
Prior art keywords
response
prompt
situation
response prompt
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810320239.5A
Other languages
English (en)
Other versions
CN108958806B (zh
Inventor
拉塞尔·斯佩格特·范布恩
阿诺德·S·韦克斯勒
约翰·卡尔·梅谢
纳林·J·彼得森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN108958806A publication Critical patent/CN108958806A/zh
Application granted granted Critical
Publication of CN108958806B publication Critical patent/CN108958806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了基于情境确定用于数字助理的响应提示的系统和方法。在一个方面中，装置包括至少一个处理器以及能够由至少一个处理器访问的存储装置。存储装置承载指令，所述指令能够由至少一个处理器执行以识别至少一个情境并且基于所述至少一个情境动态地确定用于数字助理的响应提示。所述指令还能够由至少一个处理器执行以响应于响应提示的接收来操作数字助理以根据响应提示执行任务。

Description

基于情境确定用于数字助理的响应提示的系统和方法
技术领域
本发明涉及信息处理的技术领域，并且具体地涉及基于情境确定用于数字助理的响应提示的系统和方法。
背景技术
如本文所认识到的，当今技术市场中的许多新兴消费电子装置都配备有数字助理，数字助理可以处理可听用户输入并且基于该用户输入返回输出，例如返回用户提出的问题的答案。然而，用户通常必须首先向数字助理提供预定“唤醒词”以使数字助理然后开始收听随后的需要返回答案的问题或请求。然而，由于许多原因，例如忘记预定唤醒词本身或者忘记提供预定唤醒词却仍然期望对所提出的问题的响应，对用户而言这可能是令人失望的。目前对于上述计算机相关的技术问题还没有妥善的解决方案。
发明内容
因此，在一个方面中，一种装置包括至少一个处理器以及能够由至少一个处理器访问的存储装置。存储装置承载指令，所述指令能够由至少一个处理器执行以识别至少一个情境并且基于所述至少一个情境动态地确定用于数字助理的响应提示。所述指令还能够由至少一个处理器执行以响应于响应提示的接收来操作数字助理以根据响应提示执行任务。
在另一个方面中，一种方法包括：使用装置识别能够用于动态地确定用于个人助理的第一响应提示的至少第一因素；以及使用该装置至少部分地基于第一因素动态地识别第一响应提示。该方法还包括：在该装置处至少部分地基于第一响应提示来激活个人助理以提供响应。
在又一个方面中，一种设备包括第一处理器、网络适配器和承载指令的存储装置。所述指令能够由装置的第二处理器执行用于识别至少一个情境并且基于所述至少一个情境动态地确定用于数字助理的响应提示。所述指令还能够由第二处理器执行用于响应于响应提示的接收来激活数字助理以响应于该响应提示。第一处理器经由网络适配器通过网络将指令递送至装置。
附图说明
参照附图可以最好地理解本原理的细节、关于它们的结构和操作这两方面，在附图中相同的附图标记指代相同的部分，并且在附图中：
图1是根据本原理的示例系统的框图；
图2是根据本原理的装置的示例网络的框图；
图3至图5是根据本原理的示例图示；
图6是根据本原理的示例算法的流程图；以及
图7至图9示出了根据本原理的示例用户界面(UI)。
具体实施方式
关于本文中论述的任何计算机系统，系统可以包括通过网络连接的服务器部件和客户端部件，使得可以在客户端部件与服务器部件之间交换数据。客户端部件可以包括一个或更多个计算装置，包括电视(例如，智能电视、因特网驱动(Internet-enabled)的电视)、诸如台式计算机、膝上型计算机和平板电脑的计算机、所谓的可转换装置(例如，具有平板配置和膝上型配置)以及包括智能电话的其他移动装置。作为非限制性示例，这些客户端装置可以采用来自Apple、Google或Microsoft的操作系统。可以使用Unix或类似的操作系统例如Linux操作系统。这些操作系统可以执行一个或更多个浏览器例如由Microsoft或Google或Mozilla制作的浏览器或者可以通过网络例如因特网、本地内联网或虚拟专用网访问由因特网服务器托管的网页和应用的另一浏览器程序。
如本文所使用的，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以用软件、固件或硬件或其组合来实现，并且包括由系统的部件承担的任何类型的编程步骤；因此，示例性的部件、块、模块、电路和步骤有时根据其功能来阐述。
处理器可以是任何常规的通用单芯片或多芯片处理器，其可以借助于诸如地址线、数据线和控制线的各种线以及寄存器和移位寄存器来执行逻辑。此外，本文中描述的任何逻辑块、模块和电路可以用被设计成执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或诸如专用集成电路(ASIC)、分立门或晶体管逻辑、分立硬件部件的其他可编程逻辑器件或其任意组合来实现或执行。处理器可以由控制器或状态机或计算装置的组合来实现。
借助于本文的流程图和/或用户界面描述的软件模块和/或应用可以包括各种子例程、过程等。在不限制本公开内容的情况下，声明为由特定模块执行的逻辑可以被重新分配给其他软件模块和/或在单个模块中被组合在一起和/或在可共享库中可用。
逻辑当用软件实现时可以用适当的语言例如但不限于C#或C++来编写，并且可以存储在以下上或者通过以下来传输：例如，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置(如数字多功能盘(DVD))、磁盘存储装置或包括可移除拇指驱动器的其他磁存储装置等的计算机可读存储介质(其本身不是暂态传播信号)。
在示例中，处理器可以通过其输入线从诸如计算机可读存储介质的数据存储装置访问信息，和/或处理器可以通过激活无线收发器发送和接收数据从因特网服务器无线地访问信息。数据通常在被接收时由天线与处理器的寄存器之间的电路从模拟信号转换成数字信号，而在被发送时则由天线与处理器的寄存器之间的电路从数字信号转换成模拟信号。处理器然后通过其移位寄存器处理数据，以在输出线上输出所计算的数据，以便将所计算的数据呈现在装置上。
一个实施方式中包括的部件可以在其他实施方式中以任何适当的组合来使用。例如，本文中描述的和/或图中描绘的各种部件中的任何部件可以在其他实施方式中被组合、互换或从其他实施方式中排除。
“具有A、B和C中至少之一的系统”(同样地“具有A、B或C中至少之一的系统”和“具有A、B、C中至少之一的系统”)包括单独具有A的系统、单独具有B的系统、单独具有C的系统、同时具有A和B的系统、同时具有A和C的系统、同时具有B和C的系统和/或同时具有A、B和C的系统等。
术语“电路”或“电路系统”可以用于摘要、说明书和/或权利要求中。如本领域所公知的，术语“电路系统”包括例如从分立逻辑电路到诸如VLSI的最高级别的电路集成的所有级别的可用集成，并且包括被编程成执行实施方式的功能的可编程逻辑部件以及被编程有执行这些功能的指令的通用或专用处理器。
现在具体参照图1，示出了信息处理系统和/或计算机系统100的示例框图，信息处理系统和/或计算机系统100被理解为具有用于下面描述的部件的壳体。注意，在一些实施方式中，系统100可以是台式计算机系统例如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的或系列个人计算机之一，或者可以是工作站计算机，例如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的然而，根据本文的描述显见的，根据本原理的客户端装置、服务器或其他机器可以包括其他特征或系统100的特征中的仅一些特征。此外，系统100可以例如是诸如的游戏控制台，和/或系统100可以包括无线电话、笔记本电脑和/或其他便携式计算机化装置。
如图1所示，系统100可以包括所谓的芯片组110。芯片组是指被设计成一起工作的一组集成电路或芯片。芯片组通常作为单个产品被销售(例如，考虑以品牌等销售的芯片组)。
在图1的示例中，芯片组110具有可以根据品牌或制造商在一定程度上变化的特定架构。芯片组110的架构包括经由例如直接管理接口或直接介质接口(DMI)142或链路控制器144交换信息(例如，数据、信号、命令等)的核与存储器控制组120和I/O控制器集线器150。在图1的示例中，DMI 142为芯片至芯片接口(有时被称为“北桥”与“南桥”之间的链路)。
核与存储器控制组120包括经由前端总线(FSB)124交换信息的一个或更多个处理器122(例如，单核或多核等)和存储器控制器集线器126。如本文所描述的，核与存储器控制组120的各种部件可以被集成到例如单个处理器管芯上来制造取代常规“北桥”式架构的芯片。
存储器控制器集线器126与存储器140接口连接。例如，存储器控制器集线器126可以为DDR SDRAM存储器(例如，DDR、DDR2、DDR3等)提供支持。通常，存储器140是一种随机存取存储器(RAM)。其通常被称为“系统存储器”。
存储器控制器集线器126还可以包括低压差分信号接口(LVDS)132。LVDS 132可以是用于支持显示装置192(例如，CRT、平板、投影仪、触摸启用的显示器等)的所谓的LVDS显示器接口(LDI)。块138包括可以经由LVDS接口132(例如，串行数字视频、HDMI/DVI、显示端口)支持的技术的一些示例。存储器控制器集线器126还包括例如用于支持独立显卡136的一个或更多个PCI-express接口(PCI-E)134。使用PCI-E接口的独立显卡已经变为加速图形端口(AGP)的替代方法。例如，存储器控制器集线器126可以包括用于基于外部PCI-E的图形卡(包括例如多个GPU中的一个GPU)的16通道(x16)PCI-E端口。示例系统可以包括用于支持显卡的AGP或PCI-E。
在使用它的示例中，I/O集线器控制器150可以包括各种接口。图1的示例包括SATA接口151、一个或更多个PCI-E接口152(可选地，一个或更多个传统PCI接口)、一个或更多个USB接口153、LAN接口154(更一般地用于在处理器122的指挥下通过至少一个网络例如因特网、广域网、局域网等进行通信的网络接口)、通用I/O接口(GPIO)155、低引脚计数(LPC)接口170、电力管理接口161、时钟发生器接口162、音频接口163(例如，用于扬声器194以输出音频)、总操作成本(TCO)接口164、系统管理总线接口(例如，多主机串行计算机总线接口)165以及在图1的示例中包括BIOS 168和引导代码190的串行外围闪存/控制器接口(SPI闪存)166。对于网络连接，I/O集线器控制器150可以包括与PCI-E接口端口复用的集成千兆比特以太网控制器线路。其他网络特征可以独立于PCI-E接口操作。
I/O集线器控制器150的接口可以提供与各种装置、网络等的通信。例如，在使用时，SATA接口151提供在一个或更多个驱动器180例如HDD、SDD或其组合上读取信息、写入信息或读取和写入信息，但在任何情况下，驱动器180被理解成为例如不是暂态传播信号的有形计算机可读存储介质。I/O集线器控制器150还可以包括高级主机控制器接口(AHCI)以支持一个或更多个驱动器180。PCI-E接口152允许到装置、网络等的无线连接182。USB接口153提供诸如键盘(KB)、鼠标和各种其他装置(例如，相机、电话、存储装置、媒体播放器等)的输入装置184。
在图1的示例中，LPC接口170提供一个或更多个ASIC 171、可信平台模块(TPM)172、超级I/O 173、固件集线器174、BIOS支持175以及各种类型的存储器176例如ROM 177、闪存178和非易失性RAM(NVRAM)179的使用。对于TPM 172，该模块可以采用能够用于认证软件和硬件装置的芯片的形式。例如，TPM能够执行平台认证，并且可以用于验证寻求访问的系统是预期的系统。
在通电时，系统100可以被配置成执行存储在SPI闪存166内的用于BIOS 168的引导代码190，并且此后在一个或更多个操作系统和应用软件(例如，存储在系统存储器140中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置，并且可以例如根据BIOS 168的指令被访问。
更进一步地，在一些实施方式中，系统100可以包括与处理器122(其可以是通用处理器)通信的数字信号处理器(DSP)和/或现场可编程门阵列(FPGA)191。除了彼此通信以外，DSP/FPGA191和处理器122两者均可以从音频接收器/麦克风193接收输入，音频接收器/麦克风193例如经由向麦克风193提供可听输入的用户基于在麦克风193处检测到的音频来提供输入。DSP/FPGA191和处理器122两者还可以从收集系统100的环境的一个或更多个图像的相机195接收输入。相机195可以是热成像相机、诸如网络相机的数字相机、三维(3D)相机和/或以其他方式集成到系统100中并且能够由处理器122控制以收集图片/图像和/或视频的相机。
另外，虽然为了清楚起见没有示出，但在一些实施方式中，系统100可以包括感测和/或测量系统100的取向并且向处理器122提供与其有关的输入的陀螺仪以及感测系统100的加速度和/或移动并且向处理器122提供与其相关的输入的加速度计。更进一步地并且为了清楚起见也没有示出，系统100可以包括被配置成从至少一个卫星接收地理位置信息并且向处理器122提供该信息的GPS收发器。然而，应当理解，可以根据本原理使用除了GPS接收器以外的另一合适的位置接收器来确定系统100的位置。
应当理解，示例客户端装置或其他机器/计算机可以包括比对于图1的系统100所示出的特征更少或更多的特征。在任何情况下，至少基于上述应当理解，系统100被配置成承担(undertake)本原理。
现在转到图2，示出了根据本原理的通过网络200例如因特网进行通信的示例装置。应当理解，参照图2描述的每个装置可以包括上述系统100的特征、部件和/或元件中的至少一些特征、部件和/或元件。
图2示出了笔记本电脑和/或可转换计算机202、台式计算机204、可穿戴设备206例如智能手表、智能电视(TV)208、智能电话210、平板电脑212以及服务器214例如可以提供能够由装置202至212访问的云存储装置的因特网服务器。应当理解，装置202至214被配置成：通过网络200彼此进行通信以承担本原理，例如搜索符合用户请求的信息。
现在参照图3，示出了根据本原理的示例图示300。示出了人302沿公路306驾驶机动车辆304。在驾驶时，人302向在此人的智能电话上执行的个人/数字助理提出问题，没有示出智能电话但应理解智能电话位于车辆304内部。具体地，人302询问“得分是多少？”
由于助理例如基于智能电话与车辆的计算系统的蓝牙通信已经识别到人302当前参与驾驶的情境，因此在人302实际上询问助理之前，助理已经动态地确定当人302驾驶时可能会询问“得分是多少？”的响应提示。这是由于：人302可能不会关于与驾驶本身相关的任何事情询问助理，因为人302已经在进行该活动。然而，人302可能仍然希望确定当前正在进行的体育赛事的得分，但是因为他或她正在驾驶，因此人302当前不能接收关于体育赛事的信息。因此，助理可能已经准备好在收听“得分是多少？”，以至于当人302已经实际说出“得分是多少？”时，助理可以使用它作为提示以识别与人302相关联的特定队的体育赛事的现场得分，并且向人302提供指示现场得分的响应。如果人302替代地被识别为实际上在电视上观看比赛，那么在该示例中，“得分是多少？”的响应提示将不大可能，原因是人302更有可能已经知道了该得分，因此替代地收听其他响应提示。
从上述可以理解，没有使用除了响应提示本身以外的用于数字助理的“唤醒”词或短语。例如，在助理可能已经在收听的动态确定的响应提示“得分是多少？”之前不需要静态唤醒短语(例如，“嗨，助理”或“好吧，助理”)以便响应。
现在交叉参照图4和图5，示出了相应的图示400、500。在图示400中示出了第一用户402，而在图示500中示出了与用户402不同的第二用户502。图示400、500被理解为示出了个人住宅内的同一房间404，但是在同一天中的不同时间。在那些不同的时间，用户402、502两者均坐在沙发406上观看经由电视机408呈现的音频视频内容。
从图4和图5还可以理解，根据本原理的操作个人助理应用的独立装置410布置在房间404中的桌子412上。当用户402、502每个出现在房间中时，个人助理可以识别他们中的每一个。例如，个人助理可以通过以下来识别每个用户：基于与可能在他或她身上的他或她的相应智能电话的通信；基于由与独立装置410通信或者实际上在独立装置410上的相机收集的图像以然后经由人脸识别软件来识别相应用户；和/或基于由与独立装置410通信或者实际上在独立装置410上的麦克风收集的音频以然后经由语音识别软件来识别相应用户。
一旦识别到相应用户，就可以基于相应用户的识别来识别可能由每个用户说出的不同响应提示。如图4所示，第一用户402可以询问“还要多久我才应当离开？”。响应提示可以是整个短语本身，或者仅仅是其一部分例如“还要多久”。在任何情况下，在识别到用户402出现在房间404中之后，个人助理可以访问与用户402相关联的电子日历，并且识别在电子日历中指示的被指示为在除了用户402的当前位置以外的位置进行的任何即将发生的事件，例如在当前时间的阈值时间段内在各个其他位置发生的那些事件。在识别到日历中指示的至少一个事件即将发生并且在不同位置发生，预期用户可能基于他或她的知识—事件即将发生并且他或她仍然需要前往事件的位置来提供响应提示，装置可以基于“还要多久”或“还要多久我才应当离开？”的响应提示来动态确定并收听这样的响应提示。
因此，当用户提供响应提示例如“还要多久我才应当离开？”时，可听输入可以由在正在执行个人助理的装置410上的或以其他方式与正在执行个人助理的装置410通信的麦克风感测。然后，个人助理可以基于可听输入来识别响应提示并且通过装置410上的扬声器可听地提供响应，例如基于从用户的当前位置到即将发生的事件的位置的所估计的驾驶时间的计算用户402应当开始前往事件的位置以使其准时的时间。例如，可以基于由智能电话上的GPS收发器指示的用户402的智能电话的当前GPS坐标的识别来识别用户的当前位置。
然后用户402为了他或她的事件而离开房间404并且然后用户502进入房间并坐在沙发502上，则在装置410处操作的助理可以识别到用户502，并且动态地确定由用户502而不是用户402可能说出的一个或更多个不同的响应提示。例如，用户502通常在看电视时向助理询问某个问题，例如在提供预定且非情境特定唤醒短语之后立即询问某个问题先前次数的阈值数目，助理可以收听同一问题并且将其用作在还没有接收到非情境特定的唤醒短语的情况下提供对用户502的响应的提示。
在图5所示的示例中，动态确定的响应提示可以是“现在几点了？”。当用户说出时，助理可以通过对来自检测到由用户502说出的响应提示的麦克风的输入执行语音识别来识别该响应提示。然后助理可以从例如在装置410处执行的时钟应用来识别一天中的当前时间，然后经由装置410上的扬声器提供一天中的当前时间的可听输出。
参照图6继续详细描述，图6示出了根据本原理的结合和/或作为数字助理的操作的一部分由第一装置(例如系统100)可以执行的示例逻辑。在框600处开始，逻辑可以接收传感器数据，例如来自装置上的麦克风或相机的数据。然后逻辑可以移至框602，在框602处逻辑可以与诸如家用电器或用户的智能电话的第二装置进行通信(例如，如果助理正在除了智能电话以外的装置处被操作)。
然后逻辑可以从框602行进至框604。在框604处，逻辑可以基于传感器数据和/或与第二装置的通信来识别用于动态确定等待输入的一个或更多个响应提示的一个或更多个情境或因素。例如，情境/因素可以包括：特定人出现在某个位置处、一天中的当前时间、用户当前参与的活动等。
提供示例，可以基于与第二装置的通信来识别用户参与的特定活动的情境，以确定使用第二装置参与的特定活动。另外地或可替代地，可以基于来自麦克风和/或相机的输入来确定活动，使得可以使用输入分别执行声音识别或手势识别以确定活动。
逻辑可以从框604行进至框606。在框606处，逻辑可以访问数据库，例如将可能被识别的可能的情境/因素与用户在相关联的情境中可能说出的相应的可能的响应提示相关的关系数据库。数据库可以本地存储在第一装置处，和/或可以远程存储在第一装置可以远程访问的另一存储位置处。一旦被访问，数据库可以在框608处基于情境被分析，以在框610处识别数据库中的与在框604处识别的情境对应的情境条目，从而识别数据库中的与给定情境相关的一个或更多个响应提示。
逻辑可以从框610行进至框612，在框612处，逻辑可以等待在框610处识别到的一个或更多个响应提示的可听输入。然后，逻辑可以行进至判定菱形614，在判定菱形614处，在等待时，逻辑可以确定在框604处识别到的同一情境是否仍然存在。例如，在菱形614处，如上面参照框604所描述的，逻辑可以再次识别一个或更多个情境，以确定与之前相同的情境是否仍然存在。
菱形614处的否定确定可以使逻辑移回至框600并且从其继续行进。然而，菱形614处的肯定确定可以反而使逻辑从菱形614移动至框616。在框616处，逻辑可以接收在框610处识别到的响应提示中至少之一的可听输入，并且还可以接收超出响应提示的任何另外的可听输入，任何另外的可听输入也可以与响应提示一起由用户提供作为例如查询信息的一部分。然后逻辑可以移动至框618，在框618处，逻辑可以处理在框616处接收到的可听输入，以在框620处根据可能已经提供的响应提示和任何另外的可听输入来识别要执行的任务或要提供的响应。
提供要执行的任务的示例，对于第一装置而言，可以是发送文本消息或发起电话呼叫。该任务可以基于以下来执行：驾驶的情境被识别到，并且然后“发送文本消息”或“发出呼叫”的响应提示被识别到并且随后与特定接收者的可听输入一起被接收。作为响应，助理可以执行向指定接收者发起文本消息或呼叫的任务。
现在参照图7。图7示出了根据本原理的能够呈现在显示器上的能够由装置访问的用于配置数字/个人助理的设置的示例用户界面(UI)700。UI 700可以包括第一选项702，该第一选项702能够使用与其相邻示出的复选框被选择以使数字/个人助理能够如本文描述的动态地确定响应提示。也可以基于对与每个相邻显示的相应复选框的选择来选择下面将论述的其他选项。因此，第二选项704也呈现在UI 700上，该第二选项704能够被选择以将装置/助理配置成：除了任何动态地确定的可以基于情境确定和收听的响应提示以外，仍然还收听预定静态唤醒词或短语。
更进一步地，UI 700可以包括选项706和选项708，选项706和选项708能够二者择一地被选择以：将装置/助理配置成不管可能用于这样的收听的电力消耗如何都收听与基于情境动态地确定的响应提示一样多的响应提示(选项706)；或者将装置/助理配置成限制动态地确定的响应提示的数量以节省电力(选项708)。用户甚至可以在数字输入框709中输入要收听但是仍节省一些电力的响应提示的特定最大数量。如果启用选项708则在给定情况下每最大值所选择的响应提示可以以最可能被使用的顺序来优先化，例如可以通过访问过去的响应提示使用的历史以对于给定情境确定在过去哪些响应提示比其他响应提示更经常被使用来确定。为了不超过最大值而被选择的响应提示还可以通过在确定多个人出现在装置的位置处的情况下选择可能由与装置最接近的用户使用的那些响应提示或者通过选择用于所出现的多个用户中的排名较高的用户的响应提示来选择。
因此，选项710可以呈现在UI 700上，并且能够被选择以通过收听仅来自最近的用户的响应提示来实现电力节省。选项712也可以被呈现并且能够被选择以通过基于可以被建立的或由选择选择器714改变的用户排名收听响应提示来实现电力节省，选择选择器714又可以使另一UI被呈现，在另一UI处人可以提供输入以按照从最高到最低的优先级对用户进行排名。
更进一步地，UI 700可以包括供人指定当确定经由输入框720指定的特定用户或其他情境存在时要收听的特定响应提示(经由文本输入框718)的选项716。
另外，可以呈现选项720，选项720每个能够分别被选择以：为装置/助理指定特定情境，以识别并又根据本原理动态地确定适当的响应提示。所列出的示例情境包括：特定用户的出现、特定用户或其相关联的装置的位置、一天中的当前时间、电子日历中指示的即将到来的约会、家用电器的操作以及驾驶车辆或以其他方式行进。注意，选项720中的最后列出的选项能够被选择以选择装置能够识别的所有情境。
现在参照图8，示出了可以呈现在显示器上的能够由承担本原理的装置访问的示例UI/提示800。例如，当已经经由可听输入请求了来自数字助理的响应并且数字助理已经识别到可能与可听输入相关联的在未来当进行同一情境的未来识别时要收听其响应提示的情境，可以呈现提示800。例如，用户通常在提供非情境特定的唤醒短语之后立即在给定情境中(例如，至少阈值次数)提供某个命令，助理可以在关系数据库中自动地将命令与未来要收听其可能的响应提示的情境相关联，或者助理可以呈现提示800。
提示800可以提供已经识别到可能的响应提示和相关联的情境的指示802。提示800还可以包括文本804，文本804指示：助理已经确定用户正在驾驶(在该示例中为所识别到的情境)，并且用户似乎在驾驶时只能使用助理来发短信(text)或打电话(call)。文本804还可以询问用户是否想要助理在用户也不必首先提供无论任何识别到的情境如何该短语都可用的预定静态唤醒短语(例如“嗨，助理”)的情况下收听发短信命令和打电话命令作为驾驶情境中的响应提示。
因此，“是”选择器806可以被呈现，并且可以由用户选择以提供以下输入：用户想要助理收听发短信命令和打电话命令作为驾驶情境中的响应提示。“否”选择器808也可以被呈现，并且可以由用户选择以提供以下输入：用户不希望助理收听发短信命令和打电话命令作为驾驶情境中的响应提示。
另外，还可以在提示800上呈现选择器810，该选择器810可以被选择以命令装置呈现另一用户界面，在该另一用户界面处可以由用户为所识别到的驾驶情境指定其他响应提示。例如，对选择器810的选择可以使装置呈现具有类似于上述选项716的选项和文本输入框的UI，或者在其他实施方式中对选择器810的选择可以使装置呈现UI 700本身。
在转到图9的描述之前，应当理解，可以响应于所识别到的情境的结论来呈现提示例如提示800。因此，在该示例中，为了在驾驶时不分散用户的注意力，可以响应于确定驾驶已经停止才呈现提示800，但是可能在该时刻之前不呈现提示800。
现在参照图9，示出了可以呈现在显示器上的能够由承担本原理的装置访问的又一示例UI/提示900。提示900可以提供已经识别到可能的响应提示和相关联的情境的指示902。提示900还可以包括文本904，文本904指示：助理已经确定智能炉灶家用电器开着(在该示例中为所识别到的情境)，并且用户可以说出提示900上列出的某些响应提示906以从助理得出符合响应提示的响应。可以基于由用户向助理提供的先前的问题和命令的历史来识别响应提示906，和/或可以甚至在没有任何这样的历史的情况下而仅仅基于助理与智能炉灶通信来确定炉灶开着以及来自与炉灶开着相关联的可能的响应提示的关系数据库的识别来识别响应提示906。
从图9继续，应当理解，在一些示例中，一些响应提示(或其至少一部分)可以交叠。例如，如果妻子与她的丈夫在同一个房间中，并且她有即将到来的约会，那么可以将用于妻子的响应提示设置为“还要多久我才应当离开？”，而可以将用于(当家庭的炉灶开着时)房间中的丈夫或任何其他家庭成员的响应提示设置为“还要多久才能吃晚饭？”。因此，由于这些问题存在共性，因此这两个问题可以以响应提示“还要多久”以及在此之后接收的帮助确定适当的响应的任何另外的可听输入同时被收听。这可以允许助理有更多的自由来自己准备仍然接收用于可能被识别到的其他同时情境的其他响应提示，和/或可以仅允许助理通过收听单个响应提示“还要多久”而不是“还要多久我才应当离开”和“还要多久才能吃晚饭？”两者在装置上节省电力。
还提供可以动态地确定响应提示的其他示例，当助理确定日历事件正在临近并且在过去在事件临近的情况下用户通常询问该问题时，助理可以收听“现在几点了？”。在用户正在驾驶时，助理可以识别到驾驶情境并且收听“还有多少英里？”，使得它可以提供对它实际上会被询问的那个问题的响应。作为再一个示例，在上午时间并且基于用户在特定位置例如用户的厨房中时通常询问“天气怎么样？”，助理可以动态地确定在上午时间期间并且当用户在厨房中时收听该问题。
应当理解，根据本原理的助理还可以同时收听来自不同人的不同响应提示。此外，在一些示例中，可能的响应提示可以基于用户是单独的还是与其他人一起或与某些人群一起而变化，用户是单独的还是与其他人一起或与某些人群一起可以被识别到。用户的存在可以通过使用他或她的个人装置(例如，他或她的智能电话或可穿戴设备)上的GPS收发器检测到该个人装置在给定位置处并且假定用户接近该个人装置来确定。相机和麦克风输入也可以用于检测哪些用户可能出现在给定情境中。
另外，应当理解，在一些实施方式中，根据本原理的数字/个人助理可以使用以下两者实现：通用处理器/中央处理单元(CPU)以及诸如数字信号处理器(DSP)或现场可编程门阵列(FPGA)的专用处理器。在这样的实施方式中，DSP或FPGA可以在低功率模式下操作助理以首先识别特定响应提示并且向通用处理器/CPU传递控制，然后通用处理器/CPU可以操作助理以实际上响应于用户问题或命令。然而，还应当理解，在其他实施方式中，通用处理器/CPU可以操作助理用于以下两者：识别响应提示以及提供对相关联的用户问题和命令的响应。
在结束之前，应当理解，尽管用于承担本原理的软件应用可以与装置例如系统100一起来出售，但是本原理适用于以下情况：通过网络例如因特网将这样的应用从服务器下载到装置。此外，本原理适用于以下情况：这样的应用包括在被出售和/或提供的计算机可读存储介质上，其中计算机可读存储介质本身不是暂态信号和/或信号。
应当理解，虽然已经参照一些示例实施方式描述了本原理，但是这些示例实施方式并不意在进行限制，并且可以使用各种替代布置来实现本文中要求保护的主题。一个实施方式中包括的部件可以在其他实施方式中以任何适当的组合来使用。例如，本文中描述的和/或图中描绘的各种部件中的任何部件可以在其他实施方式中被组合、互换或从其他实施方式中排除。

Claims (20)

1.一种基于情境确定用于数字助理的响应提示的第一装置，包括：
至少一个处理器；以及
存储装置，所述存储装置能够由所述至少一个处理器访问并且承载指令，所述指令能够由所述至少一个处理器执行以：
识别至少一个情境；
基于所述至少一个情境动态地确定用于所述数字助理的响应提示；以及
响应于所述响应提示的接收，操作所述数字助理以根据所述响应提示来执行任务。
2.根据权利要求1所述的第一装置，其中，所述任务是提供对用所述响应提示指示的查询的响应。
3.根据权利要求1所述的第一装置，其中，所述指令能够由所述至少一个处理器执行以：
访问与相应情境相关联的可能的响应提示的数据库；以及
基于在所述数据库中所识别到的情境与所述响应提示相关联，使用所识别到的情境从所述数据库中动态地确定所述响应提示。
4.根据权利要求1所述的第一装置，其中，所述至少一个情境为用户的存在。
5.根据权利要求1所述的第一装置，其中，所述至少一个情境为所述第一装置的当前位置。
6.根据权利要求1所述的第一装置，其中，所述至少一个情境为一天中的当前时间。
7.根据权利要求1所述的第一装置，其中，所述至少一个情境与被识别为用户当前参与的活动相关联，并且其中，所述响应提示与除了被识别为所述用户当前参与的活动以外的某事相关联。
8.根据权利要求1所述的第一装置，其中，所述至少一个情境与电子日历中指示的即将发生的事件相关联，并且其中，所述响应提示与所述电子日历中的所述即将发生的事件相关联。
9.根据权利要求1所述的第一装置，其中，所述至少一个情境基于所述第一装置与家用电器的通信来识别，并且其中，所述响应提示与所述家用电器的功能相关联。
10.根据权利要求1所述的第一装置，其中，所述至少一个情境为正在驾驶车辆，并且其中，所述响应提示与以下中至少之一相关联：发送短消息服务(SMS)通信和发出电话呼叫。
11.根据权利要求1所述的第一装置，其中，用户为第一用户，其中，所述响应提示为第一响应提示，并且其中，所述指令能够由所述至少一个处理器执行以：
识别所述第一用户的存在；
识别与所述第一用户相关联的至少一个情境；
基于与所述第一用户相关联的所述至少一个情境，动态地确定用于所述数字助理的所述第一响应提示；
响应于所述第一响应提示的接收，操作所述数字助理以根据所述第一响应提示来执行任务；
在根据所述第一响应提示执行所述任务之后，识别与所述第一用户不同的第二用户的存在；
识别与所述第二用户相关联的至少一个情境；
基于与所述第二用户相关联的所述至少一个情境，动态地确定用于所述数字助理的第二响应提示，所述第二响应提示包括与所述第一响应提示不同的词；以及
响应于所述第二响应提示的接收，操作所述数字助理以根据所述第二响应提示来执行任务。
12.一种基于情境确定用于个人助理的响应提示的方法，包括：
使用装置识别能够用于动态地确定用于所述个人助理的第一响应提示的至少第一因素；
使用所述装置至少部分地基于所述第一因素动态地识别所述第一响应提示；以及
在所述装置处至少部分地基于所述第一响应提示来激活所述个人助理以提供响应。
13.根据权利要求12所述的方法，其中，至少部分通过以下操作动态地识别所述第一响应提示：
访问与相应因素相关联的可能的响应提示的数据库；以及
基于在所述数据库中所述第一因素与所述第一响应提示相关联，使用所述第一因素从所述数据库中识别所述第一响应提示。
14.根据权利要求12所述的方法，其中，识别至少所述第一因素包括识别以下中至少之一：特定人的存在、所述装置的位置以及一天中的时间。
15.根据权利要求12所述的方法，其中，至少所述第一因素与被识别为人当前参与的活动相关联，并且其中，所述响应提示与被识别为所述人当前参与的活动相关联。
16.根据权利要求12所述的方法，其中，所述第一因素与到目的地的行进相关联，并且其中，所述第一响应提示与到所述目的地的剩余距离相关联。
17.一种基于情境确定用于数字助理的响应提示的设备，包括：
第一处理器；
网络适配器；以及
存储装置，所述存储装置承载指令，所述指令能够由装置的第二处理器执行以：
识别至少一个情境；
基于所述至少一个情境动态地确定用于所述数字助理的响应提示；以及
响应于所述响应提示的接收，激活所述数字助理以响应于所述响应提示；
其中，所述第一处理器经由所述网络适配器通过网络将所述指令递送至所述装置。
18.根据权利要求17所述的设备，其中，所述至少一个情境包括以下中至少之一：特定人的存在、所述装置的位置。
19.根据权利要求17所述的设备，其中，所述响应提示至少部分地基于访问将可能的情境与相应响应提示相关的数据库来识别。
20.根据权利要求17所述的设备，其中，所述数字助理还同时能够基于不是基于情境动态地确定的预定唤醒短语的接收被激活。
CN201810320239.5A 2017-05-24 2018-04-11 基于情境确定用于数字助理的响应提示的系统和方法 Active CN108958806B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/603,892 US10664533B2 (en) 2017-05-24 2017-05-24 Systems and methods to determine response cue for digital assistant based on context
US15/603,892 2017-05-24

Publications (2)

Publication Number Publication Date
CN108958806A true CN108958806A (zh) 2018-12-07
CN108958806B CN108958806B (zh) 2021-10-15

Family

ID=62723220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810320239.5A Active CN108958806B (zh) 2017-05-24 2018-04-11 基于情境确定用于数字助理的响应提示的系统和方法

Country Status (4)

Country Link
US (1) US10664533B2 (zh)
CN (1) CN108958806B (zh)
DE (1) DE102018111900A1 (zh)
GB (1) GB2566780B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113424145A (zh) * 2019-05-31 2021-09-21 谷歌有限责任公司 将多模态环境数据动态地分配给助理动作请求以便与后续请求相关

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
KR102455199B1 (ko) * 2017-10-27 2022-10-18 엘지전자 주식회사 인공지능 디바이스
CN113168304A (zh) * 2018-12-07 2021-07-23 谷歌有限责任公司 有条件地将各种自动助理功能分配给与外围助理控制设备的交互
US11393478B2 (en) * 2018-12-12 2022-07-19 Sonos, Inc. User specific context switching
CN110012166B (zh) * 2019-03-31 2021-02-19 联想(北京)有限公司 一种信息处理方法及装置
WO2020222988A1 (en) 2019-04-30 2020-11-05 Apple Inc. Utilizing context information with an electronic device
CN110047487B (zh) * 2019-06-05 2022-03-18 广州小鹏汽车科技有限公司 车载语音设备的唤醒方法、装置、车辆以及机器可读介质
KR102246936B1 (ko) * 2019-06-20 2021-04-29 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
KR20210147678A (ko) * 2020-05-29 2021-12-07 엘지전자 주식회사 인공 지능 장치
US11948566B2 (en) * 2021-03-24 2024-04-02 Adobe Inc. Extensible search, content, and dialog management system with human-in-the-loop curation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750271A (zh) * 2011-03-31 2012-10-24 微软公司 谈话式对话学习和纠正
CN103226949A (zh) * 2011-09-30 2013-07-31 苹果公司 在虚拟助理中使用情境信息来促进命令的处理
CN103282957A (zh) * 2010-08-06 2013-09-04 谷歌公司 基于上下文自动监测话音输入
US8626821B2 (en) * 2001-04-17 2014-01-07 Hewlett-Packard Development Company, L.P. Limiting access to information corresponding to a context
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
CN105278986A (zh) * 2015-09-30 2016-01-27 小米科技有限责任公司 电子设备的控制方法和装置

Family Cites Families (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612869A (en) 1994-01-21 1997-03-18 Innovative Enterprises International Corporation Electronic health care compliance assistance
KR100318573B1 (ko) 1996-10-16 2001-12-28 마찌다 가쯔히꼬 문자 입력 장치 및 문자 입력 프로그램을 기억한 기록 매체
US6904405B2 (en) 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US20020077830A1 (en) 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
WO2003009164A2 (en) 2001-07-16 2003-01-30 America Online Incorporated Method and apparatus for calendaring reminders
US7219062B2 (en) 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
KR20050109919A (ko) 2002-12-10 2005-11-22 텔어바웃 인크 컨텐츠 제작, 배급, 상호작용, 및 모니터링 시스템
US7894177B2 (en) 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US20160165047A1 (en) 2003-08-01 2016-06-09 Mitel Networks Corporation Method and system of providing context aware announcements
JP2005103679A (ja) 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
US7398061B2 (en) 2004-02-26 2008-07-08 Research In Motion Limited Method and apparatus for changing the behavior of an electronic device
US7518631B2 (en) 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9325749B2 (en) 2007-01-31 2016-04-26 At&T Intellectual Property I, Lp Methods and apparatus to manage conference call activity with internet protocol (IP) networks
US20080224883A1 (en) 2007-03-15 2008-09-18 Motorola, Inc. Selection of mobile station alert based on social context
US8326636B2 (en) 2008-01-16 2012-12-04 Canyon Ip Holdings Llc Using a physical phenomenon detector to control operation of a speech recognition engine
US8019606B2 (en) 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
US20090140855A1 (en) 2007-12-03 2009-06-04 Eldad Shemesh Voice operated reminder system and method thereof
US8223932B2 (en) 2008-03-15 2012-07-17 Microsoft Corporation Appending content to a telephone communication
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20130275899A1 (en) 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
KR101513615B1 (ko) 2008-06-12 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 음성 인식 방법
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US8441356B1 (en) 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
US9046924B2 (en) 2009-03-04 2015-06-02 Pelmorex Canada Inc. Gesture based interaction with traffic data
JP5911796B2 (ja) 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法
US8583924B2 (en) 2009-07-01 2013-11-12 Hand Held Products, Inc. Location-based feature enablement for mobile terminals
KR20110020082A (ko) 2009-08-21 2011-03-02 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
US20120265535A1 (en) 2009-09-07 2012-10-18 Donald Ray Bryant-Rich Personal voice operated reminder system
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
CN106294796B (zh) 2010-02-18 2020-02-28 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
US8913004B1 (en) 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20110271194A1 (en) 2010-04-29 2011-11-03 Google Inc. Voice ad interactions as ad conversions
US8600763B2 (en) 2010-06-04 2013-12-03 Microsoft Corporation System-initiated speech interaction
US8831677B2 (en) 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
CA2821565C (en) 2011-01-07 2017-04-18 Research In Motion Limited System and method for controlling mobile communication devices
IL210898A (en) 2011-01-27 2014-09-30 Verint Systems Ltd A system and method for selectively monitoring mobile communication terminals based on speech expressions
US20120262592A1 (en) 2011-04-18 2012-10-18 Qualcomm Incorporated Systems and methods of saving power by adapting features of a device
US9493130B2 (en) 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US20120297294A1 (en) 2011-05-17 2012-11-22 Microsoft Corporation Network search for writing assistance
US9087048B2 (en) 2011-06-10 2015-07-21 Linkedin Corporation Method of and system for validating a fact checking system
US9318129B2 (en) 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
KR20130032966A (ko) 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
JP2013080015A (ja) 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
US9934780B2 (en) 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
KR101920019B1 (ko) 2012-01-18 2018-11-19 삼성전자 주식회사 휴대단말기의 통화 서비스 장치 및 방법
US20150109191A1 (en) 2012-02-16 2015-04-23 Google Inc. Speech Recognition
JP5731998B2 (ja) 2012-03-21 2015-06-10 株式会社東芝 対話支援装置、対話支援方法および対話支援プログラム
US9020460B2 (en) 2012-03-23 2015-04-28 Lg Electronics Inc. Smart alarm providing terminal and alarm providing method thereof
US10068007B1 (en) 2012-03-29 2018-09-04 Open Invention Network, Llc Interface between a virtual personal assisitant and an interactive voice response system
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9423870B2 (en) 2012-05-08 2016-08-23 Google Inc. Input determination method
KR20130140423A (ko) 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
CN104428832B (zh) 2012-07-09 2018-06-26 Lg电子株式会社 语音识别装置及其方法
US9048963B1 (en) 2012-07-17 2015-06-02 Intuit Inc. Conveying information using an audio signal
KR101992676B1 (ko) 2012-07-26 2019-06-25 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
KR101987255B1 (ko) 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
JP6393021B2 (ja) 2012-08-28 2018-09-19 京セラ株式会社 電子機器、制御方法、及び制御プログラム
KR101990037B1 (ko) 2012-11-13 2019-06-18 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140142928A1 (en) 2012-11-21 2014-05-22 Harman International Industries Canada Ltd. System to selectively modify audio effect parameters of vocal signals
RU2530268C2 (ru) * 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ обучения информационной диалоговой системы пользователем
US9307490B2 (en) 2012-11-30 2016-04-05 Mediatek Inc. Method for controlling bluetooth device for power conservation
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9842489B2 (en) 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9256269B2 (en) 2013-02-20 2016-02-09 Sony Computer Entertainment Inc. Speech recognition system for performing analysis to a non-tactile inputs and generating confidence scores and based on the confidence scores transitioning the system from a first power state to a second power state
US9807495B2 (en) 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9276541B1 (en) 2013-03-12 2016-03-01 Amazon Technologies, Inc. Event-based presentation and processing of content
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
CN105144133B (zh) 2013-03-15 2020-11-20 苹果公司 对中断进行上下文相关处理
US9134952B2 (en) 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof
KR102075117B1 (ko) 2013-04-22 2020-02-07 삼성전자주식회사 사용자 기기 및 그 동작 방법
US20140379336A1 (en) 2013-06-20 2014-12-25 Atul Bhatnagar Ear-based wearable networking device, system, and method
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR102089444B1 (ko) 2013-07-25 2020-03-16 삼성전자 주식회사 음성 인식 기능을 지원하는 전자 기기의 음성 입력 제어 방법 및 장치 장치
US9367806B1 (en) 2013-08-08 2016-06-14 Jasmin Cosic Systems and methods of using an artificially intelligent database management system and interfaces for mobile, embedded, and other computing devices
US20170279957A1 (en) 2013-08-23 2017-09-28 Cellepathy Inc. Transportation-related mobile device context inferences
US9633669B2 (en) 2013-09-03 2017-04-25 Amazon Technologies, Inc. Smart circular audio buffer
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
CN103488401A (zh) 2013-09-30 2014-01-01 乐视致新电子科技（天津）有限公司 一种语音助手激活方法和装置
KR20150040445A (ko) 2013-10-07 2015-04-15 삼성전자주식회사 사용자 음성을 입력받는 원격 제어 장치 및 그 방법
US11128275B2 (en) 2013-10-10 2021-09-21 Voyetra Turtle Beach, Inc. Method and system for a headset with integrated environment sensors
US9245527B2 (en) 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
TWI502487B (zh) 2013-10-24 2015-10-01 Hooloop Corp 語音管理方法，及其相關裝置與電腦程式產品
US10430024B2 (en) 2013-11-13 2019-10-01 Microsoft Technology Licensing, Llc Media item selection using user-specific grammar
US9373321B2 (en) * 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
US20160249852A1 (en) 2013-12-03 2016-09-01 Sony Corporation Information processing apparatus, information processing method, and program
US8768712B1 (en) 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
US8719039B1 (en) 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
US9571930B2 (en) 2013-12-24 2017-02-14 Intel Corporation Audio data detection with a computing device
US9589564B2 (en) 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
WO2015126095A1 (ko) 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
US10102848B2 (en) 2014-02-28 2018-10-16 Google Llc Hotwords presentation framework
US9471212B2 (en) 2014-03-10 2016-10-18 Htc Corporation Reminder generating method and a mobile electronic device using the same
US9171434B2 (en) 2014-03-12 2015-10-27 Google Inc. Selectively redirecting notifications to a wearable computing device
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
US20160203700A1 (en) 2014-03-28 2016-07-14 Echostar Technologies L.L.C. Methods and systems to make changes in home automation based on user states
US9286892B2 (en) 2014-04-01 2016-03-15 Google Inc. Language modeling in speech recognition
CN103928025B (zh) 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
US11120408B2 (en) 2014-05-06 2021-09-14 Microsoft Technology Licensing, Llc Scheduling conflict notification
KR102216048B1 (ko) 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
US20150347399A1 (en) 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
US9384738B2 (en) 2014-06-24 2016-07-05 Google Inc. Dynamic threshold for speaker verification
KR102208477B1 (ko) 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9257120B1 (en) 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
US9263042B1 (en) 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
KR102229667B1 (ko) 2014-09-05 2021-03-18 엘지전자 주식회사 전자 디바이스 및 이를 포함하는 시스템
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
CN118171657A (zh) 2014-09-28 2024-06-11 北京三星通信技术研究有限公司 基于关注点信息提供服务的方法和装置
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9814278B2 (en) 2014-10-17 2017-11-14 Avante International Technology, Inc. Protective headgear including a personnel electronic monitor device
CA2869245A1 (en) 2014-10-27 2016-04-27 MYLE Electronics Corp. Mobile thought catcher system
US9418656B2 (en) 2014-10-29 2016-08-16 Google Inc. Multi-stage hotword detection
KR20160065503A (ko) 2014-12-01 2016-06-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6591167B2 (ja) 2015-01-28 2019-10-16 京セラ株式会社 電子機器
US20160284363A1 (en) 2015-03-24 2016-09-29 Intel Corporation Voice activity detection technologies, systems and methods employing the same
WO2016157658A1 (ja) 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10079012B2 (en) 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US9609419B2 (en) 2015-06-24 2017-03-28 Intel Corporation Contextual information while using headphones
KR20170010494A (ko) 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9842476B2 (en) 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US9542941B1 (en) 2015-10-01 2017-01-10 Lenovo (Singapore) Pte. Ltd. Situationally suspending wakeup word to enable voice command input
US20170125019A1 (en) 2015-10-28 2017-05-04 Verizon Patent And Licensing Inc. Automatically enabling audio-to-text conversion for a user device based on detected conditions
US10019881B2 (en) 2015-11-04 2018-07-10 Streamlight, Inc. Personnel tracking and monitoring system and method employing protective gear including a personnel electronic monitor device
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102558437B1 (ko) 2015-11-27 2023-07-24 삼성전자주식회사 질의 응답 처리 방법 및 이를 지원하는 전자 장치
US10599980B2 (en) * 2015-12-21 2020-03-24 Intel Corporation Technologies for cognitive cuing based on knowledge and context
US20170182283A1 (en) 2015-12-23 2017-06-29 Rovi Guides, Inc. Methods and systems for enhancing sleep of a user of an interactive media guidance system
US20170186446A1 (en) 2015-12-24 2017-06-29 Michal Wosk Mouth proximity detection
US9875734B2 (en) 2016-01-05 2018-01-23 Motorola Mobility, Llc Method and apparatus for managing audio readouts
US10452816B2 (en) 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US9407766B1 (en) 2016-02-19 2016-08-02 International Business Machines Corporation Automated response system providing customized prompts based on user situation
US10911860B2 (en) 2016-03-23 2021-02-02 Intel Corporation Automated and body driven headset audio control
US9807499B2 (en) 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US9584946B1 (en) 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US10147423B2 (en) 2016-09-29 2018-12-04 Intel IP Corporation Context-aware query recognition for electronic devices
US10403276B2 (en) 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US10121494B1 (en) 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
US10339932B2 (en) 2017-05-26 2019-07-02 Lenovo (Singapore) Pte. Ltd. Audio input activation based on thermal data detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626821B2 (en) * 2001-04-17 2014-01-07 Hewlett-Packard Development Company, L.P. Limiting access to information corresponding to a context
CN103282957A (zh) * 2010-08-06 2013-09-04 谷歌公司 基于上下文自动监测话音输入
CN102750271A (zh) * 2011-03-31 2012-10-24 微软公司 谈话式对话学习和纠正
CN103226949A (zh) * 2011-09-30 2013-07-31 苹果公司 在虚拟助理中使用情境信息来促进命令的处理
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
CN105278986A (zh) * 2015-09-30 2016-01-27 小米科技有限责任公司 电子设备的控制方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113424145A (zh) * 2019-05-31 2021-09-21 谷歌有限责任公司 将多模态环境数据动态地分配给助理动作请求以便与后续请求相关

Also Published As

Publication number Publication date
CN108958806B (zh) 2021-10-15
US20180342243A1 (en) 2018-11-29
DE102018111900A1 (de) 2018-11-29
GB2566780A (en) 2019-03-27
US10664533B2 (en) 2020-05-26
GB201808016D0 (en) 2018-07-04
GB2566780B (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN108958806A (zh) 基于情境确定用于数字助理的响应提示的系统和方法
US20210173548A1 (en) Virtual assistant acquisitions and training
EP2987164B1 (en) Virtual assistant focused user interfaces
US12008596B1 (en) Banking interface
CN108073382A (zh) 附近计算设备的虚拟助理识别
CN107957776A (zh) 主动虚拟助理
CN110770772A (zh) 被配置为自动定制动作组的虚拟助手
CN109844855A (zh) 任务的多重计算代理执行
CN110249354A (zh) 使用通知指示的动画移动展现的通知帘
Pitt et al. Deciding when to use tablets for business applications.
CN107085510A (zh) 情境性暂停用于启动语音命令输入的唤醒词
CN107643921A (zh) 用于激活语音助手的设备、方法和计算机可读存储介质
US20140184471A1 (en) Device with displays
US20170147919A1 (en) Electronic device and operating method thereof
CN104679716A (zh) 第一装置接收输入及将输出呈现于第二装置的装置和方法
US11367261B2 (en) Presenting an augmented reality interface
US20140195968A1 (en) Inferring and acting on user intent
CN109076085A (zh) 支持多个账户的上下文感知数字个人助理
US20160092563A1 (en) Graphical interface presentation of search results
US9235830B1 (en) Establishing a reminder for an event in a calendar
CN108628649A (zh) 助理服务的智能设置
US20170289676A1 (en) Systems and methods to identify device with which to participate in communication of audio data
US20230186247A1 (en) Method and system for facilitating convergence
US10712906B2 (en) Systems and methods for presentation of elements on a display based on context
MX2015006435A (es) Sistemas y metodos para usar imágenes para generar interaccion digital.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant