CN110651241B - 将多个移动设备连接到智能家庭助理账户 - Google Patents

将多个移动设备连接到智能家庭助理账户 Download PDF

Info

Publication number
CN110651241B
CN110651241B CN201880033002.7A CN201880033002A CN110651241B CN 110651241 B CN110651241 B CN 110651241B CN 201880033002 A CN201880033002 A CN 201880033002A CN 110651241 B CN110651241 B CN 110651241B
Authority
CN
China
Prior art keywords
digital assistant
assistant device
command
intelligent
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033002.7A
Other languages
English (en)
Other versions
CN110651241A (zh
Inventor
马坦·利瓦伊
马克·鲁滨逊
拉雅·慕克吉
基兰·宾湖·赫玛拉
苏尼尔·帕蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peloton Interactive Inc
Original Assignee
Peloton Interactive Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peloton Interactive Inc filed Critical Peloton Interactive Inc
Publication of CN110651241A publication Critical patent/CN110651241A/zh
Application granted granted Critical
Publication of CN110651241B publication Critical patent/CN110651241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • G06F9/45512Command shells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/541Interprogram communication via adapters, e.g. between incompatible applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)

Abstract

提供了用于实现数字助理连接系统的各种实施方式、方法和系统。在操作中,从数字助理设备传送接收唯一标识符的请求。利用唯一标识符将数字助理设备与智能助理设备配对。唯一标识符从数字助理服务器接收并由数字助理服务器生成,以与数字助理设备和对应的数字助理设备应用实例对应。在数字助理设备应用处接收在数字助理设备上执行动作的指令。基于在数字助理设备应用与智能助理设备之间的已建立的命令驱动会话来传送指令。命令驱动会话与将数字助理设备和智能助理设备配对的唯一标识符相关联。基于通过智能助理设备接收的命令在数字助理设备上执行动作。

Description

将多个移动设备连接到智能家庭助理账户
本发明的背景
物联网(IoT)技术的发展证明,执行不同类型任务的设备之间的连接变得越来越重要。随着IoT连接扩展,数字助理控制其他设备以及与其他设备交互操作的潜力也扩展。当前,通过数字助理的设备间连接技术处于其起步阶段,并且数字助理执行跨各种设备(例如,智能家庭助理设备和移动设备)和应用的操作的能力受到开发人员生态系统和其他专有实现方式的限制。在理想的实现方式中,数字助理应该无缝地用于允许用户经由智能家庭助理设备在用户的移动设备(例如,移动电话、可穿戴设备)上执行动作。虽然一些智能家庭助理设备具有“始终侦听”模式,但是它们执行的具体动作不能在移动设备上执行,或者不能经由安装在对应移动设备上的智能家庭助理应用启用,这就是用户花费了他们大部分时间的地方。此外,常规数字助理对将移动设备无缝地连接到智能家庭助理设备以使智能家庭助理设备在移动设备上执行期望的动作不进行协助。
发明内容
本发明的实施方式涉及方法、系统和计算机存储介质,这些方法、系统和计算机存储介质用于将计算设备自动连接到智能助理设备(例如智能家庭助理、智能扬声器),特别是用于将数字助理设备(例如移动电话、平板电脑、可穿戴设备)上的数字助理(例如数字助理设备应用、虚拟助理、智能型个人助理、软件代理)连接到智能助理设备,以在数字助理设备上执行数字助理设备操作。例如,在智能助理设备处接收的语音命令可以触发在正在执行数字助理设备应用的数字助理设备上执行的动作。
在使用数字助理连接系统中的多个组件(例如,数字应用设备应用、数字助理服务器应用、智能助理设备应用和智能助理服务器应用)时,数字助理设备与智能助理设备之间的自动连接基于激活的通信会话和命令驱动会话,该通信会话和命令驱动会话基于唯一标识符被系统地发起和激活。另外,设备之间的连接可以至少部分地基于对智能助理设备可以专门支持以提供智能助理服务的内置帐户服务进行再利用。例如,智能助理设备可以支持将智能助理设备限制到单个帐户或定义的帐户集的帐户服务,该单个帐户或定义的帐户集用于连接到智能助理设备并使用智能助理设备执行操作。可以对智能助理设备上的帐户服务进行再利用,以使多个数字助理设备各自无缝地连接到智能助理设备。此外,基于在数字助理设备应用与智能助理设备应用之间建立命令驱动会话(例如,语音命令驱动会话),能够经由智能助理设备控制数字助理设备,以在数字助理设备上执行动作。
在操作中,将接收唯一标识符的请求从在数字助理设备上执行的数字助理设备应用传送到在数字助理服务器上执行的数字助理服务器应用。请求唯一标识符,使得利用唯一标识符将数字助理设备与智能助理设备配对。在数字助理服务器处接收该请求。唯一标识符在数字助理服务器应用处生成,以与数字助理设备和数字助理设备应用的实例对应。从数字助理服务器应用传送唯一标识符并经由数字助理设备在数字助理设备应用处接收唯一标识符。
然后,将唯一标识符传送到在智能助理设备上执行的智能助理设备应用。基于在智能助理设备应用处接收到唯一标识符,智能助理设备应用将包括唯一标识符的配对命令传送到在智能助理服务器上执行的智能助理服务器应用。将配对命令传送到智能助理服务器应用,以用于智能助理服务器应用发起与在数字助理服务器上执行的数字助理服务器应用的通信。数字助理服务器应用实现用于与在数字助理设备上执行的数字助理设备应用通信的第三方命令驱动服务。基于接收到配对命令,智能助理服务器应用发起与数字助理服务器应用的通信。
基于在智能助理服务器应用与数字助理服务器应用之间发起通信,在数字助理服务器应用与智能助理设备应用之间建立通信会话。建立通信会话是基于在发起通信过程期间将包括唯一标识符的配对命令的至少一部分从智能助理服务器应用传送到数字助理服务器应用。基于数字助理服务器应用接收到具有唯一标识符的配对命令的至少一部分,数字助理服务器应用在数字助理设备应用与智能助理设备应用之间建立命令驱动会话(例如,语音命令驱动会话)。
智能助理设备应用接收、处理命令并将命令传送到智能助理服务器应用。智能助理服务器应用接收、处理命令并将命令传送到数字助理服务器组件。数字助理服务器应用接收并处理命令,并基于该命令生成在数字助理设备上执行动作的指令并将该指令传送到数字助理设备应用。基于在数字助理设备应用与智能助理设备应用之间的命令驱动会话将该指令传送到数字助理设备应用。数字助理设备应用接收并处理在数字助理设备应用处从数字助理服务器应用接收的指令。响应于接收到执行动作的指令,在数字助理设备上执行动作。通过数字助理设备应用在数字助理设备上执行该动作。
提供该发明内容以便以简化形式介绍在下面的具体实施方式中进一步描述的选择的概念。该发明内容旨不在确定所要求保护的主题的关键特征或必要特征,也旨不在用于帮助确定所要求保护的主题的范围。
附图说明
下面参考附图详细描述本公开内容,其中:
图1描绘了根据本公开内容的一些实施方式的示例性运行环境;
图2是示出根据本公开内容的一些实施方式的数字助理连接系统的示例性实现方式的流程图;
图3是示出根据本公开内容的一些实施方式的数字助理连接系统的示例性实现方式的流程图;
图4是示出根据本公开内容的一些实施方式的数字助理连接系统的示例性实现方式的流程图;
图5是示出根据本公开内容的一些实施方式的数字助理连接系统的示例性实现方式的流程图;
图6是适合用于实现本公开内容的一些实施方式的示例性计算环境的框图。
具体实施方式
随着电子设备越来越多地融入我们的日常生活,我们可以与电子设备相连接的方法也越来越多。在各种消费电子设备中,数字助理已无处不在。一些现代的数字助理采用语音识别技术来提供用户与电子设备之间的对话接口。这些数字助理可以采用各种算法诸如自然语言处理来改进对从用户接收的命令的解译。
不同类型的数字助理已在许多人的家庭中找到一席之地,提供可以协助用户进行从基础级别到非常高级的级别的各种任务的语音激活服务。典型地,这些数字助理被实现到固定设备(例如,智能助理设备)或移动电话(例如,数字助理设备)中,并通过语音检测或手动激活(例如,按钮按压)进行激活。一旦激活,数字助理接收语音命令,并将该命令转送到服务提供商(或第三方服务提供商)的远程服务器进行处理。然后,远程服务器可以将接收到的命令的响应或确认提供给数字助理,以输出给用户。
数字助理使用户与其设备之间的无缝接口成为可能,并且可以提供快的多的方式来交换输入信息和输出信息。一种数字助理——特别是由总部设于加利福尼亚州圣何塞的AiqudoInc.开发的“Q”数字助理——包括使用数字助理的集成自动化。换句话说,“Q”数字助理可以,除了许多其他事情之外,还基于预定义输入(例如“命令”)的接收来执行一系列预定义任务(例如“动作”),以实现期望的结果。另外,“Q”数字助理提供大量附加服务,诸如由智能型算法保证质量的各种命令和动作的众包定义,从而基本上消除新手用户“训练”他们的数字助理与他们优选的应用一起工作的需求。
除了其他事情之外,“Q”数字助理还接收语音命令并将语音转换为文本。然后,数字助理可以采用自然语言处理来针对可以由用户已经安装或需要安装的应用提供服务的任何识别的命令来对文本进行分析。在一些实例中,命令还可以包括由数字助理识别的参数。倘若在用户设备上安装了能够为命令提供服务的应用,则“Q”助理可以使一系列预定义任务自动化,这些预定义任务——仅作为示例——包括:启动应用;模仿触摸输入以进行按钮按压或应用导航;将参数传递到应用表单字段中;等待应用或远程传送的响应等等,直到完全执行自动化“动作”并将所提供命令的结果提供给用户。
如所描述,当数字助理正在执行自动化动作时,或者当正在执行与自动化动作相关联的各个步骤时,数字助理模仿完成动作所需的各种步骤。本质上,并且仅作为示例,用户可以向数字助理提供语音命令,诸如“让我搭车去机场”,数字助理可以确定特定应用可以提供此服务,确定用户当前的位置和最近的机场,并且启动下述乘车共享应用,数字助理可以将“当前位置”和“机场”参数传递给所述乘车共享应用。数字助理还可以使任何附加输入诸如“提交”按钮自动化,倘若这样的任务被包括在与接收的命令对应的预定义动作中。
常规数字助理大多地受服务提供商及其开发人员实现的能力的限制。更具体地,常规数字助理可以响应于口头命令执行的操作(例如动作)的数量不仅受到数字助理不能准确地理解消费者的限制,而且还受到数字助理的有限的定义的或程控的技能组的限制。例如,数字助理只能基于预定义的命令动作组合执行动作,或者数字助理在其对开发人员预定义的命令或命令集的识别方面受限。
一些服务提供商和开发人员提供了开放接口(例如API),使得第三方可以开发可以基本上“插入”至数字助理并提供附加服务的定制服务。但是,数字助理,并且特别是智能助理,常常仍必须基于内置帐户服务进行操作。智能助理可以在操作上与帐户服务的单个帐户或帐户集链接。帐户可以经由帐户服务被预定义或预配置并且/或者通过注册过程链接到选定的智能助理。然后,与选定的帐户相关联的移动设备可以利用智能助理进行操作,例如,以经由智能助理接收通信。
注册账户服务以连接到移动设备的要求阻碍了移动设备连接到智能助理的自动且无缝的能力。帐户设备框架可能由于若干原因而是极度禁止的,这些若干原因例如,用户可能具有多个移动设备,用户希望互换使用这些移动设备以利用智能助理进行操作以执行期望的动作;向移动设备注册帐户服务可能很麻烦,以及一些用户可能在注册他们的设备时由于对共享个人信息的安全性考虑而不情愿。
另外,即使以某种方式简化了智能助理与移动设备的配对,现有的配对技术在功能上也仍然有若干限制,否则现有的配对技术可能是改进的解决方案。例如,仅支持将电子设备配对到智能助理的常规系统不支持智能助理设备可以促进的定制和/或学习命令、方言或其他特征。此外,对多个移动设备连接和操作性的支持也受到限制,因为常规系统不支持被配置为与智能助理设备同时执行动作的多个移动设备。对同时进行操作的多个移动设备的支持对于包括实时协作、教育、社交和团体应用在内的具体场景而言可能是至关重要的。在这方面,解决在无缝连接和交互操作性方面的上述限制的数字助理连接系统可以改进数字助理技术的状态。
本发明的实施方式提供了简单且有效的方法、系统和计算机存储介质,这些方法、系统和计算机存储介质用于将计算设备自动连接到智能助理,特别是将数字助理设备连接到智能助理以执行数字助理设备服务。在使用数字助理连接系统中的多个组件(例如,数字应用设备应用、数字助理服务器应用、智能助理设备应用和智能助理服务器应用)时,数字助理设备与智能助理设备之间的自动连接基于激活的通信会话和命令驱动会话,该通信会话和命令驱动会话基于唯一标识符被系统地发起和激活。另外,设备之间的连接可以至少部分地基于对智能助理设备可以专门支持以提供智能助理服务的内置帐户服务进行再利用。例如,智能助理设备可以支持将智能助理设备限制到单个帐户或定义的帐户集的帐户服务,该单个帐户或定义的帐户集用于连接到智能助理设备并使用智能助理设备执行操作。可以对智能助理设备上的帐户服务进行再利用,以使多个数字助理设备各自无缝地连接到智能助理设备。此外,基于在数字助理设备应用与智能助理设备应用之间建立命令驱动会话(例如,语音命令驱动会话),能够经由智能助理设备控制数字助理设备,以在数字助理设备上执行动作。
数字助理连接系统基于在数字助理连接系统中运行的各种计算设备(例如,数字助理设备、智能助理设备、智能助理服务器、数字助理服务器)上的若干组件进行操作。如本文所使用,数字助理设备、智能助理设备、智能助理服务器、数字助理服务器可以指对应的移动设备、智能家庭助理设备、智能家庭助理服务器和数字助理服务器。设备和服务器可以执行、操作或运行硬件或软件组件(例如,数字助理设备应用、智能助理设备应用、智能助理服务器应用、数字助理服务器应用)以支持自动化连接。
可以经由数字助理服务器将多个数字助理设备配置为与智能助理设备交互操作。智能助理设备可以是但不限于独立设备(例如 等)。本发明的实施方式想到了一种智能助理设备,该智能助理设备可以是可操作以提供对智能助理设备服务的访问的任何电子设备。在这方面,在所描述的实施方式的情况下,想到了本文中根据图1描述的计算设备,诸如移动设备、电视、可穿戴设备或任何其他用户设备,该计算设备可操作以提供与所描述的智能助理设备相同或相似的智能处理设备特征。这样,所描述的智能助理设备和智能助理服务器不受限于“家庭”环境,并且可以是支持本文描述的功能的不同类型计算设备。
数字助理连接系统可以支持若干不同协议,以在数字助理设备(例如移动电话)与智能助理设备(例如智能家庭助理)之间建立连接,并且还支持数字助理设备与智能助理设备之间的不同类型的功能。在较高级别,用户可以请求唯一标识符以在数字助理设备上执行的数字助理设备应用与在智能助理设备上执行的智能助理设备应用之间建立命令驱动会话。可以在数字助理设备应用处接收该请求。例如,用户可以经由数字助理设备应用的接口输入请求,更具体地,语音命令被传送到在数字助理设备上执行的数字助理设备应用。数字助理设备应用将请求传送到执行数字应用服务器应用的数字应用服务器,该数字应用服务器应用支持在数字助理服务器上的操作。
数字助理服务器和数字助理服务器应用运行以生成、管理和处理唯一标识符。可以使用各种技术生成唯一标识符并基于任意数量的合适的格式构建唯一标识符。例如,可以使用随机标识符生成器来生成唯一标识符,并且唯一标识符可以包括多个预定义字符,以减少意外使用先前生成的唯一标识符的可能性。数字助理服务器可以采用数据结构和保护措施来管理唯一标识符。例如,数字助理服务器可以维护生成的唯一标识符的记录,并采用算法来避免重复并减少生成的唯一标识符的紧贴放置的QWERTY字符。在一个实施方式中,唯一标识符至少暂时地用作个人识别码(pin code:pin码),该个人识别码是在命令驱动会话期间数字助理设备与智能助理设备之间的链接的参考。唯一标识符可以用作认证码,以用于经由智能助理设备、智能助理设备服务器和数字助理服务器对与对应数字助理设备相关联的操作进行处理。
唯一标识符可以与数字助理设备应用的特定实例相关联。在这方面,对于在对应数字助理设备上执行的多个数字助理设备应用,具有数字助理设备应用实例的每个数字助理设备都可以与智能助理设备配对。在一个实施方式中,智能助理设备的帐户服务帐户从其预期的编程功能被再利用,以支持多个数字助理设备。例如,该帐户可以用作针对多个数字助理设备中的每个数字助理设备连接到智能助理设备的链接。智能助理设备的多个帐户还可以存在,使得第一组数字助理设备可以与第一帐户相关联,并且第二组数字助理设备可以与第二帐户相关联。例如,第一用户的移动电话和平板电脑可以与帐户A相关联,并且第二用户的第二移动电话和智能手表可以与帐户B相关联,其中在建立连接后,每个设备都可以同时与智能助理设备进行交互操作。
在生成唯一标识符之后,数字助理服务器将唯一标识符传送到数字助理设备。可以在数字助理设备处接收唯一标识符,并且优选地经由与数字助理设备相关联的接口接收唯一标识符。在接收到唯一标识符之后,用户可以触发唯一标识符到智能助理设备的传送。可以通过各种方式将唯一标识符传送到智能助理设备。在一个实施方式中,可以使用唯一标识符来执行语音命令,以开始将数字助理设备与智能助理设备配对。例如,可以执行包括唯一标识符的语音命令,其中在智能助理设备处对语音命令进行处理。此外,数字助理连接系统的设备组件和服务器组件可以用于基于定义的协议传送消息以激活通信会话和命令驱动会话,以提供本文描述的功能。
在智能助理设备上执行的智能助理设备应用接收唯一标识符。智能助理设备应用可以指支持智能助理设备上的开发人员定义的特征集和功能的代理。数字助理服务器可以使用智能助理服务器应用应用编程接口(API)或智能助理应用服务器的语音驱动的增强来促进智能助理设备与数字助理设备之间的交互操作性。智能助理应用服务器特别可以使用户能够将第三方命令驱动服务连接到智能助理设备。
智能助理设备应用可以生成包括唯一标识符的配对命令。基于在智能助理设备应用处接收到唯一标识符,智能助理设备应用将包括唯一标识符的配对命令传送到在智能助理服务器上执行的智能助理服务器应用。智能助理服务器应用是支持提供智能型助理服务(例如,语音控制的智能型个人助理服务)的应用。智能助理服务器应用可以帮助将智能助理设备实现为家庭自动化中心,该家庭自动化中心支持照明、加热(诸如智能恒温器)、通风、空气调节(HVAC)和安全性以及家用电器的控制和自动化。
智能助理服务器应用发起与在数字助理服务器上执行的数字助理服务器应用的通信。数字助理服务器应用实现用于与在数字助理设备上执行的数字助理设备应用通信的第三方命令驱动服务。作为示例, 智能助理服务(即智能助理服务器应用)可以提供使用户能够通过/>智能助理设备来采用第三方命令驱动服务(例如,请求乘车共享服务)的“技能”特征。在这方面,可以使用智能助理服务器应用来对使用智能助理设备与数字助理服务器之间的连接(例如,通信会话)的操作进行处理。作为背景,可以通过陈述与第三方命令驱动服务对应的命令来发起与经由智能助理服务器应用和智能助理服务器执行的第三方命令驱动服务的连接。这样,通过向智能助理服务器应用注册数字助理服务器应用作为第三方语音驱动服务,可以容易地发起与数字助理服务器的连接。
作为示例,可以向智能助理服务器应用注册命令诸如“打开动作”作为使智能助理设备与数字助理服务器之间的连接初始化的命令。本文描述的实施例不旨在以任何方式进行限制,并且可以想到,用于经由智能助理设备采用第三方命令驱动服务以及用于在其间建立连接的替代性技术在本公开内容的范围内。此外,可以想到,结合对应的服务器或设备来提供对本文所述的服务、应用或组件的任何参考。例如,可以通过一个或多个数字助理服务器或设备来提供数字助理设备服务。此外,对服务器的任何参考还可以参考由所述服务器提供的对应服务、应用或组件。
基于在智能助理服务器应用与数字助理服务器应用之间发起通信,在数字助理服务器应用(即第三方命令驱动服务)与智能助理设备应用之间建立通信会话。建立通信会话是基于在发起通信的同时将包括唯一标识符的配对命令的至少一部分从智能助理服务器应用传送到数字助理服务器应用。基于数字助理服务器应用接收到配对命令的至少一部分,数字助理服务器应用在数字助理设备应用与智能助理设备应用之间建立命令驱动会话(例如语音命令驱动会话)。
在示例性实现方式中,使连接初始化的命令可以包括参数。在这方面,数字助理服务器应用可以被配置为等待配对码(即与数字助理设备相关联的唯一标识符)或接收配对码作为命令的一部分。可以将组合的命令与配对码描述为对应的配对命令。这样,并且仅作为示例,与唯一标识符(例如“X3G1G9”)或其任何变型配对的、使与数字助理服务器应用的连接初始化的命令(例如“打开动作”)可以被智能助理设备解译为发起智能助理服务器应用与数字助理服务器应用之间的通信的命令,并且智能助理服务器应用将唯一标识符作为参数传递给数字助理服务器应用,以建立数字助理服务器应用与智能助理设备应用之间的连接会话,以便能够在具体的数字助理设备(即特定数字助理设备上的数字助理设备应用的特定实例)上执行动作。
在示例性实现方式中,基于具有唯一标识符的配对命令,数字助理服务器应用验证并认证要与智能助理设备配对的数字助理设备。发起通信会话并建立命令驱动会话允许来自智能助理设备的命令被中继通过智能助理服务器和数字助理服务器(即,通信会话),使得数字助理服务器分析从智能助理设备接收的命令(即命令驱动会话),如同该命令是直接从与接收到的唯一标识符相关联的数字助理设备接收的那样。现在,数字助理服务器可以调用具体动作,或使用数字助理设备应用将具体命令传输到数字助理设备以进行动作调用。
数字助理连接系统可以支持记录设备之间的连接,并支持基于设备之间的连接的记录来认证命令驱动会话。首先,当数字助理设备和智能助理设备具有已建立的命令驱动会话时,可以想到,数字助理设备和智能助理设备中的一者或两个者通信地耦接到数字助理服务器,以对连接或配对的成功建立进行传送。传送成功的配对之后,数字助理服务器可以存储设备之间的链接的记录。特别地,如果将帐户服务帐户用作对一个或多个数字助理设备进行配对的一部分,则设备之间的链接的记录可以识别与配对的设备相关联的帐户。在这方面,唯一标识符、数字助理设备、智能助理设备、会话标识符和帐户可以是指示这些设备之间的链接的示例性记录。可以在记录中参考唯一标识符,以对记录中对应设备之间的操作进行处理。
数字助理连接系统还可以在数字助理设备、智能助理设备、智能助理服务器和数字助理服务器之间建立连接会话之后支持在这些设备之间执行不同操作。智能助理设备可以接收在链接的数字助理设备上执行动作的命令。例如,智能助理设备可以接收在对应的数字助理设备上执行动作的语音命令。想到了若干不同类型的通信,用于针对在智能助理设备处接收的命令传送在数字助理设备上执行动作的请求。数字助理服务器可操作以将指令传送到数字助理设备以执行对应动作。该动作可以与由该动作定义的、映射到在智能助理设备处接收的命令的一系列操作相关联。
另外,可以想到,当数字助理设备与数字助理服务器之间的网络连接可用时,数字助理设备可操作以从数字助理服务器接收通信。例如,可以将推送事件从数字助理服务器发送到数字助理设备。在另一实例中,数字助理设备可识别的消息或其他信号可以由数字助理服务器传送到数字助理设备的已知网络地址。可以想到,用于建立从服务器到客户端设备的通信的任何已知方法都在本公开内容的范围内。
智能助理服务器应用可以检测关闭与数字助理服务器应用的已建立的连接的命令。例如,命令诸如“关闭动作”可以由智能助理设备接收,并由智能助理服务器应用解译以关闭与数字助理服务器应用的已建立的连接。在这方面,已建立的连接的关闭可以自然地使数字助理服务器应用终止智能助理设备与配对的数字助理设备之间的命令驱动会话(例如,语音命令驱动会话)。在替代性方案中,可以将与具体配对的数字助理设备的连接维持为打开并且持续,直到通过至智能助理设备的特殊命令而被明确禁用,或者当新的数字助理设备正在请求连接时。
数字助理连接系统可以支持与智能助理设备同时连接或配对的多个数字助理设备,并且单个语音命令可以用于同时发起一个或多个数字助理设备上的动作。例如,在聚会上,或者对于一组学生,或者为了远程呈现和演示目的,多个数字助理设备可以通过来自智能助理设备的单个命令使动作在该多个数字助理设备上触发。在这样的情况下,可以是数字助理设备正在不同的移动平台(例如iOS或Android)上执行或调用动作。
数字助理连接系统还可以支持智能助理服务器应用在已经与第一数字助理设备建立第一连接的同时检测另一命令以打开与第二数字助理设备的连接的能力。在一些方面,智能助理服务器应用可以基于接收到的命令终止第一已建立的连接。在一些其他方面,如果接收到的命令不包括不同的唯一标识符,则智能助理服务器应用可以维持第一已建立的连接。在一些另外的方面,智能助理服务器应用可以终止第一已建立的连接并立即建立新连接,将新的唯一标识符传递给数字助理服务器应用以在智能助理设备与和新的唯一标识符相关联的第二数字助理设备之间发起新的命令驱动会话(例如,语音命令驱动会话)。
有利地,所描述的技术和系统提供了一种直观且轻而易举的方法,所述方法用于将多个数字助理设备连接到单个智能助理设备并且在一些情况下对智能助理设备帐户或智能助理帐户集进行再利用以连接智能助理设备。数字助理连接系统使用非常规协议来传送唯一标识符并发起通信以及建立通信连接和命令驱动会话,以管理和处理命令并执行动作。与常规智能助理服务所提供的繁琐且可能不安全的框架形成对照,数字助理连接系统支持用于将多个移动设备与智能助理快速配对或取消配对的技术。定义的协议防止对用于数字助理组件的自动化数字助理连接的协议的广泛抢占。
另外,存储的唯一标识符和对应信息(例如,会话标识符、数字助理设备和智能助理设备)的记录操作以经由数字助理服务器应用改进数字助理服务器的操作,因为该记录被参考以用于对数字助理设备与智能助理设备之间的连接进行较快的验证和认证。此外,基于数字助理设备与智能助理设备之间的已建立的命令驱动会话,智能助理设备可以操作以接收在数字助理设备上执行动作的语音驱动命令。在这方面,所公开的实施方式可以经由智能助理设备使数字助理设备上的动作的非常规执行和调用成为可能。
用于使数字助理设备和智能助理设备自动连接的协议和操作在技术领域中不是常规的,并且数字助理连接系统通过实现特定于该技术环境的解决方案解决了将多个数字助理设备与单个智能助理设备连接的技术问题。该解决方案还与该领域中惯常或常规使用所建议的方式不同,因为该连接被配置为用于智能助理设备、多个数字助理设备之间的交互操作性,并用于经由智能助理设备在数字助理设备上执行动作。这样,本发明提出了对自动数字助理连接的计算操作的改进以及对用于提供数字助理服务的数字助理连接的整个技术领域的改进。
参考图1,图1示出了其中可以采用本公开内容的实现方式的示例性数字助理连接系统100。特别地,图1示出了具有根据本公开内容的实现方式的组件的数字助理连接系统100的高级架构。应当理解,本文描述的这种布置和其他布置仅作为示例阐述。另外,如本文所使用的系统是指任何设备、方法或服务或其组合。可以使用组件或生成器如硬件、软件、固件、专用设备或其任何组合来实现系统。系统可以集成到单个设备中,或系统可以分布在多个设备上。系统的各种组件或生成器可以位于同一位置或是分布式的。例如,尽管为了清楚起见被讨论为内容应用组件,但是所讨论的操作可以以分布式方式被执行。系统可以由其他系统及其组件形成。应当理解,本文描述的这种布置和其他布置仅作为示例阐述。
除了未示出的其他组件或生成器之外,数字助理连接系统100还包括数字助理设备110、数字助理服务器120、智能助理130和智能助理服务器(相应地为“设备组件”和“服务器组件”)。设备组件和服务器组件还可以包括应用(例如应用112、数字助理设备应用114、应用122、数字助理服务器应用122、应用132、智能助理设备应用134和智能助理服务器应用142。
一个或多个应用包括在设备组件和服务器组件上能够执行的任何应用,并且可以包括经由应用市场安装的应用、自定义应用、网页应用、侧载应用、设备组件和服务器组件的操作系统中包括的应用、或者可以合理地认为适合应用的一般定义的任何其他应用。应用还可以参考附图被描绘或称为组件,其中组件可以是提供本文描述的功能的硬件或软件组件。如图所示,数据库124可以直接耦接到数字助理服务器120,而替代性地在一些实施方式中,数据库124经由网络130耦接到服务器120。
数字助理连接系统100的组件可以在一个或多个网络(例如,公共网络或虚拟专用网络“VPN”)上彼此通信。网络130可以包括但不限于一个或多个局域网(LAN)和/或广域网(WAN)。计算设备可以是与本文参考图6描述的计算设备对应的客户端计算设备。数字助理连接系统100的组件可以一起操作以提供用于本文描述的自动化数字助理连接的功能。
还可以参考图2描述本发明的实施方式,其中图2还示出了与图1中的设备和服务器对应的设备组件(即,数字助理设备组件202、智能助理设备组件206)和服务器组件(即,数字助理服务器组件204和智能助理服务器组件208)。如图2所示的设备组件或服务器组件可以表示在设备组件和服务器组件上执行的、实现用于提供数字助理连接的协议的应用。
在操作中,接收唯一标识符的请求从数字助理设备的数字助理设备组件202传送210到数字助理服务器的数字助理服务器组件204。请求唯一标识符,使得利用唯一标识符将数字助理设备与智能助理设备配对。唯一标识符在数字助理服务器组件204处生成212以与数字助理设备对应。唯一标识符从数字助理服务器组件204传送214到数字助理设备组件202。数字助理设备组件接收216唯一标识符。
然后在智能助理设备的智能助理设备组件206处接收218唯一标识符。基于在智能助理设备组件206处接收唯一标识符,智能助理设备组件206将包括唯一标识符的配对命令传送220到智能助理服务器的智能助理服务器组件208。
该配对命令被传送到智能助理服务器组件208,以供智能助理服务器组件208发起222与数字助理服务器组件204的通信。数字助理服务器组件204运行以实现用于与数字助理设备的数字助理设备组件通信的第三方命令驱动服务。基于接收到配对命令,智能助理服务器组件208发起222与数字助理服务器组件204的通信(即,第三方命令驱动服务)。
基于在智能助理服务器组件208与数字助理服务器组件204之间发起222通信,在数字助理服务器组件204与智能助理设备组件206之间建立通信会话224。建立通信会话是基于发起222通信的同时将包括唯一标识符的配对命令的至少一部分从智能助理服务器组件208传送到数字助理服务器组件204。基于数字助理服务器组件204接收到配对命令的至少一部分,数字助理服务器组件204在数字助理设备组件202与智能助理设备组件202之间建立226命令驱动会话(例如,语音命令驱动会话)。
智能助理设备组件206接收、处理命令并向智能助理服务器组件208传送228命令。智能助理服务器组件208接收、处理命令并向数字助理服务器组件204传送230命令。数字助理服务器组件204接收并处理命令,然后生成并传送232在数字助理设备组件202上执行动作的指令。基于数字助理设备应用与智能助理设备应用之间的命令驱动会话将该指令传送给数字助理设备应用。数字助理设备组件202接收并处理该指令,然后执行234动作。响应于接收到执行动作的指令,在数字助理设备上执行动作。该动作由数字助理设备上的数字助理设备组件202执行。
参考图3、图4和图5,提供了示出用于实现数字助理连接系统的方法的流程图。可以使用本文描述的数字助理连接系统来执行该方法。在实施方式中,一种或多种具有在其上体现的计算机可执行指令的计算机存储介质,该计算机可执行指令在由一个或多个处理器执行执行时可以使一个或多个处理器执行数字助理连接系统中的方法。
转到图3,提供了示出用于实现数字助理连接系统的方法300的流程图。首先在框310,从在数字助理设备上执行的数字助理设备应用传送接收唯一标识符的请求。利用唯一标识符将数字助理设备应用与在智能助理设备上执行的智能助理设备应用配对。
在框320,在数字助理设备应用处从在数字助理服务器上执行的数字助理服务器应用接收唯一标识符。唯一标识符由数字助理服务器应用生成,以与数字助理设备应用和数字助理设备对应。
经由数字助理服务器将唯一标识符与数字助理设备标识符、智能助理设备标识符和命令驱动会话标识符相关联地进行存储,以认证数字助理设备与智能助理设备之间的命令驱动会话,以用于生成执行动作的指令。智能助理设备应用经由智能助理设备接收到唯一标识符是基于包括唯一标识符的语音命令。
在框330,在数字助理设备应用处接收在数字助理设备上执行动作的指令。基于在数字助理设备应用与智能助理设备应用之间的已建立的命令驱动会话来传送指令。命令驱动会话与将数字助理设备应用和智能助理设备应用配对的唯一识别符相关联。命令驱动会话可以是语音命令驱动会话。语音命令驱动会话和第二语音命令驱动会话是同时发生的。
在框340,响应于接收到执行动作的指令,在数字助理设备上执行动作,通过数字助理设备应用执行该动作。在数字助理服务器应用处基于下述操作生成指令:在智能助理设备应用处接收到命令,基于该命令与数字助理服务器应用之间的第三方命令驱动服务关联将该命令传送到智能助理服务器应用,将该命令中继到数字助理服务器应用,以及基于该命令生成在数字助理设备上执行动作的指令。
转到图4,提供了示出用于实现数字助理连接系统的方法400的流程图。首先在框410,在智能助理服务器上执行的智能助理服务器应用处,从智能助理设备应用接收用以发起智能助理服务器应用与在数字助理服务器上执行的数字助理服务器应用之间的通信的配对命令。数字助理服务器运行第三方命令驱动服务,该第三方命令驱动服务被配置为与在数字助理设备上运行的数字助理设备应用进行通信。
配对命令包括第一唯一标识符,该第一唯一标识符与在多个数字助理设备中的第一数字助理设备上执行的数字助理设备应用对应。配对命令的传送给数字助理服务器应用的至少一部分包括第一唯一标识符。至少部分地基于接收到第一唯一标识符,运行第三方命令驱动服务的数字助理服务器应用被配置为促进第一数字助理设备的数字助理设备应用与智能助理设备之间的语音命令驱动会话。
在框420,基于在智能助理服务器应用处接收到配对命令,在智能助理服务器应用处发起智能助理服务器应用与数字助理服务器应用之间的通信。
在框430,基于智能助理服务器应用发起通信,在智能助理设备应用与运行第三方命令驱动服务的数字助理服务器应用之间建立通信会话。配对命令的至少一部分被传送到数字助理服务器应用。
在框440,从智能助理服务器应用传送从智能助理设备应用接收的一个或多个附加命令。基于已建立的通信会话,将一个或多个附加命令传送到运行第三方命令驱动服务的数字助理服务器应用,使得使用运行第三方命令驱动服务的数字助理服务器应用来对一个或多个附加命令进行处理。
基于与用于针对从多个数字助理设备中的选定数字助理设备的数字助理设备应用直接接收的命令生成指令的过程或机制相同的过程或机制,数字助理服务器应用生成与一个或多个附加命令相关联的执行动作的指令,该选定的数字助理与配对命令中包括的唯一标识符对应。
转到图5,提供了示出用于实现数字助理连接系统的方法500的流程图。首先在框510,在智能助理服务器上执行的智能助理服务器应用处,从智能助理设备应用接收用以发起与第三方命令驱动服务的通信的第二配对命令。第二配对命令与先前接收的第一配对命令不同。
在框520,基于在智能助理服务器应用处接收到第二配对命令,在智能助理服务器应用处发起智能助理服务器应用与数字助理服务器应用之间的通信。
在框530,基于智能助理服务器应用发起通信,在智能助理设备应用与运行第三方命令驱动服务的数字助理服务器应用之间建立第二通信会话。第二通信会话与先前建立的第一通信会话不同。将第二配对命令的至少一部分传送到运行第三方命令驱动服务的数字助理服务器应用。
在框540,通过智能助理服务器应用传送从智能助理设备应用接收的一个或多个附加命令。基于已建立的第二通信会话,将一个或多个附加命令传送到运行第三方命令驱动服务的数字助理服务器应用,使得使用运行第三方命令驱动服务的数字助理服务器应用来对一个或多个附加命令进行处理。
参考数字助理连接系统100,本文描述的实施方式支持将计算设备自动连接到智能助理,特别是将数字助理设备自动连接到智能助理,以执行数字助理设备服务。数字助理连接系统组件是指实现图像搜索系统的集成组件。集成组件是指支持使用数字助理连接系统组件的功能的硬件架构和软件框架。硬件架构是指物理组件及其相互关系,并且软件框架是指提供可以用在设备上运行的硬件实现的功能的软件。基于端到端软件的数字助理连接系统可以在其他组件内运行,以操作计算机硬件以提供数字助理连接系统功能。这样,数字助理连接系统组件可以管理资源并为数字助理连接系统功能提供服务。在本发明的实施方式的情况下,可以想到任何其他变型及其组合。
作为示例,数字助理连接系统可以包括API库,该API库包括用于例程、数据结构、对象类的规范,并且变量可以支持设备的硬件架构和数字助理连接系统的软件框架之间的交互作用。这些API包括用于数字助理连接系统的配置规范,使得其中的组件可以为了自动数字助理连接而彼此通信,如本文所述。
已经识别了数字助理连接系统600的各种组件,注意,在本公开内容的范围内,可以采用任何数量的组件来实现期望的功能。尽管图6的各种组件为了清楚起见用线示出,实际上,描写各种组件不是那么清楚,并且隐喻地,线可以更准确地是灰色或模糊的。此外,尽管图6的一些组件被描绘为单个组件,但是该描绘本质上并且在数量上是示例性的,并且不应被解释为限制本公开的所有实现方式。还可以基于上面列出的组件的功能和特征描述数字助理连接系统600的功能。
已经描述了本发明的实施方式,下面描述可以在其中实现本发明的实施方式的示例性运行环境,以为本发明的各个方面提供一般背景。首先特别是参考图6,示出了用于实现本发明的实施方式的示例性运行环境,并且该示例性运行环境通常被指定为计算设备600。计算设备600仅仅是合适的计算环境的一个示例,并且不旨在暗示对本发明的用途或功能的范围的任何限制。计算设备600也不应被解释为具有与所示出的组件中的任何一个或所示出的组件的组合有关的任何依赖性或要求。
可以在计算机码或机器可用指令的一般背景下描述本发明,所述计算机码或机器能够使用指令包括计算机可执行的指令,诸如由计算机或其他机器诸如个人数据助理或其他手持设备执行的程序模块。通常,包括例程、程序、对象、组件、数据结构等在内的程序模块是指执行特定任务或实现特定抽象数据类型的码。本发明可以在包括手持设备、消费电子产品、通用计算机、更专业的计算设备等在内的各种系统配置中实践。本发明还可以在其中通过远程处理设备执行任务的分布式计算环境中实践,该远程处理设备通过通信网络链接。
参考图6,计算设备600包括直接或间接耦接以下设备的总线610:存储器612、一个或多个处理器614、一个或多个呈现组件616、输入/输出(I/O)端口618、输入/输出组件620、以及说明性的电源622。总线610代表的是可以为一个或多个总线(诸如地址总线、数据总线或其组合)。尽管为了清楚起见用线示出图6的各种框,但是实际上,描写各种组件不是那么清楚,并且隐喻地,线将更准确地是灰色或模糊的。例如,人们可以将呈现组件诸如显示设备视为I/O组件。同样,处理器具有存储器。本发明人认识到这是技术的本质,并重申图6的简图仅是对可以与本发明的一个或多个实施方式结合使用的示例性计算设备的说明。在如“工作站”、“服务器”、“笔记本电脑”、“手持设备”等这样的类别之间未进行区分,因为所有这些都被想到在图6的范围内并被提及为“计算设备”。
计算设备600典型地包括各种计算机可读介质。计算机可读介质可以是计算设备600可以访问的任何可用介质,并且包括易失性和非易失性介质以及可移动和不可移动介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括通过用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术实现的易失性和非易失性介质、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储设备\或者可以用于存储期望的信息并且可以由计算设备600访问的任何其他介质。计算机存储介质本身不包括信号。
通信介质典型地在已调制的数据信号诸如载波或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据,并且包括任何信息递送介质。术语“已调制的数据信号”是指下述信号,所述信号具有的其特征中的一个或多个特征被设置或改变,使得对信号中的信息进行编码。作为示例而非限制,通信介质包括:有线介质,诸如有线网络或直接有线连接;以及无线介质,诸如声学、RF、红外和其他无线介质。上述中的任何的组合也应包括在计算机可读介质的范围内。
存储器612包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备600包括从各种实体诸如存储器612或I/O组件620读取数据的一个或多个处理器。呈现组件616向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。
I/O端口618允许计算设备600逻辑耦接到其他设备,包括I/O组件620,其他设备中的一些可以是内置的。说明性组件包括麦克风、操纵杆、游戏板、碟形卫星天线、扫描仪、打印机、无线设备等。I/O组件620可以提供对用户生成的空中手势、语音或其他生理输入进行处理的自然用户接口(NUI)。在一些实例中,可以将输入传输到适当的网络元素以进一步处理。NUI可以实现与计算设备600的显示器相关联的语音识别、手写笔识别、面部识别、生物特征识别、屏幕上以及邻近屏幕的手势识别、空中手势、头部和眼睛跟踪以及触摸识别(如下更详细描述)的任意组合。计算设备600可以配备有深度相机,诸如立体相机系统、红外相机系统、RGB相机系统、触摸屏技术及这些的组合,以进行手势检测和识别。另外,计算设备600可以配备有能够实现运动检测的加速度计或陀螺仪。加速度计或陀螺仪的输出可以被提供给计算设备600的显示器以渲染身临其境的增强现实或虚拟现实。
计算设备600的一些实施方式可以包括一个或多个无线电124(或类似的无线通信组件)。无线电624发射和接收无线电或无线通信。计算设备600可以是适于在各种无线网络上接收通信和介质的无线终端。计算设备100可以经由无线协议诸如码分多址(“CDMA”)、全球移动系统(“GSM”)或时分多址(“TDMA”)以及其他协议进行通信,以与其他设备进行通信。无线电通信可以是短距离连接、长距离连接、或者是短距离和长距离无线电信连接的组合。当我们提到“短”和“长”类型的连接时,我们并不是指两个设备之间的空间关系。相反,我们通常将短距离和长距离称为不同类别或类型的连接(即主要连接和次要连接)。短距离连接可以包括例如但不限于提供对无线通信网络的访问的与设备的Wi-连接(例如,移动热点),诸如使用802.11协议的WLAN连接;与另一计算设备的蓝牙连接是短距离连接或近场通信连接的第二示例。远距离连接可以包括使用例如但不限于CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。
如可以理解,本发明的实施方式除了其他事情之外还提供对数字助理连接的优化。已经关于特定实施方式描述了本发明,这些特定实施方式在所有方面都旨在是说明性的而不是限制性的。在不脱离本发明的范围的情况下,替代性实施方式对于本发明所属领域的普通技术人员将变得明显。
从前述内容将看出,本发明非常适于实现以上阐述的所有目标和目的以及该系统和方法所固有且明显的其他优点。将理解,某些特征和子组合是有用的并且可以在不参考其他特征和子组合的情况下被采用。这是通过权利要求被想到的并且在权利要求的范围之内。
本文具体描述本发明的主题以满足法定要求。然而,描述本身并不旨在限制本专利的范围。相反,本发明人已经想到,所要求保护的主题还可以结合其他当前或未来技术以其他方式体现,以包括不同步骤或与本文档中所描述的步骤的类似的步骤的组合。此外,尽管本文中可以使用术语“步骤”和/或“框”来暗含所采用的方法的不同元素,但是除非且除了在明确描述了各个步骤的顺序时,否则这些术语不应解释为暗示本文所公开的各个步骤之中或之间的任何特定顺序。

Claims (19)

1.一种用于提供数字助理连接的计算机实施的方法,包括:
通过数字助理设备,经由安装在所述数字助理设备上的数字助理应用将唯一标识符请求传送到数字助理服务器;
基于所传送的唯一标识符请求,通过所述数字助理设备、经由所安装的数字助理应用从所述数字助理服务器接收唯一标识符,接收到的唯一标识符与所述数字助理设备对应,其中,所述数字助理服务器被配置为响应于所传送的唯一标识符请求生成所述唯一标识符;
基于来自与所述数字助理服务器配对的智能助理设备的用以执行自动化动作的指令的传送,通过所述数字助理设备、经由所安装的数字助理应用从所述数字助理服务器接收所述指令,其中,所述自动化动作与安装在所述数字助理设备上的一不同应用相关联,并且所述智能助理设备基于所生成的唯一标识符与所述数字助理服务器配对;以及
响应于接收到的指令,通过所述数字助理设备、经由所安装的数字助理应用执行与所述自动化动作相关联的一组步骤,其中所述一组步骤包括:启动所安装的不同应用;调用所启动的不同应用的限定操作;以及将接收到的指令中包括的一组参数传递给所启动的不同应用。
2.根据权利要求1所述的方法,其中,所述数字助理服务器被配置为将所生成的唯一标识符与对应于所述数字助理设备的数字助理设备标识符、对应于所述智能助理设备的智能助理设备标识符以及对应于所述数字助理设备和所述智能助理设备之间的已建立的配对的命令驱动会话标识符中的每一者一起存储,所述唯一标识符、所述数字助理设备标识符、所述智能助理设备标识符和所述命令驱动会话标识符每一个均被存储以认证所述数字助理设备与所述智能助理设备之间的所述命令驱动会话。
3.根据权利要求1所述的方法,其中,所述智能助理设备被配置为至少部分地基于接收到的包括所生成的唯一标识符的配对命令、经由智能助理服务器与所述数字助理服务器配对。
4.根据权利要求3所述的方法,其中,基于检测到的语音命令接收所述配对命令。
5.根据权利要求3所述的方法,其中,所述数字助理服务器还被配置为基于对接收到的配对命令中包括的所生成的唯一标识符的识别,将所述指令传送到所述数字助理设备。
6.根据权利要求3所述的方法,其中,至少部分地基于与所述数字助理服务器相关联的第三方命令驱动服务来经由所述智能助理服务器传送所述指令。
7.根据权利要求1所述的方法,其中,配对的智能助理设备被配置为基于检测到的语音命令将指令传送到所述数字助理服务器。
8.一种或多种具有在其上体现的计算机可执行指令的计算机存储介质,所述计算机可执行指令在由一个或多个处理器执行时使所述一个或多个处理器执行下述方法,所述方法包括:
从智能助理设备接收配对命令,所述配对命令包括与数字助理设备对应的唯一标识符,所述数字助理设备具有安装在其上的数字助理应用;
基于接收到的配对命令,建立到与所述数字助理设备相关联的数字助理服务器的网络连接;
将接收到的配对命令中包括的所述唯一标识符经由所建立的网络连接传送到所述数字助理服务器,其中,所述数字助理服务器被配置为基于所述传送在所述智能助理设备与对应的数字助理设备之间建立通信会话;
将从所述智能助理设备接收的另一命令经由所建立的网络连接传送到所述数字助理服务器;以及
使所述数字助理设备基于接收到的、经由所建立的通信会话被传送到所述数字助理设备的另一命令,经由所安装的数字助理应用来自动执行利用安装在所述数字助理设备上的一不同应用的并且与所述另一命令对应的一组步骤,其中所述一组步骤包括:启动所安装的不同应用;调用所启动的不同应用的限定操作;以及将接收到的另一命令中包括的一组参数传递给所启动的不同应用。
9.根据权利要求8所述的介质,其中,接收到的配对命令与所述数字助理服务器的第三方命令驱动服务对应。
10.根据权利要求9所述的介质,其中,从所述智能助理设备接收作为语音输入的所述配对命令,并且其中,将接收到的配对命令中包括的所述唯一标识符基于所包括的唯一标识符到文本的转换传送到所述数字助理服务器。
11.根据权利要求8所述的介质,其中,所述智能助理设备与所述对应的数字助理设备之间的所述通信会话经由所述数字助理服务器建立。
12.根据权利要求11所述的介质,其中,所述数字助理设备被配置为基于从所述数字助理设备传送到所述数字助理服务器的唯一标识符请求来从所述数字助理服务器接收对应的唯一标识符。
13.根据权利要求8所述的介质,其中,所述智能助理设备是语音操作的,所述数字助理设备是移动电话,并且所安装的数字助理应用使所述数字助理设备是语音操作的。
14.根据权利要求8所述的介质,其中,接收到的另一命令中包括的所述一组参数被传递给经由所启动的不同应用呈现的一组表单字段。
15.一种数字助理连接系统,所述系统包括:
数字助理设备,所述数字助理设备具有安装在其上的数字助理应用和一不同应用,所述数字助理设备用以:
基于命令驱动会话,经由所述数字助理设备上的所安装的数字助理应用来从数字助理服务器接收执行与所安装的不同应用相关联的自动化动作的指令,所述命令驱动会话由数字助理服务器建立在所述数字助理设备与语音操作的智能助理设备之间,
其中,所述数字助理服务器被配置为至少部分地基于配对命令来建立所述命令驱动会话,所述配对命令是从所述语音操作的智能助理设备接收的并被确定为包括与所述数字助理设备对应的唯一标识符;以及
基于接收到的指令,经由所安装的数字助理应用来自动执行利用相关联的所安装的不同应用的、与所述自动化动作相关联的一组步骤,其中,所述一组步骤包括:启动相关联的所安装的不同应用;调用所启动的不同应用的限定操作;以及将接收到的指令中包括的一组参数传递给所启动的不同应用。
16.根据权利要求15所述的系统,其中,所述数字助理服务器还被配置为基于从所述语音操作的智能助理设备接收的命令来生成所述指令。
17.根据权利要求16所述的系统,其中,所述命令是经由与所述语音操作的智能助理设备通信的智能助理服务器接收的。
18.根据权利要求17所述的系统,其中,所述智能助理服务器被配置为将所述命令转发给所述数字助理服务器。
19.根据权利要求15所述的系统,其中,接收到的指令中包括的所述一组参数被传递给经由所启动的不同应用呈现的一组表单字段。
CN201880033002.7A 2017-05-18 2018-05-18 将多个移动设备连接到智能家庭助理账户 Active CN110651241B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201762508181P 2017-05-18 2017-05-18
US62/508,181 2017-05-18
US201762509534P 2017-05-22 2017-05-22
US62/509,534 2017-05-22
US201762539866P 2017-08-01 2017-08-01
US62/539,866 2017-08-01
US201762576804P 2017-10-25 2017-10-25
US201762576766P 2017-10-25 2017-10-25
US62/576,804 2017-10-25
US62/576,766 2017-10-25
US15/935,983 2018-03-26
US15/935,983 US10466963B2 (en) 2017-05-18 2018-03-26 Connecting multiple mobile devices to a smart home assistant account
PCT/US2018/033342 WO2018213674A1 (en) 2017-05-18 2018-05-18 Connecting multiple mobile devices to a smart home assistant account

Publications (2)

Publication Number Publication Date
CN110651241A CN110651241A (zh) 2020-01-03
CN110651241B true CN110651241B (zh) 2023-08-18

Family

ID=64269664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033002.7A Active CN110651241B (zh) 2017-05-18 2018-05-18 将多个移动设备连接到智能家庭助理账户

Country Status (4)

Country Link
US (4) US10466963B2 (zh)
EP (2) EP3635524A4 (zh)
CN (1) CN110651241B (zh)
WO (3) WO2018213740A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348475B2 (en) * 2016-12-09 2022-05-31 The Boeing Company System and method for interactive cognitive task assistance
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US11520610B2 (en) 2017-05-18 2022-12-06 Peloton Interactive Inc. Crowdsourced on-boarding of digital assistant operations
US11043206B2 (en) * 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US11056105B2 (en) 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US10715604B1 (en) 2017-10-26 2020-07-14 Amazon Technologies, Inc. Remote system processing based on a previously identified user
US10567515B1 (en) * 2017-10-26 2020-02-18 Amazon Technologies, Inc. Speech processing performed with respect to first and second user profiles in a dialog session
US11295735B1 (en) * 2017-12-13 2022-04-05 Amazon Technologies, Inc. Customizing voice-control for developer devices
KR102519635B1 (ko) * 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
US10789957B1 (en) * 2018-02-02 2020-09-29 Spring Communications Company L.P. Home assistant wireless communication service subscriber self-service
KR20190101813A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 호스트 어플리케이션과 어시스턴트 어플리케이션 사이의 연동 방법 및 이를 지원하는 전자 장치
CN118605832A (zh) * 2018-05-07 2024-09-06 谷歌有限责任公司 提供用于控制连接设备的复合图形助理界面的方法和系统
US10803865B2 (en) * 2018-06-05 2020-10-13 Voicify, LLC Voice application platform
US10235999B1 (en) 2018-06-05 2019-03-19 Voicify, LLC Voice application platform
EP3799658A4 (en) * 2018-07-18 2022-04-20 Aiqudo, Inc. SYSTEMS AND PROCESSES ASSOCIATED WITH PARTICIPATORY ACTIONS AND INSTRUCTIONS
US11269305B2 (en) * 2018-12-03 2022-03-08 Google Llc Efficient control and/or linking of smart devices
US10878805B2 (en) * 2018-12-06 2020-12-29 Microsoft Technology Licensing, Llc Expediting interaction with a digital assistant by predicting user responses
US11275553B2 (en) 2018-12-07 2022-03-15 Google Llc Conditionally assigning various automated assistant function(s) to interaction with a peripheral assistant control device
US11455987B1 (en) * 2019-03-06 2022-09-27 Amazon Technologies, Inc. Multiple skills processing
CN113711177A (zh) * 2019-04-18 2021-11-26 麦克赛尔株式会社 信息处理装置和数字助理系统
US11429428B2 (en) 2019-05-06 2022-08-30 Google Llc Invoking functions of agents via digital assistant applications using address templates
CN110674338B (zh) * 2019-09-27 2022-11-01 百度在线网络技术(北京)有限公司 语音技能推荐方法、装置、设备及存储介质
USD921024S1 (en) * 2019-11-19 2021-06-01 Johnson Systems Inc. Display screen with graphical user interface
IT201900024526A1 (it) * 2019-12-18 2021-06-18 Technogym Spa Metodo per migliorare l’esperienza di allenamento di un utente su una macchina ginnica e macchina ginnica implementante tale metodo
US11557221B2 (en) 2020-04-01 2023-01-17 International Business Machines Corporation Intelligent cabling and connection instruction refinement
US11269478B2 (en) * 2020-07-06 2022-03-08 Ansys, Inc. Adapted overlay help system
US12067212B2 (en) * 2020-07-27 2024-08-20 Digital Turbine, Inc. Dynamically replacing interactive content of a quick setting bar
WO2022245339A1 (en) * 2021-05-18 2022-11-24 Google Llc Indexing application actions for voice-based execution
EP4462734A1 (en) * 2022-05-09 2024-11-13 Samsung Electronics Co., Ltd Electronic device for controlling internet of things apparatus, and operating method thereof
US20230402037A1 (en) * 2022-06-09 2023-12-14 MagicX Inc. Digital interface with user input guidance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888799A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 控制方法和控制装置
CN104508663A (zh) * 2012-07-27 2015-04-08 微软公司 会话失败后的自动事务重试
CN105474574A (zh) * 2013-09-27 2016-04-06 贝宝公司 使用设备标识符进行认证的系统和方法
CN105549976A (zh) * 2015-12-15 2016-05-04 金蝶软件(中国)有限公司 Pda智能对接方法和装置

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125347A (en) 1993-09-29 2000-09-26 L&H Applications Usa, Inc. System for controlling multiple user application programs by spoken input
US5873064A (en) 1996-11-08 1999-02-16 International Business Machines Corporation Multi-action voice macro method
US6188976B1 (en) 1998-10-23 2001-02-13 International Business Machines Corporation Apparatus and method for building domain-specific language models
US6757362B1 (en) 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US20020078091A1 (en) 2000-07-25 2002-06-20 Sonny Vu Automatic summarization of a document
US20020065857A1 (en) 2000-10-04 2002-05-30 Zbigniew Michalewicz System and method for analysis and clustering of documents for search engine
US6907436B2 (en) 2000-10-27 2005-06-14 Arizona Board Of Regents, Acting For And On Behalf Of Arizona State University Method for classifying data using clustering and classification algorithm supervised
FI20020414A (fi) 2002-03-04 2003-09-05 Nokia Oyj Mekanismi valvomatonta klusterointia varten
US7320000B2 (en) 2002-12-04 2008-01-15 International Business Machines Corporation Method and apparatus for populating a predefined concept hierarchy or other hierarchical set of classified data items by minimizing system entrophy
US20040241633A1 (en) 2003-05-28 2004-12-02 Drozda William P. Professor pop-up & method
GB0322600D0 (en) 2003-09-26 2003-10-29 Univ Ulster Thematic retrieval in heterogeneous data repositories
US7130777B2 (en) 2003-11-26 2006-10-31 International Business Machines Corporation Method to hierarchical pooling of opinions from multiple sources
US7266548B2 (en) 2004-06-30 2007-09-04 Microsoft Corporation Automated taxonomy generation
US7565577B2 (en) * 2004-07-22 2009-07-21 Research In Motion Limited Method and apparatus for providing intelligent error messaging
US20060167930A1 (en) 2004-10-08 2006-07-27 George Witwer Self-organized concept search and data storage method
US8788271B2 (en) * 2004-12-22 2014-07-22 Sap Aktiengesellschaft Controlling user interfaces with contextual voice commands
US7676463B2 (en) 2005-11-15 2010-03-09 Kroll Ontrack, Inc. Information exploration systems and method
US7664718B2 (en) 2006-05-16 2010-02-16 Sony Corporation Method and system for seed based clustering of categorical data using hierarchies
US8571580B2 (en) * 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US20140164474A1 (en) * 2006-06-30 2014-06-12 Qurio Holdings, Inc. Methods, systems, and products for pairing agents and service providers
US8117223B2 (en) 2007-09-07 2012-02-14 Google Inc. Integrating external related phrase information into a phrase-based indexing information retrieval system
US9317593B2 (en) 2007-10-05 2016-04-19 Fujitsu Limited Modeling topics using statistical distributions
US8140584B2 (en) 2007-12-10 2012-03-20 Aloke Guha Adaptive data classification for data mining
US8700385B2 (en) 2008-04-04 2014-04-15 Microsoft Corporation Providing a task description name space map for the information worker
US20090287668A1 (en) 2008-05-16 2009-11-19 Justsystems Evans Research, Inc. Methods and apparatus for interactive document clustering
US8694355B2 (en) * 2008-05-30 2014-04-08 Sri International Method and apparatus for automated assistance with task management
US8219146B2 (en) 2009-11-06 2012-07-10 Sony Corporation Audio-only user interface mobile phone pairing
US8868402B2 (en) 2009-12-30 2014-10-21 Google Inc. Construction of text classifiers
US9665648B2 (en) 2010-03-29 2017-05-30 Nokia Technologies Oy Method and apparatus for a user interest topology based on seeded user interest modeling
US9294800B2 (en) 2010-05-10 2016-03-22 Comcast Cable Communications, Llc Intelligent remote control
US20110289421A1 (en) 2010-05-18 2011-11-24 Rovi Technologies Corporation User interface for content browsing and selection in a content system
US8805766B2 (en) 2010-10-19 2014-08-12 Hewlett-Packard Development Company, L.P. Methods and systems for modifying a knowledge base system
US20120102121A1 (en) 2010-10-25 2012-04-26 Yahoo! Inc. System and method for providing topic cluster based updates
CN102456058B (zh) 2010-11-02 2014-03-19 阿里巴巴集团控股有限公司 类目信息提供方法及装置
US8751496B2 (en) 2010-11-16 2014-06-10 International Business Machines Corporation Systems and methods for phrase clustering
US9135371B2 (en) 2011-05-09 2015-09-15 Google Inc. Contextual video browsing
US9015160B2 (en) 2011-12-14 2015-04-21 Brainspace Corporation Multi-concept latent semantic analysis queries
US9002848B1 (en) 2011-12-27 2015-04-07 Google Inc. Automatic incremental labeling of document clusters
US9135350B2 (en) 2012-01-05 2015-09-15 Sri International Computer-generated sentiment-based knowledge base
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US20130314438A1 (en) 2012-05-24 2013-11-28 Fred Borcherdt Interactive overlay for digital video
US20140006406A1 (en) 2012-06-28 2014-01-02 Aol Inc. Systems and methods for analyzing and managing electronic content
US20150040008A1 (en) * 2013-08-02 2015-02-05 Gamer Parents Inc. Interactive overlay for video applications
KR101990037B1 (ko) * 2012-11-13 2019-06-18 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140156282A1 (en) 2012-11-15 2014-06-05 Maxwell Worthington, Llc Method and system for controlling target applications based upon a natural language command string
US9053102B2 (en) 2013-01-31 2015-06-09 International Business Machines Corporation Generation of synthetic context frameworks for dimensionally constrained hierarchical synthetic context-based objects
US9330659B2 (en) 2013-02-25 2016-05-03 Microsoft Technology Licensing, Llc Facilitating development of a spoken natural language interface
KR101707462B1 (ko) 2013-03-15 2017-02-16 인텔 코포레이션 모바일 컴퓨팅 디바이스 기술 및 기술 이용 시스템 및 방법
US9374656B2 (en) * 2013-03-15 2016-06-21 Xerox Corporation Method and apparatus for automatically pairing a mobile endpoint device to an output device using a card swipe authentication
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
US9122681B2 (en) 2013-03-15 2015-09-01 Gordon Villy Cormack Systems and methods for classifying electronic information using advanced active learning techniques
JP5731088B2 (ja) 2013-03-29 2015-06-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 機器制御方法、及び、プログラム
US8805845B1 (en) 2013-07-31 2014-08-12 LinedIn Corporation Framework for large-scale multi-label classification
WO2015014400A1 (en) 2013-07-31 2015-02-05 Longsand Limited Rendering hierarchical visualizations of data sets
CN105453080A (zh) 2013-08-30 2016-03-30 英特尔公司 用于虚拟个人助理的可扩展上下文感知的自然语言交互
EP3074877A4 (en) 2013-11-27 2017-09-06 NTT Docomo, Inc. Automatic task classification based upon machine learning
US10210156B2 (en) 2014-01-10 2019-02-19 International Business Machines Corporation Seed selection in corpora compaction for natural language processing
KR101536520B1 (ko) 2014-04-28 2015-07-14 숭실대학교산학협력단 토픽을 추출하고, 추출된 토픽의 적합성을 평가하는 방법 및 서버
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US20150356174A1 (en) 2014-06-06 2015-12-10 Wipro Limited System and methods for capturing and analyzing documents to identify ideas in the documents
US9532225B2 (en) * 2014-06-12 2016-12-27 General Electric Company Secure pairing of end user devices with instruments
US9462112B2 (en) 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9535974B1 (en) 2014-06-30 2017-01-03 Palantir Technologies Inc. Systems and methods for identifying key phrase clusters within documents
US9842586B2 (en) 2014-07-09 2017-12-12 Genesys Telecommunications Laboratories, Inc. System and method for semantically exploring concepts
US10452105B2 (en) * 2016-01-19 2019-10-22 BEAM Authentic Inc. Mobile device case for holding a display device
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US9582493B2 (en) 2014-11-10 2017-02-28 Oracle International Corporation Lemma mapping to universal ontologies in computer natural language processing
US10228904B2 (en) 2014-11-12 2019-03-12 Lenovo (Singapore) Pte. Ltd. Gaze triggered voice recognition incorporating device velocity
US20160162569A1 (en) 2014-12-09 2016-06-09 Idibon, Inc. Methods and systems for improving machine learning performance
CN111414222A (zh) * 2014-12-11 2020-07-14 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9583097B2 (en) * 2015-01-30 2017-02-28 Google Inc. Dynamic inference of voice command for software operation from help information
US9508339B2 (en) 2015-01-30 2016-11-29 Microsoft Technology Licensing, Llc Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
US9805717B2 (en) 2015-03-06 2017-10-31 Dell Products Lp Voice-based input using natural language processing for interfacing with one or more devices
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
US10339916B2 (en) 2015-08-31 2019-07-02 Microsoft Technology Licensing, Llc Generation and application of universal hypothesis ranking model
US10725800B2 (en) * 2015-10-16 2020-07-28 Dell Products L.P. User-specific customization for command interface
US11663254B2 (en) 2016-01-29 2023-05-30 Thomson Reuters Enterprise Centre Gmbh System and engine for seeded clustering of news events
US10402470B2 (en) * 2016-02-12 2019-09-03 Microsoft Technology Licensing, Llc Effecting multi-step operations in an application in response to direct manipulation of a selected object
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11645317B2 (en) 2016-07-26 2023-05-09 Qualtrics, Llc Recommending topic clusters for unstructured text documents
US10528605B2 (en) 2016-11-18 2020-01-07 DefinedCrowd Corporation Crowdsourced training of textual natural language understanding systems
US10332505B2 (en) 2017-03-09 2019-06-25 Capital One Services, Llc Systems and methods for providing automated natural language dialogue with customers
US10698654B2 (en) 2017-05-18 2020-06-30 Aiqudo, Inc. Ranking and boosting relevant distributable digital assistant operations
US10176171B1 (en) 2017-12-29 2019-01-08 Aiqudo, Inc. Language agnostic command-understanding digital assistant

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508663A (zh) * 2012-07-27 2015-04-08 微软公司 会话失败后的自动事务重试
CN103888799A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 控制方法和控制装置
CN105474574A (zh) * 2013-09-27 2016-04-06 贝宝公司 使用设备标识符进行认证的系统和方法
CN105549976A (zh) * 2015-12-15 2016-05-04 金蝶软件(中国)有限公司 Pda智能对接方法和装置

Also Published As

Publication number Publication date
US20240264800A1 (en) 2024-08-08
EP3635524A1 (en) 2020-04-15
US11397558B2 (en) 2022-07-26
WO2018213674A8 (en) 2019-12-19
US20220357916A1 (en) 2022-11-10
US10466963B2 (en) 2019-11-05
US20180337799A1 (en) 2018-11-22
EP3635524A4 (en) 2021-05-05
WO2018213740A1 (en) 2018-11-22
US20180336010A1 (en) 2018-11-22
CN110651241A (zh) 2020-01-03
EP3625667A1 (en) 2020-03-25
WO2018213745A1 (en) 2018-11-22
WO2018213674A1 (en) 2018-11-22
US11900017B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110651241B (zh) 将多个移动设备连接到智能家庭助理账户
KR102242413B1 (ko) 앱을 다운로드하는 방법 및 앱을 실행시키는 방법
US11641408B2 (en) Methods and systems of configuring electronic devices
US11166333B2 (en) Electronic device and method for switching network connection between plurality of electronic devices
CN110365491B (zh) 业务处理方法、装置、设备、存储介质以及数据共享系统
US20170366479A1 (en) Communication System
US10057125B1 (en) Voice-enabled home setup
CN109614244B (zh) 应用和web服务之间元数据驱动的合作
AU2014275251A1 (en) Task continuance across devices
US10349270B2 (en) Method of establishing communications
US11140534B2 (en) Non-intrusive proximity based advertising and message delivery
US10298883B2 (en) Communication system, information processing apparatus, communication apparatus, and computer-readable medium
WO2024020389A1 (en) Secure peer-to-peer connections between mobile devices
US11521610B1 (en) System and method for controlling a remote computer using an intelligent personal assistant
US11249735B2 (en) System for the creation and deployment of multiplatform applications
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
US11853768B2 (en) Lockscreen for head-worn augmented reality device
WO2022111691A1 (zh) Nfc标签的校验方法和相关设备
US20240281820A1 (en) Transaction processing device authentication
US20240086030A1 (en) System, method and graphical user interface for providing a self-service application within a metaverse
US20240089327A1 (en) System and method for integrating real-world interactions within a metaverse
WO2017162101A1 (zh) 一种信息输入方法、设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220215

Address after: USA New York

Applicant after: Peloton Interactive, Inc.

Address before: California, USA

Applicant before: Aquido

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant