CN115552874A - 经由智能手机从智能扬声器和智能显示器发送消息 - Google Patents

经由智能手机从智能扬声器和智能显示器发送消息 Download PDF

Info

Publication number
CN115552874A
CN115552874A CN202080100650.7A CN202080100650A CN115552874A CN 115552874 A CN115552874 A CN 115552874A CN 202080100650 A CN202080100650 A CN 202080100650A CN 115552874 A CN115552874 A CN 115552874A
Authority
CN
China
Prior art keywords
user
messaging application
message
request
automated assistant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100650.7A
Other languages
English (en)
Inventor
温·国·李
钟言
阿什里斯·舍山
余骁彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN115552874A publication Critical patent/CN115552874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述了用于使用诸如独立的以助理为中心的交互式扬声器和/或具有扬声器的独立的以助理为中心的交互式显示器的智能设备来使用在诸如智能手机的客户端设备上的消息传递应用来发送消息的技术。方法包括：第一设备从第一用户接收对于向第二用户发送消息的请求；确定与该请求相对应的消息传递应用在第一设备上不可用；并且响应于确定与请求相对应的消息传递应用在第一设备上不可用：选择与请求相对应的消息传递应用在其上可用的第二设备；并且，向第二设备发送命令，该命令使第二设备使用第二设备上的消息传递应用从第一用户向第二用户发送消息。

Description

经由智能手机从智能扬声器和智能显示器发送消息
背景技术
人类可以与本文称为“自动化助理”的交互式软件应用进行人机交互。例如，人类(其在与自动化助理交互时可以被称为“用户”)可以向自动化助理提供输入，该输入可以使得自动化助理生成并提供响应输出，控制一个或多个智能设备和/或执行一个或多个其他功能。用户提供的输入可以是例如触摸输入(例如，经由触摸屏)、手势(例如，经由相机检测)和/或口语自然语言输入(即，经由麦克风检测的话语)，该口语自然语言输入在某些情况下可以被转换为文本(或其他语义表示)，并且然后被进一步处理。
许多用户可以使用多个客户端设备来从事自动化助理。例如，一些用户可能拥有客户端设备的协调“生态系统”，诸如一个或多个智能手机、一个或多个平板电脑、一个或多个可穿戴计算设备、一个或多个智能电视、一个或多个独立的以助理为中心的交互式扬声器以及一个或多个带有扬声器的独立的以助理为中心的交互式显示器以及其他客户端设备。用户可以使用这些客户端设备中的任何一个与自动化助理进行人机对话(假设安装了自动化助理客户端)。
存在使用户(例如，单个用户、家庭中的多个用户、同事、同居者等)能够使用与请求相对应的消息传递应用，响应于由自动化助理客户端接收的来自用户的请求利用自动化助理客户端向另一用户发送消息的技术，该请求存在于接收请求的自动化助理客户端正在其上运行的特定客户端设备上。然而，这样的技术存在诸如低可靠性的缺点，因为如果与由自动化助理客户端接收的请求相对应的消息传递应用不存在于接收该请求的自动化助理客户端正在其上运行的特定客户端设备上，则自动化助理客户端可能无法响应于该请求而向另一用户发送消息。此外，通过要求将消息传递应用安装在附加的客户端设备上，即使消息传递应用已经被安装在与用户相关联的另一个客户端设备上，这样的技术也会增加计算和/或网络资源的负担。
发明内容
本文公开的实施方式涉及使用诸如独立的以助理为中心的交互式扬声器和/或具有扬声器的独立的以助理为中心的交互式显示器的智能设备来使用诸如智能手机的客户端设备上的消息传递应用发送消息。例如，第一设备(例如，智能设备)可以从第一用户接收对于向第二用户发送消息的请求。然后可以确定对应于该请求的消息传递应用在第一设备上不可用。响应于确定对应于请求的消息传递应用在第一设备上不可用，然后可以选择对应于请求的消息传递应用在其上可用的第二设备(例如，诸如智能手机的客户端设备)，并且然后可以向第二设备发送使第二设备使用第二设备上的消息传递应用将消息从第一用户发送给第二用户的命令。
在一些实施方式中，确定对应于请求的消息传递应用在第一设备上不可用可以包括确定消息传递应用不存在于第一设备上并且确定不可使用应用编程接口从第一设备访问消息传递应用。
在一些实施方式中，第一设备可以基于场境信息确定第一用户的账户，并且选择第二设备可以基于第一用户的账户。在一些实施方式中，该请求可以被包括在话语中，并且确定第一用户的账户可以包括基于话语的说话者识别特征确定该话语是由第一用户说出的。在其他实施方式中，该请求可以被包括在某人所说的话语中，并且确定第一用户的账户可以包括从第一设备的相机接收该人的图像，并且确定该话语是由第一用户基于该图像说出的。
在一些实施方式中，第一设备可以是非智能手机设备，并且第二设备可以是第一用户的智能手机设备。在一些实施方式中，请求可以指定消息传递应用，并且消息传递应用可以利用端到端加密将消息从第二设备发送到与第二用户相关联的第三设备。
在一些实施方式中，可以由在第一设备上运行的第一自动化助理应用执行所述接收、所述确定、所述选择和所述发送，并且命令可以由在第二设备上运行的第二自动化助理应用来解释以使第二自动化助理应用调用在第二设备上正在运行的消息传递应用，以使消息传递应用将消息从第一用户发送到第二用户。在一些实施方式中，第二自动化助理应用可以调用消息传递应用而不显示第二自动化助理应用输出，并且消息传递应用可以发送消息而不显示消息传递应用输出。
在一些实施方式中，命令可以由在第二设备上运行的第二自动化助理应用解释，以使第二自动化助理应用通过将请求视为由在第二设备上运行的第二自动化助理应用直接接收到来进行响应。在一些实施方式中，可以从第二设备接收指示消息已被发送到第二用户的应答，并且响应于接收该应答，第一设备可以输出消息已被发送的音频或视觉指示。
在一些实施方式中，可以由第一设备执行所述确定、所述选择和所述发送。在其他实施方式中，可以由第一设备和第二设备外部的计算机服务器执行所述确定、所述选择和所述发送。
在一些附加或替代实施方式中，在与第一用户相关联的第一设备(例如，诸如智能手机的客户端设备)上运行的第一自动化助理应用可以接收由在第一设备上运行的消息传递应用接收的消息。第一自动化助理应用然后可以确定与第一用户相关联的第二设备(例如，智能设备)，其中，第二设备正在运行第二自动化助理应用并且消息传递应用在第二设备上不可用。然后，第一自动化助理应用可以将消息发送到在第二设备上运行的第二自动化助理应用。
在一些实施方式中，在第一设备上运行的第一自动化助理应用可以从在第二设备上运行的第二自动化助理应用接收使用消息传递应用发送回复消息的命令。然后，第一自动化助理应用可以调用消息传递应用以使消息传递应用发送回复消息。
在一些实施方式中，在第一设备上运行的第一自动化助理应用可以向在第二设备上运行的第二自动化助理应用发送指示回复消息被发送的确认。在一些实施方式中，第一设备是智能手机设备并且第二设备是非智能手机设备。在一些实施方式中，发送消息可以包括发送使在第二设备上运行的第二自动化助理应用在第二设备处呈现消息的命令。
在一些附加或替代实施方式中，可以从第一用户接收对于向第二用户发送消息的请求。可以对与请求相对应的消息传递应用在系统(例如，智能设备)上是否可用进行确定。响应于确定与请求相对应的消息传递应用在系统上可用，可以使用系统上的消息传递应用将消息从第一用户发送到第二用户。响应于确定与请求相对应的消息传递应用在系统上不可用，可以选择与请求相对应的消息传递应用在其上可用的外部设备(例如，诸如智能手机的客户端设备)，并且可以将命令发送到外部设备，该命令使外部设备使用外部设备上的消息传递应用将消息从第一用户发送到第二用户。
在一些实施方式中，可以由在第一设备上运行的第一自动化助理应用执行所述接收、所述确定、所述选择和所述发送，并且可以由在第二设备上运行的第二自动化助理应用来解释命令，以使第二自动化助理应用调用在第二设备上正在运行的消息传递应用以使消息传递应用将消息从第一用户发送到第二用户。
应当理解，本文更详细描述的前述概念和附加概念的所有组合都被认为是本文公开的主题的一部分。例如，出现在本公开末尾的要求保护的主题的所有组合都被认为是这里公开的主题的一部分。
附图说明
图1示意性地描绘了根据各种实施方式的其中可以实施本公开的所选择的方面的示例环境。
图2描绘了图示用于实践本公开的所选择方面的示例方法的流程图。
图3描绘了图示用于实践本公开的所选择方面的示例方法的另一个流程图。
图4描绘了图示用于实践本公开的所选择方面的示例方法的另一个流程图。
图5图示了计算设备的示例架构。
具体实施方式
图1示意性地描绘了根据各种实现方式的示例环境100，其中，可以实现本公开的所选择方面。图1或附图中其他地方描绘的任何计算设备可以包括逻辑，诸如执行存储在存储器中的计算机可读指令的一个或多个微处理器(例如，中央处理单元或“CPU”、图形处理单元或“GPU”)，或诸如专用集成电路(“ASIC”)和现场可编程门阵列(“FPGA”)的其他类型的逻辑等。可以使用形成有时被称为“云基础设施”的一个或多个服务器计算设备来实现图1中描绘的诸如计算机服务器170的一些系统，尽管这不是必需的。
在实施方式中，环境100可以包括一个或多个智能设备110，诸如独立的以助理为中心的交互式扬声器、具有扬声器的独立的以助理为中心的交互式显示器、诸如智能电视的智能电器和/或包括计算设备的用户的可穿戴装置(例如，具有计算设备的用户的手表、具有计算设备的用户的眼镜、虚拟或增强现实计算设备等)。可以提供附加的和/或替代的智能设备110。在实施方式中，智能设备110可以是非智能手机设备。
在实施方式中，智能设备110可以包括智能设备自动化助理120的实例。智能设备自动化助理120可以处理从I/O组件130的输入设备接收的用户输入，诸如经由I/O组件130的麦克风检测的语音输入、经由I/O组件130的触摸屏显示器接收的触摸输入、经由I/O组件130的相机检测的图像等。此外，智能设备自动化助理120可以可选地经由I/O组件130的输出设备，诸如I/O组件130的扬声器和/或触摸屏显示器，来呈现各种输出。
在实施方式中，智能设备110可以可选地包括一个或多个消息传递应用135。消息传递应用135中的每一个可以是提供以下功能的应用：将消息从智能设备110的用户发送给一个或多个其他用户(例如，另一智能设备110的用户、客户端设备140-1、...、140-n的用户或任何其他设备的任何其他用户)，并从一个或多个其他用户接收发送给智能设备110的用户的消息。
在实施方式中，环境100还可以包括客户端设备140-1、...、140-n，它们中的每一个可以是移动电话计算设备并且可以与不同的用户相关联。例如，客户端设备140-1可以是与第一用户相关联的移动电话计算设备(例如，第一用户的智能手机设备)，并且客户端设备140-n可以是与第n用户相关联的移动电话计算设备(例如，第n个用户的智能手机设备)。可以提供与各种用户相关联的附加和/或替代客户端设备140-1、...、140-n，包括台式计算设备、膝上型计算设备和/或平板计算设备等。
在实施方式中，客户端设备140-1、...、140-n中的每一个可以包括客户端设备自动化助理150的实例。客户端设备自动化助理150可以处理从I/O组件155的输入设备接收的用户输入，诸如经由I/O组件155的麦克风检测的语音输入、经由I/O组件155的触摸屏显示器接收的触摸输入、经由I/O组件155的相机检测的图像等。此外，客户端设备自动化助理150可以可选地经由I/O组件155的输出设备，诸如I/O组件155的扬声器和/或触摸屏显示器，来呈现各种输出。
在实施方式中，客户端设备140-1、...、140-n中的每一个可以包括一个或多个消息传递应用160。消息传递应用160中的每一个可以是提供以下功能的应用：将消息从特定客户端设备140-1、...、140-n的用户发送到一个或多个其他用户(例如，另一客户端设备140-1、...、140-n的用户或任何其他设备的任何其他用户)，并从所述一个或多个其他用户接收被发送给特定客户端设备140-1、...、140-n的用户的消息。消息传递应用160可以利用端到端加密来发送和接收消息。例如，消息传递应用160可以加密消息，使得加密的消息只能由作为消息的预期接收者的用户在与作为消息的预期接收者的用户相关联的设备处解密(例如，使用消息传递应用160的另一个实例)。在其他实施方式中，消息传递应用160可以发送未加密(例如，作为明文)或使用其他形式的加密(例如，非端到端加密)的消息。
在实施方式中，环境100可以包括计算机服务器170，其可以是在云基础设施(云计算环境)中的节点。计算机服务器170可以包括基于云的自动化助理组件180。在各种实施方式中，智能设备110的智能设备自动化助理120的一个或多个实例和/或客户端设备140-1、...、140-n的客户端设备自动化助理150的一个或多个实例可以在处理输入和/或基于输入生成输出中和/或在基于输入生成命令中与基于云的自动化助理组件180接口连接。
例如，智能设备110的智能设备自动化助理120可以向基于云的自动化助理组件180传输与在调用在智能设备110处的智能设备自动化助理120之后接收的语音输入相对应的音频数据。智能设备110处的智能设备自动化助理120的调用可以基于检测调用短语(例如，“OK，助理”)、调用智能设备自动化助理120的硬件按钮或图形按钮的交互、响应于经由I/O组件130的相机检测的手势和/或其他调用信号。基于云的自动化助理组件180可以使用语音到文本(STT)处理器181将音频数据转换为文本，并使用自然语言理解(NLU)引擎182对文本执行NLU以确定适当的响应。例如，适当的响应可以是文本响应，该文本响应可以可选地使用文本到语音(TTS)处理器183被转换为生成的语音，并被传输到智能设备自动化助理120以经由I/O组件130的扬声器呈现生成的语音。
在另一个示例中，客户端设备140-1、...、140-n的客户端设备自动化助理150可以向基于云的自动化助理组件180传输与在客户端设备140-1、...、140-n处对客户端设备自动化助理150的调用之后接收的语音输入相对应的音频数据。在客户端设备140-1、...、140-n处对客户端设备自动化助理150的调用可以基于检测调用短语(例如，“OK，助理(OKAssistant)”)、调用客户端设备自动化助理150的硬件按钮或图形按钮的交互、响应于经由I/O组件155的相机检测的姿势和/或其他调用信号。基于云的自动化助理组件180可以使用STT处理器181将音频数据转换为文本，并使用NLU引擎182对文本执行NLU以确定适当的响应。例如，适当的响应可以是文本响应，其可以使用TTS处理器183可选地被转换为生成的语音，并被传输到客户端设备自动化助理150，以经由I/O组件155的扬声器呈现生成的语音。
在实施方式中，智能设备110、客户端设备140-1、...、140-n和计算机服务器170可以经由一般由图1的计算机网络190指示的一个或多个广域网(例如，因特网)通信地耦合。注意，智能设备110、客户端设备140-1、...、140-n和计算机服务器170可以利用一个或多个局域网访问计算机网络190和/或彼此本地通信。这样的局域网可以包括Wi-Fi网络和/或网状网络。
图2是图示了根据本文公开的实施方式的使用诸如独立的以助理为中心的交互式扬声器、具有扬声器的独立的以助理为中心的交互式显示器、诸如智能电视的智能电器和/或用户的可穿戴装置的智能设备110来利用在诸如移动电话计算设备的客户端设备140-1、...、140-n上的消息传递应用160来发送消息的示例方法200的流程图。为方便起见，参考执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如智能设备110、客户端设备140-1、...、140-n和/或计算机服务器170的一个或多个组件。此外，虽然以特定次序示出方法200的操作，但这并不意味着限制。可以重新排序、省略或添加一个或多个操作。
在框210，系统可以通过第一设备从第一用户接收对于向第二用户发送消息的请求。在实施方式中，在框210，智能设备110(即，第一设备)的智能设备自动化助理120可以从第一用户接收对于向第二用户发送经由智能设备110的I/O组件130(例如，经由麦克风)接收的口头话语的形式的消息的请求。
仍然参考框210，在实施方式中，可以基于智能设备自动化助理120检测调用短语(例如，“OK，助理(OK Assistant)”)、调用智能设备自动化助理120的硬件按钮或图形按钮的交互、响应于经由I/O组件130的相机检测的手势和/或其他调用信号，来调用智能设备110的智能设备自动化助理120。在实施方式中，在调用智能设备自动化助理120之后，智能设备自动化助理120可以处理由智能设备110的I/O组件130的麦克风接收的音频数据(例如，在调用短语之后的口头话语)以在音频数据中识别来自第一用户的对于向第二用户发送消息的请求。
仍然参考框210，在实施方式中，智能设备110的智能设备自动化助理120可以将与在调用智能设备自动化助理120之后接收的语音输入相对应的音频数据转换为文本，并对于该文本执行NLU以识别来自第一用户的对于向第二用户发送消息的请求，该请求被包含在音频数据中。在其他实施方式中，智能设备110的智能设备自动化助理120可以向计算机服务器170的基于云的自动化助理组件180传输与在智能设备110处的智能设备自动化助理120的调用之后接收的语音输入相对应的音频数据。基于云的自动化助理组件180然后可以使用STT处理器181将音频数据转换为文本，并使用NLU引擎182对文本执行NLU以识别在音频数据中包含的来自第一用户的对于向第二用户发送消息的请求。
仍然参考框210，在实施方式中，由智能设备自动化助理120接收的请求可以包括消息、消息接收者(例如，第二用户)以及可选地包括智能设备自动化助理120可以从请求中识别的消息传递应用。例如，智能设备110的智能设备自动化助理120可以将在对智能设备自动化助理120的调用之后接收的语音输入(例如，话语)转换为文本，“使用消息传递应用1告诉用户1，我将在10分钟内出发去杂货店。(Tell User1 using MessagingApp1,I amleaving for the grocery store in10minutes.)”在该示例中，智能设备自动化助理120可以执行NLU以识别作为消息的“我将在10分钟内出发去杂货店(I am leaving for thegrocery store in 10minutes)”、作为消息接收者的用户1(User1)和作为消息传递应用的消息传递应用1(MessagingApp1)。
仍然参考框210，在实施方式中，如果智能设备110的智能设备自动化助理120接收的请求没有指定消息传递应用，则智能设备自动化助理120可以使用预先配置的规则来确定消息传递应用(例如，使用第一用户最近关于任何消息接收者指定的消息传递应用，或使用第一用户关于第二用户最近指定的消息传递应用等)。
仍然参考图2，在框220，系统可以确定是否情况是与请求相对应的消息传递应用在第一设备上不可用的情况。在实施方式中，在框220，智能设备110(即，第一设备)的智能设备自动化助理120可以确定是否是与在框210接收的请求相对应的(在框210确定的)消息传递应用在智能设备110上不可用的情况。
仍然参考框220，在实施方式中，如果与请求相对应的消息传递应用既不在智能设备110上存在(本地可用)(例如，消息传递应用不是被安装在智能设备110上的消息传递应用135中的一个)，也不能从智能设备110访问(例如，消息传递应用不能由智能设备110使用应用编程接口(API)或Web服务远程访问)，则智能设备110的智能设备自动化助理120可以确定情况是与在框210接收的请求相对应的消息传递应用在智能设备110上不可用的情况。在实施方式中，如果与请求相对应的消息传递应用在智能设备110上存在(本地可用)(例如，消息传递应用是安装在智能设备110上的消息传递应用135之一)和/或可从智能设备110访问(例如，消息传递应用是智能设备110可使用API或Web服务访问的)，则智能设备110的智能设备自动化助理120可以确定情况不是与在框210接收的请求相对应的消息传递应用在智能设备110上不可用的情况。
仍然参考框220，在实施方式中，如果智能设备110的智能设备自动化助理120确定情况是与在框210接收的请求相对应的消息传递应用在智能设备110上不可用的情况，则流程进行到框240。另一方面，在实施方式中，如果智能设备110的智能设备自动化助理120确定情况不是与在框210接收的请求相对应的消息传递应用在智能设备110上不可用的情况，则流程进行到框230。
仍然参考图2，在框230，系统可以使用与在第一设备上可用的请求相对应的消息传递应用将消息从第一用户发送到第二用户。在实施方式中，在框230，智能设备110(即，第一设备)的智能设备自动化助理120可以使用在智能设备110上可用的与请求相对应的消息传递应用根据在框210接收的请求，使消息从第一用户被发送到第二用户。
仍然参考框230，在实施方式中，如果与请求相对应的消息传递应用是安装在智能设备110上的消息传递应用135中的一个，则智能设备自动化助理120可以向与该请求相对应的消息传递应用135发送动作意图请求。该动作意图请求可以包括来自框210的消息和消息接收者(例如，第二用户)，并且响应于接收该动作意图请求，消息传递应用135可以根据接收的动作意图请求将消息发送给消息接收者。动作意图请求可以可选地包括消息发送者(例如，第一用户)，其可以指定要从其发送消息的用户账户。动作意图请求还可以可选地包括与要被用于发送消息的请求相对应的消息传递应用135的标识。
在实施方式中，动作意图请求可以指来自应用(例如，智能设备自动化助理130)的对于要经由应用或单独的应用(例如，消息传递应用135中的一个)执行特定动作(例如，发送消息)的请求。例如，动作意图请求可以由第三方应用生成并标识要执行的动作、自定义标识符、与要执行的动作相关联的内容数据和/或可以与由应用执行的操作相关联的任何其他数据中的一个或多个。动作意图请求可以由操作系统、设备应用、自动化助理和/或发起动作意图请求的设备的可用的任何其他引擎或模块最初接收。然后可以在发起的设备处对动作意图请求进行编目或否则排队，并使其可供客户端设备140-1、...、140-n中的每个的智能设备自动化助理120和客户端设备自动化助理150的一个或多个实例访问。
仍然参考框230，在实施方式中，如果可从智能设备110远程访问与请求相对应的消息传递应用(例如，消息传递应用可由智能设备110使用API或Web服务访问)，则智能设备自动化助理120可以使用API、Web服务或另一个可远程访问的接口来根据在框210接收的请求将消息从第一用户发送到第二用户。在实施方式中，智能设备自动化助理120可以将来自框210的消息和消息接收者(例如，第二用户)提供给API、Web服务或其他可远程访问的用户接口。智能设备自动化助理120可以可选地向API、Web服务或其他可远程访问的用户接口提供消息发送者(例如，第一用户)，该消息发送者可以指定要从其发送消息的用户账户。此外，智能设备自动化助理120可以可选地提供与将要被用于将消息发送到API、Web服务或其他可远程访问的用户接口的请求相对应的消息传递应用135的标识。
仍然参考图2，在框240，系统在第一设备处可以基于场境(context)信息确定第一用户的账户。在实施方式中，在框240，智能设备110(即，第一设备)的智能设备自动化助理120可以基于诸如说话者识别特征和/或生物特征数据的场境信息确定第一用户(即，在框210从其接收请求的用户)的账户。
仍然参考框240，在一些实施方式中，在框210接收的请求可以被包括在第一用户的话语中，并且智能设备自动化助理120可以通过基于已知用户的一个或多个话语的说话者识别特征(例如，梅尔频率倒谱系数(MFCC)特征，它们共同可以形成特征向量)确定该话语由第一用户说出来确定第一用户的账户。例如，智能设备110可以为说“OK，助理(OKAssistant)”的已知用户中的每个用户存储说话者识别特征。响应于当前接收的话语中的说话者识别特征与存储的、说出“OK，助理(OK Assistant)”的已知用户用户1(User1)的说话者识别特征充分匹配，智能设备110可以将该话语分类为由已知用户用户1(User1)所说的。
仍然参考框240，在一些实施方式中，智能设备自动化助理120可以基于经由智能设备110的一个或多个I/O组件130检测的生物特征数据来确定第一用户的账户。例如，智能设备自动化助理120可以基于在框210接收的诸如面部数据、指纹数据等的生物特征数据匹配与账户相关联存储的生物特征认证数据，来确定第一用户的账户。可以附加地或替代地使用其他生物特征标识。
仍然参考框240，在一些实施方式中，智能设备自动化助理120可以通过使用机器学习模型处理由I/O组件130的麦克风接收的音频数据和/或由I/O组件130的相机接收的图像数据(例如，面部图像)以生成嵌入并且将生成的嵌入与关联于已知账户的嵌入进行比较，来确定第一用户的账户。
仍然参考框240，在一些实施方式中，在框210接收的请求可以被包括在人所说的话语中，并且智能设备自动化助理120可以通过从智能设备110的I/O组件130的相机接收人的图像并且基于该图像确定话语是由第一用户说出的，来确定第一用户的账户。
仍然参考框240，在其他实施方式中，智能设备110的智能设备自动化助理120可以向计算机服务器170的基于云的自动化助理组件180传输语音数据和/或经由智能设备110的一个或多个I/O组件130检测的其他生物特征数据。基于云的自动化助理组件180然后可以使用语音数据和/或其他生物特征数据来确定第一用户的账户。例如，基于云的自动化助理组件180可以基于在框210被接收并在框240被传输到基于云的自动化助理组件180的语音数据，匹配与账户关联存储的语音验证数据，来确定第一用户的账户。可以附加地或替代地使用其他生物特征标识，诸如面部、指纹等。
仍然参考图2，在框250，系统可以选择第二设备，在该第二设备上与请求相对应的消息传递应用可用。在实施方式中，在框250，智能设备110(即，第一设备)的智能设备自动化助理120可以选择与请求相对应的消息传递应用在其上可用的客户端设备140-1、...、140-n中的一个作为第二设备。在实施方式中，选择第二设备可以基于在框240确定的第一用户的账户。在其他实施方式中，智能设备110的智能设备自动化助理120可以利用计算机服务器170的基于云的自动化助理组件180来选择第二设备。
仍然参考框250，在实施方式中，智能设备自动化助理120可以查询基于云的自动化助理组件180以识别与在框240确定的第一用户的账户相关联的客户端设备140-1、...、140-n中的客户端设备。在其他实施方式中，智能设备自动化助理120可以基于存储在智能设备110上的信息和/或通过查询客户端设备140-1、...、140-n中的一个或多个来识别与在框240确定的第一用户的账户相关联的在客户端设备140-1、...、140-n中的客户端设备。
仍然参考框250，在实施方式中，智能设备自动化助理120选择被识别为与第一用户的账户相关联的客户端设备140-1、...、140-n作为第二设备。可选地，智能设备自动化助理120可以查询被识别为与第一用户的账户相关联的客户端设备140-1、...、140-n，以确认与该请求相对应的消息传递应用可用。如果多个客户端设备140-1、...、140-n被识别为与第一用户的账户相关联，则智能设备自动化助理120可以选择响应于该查询而已经提供的与该请求相对应的消息传递应用可用的确认的客户端设备140-1、...、140-n。
仍然参考框250，如果智能设备自动化助理120确定与请求相对应的消息传递应用在被识别为与第一用户的账户关联的客户端设备140-1、...、140-n中的任何一个上都不可用，则智能设备自动化助理120可以例如使用智能设备110的I/O组件130的扬声器或显示器向第一用户返回错误消息，该错误消息指示无法使用与请求相对应的消息传递应用发送该消息。
在示例中，在框240，智能设备110的智能设备自动化助理120可以确定第一用户(即，发出在框210接收到的请求的用户)的账户是账户X(AccountX)。然后，在框250，智能设备自动化助理120可以查询基于云的自动化助理组件180以请求识别与账户X相关联的一个或多个客户端设备的信息。智能设备自动化助理120然后可以从基于云的自动化助理组件180接收信息，该信息将客户端设备140-1识别为与账户X相关联。作为响应，智能设备自动化助理120可以选择客户端设备140-1作为消息传递应用在其上可用的第二设备。
仍然参考图2，在框260，系统可以向第二设备发送命令，该命令使第二设备使用在第二设备上的消息传递应用从第一用户向第二用户发送消息。在实施方式中，在框260，智能设备110(即，第一设备)的智能设备自动化助理120可以向在框250选择的客户端设备140-1、...、140-n(即，第二设备)发送命令，该命令使得在框250选择的客户端设备140-1、...、140-n根据在框210接收的请求，使用在客户端设备140-1、...、140-n上的、与请求相对应的消息传递应用160将消息从第一用户发送到第二用户。在其他实施方式中，智能设备110的智能设备自动化助理120可以利用计算机服务器170的基于云的自动化助理组件180向第二设备发送命令，该命令使第二设备使用第二设备上的消息传递应用从第一用户向第二用户发送消息。
仍然参考框260，在实施方式中，智能设备110上的智能设备自动化助理120可以将动作意图请求作为命令发送到在框250选择的客户端设备140-1、...、140-n。在实施方式中，动作意图请求可以可选地包括对于将客户端设备140-1、...、140-n从睡眠状态唤醒的请求，或者智能设备110上的智能设备自动化助理120可以在发送动作意图请求之前可选地向在框250选择的客户端设备140-1、...、140-n发送对于将客户端设备140-1、...、140-n从睡眠状态唤醒的请求。在实施方式中，动作意图请求可以包括来自框210的消息和消息接收者(例如，第二用户)以及(在框210接收的请求中指定的或基于该请求在框210确定的)消息传递应用160的标识。动作意图请求可以可选地包括消息发送者(例如，第一用户)，其可以指定要从其发送消息的用户账户。
仍然参考框260，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以接收由智能设备110的智能设备自动化助理120发送的动作意图请求。响应于接收动作意图请求，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以解释动作意图请求以使客户端设备自动化助理150通过将智能设备110在框210接收的请求视为由在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150直接来响应。在实施方式中，响应于接收动作意图请求，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以根据在框210接收的请求使用与请求相对应的消息传递应用160使消息从第一用户被发送到第二用户。
仍然参考框260，在实施方式中，在框250处选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以与请求相对应的消息传递应用160而不在在框250选择的客户端设备140-1、...、140-n的I/O组件155上显示客户端设备自动化助理输出。另外，在实施方式中，与请求相对应的消息传递应用160可以发送消息而不在在框250选择的客户端设备140-1、...、140-n的I/O组件155上显示消息传递应用输出，这可以节省客户端设备140-1、...、140-n上的电力。
仍然参考框260，在实施方式中，在框250处选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以向与另一动作意图请求对应的消息传递应用160发送该另一动作意图请求。在其他实施方式中，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以将从智能设备110的智能设备自动化助理120接收的动作意图请求转发到与请求相对应的消息传递应用160。发送或转发到与请求相对应的消息传递应用160的动作意图请求可以包括来自框210的消息和消息接收者(例如，第二用户)。动作意图请求可以可选地包括消息发送者(例如，第一用户)，它可以指定从其发送消息的用户账户。动作意图请求还可以可选地包括与要被用于发送消息的请求相对应的消息传递应用160的标识。在实施方式中，响应于接收动作意图请求，消息传递应用160可以根据接收的动作意图请求将消息发送给消息接收者。
仍然参考框260，在实施方式中，在根据动作意图请求成功地向消息接收者发送消息之后，消息传递应用160可以向在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150发送应答。该应答可以表示消息被成功发送给消息接收者的确认。在实施方式中，响应于接收该应答，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以向智能设备110的智能设备自动化助理120发送另一个应答，该另一个应答确认消息被成功发送给消息接收者。在其他实施方式中，响应于接收该应答，在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150可以将从消息传递应用160接收的应答转发给智能设备110的智能设备自动化助理120。
仍然参考图2，在框270，系统可以从第二设备接收指示消息被发送到第二用户的应答。在实施方式中，在框270，智能设备110(即，第一设备)的智能设备自动化助理120可以从在框250选择的客户端设备140-1、...、140-n(即第二设备)的客户端设备自动化助理150接收应答，该应答指示消息被发送给第二用户。在实施方式中，智能设备110的智能设备自动化助理120接收在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150在框260发送的应答。在其他实施方式中，智能设备110的智能设备自动化助理120从消息传递应用160接收应答，该应答在框260由在框250选择的客户端设备140-1、...、140-n的客户端设备自动化助理150转发。
仍然参考图2，在框280，响应于接收应答，系统可以在第一设备处输出消息被发送的音频或视觉指示。在实施方式中，在框280，响应于在框270接收应答，智能设备110(即，第一设备)的智能设备自动化助理120可以经由智能设备110的I/O组件130，诸如I/O组件130的扬声器和/或触摸屏显示器，来输出消息被发送的音频或视频指示。
仍然参考框280，在示例中，响应于接收该应答，智能设备110的智能设备自动化助理120可以使用文本到语音处理器来将文本消息“你的消息已被发送给用户X(Yourmessage has been sent to UserX)”转换为生成的语音，然后可以经由I/O组件130的扬声器呈现该语音。在另一个示例中，响应于接收该应答，智能设备110的智能设备自动化助理120可以使文本消息“你的消息已被发送给用户X(Your message has been sent toUserX)”经由I/O组件130的触摸屏显示器呈现。
在其他实施方式中，除了消息传递应用135之外，智能设备110可以还包括附加应用，并且除了消息传递应用160之外，客户端设备140-1、...、140-n可以还包括附加应用。智能设备自动化助理120在框210接收的请求可以是对于使用特定应用(例如，智能灯应用或跑步日志记录应用)执行动作(例如，打开智能灯，或记录10k跑步)的请求。在框220，智能设备自动化助理120可以确定与请求相对应的特定应用在智能设备110上不可用(例如，特定应用不被包括在消息传递应用135中或智能设备110上的附加应用中并且不能由智能设备110使用API或Web服务远程访问)。在框250，智能设备自动化助理120可以选择特定应用在其上可用的客户端设备140-1、...、140-n，并且在框260，智能设备自动化助理120可以向客户端设备140-1、...、140-n发送命令，该命令使客户端设备140-1、...、140-n使用特定应用执行动作。在框270，智能设备自动化助理120可以接收指示该动作由客户端设备140-1、...、140-n上的特定应用执行的应答，并且在框280，响应于接收该应答，智能设备自动化助理120可以输出使用特定应用执行动作的音频或视觉指示。
图3是图示根据本文公开的实施方式的、使用诸如移动电话计算设备的客户端设备140-1、...、140-n来向智能设备110发送由在客户端设备140-1、...、140-n上运行的消息传递应用160接收的消息的示例方法300的流程图，该智能设备110诸如是独立的以助理为中心的交互式扬声器、带有扬声器的独立的以助理为中心的交互式显示器、诸如智能电视的智能电器和/或用户的可穿戴装置。为方便起见，参考执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如智能设备110、客户端设备140-1、...、140-n和/或计算机服务器170的一个或多个组件。此外，虽然以特定次序示出方法300的操作，但是这并不意味着限制。可以重新排序、省略或添加一个或多个操作。
在框310，系统可以通过在与第一用户相关联的第一设备上运行的第一自动化助理应用接收由在第一设备上运行的消息传递应用接收的消息。在实施方式中，在框310，客户端设备140-1、...、140-n(即，与第一用户相关联的第一设备)的客户端设备自动化助理150(即，第一自动化助理应用)可以接收由运行在客户端设备140-1、...、140-n上的消息传递应用160接收的消息。在实施方式中，消息传递应用160可以利用端到端加密来发送和接收消息。
仍然参考图3，在框320，系统可以通过第一自动化助理应用确定与第一用户相关联的第二设备。在实施方式中，第二设备可能正在运行第二自动化助理应用并且消息传递应用可能在第二设备上不可用。在实施方式中，在框320，客户端设备140-1、...、140-n的客户端设备自动化助理150(即，第一自动化助理应用)可以确定智能设备110是与第一用户相关联的第二设备。在实施方式中，智能设备110可能正在运行智能设备自动化助理120(即，第二自动化助理应用)，并且消息传递应用160可能在智能设备110上不可用(例如，消息传递应用160不存在于智能设备110上的消息传递应用135中，并且不能从智能设备110访问消息传递应用160)。
仍然参考图3，在框330，系统可以通过第一自动化助理应用向在第二设备上运行的第二自动化助理应用发送消息。在实施方式中，在框330，客户端设备140-1、...、140-n的客户端设备自动化助理150(即，第一自动化助理应用)可以将在框310接收的消息发送到在智能设备110(即，第二设备)上运行的智能设备自动化助理120(即，第二自动化助理应用)。在实施方式中，客户端设备自动化助理150可以生成包括该消息的动作意图请求，并将动作意图请求发送到智能设备自动化助理120。在实施方式中，动作意图请求包括使得在智能设备110上运行的智能设备自动化助理120(例如，使用I/O组件130)在智能设备110处呈现消息的命令。
仍然参考图3，在框340，系统可以通过在第一设备上运行的第一自动化助理应用从在第二设备上运行的第二自动化助理应用接收使用消息传递应用发送回复消息的命令。在实施方式中，在框340，在客户端设备140-1、...、140-n(即，第一设备)上运行的客户端设备自动化助理150(即，第一自动化助理应用)可以从在智能设备110(即，第二设备)上运行的智能设备自动化助理120(即，第二自动化助理应用)接收使用消息传递应用160发送回复消息的命令。在实施方式中，客户端设备自动化助理150可以接收作为命令的动作意图请求，动作意图请求包括回复消息，并且可选地包括消息接收者和消息传递应用160的标识。
仍然参考图3，在框350，系统可以通过第一自动化助理应用调用消息传递应用以使消息传递应用发送回复消息。在实施方式中，在框350，在客户端设备140-1、...、140-n(即，第一设备)上运行的客户端设备自动化助理150(即，第一自动化助理应用)可以调用消息传递应用160以根据在框340接收的命令，使消息传递应用160发送回复消息。
仍然参考图3，在框360，系统可以通过在第一设备上运行的第一自动化助理应用向在第二设备上运行的第二自动化助理应用发送指示回复消息被发送的确认。在实施方式中，在框360，运行在客户端设备140-1、...、140-n(即，第一设备)上的客户端设备自动化助理150(即，第一自动化助理应用)可以向在智能设备110(即，第二设备)上运行的智能设备自动化助理120(即，第二自动化助理应用)发送指示在框350回复消息被发送的确认。在实施方式中，响应于接收该确认，智能设备自动化助理120可以经由智能设备110的I/O组件130，诸如I/O组件130的扬声器和/或触摸屏显示器，来输出回复被发送的音频或视觉指示。
图4是图示根据本文公开的实施方式的、使用智能设备110来使用诸如移动电话计算设备的客户端设备140-1、...、140-n上的消息传递应用160来发送消息的示例方法400的流程图，该智能设备110诸如是独立的以助理为中心的交互式扬声器、具有扬声器的独立的以助理为中心的交互式显示器、诸如智能电视的智能电器和/或用户的可穿戴装置。为方便起见，参考执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如智能设备110、客户端设备140-1、...、140-n和/或计算机服务器170的一个或多个组件。此外，虽然以特定顺序示出方法400的操作，但是这并不意味着限制。可以重新排序、省略或添加一个或多个操作。
在框410，系统可以从第一用户接收对于向第二用户发送消息的请求。在实施方式中，在框410，智能设备110的智能设备自动化助理120可以从第一用户接收对于向第二用户发送消息的请求。
仍然参考图4，在框420，系统可以确定与请求相对应的消息传递应用在系统上是否可用。在实施方式中，在框420，智能设备110的智能设备自动化助理120可以确定与在框410接收的请求相对应的消息传递应用是否被包括在智能设备110上的消息传递应用135中，或者可从智能设备110远程访问。如果智能设备自动化助理120确定与在框410接收的请求相对应的消息传递应用被包括在智能设备110上的消息传递应用135中或可从智能设备110远程访问，则流程进行到框430。另一方面，如果智能设备自动化助理120确定情况不是与在框410接收的请求相对应的消息传递应用被包括在智能设备110上的消息传递应用135中或者可从智能设备110远程访问的情况，则流程进行到框440。
仍然参考图4，在框430，响应于确定与请求相对应的消息传递应用在系统上可用，系统可以使用在系统上的消息传递应用从第一用户向第二用户发送消息。在实施方式中，在框430，响应于在框420确定与在框410接收的请求相对应的消息传递应用被包括在智能设备110上的消息传递应用135中或可从智能设备110远程访问，智能设备自动化助理120可以使与该请求相对应的消息传递应用135将在框410接收的消息从第一用户发送给第二用户。
仍然参考图4，在框440，响应于确定与请求相对应的消息传递应用在系统上不可用，系统可以选择与请求相对应的消息传递应用在其上可用的外部设备。在实施方式中，在框440，响应于在框420确定情况不是与在框410接收的请求相对应的消息传递应用被包括在智能设备110上的消息传递应用135中或从智能设备110可远程访问的情况，智能设备自动化助理120可以选择与请求相对应的消息传递应用在其上可用的客户端设备140-1、...、140-n中的一个(例如，与请求相对应的消息传递应用被包括在客户端设备140-1、...、140-n上的消息传递应用160中)。
仍然参考图4，在框450，系统可以向外部设备发送命令，该命令使外部设备使用外部设备上的消息传递应用从第一用户向第二用户发送消息。在实施方式中，在框450，智能设备110的智能设备自动化助理120使用在与请求相对应的客户端设备140-1、...、140-n上的消息传递应用160向在框440选择的客户端设备140-1、...、140-n发送命令，该命令使得客户端设备140-1、...、140-n将在框410从第一用户接收的消息发送到第二用户。
图5是示例计算设备510的框图，该示例计算设备510可以可选地被用于执行本文描述的技术的一个或多个方面。计算设备510通常包括至少一个处理器514，至少一个处理器514经由总线子系统512与多个外围设备通信。这些外围设备可以包括：包括例如存储器子系统525和文件存储子系统526的存储子系统524，，用户接口输出设备520，用户接口输入设备522，以及网络接口子系统516。输入和输出设备允许用户与计算设备510的交互。网络接口子系统516提供到外部网络的接口并被耦合到其他计算设备中的对应接口设备。
用户接口输入设备522可以包括：键盘，诸如鼠标、轨迹球、触摸板或图形输入板的定点设备，扫描仪，并入显示器的触摸屏，诸如语音识别系统的音频输入设备，麦克风和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括将信息输入到计算设备510内或通信网络上的所有可能类型的设备和方式。
用户接口输出设备520可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于创建可见图像的某个其他机构。显示子系统还可以诸如经由音频输出设备提供非视觉显示。一般而言，术语“输出设备”的使用旨在包括将信息从计算设备510输出到用户或另一机器或计算设备的所有可能类型的设备和方式。
存储子系统524存储提供本文描述的一些或所有模块的功能的程序和数据构造。例如，存储子系统524可以包括用于执行图2、3和4的方法的所选择方面以及实现图1中描述的各种组件的逻辑。
这些软件模块通常由处理器514单独或与其他处理器组合执行。在存储子系统524中包括的存储器子系统525可以包括多个存储器，所述多个存储器包括用于在程序执行期间对指令和数据的存储的主随机存取存储器(RAM)530和其中存储固定指令的只读存储器(ROM)532。文件存储子系统526可以为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移动介质、CD-ROM驱动器、光驱动器或可移动介质盒。实现某些实施方式的功能的模块可以由文件存储子系统526存储在存储子系统524中，或存储在处理器514可访问的其他机器中。
总线子系统512提供了用于使得计算设备510的各种组件和子系统按预期相互通信的机制。尽管总线子系统512被示意性地示为单个总线，但是总线子系统的替代实施方式可以使用多个总线。
计算设备510可以是包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理系统或计算设备的各种类型。由于计算机和网络的不断变化的性质，图5中描绘的计算设备510的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算设备510的许多其他配置可能具有比图5中描绘的计算设备更多或更少的组件。
实施方式可以通过提供用于使用消息传递应用发送消息的方法和系统来解决计算和/或网络资源的低可靠性和过度使用的问题。特别地，一些实施方式可以通过提供用于使用诸如独立的以助理为中心的交互式扬声器和/或具有扬声器的独立的以助理为中心的交互式显示器的智能设备来使用诸如智能手机的客户端设备上的消息传递应用发送消息的方法和系统来改进计算机的功能。因此，通过对改进计算机相关技术的规则的使用，实施方式允许计算机执行以前不能由计算机执行的功能。此外，实施方式使用根据定义根源在于计算机技术的技术(例如，端到端加密、STT处理器、NLU、TTS处理器等)。
在本文描述的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户偏好或用户当前地理位置的信息)、或控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。此外，在存储或使用某些数据之前，可能会以一个或多个方式对其进行处理，从而移除个人身份信息。例如，用户的身份可能会被处理，使得没有用户的个人身份信息能够被确定，或者用户的地理位置可能会在获取地理位置信息的情况下被概括(诸如到城市、邮政编码或州级)，从而无法确定用户的特定地理位置。因此，用户可以具有对如何收集和/或使用关于用户的信息的控制。
尽管这里已经描述和说明了几个实施方式，但是可以利用用于执行功能和/或获得结果和/或这里描述的优点中的一个或多个优点的各种其他装置和/或结构，并且这种变化和/或修改中的每个被认为在本文描述的实施方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置都意味着是示例性的，并且实际参数、尺寸、材料和/或配置将取决于本教导被用于的一个或多个特定应用。本领域技术人员将认识到或能够使用不超过常规实验来确定本文描述的特定实施方式的许多等效物。因此，应当理解，前述实施方式仅作为示例呈现，并且在所附权利要求及其等效物的范围内，可以以不同于具体描述和要求保护的方式来实践实施方式。本公开的实施方式针对本文所述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不相互矛盾，两个或多个这样的特征、系统、物品、材料、套件和/或方法的任何组合被包含在本公开的范围内。

Claims (23)

1.一种由一个或多个处理器实现的方法，所述方法包括：
由第一设备从第一用户接收对于向第二用户发送消息的请求；
确定与所述请求相对应的消息传递应用在所述第一设备上不可用；以及
响应于确定与所述请求相对应的所述消息传递应用在所述第一设备上不可用：
选择与所述请求相对应的所述消息传递应用在其上可用的第二设备；以及
向所述第二设备发送使所述第二设备使用在所述第二设备上的所述消息传递应用从所述第一用户向所述第二用户发送所述消息的命令。
2.根据权利要求1所述的方法，其中，确定与所述请求相对应的所述消息传递应用在所述第一设备上不可用包括：确定所述消息传递应用不存在于所述第一设备上并且确定所述消息传递应用不可使用应用编程接口从所述第一设备访问。
3.根据前述权利要求中的任一项所述的方法，进一步包括：由所述第一设备基于场境信息确定所述第一用户的账户，以及
其中，选择所述第二设备是基于所述第一用户的所述账户。
4.根据权利要求3所述的方法，其中：
所述请求被包括在话语中，以及
确定所述第一用户的所述账户包括：基于所述话语的说话者识别特征确定所述话语是由所述第一用户说出的。
5.根据权利要求3所述的方法，其中：
所述请求被包括在某人所说的话语中，以及
确定所述第一用户的所述账户包括：
从所述第一设备的相机接收所述人的图像，以及
基于所述图像确定所述话语是由所述第一用户说出的。
6.根据前述权利要求中的任一项所述的方法，其中：
所述第一设备是非智能手机设备，以及
所述第二设备是所述第一用户的智能手机设备。
7.根据前述权利要求中的任一项所述的方法，其中：
所述请求指定所述消息传递应用，以及
所述消息传递应用利用端到端加密将所述消息从所述第二设备发送到与所述第二用户相关联的第三设备。
8.根据前述权利要求中的任一项所述的方法，其中：
所述接收、所述确定、所述选择和所述发送由在所述第一设备上运行的第一自动化助理应用执行；以及
所述命令由在所述第二设备上运行的第二自动化助理应用解释以使所述第二自动化助理应用调用在所述第二设备上正在运行的所述消息传递应用，以使所述消息传递应用从所述第一用户向所述第二用户发送所述消息。
9.根据权利要求8所述的方法，其中：
所述第二自动化助理应用调用所述消息传递应用而不显示第二自动化助理应用输出，以及
所述消息传递应用发送所述消息而不显示消息传递应用输出。
10.根据权利要求1至7中的任一项所述的方法，其中，所述命令由在所述第二设备上运行的第二自动化助理应用解释，以使所述第二自动化助理应用通过将所述请求视为由在所述第二设备上运行的所述第二自动化助理应用直接接收来进行响应。
11.根据前述权利要求中的任一项所述的方法，进一步包括：
从所述第二设备接收指示所述消息被发送给所述第二用户的应答；以及
响应于接收所述应答，所述第一设备输出所述消息被发送的音频或视觉指示。
12.根据权利要求1所述的方法，其中，所述确定、所述选择和所述发送由所述第一设备执行。
13.根据权利要求1至7和10至12中的任一项所述的方法，其中，所述确定、所述选择和所述发送由所述第一设备和所述第二设备外部的计算机服务器执行。
14.一种由一个或多个处理器实现的方法，所述方法包括：
由在与第一用户相关联的第一设备上运行的第一自动化助理应用接收由在所述第一设备上运行的消息传递应用接收的消息；
由所述第一自动化助理应用确定与所述第一用户相关联的第二设备，其中，所述第二设备正在运行第二自动化助理应用并且所述消息传递应用在所述第二设备上不可用；以及
由所述第一自动化助理应用将所述消息发送到在所述第二设备上运行的所述第二自动化助理应用。
15.根据权利要求14所述的方法，进一步包括：
由在所述第一设备上运行的所述第一自动化助理应用从在所述第二设备上运行的所述第二自动化助理应用接收使用所述消息传递应用发送回复消息的命令；以及
由所述第一自动化助理应用调用所述消息传递应用以使所述消息传递应用发送所述回复消息。
16.根据权利要求15所述的方法，进一步包括：由在所述第一设备上运行的所述第一自动化助理应用向在所述第二设备上运行的所述第二自动化助理应用发送指示所述回复消息被发送的确认。
17.根据权利要求14至16中的任一项所述的方法，其中，所述第一设备是智能手机设备，并且所述第二设备是非智能手机设备。
18.根据权利要求14至16中的任一项所述的方法，其中，发送所述消息包括：发送使在所述第二设备上运行的所述第二自动化助理应用在所述第二设备处呈现所述消息的命令。
19.一种系统，包括：
处理器、计算机可读存储器、一个或多个计算机可读存储介质以及被共同存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令可执行以：
从第一用户接收对于向第二用户发送消息的请求；
确定与所述请求相对应的消息传递应用在所述系统上是否可用；
响应于确定与所述请求相对应的所述消息传递应用在所述系统上可用，使用在所述系统上的所述消息传递应用从所述第一用户向所述第二用户发送所述消息；以及
响应于确定与所述请求相对应的所述消息传递应用在所述系统上不可用：
选择与所述请求相对应的所述消息传递应用在其上可用的外部设备；以及
向所述外部设备发送使所述外部设备使用在所述外部设备上的所述消息传递应用从所述第一用户向所述第二用户发送所述消息的命令。
20.根据权利要求19所述的系统，其中：
所述接收、所述确定、所述选择和所述发送由在所述第一设备上运行的第一自动化助理应用执行；以及
所述命令由在所述第二设备上运行的第二自动化助理应用解释以使所述第二自动化助理应用调用在所述第二设备上正在运行的所述消息传递应用，以使所述消息传递应用从所述第一用户向所述第二用户发送所述消息。
21.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求1至18中的任一项所述的方法。
22.一种包括指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求1至18中的任一项所述的方法。
23.一种客户端设备，包括一个或多个处理器，用于执行根据权利要求1至18中的任一项所述的方法。
CN202080100650.7A 2020-08-03 2020-12-15 经由智能手机从智能扬声器和智能显示器发送消息 Pending CN115552874A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/947,482 2020-08-03
US16/947,482 US11700226B2 (en) 2020-08-03 2020-08-03 Sending messages from smart speakers and smart displays via smartphones
PCT/US2020/065048 WO2022031304A1 (en) 2020-08-03 2020-12-15 Sending messages from smart speakers and smart displays via smartphones

Publications (1)

Publication Number Publication Date
CN115552874A true CN115552874A (zh) 2022-12-30

Family

ID=74181339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100650.7A Pending CN115552874A (zh) 2020-08-03 2020-12-15 经由智能手机从智能扬声器和智能显示器发送消息

Country Status (4)

Country Link
US (2) US11700226B2 (zh)
EP (1) EP4124215A1 (zh)
CN (1) CN115552874A (zh)
WO (1) WO2022031304A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11700226B2 (en) * 2020-08-03 2023-07-11 Google Llc Sending messages from smart speakers and smart displays via smartphones
US20240257817A1 (en) * 2023-02-01 2024-08-01 Google Llc Assistant delegation of request fulfillment to other devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141650A (zh) * 2014-05-30 2015-12-09 苹果公司 Sms代理
CN108885740A (zh) * 2016-04-08 2018-11-23 微软技术许可有限责任公司 主动的智能个人助理
US10157614B1 (en) * 2016-12-28 2018-12-18 Amazon Technologies, Inc. Message playback using a shared device
CN109698856A (zh) * 2017-10-21 2019-04-30 苹果公司 安全的设备到设备通信信道
US20200110864A1 (en) * 2018-10-08 2020-04-09 Google Llc Enrollment with an automated assistant
CN111052685A (zh) * 2017-07-13 2020-04-21 沃兹艾普公司 用于多代理消息传送的技术

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304637B1 (en) * 1997-03-14 2001-10-16 Itxc, Inc. Method and apparatus for establishing and facilitating a direct quality voice call to a telephone extension on behalf of a client computer
US20020007453A1 (en) * 2000-05-23 2002-01-17 Nemovicher C. Kerry Secured electronic mail system and method
US7167701B1 (en) * 2001-12-18 2007-01-23 Bellsouth Intellectual Property Corporation Voice mailbox with management support
TW519969U (en) 2002-03-13 2003-02-01 Jih Chien Paper Products Co Lt Packing box structure
ATE354904T1 (de) * 2004-09-09 2007-03-15 Siemens Ag Datenverarbeitungsgerät zum einsatz in einem ad- hoc-netzwerk und ad-hoc-netzwerk dazu
US7797318B2 (en) * 2005-08-25 2010-09-14 Microsoft Corporation Networking through electronic messaging and mail
US20100184406A1 (en) 2009-01-21 2010-07-22 Michael Schrader Total Integrated Messaging
US9967256B2 (en) * 2010-10-07 2018-05-08 Edmond Kwok-Keung Chow System for delivering messages securely via third-party account
US8639513B2 (en) * 2009-08-05 2014-01-28 Verizon Patent And Licensing Inc. Automated communication integrator
US9641609B2 (en) * 2012-02-28 2017-05-02 Google Inc. Integrated messaging
US20140073300A1 (en) * 2012-09-10 2014-03-13 Genband Us Llc Managing Telecommunication Services using Proximity-based Technologies
US8813134B2 (en) * 2012-12-20 2014-08-19 Verizon Patent And Licensing Inc. Mobile device caller ID to smart TV devices
CN111414222A (zh) 2014-12-11 2020-07-14 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9712657B2 (en) * 2015-02-06 2017-07-18 Apple Inc. Proxying for communicating messages with an unregistered accessory device
US10217152B2 (en) * 2015-04-16 2019-02-26 Facebook, Inc. Managing ecommerce messages via a social networking system
US10331784B2 (en) * 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US10319375B2 (en) 2016-12-28 2019-06-11 Amazon Technologies, Inc. Audio message extraction
US10136364B2 (en) * 2017-01-24 2018-11-20 Essential Products, Inc. Media and communications in a connected environment
EP3920180A3 (en) 2017-05-16 2022-02-23 Google LLC Handling calls on a shared speech-enabled device
US10198877B1 (en) 2018-05-23 2019-02-05 Google Llc Providing a communications channel between instances of automated assistants
CN112335204B (zh) 2018-10-08 2022-06-03 谷歌有限责任公司 由助理客户端设备本地控制和/或注册智能设备
US10958706B2 (en) * 2018-11-02 2021-03-23 Infinite Convergence Solutions, Inc. Devices and method for voice over internet protocol call continuity
US10735357B1 (en) * 2019-01-22 2020-08-04 Bank Of America Corporation Cross-platform messaging system
KR102401125B1 (ko) * 2019-04-02 2022-05-24 엘지전자 주식회사 네트워크 장애에 대처하기 위한 통신 방안
EP4297022A3 (en) * 2019-04-26 2024-02-28 Google LLC Dynamically delaying execution of automated assistant actions and/or background application requests
US10827329B1 (en) * 2020-02-26 2020-11-03 At&T Mobility Ii Llc Facilitation of dynamic edge computations for 6G or other next generation network
US11700226B2 (en) * 2020-08-03 2023-07-11 Google Llc Sending messages from smart speakers and smart displays via smartphones

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141650A (zh) * 2014-05-30 2015-12-09 苹果公司 Sms代理
CN108885740A (zh) * 2016-04-08 2018-11-23 微软技术许可有限责任公司 主动的智能个人助理
US10157614B1 (en) * 2016-12-28 2018-12-18 Amazon Technologies, Inc. Message playback using a shared device
CN111052685A (zh) * 2017-07-13 2020-04-21 沃兹艾普公司 用于多代理消息传送的技术
CN109698856A (zh) * 2017-10-21 2019-04-30 苹果公司 安全的设备到设备通信信道
US20200110864A1 (en) * 2018-10-08 2020-04-09 Google Llc Enrollment with an automated assistant

Also Published As

Publication number Publication date
EP4124215A1 (en) 2023-02-01
US11700226B2 (en) 2023-07-11
WO2022031304A1 (en) 2022-02-10
US20220038417A1 (en) 2022-02-03
US20230336521A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US11741959B2 (en) Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
US10691409B2 (en) Providing a communications channel between instances of automated assistants
US11886482B2 (en) Methods and systems for providing a secure automated assistant
US20230336521A1 (en) Sending messages from smart speakers and smart displays via smartphones
US20240203400A1 (en) Speaker awareness using speaker dependent speech model(s)
US20230352004A1 (en) Mixed client-server federated learning of machine learning model(s)
US20240169989A1 (en) Multimodal responses
US11750544B2 (en) Automated assistant architecture for preserving privacy of application content
US11164576B2 (en) Multimodal responses
US11656844B2 (en) Providing a communications channel between instances of automated assistants
US20240257817A1 (en) Assistant delegation of request fulfillment to other devices
US12100399B2 (en) Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
US20240070193A1 (en) Reducing metadata transmitted with automated assistant requests
EP4411563A1 (en) Semantic parsing using embedding space representations of example natural language queries
US20240087564A1 (en) Restricting third party application access to audio data content
US20240203410A1 (en) Adapting virtual features of a virtual environment for streamlining assistant interactions in the virtual environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination