CN113260974A - 动态联系人获取 - Google Patents

动态联系人获取 Download PDF

Info

Publication number
CN113260974A
CN113260974A CN201980087407.3A CN201980087407A CN113260974A CN 113260974 A CN113260974 A CN 113260974A CN 201980087407 A CN201980087407 A CN 201980087407A CN 113260974 A CN113260974 A CN 113260974A
Authority
CN
China
Prior art keywords
data
contact
profile
vehicle
communication session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980087407.3A
Other languages
English (en)
Other versions
CN113260974B (zh
Inventor
阿曼迪普·辛格
阿米特·查克拉博蒂
白鹏
卡玛尔·巴姆布哈尼
普雷莫·丹尼什·德赛
肖恩·迈克尔·威尔逊
桑杰·拉杰普特
阿比·古普塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN113260974A publication Critical patent/CN113260974A/zh
Application granted granted Critical
Publication of CN113260974B publication Critical patent/CN113260974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H04W8/20Transfer of user or subscriber data
    • H04W8/205Transfer to or from user equipment or user record carrier
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08User group management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于动态联系人获取的技术。一种系统可基于联系人数据或与连接到第一装置的第二装置相关联的其他信息来从所述第一装置接收话音命令。例如,当在所述第一装置与所述第二装置之间进行数据连接时,所述第一装置可接收所述联系人数据并将所述联系人数据发送到远程系统。所述远程系统可暂时地将所述联系人数据与所述第一装置相关联,从而使得所述远程系统能够使用所述联系人数据来解释从所述第一装置接收到的话音命令。所述远程系统可使用所述联系人数据来执行消歧,从而使得所述远程系统能够发起出站呼叫、宣告入站呼叫等。当所述第二装置与所述第一装置断开连接时,所述远程系统可移除所述联系人数据与所述第一装置之间的所述关联。

Description

动态联系人获取
相关申请数据的交叉引用
本申请要求以Amahdeep Singh等人的名义于2018年11月15日提交的标题为“DYNAMIC CONTACT INGESTION”的美国临时专利申请号62/767,952的优先权的权益以及以Amandeep Singh等人的名义于2019年3月21日提交的标题为“DYNAMIC CONTACTINGESTION”的美国专利申请号16/360,436的优先权的权益。
背景技术
语音辨识系统已经发展到人类可使用他们的话音来与计算装置交互的程度。这种系统采用技术以基于各种品质的接收到的音频输入来识别人类用户说出的词语。语音辨识处理结合自然语言理解处理实现对计算装置的基于语音的用户控制,以基于用户的口头命令来执行任务。语音辨识处理和自然语言理解处理技术的组合在本文中被称为语音处理。语音处理还可涉及将用户的语音转换成文本数据,该文本数据然后可被提供到技能。语音处理可由计算机、手持装置、电话计算机系统、自助服务终端以及广泛多种其他装置使用,以改善人机交互。
附图说明
为了更完全地理解本公开,现在结合附图来参考以下描述。
图1是根据本公开的实施方案的被配置为调和联系人列表的条目的系统的概念图。
图2是根据本公开的实施方案的系统的部件的概念图。
图3是根据本公开的实施方案的用户的通信简档的概念图。
图4示出了根据本公开的实施方案的将第二装置与第一装置相关联。
图5A是示出根据本公开的实施方案的联系人数据的整合的过程流程图。
图5B是示出根据本公开的实施方案的使用获取的联系人数据来处理进行呼叫的请求的过程流程图。
图5C是示出根据本公开的实施方案的在连接终止之后将联系人数据解除关联的过程流程图。
图6示出了根据本公开的实施方案的系统和/或通信系统的部件。
图7示出了根据本公开的实施方案的发信号以发起通信会话的示例。
图8A和图8B示出了根据本公开的实施方案的发信号以结束通信会话的示例。
图9A和图9B示出了根据本公开的实施方案的在装置之间建立媒体连接的示例。
图10A至图10C示出了根据本公开的实施方案的建立和终止通信会话的示例。
图11示出了根据本公开的实施方案的存储在装置简档存储装置中的装置的示例装置简档。
图12A至图12B是示出根据本公开的实施方案的使用数据连接来建立通信会话的示例的过程流程图。
图13A至图13B是示出根据本公开的实施方案的使用蜂窝连接来建立通信会话的示例的过程流程图。
图14是概念上示出根据本公开的实施方案的用于确定要建立的通信会话的类型的示例方法的流程图。
图15A至图15D是示出根据本公开的实施方案的终止通信会话的示例的过程流程图。
图16是示出根据本公开的实施方案的联系人数据的整合的过程流程图。
图17A是示出根据本公开的实施方案的在连接终止之后删除联系人数据的过程流程图。
图17B是示出根据本公开的实施方案的在连接终止之后将联系人数据解除关联并且在建立后续连接时重新关联联系人数据的过程流程图。
图18是示出根据本公开的实施方案的使用获取的装置数据来处理话音命令的过程流程图。
图19A至图19B是示出根据本公开的实施方案的简档数据的暂时关联的过程流程图。
图20是概念上示出根据本公开的实施方案的用于通过使暂时地关联的简档数据优先于现有的简档数据来执行消歧的示例方法的流程图。
图21A至图21B示出了根据本公开的实施方案的暂时地关联一个或多个用户简档的示例。
图22是概念上示出根据本公开的实施方案的装置的示例部件的框图。
图23是概念上示出根据本公开的实施方案的系统的示例部件的框图。
图24示出了根据本公开的实施方案的装置的网络的示例。
具体实施方式
自动语音辨识(ASR)是计算机科学、人工智能和语言学领域,其涉及将表示语音的音频数据转换为表示该语音的文本数据。自然语言理解是(NLU)是计算机科学、人工智能和语言学领域,其涉及使得计算机能够从包含自然语言的文本数据中得出含义。文本转语音(TTS)是计算机科学、人工智能和语言学的领域,其涉及使得计算机能够输出合成语音。ASR、NLU和TTS可一起用作语音处理系统的部分。
某些系统可响应于用户输入而执行动作,该用户输入可源于用户语音。例如,系统可响应于对应于“Alexa,今天的天气如何”的用户输入而输出天气信息。又例如,系统可响应于对应于“Alexa,播放Toto音乐”的用户输入而播放Toto的歌曲Africa。在另一个示例中,系统可响应于对应于“Alexa,帮我预订到机场的乘用车”的用户输入而用乘车共享服务来预订乘用车。
某些系统可包括使得用户能够向其他用户发送消息以及与其他用户执行呼叫的通信功能。例如,如果用户对系统装置说“Alexa,告诉John我在路上”,则系统可向“John”发送消息,该消息的内容对应于“我在路上”的音频和/或其文本转录(即,单向通信会话)。又例如,如果用户对系统装置说“Alexa,呼叫John”,则系统可在系统装置和与“John”相关联的装置之间建立双向通信会话。
为了向其他用户发送消息或呼叫其他用户,系统的用户可用该系统创建简档并将一个或多个联系人列表导入到该简档。例如,当用户注册系统的通信功能时,用户可向系统提供权限以从其个人装置(例如,智能电话)导入其联系人。用户还可向系统验证其电子邮件地址、社交媒体称呼或一些其他通信标识符。某些装置还可与简档相关联,其中系统被配置为使用装置简档来与其他装置建立通信。用户简档可链接到装置简档,特别是在用户拥有特定装置时。此类简档的使用可简化使用话音控制系统的通信活动,从而允许用户在进行呼叫时使用某些速记符号。例如,如果用户说“呼叫John”,则系统可在相关联的用户简档中识别出名为“John”的联系人并使用该联系人中的信息来建立呼叫。
然而,在某些情况下,可能希望允许更动态地获取联系人并将其与特定简档相关联,而无需用户在装置之间手动地关联联系人。本公开讨论了这样的系统。
特别地,当第一装置与第二装置建立连接时,例如当用户在车辆(例如,第一装置)与智能电话(例如,第二装置)之间进行蓝牙配对(例如,使用蓝牙协议进行的无线连接)时,系统可获得与第二装置相关联的联系人数据并将该联系人数据与第一装置相关联,例如,和与第一装置相关联的简档相关联。该简档可为装置简档(诸如与车辆相关联的简档),也可为用户简档(诸如已经与第一装置相关联的用户简档)。然后,当有与第一装置相关联的通信请求时,系统可使用来自第二装置的新联系人数据以在第一装置与来自第二装置的联系人数据的联系人之间建立通信(或以其他方式使用第二装置的联系人数据来解析用户话语)。
在一些示例中,车辆(例如,第一装置)可同时连接到多个智能电话(例如,第二装置),诸如当两个用户正在乘坐车辆时。当第一装置连接到多个第二装置(例如,与第一用户相关联的第一智能电话和与第二用户关联的第二智能电话)时,系统可获得与第一智能电话相关联的第一联系人数据和与第二智能电话相关联的第二联系人数据,并且可将第一联系人数据和第二联系人数据两者和与第一装置相关联的简档相关联。
图1示出了被配置为使用这种动态方法来获取联系人数据的系统。虽然本公开的附图和讨论按特定次序说明了系统的某些操作步骤,但在不脱离本公开的意图的情况下,所描述的步骤可按不同的次序执行(以及移除或添加某些步骤)。用户5的第一装置(被示为车辆)110、一个或多个系统120以及一个或多个通信系统125可通过一个或多个网络199进行通信。
下面的描述描述了由系统120执行的图1的步骤。本领域技术人员将了解,在不脱离本公开的情况下,第一装置110、通信系统125可执行关于图1描述的一些或全部步骤。
如图1所示,第一装置/车辆110可与第二装置112建立连接,诸如蓝牙或其他无线通信连接。然后,车辆110可向系统120发送连接的指示。系统120可接收(130)第一装置与第二装置的连接的指示。然后,系统120可向车辆110发送(132)对第二装置的联系人数据的请求。然后,车辆110可从第二装置112请求并接收第二装置的联系人数据,并且然后可将该联系人数据发送到系统120。然后,系统可接收(134)第二装置的联系人数据,并且将该第二装置的联系人数据与车辆的简档相关联(136)。
虽然图1的图示示出通过车辆110来请求第二装置的联系人数据,但第二装置的联系人数据可位于其他地方,例如位于第二系统上。系统120可根据系统配置以及用户偏好和权限使用其他技术来获得第二装置的联系人信息。
车辆的简档可为指派给第一装置的车辆简档,因此允许第二装置112的联系人数据与车辆简档直接相关联。例如,在用户可能希望通过租赁车辆使用语音控制来对他们的第二装置联系人进行呼叫(或执行其他操作)的租车背景下,这种情况可能是有益的。车辆的简档也可为与车辆相关联的不同的用户简档,例如车辆的所有者或操作者。例如,在车辆110的乘客想要将他/她的第二装置112配对以便使用车辆110进行呼叫(或进行其他操作)的背景下,这种情况可能是有益的。可选地,当用户从朋友或亲戚那里借用车辆时,这种情况可能是有益的。
车辆的简档可为与系统120相关联的简档270a,如下所述,并且/或者可为与通信系统125相关联的简档270b,如下所述。
在稍后的某个时刻,车辆110可检测到用户5说出的音频11。车辆可确定音频11包括唤醒词,并且然后可将对应于该音频的音频数据211发送到系统120。系统120可从车辆110接收(138)音频数据。系统120可例如使用语音处理(诸如ASR、NLU等)来处理(140)音频数据,以确定进行呼叫的请求。音频数据可与指示相关联,该指示与车辆的简档相关联。因此,系统可使用简档信息来执行语音处理。由于第二装置的联系人数据与车辆的简档相关联,因此系统可使用现在与车辆的简档相关联的第二装置的联系人数据来解释音频数据。例如,系统可确定呼叫请求是针对第二装置的联系人数据中的联系人。
然后,系统120可例如使用通信系统125来致使(142)在车辆110与联系人的装置之间建立呼叫。例如,系统120可向通信系统125发送呼叫接收方的联系人数据(诸如电话号码、Alexa ID等)和呼叫车辆110的标识符,以及/或者其他数据。然后,通信系统可使用该数据在联系人与车辆110之间建立呼叫。
除同步呼叫外,该技术还可用于交换消息或进行其他通信。
车辆的简档与第二装置的联系人数据之间的关联可为暂时的。例如,在稍后的某个时刻,车辆110和第二装置112可终止它们的连接。然后,车辆110可向系统120通知终止,并且系统120可将车辆的简档与第二装置的联系人数据解除关联。这可允许只有在第二装置112连接到第一装置/车辆110时才使用第二装置112的联系人数据。
虽然本文中将车辆110示为第一装置,但根据系统配置,可使用许多其他第一装置,诸如家用器具、语音控制装置、电视机、计算机、壁式插座或其他装置。
此外,尽管下面的示例集中于将第二装置的联系人数据与车辆的简档相关联,但其他第二装置数据也可与车辆的简档相关联。例如,日历数据、应用程序权限数据(因此在第一装置与第二装置之间的连接期间,被批准与第二装置一起使用的应用程序也被批准与第一装置一起使用)或第二装置的其他数据可与第一装置相关联。
此外,尽管本文的讨论示出第二装置的数据(例如,联系人数据、日历数据和/或其他数据)实际上被发送到系统120,但出于隐私保护的目的,系统120可能未必接收到第二装置的数据。相反,第二装置的数据可驻留在其他地方(例如,在第二装置上、在第二系统中等),并且在车辆110与第二装置112之间的连接期间,系统120可仅接收该数据的指示以便与车辆的简档相关联。例如,该指示可指示要关联的数据可包括联系人数据。然后,如果系统120在连接期间从车辆110接收到可能依赖于联系人数据的命令(例如,话音命令)(例如,进行呼叫或以其他方式建立连接的请求),则系统120可使用第二装置数据的关联的指示以向第二装置的数据的保持器发送关于第二装置的数据中的任一个是否可能与特定命令相关的请求。
例如,如果系统120已将车辆的简档与第二装置的联系人数据相关联,但没有直接访问第二装置的联系人数据并接收到该系统无法仅使用车辆的简档进行正确的处理的请求(例如,源自车辆的话语说“呼叫John”,但不存在与车辆相关联的名为“John”的联系人),则系统可向第二装置的数据的保持器发送请求以询问是否存在名为“John”的联系人,并且如果存在的话,则联系人的信息是什么。然后,第二装置的数据的保持器可返回John的联系人信息,然后系统120/通信系统125可使用该联系人信息以在John与车辆110之间建立呼叫,而不必让系统120访问第二装置的所有联系人数据。
该系统可使用如图2所描述的各种部件进行操作。各种部件可位于相同或不同的物理装置上。各种装置之间的通信可直接进行或者通过网络199进行。
音频捕获部件(诸如装置110的麦克风或麦克风阵列)捕获音频11。装置110处理表示音频11的音频数据,以确定是否检测到语音。装置110可使用各种技术来确定音频数据是否包括语音。一些实施方案可应用话音活动检测(VAD)技术。这样的技术可基于音频数据的各种定量方面来确定音频数据中是否存在语音,所述定量方面诸如音频数据的一个或多个帧之间的频谱斜率;一个或多个频谱带中的音频数据的能级;一个或多个频谱带中的音频数据的信噪比;或其他定量方面。在其他示例中,装置110可实现被配置为将语音与背景噪声区分开的有限分类器。可通过诸如线性分类器、支持向量机和决策树的技术来实现分类器。在另外的其他示例中,可应用隐马尔可夫模型(HMM)或高斯混合模型(GMM)技术,以将音频数据与存储装置中的一个或多个声学模型进行比较,该声学模型可包括对应于语音、噪声(例如,环境噪音或背景噪音)或静音的模型。还可使用另外的其他技术来确定音频数据中是否存在语音。
一旦在表示音频11的音频数据中检测到语音,装置110就可使用唤醒词检测部件220来执行唤醒词检测,以确定用户何时打算说出对装置110的输入。这个过程也可被称为关键词检测,其中唤醒词是关键词的具体示例。唤醒词的一个示例是“Alexa”。
通常在不执行语言分析、文本分析或语义分析的情况下执行唤醒词检测。相反,可分析表示音频11的音频数据以确定音频数据的具体特性是否与预先配置的声学波形、音频签名或其他数据相匹配,从而确定音频数据与对应于唤醒词的存储的音频数据是否“匹配”。存储的音频数据可由系统120提供和/或可由用户5提供。
唤醒词检测部件220可将音频数据与存储的模型或数据进行比较以检测唤醒词。一种用于唤醒词检测的方法应用通用大词汇量连续语音辨识(LVCSR)系统来解码音频信号,其中在得到的网格或混淆网络中执行唤醒词搜索。LVCSR解码可能要求相对高的计算资源。另一种用于唤醒词定位的方法分别为每个唤醒词和非唤醒词语音信号构建HMM。非唤醒词语音包括其他口头词、背景噪声等。可构建一个或多个HMM来对非唤醒词语音特性进行建模,其被称为填充模型。使用维特比解码来搜索解码图中的最佳路径,并且对解码输出进行进一步处理以作出关于唤醒词存在的判定。该方法可通过合并混合DNN-HMM解码框架而扩展为包括判别信息。在另一个示例中,唤醒词检测部件220可直接构建在深度神经网络(DNN)/递归神经网络(RNN)结构上,而不涉及HMM。这种架构可通过将帧堆叠在DNN的上下文窗口内或使用RNN来用上下文信息估计唤醒词的后验。将后继的后验阈值调整或平滑应用于判定。也可使用其他用于唤醒词检测的技术,诸如本领域已知的那些技术。
一旦检测到唤醒词,装置110就可唤醒并开始向系统120传输表示音频11的音频数据211。音频数据211可包括对应于唤醒词的数据,或者在将音频数据211发送到系统120之前,音频数据211的对应于唤醒词的部分可由装置110移除。
在被系统120接收后,音频数据211可被发送到协调器部件230。协调器部件230可包括存储器和逻辑,该存储器和逻辑使得协调器部件230能够向系统的各种部件传输各种数据片段和各种形式的数据以及执行其他操作。协调器部件230将音频数据211发送到ASR部件250。ASR部件250将音频数据211转录为文本数据。由ASR部件250输出的文本数据表示一个或多于一个(例如,呈N最佳列表的形式)假设,该假设表示音频数据211中所表示的语音。ASR部件250基于音频数据211与预先建立的语言模型之间的相似性来解释音频数据211中的语音。例如,ASR部件250可将音频数据211与声音的模型(例如,子词单元,诸如音素等)和声音序列进行比较,以识别与音频数据211中表示的语音的声音序列相匹配的词语。ASR部件250例如经由协调器部件230将由此生成的文本数据发送到NLU部件260。从ASR部件250发送到NLU部件260的文本数据可包括得分最高的ASR假设,或者可包括N最佳列表,该N最佳列表包括多个ASR假设。N最佳列表可另外地包括与其中表示的每个ASR假设相关联的相应得分。每个得分可指示被执行来生成与该得分相关联的ASR假设的ASR处理的置信度。
NLU部件260尝试对其中输入的文本数据中表示的短语或语句进行语义解释。也就是说,NLU部件260基于文本数据中表示的词语来确定与文本数据中表示的短语或语句相关联的一个或多个含义。NLU部件260确定表示用户期望执行的动作的意图(例如,意图数据)以及允许装置(例如,装置110、系统120、通信系统125)执行该意图的输入文本数据的片段。例如,如果文本数据对应于“呼叫John”,则NLU部件260可确定系统在发出呼叫的装置110与接收方“John”的装置之间建立双向通信信道的意图。又例如,如果文本数据对应于“告诉John我正路上”,则NLU部件260可确定系统向接收方“John”的装置发送消息的意图,其中消息对应于“我在路上”。
NLU部件260将NLU结果输出到协调器部件230。NLU结果可包括NLU假设,该NLU假设包括意图的表示以及可被下游部件用来执行意图的对应的时隙数据。可选地,NLU结果数据可包括多个NLU假设,其中每个NLU假设表示意图和对应的时隙数据。每个NLU假设可与表示NLU部件260在处理中的置信度的置信度值相关联,该处理被执行以生成与置信度值相关联的NLU假设。
协调器部件230可将NLU结果发送给相关联的技能部件290。如果NLU结果包括多个NLU假设,则协调器部件230可将对应于得分最高的NLU假设的NLU结果的一部分发送到与得分最高的NLU假设相关联的技能部件290。
“技能”或“技能部件”可为在系统120上运行的软件,其类似于在传统计算装置上运行的软件应用程序。也就是说,技能部件290可使得系统120能够执行具体功能以便执行一个或多个动作(例如,向用户提供信息、向用户显示内容、输出音乐或执行一些其他请求的动作)。系统120可被配置有多于一个技能部件290。例如,天气技能部件可使得系统120能够提供天气信息,乘车共享技能部件可使得系统120能够相对于乘车共享服务来安排行程,餐馆技能部件可使得系统120能够相对于餐馆的在线订购系统来订餐,通信技能部件可使得系统能够执行消息收发或多端点通信等。技能部件290可在系统120与其他装置(诸如装置110或通信系统125)之间协同操作以便完成某些功能。对技能部件290的输入可来自各种交互和输入源。第一通信系统125可包括用于协调与系统120和/或装置110的通信的通信协调器部件298。
可使用许多不同的术语(诸如动作、机器人程序、app、应用程序、speechlet等)来提及本文中被描述为技能或技能部件的功能。技能部件290可包括可专用于特定技能部件290或在不同技能部件290之间共享的硬件、软件、固件等。技能部件290可为系统120的部分(如图2所示),或者可完全(或部分地)位于一个或多个单独的系统中。除非另有明确说明,否则对技能、技能装置或技能部件的引用可包括在系统120内操作的技能部件(例如,作为技能部件290)和/或在与系统120分开的系统内操作的技能部件。
技能部件290可被配置为执行一个或多个动作。技能可使得技能部件290能够执行特定功能,以便提供数据或产生用户请求的一些其他输出。特定技能部件290可被配置为执行多于一个技能。例如,天气技能可涉及向系统120提供天气信息的天气技能部件,乘车共享技能可涉及相对于乘车共享服务来安排行程的乘车共享技能部件,订购披萨技能可涉及餐馆技能部件相对于餐馆的在线订购系统来订购披萨等。
技能部件290可实现不同类型的技能。技能的类型包括家庭自动化技能(例如,使得用户能够控制诸如灯、门锁、相机、恒温器等家庭装置的技能)、娱乐装置技能(例如,使得用户能够控制诸如智能TV的娱乐装置的技能)、视频技能、快报技能、游戏技能以及不与任何预先配置的技能类型关联的自定义技能。
系统120可包括TTS部件280,该TTS部件使用一种或多种不同的方法从文本数据生成音频数据(例如,合成语音)。在一种被称为单元选择的合成的方法中,TTS部件280将文本数据与记录的语音的数据库进行匹配。TTS部件280选择记录的语音的匹配单元,并将这些单元连结在一起以形成音频数据。在另一种被称为参数合成的合成的方法中,TTS部件280改变诸如频率、音量和噪声的参数,以创建包括人工语音波形的音频数据。参数合成使用计算机化话音发生器(有时也被称为声码器)。
系统120可包括简档存储装置270a,并且/或者第一通信系统125可包括简档存储装置270b。简档存储装置270a/270b可包括和与系统交互的个人用户、各组用户等有关的各种信息。简档存储装置270a/270b可包括一个或多个用户简档,其中每个用户简档与不同的用户标识符相关联。每个用户简档可包括各种用户识别信息。每个用户简档还可包括用户的偏好。每个用户简档还可包括表示用户的一个或多个装置的一个或多个装置标识符。
简档存储装置270a/270b可包括一个或多个组简档。每个组简档可与不同的组标识符相关联。组简档可特定于一组用户。也就是说,组简档可与两个或更多个个人用户简档相关联。例如,组简档可为和与单个家庭的多个用户相关联的用户简档相关联的家庭简档。组简档可包括由与其相关联的所有用户简档共享的偏好。与组简档相关联的每个用户简档可另外地包括特定于与其相关联的用户的偏好。也就是说,每个用户简档可包括对于与同一组简档相关联的一个或多个其他用户简档来说唯一的偏好。用户简档可为独立简档,或者可与组简档相关联。
该系统可被配置为合并用户权限,并且仅在被用户批准的情况下才可执行本文公开的活动。这样,本文描述的系统、装置、部件和技术通常将被配置为在适当的情况下限制处理,并且仅以确保遵守所有适当的法律、法规、标准等的方式来处理用户信息。可在地理基础上实施所述系统和技术,以确保遵守系统的部件和/或用户所在的各个管辖区和实体中的法律。可从与车辆/第一装置110、第二装置112或本文讨论的其他装置相关联的用户获得权限。
系统120可包括用户辨识部件295,该用户辨识部件辨识与输入到系统的数据相关联的一个或多个用户。用户辨识部件295可将由ASR部件250输出的音频数据211和/或文本数据作为输入。用户辨识部件295确定指示用户输入是否源于特定用户的得分。例如,第一得分可指示用户输入源于第一用户的可能性,第二得分可指示用户输入源于第二用户的可能性等。用户辨识部件295还确定关于用户辨识操作的准确性的总体置信度。用户辨识部件295可通过将音频数据211中的音频特性与存储的用户音频特性进行比较来执行用户辨识。用户辨识部件295还可通过将由与当前用户输入相关的系统接收到的生物特征数据(例如,指纹数据、虹膜数据等)与存储的用户生物特征数据进行比较来执行用户辨识。用户辨识部件295还可通过将由与当前用户输入相关的系统接收到的图像数据(例如,包括用户的至少一个特征的表示)与存储的图像数据(其包括不同用户的特征的表示)进行比较来执行用户辨识。用户辨识部件295可执行附加的用户辨识过程,包括本领域已知的那些过程。用户辨识部件295的输出可包括对应于发起当前用户输入的最可能的用户的单个用户标识符。可选地,用户辨识部件295的输出可包括用户标识符的N最佳列表,其中相应的得分指示相应的用户发出当前用户输入的可能性。用户辨识部件295的输出可用于通知NLU处理以及由系统的其他部件执行的处理。
图3示出了存储在通信简档存储装置270a/270b中的用户的示例通信简档。如上所述,通信简档存储装置270a/270b可被实现为通信系统125或系统120的部分。
当用户启用或注册系统的通信功能时,系统可生成特定于用户的通信简档标识符。用户可向系统验证其电话号码、地址或其他信息。例如,用户可将他们的电话号码输入到系统,并且然后系统可向蜂窝服务提供商验证该电话号码。一旦被验证,系统就可将电话号码存储在用户的通信简档中(例如,系统可将用户的电话号码与用户的通信简档标识符相关联)。
系统可向用户输出提示。提示可在装置110的屏幕上显示为文本和/或由装置110作为音频输出。提示可询问用户是否想要将他们的联系人列表(例如,存储在装置110上的联系人列表)导入到系统。如果用户肯定地作出响应,则系统可将联系人列表导入到通信简档存储装置270a/270b中的用户通信简档(例如,系统可将用户的联系人列表与用户的通信简档标识符相关联)。可选地,系统可将联系人列表导入到不同的存储装置(其被实现为通信系统125或系统120的部分),并且经由联系人列表标识符将存储的联系人列表与用户的通信简档标识符相关联。
系统还可提示用户有关用户是否希望只有在他们的装置与系统的另一个装置相关联时才导入其联系人。这可允许用户的联系人数据在与另一个系统装置的通信(例如,智能电话与车辆之间的蓝牙配对)期间变为与系统相关联,并且允许联系人数据在连接断开时变为解除关联。此外,当通信恢复时(或者当开始与用户以前可能未进入过但可为已经被授予权限的系统的部分的不同的第一装置/车辆的通信时),系统可将用户的联系人数据与该第一装置/车辆相关联,而无需用户每次都进行手动联系人获取。
用户还可向系统验证各种通信标识符。各种通信标识符以对应于不同的通信方式。此外,通信标识符可与不同的通信系统相关联。系统可验证通信标识符并将其存储在用户的通信简档中(例如,可将用户的已验证通信标识符中的每一个与用户的通信简档标识符相关联)。例如,用户可使用基于互联网的通信系统经由互联网来发送消息和/或执行呼叫。又例如,用户可经由在装置110上下载的消息收发应用程序来发送消息。用户可向系统提供其通信系统(不同于本文描述的通信系统)的通信标识符,本公开的系统可向通信系统验证用户的通信标识符,并且此后可将用户的通信标识符以及与通信标识符相关联的通信系统的表示存储在用户的通信简档中(例如,将已验证通信标识符与用户的通信简档标识符相关联)。
如图3所示,用户的通信简档标识符可与用户的各种通信标识符相关联。当用户向系统提供要验证的通信标识符时,用户还可向系统提供权限以导入与用户的通信标识符相关联的第一联系人列表。用户可使用各种通信源来执行通信。每个通信源可为用户存储相应的联系人列表。用户的通信简档标识符可与每个通信源的用户准许导入的联系人列表相关联。如图3所示,每个联系人列表可与从中导入该联系人列表的通信源相关联。可选地,系统可被配置为将用户的所有的导入的联系人列表集合为与用户的通信简档标识符相关联的单个联系人列表。
用户简档还可包括关于第二通信系统的信息,包括与第二通信系统相关联的第二联系人列表。第一联系人列表和第二联系人列表可包括共同联系人,诸如“联系人2”,如图3所示。第一联系人列表还可包括第二联系人列表中不存在的联系人,诸如“联系人1”和“联系人2”,如图3所示。第二联系人列表可包括第一联系人列表中不存在的联系人,诸如“联系人4”和“联系人5”,如图3所示。如本文进一步说明,如果第一用户希望与仅存在于一个联系人列表中的联系人(诸如“联系人1”或“联系人4”)通信,则系统120可尝试仅使用对应的通信系统来建立通信。然而,如果第一用户希望与第一联系人列表和第二联系人列表两者中都存在的联系人通信,则系统120可选择一个或两个通信系统来尝试建立通信。
如图4所示,第二装置112可接近第一装置110,诸如车辆。作为在车辆110与第二装置112之间建立通信的部分,第二装置112可向车辆110发送信号402。一旦在车辆110与第二装置112之间建立了通信(例如,第二装置112与车辆110等配对),系统120就可将第二装置112的联系人数据与车辆110的简档相关联以用于通信目的。当通信终止时,系统120可将第二装置112的联系人数据与车辆的简档解除关联。
在下面的图5A至图5C中示出了该过程。如图5A所示,第一装置/车辆110可与第二装置112建立(502)连接。该连接可为蓝牙或其他无线通信连接、通用串行总线(USB)或其他有线连接等。然后,车辆110可将标识与第二装置112的连接的信号发送(504)到系统120。这可对应于上述步骤130,其中系统120可接收到第一装置110与第二装置112之间的连接的指示。然后,系统120可向车辆110发送(506)针对来自第二装置112的联系人数据(例如,第二装置联系人数据)的请求。然而,本公开不限于此,并且在不脱离本公开的情况下可省略步骤504和506。
然后,车辆110可将针对第二装置联系人数据的请求发送(508)到第二装置112。第二装置112可将联系人数据发送(510)到第一装置110。然后,第一装置110可将第二装置联系人数据发送(512)到系统120。然后,系统可接收到第二装置联系人数据,如上面关于步骤134所述,并且然后可将第二装置联系人数据发送(514)到通信系统125。然后,系统120和/或通信系统125可将第二装置联系人数据与车辆的简档相关联(516)。
如图5B所示,在稍后的某个时刻,车辆110可检测到(520)用户说出的话语的音频。车辆110可确定音频11包括唤醒词,并且然后可将对应于音频的音频数据211发送(522)到系统120。如上面关于图1所述,在步骤138中,系统120可从车辆110接收音频数据。系统120和/或通信系统125可执行(524)语音处理以确定音频数据对应于呼叫第二装置联系人数据中的联系人的请求。在一些示例中,系统120可例如使用诸如ASR、NLU等语音处理来处理音频数据,如上面在步骤140中所述,以确定呼叫第二装置联系人数据中的联系人的请求。另外地或可选地,系统125可例如使用诸如ASR、NLU等语音处理来处理音频数据,如上面在步骤140中所述,以确定呼叫第二装置联系人数据中的联系人的请求。
然后,系统120(和通信系统125)可例如使用通信系统125来致使在车辆110和与该联系人相关联的第三装置之间建立呼叫。例如,系统120可将与联系人相关联的通信请求发送(526)到通信系统125。通信请求可包括呼叫接收方的联系人数据(诸如电话号码、AlexaID等)、呼叫车辆110的标识符和/或其他数据。然后,通信系统125可使用通信请求中包括的信息以在车辆110和与该联系人相关联的第三装置之间建立(528)呼叫。
尽管图5B示出了系统120向通信系统125发送通信请求并且通信系统125在车辆110和与该联系人相关联的第三装置之间建立呼叫,但本公开不限于此。另外地或可选地,在不脱离本公开的情况下,系统120可向车辆110发送通信请求,并且车辆110可通过向第三装置和/或通信系统125发送通信请求来在车辆110与第三装置之间建立呼叫。
图5C是示出根据本公开的实施方案的在连接终止之后将联系人数据解除关联的过程流程图。车辆的简档(例如,车辆简档数据)与第二装置的联系人数据(例如,第二装置联系人数据)之间的关联可为暂时的。例如,如图5C所示,在稍后的某个时刻,车辆110和第二装置112可终止(542)它们的连接。尽管图5C示出了车辆110终止与第二装置112的连接,但本公开不限于此。在连接终止之后,车辆110然后可发送(544)指示连接终止的信号,以便向系统120通知该终止。然后,系统120可向通信系统125发送(544)信号(相同的信号或解除关联的另一个指示)。响应于接收到指示连接终止的信号,系统120和/或通信系统125可将第二装置联系人数据与车辆简档解除关联(546)。
图6示出了车辆110、系统120和/或通信系统125的各种部件之间的数据交换。例如,系统120和/或通信系统125可包括授权服务部件602、通信服务部件604、简档管理服务部件606(例如,管理简档存储装置270b的服务)、地址簿管理服务部件608、数据库610、第一部件612、第二部件614和/或联系人消歧部件616。
如图6所示,车辆110可发起三个命令(呼叫命令、修改联系命令或授权命令)中的一个。车辆110可例如以表示语音命令的音频数据的形式将呼叫命令发送到系统120。系统120可解释呼叫命令、识别对应于呼叫命令的呼叫动作,并将呼叫动作发送到呼叫技能部件290a。呼叫技能部件290a可基于源装置来消除歧义,并且联系人消歧部件616可将消歧的联系人发送到呼叫技能290a。虽然在图6中未示出,但呼叫技能290a可使用消歧的联系人来发起通信会话,如将在下面更详细地描述。因此,当系统120从第一装置110接收到呼叫命令时,系统100可使用与第二装置112相关联的联系人数据来执行联系人消歧。
车辆110还可向通信服务部件604和/或地址簿管理服务部件608发送修改联系人命令,这可导致系统100更新和/或修改由系统100存储的联系人。例如,地址簿管理服务部件608可将联系人发布到数据库610和/或第一部件612,并且第一部件612可将联系人发布到第二部件614。第一部件612可为与系统100所启用的个性化或不同的功能相关联的一个或多个部件,但本公开不限于此。第二部件614可被配置为处理联系人信息以选择特征的子集来在联系人消歧中使用,但本公开不限于此。
车辆110可向通信服务部件604发送授权命令。响应于修改联系人命令和/或授权命令,通信服务部件604可与授权服务部件602和/或简档管理服务部件606交互。例如,通信服务部件604可向授权服务部件602发送授权令牌以便向用户授权,并且授权服务部件602可向通信服务部件604发送客户标识(ID)。另外地或可选地,通信服务部件604可向简档管理服务部件606发送客户ID以便提供客户ID,并且简档管理服务部件606可向通信服务部件604发送通信标识(ID)。
图7、图8A、图8B、图9A和图9B示出了可用于系统(使用诸如本文所描述的系统)来协调通信的部件。图7示出了根据本公开的发信号以发起通信会话的示例。在一个示例中,系统120被配置为启用话音命令(例如,执行ASR、NLU等以识别音频数据中包括的口头命令),而通信系统125被配置为启用通信会话(例如,使用会话发起协议(SIP))。例如,通信系统125可向端点(例如,接收方装置)发送SIP消息,以便建立通信会话来发送和接收音频数据和/或视频数据。通信会话可使用诸如实时传输协议(RTP)、RTP控制协议(RTCP)、网页实时通信(WebRTC)等网络协议。例如,通信系统125可发送SIP消息,以发起两个端点之间的单个RTP媒体流(例如,始发装置110与接收方装置之间的直接RTP媒体流)和/或发起并促进两个端点之间的RTP媒体连接(例如,始发装置110与通信系统125之间以及通信系统125与接收方装置之间的RTP媒体流)。在通信会话期间,通信系统125可发起两个媒体流,其中第一媒体流对应于从始发装置110发送到接收方装置的音频数据并且第二媒体流对应于从接收方装置发送到始发装置110的音频数据,但为了便于解释,这可被示为单个RTP媒体流。
如图7所示,始发装置110可向系统120发送(702)音频数据,并且系统120可使用该音频数据来确定(704)呼叫信息,并且可向通信系统125发送(706)呼叫信息(例如,经由通信技能290a)。系统120可通过执行ASR、NLU等来确定呼叫信息,如本文所讨论,并且呼叫信息可包括数据源名称(DSN)、用来呼叫的号码、要呼叫的号码、编码和/或附加信息。例如,系统120可识别始发用户想要从哪个电话号码发起呼叫、始发用户想要对哪个电话号码发起呼叫、始发用户想要从哪个装置110执行呼叫等。
尽管图7示出了在单个步骤(例如,706)中,系统120向通信系统125发送呼叫信息,但本公开不限于此。相反,在不脱离本公开的情况下,系统120可向始发装置110发送呼叫信息,并且始发装置110可向通信系统125发送呼叫信息以便发起呼叫。因此,在步骤706中,系统120可不与通信系统125直接通信,而是可指示始发装置110与通信系统125通信以便发起呼叫。
通信系统125可包括出站SIP转换器732、入站SIP转换器734以及呼叫状态数据库740。出站SIP转换器732可包括用于将从系统120接收到的命令转换为SIP请求/响应的逻辑,并且可处理发送呼出SIP请求以及发送对呼入SIP请求的响应。在接收到呼叫信息之后,出站SIP转换器732可使用呼叫状态数据库740来存留(708)SIP对话。例如,DSN可包括诸如与呼叫状态数据库740相关联的名称、位置和驱动程序(以及在一些示例中,始发用户的用户标识符和密码)的信息,并且出站SIP转换器732可向呼叫状态数据库740发送关于通信会话的SIP对话。如果提供了装置标识符以及呼叫标识符或对话标识符中的一个,则呼叫状态数据库740可存留呼叫状态。出站SIP转换器732可向SIP端点750(例如,接收方装置、会话边界控制器(SBC)等)发送(710)SIP邀请。尽管示出了一个SIP端点750,但本领域的技术人员将了解,可向多于一个SIP端点750发送SIP邀请。
出站SIP转换器732可向单独的通信系统(诸如,蜂窝服务提供商)发送SIP邀请。蜂窝服务提供商可向SIP端点750发送SIP邀请。因此,将了解,蜂窝服务提供商(或其他通信方式提供商)可充当通信系统125与SIP端点750之间的中介。各种API或其他部件可用于在不同的通信系统上交换消息。
入站SIP转换器734可包括用于将SIP请求/响应转换为命令以发送给系统120的逻辑,并且可处理接收呼入SIP请求和呼入SIP响应。SIP端点750可向入站SIP转换器734发送(712)100TRYING消息,并且可向入站SIP转换器734发送(714)180RINGING消息。入站SIP转换器734可使用呼叫状态数据库740来更新(716)SIP对话,并且可向系统120发送(718)RINGING消息,该系统可向始发装置110发送(720)RINGING消息。可选地,入站SIP转换器734可向始发装置110发送RINGING消息,而无需将系统120用作中介。
当通信会话被SIP端点750接受时,SIP端点750可向入站SIP转换器734发送(722)200OK消息,入站SIP转换器745可向系统120发送(724)startSending消息,并且系统120可向始发装置110发送(726)startSending消息。可选地,入站SIP转换器734可向始发装置110发送startSending消息,而无需将系统120用作中介。startSending消息可包括与发起通信会话所需的互联网协议(IP)地址、端口、编码等相关联的信息。使用startSending消息,始发装置110可经由通信系统125与SIP端点750建立(728)RTP通信会话。RTP会话可被称为直接音频通信功能,因为由RTP会话的一个装置捕获的语音可作为音频数据发送到RTP会话的另一个装置,该另一个装置向接收方用户输出该语音。
为便于解释,本公开示出了使用SIP的系统。然而,本公开不限于此,并且在不脱离本公开的情况下,系统可使用任何通信协议来发信号和/或控制通信会话。类似地,尽管通信会话的一些描述仅涉及音频数据,但本公开不限于此,并且在不脱离本公开的情况下,通信会话可包括音频数据、视频数据和/或任何其他多媒体数据。
图8A和图8B示出了根据本公开的发信号以结束通信会话的示例。在始发装置110与SIP端点750之间建立RTP通信会话728之后,可通过始发用户向始发装置110输入命令以结束呼叫(如图8A所示)或者接收方用户向SIP端点750输入命令以结束呼叫(如图8B所示)来结束RTP通信会话。
如图8A所示,始发装置110可向系统120发送(802)状态改变消息,并且系统120可向通信系统125发送(804)结束消息。出站SIP转换器732可使用呼叫状态数据库740来更新(806)会话,并且可向SIP端点750发送(808)SIP BYE消息。SIP端点750可向入站SIP转换器734发送(810)200OK消息,并且入站SIP转换器734可使用呼叫状态数据库740来更新(812)会话。在一些示例中,入站SIP转换器734可向始发装置110发送200OK消息,以确认通信会话已经结束。因此,始发装置110与SIP端点750之间的RTP通信会话728可结束。
如图8B所示,SIP端点750可向入站SIP转换器734发送(852)SIP BYE消息,并且入站SIP转换器734可使用呼叫状态数据库740来更新(854)会话。入站SIP转换器734可向系统120发送(856)stopSending消息,并且系统120可向始发装置110发送(858)stopSending消息。始发装置110可向系统120发送(860)状态改变消息,并且系统120可向出站SIP转换器732发送(862)End消息,该End消息包括DSN。然后,出站SIP转换器732可使用呼叫状态数据库740来更新(864)会话,并且向SIP端点750发送(866)200OK消息。因此,始发装置110与SIP端点750之间的RTP通信会话728可结束。
虽然图8A和图8B示出系统120充当始发装置110与通信系统125之间的中介,但本公开不限于此。相反,步骤802和804可组合为单个步骤并且始发装置110可向通信系统125发送状态改变消息和/或End消息,而无需将系统120用作中介。类似地,步骤766和758可组合为单个步骤并且通信系统125可向始发装置110发送StopSending消息,而无需将系统120用作中介,并且/或者步骤860和862可组合为单个步骤并且始发装置110可向通信系统125发送状态改变消息和/或End消息,而无需将系统120用作中介。
虽然图7、图8A和图8B示出在始发装置110与SIP端点750之间建立RTP通信会话728,但本公开不限于此,并且在不脱离本公开的情况下,可在始发装置110和与SIP端点750相关联的电话网络之间建立RTP通信会话728。
图9A和图9B示出了根据本公开的在装置之间建立媒体连接的示例。在一些示例中,始发装置110可具有公共可访问的IP地址,并且可被配置为与SIP端点750直接建立RTP通信会话。为了使得始发装置110能够建立RTP通信会话,通信系统125可包括用户数据报协议(UDP)的会话穿透网络地址转换器(NAT)系统(例如,STUN系统910)。STUN系统910可被配置为允许NAT客户端(例如,在防火墙后面的始发装置110)通过提供公共IP地址、它们背后的NAT类型以及通过NAT与特定本地端口相关联的端口标识符来建立对托管在本地网络之外的VoIP提供商的呼叫。如图9A所示,始发装置110可使用STUN系统910来执行(912)IP发现,并且可使用该信息在始发装置110与SIP端点750之间建立RTP通信会话914(例如,UDP通信)以建立呼叫。
在一些示例中,始发装置110可不具有公共可访问的IP地址。例如,在一些类型的NAT中,始发装置110不能在本地网络之外进行路由。为了使得始发装置110能够建立RTP通信会话,通信系统125可包括使用中继穿透NAT(TURN)系统920。TURN系统920可被配置为当始发装置110在NAT后面时将始发装置110连接到SIP端点750。如图9B所示,始发装置110可与TURN系统920建立(922)RTP会话,并且TURN系统920可与SIP端点750建立(924)RTP会话。因此,始发装置110可经由TURN系统920与SIP端点750通信。例如,始发装置110可向通信系统125发送音频数据,并且通信系统125可向SIP端点750发送音频数据。类似地,SIP端点750可向通信系统125发送音频数据,并且通信系统125可向始发装置110发送音频数据。
在一些示例中,系统可使用STUN系统910和TURN系统920的组合来建立通信会话。例如,可使用TURN系统920更容易地建立/配置通信会话,但该通信会话可受益于使用STUN系统910的时延改善。因此,当可在两个装置之间直接路由通信会话时,系统可使用STUN系统910,并且可将TURN系统920用于所有其他通信会话。另外地或可选地,系统可基于所建立的通信会话而选择性地使用STUN系统910和/或TURN系统920。例如,当在单个网络(例如,公司LAN和/或WLAN)内的两个装置(例如,点对点)之间建立通信会话时,系统可使用STUN系统910,但当在独立网络上的两个装置和/或不论网络如何的三个或更多个装置之间建立通信会话时,可使用TURN系统920。当通信会话从仅两个装置变为三个或更多个装置时,系统可能需要从STUN系统910转变到TURN系统920。因此,如果系统预期在通信会话中包括三个或更多个装置,则可使用TURN系统920来执行通信会话。当通信会话从三个或更多个装置变为仅两个装置时,系统可能需要从TURN系统920转变到STUN系统910。
尽管图7至图9B示出了使用数据连接(例如,使用互联网话音协议(VoIP)、会话发起协议(SIP)等)来启用通信会话的示例,但本公开不限于此,并且在不脱离本公开的情况下,系统100可使用任何类型的网络来启用通信会话。例如,在不脱离本公开的情况下,系统120和/或通信系统125可使用蜂窝连接(例如,移动电话网络)来启用通信会话。因此,系统120可被配置为启用话音命令(例如,执行ASR、NLU等以识别音频数据中包括的口头命令),而通信系统125可被配置为使用蜂窝连接来启用通信会话。例如,通信系统125可向端点(例如,呼叫者装置,诸如车辆110和/或装置112)发送指令(例如,命令数据),以响应于话音命令而指示端点建立通信会话(例如,拨打电话号码)。
图10A至图10C示出了根据本公开的实施方案的建立和终止通信会话的示例。具体地,图10A示出了发起通信会话(例如,出站呼叫)的示例,图10B示出了接受呼入请求以建立通信会话(例如,入站呼叫)的示例,并且图10C示出了终止现有的通信会话的示例。
如图10A所示,车辆110可接收表示话音命令的音频数据(例如,“呼叫Bob”),并且可向系统120发送(1010)音频数据(例如,“呼叫Bob”)。系统120可确定(1012)音频数据对应于发起电话呼叫的命令,并且可向通信系统125发送(1014)指令(例如,命令数据,诸如Dial(directive))。
通信系统125可确定(1016)第二装置的联系人数据中的联系人的呼叫信息,并且可向车辆110发送(1018)指令(例如,命令数据,诸如Dial(payload)),该车辆可向第二装置112发送(1020)该指令。例如,系统120可确定音频数据对应于对名为“Bob”的联系人发起电话呼叫的命令,并且可向通信系统125发送该信息。通信系统125可从第二装置的联系人数据中识别对应于名称“Bob”的特定联系人,可识别与该联系人相关联的优选电话号码,并且可生成指示第二装置112通过拨打该电话号码来发起通信会话的指令。在接收到指令之后,第二装置112可通过向第三装置114发送(1022)呼叫请求来发起通信会话。例如,第二装置112可拨打指令所指示的号码,并且第三装置114可接收呼入电话呼叫。
第二装置112可向通信系统125发送指示通信会话的当前状态的更新。在不脱离本公开的情况下,第二装置112可直接或经由车辆110向通信系统125发送更新。为了便于说明,图10A至图10C可将多个发送步骤示为具有多个箭头的单条线。例如,第二装置112可向车辆110发送通知,并且车辆110可将该通知发送到通信系统125,但本公开不限于此,并且在不脱离本公开的情况下,第二装置112可直接向通信系统125发送该通知。从第二装置112发送到通信系统125的更新可被称为呼叫状态通知,其指示呼叫的当前状态。另外,通信系统125可接收呼叫状态通知,并且可向系统120发送对应的事件通知以更新系统120。
如图10A所示,第二装置112可向车辆110发送(1024)第一通知(例如,callStateChanged(DIALING,callID)),并且车辆110可向通信系统125发送该第一通知。第一通知可指示呼叫状态已经改变,并且可包括指示第二装置112正在拨打电话号码的当前状态(例如,DIALING)以及标识当前通信会话的呼叫标识符。通信系统125可接收第一通知,并且可向系统120发送(1026)第一事件通知(例如,DialStarted(event))。
第二装置112可向车辆110发送(1028)第二通知(例如,callStateChanged(OUTBOUND_RINGING,callID)),并且车辆110可向通信系统125发送该第二通知。第二通知可指示呼叫状态已经改变,并且可包括指示电话呼叫当前正在振铃且尚未被接听的当前状态(例如,OUTBOUND RINGING)以及标识当前通信会话的呼叫标识符。通信系统125可接收第二通知,并且可向系统120发送(1030)第二事件通知(例如,OutboundRinging(event))。
第三装置114可接受(1032)呼叫请求,并且可建立(1034)呼叫(例如,建立第二装置112与第三装置114之间的通信会话)。第二装置112可向车辆110发送(1036)第三通知(例如,callStateChanged(ACTIVE,callID)),并且车辆110可向通信系统125发送该第三通知。第三通知可指示呼叫状态已经改变,并且可包括指示通信会话当前正在活动的当前状态(例如,ACTIVE)以及标识当前通信会话的呼叫标识符。通信系统125可接收第三通知,并且可向系统120发送(1038)第三事件通知(例如,CallActivated(event))。
图10A示出了发起出站电话呼叫的示例,而图10B示出了接收入站通信请求的示例。如图10B所示,第三装置114可通过向第二装置112发送(1050)呼叫请求来发起通信会话。第二装置112可向车辆110发送(1052)第一通知(例如,callStateChanged(CALL_RECEIVED,callID)),并且车辆110可向通信系统125发送该第一通知。第一通知可指示呼叫状态已经改变,并且可包括指示第二装置112接收呼入电话呼叫的当前状态(例如,CALLRECEIVED)以及标识当前通信会话的呼叫标识符。通信系统125可接收第一通知,并且可向系统120发送(1054)第一事件通知(例如,CallReceived(event))。
第二装置112可向车辆110发送(1056)第二通知(例如,callStateChanged(INBOUND_RINGING,callID)),并且车辆110可向通信系统125发送该第二通知。第二通知可指示呼叫状态已经改变,并且可包括指示入站电话呼叫当前正在振铃且尚未被接听的当前状态(例如,INBOUND RINGING)以及标识当前通信会话的呼叫标识符。通信系统125可接收第二通知,并且可向系统120发送(1058)第二事件通知(例如,InboundRingingStarted(event))。
第二装置112可向车辆110发送(1060)第三通知(例如,callerIdReceived(callID,callerId)),并且车辆110可向通信系统125发送该第三通知。第三通知可指示与呼入电话呼叫相关联的呼叫者标识(例如,电话号码)以及标识当前通信会话的呼叫标识符。例如,呼叫者标识可指示发起入站电话呼叫的电话号码(例如,与第三装置114相关联的电话号码)。通信系统125可接收第三通知,并且可向系统120发送(1062)第三事件通知(例如,CallerIdReceived(event))。
车辆110可接收表示话音命令的音频数据(例如,“接听呼叫”),并且可向系统120发送(1064)该音频数据(例如,“接听呼叫”)。系统120可确定(1066)音频数据对应于接听电话呼叫的命令,并且可向通信系统125发送(1068)指令(例如,命令数据,诸如Answer(directive))。
通信系统125可向车辆110发送(1070)指令(例如,命令数据,诸如Answer()),该车辆可向第二装置112发送(1072)该指令(例如,Answer())。在接收到指令后,第二装置112可接受通信会话并且建立(1074)呼叫(例如,建立第二装置112与第三装置114之间的通信会话)。第二装置112可向车辆110发送(1076)第四通知(例如,callStateChanged(ACTIVE,callID)),并且车辆110可向通信系统125发送该第四通知。第四通知可指示呼叫状态已经改变,并且可包括指示通信会话当前正在活动的当前状态(例如,ACTIVE)以及标识当前通信会话的呼叫标识符。通信系统125可接收第四通知,并且可向系统120发送(1078)第四事件通知(例如,CallActivated(event))。
在一些示例中,可响应于系统120接收到指示系统120结束通信系统的话音命令而终止通信会话。然而,本公开不限于此,并且在不脱离本公开的情况下,可使用多种技术来终止系统100,如将在下面关于图15A至图15D更详细地描述。
如图10C所示,车辆110可接收表示话音命令的音频数据(例如,“结束呼叫”),并且可向系统120发送(1080)该音频数据(例如,“结束呼叫”)。系统120可确定(1082)音频数据对应于结束电话呼叫的命令,并且可向通信系统125发送(1084)指令(例如,命令数据,诸如Stop(directiVe))。
通信系统125可向车辆110发送(1086)指令(例如,Stop()),该车辆可向第二装置112发送(1088)该指令(例如,Stop())。在接收到指令后,第二装置112可终止(1090)呼叫(例如,结束第二装置112与第三装置114之间的通信会话)。第二装置112可向车辆110发送(1092)通知(例如,callStateChanged(IDLE,callID)),并且车辆110可向通信系统125发送该通知。该通知可指示呼叫状态已经改变,并且可包括指示通信会话被终止的当前状态(例如,IDLE)以及标识当前通信会话的呼叫标识符。通信系统125可接收该通知,并且可向系统120发送(1094)事件通知(例如,CallTerminated(event))。
尽管图10A至图10C示出了建立和终止通信会话的示例,具体地是使用蜂窝连接(例如,移动电话网络)以使用电话号码与其他装置直接通信,但本公开不限于此。相反,在不脱离本公开的情况下,系统100可使用本领域技术人员已知的任何技术来建立和终止通信会话。另外地或可选地,系统100不限于蜂窝连接,并且在不脱离本公开的情况下,可使用本领域技术人员已知的任何连接和/或网络来建立和终止通信会话。
图11示出了根据本公开的实施方案的存储在装置简档存储装置中的装置的示例装置简档。如图11所示,每个装置可存储特定于该装置的装置简档数据。例如,第二装置112可包括表示特定于第二装置112的装置简档的装置简档数据1112,并且装置简档数据1112可被存储在第二装置112的装置简档存储装置1110中。
如图11所示,装置简档可以包括信息的分类,诸如装置标识符、账户标识符、用户标识符、装置的联系人列表、系统偏好、装置的其他数据、用户名、密码、账户信息(其可包括安全令牌)和/或类似内容。
如图11所示,装置的联系人列表可包括多个联系人,并且每个联系人可包括各种信息。例如,图11所示的联系人信息可包括诸如姓名、昵称、号码、地址、电子邮件地址、社交媒体标识、备注等信息。然而,本公开不限于此,并且在不脱离本公开的情况下,联系人信息还可包括识别数据、姓名、昵称、电话号码、地址、电子邮件地址、商家名称、头衔、就业信息、社交网络信息和/或任何其他信息。
尽管图11示出了装置简档数据1112的一些示例,但本公开不限于此。相反,图11所示的示例意图指示装置简档数据1112包括除装置的联系人列表之外的附加信息,但本公开不限于此,并且在不脱离本公开的情况下,该信息可变化。
尽管图11示出了装置简档数据1112可包括关于用户简档的信息,诸如用户名、密码、账户标识符等,但本公开不限于此,并且图11中未示出的附加信息也可被存储在装置简档数据1112中。另外地或可选地,在不脱离本公开的情况下,存储在装置简档数据1112中的信息可被分开存储和/或可具有不同的格式或结构。例如,用户名和密码可与其他信息分开存储,用户名可与密码分开存储等。另外,存储在装置简档数据1112中的一些信息可能不是持久性数据,这意味着它是暂时而不是持久地存储的。例如,在不脱离本公开的情况下,安全令牌可在运行时期间被暂时地存储,但不能持久地存储在装置简档数据1112中。
图12A至图12B是示出根据本公开的实施方案的使用数据连接来建立通信会话的示例的过程流程图。如图12A所示,车辆110可接收(1210)音频数据并且向系统120发送(1212)该音频数据。系统120可接收音频数据,可确定(1214)音频数据对应于发起呼叫的命令,并且可向通信系统125发送(1216)指令以与联系人发起呼叫。
通信系统125可接收指令,并且可确定(1218)第二装置的联系人数据(例如,第二装置联系人数据)中的联系人的呼叫信息。例如,该指令可指示与要呼叫的联系人相关联的姓名,并且通信系统125可识别第二装置的联系人数据中的对应于该姓名的特定联系人。为了说明示例,系统120可确定音频数据对应于“呼叫妈妈”的话音命令,并且可向通信系统125发送指令,以指示通信系统125发起与名为“妈妈”的联系人的通信会话。通信系统125可使用第二装置的联系人数据来解释指令,并且从与第二装置112相关联的多个联系人中选择标记为“妈妈”的联系人。在一些示例中,通信系统125可通过与车辆110相关联的标记为“妈妈”的第二联系人来选择与第二装置112相关联的标记为“妈妈”的第一联系人。因此,当在第二装置112连接到车辆110的情况下解释话音命令时,系统100可优先考虑第二装置的联系人数据。
通信系统125可向与联系人相关联的第三装置114发送(1220)通信会话请求。然而,本公开不限于此,并且在不脱离本公开的情况下,系统120可向车辆110发送指令以发起呼叫,并且/或者车辆110可向第三装置114发送通信会话请求。
在接收到通信会话请求后,第三装置114可接收(1222)命令以接受通信会话请求,可接受(1224)呼入呼叫,并且然后车辆110和第三装置114可建立(1226)呼叫。例如,第三装置114可显示通信会话请求的通知,并且可从第三装置114的用户接收授权以接受通信会话请求。在一些示例中,第三装置114可为将音频数据发送到系统120的支持语音的装置,并且系统120执行语音处理以确定音频数据包括接受命令,但本公开不限于此。
尽管图12A示出了车辆110发起出站通信会话(例如,呼叫),但本公开不限于此,并且图12B示出了车辆110接收入站通信会话请求。如图12B所示,第三装置114可向通信系统125发送(1250)通信会话请求。
通信系统125可确定(1252)第二装置的联系人数据(例如,第二装置联系人数据)中的联系人的呼叫信息,可生成(1254)指示呼入呼叫请求(例如,指示联系人和/或关于呼入呼叫的附加信息)的输出音频数据,并且可向车辆110发送(1256)该输出音频数据。
车辆110可使用输出音频数据来生成(1258)输出音频,并且可接收(1262)到命令以接受呼入呼叫请求。例如,车辆110可经由与按钮或拨盘、触摸屏等相关联的直接输入接收到命令以接受呼入呼叫请求。然而,本公开不限于此,并且在一些示例中,车辆110可以话音命令形式接收到命令以接受呼入呼叫请求。尽管图12B未示出与接收话音命令相关联的步骤,但车辆110可向系统120发送表示话音命令的音频数据,系统120可确定音频数据对应于话音命令以接受呼入呼叫请求,并且系统120可向通信系统125和/或车辆110发送命令以接受呼入呼叫请求。
车辆110可接受(1262)呼入呼叫请求,并且系统100可在车辆110与第三装置114之间建立(1264)呼叫。例如,车辆110可向第三装置114发送通知以指示呼入呼叫请求被接受,但本公开不限于此,并且在不脱离本公开的情况下,车辆110可向系统120和/或通信系统125发送通知。
尽管图12A至图12B示出了在车辆110与第三装置114之间建立呼叫的示例,但本公开不限于此。相反,在不脱离本公开的情况下,可在第二装置112与第三装置114之间建立呼叫。
图13A至图13B是示出根据本公开的实施方案的使用蜂窝连接来建立通信会话的示例的过程流程图。如图13A所示,车辆110可接收(1310)音频数据并且向系统120发送(1312)该音频数据。系统120可接收音频数据,可确定(1314)音频数据对应于发起呼叫的命令,并且可向通信系统125发送(1316)指令(例如,命令数据)以与联系人发起呼叫。
通信系统125可接收指令,并且可确定(1318)第二装置的联系人数据(例如,第二装置联系人数据)中的联系人的呼叫信息。例如,该指令可指示与要呼叫的联系人相关联的姓名,并且通信系统125可识别第二装置的联系人数据中的对应于该姓名的特定联系人。为了说明示例,系统120可确定音频数据对应于“呼叫妈妈”的话音命令,并且可向通信系统125发送指令,以指示通信系统125发起与名为“妈妈”的联系人的通信会话。通信系统125可使用第二装置的联系人数据来解释指令,并且从与第二装置112相关联的多个联系人中选择标记为“妈妈”的联系人。在一些示例中,通信系统125可通过与车辆110相关联的标记为“妈妈”的第二联系人来选择与第二装置112相关联的标记为“妈妈”的第一联系人。因此,当在第二装置112连接到车辆110的情况下解释话音命令时,系统100可优先考虑第二装置的联系人数据。
通信系统125可向车辆110发送(1320)命令以发起电话呼叫,并且车辆110可向第二装置112发送(1322)该命令。然而,本公开不限于此,并且在不脱离本公开的情况下,系统120可向车辆110发送命令以发起呼叫,并且/或者通信系统125可直接向第二装置112发送命令以发起呼叫。第二装置112可接收命令并且通过拨打与联系人相关联的电话号码来向第三装置114发送(1324)呼叫请求。
在接收到呼叫请求后,第三装置114可接收(1326)命令以接受通信会话请求,可接受(1328)呼入呼叫,并且然后第二装置112和第三装置114可建立(1330)呼叫。例如,第三装置114可显示通信会话请求的通知,并且可从第三装置114的用户接收授权以接受通信会话请求。
尽管图13A示出了车辆110发起出站通信会话(例如,呼叫),但本公开不限于此,并且图13B示出了车辆110接收入站通信会话请求。如图13B所示,第三装置114可向第二装置112发送(1350)呼叫会话请求。
第二装置112可向车辆110发送(1352)呼叫请求的指示,并且车辆110可向通信系统125发送(1354)呼叫请求的指示。通信系统125可确定(1356)第二装置的联系人数据(例如,第二装置联系人数据)中的联系人的呼叫信息,可生成(1358)指示呼入呼叫请求(例如,指示联系人和/或关于呼入呼叫的附加信息)的输出音频数据,并且可向车辆110发送(1360)该输出音频数据。
车辆110可使用指示呼入呼叫请求的输出音频数据和/或关于来自第二装置的联系人数据的联系人的信息来生成(1362)输出音频。在生成输出音频之后,第二装置112和/或车辆110可接收(1364)到命令以接受呼入呼叫请求。例如,车辆110可经由与按钮或拨盘、触摸屏等相关联的直接输入接收到命令以接受呼入呼叫请求,第二装置112可经由与按钮或拨盘、触摸屏等相关联的直接输入接收到命令以接受呼入呼叫请求,并且/或者车辆110可以话音命令形式接收到命令以接受呼入呼叫请求(图13B中未示出)。尽管图13B未示出与接收话音命令相关联的步骤,但车辆110可向系统120发送表示话音命令的音频数据,系统120可确定音频数据对应于话音命令以接受呼入呼叫请求,并且系统120可向通信系统125和/或车辆110发送命令以接受呼入呼叫请求。尽管在图13B中未示出,但当车辆110接收到命令以接受呼入呼叫请求时,作为步骤1364的部分,车辆110可向第二装置112发送命令以接受呼入呼叫。
第二装置112可接受(1366)呼入呼叫请求,并且系统100可在第二装置112与第三装置114之间建立(1368)呼叫。例如,第二装置112和/或车辆110可向第三装置114发送通知以指示呼入呼叫请求被接受,但本公开不限于此。另外,在不脱离本公开的情况下,第二装置112和/或车辆110可向系统120和/或通信系统125发送通知以指示呼叫请求被接受并且建立了呼叫。例如,图10B示出了其中车辆110可向通信系统125发送呼叫状态通知并且通信系统125向系统120发送事件通知的示例,但本公开不限于此。
图14是概念上示出根据本公开的实施方案的用于确定要建立的通信会话的类型的示例方法的流程图。如图14所示,系统100可接收(1410)音频数据、确定(1412)音频数据对应于发起通信会话的意图,并且确定(1414)与其发起通信会话的联系人。例如,系统100可将“呼叫妈妈”的话语解释为话音命令以与名为“妈妈”的联系人发起通信会话。
系统100可识别(1416)与该联系人相关联的潜在通信路径、确定(1418)与该联系人的通信类型的用户意图(例如,意图数据),并且选择(1420)用于发起通信会话的通信路径。例如,系统100可在第一通信路径(诸如使用电话网络、蜂窝连接等来发起通信会话)与第二通信路径(诸如使用数据连接(诸如VoIP)、使用社交网络应用程序和/或使用本领域技术人员已知的任何技术来发起通信会话)之间选择。因此,联系人可与一个或多个电话号码、与系统100相关联的一个或多个用户账户、一个或多个社交网络应用程序等相关联,并且系统100可选择用于与联系人发起通信会话的单个通信路径。
系统100可确定(1422)选择了哪个通信路径。如果选择了蜂窝连接(例如,使用电话号码拨号),则系统100可识别(1424)与联系人相关联的电话号码,并且与所选择的电话号码发起(1426)通信会话。如果选择了数据连接(例如,VoIP、使用社交网络应用程序等),则系统100可识别(1428)与联系人相关联的用户账户、识别(1430)与用户账户相关联的通信端点、从通信端点选择(1432)接收方装置,并且与所选接收方装置发起(1434)通信会话。例如,系统100可确定用户账户与多个端点相关联,并且可选择与用户账户相关联的特定端点和/或接收方装置。然而,本公开不限于此,并且在一些示例中,在不脱离本公开的情况下,系统100可与多个接收方装置和/或通信端点发起通信会话。
图15A至图15D是示出根据本公开的实施方案的终止通信会话的示例的过程流程图。具体地,图15A示出了第三装置114终止呼叫的第一示例,图15B示出了第二装置112终止呼叫的第二示例,图15C示出了车辆110终止呼叫的第三示例,并且图15D示出了系统120响应于话音命令而终止呼叫的第四示例。
如图15A所示,第二装置112可与第三装置114建立(1510)通信会话,如上面更详细地描述,并且然后第三装置114可终止(1512)呼叫。响应于呼叫被终止,第二装置112可确定(1514)呼叫已终止并向车辆110发送(1516)终止指示,车辆110可向通信系统125发送(1518)终止指示,并且通信系统125可向系统120发送终止指示。
如图15B所示,第二装置112可与第三装置114建立(1510)通信会话,如上面更详细地描述,并且然后第二装置112可接收(1530)输入以结束呼叫。例如,第二装置112可接收来自按钮按下、触摸屏等的输入。第二装置112可终止(1532)呼叫并向车辆110发送(1516)终止指示,车辆110可向通信系统125发送(1518)终止指示,并且通信系统125可向系统120发送终止指示。
如图15C所示,第二装置112可与第三装置114建立(1510)通信会话,如上面更详细地描述,并且然后车辆110可接收(1550)输入以结束呼叫。例如,车辆110可接收来自按钮按下、触摸屏等的输入。车辆110可向第二装置112发送(1552)指令(例如命令数据)以结束呼叫,并且第二装置112可终止(1554)呼叫。在终止呼叫之后,第二装置112可向车辆110发送(1516)终止指示,车辆110可向通信系统125发送(1518)终止指示,并且通信系统125可向系统120发送终止指示。
如图15D所示,第二装置112可与第三装置114建立(1510)通信会话,如上面更详细地描述,并且然后车辆110可接收(1570)音频数据。车辆110可向系统120发送(1572)音频数据,系统120可确定(1574)音频数据对应于结束呼叫的命令并且可向通信系统125发送(1576)结束呼叫的指令,通信系统125可向车辆110发送(1578)结束呼叫的指令,车辆110可向第二装置112发送(1580)结束呼叫的指令,并且第二装置112可终止呼叫(1582)。在终止呼叫之后,第二装置112可向车辆110发送(1516)终止指示,车辆110可向通信系统125发送(1518)终止指示,并且通信系统125可向系统120发送终止指示。
尽管图15A至图15D示出了车辆110向通信系统125发送终止指示并且通信系统125向系统120发送终止指示,但本公开不限于此,并且在不脱离本公开的情况下,除了和/或代替向通信系统125发送终止指示,车辆110可直接向系统120发送终止指示。
图16是示出根据本公开的实施方案的联系人数据的整合的过程流程图。如图16所示,车辆110可与第二装置112建立(1610)连接,并且可向系统120发送(1612)信号以标识与第二装置112的连接。例如,车辆110可使用无线链路(例如,经由蓝牙配对)和/或有线链路(例如,使用通用串行总线(USB)接口或其他有线连接)与第二装置112建立连接,并且可向系统120发送已经建立连接的通知。建立连接对应于车辆110经由无线/有线链路通信地耦合到第二装置112,使得车辆110可向第二装置112发送数据和/或从其接收数据。
车辆110可确定(1614)与第二装置112相关联的联系人数据,并且可向系统120发送(1616)该联系人数据。例如,在步骤1610中建立连接之后,第二装置112可将联系人数据上传到车辆110。然而,本公开不限于此,并且在一些示例中,车辆110可在连接之间存储联系人数据,并且基于与第二装置112建立连接,车辆110可识别与第二装置112相关联的先前存储的联系人数据。
在一些示例中,系统120可向通信系统125和系统120发送(1618)联系人数据,并且/或者通信系统125可将联系人数据和与车辆110相关联的简档相关联(1620)。然而,本公开不限于此,并且在不脱离本公开的情况下,系统120可不向通信系统125发送联系人数据。例如,在一些示例中,系统120可不向通信系统125发送任何信息(例如,仅将联系人数据和与系统120上的车辆相关联的简档相关联),而在其他示例中,在不脱离本公开的情况下,系统120可发送联系人数据1616的一部分和/或可发送与车辆简档相关联的附加数据。因此,尽管图16示出了系统120发送从车辆110接收到的相同的联系人数据,但本公开不限于此,并且在不脱离本公开的情况下,系统120可确定与联系人数据和/或车辆简档相关联的第一数据并且可向通信系统125发送该第一数据。
另外地或可选地,尽管图16示出了车辆110向系统120发送联系人数据,但本公开不限于此,并且车辆110可发送第一数据,该第一数据可包括源于第二装置112的任何信息和/或数据,无论是否与第二装置112上的联系人相关联。
如本文所使用,联系人数据可对应于关于存储在第二装置112上的联系人的信息。为了说明非限制性示例,联系人数据可包括与识别数据、姓名、昵称、电话号码、地址、电子邮件地址、商家名称、头衔、就业信息、社交网络信息等相关联的而信息,但本公开不限于此。此外,在不脱离本公开的情况下,源于第二装置112的第二数据可包括联系人数据以及联系人数据中不包括的存储在第二装置112上和/或与其相关联的任何信息。
如上面更详细地描述,系统120和/或通信系统125可使用联系人数据和/或第二数据来帮助解释从车辆110接收到的话音命令。例如,在不脱离本公开的情况下,系统100可使用联系人数据和/或第二数据来进行消歧、使与第二装置112相关联的暂时联系人信息优先于与车辆110相关联的现有联系人信息等。
图17A是示出根据本公开的实施方案的在连接终止之后删除联系人数据的过程流程图。如图17A所示,车辆110和/或第二装置112可终止(1710)车辆110与第二装置112之间的连接。在一些示例中,车辆110可终止连接,诸如当车辆110关闭或接收到指示车辆110结束连接的明确输入时。在其他示例中,第二装置112可终止连接,诸如当第二装置112确定电池电量耗尽并且第二装置112进入低功率模式(例如,睡眠或断电)、接收到指示第二装置112进入低功率模式的输入、接收到关闭有线或无线发射器的输入(例如,接收到指示第二装置112关闭蓝牙的按钮按下)、接收到指示第二装置112终止连接(例如,与车辆110断开连接)的输入等时,但本公开不限于此。另外地或可选地,车辆110或第二装置112都不会明确地终止连接,而是可确定该连接不再活动(例如,车辆110不再通信地耦合到第二装置112),这指示连接被终止,诸如当第二装置112超出车辆110的范围时。
车辆110可向通信系统125发送(1712)信号以指示连接终止(例如,指示连接已终止和/或第二装置112不再通信地耦合到车辆110),通信系统125可向系统120发送(1714)指示连接终止的信号。然而,本公开不限于此,并且在不脱离本公开的情况下,车辆110可向系统120发送该信号,并且系统120可向通信系统125发送该信号。
响应于接收到指示连接终止的信号,系统120和/或通信系统125可删除(1716)与车辆简档相关联的第二装置联系人数据。例如,系统120和/或通信系统125可确定第二装置联系人数据或者与第二装置联系人数据相关联的任何信息,并且可从车辆简档移除该数据或以某种方式将数据与车辆简档解除关联。
在一些示例中,车辆110可任选地存储(1718)或删除第二装置联系人数据。例如,车辆110可在连接终止后删除第二装置联系人数据,使得第二装置联系人数据和/或与第二装置联系人数据相关联的任何信息不再存储在车辆110上和/或与第二装置112相关联。另外地或可选地,车辆110可将第二装置联系人数据与指示第二装置112的指示符(例如,与第二装置112相关联的标识数据等)一起存储,从而使得车辆110在与第二装置112建立后续连接时能够将第二装置联系人数据与第二装置112相关联。因此,在不脱离本公开的情况下,车辆110可任选地存储持久性第二装置联系人数据,使得第二装置112不需要每次建立连接时都发送第二装置联系人数据。
图17B是示出根据本公开的实施方案的在连接终止之后将联系人数据解除关联并且在建立后续连接时重新关联联系人数据的过程流程图。如以上关于当第二装置112不再连接到车辆110时将第二装置联系人数据存储在车辆110上(例如,使得第二装置112不需要每次连接时都发送重复数据)所描述,系统120和/或通信系统125也可存储第二装置联系人数据,并在连接终止时简单地将第二装置联系人数据与车辆简档解除关联。
如图17B所示,车辆110和/或第二装置112可终止(1710)车辆110与第二装置112之间的连接,车辆110可向通信系统125发送(1712)信号以指示连接终止(例如,指示连接被终止和/或第二装置112不再通信地耦合到车辆110),并且通信系统125可向系统120发送(1714)指示连接终止的信号,如上面关于图17A所描述。然而,本公开不限于此,并且在不脱离本公开的情况下,车辆110可向系统120发送该信号,并且系统120可向通信系统125发送该信号。
与删除第二装置联系人数据相反,系统120和/或通信系统125可将第二装置联系人数据与车辆简档解除关联(1750),同时仍存储第二装置联系人数据。
在稍后的时刻,车辆110可建立(1752)车辆110与第二装置112之间的连接(例如,重新建立现有的连接、建立新连接等),这对应于车辆110通信地耦合到第二装置112。
车辆110可向系统120发送(1754)信号,以标识与第二装置112的连接,并且系统120可向通信系统125发送(1756)该信号。响应于接收到指示车辆110连接到第二装置112的信号,系统120和/或通信系统125可再次将第二装置联系人数据与车辆简档相关联(1758)。
图18是示出根据本公开的实施方案的使用获取的装置数据来处理话音命令的过程流程图。如图18所示,车辆110和第二装置112可建立(1810)连接,并且车辆110可向系统120发送(1812)信号以标识与第二装置112的连接。然而,本公开不限于此,并且在不脱离本公开的情况下,系统110可不向系统120发送该信号。
在建立连接之后,第二装置112可向车辆110发送(1814)第一数据,车辆110可向系统120发送(1816)第一数据,系统120可向通信系统125发送(1818)第一数据,并且系统120和/或通信系统125可将第一数据与车辆的简档(例如,车辆简档)相关联(1820)。第一数据可对应于源于第二装置112的任何信息。例如,第一数据可对应于上述第二装置联系人数据,但本公开不限于此,并且在不脱离本公开的情况下,第一数据可包括与存储在第二装置112上的联系人没有关联的信息。
如上面更详细地描述,系统120和/或通信系统125可使用第一数据来帮助解释从车辆110接收到的话音命令。例如,在不脱离本公开的情况下,系统100可使用第一数据来进行消歧、使与第二装置112相关联的暂时联系人信息优先于与车辆110相关联的现有联系人信息等。
如图18所示,车辆110可从与车辆110相关联的一个或多个麦克风接收(1822)音频数据,并且可向系统120发送(1824)音频数据。系统120可使用第一数据对音频数据执行(1826)语音处理以确定在音频数据中表示的命令,并且系统120和/或通信系统125可生成(1828)对应于该命令的输出数据。在一些示例中,系统120可确定命令、从通信系统125接收附加信息,并基于附加信息来生成输出数据。例如,系统120可向通信系统125发送请求,并且通信系统125可基于该请求而发送附加信息。另外地或可选地,在不脱离本公开的情况下,系统120可向通信系统125发送命令并且通信系统125可生成输出数据。例如,系统120可发送带有联系人姓名或其他实体信息的命令,并且通信系统125可基于简档数据来解释联系人姓名/实体信息。
系统120和/或通信系统125可向车辆110发送(1830)输出数据,从而提示车辆110执行(1832)对应于输出数据的动作。因此,输出数据可对应于要执行的动作,诸如生成表示通知的输出音频数据、在通信会话期间捕获输入音频数据等,但本公开不限于此,并且在不脱离本公开的情况下,输出数据可对应于本领域技术人员已知的任何动作。
尽管图18示出了车辆110向系统120和/或通信系统125发送第一数据,但本公开不限于此。在一些示例中,车辆110可将第一数据本地存储在车辆110上和/或将第一数据发送到位于车辆110内的本地装置(未示出)。类似地,尽管图18和其他附图示出了系统100远程处理话音命令(例如,使用系统120和/或通信系统125来执行语音处理、联系人解析、消歧等),但本公开不限于此,并且在不脱离本公开的情况下,车辆110可本地处理话音命令。例如,在不脱离本公开的情况下,即使在车辆110和/或第二装置112未连接到系统120和/或通信系统125时,车辆110也可执行本文描述的任何功能。
图19A至图19B是示出根据本公开的实施方案的简档数据的暂时关联的过程流程图。如图19A所示,车辆110和第二装置112可建立(1910)连接,并且车辆110可向系统120发送(1912)信号以标识与第二装置112的连接。
在一些示例中,系统120可基于信号来识别(1914)与第二装置112相关联的简档数据(例如,第二装置简档数据),并且系统120和/或通信系统125可将第二装置简档数据与车辆的简档(例如,车辆简档)相关联(1916)。例如,信号可使用标识信息或某种其他形式的标识来标识第二装置112,并且系统120可使用标识信息来标识与第二装置112相关联的第二装置简档数据。因此,每次车辆110与第二装置112建立连接时,车辆110都不需要向系统120发送第二装置简档数据(例如,第一数据、第二装置联系人数据等)。相反,系统120确定连接已建立,并且相应地将第二装置简档数据与车辆简档相关联。
为了说明示例,车辆110可能先前已经与少量装置(诸如与车辆的第一用户(例如,妻子)相关联的第一智能电话、与车辆的第二用户(例如,丈夫)相关联的第二智能电话等)建立了连接。因此,当第一智能电话连接到车辆110时,系统120可能已经接收到第一信息(例如,源于第一智能电话的第一数据和/或第二装置联系人数据)并且将第一信息和与第一智能电话相关联的第一用户简档相关联。类似地,当第二智能电话连接到车辆110时,系统120可能已经接收到第二信息(例如,源于第二智能电话的第一数据和/或第二装置联系人数据)并且将第二信息和与第一智能电话相关联的第二用户简档相关联。使用标识与第二装置112的连接的信号,系统120可确定第二装置112对应于第一智能电话或第二智能电话并且相应地识别简档数据。例如,如果第二装置112对应于第一智能电话,则系统120可将第一用户简档与车辆简档相关联,而如果第二装置112对应于第二智能电话,则系统120可将第二用户简档与车辆简档相关联。
在一些示例中,系统120可将与第一智能电话相关联的第一用户简档链接到与车辆110的第一用户相关联的更大的用户简档。例如,第一用户可直接使用第一智能电话和/或其他装置与系统120交互并且因此系统120可能已经具有与第一用户相关联的用户简档,这与第一智能电话和车辆110之间先前建立的连接分开。因此,尽管图19A示出了系统120和/或通信系统125可将与第二装置112相关联的简档数据与车辆简档相关联,但这实际上可指代与特定用户(例如,第一用户)相关联的更大的用户简档。因此,在不脱离本公开的情况下,系统120可使用标识连接的信号和/或与第一智能电话相关联的标识信息来标识与第一用户相关联的更大的用户简档,并且可将更大的用户简档与车辆简档相关联。
如上面更详细地描述,系统120和/或通信系统125可使用与第二装置112相关联的简档数据来帮助解释从车辆110接收到的话音命令。例如,在不脱离本公开的情况下,系统100可使用第二装置简档数据来进行消歧、使与第二装置112相关联的暂时联系人信息优先于与车辆110相关联的现有联系人信息等。
如图19A所示,车辆110可从与车辆110相关联的一个或多个麦克风接收(1918)音频数据,并且可向系统120发送(1920)音频数据。系统120可使用第二装置简档数据对音频数据执行(1922)语音处理以确定在音频数据中表示的命令,并且系统120和/或通信系统125可生成(1924)对应于该命令的输出数据。在一些示例中,系统120可确定命令、从通信系统125接收附加信息,并基于附加信息来生成输出数据。例如,系统120可向通信系统125发送请求,并且通信系统125可基于该请求而发送附加信息。另外地或可选地,在不脱离本公开的情况下,系统120可向通信系统125发送命令并且通信系统125可生成输出数据。例如,系统120可发送带有联系人姓名或其他实体信息的命令,并且通信系统125可基于简档数据来解释联系人姓名/实体信息。
系统120和/或通信系统125可向车辆110发送(1926)输出数据,从而提示车辆110执行(1928)对应于输出数据的动作。如上所讨论,输出数据可对应于要执行的动作,诸如生成表示通知的输出音频数据、在通信会话期间捕获输入音频数据等,但本公开不限于此,并且在不脱离本公开的情况下,输出数据可对应于本领域技术人员已知的任何动作。
在一些示例中,系统120可能无法仅使用信号和/或由信号指示的标识信息来识别与第二装置112相关联的简档数据。例如,系统120可能无法将标识信息与简档数据相关联和/或标识信息可能太模糊以致于不能准确地识别简档数据。当发生这种情况时,系统120可从车辆110接收第一数据,并且可使用第一数据来识别与第二装置112相关联的简档数据。例如,第一数据可包括源于第二装置112的附加信息,诸如精确的标识信息,并且系统120可基于精确的标识信息来准确地识别与第二装置112相关联的简档数据。
另外地或可选地,在一些示例中,第一数据可包括第二装置联系人数据(或其一部分),并且系统120可使用第一数据来识别与第二装置112相关联的简档数据。例如,系统120可识别对于第一智能电话来说唯一的一个或多个第一联系人(例如,未存储为第二智能电话中的联系人),并且如果第一数据包括一个或多个第一联系人,则可确定第二装置112对应于第一智能电话并且识别与第一智能电话相关联的简档数据。类似地,系统120可识别对于第二智能电话来说唯一的一个或多个第二联系人(例如,未存储为第一智能电话中的联系人),并且如果第一数据包括一个或多个第一联系人,则可确定第二装置112对应于第二智能电话并且识别与第二智能电话相关联的简档数据。
如图19B所示,车辆110和第二装置112可建立(1910)连接,并且车辆110可向系统120发送(1912)信号以标识与第二装置112的连接。第二装置112可向车辆110发送(1950)第一数据,并且车辆110可向系统120发送(1952)第一数据。基于第一数据,系统120可识别(1954)与第二装置112相关联的简档数据(例如,第二装置简档数据),并且系统120和/或通信系统125可将第二装置简档数据与车辆的简档(例如,车辆简档)相关联(1916)。
如上面关于图19A所描述,车辆110可从与车辆110相关联的一个或多个麦克风接收(1918)音频数据,并且可向系统120发送(1920)音频数据。系统120可使用第二装置简档数据对音频数据执行(1922)语音处理以确定在音频数据中表示的命令,并且系统120和/或通信系统125可生成(1924)对应于该命令的输出数据。在一些示例中,系统120可确定命令、从通信系统125接收附加信息,并基于附加信息来生成输出数据。例如,系统120可向通信系统125发送请求,并且通信系统125可基于该请求而发送附加信息。另外地或可选地,在不脱离本公开的情况下,系统120可向通信系统125发送命令并且通信系统125可生成输出数据。例如,系统120可发送带有联系人姓名或其他实体信息的命令,并且通信系统125可基于简档数据来解释联系人姓名/实体信息。
系统120和/或通信系统125可向车辆110发送(1926)输出数据,从而提示车辆110执行(1928)对应于输出数据的动作。如上所讨论,输出数据可对应于要执行的动作,诸如生成表示通知的输出音频数据、在通信会话期间捕获输入音频数据等,但本公开不限于此,并且在不脱离本公开的情况下,输出数据可对应于本领域技术人员已知的任何动作。
图20是概念上示出根据本公开的实施方案的用于通过使暂时地关联的简档数据优先于现有的简档数据来执行消歧的示例方法的流程图。如图20所示,系统100可将第一数据与第一装置的简档相关联(2010)。例如,系统100可从第一装置(例如,车辆110)接收第一数据,但第一数据可能已经起源于第二装置112。然而,本公开不限于此,并且第一数据还可对应于存储在系统100上的与第二装置112相关联的数据和/或信息。
系统100可从第一装置(例如,车辆110)接收(2012)音频数据,并且可执行(2014)语音处理以确定对应于音频数据的NLU数据。系统100可基于NLU数据来确定(2016)第一命令,可基于NLU数据来确定(2018)第二命令,并且可确定(2020)第一命令与第一数据相关联。为了使可包括与第二装置112相关联的暂时联系人的第一数据优先,系统100可选择第一命令而不是第二命令,并生成(2022)对应于第一命令的输出数据。系统100可任选地(2024)执行对应于第一命令的动作,并且向第一装置发送(2026)输出数据,如上面更详细地描述。
如图20所示,系统100可通过选择第一命令而不是第二命令来优先考虑第一数据。在一些示例中,系统100可将第一数据与第一优先级值相关联,该第一优先级值高于与不跟第二装置112相关联的第一装置的简档中包括的第二数据相关联的第二优先级值。然而,这仅仅意图作为说明性示例,并且本公开不限于此。相反,在不脱离本公开的情况下,系统100可使用本领域技术人员已知的任何技术来使第一数据优先于第二数据。
在一些示例中,通过使暂时地关联的简档数据优先于现有的简档数据,系统120可执行语音处理,而同时通信系统125可执行消歧,但本公开不限于此。
图21A至图21B示出了根据本公开的实施方案的暂时地关联一个或多个用户简档的示例。如图21A至图21B所示,系统100可将第一简档数据2110与车辆110相关联、将第二简档数据2120与第二装置112a相关联,并且将第三简档数据2130与第二装置112b相关联。在一些示例中,第二装置112a可对应于第一用户并且第二装置112b可对应于第二用户,但本公开不限于此。为了便于说明,图21A至图21B示出了第一简档数据2110与第一联系人数据2112相关联,第二简档数据2120与第二联系人数据2122相关联,并且第三简档数据2130与第三联系人数据2132相关联。然而,本公开不限于此,并且在不脱离本公开的情况下,简档数据2110/2120/2130可与附加信息相关联。例如,在不脱离本公开的情况下,系统100可将第二简档数据2120和/或第三简档数据2130与第一简档数据2110相关联。
图21A示出了单个装置实现方式2100,其概念上示出了在车辆110连接到单个装置(例如,第二装置112a)时修改与车辆110相关联的第一简档数据2110的示例。例如,当车辆110与第二装置112a之间不存在连接时(在图21A中由未连接状态2102示出),系统100可仅将第一联系人数据2112与车辆110相关联,如第一简档数据2110a所示。例如,当车辆110与第二装置112a之间存在连接时(在图21A中由连接状态2104示出),系统100可将第一联系人数据2112和第二联系人数据2122与车辆110相关联,如第一简档数据2110b所示。
在一些示例中,车辆(例如,第一装置110)可同时连接到多个智能电话(例如,第二装置112a/112b),诸如当两个用户正乘坐车辆时。当第一装置110连接到多个第二装置112a/112b(例如,与第一用户相关联的第一智能电话和与第二用户关联的第二智能电话)时,系统100可获得与第一智能电话相关联的第一联系人数据和与第二智能电话相关联的第二联系人数据,并且可将第一联系人数据和第二联系人数据两者和与第一装置110相关联的简档相关联。
图21B示出了多个装置实现方式2150,其概念上示出了在车辆110连接到两个或更多个装置(例如,第二装置112a、第二装置112b等)时修改与车辆110相关联的第一简档数据2110的示例。例如,当车辆110与第二装置112a/112b之间不存在连接时(在图21B中由未连接状态21 52示出),系统100可仅将第一联系人数据2112与车辆110相关联,如第一简档数据2110a所示。相反,当车辆110与第二装置112a之间存在第一连接并且车辆110与第二装置112b之间存在第二连接时(在图21B中由连接状态2154示出),系统100可将第一联系人数据2112、第二联系人数据2122和第三联系人数据2132与车辆110相关联,如第一简档数据2110c所示。
因此,当车辆110连接到第二装置112a和第二装置112b两者时,系统100可将对应于第二装置112a/112b的联系人数据(例如,第二联系人数据2122和第三联系人数据2132)、对应于第二装置112a/112b的简档数据(例如,第二简档数据2120和第三简档数据2130)等与对应于车辆110的第一简档数据2110相关联。如果车辆110终止与第二装置112b的第二连接,但维持与第二装置112a的第一连接,则系统100可移除第三联系人数据2132与第一简档数据2110之间的关联,而同时维持第二联系人数据2122与第一简档数据2110之间的关联。类似地,如果车辆110终止与第二装置112a的第一连接,但维持与第二装置112b的第二连接,则系统100可移除第二联系人数据2122与第一简档数据2110之间的关联,而同时维持第三联系人数据2132与第一简档数据2110之间的关联。最后,如果车辆110终止与第二装置112a的第一连接以及与第二装置112b的第二连接,则系统100可移除第二联系人数据2122/第三联系人数据2132两者与第一简档数据2110之间的关联。
尽管关于对应于车辆的第一装置110描述了图21A至图21B,但本公开不限于此,并且在不脱离本公开的情况下,第一装置110可对应于任何装置。在一些示例中,第一装置110可对应于位于建筑物中的支持语音的装置(例如,Amazon Echo装置)。例如,系统100可确定一个或多个第二装置112在第一装置110的可通信范围内并且可将对应于一个或多个第二装置112的联系人数据和/或简档数据与对应于第一装置110的第一简档数据相关联,如上面关于图21A至图21B所描述。系统100可使用本领域技术人员已知的任何技术(诸如使用无线联网协议(例如,蓝牙、WiFi等)、位置数据、接近传感器等)来确定一个或多个第二装置112在第一装置110的可通信范围内。在一些示例中,在将一个或多个第二装置112与第一装置110相关联之前,系统100可能需要来自用户的附加认证和/或验证。
图22是概念上示出可与系统一起使用的装置110/112的框图。图23是概念上示出系统120/通信系统125的示例部件的框图,所述部件可为一个或多个服务器并且可有助于ASR处理、NLU处理等。如本文所使用的术语“系统”可指如在系统/客户端计算结构中理解的传统的系统,但也可指可有助于本文讨论的操作的许多不同的计算部件。例如,服务器可包括物理地和/或通过网络连接到其他装置/部件并且能够执行计算操作的一个或多个物理计算部件(诸如机架系统)。服务器还可包括模拟计算机系统并在一个装置上或跨多个装置运行的一个或多个虚拟机。服务器还可包括硬件、软件、固件等的其他组合以执行本文讨论的操作。服务器可被配置为使用客户端系统模型、计算机局模型、网格计算技术、雾计算技术、大型机技术、实用程序计算技术、对等模型、沙盒技术或其他计算技术中的一者或多者进行操作。
系统120中可包括多个服务器,诸如用于执行ASR处理的一个或多个服务器、用于执行NLU处理的一个或多个服务器等。在操作中,这些服务器(或装置组)中的每一者可包括驻留在相应的服务器上的计算机可读且计算机可执行指令,如将在下面进一步讨论。
这些装置/系统(110/112/120/125)的每一者可包括一个或多个控制器/处理器(2204/2304),所述控制器/处理器可各自包括用于处理数据和计算机可读指令的中央处理单元(CPU)以及用于存储相应的装置的数据和指令的存储器(2206/2306)。存储器(2206/2306)可单独地包括易失性随机存取存储器(RAM)、非易失性只读存储器(ROM)、非易失性磁阻存储器(MRAM)和/或其他类型的存储器。每个装置(110/112/120/125)还可包括用于存储数据和控制器/处理器可执行指令的数据存储部件(2208/2308)。每个数据存储部件(2208/2308)可单独地包括一个或多个非易失性存储装置类型,诸如磁存储装置、光学存储装置、固态存储装置等。每个装置(110/112/120/125)还可通过相应的输入/输出装置接口(2202/2302)连接到可移动或外部非易失性存储器和/或存储装置(诸如可移动存储卡、存储键驱动器、联网存储装置等)。
用于操作每个装置/系统(110/112/120/125)及其各种部件的计算机指令可由相应的装置的控制器/处理器(2204/2304)在运行时将存储器(2206/2306)用作暂时“工作”存储装置来执行。装置的计算机指令可以非暂时性方式存储在非易失性存储器(2206/2306)、存储器(2208/2308)或外部装置中。可选地,除了或代替软件,可执行指令中的一些或全部可被嵌入在相应装置上的硬件或固件中。
每个装置/系统(110/112/120/125)都包括输入/输出装置接口(2202/2302)。各种部件可通过输入/输出装置接口(2202/2302)进行连接,如将在下面进一步讨论。另外,每个装置(110/112/120/125)都可包括用于在相应装置的部件之间传送数据的地址/数据总线(2224/2324)。除了(或代替)跨总线(2224/2324)连接到其他部件,装置(110/112/120/125)内的每个部件还可直接连接到其他部件。
参考图22,装置110/112可包括输入/输出装置接口2202,该输入/输出装置接口连接到各种部件,诸如音频输出部件,诸如扬声器2212、有线耳机或无线耳机(未示出),或者能够输出音频的其他部件。装置110/112还可包括音频捕获部件。音频捕获部件可为例如麦克风2220或麦克风阵列、有线耳机或无线耳机等。如果包括麦克风阵列,则可基于由阵列中的不同的麦克风捕获到的声音之间的时间和振幅差异通过声学定位来确定到声音的起源点的近似距离。装置110可另外地包括用于显示内容的显示器2216。装置110/112还可包括相机2218。
经由天线2214,输入/输出装置接口2202可经由无线局域网(WLAN)(诸如WiFi)无线电、蓝牙和/或无线网络无线电连接到一个或多个网络199,所述无线网络无线电诸如能够与诸如长期演进(LTE)网络、WiMAX网络、3G网络、4G网络、5G网络等无线通信网络进行通信的无线电。也可支持有线连接,诸如以太网。通过网络199,系统可分布在网络环境中。I/O装置接口(2202/2302)还可包括通信部件,所述通信部件允许在装置(诸如系统的集合中的不同的物理系统或其他部件)之间交换数据。
通信系统125的装置110、系统120的部件可包括它们自己的专用处理器、存储器和/或存储装置。可选地,装置110/112、系统120或通信系统125的部件中的一个或多个可分别利用装置110/112、系统120或通信系统125的I/O接口(2202/2302)、处理器(2204/2304)、存储器(2206/2306)和/或存储装置(2208/2308)。因此,ASR部件250可具有其自己的I/O接口、处理器、存储器和/或存储装置;NLU部件260可具有其自己的I/O接口、处理器、存储器和/或存储装置;对于本文讨论的各种部件,依此类推。
如上所述,可在单个系统中采用多个装置。在这样的多装置系统中,装置中的每一个可包括用于执行系统处理的不同方面的不同部件。多个装置可包括重叠的部件。如本文所述,装置110/112、系统120和通信系统125的部件是说明性的,并且可被定位为独立装置或者可全部地或部分地被包括更大的装置或系统的部件。
如图24所示,多个装置(110a至110g、120、125)可包含系统的部件,并且装置可通过网络199进行连接。网络199可包括本地或专用网络,或者可包括广域网(诸如互联网)。装置可通过有线或无线连接来连接到网络199。例如,车辆110a、智能电话110b、智能手表110c、平板计算机110d、语音检测装置110e、显示装置110f和/或智能电视机110g可通过无线服务提供商、通过WiFi或蜂窝网络连接等连接到网络199。根据系统配置,装置110中的任一个可为第一装置或第二装置112。包括其他装置作为连接网络的支持装置,诸如系统120、通信系统125和/或其他装置。支持装置可通过有线连接或无线连接来连接到网络199。网络装置可使用一个或多个内置或连接的麦克风或其他音频捕获装置来捕获音频,其中处理由同一装置或经由网络199连接的另一个装置的ASR部件、NLU部件或其他部件(诸如一个或多个系统120的ASR部件250、NLU部件260等)执行。
还可鉴于以下条款来理解前述内容:
1.一种计算机实现的方法,所述计算机实现的方法包括通过远程系统:
从第一装置接收所述第一装置使用蓝牙协议通信地耦合到第二装置的指示;
接收源于所述第二装置并表示关于一个或多个联系人的第一联系人数据的第一数据;
将所述第一数据与对应于所述第一装置的简档数据相关联,所述简档数据包括与所述第一装置相关联的第二数据;
向所述第一数据指派第一优先级值,所述第一优先级值高于与所述第二数据相关联的第二优先级值;
从所述第一装置接收由与所述第一装置相关联的麦克风生成的第一音频数据;
使用所述简档数据处理所述第一音频数据来确定使用所述一个或多个联系人中的第一联系人来建立通信会话的请求;以及
发送第一命令以建立所述通信会话。
2.如条款1所述的计算机实现的方法,其中:
处理所述第一音频数据以确定所述请求还包括:
处理所述第一音频数据来确定建立所述通信会话的意图数据,
使用所述简档数据来确定要与其建立所述通信会话的所述第一联系人,
使用所述意图数据和所述第一联系人来确定建立所述通信会话的所述请求;并且
所述方法还包括:
生成第二音频数据,所述第二音频数据指示正在建立所述通信会话,
向所述第一装置发送所述第二音频数据,以及
向所述第一装置发送第二命令以在所述通信会话期间生成第三音频数据。
3.如条款1或2所述的计算机实现的方法,所述计算机实现的方法还包括:
使用所述指示或所述第一数据中的至少一者来确定对应于所述第二装置的第二简档数据;
将指示所述第二简档数据与所述简档数据相关联的第一关联存储在所述简档数据中;
将指示所述第二简档数据与所述第一优先级值相关联的第二关联存储在所述简档数据中;
从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;以及
从所述简档数据移除所述第一关联。
4.如条款1、2或3所述的计算机实现的方法,所述计算机实现的方法还包括:
在第一时间段期间从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;
移除所述第一数据与所述简档数据之间的所述关联;
在所述第一时间段之后的第二时间段期间,从所述第一装置接收所述第一装置通信地耦合到所述第二装置的第三指示;以及
响应于接收到所述第三指示而将所述第一数据与所述简档数据相关联。
5.一种计算机实现的方法,所述方法包括通过远程系统:
从第一装置接收所述第一装置通信地耦合到第二装置的指示;
接收与所述第二装置相关联的第一数据;
将所述第一数据与对应于所述第一装置的简档数据相关联,所述简档数据与具有第一优先级值的第二数据相关联;
向所述第一数据指派第二优先级值,所述第二优先级值指示所述第一数据优先于所述第二数据;
从所述第一装置接收第一音频数据;
使用所述简档数据处理所述第一音频数据来确定命令数据;以及
向所述第一装置发送所述命令数据。
6.如条款5所述的计算机实现的方法,所述计算机实现的方法还包括:
处理所述第一音频数据来确定执行动作的意图数据;
使用所述简档数据和所述意图数据来处理所述第一音频数据以确定所述命令数据,其中所述命令数据指示所述第一装置执行所述动作;
生成对应于所述命令数据的第二音频数据;以及
向所述第一装置发送所述第二音频数据。
7.如条款5或6所述的计算机实现的方法,所述计算机实现的方法还包括:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第一数据中;
使用所述意图数据和所述第一联系人来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;
确定所述命令数据,其中所述命令数据指示所述第一装置在所述通信会话期间生成第三音频数据;以及
经由所述第一装置向所述第二装置发送第二命令数据以与所述第一联系人建立所述通信会话。
8.如条款5、6或7所述的计算机实现的方法,其中处理所述第一音频数据以确定所述命令数据还包括:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第一数据中;
使用所述简档数据来确定要与其建立所述通信会话的第二联系人,其中所述第二联系人被包括在所述第二数据中;
确定与所述第一联系人相关联的所述第二优先级值超出与所述第二联系人相关联的所述第一优先级值;
使用所述意图数据并且响应于确定所述第二优先级值超出所述第一优先级值来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置执行与所述请求相关联的动作。
9.如条款5、6、7或8所述的计算机实现的方法,所述计算机实现的方法还包括通过所述远程系统:
经由所述第一装置从所述第二装置接收建立通信会话的请求的通知;
使用所述简档数据来确定所述请求与所述第一数据中包括的联系人相关联;
生成对应于所述请求的第二音频数据,所述第二音频数据至少指示所述联系人;以及
向所述第一装置发送所述第二音频数据。
10.如条款5、6、7、8或9所述的计算机实现的方法,所述计算机实现的方法还包括:
从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;以及
移除所述第一数据与所述简档数据之间的所述关联。
11.如条款10所述的计算机实现的方法,所述计算机实现的方法还包括:
在第一时间段期间,将所述第一数据与对应于所述第二装置的第二简档数据相关联;
在所述第一时间段之后的第二时间段期间,从所述第一装置接收所述第一装置通信地耦合到所述第二装置的第三指示;以及
响应于接收到所述第三指示而将所述第一数据与所述简档数据相关联。
12.如条款5、6、7、8、9、10或11所述的计算机实现的方法,所述计算机实现的方法还包括:
使用所述指示或所述第一数据中的至少一者来确定与所述第二装置相关联的第二简档数据;
将指示所述第二简档数据与所述简档数据相关联的第一关联存储在所述简档数据中;
将指示所述第二简档数据与所述第二优先级值相关联的第二关联存储在所述简档数据中;
从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;以及
从所述简档数据移除所述第一关联。
13.如条款5、6、7、8、9、10、11或12所述的计算机实现的方法,其中处理所述第一音频数据以确定所述命令数据还包括:
处理所述第一音频数据来确定导航至位置的意图数据;
使用所述第一音频数据和所述简档数据来确定第一联系人,其中所述第一联系人被包括在所述第一数据中;
确定与所述第一联系人相关联的地址;
使用所述意图数据和所述地址来确定所述第一音频数据对应于导航到所述地址的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置导航到所述地址。
14.一种系统,所述系统包括:
至少一个处理器;以及
存储器,所述存储器包括指令,所述指令可操作以由所述至少一个处理器执行来致使所述系统:
从第一装置接收所述第一装置经由第一链路通信地耦合到第二装置的指示;
接收与所述第二装置相关联的第一数据;
使用所述指示或所述第一数据中的至少一者来确定与所述第二装置相关联的第二数据;
将指示所述第二数据和与所述第一装置相关联的简档数据相关联的第一关联存储在所述简档数据中,所述简档数据与具有第一优先级值的第三数据相关联;
将指示所述第二数据与第二优先级值相关联的第二关联存储在所述简档数据中,所述第二优先级值指示所述第二数据优先于所述第三数据;
从所述第一装置接收第一音频数据;
使用所述简档数据处理所述第一音频数据来确定命令数据;以及
向所述第一装置发送所述命令数据。
15.如条款14所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
确定所述第一数据中包括的第一标识数据;
使用所述第一标识数据来确定与所述第二装置相关联的第二简档数据;以及
确定所述第二数据对应于所述第二简档数据。
16.如条款14或15所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
确定所述第一装置先前与第二简档数据和第三简档数据相关联;
确定所述第一数据中包括的第一联系人信息;
确定所述第一联系人信息被包括在所述第二简档数据中;
确定所述第一联系人信息不被包括在所述第三简档数据中;以及
响应于所述第一联系人信息仅被包括在所述第二简档数据中而确定所述第二数据对应于所述第二简档数据。
17.如条款14、15或16所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第二数据中;
使用所述意图数据和所述第一联系人来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;
确定所述命令数据,其中所述命令数据指示所述第一装置在所述通信会话期间生成第三音频数据;以及
经由所述第一装置向所述第二装置发送第二命令数据以与所述第一联系人建立所述通信会话。
18.如条款14、15、16或17所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第二数据中;
使用所述简档数据来确定要与其建立所述通信会话的第二联系人,其中所述第二联系人被包括在所述第三数据中;
确定与所述第一联系人相关联的所述第二优先级值超出与所述第二联系人相关联的所述第一优先级值;
使用所述意图数据并且响应于确定所述第二优先级值超出所述第一优先级值来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置执行与所述请求相关联的动作。
19.如条款14、15、16、17或18所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
经由所述第一装置从所述第二装置接收建立通信会话的请求的通知;
使用所述简档数据来确定所述请求与所述第二数据中包括的联系人相关联;
生成对应于所述请求的第二音频数据,所述第二音频数据至少指示所述联系人;以及
向所述第一装置发送所述第二音频数据。
20.如条款14、15、16、17、18或19所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
从所述第一装置接收所述第一链路被终止的第二指示;以及
从所述简档数据移除所述第二数据与所述简档数据之间的所述第一关联。
本文公开的概念可应用在许多不同的装置和计算机系统(包括例如通用计算系统、语音处理系统和分布式计算环境)内。本公开的以上方面意在是说明性的。所述方面被选择用于说明本公开的原理和应用,并且不意图是详尽性的或限制本公开。所公开的方面的许多修改和变化对本领域技术人员可显而易见。计算机和语音处理领域的普通技术人员应认识到,本文描述的部件和处理步骤可与其他部件或步骤或者部件或步骤的组合互换,并且仍实现本公开的益处和优点。此外,本领域技术人员应明白,可在不具有本文公开的具体的细节和步骤中的一些或全部的情况下实践本公开。
所公开的系统的方面可被实现为计算机方法或制品,诸如存储器装置或非暂时性计算机可读存储介质。计算机可读存储介质可由计算机读取,并且可包括用于致使计算机或其他装置执行本公开描述的过程的指令。计算机可读存储介质可通过易失性计算机存储器、非易失性计算机存储器、硬盘驱动器、固态存储器、闪存驱动器、可移动磁盘和/或其他介质来实现。另外,系统的部件可被实现为固件或硬件,诸如声学前端(AFE),其尤其包括模拟和/或数字滤波器(例如,被配置为数字信号处理器(DSP)的固件的滤波器)。
除非另有具体说明,或者在所使用的上下文中另外理解,否则本文使用的条件语言诸如“能够”、“可”、“可能”、“可以”、“例如”等通常意图表达某些实施方案包括而其他实施方案不包括某些特征、元件或步骤。因此,此类条件语言一般不意图暗示一个或多个实施方案无论如何都要求特征、元件和/或步骤,或者一个或多个实施方案都必须包括用于在具有或没有其他输入或提示的情况下决定在任何特定实施方案中是否包括或要执行这些特征、元件和/或步骤的逻辑。术语“包括(comprising)”、“包括(including)”、“具有”等是同义的并以开放形式包括性地使用,并且不排除附加元件、特征、动作、操作等。此外,术语“或”具有包括性意义(而非排他性意义),使得当用于例如连接元件列表时,术语“或”意指列表中的元件中的一个、一些或全部。
除非另有具体说明,否则诸如短语“X、Y、Z中的至少一个”的反意连接词语言在上下文中应理解为通常用来表示项目、项等可为X、Y或Z或者它们的任何组合(例如,X、Y和/或Z)。因此,这种反意连接语言一般不意图且不应暗示某些实施方案要求分别存在X中的至少一个、Y中的至少一个或Z中的至少一个。
如在本公开中所使用,除非另有具体说明,否则术语“一种”或“一个”可包括一个或多个项。此外,除非另有具体说明,否则短语“基于”意图是指“至少部分地基于”。

Claims (15)

1.一种计算机实现的方法,所述方法包括通过远程系统:
从第一装置接收所述第一装置通信地耦合到第二装置的指示;
接收与所述第二装置相关联的第一数据;
将所述第一数据与对应于所述第一装置的简档数据相关联,所述简档数据与具有第一优先级值的第二数据相关联;
向所述第一数据指派第二优先级值,所述第二优先级值指示所述第一数据优先于所述第二数据;
从所述第一装置接收第一音频数据;
使用所述简档数据处理所述第一音频数据来确定命令数据;以及
向所述第一装置发送所述命令数据。
2.如权利要求1所述的计算机实现的方法,所述计算机实现的方法还包括:
处理所述第一音频数据来确定执行动作的意图数据;
使用所述简档数据和所述意图数据来处理所述第一音频数据以确定所述命令数据,其中所述命令数据指示所述第一装置执行所述动作;
生成对应于所述命令数据的第二音频数据;以及
向所述第一装置发送所述第二音频数据。
3.如权利要求2或3所述的计算机实现的方法,所述计算机实现的方法还包括:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第一数据中;
使用所述意图数据和所述第一联系人来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;
确定所述命令数据,其中所述命令数据指示所述第一装置在所述通信会话期间生成第三音频数据;以及
经由所述第一装置向所述第二装置发送第二命令数据以与所述第一联系人建立所述通信会话。
4.如权利要求1、2或3所述的计算机实现的方法,其中处理所述第一音频数据以确定所述命令数据还包括:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第一数据中;
使用所述简档数据来确定要与其建立所述通信会话的第二联系人,其中所述第二联系人被包括在所述第二数据中;
确定与所述第一联系人相关联的所述第二优先级值超出与所述第二联系人相关联的所述第一优先级值;
使用所述意图数据并且响应于确定所述第二优先级值超出所述第一优先级值来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置执行与所述请求相关联的动作。
5.如权利要求1、2、3或4所述的计算机实现的方法,所述计算机实现的方法还包括通过所述远程系统:
经由所述第一装置从所述第二装置接收建立通信会话的请求的通知;
使用所述简档数据来确定所述请求与所述第一数据中包括的联系人相关联;
生成对应于所述请求的第二音频数据,所述第二音频数据至少指示所述联系人;以及
向所述第一装置发送所述第二音频数据。
6.如权利要求1、2、3、4或5所述的计算机实现的方法,所述计算机实现的方法还包括:
从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;以及
移除所述第一数据与所述简档数据之间的所述关联。
7.如权利要求6所述的计算机实现的方法,所述计算机实现的方法还包括:
在第一时间段期间,将所述第一数据与对应于所述第二装置的第二简档数据相关联;
在所述第一时间段之后的第二时间段期间,从所述第一装置接收所述第一装置通信地耦合到所述第二装置的第三指示;以及
响应于接收到所述第三指示而将所述第一数据与所述简档数据相关联。
8.如权利要求1、2、3、4、5、6或7所述的计算机实现的方法,所述计算机实现的方法还包括:
使用所述指示或所述第一数据中的至少一者来确定与所述第二装置相关联的第二简档数据;
将指示所述第二简档数据与所述简档数据相关联的第一关联存储在所述简档数据中;
将指示所述第二简档数据与所述第二优先级值相关联的第二关联存储在所述简档数据中;
从所述第一装置接收所述第一装置与所述第二装置断开连接的第二指示;以及
从所述简档数据移除所述第一关联。
9.如权利要求1、2、3、4、5、6、7或8所述的计算机实现的方法,其中处理所述第一音频数据以确定所述命令数据还包括:
处理所述第一音频数据来确定导航至位置的意图数据;
使用所述第一音频数据和所述简档数据来确定第一联系人,其中所述第一联系人被包括在所述第一数据中;
确定与所述第一联系人相关联的地址;
使用所述意图数据和所述地址来确定所述第一音频数据对应于导航到所述地址的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置导航到所述地址。
10.一种系统,所述系统包括:
至少一个处理器;以及
存储器,所述存储器包括指令,所述指令可操作以由所述至少一个处理器执行来致使所述系统:
从第一装置接收所述第一装置经由第一链路通信地耦合到第二装置的指示;
接收与所述第二装置相关联的第一数据;
使用所述指示或所述第一数据中的至少一者来确定与所述第二装置相关联的第二数据;
将指示所述第二数据和与所述第一装置相关联的简档数据相关联的第一关联存储在所述简档数据中,所述简档数据与具有第一优先级值的第三数据相关联;
将指示所述第二数据与第二优先级值相关联的第二关联存储在所述简档数据中,所述第二优先级值指示所述第二数据优先于所述第三数据;
从所述第一装置接收第一音频数据;
使用所述简档数据处理所述第一音频数据来确定命令数据;以及
向所述第一装置发送所述命令数据。
11.如权利要求10所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
确定所述第一数据中包括的第一标识数据;
使用所述第一标识数据来确定与所述第二装置相关联的第二简档数据;以及
确定所述第二数据对应于所述第二简档数据。
12.如权利要求10或11所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
确定所述第一装置先前与第二简档数据和第三简档数据相关联;
确定所述第一数据中包括的第一联系人信息;
确定所述第一联系人信息被包括在所述第二简档数据中;
确定所述第一联系人信息不被包括在所述第三简档数据中;以及
响应于所述第一联系人信息仅被包括在所述第二简档数据中而确定所述第二数据对应于所述第二简档数据。
13.如权利要求10、11或12所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第二数据中;
使用所述意图数据和所述第一联系人来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;
确定所述命令数据,其中所述命令数据指示所述第一装置在所述通信会话期间生成第三音频数据;以及
经由所述第一装置向所述第二装置发送第二命令数据以与所述第一联系人建立所述通信会话。
14.如权利要求10、11、12或13所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
处理所述第一音频数据来确定建立通信会话的意图数据;
使用所述简档数据来确定要与其建立所述通信会话的第一联系人,其中所述第一联系人被包括在所述第二数据中;
使用所述简档数据来确定要与其建立所述通信会话的第二联系人,其中所述第二联系人被包括在所述第三数据中;
确定与所述第一联系人相关联的所述第二优先级值超出与所述第二联系人相关联的所述第一优先级值;
使用所述意图数据并且响应于确定所述第二优先级值超出所述第一优先级值来确定所述第一音频数据对应于与所述第一联系人建立所述通信会话的请求;以及
确定所述命令数据,其中所述命令数据指示所述第一装置执行与所述请求相关联的动作。
15.如权利要求10、11、12、13或14所述的系统,其中所述存储器还包括指令,所述指令在由所述至少一个处理器执行时还致使所述系统:
经由所述第一装置从所述第二装置接收建立通信会话的请求的通知;
使用所述简档数据来确定所述请求与所述第二数据中包括的联系人相关联;
生成对应于所述请求的第二音频数据,所述第二音频数据至少指示所述联系人;以及
向所述第一装置发送所述第二音频数据。
CN201980087407.3A 2018-11-15 2019-11-01 通信数据处理方法和系统 Active CN113260974B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862767952P 2018-11-15 2018-11-15
US62/767,952 2018-11-15
US16/360,436 US11056111B2 (en) 2018-11-15 2019-03-21 Dynamic contact ingestion
US16/360,436 2019-03-21
PCT/US2019/059391 WO2020101915A1 (en) 2018-11-15 2019-11-01 Dynamic contact ingestion

Publications (2)

Publication Number Publication Date
CN113260974A true CN113260974A (zh) 2021-08-13
CN113260974B CN113260974B (zh) 2024-02-02

Family

ID=70726695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087407.3A Active CN113260974B (zh) 2018-11-15 2019-11-01 通信数据处理方法和系统

Country Status (4)

Country Link
US (3) US11056111B2 (zh)
EP (1) EP3881174A1 (zh)
CN (1) CN113260974B (zh)
WO (1) WO2020101915A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11056111B2 (en) * 2018-11-15 2021-07-06 Amazon Technologies, Inc. Dynamic contact ingestion
US11024290B2 (en) * 2019-02-11 2021-06-01 Amazon Technologies, Inc. Wakeword detection using a secondary microphone
US11238241B1 (en) 2019-05-29 2022-02-01 Amazon Technologies, Inc. Natural language dialog scoring
US11475883B1 (en) 2019-05-29 2022-10-18 Amazon Technologies, Inc. Natural language dialog scoring
US11074907B1 (en) * 2019-05-29 2021-07-27 Amazon Technologies, Inc. Natural language dialog scoring
US11232784B1 (en) 2019-05-29 2022-01-25 Amazon Technologies, Inc. Natural language dialog scoring
US11483174B1 (en) * 2021-06-30 2022-10-25 Amazon Technologies, Inc. Device functionality control utilizing activity prediction
US20230274737A1 (en) * 2022-05-31 2023-08-31 Google Llc Human-In-The-Loop Voice Automation System

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578826A (zh) * 2006-12-08 2009-11-11 微软公司 移动设备对计算设备的呼叫
CN103596119A (zh) * 2012-08-16 2014-02-19 福特全球技术公司 用于基于语音的机器到机器通信的方法及设备
US20160014273A1 (en) * 2014-07-11 2016-01-14 Hyundai Motor Company Method and apparatus for controlling outgoing call in vehicle equipped with voice recognition function
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
US20180309866A1 (en) * 2017-04-25 2018-10-25 Amazon Technologies, Inc. Sender and recipient disambiguation

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174298B2 (en) * 2002-06-24 2007-02-06 Intel Corporation Method and apparatus to improve accuracy of mobile speech-enabled services
US8009678B2 (en) * 2005-03-17 2011-08-30 Microsoft Corporation System and method for generating a dynamic prioritized contact list
US8699944B2 (en) * 2005-06-10 2014-04-15 The Invention Science Fund I, Llc Device pairing using device generated sound
US20080133580A1 (en) * 2006-11-30 2008-06-05 James Andrew Wanless Method and system for providing automated real-time contact information
US7720832B1 (en) * 2007-04-25 2010-05-18 Intuit Inc. Dynamic contact information
US20180013873A1 (en) * 2008-01-31 2018-01-11 Sirius Xm Connected Vehicle Services Inc. Method of Providing Driver-Behavior Information Off-Site Through Telematics System
US20100227549A1 (en) * 2009-03-04 2010-09-09 Alan Kozlay Apparatus and Method for Pairing Bluetooth Devices by Acoustic Pin Transfer
US8793332B2 (en) * 2009-07-21 2014-07-29 Apple Inc. Content tagging using broadcast device information
JP4635096B1 (ja) * 2009-07-31 2011-02-23 株式会社東芝 情報処理装置及び機器登録方法
US8744397B2 (en) * 2011-03-02 2014-06-03 Continental Automotive Systems, Inc. System for providing profile information
US20180032997A1 (en) * 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
US9325752B2 (en) * 2011-12-23 2016-04-26 Microsoft Technology Licensing, Llc Private interaction hubs
US20130178151A1 (en) * 2012-01-10 2013-07-11 Eliyahu Itzhaki Safe mobile cellular phone primarily for children
US9680786B2 (en) * 2012-01-18 2017-06-13 Loop Communications, Llc Communication and notification system and method thereof
US9736764B2 (en) * 2012-07-11 2017-08-15 Continental Automotive Systems, Inc. Bluetooth phone reconnection strategy
US20140046664A1 (en) * 2012-08-13 2014-02-13 Plantronics, Inc. Secure Device Pairing Using Voice Input
US20190199306A1 (en) * 2012-10-19 2019-06-27 Hun Sop YUM Amp system for vehicle using bluetooth module
US9190057B2 (en) * 2012-12-12 2015-11-17 Amazon Technologies, Inc. Speech model retrieval in distributed speech recognition systems
US9148489B2 (en) * 2013-03-11 2015-09-29 Qualcomm Incorporated Exchanging a contact profile between client devices during a communication session
US9282096B2 (en) * 2013-08-31 2016-03-08 Steven Goldstein Methods and systems for voice authentication service leveraging networking
US20150073815A1 (en) * 2013-09-06 2015-03-12 Theranos, Inc. Systems and methods for laboratory testing and result management
US10270914B2 (en) * 2014-01-30 2019-04-23 Avaya Inc. Enhancing contact center calculations based on real-time speech analytics
US20150281371A1 (en) * 2014-03-26 2015-10-01 Conversant Intellectual Property Management Incorporated Apparatus, system, and method for connecting devices
US10470225B2 (en) * 2014-03-26 2019-11-05 Qualcomm Incorporated System and method for enhance the user experience of applications for proximity-based peer-to-peer mobile computing
KR101543161B1 (ko) * 2014-05-08 2015-08-07 현대자동차주식회사 블루투스 연결 제어 방법
KR102187027B1 (ko) * 2014-06-25 2020-12-04 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101531924B1 (ko) * 2014-07-11 2015-06-26 현대자동차주식회사 블루투스 부하 제어 방법 및 장치
US10264551B2 (en) * 2014-08-27 2019-04-16 Tractouch Mobile Partners, Llc Mobile vibratory device, system, and method for physiotherapeutic applications
KR102238895B1 (ko) * 2014-08-29 2021-04-12 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
US10951567B2 (en) * 2015-02-18 2021-03-16 Lance Fried System for bridging, managing, and presenting smartphone and other data files with telephony interactions
KR101673308B1 (ko) * 2015-08-20 2016-11-07 현대자동차주식회사 블루투스 듀얼모드를 이용한 블루투스 자동 연결 방법 및 장치
US20170078848A1 (en) * 2015-09-10 2017-03-16 Ahmad Saqer Almarri Method and Apparatus for Selectively Providing Real-Time Status for Portable Devices
CN108702416B (zh) * 2016-02-03 2022-04-19 三星电子株式会社 用于在操作车辆的同时管理其操作的电子设备和方法
US20190057703A1 (en) 2016-02-29 2019-02-21 Faraday&Future Inc. Voice assistance system for devices of an ecosystem
US20170264729A1 (en) * 2016-03-09 2017-09-14 Linda Christine Cavalli Nelson Accessory-style wireless audio communications system and associated devices, methods and apparatuses.
US9776563B1 (en) * 2016-03-21 2017-10-03 Ford Global Technologies, Llc Geofencing application for driver convenience
US20180032585A1 (en) * 2016-08-01 2018-02-01 Qualcomm Incorporated Systems and methods for context-based contact suggestion
US20180113987A1 (en) * 2016-10-20 2018-04-26 Jiping Zhu Method and system for quantitative classification of health conditions via wearable device and application thereof
US10127908B1 (en) * 2016-11-11 2018-11-13 Amazon Technologies, Inc. Connected accessory for a voice-controlled device
US10789948B1 (en) * 2017-03-29 2020-09-29 Amazon Technologies, Inc. Accessory for a voice controlled device for output of supplementary content
JP6436272B1 (ja) * 2017-07-28 2018-12-12 住友電気工業株式会社 管理装置、管理システム、管理方法および管理プログラム
US10565312B2 (en) * 2017-10-04 2020-02-18 Motorola Mobility Llc Context-based action recommendations based on a shopping transaction correlated with a monetary deposit as incoming communications
KR102368054B1 (ko) * 2017-12-12 2022-02-28 현대자동차주식회사 자동차의 헤드 유닛 및 그 제어 방법
US10796563B1 (en) * 2018-06-26 2020-10-06 Amazon Technologies, Inc. Configuring a secondary device
US11056111B2 (en) * 2018-11-15 2021-07-06 Amazon Technologies, Inc. Dynamic contact ingestion
US11200892B1 (en) * 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
US11355112B1 (en) * 2020-03-03 2022-06-07 Amazon Technologies, Inc. Speech-processing system
JP6854433B1 (ja) * 2020-03-23 2021-04-07 パナソニックIpマネジメント株式会社 ハンズフリー装置、データ転送方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578826A (zh) * 2006-12-08 2009-11-11 微软公司 移动设备对计算设备的呼叫
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
CN103596119A (zh) * 2012-08-16 2014-02-19 福特全球技术公司 用于基于语音的机器到机器通信的方法及设备
US20160014273A1 (en) * 2014-07-11 2016-01-14 Hyundai Motor Company Method and apparatus for controlling outgoing call in vehicle equipped with voice recognition function
US20180309866A1 (en) * 2017-04-25 2018-10-25 Amazon Technologies, Inc. Sender and recipient disambiguation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
搜狐视频: "2012Ford SYNC – Pairing Phone", pages 1 - 50, Retrieved from the Internet <URL:https://tv.sohu.com/v/dXMvNDkxNjMyNTEvMTc3Mjg0NzUuc2h0bWw%3D.html> *

Also Published As

Publication number Publication date
US11056111B2 (en) 2021-07-06
WO2020101915A1 (en) 2020-05-22
US11798554B2 (en) 2023-10-24
US20240013785A1 (en) 2024-01-11
US20200160860A1 (en) 2020-05-21
US20210335361A1 (en) 2021-10-28
CN113260974B (zh) 2024-02-02
EP3881174A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN113260974B (zh) 通信数据处理方法和系统
US11570292B1 (en) Providing hands-free service to multiple devices
US10498883B1 (en) Multi-modal communications restrictioning
TWI557599B (zh) 語音控制方法及語音控制系統
US9967382B2 (en) Enabling voice control of telephone device
US10911596B1 (en) Voice user interface for wired communications system
US11949818B1 (en) Selecting user device during communications session
US11228624B1 (en) Overlay data during communications session
US10924926B1 (en) Communications token pre-fetch
TW201717655A (zh) 語音控制方法及語音控制系統
US10194023B1 (en) Voice user interface for wired communications system
US11856125B1 (en) Voice-enabled communication configurations
US11556575B2 (en) System answering of user inputs
US10326886B1 (en) Enabling additional endpoints to connect to audio mixing device
US10997971B2 (en) Wakeword detection using a secondary microphone
US11372524B1 (en) Multimedia communications with synchronized graphical user interfaces
US20240135932A1 (en) Contact list reconciliation and permissioning
US11343374B1 (en) Message aggregation and comparing
US11082457B1 (en) Media transport system architecture
US20230362026A1 (en) Output device selection
US11368579B1 (en) Presence-based notification system
US10715470B1 (en) Communication account contact ingestion and aggregation
US11461779B1 (en) Multi-speechlet response
US20230188488A1 (en) Voice user interface sharing of content
JP2006186893A (ja) 音声対話制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant