CN106464758B - 利用用户信号来发起通信 - Google Patents

利用用户信号来发起通信 Download PDF

Info

Publication number
CN106464758B
CN106464758B CN201580034339.6A CN201580034339A CN106464758B CN 106464758 B CN106464758 B CN 106464758B CN 201580034339 A CN201580034339 A CN 201580034339A CN 106464758 B CN106464758 B CN 106464758B
Authority
CN
China
Prior art keywords
user
dialogue
equipment
personal digital
digital assistant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580034339.6A
Other languages
English (en)
Other versions
CN106464758A (zh
Inventor
L·D·克拉克
D·B·哈里森
S·亨德里奇
D·加德纳
S·马雷科扎德
C·L·马里坦
M·利姆
M·P·切尔文斯基
R·吉拉德-巴克拉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106464758A publication Critical patent/CN106464758A/zh
Application granted granted Critical
Publication of CN106464758B publication Critical patent/CN106464758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

描述了用于实现数字个人助理的系统、方法、装置和计算机程序产品。数字个人助理能够确定用户询问了旨在与数字个人助理的人物进行交互的问题或作出这样的陈述。响应于确定用户询问了这样的问题或作出了这样的陈述，数字个人助理通过在数字个人助理的用户界面内或通过该用户界面显示或回放与流行文化参考相关联的多媒体对象来提供针对这样的问题或这样的陈述的应答。附加地或替换地，响应于确定用户询问了这样的问题或作出了这样的陈述，数字个人助理通过生成或回放包括与流行文化参考相关联的人员的声音的模仿的语音来提供对这样的问题或这样的陈述的应答。

Description

利用用户信号来发起通信
背景
如在此使用的，术语“数字个人助理”指可以为个人执行任务或服务的软件代理。此类任务或服务可以例如基于用户输入、位置知晓以及访问来自各种在线源的信息(诸如天气或交通状况、新闻、股票价格、用户日程表、零售价格等)的能力来执行。常规数字个人助理的一些示例包括(由华盛顿州雷蒙德市的微软公司作为8.1操作系统的一部分来发布)、(由加利福尼亚州珀蒂诺市的苹果计算机发布)以及GOOGLE NOWTM(由加利福尼亚州山景城的谷歌公司发布)。
概述
本文描述了用于实现能够主动发起与用户的对话的数字个人助理的系统、方法、装置和计算机程序产品。为了避免打扰或以其它方式惹恼用户，个人数字助理可被编程为只在被该数字个人助理确定为适合发起对话的时间发起对话。为此，数字个人助理利用与用户可用性和/或用户的精神或情绪状态有关的各种信号来确定特定时间是否适于开始对话。如果与用户可用性和/或精神和情绪状态有关的用户信号指示该特定时间适于开始对话，则数字个人助理将尝试发起对话。然而，如果与用户可用性和精神和情绪状态有关的用户信号指示该特定时间不适于开始对话，则数字个人助理将不会尝试发起对话。通过以此方式利用用户信号，数字个人助理能够以不太可能被感知为恼人、侵入性或不及时的方式主动发起与用户的对话。
具体而言，本文描述了由在至少一个计算设备上实现的数字个人助理执行的方法。根据该方法，获取与用户可用性有关的一个或多个第一信号。还获取与用户的精神或情绪状态有关的一个或多个第二信号。然后至少基于第一信号和第二信号来确定特定时间是否是尝试发起与用户的对话的合适时间。响应于确定该特定时间是尝试发起与用户的对话的合适时间，做出发起与用户的对话的尝试。
在上述方法的一实施例中，第一信号包括与用户相关联的日历信号、与用户相关联的日常习惯信息以及与用户的当前活动相关联的信息中的一者或多者。
在上述方法的另一实施例中，第二信号包括以下一者或多者：用户的脸部表情；用户的语音特性、用户的位置、用户打开和关闭移动设备的速率；与用户相关联的键击和/或姿势元数据；用户的书面和/或口头内容；与用户相关联的应用交互元数据；加速度计、罗盘和/或陀螺仪输出；曝光度；温度；天气状况；交通状况；污染和/或过敏水平；用户的活动水平；用户的心律和心律变异性；用户的皮电活动；关于与用户相关联的设备的设备和/或网络连接信息；以及关于与用户相关联的设备的电池和/或充电信息。
在上述方法的另一实施例中，第二信号包括被机器学习器标识为能确定用户的精神或情绪状态的一个或多个信号。进一步根据这一实施例，机器学习器可由测试人群和用户中的一者或多者训练。
在上述方法的又一实施例中，尝试发起与用户的对话包括询问用户以确定他或她是否有空进行对话，以及响应于接收到对该问询的肯定应答，选择对话主题并发起与用户的关于所选对话主题的对话。进一步根据这一实施例，选择对话主题可包括基于用户的当前事件集合和兴趣集合中的一者或多者来选择对话主题。
本文还描述了一种系统。该系统包括至少一个处理器以及存储供由该至少一个处理器执行的计算机程序逻辑的存储器。计算机程序逻辑包括被配置成在由该至少一个处理器执行时执行操作的一个或多个组件。该一个或多个组件包括数字个人助理。数字个人助理被配置成获取与用户的可用性有关的一个或多个信号，获取与用户的精神或情绪状态有关的一个或多个第二信号，至少基于第一信号和第二信号来确定特定时间是否是尝试发起与用户的对话的合适时间，以及响应于确定该特定时间是尝试发起与用户的对话的合适时间来尝试发起与用户的对话。
在上述系统的实施例中，第一信号包括与用户相关联的日历信号、与用户相关联的日常习惯信息以及与用户的当前活动相关联的信息中的一者或多者。
在上述系统的另一实施例中，第二信号包括以下一者或多者：用户的脸部表情；用户的语音特性、用户的位置、用户打开和关闭移动设备的速率；与用户相关联的键击和/或姿势元数据；用户的书面和/或口头内容；与用户相关联的应用交互元数据；加速度计、罗盘和/或陀螺仪输出；曝光度；温度；天气状况；交通状况；污染和/或过敏水平；用户的活动水平；用户的心律和心律变异性；用户的皮电活动；关于与用户相关联的设备的设备和/或网络连接信息；以及关于与用户相关联的设备的电池和/或充电信息。
在上述系统的另一实施例中，第二信号包括由机器学习器标识为能确定用户的精神或情绪状态的一个或多个信号。进一步根据这一实施例，机器学习器可由测试人群和用户中的一者或多者训练。
在上述系统的又一实施例中，数字个人助理被配置成通过以下操作来尝试发起与用户的对话：询问用户以确定他或她是否有空进行对话以及响应于接收到对该问询的肯定应答，选择对话主题并发起与用户的关于所选对话主题的对话。进一步根据这一实施例，数字个人助理可被配置成基于用户的当前事件集合和兴趣集合中的一者或多者来选择对话主题。
本文还描述了一种计算机程序产品。该计算机程序产品包括其上记录有计算机程序逻辑的计算机可读存储器，该计算机程序逻辑在由至少一个处理器执行时使该至少一个处理器执行一种操作数字个人助理的方法。该方法包括从由用户操作的移动设备获取与该用户的可用性有关的一个或多个第一信号，从该移动设备获取与该用户的精神或情绪状态有关的一个或多个第二信号，至少基于第一信号和第二信号来确定特定时间是否是尝试发起与用户的对话的合适时间，以及响应于确定该特定时间是尝试发起与用户的对话的合适时间，尝试发起与用户的对话。
在上述计算机程序产品的实施例中，第一信号包括与用户相关联的日历信号、与用户相关联的日常习惯信息以及与用户的当前活动相关联的信息中的一者或多者。
在上述计算机程序产品的另一实施例中，第二信号包括以下一者或多者：用户的脸部表情；用户的语音特性、用户的位置、用户打开和关闭移动设备的速率；与用户相关联的键击和/或姿势元数据；用户的书面和/或口头内容；与用户相关联的应用交互元数据；加速度计、罗盘和/或陀螺仪输出；曝光度；温度；天气状况；交通状况；污染和/或过敏水平；用户的活动水平；用户的心律和心律变异性；用户的皮电活动；关于与用户相关联的设备的设备和/或网络连接信息；以及关于与用户相关联的设备的电池和/或充电信息。
在上述计算机程序产品的另一实施例中，第二信号包括由机器学习器标识为能确定用户的精神或情绪状态的一个或多个信号。进一步根据这一实施例，机器学习器可由测试人群和用户中的一者或多者训练。
在上述计算机程序产品的又一实施例中，尝试发起与用户的对话包括询问用户以确定他或她是否有空进行对话，以及响应于接收到对该问询的肯定应答，选择对话主题并发起与用户的关于所选对话主题的对话。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，注意到所要求保护的主题不限于在详细描述和/或本文的其它章节中所述的特定实施例。本文呈现这些实施例仅用于说明性的用途。基于本文所包含的描述，其它实施例对于相关领域的技术人员将是显而易见的。
附图说明
合并在此并作为说明书一部分的附图与说明书一起示出了本发明的实施例，且进一步用于解释本发明的原理的作用，并且使相关领域的技术人员能够实现并使用本发明。
图1是根据一实施例的实现利用用户信号来确定主动发起与用户的对话的合适时间的数字个人助理的系统的框图。
图2是根据一实施例的可由数字个人助理实现的主动对话系统的框图。
图3是根据一实施例的构成图2的主动对话系统的一部分的对话发起逻辑的框图。
图4描绘了根据一实施例的可由数字个人助理或代表数字个人助理执行的用于主动发起与用户的对话的方法的流程图。
图5描绘了根据一实施例的可由数字个人助理执行或代表数字个人助理执行的用于确定特定时间是否是尝试发起与用户的对话的合适时间的方法的流程图。
图6是可被用来实现各个实施例的示例移动设备的框图。
图7是可用于实现各实施例的示例基于处理器的计算机系统的框图。
当结合其中相同的附图标记标识对应的元素的附图时，本发明的特征和优点将从以下阐述的详细描述中变得更加显而易见。在附图中，相同的参考标号一般指相同的、功能上相似的和/或结构上相似的元素。其中元素第一次出现的附图由对应的参考标号中最左侧的数字指示。
详细描述
I.介绍
以下详细描述参考示出本发明的示例性实施例的附图。但是，本发明的范围不限于这些实施例，而是由所附权利要求书定义。因此，诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本发明所包含。
本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是所述实施例可包括特定的特征、结构或特点，但是每一实施例不一定包括该特定的特征、结构或特点。此外，这些短语不一定指相同的实施例。此外，当结合实施例描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性，无论是否被显式地描述。
常规数字个人助理通常被编程为只在响应显式用户请求的过程中与用户交互。即，常规数字个人助理通常不主动发起与用户的对话。这可能是至少部分地因为由数字个人助理发起对话的尝试将被用户感知为恼人、侵入性或不及时的问题。然而，可能存在使数字个人助理能够主动发起与用户的对话的非常好的理由。例如，数字个人助理或许能够在用户可受益于数字个人助理向用户提供的帮助但无法要求该帮助时或者在用户不知道数字个人助理能提供该帮助时主动向用户提供该帮助。此外，通过使数字个人助理能够主动发起与用户的对话，数字个人助理可以向用户提供伙伴的感觉以及创造使用户高兴、娱乐用户以及甚至了解用户的新机会。
本文描述的实施例涉及可主动发起与用户的对话的个人数字助理。为了避免打扰或以其他方式惹恼用户，个人数字助理被编程为只在该数字个人助理确定适合发起对话的时间发起对话。为此，数字个人助理利用与用户可用性和用户的精神或情绪状态有关的各种信号来确定特定时间是否适于开始对话。如果与用户可用性和/或精神和情绪状态有关的用户信号指示该特定时间适于开始对话，则数字个人助理将尝试发起对话。然而，如果与用户可用性和精神或情绪状态有关的用户信号指示该特定时间不适于开始对话，则数字个人助理将不会尝试发起对话。通过以此方式利用用户信号，数字个人助理能够以不太可能被感知为恼人、侵入性或不及时的方式主动发起与用户的对话。
章节II描述了实现数字个人助理的示例系统，该数字个人助理主动发起与用户的对话并利用用户信号来确定发起这些对话的合适时间。章节III描述了用于实现这一数字个人助理的示例性方法。章节IV描述了根据本文描述的实施例的可用于实现数字个人助理的示例移动设备。章节V描述了根据本文描述的实施例的可用于实现数字个人助理的示例台式计算机。章节VI提供了一些总结性评述。
II.实现利用用户信号来确定主动发起与用户的对话的合适时间的数字个人助理的示例系统
图1是根据一示例实施例的实现利用用户信号来确定主动发起与用户的对话的合适时间的数字个人助理的系统100的框图。如图1所示，系统100包括经由一个或多个网络104通信地连接到数字个人助理后端106的终端用户计算设备102。现在将描述这些组件中的每一者。
终端用户计算设备102旨在表示能够执行安装在其上的基于软件的数字个人助理130的基于处理器的电子设备。可代表终端用户计算设备102的用户来执行数字个人助理130。在一个实施例中，终端用户计算设备102包括移动计算设备，诸如移动电话(例如，智能电话)、膝上型计算机、平板计算机、上网本、可穿戴计算机(诸如智能手表或头戴式计算机)、便携式媒体播放器、手持式游戏控制台、个人导航助理、相机或者能够代表用户执行数字个人助理的任何其它移动设备。可结合终端用户计算设备102的功能性的移动设备的一个示例将在下文中参考图6讨论。在另一实施例中，终端用户计算设备102包括台式计算机、游戏控制台或者能够代表用户执行数字个人助理的其它非移动计算平台。可结合终端用户计算设备102的功能性的示例台式计算机将在下文中参考图7讨论。
终端用户计算设备102能够经由网络104与数字个人助理后端106通信。数字个人助理后端106包括一个或多个计算机(例如，服务器计算机)，该一个或多个计算机被编程为提供服务以支持数字个人助理130以及在其它终端用户计算设备上执行的其它数字个人助理的操作。例如，数字个人助理后端106可包括被配置成向数字个人助理130提供与语音识别和问询理解和应答有关的服务的一个或多个计算机。具体而言，如图1所示，这些服务分别由语音识别服务134和问询理解和应答系统136来提供。注意，数字个人助理后端106可代表个人数字助理130执行任何数目的其它服务，尽管这些附加服务可能未在此明确描述。
在一个实施例中，数字个人助理后端106包括其中可任意选择大量适当配置的机器中的任一个来呈现用于支持数字个人助理130的一个或多个所需服务的基于云的后端。如相关领域技术人员将会认识到的，这一基于云的实现提供了用于向数字个人助理(诸如数字个人助理130)提供后端服务的可靠且可扩展框架。
网络104旨在表示适用于促成终端用户计算设备(诸如终端用户计算设备102)与数字个人助理后端106之间的通信的任何类型的网络或网络组合。网络104可包括(作为示例而非限制)广域网、局域网、专用网络、公共网络、分组网络、电路交换网络、有线网络和/或无线网络。
如在图1中进一步示出的，终端用户计算设备102包括多个互连组件，包括处理单元110、易失性存储器112、非易失性存储器124、一个或多个网络接口114、一个或多个用户输入设备116、显示器118、一个或多个扬声器120以及一个或多个传感器122。现在将描述这些组件中的每一者。
处理单元110旨在表示一个或多个微处理器，它们中的每一个可包括一个或多个中央处理单元(CPU)或微处理器核。处理单元110也可使用其它类型的集成电路来实现。处理单元110以公知的方式操作来执行计算机程序(本文也称为计算机程序逻辑)。这样的计算机程序的执行使得处理单元110执行包括将在此所述的操作在内的操作。易失性存储器112、非易失性存储器124、网络接口114、用户输入设备116、显示器118、扬声器120和传感器122中的每一者经由一个或多个合适的接口连接到处理单元110。
非易失性存储器124包括一个或多个计算机可读存储器设备，该一个或多个计算机可读存储器设备用于以持久的方式来存储计算机程序和数据，使得所存储的信息即使在终端用户计算设备102没有电力或处于关机状态时依然不丢失。可使用各种非易失性计算机可读存储器设备中的任何设备来实现非易失性存储器124，包括但不限于只读存储器(ROM)设备、固态驱动器、硬盘驱动器、磁存储介质(例如磁盘和相关联的驱动器)、光存储介质(例如光盘和相关联的驱动器)、以及闪存存储器设备(例如USB闪存驱动器)。
易失性存储器112包括一个或多个计算机可读存储器设备，该一个或多个计算机可读存储器设备用于以非持久的方式来存储计算机程序和数据，使得所存储的信息在终端用户计算设备102没有电力或处于关机状态时丢失。可使用各种易失性计算机可读存储器设备中的任何设备来实现易失性存储器112，包括但不限于，随机存取存储器(RAM)设备。
显示器118包括可以向其呈现诸如文本和图像之类的内容以使得它将对终端用户计算设备102的用户可见的设备。显示这样的内容所需要的呈现操作中的一些或全部可由处理单元110执行。呈现操作中的一些或全部也可以由耦合在处理单元110和显示器118之间的诸如视频或图形芯片或卡(在图1中未示出)之类的显示器设备接口来执行。取决于终端用户计算设备102的实现，显示器118可包括集成在与处理单元110相同的物理结构或外壳内的设备或可包括监视器、投影仪或与包括处理单元110的结构或外壳物理上分开并经由合适的有线和/或无线连接与该结构或外壳连接的其他类型的设备。
扬声器120包括响应于电音频信号产生声音的一个或多个电声换能器。扬声器120向终端用户计算设备的用户提供音频输出。产生由扬声器120接收的电音频信号所需的操作中的部分或全部可由处理单元110执行。这些操作中的部分或全部也可由诸如音频芯片或卡(未在图1中示出)之类的耦合在处理单元与扬声器120之间的音频接口来执行。取决于终端用户计算设备102的实现，扬声器120可包括集成在与处理单元100相同的物理结构或外壳内的设备，或者可包括外部扬声器，该外部扬声器与包括处理单元110的结构或外壳在物理上分开并经由合适的有线和/或无线连接与该结构或外壳连接。
用户输入设备116包括操作以响应于用户操纵或对其的控制生成用户输入信息的一个或多个设备。这样的用户输入信息通过到处理单元110的合适接口被传送以供对其进行处理。取决于实现，用户输入设备116可包括触摸屏(例如，与显示器118集成的触摸屏)、键盘、键区、鼠标、触摸垫、轨迹球、操作杆、定点杆、有线手套、运动跟踪传感器、游戏控制器或游戏垫、或者诸如相机之类的视频捕捉设备。然而，这些例子并不旨在进行限制，而用户输入设备116可以包括除以上所列举的以外的其它类型的设备。取决于实现，每个用户输入设备116可被集成在与处理单元110相同的物理结构或外壳内(诸如移动设备上的集成的触摸屏、触摸垫或键盘)，或与包括处理单元110的物理结构或外壳物理上分开并经由合适的有线和/或无线连接与该物理结构或外壳连接。
传感器122包括检测或感测物理刺激(诸如运动、光、热、声音、压力、磁性等)并生成所得信号(例如，用于测量或控制)的一个或多个设备。可被包括在终端用户计算设备102中的示例传感器122可包括但不限于加速度计、数字罗盘、陀螺仪、全球定位系统(GPS)传感器、与诸如触摸屏或键盘/键区之类的输入设备相关联的压力传感器、话筒和相机。由传感器122生成的信号可由处理单元110或终端用户计算设备102内的其它逻辑收集并处理以支持各种应用。
网络接口114包括使得终端用户计算设备102能够经由一个或多个网络104进行通信的一个或多个接口。例如，网络接口114可包括有线网络接口(诸如以太网接口)或无线网络接口(诸如IEEE 802.11(“Wi-Fi”)接口或3G电信接口)。然而，这些仅作为示例而并非旨在限制。
如在图1中进一步显示的，非易失性存储器124存储数个软件组件，包括多个应用126和一个操作系统128。
多个应用126中的每个应用包括计算机程序，终端用户计算设备102的用户可致使该计算机程序被处理单元110执行。每个应用的执行导致某些操作代表用户来执行，其中所执行的操作的类型将取决于应用如何被编程来变化。应用126可包括，例如但不限于，电话通讯应用、电子邮件应用、消息收发应用、Web浏览应用、日历应用、工具应用、游戏应用、社交联网应用、音乐应用、生产力应用、生活方式应用、参考应用、旅行应用、体育应用、导航应用、保健和健身应用、新闻应用、照片应用、财务应用、商业应用、教育应用、天气应用、书籍应用、医疗应用等。如图1中显示的，应用126包括数字个人助理130，其功能将在本文中被更加详细地描述。
取决于实现，应用126可用各种方式被分发到终端用户计算设备102和/或安装在终端用户计算设备102上。例如，在一个实施例中，至少一个应用从应用商店下载并被安装在终端用户计算设备102上。在其中终端用户设备102作为企业网络的一部分或与企业网络结合地使用的另一实施例中，至少一个应用被系统管理员使用各种企业网络管理工具中的任意工具分发到终端用户计算设备102并被安装在其上。在还一实施例中，至少一个应用由系统构建者(诸如由原始设备制造商(OEM)或嵌入式设备制造商)使用各种适当的系统构建者工具被安装在终端用户计算设备102上。在又一实施例中，操作系统制造商可包括应用以及被安装在终端用户计算设备102上的操作系统128。
操作系统128包括程序集，该程序集管理资源并提供用于在终端用户计算设备102上被执行的应用(诸如应用126)的共用服务。除了其他特征之外，操作系统128包括操作系统(OS)用户接口132。OS用户接口132包括操作系统128中生成用户界面的组件，通过该用户界面，用户可出于各种目的与操作系统128交互，各种目的诸如但不限于，寻找和启动应用、调用某个操作系统功能以及设定某些操作系统设置。在一个实施例中，OS用户接口132包括基于触摸屏的图形用户界面(GUI)，但这仅仅是一个示例。进一步根据这样的示例，被安装在终端用户计算设备102上的每个应用126可被表示为GUI内的图标或小块并可由用户通过与适当的图标或小块的触摸屏交互来调用。然而，各种各样的替换用户界面模型中的任意模型可被OS用户接口132使用。
虽然应用126和操作系统128被显示为被存储在非易失性存储器124中，但是可以理解，在终端用户计算设备102的操作期间，应用126、操作系统128或它们的各部分的副本可被加载到易失性存储器112并从中作为进程由处理单元110来执行。
数字个人助理130包括计算机程序，该计算机程序被配置成基于用户输入以及各特征来为终端用户计算设备102的用户执行任务或服务，各特征诸如位置感知以及访问来自包括在线源在内的各种各样的源的信息(诸如天气或交通情况、新闻、股价、用户日程、零售价格等)的能力。可被数字个人助理130代表用户执行的任务的示例可包括但不限于，拨打电话呼叫、启动应用、发送电子邮件或文本消息、播放音乐、在用户日历上安排会议或其它事件、获得到位置的路线、获得与体育事件相关联的比分、将内容张贴到社交媒体网站或微博服务、记录提醒或笔记、获得天气报告、获得当前时间、设置闹钟、获得股价、寻找附近的商业设施、执行因特网搜索等。数字个人助理130可使用各种人工智能技术中的任意一种来通过与用户持续的交互随着时间来改进其性能。数字个人助理130还可被称为智能个人助理、智能软件助理、虚拟个人助理等。
数字个人助理130被配置成提供用户界面，通过该用户界面，用户可提交问题、命令或其他口头输入，并且通过该用户界面，对这样的输入的响应或其它信息可被传递给用户。在一个实施例中，该输入可包括被终端用户计算设备102的一个或多个话筒捕捉的用户语音(这些话筒中的每一个可包括用户输入设备116或传感器122之一)，尽管这个示例并不旨在作为限制并且用户输入也可以其他方式来被提供。由数字个人助理130生成的响应可被使得以文本、图像或被显示在数字个人助理130的图形用户界面内的显示器118上的其他视觉内容的形式对用户可见。这些响应还可包括计算机生成的话音或经由扬声器120来回放的其他音频内容。
根据各实施例，数字个人助理130能够主动发起与终端用户计算设备102的用户的对话。如将在下文中讨论的，数字个人助理130被编程为在被数字个人助理130确定是适合发起对话的时间发起对话。为此，数字个人助理130利用与用户可用性和用户的精神或情绪状态有关的各种信号来确定特定时间是否适于开始对话。如果与用户可用性和/或精神和情绪状态有关的用户信号指示该特定时间适合启动对话，则数字个人助理130将尝试发起对话。然而，如果与用户可用性和精神或情绪状态有关的用户信号指示该特定时间不适合启动对话，则数字个人助理130将不会尝试发起对话。通过以此方式利用用户信号，数字个人助理130能够以不太可能被感知为恼人、侵入性或不及时的方式主动发起与用户的对话。
图2是可由数字个人助理130用来提供上述特征的主动对话系统200的框图。如图2所示，主动对话系统200包括对话发起逻辑202和对话内容生成逻辑204。对话发起理解202包括被配置成确定开始与用户的对话的合适时间并在这一合适时间尝试发起这一对话的逻辑。对话内容生成逻辑204包括被配置成一旦与用户的对话已被成功发起就生成数字个人助理130对这一对话的贡献的逻辑。这一对话可包括例如将经由显示器118向用户显示的文本、图像或其它视觉内容或者将经由扬声器120向用户回放的计算机生成的语音或其它音频内容。
在一个实施例中，主动对话系统200包括数字个人助理130的一部分。在另一实施例中，主动对话系统200包括数字个人助理后端106的一部分，并且与数字个人助理协同操作(例如，作为由数字个人助理130调用或以其他方式支持数字个人助理130的服务来操作)。在还有一些其它实施例中，构成主动对话系统200的逻辑可以按某种方式分布在数字个人助理130与数字个人助理后端106之间。
图3是解说根据一实施例的对话发起逻辑202的各种组件的框图。如图3所示，对话发起逻辑202包括用户可用性确定逻辑302、用户精神/情绪状态确定逻辑304以及对话开始时间确定逻辑306。现在将描述这些组件中的每一者。
用户可用性确定逻辑302是被配置成获取与用户在特定时间的可用性有关的一个或多个信号并处理这些信号以确定用户在该特定时间有空参加数字个人助理130发起的对话的可能性的逻辑。例如，用户可用性确定逻辑302可分析与用户的可用性有关的信号以确定用户是否忙于被不应被发起对话的尝试打扰的活动。可以与用户在特定时间的可用性有关的信号类型的各种示例将在以下章节III中讨论。
用户精神/情绪状态确定逻辑304是被配置成获取与用户在特定时间的精神和/或情绪状态有关的一个或多个信号并处理这些信号以确定用户在该特定时间处于适合参加数字个人助理130发起的对话的精神和/或情绪状态的可能性的逻辑。例如，用户精神/情绪状态确定逻辑304可分析与用户的精神和/或情绪状态有关的信号以确定用户是否处在响应数字个人助理130发起对话的尝试的正确心情或心境。可以与用户在特定时间的精神和/或情绪状态有关的信号类型的各种示例将在以下章节III中讨论。
对话开始时间确定逻辑306是被配置成接收由用户可用性确定逻辑302和用户精神/情绪状态确定逻辑304呈现的可能性判定并分析这些可能性判定以确定数字个人助理130是否应在特定时间点尝试发起与用户的对话的逻辑。例如，对话开始时间确定逻辑306可被配置成准许数字个人助理130只在存在用户有空的相对较高可能性以及用户处在适合进行这一对话的精神和/或情绪状态的相对较高可能性的情况下发起与该用户的对话。可使用基于用户可用性确定逻辑302和用户精神/情绪状态确定逻辑304的输出来决定何时能发起对话的其它方法。
III.利用用户信号来确定主动发起与用户的对话的合适时间的数字个人助理的示例操作方法
关于数字个人助理130和主动对话系统200的操作方式的附加细节现在将参考图4和图5来提供。具体而言，图4描绘了可由数字个人助理130或代表数字个人助理130执行的用于主动发起与用户的对话的方法的流程图400。流程图400的方法可以例如由如以上参考图2讨论的主动对话系统200执行，该主动对话系统200自身可包括如以上参考图1描述的数字个人助理130和/或数字个人助理后端106的一部分。因此，流程图400的方法现在将继续参考图2的主动对话系统200来描述。然而，该方法不限于该实现。
如图4所示，流程图400的方法开始于判定步骤402，其中对话发起逻辑202确定特定时间(例如，当前时间或某一将来时间)是否适于主动启动与用户的对话。如果对话发起逻辑202确定该特定时间不适于启动与用户的对话，则对话发起逻辑202将不会在该特定时间尝试发起与用户的对话，并且该过程如图所示地结束于步骤404。然而，如果对话发起逻辑202确定该特定时间适于启动与用户的对话，则对话发起逻辑202将在该特定时间尝试发起与用户的对话，以使得控制将流转至步骤406。对话发起逻辑202可用于确定特定时间是否适于主动启动与用户的对话的各种技术现在将参考图5的流程图500来描述。
在步骤406，对话发起逻辑202尝试发起与用户的对话。在一实施例中，该步骤可包括询问用户以确定他/她是否有空进行对话和/或愿意进行对话。例如，在该步骤期间，对话发起逻辑202可使数字个人助理130询问用户(将假定该用户的名字是Anna)：“嗨Anna。你在吗？”或者“嗨Anna，你有空吗？”或者旨在确定该用户是否有空并愿意进行对话的某一其它问询。这一问询可经由扬声器120可听地生成、经由呈现给显示器118的文本可视地生成，或两者兼而有之。
在判定步骤408，对话发起逻辑202确定已经接收到对在步骤406期间发出的问询的肯定还是否定应答。肯定应答可包括来自用户的指示对话意愿的任何应答，而否定应答可包括来自用户的指示该用户不想对话的任何应答。例如，对问询“嗨Anna。你在吗？”的肯定应答可包括用户话语“我在”。或者“是的。怎么了？”，而对同一问询的否定应答可包括用户话语“不”或者“现在不行”。此外，在某一预定时间帧内缺少任何用户应答也可被认为是否定应答。相关领域技术人员将容易地认识到什么包括肯定或否定应答可取决于问询和实现而变化。
如果对话发起逻辑202确定用户应答是否定的，则对话发起逻辑202将终止与用户的交互，如在步骤410示出的。然而，如果对话发起逻辑202确定用户应答是肯定的，则控制流转到步骤412。
在步骤412，对话内容生成逻辑204选择对话主题。在一实施例中，该功能由一算法执行，该算法考虑用户的当前事件集合和已知兴趣集合中的一者或多者以选择将很有可能是用户感兴趣的主题。当前事件可被存储在对话内容生成逻辑204可访问的一个或多个第一数据库中，而用户兴趣可被存储在对话生成逻辑204可访问的一个或多个第二数据库中。例如，对话内容生成逻辑204可通过从第一数据库中标识以某种方式与存储在第二数据库中的用户兴趣有关的当前事件来选择对话主题。然而，这仅仅是示例，并且相关领域技术人员将认识到可使用各种各样的方法来选择对话主题。
在步骤414，对话内容生成逻辑204发起与用户的关于在步骤412期间选择的对话主题的对话。在一实施例中，该步骤包括基于在步骤412期间选择的对话主题来生成对话主题字符串并将该对话主题字符串呈现给用户。这一对话主题字符串可经由扬声器120可听地回放、作为文本呈现给显示器118，或两者兼而有之。对话主题字符串可包括例如鼓励用户参与对话的问题。这一对话的目标可以是通过启动关于该用户的兴趣的对话来使用户高兴以及更多地了解用户。例如，如果用户Anna对橄榄球感兴趣是已知的，则对话主题字符串可以是“Anna，你看了包装工队的比赛吗？”。这一问题可用于确定Anna是否是包装工队的粉丝。
在步骤414后，用户可能对或可能不对初始对话主题字符串作出应答。如果用户应答，则对话内容生成逻辑204进而可生成应答，以产生数字个人助理130与用户之间的多轮对话。对话也可能由于缺少用户应答、来自用户的否定反馈或基于其它因素而终止。
图5描绘了对话发起逻辑202可用于执行流程图400的判定步骤402(即，确定特定时间是否是尝试发起与用户的对话的合适时间)的方法的流程图500。尽管流程图500的方法将继续参考对话发起逻辑202来描述，但该方法不限于这一实现。
如图5所示，流程图500的方法开始于步骤502，其中对话发起逻辑202获取与用户可用性有关的一个或多个第一信号。例如，对话发起逻辑202内的用户可用性确定逻辑302可获取与用户可用性有关的一个或多个第一信号并分析这些信号以确定用户在该特定时间有空进行对话的可能性。
在步骤504，对话发起逻辑202获取与用户的精神和/或情绪状态有关的一个或多个第二信号。例如，对话发起逻辑202内的用户精神/情绪状态确定逻辑304可获取与用户的精神和/或情绪状态有关的一个或多个第二信号并分析这些信号以确定用户在该特定时间处于适合参加对话的精神和/或情绪状态的可能性。
在步骤506，对话发起逻辑202至少基于在步骤502期间获取的第一信号以及在步骤506期间获取的第二信号来确定该特定时间是否是尝试发起与用户的对话的合适时间。例如，对话发起逻辑202内的对话开始时间确定逻辑306可通过以下操作来执行该步骤：(1)从用户可用性确定逻辑302接收对用户在该特定时间有空进行对话的可能性的度量，该度量基于第一信号；(2)从用户精神/情绪状态确定逻辑304接收对用户在该特定时间处于适合参加对话的精神和/或情绪状态的可能性的度量，该度量基于第二信号；以及(3)分析这些可能性度量以确定数字个人助理130是否应在特定时间点尝试发起与用户的对话。例如，对话开始时间确定逻辑306可以只准许数字个人助理130在存在用户有空的相对较高可能性以及用户处在适合进行这一对话的精神和/或情绪状态的相对较高可能性的情况下发起与该用户的对话。
在上述描述中，假定关于特定时间对于启动对话的适当性的最终判定以两个先前判定－关于用户可用性的一个判定以及关于用户的精神和/或情绪状态的一个判定为前提。然而，在一替代实施例中，第一信号和第二信号中的全部可被一起考虑以呈现关于该特定时间是否合适的一个判定。根据这一实现，用户可用性确定逻辑302可以只用于获取第一信号并将其传递至对话开始时间判定逻辑306，用户精神/情绪状态确定逻辑304可以只用于获取第二信号并将其传递至对话开始时间确定逻辑306，且对话开始时间确定逻辑306可直接分析这些信号以确定该特定时间是否适合尝试发起与用户的对话。
还注意，在某些实施例中，可以只分析一组信号(例如，仅第一信号或仅第二信号)以确定特定时间是否适合尝试发起与用户的对话。此外，可使用加权来相对于其它信号增加或减少某些信号对可用性判定、精神/情绪状态判定或关于特定时间是否适合尝试启动对话的最终判定的贡献。对话开始时间确定逻辑306还可以向由用户可用性确定逻辑302生成的可用性判定以及向由用户精神/情绪状态确定逻辑304生成的精神/情绪状态判定应用不同的权重。
在步骤508，如果对话发起逻辑202确定特定时间是发起与用户的对话的合适时间，则对话发起逻辑202尝试发起与该用户的对话。例如，对话发起逻辑202可使用先前参考如以上参考图4描述的流程图400的步骤412和414描述的任一种方法来尝试发起与用户的对话，但可使用其它方法。
现在将描述可用于确定用户可用性以及用户精神和/或情绪状态的各种类型的信号。取决于信号类型，信号可由终端用户计算设备102在本地获取或者从包括但不限于构成数字个人助理后端106的计算机的远程实体获取。在描述了各种信号类型后，还将提供对所使用的信号类型如何可随上下文而异的描述以及对如何可使用机器学习器来实现实施例的描述。
A.与用户可用性有关的信号
现在将提供对可由对话发起逻辑202访问并由此用来帮助确定用户是否在特定时间有空进行对话的信号的示例性且非限制性描述。下述信号可用于推断出用户何时被占用以使得他或她不太可能有空参加对话以及用户何时未被占用以使得他或她很有可能有空参加对话。
用户日历信息：对话发起逻辑202或许能够访问本地地存储在终端用户计算设备102上的用户日历数据(例如，与安装在终端用户计算设备102上的日历应用相关联的数据)或者可经由网络接口114访问远程存储的用户日历数据以确定用户是否有空。这一日历信息可提供关于用户何时被占用或未被占用的显式指导。
用户日常习惯：用户活动可由数字个人助理130和/或其可访问的服务或实体来随时间跟踪以获取关于用户日常惯例或习惯的信息。这些日常习惯然后可用于推断出用户何时可能忙碌或未被占用。例如，通常被认为是用户的停工时间的时间可被认为适合尝试发起对话。
当前用户活动：由传感器122或终端用户计算设备102的其它组件获取的数据可用于确定用户是否参与不应被打扰的一种活动。例如，加速度计数据可用于确定用户是否正在高速驾驶。话筒输入可指示用户正在与另一个人对话或以其他方式陪伴另一个人。可分析终端用户计算设备102上的应用、输入/输出、网络和/或操作系统活动以确定用户是否正在该设备上执行某些活动，诸如工作(例如，撰写文档)、与其他人通信(例如，撰写和/或答复电子邮件或文本消息)、进行电话呼叫或电话会议、观看视频或收听音乐。
可以在“聚焦”和“非聚焦”活动之间做出区分，“非聚焦”活动是更容易被打扰的活动。例如，在用户正在观看按次付费的电影的情况下用户看电视可被认为是“聚焦”的，并且在他们正在看频道指南、频道预览或观看广告的情况下可被认为是“非聚焦”的。这仅仅是一些示例，且各种各样的因素中的任一个因素可用于确定特定活动是聚焦的还是非聚焦的，这取决于实现和活动类型。
B.与用户的精神和/或情绪状态有关的信号
现在将提供对可用于帮助确定用户在特定时间的精神和/或情绪状态的信号的示例性且非限制性描述。下述信号可用于确定用户何时处于适合参加由数字个人助理130主动发起的对话的精神和/或情绪状态。
用户脸部表情。可获取(例如由被包括在终端用户计算设备102内的至少一个相机)并分析用户脸部表情以帮助确定用户的当前精神和/或情绪状态。例如，可分析用户脸部表情以标识可能指示这不是发起对话的坏时间的新近压力或疲劳征兆。然而，如果用户脸部表情指示他或她是平静且放松的，则这可指示这是发起对话的好时间。
用户语音。可获取(例如由被包括在终端用户计算设备102内的至少一个话筒)并分析用户的语音样本以帮助确定用户的当前精神和/或情绪状态。例如，如果检测到用户的声带收缩或者如果用户的语音以其它方式展示出激动，则这可指示该用户处于压力之下。作为另一示例，如果用户语音的音调变得更高，则这可指示快乐。作为又一示例，使用单调的语调可指示忧愁。可分析用户语音的其它特征以帮助确定用户的精神和/或情绪状态。
用户位置。可以从GPS传感器或从存在于终端用户计算设备102上或以其它方式是该终端用户计算设备102可访问的某一其它位置确定组件或服务获取用户位置。可实现能标识其中用户往往处于某一精神或情绪状态的位置的算法。例如，这一算法可用于标识其中用户往往是开心或放松的或者其中用户往往是忧愁或经历压力的位置。通过利用关于用户位置的信息，然后可确定用户是否正在接近或处在其中他将处于那些精神或情绪状态之一的位置。
用户打开和关闭移动设备的速率。在其中终端用户计算设备102是移动设备(诸如智能电话)的实施例中，可通过分析用户有多频繁地打开和关闭移动设备来获取关于用户的精神和/或情绪状态的信息。例如，如果用户以相对较高的速率打开和关闭移动设备，则这可指示用户处于压力下。
键击和姿势元数据。在其中终端用户计算设备102包括或连接到键盘、键区或其上用户可键入的其它输入设备的实施例中，可分析用户的键入速度以确定该用户的精神和/或情绪状态。例如，如果用户的键入速度相对较高，则这可指示该用户是激动的或在压力下。类似地，用户轻击或挥击触敏屏的速度可用于帮助确定用户的精神和/或情绪状态。还可分析键击或姿势中的出错速率以确定精神和/或情绪状态。
在其中终端用户计算设备102包括或连接到压敏输入设备(诸如压敏键盘、键区或触敏屏)的实施例中，可监视用户在使用这一输入设备时(即，当在键盘或键区上键入或轻击或挥击触敏屏时)施加的压力量以帮助确定该用户的精神和/或情绪状态。例如，相对较高的压力水平可指示用户处在压力下。对于触敏屏和电容式鼠标，还可考虑接触区域。
对用户的书面或口头内容的分析。可分析用户生成的书面内容(例如，用户输入到终端用户计算设备102中的文本)或用户生成的口头内容(例如，终端用户计算设备102的话筒捕捉到的口头内容)以帮助确定用户的精神或情绪状态。例如，对某些单词的使用可指示用户处于积极或消极心态。另外，用户包括在书面文本中的标点符号的量和类型可指示他/她的精神和/或情绪状态。例如，使用相对较大数量的感叹号可指示用户开心。可以对用户说出或手写的文字内容应用其它分析技术以帮助确定用户的精神和/或情绪状态。
应用交互元数据。可分析用户与其交互的应用类型以及这一交互的方式以帮助确定该用户的精神和/或情绪状态。例如，可监视并使用用户在安装在终端用户计算设备102上的不同应用之间切换上下文的频率来帮助确定该用户的精神和/或情绪状态。例如，相对较高的切换频率可指示用户处在压力下，而相对较低的切换频率可指示相反状态。
作为另一示例，用户花费在应用中的时间量可指示其精神和/或情绪状态。例如，如果用户花费相对较长的时间在社交媒体应用(如FACEBOOK)，则这可指示用户是无聊的。另一方面，如果用户花费相对较长的时间在电子邮件应用，则这可指示该用户是极度注意力集中的。
可分析在使用应用时用户观看或阅读相对于键入或作姿势的程度以确定该用户的精神和/或情绪状态。
可分析由用户经由媒体应用播放的音乐或视频以及与这一音乐或视频相关联的元数据以确定该用户的精神和/或情绪状态。
加速度计、罗盘和/或陀螺仪输出。用户的移动速度可以从终端用户计算设备102内的加速度计获取并用于帮助确定该用户的精神和/或情绪状态。例如，可以确定用户在处于移动中的车辆中时通常比在走路时处在更多的压力下。如由罗盘提供的用户的行进方向以及如由陀螺仪确定的用户的定向也可被用来确定该用户的精神和/或情绪状态。
曝光。可使用终端用户计算设备102内的环境光传感器或其它合适的传感器来确定用户已经曝光多久以及用户已被暴露给多少光。这一传感器也可被用来确定一年中的时间、用户在室内还是室外、白天还是晚上或甚至用户的维他命D水平。该信息可用于帮助确定用户的精神和/或情绪状态。
温度。终端用户计算设备102内的温度计可用于确定如一年中的时间、用户在室内还是室外等的事物。这一信息可用于帮助确定用户的精神和/或情绪状态。
天气状况、交通状况、污染水平和过敏水平。可使用天气应用和/或一个或多个传感器(例如，温度计、环境光传感器等)来确定用户正在经历的天气状况。该信息然后可用于帮助确定用户的精神和/或情绪状态。例如，可以确定用户在外面晴天时更有可能开心且在阴天或下雨时更有可能忧愁。还可获取关于交通状况、污染水平和过敏水平的信息，并且该信息也可用于帮助确定用户的精神和/或情绪状态。
用户的活动水平。用户活跃程度可通过监视用户的日历，跟踪用户在整天中的移动或经由某一其它机制来确定。该信息然后可用于帮助确定用户的精神和/或情绪状态。例如，如果确定用户已花费一天中的很多时间来开会，则这可指示用户很有可能疲劳。
心律、心律变异性和皮电活动。终端用户计算设备102内所包括的相机可用于分析用户的肤色以确定血液流动以便测量用户的心律和/或心律变异性。这一信息然后可用于帮助确定用户的精神和/或情绪状态。另外，计算设备102的合适传感器可用于测量皮电活动(EDA)，该EDA是用户皮肤的电属性的自主变化。这样的EDA测量可用于确定用户的精神和/或情绪状态。为了获取这一数据，可以在用户触摸的输入设备上或者在很有可能被用户拿握的计算设备102的外壳(例如，诸如电话的边缘或背面)上包括电极。可使用用于获取EDA数据的其它方法。
设备/网络连接信息。可监视由终端用户计算设备102建立的蓝牙、WiFi、蜂窝或其它连接以帮助确定用户的精神和/或情绪状态。例如，用户连接到诸如健康相关可穿戴设备、游戏设备或音乐设备之类的某些其它设备的事实可帮助确定该用户的心情。作为另一示例，确定用户连接到公司网络或家庭网络可用于确定用户在工作还是在家。作为又一示例，用户连接到的蜂窝网络可提供关于用户当前位于何处的线索(例如，是否在不同国家)。
电池/充电信息。终端用户计算设备102的当前电池水平以及它是否处于充电状态也可用于确定用户的精神和/或情绪状态。例如，如果终端用户计算设备102连接到充电器，则这可指示用户很有可能在附近聚焦于另一事物(例如，在家)。然而，如果电池为低且时间晚了，则这可指示用户更有可能疲劳且外出。
C.基于上下文的用户信号分析
在一些实施例中，在确定用户可用性或精神和/或情绪状态时考虑的用户信号的类型在至少某种程度上可取决于用户的当前上下文。为了帮助展示出该上下文，以下将提供可以与(a)在示例用户Anna正在驾驶她的汽车时以及(b)在Anna在家时确定Anna的可用性和/或精神或情绪状态有关的用户信号的示例性且非限制性列表。某些用户信号在这两个上下文中都适用，而某些用户信号只在特定上下文中有用。
Anna正在驾驶。当Anna正在驾驶时，以下用户信号可用于确定Anna的可用性和/或精神或情绪状态：汽车中是否有另一个人与Anna在一起；沿着Anna的驾驶路线的交通如何；Anna当前是否正在用电话交谈或输入文本(例如，Anna最近是否已发送或接收文本消息)；Anna正在收听音乐还是收听新闻；Anna是否正在从她的移动设备上流传输音乐或播客；Anna是否正在使用GPS来进行主动导航；汽车正在移动还是停止；汽车移动的速度；一天中的时间(例如，早晨或傍晚高峰时段还是深夜)；以及当前天气状况。
Anna在家。当Anna在家时，以下用户信号可用于确定Anna的可用性和/或精神或情绪状态：Anna一个人还是与其它人在一起；Anna正站着、坐着还是躺着(例如，如从陀螺仪数据中确定的)；Anna是否正在打鼾或发出指示她正在睡觉的其它声音；Anna是否正在观看电视或电影或者玩视频游戏；正在电视上观看的内容类型(例如，轻娱乐还是新闻)；是否正在以聚焦方式看电视或者Anna是否在看电视时进行多任务处理；Anna在家时在类似时间的过往行为(例如，Anna通常在晚上7点和8点之间在她的手机上打发时间)；Anna是否已长时间工作(例如，在与Anna是内向的事实联系在一起的情况下这可意味着Anna应该独处，而在与Anna是外向的事实联系在一起的情况下这可意味着Anna愿意接受关于某种与人相关活动的建议)；Anna是否正在进行频道预览；以及Anna是否正在寻找某物(无论它是否可能在因特网上)、浏览音乐服务或者搜索游戏库。
D.基于机器学习的实现
在一实施例中，机器学习可用于确定用户信号集合中的哪一个用户信号对于确定用户的精神和/或情绪状态是最有用的。例如，可以向测试人群提供能够收集用户信号(诸如在以上子章节中描述的任一个或所有用户信号)的设备(例如，类似于终端用户计算设备102的设备)。测试人群中的用户然后可随时间使用这些设备，同时间歇性地自我报告其精神和/或情绪状态。机器学习器然后将这些用户信号以及自我报告的精神和/或情绪状态取作训练输入，并对这些数据进行相关以确定哪些用户信号最能确定特定精神或情绪状态。被标识为能确定(或最能确定)特定精神或情绪状态的用户信号然后可被包括在精神/情绪状态确定算法中，该精神/情绪状态确定算法然后被包括在分发给普通人群的终端用户计算设备上。
在上述示例中，机器学习器是由测试人群训练的。在另一实施例中，机器学习器可作为数字个人助理130的一部分来包括或与数字个人助理130协同使用，并且基于特定用户的活动来训练以定制用于确定该特定用户的精神和/或情绪状态的信号集合。根据这一实施例，用户可开始于用于确定精神和/或情绪状态(可通过用来自如上所述的测试人群的数据训练机器学习器来获取)的“默认”或“通用”算法。然而，随着时间的流逝，用户信号将由用户的设备收集以及关于该用户自己的精神和/或情绪状态的间歇性输入。后一输入可基于特定用户信号集合来推断或者由用户显式地提供。用户信号以及关于用户的精神和/或情绪状态的输入作为训练数据被提供给机器学习器。机器学习器可使用训练数据来从目前开始更好地对将用于标识用户的精神和/或情绪状态的各种用户信号进行标识和加权。由此，用于确定用户的精神和/或情绪状态的算法可被针对用户的特定特性和偏好以及针对他/她表达情绪的特定方式来调整。还可跟踪这些特性、偏好和表达的变化。
尽管上文提及机器学习作为标识将用于确定用户的精神和/或情绪状态的信号集合的一种方式，但这不旨在是限制性的。如相关领域技术人员将容易地领会的，可使用各种其它方法来标识此类信号并处理此类信号以确定精神和/或情绪状态。这些方法可利用从各测试组或者从用户在实际使用其设备时获取的数据来执行。
IV.示例移动设备实现
图6是可被用于实现如以上参考图1描述的终端用户计算设备102的示例性移动设备602的框图。如图6中显示的，移动设备602包括各种任选的硬件和软件组件。移动设备602中的任何组件可与任何其他组件通信，但出于容易例示的目的而未示出所有连接。移动设备602可以是各种计算设备(例如，蜂窝电话、智能电话、手持式计算机、个人数字助理(PDA)等)中的任一个，并且可允许与诸如蜂窝或卫星网络的一个或多个移动通信网络604或与局域网或广域网进行无线双向通信。
图示的移动设备602可以包括用于执行任务的控制器或处理器610(例如，信号处理器、微处理器、ASIC或者其他控制和处理逻辑电路)，所述任务诸如信号编码、数据处理、输入/输出处理、功率控制、和/或其他功能。操作系统612可控制对移动设备602的分配和使用，并支持一个或多个应用程序614(也称为“应用”、“app”等)。应用程序614可包括公共移动计算应用程序(例如，电子邮件、日历、联系人、web浏览器、消息收发应用)和任何其他计算应用(例如字处理、地图、媒体播放器应用)。在一个实施例中，应用程序614包括数字个人助理130。
图示的移动设备602可以包括存储器620。存储器620可以包括不可移动存储器622和/或可移动存储器624。不可移动存储器622可包括RAM、ROM、闪存、硬盘、或其他众所周知的存储器设备或技术。可移动存储器624可包括闪存或在GSM通信系统中公知的用户身份模块(SIM)卡，或者其他诸如“智能卡”之类的公知存储器设备或技术。存储器620可用于存储数据和/或用于运行操作系统612和应用614的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其它设备的网页、文本、图像、声音文件、视频数据、或其它数据集。存储器620可用于存储诸如国际移动订户身份(IMSI)等订户标识符，以及诸如国际移动设备标识符(IMEI)等设备标识符。这种标识符可以被发射至网络服务器以标识用户和设备。
移动设备602可支持诸如触摸屏632、话筒634、相机636、物理键盘638和/或跟踪球640的一个或多个输入设备630，以及诸如扬声器652和显示器654的一个或多个输出设备650。诸如触摸屏632等触摸屏可以不同方式检测输入。例如，电容式触摸屏在物体(例如，指尖)使流过表面的电流变形或中断时检测到触摸输入。作为另一示例，触摸屏可使用光学传感器，在来自光学传感器的光束被中断时检测到触摸输入。对于通过某些触摸屏被检测到的输入来说，与屏幕表面的物理接触并不是必需的。
其他可能的输出设备(未示出)可以包括压电或其他触觉输出设备。一些设备可以用于多于一个输入/输出功能。例如，触摸屏632和显示器654可被组合在单个输入/输出设备中。输入设备630可以包括自然用户界面(NUI)。
无线调制解调器660可被耦合到天线(未示出)，并可支持处理器610和外部设备之间的双向通信，如本领域中清楚理解的。调制解调器660被一般性地示出，并且可以包括用于与移动通信网络604通信的蜂窝调制解调器666和/或其它基于无线电的调制解调器(例如蓝牙664和/或Wi-Fi 662)。无线调制解调器660的至少之一通常被配置用于与一个或多个蜂窝网络(诸如，用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的GSM网络)进行通信。
移动设备602可进一步包括至少一个输入/输出端口680、电源682、卫星导航系统接收机684，诸如全球定位系统(GPS)接收机、加速度计686(以及其它传感器，包括但不限于罗盘和陀螺仪)和/或物理连接器690，它可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。所示的移动设备602的各组件并非是必需或者涵盖全部的，因为如本领域技术人员所理解地，任何组件可不存在且附加地其它组件可存在。
在一个实施例中，移动设备602的某些组件被配置为执行在先前章节中所述的归属到数字个人助理130的操作。用于执行如上所述的归属到数字个人助理130的操作的计算机程序逻辑可被存储在存储器620中并由处理器610执行。通过执行这种计算机程序逻辑，可使得处理器610实现上面参考图1描述的数字个人助理130的任何特征。同样，通过执行这种计算机程序逻辑，可使得处理器610执行图4和5中描绘的任何或全部流程图中的任何或全部步骤。
V.示例计算机系统实现
图7描绘了可以被用来实现本文描述的各实施例的示例性的基于处理器的计算机系统700。例如，计算机系统700可被用于实现终端用户计算设备102或任何被用于实现如以上参考图1所描述的数字个人助理后端106的计算机。计算机系统700还可被用于实现在图4和5中描绘的任何或全部流程图中的任何或全部步骤。此处所提供的对计算机系统700的描述只是为了说明，并不是限制性的。各实施例也可以在相关领域的技术人员所知的其它类型的计算机系统中实现。
如图7所示，计算机系统700包括处理单元702、系统存储器704，以及将包括系统存储器704的各种系统组件耦合到处理单元702的总线706。处理单元702可包括一个或多个微处理器或微处理器核心。总线706表示若干类型的总线结构中的任何一种总线结构的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口，以及处理器或使用各种总线体系结构中的任何一种的局部总线。系统存储器704包括只读存储器(ROM)708和随机存取存储器(RAM)710。基本输入/输出系统712(BIOS)储存在ROM 708中。
计算机系统700还具有一个或多个以下驱动器：用于读写硬盘的硬盘驱动器714、用于读或写可移动磁盘718的磁盘驱动器716、以及用于读或写诸如CD ROM、DVD ROM、蓝光TM盘或其他光介质之类的可移动光盘722的光盘驱动器720。硬盘驱动器714、磁盘驱动器716，以及光驱动器720分别通过硬盘驱动器接口724、磁盘驱动器接口726，以及光盘驱动器接口728连接到总线706。驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失存储器。虽然描述了硬盘、可移动磁盘和可移动光盘，但是，也可以使用诸如闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等等之类的其他类型的计算机可读存储设备和存储结构来储存数据。
数个程序模块可被储存在硬盘、磁盘、光盘、ROM或RAM上。这些程序模块包括操作系统730、一个或多个应用程序732、其他程序模块734以及程序数据736。根据各实施例，这些程序模块可包括处理单元702可执行来执行以上参考图1来描述的终端用户计算设备102或被用于实现数字个人助理后端106的任何计算机的任何或所有功能和特征的计算机程序逻辑。程序模块还可包括当被处理单元702执行时执行参考图4和5的流程图示出或描述的任何步骤或操作的计算机程序逻辑。
用户可以通过诸如键盘738和定点设备740之类的输入设备向计算机系统700中输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏控制器、扫描仪等等。在一个实施例中，结合显示器744提供触摸屏以允许用户通过向触摸屏上的一个或多个点施加触摸(例如通过手指或指示笔)来提供用户输入。这些及其他输入设备常常通过耦合到总线706的串行端口接口742连接到处理单元702，但是，也可以通过其他接口，诸如并行端口、游戏端口、通用串行总线(USB)端口，来进行连接。这样的接口可以是有线或无线接口。
显示器744还通过诸如视频适配器746之类的接口连接到总线706。除了显示器744之外，计算机系统700还可包括其他外围输出设备(未示出)，比如扬声器和打印机。
计算机系统700通过网络接口或适配器750、调制解调器752或其它用于在网络上建立通信的装置连接到网络748(例如，局域网或诸如因特网之类的广域网)。调制解调器752(可以是内置的或外置的)通过串行端口接口742连接到总线706。
如此处所用的，术语“计算机程序介质”、“计算机可读介质”以及“计算机可读存储介质”被用于泛指存储设备或存储结构，诸如与硬盘驱动器714相关联的硬盘、可移动磁盘718、可移动光盘722，以及其他存储器设备或存储结构，诸如闪存卡、数字视频盘、随机读取存储器(RAM)、只读存储器(ROM)等。这些计算机可读存储介质与通信介质(不包括通信介质)相区别且不重叠。通信介质通常在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或者其它数据。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括无线介质，如声学、RF、红外和其它无线介质。实施例也针对这些通信介质。
如上文所指示的，计算机程序和模块(包括应用程序732及其他程序模块734)可被储存在硬盘、磁盘、光盘、ROM或RAM上。这样的计算机程序也可以通过网络接口750、串行端口接口742或任何其他接口类型来接收。这样的计算机程序，当由应用执行或加载时，使得计算机系统700能实现此处所讨论的本发明的实施例的特征。因此，这样的计算机程序表示计算机系统700的控制器。
实施例还涉及包括存储在任何计算机可用介质上的软件的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使数据处理设备如此处所描述的那样操作。本发明的各实施例使用现在已知的或将来已知的任何计算机可使用或计算机可读介质。计算机可读介质的示例包括，但不仅限于，诸如RAM、硬盘驱动器、软盘、CD ROM、DVDROM、zip磁盘、磁带、磁存储设备、光存储设备、MEM、基于纳米技术的存储设备等等之类的存储设备和存储结构。
在替换的实现中，计算机系统700可被实现为硬件逻辑/电子线路或固件。根据进一步实施例，这些组件中的一个或多个可被实现在片上系统(SoC)中。SoC可包括集成电路芯片，该集成电路芯片包括以下一个或多个：处理器(如微控制器、微处理器、数字信号处理器(DSP)等等)、存储器、一个或多个通信接口、和/或用于执行其功能的进一步的电路和/或嵌入的固件。
VI.结语
虽然以上描述了不同的实施例，但应当理解的是它们只是作为示例而非限制。对于相关领域的技术人员显而易见的是，可以对其做出各种改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (17)

1.一种由在至少一个计算设备上实现的数字个人助理执行的方法，包括：
获取与用户的可用性有关的一个或多个第一信号；
获取与所述用户的精神或情绪状态有关的一个或多个第二信号；
至少基于所述第一信号和所述第二信号来确定特定时间是否是尝试发起与所述用户的对话的合适时间；以及
响应于确定所述特定时间是尝试发起与所述用户的对话的合适时间：
询问所述用户以确定他或她是否有空进行对话；以及
响应于接收到对该询问的肯定应答，选择对话主题并发起与所述用户的关于所选对话主题的对话。
2.如权利要求1所述的方法，其特征在于，所述第一信号包括以下一者或多者：
与所述用户相关联的日历信息；
与所述用户相关联的日常习惯信息；以及
与所述用户的当前活动相关联的信息。
3.如权利要求1所述的方法，其特征在于，所述第二信号包括以下一者或多者：
所述用户的脸部表情；
所述用户的语音特性；
所述用户的位置；
所述用户打开和关闭移动设备的速率；
与所述用户相关联的键击和/或姿势元数据；
所述用户的书面和/或口头内容；
与所述用户相关联的应用交互元数据；
加速度计、罗盘和/或陀螺仪输出；
曝光度；
温度；
天气状况；
交通状况；
污染和/或过敏水平；
所述用户的活动水平；
所述用户的心律和心律变异性；
所述用户的皮电活动；
关于与所述用户相关联的设备的设备和/或网络连接信息；以及
关于与用户相关联的设备的电池和/或充电信息。
4.如权利要求1所述的方法，其特征在于，所述第二信号包括被机器学习器标识为能确定所述用户的精神或情绪状态的一个或多个信号。
5.如权利要求4所述的方法，其特征在于，所述机器学习器由测试人群和所述用户中的一者或多者来训练。
6.如权利要求1所述的方法，其特征在于，选择所述对话主题包括：
基于所述用户的当前事件集合和兴趣集合中的一者或多者来选择所述对话主题。
7.一种用于数字个人助理的系统，包括：
至少一个处理器；以及
存储供所述至少一个处理器执行的计算机程序的存储器，所述计算机程序包括被配置成当由所述至少一个处理器执行时执行各操作的一个或多个组件，所述一个或多个组件包括：
数字个人助理，其被配置成获取与用户的可用性有关的一个或多个第一信号，获取与所述用户的精神或情绪状态有关的一个或多个第二信号，至少基于所述第一信号和所述第二信号来确定特定时间是否是尝试发起与所述用户的对话的合适时间，以及响应于确定所述特定时间是尝试发起与所述用户的对话的合适时间：
询问所述用户以确定他或她是否有空进行对话；
以及响应于接收到对该询问的肯定应答，选择对话主题并发起与所述用户的关于所选对话主题的对话。
8.如权利要求7所述的系统，其特征在于，所述第一信号包括以下一者或多者：
与所述用户相关联的日历信息；
与所述用户相关联的日常习惯信息；以及
与所述用户的当前活动相关联的信息。
9.如权利要求7所述的系统，其特征在于，所述第二信号包括以下一者或多者：
所述用户的脸部表情；
所述用户的语音特性；
所述用户的位置；
所述用户打开和关闭移动设备的速率；
与所述用户相关联的键击和/或姿势元数据；
所述用户的书面和/或口头内容；
与所述用户相关联的应用交互元数据；
加速度计、罗盘和/或陀螺仪输出；
曝光度；
温度；
天气状况；
交通状况；
污染和/或过敏水平；
所述用户的活动水平；
所述用户的心律和心律变异性；
所述用户的皮电活动；
关于与所述用户相关联的设备的设备和/或网络连接信息；以及
关于与用户相关联的设备的电池和/或充电信息。
10.如权利要求7所述的系统，其特征在于，所述第二信号包括被机器学习器标识为能确定所述用户的精神或情绪状态的一个或多个信号。
11.如权利要求10所述的系统，其特征在于，所述机器学习器由测试人群和所述用户中的一者或多者来训练。
12.如权利要求7所述的系统，其特征在于，所述数字个人助理被配置成基于所述用户的当前事件集合和兴趣集合中的一者或多者来选择所述对话主题。
13.一种计算机可读介质，其上记录有计算机程序，所述计算机程序在由至少一个处理器执行时使所述至少一个处理器执行一种操作数字个人助理的方法，所述方法包括：
从由用户操作的移动设备获取与所述用户的可用性有关的一个或多个第一信号；
从所述移动设备获取与所述用户的精神或情绪状态有关的一个或多个第二信号；
至少基于所述第一信号和所述第二信号来确定特定时间是否是尝试发起与所述用户的对话的合适时间；以及
响应于确定所述特定时间是尝试发起与所述用户的对话的合适时间：
询问所述用户以确定他或她是否有空进行对话；以及
响应于接收到对该询问的肯定应答，选择对话主题并发起与所述用户的关于所选对话主题的对话。
14.如权利要求13所述的计算机可读介质，其特征在于，所述第一信号包括以下一者或多者：
与所述用户相关联的日历信息；
与所述用户相关联的日常习惯信息；以及
与所述用户的当前活动相关联的信息。
15.如权利要求13所述的计算机可读介质，其特征在于，所述第二信号包括以下一者或多者：
所述用户的脸部表情；
所述用户的语音特性；
所述用户的位置；
所述用户打开和关闭移动设备的速率；
与所述用户相关联的键击和/或姿势元数据；
所述用户的书面和/或口头内容；
与所述用户相关联的应用交互元数据；
加速度计、罗盘和/或陀螺仪输出；
曝光度；
温度；
天气状况；
交通状况；
污染和/或过敏水平；
所述用户的活动水平；
所述用户的心律和心律变异性；
所述用户的皮电活动；
关于与所述用户相关联的设备的设备和/或网络连接信息；以及
关于与用户相关联的设备的电池和/或充电信息。
16.如权利要求13所述的计算机可读介质，其特征在于，所述第二信号包括被机器学习器标识为能确定所述用户的精神或情绪状态的一个或多个信号。
17.如权利要求16所述的计算机可读介质，其特征在于，所述机器学习器由测试人群和所述用户中的一者或多者来训练。
CN201580034339.6A 2014-06-25 2015-06-22 利用用户信号来发起通信 Active CN106464758B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/315,049 US9807559B2 (en) 2014-06-25 2014-06-25 Leveraging user signals for improved interactions with digital personal assistant
US14/315,049 2014-06-25
PCT/US2015/036858 WO2015200153A1 (en) 2014-06-25 2015-06-22 Leveraging user signals for initiating communications

Publications (2)

Publication Number Publication Date
CN106464758A CN106464758A (zh) 2017-02-22
CN106464758B true CN106464758B (zh) 2019-10-18

Family

ID=53674274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034339.6A Active CN106464758B (zh) 2014-06-25 2015-06-22 利用用户信号来发起通信

Country Status (5)

Country Link
US (1) US9807559B2 (zh)
EP (1) EP3162041B1 (zh)
KR (1) KR102331049B1 (zh)
CN (1) CN106464758B (zh)
WO (1) WO2015200153A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102118209B1 (ko) 2013-02-07 2020-06-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CA2962502A1 (en) 2014-10-14 2016-04-21 Arsil Nayyar Hussain Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US20170091612A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Proactive assistant with memory assistance
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
WO2018013366A1 (en) 2016-07-12 2018-01-18 Proteq Technologies Llc Intelligent software agent
JP6774018B2 (ja) * 2016-09-15 2020-10-21 富士ゼロックス株式会社 対話装置
US10552742B2 (en) * 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
US10878479B2 (en) 2017-01-05 2020-12-29 Microsoft Technology Licensing, Llc Recommendation through conversational AI
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
WO2018143108A1 (ja) 2017-02-03 2018-08-09 ｇｅｅｋｌｉｎｅ合同会社 おもいやり電話送受信通話サービス方法。
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US11429833B2 (en) * 2017-06-19 2022-08-30 Kyndryl, Inc. Cognitive communication assistant services
US10891947B1 (en) 2017-08-03 2021-01-12 Wells Fargo Bank, N.A. Adaptive conversation support bot
WO2019054988A1 (en) 2017-09-12 2019-03-21 Google Llc SYSTEMS AND METHODS FOR HANDS-FREE COMMUNICATION REQUESTED BY AN ASSISANT
US10817316B1 (en) 2017-10-30 2020-10-27 Wells Fargo Bank, N.A. Virtual assistant mood tracking and adaptive responses
KR102463581B1 (ko) * 2017-12-05 2022-11-07 현대자동차주식회사 대화 시스템 및 이를 포함하는 차량
US11093904B2 (en) * 2017-12-14 2021-08-17 International Business Machines Corporation Cognitive scheduling platform
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10606446B2 (en) * 2018-05-04 2020-03-31 David Arthur Yost Computer system with a plurality of work environments where each work environment affords one or more workspaces
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11681895B2 (en) 2018-05-30 2023-06-20 Kyndryl, Inc. Cognitive assistant with recommendation capability
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
EP3682345B1 (en) * 2018-08-07 2021-11-24 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11409961B2 (en) * 2018-10-10 2022-08-09 Verint Americas Inc. System for minimizing repetition in intelligent virtual assistant conversations
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10567314B1 (en) * 2018-12-03 2020-02-18 D8AI Inc. Programmable intelligent agents for human-chatbot communication
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US20240095489A1 (en) * 2019-11-29 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Personality-Based Intelligent Personal Assistant System
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703988B2 (ja) * 1999-03-04 2005-10-05 日本電信電話株式会社 非同期分散型コミュニケーション支援装置および非同期分散型コミュニケーション支援プログラムを記録した記録媒体
US20020029203A1 (en) 2000-09-01 2002-03-07 Pelland David M. Electronic personal assistant with personality adaptation
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US20040029567A1 (en) 2001-05-25 2004-02-12 Timmins Timothy A. Technique for effectively providing personalized communications and information assistance services
US7974849B1 (en) * 2002-08-12 2011-07-05 Oracle America, Inc. Detecting and modeling temporal computer activity patterns
IL153886A0 (en) * 2003-01-12 2003-07-31 Shlomo Elfanbaum A method and device for determining a personal happiness index and improving it
US20050054381A1 (en) 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US20070300225A1 (en) * 2006-06-27 2007-12-27 Microsoft Coporation Providing user information to introspection
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
EP2127209A2 (fr) * 2007-02-28 2009-12-02 France Telecom Procede de transmission d'information pour une restitution collective d'informations emotionnelles
WO2009054928A2 (en) * 2007-10-19 2009-04-30 Keep In Touch Systems, Inc. System and method for time sensitive scheduling data privacy protection
US9152381B2 (en) * 2007-11-09 2015-10-06 Psyleron, Inc. Systems and methods employing unique device for generating random signals and metering and addressing, e.g., unusual deviations in said random signals
EP2093966A1 (en) 2008-02-25 2009-08-26 Koninklijke KPN N.V. Configuring a network communication under control of a rule base
JP4609527B2 (ja) 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
JP5215098B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
US20100223341A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Electronic messaging tailored to user interest
US20100262487A1 (en) * 2009-04-06 2010-10-14 Globys Inc. Contextual targeting based upon customer occasions
US8290132B2 (en) 2009-08-21 2012-10-16 Avaya Inc. Communications history log system
US20120327091A1 (en) 2010-03-08 2012-12-27 Nokia Corporation Gestural Messages in Social Phonebook
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
DE102011117777B3 (de) * 2011-11-01 2013-01-31 Markus Lehnert System und Verfahren zur Bestimmung eines bevorzugten Kommunikationskanal
US8954372B2 (en) * 2012-01-20 2015-02-10 Fuji Xerox Co., Ltd. System and methods for using presence data to estimate affect and communication preference for use in a presence system
US20130212501A1 (en) 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
US20130302766A1 (en) 2012-05-11 2013-11-14 Robert Evan Gold Interactive, Interest Centric Communication Systems and Methods

Also Published As

Publication number Publication date
KR20170020841A (ko) 2017-02-24
KR102331049B1 (ko) 2021-11-25
EP3162041B1 (en) 2022-09-14
US9807559B2 (en) 2017-10-31
EP3162041A1 (en) 2017-05-03
WO2015200153A1 (en) 2015-12-30
CN106464758A (zh) 2017-02-22
US20150382147A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
CN106464758B (zh) 利用用户信号来发起通信
CN105573573B (zh) 基于图像管理用户信息的设备和方法
KR102295935B1 (ko) 흉내 및 풍부한 멀티미디어로 응답하는 디지털 개인용 어시스턴트 상호작용 기법
US11334804B2 (en) Cognitive music selection system and method
US20160063874A1 (en) Emotionally intelligent systems
Vinciarelli et al. A survey of personality computing
KR101832693B1 (ko) 직관적 컴퓨팅 방법들 및 시스템들
CN102986201B (zh) 用户接口
Kołakowska et al. A review of emotion recognition methods based on data acquired via smartphone sensors
CN109643412A (zh) 电子邮件个性化
EP3147798A1 (en) Information processing device, information processing method, and program
US9224100B1 (en) Method and apparatus using accelerometer data to serve better ads
US20170178048A1 (en) Identification and presentation of tasks based on predicted periods of user availability
CN108885639A (zh) 内容集合导航和自动转发
CN106296690A (zh) 图像素材的质量评估方法及装置
CN106133776A (zh) 基于与用户的受管交互构建用户对简档创建和推荐的信任
KR101988334B1 (ko) 이동 전화기 및 이동전화기에서 재생되는 미디어 컨텐츠의 효율성 분석 방법
CN116484318A (zh) 一种演讲训练反馈方法、装置及存储介质
Yang et al. Quantitative study of music listening behavior in a smartphone context
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106600237B (zh) 一种辅助记忆中医药书籍的方法和装置
WO2020230589A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN112041787A (zh) 利用应用来输出对用户输入的响应的电子装置及其操作方法
Matsuda et al. Estimating user satisfaction impact in cities using physical reaction sensing and multimodal dialogue system
Hopfgartner et al. Preface to the special issue on harnessing personal tracking data for personalization and sense-making

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant