CN109804389A - 从设备数据提取情绪状态 - Google Patents

Abstract

表示性实施例公开了从由一个或多个设备和/或服务收集的上下文用户数据和公共使用数据提取情绪状态的机制。上下文数据和公共数据被组合成丰富数据集。对用户定制的情绪模型基于一个或多个机器学习技术从丰富数据集提取情绪状态。情绪状态被用来标识改变一个或多个设备和/或服务的操作的一个或多个动作以便实现情绪状态的变化、情绪状态与和用户的设备和/或服务交互之间的兼容性或两者。隐式和/或显式反馈被收集并被用来改变对情绪状态的预测和/或动作的选择。

Description

从设备数据提取情绪状态

技术领域

本申请总体上涉及人类和机器交互。更具体地，本文公开的实施例从用户设备、环境传感器、在线源以及其他位置收集数据并从各种数据提取情绪状态并且使用情绪状态来定制系统与给定用户的交互。

背景技术

人类与越来越多的数目的各种各样的机器交互。数字助理已经被精心制作为向用户提供及时的信息并且辅助各种各样的任务。移动设备和其他设备被精心制作为具有不仅包含文本和图形而且包含语音识别的用户接口。聊天机器人已经在一些情况下代替人类提供辅助和交互。人工智能已经被并入各种机器中以使它们更强且更有用。所有这些努力都是为了提高与机器的交互的方便性并且使它们对个体更有用。然而，尽管服务和系统以个性化和定制化的名义收集越来越多的数据量，但是机器在许多情况下仍然难以使用并且不能很好地为用户定制以使它们对用户来说更可接受。

正是在这种上下文中提出本文的实施例。

附图说明

图1图示了从各种数据源提取情绪状态的系统的示例架构。

图2图示了改进系统从收集的数据提取情绪状态的能力的示例学习循环。

图3图示了从数据提取情绪状态并基于所提取的情绪状态来定制系统的操作的示例流程图。

图4图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的示例架构。

图5图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构。

图6图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构。

图7图示了适合于实施本文中公开的系统等或者用于执行本文中公开的方法的表示性机器架构。

具体实施方式

下面的描述包括例示说明性实施例的说明性系统、方法、用户接口、技术、指令序列以及计算机器程序产品。在下面的描述中，为了解释的目的，阐述了许多具体细节以提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。总体上，未详细示出公知的指令实例、协议、结构以及技术。

概述

尽管已经做出通过设备和/或服务操作的个性化来增加用户满意度的努力，但是这些努力忽略了用户如何与设备和/或服务交互的改变，这些改变随着用户的情绪状态的改变而发生。因此，设备/服务操作的个性化已经在许多方面存在不足。

从数据提取情绪状态是困难的技术问题。同样困难的是响应于所提取的情绪状态而改变设备/服务的操作并预测改变的操作对用户的影响。换言之，难以检测用户的情绪状态并且即使已知也没有设备/服务能够利用用户的情绪状态。

本文公开的实施例从收集的数据提取用户的情绪状态。本文公开的其他实施例是基于所提取的情绪状态来定制设备/服务的交互的设备/服务。这样的定制化可以包括改变设备与用户的交互和/或启动被设计为改变所提取的情绪状态的动作。

设备在用户的许可下收集各种各样的数据，其中的许多包含关于用户的情绪状态的暗示。例如，生物识别通常与情绪状态有关并且包括诸如心率、皮肤温度、呼吸等的数据，其可以由诸如手表、健身跟踪器、带或其他这样的设备的可穿戴设备来收集。通过文本、电子邮件、语音以及其他机制的沟通包含关于所使用的语言、沟通的计时、沟通的长度、句子的长度和结构等的情绪线索。情绪状态的视觉线索被包含在身体语言、眼睛接触等中。甚至用户如何与设备交互，诸如在键盘上打字的力度、墨水轨迹的平滑度和压力、触摸输入设备上的轻扣的压力和持续时间等包含情绪状态的线索。

然而，甚至共同数据(即，具有来自不同用户的相同“值”的数据)也可以指示不同个体用户中的不同情绪状态。例如，一个用户可能自然地以比另一用户更大的手指力度敲击键盘，因此一个用户中的可能倾向于指示挫折的测量结果在另一用户中可能不指示相同情绪。因此，本文公开的实施例利用个人定制的情绪状态模型来从收集的数据提取情绪状态。使用任何数目的机器学习技术来推导情绪状态模型。可以通过使用收集的数据训练初始模型来建立初始模型。之后，与用户的交互和来自用户的反馈被用来优化模型并且使其随时间保持最新以说明用户的反应和期望的变化。

一旦情绪状态已经从数据中被提取，情绪状态就用于选择要执行的至少一个动作。该选择可以由更集中式的系统或服务器来做出或者可以由本地设备做出。所选择的动作倾向于具有修改一个或多个系统的操作以使系统与用户交互的方式与用户的情绪状态更兼容、改变用户的情绪状态、或者两者的目标。(多个)所选择的动作可以由收集数据的设备/服务或不一定与收集的数据相关联的设备/服务来执行。例如，升高的心率可以由可穿戴设备检测到并且该信息与用户正在一个设备上阅读的电子邮件的内容组合时可以得出用户烦恼的推断。作为响应，系统可以改变用户所处的房间的温度，逐渐地改变音乐并调节设备的交互以去除外来干扰(低优先级通知、重新布置用户界面，等)一段时间以允许用户有一些时间来处理情绪。在该示例中，涉及数据收集的系统(即，设备)和未涉及数据收集的系统(即，音乐播放器和温度控制)两者都基于所提取的情绪状态而被调节。动作选择可以基于对用户个性化的模型，该模型已经例如通过基于规则/策略、其组合的机器学习过程或另一过程来创建。

显式的和/或隐式的反馈被用来优化情绪状态模型和/或(多个)所选择的动作以便优化系统预测和/或合适地响应所提取的情绪状态的能力。

描述

图1图示了从各种数据源提取情绪状态的系统的示例架构100。在用户的许可下，通过各种设备和/或服务102收集关于用户的各种各样的数据。例如，搜索引擎和在线零售商保持对用户的搜索和浏览历史的跟踪。设备收集位置信息、生物识别(心率、皮肤温度、呼吸等)、移动历史、应用利用和/或各种各样的其他数据。服务和应用可以分析诸如文本、电子邮件、语音和其他机制的沟通以提取关于用户的信息，用户与之沟通的个体、沟通的音调、词语选择、句子长度、用户沟通的内容等。相机可以捕获身体语言、眼睛接触、眼睛跟踪、眼睛协同、面部标识等。传感器可以捕获关于用户的环境的信息(温度、照明、音乐播放、环境噪声水平等)、在键盘上打字的力度、墨水轨迹的平滑度和压力、触摸输入设备上的轻扣的压力和持续时间等。生物识别数据通过或者可以通过各种各样的设备和传感器来收集并且包括与生理特性(例如，指纹、面部特征、心率、血压等)和行为特性(人如何移动、动作、手势等)有关的数据。

图1中表示的服务、数据源和/或设备102表示收集关于用户的信息并且可以是用于提取情绪状态的数据源的各种各样的设备、系统和/或服务。附加地，数据源也被表示。通过举例而非限制的方式，这样的设备和服务可以包括诸如手表、带、健身跟踪器、移动电话等的移动设备、诸如笔记本、平板电脑等的半移动设备、台式系统、服务器系统、作为所谓的“物联网”的一部分的“智能”设备(具有收集姿势数据的传感器数据的家具、监测健康的智能厕所、监测饮食模式的冰箱、定制的水温、诸如电光源和/或环境光源的照明和照明控制设备、环境音频和噪声生成器等)、云服务以及可以不在设备的传统定义内但是仍然具有并收集关于用户的数据的设备(诸如车辆)。从(多个)服务和/或(多个)设备102收集的数据通过网络104被发送到情绪系统106。

网络104可以是单个网络、多个网络、私有网络、公共网络等的任何组合。附加地，如下面所解释的，情绪系统106可以是来自可以通过不同网络连接的多个用户、用户设备等的监控数据。例如，个体用户可以通过私有网络连接，个人信息通过该私有网络传递。在另一示例中，多个用户可以通过诸如内部合作网络的私有网络连接在一起。在又一示例中，多个用户可以通过诸如公共电话会议的公共网络连接。组合也是可能的。例如，用户可以通过公共网络连接到其他用户，情绪系统106从该公共网络收集关于该用户和其他用户的信息。单独地，用户还可以通过私有网络连接到情绪系统106，个人信息通过该私有网络中继。

情绪系统106选择合适的数据集并创建可以从其提取情绪状态的丰富数据集。丰富数据集通常包括来自多个源的数据。在创建丰富数据集时，系统可以执行各种数据处理选项来确保数据一致。这样的数据处理选项可以包括以下项中的一项或多项：减少来自多个数据源中的一个或多个数据源的数据点的数目(去除外来数据、去除明显错误的数据、减少数据点的总体数目等)；聚集来自多个数据源的数据点(将多个数据集组合成单个数据集等)；将来自多个数据源的数据点进行时间对齐(匹配数据点时间尺度、时间移位等)；将来自多个数据源中的一个或多个数据源的数据进行归一化；改变来自多个数据源中的一个或多个数据源的数据的格式；从数据创建特征向量；和/或允许来自多个不同数据源的数据被组合的其他数据处理技术。

情绪状态通过个性化的情绪状态模型从丰富数据提取，该个性化的情绪状态模型通过诸如支持向量机(SVM)技术、卷积神经网络、深度神经网络、决策树过程、k最近邻过程、核密度估计、K均值聚类、期望最大化等的一个或多个监督或非监督机器学习过程来创建。丰富数据被呈现给针对用户的情绪状态模型并且从该数据提取情绪状态。情绪状态在一些情况下可以与诸如用户意图的指示、用户正在做什么的指示等的其他数据组合以创建可以由情绪系统106、其他系统/服务102、108或两者作用于其上的个性化情绪状态数据集。情绪状态和其他信息(如果有的话)的组合将被称为情绪状态向量，但是具体的数据格式和存储机制可以根据不同实施例而变化。因此，情绪状态向量可以包括情绪状态和/或情绪状态以及其他信息。

情绪系统可以将情绪状态向量传递到其他系统/服务以允许系统利用所提取的情绪状态，可以使用情绪状态向量来标识要基于情绪状态向量采取的一个或多个动作，或者其任何组合。在第一类实施例(情绪系统106将情绪状态向量传递到其他系统/服务)中，系统或服务可以在某些条件下注册通知。例如，一些系统/服务可以注册以使情绪状态向量在其被更新的任何时间被传递。其他系统/服务可以注册以使情绪状态向量基于策略或其他标准被传递。在后一种情况下，策略可以指定标准的任何组合，标准诸如仅通知某些情绪状态(或向量中的其他信息)、仅在事件或事件的组合发生时通知、在事件或事件的组合不发生时通知、基于时间或任何其他标准、设定的标准来通知、或其组合。

情绪系统106评价用于通知的策略并且当标准的评价指示通知应当被发送时，情绪系统106对情绪状态向量进行格式化并将其发送到订阅的系统/服务。因此，情绪系统106可以将情绪状态向量发送回作为数据源的系统/服务(如服务/设备102)或者可以将情绪状态向量发送到不是数据源的系统/服务(诸如(多个)其他系统108)。

数据路径110表示用户/用户设备102与(多个)其他系统108之间的通信。例如，在下面呈现的会议呼叫情景中，情绪系统106监测以不同方式连接在一起的一组个体之间的谈话和交互。情绪系统106检测用户的各种情绪状态并将其馈送到数字助理中，数字助理可以是或者可以不是初始谈话的一部分。之后助理可以在合适的情况下进入谈话中。因此，情绪系统可以实际上是对呼叫其他系统进入与用户的交互中的触发。作为另一示例情景，情绪系统正在监测移动电话谈话以及数字助理也正在监测谈话。当情绪系统检测到生气的增加时，其可以将情绪状态传递给数字助理。作为响应，数字助理可以以被设计为使用户平静的方式来与用户交互。例如，用户可以将触觉反馈直接提供给用户的可穿戴设备。数据路径110允许数字助理直接与可穿戴设备交互而不经过情绪系统。数据路径110还表示来自用户/用户设备的信息(箭头是双向的)，因此情绪系统和数字助理等可以如下面所解释的监测并利用来自设备、用户等的信息。

在情绪系统106标识要采取的一个或多个动作以便影响情绪状态、改变系统操作的方式或两者的实施例中，情绪状态向量可以与系统中的一个或多个“情绪模块”相关联。这些情绪模块被设计为以主动或被动的方式来启动一个或多个动作。

除了提供表示用户的当前情绪状态的“即时”情绪状态向量之外，如下面更详细地说明的，情绪系统106还可以存储过去的情绪状态向量以供系统创建主动动作所用。

以下示例情景说明可以被采取的各种动作以及主动操作和被动操作的概念。

第一个情景是生产率情景并且说明了对从用户谈话和交互捕获的情绪洞察(即，情绪状态向量)的主动响应和被动响应。在该情景中，产品营销经理James正在工作以完成他已被安排在本周稍后递送给领导的幻灯片演示。由于他的团队中的大部分在多个地点工作，所以他们正在使用会议/协作系统来一起协作完成演示内容。除了会议/协作系统之外，数字助理系统也“正在监听”以向该组给出建议。James和两个同事Linda和Steve正在从他们大厦中的会议室打电话。Kim从她的家庭办公室打电话，Rashid也一样，而当前正与他的家人度假的Max用他的移动电话拨入。关于先前的领导演示，短的期限正在产生压力。

情绪系统106通过评价从经由会议/协作系统的谈话和从会议室中的用户之间的谈话提取的谈话的内容来监测团队成员之间的交互。这涉及对通过会议/协作系统或通过其他信道的参与者之间的音频谈话以及任何文本“聊天”进行分析。语音谈话可以被捕获并且语音转文本算法被利用以提取谈话的文本以及标识各个说话者。附加地或备选地，算法可以用于捕获声音的音调、音量以及对用户的情绪状态的其他指示符。最后，每个用户可以具有一个或多个个体设备，诸如可穿戴设备或电话，其收集并提供用于标识针对团队的每个成员的情绪向量的信息。

会议呼叫开始平稳并且起初团队同意他们想要在演示环节中强调的内容和点。情绪系统检测各个参与者的情绪状态并创建针对每个个体的情绪向量。情绪向量与多个过程(即，情绪模块)相关联，使得可以基于情绪内容来采取所推荐的动作。

在协作过程中的一个时刻处，数字助理进入谈话并推荐支持视觉图像添加到演示以获得更好的讲述效果。这是代表数字助理采取的主动动作的示例。主动动作可以基于主动情绪洞察。例如，情绪系统106提供领导观众对过去的演示的情绪响应以及针对情绪响应的上下文(例如，创建该情绪响应的演示的内容)。数字助理可以评价情绪响应，创建情绪响应的内容，并且基于领导观众之间的共性、演示的内容和正面情绪响应之间的相似性来选择演示中要包括的所建议的视觉图像。

当团队进行到演示的更困难的部分中时，谈话的音调和团队协作动态变得更严肃和紧张。Max特别地对进展感到非常受挫。过程停止。情绪系统106通过评价从团队的各个设备、声音的音调以及他们沟通的内容捕获的数据来标识团队的挫折和各种情绪状态。针对每个个体的情绪状态向量被用来标识被计算为改变针对非常受挫的Max的情绪状态向量的动作。该动作是被动的，因为其对情绪状态向量做出反应。

可以通过将针对团队的情绪状态向量提供给基于特定情绪状态向量来标识要被采取的动作的一个或多个情绪过程来标识动作。情绪过程可以表示通过诸如支持向量机(SVM)技术、卷积神经网络、深度神经网络、决策树过程、k最近邻过程、核密度估计、K均值聚类、期望最大化等的一个或多个监督或非监督机器学习过程来创建的模型。

在本情景中，过程标识使数字助理推荐Max和James单独地一起在演示的该部分上工作的动作。这可以例如通过评价Max的指示诸如挫折的负面情绪的情绪状态向量、正在演示上协作的上下文、以及进展停止在针对特定部分的讨论来标识。由情绪过程(模型)捕获的历史洞察可以指示Max常常在不能做出进展时感到挫折。过程可以之后做出恢复进展可以降低Max的挫折的推论(使他的情绪状态在正面方向上移动)。因此，过程将计算出跳过该部分或者使用户的子集在该部分上工作将是很可能降低挫折并恢复进展的推荐。

如果推荐被接受，则反馈的两点通过系统来实现。第一，推荐的接受度是推荐有用和动作选择过程结果的加强点的显式反馈。第二，因为进展被恢复，所以Max安下心来并且Max的情绪向量的变化被标识。这提供了针对Max的情绪模型和针对动作选择过程的间接反馈以适应以下洞察：在组动态中，Max的挫折水平可以通过增加关于项目的向前进展来降低。

团队的其他人继续一起协作以完成该环节的其他部分。数字助理继续咨询并通过主动和被动引导来引导团队。之后，整个团队聚回到一起并且将他们的部分组合成最终演示。

第二个情景说明了从一个源收集的数据可以被用来触发另一设备/服务上的动作。

Bill和Kathy准备好去工作。Bill在软件开发公司全职工作并且Kathy作为当地学区的代课老师兼职工作。在他们都工作的日子，他们的患有自闭症的儿子Jeromy参加特殊需求中心。当准备让Jeromy去的那天上午，他们注意到他和他平时的自己相比有一点激动和难相处。他们感觉到今天对Jeromy来说可能是困难的一天。

Jeromy的上午的前一半进展顺利并且他与他的护理提供者和中心处的同伴合作。但是随着这天的继续，他对于他周围的活动变得越来越激动和受挫。他的中心处的儿童已经极其喧闹，这打扰了Jeromy的常规日程。结果是来自他的强烈情绪反应触发发作。

Jeromy的智能手表将包括心率和手臂移动的数据发送到情绪系统106。环境中的传感器测量环境噪声水平并且也将该数据发送到情绪系统106。情绪系统106将数据组合成丰富数据集并将信息呈现给针对Jeromy的情绪状态模型。得到的情绪状态向量指示Jeromy正在经历负面事件并且包括关于环境声音水平的上下文数据。

情绪系统106将针对Jeromy的情绪状态向量呈现给一个或多个情绪过程以标识要被采取的一个或多个动作。情绪过程已经从过去“学习”到向他的手表提供触觉反馈(以Jeromy熟悉的模式舒缓情绪平静振动)有助于在正面方向上调节情绪状态。被标识为有帮助的附加动作是降低环境噪声、熟悉的声音和/或视觉图像。因此，另一经标识的动作是将可以通过这些措施作出改进的警报发送给Jeromy的护理提供者。在该情形下，通知信道和预期的设备可以不同于用于收集信息的任何设备或传感器。

图2图示了提高系统从收集的数据提取情绪状态的能力的示例学习循环200。如以上所讨论的，系统使用针对每个用户个性化的情绪状态模型。该个性化是确保模型既对特定用户个性化也适应用户如何对情形做出反应的变化的主动学习过程202。

情绪状态模型通过诸如支持向量机(SVM)技术、卷积神经网络、深度神经网络、决策树过程、k最近邻过程、核密度估计、K均值聚类、期望最大化等的一个或多个监督或非监督机器学习过程来创建。这些各个机器学习过程均具有(监督的或非监督的)特定训练要求。初始训练可以通过随时间调节以对用户个性化的“标准”模型开始或者通过使用一批收集的数据用于初始训练来完成。

一旦模型被创建，收集的数据就被呈现给情绪状态模型(操作204)以便如以上所讨论的提取情绪状态。情绪状态可以与其他数据(上下文数据等)组合以创建情绪状态向量。该情绪状态向量表示从数据提取的情绪推论。

操作206说明了情绪系统将其理解传送给合适的设备/服务。传送理解可以是传送情绪状态向量或者可以是使用情绪状态向量来标识要基于情绪状态向量而被启动的一个或多个动作。

如在以上示例中所看到的，隐式或显式反馈向系统指示所提取的情绪状态的准确性和所选择的动作的适当性。当动作包括呈现推荐时，接受推荐是推荐合适的显式反馈。附加地，监测所提取的情绪状态的变化可以提供所选择的动作是合适的隐式反馈的源。直接监测其他数据还提供显式或隐式反馈。因此，用户的沟通、动作等可以提供关于所提取的情绪状态和/或(多个)所选择的动作是否合适的直接信息。在该上下文中，合适是指它们完成或者帮助完成预期效果。

操作208表示如以上所描述的获得的反馈。反馈驱动如以上所指示的主动学习过程。

图3图示了从数据提取情绪状态并基于所提取的情绪状态来定制系统的操作的示例流程图300。方法以操作302开始并且前进到操作304，在操作304中，如以上所解释的，个性化情绪内容(即，针对给定用户的情绪状态向量)从针对用户的情绪状态模型获得。

操作306对针对(多个)情绪过程的情绪状态向量进行格式化，该情绪过程用于基于情绪状态向量来标识要被采取的动作。这些情绪过程可以与不同类型的动作和/或动作的组相关联并且提供针对情绪系统的被动操作模式。换言之，这些情绪过程是监测情绪状态并标识旨在改变系统的操作以使系统与用户的情绪状态更兼容或者使设备/服务交互与用户的情绪状态更兼容、旨在改变所提取的情绪状态、或两者的动作的过程。在许多情况下，改变设备/服务以使其与用户的情绪状态更兼容将对所提取的情绪状态具有影响。

旨在改变一个或多个设备/服务以使它们与所标识的情绪状态向量更兼容的动作可以落入三种非排他性的类别中：1)改变影响用户的环境的设备/服务的操作；2)改变影响用户的数字环境的设备/服务的操作；和/或3)改变设备/服务与用户的交互。这三种类别适用于本文描述的所有实施例。设备包括如以上所解释的整体系统等。

改变影响用户的环境的设备/服务的操作包括诸如改变照明、温度、湿度、环境噪声、音频背景(即，开始/停止/改变音乐、音乐流派、增大/减小白噪声生成器水平等)等的项。用户的环境是用户所处的地方，诸如家、办公室、车辆、外面等。这些改变可以以直接或通过一个或多个其他系统控制的形式或者以用户可以用来修改他们自己的环境的推荐的形式出现。当然，情绪系统可以直接或通过其他系统施加的控制的量取决于用户的环境而剧烈变化。然而，推荐可以帮助用户改变他们自己的环境。因此，当系统不可以调整照明时，例如当用户在外面时，系统可以推荐用户移动到照明将与系统将做出的调整一致的地方。

改变影响用户的数字环境的设备/服务的操作包括改变用户接口以增加或减少用户接口元件和/或通知、改变文本大小、改变文本颜色、屏幕颜色、背景图片、限制或授予对某些应用、程序和/或服务的访问、调整屏幕亮度和/或色调等。这些改变也可以以直接或通过一个或多个其他系统控制的形式或者以用户可以用来修改他们自己的环境的推荐的形式出现。因此，如果用户倾向于想要在生气时独自待着，则系统可以使移动设备上的响铃静音、完全关闭文本通知或者关闭来自某些人的列表的通知、消除聊天通知等。附加地或备选地，对于具有多种通信模式的程序、应用等，通信模式可以被改变和/或进行通信的情况可以被改变。

改变设备/服务与用户的交互包括改变与用户的语音、文本或其他沟通交互。这涵盖各种各样的系统和交互模式。改变交互可以调整交互的频率、沟通的音调、沟通中的词语选择、交互中使用的句子/通知的长度、沟通的速度(即，系统多快地回答等)等。数字助理例如通过语音、文本和其他机制与用户交互。它们还具有指示它们在什么情况下被激活以及它们多么频繁地被激活的“触发器”。改变针对数字助理的交互可以不仅可以改变针对通信信道(语音、文本等)还改变它们在什么情况下触发以及它们多么频繁地触发的参数。例如，基于过去的经验，学习模型可以调整情绪状态模型和/或情绪过程以获知当特定用户受挫时他们偏好几乎没有或没有交互。因此，交互的频率(数字助理在什么情况下被触发以及数字助理多么频繁地被触发)可以被降低。对于确实发生的沟通，模型和过程可以理解文本而不是语音是在那些情况下的优选沟通信道并且文本应当被保持是短的。对于另一个体受挫，可能要求更频繁的交互、语音和更长的谈话。因此，体验是针对用户定制的。

调整交互的频率可以通过对触发交互的事件和/或情况(统称为事件)进行排序和/或分类来完成。分类可以例如通过标识交互的类型和/或引起触发的事件/情况的类型来执行。例如，指示基于提供某种帮助的触发的事件可以被分类到一种类别中，指示即将到来的预约或电话呼叫的事件(即，用户必须做的一些事情)可以被分类到另一种类别中等。附加地或备选地，分类可以基于沟通的类型和沟通完成的机制。例如，一种类别中的弹出式通知、另一种类别中的语音通知等。排序可以基于诸如通过用户调整的设置或偏好的显式用户输入或者诸如依赖于先前讨论的用以标识各种交互对用户的相对重要性的学习模型的隐式标准来执行。

一旦事件和情况被排序和/或分类，(多个)所标识的动作可以通过基于情绪状态向量来去除针对事件的种类的触发和/或降低经排序的事件来调整频率。

操作308将(多个)情绪过程的输出关联到多个感觉递送系统中。换言之，一旦(多个)动作被标识，信道就被选择以将动作递送给用户。在这种意义上，信道可以包括通信信道(无线网络、有线网络、给定的协议、技术等)以及一个或多个目标设备。因此，在以上Jeromy的示例中，系统标识两个动作：1)通知护理提供者调整环境噪声将有帮助以及2)将触觉反馈提供给Jeromy的手表。所标识的动作可以被映射到一个或多个通信信道。因此，通知动作可以被映射到护理提供者的台式设备和移动设备并且通过目标设备被连接到的有线/无线网络被递送，并且触觉反馈可以被映射到Jeromy的手表。

操作308的可选输出是循环回优化(操作314)情绪状态向量和/或选择从情绪状态向量推导的所标识的动作的(多个)情绪过程的过程。在此时存在要反馈的信息的程度上，信息可以被使用。例如，操作308可以标识设备不可用并且过程应当选择不同的动作。

操作310通过所选择的信道来启动所标识的动作。因此，信息可以被呈现给用户、其他人或被启动的任何其他动作。

操作312接收如先前所讨论的显式和/或隐式反馈并将其发送回系统中(操作314)以优化情绪状态向量和/或情绪过程。

该图在操作316处结束，但是实践中这是连续优化循环并且过程实际上并未结束。

图4图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的示例架构400。该架构包括情绪引擎402，其可以是情绪系统(诸如图1的情绪系统106)的一部分或者可以被并入其他系统和/或服务(诸如图6的数字助理602)中。

情绪引擎402生成和/或访问丰富数据404以驱动其过程。丰富数据404包括来自各种源的数据，诸如来自用户414的包括用户概况和/或用户数据(即，直接由用户提供)的数据、从服务418收集的数据和/或从诸如可穿戴设备、移动设备、平板电脑、笔记本电脑、台式计算机、服务器、物联网(IOT)设备等的设备422收集的数据。丰富数据404可以包括历史数据和当前收集的数据两者以提供历史洞察以及关于当前发生的事件的信息两者。该信息可以基于当前上下文或基于由服务/设备进行的特定请求来提供。

在一些实施例中，丰富数据404的至少一部分(即，训练数据406)可以用于训练机器学习模型408以创建针对用户的个性化情绪状态模型的迭代。在图4中，该个性化情绪状态模型被图示为情绪状态图410。如先前所解释的，情绪状态图可以提供情绪状态向量以用于由各种情绪过程进行的被动分析以及提供历史信息的指示(即，诸如可以被存储在丰富数据404中)以用于由各种服务/设备进行的主动分析。

情绪状态图410提供信息(即，情绪状态向量、历史数据等)以允许情绪过程提取情绪洞察412。情绪洞察412可以包括如先前讨论的所标识的动作以改变服务/设备的操作、改变情绪状态向量或两者。附加地或备选地，情绪洞察还可以包括将允许服务/设备基于触发信息来标识要被采取的一个或多个动作的“触发”信息。触发信息可以例如包括用以允许服务/设备不仅标识当前情绪状态是什么而且标识情绪状态出现的上下文的情绪状态向量(例如，情绪状态和上下文数据)，以及(在一些实施例中)“触发”被标识的原因(即，什么使得触发信息被发送到设备/服务)。

情绪洞察可以被发送到与服务418和/或设备422相关联的情绪模块420、430以便允许服务418和/或设备422合适地响应情绪洞察。响应情绪洞察可以包括采取先前描述的任何动作。附加地或备选地，情绪洞察可以被发送到其他系统432，信息起先不是从该其他系统432收集。

图5图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构500。该架构包括在线情绪引擎514，其可以包括例如搜索引擎516或其他服务。搜索引擎516包括机器学习模型518，其创建个性化情绪状态模型，诸如所图示的情绪状态图520。

如先前所讨论的，丰富数据可以用于创建情绪状态图520。此外，可以存在万维网522上或其他位置中可用的专用情绪数据库524，其可以帮助创建情绪状态图520。例如，指示不同人格类型的共同特性的许多人格类型已经被开发。Myers-Briggs是具有十六个独立人格类别的四维模型。Big-Five或五因素人格模型是具有五维基的另一公知模型。这样的人格类型可以提供关于不同类型可能如何沟通(短快、放慢以给出时间思考等)以及将允许机器学习过程更好地从所接收的数据估计情绪状态的特性的线索。此外，情绪状态向量可以包含与这样的人格类型相关联的维度，以允许实体基于情绪状态向量来决定做什么以解读应当采取什么动作。例如，如果所接收的数据指示用户相当沉默寡言并且不是非常高兴(即，基于监测沟通、沟通的节奏、使用的句子的长度等)，如果此人倾向于是(如由人格类型所指示的)性格外向的，则系统可以解读为用户具有低落或沮丧的情绪状态，而如果此人倾向于是(如由人格类型所指示的)性格内向的，则情绪状态可以指示既不高兴也不难过而是针对该个体的“正常”沟通模式。

设备502可以请求将来自情绪状态图520的情绪模式发送到设备以便提供本地情绪功能。请求可以通过中间服务器或服务510来做出，中间服务器或服务510可以过滤情绪模式512和/或除此之外将来自情绪状态图520的情绪模式调节为与设备502兼容。情绪模式可以包括例如图4的情绪洞察和/或先前描述的(多个)情绪状态向量。附加地或备选地，情绪模式可以允许设备502实施由服务器510标识的功能和/或可以是先前讨论的允许设备502基于情绪洞察和/或情绪状态向量来标识要被采取的一个或多个动作的情绪过程中的一个或多个情绪过程。

服务器510可以执行服务和/或可以是帮助决定何时以及哪些情绪模式(即，情绪洞察、情绪状态向量和/或情绪过程)被传递到设备的服务器。因此，例如，服务器510可以是其他系统(108、432)之一或者可以是提供在线情绪引擎514与设备502之间的接口的服务器。附加地或备选地，(多个)其他中间系统509可以存在于服务器510与设备502之间。

设备502诸如通过网络从服务器510接收情绪模式。情绪模式被封装在消息中并且通过网络经由合适的通信协议来传输。作为基于消息的交互的备选方案，远程过程调用、对API的调用以及其他机制可以被用来将情绪模式传送到设备。

设备502可以提供如以上所描述的利用情绪模式以及从服务器510接收的其他信息来调节设备的操作、实施所标识的动作等的若干过程。过程504存储并取回情绪模式。过程504与服务器510通信并接收由服务器510转发的情绪模式并且将情绪模式存储在本地存储装置中。附加地或备选地，过程504与服务器510通信以请求期望的情绪模式和/或将经修改的情绪模式发送回服务器510。

过程506促进对情绪模式的编辑和修改。当情绪模式包括要被采取的动作或者包括一个或多个情绪过程时，系统可以基于设备502已知的反馈和数据来修改情绪模式。例如，如果情绪模式将设备重新配置为在检测到给定情绪状态时拒绝除了与选定的个体组的沟通之外的沟通，并且设备502接收动作需要被修改或者与动作相关联的情绪状态应当被调节的反馈，设备502可以修改情绪模式并且经修改的情绪模式可以通过过程504而被存储和/或发送到服务器510(其将转而将经修改的模式转发到在线情绪引擎)。附加地或备选地，过程506可以允许用户编辑情绪模式，于是过程504可以存储经编辑的情绪模式和/或将情绪模式转发到服务器510。

过程508表示如本文所描述的发生的将信息和其他沟通呈现给用户。因此，过程508可以与用户界面、设备上的通知系统、以及其他硬件和/或软件交互以将信息呈现给用户并从用户接收输入。

图6图示了从数据标识情绪状态并基于所提取的情绪状态来定制系统的操作的另一示例架构600。架构600包括数字助理602，该数字助理可以包含情绪引擎604，诸如本文描述的情绪引擎的实施例中的一个或多个实施例。因此，情绪引擎604已经在上面被很好地描述。

如所指示的，情绪引擎604从各种各样的源接收数据616。因此，情绪引擎604从用户和/或诸如用户概况和/或用户数据620的用户源接收用户数据606。情绪引擎还从设备626接收设备数据608。如先前所讨论的，设备可以是任何类型的设备，诸如可穿戴设备、便携式设备、半便携式设备、非便携式设备、IOT设备、车辆等。数据可以来自应用628、系统功能630、传感器632和/或其他设备源。如先前所讨论的，该数据包括但不限于位置信息、生物识别(心率、皮肤温度、呼吸等)、移动历史、应用利用和/或各种各样的其他数据。情绪引擎还从可以提供与用户相关的数据的服务624接收服务和/或应用数据610。服务和应用可以分析诸如文本、电子邮件、语音和其他机制的沟通以提取关于用户的信息，用户与之沟通的个体，和/或用户沟通的内容。相机可以捕获身体语言、眼睛接触等。传感器可以捕获关于用户的环境的信息(温度、照明、音乐播放、环境噪声水平等)、在键盘上打字的力度、墨水轨迹的平滑度和压力、触摸输入设备上的轻扣的压力和持续时间等。因此，服务/应用数据610可以包括来自由用户使用的、未由设备考虑的服务或应用的任何数据。例如，在以上的会议呼叫情景中，服务/应用数据610可以表示由会议服务和/或数字助理服务收集的数据。用户数据606、设备数据608以及服务/应用数据610包括由情绪引擎用以确定情绪状态向量的上下文数据。

除了上下文数据之外，还存在可以帮助确定情绪状态向量的公共数据612。例如，来自社交媒体、搜索历史数据以及其他源的数据可以产生关于如何解读上下文数据或附加数据的信息以帮助提取情绪状态向量。

如先前所讨论的，上下文数据606、608、610和公共数据612被组合成丰富数据集614。如先前所讨论的，从丰富数据集614，情绪洞察618由设备/服务622提取和利用。

图7图示了适合于实施本文中公开的系统等或者用于执行本文中公开的方法的表示性机器架构。

示例机器架构和机器可读介质

图7图示了适合于实施本文中公开的系统等或者用于执行本文中公开的方法的表示性机器架构。图7的机器被示出为单机设备，其适合于实施以上的概念。针对以上描述的服务器方面，可以使用运行于数据中心中的多个这样的机器、云架构的部分等。在服务器方面中，不是所有被图示的功能和设备都被利用。例如，尽管用户习惯与服务器和/或云架构交互的系统、设备等可以具有屏幕、触摸屏输入等，但是服务器通常不具有屏幕、触摸屏、相机等并且通常通过具有合适的输入和输出方面的连接系统与用户交互。因此，下面的架构应当被认为包含多种类型的设备和机器，并且各个方面取决于其大小和用途可能存在或者可能不存在于任何特定设备或机器中(例如，服务器很少具有相机，而可穿戴设备很少包括磁盘)。然而，图7的示例解释适合于允许本领域技术人员确定如何利用硬件和软件的合适组合、利用对所说明的实施例的合适修改来将先前描述的实施例实施为所使用的特定设备、机器等。

尽管仅单个机器被图示，但是术语“机器”还应当被认为包括单独地或联合地执行指令集(多个指令集)以执行本文讨论的方法中的任何一个或多个方法的机器的任何汇集。

机器700的示例包括至少一个处理器702(例如，中央处理单元(CPU)、图形处理单元(GPU)、高级处理单元(APU)、或其组合)、一个或多个存储器，其诸如主存储器704、静态存储器706、或其他类型的存储器，经由链路708彼此通信。链路708可以是总线或其他类型的连接信道。机器700可以包括另外的可选方面，诸如包括任何类型的显示器的图形显示单元710。机器700还可以包括其他可选方面，诸如字母数字输入设备712(例如，键盘、触摸屏等)、用户界面(UI)导航设备714(例如，鼠标、跟踪器、触摸设备等)、存储单元716(例如，磁盘驱动器或(多个)其他存储设备)、信号生成设备718(例如，扬声器)、(多个)传感器721(例如，全球定位传感器、(多个)加速度计、(多个)麦克风、(多个)相机等)、输出控制器728(例如，与诸如通用串行总线(USB)、近场通信(NFC)、红外(IR)、串行/并行总线等的一个或多个其他设备连接和/或通信的有线或无线连接)、以及连接到一个或多个网络726和/或通过一个或多个网络726通信的网络接口设备720(例如，有线的和/或无线的)。

可执行指令和机器可读介质

各种存储器(即，704、706和/或(多个)处理器702的存储器)和/或存储单元716可以存储体现本文描述的方法或功能中的任何一个或多个或者由这些方法或功能中的任何一个或多个利用的指令和数据结构中的一个或多个的集(例如，软件)724。这些指令在由(多个)处理器702执行时使各个操作实施所公开的实施例。

如本文中所使用的，术语“机器可读介质”、“计算机可读介质”、以及“设备可读介质”是指相同事物并且可以在本公开中被互换使用。这些术语包括存储一个或多个指令或数据结构的单个介质或多个介质(例如，集成式或分布式数据库、和/或相关联的高速缓存和服务器)。该术语还应被理解为包括能够存储、编码或承载用于由机器执行的并且使机器执行本发明的方法中的一个或多个的指令的或者能够存储、编码或承载由这样的指令使用的或与这样的指令相关联的数据结构的任何有形介质。因此，该术语应被理解为包括但不限于固态存储器、以及光学和磁性介质。机器可读介质、计算机可读介质和/或设备可读介质的具体示例包括非易失性存储器，举例来说，包括：半导体存储器器件，例如，可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))以及闪存器件；诸如内部硬盘和可移除盘的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。术语机器可读介质、计算机可读介质、以及设备可读介质具体地不包括非法定信号本身，其可以被涵盖在下面讨论的术语“信号介质”之下。

信号介质

术语“信号介质”应当被理解为包括任何形式的经调制的数据信号和信号本身。术语“经调制的数据信号”是指使其特性中的一个或多个特性以在信号中编码信息的方式被设置或改变的信号。

示例实施例

示例1.一种用于个性化与机器的用户交互的方法，包括：

接收包括用户上下文数据(606、608、610)和用户公共数据(612)的数据，该数据从多个数据源(102、414、416、620、622)被接收；

将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集(404、614)；

通过将丰富数据呈现给针对用户(408)个性化的情绪状态模型来从丰富数据集提取情绪状态(412、618)，该情绪状态模型通过将机器学习算法应用到关于用户的收集的数据而被创建；

基于所提取的情绪状态来标识至少一个动作，该至少一个动作被设计为执行修改机器的操作和修改情绪状态中的至少一个；

标识至少一个设备和至少一个信道以通过参与用户的一个或多个感觉实现至少一个动作(308)；

对要通过至少一个信道被传输到至少一个设备的数据进行格式化以启动至少一个动作(310)；

接收指示关于至少一个动作如何由用户接收的显式或隐式反馈的数据(312)；

基于指示反馈的数据来更新情绪状态和情绪状态模型(314)。

示例2.根据示例1的方法，还包括：

基于经更新的情绪状态和经更新的情绪状态模型中的至少一个来标识至少一个附加动作；

标识至少一个设备和至少一个信道以通过参与用户的一个或多个感觉实现至少一个附加动作；

对要通过至少一个信道被传输到至少一个设备的数据进行格式化以启动至少一个附加动作；

接收指示关于至少一个附加动作如何由用户接收的显式或隐式反馈的数据；

基于关于至少一个附加动作的反馈来更新情绪状态和情绪状态模型。

示例3.根据示例1的方法，其中将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：

将来自多个数据源的数据的数据点进行时间对齐；

减少来自多个数据源中的一个或多个数据源的数据点的数目；

将来自多个数据源的数据的数据点进行聚集；

对来自多个数据源中的一个或多个数据源的数据点进行归一化；以及

改变来自多个数据源中的一个或多个数据源的数据点的格式。

示例4.根据示例1的方法，还包括：

从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；

将所接收的数据组合以创建针对第二用户的、包括针对第二用户的个人数据和上下文数据的丰富数据集；

通过将丰富数据呈现给针对第二用户个性化的情绪状态模型来从丰富数据集提取第二情绪状态；

除了基于情绪状态之外还基于第二情绪状态来标识至少一个动作；

接收指示关于至少一个动作如何由第二用户接收的显式或隐式反馈的第二数据；以及

基于指示反馈的第二数据来更新第二情绪状态。

示例5.根据示例1、2、3或4的方法，其中用户上下文数据从至少一个第一设备被接收，并且其中至少一个动作通过不同于至少一个第一设备的至少一个第二设备来实现。

示例6.根据示例5的方法，其中至少一个第二设备包括聊天机器人或数字助理。

示例7.根据示例1、2、3或4的方法，其中至少一个动作包括以下项中的至少一项：

使可穿戴设备振动；

改变用户所处的环境的温度；

改变用户所处的环境的照明；

改变与用户的交互的模式；

改变与用户的交互的频率；

改变用于与用户沟通的句子的长度；

改变正在播放的音乐；

改变声音音调；以及

改变词语选择。

示例8.根据示例1、2、3或4的方法，其中标识至少一个动作包括：

标识不同于情绪状态的期望情绪状态；以及

基于过去的数据与期望情绪状态之间的相关性来标识被计算为产生期望情绪状态的动作。

示例9.一种计算系统，包括：

处理器和机器可读介质上可访问的可执行指令，该可执行指令在被执行时使系统执行包括以下项的操作：

接收包括用户上下文数据(606、608、610)和用户公共数据(612)的数据，该数据从多个数据源(102、414、416、620、622)而被接收；

将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集(404、614)；

通过将丰富数据呈现给针对用户个性化的情绪状态模型来从丰富数据集提取情绪状态(412、618)，该情绪状态模型通过将机器学习算法应用到关于用户的收集的数据而被创建；

基于所提取的情绪状态来标识至少一个动作，至少一个动作能用于修改设备的操作以改变与用户的交互(308)；

标识到设备的至少一个信道(310)；

对要通过至少一个信道被传输到设备的数据进行格式化以启动至少一个动作(310)；

接收指示关于至少一个动作如何由用户接收的显式或隐式反馈的数据(312)；

基于指示反馈的数据来更新情绪状态(314)。

示例10.根据示例9的系统，还包括：

基于经更新的情绪状态和经更新的情绪状态模型中的至少一个来标识至少一个附加动作；

标识至少一个设备和至少一个信道以通过参与用户的一个或多个感觉实现至少一个附加动作；

对要通过至少一个信道被传输到至少一个设备的数据进行格式化以启动至少一个附加动作；

接收指示关于至少一个附加动作如何由用户接收的显式或隐式反馈的数据；

基于关于至少一个附加动作的反馈来更新情绪状态和情绪状态模型。

示例11.根据示例9的系统，其中将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：

将来自多个数据源的数据的数据点进行时间对齐；

减少来自多个数据源中的一个或多个数据源的数据点的数目；

将来自多个数据源的数据的数据点进行聚集；

对来自多个数据源中的一个或多个数据源的数据点进行归一化；以及

改变来自多个数据源中的一个或多个数据源的数据点的格式。

示例12.根据示例9的系统，还包括：

从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；

将所接收的数据组合以创建针对第二用户的包括针对第二用户的个人数据和上下文数据的丰富数据集；

通过将丰富数据呈现给针对第二用户个性化的情绪状态模型来从丰富数据集提取第二情绪状态；

除了基于情绪状态之外还基于第二情绪状态来标识至少一个动作；

接收指示关于至少一个动作如何由第二用户接收的显式或隐式反馈的第二数据；以及

基于指示反馈的第二数据来更新第二情绪状态。

示例13.根据示例9、10、11或12的系统，其中用户上下文数据从至少一个第一设备被接收，并且其中至少一个动作通过不同于至少一个第一设备的至少一个第二设备来实现。

示例14.根据示例13的系统，其中至少一个第一设备包括移动设备并且第二设备包括服务。

示例15.根据示例9、10、11或12的系统，其中至少一个动作包括以下项中的至少一项：

改变与用户的交互的模式；

改变与用户的交互的频率；以及

改变用于与用户沟通的句子的长度。

示例16.根据示例9、10、11或12的系统，其中至少一个动作被计算为使与用户的交互与情绪状态兼容。

示例17.一种机器可读介质，具有被编码于其上的可执行指令，该可执行指令在由机器的至少一个处理器执行时使机器执行包括以下项的操作：

接收包括用户上下文数据(606、608、610)和用户公共数据(612)的数据，该数据从多个数据源(102、414、416、620、622)而被接收；

将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集(404、614)；

通过将丰富数据呈现给针对用户(408)个性化的情绪状态模型来从丰富数据集提取情绪状态(412、618)，该情绪状态模型通过将机器学习算法应用到关于用户的收集的数据而被创建；

基于所提取的情绪状态来标识要由至少一个设备或服务实施的至少一个动作；

标识到至少一个设备的至少一个信道(310)；

对要通过至少一个信道而被传输到至少一个设备或服务(310)的数据进行格式化；

接收指示关于至少一个动作如何由用户接收的显式或隐式反馈的数据(312)；

基于指示反馈的数据来更新情绪状态(314)。

示例18.根据示例17的机器可读介质，其中至少一个动作包括主动情绪洞察。

示例19.根据示例17的机器可读介质，其中至少一个动作包括被动情绪洞察。

示例20.根据示例17、18或19的机器可读介质，其中至少一个动作基于多个情绪状态，每个情绪状态与不同用户相关联，并且其中至少一个动作涉及多个用户。

示例21.一种用于个性化与机器的用户交互的方法，包括：

接收包括用户上下文数据(606、608、610)和用户公共数据(612)的数据，该数据从多个数据源(102、414、416、620、622)而被接收；

将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集(404、614)；

通过将丰富数据呈现给针对用户(408)个性化的情绪状态模型来从丰富数据集提取情绪状态(412、618)，该情绪状态模型通过将机器学习算法应用到关于用户收集的数据而被创建；

基于所提取的情绪状态来标识至少一个动作，该至少一个动作被设计为执行修改机器的操作和修改情绪状态中的至少一个；

标识至少一个设备和至少一个信道以通过参与用户的一个或多个感觉实现至少一个动作(308)；

对要通过至少一个信道被传输到至少一个设备的数据进行格式化以启动至少一个动作(310)；

接收指示关于至少一个动作如何由用户接收的显式或隐式反馈的数据(312)；

基于指示反馈的数据来更新情绪状态和情绪状态模型(314)。

示例22.根据权利要求21的方法，还包括：

基于经更新的情绪状态和经更新的情绪状态模型中的至少一个来标识至少一个附加动作；

标识至少一个设备和至少一个信道以通过参与用户的一个或多个感觉实现至少一个附加动作；

对要通过至少一个信道被传输到至少一个设备的数据进行格式化以启动至少一个附加动作；

接收指示关于至少一个附加动作如何由用户接收的显式或隐式反馈的数据；

基于关于至少一个附加动作的反馈来更新情绪状态和情绪状态模型。

示例23.根据权利要求21或22的方法，其中将所接收的数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：

将来自多个数据源的数据的数据点进行时间对齐；

减少来自多个数据源中的一个或多个数据源的数据点的数目；

将来自多个数据源的数据的数据点进行聚集；

对来自多个数据源中的一个或多个数据源的数据点进行归一化；以及

改变来自多个数据源中的一个或多个数据源的数据点的格式。

示例24.根据权利要求21、22或23的方法，还包括：

从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；

将所接收的数据组合以创建针对第二用户的包括针对第二用户的个人数据和上下文数据的丰富数据集；

通过将丰富数据呈现给针对第二用户个性化的情绪状态模型来从丰富数据集提取第二情绪状态；

除了基于情绪状态之外还基于第二情绪状态来标识至少一个动作；

接收指示关于至少一个动作如何由第二用户接收的显式或隐式反馈的第二数据；以及

基于指示反馈的第二数据来更新第二情绪状态。

示例25.根据权利要求21、22、23或24的方法，其中用户上下文数据从至少一个第一设备被接收，并且其中至少一个动作通过不同于至少一个第一设备的至少一个第二设备来实现。

示例26.根据权利要求25的方法，其中至少一个第二设备包括聊天机器人或数字助理。

示例27.根据权利要求26的方法，其中至少一个第一设备包括移动设备并且第二设备包括服务。

示例28.根据权利要求21、22、23、24、25、26或27的方法，其中，至少一个动作包括以下项中的至少一项：

使可穿戴设备振动；

改变用户所处的环境的温度；

改变用户所处的环境的照明；

改变与用户的交互的模式；

改变与用户的交互的频率；

改变用于与用户沟通的句子的长度；

改变正在播放的音乐；

改变声音音调；以及

改变词语选择。

示例29.根据权利要求21、22、23、24、25、26、27或28的方法，其中标识至少一个动作包括：

标识不同于情绪状态的期望情绪状态；以及

基于过去的数据与期望情绪状态之间的相关性来标识被计算为产生期望情绪状态的动作。

示例30.根据权利要求21、22、23、24、25、26、27、28或29的方法，其中至少一个动作包括以下项中的至少一项：

改变与用户的交互的模式；

改变与用户的交互的频率；

改变与用户沟通的词语选择；以及

改变用于与用户沟通的句子的长度。

示例31.根据权利要求21、22、23、24、25、26、27、28、29或30的方法，其中至少一个动作被计算为使与用户的交互与情绪状态兼容。

示例32.根据权利要求21、22、23、24、25、26、27、28、29、30或31的方法，其中至少一个动作包括主动情绪洞察或被动情绪洞察。

示例33.根据权利要求21、22、23、24、25、26、27、28、29、30、31或32的方法，其中至少一个动作基于多个情绪状态，每个情绪状态与不同用户相关联，并且其中至少一个动作是针对多个用户的。

示例34.一种装置，包括用以执行任何前述示例中的方法的单元。

示例35.一种机器可读存储装置，其包括机器可读指令，该机器可读指令在被执行时实施如任何前述示例的方法或实现如任何前述示例的装置。

结论

鉴于本发明的原理和前述示例可以适用的许多可能的实施例，应当意识到，本文中描述的示例意味着仅是说明性的并且不应当被理解为限制本发明的范围。因此，如本文中所描述的本发明考虑到可以落入所附权利要求及其任何等效方案的范围内的所有这样的实施例。

Claims (15)

1.一种用于个性化与机器的用户交互的方法，包括：

接收包括用户上下文数据和用户公共数据的数据，所述数据从多个数据源被接收；

将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集；

通过将所述丰富数据呈现给针对所述用户个性化的情绪状态模型来从所述丰富数据集提取情绪状态，所述情绪状态模型通过将机器学习算法应用到关于所述用户的收集的数据而被创建；

基于所提取的所述情绪状态来标识至少一个动作，所述至少一个动作被设计为执行修改机器的操作和修改所述情绪状态中的至少一个；

标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个动作；

对要通过所述至少一个信道被传输到至少一个设备的数据格式化以启动所述至少一个动作；

接收指示关于所述至少一个动作如何由所述用户接收的显式或隐式反馈的数据；

基于指示反馈的所述数据来更新所述情绪状态和所述情绪状态模型。

2.根据权利要求1所述的方法，还包括：

基于经更新的所述情绪状态和经更新的所述情绪状态模型中的至少一个来标识至少一个附加动作；

标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个附加动作；

对要通过所述至少一个信道被传输到至少一个设备的数据格式化以启动所述至少一个附加动作；

接收指示关于所述至少一个附加动作如何由所述用户接收的显式或隐式反馈的数据；

基于关于所述至少一个附加动作的所述反馈来更新所述情绪状态和所述情绪状态模型。

3.根据权利要求1所述的方法，其中将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：

将来自所述多个数据源的所述数据的数据点进行时间对齐；

减少来自所述多个数据源中的一个或多个数据源的数据点的数目；

将来自所述多个数据源的所述数据的所述数据点进行聚集；

将来自所述多个数据源中的一个或多个数据源的所述数据点进行归一化；以及

改变来自所述多个数据源中的一个或多个数据源的所述数据点的格式。

4.根据权利要求1所述的方法，还包括：

从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；

将所接收的所述数据组合以创建针对第二用户的、包括针对所述第二用户的个人数据和上下文数据的丰富数据集；

通过将所述丰富数据呈现给针对所述第二用户个性化的情绪状态模型来从所述丰富数据集提取第二情绪状态；

除了基于所述情绪状态之外还基于所述第二情绪状态来标识所述至少一个动作；

接收指示关于所述至少一个动作如何由所述第二用户接收的显式或隐式反馈的第二数据；以及

基于指示反馈的所述第二数据来更新所述第二情绪状态。

5.根据权利要求1、2、3或4所述的方法，其中所述用户上下文数据从至少一个第一设备被接收，并且其中所述至少一个动作通过不同于所述至少一个第一设备的至少一个第二设备来实现。

6.根据权利要求5所述的方法，其中所述至少一个第二设备包括聊天机器人或数字助理。

7.根据权利要求1、2、3或4所述的方法，其中所述至少一个动作包括以下项中的至少一项：

使可穿戴设备振动；

改变所述用户所处的环境的温度；

改变所述用户所处的所述环境的照明；

改变与所述用户的交互的模式；

改变与所述用户的交互的频率；

改变用于与所述用户沟通的句子的长度；

改变正在播放的音乐；

改变声音音调；以及

改变词语选择。

8.根据权利要求1、2、3或4所述的方法，其中标识所述至少一个动作包括：

标识不同于所述情绪状态的期望情绪状态；以及

基于过去的数据与所述期望情绪状态之间的相关性，标识被计算以产生所述期望情绪状态的动作。

9.一种计算系统，包括：

处理器和机器可读介质上可访问的可执行指令，所述可执行指令在被运行时使所述系统执行操作，所述操作包括：

接收包括用户上下文数据和用户公共数据的数据，所述数据从多个数据源被接收；

将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集；

通过将所述丰富数据呈现给针对所述用户个性化的情绪状态模型来从所述丰富数据集提取情绪状态，所述情绪状态模型通过将机器学习算法应用到关于所述用户的收集的数据而被创建；

基于所提取的所述情绪状态来标识至少一个动作，所述至少一个动作可操作用以修改设备的操作以改变与所述用户的交互；

标识到所述设备的至少一个信道；

对要通过所述至少一个信道被传输到所述设备的数据进行格式化以启动所述至少一个动作；

接收指示关于所述至少一个动作如何由所述用户接收的显式或隐式反馈的数据；

基于指示反馈的所述数据来更新所述情绪状态。

10.根据权利要求9所述的系统，还包括：

基于经更新的所述情绪状态和经更新的所述情绪状态模型中的至少一个来标识至少一个附加动作；

标识至少一个设备和至少一个信道以通过参与所述用户的一个或多个感觉来实现所述至少一个附加动作；

对要通过所述至少一个信道被传输到至少一个设备的数据进行格式化以启动所述至少一个附加动作；

接收指示关于所述至少一个附加动作如何由所述用户接收的显式或隐式反馈的数据；

基于关于所述至少一个附加动作的所述反馈来更新所述情绪状态和所述情绪状态模型。

11.根据权利要求9所述的系统，其中将所接收的所述数据组合以创建针对用户的、包括个人数据和上下文数据的丰富数据集包括以下项中的至少一项：

将来自所述多个数据源的所述数据的数据点进行时间对齐；

减少来自所述多个数据源中的一个或多个数据源的数据点的数目；

将来自所述多个数据源的所述数据的所述数据点进行聚集；

对来自所述多个数据源中的一个或多个数据源的所述数据点进行归一化；以及

改变来自所述多个数据源中的一个或多个数据源的所述数据点的格式。

12.根据权利要求9所述的系统，还包括：

从包括第二用户上下文数据和第二用户公共数据的第二多个数据源接收数据；

将所接收的所述数据组合以创建针对第二用户的、包括针对所述第二用户的个人数据和上下文数据的丰富数据集；

通过将所述丰富数据呈现给针对所述第二用户个性化的情绪状态模型来从所述丰富数据集提取第二情绪状态；

除了基于所述情绪状态之外还基于所述第二情绪状态来标识所述至少一个动作；

接收指示关于所述至少一个动作如何由所述第二用户接收的显式或隐式反馈的第二数据；以及

基于指示反馈的所述第二数据来更新所述第二情绪状态。

13.根据权利要求9、10、11或12所述的系统，其中所述用户上下文数据从至少一个第一设备被接收，并且其中所述至少一个动作通过不同于所述至少一个第一设备的至少一个第二设备来实现。

14.根据权利要求13所述的系统，其中所述至少一个第一设备包括移动设备并且所述第二设备包括服务。

15.根据权利要求9、10、11或12所述的系统，其中所述至少一个动作包括以下项中的至少一项：

改变与所述用户的交互的模式；

改变与所述用户的交互的频率；以及

改变用于与所述用户沟通的句子的长度。