CN108885555A - 基于情绪的交互方法和装置 - Google Patents

Abstract

本主题涉及用于交互的方法，该方法包括：通过应用的用户接口(UI)接收第一内容；向服务器发送第一内容；从服务器接收响应于第一内容的第二内容和与UI配置有关的数据；基于与UI配置有关的数据来更新UI；以及通过所更新的UI输出第二内容。

Description

基于情绪的交互方法和装置

背景技术

随着人工智能(AI)技术的发展，基于AI技术的个人助理应用可用于用户。用户可以与安装在用户设备上的个人助理应用交互，让个人助理应用处理各种事项，诸如搜索信息、聊天、设置约会等。涉及这种个人助理应用的一个挑战是如何与用户建立更紧密的联系以提供更好的用户体验。

发明内容

提供以下的发明内容是为了简单地介绍一些概念，在后面的详细说明部分中将做进一步的描述。发明内容不是为了标识要求保护主题的关键特征或必要特征，也不是为了限定要求保护主题的范围。

根据说明书描述的主题的一个实施例，一种基于情绪的交互方法包括：通过客户端设备处的应用的用户接口(UI)接收第一内容；向服务器发送第一内容；从服务器接收响应于第一内容的第二内容和与UI配置有关的数据；基于与UI配置有关的数据来更新该UI；以及通过所更新的UI输出第二内容。

根据本主题的一个实施例，一种基于情绪的交互方法包括：从客户端设备接收第一内容；确定响应于第一内容的第二内容；以及向客户端设备发送第二内容和与UI配置有关的数据。

根据本主题的一个实施例，一种用于交互的装置包括：交互模块，配置为通过应用的UI接收第一内容；以及通信模块，配置为向服务器发送第一内容，以及从服务器接收响应于第一内容的第二内容和与UI配置有关的数据。交互模块进一步配置为基于与UI配置有关的数据来更新该UI，以及通过所更新的UI输出第二内容。

根据本主题的一个实施例，一种用于交互的系统包括：接收模块，配置为从客户端设备接收第一内容；内容获得模块，配置为获得响应于第一内容的第二内容；以及发送模块，配置为向客户端设备发送第二内容和与UI配置有关的数据。

根据本主题的一个实施例，一种计算机系统包括：一个或多个处理器；以及存储有计算机可执行指令的存储器，该指令当被执行时使得一个或多个处理器：通过应用的UI接收第一内容；向服务器发送第一内容；从服务器接收响应于第一内容的第二内容和与UI配置有关的数据；基于与UI配置有关的数据来更新该UI；以及通过所更新的UI输出第二内容。

根据本主题的一个实施例，一种计算机系统包括：一个或多个处理器；以及存储有计算机可执行指令的存储器，该指令当被执行时使得一个或多个处理器：从客户端设备接收第一内容；确定响应于第一内容的第二内容；以及向客户端设备发送第二内容和与UI配置有关的数据。

根据本主题的一个实施例，一种非临时性计算机可读介质具有指令，该指令包括：用于通过应用的UI接收第一内容的代码；用于向服务器发送第一内容的代码；用于从服务器接收响应于第一内容的第二内容和与UI配置有关的数据的代码；用于基于与UI配置有关的数据来更新该UI的代码；以及用于通过所更新的UI输出第二内容的代码。

根据本主题的一个实施例，一种非临时性计算机可读介质具有指令，该指令包括：用于从客户端设备接收第一内容的代码；用于确定响应于第一内容的第二内容的代码；以及用于向客户端设备发送第二内容和与UI配置有关的数据的代码。

附图说明

通过下面结合附图阐述的详细描述，该主题的各个方面、特征和优点将变得更加明显，其中，在不同的附图中使用相同的参考标号表示相似或相同的元素。

图1A-1B均示出了可以实现本文所描述主题的实施例的示例性环境的框图；

图2示出了根据本主题实施例的在用户、客户端设备和云端之间的交互过程的流程图；

图3A-3F均示出了根据本主题实施例的UI的示意图；

图4-5均示出了根据本主题实施例的在用户、客户端设备和云端之间的交互过程的流程图；

图6-7均示出了根据本主题实施例的用于基于情绪的交互的过程的流程图；

图8示出了根据本主题实施例的用于基于情绪的交互的装置的框图；

图9示出了根据本主题实施例的用于基于情绪的交互的系统的框图；

图10示出了根据本主题实施例的用于基于情绪的交互的计算机系统的框图。

具体实施方式

现在将参考示例实施例讨论本文描述的主题。应该理解，讨论这些实施例只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，而不是对本主题的范围加以任何限制。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实现”。术语“另一个实施例”表示“至少一个其他实施例”。术语“一”或“一个”表示“至少一个”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

图1A示出了本文所描述主题的实施例能得以实现的示例性环境10A。应该理解，描述环境10A的结构和功能只是为了举例说明，而不是对本文所描述主题的范围加以任何限制。本文所描述主题能够以不同的结构或功能来实施。

如图1A所示，客户端设备110可以经由网络连接到云端120。客户端设备110的用户可以通过运行在客户端设备110上的个人助理应用的用户接口(UI)130来操作。个人助理应用可以是基于AI的应用，其可以通过UI 130与用户交互。作为示例性实现，该应用的UI 130可以包括动画图标1310，动画图标1310可以代表该应用的身份。UI 130可以包括麦克风图标1320，用户可以通过麦克风图标1320向该应用输入其语音。UI 130可以包括键盘图标1330，用户可以通过键盘图标1330输入文本。UI 130可以具有背景颜色，其通常可以是黑色。虽然在图1的UI 130中示出了项1310到1330，但是应该理解，UI 130中可以有更多或更少的项，这些项的名称可以是不同的，本主题不限于这些项的具体数量或这些项的具体名称。

用户可以通过UI 130与个人助理应用交互。在一个实现场景中，用户可以按压麦克风图标1320并且通过语音来输入其指令。例如，用户可以通过UI 130向该应用讲出“今天天气怎么样”。可以从客户端设备110将该语音经由网络发送到云端120。在云端120处可以实现人工智能(AI)系统140来处理该用户输入并且提供响应，该响应可以被从云端120发送到客户端设备110，并且可以被通过UI 130输出给用户。如图1A所示，在语音识别(SR)模块1410处可以将语音信号“今天天气怎么样”识别成文本。在应答模块1420处，可以分析识别出的文本并且获得适当的响应。例如，应答模块1420可以从云端120中的天气服务功能获得或者通过搜索引擎获得诸如天气信息的响应。应该理解，搜索引擎可以实现在应答模块中，或者可以是分开的模块，为了简单没有在图中示出搜索引擎。本主题不限于云端的具体结构。在文本到语音(TTS)模块1430处，可以将诸如天气信息的响应，例如“今天晴，26摄氏度，微风”，从文本信息变换成语音信号。该语音信号可以被从云端120发送到客户端设备110，并且可以被通过UI 130利用扬声器呈现给用户。替换地或额外地，关于天气的文本信息可以被从云端120发送到客户端设备110，并且在UI 130上显示。

应该理解，云端120还可以指AI系统140。术语“云”对于本领域技术人员来说是已知的术语。云端120还可以被称为服务器，但这不表示云端120是由单个服务器实现的，实际上云端120可以包括各种服务或服务器。

在一个示例性实现中，应答模块1420可以将用户输入的内容分类成不同的类型。第一类型的用户输入可以有关于客户端设备110的操作。例如，如果用户输入是“请设置6点钟的闹钟”，则应答模块1420可以识别用户的指令，并且向客户端设备发送用于设定闹钟的指令，且该个人助理应用可以在客户端设备上设置闹钟，并且通过UI 130向用户提供反馈。第二类型的用户输入可以有关于可以基于云端120的数据库做出应答的那些用户输入。第三类型的用户输入可以有关于聊天。第四类型的用户输入可以有关于需要搜索互联网才能获得答案的那些用户输入。对于任何一种类型，在应答模块1420处可以获得响应于用户输入的应答，并且可以将该应答发送回客户端设备110处的个人助理应用。

图1B示出了本文所描述主题的实施例能得以实现的示例性环境10B。图1B和图1A中的相同标号表示相同或相似的组件。应该理解，描述环境10B的结构和功能只是为了举例说明，而不是对本文所描述主题的范围加以任何限制。本文所描述主题能够以不同的结构或功能来实施。

如图1B所示，AI系统140或云端120可以包括情绪确定模块1440。情绪确定模块1440可以基于在应答模块1420处获得的内容来确定情绪数据。例如，在应答模块1420处获得的响应于用户输入的内容可以是文本，诸如句子、评论、推荐、新闻等。句子的例子可以是来自AI聊天机器人(chat-bot)的文本响应，可以是响应于用户输入的文本应答，诸如股票信息等。情绪确定模块1440除了基于在应答模块1420处获得内容之外或代替基于在应答模块1420处获得内容，还可以基于用户输入的内容来确定情绪数据。情绪数据可以包括情绪类型，诸如积极、消极或中性，以及情绪强度，诸如分数。情绪类型可以是各种形式的，例如，情绪类型可以包括十分消极、消极、中性、积极、十分积极，以及情绪类型可以包括高兴、气愤、悲伤、厌恶、中性等。在情绪确定模块1440处可以采用用于基于内容来计算情绪数据的各种技术。例如，可以采用基于词典的方法来确定情绪数据。又例如，可以采用基于机器学习的方法来确定情绪数据。应该理解，本主题不限于用于确定情绪数据的具体过程，并且不限于情绪数据的特定类型。

在情绪确定模块1440处可以使用其他因素来计算情绪数据。例如，用户可以设置定制的或期望的情绪，该设置的情绪可以被发送到云端120，并且可以被情绪确定模块1440作为因素用来确定情绪数据。又例如，个人助理应用可以经由客户端设备的前置摄像头来捕获用户的面部图像，并且可以将面部图像发送到云端120。视觉分析模块可以通过分析用户的面部图像来识别用户的情绪，为了简单在图中没有示出视觉分析模块。情绪确定模块1440可以将用户的情绪信息作为因素用来确定情绪数据。

在一个实现中，TTS模块1430可以使用在情绪确定模块1440处获得的情绪数据来生成具有情绪化声调和/或语气的语音。可以从云端120将该情绪化语音发送回客户端设备110，并通过UI 130经由扬声器将其呈现给用户。

应该理解，虽然结合图1A和1B描述了各种模块和功能，但是在一个特定实现中不一定需要所有的功能和/或模块，并且一些功能可以实现在一个模块中，还可以实现在多个模块中。例如，从客户端设备110发送到云端120的用户输入内容可以是语音信号，也可以是文本。当用户输入内容是文本时，SR模块1410不是必须操作的。从云端120发送到客户端设备110的响应内容可以是在应答模块1420处输出的文本数据，也可以是在TTS模块1430处输出的语音信号。当只将文本数据发送回客户端设备110时，TTS模块1430不必须操作。可以在应答模块1420处实现用于确定情绪数据的功能，在这种情况下情绪确定模块1440不需要是分开的模块。

图2示出了根据本主题实施例的在用户、客户端设备和云端之间的交互过程。

在步骤2010，用户210可以通过在客户端设备220处的应用的UI来输入第一内容，该应用诸如是个人助理应用。换言之，可以通过客户端设备220处的应用的UI接收第一内容。第一内容可以是语音信号或文本数据，或者可以是任何其他适当的格式。

在步骤2020，可以从客户端设备向云端230发送第一内容2020，云端230还可以称为服务器230。

在步骤2030，如果第一内容是语音信号，则可以对该语音信号进行语音识别(SR)以获得对应于第一内容的文本数据。作为另一种实现，也可以在客户端设备220处实现SR处理，那么可以将文本格式的第一内容从客户端设备220发送到云端230。

在步骤2040，在云端230处可以响应于第一内容而获得第二内容。在步骤2050，可以基于第二内容确定情绪数据。还可以基于第一内容、或基于第一内容和第二内容两者来确定情绪数据。

在步骤2060，可以对文本格式的第二内容进行文本到语音(TTS)处理，以获得语音格式的第二内容。

在步骤2070，可以从云端230向客户端设备220发送情绪数据以及文本格式的第二内容、或语音格式的第二内容、或这两种格式的第二内容。

在步骤2080，可以基于情绪数据更新UI，且在步骤2090，可以通过更新的UI向用户输出或呈现第二内容。

可以通过基于情绪数据改变UI的至少一个元素的配置来更新UI。UI的元素的例子可以包括颜色、运动、图标、排版、相对位置、触觉反馈等。

情绪数据可以包括至少一个情绪类型和每个情绪类型的相应情绪强度。例如，情绪类型可以分类为积极、消极和中性，并且为每种类型提供一个分数来指示该情绪的强度。可以将情绪数据映射到UI配置数据，诸如UI的至少一个元素的配置数据，使得可以基于情绪数据来更新UI。

表1示出了情绪数据和UI配置之间的示例性映射，该情绪数据诸如是情绪类型和情绪分数。如表1所示，每个情绪类型的每个分数范围可以映射到一个UI配置。应该理解，情绪类型、分数范围和UI配置的数目不限于表1所示的具体数目，可以有更多或更少数目的情绪类型、分数范围或UI配置。表2示出了情绪数据和UI配置之间的示例性映射。如表2所示，每个情绪类型可以映射到一个UI配置。表3示出了情绪数据和UI配置之间的示例性映射。如表3所示，每种包含多个情绪类型(例如两个类型)的组合可以映射到一个UI配置。在伴随第二内容的情绪数据中可以有多于一个情绪类型。应该理解，在表2或3中可以有更多或更少的类型，且在表3中一种组合可以包括更多或更少的情绪类型。表1到3可以至少部分地组合来定义情绪数据和UI配置之间的合适的映射。

表1

类型	1	2	3	4	5
						UI配置	1	2	3	4	5

表2

类型	1&2	1&3	1&4	1&5	2&3	2&4	2&5	3&4	3&5	4&5
											UI配置	1	2	3	4	5	6	7	8	9	10

表3

以上述天气查询为例，用户输入的第一内容可以是“今天天气怎么样”，在云端响应于第一内容获得的第二内容可以是“今天晴，26摄氏度，微风”，假设情绪类型包括积极、消极和中性，一种类型的分数范围从1到10，在云端基于第二内容确定的情绪数据可以是“类型：积极，分数：8”。接收到第二内容和情绪数据后，可以基于该情绪数据更新UI配置。

表4

表4示出了情绪数据和UI配置之间的映射的示例性实现。可以基于情绪数据更新UI的背景颜色的配置。如表4所示，可以基于不同的情绪数据为UI配置不同的背景颜色。具体地，情绪数据“类型：积极，分数：1-3”、“类型：积极，分数：4-7”、“类型：积极，分数：8-10”可以分别映射到背景颜色1、2、3，情绪数据“类型：消极，分数：1-3”、“类型：消极，分数：4-7”、“类型：消极，分数：8-10”可以分别映射到背景颜色4、5、6，情绪数据“类型：中性”可以映射到背景颜色7。因此，在接收到第二内容“今天晴，26摄氏度，微风”和情绪数据“类型：积极，分数：8”后，可以基于该情绪数据将UI配置(即背景颜色配置)更新为颜色3，并且可以通过具有更新的背景颜色3的更新的UI将第二内容输出给用户。例如，如图3A所示，左侧示意性地示出了默认状态下的应用的UI，其中背景具有颜色A，右侧示意性地示出了应用的更新的UI，其中背景具有颜色B。

颜色的示例性参数可以包括色彩、饱和度、亮度等。色彩可以是例如红、蓝、紫、绿、黄、橙等。饱和度或亮度可以是特定的值，或者可以是预定的级别，诸如低、中或高。通过配置该参数，应该理解，具有相同色彩但不同饱和度和/或亮度的颜色配置可以被认为是不同的颜色。

不同的颜色，例如红、黄、绿、蓝、紫、橙、粉红、褐、灰、黑、白等，可以反映或指示不同的情绪和情绪强度。因此，基于内容的情绪信息来更新背景颜色可以提供用户和应用之间的更紧密的联系，从而改进用户体验。

应该理解，表4的各种变型对于本领域技术人员来说是明显的。情绪类型可以不限于积极、消极和中性，例如，情绪类型可以是高兴、气愤、悲伤、厌恶、中性等。可以有更多或更少的分数范围和相应的颜色配置。与表2所示的类似，可以仅基于情绪类型而不管情绪分数来改变背景颜色。

虽然在表4中以背景颜色作为例子，但是可以将颜色应用于各种类型的UI元素，诸如按钮、卡片、文本、徽章等。

表5

表5示出了情绪数据和UI配置之间映射的示例性实现。可以基于情绪数据更新UI的背景运动的配置。如表5所示，不同的背景运动配置对应于不同的情绪数据。在接收到第二内容“今天晴，26摄氏度，微风”和情绪数据“类型：积极，分数：8”后，可以基于该情绪数据将UI配置(即背景运动效果配置)更新为配置3，并且可以通过具有背景运动效果3的更新的UI将第二内容输出给用户。

背景运动配置可以包括诸如颜色比率、速度、频率等的参数。可以预先定义每种配置的参数。通过配置应用的UI的这些参数，可以获得UI背景的渐变运动效果。例如，如图3B所示，左侧示意性地示出了默认状态下的应用的UI。虚曲线表示分别源于UI的右下角和左上角的颜色A和颜色B之间的比率。应该理解，两部分颜色不一定是静态的，可能有一些颜色的动态效果，例如，两个颜色区域可以相对于它们的由虚曲线表示的边界线来轻微地前后移动。接收到图3B中所示的积极情绪数据后，可以基于该情绪数据更新UI配置，例如，可以将UI的背景运动效果更新为背景运动效果配置3，在该配置3中定义了诸如颜色比率、速度、频率等参数。如图3B的右侧所示，可以通过应用的更新的UI来输出第二内容。在更新的UI中，在输出第二内容的同时，颜色A区域以该配置中定义的速度扩展到由虚曲线表示的边界，相应地颜色B区域收缩，并且两个区域以该配置中定义的频率相对于它们的边界轻微地前后移动。可以呈现出活泼的渐变背景颜色运动效果来反映积极情绪，从而获得用户和应用之间的更紧密的情绪联系。

在一个实现中，在通过应用的更新的UI输出第二内容后，UI可以返回默认状态。在一个实现中，如果接收到消极情绪，则两个区域之间的边界可以向着与积极情绪的情况比较相反的方向移动。颜色A的收缩可以提供反映消极情绪的背景颜色运动效果。在一个实现中，左上角的颜色B可以是反映消极情绪的颜色，诸如白、灰、黑，右下角的颜色A可以是反应积极情绪的颜色，诸如红、黄、绿、蓝、紫。

背景运动效果的配置可以是如表5中所示预定义的，也可以是根据情绪数据计算的。例如，可以使用示例性的公式(1)来确定颜色A和颜色B的比率：

其中，分数的最大值是预定分数范围的最大值。还可以按照公式(1)所示的类似方式来根据情绪的分数确定速度和频率。例如，情绪越积极，则速度和/或频率越快，情绪越消极，则速度和/或频率越慢。

虽然在表5中以背景运动作为例子，但是可以将运动配置应用于各种类型的UI元素，诸如图标、图片、页面等。运动效果的例子可以包括渐变运动效果、两个页面之间的过渡等。运动的示例性参数可以包括持续时间、运动轨迹等。持续时间指示运动效果持续的时间长度。运动轨迹定义运动的不同形状。

类型	1	2	3	4	5
						图标配置	1	2	3	4	5

表6

表6示出了情绪数据和UI配置之间映射的示例性实现。可以基于情绪数据更新UI的图标的配置。如表6所示，可以基于不同的情绪数据，诸如情绪类型1-5，为UI配置不同的图标形状。图标形状可以代表不同的情绪，诸如高兴、气愤、悲伤、厌恶、中性等。如图3C所示，在接收到第二内容“今天晴，26摄氏度，微风”和情绪数据“类型：高兴”(其为积极情绪)后，可以基于该情绪数据更新UI配置，即图标310C的配置，例如，图标形状的眼睛看起来像是在微笑，且图标的轮廓变得更圆，从而向用户表现高兴地情绪。可以通过具有更新的图标310C的更新的UI将第二内容输出给用户。

图标310C可以是静态的图标，也可以具有动画效果。对于不同的情绪，可以在图标配置中配置各种动画模式。各种动画模式可以反映高兴、悲伤、焦虑、放松、骄傲、羡慕等情绪。

虽然在图3C中以拟人化的图标作为例子，但是可以根据情绪数据配置各种类型的图标。例如，尖角的图标可以用于反映消极情绪，圆角的图标可以用于反映积极情绪。

类型	1	2	3
				排版配置	1	2	3

表7

表7示出了情绪数据和UI配置之间映射的示例性实现。可以基于情绪数据更新UI的排版的配置。如表7所示，可以基于不同的情绪数据，诸如情绪类型1-3，为UI配置不同的版式。

可以将排版应用于UI中示出的文本。排版的示例性参数可以包括字体大小、字体类型等。更大的字体大小可以代表更积极的情绪，更小的字体大小可以代表更消极的情绪。例如，可以将字体大小配置为与积极情绪类型的情绪分数成正比，以及配置为与消极情绪类型的情绪分数成反比。字体类型中的更夸张的字体可以代表更积极的情绪，字体类型中的更朴实的字体可以代表更消极的情绪。例如，可以根据情绪数据来采用各种花哨风格的字符。

如图3D所示，在接收到第二内容“今天晴，26摄氏度，微风”和情绪数据“类型：高兴”(其为积极情绪)后，可以基于该情绪数据将排版更新为具有特定字体大小的特定字体，从而向用户呈现高兴的情绪。可以通过具有更新的排版的更新的UI将第二内容输出给用户。

表8

表8示出了情绪数据和UI配置之间映射的示例性实现。可以基于情绪数据更新UI的触觉配置。如表8所示，可以基于不同的情绪数据，诸如情绪类型和分数，为UI设置不同的触觉配置。在这个例子中，对于中性类型而言没有分数，且对于中性类型而言没有设置触觉配置，但是本主题不限于这个例子。

诸如振动的触觉反馈可以用于向用户传递不同的消息。触觉反馈的示例性参数可以包括强度、频率、持续时间等。以振动作为触觉反馈的例子，强度定义了振动的强度，频率定义了振动的频率，以及持续时间定义了振动将持续的时间长度。通过定义这些参数中的至少一部分，可以实现各种振动模式来向用户传递情绪。例如，具有更大强度、频率和/或持续时间的振动可以用于呈现更积极的情绪，具有更小强度、频率和/或持续时间的振动可以用于呈现更消极的情绪。又例如，对于中性或消极的情绪，可以不启动振动。

如图3E所示，在接收到第二内容“今天晴，26摄氏度，微风”和情绪数据“类型：高兴，分数：6”(其为积极情绪)后，可以基于该情绪数据采用触觉配置2来更新UI。具体地，在输出第二内容“今天晴，26摄氏度，微风”的同时，可以执行触觉配置2中定义的特定模式的振动。换言之，可以通过具有振动的更新的UI将第二内容输出给用户。

表9

表9示出了情绪数据和UI配置之间映射的示例性实现。可以基于情绪数据更新UI的一些元素的深度配置。

可以将UI安排在垂直于屏幕的不可见的Z轴上的层中，并且可以在具有不同深度的层中安排元素。一个层的深度参数可以包括顶、中间、底等。应该理解，可以有更多或更少的层。例如，图3F示出了AI和用户之间通过UI 30F的聊天场景。诸如消息条的UI元素可以具有不同的深度，不同的深度可以被用户感知为更近或更远。用户感觉一个消息条越近，则用户会觉得越亲密。如图3F所示，在用户输入第一内容“股票A表现如何”后，在云端可以响应于该第一内容获得第二内容“股票A的价格是20美元，涨了6％”以及积极的情绪数据。在客户端设备处接收到该第二内容和情绪数据后，可以根据情绪数据来配置用于该第二内容的消息条的深度，以使其被用户感觉更近，如图3F所示。因此，通过基于情绪数据配置这样的UI元素的深度参数，UI可以向用户呈现情感联系。

结合表1-9和图3A-3F描述了基于情绪数据的UI配置的各种例子，应该理解，可以实现这些例子中的UI配置的各种适当的组合，可以基于情绪数据配置的元素不限于上面描述的那些元素。

图4示出了根据本主题实施例的在用户、客户端设备和云端之间的交互过程。

图4中的步骤4010-4050、4070和4100与图2中的步骤2010-2060和2090相似，因此为了简单省略了关于这些步骤的描述。

在步骤4060，可以在云端430处基于情绪数据确定UI配置数据。表1-9和图3A-3F中描述的情绪数据到UI配置的映射以及它们的任何合适组合可以用于在云端430处基于情绪数据来确定UI配置。

在步骤4080，可以将第二内容和UI配置数据发送给客户端设备。作为一个实现，可以预先定义UI配置及其索引，因此只需要将在步骤4060处确定的UI配置的索引作为UI配置数据发送给客户端设备。在图2的步骤2070处发送的情绪数据以及在图3的步骤4080处发送到UI配置数据可以统称为与UI配置有关的数据。

在步骤4090，可以基于UI配置数据更新UI，且在步骤4100，可以通过更新的UI将第二内容输出或呈现给用户。

图5示出了根据本主题实施例的在用户、客户端设备和云端之间的交互过程。

图5中的步骤5040、5060-5070和5090-5120与图2中的步骤2010、2030-2040和2060-2090相似，因此为了简单省略了关于这些步骤的描述。

在步骤5010，用户可以从可用于作为UI的背景颜色的多个颜色中选择一个颜色。例如，可以通过UI上的颜色图标来提供可用颜色。因此，客户端设备上的应用可以接收对于从UI上安排的多个颜色图标中的颜色的选择，并且可以基于该颜色的选择来改变UI的背景的颜色。

在步骤5020，用户可以设置该用户想要从AI接收到的优选的或定制的情绪。因此，客户端设备处的应用可以接收对情绪的选择。

在步骤5030，该应用可以为了分析用户情绪的目的而捕获该用户的面部图像。例如，可以向用户提出一个询问“应用程序想要使用您的前置摄像头以为您提供更佳体验，是否允许”，如果用户允许使用摄像头，则应用可以通过客户端设备的前置摄像头来捕获用户的面部图像。

应该理解，步骤5010到5030不需要按顺序执行，并且也不一定需要全部都执行。

在步骤5050，可以向云端530发送所选择的情绪和所捕获的图像中的至少之一以及第一内容。

在步骤5080，基于第一内容、第二内容、用户定制的情绪配置和用户的面部图像中的至少之一来确定情绪数据。如上所讨论的，在云端可以使用定制的情绪作为因素来确定情绪数据。可以对用户的面部图像进行视觉分析来估计用户的情绪，并且在云端可以使用用户的情绪信息作为因素来确定情绪数据。例如，即使基于第一和第二内容没有获得情绪数据，也可以基于用户选择的情绪和/或所估计的用户情绪来确定情绪数据。又例如，用户选择的情绪和/或所估计的用户情绪可以向基于第一和/或第二内容计算情绪数据的过程中添加权重。第一内容、第二内容、用户定制的情绪配置和用户的面部图像中的任何组合可用于在步骤5080处确定情绪数据。

作为图5的替换实现，在图5的云端530处可以执行图4中的步骤4060。应该理解，图2、4、5中所示的步骤可以以各种适合的方式组合，这对于本领域技术人员来说是显然的。

图6示出了根据本主题实施例的用于基于情绪的交互的过程。

在610，可以通过客户端设备处的应用的UI接收第一内容。在620，可以向云端发送第一内容，云端也可以被称为服务器。在630，可以从服务器接收响应于第一内容的第二内容和与UI配置有关的数据。在640，可以基于与UI配置有关的数据来更新该UI。在650，可以通过所更新的UI输出第二内容。通过这种方式，在与用户的交互期间，可以建立与用户的更紧密的基于情绪的联系。

在一个实现中，与UI配置有关的数据可以包括情绪数据和基于情绪数据确定的UI配置数据中的至少一者。情绪数据可以是基于第一内容和第二内容中的至少一者确定的。情绪数据可以包括至少一个情绪类型和至少一个相应的情绪强度。

在一个实现中，可以基于与UI配置有关的数据更新UI的至少一个元素，其中，UI的至少一个元素包括颜色、运动效果、图标、排版、相对位置、触觉反馈中的至少一者。例如，可以基于与UI配置有关的数据来更新UI的渐变背景颜色运动参数，其中，渐变背景颜色运动参数可以包括颜色比率、速度和频率中的至少一者，该颜色比率、速度和频率是基于情绪数据确定的。

在一个实现中，可以从UI上安排的多个颜色图标中接收对于颜色的选择，可以基于该颜色的选择来改变UI的背景的颜色。

在一个实现中，可以接收用户定制的情绪配置，和/或可以在客户端设备处捕获用户的面部图像。可以从客户端设备向服务器发送用户定制的情绪配置和/或用户的面部图像。可以基于第一内容、第二内容、用户定制的情绪配置和用户的面部图像中的至少一者确定情绪数据。

图7示出了根据本主题实施例的用于基于情绪的交互的过程。

在710，可以从客户端设备接收第一内容。在步骤720，可以响应于第一内容而获得第二内容。在步骤730，可以向客户端设备发送第二内容和与UI配置有关的数据。

在一个实现中，与UI配置有关的数据可以包括情绪数据和基于情绪数据确定的UI配置数据中的至少一者。可以基于第一内容和第二内容中的至少一者确定情绪数据。

在一个实现中，可以从客户端设备接收情绪配置和面部图像中的至少一者。可以基于第一内容、第二内容、情绪配置和面部图像中的至少一者确定情绪数据。

图8示出了根据本主题实施例的用于基于情绪的交互的装置80。装置80可以包括交互模块810和通信模块820。

交互模块810可以配置为通过应用的UI接收第一内容。通信模块820可以配置为向服务器发送第一内容，以及从服务器接收响应于第一内容的第二内容和与UI配置有关的数据。交互模块810可以进一步配置为基于与UI配置有关的数据来更新UI，以及通过所更新的UI输出第二内容。

应该理解，交互模块810和通信模块820可以配置为执行上面结合图1-7描述的在客户端设备处的操作或功能。

图9示出了根据本主题实施例的用于基于情绪的交互的系统90。系统90可以是如图1A和1B所示的AI系统。系统90可以包括接收模块910、内容获得模块920和发送模块930。

接收模块910可以配置为从客户端设备接收第一内容。内容获得模块920可以配置为获得响应于第一内容的第二内容。发送模块930可以配置为向客户端设备发送第二内容和与UI配置有关的数据。

应该理解，模块910到930可以配置为执行上面结合图1-7描述的在云端处的操作或功能。

应该理解，结合图1A、1B、8和9描述的模块和相应的功能是为了说明的目的而不是限制的目的，特定的功能可以在不同的模块中实现，也可以在单个模块中实现。

图1A、1B、8和9中所示的各个模块可以通过硬件、软件或其组合的各种形式来实现。在一个实施例中，这些模块可以通过一个或多个硬件逻辑组件来分别实现或作为整体实现。例如但不限于，可以使用的硬件逻辑组件的示例类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。在另一个实施例中，这些模块可以通过一个或多个软件模块实现，该软件模块可以由通用中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)等执行。

图10示出了根据本主题实施例的用于基于情绪的交互的计算机系统100。根据一个实施例，计算机系统100可以包括一个或多个处理器1010，处理器1010执行在计算机可读存储介质(诸如存储器1020)中存储或编码的一个或多个计算机可读指令。

在一个实施例中，在存储器1020中存储计算机可执行指令，其当执行时使得一个或多个处理器：通过应用的UI接收第一内容；向服务器发送第一内容；从服务器接收响应于第一内容的第二内容和与UI配置有关的数据；基于与UI配置有关的数据来更新UI；以及通过所更新的UI输出第二内容。

在一个实施例中，在存储器1020中存储计算机可执行指令，其当执行时使得一个或多个处理器：从客户端设备接收第一内容；获得响应于第一内容的第二内容；基于第一内容和第二内容中的至少一者来确定情绪数据；以及向客户端设备发送第二内容和情绪数据。

应该理解，在存储器1020中存储的计算机可执行指令，其当执行时使得一个或多个处理器1010进行本主题的各个实施例中以上结合图1-9描述的各种操作或功能。

根据一个实施例，提供了一种诸如机器可读介质的程序产品。机器可读介质可以具有指令，该指令当被机器执行时，使得机器执行本主题的各个实施例中以上结合图1-9描述的各种操作或功能。

应该注意，上面描述的技术方案是为了说明而不是限制该主题，并且本领域技术人员能够在不脱离所附权利要求范围的情况下设计出替换的技术方案。在权利要求中，括号中的任何参考符号不应被解释为限制权利要求。词语“包括”不排除权利要求中或说明书中没有列出的元素或步骤的存在。某个元素前的词语“一”或“一个”不排除多个这样的元素的存在。在包含若干单元的系统权利要求中，这些单元中的一些可以通过一个相同的软件和/或硬件实施。词语“第一”、“第二”、“第三”等的使用不表示任何排序。这些词语要被解释为名称。

Claims (20)

1.一种用于交互的方法，包括：

通过应用的用户接口(UI)接收第一内容；

向服务器发送所述第一内容；

从所述服务器接收响应于所述第一内容的第二内容和与UI配置有关的数据；

基于所述与UI配置有关的数据来更新所述UI；以及

通过所更新的UI输出所述第二内容。

2.如权利要求1所述的方法，其中，所述与UI配置有关的数据包括情绪数据和基于所述情绪数据确定的UI配置数据中的至少一者。

3.如权利要求2所述的方法，其中，所述情绪数据是基于所述第一内容和所述第二内容中的至少一者确定的。

4.如权利要求2所述的方法，其中，所述情绪数据包括至少一个情绪类型和至少一个相应的情绪强度。

5.如权利要求1所述的方法，其中，所述更新所述UI包括：

基于所述与UI配置有关的数据更新所述UI的至少一个元素，其中，所述UI的至少一个元素包括颜色、运动效果、图标、排版、相对位置、触觉反馈中的至少一者。

6.如权利要求5所述的方法，其中，更新所述运动效果包括：

基于所述与UI配置有关的数据来改变所述UI的渐变背景颜色运动参数，其中，所述渐变背景颜色运动参数包括颜色比率、速度和频率中的至少一者。

7.如权利要求2所述的方法，还包括：

执行以下操作中的至少之一：

接收用户定制的情绪配置；以及

捕获用户的面部图像；以及

向所述服务器发送所述用户定制的情绪配置和所述用户的面部图像中的至少一者，其中，所述情绪数据是基于所述第一内容、所述第二内容、所述用户定制的情绪配置和所述用户的面部图像中的至少一者确定的。

8.一种用于交互的方法，包括：

从客户端设备接收第一内容；

确定响应于所述第一内容的第二内容；以及

向所述客户端设备发送所述第二内容和与用户接口(UI)配置有关的数据。

9.如权利要求8所述的方法，其中，所述与UI配置有关的数据包括情绪数据和基于所述情绪数据确定的UI配置数据中的至少一者。

10.如权利要求9所述的方法，还包括：

基于所述第一内容和所述第二内容中的至少一者确定所述情绪数据。

11.如权利要求9所述的方法，还包括：

从所述客户端设备接收情绪配置和面部图像中的至少一者；以及

基于所述第一内容、所述第二内容、所述情绪配置和所述面部图像中的至少一者确定所述情绪数据。

12.一种用于交互的装置，包括：

交互模块，配置为通过应用的用户接口(UI)接收第一内容；以及

通信模块，配置为向服务器发送所述第一内容，以及从所述服务器接收响应于所述第一内容的第二内容和与UI配置有关的数据；

所述交互模块进一步配置为基于所述与UI配置有关的数据来更新所述UI，以及通过所更新的UI输出所述第二内容。

13.如权利要求12所述的装置，其中，所述与UI配置有关的数据包括情绪数据和基于所述情绪数据确定的UI配置数据中的至少一者。

14.如权利要求13所述的装置，其中，所述情绪数据是基于所述第一内容和所述第二内容中的至少一者确定的。

15.如权利要求12所述的装置，其中，所述交互模块进一步配置为：

基于所述与UI配置有关的数据更新所述UI的至少一个元素，其中，所述UI的至少一个元素包括颜色、运动效果、图标、排版、相对位置、触觉反馈中的至少一者。

16.如权利要求15所述的装置，其中，所述交互模块进一步配置为：

基于所述与UI配置有关的数据来改变所述UI的渐变背景颜色运动参数，其中，所述渐变背景颜色运动参数包括颜色比率、速度和频率中的至少一者。

17.如权利要求13所述的装置，其中，所述交互模块进一步配置为执行以下操作中的至少之一：

接收用户定制的情绪配置；以及

捕获用户的面部图像；以及

其中，所述通信模块进一步配置为向所述服务器发送所述用户定制的情绪配置和所述用户的面部图像中的至少一者，其中，所述情绪数据是基于所述第一内容、所述第二内容、所述用户定制的情绪配置和所述用户的面部图像中的至少一者确定的。

18.一种用于交互的系统，包括：

接收模块，配置为从客户端设备接收第一内容；

内容获得模块，配置为获得响应于所述第一内容的第二内容；以及

发送模块，配置为向所述客户端设备发送所述第二内容和与用户接口(UI)配置有关的数据。

19.一种计算机系统，包括：

一个或多个处理器；以及

存储有计算机可执行指令的存储器，所述指令当被执行时使得所述一个或多个处理器：

通过应用的用户接口(UI)接收第一内容；

向服务器发送所述第一内容；

从所述服务器接收响应于所述第一内容的第二内容和与UI配置有关的数据；

基于所述与UI配置有关的数据来更新所述UI；以及

通过所更新的UI输出所述第二内容。

20.一种计算机系统，包括：

一个或多个处理器；以及

存储有计算机可执行指令的存储器，所述指令当被执行时使得所述一个或多个处理器：

从客户端设备接收第一内容；

获得响应于所述第一内容的第二内容；以及

基于所述第一内容和所述第二内容中的至少一者来确定情绪数据；以及

向所述客户端设备发送所述第二内容和所述情绪数据。